Was ist tinyML? - Ein Interview mit Matthew Stewart

Maschinelles Lernen (ML) ist eine Unterkategorie der künstlichen Intelligenz und wird in vielen Bereichen wie Atmosphärenforschung oder Computer Vision angewendet. Laut Doktorand Matthew Stewart eignet sich tinyML zur Entwicklung „schneller, ressourcenschonender und energieeffizienter Algorithmen für maschinelles Lernen, die auf ressourcenbeschränkten Mikrocontrollern eingesetzt werden können.“

Abate: Zu Ihrem Hintergrund: Wann haben Sie sich das erste Mal für maschinelles Lernen [1] interessiert? Sind Sie eher durch Programmierung oder Hardware-Design auf dieses Thema gekommen?

Stewart: Für meinen Bachelor in Maschinenbau habe ich Erfahrungen in Programmierung und Mechatronik sammeln können. Mit maschinellem Lernen wurde ich jedoch erst zu Beginn meines Studiums an der Harvard University konfrontiert. Mein Interesse daran wurde geweckt, als ich im ersten Jahr meiner Doktorandenzeit einen Einführungskurs in Data Science belegte und mir das enorme Potenzial maschinellen Lernens sowohl allgemein als auch speziell für die Atmosphärenforschung bewusst wurde.

Abate: Was hat Sie an die Harvard University geführt?

Stewart: Harvard ist eine der weltweit führenden Forschungseinrichtungen. Ein Studium an dieser Universität ist das Ziel vieler engagierter und strebsamer Studenten. Auch die Forschungsinteressen meines Betreuers spielten eine Rolle, da er den tropischen Regenwald im Amazonasgebiet mit Hilfe von Drohnen untersuchte. Mein Interesse an Umweltforschung entstand im Laufe meines Maschinenbaustudiums, als mir immer klarer wurde, dass die meisten wichtigen technischen Probleme der Moderne Umweltprobleme sein werden - also Klimawandel, Energieversorgung und Nachhaltigkeit. Die Arbeit mit Drohnen im Amazonas-Regenwald erschien mir aufgrund meiner Interessen und meines ingenieurwissenschaftlichen Hintergrunds ideal. Dies war das zentrale Motiv zum Gang nach Harvard.

Abate: Wie halten Sie sich als Umweltwissenschaftler über Embedded-Systeme und Programmierung auf dem neuesten Stand? Bei all den neuen Entwicklungen im KI-Bereich, in der Sensorik, bei eingebetteten Systemen etc. ist es ja schwer, immer auf dem Laufenden zu bleiben. Wie informieren Sie sich?

Stewart: Das ist aufgrund des intensiven und schnellen Fortschritts in diesen Bereichen ein echtes Problem für viele Studenten und Akademiker. Ich persönlich nutze mehrere Ressourcen. Z.B. hilft Twitter dabei, neue Forschungsergebnisse zu entdecken, die von anderen Akademikern auf dem Gebiet gepostet werden. Ich bin auch Teil mehrerer Slack-Kanäle, in denen Kollegen regelmäßig Neuigkeiten und Forschungsartikel zu verwandten Themen austauschen. Ich schaue mir auch regelmäßig neue Arbeiten an, die in einschlägigen Zeitschriften veröffentlicht wurden. Dort suche ich nach Auffälligem, das mich zum ausführlichen Lesen motiviert. Glücklicherweise sind die meisten veröffentlichten Arbeiten von geringer Relevanz für meine eigene Forschung, und breitere Trends sind oft Gegenstand von Seminarvorträgen, die von verschiedenen Abteilungen und Interessengruppen innerhalb der Universität gehalten werden.

Abate: Obwohl ich tinyML in einem Interview mit Daniel Situnayake [2] vor ein paar Monaten angesprochen habe, ist es für viele Ingenieure in der weltweiten Elektor-Community noch ein neues Thema. Was würden Sie sagen? Ist tinyML ein Ansatz für die Implementierung von Machine-Learning auf Mikrocontrollern?

Stewart: Ja, das ist der Kern. tinyML ist keine spezifische Technologie. Genau genommen ist es eher eine Proto-Plattform mit Synergien aus den Bereichen Computerarchitektur, Performance Engineering und maschinellem Lernen. tinyML zielt auf die schnelle, ressourcenschonende und energieeffiziente Implementierung von Algorithmen für maschinelles Lernen, die sich für Mikrocontroller mit beschränkten Ressourcen eignen. Dies umfasst auch die Entwicklung von spezieller Hardware für bestimmte Aufgaben, neuen Algorithmen für ressourcenbeschränkte Anwendungen, neuen Tools zur Portierung von Algorithmen oder die Optimierung ihrer Leistung über eine breite Palette von Hardware-Architekturen. Es wird auch davon gesprochen, dass tinyML für das maschinellem Lernen auf Mikrocontrollern mit weniger als 1 MB RAM und einer Leistungsaufnahme von <1 mW gedacht ist, aber dies ist keine strenge oder erschöpfende Definition.

Abate: Es geht also nicht um Plattformen für den NVIDIA Jetson und Raspberry Pi? Der Fokus liegt also auf viel schwächeren Controllern mit <1 mW und RAM, das eher in Kilobyte als Megabyte berechnet wird?

Stewart: Korrekt. Raspberry Pi und NVIDIAs Jetson stehen nicht im Fokus von tinyML - ebenso wenig wie Technologien im Zusammenhang mit selbstfahrenden Autos, die erhebliche Rechenleistung benötigen. Das Schlüsselwort ist „ressourcenbeschränkt“. In tinyML muss man Entscheidungen darüber treffen, wie die Leistung eines Algorithmus bezüglich anwendungs- und hardwarespezifischer Beschränkungen optimiert werden kann.

Z.B. kann es in einigen Anwendungen zwingend erforderlich sein, sowohl eine schnelle Inferenz als auch eine hohe Genauigkeit zu erreichen. Um die Inferenzgeschwindigkeit zu verbessern, könnte man 8-bit-Integers anstelle von Fließkommazahlen verwenden, aber dies würde sich auf die Genauigkeit des Algorithmus auswirken sowie Auswirkungen auf die erforderlichen Speicher- und Rechenressourcen haben. Dies verdeutlicht, warum ich tinyML als Proto-Plattform betrachte. Man muss hier mehr über funktionale Anforderungen nachdenken, die oft in direkter Konkurrenz zueinander stehen, was Kompromisse erfordert.

Abate: Können Sie ein paar Beispiele aus der Praxis anführen?

Stewart: Es gibt bereits recht verbreitete Beispiele für tinyML in Smartphones. Eines davon ist das „Keyword-Spotting“, bei dem es um die Erkennung von Wörtern wie „Hey Siri“ oder „Hey Google“ geht. Würden Smartphones das Mikrofon kontinuierlich mit Hilfe der normalen CPU überwachen, um diese Wörter zu erkennen, würde der Akku des Handys nur ein paar Stunden durchhalten. Stattdessen erfolgt die kontinuierliche Überwachung durch einen schlanken Signalprozessor. Dieser weckt dann die CPU auf, wenn das Schlüsselwort von einem bekannten Sprecher gesprochen wurde. Die CPU verarbeitet dann weitere Spracheingaben.

Ein weiteres Beispiel sind Smartphones, die erkennen, wann es in die Hand genommen wird. Die Daten der eingebauten Beschleunigungssensoren und des Gyroskops werden kontinuierlich durch einen energiesparenden Controller überwacht. Sobald das Smartphone aufgenommen wird, weckt dieser die CPU auf.

Noch ein Beispiel ist die Detektion der Anwesenheit einer Person durch einen Mikrocontroller via Kamera. Es kann z.B. erkannt werden, ob der Benutzer eine Maske trägt, was besonders während der aktuellen Pandemie nützlich ist. Die Erkennung von Anomalien wird zukünftig in der Industrie eine größere Rolle spielen, und zwar dort, wo Signale von großen Maschinen kontinuierlich überwacht werden, um eine vorausschauende Wartung zu realisieren.

Abate: 2019 haben Sie einen faszinierenden Artikel mit dem Titel „The Machine Learning Crisis in Scientific Research“ [3] veröffentlicht, der sich mit der Frage beschäftigt, ob maschinelles Lernen zu einer „Reproduzierbarkeitskrise“ in der Wissenschaft beiträgt. Wenn zum Beispiel ein Wissenschaftler einen „schlecht verstandenen“ ML-Algorithmus in einem Experiment verwendet, kann das bedeuten, dass andere Wissenschaftler die originalen Forschungsergebnisse nicht reproduzieren können. Selbst Nicht-Wissenschaftler können das Problem verstehen. Vermutlich hat sich die Debatte „maschinelles Lernen vs. traditionelle Statistik“ im letzten Jahr verschärft. Wie denken Sie darüber?

Stewart: Das ist ein wichtiges Thema in der akademischen Welt. Mein Artikel war eine Reaktion auf die Reproduzierbarkeitskrise, die zuerst durch die Kontroverse um einige Arbeiten zum Thema „Power Posen“ von Amy Cuddy, einer ehemaligen Professorin der Harvard Business School, aufkam. Andrew Gelman schrieb ein wichtiges Papier, in dem er schlechte Forschungspraktiken im Bereich der Psychologie anprangerte, die unaufrichtige Datenanalysen mit Techniken wie p-hacking, post-hoc Rationalisierung und Rosinenpickerei von Daten beinhalteten, um statistisch signifikante Ergebnisse zu produzieren. Dies führte zu einer Reihe von Experimenten mit dem Ziel, einige wichtige Ergebnisse der psychologischen Literatur zu reproduzieren, von denen viele als nicht reproduzierbar erwiesen. Dies beleuchtet problematische Fehler in der Forschung, da Studien zur Reproduzierbarkeit oft nicht finanziert wurden, weil sie als unnötig und Verschwendung von Ressourcen angesehen wurden. Mittlerweile zeigte sich, dass die Reproduzierbarkeitskrise auch andere Bereiche wie Literatur und Wirtschaft betrifft.

Natürlich führt diese Korrumpierung der Integrität des Forschungsprozesses zu Bedenken hinsichtlich der Verwendung großer Datensätze und maschinellem Lernen. Bei einer ausreichend großen Anzahl von Variablen in einem Datensatz ist es letztlich unvermeidlich, dass einige statistisch signifikante Ergebnisse vorhanden sind. Dies lässt vermuten, dass Scheinkorrelationen leichter zu finden sein werden, wenn Experimente gerade solche Hypothesen testet und eben nicht eine Vielzahl von Hypothesen gleichzeitig auf korrekte Weise. Big Data macht es einfacher, mit Daten zu „schummeln“. Und Maschinelles Lernen macht es darüber hinaus noch einfacher, den Betrug zu „verstecken“. Eingeschränkte Interpretierbarkeit, nuanciertes Verhalten vieler Algorithmen des maschinellen Lernens und mangelnde Ausbildung im Bereich des maschinellen Lernens werden es schwieriger machen, diese Probleme in veröffentlichten Forschungsarbeiten aufzudecken. Glücklicherweise ist die Lösung für dieses Problem recht einfach: Die Finanzierung von Reproduzierbarkeitsstudien und die Aufklärung von Forschern über das richtige Design von Experimenten und die korrekte Verwendung von maschinellem Lernen für Forschungszwecke.

Abate: Sie haben in Ihrem Artikel einen interessanten Punkt angesprochen: „Eines der anderen Probleme von Algorithmen des maschinellen Lernens ist, dass der Algorithmus eine Vorhersage machen muss. Der Algorithmus kann nicht sagen: ‚Ich habe nichts gefunden‘.“ Das klingt, als gäbe es Fälle, für die maschinelles Lernen nicht taugt.

Stewart: Ich würde zwar zustimmen, dass maschinelles Lernen für einige Fälle nicht passt. Dennoch glaube ich nicht, dass dies der Grund dafür ist. Eines der Probleme bei binären Klassifizierungsproblemen ist z.B. die unpassende Zusammenfassung, was dann zu einer falschen Dichotomie führt. Unter bestimmten Umständen kann es sinnvoller sein, die nahe an einer Entscheidungsgrenze liegenden Daten von einem Menschen genauer zu beurteilen, anstatt den Algorithmus eine Entscheidung treffen zu lassen. Diese Art der Entscheidungsfindung wird manchmal als „Human-in-the-Loop“-Entscheidungsfindung bezeichnet und wäre vor allem da sinnvoll, wo die zu treffende Entscheidung wichtige Auswirkungen hat – etwa bei der Kreditvergabe oder bei Krebs-Diagnosen.

Abate: In welchen Branchen sehen Sie die größten Chancen für Innovationen durch tinyML?

Stewart: Vermutlich erwarten viele in diesem Bereich arbeitende Leute, dass tinyML oder Vergleichbares eine neue industrielle Revolution in Gang setzen wird. Aus diesem Grund bezeichnen einige diese Entwicklung als „Industrie 4.0“. Jede Branche, die mit vielen IoT-Geräten arbeitet, wird von tinyML aufgrund des geringeren Stromverbrauchs und der geringeren Netzwerklast stark profitieren.

Genauer gesagt: Es gibt Branchen, die vom richtigen Einsatz der neuen Möglichkeiten von tinyML massiv profitieren werden. Die Landwirtschaft wäre ein solcher Bereich. tinyML könnte in der Landwirtschaft intelligente Sensorfunktionen ermöglichen, ohne dass eine Verbindung zu einem Stromnetz erforderlich ist, tinyML würde hier helfen, die Zeitpunkte für das Düngen, Wässern und die Ernte bestimmter Pflanzen zu bestimmen.

Ein weiteres gutes Beispiel ist die Schwerindustrie, in der vorausschauende Wartung mittels Anomalie-Erkennung zu Kosteneinsparungen und Effizienzsteigerungen führen könnte. Die Vorbeugung von Problemen bei großen Maschinen ist wahrscheinlich preiswerter und führt zu geringerem Produktivitätsverlust als die Folgen eines Ausfalls.

Abate: Was ist mit Unternehmen, die an der Entwicklung energieeffizienter Computerlösungen interessiert sind?

Stewart: Apple und ARM sind wahrscheinlich die größten Unternehmen, die sich im Moment auf energieeffizientes Computing konzentrieren. Die Entwicklung leistungsstarker und energieeffizienter Architekturen war bei Smartphones entscheidend für die Verbesserung der Akkulaufzeit bei gleichzeitiger Erhöhung der Funktionen und Leistung. In den letzten Jahren haben sich die mobilen Architekturen bezüglich Leistung und Energieeffizienz erheblich verbessert, während die traditionellere Architekturen wie etwa von Intel eher stagniert haben. Folglich konkurrieren mobile Architekturen jetzt mit traditionelleren Architekturen, haben aber einige zusätzliche Vorteile wie die bessere Energieeffizienz. Dies hatte erste größere Auswirkungen, als Apple seinen neuen ARM-basierten M1-Chip vorstellte und damit warb, dass er die „längste Akkulaufzeit aller Zeiten in einem Mac“ bieten würde. Dieser Schritt von Apple weg von Intel wird als ein Wendepunkt in der Computerindustrie angesehen, der in den kommenden Jahren auch Auswirkungen auf die gesamte Industrie haben wird.

Abate: Welche Rolle spielt tinyML bei Ihrer Forschung mit Drohnen und Systemen zur Überwachung von Chemikalien?

Stewart: Es wurden bereits Arbeiten veröffentlicht, tinyML für verschiedene Mikrodrohnen-Anwendungen nutzen. Dabei geht es darum, leichtgewichtige Drohnen zu entwickeln, die mit Hilfe von Reinforcement-Learning-Methoden intelligent in einer Umgebung navigieren. Dies könnte zukünftig z.B. bei der Erkennung von Gaslecks oder der Lokalisierung von Schadstoffemissionen, sowohl im Innenbereich als auch im Freien sehr nützlich werden.

Für chemische Überwachungssysteme im weiteren Sinne könnte tinyML helfen, weit entfernte, vom Stromnetz unabhängige Sensornetzwerke zu schaffen. Außerdem ist eine intelligentere Nutzung der Sensorinformationen machbar. Anstatt kontinuierlich Daten an einen Cloud-Server zu übertragen, könnte sich das System z.B. nur auf anomale Daten konzentrieren. Dies würde die Belastung des Kommunikationsnetzes und auch den mit kontinuierlicher Überwachung verbundenen Stromverbrauch reduzieren. Diese Aspekte werden in den kommenden Jahren immer wichtiger werden, da die Anzahl der eingesetzten IoT-Geräte exponentiell ansteigt.

Abate: Ihre Artikel und Forschungen werden wahrscheinlich viele Mitglieder unserer Community dazu inspirieren, sich näher mit tinyML zu befassen. Haben Sie neben dem Buch über tinyML von Pete Warden und Daniel Situnayake irgendwelche Empfehlungen für Ingenieure und sonstige interessierte Elektroniker, die mehr über das Thema erfahren wollen?

Stewart: Leider ist eine der Kehrseiten von neuen Technologie, dass es oft nur wenig Informationsquellen gibt. Allerdings gibt es immer mehr Peer-Review- Literatur zum Thema tinyML (wenn auch oft unter anderem Namen). Ein beträchtlicher Teil dieser Literatur wird auf dem Preprint-Server arXiv in der Kategorie Hardware-Architektur [4] veröffentlicht. Ich vermute, dass es bald mehrere Zeitschriften geben wird, die sich auf das Thema konzentrieren. Eine weitere Ressource ist das von der TinyML Foundation veranstaltete TinyML Research Symposium (https://www.tinyml.org/researchsymposium2021), das für März 2021 geplant ist, und auf dem wahrscheinlich einige neue und spannende Entwicklungen vorgestellt werden.

Möchten Sie mehr über die Arbeiten von Mathew Stewarts oder maschinelles Lernen im Allgemeinen erfahren? Nachfolgend finden Sie weitere Informationen: