Edge KI: künstliche Intelligenz für die Hosentasche?

Liebe Neugierige, Kreative, Entdecker*innen,

der Rückblick auf die vergangenen und aktuellen Hype Cycle von Gartner hat vergangene Woche für einige Reaktionen gesorgt. Wie dort bereits angedeutet, möchte ich diese KI-Logbuch Ausgabe einem der Themen des Hype Cycle widmen: „Edge KI„.

Warum?

Das Thema hat sich ungewöhnlich auf dem Gartner Hype Cycle verhalten. 2023 war es noch weiter im „Tal der Tränen“ („Trough of Disillusionment“) und dann 2024 plötzlich wieder deutlich zurück Richtung „Peak of inflated expectations“ gegangen. Was passiert da? Das wollte ich mir genauer anschauen. Und dann habe ich gemerkt, wie spannend und vor allem wichtig das Thema „Edge KI“ eigentlich ist. Denn gerade bei KI Anwendungen halte ich eine lokale Lösung aus diversen Gründen für absolut sinnvoll und eigentlich den einzigen Weg nach vorn. Ich bin fest davon überzeugt, dass im Kontext von künstlicher Intelligenz „Edge KI“ immer mehr an Bedeutung gewinnen wird.

Aber was verstehen wir eigentlich unter „Edge KI“?

„Edge KI“ bezieht sich auf die Verarbeitung von Daten direkt am Ort ihrer Entstehung, anstatt sie zuerst in die Cloud zu senden. Dies ermöglicht eine schnellere und effizientere Verarbeitung von Daten, was insbesondere in Anwendungsbereichen wie der Industrie, dem Gesundheitswesen und der Mobilität von großer Bedeutung ist.

Wie Wolfgang Ecker, „Distinguished Engineer“ bei Infineon Technologies, in einem Interview mit der Plattform Lernende Systeme sagte, schätzt er die Opportunitäten der „Edge AI“ als grenzenlos ein. Aber:

Auch, wenn es bereits Erfolge vorzuweisen gibt, so nutzen wir das verfügbare Potenzial aber bei weitem noch nicht aus. (Quelle)

Trotz der großen Bedeutung von „Edge KI“ und der Notwendigkeit, ihre Möglichkeiten zu erkunden und zu nutzen haben wir also noch viel Luft nach oben. Aber, was passiert denn da gerade überhaupt genau?

Der Zustand des „Edge KI“-Markts

Der Markt für „Edge KI“ wächst rasant. Erst vergangene Woche veröffentlichte META sein neuestes Modell Llama 3.1 Modell. Kurz darauf schrieb Mitko Vasilev auf LinkedIn, dass er die Modelle auf einem Mobiltelefon oder einem kleinen Laptop verwenden könne, nachdem sie auf 4 Bit quantisiert wurden. Die Zeiten, in denen mächtige LLMs ausschließlich auf riesigen Rechnerfarmen laufen konnten scheinen gezählt.

Ach, und noch ein kleiner Tipp: wenn Ihr gerade eh auf Vasilev’s Huggingface Präsenz vorbei schaut, werft mal einen Blick auf seine fantastische Präsentation zu KI und Open Source. Die bietet er dort als kostenfreien Download an – großes Kino. Bitte schreibt ihm unbedingt ein paar nette Zeilen Feedback (schöne Grüße von mir), wenn Ihr seine Inhalte herunterladen möchtet – die KI Community hilft sich gegenseitig und lässt es wissen, wenn jemand gute Inhalte teilt. Außerdem: guter Ton und so…

Ok, zurück zur „Edge“.

Laut dem Bericht „2024 State of Edge AI Report“ von Wevolver wird der Markt für „Edge KI“ bis 2025 auf 1,4 Milliarden US-Dollar anwachsen. Dieser Wachstumstrend wird durch die zunehmende Nachfrage nach „Edge-KI“-Lösungen in verschiedenen Branchen wie der Industrie, dem Gesundheitswesen und der Mobilität weiter voran getrieben.

Im Anwendungsbereich „Industrie“ kann „Edge KI“ zur Realisierung von Predictive-Maintenance-Anwendungen verwendet werden, die eine vorausschauende Wartung von Maschinen und Anlagen ermöglichen. Laut dem Bericht „Edge AI: KI nahe am Endgerät“ der Plattform für künstliche Intelligenz „Lernende Systeme“ kann „Edge KI“ in der Industrie zu einer Steigerung der Produktivität um bis zu 20% und einer Reduzierung der Wartungskosten um bis zu 15% führen.

Herausforderungen und Vorteile von „Edge KI“

Eine der größten Herausforderungen bei der Implementierung ist die Komplexität der Systeme. „Edge KI“ erfordert eine enge Integration von Hardware und Software. Laut Wolfgang Ecker ist eine holistische Herangehensweise erforderlich, um „Edge KI“ erfolgreich zu implementieren. Weitere Herausforderungen sind:

1. Begrenzte Rechenleistung: Edge-Geräte haben oft weniger Leistung als Cloud-Server.

2. Modelloptimierung: KI-Modelle müssen für den Einsatz auf Edge-Geräten angepasst und komprimiert werden. Beispielsweise über Optimierungstechniken.