KI-Logbuch
Inspiration, Entdeckungen, Anwendungen
Created on 2024-09-11 06:36
Published on 2024-09-11 08:45
Liebe Neugierige, Kreative, Entdecker*innen,
willkommen zu einer neuen Ausgabe des KI-Logbuchs!
In jüngster Vergangenheit habe ich im Rahmen einer Telekom-internen Fortbildungsveranstaltung Kolleg*innen mit unterschiedlichsten (gen)KI-Tools vertraut gemacht. Diese Fortbildungsveranstaltungen werden von Mitarbeitenden der Organisation meist in Eigenregie konzipiert, organisiert und durchgeführt. Ja, wir holen uns natürlich auch Expertise von „außen“. Der Ansatz interner Kolleginnen und Kollegen, selber das eigene Wissen weiterzugeben und so alle davon profitieren zu lassen, ist dagegen jedoch bei weitem motivierender und intrinsisch erfüllender – sage zumindest ich, der diese Formate nun schon des Öfteren bespielen durfte. Außerdem profitieren intern organisierte Sessions vom spezifischen Fachwissen der Kolleg*innen an das externe Beiträge so nicht heran reichen würden. Shakil Awan organisiert beispielsweise regelmäßige „LEX Sessions“ zur internen Fortbildung – nicht nur zu KI Themen. Der Servicebereich der Deutsche Telekom organisiert regelmäßige „Magenta Curriculum“ Veranstaltungen, meist online, ebenfalls nicht ausschließlich zum Thema (gen)KI. Hier hat nach langer Zeit Stefan Dörken den Staffelstab an Nils Matkowski weitergegeben. Und dann gibt es noch den Bereich „AI4Coding“, unsere „KI Gilde“, gestartet von Kathrin Rißmann, Promptathons mit Sindy Leffler-Krebs, KI Insights mit Matteo Möller und noch so vieles mehr.
Bei so emsigen KI-Aktivitäten dachte ich mir, es wäre interessant ein paar der Tools, die ich in solchen Sessions vorstelle, auch einmal hier in leicht größerer Runde etwas genauer zu beschreiben. Für die Profis unter Euch kommt in diesem Newsletter wahrscheinlich nichts Neues. Wer aber einen Einstieg in lokale KI sucht, findet hier ja vielleicht ein paar nützliche Tipps.
Wir schauen uns also an, wie künstliche Intelligenz direkt auf unseren eigenen Geräten nutzbar gemacht werden kann. Warum? Weil eigenes „Hands-On“ Lernen immer noch der sicherste Weg zu Erfolg ist. Sage nicht ich, sondern Xunzi (Xun Kuang), ein konfuzianischer Philosoph aus dem dritten Jahrhundert vor Christus:
Nicht von etwas gehört zu haben, ist nicht so gut, wie davon gehört zu haben. Davon gehört zu haben, ist nicht so gut, wie es gesehen zu haben. Es gesehen zu haben, ist nicht so gut, wie es zu wissen. Es zu wissen ist nicht so gut, wie es in die Praxis umzusetzen.
Lokale (gen)KI versetzt Euch in die Lage, Dinge selber und ohne Sorge um Datenverluste umzusetzen. Lasst uns also einmal sehen, wie das im Detail aussieht und funktioniert.
Achtung: auf die richtige Hardware kommt’s an!
Bevor wir eigene KI Anwendungen auf unseren Rechnern installieren sei eines gesagt: ihr braucht schon einen wenigstens mittelmäßig-performanten Rechner, um KI Modelle laden- und ausprobieren zu können – der Medion 230 Euro Laptop wird es leider nicht reißen. Ich persönlich würde zumindest folgende Kern-Ausstattung empfehlen:
- aktuelles Motherboard
- 2TB SSD als C:\ Platte
- mehr als 10 TB normale Festplatte für KI erzeugte Daten
- ganz wichtig: mindestens eine NVIDIA GTX 1070 Grafikkarte mit 8 GB VRAM
Damit solltest Ihr gut gewappnet sein, mittelmäßige KI Aufgaben auf dem eigenen Rechner umzusetzen. Klar geht es auch größer, besser und vor allem teurer. Mit einer NVIDIA RTX 4090 Grafikkarte beispielsweise. Die hat dann auch statt 8GB ganze 24GB VRAM. Je größer der VRAM Speicher, desto größere Modelle können direkt in deren Speicher geladen und ausgeführt werden. Man kann zwar auch die eigene CPU nutzen, nur ist die extrem langsam im Vergleich zu den Grafikchips von NVIDIA.
Ok, sobald Euer Rechner die Mindestanforderungen erfüllt, kann es weiter gehen.
Lokale KI-Modelle mit LM Studio und GPT4All
Die Entwicklung von Large Language Models (LLMs) hat sich in den letzten Jahren in zwei Richtungen bewegt. Einerseits werden die Modelle durch neuere Verfahren immer kompakter und leistungsfähiger. Andererseits wird die Hardware auf der diese Modelle laufen immer performanter (und günstiger). Nur die ganz großen KI Modelle sind nach wie vor in der Cloud angesiedelt. Aber die Möglichkeiten, leistungsstarke KI-Modelle lokal auf dem eigenen Rechner laufen zu lassen werden zunehmend vielzähliger und auch relevanter. Zwei besondere Tools in diesem Bereich sind „LM Studio“ und „GPT4All„.
LM Studio ist eine plattformübergreifende Desktop-Anwendung, die es Nutzern ermöglicht, LLMs direkt auf ihrem Computer zu erkunden und zu verwenden. Mit einer intuitiven Benutzeroberfläche macht LM Studio den Umgang mit fortschrittlichen Sprachmodellen auch für Nutzer ohne umfangreiche technische Erfahrung zugänglich. Ein besonderer Vorteil ist die Möglichkeit, kompatible Modelle direkt von Hugging Face herunterzuladen und zu verwalten. Hugging Face ist DIE Plattform für Open Source KI Modelle aber auch Datensätze und vieles mehr.
Ein herausragendes Feature von LM Studio ist die Unterstützung von Multimodal-Modellen wie Lava, die nicht nur Text, sondern auch Bilder verarbeiten können. Dies eröffnet völlig neue Möglichkeiten für die Analyse und Beschreibung von visuellen Inhalten.
GPT4All verfolgt einen ähnlichen Ansatz und ermöglicht es, Sprachmodelle auf handelsüblicher Hardware laufen zu lassen. Mit Unterstützung für Mac M-Series-Chips, AMD- und NVIDIA-GPUs bietet GPT4All eine breite Kompatibilität. Ein besonderer Fokus liegt hier auf Datenschutz und Sicherheit – alle Berechnungen finden lokal statt, ohne dass sensible Daten das Gerät verlassen.
Beide Tools, LM Studio und GPT4All, demokratisieren den Zugang zu KI-Technologien und ermöglichen es Forschern, Entwicklern und Enthusiasten,