Künstliche Intelligenz wird oft mit massiven Rechenzentren und Cloud-Infrastruktur assoziiert. Tatsächlich erfordern die grössten Modelle enorme Ressourcen. Aber die rasante Entwicklung von Modell-Optimierungstechniken hat dazu geführt, dass auch kompaktere Hardware KI-Funktionalität bereitstellen kann.
Single-Board-Computer wie der Raspberry Pi sind kleine, kostengünstige und energieeffiziente Systeme, die ursprünglich für Bildungszwecke entwickelt wurden. Sie haben sich längst in der Industrie und bei Hobbyisten als praktische Lösungen etabliert. Jetzt zeigen sich neue Möglichkeiten: Moderne optimierte Sprachmodelle laufen auf diesen Geräten lokal, ohne dass eine Cloud-Verbindung nötig ist.
Dies hat mehrere Vorteile, die auch für KMUs relevant sind. Erstens: Datenschutz. Wenn sensible Daten lokal auf eigenem Hardware verarbeitet werden, bleibt die Kontrolle im eigenen Unternehmen. Es ist kein Upload in die Cloud nötig. Zweitens: Zuverlässigkeit. Ein lokales System funktioniert auch dann, wenn die Internet-Verbindung ausfällt. Drittens: Kosten. Kleine Geräte sind energieeffizient und sparen Betriebskosten. Ein Unternehmen könnte etwa kleine KI-Assistenten für Kundensupport oder Datenverarbeitung auf lokalen Rechnern betreiben. Die praktische Anleitung in der Literatur zeigt, dass der Einstieg mittlerweile auch für Nicht-Spezialisten möglich ist.