Sam Altman, Geschäftsführer von OpenAI, hat eine provokante Kritik geäussert: Der typische Arbeitsspeicher in heimischen PCs ist für die sinnvolle Nutzung lokaler KI-Modelle "ziemlich furchtbar". Seine Aussage zielt auf ein technisches Realität hin, die vielen Nutzern möglicherweise nicht bewusst ist.
Der Hintergrund: KI-Modelle, besonders grosse sprachliche Modelle, brauchen enorme Mengen RAM, um effizient zu laufen. Ein typischer Consumer-PC hat 8 bis 16 Gigabyte Arbeitsspeicher. Hochwertige KI-Modelle benötigen oft 32 bis 128 Gigabyte oder mehr, je nachdem, wie viele Parameter das Modell hat. Wenn ein grosses Modell auf einem schwach ausgestatteten System läuft, werden Teile auf die Festplatte ausgelagert (Swap), was zu erheblichen Geschwindigkeitseinbussungen führt.
Altmans Aussage ist auch ein Geschäftsargument: OpenAI und andere KI-Dienstleister möchten Nutzer dazu bewegen, ihre KI-Services cloud-basiert zu nutzen, anstatt lokale Modelle zu betreiben. Der CEO deutet an, dass lokale Lösungen nicht sinnvoll sind, wenn die Hardware nicht mitspielt. Dies ist natürlich auch korrekt vom technischen Standpunkt aus.
Für KMUs hat dies mehrere Implikationen. Erstens, wenn sie KI-Funktionen einführen wollen, werden sie wahrscheinlich auf Cloud-Lösungen angewiesen sein, da lokale Infrastruktur teuer wird. Zweitens zeigt sich hier ein allgemeiner Trend: Die Anforderungen moderner Software und AI-Anwendungen wachsen rasant, und nicht jeder kann die neueste Hardware kaufen.
Dies unterstreicht auch, dass die digitale Divide nicht nur Bandbreitenfrage ist, sondern auch Hardware-Anforderungen betreffen. Unternehmen, die in KI investieren, brauchen moderne Infrastruktur oder müssen cloud-Lösungen nutzen, was dann wiederholt Abhängigkeiten schafft.