Wer mit KI-Modellen auf seinem Mac arbeiten möchte, erhält gute Nachrichten: Das Open-Source-Projekt Ollama hat Version 0.40.0 veröffentlicht, die MLX als Standardframework für Apple-Silicon-Macs etabliert. MLX ist eine speziell für Apple Silicon optimierte Bibliothek, die es ermöglicht, KI-Modelle effizient und schnell auf modernen Macs auszuführen.
Das ist wichtig, weil Apple Silicon (wie der M1, M2, M3 und neuere Chips) eine völlig andere Architektur hat als traditionelle x86-Prozessoren. MLX nutzt diese Besonderheiten intelligent aus und kann dadurch deutlich bessere Performance bieten. Mit Ollama 0.40.0 werden nun auch Entscheidungs- und Embedding-Modelle über MLX ausgeführt, nicht nur die grösseren Sprachmodelle.
Die praktische Bedeutung davon ist erheblich: Für IT-Dienstleister und Entwickler, die Macs nutzen, bedeutet das, dass sie KI-Modelle lokal und mit guter Performance betreiben können, ohne auf Cloud-Services angewiesen zu sein. Das hat Datenschutz-Vorteile (Daten bleiben auf dem lokalen Gerät), Kosteneinsparungen (keine Cloud-Gebühren) und Latenz-Vorteile (keine Netzwerk-Verzögerung).
Ollama selbst ist ein beliebtes Open-Source-Tool, das das Herunterladen, Ausführen und Verwenden von lokalen KI-Modellen vereinfacht. Durch die Integration von MLX wird die Benutzererfahrung auf Macs deutlich besser. Mac-Nutzer müssen nicht mehr auf Workarounds oder ineffiziente Lösungen ausweichen.
Dies ist auch ein Beispiel für die wachsende Bedeutung lokaler KI. Viele Organisationen möchten nicht alle ihre Anfragen an Cloud-Anbieter schicken. Mit Tools wie Ollama und Hardware wie Apple Silicon kann dies jetzt pragmatisch umgesetzt werden. Für KMU bedeutet dies, dass sie auch ohne grosse Cloud-Infrastruktur mit modernen KI-Modellen arbeiten können.