Nemotron 3.5 Lightning: Nvidias offenes KI-Modell für Agenten

Nvidia ist ein Technologieriese, der sich vor allem durch Grafikkarten und Prozessoren für Künstliche Intelligenz bekannt gemacht hat. In letzter Zeit investiert Nvidia aber auch massiv in die Entwicklung von Sprachmodellen und KI-Software. Das Unternehmen hat erkannt, dass die Zukunft nicht nur in der Hardware liegt, sondern auch in der Software, die auf dieser Hardware läuft.

Nemotron ist Nvidias Reihe von offenen Sprachmodellen, also KI-Modellen, die Nvidia öffentlich zur Verfügung stellt, damit andere Entwickler damit arbeiten können. Die neue Version, Nemotron 3.5 Lightning, ist ein 30-Milliarden-Parameter-Modell mit einer speziellen Architektur: Es handelt sich um ein sogenanntes Mixture-of-Experts-Modell (MoE). Das bedeutet, dass das Modell aus mehreren kleineren Experten-Modellen besteht, die sich je nach Aufgabe "spezialisieren". Dies ermöglicht schnellere und effizientere Verarbeitung.

Das Besondere an Nemotron 3.5 Lightning ist die Optimierung für "Agenten"-Workloads. KI-Agenten sind Systeme, die selbstständig Aufgaben ausführen, wie etwa das Recherchieren von Informationen, die Verwaltung von Datenbanken oder das Treffen von Entscheidungen basierend auf Regeln. Diese Workloads erfordern schnelle Reaktionszeiten und präzise Ausgaben. Nemotron 3.5 Lightning wurde speziell dafür trainiert.

Parallel zur Modell-Veröffentlichung hat Nvidia auch die NeMo Switchyard Bibliothek vorgestellt. Das ist ein Softwarepaket mit Bausteinen für sogenannte Modell-Router. Ein Router entscheidet automatisch, welches Unter-Modell des Mixture-of-Experts-Systems für eine gegebene Anfrage genutzt werden sollte. Dies ermöglicht eine noch bessere Optimierung der Ressourcennutzung.

Für Unternehmen und Entwickler, die an KI-Agenten interessiert sind, ist dies ein wichtiger Entwicklungsschritt. Nemotron 3.5 Lightning ist offen, das heisst, Entwickler können es kostenlos nutzen, lokal auf ihren eigenen Servern ausführen und an ihre speziellen Anforderungen anpassen. Dies reduziert die Abhängigkeit von Cloud-KI-Services und gibt mehr Kontrolle über die eigenen Daten.