Ein scheinbar paradoxes Phänomen zeichnet sich in der KI-Wirtschaft ab: Während die Preise für die KI-Modelle selbst sinken, werden die operativen Kosten für den tatsächlichen Betrieb von KI-Systemen dramatisch steigen. Das Forschungsunternehmen Gartner hat eine Prognose veröffentlicht, die vorhersagt, dass die Inferenzkosten für KI-Agenten bis 2028 um das Fünffache ansteigen könnten.
Inferenz ist das Gegenteil von Training: Während Training das Modell lehrt und hohe Rechenkraft erfordert, ist Inferenz die eigentliche Nutzung des Modells, um Fragen zu beantworten oder Aufgaben auszuführen. Wenn ein KI-System eine Kundenanfrage bearbeitet oder eine Analyse durchführt, findet Inferenz statt. Diese Operationen brauchen ebenfalls erhebliche Rechenressourcen und damit Kosten.
Die steigende Prognose hat mehrere Gründe. KI-Agenten werden zunehmend komplexer und autonomer. Sie müssen mehrere Schritte selbstständig ausführen, externe Daten abfragen, mit anderen Systemen kommunizieren und ihre Antworten validieren. Dies ist rechenintensiver als einfache Abfragen an ein Sprachmodell. Zudem wird die Nachfrage nach KI-Services enorm wachsen, was die verfügbare Rechenkapazität unter Druck setzt und Preise treibt.
Für Unternehmen, die KI-Lösungen einführen oder planen, ist dies eine wichtige Kostenkalkulation. Ein KI-Projekt kann initial mit moderaten Betriebskosten starten, aber schnell teuer werden, wenn der Nutzungsumfang wächst. KMUs sollten bei der Evaluierung von KI-Projekten nicht nur die Softwarekosten betrachten, sondern auch die Rechenkosten realistisch einplanen und szenariobezogene Kostenmodelle erstellen. Es ist empfehlenswert, mit Rechenanbietern klare Preisabstufungen zu verhandeln oder Cloud-Modelle zu bevorzugen, die Kosten nur bei tatsächlicher Nutzung in Rechnung stellen.