Der Trend zu lokaler, dedizierter KI-Hardware gewinnt an Fahrt. Während spezialisierte KI-Workstations (wie Framework Desktop oder RTX Ada-Systeme) oft 3000 Euro und mehr kosten, zeigt ein praktisches Bauprojekt: Mit gebrauchter Hardware lässt sich eine gleichwertiges System für etwa 900 Euro zusammenstellen, das grosse Sprachmodelle und KI-Workloads lokal verarbeitet.
Das System basiert auf AMD-Prozessoren und Grafikkarten mit CUDA- oder ROCm-Support, die auf dem Gebrauchtmarkt günstig zu finden sind. Der Vorteil: Unternehmen und Entwickler können KI-Modelle mit bis zu 200 Milliarden Parametern auf eigenem Equipment ausführen, ohne Cloud-APIs zu nutzen. Das bedeutet Datensicherheit, Kosteneffizienz bei hohem Durchsatz und keine Abhängigkeit von externen Diensten oder Internet-Verfügbarkeit.
Dies ist besonders für KMU relevant, die mit propriätären oder sensiblen Daten arbeiten. Medizinische Dienste, Rechtsanwälte, Finanzberater und Fertigungsbetriebe können jetzt örtlich gebundene Datenverarbeitung durchführen, ohne Millionen für spezialisierte Hardware auszugeben. Das macht lokale KI-Inferenz wirtschaftlich. Auch Entwicklungsteams profitieren: Sie können KI-Prototypen lokal testen, debuggen und optimieren, bevor sie ins Production-System gehen.
Ein Nachteil gebrauchter Hardware ist die Verfügbarkeit und das Risiko von Ausfallzeiten. Allerdings lohnt sich diese Investition für Teams, die regelmässig mit KI arbeiten und Fähigkeiten wie Datenschutz und Kontrolle höher bewerten als neueste Performance.
