Es wird immer deutlicher, dass AI-Sprachmodelle zu einem Massenprodukt geworden sind. Der plötzliche Aufstieg von Open-Source-Angeboten wie DeepSeek zeigt, dass sie mit einem relativ geringen Budget zusammengestellt werden können. Ein neues Modell namens S1 unterstreicht diese Entwicklung: Forscher der Stanford University und der University of Washington haben das „Reasoning“-Modell mit weniger als 50 US-Dollar an Cloud-Computing-Kosten trainiert.
S1 tritt in direkte Konkurrenz zu OpenAIs o1, das als Reasoning-Modell bezeichnet wird, weil es Antworten auf Eingaben generiert, indem es verwandte Fragen durchdenkt, um sich selbst zu überprüfen. Wird das Modell beispielsweise gefragt, wie viel es kosten würde, alle Uber-Fahrzeuge durch Waymo-Autos zu ersetzen, könnte es die Frage in mehrere Schritte unterteilen – etwa indem es zuerst ermittelt, wie viele Uber-Fahrzeuge derzeit unterwegs sind, und dann berechnet, wie viel die Produktion eines Waymo-Fahrzeugs kostet.
Laut TechCrunch basiert S1 auf einem bereits bestehenden Sprachmodell, das durch das Studium von Fragen und Antworten aus einem Google-Modell, Gemini 2.0 Flashing Thinking Experimental, das logische Denken erlernte. Da Googles Modell den Denkprozess hinter jeder Antwort sichtbar macht, konnten die Entwickler von S1 ihrem Modell mit relativ wenig Trainingsdaten – 1.000 sorgfältig kuratierte Fragen mit dazugehörigen Antworten – beibringen, den Denkprozess von Gemini nachzuahmen.
Einfache Tricks verbessern die Leistungsfähigkeit von AI-Modellen
Ein besonders interessantes Detail ist die Methode, mit der die Forscher die Reasoning-Leistung von S1 verbesserten: Sie nutzten eine überraschend simple Strategie.
Die Entwickler fügten dem Modell das Wort „wait“ (Warten) hinzu, um es dazu zu bringen, sich selbst zu überprüfen und seine „Denkzeit“ zu verlängern. Laut ihrer wissenschaftlichen Arbeit führte dieser einfache Trick dazu, dass S1 genauere Antworten lieferte.
Das zeigt, dass trotz aller Bedenken über die Grenzen aktueller AI-Modelle noch viel Potenzial für einfache, aber wirkungsvolle Optimierungen besteht. Manche Fortschritte in der Informatik scheinen derzeit auf das richtige „magische Wort“ hinauszulaufen.
Gleichzeitig bleibt die Frage der Datenquellen ein kontroverses Thema. OpenAI hat sich angeblich über das chinesische Team von DeepSeek beschwert, das sein Modell auf Grundlage von OpenAI-Outputs trainiert haben soll. Die Ironie dieser Situation ist offensichtlich: ChatGPT und andere führende Modelle wurden selbst mit Web-Daten trainiert, die ohne Erlaubnis gesammelt wurden – eine Praxis, die derzeit vor Gericht angefochten wird, unter anderem von der New York Times, die gegen die unautorisierte Nutzung ihrer Inhalte klagt. Google verbietet es Konkurrenten wie S1 technisch gesehen ebenfalls, Trainingsdaten aus Gemini-Outputs zu verwenden.
Bedeutet das Ende teurer AI-Modelle das Aus für OpenAI?
Trotz der beeindruckenden Leistung von S1 bedeutet dies nicht, dass ein kleines Modell von Grund auf für nur 50 US-Dollar trainiert werden kann. Vielmehr hat S1 stark von Gemini profitiert, indem es dessen Denkprozesse imitiert – vergleichbar mit einer komprimierten Version eines Bildes. Ein JPEG kann zwar eine hochwertige Aufnahme komprimieren, verliert dabei aber Details. Ebenso haben kleine AI-Modelle oft Probleme mit Genauigkeit, besonders wenn sie großflächig auf das gesamte Internet zugreifen müssen, um Antworten zu generieren.
In großen AI-Unternehmen zeigt sich, dass selbst Führungskräfte AI-generierte Texte ohne gründliche Überprüfung weiterverbreiten. Doch spezialisierte Modelle wie S1 könnten in Bereichen wie On-Device-AI für Apple oder andere Unternehmen sehr nützlich sein.
Die Debatte um Open-Source-AI und ihre Auswirkungen auf die Tech-Branche nimmt an Fahrt auf. Ist OpenAI dem Untergang geweiht, wenn Modelle so leicht kopiert werden können? Befürworter des Unternehmens argumentieren, dass Sprachmodelle ohnehin zu Massenware werden würden – der Erfolg liege nicht in den Modellen selbst, sondern in den Anwendungen, die auf ihnen aufbauen.
Mehr als 300 Millionen Menschen nutzen ChatGPT jede Woche, und das Produkt ist inzwischen gleichbedeutend mit Chatbots und einer neuen Form der Online-Suche. Der Unterschied zwischen AI-Anbietern liegt letztlich in ihrem Ökosystem – etwa OpenAIs Operator, der das Internet für Nutzer durchsucht, oder xAI, das exklusiven Zugriff auf X (ehemals Twitter) hat.
Ein weiterer entscheidender Punkt ist die Kostenfrage. Während Training günstiger wird, bleibt die „Inference“, also die Verarbeitung jeder Nutzeranfrage, teuer. Je mehr AI-Modelle sich verbreiten, desto höher wird die Nachfrage nach Rechenleistung – nicht geringer. OpenAIs geplante 500-Milliarden-Dollar-Serverfarm könnte sich also durchaus als notwendig erweisen – sofern sich der aktuelle AI-Boom nicht als reine Blase entpuppt.
