Das Superalignment-Team von OpenAI, das mit der Kontrolle der existenziellen Gefahr eines übermenschlichen KI-Systems beauftragt war, wurde Berichten zufolge aufgelöst. Verdrahtet am Freitag. Die Nachricht kommt nur Tage nach der Veröffentlichung der Gründer des Teams, Ilya Sutskever und Jan Leike, gleichzeitig das Unternehmen verlassen.
Wired berichtet, dass das Superalignment-Team von OpenAI nicht mehr existiert . Das im Juli 2023 gegründete Team wurde gegründet um zu verhindern dass übermenschliche KI-Systeme der Zukunft außer Kontrolle geraten. In dem Bericht wird die Arbeit der Gruppe in die anderen Forschungsbemühungen von OpenAI aufgenommen werden. Die Forschung zu den Risiken im Zusammenhang mit leistungsstärkeren KI-Modellen wird laut Wired nun von OpenAI-Mitbegründer John Schulman geleitet werden. Sutskever und Leike gehörten zu den führenden Wissenschaftlern von OpenAI mit dem Schwerpunkt auf KI-Risiken.
Leike postete ein langer Thread auf X Freitag erklärte er vage, warum er OpenAI verlassen hat. Er sagt , seit einer Zeit strittig mit der OpenAI-Führung über die Grundwerte sei seit dieser Woche ist jedoch ein Knackpunkt erreicht worden. Leike bemerkte , dass das Superalignment-Team „gegen den Wind segelt “ und darum kämpft , genügend Rechenleistung für entscheidende Forschung zu bekommen. Er denkt dass OpenAI sich mehr auf Sicherheit, Schutz und Ausrichtung konzentrieren muss.
I joined because I thought OpenAI would be the best place in the world to do this research.
However, I have been disagreeing with OpenAI leadership about the company's core priorities for quite some time, until we finally reached a breaking point.
— Jan Leike (@janleike) May 17, 2024
Das Presseteam von OpenAI wies uns an: Tweet von Sam Altman auf die Frage, ob das Superalignment-Team aufgelöst wurde. Altman sagt, er werde in den nächsten Tagen einen längeren Beitrag verfassen und OpenAI „noch viel mehr zu tun“.
i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.
— Sam Altman (@sama) May 17, 2024
Später stellte ein Sprecher von OpenAI klar: „Superalignment wird nun tiefer in die Forschung integriert, was uns dabei helfen wird, unsere Superalignment-Ziele besser zu erreichen.“ Das Unternehmen teilt mit, dass diese Integration „vor Wochen“ begonnen habe und dass die Teammitglieder und Projekte von Superalignment letztendlich in andere Teile des Unternehmens verlagert werden.
„Derzeit haben wir keine Lösung, um eine potenziell superintelligente KI zu steuern oder zu kontrollieren und zu verhindern, dass sie außer Kontrolle gerät“, sagte das Superalignment-Team in einem OpenAI-Blogbeitrag. gestartet im Juli„Aber der Mensch wird nicht in der Lage sein, KI-Systeme, die viel intelligenter sind als wir, zuverlässig zu überwachen, und daher werden unsere aktuellen Ausrichtungstechniken nicht auf Superintelligenz skalierbar sein. Wir brauchen neue wissenschaftliche und technische Durchbrüche.“
Es ist nun unklar, ob diesen technischen Durchbrüchen die selbe Aufmerksamkeit gewidmet wird. Zweifellos gibt es bei OpenAI andere Teams, die sich auf Sicherheit konzentrieren. Schulmans Team, das Berichten nach Superalignment die Aufgaben übernimmt, ist derzeit für die Feinabstimmung der KI-Modelle nach dem Training verantwortlich. Superalignment konzentrierte sich jedoch speziell auf die schwerwiegendsten Folgen einer abtrünnigen KI. Wie Gizmodo gestern feststellte, haben mehrere der äußerst lautstarken Befürworter der KI-Sicherheit von OpenAI gekündigt oder entlassen worden in den letzten Monaten.
Anfang des Jahres veröffentlichte die Gruppe eine bemerkenswerte Forschungsarbeit über Steuerung großer KI-Modelle mit kleineren KI-Modellen— gilt als erster Schritt zur Steuerung superintelligenter KI-Systeme. Es ist unklar, wer bei OpenAI die nächsten Schritte bei diesen Projekten unternehmen wird.
Sam Altmans KI-Startup startete diese Woche mit Vorstellung von GPT-4Omni, das neueste Pioniermodell des Unternehmens, das über Antworten mit extrem niedriger Latenz verfügte, die menschlicher klangen als je zuvor. Viele Mitarbeiter von OpenAI bemerkten, dass das neueste KI-Modell des Unternehmens näher denn je an etwas aus der Science-Fiction sei, insbesondere an den Film Ihr.
