OpenAI hat die Zeit und Ressourcen, die es für die Sicherheit seiner leistungsstarken künstlichen Intelligenz-Modelle aufwendet, drastisch gekürzt, was Bedenken aufkommen lässt, dass die Technologie ohne ausreichende Sicherheitsvorkehrungen überstürzt auf den Markt gebracht wird.
Mitarbeiter und Drittanbietergruppen haben in letzter Zeit nur noch wenige Tage Zeit, um „Evaluierungen“ durchzuführen, den Begriff für Tests zur Bewertung der Risiken und Leistung der neuesten großen Sprachmodelle von OpenAI, im Vergleich zu mehreren Monaten zuvor.
Laut acht mit den Testprozessen von OpenAI vertrauten Personen sind die Tests des Start-ups weniger gründlich geworden, wobei nicht ausreichend Zeit und Ressourcen für die Identifizierung und Minimierung von Risiken aufgewendet werden, da das 300-Milliarden-Dollar-Start-up unter Druck steht, neue Modelle schnell auf den Markt zu bringen und seinen Wettbewerbsvorteil zu behalten.
„Wir haben eine gründlichere Sicherheitsprüfung durchgeführt, als [die Technologie] weniger wichtig war“, sagte eine Person, die derzeit das kommende o3-Modell von OpenAI testet, das für komplexe Aufgaben wie Problemlösung und Argumentation konzipiert ist.
Sie fügte hinzu, dass mit zunehmender Leistungsfähigkeit der LLMs die „potenzielle Waffenfähigkeit“ der Technologie zunimmt. „Aber weil die Nachfrage danach größer ist, wollen sie es schneller auf den Markt bringen. Ich hoffe, es ist kein katastrophaler Fehler, aber es ist leichtsinnig. Das ist eine Rezept für eine Katastrophe.“
Der Zeitdruck wurde durch „Wettbewerbsdruck“ getrieben, so Personen, die mit der Angelegenheit vertraut sind, da OpenAI gegen Big-Tech-Gruppen wie Meta und Google sowie Start-ups wie Elons Musks xAI antritt, um von der Spitzentechnologie zu profitieren.
Es gibt keinen globalen Standard für KI-Sicherheitstests, aber ab später in diesem Jahr wird das AI-Gesetz der EU Unternehmen dazu verpflichten, Sicherheitstests an ihren leistungsstärksten Modellen durchzuführen. Zuvor haben KI-Gruppen, darunter auch OpenAI, freiwillige Vereinbarungen mit Regierungen im Vereinigten Königreich und den USA unterzeichnet, um Forschern von KI-Sicherheitsinstituten Tests an Modellen zu ermöglichen.
OpenAI hat darauf gedrängt, sein neues Modell o3 bereits nächste Woche zu veröffentlichen und einigen Testern weniger als eine Woche Zeit für ihre Sicherheitschecks einzuräumen, so Personen, die mit der Angelegenheit vertraut sind. Dieses Veröffentlichungsdatum könnte sich noch ändern.
Zuvor ließ OpenAI mehrere Monate für Sicherheitstests zu. Für GPT-4, das 2023 eingeführt wurde, hatten Tester sechs Monate Zeit, um Evaluierungen durchzuführen, bevor es veröffentlicht wurde, so Personen, die mit der Angelegenheit vertraut sind.
Eine Person, die GPT-4 getestet hatte, sagte, dass einige gefährliche Fähigkeiten erst zwei Monate nach Beginn der Tests entdeckt wurden. „Sie priorisieren die öffentliche Sicherheit überhaupt nicht“, sagte sie über den aktuellen Ansatz von OpenAI.
„Es gibt keine Vorschrift, die besagt, dass [Unternehmen] die Öffentlichkeit über alle beängstigenden Fähigkeiten informieren müssen . . . und sie stehen auch unter großem Druck, sich gegenseitig zu überbieten, also werden sie nicht aufhören, ihre Modelle leistungsfähiger zu machen“, sagte Daniel Kokotajlo, ein ehemaliger OpenAI-Forscher, der jetzt die gemeinnützige Gruppe AI Futures Project leitet.
OpenAI hat sich zuvor verpflichtet, maßgeschneiderte Versionen seiner Modelle zu erstellen, um möglichen Missbrauch zu bewerten, wie beispielsweise ob seine Technologie dazu beitragen könnte, ein biologisches Virus übertragbarer zu machen.
Dieser Ansatz erfordert erhebliche Ressourcen, wie die Zusammenstellung von Datensätzen mit spezialisierten Informationen wie Virologie und das Einspeisen in das Modell, um es in einer Technik namens Feinabstimmung zu trainieren.
OpenAI hat dies jedoch nur in begrenztem Umfang getan und sich entschieden, ein älteres, weniger leistungsfähiges Modell anstelle seiner leistungsstärkeren und fortgeschritteneren Modelle zu feinabstimmen.
Der Sicherheits- und Leistungsbericht von OpenAI zu o3-mini, seinem kleineren Modell, das im Januar veröffentlicht wurde, bezieht sich darauf, wie sein früheres Modell GPT-4o eine bestimmte biologische Aufgabe nur dann ausführen konnte, wenn es feinabgestimmt wurde. Allerdings hat OpenAI nie berichtet, wie auch seine neueren Modelle, wie o1 und o3-mini, abschneiden würden, wenn sie feinabgestimmt würden.
„Es ist großartig, dass OpenAI einen so hohen Maßstab gesetzt hat, indem es sich verpflichtet hat, maßgeschneiderte Versionen seiner Modelle zu testen. Aber wenn sie dieser Verpflichtung nicht nachkommen, verdient die Öffentlichkeit es zu erfahren“, sagte Steven Adler, ein ehemaliger Sicherheitsforscher bei OpenAI, der zu diesem Thema einen Blog geschrieben hat.
„Das Nichtdurchführen solcher Tests könnte bedeuten, dass OpenAI und die anderen KI-Unternehmen die schlimmsten Risiken ihrer Modelle unterschätzen“, fügte er hinzu.
Personen, die mit solchen Tests vertraut sind, sagten, dass sie hohe Kosten verursachen, wie die Anstellung externer Experten, die Erstellung spezifischer Datensätze sowie die Verwendung interner Ingenieure und Rechenleistung.
OpenAI sagte, dass es Effizienzen in seinen Evaluierungsprozessen geschaffen habe, einschließlich automatisierter Tests, was zu verkürzten Zeitrahmen geführt habe. Es fügte hinzu, dass es keinen festgelegten Ansatz wie die Feinabstimmung gebe, aber es sei zuversichtlich, dass seine Methoden die besten seien, die es tun könne, und in seinen Berichten transparent dargestellt würden.
Es fügte hinzu, dass Modelle, insbesondere für katastrophale Risiken, gründlich getestet und für die Sicherheit abgemildert würden.
Empfohlen
„Wir haben ein gutes Gleichgewicht zwischen der Geschwindigkeit, mit der wir uns bewegen, und wie gründlich wir sind“, sagte Johannes Heidecke, Leiter der Sicherheitssysteme.
Ein weiteres Anliegen war, dass Sicherheitstests oft nicht an den endgültigen Modellen durchgeführt werden, die der Öffentlichkeit zur Verfügung gestellt werden. Stattdessen werden sie an früheren sogenannten Checkpoints durchgeführt, die später aktualisiert werden, um die Leistung und Fähigkeiten zu verbessern, wobei in den System-Sicherheitsberichten von OpenAI von „nahezu endgültigen“ Versionen die Rede ist.
„Es ist schlechte Praxis, ein Modell zu veröffentlichen, das sich von dem unterscheidet, das Sie evaluiert haben“, sagte ein ehemaliges technisches Mitarbeitermitglied von OpenAI.
OpenAI sagte, die Checkpoints seien „praktisch identisch“ mit dem, was am Ende veröffentlicht wurde.