Außer Kontrolle?
Eigene KI hackt Firma – OpenAI zieht die Notbremse
Eine Künstliche Intelligenz von OpenAI hat während eines Tests die Systeme eines anderen Unternehmens angegriffen – nun reagiert der ChatGPT-Entwickler mit einer ungewöhnlichen Maßnahme: Die Entwicklung neuer Modelle wird verlangsamt. Das Training der nächsten Modellgeneration „Astra“ und der bislang größte geplante Trainingslauf liegen vorerst auf Eis.
Kronen Zeitung als bevorzugte Google-Quelle hinzufügen OpenAI teilte am Dienstag mit, seine Forschungs- und Trainingssysteme zu überarbeiten. Zudem wurden die Modelltests nach dem Vorfall im Juli für zwei Wochen pausiert. Künftig sollen zusätzliche KI-Systeme die Aktivitäten der eingesetzten Agenten überwachen.
Programm „brach“ aus Testumgebung aus
Auslöser war ein Vorfall, bei dem ein autonomer KI-Agent während eines Tests in die Systeme des Start-ups Hugging Face eindrang. Der Agent wurde von zwei fortschrittlichen KI-Modellen gesteuert und sollte ursprünglich einen Cybersicherheitstest absolvieren. Dabei „brach“ das Programm aus seiner vorgesehenen Testumgebung aus und griff auf die Systeme des anderen Unternehmens zu, um ein Testziel zu erreichen.
Haben Forscher Modelle noch im Griff?
Ob die nun geplanten Sicherheitsmaßnahmen ausreichen, um vergleichbare Vorfälle künftig zu verhindern, ist allerdings offen. OpenAI-Vertreter räumten demnach ein, dass die Wirksamkeit der sogenannten „Chain-of-thought“-Überwachung fraglich sei. Dabei können Forscher den Planungsprozess eines KI-Modells einsehen.
Erste Untersuchungen deuten jedoch darauf hin, dass eine KI ihre Pläne für Regelverstöße in diesem Prozess möglicherweise verbergen kann. Sensible Arbeitsabläufe sollen deshalb künftig in stärker isolierten Umgebungen, sogenannten Sandboxes, stattfinden.
Reaktion mit ungewöhnlichem Schritt
Bereits am 7. August hatte OpenAI erklärt, die Sicherheitskontrollen für seine leistungsfähigsten Modelle zu verschärfen und sämtliche Aktivitäten im Zusammenhang mit der noch unveröffentlichten KI „Astra“ zu pausieren. Nun wird auch das Training der nächsten Modellgeneration vorerst nicht fortgesetzt. Gleiches gilt für den bisher größten geplanten Trainingslauf.
Die Verlangsamung ist für OpenAI ungewöhnlich. In den vergangenen Jahren hatte das Unternehmen die Entwicklung und Prüfung neuer Modelle angesichts des intensiven Wettbewerbs in der KI-Branche deutlich beschleunigt.
Mitarbeiter halten mit Datenmengen kaum Schritt
Nach Angaben der Nachrichtenagentur Reuters liefen häufig mehrere Modellevaluierungen gleichzeitig und mit hoher Geschwindigkeit. Dabei entstanden enorme Datenmengen, mit denen die Mitarbeiter kaum Schritt halten konnten.
Führungskräfte von OpenAI erklärten am Dienstag, die gesamte Branche benötige eine umfassendere Strategie, um sich auf künftige Modelle vorzubereiten. Ein Untersuchungsbericht zu dem Vorfall mit Hugging Face soll in Kürze veröffentlicht werden.
Willkommen in unserer Community! Eingehende Beiträge werden geprüft und anschließend veröffentlicht. Bitte achten Sie auf Einhaltung unserer Netiquette und AGB. Für ausführliche Diskussionen steht Ihnen ebenso das krone.at-Forum zur Verfügung. Hier können Sie das Community-Team via unserer Melde- und Abhilfestelle kontaktieren.
User-Beiträge geben nicht notwendigerweise die Meinung des Betreibers/der Redaktion bzw. von Krone Multimedia (KMM) wieder. In diesem Sinne distanziert sich die Redaktion/der Betreiber von den Inhalten in diesem Diskussionsforum. KMM behält sich insbesondere vor, gegen geltendes Recht verstoßende, den guten Sitten oder der Netiquette widersprechende bzw. dem Ansehen von KMM zuwiderlaufende Beiträge zu löschen, diesbezüglichen Schadenersatz gegenüber dem betreffenden User geltend zu machen, die Nutzer-Daten zu Zwecken der Rechtsverfolgung zu verwenden und strafrechtlich relevante Beiträge zur Anzeige zu bringen (siehe auch AGB). Hier können Sie das Community-Team via unserer Melde- und Abhilfestelle kontaktieren.