Elon Musk: xAI Grok-1 ist Open-Source verfügbar
xAI veröffentlicht Grok-1 als Open-Source. Ein KI-Modell mit 314 Milliarden Parametern, das keine Leitplanken kennt.
Grok-1 ist ein KI-Modell, dessen Aufbau eines sogenannten Mixture-of-Experts-Modells entspricht. Gewichte und Architektur des Modells hat xAI jetzt unter der Apache 2.0-Lizenz veröffentlicht. Elon Musk, Gründer von xAI hatte das bereits von Anfang an versprochen, sowie die Veröffentlichung in der vergangenen Woche angekündigt. Das KI-Modell ist nicht auf eine bestimmte Aufgabe spezialisiert und soll entsprechend auch keine Leitplanken oder Grenzen haben. Grok-1 als Modell kann etwa die Basis eines Chatbots bilden, ist selbst aber noch keiner.
Laut einem xAI-Blogbeitrag ist Grok-1 vom Grunde auf ausschließlich von xAI trainiert worden. Was das konkret heißt, kann man nur vermuten. Wahrscheinlich sind die Trainingsdaten nicht von einem anderen Unternehmen zusammengestellt und bereits vorab bearbeitet worden. Woher sie stammen, bleibt aber geheim. Es gibt Anbieter, die gewaltige Datenmengen für das Training von KI-Modellen aufbereiten. Zumeist stammen die Inhalte aus dem Internet, teilweise sind es aber auch urheberrechtlich geschützte Werke, die dafür genutzt werden. Die Rechtmäßigkeit wird in Rechtsstreits erst noch zu klären sein.
Grok-1 kennt keine Schranken und ist das bisher größte Open-Source-Modell
Es soll auch kein menschliches Finetuning des KI-Modells gegeben haben, also einen Schritt nach dem eigentlichen Training, bei dem menschliches Feedback in die KI fließt. Das übernehmen in der Regel billige Clickworker, die etwa unerwünschtes und strafbares Material herausfischen und als solches markieren. Der fehlende Schritt dürfte auch bedeuten, dass Grok-1 deutlich weniger sicherheitsorientiert ist. Musk sieht für ihn typisch in solchen Schranken eher unerwünschte Beschränkungen. Dabei geht es auch um Missbrauch im Sinne von irreführenden Informationen, pornografischen Inhalten und mehr.
Die Arbeiten an Grok-1 sind im Oktober 2023 abgeschlossen worden, das entspricht dann auch dem zugrundeliegenden Wissenstand. Es ist laut xAI ein "raw base model", das auch nicht für eine bestimmte Aufgabe, wie etwa Dialoge abgestimmt wurde. Die Entwicklung soll nur drei Monate gedauert haben. Grok-1 ist mit 314 Milliarden Parametern größer als GPT-3.5 und Metas ebenfalls frei verfügbares Modell Llama 2 – das umfasst 70 Milliarden Parameter.
Lesen Sie auch
Mobile Stroke Unit beim Schlaganfall: Effekt lässt sich durch KI vorhersagen
xLSTM: Extended Long Short-Term Memory – bessere KI-Modelle aus Europa
Neuromorpher Supercomputer SpiNNaker 2 in der Cloud mietbar
KI-Update kompakt: NXAI, Zeitzeugen, OpenAIs Suchmaschine, KI im Wahlkampf
PyTorch: Eigene Bildgenerierungs-KI mit Python bauen
Mixture-of-Experts-Modelle bestehen quasi aus mehreren Modellen, von denen immer nur die geeignetsten Experten herangezogen werden. Grok-1 besteht aus acht Experten-Netzen, von denen für jedes Input-Token zwei aktiv werden. Das heißt quasi, bei jeder Anfrage reagiert nur ein Teil des Modells, was es deutlich effizienter macht.
Grok-1 ist ein Basismodell und nicht gleichzusetzen mit Grok, dem KI-Chatbot, den xAI und Musk bereits veröffentlicht haben. Dieser ist für X-Premium-Abonnenten bereits verfügbar. Musk betonte bei Einführung bereits, man solle ihn nur nutzen, wenn man Humor hat. Damit bezog er sich darauf, dass es auch für diesen Chatbot keine Leitplanken gibt. Ob der Output dann immer witzig ist, mag dahingestellt sein.
(emw)