Brain2Music: Google will Musik auf Basis von Gehirn-Aktivitäten generieren

Mittels funktioneller Magnetresonanztherapie (fMRT) können Gehirnaktivitäten aufgezeichnet werden. Und diese Aufzeichnungen wiederum können genutzt werden, um Musik zu rekonstruieren. Wissenschaftler von Google und der Osaka Universität arbeiten daran, auf dieser Basis eine Künstliche Intelligenz zu erschaffen, die aus Bildern, die man im Kopf hat, Musik zu machen. Sie nennen das Modell Brain2Music.

Wie die KI funktionieren soll, haben die Forscher in einem Paper veröffentlicht, das über arXiv verfügbar ist. Darin heißt es, "Erfahrungen oder Erlebnisse aus dem Gehirn zu rekonstruieren, ermöglicht eine einzigartige Art und Weise, zu verstehen, wie das Gehirn die Welt interpretiert und repräsentiert." Musik ist freilich nur ein Aspekt der aktuellen Forschung in Richtung, Gehirnaktivitäten wiederzugeben. Dabei nutzen die Wissenschaftler Music Retrieval, also eine bestimmte Art der Extraktion und Aggregation von Audiodateien. Alternativ wird das KI-Model MusicLM herangezogen, das dann auf Embeddings aus den fMRT-Daten gründet. Damit ist der Aufbau des Modells gemeint, die Embeddings bilden als Vektoren die Zusammenhänge ab. fMRT misst den Sauerstoff-Gehalt des Bluts im Hirn, wodurch gesehen werden kann, welche Areale jeweils aktiv sind.

Für das Experiment wurde fünf Menschen wiederholt Musik vorgespielt – jeweils ein 15 Sekunden langer Ausschnitt zu mehreren Genres von Klassik über Blues bis Reggae. Mit den aufgezeichneten Gehirnaktivitäten wurde dann ein tiefes Neuronales Netzwerk trainiert. Dadurch konnten Zusammenhänge zwischen den Elementen der Musik und dem, was im Gehirn passierte, festgehalten werden. Die Wissenschaftler haben die Stimmungen kategorisiert und die Musik beschrieben.

Wie genau die Beschreibungen lauten, steht im Paper. Ein Beispiel für Blues ist: "Es ist lazy Blues mit einem entspannten Tempo und entspannter Atmosphäre. Die Bandstruktur ist einfach, mit dem Hintergrundrhythmus, der durch Bass- und Gitarrenschnitt unterbrochen wird. Die eindrückliche Phrasierung der Leadgitarre gibt dem Stück einen nostalgischen Eindruck."

Abgeleitete Daten landen dann bei MusicLM

Brain2Music ist nun der Part, der für jeden Probanden einzeln angefertigt wurde und die Gehirnaktivitäten in Musik umwandeln sollte. Googles MusicLM ist ein generatives KI-Model, das Musik aus Text generieren kann. Ihm wurden die Informationen genau dafür weitergereicht. "Die erzeugte Musik ähnelt den musikalischen Reizen, die menschliche Subjekte erlebten, in Bezug auf semantische Eigenschaften wie Genre, Instrumentierung und Stimmung."

Die Forscher halten allerdings fest, dass jedes Gehirn so einzigartig funktioniert, dass es nicht möglich sein wird, das für eine Person erstellte Model auf jemanden anders zu übertragen. Auch bedarf es einer großen Menge an Daten aus dem fMRT, was wiederum für den Probanden eine stundenlange Aufzeichnung bedeutet.

(emw)