The ACIDS Research project

Die Entwicklung von Werkzeugen zur Unterstützung der Musikproduktion ist eine komplexe Aufgabe, die sowohl künstlerische als auch technische Kenntnisse erfordert. Aus diesem Grund arbeiten wir ständig mit professionellen Künstlern zusammen, um unsere Forschungen im Hinblick auf die Entwicklung produktionsreifer Modelle und Werkzeuge zu vertiefen und zu verfeinern.

Klang-Synthesizer sind in der Musik allgegenwärtig und definieren sogar ganz neue Musikgenres. Aufgrund ihrer Komplexität und der Vielzahl ihrer Parameter sind sie jedoch schwer zu beherrschen. Daher werden Synthesizer meist durch die Komplexität ihrer Interaktionen vernebelt, was den wahren Umfang ihres klanglichen Potenzials verschleiert. Kürzlich haben wir ein innovatives Lernmodell (FlowSynth) genannt) entwickelt, das den latenten Klangraum eines Synthesizers erlernen und kontinuierlich seine Parameter abbilden kann. So können wir eine Wave-Datei in unser Plugin speisen und daraus den Parametersatz eines bestimmten Synthesizers finden, der der erhofften Audioausgabe am nächsten kommt. Mit diesem neuen Lernmodell können auch die wichtigsten Makro-Bedienelemente eines Synthesizers erlernt werden. Dies ermöglicht zum Beispiel auf organisierte Weise durch Presets zu hoppen, oder Parameter aus dem Audio ableiten zu können, um den Synthesizer mit unserer Stimme zu steuern. Sogar semantische Dimensionen können so erlernt werden, bei denen wir herausfinden, wie die Bedienelemente zu bestimmten semantischen Konzepten passen – und das alles mit einem einzigen Modell. So können wir den Synthesizer auf direktere und fortgeschrittenere Weise erkunden. Es kann als ein Mechanismus zur Ideenfindung angesehen werden, der uns Parametereinstellungen bietet, die wir ohne ihn vielleicht nie erforscht hätten.

Im Bereich der elektronischen Musik gibt es seit langem eine Debatte über die Überlegenheit von Hardware-Instrumenten gegenüber ihren auf der so genannten Virtual Studio Technology (VST) aufsetzenden, softwarebasierten virtuellen Gegenstücken. Obwohl VSTs außergewöhnlich bequem und erschwinglich sind, erreichen sie oft nicht das haptische Erlebnis, die praktische Kontrolle und die unverwechselbaren Klangeigenschaften ihrer Hardware-Pendants. Wir beschlossen, in beiden Bereichen Fortschritte zu machen, indem wir sowohl die ersten KI-basierten VSTs als auch Eurorack-Synthesizer entwickelten. Ein wesentlicher Aspekt unserer Arbeit ist daher die Einbindung von Modellen des Machine Learnings (ML) in die musikalische Praxis.

Die Vielfalt des musikalischen Hardware-/Software-Ökosystems ist jedoch recht komplex und reicht von kleinen (modularen/eingebetteten) bis hin zu hochkomplexen (Computer) Rechnerarchitekturen mit unterschiedlichen Arbeitsabläufen (Ausgabe, Synthesizersteuerung, Live-Coding usw.). Im Zusammenhang mit einem Computer erfordert die Integration von ML-Modellen in Digital Audio Workstations (DAWs) die Entwicklung spezifischer Plug-ins (wie Audio Units oder VST), die als externe Plug-ins integriert werden können. Es gibt zwar keine technischen Einschränkungen, aber die aktuellen Markttrends tendieren dazu, die Benutzerfreundlichkeit und Ergonomie in den Vordergrund zu stellen, wobei der Schwerpunkt auf Einfachheit und Zugänglichkeit liegt.

Wir haben ein spezielles VST für den RAVE-Algorithmus entwickelt, das derzeit für MacOS und Linux verfügbar ist. Obwohl die Integration in DAWs der einfachste Weg ist, solche Systeme zu nutzen, bringt sie einige Einschränkungen mit sich, die das Potenzial dieser Modelle schmälern können, wie z. B. die Trennung zwischen Effekt und Erzeugung und die MIDI-basierte Steuerung. Visuelle Programmier-und Live-Coding-Umgebungen stellen eine Alternative zu DAWs dar und bieten eine viel umfassendere Kontrolle über Synthese und Interaktion. Andererseits erfordern sie einige Programmierkenntnisse. Für diesen Anwendungsbereich haben wir external nn~ entwickelt, ein Backend, das als Schnittstelle für Streaming neuronaler Audiosynthesemodelle in Max und Pure Data konzipiert ist. Dieses externe System ermöglicht die erweiterte Anpassung und Manipulation jedes streaming-fähigen maschinellen Lernmodells mit einem modularen Ansatz, der den Weg für eine tatsächliche Echtzeitanwendung von generativer KI in Musik und Improvisation öffnet.

Darüber hinaus haben wir uns der Aufgabe gewidmet, die Grenzen von Software-Lösungen zu überwinden, indem wir die Hardware-Seite der ML-Integration erforscht haben. Der Neurorack, der erste Deep-Learning-basierte Synthesizer im Eurorack-Format, zielt darauf ab, das Beste aus beiden Welten zu vereinen, indem er unsere fortschrittliche ML-basierte Synthese in einer greifbaren, modularen Umgebung implementiert. Das Eurorack-Format erleichtert die nahtlose Integration unseres Neurorack-Moduls in aktuelle modulare Synthesizer-Setups. Von Anfang an basierte das Design unseres Moduls auf dem Jetson Nano, einer kompakten und energieeffizienten GPU-Computing-Plattform. Er ist für die Ausführung der Deep-Learning-Algorithmen verantwortlich und ermöglicht Audio-Inferenz in Echtzeit. Die Rechenleistung dieses Prozessors sorgt dafür, dass das Neurorack eine hochwertige Audioausgabe mit minimaler Latenzzeit liefert.

Wir beabsichtigen, diese Plattform zu verkleinern und uns auf den Raspberry Pi zu stützen, um einen geringeren Verbrauch und einen leichteren Zugang für Künstler zu unserem Modul zu ermöglichen. Das Neurorack-Projekt stellt einen wichtigen Meilenstein in der Verschmelzung von maschinellem Lernen und Musikproduktion dar. Es gibt jedoch noch viel zu tun, um das Potenzial dieser Technologie voll auszuschöpfen. Zukünftige Entwicklungen werden sich auf die Verfeinerung der Deep-Audio-Synthese des Moduls konzentrieren und neue Wege zur Steuerung von Modellen für CV-Eingaben erforschen.

Der letzte Schritt der musikalischen Integration solcher Werkzeuge ist schließlich die Kreation. Wir veröffentlichen alle Instrumente als Open-Source. Zusätzlich ist die Zusammenarbeit mit Komponisten und Interpreten von entscheidender Bedeutung, nicht nur um diese Modelle für den musikalischen Einsatz bereit zu machen, sondern auch um die Entwicklung neuer Ideen, Interaktionen und Ansätze anzuregen. Wir haben damit begonnen, eine Reihe von Live-Performances zu organisieren, die wir ACIDS Workshop nennen. Sie sind die als Carte Blanche, als Spielwiese für Musiker*innen gedacht, die daran interessiert sind, mit KI-gestützter Musikgestaltung in Berührung zu kommen – vom Anfänger bis zum Experten. Dabei wecken diese Konzerte nicht nur Ideen und Intuitionen für die musikalische Nutzung der neuen Werkzeuge, sondern zeigen dem Publikum auch einen anderen, künstlerischen Aspekt dieser Technologien. Die Videos sind auf dem YouTube-Kanal des Teams verfügbar.