Bildgenerierung mit künstlicher Intelligenz

Was sind neuronale Netzwerke

Neuronale Netze modellieren die Struktur des menschlichen Gehirns, um Denken nachzuahmen. Sie bestehen aus einzelnen „Neuronen“, die über bestimmte Pfade miteinander verbunden sind. Jedes Neuron bekommt einen Input und generiert daraus mithilfe von bestimmten Faktoren einen Output, der dem nächsten Neuron wiederum als Input dient. All das geschieht im Forschungsfeld der Computer Sciences natürlich in Form von Zahlen.

Lange waren Generative Adversarial Networks (GAN), eine spezielle Form künstlicher neuronaler Netze, die führende Technologie im Bereich Bildgenerierung. Eines der wohl bekanntesten GAN-Projekte ist sicher thispersondoesnotexist. Diese Website generiert täuschend echt aussehende, aber völlig fiktive Gesichter. Die Bildgeneratoren, die kürzlich die Medien eroberten, nutzen aber alle eine andere Technologie, und zwar sogenannte Diffusion Models.

Was ist ein Diffusion Model?

Diffusion Models sind ein recht junges nachrichtentechnisches Verfahren und machen aus Rauschen (Noise) Bilder, die wie echte Gemälde oder Fotos aussehen können.
Die Trainingsdaten für die KI bestehen aus einem in der Regel großen Datensatz von Bildern. Auf ein Bild aus diesem Datensatz wird vom Trainingssystem eine zufällige, aber reproduzierbare Menge Rauschen gelegt. Die KI muss dann lernen, wieder zurückzugehen, also das ursprüngliche Bild aus dem Rauschen herauszufiltern.

So lernt die KI, unterschiedlich intensives Rauschen aus dem Bild herauszufiltern. Das Ziel ist es, aus einem Input, der nur aus Rauschen besteht (t = T), ein Bild herauszufiltern – obwohl in diesem gar keine Bildinformationen mehr enthalten sind. Dadurch entsteht ein neues, allerdings völlig zufälliges Bild.

Tatsächlich lernt die KI nicht, ein Bild aus dem Rauschen herauszufiltern, sondern das Rauschen, das auf dem Bild liegt, zu reproduzieren. Das Ergebnis, reines Rauschen, lässt sich vom Bild mit Rauschen abziehen – übrig bleibt am Ende nur das Bild bzw. kein Rauschen mehr.

Bildgenerierung

Um ein neues Bild zu generieren, muss im Grunde nur der Trainingsprozess umgekehrt werden. Man startet also mit einem Bild als Input, das ausschließlich aus Rauschen besteht. Dann generiert die KI ein Rauschen, sodass, wenn dieses vom Input abgezogen wird, ein erkennbares Bild übrig bleibt.

Da es extrem schwer ist, in nur einem Schritt von “ausschließlichem Rauschen” zu “erkennbarem Bild” zu gelangen, erfolgt die Arbeit der KI in vielen kleinen Schritten. Aus reinem Rauschen entsteht nicht schlagartig, sondern Stück für Stück ein erkennbares Bild. Um diesen Prozess steuerbar und damit überhaupt nützlich zu machen, lässt man Texteingaben (prompts) durch einen Encoder laufen, der Schlüsselbegriffe herausfiltert. Diese Begriffe werden dann gemeinsam mit dem Rauschen an die KI gegeben, sodass sie während des gesamten Prozesses als weitere Parameter bzw. zum Abgleich zur Verfügung stehen. Diese Form der künstlichen Intelligenz lernt also nicht nur mit Bildern oder Text, sondern nutzt beides um die gewünschten Ergebnisse zu erzielen.

Upscaling

Models, wie z.B. Imagen von Google lassen den hochkomplexen Prozess von Text zu Bild bei sehr geringer Auflösung laufen. Über weitere Folgeschritte wird das Resultat dann mit sogenanntem Upscaling auf nutzbare Größen gebracht. Das sorgt für Effizienz, aber bei einigen weniger ausgereiften Implementierungen auch für weniger detailreiche Endresultate.

Drei prominente Beispiele

An art gallery displaying Monet paintings. The art gallery is flooded. Robots are going around the art gallery using paddle boards.

Stable Diffusion

Stable Diffusion ist ein text-to-image Tool, das unter Mitarbeit von deutschen Doktoranden entwickelt wurde. Die Stärke von Stable Diffusion ist vor allem die hohe Auflösung der Ergebnisse. Das liegt an der zugrunde liegenden Technologie. Stable Diffusion nutzt, ähnlich wie auch Imagen von Google, einen Diffusion-Algorithmus, der die generierten Bilder sukzessive mit Details versieht.

DALL-E

DALL-E ist ein text-to-image Tool von OpenAI, das unserer Meinung nach in vielen Situationen die mit Abstand ansprechendsten Bilder generiert. Kluge Köpfe sind auch schon auf die Idee gekommen, ein großes, besonders detailliertes Bild in sich überlappenden Einzelteilen zu generieren - OpenAI selbst nennt das ‘Outpainting’. Mehr Infos dazu hier. Dafür ist die Software nicht Open-Source und auf Dauer auch nicht kostenlos.

Mittlerweile hat sich Microsoft in DALL-E 2 eingekauft, um eine eigene Grafiksoftware damit auszustatten. Mehr dazu hier.

Midjourney

Die meisten anderen Algorithmen haben ihren Fokus vor allem auf Realismus. Bei Midjourney ist das anders. Die Ergebnisse sind eher „Kunstwerke“ als Fotos, oft fantastisch und verwunschen, nie realistisch. Und das ist auch nicht der Anspruch - im Gegenteil. Genau deshalb ist Midjourney so bekannt und beliebt.

Die Bildgenerierung von Midjourney lässt sich kostenlos auf dem offiziellen Discord-Server ausprobieren.

Ein weiterer Use case, ebenfalls im Bereich der Gestaltung angesiedelt, ist die automatische Generierung von Varianten. Einige Designer nutzen die Möglichkeit in sehr kurzer Zeit viele verschiedene Varianten eines Designs zu erzeugen. Das schafft neue Inspiration und hilft, die richtigen gestalterischen Entscheidungen zu treffen.

Die Mode- und Werbebranche hat das Thema KI-Bilderzeugung ebenfalls für sich entdeckt, wenn auch überwiegend in beobachtender Weise. Potenziell lassen sich hier aber enorme Kosten für menschliche Modelle bzw. ganz allgemein für Abbildungen jeder Art senken. Einige 3D-Rendering Programme bieten bereits frühe Integrationen von auf Diffusion Model basierter Bilderzeugung an.

Interessante Nutzungsmöglichkeiten sind auch im Bereich E-Learning zu erwarten.

So schreibt Rayan Nait Mazi in einem Blogartikel, dass E-Learning Apps von automatischer Image-Generation profitieren könnten. Einfach, weil Inhalte von visuellen Impulsen profitieren. Das gilt aber nicht nur für Babbel, Duolingo und co., sondern letztendlich für jede Art von digitalem Inhalt. (Rayan Nait Mazi, Positive use cases of text-to-image AI?, 25.05.2022)

Daran schließen allerdings direkt auch einige rechtliche Fragen an. Beispielsweise nach dem Urheberrecht – und das ist natürlich besonders interessant für alle, die AI-Bilder in selbst erstellte Inhalte wie z.B. Blogartikel oder Websites einbringen wollen.

Wem gehören die Bilder?

In den USA ist diese Frage relativ einfach zu beantworten. Das Gesetz sieht dort einen menschlichen Urheber als Voraussetzung für gültige Urheberrechte vor. AI-Bilder gehören also nichts und niemandem. In Deutschland sieht die rechtliche Lage etwas anders aus.

An dieser Stelle sind zwei Dinge zusätzlich nennenswert. Erstens: Die meisten Projekte, insbesondere die drei wesentlichsten (DALL-E, Stable Diffusion & Midjourney) sind mittlerweile kommerzialisiert. Es lässt sich argumentieren, es würden Bilder verkauft, allerdings kann das kommerzielle Angebot auch als verkaufte Dienstleistung verstanden werden.

Zweitens: Es gibt neben dem Entwickler der KI-Bild-Software und dem Endnutzer auch noch eine dritte wichtige Partei. Man darf nicht vergessen, dass künstliche Intelligenzen mit Hilfe tausender Kunstwerke verschiedenster Künstler trainiert wurden. Wie sieht es also mit deren Urheberrechten aus?

Die konkrete rechtliche Lage in Deutschland ist unklar. Der Blogger René Walter schreibt dazu sehr treffend „Die neuen Kreativbüchsen der Pandora operieren […] in einem gesetzlichen Graubereich […]. Der rechtliche Status einer Maschine, die Bilder von Batman produzieren kann, und auf jeder Menge Bilder von Bob Kane trainiert wurde, ist offensichtlich.”
(René Walter, Die rechtlichen Fallstricke von AI-Bildgeneratoren, 23.08.2022)

In diesem Bereich wird es in Deutschland wohl noch einiger richtungsweisender Urteile bedürfen. Und sicher wird es, wie so häufig in der Rechtsprechung, sehr stark auf den individuellen Kontext ankommen.

Die Künstler des 19. Jahrhunderts bangten bereits bei der Erfindung der Kamera um ihre Existenzen. Was ist passiert? Grandiose Maler gibt es bis heute - Fotografen kamen dazu.

Was steht uns also bevor: Eine Evolution der Kunst oder eine Revolution der Kunstgeschichte? Diese Frage sollte jeder für sich beantworten.