Runway haucht deinen Fotos Leben ein – das Ergebnis ist magisch

Diese KI haucht deinen Fotos Leben ein und das Ergebnis ist magisch

Die gehypte KI von Runway erstellt aus einem Foto ein kurzes Video. Dank der neuen Funktion «Motion Brush» geht dies nun kinderleicht und verblüffend gut.

Oliver Wietlisbach

Das KI-Unternehmen Runway hat die neuste Version seines Bild-zu-Video-Generators veröffentlicht. Als Nutzer kann man nun beliebige Stellen auf einem Foto einkreisen oder markieren, die animiert werden sollen, und die KI erstellt daraus ein kurzes Video.

So sieht dies aus:

Als die Bilder laufen lernten: Die neue KI-Funktion «Motion Brush» von Runway macht's möglich.gif: watson / quelle: runway

Oder so:

Die Wellen markieren und die KI legt los.gif: watson

Die generative KI fügt also jedem beliebigen Standbild in Sekundenschnelle eine Animation hinzu. Beispielvideos im Netz und unsere eigenen Versuche zeigen, dass dies primär bei Landschaften, Tieren und Objekten wie Autos real wirkt, während die KI mit Gesichtern von Menschen teils mehr Mühe bekundet respektive mehr Know-how nötig ist, um überzeugende Ergebnisse zu kreieren.

Im folgenden Video ist zu sehen, wie das Bild eines Vogels zum Leben erweckt wird oder Blätter an einem Ast dank KI-Zauber im Wind tanzen – das Ergebnis ist fast schon erschreckend real.

alright this is wild pic.twitter.com/6g7GgBr2E2

— gaut (@0xgaut) November 27, 2023

Runway erweckt Bilder zum Leben: Das Ausgangsbild wurde jeweils mit dem KI-Bildgenerator Midjourney erstellt.

So funktioniert das KI-Tool

Runway nennt die Funktion, die Fotos gewissermassen Leben einhaucht, Motion Brush. Das KI-Tool läuft direkt im Browser. Man lädt ein Foto hoch, markiert die Stellen, die sich bewegen sollen und wählt per Slider aus, wie schnell und in welche Richtung sich der animierte Teil des Bildes bewegen soll. So lässt sich beispielsweise aus einem Foto mit Wolken in wenigen Sekunden ein Zeitraffer-Video erstellen.

Mit Runway lässt sich mit einem Slider bestimmen, in welche Richtung sich die Wolken bewegen sollen.gif: watson / quelle: @heyBarsee

Mit der neuen KI-Funktion Motion Brush lassen sich auch Kleider, Haare oder Augen im Handumdrehen animieren.

Die Slider-Einstellungen (horizontal und vertikal) bestimmen die Animation des Umhangs.gif: watson / quelle: runway

Um ein Gesicht zu animieren, wird zunächst ein Foto einer Person hochgeladen und das Gesicht markiert. In einem zweiten Schritt kann in einem Textfeld beschrieben werden, welchen Gesichtsausdruck die Person haben soll. Zum Beispiel: «Der Mann auf dem Foto ist traurig und runzelt die Stirn.»

So wird mit Runway ein Gesicht animiert.gif: watson / quelle: runway

Die Texteingabe lässt sich somit in Kombination mit Motion Brush (Bildmarkierung) nutzen, um der KI präzisere Anweisungen zu erteilen. Das folgende, zweiminütige Video erklärt die grundlegenden Möglichkeiten des KI-Videogenerators.

Video: YouTube/Runway

Oh, und bevor ich's vergesse: Natürlich lassen sich mit Motion Brush auch Memes animieren …

gif: watson

Wer ist Runway?

Runway wurde 2018 gegründet und war entscheidend an der Entwicklung des bekannten Text-zu-Bild-Generators Stable Diffusion beteiligt. Mit dieser KI-Technik ist es möglich, allein aus Texteingaben realistische Bilder zu erstellen.

2023 hat Runway ein generatives KI-Modell lanciert, mit dem sich auch Videos per Texteingaben erstellen und verändern lassen. Die Software kann zudem ein bestehendes Video per Texteingabe in ein anderes Video mit einem beliebigen Stil verwandeln, etwa einen Realfilm in einen Schwarz-Weiss- oder Cartoon-Film. Optional wird dem KI-Video-Generator ein Referenzbild für den gewünschten Film-Look vorgegeben.

Und so sieht dies aus:

Mit der KI von Runway lassen sich mit Textanweisungen und Referenzbildern Videos erstellen und verändern.gif: watson

KI-Tools wie Runway werden rege von TikTokern und YouTubern und inzwischen auch von grossen Film- und Fernsehstudios genutzt. Darth Vader etwa wird bereits von einer künstlichen Intelligenz gesprochen.

Das KI-Startup Runway konkurriert mit den KI-Anwendungen der grossen Tech-Unternehmen. Anders als Meta oder Google, die ähnliche Software entwickelt haben, hat Runway vor allem Kreative und die Film-Branche im Fokus. «Dies ist eines der ersten Modelle, das in enger Zusammenarbeit mit einer Gemeinschaft von Videomachern entwickelt wurde», sagte Runway-CEO und Mitbegründer Cristóbal Valenzuela Anfang 2023.