AI Videoproduktion mit LTX STUDIO
Fast täglich sehe ich neue, beeindruckende Entwicklungen bei AI. Und nach AI-Fotos geht es jetzt mit AI-Videoproduktion weiter. LTX STUDIO ist noch nicht für die Allgemeinheit verfügbar, aber wenn es kann, was es verspricht, dann ist Hollywood am Ende!
In meinem letzten Video haben wir uns gemeinsam die von SORA erstellten Clips angeschaut und überlegt, was das für Medienschaffende – aber auch für die Industrie bedeutet. OK, ja, auch wenn ich von der Technologie total begeistert bin, hab ich doch ein etwas düsteres Bild für die Zukunft der Branche gemalt…
…und ich kann euch sagen – es wird nicht besser!
Bevor ich auf LTX STUDIO eingehe und warum sich Hollywood warm anziehen muss, zeig ich euch aber NOCH was Neues.
Denn gerade sag ich im letzten Video:
LEE: „Noch – muss man sagen – sind die Clips ohne Ton – aber auch das wird nicht mehr lange dauern. Dann kann man sicher auch Dialoge oder einfach ein Thema vorgeben – und die Charaktere sprechen miteinander“
Und schon sehe ich das hier.
EMO – Emote Portrait Alive.
Auch EMO ist bisher noch nicht öffentlich zugänglich. Also aktuell nur ein wissenschaftliches Paper. Durch eine neue Methode der Verarbeitung wird aus einem Bild ein Charakter erstellt und kann dann beliebigen gesprochenen Text reproduzieren. Die Frau aus dem SORA-Video spricht ein Interview nach und das nicht nur mit synchron bewegten Lippen. Der Kopf dreht und neigt sich, die Mimik im ganzen Gesicht wird beeinflusst. Die Augenbrauen bewegen sich und man hat das Gefühl, dass die Sprache “mitgefühlt” wird. Das Gesicht wird ausdrucksstärker, wenn die Stimme lauter oder höher wird. Wie bei einer echten Unterhaltung.
Aber nicht nur das. EMO ist das erste Modell, das ich gesehen habe, mit dem die Bilder singen können! Wir werden wohl bald KI-Sänger und Sängerinnen auf Spotify wiederfinden. Incl. Musikvideo und Interview.
Natürlich ist es noch nicht perfekt – das hier ist die erste Version! Aber man kann sehen, wie die AI „versucht“, Emotionen zu transportieren. Der Charakter blinzelt, der Charakter schmunzelt. Echt beeindruckend.
Aber jetzt zur eigentlichen Story!
LTX STUDIO. Deren Claim ist: “AI Powered Filmmaking”
“Control every aspect of your video using AI, from ideation to final edits, on one holistic platform.”
Also, komplette Kontrolle über den kreativen Prozess des Filmemachens mit Hilfe von AI.
Schauen wir uns die Seite einfach mal an:
Versprochen werden uns frei wählbare Kameraeinstellungen und Kamerabewegungen. Egal, ob du bisher nur eine Idee oder ein komplettes Storyboard hast, hier wird es Realität. Steht hier…
Eine der großen Herausforderungen bei der KI-Videoproduktion ist die Reproduktion von Charakteren und Szenerien. Es nützt ja nichts, wenn ich tolle Shots erstellen kann, meine Hauptperson aber nach jedem Umschnitt anders aussieht. LTX verspricht hier die Konsistenz von beidem. Ich erstelle einen Charakter und kann ihn dann frei einsetzen, wo immer ich möchte. Auch Soundeffekte, Musik und Voiceover werden uns versprochen. Was ich noch nicht gesehen habe, sind talking heads. Also Charaktere, die wirklich im ON miteinander sprechen. Aber da wir das ja gerade bei EMO schon gesehen haben, darf man da auf Version 2.0 hoffen! Dann sprechen die bei LTX sicher auch.
Ich hab jetzt jedenfalls schon genug gesprochen, sehen wir uns mal ein Stück Trailer an:
A holistic movie maker for all. Oder zu deutsch: Hollywood für zu Hause!
Wenn das wirklich alles geht, was da im Trailer versprochen wird – das Wort Dialog hab ich jetzt übrigens doch gehört – dann ist das der Hammer. Ja – es sieht aktuell noch nicht so “echt” aus wie die Sachen von Sora – aber auch das ist sicher ein temporäres Problem. Oder auch eine Frage des Stils. Auch da wird man völlig frei in seiner Wahl sein: Historiendrama, Cyberpunk-Epos oder “Real”-Life-Doku. Gerade Doku finde ich mega spannend. Das Leben erzählt die besten Geschichten – von wegen!
Ich sehe schon eine Doku über eine Drachen-Aufzucht-Station in Neuseeland.
Oder – einen verschollenen Stamm Neandertaler, der sich bisher in einem Höhlensystem versteckt hat. Alles mit Handkamera “gedrehtes” Material, um dem Ganzen noch mehr Authentizität zu verleihen.
Wann LTX STUDIO für die Breite Masse verfügbar sein wird, ist noch nicht bekannt, ich hab mich auf jeden Fall bei der Warteliste angemeldet. Mal sehen, wer mit solch einem Tool als erstes auf den Markt kommt. Open AI mit Sora? LTX-Studio? Oder ein ganz anderer Anbieter.
Ich halte euch auf dem Laufenden und werde sicher damit rumspielen, egal wer es gemacht hat.
LTX STUDIO: https://ltx.studio/
EMO: https://humanaigc.github.io/emote-portrait-alive/