
Echte Emotionen! Das wollen wir doch sehen! Zwei der großen Themen bei der Erstellung von AI Material ist das Lip-Syncing und der Ausdruck in den Gesichtern. Wir sind noch nicht ganz da – aber was man mit LIVE PORTRAIT inzwischen anstellen kann, sieht schon richtig gut aus! Auf was ihr unbedingt achten müsst, wenn ihr selbst damit spielen wollt, erzähle ich euch in diesem Beitrag. Eine Sache hat mich fast verrückt gemacht. Seit froh, dass ihr den Fehler schon mal nicht machen müsst!!
Dieses Tool funktioniert nicht über einen discord-Server oder eine Website wie z.B. HEDRA. LIVE PORTRAIT läuft lokal auf dem Rechner in einer Python Umgebung. Was auf den ersten Blick etwas kompliziert klingt, ist auch nur eine Abfolge von Befehlen und schon kann’s losgehen.
Auf dem Blog hab ich die Beschreibung für euch hinterlegt. Wenn alle Schritte funktioniert haben, startet eine Python App auf deinem Rechner und wenn du http://localhost:8890/ in einen Browser eingibst, erscheint diese Website:

Ab hier funktioniert das Ganze wie HEDRA, PIKA, RUNWAY, etc. auch. Bild hochladen, Referenz-Video hochladen und auf „ANIMATE“ drücken. Das CMD Fenster bleibt dabei geöffnet. Hier kannst du jetzt den Fortschritt deines Rendervorgangs beobachten. In Prozent und Zeit.
Und das hier sind meine ersten Ergebnisse:
Die ersten Erkenntnisse aus diesen kurzen Test sind:
Hintergrund sollte einfarbig, blurry sein. Bei meinem Max Headroom Beispiel morpht der Hintergrund schon sehr. Die Mimik ist wahnsinnig akkurat, aber Kopfbewegungen sollte man eher langsam ausführen und sich wenig vor und zurück bewegen.
Jetzt ist meine Mission ja noch immer: Ein Musikvideo komplett mit AI zu erstellen.
Um das mit LIVE PORTRAIT zu testen, hab ich mir auf SUNO einen Song gebastelt:
DOPAMINE by LOVE+GRAVITY
[Verse]
Likes and hearts they come and go
Counting views it’s all a show
Yesterday felt like a star
Today I’m left wondering far
[Verse 2]
Followers they praise my name
Next day lost in all the shame
Emotions swing from high to low
Digital love that steals the show
[Chorus]
Click click get that dopamine
One day up next day I’m unseen
Rollercoaster never ends
Social world it’s just pretend
[Bridge]
Happy face for all to see
Behind the screen I can’t be free
Crave the love the endless stream
Reality a broken dream
[Verse 2]
Comments flood my restless mind
Love and hate so intertwined
One look makes the day alright
One missed makes a sleepless night
[Chorus]
Click click get that dopamine
One day up next day I’m unseen
Rollercoaster never ends
Social world it’s just pretend
Vers 1, 2 und den Chorus hab ich mal versucht mit dem neuen LIVE PORTRAIT zu animieren.
Meine ersten Ergebnisse waren eher so „Muhaha“. Ich hab mir sogar den Bart mit Make-up angemalt, weil ich dachte dass mein Mund nicht richtig erkannt wird. Alles Quatsch! Was wirklich wichtig ist, wenn ihr selbst mit diesem Tool spielt: Das Referenz-Video muss mit einem Referenz-Bild starten!! Sprich: Euer hochgeladenes Bild, das später sprechen oder singen soll, muss dem Anfangsbild des Videos entsprechen. Das ist die Baseline!
Wenn euer Video mit offenem Mund beginnt, aber das Bild den Mund geschlossen hat funktioniert der Spaß nicht!
UPDATE
Auf YouTube hat @zuzkuk79 gefragt, ob das auch mit seitlichen Gesichtern funktioniert. Super Frage! Ich dachte eigentlich: never! Aber Versuch macht kluch! Here you go:
Funktioniert super! Vielen Dank für die Frage.
LINKS:
LIVE PORTRAIT: https://github.com/KwaiVGI/LivePortrait
SUNO: https://suno.com/
HEDRA: https://www.hedra.com/
HOW TO
Hier das Video und die Beschreibung mit der ich es zum Laufen gebracht habe:
Step 1: Clone the repository
git clone https://github.com/KwaiVGI/LivePortrait
Step 2: Navigate inside the cloned repository
cd LivePortrait
Step 3: Create virtual environment
python -m venv venv
Step 4: Activate virtual environment
.\venv\Scripts\activate
Step 5: Install requirements
pip install -r requirements.txt
<Some additional steps required in the earlier version are removed>
Step 7: Download models (LivePortrait\pretrained_weights)
https://drive.google.com/drive/folders/1UtKgzKjFAOmZkhNK-OYT0caJ_w2XAnib
Step 8: Run WebUI
.\venv\Scripts\activate
python app.py
For bat file
————————————————-
@echo off
echo Ready to launch the application…
call .\venv\Scripts\activate.bat
set PYTHON=“venv\Scripts\Python.exe“
echo venv %PYTHON%
%PYTHON% app.py
echo.
pause
————————————————-
LIVEPORTRAIT #AIEmotionen #LipSync #Gesichtsausdruck #AIKunst #PythonAI #LocalAI #KreativeTechnologie #Animationstool #Kunsttechnologie #AIInnovation #RealtimeAnimation #EmotionaleKI #KIGesichter #TechTutorial #KreativeKI #DigitalArt #KünstlicheIntelligenz #PythonTutorial #TechBlog #AIAnimation #TechTricks #Rendering #AIProjekt #TechTips #AIEntwicklung #DeepLearning #MachineLearning #TechReview #AnimationTech #AICommunity #OpenSourceAI #Kreativität #Technologie #InnovativeAI #VideoEditing #AIGraphics #AIDemo