
Wie werden in Zukunft Filme entstehen?
Wird es den klassischen Schnittplatz überhaupt noch geben?
Passiert das dann alles in Virtual Reality?
In letzter Zeit hab ich mich mit vielen Leuten aus der Branche unterhalten und wir hätten da mal ein paar Theorien. Was der Schnittplatz der Zukunft mit der Emmy Award winning Serie Westworld zu tun hat, seht ihr – natürlich ganz am Ende.
Prompt, Prompt, Prompt. Alle reden von Prompts.Also von der Kunst, dem Computer über Texteingabe begreiflich zu machen, was ich von ihm möchte.

Der sogenannte „Prompt-Engineer“ ist ein komplett neuer Berufszweig! Ich glaube aber nicht für lange. Also nicht in dieser Form. Die Interaktion mit Bilder-und-Videoschnitt-KI wird (hoffentlich bald) über normale Sprache funktionieren. Wie eine echte Konversation eben.

Wir sehen das ja jetzt schon bei unseren Smart Home Assistenten – per Sprache schalten wir das Licht oder den Fernseher ein. Stellen Wecker und Timer. Per Sprache spielen wir Musik in verschiedenen Räumen ab oder kombiniert als Gruppe z.B. im kompletten Erdgeschoß. Tragen wichtige Termine in Kalender ein und rufen die ganze Familie zum Essen über Broadcast-Nachrichten.
Liegt doch nahe, dass ich auch mit meinem Schnittplatz sprechen möchte.

Die Diktierfunktion also Spracherkennung – ob auf einem Mobiltelefon, PC oder Mac – macht (bei einigermaßen deutlicher Aussprache) fast keine Fehler mehr und lernt immer weiter dazu. Aber Computer wirklich per Sprache steuern, (ahh) probiere ich sicher seit 20 Jahren immer mal wieder aus und bisher wurde ich immer enttäuscht… ich gebe gerade der Spracheingabe beim Mac nochmal eine neue Chance – vielleicht mach ich über Sprachsteuerung demnächst noch ein eigenes Video. Schreibt gerne in den Kommentaren, ob ihr das sehen wollt. Und wo ich gerade bei Kommentaren bin – echt großartig, wie viele Leute sich bei meinen letzten zwei Videos:

über “SORA” und “Hollywood ist am Ende” wirklich eingebracht haben. Vielen vielen Dank für die rege Diskussion und die neuen Denkanstöße.
So – zurück zum Schnittplatz.
Meine Vision ist es, in Zukunft Filme in VR also Virtual Reality zu schneiden.Zuerst generiere ich mir eine Szenerie, eine Kulisse für meinen Film.
Geht zum Beispiel mit luma AI.
Hier kann man seit kurzem 3D Objekten und Szenerien generieren. Entweder über klassische Prompteingabe, oder ich lade ein Video hoch und daraus wird eine 3D-Szene erstellt.
Jetzt stehe ich, durch meine VR-Brille, mitten in diesem Wohnzimmer und kann umherlaufen. Denkt das mal mit mir durch.
Jetzt setze ich meine KI-Schauspieler auf das Sofa und gebe ihnen Text und Regieanweisungen. Dann kümmere ich mich um das Licht. Wie bei einem normalen Dreh. Von draußen kommt eh schon viel Licht – aber später alles möglich.
Jetzt platziere ich meine Kameras. Eine Totale von schräg oben. Eine Kamera für die 2er – also mit beiden Personen drauf – auf einem Slider. Der Slider ist 3 Meter lang und die Kamera fährt darauf kontinuierlich hin und her. Zwei Kameras schießen über Kreuz eine Close auf die Gesichter der Schauspieler. Reicht erstmal für diese Szenerie.
Die Meta-Quest und Apple Vision Pro Videos habt ihr ja sicher gesehen. Da sind dann im Raum Fenster eingeblendet. So ein Fenster würde sich dann die ganze Zeit mit mir mitbewegen, wenn ich durch den Raum laufe. Darauf sind meine 1,2,3,4 Kameraeinstellungen zu sehen und das PGM – also die aktuell aktive Kamera – in groß.
Das Tolle – ich bin nur virtuell mit meiner Brille in der Szene, sprich: ich stehe keinem Kameramann im Weg, werfe keinen Schatten und kann ganz nah an meine Schauspieler rangehen, wenn sie spielen. Ja, ich kann mich sogar in eine der Personen hineinversetzen, ihren Blickpunkt einnehmen. Der Regisseur, Cutter oder wie auch immer dieser Beruf dann genannt wird (Ich find immer irgendwas mit Operator gut) kann die Emotionen im Gesicht ganz genau sehen und steuern. “Sag das noch ein wenig trauriger und am Ende ein Zucken mit dem Mundwinkel.” – zum Beispiel. Die Schauspieler können ihren Text, dann programmiere ich jetzt meine Kameras.
Die Szene startet mit der Totalen. Die hatten wir ja schräg oben platziert – vielleicht 3 Sekunden. Als nächstes, Schnitt auf die Slider-Kamera – 5 Sekunden. Dann zeig immer close die Person, die spricht. Alle 45 Sekunden, für 5 Sekunden wieder auf die Sliderkamera und am Ende der Szene eine Kreisbewegung um die Schauspieler herum.
Natürlich wird man das im Nachhinein alles auch noch ändern können. Oder während die Szene gespielt wird, aktiv umschalten können. Das löse ich dann eventuell NICHT mit Spracheingabe, sondern durch Drücken auf das jeweilige Kamera-Bild.
Eine VR-Variante ohne Kameras ist natürlich auch denkbar, dann kann ich mich als Zuschauer einfach mit auf das Sofa setzen oder während der Szene durch’s Wohnzimmer laufen und zuhören – quasi im Explorer-Modus.
In welchem Film würdet ihr gerne “mitspielen”? Denn das ist zwangsläufig die Weiterentwicklung. Wir schauen uns den Film nicht nur an, sondern wir spielen mit – wir SIND einer der Charaktere.

Steven Spielberg hat gerade bestätigt, dass Ready Player Two jetzt endlich angepackt wird, also die Fortsetzung von Ready Player One. Wer den nicht gesehen oder das Buch von Ernest Cline nicht gelesen hat – Ready Player One ist DER Vorzeige- Film/Roman für das Metaverse. Die ganze Welt trifft sich in der virtuellen Welt namens Oasis, zum Spielen und auch einfach zum Abhängen. Im zweiten Teil wird das „hineinversetzen“ in Charaktere genau beschrieben. Der Held muss – unter anderem – Szenen aus Filmen nachspielen und bekommt Punkte, wenn er die Sätze aus dem Original korrekt wiedergibt.
“I drink and I know things!”
Mal sehen, ob diese VR-Film-Pop-Quiz-Szene in der Filmadaption Platz findet. Beim ersten Teil waren das Buch und der Film sehr unterschiedlich.
Einen hab ich noch, wie Schnitt in Zukunft aussehen könnte, bevor wir uns anschauen, was Westworld mit dem ganzen zu tun hat.
Also – stellt euch vor, ich hab meine KI-Schauspieler und gebe ihnen Vorgeschichten. 2 Jahre verheiratet, sie hat dies und das studiert, er arbeitet als – wegen mir – Versicherungskaufmann. Bla, bla, bla. Und jetzt kommt’s – Sie hat ein dunkles Geheimnis, von dem keiner etwas ahnt. Jetzt lasse ich die beiden “ihren Alltag” spielen. Eine Woche, einen Monat, 5 Jahre. Ähnlich wie bei dem Computerspiel “Die Sims”. Meine KI-Schauspieler bewegen sich in einer Simulation. Sie spielen das “echte” Leben nach. Meine Vorgabe: Nach und nach entdeckt der Mann Hinweise auf ihr Geheimnis. Bis es zur Konfrontation kommt. Der große Knall. Das Geheimnis wird aufgedeckt und die Situation eskaliert. Ich oder besser die KI, schaut den beiden zu und pickt die besten Szenen aus 5 Jahren Simulation heraus. Voilà – fertig ist mein Film. Kein Drehbuch, keine fixen Dialoge.

Wie in einem Labor, lasse ich die Geschichte “wachsen”. Und da die 5 Jahre Simulation nur 5 Minuten unserer Zeit beanspruchen, kann ich 10, 20, solche Petrischalen mit Geschichten entwickeln lassen und nehme am Ende die spannendste.
Ich erfinde dafür jetzt einfach mal den Namen: Evolutionary Editing. Kurzform Evo Editing.
Klingt gut? Hier habt ihr’s zuerst gehört! Evo Editing.
Ich sitze wahnsinnig gerne an meinem Schnittplatz und frickel an Filmen – trotzdem freue ich mich über neue Arten, Filme zu generieren und stürze mich auf neue Technologien.
Wie sich die Creator von Westworld so einen Schnittplatz vorgestellt haben, zeige ich euch jetzt. Für alle die Westworld nicht kennen – Schande, Schande, Schande! Nein, für alle die Westworld noch nicht geschaut haben – ich werde hier nichts spoilern. In Westworld geht es im Kern um einen riesigen Vergnügungspark im Western-Style. Wir springen aber gleich in die 4. und letzte Staffel (schluchtz!). Eine der Hauptpersonen hat in dieser Staffel nämlich einen Job als “Geschichtenerzähler”. Und so sieht das aus:
Eine Miniaturwelt in AR – also Augmented Reality – die sich per Sprache steuern und verändern lässt. Vor ihren Augen ändern sich Szenerien und Charaktere. In einer weiteren Folge sehen wir, wie sie verschiedene Charaktere angelegt hat und auf diese zurückgreifen kann. Genau so stelle ich es mir auch vor. Man entwickelt einen Charakter so detailliert wie möglich. Vorgeschichte, Freunde, Hobbys, politische Einstellung, psychische und physische Verfassung. All das ergibt dann eine virtuelle Person, die ich mit anderen virtuellen oder realen Personen sogar interagieren lassen kann. Das, was die Kunst des Schauspielers ausmacht – also sich in eine Person hineinzuversetzen – fällt hier weg. Der virtuelle Charakter IST diese Person und “fühlt” und handelt dementsprechend. Es ist nicht notwendig ihm eine Motivation vorzugeben, wie man das mit “echten” Schauspielern macht. Die virtuelle Person reagiert in jeder Situation genau so, wie es von dieser Person erwartet wird. Wenn der Charakter nicht so reagiert, wie ICH es möchte, dann muss ich eben die Vorgeschichte ändern. Da sind wir natürlich auch mitten in der Diskussion, ab wann KI ein Bewußtsein hat. Und wenn es das hat, hat es dann automatisch Rechte? Werden meine Charaktere dafür kämpfen, nicht abgeschaltet zu werden – wie in Westworld?
Bei diesem Thema freue ich mich sehr über eure Kommentare!
Mein nächstes Video werde ich wohl noch nicht in VR drehen, sondern wieder hier im Studio. Damit ihr es nicht verpasst – ganz feste auf Abonnieren drücken, Glocke nicht vergessen – dann sehen wir uns bei der nächsten Folge alphatester – der Kanal für Innovation, Technik und Digitalen Lifestyle. Ciao!