Video und Ton separat behandeln und synchen

[zeroval]

Ich erstelle einen interaktives Video. Es ist mehrsprachig angelegt, dies in der Tonspur, sowie in den Titeln. Um Daten zu sparen will ich das Videofile(mp4) nur in der Rohform (international) als externen Film laden.

Ich bin mir aber nicht sicher, ob ich es schaffen werde, die sprachlich separaten Tonspuren und das Video zu synchen. Hat jemand Erfahrung damit?

Titel und Einblender gedenke ich per AScuepoints zu realisieren.

Danke für jeden Tip!

[zeroval]

Ist noch nicht geschafft. Habe mal folgendes Script gezimmert, um das Video und den Sound gemeinsam zu starten –*das klappt zwar, aber der Sound läuft langsamer als das Video:

/**
 Requires:
  - FLVPlayback component on the Stage with an instance name of my_video
*/

_soundbuftime = 10;

my_video.bufferTime = 10;
my_video.autoPlay = false;
my_video.contentPath = "testfilm.mov";
my_sound = new Sound();
my_sound.loadSound("testsound_de.mp3", 1);
my_sound.stop();

var listenerObject:Object = new Object();
listenerObject.stateChange = function(eventObject:Object):Void {
    if(!my_video.buffering){
        trace("The video finished buffering");
		my_video.play();
		my_sound.start();
    }
};
my_video.addEventListener("stateChange", listenerObject);

Hat jemand eine Idee, wie man separate Videos und Sounds synchen könnte?

[Sören]

Reales Synchronisieren würde bedeuten, du bindest beide NetStreams zusammen. Das geht aber nicht. Beide bleiben für Flash immer separat. Daher kann es bei längeren Streams (egal ob Video oder Audio) zu unsynchronem Ablauf kommen.

Schwierig ist bereits der gemeinsame Start. Das spielt bei Hintergrundmusik z.B. keine Rolle, aber wenn es um Lippensynchronität geht, hat man bereits Schwierigkeiten.

Wenn es nun nur um zeitgleichen Ablauf geht, bei dem plus-minus 1 Sekunde ok sind, dann kann man in festem Intervall die beiden Streams überprüfen, an welchem Punkt sie sich gerade befinden. Und dann spult man entweder einen der beiden Streams vor, oder aber zurück. Ich würde in diesem Fall dazu raten, das Video zu spulen. Ein Springen im Ton nimmt man stärker wahr, als im Bild (denn im Bild ist man es eher gewohnt, dass für einen kleinen Augenblick etwas ruckt).

Je häufiger die Korrektur erfolgt, je häufiger nimmt man diese u.U. wahr. Dafür fällt sie jedoch geringer aus, so dass dies nun wieder weniger störend empfindet, als wenn z.B. eine Sekunde im Video gesprungen wird, so dass bspw. eine Person 1 Meter vor- oder zurück springt, während sie sich bewegt.

Also wäre die beste Methode das Video zu spulen, und zwar immer wenn die Abweichung nur wenige Frames entspricht. Also i.d.R. deutlich weniger als 1 Sekunde.
Das Problem hierbei ist, dass der Flashplayer das nicht kann. Es kann nur zu Keyframes gespult werden und diese liegen 1 bis 5 Sekunden auseinander. Ergo: man kann sehr kurz pausieren um "zurück zu Spulen", aber nicht "Vorspulen".

Mehr kann ich dazu auf die Schnelle nicht sagen. Ich denke du siehst wie komplex die Problematik ist.
Mein Lösungsvorschlag für komplexe Szenarien wäre, das Videobild grundsätzlich Serverseitig mit dem Audiomaterial zu verbinden (Encoding) und so jeweils doch je Sprache/Tonspur eine Videodatei zu nutzen.

[zeroval]

Danke Sören. Ich denke so muss ich es lösen: Für jede Sprache ein Video bereitstellen. Ist zwar nicht ideal vom Platzgebrauch her, aber das wird schon klappen. Schade kann man das nicht wie beim DVD-Authoring angehen. Zero.