"Umgekehrtes" 360° Video Kamera System

[StayFrosty]

Hallo Leute

Ich hab eine merkwürdige Frage
Wie ihr sicher inzwischen auch schon kennt, gibt es doch diese 360° Kamera-Systeme mit mehrenen Linsen die gleichzeitig aufnehmen.
Immersive Media

Diese Systeme filmen im Prinzip von Betrachter nach aussen hin, so dass man das Material auf eine 3D-Sphere projizieren kann und dann z.B. per Flash die Umgebung interkativ betrachten kann. Eben 360°.

Ich möchte genau das Gegenteil...und zwar möchte ich zum Beispiel einen Charakter filmen und diesen dann von verschiedenen Blickwinkeln anschauen können interaktiv. Die Technik von "The Matrix" käme da nah dran nur einfach dann eben Kameras nicht nur planar sondern 360° aufstellen. Wobei ich mir irgendwie nicht vorstellen kann wie dann so ein zusammengestitchtes Bild aussehen soll....

Am einfachsten wäre natürlich einen solchen Charakter möglichst genau in 3D nach zumodellieren. Ich möchte aber echtes Filmmaterial. Ist dies mit der heutigen Technik möglich oder habe ich einfach wieder zuviel geraucht?

[nps]

Öhm...

Also,wenn ich Dich richtig verstanden habe, möchtest Du nicht, daß die Kamera sich 360 Grad um die eigene Achse dreht, sondern um die Achse des gefilmten Objekts?

Bei Matrix wurde das ja seinerzeit mit mehreren, in Kreisform um das Objekt angeordneten, Kameras gemacht (oder war es ne Kamera auf nem Schienenkreis?).

Hier gibbet noch nen Amateur-Lösungsansatz

YouTube - Matrix 360 Rotation With 1 Camera

[Ahrsib]

Die hier machen sowas:

www.360ties.de

Das Studio kenne ich.

Ahrsib
... hat nur zwei Kameras.

[StayFrosty]

jo du hast mich richtig verstanden. wie der matrix effekt weiss ich schon wie der funktioniert, ist ja nichts mehr neues.
nur ich frage mich wie das interaktiv gemacht werden kann ... das heisst man müsste ja die bilder irgend auf ein objekt projizieren ... und wie sehen die bilder und das objekt dann aus... weisst du was ich mein?

[StayFrosty]

@ahrsib
Das was du meinst sind doch eifach normale fotos oder? Ich will aber einen film. In 360 grad :-)

[Martin Kraft]

So wie Du Dir das vorstellst wird das leider nicht funktionieren! Es gibt nämlich einen Grundlegenden Unterschied zwischen "von innen nach außen" und von "außen nach innen":

• Bei einem 360° Bild gibt es einen festen Kamerastandpunkt (und damit eine fest Perspektive). Deshalb ist es hier möglich das Aussehen in einem normalen 2D Bild festzuhalten und über Videos o.ä. eine zeitliche (interaktive) Komponente hinzuzufügen.
  
  Wir haben diese Technik gerade in einem Projekt eingesetzt:
  Flatlift TV-Lift Systeme GmbH
  
  
• Bei einer 360°-Drehung hingegen ändert sich der Standpunkt der Kamera (und damit die Perspektive) ständig. Die Abbildung und Projektion in einem 2D-Bild ist damit nicht mehr möglich. Um dies überhaupt abbilden zu können, muss man mit einem Array von Photos arbeiten, der für jede gewünschte Position ein Bild enthält. Freies Stufenloses Drehen ist somit nicht mehr möglich.
  
  Da man ein solches Bild-Array in der Praxis am einfachsten über ein Video löst, beschränken sich die möglichen Ansichstpunkt in der Regel auf eine einzelne Drehbewegung um das Objekt. Zeitliche Interaktivität würde hierbei noch eine 4. oder 5. Dimension nötig machen (2 räumliche, 1-2 für die Perspektive, 1 zeitliche), weshalb sie mit Videos praktisch nicht umsetzbar ist.
  
  Auf Grund dieser Probleme arbeite man in diesem Bereich alternativ auch häufig mit in Echtzeit generierten 3D-Darstellungen.

[StayFrosty]

@martin kraft
du hast mich verstanden. schwierig ist es. aber unmöglich nicht. wäre es nicht einmal cool als erster so etwas zu lösen?

so wie du das beschreibst habe ich das auch verstanden. glaube ich zumindest: stelle man es sich extrem vereinfacht vor. man filmt ein objekt von vorne, von hinten, von rechts und links. jetzt projeziert man die jeweiligen gecaptured videos auf planare 3d-flats. also z.b. auf ein würfel oder ein quader. natürlich würde es so ziemlich ****ty aussehen, würde man aber diesen prozess so oft wiederholen, dass man die kanten nicht mehr sieht hätte man das problem gelöst oder?

irgendeimmal wird man genau diese art von darstellung im web auch sehen können, da bin ich mir sicher.

[Martin Kraft]

Ich spreche hier nicht von technischen Schwierigkeiten sondern von naturwissenschaftlichen Unmöglichkeiten!

Es wird in diesem Raumzeitkontinuum also niemals möglich sein einen beliebigen 3dimensionalen Körper so auf die 2dimensionale Oberfläche eines Würfel oder ein Sphäre zu projizieren, dass das Abbild gleichzeitig aus allen denkbaren Richtung richtig erscheint.

Die verschieden Standpunkte/Perspektiven verhindern, dass es (unabhängig von der Anzahl der Einzelprojektionen) jemals saubere Anschlüsse geben kann. Wir hätten es hier eben nicht mit einem einzelnen Panoramabild zu tun (wie bei den 360°-Bildern), sondern mit unendlich vielen Einzelaufnahmen.

Mit "unendlich" meine ich, dass hier theoretisch für jede denkbare Perspektive eine Aufnahme existieren muss. Natürlich kann man das reduzieren, in dem man weniger Standpunkte anbietet – das Grundproblem löst das jedoch nicht. Ein Beispiel:

• Wenn man nur alle 10 Grad eine Aufnahme haben möchte, benötigt man 36 Bilder um um den "Äquator" zu kommen.
  
  
• Will man sich nicht nur einmal um das Objekt drehen, sondern es auch aus jeder beliebigen Höhe betrachten, benötigt man das ganze 18 Mal (minus den Perspektiven, die an den Polen zusammenfallen. Damit wären wir bei 578 Einzelbildern für einen statischen zeitlichen Zustand.
  
  
• Für die zeitliche Komponente nehmen wir jeweils mal 25 Einzelbilder pro Sekunde an. Damit wären wir dann bei 14450 Bildern in der Sekunde!
  
  
• Selbst wenn man mal die Bandbreitenbelastung außer Acht läßt (was man nicht sollte), ist es kaum möglich oder finanzierbar, das nötige Bildmaterial zu erzeugen:
  • Für ein Realbild müsste man mit einer Sphäre arbeiten, an der (Matrix mäßig) 578 Kameras befestigt wären, die sich dann natürlich dummerweise auch selbst aufnehmen.
  • In 3D ist sowas natürlich einfacher zu realisieren. Wenn man aber bedenkt, das ein finales Rendering im oben genannten Beispiel mehr als 12h verschlungen hat, sind wir bei etwa 20 Jahren Renderzeit für jede Sekunde Film.
  
  
• Echte Interaktivität ist faktisch unmöglich, weil sie in 578 Bilder parrallel berechnet werden müsste.

Microsoft hat übrigens mit viel Man-Power die Cloud-Software Photosynth entwickelt, die versucht mit vielen Photos die Illusion eines solchen Perspektivwechsels zu erzeugen. Wie man am Ergebniss sieht, ist diese Viele-Bilder-Lösung weit von der Optik entfernt, die man mit 360°-Bildern so einfach erzeugen kann.

[StayFrosty]

hallo martin

hmm...hoch gerechnet hatte ich noch nicht. ich seh aber, dass das wirklich probleme bereiten könnte verdammt...

aber wieso sollte die 3d-lösung 20 jahre renderzeit benötigen? mit 3d meinte ich vorhin einfach ein objekt in 3d animieren statt mit video.

photosynth kenne ich auch. ist schon cool wo die entwicklung hingeht.

danke für die niederschmetternde antwort

gruss

[Martin Kraft]

Zitat von StayFrosty

aber wieso sollte die 3d-lösung 20 jahre renderzeit benötigen? mit 3d meinte ich vorhin einfach ein objekt in 3d animieren statt mit video.

Neben der schieren Anzahl an Einzelbildern (14450) hat das natürlich mit der Renderqualität der Einzelbilder zutun.

In besagtem Projekt wurde für jede Seite des 360° Cubus ein 3032x3032px Rendering in höchster Qualität erstellt, wofür jeweils 12-24 Stunden Renderzeit nötigt waren.

Das ist natürlich ein Extrembeispiel, aber auch wenn man von nur einer Minute pro Bild ausgeht, ist man bei immerhin 10 Tagen für besagte 14450 Einzelbilder pro Sekunde.

Das ist aber wie gesagt eh nur ein Workaround für Dein eigentliches Vorhaben, dass sowohl virtuell als auch real unmöglich ist:

Zitat von Martin Kraft

Es wird in diesem Raumzeitkontinuum also niemals möglich sein einen beliebigen 3dimensionalen Körper so auf die 2dimensionale Oberfläche eines Würfel oder ein Sphäre zu projizieren, dass das Abbild gleichzeitig aus allen denkbaren Richtung richtig erscheint.

[Ahrsib]

Guckt euch mal dieses Kickstarter-Projekt an:
the-gopano-micro-a-lens-for-capturing-360-video-on

Ahrsib
... ohne iPhone.

[StayFrosty]

coole idee..ist aber nicht das was wir besprochen haben. guck mal meinen ersten link. diese lösung gibts schon professionell.

[Mr.Twister]

@StayFrosty:
Was du suchst, ist schon in der Theorie nicht sauber umsetzbar.
Stellen wir uns vor, man platziert 60 Video-Kameras rund um ein Objekt (und interpoliert durch eine Software die Zwischenpositionen), dann würden die Kameras im Sichtfeld der anderen Kameras stehen. Man würde immer ein paar Kameras im Video sehen.

Bei den Foto-Dingern ist das anders. Bei Matrix war es ein Halbkreis, in dem alle Kameras gleichzeitig geschossen haben. Mehr als ein Halbkreis ging dort nicht, weil die Kameras sich sonst auch selbst im Bild gehabt hätten. Oder man hätte die Kameras umständlich aus dem Material herausarbeiten müssen.

Im 360° Foto-Studio könnte man z.B. 4 oder 8 Kameras so im Kreis anordnen, dass sie sich nicht selbst im Bild haben und dieses Rig insgesamt recht flott um die Szene drehen.

Du willst aber:
Ein System, was sich nicht dreht, weil von allen Kamerapositionen gleichzeitig gefilmt werden soll. Ein System was nicht auf eine halbe Hemisphere beschränkt ist (damit wäre es wahrscheinlich sogar wirklich möglich), also willst du ein System, was nicht sauber umsetzbar ist :-)

[.:morpher:.]

@Mr Twister: Bei Matrix waren es ca. 360 Grad. Allerdings wurden die Kameras dann in der Postproduction rausgemacht
YouTube - The Matrix - Bullet Time walkthrough