[Stuff] Interactive Webcam Package

[der_hess]

Hallo,

seit einiger Zeit spiele ich schon mit bildbasierter Interaktion (Webcam Interaktion) herum und jetzt hab ich mal meine Klassen aufgeräumt (ordentliches Eventhandling usw.) und möchte die euch hier zugänglich machen. Natürlich mit der Hoffnung, dass der ein oder andere von euch damit etwas anfangen kann. Das Package bietet 2 verschiedene Interaktionsmöglichkeiten an. Einmal mit dem Körper (euch sicherlich bekannt aus den Playstation Webcamspielchen) und einmal mit der Hilfe von Lichtquellen (Tacking von einem oder mehreren Lichtquellen) - Vielleicht ist es ja auch übertrieben an dieser Stelle von einem Package zu reden, aber ich weiss nicht wie ich es sonst so kurz und knackig beschreiben kann - Die Klassen bieten dann noch einige Konfigurationsmöglichkeiten (z.B. die Modis
Motion Detection und Differenzkeys) an, die ihr euch am besten bei der beiligenden Klassendoku und Beispielcodes mal genauer anschaut.

Einige ältere Beispiele von mir, damit ihr euch ein besseres Bild von der sache machen könnt:
Interactive Webcam Userinterface | Beschreibung dazu
Lighwriter | Beschreibung dazu
AudioVisuelles Jump and Run Game | Beschreibung dazu


Hier mal ein kurzer Beispielcode zur CamButton Klasse:

PHP-Code:

import de.derhess.iaCam.CamButtonManager;
import de.derhess.iaCam.CamButton;

var manager:CamButtonManager = new CamButtonManager(webcamBild, CamButtonManager.DYNAMIC);

// Erzeugen eines WebcamButtins (xpos,ypos,breite,höhe)
var button1:CamButton = manager.createCamButton(5,5,30,30);
var button2:CamButton = manager.createCamButton(50,65,50,50);

// Ereignis wenn die Hand das erste mal über den Button fährt
button1.onHand = function () {
       trace(„Button1 onHand“);
}

// Ereignis wenn die Hand über  den Button stehen bleibt
button1.onHandOver = function() {
      trace(„Button1 onHandOver“);
}

// Ereignis wenn die hand den Button verlässt
button1.onHandOff = function() {
      trace(„Button1 onHandOff“);
}

// Analyse des webcam Bildes nach Interaktion
_root.onEnterFrame = function () {
       manager.startAnalyze();
} 


Eine ausführlichere bessere Beschreibung gibt es in der Doku und auf meinen Blog. Dann viel Spass damit!

Gruß
Flo

[der_hess]

Hi,

ich hab mal mein Interactive Webcam Package auf ActionScript 3 portiert. Die Funktionalitäten bleiben die gleichen, nur dass es jetzt dank ActionScript 3 viel schneller läuft. Ich hab auf meinem Blog mal 2 Videos hochgeladen, die das Package in Aktion mit der Papervision3D Engine zeigen.

Beispielvideos mit einem 3D XFigher Objekt

Das ganze Package mit überarbeiteter Doku, Sourcecode der Beispiele gibt es unter:
http://derhess.de/demo/flash/interactiveWebCam.zip

Wer nur auf das Package scharf ist, dem sind die Klassen in diesem Thread beigefügt. Nun dann euch frohe Weihnachten ;-)

Gruß
Flo

[elComandante]

Interessant! Damit werde ich mich demnächst mal näher beschäftigen.Und vielleicht kommt dann ein biometrisches Face Detection Kit raus. :-)

MFG
elComandante

[readme.txt]

Schöne Sache ... ich hab schon überlegt ob mit einer Webcam sowas möglich wäre wie Eye of Judgement für die PS3 ... die Kartenerkennung meine ich.

Was meinst machbar?

[der_hess]

hui,

das ist eine gute Frage. Würde es aber als sehr problematisch sehen, da es massiv von der Auflösung der (Web)Camera abhängig ist und jede höhere Auflösung braucht einiges an mehr Perfomance. Nur zu dumm dass eine höhrere Auflösung das Erkennen der Strichcodes erleichtert (die ja für das erkennen der Spielfigur eingesetzt werden ). Und da das richtige Mittel zu finden wird nicht einfach sein.

Aber eins vorab, Strich- bzw. Barcodeerkennung mittels Webcam und Flash gibts schon seit AS2 Zeiten und funktioniert ja auch auf Handys ganz gut. Das ist auf jeden Fall schonmal mit Flash machbar. Die Erkennung der Ausrichtung der Spielkarten alleine dürfte mit Flash eigentlich auch machbar sein. Nur die Kombination der beiden Erkennungsvorgänge und das dann auch noch in Echtzeit, puh, das wird nicht einfach. Eine dynamische Auflösungsabfrage könnte evtl das Problem lösen. Für die Ausrichtung der Karten verkleinerst du das Analysebild und von jeder Karte nimmst du dann das hochaufgelöste Bild um den Strichcode besser zu erkennen. Müsste man mal testen ob das auch mit Flash gehen könnte

Hab leider mit ActionScript 3 noch nicht so viel gearbeitet und hab da kaum Erfahrung mit Perfomancegrenzen, sorry.

[Steini1980]

Hallo,
erstmal vielen Dank für das "Interactive Webcam Package" ist wirklich super, auch wenn bei mir nur die AS2 Version funktioniert, die AS3 funktioniert wohl im Zusammenhang mit Adobe Flex nicht?! Aber das ist jetzt auch nicht das Thema.

Ich versuche mittels Webcam ein Flash Pageflip zu steuern. Den PageFlip habe ich nun soweit auch erweitert. Sobald ich jedoch "camAnalyze.startAnalyze();" aufrufe blättert der PageFlip nicht mehr.

Die beiden Schleifen müssen sich da wohl irgendwie in die Quere kommen. Teilweise fängt er auch an zu blättern und dann bricht das Script plötzlich ab. Leider hatte ich bisher noch net sehr viel mit AS zu tun, daher wäre ich dankbar wenn jemand mal gucken könnte.

Hab meinen Zwischenstand mal hier geparkt:
www.warpfive.de/download/fla.zip

[der_hess]

Hi,

ähm kannst du mir sagen, wo genau du das Package einsetzt? bzw. wo der ActionScript Code liegt für das Webcam Package. Bei deinem ganzen Aufbau hab ich leider null Orientierung was was macht... kannste da bissl mehr zu schreiben

Das Package müsste eigentlich auch mit Flex gehen. Hab das damals mit Flex 2 kompiliert. Nur sind die Beispiele nicht mit MXML geschrieben...

[Steini1980]

Hab hier am Rechner jetzt leider kein Flash, deinen Code hab ich irgendwo am Ende von "pagenav" oder so ähnlich (direkt in der Pageflip.fla) mit eingesetzt, dort sind jedenfalls auch die ganzen Buttons zum Vor- und Zurückblättern usw.

Bezüglich Flex3 und AS3 Version hat er zwar kompiliert, beim öffnen kam jedoch immer ein Fehler und das Kamerabild wird nicht angezeigt. Kann dir nächste Woche gern mal die genaue Fehlermeldung schicken.

[der_hess]

Hi Steini,

ich hab mal beim MovieCLip pagNav den ActionSCript Code auf ca. Zeile 195 auf folgendes geändert:

PHP-Code:

var pageNav = this;
_parent.start_btn.onRelease = function() {
    pageNav.onEnterFrame = intervall;
} 


nun werden die Webcam Events richtig geworfen, aber ich bekomme 9 Fehler bei der Kompilierung, die mit dem PageFlip zu tun haben... der kann die Klassen nicht finden... aber vielleicht hast du das Problem auf deinem Rechner nicht...

[Steini1980]

Sorry, hab das ganz vergessen... Da müssen noch die Umgebungsvariablen vom Flash-Kompiler angepasst werden, näheres hier:

www.flashhilfe.de

Dort gibts irgendwo folgenden Screenshot: flashenvironment.jpg

[Alpha.ONE]

Hallo

ich interessier mich sehr für das Thema und wollte dich nach deinen Quellen fragen.
Hast du gute Links oder Literatur die du empfehlen kannst?

Grüße

[Steini1980]

Wenn du hier im Beitrag die Links verfolgst sollte das denke ich auch weiterhelfen, ansonsten kann ich dir diese noch anbieten:

http://www.adobe.com/devnet/flash/ar...am_motion.html

http://www.urdalen.com/blog/?p=214

http://www.brianwiltshire.net/lab/?p=12

http://www.neuroproductions.be/portf...ebcam_tutorial

Ansonsten hilft dir vielleicht das Schlagwort: "Webcam Motion Detection" oder gehts dir mehr um PageFlip?

[Alpha.ONE]

Danke für die Links.
Mir gehts ums Lighttracking. Ich bau grad was ähnliches in Java und suche performante Algrythmen um das umzusetzen.
Das einzige was mir noch große Probleme macht sind die FPS der Webcam bei schlechten Lichtverhältnissen.

Grüße Alpha

[der_hess]

Hi

das was ich da gemacht hab ist eigentlich nicht allzu schwer und Leutz aus dem Image Processing (Bildverarbeitung) Bereich lachen sicherlich über die kleinen 2-3 Klassen. Anfangs hab ich mir Infos von diversen Flash Blogs und Seiten geholt. Siehe meine 2 Blogeinträge mit den entsprechenden Links dazu:

http://www.derhess.de/weblog_detail.php?id=6
http://www.derhess.de/weblog_detail.php?id=7

Für das Trackingverfahren des Lichts habe ich selbst ein bissl rumüberlegt. Welche Ideen dahinter stecken kannst du hier lesen:
http://www.derhess.de/weblog_detail.php?id=30

Bin jedoch mit meinen Trackingverfahren nicht so wirklich zufrieden. Ein gutes Color(!) Trackingverfahren hat Benjamin Bojko auf Basis des MeanShift Verfahren für ActionScript 3 entwickelt.
http://www.bbojko.de/tracking-source
http://www.bbojko.de/

Weitere verfügbare Umsetzungen auf Basis 100% Flash sind mir bisher nicht bekannt. Es gibt noch einige andere Projekte in dieser Richtung, aber die arbeiten noch mit weiteren Schnittstellen (leiten Berechnungen an Server oder exe Dateien weiter)
http://labs.wichers.nu/2007/08/23/fl...ge-processing/
http://web.media.mit.edu/~jackylee/attention.htm

Dann gibts noch einige Bibliotheken auf Basis von C++, Java usw., die relativ häufig in Zusammenhang mit Medienkunstprojekten verwendet werden:

EyesWeb Framework:
http://www.infomus.dist.unige.it/Eye...Tutorials.html
http://www.infomus.dist.unige.it/Eye...mDownload.html

The Machine Perception Toolbox
http://mplab.ucsd.edu/grants/project...roduction.html

Anwendungen mit ner GUI
http://vvvv.org/
http://de.wikipedia.org/wiki/Max/MSP

Der Klassiker unter den Bildverarbeitungstools und Trackingverfahren ist aber die OpenCV Bibliothek von Intel:
http://de.wikipedia.org/wiki/Opencv
http://sourceforge.net/projects/opencvlibrary/

So und wenn dir das immer noch nicht reicht, schau mal im Netz nach den Stichworten Image Processing, Digitale Bildverarbeitung und Tracking. Bin sehr oft dann im Bereich der Robotik gelangt... Gute Artikel und Berichte gibt es immer auf spezielle Uni Seiten:
http://www.face-rec.org/
http://www.cs.princeton.edu/~cdecoro...colortrack.htm
http://robocup.mi.fu-berlin.de/docs/MelWS/MelWS.html
oder auf http://portal.acm.org/portal.cfm allerdings ist das nicht kostenlos, jedoch sollten die meisten Uni Bibliotheken einen Zugang haben.

Hoffe du kannst mit dem Kram was anfangen

@Edit: Ganz vergessen zu erwähnen in Sachen Bildverarbeitung mit Flash sind die 2 deutschen Personen ganz vorne dabei ;-):
http://blog.joa-ebert.com/imageprocessing-library/
http://www.quasimondo.com/

@Edit: Jetzt hatte ich ewig das Fenster auf und habe nicht gemerkt, dass schon geantwortet wurde auf die Frage :-/

[Steini1980]

@ derHess:
Hast du meinen Beitrag oben gelesen bzw. hast du es mit den geänderten Umgebungsvariablen mal ausprobiert? Klappt das jetzt alles? Kann es hier leider nicht ausprobieren... Danke nochmals!