Webcam Tracking

[XLR8R]

Tach auch!

Ich dachte ich teil mein kleines Uniprojekt mal mit der Allgemeinheit. Ziel war es, ein beliebiges Objekt eines Webcam- oder Videobilds durch Farberkennung möglichst performant und zuverlässig zu verfolgen. Was dabei rausgekommen ist seht ihr hier:

http://www.bbojko.de/?p=26

und eine Pong Minigame Version:

http://www.bbojko.de/?p=28

Das ganze ist an das Meanshiftverfahren angelehnt, was innerhalb eines Suchbereiches ähnliche Pixel sucht und deren Verteilungsschwerpunkt als neue Ausgangsposition für den nächsten Durchlauf nimmt.

Falls noch mehr Interesse am Trackingverfahren oder evtl. auch am Code besteht "hier" schreien

[Ahrsib]

Meine Webcam, fest verbaut im iMac G5 wird nicht gefunden.
Bei der Abfrage habe ich natürlich auf „Zulassen” geklickt,
aber das grüne Licht ging nicht an, das heisst, sie wird nicht angesprochen.

Ahrsib
... Betatester.

[XLR8R]

hm strange. bisher hat das auf allen getesteten rechnern geklappt. bin mir nicht sicher, aber dem bild auf google nach zu urteilen wurde das ganze sogar auf einem iMac G5 vorgeführt. manchmal schien es auf einem macbook pro probleme zu geben, wenn irgend eine flash anwendung vorher schon mal auf die cam zugegriffen hat (wenn parallel im hintergrund drauf zugegriffen wird ja sowieso). browser neustart hat dann aber immer geholfen.

[Janoscharlipp]

HIER!

Leider keine Webcam zur Hand, werde ich aber am Montag mal ausprobieren, klingt spannend!

[Ahrsib]

Zitat von XLR8R

… das ganze sogar auf einem iMac G5 vorgeführt. … wenn irgend eine flash anwendung vorher schon mal auf die cam zugegriffen hat …

Wird nicht und wurde nicht,
ich habe es ausnahmsweise zugelassen,
um es für dich zu testen, aber es funzte nicht.

Eigentlich denke ich, läuft mein Mac unter Standardeinstellungen,
irgendwas ausgestellt habe ich nicht bewusst.
Aber okee, habe vorhin die Tagesschau mit dem Realplayer geguckt,
mache mal einen kompletten Neustart und melde mich wieder!

Ahrsib
... engagierter Betatester. - wohin geht die Rechnung?

[Ahrsib]

Nope, die iSight wird nicht aktiviert.

Ahrsib
... fühlt sich jetzt nicht schuldig.

[der_hess]

Hey

coole Sache! Ich hab auch bissl mit Webcam Tracking rumgespielt:
http://www.derhess.de/weblog_detail.php?id=47
http://www.derhess.de/weblog_detail.php?id=32

vielleicht lässt sich da ja was kombinieren...

[XLR8R]

Zitat von Ahrsib

Nope, die iSight wird nicht aktiviert.

Ahrsib
... fühlt sich jetzt nicht schuldig. ;)

damnit! aber schon mal danke für's ausgiebige testen. (wirst du lieber in golbarren oder bar bezahlt?) nur zur sicherheit: hast du die webcam denn schon erfolgreich nutzen können? hört sich sehr seltsam an. vielleicht kannst du ja mal testen, ob sie bei folgendem link klappt:

http://je2050.de/showroom.php?file=levels

@Janoscharlipp
galt das "hier" dem code oder der erläuterung des verfahrens? könnte mal den hauptalgorithmus in die runde schmeißen. das package selber ist leider noch relativ undokumentiert aber da wird auch nicht großartig gezaubert ;)

@hess
wie schon in der mail: eine kombination wäre sicherlich lustig

[Janoscharlipp]

Eigentlich egal, wenn man den Code versteht, ist er wahrscheinlich besser als jede Erklärung

[XLR8R]

na dann mal los:

hier gibt's die tracking source dateien

der hauptalgorithmus befindet sich in der MeanshiftTracker klasse. um das verfahren noch mal kurz und grob zu erläutern:

der tracker hat einen bereich mit bestimmter größe und untersucht in diesem die pixel (also nicht das gesamte bild). von jedem pixel werden die chrominanzwerte - also die Cb und Cr werte im YCbCr farbraum - mit dem referenzfarbwert verglichen. wenn die farbe des pixels der des referenzwertes ausreichend ähnelt wird die x- und y-entfernung des pixels zur aktuellen trackerposition gespeichert. alle x- und y-entfernungen werden dann aufsummiert und durch die anzahl der gefundenen pixel geteilt. also wird so im endeffekt der durchschnitt aller entfernungen und somit der verteilungsschwerpunkt ausgerechnet. diese position ist dann wieder ausgangspunkt für den nächsten durchlauf.

letztendlich sind dann noch einige tweaks usw. drin...

aber wie janoscharlipp schon so schön gesagt hat, sagen ein paar zeilen code mehr als tausend worte also dann mal viel spaß beim basteln

[b.asile]

Zitat von XLR8R

aber wie janoscharlipp schon so schön gesagt hat, sagen ein paar zeilen code mehr als tausend worte also dann mal viel spaß beim basteln

Hoert sich mal gut an,
renne die Woche mal in nen Laden und goenne mir mal ne neue WebCam.

Gruss b.asile
... wieder Lust auf Spielereien

[Ahrsib]

Mh... bei collab.nl springt meine iCam auch nicht an.
Bei der Anmeldung dort hatte ich auch noch keine
und jetzt finde ich keine Profileinstellungen.

Ahrsib
... wie dem auch sei.

[b.asile]

Zitat von Ahrsib

Mh... bei collab.nl springt meine iCam auch nicht an.
Bei der Anmeldung dort hatte ich auch noch keine
und jetzt finde ich keine Profileinstellungen.

Ahrsib
... wie dem auch sei.

Also das mit der CAM ist nicht XLR8Rs Schuld,
man hat da aus Flash heraus keinen Einfluss darauf.

Habe keinen Schimmer von MAC, aber evtl. kannst du die CAM resetten, also auf Wekseinstellungen zuruecksetzen oder sowas.
DeInstallieren und NeuInstallieren oder so...

[quasimono]

Sehr fein!
Coole Sache, funktioniert auf meinem iMac einwandfrei!

Vielen Dank auch für das Veröffentlichen der Sources, werde mir das sicher bei Gelegenheit mal anschauen.

[XLR8R]

Zitat von b.asile

Hoert sich mal gut an,
renne die Woche mal in nen Laden und goenne mir mal ne neue WebCam.

Gruss b.asile
... wieder Lust auf Spielereien

coolio - na wenn das so ist hätte ich vorher einen webcam shop aufmachen sollen =)