ColorMix

ColorMix ist ein interaktives Mixed-Reality Spiel, welches an die Wand projeziert und mit einem Ball gespielt wird. Das Ziel des Spiels ist, vorgegebene Objekte zu treffen und somit innerhalb einer Minute so viele Punkte wie möglich zu erreichen. Die Installation besteht aus 3 Komponenten: dem Tracking mit der Kamera, den Kontaktmikrofonen die den Aufprall des Balles registrieren und dem Spiel selbst.

Das Spiel Zu Beginn des Spiels werden acht zufällige Objekte erzeugt. Es gibt drei Formen und drei Farben, welche in allen möglichen Kombinationen vorkommen. Weitere 3 zufällige Objekte werden angezeigt, die getroffen werden müssen. Wenn bei den Zielobjekten ein blaues Dreieck angezeigt wird, muss von den oberen Objekten ein blaues Dreieck mit dem Ball getroffen werden.

Tracking Der Aufprall wird von den Kontaktmikrofonen (Piezos) registriert, das Signal an einen Verstärker weitergeleitet, welcher es verstärkt und an einen Arduino gesendet wird. Dieser Überprüft ob das Signal groß genug ist um als Aufschlag des Balles zu gelten. Wenn ja sendet er eine Variable an den Computer, welche angibt dass ein Aufschlag registriert worden ist. Diese Variable wird ständig von Cinder eingelesen, und wenn ein Aufschlag eintritt, wird die Ball-Tracking Funktion ausgeführt. Für das Tracken des Balls wird die Playstation Eye Webcam und OpenCV verwendet. OpenCV ist eine Softwarebibliothek, die für die maschinelles Sehen verwendet wird. Um die Erkennung des Balles zu erleichtern wurde er in schwarzes Panzertape eingewickelt, dies erhöht die Masse, um die Erkennung durch die Kontaktmikrophone zu verbessern, und erleichtert die Unterscheidung zum Hintergrund. Das tatsächliche Tracken funktioniert, indem das aufgenommene Bild der Webcam in ein Graustufenbild konvertiert wird, und aus diesem Bild ein Threshold errechnet wird. Danach werden aus diesem Bild mittels Canny-Edge-Detection die Kanten ermittelt und aus Konturpunkten dieser Kante wird der Mittelpunkt des Balls errechnet. Diese Position wird danach an das Spiel weitergegeben und als Input verwendet.

Link zum Video