Oculus Quest: Künstliche Intelligenz ermöglicht Handtracking
Bildquelle: www.youtube.com
VR-Nachrichten

Oculus Quest: Künstliche Intelligenz ermöglicht Handtracking

Auf der Oculus Connect 6 präsentierte Facebook das neue Handtracking für Oculus Quest. Robert Wang, der leitende Ingenieur des Handtracking-Teams, erklärt, wie Facebook mit KI die Hände erkennt.

Laut Wang seien Hände als Controller in dem Sinne vorteilhaft, da sie ein wichtiger Bestandteil von sozialer und eigener Wahrnehmung sein. Dennoch standen die Ingenieure von Facebook vor einem Problem: Qualitativ hochwertiges Tracking ist mit Tiefenkameras und Markern an den Händen problemlos möglich. Die Oculus Quest hat jedoch nur herkömmliche Schwarz-Weiß-Kameras verbaut. Erst Künstliche Intelligenz ermöglicht es Facebook, genaues Handtracking in die Quest zu implementieren.

Dafür erkennt ein Algorithmus zuerst Hände innerhalb des Sichtfelds. Dann identifiziert die KI Finger, Fingerspitzen und Gelenke. Anhand dieser Schlüsselpunkte erstellt die KI ein räumliches Modell der Hand und zieht ihr ein 3D-Modell über.

Damit die Hände überhaupt von der KI erkannt werden, trainiert Facebook sie mit Videomaterial, welches Handbewegungen von verschiedenen Personen zu sehen sind. Besonders viel Wert legte Facebook hier auf das Zusammenführen von Daumen und Zeigefinger.

Laut Wang existieren noch viel genauere Tracking-Modelle, die die Interaktion der Hände miteinander ermöglichen wie die Hände zu verschränken oder einen Stift zu übergeben. Man wolle diese Modelle auch für Oculus Quest verwenden. Wann und ob Facebook das bessere Tracking veröffentlicht, sagt Wang nicht. Bei den Demos auf der Oculus Connect 6 war es noch nicht implementiert.

 

Ähnliche Nachrichten

Ähnliche Termine