Wie weiß ein Computer, wo Sie suchen?

Stellen Sie sich vor, Sie fahren mit dem Auto und verwenden eine Heads-up-Projektion auf der Windschutzscheibe, um durch eine unbekannte Stadt zu navigieren. Dies ist Augmented Reality (AR); Die Informationen dienen dazu, Sie nicht nur auf einer Route zu führen, sondern auch auf wichtige Informationen in Ihrer Umgebung aufmerksam zu machen, z. B. Radfahrer oder Fußgänger. Die richtige Platzierung von virtuellen Inhalten ist nicht nur entscheidend, sondern vielleicht auch eine Frage von Leben und Tod.

Informationen können kein anderes Material verdecken und sollten so lange angezeigt werden, dass Sie es verstehen, aber nicht zu lange. Computersysteme müssen diese Bestimmungen in Echtzeit vornehmen, ohne dass irgendeine der Informationen störend oder störend wirkt. Wir wollen auf keinen Fall eine Warnung vor einem Radfahrer vor dem Auto, um den Radfahrer selbst zu verschleiern!

Als Forscher in AR verbringe ich viel Zeit damit, herauszufinden, wie man die richtigen Informationen auf den Bildschirm eines Benutzers bringt, genau an der richtigen Stelle, genau zum richtigen Zeitpunkt. Ich habe gelernt, dass das Zeigen zu vieler Informationen den Benutzer verwirren kann, aber nicht genug, kann eine Anwendung nutzlos machen. Wir müssen den Sweet Spot dazwischen finden.

Ein entscheidendes Element dabei ist, zu wissen, wo Nutzer suchen. Nur dann können wir die gewünschten Informationen an einem Ort bereitstellen, an dem sie verarbeitet werden können. Unsere Forschung beinhaltet das Messen wo Benutzer sucht in der realen Szene, um zu entscheiden, wo virtueller Inhalt platziert werden soll. Mit AR in der Lage, viele Bereiche unseres Lebens zu infiltrieren - von Fahren zu Arbeit zu Erholung - Wir müssen dieses Problem lösen, bevor wir uns darauf verlassen können, dass AR Unterstützung für ernsthafte oder kritische Aktionen bietet.

Bestimmen, wo Informationen abgelegt werden sollen

Es macht Sinn, Informationen dort zu haben, wo der Benutzer hinschaut. Beim Navigieren könnte ein Benutzer ein Gebäude, eine Straße oder ein anderes reales Objekt betrachten, um die zugehörige virtuelle Information zu enthüllen; Das System würde alle anderen Anzeigen ausblenden, um zu vermeiden, dass die sichtbare Szene überflutet wird.


Innerself-Abonnieren-Grafik


Aber woher wissen wir, was jemand anschaut? Es stellt sich heraus, dass die Nuancen des menschlichen Sehens uns erlauben, die Augen eines Menschen zu untersuchen berechnen, wo sie suchen. Durch die Kombination dieser Daten mit Kameras, die das Sichtfeld einer Person zeigen, können wir bestimmen, was die Person sieht und was sie betrachtet.

Eye-Tracking-Systeme entstanden zuerst in den 1900s. Ursprünglich wurden sie hauptsächlich verwendet, um Lesemuster zu studieren; einige könnten für den Leser sehr aufdringlich sein. In jüngerer Zeit ist Echtzeit-Eye-Tracking entstanden und erschwinglicher geworden, einfacher zu bedienen und kleiner.

Eye Tracker können an der Bildschirm oder integriert in tragbare Brillen oder Head-Mounted-Displays. Die Augen werden mit einer Kombination aus der Kameras, Projektionen und Computer Vision Algorithmen um die Position des Auges und des Blickpunktes auf einem Monitor zu berechnen.

Bei der Untersuchung von Eye-Tracking-Daten betrachten wir im Allgemeinen zwei Maße. Der erste heißt a Fixierungund wird verwendet, um zu beschreiben, wenn wir unseren Blick oft an einem interessanten Ort in einer Szene anhalten, weil er unsere Aufmerksamkeit erregt hat. Die zweite ist a Sakkade, eine der schnellen Augenbewegungen, die benutzt wurden, um den Blick zu positionieren. Auf kurze Fixationszeiten folgen schnelle Bewegungen, sogenannte Sakkaden. Im Grunde laufen unsere Augen schnell von Ort zu Ort und nehmen Informationen über Teile einer Szene auf. Unsere Gehirne setzen dann die Informationen aus diesen Fixationen zusammen, um ein visuelles Bild in unseren Köpfen zu bilden.

{youtube}tdFIvRMvFQI{/youtube}

Eye-Tracking mit AR kombinieren

Oft ist AR-Inhalt an einem realen Objekt oder Ort verankert. Zum Beispiel sollte ein virtuelles Etikett mit einem Straßennamen in dieser Straße angezeigt werden. Im Idealfall möchten wir, dass die AR-Beschriftungen in der Nähe des realen Objekts angezeigt werden, mit dem sie verknüpft sind. Aber wir müssen auch darauf achten, dass sich mehrere AR-Labels nicht überlappen und unlesbar werden. Es gibt viele Ansätze zum Verwalten der Etikettenplatzierung. Wir untersuchen eine Option: Berechnen, wo die Person in der realen Szene sucht und AR-Labels nur an dieser Stelle anzeigt.

Nehmen wir an, ein Benutzer interagiert beispielsweise mit einer mobilen Anwendung, die ihm hilft, im Lebensmittelgeschäft nach kalorienarmem Getreide zu suchen. In der AR-Anwendung ist jedem Getreide eine Kalorieninformation zugeordnet. Anstatt die einzelnen Müslischachteln physisch aufzunehmen und den Nährwert zu lesen, kann der Benutzer sein mobiles Gerät hochhalten und es auf eine bestimmte Müslischachtel richten, um die relevanten Informationen aufzudecken.

Aber denken Sie daran, wie überfüllt ein Laden Cereal Gang mit verschiedenen Paketen ist. Ohne irgendeine Möglichkeit, die Anzeige von AR-Etiketten zu verwalten, würden die Kalorieninformationsaufkleber für alle Müslischachteln angezeigt. Es wäre unmöglich, den Kaloriengehalt für das Getreide, an dem er interessiert ist, zu identifizieren.

Indem wir seine Augen verfolgen, können wir feststellen, welche individuelle Müslischachtel der Benutzer anschaut. Dann zeigen wir die Kalorieninformationen für dieses bestimmte Getreide an. Wenn er seinen Blick auf eine andere Kiste richtet, zeigen wir die Zahlen für die nächste, die er betrachtet. Sein Bildschirm ist übersichtlich, die Informationen, die er will, sind leicht verfügbar und wenn er zusätzliche Informationen benötigt, können wir das anzeigen.

Diese Art der Entwicklung macht es zu einer spannenden Zeit für die AR-Forschung. Unsere Fähigkeit, reale Szenen mit Computergrafiken auf mobilen Displays zu integrieren, verbessert sich. Dies schürt die Aussicht auf die Schaffung atemberaubender neuer Anwendungen, die unsere Fähigkeit erweitern, mit der Welt um uns herum zu interagieren, von ihr zu lernen und sie zu unterhalten.

Über den Autor

Ann McNamara, Associate Professor für Visualisierung, Texas A & M Universität

Dieser Artikel wurde ursprünglich veröffentlicht am Das Gespräch.. Lies das Original Artikel.

Bücher zum Thema

at