JP5909034B1 - ヘッドマウントディスプレイ用ユーザインターフェース - Google Patents

ヘッドマウントディスプレイ用ユーザインターフェース Download PDF

Info

Publication number
JP5909034B1
JP5909034B1 JP2015561419A JP2015561419A JP5909034B1 JP 5909034 B1 JP5909034 B1 JP 5909034B1 JP 2015561419 A JP2015561419 A JP 2015561419A JP 2015561419 A JP2015561419 A JP 2015561419A JP 5909034 B1 JP5909034 B1 JP 5909034B1
Authority
JP
Japan
Prior art keywords
user
view
field
hmd
data elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015561419A
Other languages
English (en)
Other versions
JP2016514314A (ja
Inventor
ポール・マバット
ジュリアーノ・マチョッチ
ルイーズ・エム・オーガー
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Application granted granted Critical
Publication of JP5909034B1 publication Critical patent/JP5909034B1/ja
Publication of JP2016514314A publication Critical patent/JP2016514314A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

ユーザが頭の傾き(すなわち水平軸を中心とする動き)および/または回転(すなわち垂直軸を中心とする動き)を使用して、他の場合ならユーザの初期視野の外部にある1つまたは複数の持続的データ要素にアクセスすることができるようにする、ヘッドマウントディスプレイ(HMD)のユーザインターフェース(UI)を提供する。実施形態は、ユーザの頭のさらに検出された動きによって、持続的データ要素のデータのさらなる移動および/または他の操作を実現することも可能である。

Description

本発明は、ヘッドマウントディスプレイ用ユーザインターフェースに関する。
シースルーヘッドマウントディスプレイ(HMD)は、ユーザがユーザの周囲環境の視界を維持しながらディスプレイ上のデータ要素を見ることができるウェアラブルデバイスである。シースルーHMDのこの特徴は、ユーザがナビゲーション経路を移動中にHMDがユーザにナビゲーションデータを提供する、ナビゲーション状況において有用な場合がある。
本明細書に記載の本発明の実施形態は、普通ならユーザの初期視野の外部にある1つまたは複数の持続的データ要素にユーザが頭の傾き(すなわち水平軸を中心にした動き)および/または回転(すなわち垂直軸を中心にした動き)などの頭の動きを使用してアクセスすることができるようにする、HMDのユーザインターフェース(UI)を提供する。実施形態は、ユーザのさらに検出された動きによる持続的データ要素のデータのさらなる移動および/またはその他の操作を提供することもできる。
本開示に係るシースルーHMDによってデータを表示するための方法の一例は、HMDのユーザの第1の視野を判断することと、少なくとも1つのセンサからセンサ入力を受信することと、当該センサ入力を使用して軸を中心とする当該ユーザの頭の第1の動きを検出してユーザに第2の視野を持たせることとを含む。この方法は、検出された当該第1の動きに基づいてHMDに1つまたは複数の持続的データ要素を当該第2の視野内に表示させることをさらに含む。
本開示に係る装置の一例は、メモリと、当該メモリと、シースルーHMDのユーザの動きを感知するように構成された1つまたは複数のモーションセンサと、当該HMDのディスプレイとに通信可能に接続された処理ユニットとを含む。ディスプレイは、ユーザがユーザの環境内の物理的物体を見ることができるようにしながらユーザの視野内にデータ要素を表示するように構成される。処理ユニットは、当該HMDのユーザの第1の視野を判断し、当該1つまたは複数のモーションセンサからセンサ入力を受信し、当該センサ入力を使用して軸を中心としたユーザの頭の第1の動きを検出してユーザに第2の視野を持たせるように構成される。処理ユニットは、検出された当該第1の動きに基づいて当該ディスプレイに1つまたは複数の持続的データ要素を当該第2の視野内に表示させるようにさらに構成される。
本開示に係るコンピュータ可読記憶媒体の一例は、シースルーHMD上にデータ要素を表示するための命令が格納されている。命令は、当該HMDのユーザの第1の視野を判断し、少なくとも1つのセンサからセンサ入力を受信し、当該センサ入力を使用して軸を中心にしたユーザの頭の第1の動きを検出してユーザに第2の視野を持たせるためのコンピュータ実行可能コードを含む。命令は、検出された当該第1の動きに基づいて当該HMDによって1つまたは複数の持続的データ要素を当該第2の視野内に表示するためのコンピュータ実行可能コードも含む。
本開示に係る装置の一例は、HMDのユーザの第1の視野を判断するための手段と、少なくとも1つのセンサからセンサ入力を受信するための手段と、当該センサ入力を使用して軸を中心とするユーザの頭の第1の動きを検出してユーザに第2の視野を持たせるための手段とを含む。装置は、検出された当該第1の動きに基づいて当該HMDを介して1つまたは複数の持続的データ要素を当該第2の視野内に表示するための手段をさらに含む。
本明細書に係る方法の一例は、少なくとも半透明である表示要素を有するヘッドマウントディスプレイ(HMD)を装着したユーザの頭の動きを検出することと、前記検出に応答して、当該ヘッドマウントディスプレイ上に1つまたは複数の持続的データ要素を、当該半透明の表示要素を通してユーザが見ることができるシーンの一部に重なるように表示させることとを含む。
この方法は、以下の特徴のうちの1つまたは複数の特徴を含み得る。動きは、頷きまたは頭をすばやく引く動きを含むことができ、持続的データ要素は、ユーザの視野内にポップアップまたはスライドするように表示され得る。頭の動きの検出は、ユーザが、期待視野の少なくとも一部がユーザに見えなくなるようにユーザが頭を動かしたと判断することを含み、当該持続的データ要素は当該期待視野の外部である領域内に表示することができる。持続的データ要素は、期待視野の外部の物体に固定されているように見えてもよい。期待視野は、ユーザの移動方向に基づいて判断することができる。移動方向は、コンパスおよび/または複数の測位測定値を使用して判断することができる。持続的データ要素は、ユーザが期待視野を見ているときには非表示とすることができる。頭の動きの検出は、期待視野の外部の少なくとも一部がユーザに見えるようにユーザが頭を動かしたと判断することを含むことができ、持続的データ要素は、期待視野の外部の一部に表示することができる。
この方法は、上記の特徴に加えて、または上記の特徴に代えて、以下の特徴のうちの1つまたは複数の特徴を含むことができる。検出される動きは、頭の下方への傾きを含むことができ、持続的データ要素は、地面とほぼ平行または一致する仮想表面上に表示することができる。持続的データ要素は、ユーザに地面上に表示されているように見える地図および/またはナビゲーション要素を含み得る。地図は、頭を回すと地図の異なる部分がHMDに表示されるように、地面に固定されているように見えてよい。ユーザの視界にない関心地点を表す標識を、地図の縁および/または当該関心地点が位置する方向の水平線に表示することができる。この方法は、ユーザの手の動きを検出することと、検出された手の動きに基づいて地図をズームさせることとを含み得る。
この方法は、上記の特徴に加えて、または上記の特徴に代えて、以下の特徴のうちの1つまたは複数の特徴を含むことができる。頭の動きの検出は、ジャイロスコープまたは加速度計によって、ユーザが頭を上または下に傾けたことを検出することを含み得る。頭の動きの検出は、ジャイロスコープからのデータを仰角データと比較して、ユーザが位置する経路が傾いている方向に頭が傾いているか否かを判断することをさらに含み得る。持続的データ要素は、時計、アポイントメント、カレンダー、アラート、受信メッセージまたは着呼、またはソーシャルネットワーキングの状況または更新または投稿を含み得る。この方法は、ユーザの手ぶりを検出することと、検出された手ぶりに基づいて要素のうちの少なくとも1つの要素を調整することとをさらに含み得る。手ぶりは、光学センサ、超音波周波数を感知するマイクロフォン、または電磁放射のセンサを使用して検出可能である。この方法は、ユーザの視線に基づいて要素のうちの1つの要素の選択を判断することと、選択された要素に関する追加情報を表示させることとをさらに含み得る。
本明細書に記載の項目および/または技術は、以下の機能のうちの1つまたは複数の機能の他、言及されていないその他の機能も提供することができる。技術は、ユーザの通常の視野を混雑させることなく、持続的データ要素に容易にアクセスすることができるようにする。実施形態は、データ要素を視野の最下部または最下部付近に表示することにより、ユーザの環境内の物理的物体に対する表示データ要素の良好なコントラストを確保しやすくすることもできる。上記およびその他の実施形態について、その利点および特徴の多くとともに以下の説明および添付図面を併用してより詳細に述べる。
以下の図面を参照することにより、様々な実施形態の性質および利点をよりよく理解することができる。添付図面において、同様の構成要素または特徴は同様の参照符号を有することがある。また、同じ種類の様々な構成要素は、参照符号の後にダッシュと類似の構成要素を区別する第2の符号とを付けることによって区別することがある。本明細書で第1の参照符号のみを使用する場合、説明は、第2の参照符号にかかわりなく同じ第1の参照符号を有する類似の構成要素のいずれにも適用可能である。
本明細書に記載の実施形態のうちの1つまたは複数の実施形態とともに使用可能な、ユーザの頭に装着されたHMDの一実施形態を示す略図である。 持続的データ要素がユーザの視野内に位置するナビゲーションアプリケーション用のHMDユーザインターフェースを示す略図である。 持続的データ要素がユーザの視野内に位置するナビゲーションアプリケーション用のHMDユーザインターフェースを示す略図である。 一実施形態による、持続的データ要素がユーザの初期視野の外部に出しておかれたHMDのユーザインターフェースを示す略図である。 一実施形態による、持続的データ要素がユーザの初期視野の外部に出しておかれたHMDのユーザインターフェースを示す略図である。 ある実施形態による、地図の俯瞰図を示す図であり、任意による地図ズーム機能を示す図である。 ある実施形態による、地図の俯瞰図を示す図であり、任意による地図ズーム機能を示す図である。 一実施形態による、ユーザが持続的データ要素の「デスクトップ」にアクセスすることができる様子を示す図である。 持続的データ要素がアラートとアイコンとを含む代替実施形態を示す図である。 一実施形態による、持続的データ要素をHMDユーザインターフェース内に表示させるための方法の実施形態を示す図である。 コンピュータシステムの実施形態を示す図である。
いくつかの例示の実施形態について、その一部をなす添付図面を参照しながら以下に説明する。以下では、本開示の1つまたは複数の態様を実施することができる特定の実施形態について説明するが、他の実施形態を使用してもよく、本開示の範囲または添付の特許請求の範囲の趣旨から逸脱することなく様々な修正を加えることができる。
ヘッドマウントディスプレイ(HMD)は、そのデバイスを装着したユーザに対して情報を表示することができるデバイスである。これらのデバイスはユーザの頭に装着されるため、HMDは他のディスプレイでは実現不可能な機能を有することができる。たとえば、あるHMDは、ユーザがユーザの周囲環境とディスプレイ上の画像の両方を見ることができるようにする透明な(または半透明の)ディスプレイを有してよい。画像自体は、HMDが実行するアプリケーションによって決まり得る透明度を有することができる。ある実施形態は、ユーザが見ている物理的物体にそれらの物理的物体に関連付けられた画像(テキストおよび/または画像など)を重ねることにより「拡張現実感」(AR)機能を実現することができる。
図1は、本明細書に記載の実施形態のうちの1つまたは複数の実施形態とともに使用することができる、または実施することができる、ユーザ110の頭に装着されるHMD120の一実施形態を示す略図である。このHMD120は、ユーザの鼻と耳とに掛けることができる眼鏡に類似した本体またはフレームを含む。HMD120のディスプレイの一部は、眼鏡のレンズのようにユーザの目の前に位置し得る。ユーザ110の視野内でユーザ110がユーザの周囲環境とディスプレイとともに表示される画像(たとえばデータ要素)の両方を見ることができるように、ディスプレイの少なくとも一部は透明とすることができる。ディスプレイ上に表示される画像の透明度は、ディスプレイの所望の機能、ディスプレイで表示されるグラフィカルユーザインターフェース(GUI)の設定および/またはHMD120によって実行されるソフトウェアアプリケーション(たとえばビデオ、地図、インターネットブラウザなど)に応じて変化し得る。HMDは、軽量であって、デバイスの装着を不快にする可能性がある重い構成要素の使用を回避するように構成されることが好ましい。
また、HMD120は、ユーザ110との対話のために、スピーカ(および/またはヘッドフォン)、タッチパッド、ボタンなどのインターフェースを備えてよい。別の実施形態では、HMD120は、インターネット、ローカルワイヤレスネットワークまたは別のコンピューティングデバイスとの通信のためのワイヤレスインターフェースを含むことができる。HMD120は、ユーザから音声および/または身ぶり入力を受け取るように動作可能とすることもできる。このような身ぶりまたは音声入力は、発話音声コマンドまたは認識されたユーザ身ぶりとすることができ、コンピューティングデバイスによって認識されるとそのデバイスは対応するコマンドを実行することができる。身ぶりは、HMD120に組み込み、および/または通信可能に結合され、HMDがユーザの手などの1つまたは複数の対象物を追跡し、その対象物が身ぶりをしたか否かを判断することができるようにする、1つまたは複数のモーションセンサおよび/またはカメラから受け取ることができる。また、実施形態はユーザの視線(たとえばユーザがどこを見ているか)を判断するためのカメラおよび/または他のセンサを備えてよい。この視線追跡機能は、身ぶりおよび/またはその他のユーザ入力に組み込むことができる。
また、HMD120は、ユーザ110および/またはユーザの頭の動きおよび/または向きを感知するように、1つまたは複数の加速度計、磁力計、ジャイロスコープ、全地球測位システム(GPS)受信器(および/またはその他の衛星測位システム(SPS)受信器)、高度計などのモーションセンサを備え、および/または、通信可能に結合され得る。本明細書に記載のように要素を表示するためのユーザの視野の判断は、たとえば検出された頭の向き/ユーザの移動方向を提示するセンサ情報に基づくことができる。移動方向はたとえばコンパス(たとえば磁力計)および/または複数の測位測定値(たとえばSPS位置測定値)によって判断することができる。仰角および/または状況データを使用して、経路が傾斜しているためにユーザが下または上を向いているかを判断することができる。たとえば、ジャイロスコープからのデータを仰角データと比較して、ユーザが位置している経路が傾斜している方向に頭が傾いているか否かを判断することができる。ユーザの視野の判断については、以下でさらに詳細に述べる。同様に、ユーザの状況を判断して、たとえばユーザが階段を上っているかまたはエスカレータに乗っているためにユーザが頭を傾けているか否かを確認することができる。
図7のコンピュータシステム700などのコンピュータシステムをHMD120に組み込み、および/または、通信可能に結合することができる。したがって、HMD120は、ナビゲーションアプリケーションおよび/または本明細書に記載の他のアプリケーションなどのソフトウェアアプリケーションを実行することができる。これに加えてまたはこれに代えて、HMD120の実施形態は、たとえばワイヤレスデバイス間プロトコル(たとえばBLUETOOTH（登録商標）またはWI-FI DIRECT)を介しておよび/またはネットワーク(たとえばWIFIネットワーク)を介してHMD120に通信可能に結合された、1つまたは複数のデバイスによって実行されるソフトウェアアプリケーションを表示することができる。たとえば、HMD120は、携帯電話、パーソナルメディアプレーヤ、ゲームシステムおよび/または他のデバイスなどの1つまたは複数のモバイルデバイスに通信可能に結合することができ、モバイルデバイスから情報を表示することができる。
HMD120は、ネットワークとワイヤレス通信するように構成することもでき、ネットワークは1つまたは複数のプライベートネットワークおよび/またはパブリックネットワークを含み得る。プライベートネットワークは、企業イントラネットを含み得る。パブリックネットワークは、たとえばインターネットを含み得る。ネットワークを使用することにより、HMD120はリモートサーバと通信可能とすることができ、そのリモートサーバを使用してHMD120から遠隔にあるサービスを実行することができる。ナビゲーションアプリケーションの場合、そのようなサービスはナビゲーション情報検索、経路計算などを含み得る。リモートサーバは、他の種類のアプリケーションに他のサービスを提供することができる。
図1にはガラス状の枠を備えたHMD120の実施形態を示すが、他の実施形態は、同様の機能を果たすことができる、異なるフォームファクタを有し、および/または、異なる光学技術(たとえば網膜プロジェクタまたはその他の光学系)を使用することができる。ユーザがユーザの環境内の物体とHMD120上に表示された画像とを見ることができるようにする機能は、ナビゲーション経路を移動中のユーザにHMD120がナビゲーションデータを提供するナビゲーションアプリケーションにおいて有用となり得る。
現在のHMDの実装形態は、一般に、ユーザがどの方向を見ているかにかかわらず、絶えずユーザの視界内に到着の見積時間、曲がる方向、地図またはその他のデータなどのデータ要素を表示する手法を採用する。この手法は、周囲光が明るい場合、HMD技術に起因して(特にユーザの視野の最上部の)データ要素が見えにくいだけでなく、注意を逸らしやすく邪魔になるという理由から問題がある場合がある。
図2Aに、HMDを装着したユーザから見た視界200-1に、ユーザが移動している間にHMDがナビゲーションアプリケーションに関するデータ要素210を表示している様子を示す。しかし、この手法は少なくとも2つの理由により問題がある場合がある。第1に、データ要素210が見にくいことがある。HMDの表示技術では、データ要素210をユーザの視界内の他の物体に対して大きなコントラストで表示することができない場合があるためと、ナビゲーションアプリケーションが明るい昼光での屋外ナビゲーションを含む場合があるために、一部のデータ要素210が見えにくいことがある。これは、ユーザの視界の最上部または最上部付近に表示され、空などの明るい背景の影響を受けやすいことが多い特定のデータ要素210-1の場合に特にそうなる可能性がある。
第2に、データ要素210は注意を逸らせ、邪魔になる可能性がある。これは、データ要素が大きい場合に特にそうである。図2Bに、HMD用のナビゲーションアプリケーションが大きなデータ要素210-2であるナビゲーション経路全体を示す地図を、ユーザの視界200-2の中央に表示する例を示す。この大きなデータ要素210-2は半透明とすることができるが、それでも、目前にある可能性のあるものからユーザの注意を逸らせる可能性がある。
本明細書に記載の実施形態は、HMDにおいて1つまたは複数の持続的データ要素をユーザの初期視野の外部に配置させておくことができる、たとえばHMD UI(図1のHMD120によって実行可能)に要素を表示させる。このUIは、頭の傾き(すなわち水平軸を中心にした動き)および/または回転(すなわち垂直軸を中心にした動き)などの頭の動きによってこれらのデータ要素にユーザ110がアクセスすることができるようにすることができる。たとえば、ユーザの頭が下に傾いたとHMD120が判断した場合、1つまたは複数の持続的データ要素をユーザの視野の最下部に表示することができる。持続的データ要素にアクセスするためにユーザの頭が下に傾けられる実施形態は、典型的には地面が示すより際立ったコントラストを利用して表示情報を見ることができ、ある実装形態では頭の左右方向の動きよりも頭の傾きをより高い信頼度で検出することができることを利用することができる。ただし、実施形態は、それに加えてまたはそれに代えて、ユーザの頭が上方に傾いていることおよび/または右または左を見ていることを検出することに基づいて、ユーザの視野の他の領域に持続的データ要素を表示してよい。
本明細書で使用する「持続的データ要素」という用語は、アプリケーションデータ、アイコン(たとえば仮想「デスクトップ」)など、ユーザの周囲環境に関係なくアクセス可能なデータ要素を指す。ただし、以下でさらに詳述する地図など、持続的データ要素の中にはユーザの位置、移動方向、視野などに基づいて更新することができるものもある。図3Aおよび図3Bに、持続的データ要素へのアクセスがどのように行われ得るかの実施形態を示す。
図3Aは、HMD120のユーザ110から見たユーザ110の第1の視野300-1を示す図である。使用するHMDの種類に応じ、ユーザ110の第1の視野300-1をHMD120の表示機能に従って制限することができる。たとえば、第1の視野300-1は、HMD120の表示部分が使用する大きさ、形状、および/または技術によって変化し得る。当業者には多くの変更および変形がわかるであろう。
本実施形態では、HMD120は、いくつかのデータ要素310、315、320を第1の視野300-1の最下部付近に表示することができるナビゲーションアプリケーションからの情報を表示する。これらのデータ要素は、距離310および/または推定残り時間315など、現在のナビゲーション経路に関係するナビゲーション要素を含むことができる。ナビゲーション要素は、ユーザには地面上に表示されているように見えてよい。これに加えてまたはこれに代えて、これらのデータ要素は、付近の関心地点(point-of-interest: POI)を地図上で見ることができることを示すPOI標識320を含み得る。ただし、この実施形態では地図はまだ表示されない。以下で示すように、POI標識320は(現在はユーザの視野外にある)地図上で見える場所に固定される。他のデータ要素を、ユーザの現在の視野または期待視野の外部の項目に固定してよい。ある実施形態では、図3Aに示すデータ要素310、315、320の一部または全部をユーザの第1の視野300-1から隠すことができ、後述のように地図とともにアクセス可能とすることができる。
図3Bは、ユーザ110の第2の視野300-2を示す図である。ここでは、第2の視野300-2はユーザの頭が下に傾いたときに得られる。HMD120は第2の視野300-2にナビゲーションアプリケーションの地図330を表示する。ユーザが頭をさらに動かすことによって地図の異なる場所を見ることができるようにする実施形態の場合には、ユーザが下を見てユーザの足に重ねられたデータ要素(図示せず)によってマークされたユーザの現在位置を見ることができるように、地図はユーザの現在位置を中心とすることができる。ある構成では、ユーザの頭が上に傾くと地図330を再び非表示とすることができる。これに加えてまたはこれに代えて、HMD120は、HMD120が頭の特定の動きおよび/またはその他のユーザ入力(たとえば手ぶり、音声コマンド、タッチパッド入力など)などの特定のトリガイベントを検出するか、特定の時間が経過するか、またはユーザが特定の距離を移動するなどの時点まで、地図330を表示し続けることができる。
地図330は、所望の機能に応じて様々な方法のいずれかで表示することができる。たとえば図3Bに示す実施形態では、地図330は、ユーザが頭を下に傾けたときにユーザに見える円または円盤として表示される。しかし、前述のように、他の実施形態では、ユーザ110が頭を上に傾けるか、頭を左および/または右に回すことによって地図330を見ることができるようにしてよい。また、HMD120の表示機能によっては、地図330は、ユーザから見て、ユーザが位置している物理的な面(たとえば地面)の平面内または平面上にあるように見えてよい。HMD120は、外側を向いたカメラ、超音波、および/またはユーザ設定を使用して、地図330を重ねる物理面を決定することができる。そのような機能は、ユーザがすでに焦点を合わせている可能性の高い焦点面上に表示されるため、ユーザにとってより見やすいことがある。しかし、これに加えてまたはこれに代えて、地図330をユーザから見て、地面および/またはユーザの環境内の他の物体(たとえばディスプレイの縁に沿って現れる「バー」)とは独立した、ユーザからの特定の距離に提示してよい。すなわち、地図330はユーザからの特定の焦点面にあってよく、ユーザにとってあたかも直立しているかまたは向こう側に傾いているかのように見えてよい。他の実施形態または構成は、複数の焦点面を有する地図330またはその他のデータ要素を含み得る。地図は、さらに、移動方向に向けてよく、ユーザが特定の方向に曲がった場合に地図がそれに従って回転するように地面に固定されているように見えてよい。また、地図はユーザの視界にある間に(たとえば、定期的に、検出された動きに基づいて、など)更新することができる。
地図330は、所望の機能に応じて異なる要素を含み得る。例示のように、これらの要素は推奨ナビゲーション経路350および目的地標識340を含むことができる。地図330は、地図330上に示されている街路および/または他のランドマークの文字ラベル、建物の表示、(たとえば交通状況を示す)現在の状況などの1つまたは複数の標識も含み得る。ある実施形態では、ユーザ設定によりこれらの要素を地図330上に表示するか否かおよび/または地図をどのように呼び出し、表示するかなどを制御してよい。
対応するPOI標識323および/またはラベル325を使用して、地図330上に1つまたは複数のPOIも表示することができる。POIは、ユーザ110および/またはHMD120用にカスタマイズし、および/または、総合データベースから検索してもよい。個人用POIは、以前の目的地、現在および/または以前のPOI検索(たとえばカフェ)などから判断することができる。これに加えてまたはこれに代えて、POIはHMD120および/または他のデバイス(たとえば携帯電話、インターネットアクセス可能データベースなど)の他のアプリケーションから受け取ることができ、および/または他のアプリケーションからの情報を使用して判断することができる。
図3Aに示すように、実施形態はPOI標識320を第1の視野300-1内に、たとえば第1の視野300-1の最下部(または実施形態によってはその他の縁または水平線)に沿って表示することができる。POI標識320は、地図330を呼び出したとき(たとえばユーザが頭を下に傾けたとき)、対応するPOIが地図330上に表示される範囲内に入ったら表示してよい。また、第1の視野300-1の最下部のPOI標識320の位置は、ユーザの頭が回転したとき(それによって、視野内にあれば地図330が回転する)、POI標識320がそれに応じて第1の視野300-1の最下部に沿って移動するように、地図上のPOIの位置と一致してよい。ある実施形態では、第1の視野300-1の最下部にあるPOI標識320は、ラベル325、またはPOIの名前を示すその他のデータ要素を含むことができる。ある実施形態は、対応するPOIがユーザの視野外にあるかまたは表示されている地図の領域より離れている場合、地図330の外縁またはユーザに見える地平線にPOI標識320を表示してよい。
このように、第1の視野300-1は、ユーザ110の「期待」または「通常の」視野とすることができ、その中でデータ要素が非表示および/または第1の視野300-1の縁部分に沿って最小化される。第2の視野300-3は、データ要素が注意を逸らしたり邪魔になったりする恐れがより少なく追加のデータ要素を表示することができる視野である。
HMD120は、第1の視野300-1を第2の視野300-2とは様々な点のうちの任意の点で異ならせることができる。ある構成では、第1の視野300-1は頭の向きおよび/またはユーザの動きによって設定することができる。たとえば、HMD120は、センサ(たとえば加速度計、ジャイロスコープ、GPS受信器など)が、ユーザの頭が直立していること、および/または、ユーザの向いている方向にユーザが移動していることを示しているときに、第1の視野を判断することができる。ある構成では、第1の視野300-1はユーザ入力から設定可能である。たとえば、ユーザは音声コマンドの発話、手ぶり、および/または他の何らかの入力を行って、現在の視野がユーザの「通常の」視野であることをHMD120に示すことができる。そのような機能は、アプリケーションごとに異なってよく、またはHMD120のオペレーティングシステムに組み込んでもよい。
動作時、ユーザは図3Aおよび図3Bに示すHMDインターフェースを以下のように使用することができる。ユーザ110はHMD120を使用して、入力機構(タッチパッド、音声コマンド、手ぶり、頭および/または身体の動きなど)の任意の組合せを使用することによりナビゲーションアプリケーションを選択し、実行する。次に、ユーザは、目的地名または目的地の所在地などを発話し、および/または、場所のリストから目的地を選択するなど、やはり様々な入力機構のうちの任意の入力機構を使用してナビゲート先の目的地を入力する。目的地が選択されると、HMD120は経路を決定することができる。経路は、局所的に計算され、および/または、たとえばインターネットを介して受信した情報を使用して得ることができる。経路が決定すると、HMD120は音声および/または視覚ナビゲーションプロンプトを提供して経路に沿ってユーザをガイドする。ユーザが経路に沿って移動しているとき、HMD120はユーザには「期待する」第1の視野300-1があると判断し、特定のデータ要素310、315、320を図3Aに関して説明したようにして表示するか、またはそれらのデータ要素をすべて省く。視野300-1内に近傍のPOI標識320を表示する実施形態では、ユーザが経路に沿って標識に近づくにつれてそれらの標識がディスプレイの下縁に沿って表示され、ユーザに対してPOIが付近にあり地図330上で見ることができることを示してもよい。(たとえば図3A参照)。この実施形態では、ユーザは随時(たとえば経路で)、頭を下に傾けて第2の視野300-2を見て、地図330と、地図上に表示され、および/または地図に関連付けられた任意のデータ要素(たとえば推奨ナビゲーション経路350、目的地標識340、POI標識323および/または近傍POIのラベル325など)とにアクセスすることができる。(たとえば図3B参照)。地図は、ユーザがその上に立っている円盤であるかのように表示されてよく、ユーザは頭をさらに傾け、および/または回すことによって地図330の異なる部分を見ることが可能であってもよい。当然ながらこれは一例であって、本明細書で企図される他の実施形態は異なる機能を備えることができる。実施形態は、たとえばナビゲーションアプリケーションのメニューにより変更可能なユーザ選好および/または設定により、本例に記載の機能の一部または全部を削除、および/または変更することを可能にしてもよい。
図4Aおよび図4Bは、ある実施形態による、地図330の俯瞰図であり、任意による地図のズーム機能を示す。前述のように、地図はユーザ110の場所を中心とすることができる。点線で輪郭を示す地図330の一部410は、図3Bに示すように、地図が表示されたときに地図330のうちの現在ユーザに見える可能性がある部分を示し、ユーザの頭の向きおよび/または方向が変化するにつれて変化し得る。HMD120は、地図330のどの部分がユーザの視野内にある可能性があるかを判断することができ、上述のように対応するPOI標識を示すことができる。所望の機能に応じて、ユーザは、様々な方法(たとえば音声コマンド、頭の動き、手ぶりまたはその他の動きなど)のうちの任意の方法で入力を行うことによって地図330をズームインおよび/またはズームアウトすることができる。
図4Aに、地図330-1が相対的にズームイン状態になっている構成を示す。すなわち、地図330-1は、ユーザの周囲環境のうちの比較的狭い部分を示している。しかし、ズームインすると、地図は地図330がズームアウトされているときには見えない詳細420を示すことができる。そのような詳細420には建物、街路名、地名などが含まれ得る。図3Aおよび図3Bに示すように、ナビゲーションアプリケーションに推奨ナビゲーション経路350がある場合、地図はその推奨ナビゲーション経路350を示すことができる。
図4Bは、地図330-2が相対的にズームアウト状態にある構成を示す。すなわち、地図330-2は、ユーザの周囲環境の相対的に広い部分を示す。ズームアウトすると、地図には地図330をズームインしたときに見える詳細の一部は表示されない場合もあるが、相対的にズームアウトした状態の地図330-2は、地図330をズームインしたときには見えない目的地標識340および/またはPOI標識323(図示せず)などの追加の特徴を示すことができる。
図3A〜図3Bに示す機能は、ナビゲーション以外のアプリケーションにも拡張することができる。たとえば、図5Aに、ユーザが初期視野から頭を下に傾けることによって、視野のうちの持続的データ部510に様々な実行可能アプリケーション、データ、および/または機能を表すアイコンなどの持続的データ要素520の「デスクトップ」が選択および/またはHMD120による実行のために表示される視野500を得ることができる様子を示す。このような機能は、たとえばHMD120のオペレーティングシステムによって提供することができるが、他のアプリケーションが同様の機能を有してもよい。ある実施形態は、これに加えてまたはこれに代えて、ユーザの視野内の物体(たとえば床、建物など)に永続的データ要素520を固定(またはその他の方法で関連付け)してよい。任意により、実施形態は、見やすいコントラストが得られると判断されたユーザの視野内の1つまたは複数の場所に持続的データ要素520を配置してよい。
持続的データ部510の他の特徴および機能は、図3A〜図4Bに関して説明した地図330と類似とすることができる。たとえば、ユーザが頭をさらに下に傾け、および/または頭を一方または他方の側に回すと追加の要素が見えてもよい。したがって、ある実施形態では、図3A〜図4Bに示す実施形態の地図330が、ユーザから見てユーザが位置している地面とほぼ平行または一致する仮想表面上に表示可能な持続的データ部510に置き換えられる。持続的データ部510は、所望の機能に応じて、図5に示すように円盤状、またはその他の様々な形状のうちの任意の形状とすることができる。
ユーザが本明細書で上述した身ぶり、動きおよび/またはその他の技術を使用して持続的データ要素520を選択する(および/またはその他の方法でHMD120のユーザインターフェースと対話する)ことができるようにすることに加えて、またはそれに代えて、実施形態は、HMD120が視線の方向を利用してユーザ入力を受け取ることができるようにする視線追跡機能、たとえば概ねユーザの片目または両目に向けられた1つまたは複数のカメラおよび/または赤外線放射素子などの視線追跡機能も有してよい。たとえば、ユーザは持続的データ要素520を見て動作(たとえば瞬き、ウィンク、発話、身ぶり、または別の動きをするなど)を行い、および/または持続的データ要素520を閾値時間だけ見るなど、様々な方法のうちの任意の方法で視線を使用して持続的データ要素520のうちの1つを選択してよい。さらに、同様の機能を使用して、持続的データ部510を呼び出すことができる。たとえば、ある実施形態は、ユーザがディスプレイのある領域を閾値時間だけ注視することによって持続的データ部510を表示させる(たとえばスライドイン、ポップアップなど)ことができるようにすることが可能である。具体例を挙げると、ある実施形態は、ユーザが視野500の最下部を2秒間注視しながら頭の高さを維持することによって、持続的データ部510を呼び出すことができるようにしてよい。他の実施形態は、それより長いか短い時間(たとえば0.5秒、1秒、3秒、5秒または10秒など)および/または視野の異なる領域(たとえば最上部、側部、特定の象限、「メニュー」アイコンなど)を使用してよく、これらは所望の機能、ユーザ設定および/または他の要因に依存し得る。注視を使用して、持続的データ要素520のうちの1つまたは複数を選択してよく、それによって持続的データ要素520は、特に、アプリケーションの実行、選択された持続的データ要素520に関連する追加情報の表示などを行ってよい。
図5Aに示す持続的データ要素520は、表示可能なデータ要素の非限定的な例として示すものである。所望の機能に応じて、様々な持続的データ要素のうちの任意のものを表示し得る。たとえば、図5Bに、持続的データ要素520が着呼を示す点滅アイコン520-1、いくつかの新着電子メールを示すメッセージアイコン520-2、現在時刻を示す時計アイコン520-3を含む実施形態を示す。実施形態は異なり得る。一般に、持続的データ要素520は、情報項目(たとえば時計、カレンダー、株式ティッカー、ソーシャルメディア状況、ソーシャルメディア投稿、信号強度、バッテリ寿命など)、実行可能アプリケーション(たとえばアポイントメント/カレンダー、表計算、ワードプロセッサ、プレゼンテーションソフトウェア、地図、メディアプレーヤ、インターネットおよび/またはデバイス検索、ウェブブラウザ、電話、設定、ソーシャルメディアアプリケーションなど)、ウィジェット、アラート(たとえば受信メッセージ、着信メッセージおよび/または着呼、気象警報など)、通知、アプリケーションデータ(たとえばフィットネスまたはヘルスケアアプリケーションで心拍数、呼吸、消費カロリー、タイマーなどを使用してもよく、1つまたは複数の他のアプリケーションに関連して他のデータを表示してもよい)などを示す様々な要素のいずれをも含むことができる。
実施形態は、ユーザが、どの持続的データ要素520を表示し、それらをどこに配置するのかを選択することによって持続的データ要素520をカスタマイズすることができるようにしてよい。たとえば、実施形態は、ユーザが手ぶりをして(たとえば対応する「つかむ」手ぶりと「落とす」手ぶりを行うことによって)、要素のうちの少なくとも1つの場所を調整することができるようにしてよい。場所の他、持続的データ要素520の他の特性も手ぶりによって調整することができる。前述のように、手ぶりの検出は1つまたは複数の外側を向いたカメラおよび/またはその他の光学センサを使用して実施することができる。これに加えてまたはこれに代えて、超音波周波数を感知するマイクロフォンによる超音波、電磁放射のセンサおよび/またはユーザが手持ちまたは携帯可能なセンサ、たとえばジャイロスコープ、加速度計を備えたデバイス、および/または、ワイヤレスRF通信、赤外線(IR)光などを介して情報を伝達するその他のモーションおよび/または位置センサによって手ぶりを検出することができる。ある実施形態では、そのようなデバイスは、HMDの動作を少なくとも部分的に制御するために使用される携帯電話を含み得る
様々な方法を実施して、上述の各実施形態で示したようにシースルーHMDによってデータを表示することができる。図6に、一実施形態によるそのような方法600を示す。この方法600は、ユーザによるHMDデバイスの使用を必要とし、図1のHMD120を含み得る。この方法600の例示のブロックの一部または全部を実行するための手段はHMDを含み、HMDは、シースルーディスプレイ、1つまたは複数のカメラ、処理ユニット、メモリ、動作および/または方位センサ、および/または図7のコンピュータシステム700の1つまたは複数の特徴をさらに含み得る。より一般的には、方法600のステップはコンピュータシステムなどのコンピュータ化デバイスによって実行可能である。
ブロック610で、HMDユーザの第1の視野が判断される。前述のように、これは所望の機能、アプリケーションおよび/またはユーザ設定に依存し得る様々な方法のいずれかを使用して行うことができる。たとえば、持続的データ要素がユーザが頭を下に傾けることによってアクセスされる場合、HMDユーザの第1の視野の判断は、センサ入力を使用して、HMDユーザの頭が直立していることを判断することを含み得る。他の実施形態または構成では、第1の視野の判断は、これに加えてまたはこれに代えて、特定の方向(たとえばユーザが向いている方向)にユーザが移動していること、特定の方向に特定の時間または距離にわたって移動したこと、特定の時間だけ頭を傾斜および/または回転させなかったこと、などを判断することを含み得る。ある実施形態では、第1の視野は、HMDからのカメラ入力に基づいて判断される。ブロック610で実行される機能は、図7に記載されているような、HMDおよび/またはHMDに通信可能に結合されたデバイスの、処理ユニット、入力デバイス(たとえばセンサ)、オペレーティングシステム、アプリケーションおよび/または出力デバイス、および/または同様の手段を含む様々な構成要素のうちの1つまたは複数の構成要素によって実行することができる。
ブロック620で、少なくとも1つのセンサからセンサ入力を受信し、ブロック630で、センサ入力を使用して軸を中心としたユーザの頭の第1の動きを検出してユーザに第2の視野を持たせる。センサ入力は様々な種類のセンサのうちのいずれかのセンサから受信することができ、センサはHMDに組み込み、および/または通信可能に結合され得る。センサ入力は、1つまたは複数のジャイロスコープ、加速度計、GPS受信器、磁力計(および/または同様の方位センサ)、高度計、および/またはユーザの動きを示すデータを提供可能な他のセンサから受信することができる。センサ入力は、水平軸を中心としたユーザの頭の動き(たとえばユーザの頭の上方および/または下方への傾き)または垂直軸を中心としたユーザの頭の動き(たとえばユーザの頭の左および/または右への回転)など、軸を中心としたユーザの頭の動きを示すことができる。具体的には、ユーザの頭の傾きの結果、加速度データによって示され、重力加速度によって相殺される加速度の急上昇が生じ得る。この急上昇の対応する加速度は、動き、加速度計の位置、および/またはその他の要因に応じて変化し得る。同様に、ジャイロスコープはユーザの頭の左および/または右への回転運動を測定することができる。
一実施形態では、ユーザの視線も考慮に入れて、HMDおよび/またはHMDに通信可能に結合されたデバイスが、ユーザが単に頭を伸ばしているか小刻みに動かしているかまたは上下に動かしているだけであるのか、それともユーザが特定の方向に移動することを意図したのかを判別しやすくすることができる。たとえば、ユーザの頭の回転および/傾きの前に、および/またはそれと同時に、その方向にユーザの視線が変化する場合、ユーザは新しい場所に注目していることを意味している可能性があり、それは方向の変化を示している可能性がある。そのような場合、ユーザの注意を逸らしたりユーザの視界の邪魔になったりしないように、持続的データ要素を非表示にしたままとしてよい。一方、ユーザの視線が(頭の傾きおよび/または回転にもかかわらず)静止したまま、および/または、頭の動きと逆方向に動いた場合、ユーザの焦点が変化していない動きを示している可能性がある。この場合、持続的データ要素を表示してよい。ユーザは頭の動きと視線のこのような相違を利用して、持続的データ要素を表示するか否かを示すことができる。ただし、ある実施形態は、(たとえば、ユーザが頭を一方向に回し、眼角に向かう方向などその方向を注視している場合など、焦点の変化を伴う頭の動きによって持続的データ要素を呼び出したり、または、たとえばユーザが前方を見続けているが頭は動いていないために焦点の変化を伴わない、またはHMDの動きとは逆の変化を伴う頭の動きでは持続的データ要素を呼び出さないなど)上述の機能とは逆の機能を有してよく、これはユーザ設定に基づき得る。ある実施形態では、閾値未満および/または閾値を超える眼球の動きを使用して、持続的データ要素を表示するか否かを判断してよい。たとえば、視線の変化が第1の閾値未満またはユーザの頭の動きの方向と逆である場合、ユーザは単に頭を上下に動かしているにすぎず、持続的データ要素を表示したいわけではないと判断することができる。この例の説明を続けると、ユーザが頭を回し、視線もその方向に第2の閾値を超えて移動させた場合、ユーザは持続的データ要素の表示を呼び出そうとしていると判断してよい。また、この例では、ユーザの頭が回っているが視線の移動は第1の閾値と第2の閾値との間であり、かつ/または、頭の動きと同じ方向である場合、ユーザは焦点を変えており、持続的表示要素を呼び出したいわけではないと判断してよい。
ブロック620および630で実行される機能は、図7に記載する処理ユニット、入力デバイス(たとえばセンサ)、オペレーティングシステム、アプリケーション、通信サブシステムおよび/または出力デバイス、および/または同様の手段など、HMDおよび/またはHMDに通信可能に結合されたデバイスの様々な構成要素のうちの1つまたは複数の構成要素によって実行することができる。センサ入力を受信するデバイスにセンサが組み込まれていない場合、通信サブシステムを、たとえばワイヤレス手段および/または有線手段を介してセンサ入力を受信するように構成することができる。この場合も、そのようなワイヤレス手段および/または有線手段は図7に関して以下で詳述する通りである。
ブロック640で、検出された第1の動きに基づいて1つまたは複数の持続的データ要素をHMDによって第2の視野内に表示する。前述の実施形態のように、ある実施形態ではデータ要素は第1の視野では見えない第2の視野の部分に表示することができるが、他の実施形態ではこれには限定されない。頭の下への傾きによって、第2の視野の側部および/または上部に表示するデータ要素を呼び出してよく、これらのデータ要素は第1の視野で見ることができたデータ要素であってよい。ある実施形態では、データ要素はユーザの第1の視野に表示され続けてよい。たとえば、ユーザが頭を後ろ上方に傾けて第1の視野を復元した後でも表示され続けるデータ要素を、頭の下方への傾きによって呼び出すことができる。前述のように、ユーザは、所定時間の経過、身ぶり、音声コマンドなどのトリガイベントの発生時にデータ要素を削除することができてよい。ある実施形態では、ユーザが第1の視野に戻ると、持続的データ要素のうちの1つまたは複数の持続的データ要素が表示されなくなる。ブロック640で実行される機能は、図7に記載のような処理ユニット、オペレーティングシステム、アプリケーション、通信サブシステム、および/または出力デバイス(たとえばディスプレイ)および/または同様の手段を含む、HMDおよび/またはHMDに通信可能に結合されたデバイスの様々な構成要素のうちの1つまたは複数の構成要素によって実行可能である。
言い換えると、方法600のブロック630および640は、少なくとも半透明である表示要素を備えたHMDを装着しているユーザの頭の動きを検出することを含み得る。動きの検出に応答して、1つまたは複数の持続的データ要素が半透明の表示要素を通してユーザに見えるシーンの一部の上に重なるようにHMD上に表示されるようにすることができる。頭の動きの検出は、ユーザが、期待視野の少なくとも一部がユーザに見えなくなるように頭を動かしたと判断することを含むことができる。これに加えてまたはこれに代えて、頭の動きの検出は、期待視野の外部の少なくとも一部がユーザに見えるようにユーザが頭を動かしたと判断することを含むことができる。持続的データ要素は、期待視野の外部の部分に表示することができる。
任意により、この処理はブロック650で第2の動きを検出することと、ブロック660で第2の視野内で1つまたは複数の持続的データ要素を移動することとを含んでよい。たとえば、1つまたは複数のデータ要素がユーザの視野を基準にした固定位置に表示され得る実施形態とは異なり、第2の動きの検出は、ユーザの視野内でのデータ要素の対応する移動を生じさせる頭の傾きおよび/または回転を検出することを含み得る。これに加えてまたはこれに代えて、第2の動きによって、地図(またはその他のデータ要素)を図4Aおよび図4Bに示すようにズームインおよび/またはズームアウトさせてもよい。他の検出された動きによって、HMDにデータ要素を他の仕方で操作させるようにしてもよい。ブロック640で実行される機能は、図7に記載のような処理ユニット、オペレーティングシステム、アプリケーション、通信サブシステム、入力デバイス、および/または出力デバイス(たとえばディスプレイ)および/または同様の手段を含む、HMDおよび/またはHMDに通信可能に結合されたデバイスの様々な構成要素のうちの1つまたは複数の構成要素によって実行可能である。
なお、図6に示す具体的なブロックは、シースルーHMDによってデータを表示する方法600の一例を示すものであることを理解されたい。代替実施形態は、示した実施形態の変更も含み得る。たとえば、代替実施形態は、特定のデータ要素を呼び出す特定の動きを検出することを含んでよい。たとえば、第1の「期待」視野が設定された後、ユーザの頭の下への傾きの検出によってナビゲーションデータ要素を呼び出すことができ、頭の上方への傾きおよび/または横方向への回転によって、デスクトップおよび/またはナビゲーションアプリケーション以外のアプリケーションに関係するデータ要素など、他のデータ要素を呼び出すことができる。特定のアプリケーションに応じて、他の特徴を追加、削除または組み合わせることができる。当業者には、多くの変形、修正および変更もわかるであろう。
前述のように、第2の視野に持続的データ要素が表示される実施形態に加えて、またはそれに代えて、実施形態は、特定の起動動作に基づいて第1の視野に持続的データ要素を表示することができるようにしてもよい。たとえば、ユーザが頷くことによって、または頭を片側と後ろにすばやく回すことによって、持続的データ要素を呼び出すことができてよい。その場合、持続的データ要素は、呼び出されて第1の視野内にスライドインまたはポップアップすることができる。したがって、そのような実施形態では、ユーザの頭の位置はほぼ同じ位置に戻り、その結果、第1の視野はほぼ同じであるが、起動動作によって持続的データ要素が表示されることになる。ある実施形態では、表示される持続的データ要素は起動動作が行われる方向(たとえば左、右、上、下)によって決まり得る。また、ある実施形態は、持続的データ要素が呼び出された後、それらの持続的データ要素を第1の視野から削除する停止動作を備えてよい。たとえば、頭を同じ方向または逆方向に短く回す、頭を前後に振る動作などである。これらの種類の頭の短い回転または頷きは、相反する方向への2つの急激な動きから検出され得る。ただし、起動および/または停止の動作は、他の様々な種類の動きのいずれを含んでもよい。
図7に、HMDに組み込みおよび/または通信可能に結合し得るコンピュータシステム700の実施形態を示す。コンピュータシステム700の1つまたは複数の構成要素は、HMD、スマートフォン、タブレット、パーソナルコンピュータ、または他のコンピューティングデバイスなどの異なるデバイス間で共用することができる。ある実施形態では、ソフトウェアおよび他のアプリケーション(本明細書に記載のナビゲーションアプリケーションなど)を、HMDに通信可能に接続された別個のデバイス上で実行することができる。他の実施形態では、HMDは、組み込まれたコンピュータシステム700の一部または全部を有し得る。
図7に、他の様々な実施形態によって提供される方法を実行可能なコンピュータシステム700の一実施形態の概略図を示す。なお、図7は様々な構成要素の概略図を示すことのみを意図しており、これらの構成要素の一部または全部を適宜使用することができる。したがって、図7は、個々のシステム要素をどのように相対的に別々にまたは相対的により統合された方法で実装することができるかを概略的に示している。
コンピュータシステム700は、バス705を介して電気的に結合することができる(または適宜他の方法で通信し得る)ハードウェア要素を備えるものが図示されている。ハードウェア要素は処理ユニット710を含むことができ、処理ユニット710は、1つまたは複数の汎用プロセッサ、1つまたは複数の特殊用途プロセッサ(デジタルシグナルプロセッサ、グラフィックアクセラレーションプロセッサなど)、および/または、図6に示すブロックのうちの1つまたは複数のブロックなど、前述のように様々なステップを実行するために使用可能な他の処理手段を含み得るが、これらには限定されない。バス705はプロセッサ710のうちの2つ以上のプロセッサ710、または単一のプロセッサまたは複数のプロセッサの複数のコアを結合することができる。ハードウェア要素は、1つまたは複数の入力デバイス715も備えることができ、入力デバイス715は1つまたは複数のGPS受信器(および/または他の任意の衛星測位システム(SPS)の受信器)、加速度計、ジャイロスコープ、磁力計(および/または他の方位センサ)、高度計、カメラおよび/または、位置、動き、向き、光、音などを検出可能であって、位置、動き、およびその他のデータを収集するための手段として利用可能な他のセンサを含み得るが、これらには限定されない。また、センサを、本明細書に記載のようにHMDユーザの頭の動きを検出するための手段として処理ユニット710とともに使用することができる。タッチパッド、キーボード、マイクロフォンなどの他のデバイスも含み得る。1つまたは複数の出力デバイス720も含み得る。これらの出力デバイスは、1つまたは複数のディスプレイおよび/または他の表示手段と、スピーカおよび/または、図6に関して説明した1つまたは複数のステップを実行するために使用可能な他のデバイスを含むことができる。
コンピュータシステム700は、1つまたは複数の非一時的記憶デバイス725をさらに含む(および/または通信する)ことができ、非一時的記憶デバイス725は、ローカルストレージおよび/またはネットワークアクセス可能なストレージを含むことができるがこれらには限定されず、および/または、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/または読取り専用メモリ(「ROM」)などのソリッドステート記憶デバイスを含み得るがこれらには限定されず、これらはプログラマブル、フラッシュ更新可能などとすることができる。このような記憶デバイスは、様々なファイルシステム、データベース構造体などを含むがこれらには限定されない任意の適切なデータストアを実装するように構成可能である。
コンピュータシステム700は、通信サブシステム730も含むことができ、通信サブシステム730は、モデム、ネットワークカード(ワイヤレスまたは有線)、赤外線通信デバイス、ワイヤレス通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、702.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信機器など)などを含み得るが、これらには限定されない。通信サブシステム730は、ネットワーク、他のコンピュータシステムおよび/または他の任意の電気デバイス/周辺機器とのデータを交換可能にする1つまたは複数の入力および/または出力通信インターフェースを含み得る。多くの実施形態では、コンピュータシステム700は、作業メモリ735をさらに含み、作業メモリ735は上述のRAMまたはROMデバイスを含み得る。
コンピュータシステム700は、現在作業メモリ735内にあるように図示されている、オペレーティングシステム740、デバイスドライバ、実行可能ライブラリおよび/または、1つまたは複数のアプリケーション745などの他のコードを含む、ソフトウェア要素も含むことができ、これらは様々な実施形態によって提供されるコンピュータプログラムを含むことができ、かつ/または、本明細書に記載の他の実施形態によって提供される方法を実施するように設計、および/またはシステムを構成することができる。一例にすぎないが、図6に関連して説明した方法600など、上述の方法に関して説明した1つまたは複数の手順の一部を、コンピュータ(および/またはコンピュータ内の処理ユニット)によって実行可能なコードおよび/または命令として実装してよい。その場合、一態様では、そのようなコードおよび/または命令を使用して、汎用コンピュータ(または他のデバイス)を記載の方法に従って1つまたは複数の動作を実行するように構成および/または調整することができる。
これらの命令および/またはコードのセットは、上述の記憶デバイス725などの非一時的コンピュータ可読記憶媒体に記憶することができる。場合によっては、記憶媒体はコンピュータシステム700などのコンピュータシステム内に組み込んでよい。他の実施形態では、記憶媒体は、コンピュータシステムとは別個であり(たとえば光ディスクなどの取外し可能媒体)、および/またはインストールパッケージの形で提供されてよく、それにより、記憶媒体を使用して汎用コンピュータを記憶媒体に記憶されている命令/コードによってプログラム、構成および/または調整可能にすることができる。これらの命令は、コンピュータシステム700によって実行可能な実行コードの形式を取ることができ、かつ/または、ソースコードおよび/またはインストール可能コードの形式を取ることができ、その場合、ソースコード/インストール可能コードは、コンピュータシステム700で(たとえば一般に利用可能な様々なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)コンパイルおよび/またはインストール時に実行コードの形式を取る。
個別の要件に従って大幅な変形が可能であることが、当業者には明らかであろう。たとえば、カスタマイズされたハードウェアも使用可能であり、かつ/または特定の要素をハードウェア、ソフトウェア(アプレットなどの高移植性ソフトウェアを含む)またはその両方で実装可能である。また、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続を使用してもよい。
前述のように、一態様では、ある実施形態はコンピュータシステム(コンピュータシステム700など)を使用して本発明の様々な実施形態による方法を実行する。1組の実施形態によると、作業メモリ735内にある1つまたは複数の命令の1つまたは複数のシーケンス(これらはオペレーティングシステム740および/またはアプリケーションプログラム745などの他のコードに組み込むことができる)を処理ユニット710が実行することに応答して、そのような方法の手順の一部または全部がコンピュータシステム700によって実行される。このような命令は、1つまたは複数の記憶デバイス725などの別のコンピュータ可読媒体から作業メモリ735に読み込むことができる。一例にすぎないが、作業メモリ735内にある命令のシーケンスの実行により、本明細書に記載の方法の1つまたは複数の手順を処理ユニット710に実行させることができる。これに加えてまたはこれに代えて、本明細書に記載の方法の一部を専用ハードウェアにより実行してもよい。
本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の方式で動作させるデータの提供に関与する任意の媒体を指す。コンピュータシステム700を使用して実装される実施形態では、様々なコンピュータ可読媒体が実行のためにプロセッサ710に命令/コードを提供することに関与することが可能であり、かつ/またはそのような命令/コードを記憶および/担持するために使用することができる。多くの実装形態では、コンピュータ可読媒体は物理的記憶媒体および/または有形の記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形式を取ることができる。不揮発性媒体には、たとえば、記憶デバイス725などの光ディスクおよび/磁気ディスクが含まれる。不揮発性媒体には、作業メモリ735などのダイナミックメモリが含まれるが、これには限定されない。
物理的および/または有形のコンピュータ可読媒体の一般的な形式としては、たとえばフロッピィディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、CD-ROM、他の任意の光媒体、孔のパターンを有する他の任意の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、他の任意のメモリチップまたはカートリッジ、コンピュータが命令および/またはコードを読み取ることができる他の任意の媒体形式がある。
様々な形式のコンピュータ可読媒体は、実行のために処理ユニット710に1つまたは複数の命令の1つまたは複数のシーケンスを伝達することに関与し得る。一例にすぎないが、命令はまず、リモートコンピュータの磁気ディスクおよび/または光ディスク上に担持され得る。リモートコンピュータは、命令をリモートコンピュータのダイナミックメモリにロードし、命令を伝送媒体を介して信号として送信し、コンピュータシステム700によって受信および/または実行されるようにすることができる。
通信サブシステム730(および/またはその構成要素)は一般に信号を受信し、次にバス705が信号(および/または信号によって搬送されるデータ、命令など)を作業メモリ735に伝達し、処理ユニット710が作業メモリ735から命令を取り出して実行する。作業メモリ735が受け取った命令は、任意により、プロセッサ710による実行の前または後に非一時的記憶デバイス725に記憶してもよい。
上述の各方法、システムおよびデバイスは例である。様々な構成が、適宜様々な手順または構成要素を省略、代替または追加してよい。たとえば、他の構成では、方法を記載の順序とは異なる順序で実行してもよく、かつ/または様々な段階を追加、省略および/または組み合わせることができる。また、特定の構成に関連して説明した特徴を他の様々な構成に組み合わせることができる。これらの構成の異なる態様および要素も同様にして組み合わせることができる。また、技術は進化し、したがって要素の多くは一例であり、本開示の範囲または特許請求の範囲を限定するものではない。
本明細書では、構成(実装形態を含む)の例をよく理解することができるように具体的な詳細を示した。しかし、これらの具体的な詳細がなくても各構成を実現することが可能である。たとえば、構成がわかりにくくならないように、公知の回路、処理、アルゴリズム、構造および技術については不要な詳細を記載せずに示した。上記の説明は、構成の例を示すにすぎず、特許請求の範囲、適用可能範囲、または構成を制限するものではない。上記の各構成の説明は、記載の技術を実装するための実施可能な説明を当業者に示すものである。本開示の趣旨または範囲から逸脱することなく、要素の機能および構成に様々な変更を加えることができる。
また、本明細書では実施形態についてHMDに関連して説明したが、他の形態のヘッドマウントディスプレイも使用可能であることが当業者にはわかるであろう。たとえば、本明細書に記載の実施形態は、ユーザが装着可能な1つまたは複数のコンタクトレンズについて実装することができ、かつ/またはユーザがそれを通して視野を知覚することができる別の形式のディスプレイで実装することができる。また、本明細書では実施形態についてシースルーHMDに関して説明したが、本明細書で開示する技術は、他の種類のHMDに拡張することができ、他の種類のHMDは、カメラを使用してユーザの環境を撮像してそれらの画像をユーザに表示するものであってよい。
また、各構成は流れ図またはブロック図として図示された処理として記載し得る。動作を順次的な処理として説明し得るが、それらの動作の多くは、並列または同時に実行することができる。さらに、動作の順序は変更してもよい。処理は、図面には含まれていない追加のステップを有することができる。また、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組合せによって実装可能である。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装する場合、必要なタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などの非一時的コンピュータ可読媒体に記憶することができる。記載のタスクはプロセッサが実行可能である。
本明細書で使用される「および(and)」および「または(or)」という用語は、そのような用語が使用されている文脈に少なくとも部分的に依存すると見込まれる様々な意味を含み得る。一般に、A、BまたはC(A, B, or C)のように列挙を関連付けるために使用される場合、「または(or)」は、包含的な意味で使用されるA、BおよびC(A, B, and C)を意味するだけでなく、排他的な意味で使用されるA、B、またはC(A, B, or C)をも意味することを意図している。さらに、本明細書で使用される「1つまたは複数の(one or more)」という用語は、任意の特徴、構造、または特性を単数として記載するために使用されている場合があり、または特徴、構造または特性の何らかの組合せを記載するために使用されている場合がある。しかし、これは単に例示にすぎず、請求の主題はこの例には限定されないことに留意すべきである。また、「〜のうちの少なくとも1つ(at least one of)」という用語は、A、B、またはC(A, B, or C)のような列挙を関連付けるために使用する場合、A、AB、AA、AAB、AABBCCCなどのような、A、B、および/またはCの任意の組合せを意味するものと解釈することができる。
以上、いくつかの例示の構成について説明したが、本開示の趣旨から逸脱することなく様々な修正、代替構造、および同等物も使用することができる。たとえば、上記の各要素はより大きなシステムの構成要素とすることができ、その場合、他の規則が本発明の適用に優先し得るかまたはその他の方法で修正を加え得る。また、上記の要素が考慮される前、または同時にまたは後に、いくつかの工程を行ってよい。したがって、上記の説明は特許請求の範囲を制限しない。
110 ユーザ
120 HMD
200-1、200-2 視界
210、210-1、210-2、310、315、320 データ要素
300-1 第1の視野
300-2 第2の視野
330-1、330-2 地図
340 目的地標識
350 推奨経路
410 地図の一部
420 詳細
510 持続的データ要素部
520 持続的データ要素
520-1 点滅アイコン
520-2 メッセージアイコン
520-3 時計アイコン
600 方法
700 コンピュータシステム
705 バス

Claims (27)

  1. シースルーヘッドマウントディスプレイ(HMD)によってデータを表示するための方法であって、
    前記HMDのユーザの第1の視野を判断するステップと、
    少なくとも1つのセンサからセンサ入力を受信するステップと、
    前記センサ入力を使用して前記ユーザの頭の下方への傾きを含む第1の動きを検出して前記ユーザに第2の視野を持たせるステップと、
    検出された前記第1の動きに基づいて前記HMDに1つまたは複数の持続的データ要素を前記第2の視野内に表示させるステップとを含み、
    前記1つまたは複数の持続的データ要素は、前記ユーザから見て、前記ユーザが位置する物理的な表面の平面内に表示される地図を含み、
    前記HMDに前記1つまたは複数の持続的データ要素を表示させるステップは、前記第2の視野内で見える物理的物体とは独立しており、
    前記1つまたは複数の持続的データ要素は、前記第1の視野内に表示されていない方法。
  2. 前記第1の視野が期待視野であると判断するステップをさらに含む請求項1に記載の方法。
  3. 前記地図は、
    目的地、
    前記ユーザの位置、または
    関心地点のうちの少なくとも1つを含む請求項1に記載の方法。
  4. 前記地図は前記関心地点を含み、前記方法は、前記地図が前記関心地点を含むことを示すデータ要素を前記ユーザの前記第1の視野内に表示するステップをさらに含む請求項3に記載の方法。
  5. 前記ユーザから入力を受け取るステップと、
    受信した前記入力に基づいて前記地図をズームインまたはズームアウトするステップとをさらに含む請求項1に記載の方法。
  6. 第2の動きを検出するステップと、
    前記第2の動きに対応するように前記1つまたは複数の持続的データ要素を移動するステップとをさらに含む請求項1に記載の方法。
  7. 前記1つまたは複数の持続的データ要素は、実行可能アプリケーションを表す1つまたは複数のアイコンを含む請求項1に記載の方法。
  8. 前記少なくとも1つのセンサは、
    加速度計、
    ジャイロスコープ、
    磁力計、
    カメラ、
    衛星測位システム(SPS)受信器、または
    高度計のうちの少なくとも1つを含む請求項1に記載の方法。
  9. メモリと、
    前記メモリと、
    シースルーヘッドマウントディスプレイ(HMD)のユーザの動きを感知するように構成された1つまたは複数のモーションセンサと、
    前記ユーザが前記ユーザの環境内の物理的物体を見ることができるようにしながらユーザの視野内にデータ要素を表示するように構成された前記HMDのディスプレイと
    に通信可能に結合された処理ユニットとを含み、
    前記処理ユニットは、
    前記HMDの前記ユーザの第1の視野を判断し、
    前記1つまたは複数のモーションセンサからセンサ入力を受信し、
    前記センサ入力を使用して前記ユーザの頭の下方への傾きを含む第1の動きを検出して前記ユーザに第2の視野を持たせ、
    検出された前記第1の動きに基づいて前記ディスプレイに1つまたは複数の持続的データ要素を前記第2の視野内に表示させるように構成され、
    前記1つまたは複数の持続的データ要素は、前記ユーザから見て、前記ユーザが位置する物理的な表面の平面内に表示される地図を含み、
    前記HMDに前記1つまたは複数の持続的データ要素を表示させるステップは、前記第2の視野内で見える物理的物体とは独立しており、
    前記1つまたは複数の持続的データ要素は、前記第1の視野内に表示されていない装置。
  10. 前記処理ユニットは、前記第1の視野が期待視野であると判断するようにさらに構成された請求項9に記載の装置。
  11. 前記地図は、
    目的地、
    前記ユーザの位置、または
    関心地点のうちの少なくとも1つを含む請求項9に記載の装置。
  12. 前記地図は前記関心地点を含み、前記処理ユニットは、前記ディスプレイに前記地図が前記関心地点を含むことを示すデータ要素を前記ユーザの前記第1の視野内に表示させるようにさらに構成された請求項11に記載の装置。
  13. 前記処理ユニットは、
    前記ユーザから入力を受け取る機能と、
    受け取った前記入力に基づいて前記地図をズームインまたはズームアウトさせる機能とを実行するようにさらに構成された請求項9に記載の装置。
  14. 前記処理ユニットは、
    第2の動きを検出する機能と、
    前記ディスプレイに、前記第2の動きに対応するように前記1つまたは複数の持続的データ要素を移動させる機能とを実行するようにさらに構成された請求項9に記載の装置。
  15. 前記HMDを含む請求項9に記載の装置。
  16. 前記HMDに通信可能に結合されたデバイスを含む請求項9に記載の装置。
  17. 前記処理ユニットは、前記ディスプレイに実行可能アプリケーションを表す1つまたは複数のアイコンを表示させることによって、前記ディスプレイに前記1つまたは複数の持続的データ要素を表示させるように構成された請求項9に記載の装置。
  18. 前記1つまたは複数のモーションセンサは、
    加速度計、
    ジャイロスコープ、
    磁力計、
    カメラ、
    衛星測位システム(SPS)受信器、または
    高度計のうちの少なくとも1つを含む請求項9に記載の装置。
  19. シースルーヘッドマウントディスプレイ(HMD)上にデータ要素を表示するための命令が格納された非一時的コンピュータ可読記憶媒体であって、前記命令は、
    前記HMDのユーザの第1の視野を判断し、
    少なくとも1つのセンサからセンサ入力を受信し、
    前記センサ入力を使用して前記ユーザの頭の下方への傾きを含む第1の動きを検出して前記ユーザに第2の視野を持たせ、
    検出された前記第1の動きに基づいて前記HMDに1つまたは複数の持続的データ要素を前記第2の視野内に表示させるためのコンピュータ実行可能コードを含み、
    前記1つまたは複数の持続的データ要素は、前記ユーザから見て、前記ユーザが位置する物理的な表面の平面内に表示される地図を含み、
    前記HMDに前記1つまたは複数の持続的データ要素を表示させるステップは、前記第2の視野内で見える物理的物体とは独立しており、
    前記1つまたは複数の持続的データ要素は、前記第1の視野内に表示されていない非一時的コンピュータ可読記憶媒体。
  20. HMDのユーザの第1の視野を判断するための手段と、
    少なくとも1つのセンサからセンサ入力を受信するための手段と、
    前記センサ入力を使用して前記ユーザの頭の下方への傾きを含む第1の動きを検出して前記ユーザに第2の視野を持たせるための手段と、
    検出された前記第1の動きに基づいて前記HMDを介して1つまたは複数の持続的データ要素を前記第2の視野内に表示するための手段とを含み、
    前記1つまたは複数の持続的データ要素は、前記ユーザから見て、前記ユーザが位置する物理的な表面の平面内に表示される地図を含み、
    前記HMDに前記1つまたは複数の持続的データ要素を表示させるステップは、前記第2の視野内で見える物理的物体とは独立しており、
    前記1つまたは複数の持続的データ要素は、前記第1の視野内に表示されていない装置。
  21. 前記第1の視野が期待視野であることを判断するための手段をさらに含む請求項20に記載の装置。
  22. 前記地図は、
    目的地、
    前記ユーザの位置、または
    関心地点のうちの少なくとも1つを含む請求項20に記載の装置。
  23. 前記地図は前記関心地点を含み、前記装置は、前記地図が前記関心地点を含むことを示すデータ要素を前記ユーザの前記第1の視野内に表示するための手段をさらに含む請求項22に記載の装置。
  24. 前記ユーザから入力を受け取るための手段と、
    受信した前記入力に基づいて前記地図をズームインまたはズームアウトするための手段とをさらに含む請求項20に記載の装置。
  25. 第2の動きを検出するための手段と、
    前記第2の動きに対応するように前記1つまたは複数の持続的データ要素を移動するための手段とをさらに含む請求項20に記載の装置。
  26. 前記1つまたは複数の持続的データ要素を表示するための前記手段は、実行可能アプリケーションを表す1つまたは複数のアイコンを表示するための手段を含む請求項20に記載の装置。
  27. センサ入力を受信するための前記手段は、
    加速度計、
    ジャイロスコープ、
    磁力計、
    カメラ、
    衛星測位システム(SPS)受信器、または
    高度計のうちの少なくとも1つから入力を受信するための手段を含む請求項20に記載の装置。
JP2015561419A 2013-03-14 2014-02-27 ヘッドマウントディスプレイ用ユーザインターフェース Active JP5909034B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/827,339 US9041741B2 (en) 2013-03-14 2013-03-14 User interface for a head mounted display
US13/827,339 2013-03-14
PCT/US2014/018938 WO2014158633A1 (en) 2013-03-14 2014-02-27 User interface for a head mounted display

Publications (2)

Publication Number Publication Date
JP5909034B1 true JP5909034B1 (ja) 2016-04-26
JP2016514314A JP2016514314A (ja) 2016-05-19

Family

ID=50342494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015561419A Active JP5909034B1 (ja) 2013-03-14 2014-02-27 ヘッドマウントディスプレイ用ユーザインターフェース

Country Status (6)

Country Link
US (1) US9041741B2 (ja)
EP (2) EP2972558B1 (ja)
JP (1) JP5909034B1 (ja)
KR (1) KR101679317B1 (ja)
CN (1) CN105209959B (ja)
WO (1) WO2014158633A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019120979A (ja) * 2017-12-28 2019-07-22 Ｄｙｎａｂｏｏｋ株式会社 電子機器
JP2019144003A (ja) * 2018-02-16 2019-08-29 Kddi株式会社 移動体で使用可能な装置並びに当該装置の制御プログラム及び方法

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10359835B2 (en) 2013-04-17 2019-07-23 Nokia Technologies Oy Method and apparatus for causing display of notification content
US10168766B2 (en) 2013-04-17 2019-01-01 Nokia Technologies Oy Method and apparatus for a textural representation of a guidance
US10027606B2 (en) * 2013-04-17 2018-07-17 Nokia Technologies Oy Method and apparatus for determining a notification representation indicative of a cognitive load
US20140358009A1 (en) * 2013-05-30 2014-12-04 Michael O'Leary System and Method for Collecting Eye-Movement Data
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
US10134194B2 (en) * 2013-07-17 2018-11-20 Evernote Corporation Marking up scenes using a wearable augmented reality device
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
JP5420793B1 (ja) * 2013-09-10 2014-02-19 テレパシー インク 画像の視認距離を調整できるヘッドマウントディスプレイ
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US20150113454A1 (en) * 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
WO2015116640A1 (en) * 2014-01-29 2015-08-06 Shazly Tarek A Eye and head tracking device
US10067341B1 (en) * 2014-02-04 2018-09-04 Intelligent Technologies International, Inc. Enhanced heads-up display system
US9773349B2 (en) * 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction
JP6307627B2 (ja) 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
US9715113B2 (en) * 2014-03-18 2017-07-25 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
US9696798B2 (en) * 2014-04-09 2017-07-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Eye gaze direction indicator
CN106663410B (zh) * 2014-04-23 2020-05-12 诺基亚技术有限公司 头戴式显示器上的信息显示
US10282696B1 (en) * 2014-06-06 2019-05-07 Amazon Technologies, Inc. Augmented reality enhanced interaction system
KR20150141461A (ko) * 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US9482548B2 (en) * 2014-07-17 2016-11-01 Microsoft Technology Licensing, Llc Route inspection portals
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US20160125652A1 (en) * 2014-11-03 2016-05-05 Avaya Inc. Augmented reality supervisor display
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
KR102302721B1 (ko) * 2014-11-24 2021-09-15 삼성전자주식회사 복수의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP2016110296A (ja) * 2014-12-03 2016-06-20 株式会社ゼンリンデータコム ウェアラブルデバイス、情報処理方法及びプログラム
KR101596762B1 (ko) * 2014-12-15 2016-02-23 현대자동차주식회사 스마트 안경을 이용한 차량 위치 안내 방법 및 이를 수행하는 장치
US9542718B2 (en) 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
US9563270B2 (en) 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
KR20160096422A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 화면 표시 방법 및 전자 장치
US10409464B2 (en) * 2015-03-18 2019-09-10 Microsoft Technology Licensing, Llc Providing a context related view with a wearable apparatus
JP6421670B2 (ja) * 2015-03-26 2018-11-14 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
US9442575B1 (en) * 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
CN107850993A (zh) * 2015-06-11 2018-03-27 加里·舒斯特 聚集和协同搜索结果的方法
EP3106963B1 (en) * 2015-06-16 2019-07-24 Nokia Technologies Oy Mediated reality
US11172273B2 (en) 2015-08-10 2021-11-09 Delta Energy & Communications, Inc. Transformer monitor, communications and data collection device
US10055869B2 (en) 2015-08-11 2018-08-21 Delta Energy & Communications, Inc. Enhanced reality system for visualizing, evaluating, diagnosing, optimizing and servicing smart grids and incorporated components
US10055966B2 (en) 2015-09-03 2018-08-21 Delta Energy & Communications, Inc. System and method for determination and remediation of energy diversion in a smart grid network
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
US11196621B2 (en) 2015-10-02 2021-12-07 Delta Energy & Communications, Inc. Supplemental and alternative digital data delivery and receipt mesh net work realized through the placement of enhanced transformer mounted monitoring devices
WO2017070646A1 (en) 2015-10-22 2017-04-27 Delta Energy & Communications, Inc. Data transfer facilitation across a distributed mesh network using light and optical based technology
WO2017070648A1 (en) 2015-10-22 2017-04-27 Delta Energy & Communications, Inc. Augmentation, expansion and self-healing of a geographically distributed mesh network using unmanned aerial vehicle technology
KR102450416B1 (ko) 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
US10976808B2 (en) 2015-11-17 2021-04-13 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
KR20170059760A (ko) 2015-11-23 2017-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105444775A (zh) * 2015-12-31 2016-03-30 歌尔科技有限公司 一种增强现实的导航系统、头戴设备和导航方法
WO2017120766A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种头显设备传感器数据中断的处理方法和装置
CN106970734B (zh) * 2016-01-13 2020-12-18 阿里巴巴集团控股有限公司 一种显示设备的任务启动方法和装置
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
KR102503155B1 (ko) * 2016-02-11 2023-02-22 매직 립, 인코포레이티드 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템
MX2018010238A (es) 2016-02-24 2019-06-06 Delta Energy & Communications Inc Red de malla 802.11s distribuida usando hardware de módulo de transformador para la captura y transmisión de datos.
US10048080B2 (en) 2016-03-22 2018-08-14 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle virtual reality navigation system
US20170287215A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
WO2017169230A1 (ja) * 2016-03-31 2017-10-05 本田技研工業株式会社 画像表示装置および画像表示方法
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US20170345274A1 (en) * 2016-05-27 2017-11-30 General Scientific Corporation Neck posture recording and warning device
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
WO2018035143A1 (en) 2016-08-15 2018-02-22 Delta Energy & Communications, Inc. Integrated solution of internet of things and smart grid network
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US10168798B2 (en) 2016-09-29 2019-01-01 Tower Spring Global Limited Head mounted display
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US11024091B2 (en) 2016-12-21 2021-06-01 Pcms Holdings, Inc. System and method for placement of augmented reality information for users based on their activity
CN107980220A (zh) * 2016-12-22 2018-05-01 深圳市柔宇科技有限公司 头戴式显示设备及其视觉辅助方法
GB2559127A (en) * 2017-01-25 2018-08-01 Sony Interactive Entertainment Inc Media viewing method and apparatus
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
GB201702939D0 (en) * 2017-02-23 2017-04-12 Rotem Gal Systems, methods and computer readable storage media for conditioned accelerometer trigger in man-machine interface for virtual reality glasses
WO2018179425A1 (ja) * 2017-03-31 2018-10-04 株式会社オプティム 音声内容記録システム、方法及びプログラム
US10620779B2 (en) 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
CN107274438B (zh) * 2017-06-28 2020-01-17 山东大学 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
CN107320957B (zh) * 2017-08-21 2021-01-26 网易（杭州）网络有限公司 游戏界面显示方法及装置
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
TWI669683B (zh) * 2017-09-12 2019-08-21 宏達國際電子股份有限公司 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體
US10447394B2 (en) * 2017-09-15 2019-10-15 Qualcomm Incorporated Connection with remote internet of things (IoT) device based on field of view of camera
US10489951B2 (en) 2017-09-29 2019-11-26 Qualcomm Incorporated Display of a live scene and auxiliary object
EP3470975B1 (en) * 2017-10-10 2022-08-24 Nokia Technologies Oy An apparatus and associated methods for presentation of a bird's eye view
US11194463B2 (en) * 2017-11-08 2021-12-07 Google Llc Methods, systems, and media for presenting offset content
EP3639523A4 (en) 2017-11-14 2020-04-22 Samsung Electronics Co., Ltd. WIDE VIEW CONTENT MANAGEMENT METHOD AND APPARATUS IN A VIRTUAL REALITY ENVIRONMENT
DE102017221488A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
US20210102820A1 (en) * 2018-02-23 2021-04-08 Google Llc Transitioning between map view and augmented reality view
DE102018203462A1 (de) * 2018-03-07 2019-09-12 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
JP7155242B2 (ja) * 2018-03-14 2022-10-18 マクセル株式会社 携帯情報端末
DE102018208700A1 (de) * 2018-06-01 2019-12-05 Volkswagen Aktiengesellschaft Konzept für die Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes
US20210165561A1 (en) * 2018-06-11 2021-06-03 Hewlett-Packard Development Company, L.P. Model generation based on sketch input
CN109489654B (zh) * 2018-11-20 2020-07-28 百度在线网络技术（北京）有限公司 导航路线的呈现方法、装置、设备及存储介质
US10789952B2 (en) * 2018-12-20 2020-09-29 Microsoft Technology Licensing, Llc Voice command execution from auxiliary input
JP7300287B2 (ja) 2019-03-20 2023-06-29 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
US10946272B2 (en) 2019-07-26 2021-03-16 Arkade, Inc. PC blaster game console
US10893127B1 (en) 2019-07-26 2021-01-12 Arkade, Inc. System and method for communicating interactive data between heterogeneous devices
US10773157B1 (en) 2019-07-26 2020-09-15 Arkade, Inc. Interactive computing devices and accessories
US10984242B1 (en) * 2019-09-05 2021-04-20 Facebook Technologies, Llc Virtual proximity compass for navigating artificial reality environments
KR102128894B1 (ko) * 2019-10-10 2020-07-01 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법
CN114746796A (zh) * 2019-12-06 2022-07-12 奇跃公司 动态浏览器舞台
KR102324129B1 (ko) * 2020-02-21 2021-11-11 주식회사 피앤씨솔루션 지도 정보와 imu 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
US11892624B2 (en) 2021-04-27 2024-02-06 Microsoft Technology Licensing, Llc Indicating an off-screen target
US11928306B2 (en) * 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
CN117234340A (zh) * 2023-11-14 2023-12-15 荣耀终端有限公司 头戴式xr设备用户界面显示方法及设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784519A (ja) * 1993-09-17 1995-03-31 Sony Corp ナビゲーションシステム
US6198462B1 (en) 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
JPH10133840A (ja) * 1996-11-01 1998-05-22 Olympus Optical Co Ltd 情報処理用システム装置
JP2000284214A (ja) * 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
WO2005043218A1 (ja) 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
JP5008556B2 (ja) 2004-06-03 2012-08-22 メイキング バーチャル ソリッド，エル．エル．シー． ヘッドアップ表示を使用する途上ナビゲーション表示方法および装置
AU2005269255A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
WO2008055262A2 (en) 2006-11-02 2008-05-08 Sensics, Inc. Systems and methods for a head-mounted display
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8488246B2 (en) * 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
JP2011203823A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20120075167A1 (en) 2010-09-29 2012-03-29 Eastman Kodak Company Head-mounted display with wireless controller
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US20130007672A1 (en) 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US20130139082A1 (en) * 2011-11-30 2013-05-30 Google Inc. Graphical Interface Having Adjustable Borders
US9058054B2 (en) * 2012-02-29 2015-06-16 Google Inc. Image capture apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019120979A (ja) * 2017-12-28 2019-07-22 Ｄｙｎａｂｏｏｋ株式会社 電子機器
JP2019144003A (ja) * 2018-02-16 2019-08-29 Kddi株式会社 移動体で使用可能な装置並びに当該装置の制御プログラム及び方法

Also Published As

Publication number Publication date
CN105209959B (zh) 2017-09-26
EP4317918A2 (en) 2024-02-07
EP2972558A1 (en) 2016-01-20
US9041741B2 (en) 2015-05-26
WO2014158633A1 (en) 2014-10-02
JP2016514314A (ja) 2016-05-19
KR20150121252A (ko) 2015-10-28
US20140267400A1 (en) 2014-09-18
KR101679317B1 (ko) 2016-12-06
EP2972558B1 (en) 2024-03-20
CN105209959A (zh) 2015-12-30
EP4317918A3 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
JP5909034B1 (ja) ヘッドマウントディスプレイ用ユーザインターフェース
US11150738B2 (en) Wearable glasses and method of providing content using the same
US10521944B2 (en) Repositioning user perspectives in virtual reality environments
KR102058891B1 (ko) 헤드 장착식 디스플레이를 위한 반응성 사용자 인터페이스
JP5675470B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
US9164588B1 (en) Wearable computing device with gesture recognition
US9134793B2 (en) Headset computer with head tracking input used for inertial control
JP5714855B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
JP5622510B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
JP5829097B2 (ja) 頭部装着型表示装置、プログラム及び画像処理システム
JP5236423B2 (ja) 表示システム、表示方法およびプログラム
JP6481456B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
US10948514B2 (en) Center of gravity shifting force device
JP6306985B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP2016110296A (ja) ウェアラブルデバイス、情報処理方法及びプログラム
JP2016096513A (ja) 情報処理システム、情報処理方法及びプログラム
JP7274451B2 (ja) システム、管理装置、プログラム、及び管理方法
JP6396155B2 (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160229

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160324

R150 Certificate of patent or registration of utility model

Ref document number: 5909034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250