JP5880115B2 - ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 - Google Patents

ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 Download PDF

Info

Publication number
JP5880115B2
JP5880115B2 JP2012032647A JP2012032647A JP5880115B2 JP 5880115 B2 JP5880115 B2 JP 5880115B2 JP 2012032647 A JP2012032647 A JP 2012032647A JP 2012032647 A JP2012032647 A JP 2012032647A JP 5880115 B2 JP5880115 B2 JP 5880115B2
Authority
JP
Japan
Prior art keywords
application
display
unit
hmd
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012032647A
Other languages
English (en)
Other versions
JP2013168910A (ja
JP2013168910A5 (ja
Inventor
栗屋 志伸
志伸 栗屋
正俊 上野
正俊 上野
憲一 樺澤
憲一 樺澤
大介 川上
大介 川上
後藤 哲郎
哲郎 後藤
尚子 菅野
尚子 菅野
翼 塚原
翼 塚原
中川 俊之
俊之 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012032647A priority Critical patent/JP5880115B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2013/000557 priority patent/WO2013121730A1/en
Priority to US14/376,026 priority patent/US9523854B2/en
Priority to CN201380008827.0A priority patent/CN104115100B/zh
Priority to EP13704636.3A priority patent/EP2815291A1/en
Publication of JP2013168910A publication Critical patent/JP2013168910A/ja
Publication of JP2013168910A5 publication Critical patent/JP2013168910A5/ja
Application granted granted Critical
Publication of JP5880115B2 publication Critical patent/JP5880115B2/ja
Priority to US15/355,784 priority patent/US9857886B2/en
Priority to US15/826,198 priority patent/US20180081451A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本技術は、アプリケーションの出力画像を切り替えて表示するヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法に関する。
ユーザの頭部に装着され、眼前に配置されたディスプレイに画像を表示させるヘッドマウントディスプレイ(以下、HMD)が知られている。HMDには、ディスプレイが外光を透過させず、表示画像のみをユーザに視覚させる非透過型HMDと、ディスプレイが外光を透過させ、表示画像をユーザの視界に重畳させる透過型HMDがある。例えば、特許文献1には、非透過型HMDである「視覚装置」が開示されている。
特開平6−78248号公報
特許文献1に記載のようなHMDは、コントローラによって操作可能なものが一般的である。しかしながら、HMDの着用者は視界が限られている場合も多く、コントローラによる操作ではユーザビリティが問題となる。
以上のような事情に鑑み、本技術の目的は、ユーザビリティの高いヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法を提供することにある。
以上のような事情に鑑み、本技術の一形態に係るヘッドマウントディスプレイは、表示部と、装具と、検出部と、アプリケーション選択部と、情報管理部とを具備する。
上記表示部は、画像を表示することが可能である。
上記装具は、ユーザの頭部に装着され、上記表示部をユーザの眼前に支持する。
上記検出部は、予め指定された正面方向を基準とする方向を検出方向として検出する。
上記アプリケーション選択部は、上記検出方向に基づいてアプリケーションを選択する。
上記情報管理部は、上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる。
この構成によれば、ユーザがヘッドマウントディスプレイを、予め指定された正面方向から別の方向に向けることにより、アプリケーションが選択され、その出力画像が表示部表示される。即ち、ユーザは、ボタン等を用いた操作入力をすることなく、頭部を動かすだけでアプリケーションを切り替えることが可能であり、このヘッドマウントディスプレイは高いユーザビリティを有するものである。
上記表示部は、透過型ディスプレイであり、上記情報管理部は、上記検出方向が上記正面方向と異なるときに、上記画像を上記表示部に表示させてもよい。
この構成によれば、ユーザは、ヘッドマウントディスプレイを正面方向に向けているときには表示部を介して外部を見ることが可能である。一方ユーザは、必要に応じてヘッドマウントディスプレイを正面方向から別の方向に向けることにより、アプリケーションの出力画像を表示部に表示させることができる。したがって、ユーザは、何らかの作業(例えば料理)をしながら補助的にアプリケーションの出力画像(例えば料理のレシピ)を参照すること可能となる。
上記アプリケーション選択部は、上記正面方向から上記検出方向への遷移方向に応じて異なるアプリケーションを選択してもよい。
この構成によれば、ユーザは、HMDを正面方向から別方向に向ける際、その向ける方向(遷移方向)によって異なるアプリケーションの出力画像を参照することが可能となる。
上記アプリケーション選択部は、上記検出方向が上記正面方向と異なる方向で一定時間経過した場合には、選択されているアプリケーションを固定してもよい。
この構成によれば、ユーザが正面方向と異なる方向にHMDを向け、一定時間が経過した場合には、以降、HMDを正面方向に戻しても、そのアプリケーションの出力画像が表示部に表示される。ユーザが一定時間同じ方向にHMDを向けている場合には、ユーザはそのアプリケーションの出力画像を注視していると判断することができるため、ユーザの意図に従ったアプリケーションの選択が可能である。
上記アプリケーション選択部は、アプリケーションを固定した状態で一定時間経過した場合には、アプリケーションの固定を解除してもよい。
この構成によれば、上記のようにアプリケーションが固定された後、ユーザがHMDを正面方向に戻し、一定時間が経過した場合には、表示部をアプリケーションの固定前の状態に戻すことが可能となる。

上記情報管理部は、上記検出方向が上記正面方向と異なるときに、各アプリケーションの出力画像をメニュー表示させ、上記アプリケーション選択部は、上記検出方向が上記正面方向と一致したときのアプリケーションを選択してもよい。
この構成によれば、ユーザは、メニュー表示を利用して出力画像を表示させたいアプリケーションを選択することが可能となる。メニュー表示やそれによるアプリケーションの選択は、HMDの方向によって実行されるため、ユーザは頭部を動かすだけで任意のアプリケーションを選択することが可能である。
以上のような事情に鑑み、本技術の一形態に係るヘッドマウントディスプレイ制御プログラムは、アプリケーション生成部と、情報管理部とを具備する。
上記アプリケーション生成部は、画像を表示することが可能な表示部と、ユーザの頭部に装着され上記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択する。
上記情報管理部は、上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる。
以上のような事情に鑑み、本技術の一形態に係るヘッドマウントディスプレイ制御方法は、アプリケーション選択部が、画像を表示することが可能な表示部と、ユーザの頭部に装着され上記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択する。
情報管理部が、上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる。
以上のように、本技術によれば、本技術の目的は、ユーザビリティの高いヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法を提供することが可能となる。
本技術の第1の実施形態に係るヘッドマウントディスプレイの外観を示す模式図である。 同ヘッドマウントディスプレイの機能的構成を示すブロック図である。 同ヘッドマウントディスプレイの動作を示すシーケンス図である。 同ヘッドマウントディスプレイの方向と表示されるアプリケーションの例を示す模式図である。 同ヘッドマウントディスプレイの方向とスライド表示されるアプリケーションの出力画像を示す模式図である。 同ヘッドマウントディスプレイのメニュー表示を示す模式図である。 本技術の第2の実施形態に係る機能的構成を示すブロック図である。 同ヘッドマウントディスプレイの動作を示すシーケンス図である。 同ヘッドマウントディスプレイに表示されるアプリケーションの遷移を示す模式図である。
(第1の実施形態)
第1の実施形態に係るヘッドマウントディスプレイ(以下、HMD)について説明する。
[ヘッドマウントディスプレイの構成]
図1は、HMD100の外観を示す模式図であり、図2はHMD100の機能的構成を示す模式図である。
図1に示すように、HMD100は、装具102、表示部103、筐体104を有する。表示部103と筐体104はともに装具102に支持されている。また、装具102には、イヤフォン121が設けられている。図2に示すように、筐体104には情報管理部141、アプリケーション選択部142及び検出部143が収容されている。
装具102は、ユーザの頭部に装着され、表示部103をユーザの眼前に支持する。装具102の形状は特に限定されず、図1に示すようなメガネ型形状の他にも表示部103の支持が可能なあらゆる形状のものとすることができる。
表示部103は、ユーザの眼前において画像を表示することが可能なディスプレイであり、外光を透過させることが可能な透過型ディスプレイであるものとすることができる。透過型ディスプレイには、カメラによって撮像した周囲の画像をディスプレイに表示することにより、周囲を視認することが可能となるビデオ透過型ディスプレイと、ディスプレイ自体が光透過性を有する光学透過型ディスプレイがある。本実施形態においては、いずれの透過型ディスプレイであってもよい。
表示部103は、筐体104に収容された情報管理部141に接続され、情報管理部141において生成された画像を表示することが可能に構成されている。表示部103に表示される画像の詳細については後述する。
筐体104は、情報管理部141、アプリケーション選択部142及び検出部143を収容する。情報管理部141及びアプリケーション選択部142は、プロセッサやメモリ等のハードウェアとプログラムの協働によって実現されている。詳細は後述するが、アプリケーション選択部142は、検出部143の出力に基づいてアプリケーションを選択し、情報管理部141は、選択されたアプリケーションによって生成された画像を表示部103に表示させる。
検出部143は、自身の方向(即ち、HMD100の方向)を検出し、その出力を情報管理部141を介してアプリケーション選択部142に供給する。HMD100の方向は、HMD100を装着したユーザが頭部あるいは身体の向きを動かした場合に変動する。検出部143は具体的には、加速度センサ、ジャイロセンサ及び地磁気センサによって構成されたモーションセンサであるものとすることができる。また、検出部143はモーションセンサに限られず、HMD100の方向を検出することが可能なもの、例えば、カメラによって撮像された周囲の画像に対する画像処理によってHMD100の方向を検出するものとすることも可能である。
なお、本実施形態において、情報管理部141、アプリケーション選択部142及び検出部143は筐体104に収容されているものとしているが、これに限られない。例えば情報管理部141及びアプリケーション選択部142は別の情報処理装置(PC、スマートフォン等)に内蔵され、有線又は無線によって検出部143や表示部103と接続されているものとすることも可能である。
[ヘッドマウントディスプレイの動作]
以上のように構成されたHMD100の動作について説明する。図3は、HMD100の動作を示すシーケンス図である。
ユーザがHMD100を装着している状態で、アプリケーションAの出力画像が表示部103に表示されているものとする。また、表示部103が透過型ディスプレイである場合には、表示部103になんらの画像も表示されず、ユーザが表示部103を通して外部を見ている状態であってもよい。このときのHMD100の方向を「正面方向」と定義する。
情報管理部141は、所定時間毎に検出部143からHMD100の方向を示すセンサ値を取得する。続いて、情報管理部141は、センサ値をアプリケーション選択部142に供給する。
アプリケーション選択部142は、センサ値に基づいてアプリケーションを選択する。具体的には、センサ値が「正面方向」の範囲に含まれている場合にはそのままアプリケーションAを選択し、センサ値が「正面方向」の範囲を外れている場合(「非正面方向」とする)には別のアプリケーション(アプリケーションB)を選択するものとすることができる。
続いてアプリケーション選択部142は、選択したアプリケーションBを情報管理部141に通知する。情報管理部141は、通知されたアプリケーションBから表示画像を取得し、表示部103に表示させる。
以上の動作をユーザ側からみると次のようになる。即ち、ユーザがHMD100を装着して電源を入れるか又は所定の操作入力を実行すると、そのHMD100の方向が「正面方向」と定義される。このとき、表示部103には、アプリケーションAの出力画像が表示されている。
ユーザがいずれかの方向に頭部を振り向けると、それにともなってHMD100の方向も変更される。この際、HMD100の方向が正面方向の範囲を超える場合には、アプリケーションAに代わってアプリケーションBの出力画像が表示部103に表示される。したがって、ユーザは例えば、アプリケーションAを動画再生アプリケーションとし、アプリケーションBを時刻表示アプリケーションとして設定しておくと、動画再生中に頭部の向きを代え、HMD100を非正面方向に向けることにより時刻を確認することが可能となる。ユーザが頭部を正面方向に戻すと、再びアプリケーションAの出力画像が表示部103に表示される。
また、表示部103が透過型ディスプレイである場合には、HMD100は、アプリケーションAに替えて表示部103に何も表示しないものとすることも可能である。この場合、ユーザは、表示部103を透視して外部を見ている状態で、HMD100の方向を変えると、アプリケーションBの出力画像を視認することが可能となる。
HMD100の方向を変えることにより出力画像を視認することが可能となるアプリケーション(上記アプリケーションB)の例としては、次のようなものが挙げられる。即ち、天気、時計、一行ニュース、株価、為替、スケジュール、カレンダー、フォトフレーム、オークション価格、検索急上昇ワード、現在地マップ・情報等のそれぞれの表示アプリケーション等である。
上述の説明においては、HMD100の方向が正面方向から非正面方向に変わると、アプリケーションBの出力画像が表示部103に表示されるものとしたが、非正面方向への遷移方向毎に異なるアプリケーションの出力画像が表示部103に表示されるものとすることも可能である。図4は、HMD100の方向と、表示されるアプリケーションの例を示す模式図である。
アプリケーション選択部142は、HMD100が正面方向から右方向に向くとアプリケーションB、正面から左方向に向くとアプリケーションC、正面から上方向に向くとアプリケーションDのように、それぞれの遷移方向に応じて異なるアプリケーションを選択するものとすることができる。これにより、ユーザは、頭部を様々な方向に向けることで、種々のアプリケーションの出力画像を見ることが可能となる。
また、上述の説明においては、HMD100の方向が正面方向の範囲を超えると、アプリケーションB等の出力画像が表示部103に表示されるものとしたが、この際、エフェクトが生じるようにすることも可能である。図5は、HMD100の方向と、表示部103の表示画像の例を示す模式図である。
情報管理部141は、アプリケーション選択部142によってアプリケーションBが選択されると、HMD100の方向の程度に応じて、アプリケーションBの出力画像を表示部103の画面外からスライドさせて表示させることができる。これにより、ユーザが頭部を振り向ける程度に応じて、アプリケーションBの出力画像が次第に表示され、ユーザは自然に情報にアクセスしている感覚を得ることができる。
情報管理部141は、HMD100が正面方向に戻る際も同様に、アプリケーションBの出力画像を表示部103の画面外へスライドさせて表示させることができる。また、情報管理部141は、HMD100の方向が正面方向の範囲を超えると、HMD100の方向の程度に拠らず、アプリケーションBの出力画像を表示部103の画面外からスライドさせて表示させてもよい。
さらに、上述の説明においては、HMD100の方向に応じて表示部103に表示させるアプリケーションが選択されるものとしたが、この際にメニュー選択を利用することも可能である。図6は、メニュー選択の例を示す模式図である。
図6(a)に示すように、HMD100が正面方向から所定方向(例えば上方向)に向けられると、表示部103に複数のアプリケーションが並んで表示(メニュー表示)される。ユーザが首をかしげ、HMD100が傾けられると、図6(b)に示すようにメニュー表示されているアプリケーションがスライドして表示される。ユーザは、重力に従ってメニューがスライドする感覚で直感的にアプリケーションを選択することが可能である。また、HMD100が所定方向(例えば右方向)に向けられるとアプリケーションがスライドして表示されてもよい。ユーザが首を戻し、HMD100が正面方向に向けられると、図6(c)に示すようにアプリケーションが選択される。
以上のように本実施形態においては、ユーザは頭部を振り向けてHMD100の方向を変えることにより、表示部103に表示させるアプリケーションを切り替えることが可能であり、HMD100は高いユーザビリティを有するものであるといえる。
(第2の実施形態)
第2の実施形態に係るヘッドマウントディスプレイ(HMD)について説明する。本実施形態において、第1の実施形態と同様の構成については同一の符号を付し、説明を省略する。
[ヘッドマウントディスプレイの構成]
図7は第2の実施形態に係るHMD200の機能的構成を示す模式図である。なお、HMD200の外観は第1の実施形態と同様とすることができる。
HMD200は、情報管理部241、アプリケーション選択部242及び検出部243に加え、タイマ244を有する。タイマ244は情報管理部241に接続され、情報管理部241からの要求を受けて時間のカウントを開始し、情報管理部241にタイマー値を返す。
アプリケーション選択部242は、第1の実施形態においては検出部243の出力であるセンサ値に基づいてアプリケーションを選択するものとしたが、本実施形態においてはセンサ値に加え、タイマ244の出力であるタイマ値に基づいてアプリケーションを選択する。
情報管理部241、アプリケーション選択部242及びタイマ244は、第1の実施形態と同様に筐体に収容されていてもよく、別の情報処理装置(PC、スマートフォン等)に内蔵され、有線又は無線によって検出部243や表示部203と接続されているものとすることも可能である。
[ヘッドマウントディスプレイの動作]
以上のように構成されたHMD200の動作について説明する。図8は、HMD200の動作を示すシーケンス図である。
ユーザがHMD200を装着している状態で、アプリケーションAの出力画像が表示部203に表示されているものとする。また、表示部203が透過型ディスプレイである場合には、表示部203になんらの画像も表示されず、ユーザが表示部203を通して外部を見ている状態であってもよい。このときのHMD200の方向を「正面方向」と定義する。
情報管理部241は、所定時間毎に検出部243からHMD200の方向を示すセンサ値を取得する。続いて、情報管理部241は、センサ値をアプリケーション選択部242に供給する。さらに、アプリケーション選択部242は、タイマ244からタイマ値を取得する。
アプリケーション選択部242は、センサ値及びタイマ値に基づいてアプリケーションを選択する。具体的には、センサ値が「正面方向」の範囲を外れている場合(「非正面方向」)には別のアプリケーション(アプリケーションB)を選択する。センサ値が「正面方向」の範囲に含まれている場合には、タイマ値を参照し、タイマ値が所定時間を超えている場合にはアプリケーションBを選択し、タイマ値が所定時間以下の場合にはアプリケーションAを選択する。
アプリケーション選択部242は、アプリケーションの選択と同時にタイマ244に指示を出し、タイマをスタートさせる。上記アプリケーション選択部242がタイマ244からタイマ値を取得するステップにおいて取得されるタイマ値は、このときにスタートされたものである。即ち、アプリケーション選択部242は、所定時間にわたってアプリケーションBが選択されている場合には、センサ値が「正面方向」の範囲である場合であってもアプリケーションBを選択することになる。
即ち、HMD200が非正面方向に向けられ、アプリケーション選択部242がアプリケーションBを選択している時間が所定時間継続すれば、それ以降HMD200が正面方向に戻されてもアプリケーションAではなくアプリケーションBが選択(固定)される。HMD200が非正面方向に向けられて所定時間経過した場合、ユーザはアプリケーションBの出力画像を注視していると判断できるためである。
一方、アプリケーションBが固定されている状態で、HMD200が正面方向に向けられ、所定時間が経過すると、アプリケーションBの固定が解除され、元のアプリケーションAが選択される。
続いてアプリケーション選択部242は、選択したアプリケーションBを情報管理部241に通知する。情報管理部241は、通知されたアプリケーションBから表示画像を取得し、表示部203に表示させる。
以上の動作をユーザ側からみると次のようになる。図9は、表示部203に表示されるアプリケーションの遷移を示す模式図である。ユーザがHMD200を装着して電源を入れるか又は所定の操作入力を実行すると、そのHMD200の方向が「正面方向」と定義される。このとき、表示部203には、アプリケーションAの出力画像が表示されている(T1)。ユーザが頭部を正面方向に向けたままであれば、アプリケーションAの出力画像の表示が継続される(T1→T1)。
ユーザがいずれかの方向に頭部を振り向けると、それにともなってHMD200の方向も変更される。この際、HMD200の方向が正面方向の範囲を超える場合(「非正面方向」)には、アプリケーションAに代わってアプリケーションBの出力画像が表示部203に表示される(T1→T2)。所定時間経過前に、HMD200が正面に戻されると、再びアプリケーションAの表示画像が表示される(T2→T1)
ここで、ユーザがHMD200を、所定時間(タイマUP時間)を超えて非正面方向に向けている場合には、上記のようにアプリケーションBが固定される(T2→T3)。この状態で所定時間(タイマUP時間)が経過すると、アプリケーションBに代わってアプリケーションAの出力画像が表示部203に表示される(T3→T5)。一方、所定時間経過前にHMD200が正面方向に向けられると、アプリケーションBは固定されているため、継続してアプリケーションBの出力画像が表示部203に表示される(T3→t4)。
HMD200が正面方向に向けられている状態で所定時間(タイマUP時間)が経過すると、アプリケーションBの固定が解除され、再びアプリケーションAの出力画像が表示部203に表示される(T4→T1)。第1の実施形態と同様に、HMD200が別の非正面方向に向けられると、他のアプリケーション(アプリケーションC等)の出力画像が表示部203に表示される(T2→T2、T4→T2)。
HMD200の方向を変えることにより出力画像を視認することが可能となるアプリケーション(上記アプリケーションB)の例としては、第1の実施形態と同様である。即ち、天気、時計、一行ニュース、株価、為替、スケジュール、カレンダー、フォトフレーム、オークション価格、検索急上昇ワード、現在地マップ・情報等のそれぞれの表示アプリケーション等である。
本実施形態においては、HMD200が非正面方向に向けられている状態で所定時間が経過すると、表示中のアプリケーションが固定される。したがって、ユーザがそのアプリケーションの出力画像を注視したい場合に利便性が高い。なお、本実施形態においても第1の実施形態と同様に、メニュー表示による選択、スライドエフェクト等を適用することが可能である。
(変形例)
上記第1及び第2の実施形態において、アプリケーションの選択は、HMDの方向に基づいて実行されるものとしたが、さらにユーザの視線の情報が利用されるものとすることも可能である。具体的には、アプリケーション選択部が、上述したアプリケーションの固定や解除の際、ユーザの視線をジェスチャーとして利用すること等が考えられる。これにより、アプリケーションの選択にユーザの意図をより反映させやすくすることが可能となる。視線の認識は、例えば、HMDに設けられたカメラによって撮像されたユーザの眼球の画像に、画像処理を施すことによってすることが可能である。
また、アプリケーションの選択には、さらにHMDの位置情報が利用されるものとすることも可能である。具体的には、アプリケーション選択部が、HMDが一定以上のスピードで移動(即ちユーザが移動)していることを検出した場合には、アプリケーションの選択を停止し、表示部に何も表示させないものとすることができる。これによりユーザの往来での危険を防止することができる。位置情報は、例えばHMDに設けられたGPS(Global Positioning System)や加速度センサの出力等から取得することが可能である。
上記第2の実施形態において、アプリケーションの固定及び解除は、タイマによってカウントされるタイマUP時間によって決定されるものとしたが、タイマUP時間はHMDの方向の変化速度によって決定されるものとすることも可能である。また、タイマUP時間はアプリケーション毎に異なるものとすることも可能である。
また、アプリケーションの固定及び解除は、HMDに設けられた操作入力部(ボタン、タッチセンサ等)によってなされるものとすることも可能である。さらにアプリケーションの固定及び解除は、ユーザが頭部を動かすことによるジェスチャーによってなされてもよい。具体的は、例えば、ユーザがうなずくと固定、さらに上を向くと固定、首をかしげると固定、頭部を横に振ると解除、首をゆっくり戻すと固定されて付いてくる、正面で固定された状態で頭部を動かすと解除等である。
また、ユーザの視線情報によってアプリケーションの固定及び解除がなされてもよい。例えば、しばらく目を閉じると固定あるいは解除、目を閉じて首を戻すと固定、焦点が合うと固定、焦点が外れると開放、視線によるジェスチャー等である。さらに、手で払う、噛む、足踏み、ジャンプ等のユーザの身体的な動作よって固定あるいは解除がなされるものとすることも可能である。また、車や人が目の前に出てきたら解除する等、外部の状況に応じて固定あるいは解除がなされてもよい。
(応用例)
本技術に係るHMDの応用例について説明する。
[辞書]
ユーザがHMDを装着して書籍等の文章を閲覧している際に、HMDが正面方向に向けられている際には、表示部(透過型ディスプレイ)に何も表示されないが、HMDに設けられたカメラによって文字認識が実行され、文章中の単語が抽出されている。HMDが非正面方向に向けられると、辞書アプリケーションの出力結果(単語の意味や翻訳等)が表示部に表示される。ユーザの視線認識と組み合わせて、ユーザが注視している箇所の単語を抽出するようにしてもよい。
[字幕]
HMDが正面方向に向けられている際には、表示部に映画等の動画が表示されており、HMDが非正面方向に向けられると、動画の再生箇所に応じた字幕が表示される。なお、HMDが正面方向に向けられている際には表示部(透過型ディスプレイ)に何も表示されず、ユーザは表示部を透過して実際の動画を閲覧していてもよい。この場合、字幕は、画像認識により、あるいはネットワークを介して取得される。
[学習]
HMDが正面方向に向けられている際には、表示部に「問題」が表示されている。HMDが非正面方向に向けられると、その問題の解答やヒントが表示部に表示される。例えば、HMDが正面方向から上方向に向けられると問題のヒントが表示され、正面から下方向に向けられると問題の解答が表示されるものとすることができる。
[通知]
HMDが正面方向に向けられている際には、表示部に何も表示されず、あるいは何らかのアプリケーションの出力画像が表示されている。電子メールやSNS(social networking service)が受信されると、その通知が表示部に表示される。ユーザがHMDを非正面方向に向けると、電子メールやSNSのメッセージが表示部に表示される。メッセージは表示部の全体ではなく端部にのみ表示されてもよい。また、例えば、新着メールがない場合には、HMDが非正面方向に向けられても表示部の表示を変更しないものとすることもできる。
[後方確認]
HMDが正面方向に向けられている際には表示部に何も表示されず、ユーザは表示部(透過型ディスプレイ)を透過して前方を視認することができる。HMDが非正面方向に向けられると、搭載されたカメラによって撮像されている後方の画像が表示部に表示される。後方の画像は、動き認識が実行され、動いているものが強調表示されたものであってもよく、サーモグラフィ画像であってもよい。また、これらの各種画像が正面方向から非正面方向への遷移方向によってそれぞれ表示されるものとすることも可能である。
[作業支援]
HMDが正面方向に向けられている際には表示部に何も表示されず、ユーザは表示部(透過型ディスプレイ)を透過して前方を視認することができる。HMDが非正面方向に向けられると、作業手順(料理のレシピ等)が表示部に表示される。HMDが正面方向に向けられているときには作業手順が表示されないため、ユーザの作業を妨げない。
[その他]
HMDの方向によって、シソーラス(単語を関係性に応じて配置した図)における表示範囲を移動させ、ユーザが関連語を検索しやすくする。あるいは、HMDの方向によって天文図における表示範囲を移動させ、ユーザによる疑似天文観察を可能とする。また、HMDの方向によって仮想的なゲーム版を傾けるゲームを提供することも可能である。
本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。
なお、本技術は以下のような構成も採ることができる。
(1)
画像を表示することが可能な表示部と、
ユーザの頭部に装着され、上記表示部をユーザの眼前に支持する装具と、
予め指定された正面方向を基準とする方向を検出方向として検出する検出部と、
上記検出方向に基づいてアプリケーションを選択するアプリケーション選択部と、
上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる情報管理部と
を具備するヘッドマウントディスプレイ。
(2)
上記(1)に記載のヘッドマウントディスプレイであって、
上記表示部は、透過型ディスプレイであり、
上記情報管理部は、上記検出方向が上記正面方向と異なるときに、上記画像を上記表示部に表示させる
ヘッドマウントディスプレイ。
(3)
上記(1)又は(2)に記載のヘッドマウントディスプレイであって、
上記アプリケーション選択部は、上記正面方向から上記検出方向への遷移方向に応じて異なるアプリケーションを選択する
ヘッドマウントディスプレイ。
(4)
上記(1)から(3)のうちいずれか一つに記載のヘッドマウントディスプレイであって、
上記アプリケーション選択部は、上記検出方向が上記正面方向と異なる方向で一定時間経過した場合には、選択されているアプリケーションを固定する
ヘッドマウントディスプレイ。
(5)
上記(1)から(4)のうちいずれか一つに記載のヘッドマウントディスプレイであって、
上記アプリケーション選択部は、アプリケーションを固定した状態で一定時間経過した場合には、アプリケーションの固定を解除する
ヘッドマウントディスプレイ。
(6)
上記(1)から(5)のうちいずれか一つに記載のヘッドマウントディスプレイであって、
上記情報管理部は、上記検出方向が上記正面方向と異なるときに、各アプリケーションの出力画像をメニュー表示させ、
上記アプリケーション選択部は、上記検出方向が上記正面方向と一致したときのアプリケーションを選択する
ヘッドマウントディスプレイ。
(7)
画像を表示することが可能な表示部と、ユーザの頭部に装着され上記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択するアプリケーション選択部と、
上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる情報管理部と
を具備するヘッドマウントディスプレイ制御プログラム。
(8)
アプリケーション選択部が、画像を表示することが可能な表示部と、ユーザの頭部に装着され上記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択し、
情報管理部は、上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる
ヘッドマウントディスプレイの制御方法。
102…装具
103、203…表示部
104…筐体
121…イヤフォン
141、241…情報管理部
142、241…アプリケーション選択部
143、243…検出部
244…タイマ
100、200…HMD

Claims (5)

  1. 画像を表示することが可能な表示部と、
    ユーザの頭部に装着され、前記表示部をユーザの眼前に支持する装具と、
    予め指定された正面方向を基準とする方向を検出方向として検出する検出部と、
    前記検出方向に基づいてアプリケーションを選択するアプリケーション選択部と、
    前記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を前記表示部に表示させる情報管理部と
    を具備し、
    前記情報管理部は、前記検出方向が前記正面方向と異なるときに、複数のアプリケーションの出力画像をメニュー表示させ、
    前記アプリケーション選択部は、前記検出方向が前記正面方向に一致したときに前記複数のアプリケーションから一つのアプリケーションを選択する
    ヘッドマウントディスプレイ。
  2. 請求項1に記載のヘッドマウントディスプレイであって、
    前記情報管理部は、前記検出方向が前記正面方向と異なるときに、メニュー表示されている複数のアプリケーションの出力画像をスライドさせる
    ヘッドマウントディスプレイ。
  3. 請求項2に記載のヘッドマウントディスプレイであって、
    前記検出部は、さらに、前記ヘッドマウントディスプレイの傾きを検出し、
    前記情報管理部は、前記検出方向が前記正面方向と異なるときに、前記傾きに基づいてメニュー表示されている複数のアプリケーションの出力画像をスライドさせる
    ヘッドマウンドディスプレイ
  4. 画像を表示することが可能な表示部と、ユーザの頭部に装着され前記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択するアプリケーション選択部と、
    前記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を前記表示部に表示させる情報管理部と
    を具備し、
    前記情報管理部は、前記検出方向が前記正面方向と異なるときに、複数のアプリケーションの出力画像をメニュー表示させ、
    前記アプリケーション選択部は、前記検出方向が前記正面方向に一致したときに前記複数のアプリケーションから一つのアプリケーションを選択する
    ヘッドマウントディスプレイ制御プログラム。
  5. アプリケーション選択部が、画像を表示することが可能な表示部と、ユーザの頭部に装着され前記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択し、
    情報管理部は、前記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を前記表示部に表示させるヘッドマウントディスプレイの制御方法であって、
    前記情報管理部は、前記検出方向が前記正面方向と異なるときに、複数のアプリケーションの出力画像をメニュー表示させ、
    前記アプリケーション選択部は、前記検出方向が前記正面方向に一致したときに前記複数のアプリケーションから一つのアプリケーションを選択する
    ヘッドマウントディスプレイの制御方法。
JP2012032647A 2012-02-17 2012-02-17 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 Active JP5880115B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2012032647A JP5880115B2 (ja) 2012-02-17 2012-02-17 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US14/376,026 US9523854B2 (en) 2012-02-17 2013-02-01 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
CN201380008827.0A CN104115100B (zh) 2012-02-17 2013-02-01 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
EP13704636.3A EP2815291A1 (en) 2012-02-17 2013-02-01 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
PCT/JP2013/000557 WO2013121730A1 (en) 2012-02-17 2013-02-01 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
US15/355,784 US9857886B2 (en) 2012-02-17 2016-11-18 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
US15/826,198 US20180081451A1 (en) 2012-02-17 2017-11-29 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012032647A JP5880115B2 (ja) 2012-02-17 2012-02-17 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法

Publications (3)

Publication Number Publication Date
JP2013168910A JP2013168910A (ja) 2013-08-29
JP2013168910A5 JP2013168910A5 (ja) 2015-03-05
JP5880115B2 true JP5880115B2 (ja) 2016-03-08

Family

ID=47720704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012032647A Active JP5880115B2 (ja) 2012-02-17 2012-02-17 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法

Country Status (5)

Country Link
US (3) US9523854B2 (ja)
EP (1) EP2815291A1 (ja)
JP (1) JP5880115B2 (ja)
CN (1) CN104115100B (ja)
WO (1) WO2013121730A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US9933853B2 (en) * 2013-02-19 2018-04-03 Mirama Service Inc Display control device, display control program, and display control method
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140282113A1 (en) 2013-03-15 2014-09-18 John Cronin Personal digital assistance and virtual reality
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US10001645B2 (en) 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
KR20160033376A (ko) * 2014-09-18 2016-03-28 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
KR101836374B1 (ko) * 2014-11-25 2018-03-12 주식회사 이랜텍 보안 성능이 강화된 스마트 안경
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
CN105786167B (zh) * 2014-12-26 2019-11-26 联想(北京)有限公司 一种信息处理方法及电子设备
KR101653591B1 (ko) * 2015-02-04 2016-09-12 강릉원주대학교산학협력단 헤드 마운트 디스플레이 장치 및 그 동작 방법
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
EP3076287A1 (de) * 2015-03-31 2016-10-05 SITEC GmbH Sicherheitseinrichtungen und technische Geräte Verfahren zum navigieren durch die auf der anzeigeeinheit eines mobilen elektronischen geräts dargestellten inhalte und mobiles elektronisches gerät mit einer anzeigeeinheit
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
JP6534292B2 (ja) * 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックIpマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
JP2016218268A (ja) 2015-05-21 2016-12-22 セイコーエプソン株式会社 可搬型表示装置、表示システム、表示方法
CN105224186A (zh) * 2015-07-09 2016-01-06 北京君正集成电路股份有限公司 一种智能眼镜的屏幕显示方法及智能眼镜
KR101740806B1 (ko) * 2015-08-26 2017-05-29 한양대학교 에리카산학협력단 가상 현실을 이용한 인테리어 디자인 서비스 제공 방법 및 장치
CN108476033B (zh) * 2015-12-24 2020-08-21 索尼互动娱乐股份有限公司 频带确定装置、头戴式显示器和频带确定方法
CN105867608A (zh) * 2015-12-25 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔
KR102524641B1 (ko) 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
JP2017216667A (ja) * 2016-05-31 2017-12-07 フォーブ インコーポレーテッド 画像提供システム
KR101879235B1 (ko) * 2016-08-04 2018-07-17 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
JP6122537B1 (ja) * 2016-09-08 2017-04-26 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN110023881B (zh) 2016-12-01 2022-07-08 昆山云英谷电子科技有限公司 基于区域的显示数据处理和传输
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
CN108521816A (zh) * 2017-04-17 2018-09-11 深圳市柔宇科技有限公司 头戴式显示设备及其传感器功率调节方法
JP6684746B2 (ja) * 2017-05-12 2020-04-22 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム
US20200005791A1 (en) * 2018-06-29 2020-01-02 International Business Machines Corporation Audio content visualized by pico projection of text for interaction
US11366514B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
WO2020084625A1 (en) 2018-10-25 2020-04-30 Beyeonics Surgical Ltd. Ui for head mounted display system
US11055923B2 (en) 2018-12-19 2021-07-06 Samsung Electronics Co., Ltd. System and method for head mounted device input
JP6813640B2 (ja) * 2019-08-19 2021-01-13 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
EP4270159A3 (en) 2019-09-26 2024-01-03 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
WO2021062278A1 (en) 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication
TWI750818B (zh) * 2020-09-24 2021-12-21 宏達國際電子股份有限公司 動態調整使用者界面方法、電子裝置及電腦可讀儲存媒體
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3326820B2 (ja) 1992-08-28 2002-09-24 ソニー株式会社 視覚装置
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6091378A (en) * 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
EP1116211A4 (en) * 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
CN100359363C (zh) * 2004-05-06 2008-01-02 奥林巴斯株式会社 头戴式显示装置
US20070052672A1 (en) 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
JP5125779B2 (ja) * 2008-06-04 2013-01-23 株式会社ニコン ヘッドマウントディスプレイ装置
JP2009296228A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JPWO2009150747A1 (ja) * 2008-06-13 2011-11-10 パイオニア株式会社 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
WO2011156195A2 (en) * 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit

Also Published As

Publication number Publication date
US20170068336A1 (en) 2017-03-09
US9857886B2 (en) 2018-01-02
EP2815291A1 (en) 2014-12-24
CN104115100A (zh) 2014-10-22
US20180081451A1 (en) 2018-03-22
CN104115100B (zh) 2018-01-26
US20150009132A1 (en) 2015-01-08
JP2013168910A (ja) 2013-08-29
WO2013121730A1 (en) 2013-08-22
US9523854B2 (en) 2016-12-20

Similar Documents

Publication Publication Date Title
JP5880115B2 (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
JP7510000B2 (ja) ユーザインタフェースに関連付けられた没入感を調整及び/又は制御する方法
RU2638004C2 (ru) Устройство обработки информации, способ управления отображением и программа
JP7389270B2 (ja) 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
US20160370970A1 (en) Three-dimensional user interface for head-mountable display
US20160011724A1 (en) Hands-Free Selection Using a Ring-Based User-Interface
WO2017112099A1 (en) Text functions in augmented reality
US20150378157A1 (en) Method for operating virtual reality glasses and system with virtual reality glasses
JP2015537276A (ja) ヘッドマウントディスプレイの使用が、非ユーザから見てあまり分からないようにするための方法およびシステム
WO2013130273A1 (en) Image capture based on gaze detection
JP2016208370A (ja) ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
Vidal et al. Looking at or through? using eye tracking to infer attention location for wearable transparent displays
AU2023221266A1 (en) Devices, methods, and graphical user interfaces for accessing system functions of computer systems while displaying three-dimensional environments
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
US20240103701A1 (en) Methods for interacting with user interfaces based on attention
JP7505088B2 (ja) 連携表示システム
WO2016204995A1 (en) Serial text presentation
US20240320930A1 (en) Devices, methods, and graphical user interfaces for capturing media with a camera application
US20240152244A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240104861A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240152256A1 (en) Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
WO2024064278A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
CN118715499A (zh) 用于在显示三维环境时访问计算机系统的系统功能的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160118

R151 Written notification of patent or utility model registration

Ref document number: 5880115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250