JPWO2016113951A1 - 頭部装着型表示装置、及び映像表示システム - Google Patents

頭部装着型表示装置、及び映像表示システム Download PDF

Info

Publication number
JPWO2016113951A1
JPWO2016113951A1 JP2016569222A JP2016569222A JPWO2016113951A1 JP WO2016113951 A1 JPWO2016113951 A1 JP WO2016113951A1 JP 2016569222 A JP2016569222 A JP 2016569222A JP 2016569222 A JP2016569222 A JP 2016569222A JP WO2016113951 A1 JPWO2016113951 A1 JP WO2016113951A1
Authority
JP
Japan
Prior art keywords
video
user
head
display device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016569222A
Other languages
English (en)
Other versions
JP6339239B2 (ja
Inventor
洋一 西牧
洋一 西牧
良徳 大橋
良徳 大橋
高穂 丸山
高穂 丸山
浩一 塩野
浩一 塩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2016113951A1 publication Critical patent/JPWO2016113951A1/ja
Application granted granted Critical
Publication of JP6339239B2 publication Critical patent/JP6339239B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0161Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G02B2027/0163Electric or electronic control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

ユーザーの目の前に配置されユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子(33L,R)と、当該光学素子をユーザーの視線方向と交差する方向に移動させる駆動機構と、を備える頭部装着型表示装置(30)。また、前記頭部装着型表示装置(30)と、当該頭部装着型表示装置に映像を供給する映像供給部及び前記駆動機構を動作させて前記ユーザーの視野内における前記映像の表示位置を変化させる制御指示を出力する表示位置制御部を備える映像供給装置(10)と、を備える映像表示システム。

Description

本発明は、ユーザーが頭部に装着して使用する頭部装着型表示装置、当該頭部装着型表示装置を含む映像表示システム、当該頭部装着型表示装置に映像を提供する映像提供装置、その制御プログラム、及び情報記憶媒体に関する。
ヘッドマウントディスプレイやスマートグラスなどと呼ばれる、ユーザーが頭部に装着して使用するタイプの表示装置(頭部装着型表示装置)が知られている。このような表示装置は、ユーザーの目の前に画像を結像させることで、その画像をユーザーに閲覧させる(例えば特許文献1参照)。
特開2014−10326号公報
上述した頭部装着型表示装置では、画像の表示位置が固定されている。その位置は、ユーザーの体型や頭部装着型表示装置の装着の仕方などによっては、必ずしも最適なものになっているとは限らない。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、画像の表示位置を調整可能な頭部装着型表示装置、当該頭部装着型表示装置を含む映像表示システム、当該頭部装着型表示装置に映像を提供する映像提供装置、その制御プログラム、及び情報記憶媒体を提供することにある。
本発明に係る頭部装着型表示装置は、ユーザーの目の前に配置され、ユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子と、前記光学素子を前記ユーザーの視線方向と交差する方向に移動させる駆動機構と、を備えることを特徴とする。
また、本発明に係る映像表示システムは、頭部装着型表示装置と、映像供給装置と、を備える映像表示システムであって、前記頭部装着型表示装置は、ユーザーの目の前に配置され、ユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子と、前記光学素子を前記ユーザーの視線方向と交差する方向に移動させる駆動機構と、を備え、前記映像供給装置は、前記頭部装着型表示装置に映像を供給する映像供給部と、前記駆動機構を動作させて、前記ユーザーの視野内における前記映像の表示位置を変化させる制御指示を出力する表示位置制御部と、を備えることを特徴とする。
また、本発明に係る映像供給装置は、ユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子を前記ユーザーの視線方向と交差する方向に移動させる駆動機構を備える頭部装着型表示装置と接続される映像供給装置であって、前記頭部装着型表示装置に映像を供給する映像供給部と、前記駆動機構を動作させて、前記ユーザーの視野内における前記映像の表示位置を変化させる制御指示を出力する表示位置制御部と、を備えることを特徴とする。
また、本発明に係るプログラムは、ユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子を前記ユーザーの視線方向と交差する方向に移動させる駆動機構を備える頭部装着型表示装置と接続されるコンピュータを、前記頭部装着型表示装置に映像を供給する映像供給部、及び、前記駆動機構を動作させて、前記ユーザーの視野内における前記映像の表示位置を変化させる制御指示を出力する表示位置制御部、として機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る映像表示システムの全体概要図である。 本発明の実施の形態に係る映像表示システムの構成を示す構成ブロック図である。 結像距離の調整制御を説明する図である。 インパクト駆動アクチュエーターを用いた結像距離制御アクチュエーターの実装例を示す図である。 ステッピングモーターを用いた結像距離制御アクチュエーターの実装例を示す図である。 導電性高分子ポリマーを用いた結像距離制御アクチュエーターの実装例を示す図である。 ボールねじを用いた表示位置制御アクチュエーターの実装例を示す図である。 映像供給装置の機能を示す機能ブロック図である。 2つの映像の表示位置を同じ方向に調整する調整制御の例を示す図である。 2つの映像の表示位置を逆方向に調整する調整制御の例を示す図である。 2つの映像の表示位置を逆方向に調整する調整制御の別の例を示す図である。 視線方向に応じた表示位置の調整制御の例を示す図である。 表示位置の調整制御の流れの一例を示すフロー図である。 屈折率調整素子を用いた結像距離制御機構の実装例を示す図である。 表示位置調整機構の変形例を示す図である。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る映像表示システム1の全体概要図である。また、図2は映像表示システム1の構成を示す構成ブロック図である。これらの図に示されるように、映像表示システム1は、映像供給装置10と、中継装置20と、頭部装着型表示装置30と、を含んで構成されている。
映像供給装置10は、頭部装着型表示装置30が表示すべき映像を供給する情報処理装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図2に示されるように、映像供給装置10は、制御部11と、記憶部12と、インタフェース部13と、を含んで構成される。また、操作入力デバイス14と接続されている。
制御部11は、CPU等であって、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。操作入力デバイス14は、キーボードやマウス、タッチパネル、家庭用ゲーム機のコントローラなどであって、ユーザーからの操作入力を受け付ける。
インタフェース部13は、中継装置20との間のデータ通信のためのインタフェースである。映像供給装置10は、インタフェース部13を介して有線又は無線のいずれかで中継装置20と接続される。インタフェース部13は、映像供給装置10が供給する映像を中継装置20に送信するために、HDMI(High-Definition Multimedia Interface:登録商標)などの映像用の通信インタフェースを含んでよい。また、頭部装着型表示装置30から各種の情報を受信するために、USB等のデータ通信インタフェースを含んでよい。
中継装置20は、映像供給装置10から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を頭部装着型表示装置30に対して出力する。中継装置20は、有線又は無線のいずれかにより頭部装着型表示装置30と接続される。
図2に示されるように、中継装置20は、制御ユニット21と、映像処理ユニット22と、カメラ画像処理ユニット23と、を含んで構成される。
制御ユニット21は、映像供給装置10からの指示などに応じて、頭部装着型表示装置30に内蔵される各部を動作させるための各種の制御信号を出力する集積回路である。また、制御ユニット21は、頭部装着型表示装置30に内蔵される各種のセンサーによって測定された情報を頭部装着型表示装置30から受け取って、その内容を映像供給装置10に対して提供する。
映像処理ユニット22は、映像供給装置10が供給する映像データを、頭部装着型表示装置30で表示可能な映像信号に変換して出力するビデオプロセッサである。特に映像処理ユニット22は、映像供給装置10が供給する映像データに基づいて、右目用映像の映像信号、及び左目用映像の映像信号をそれぞれ生成して、頭部装着型表示装置30に対して出力する。ここで、頭部装着型表示装置30が表示する映像が2D映像の場合、映像処理ユニット22は右目用映像及び左目用映像として同一の映像信号を出力する。一方、頭部装着型表示装置30に3D映像(立体映像)を表示させる場合、視差を利用してユーザーが立体的に映像を認識できるように、映像処理ユニット22は、右目用映像及び左目用映像として互いに異なる映像信号を出力する必要がある。このような立体視用の2つの映像は、映像供給装置10によってそれぞれ生成されて映像処理ユニット22に提供されてもよいし、映像供給装置10から提供される情報に基づいて映像処理ユニット22によって生成されてもよい。後者の場合には、映像供給装置10自身が立体視に対応していなくとも立体映像をユーザーに閲覧させることができる。
カメラ画像処理ユニット23は、頭部装着型表示装置30が備える複数のカメラ(後述)で撮影されたカメラ画像を受信し、受信したカメラ画像に対して必要に応じて画像処理を実行する。カメラ画像処理ユニット23の処理結果は、制御ユニット21に出力される。
頭部装着型表示装置30は、ユーザーが頭部に装着して使用する映像表示装置であって、中継装置20から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、頭部装着型表示装置30は両目での映像の閲覧に対応しており、ユーザーの右目及び左目それぞれの目の前に互いに独立に映像を表示するものとする。
頭部装着型表示装置30は、2つの映像表示ユニット31L及び31R、映像表示素子駆動回路35、2つの液晶シャッター36L及び36R、液晶シャッター駆動回路37、赤外線センサー38、照度センサー39、GPSモジュール40、モーションセンサーモジュール41、センサーハブ42、前面カメラ43、2つの背面カメラ44R及び44L、2個の表示位置制御アクチュエーター45L、及び45R、アクチュエーター駆動回路46、並びに通信インタフェース47を含んで構成される。
映像表示ユニット31Lは左目用映像を表示し、映像表示ユニット31Rは右目用映像を表示する。ユーザーは、頭部装着型表示装置30を装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ閲覧する。映像表示ユニット31Lは、映像表示素子32L、光学素子33L、及び結像距離制御アクチュエーター34Lを含み、映像表示ユニット31Rは映像表示素子32R、光学素子33R、及び結像距離制御アクチュエーター34Rを含んでいる。
映像表示素子32L及び32Rは、例えば有機EL表示パネルなどであって、映像表示素子駆動回路35から供給される駆動信号に従ってそれぞれ独立に映像を表示する。映像表示素子駆動回路35は、中継装置20の映像処理ユニット22から入力される映像信号に基づいて、映像表示素子32L及び32Rを駆動する駆動信号を出力する集積回路である。なお、ここでは一つの映像表示素子駆動回路35が映像表示素子32L及び32Rの双方を駆動することとしているが、頭部装着型表示装置30は二つの映像表示素子32L及び32Rに対応して二つの映像表示素子駆動回路35を備えてもよい。この場合、各映像表示素子駆動回路35として従来のものを利用できる。
光学素子33L及び33Rは、ホログラムやプリズム、ハーフミラーなどであって、ユーザーの目の前に配置され、映像表示素子32L及び32Rが表示する映像の光を屈折させて、ユーザーの目に入射させる。より具体的に、光学素子33Lは映像表示素子32Lの下方に配置されており、頭部装着型表示装置30をユーザーが装着した際に、ユーザーの左目の前方に位置する。映像表示素子32Lが表示する左目用映像は、光学素子33Lに導かれてユーザーの左目に入射する。また、光学素子33Rは映像表示素子32Rの下方に配置されており、頭部装着型表示装置30をユーザーが装着した際に、ユーザーの右目の前方に位置する。映像表示素子32Rが表示する右目用映像は、光学素子33Rに導かれてユーザーの右目に入射する。また、光学素子33L及び33Rは、頭部装着型表示装置30の外部から入射する光を透過させるようになっている。そのためユーザーは、外界の様子と映像表示素子32L及び32Rが表示する映像とを同時に視認することができる。
結像距離制御アクチュエーター34L及び34Rは、映像表示素子32L及び32Rと光学素子33L及び33Rとの間の光学的距離を変化させる制御機構であって、例えばインパクト駆動アクチュエーター、ステッピングモーター、導電性高分子ポリマーなどの駆動機構によって実現される。具体的に、結像距離制御アクチュエーター34Lは映像表示素子32Lを光学素子33Lに向かう方向に沿って移動させる。この結像距離制御アクチュエーター34Lの制御によって、映像表示素子32Lと光学素子33Lとの間の物理的な距離が変化する。同様に、結像距離制御アクチュエーター34Rは映像表示素子32Rを光学素子33Rに向かう方向に沿って移動させる。これにより、映像表示素子32Rと光学素子33Rとの間の物理的な距離が変化する。映像表示素子32と光学素子33との間の距離が変化すると、ユーザーの目から見た映像の結像位置までの距離が変化する。以下、光学素子33から映像の結像位置までのユーザーの視線方向に沿った距離を結像距離Dという。結像距離制御アクチュエーター34L及び34Rのそれぞれを制御することによって、左右それぞれの映像の結像距離Dを調整することができる。ここで、映像表示素子32の移動距離と結像距離Dとの間の相関関係は、光学素子33の光学設計に応じて決定されることになる。図3は、この結像距離Dの調整制御を説明するための図であって、横方向から見た映像表示素子32、光学素子33、液晶シャッター36、及びユーザーの目の位置関係を模式的に示している。また、図中のブロック矢印は結像距離制御アクチュエーター34による映像表示素子32の移動方向を示している。なお、結像距離Dの調整制御の具体例については、後に詳しく説明する。
ここで、結像距離制御アクチュエーター34のいくつかの具体例について、説明する。図4は、インパクト駆動アクチュエーターを用いた結像距離制御アクチュエーター34の実装例を模式的に示している。なお、この図においては、左目用映像の結像距離Dを調整する結像距離制御アクチュエーター34Lの構成だけを示しているが、結像距離制御アクチュエーター34Rも同様の構成により実装されてよい。この図の例においては、映像表示素子32Lはホルダー34L1に固定されている。そして、結像距離制御アクチュエーター34Lはインパクト駆動アクチュエーターであって、その摺動軸がホルダー34L1の一端を貫通している。インパクト駆動アクチュエーターを駆動させることによって、ホルダー34L1を上下に移動させ、映像表示素子32Lと光学素子33Lとの間の距離を変化させることができる。なお、この図の例においては、映像表示素子32Lが光学素子33Lを囲むフレームの上部に配置され、結像距離制御アクチュエーター34Lがフレームの向かって右方向の側部に配置されているが、これに限らず、映像表示素子32Lや結像距離制御アクチュエーター34Lは光学素子33Lの周囲の任意の位置に配置されてよい。
次に、ステッピングモーターを用いた結像距離制御アクチュエーター34の実装例について、説明する。ステッピングモーターを用いる場合、図4と同様に結像距離制御アクチュエーター34をフレームの側部に配置し、その軸方向に沿ってホルダー34L1を移動させることとしてもよい。また、ギア34L2を介してステッピングモーターの軸方向と交差する方向にホルダー34L1を移動させてもよい。図5は、この場合の配置例を示している。この図の上部は頭部装着型表示装置30の左側フレーム部分の平面図を示しており、図の下部は左側フレーム部分の正面図を示している。この図の例において、ステッピングモーターである結像距離制御アクチュエーター34Lは、その回転軸が頭部装着型表示装置30の前後方向に沿うように配置されている。その回転軸にはギア34L2が取り付けられており、映像表示素子32Lを支持するホルダー34L1の一端に設けられた溝とギア34L2がかみ合っている。これにより、ステッピングモーターを駆動することで映像表示素子32Lを上下方向に沿って移動させることができる。
次に、導電性高分子ポリマーを用いた結像距離制御アクチュエーター34の実装例について説明する。図6は、この場合の配置例を示している。導電性高分子ポリマーは、印加される電圧に応じて伸張、収縮する性質を備えており、この性質によってアクチュエーターとして機能することができる。具体的に図6の例では、基台34L3に対して導電性高分子ポリマーである結像距離制御アクチュエーター34Lが固定されており、さらにこの結像距離制御アクチュエーター34Lに対して映像表示素子32Lが固定されている。なお、ここでは基台34L3は、その位置が変化しないようにフレーム内に固定されているものとする。また、結像距離制御アクチュエーター34Lには信号出力回路34L4が接続されており、この信号出力回路34L4が出力する制御信号に応じて伸張、収縮する。この伸張、収縮に伴って映像表示素子32Lが上下方向に移動することで、映像表示素子32Lと光学素子33Lとの間の距離が変化する。なお、信号出力回路34L4は後述するアクチュエーター駆動回路46の一部として実現されてもよい。
液晶シャッター36L及び36Rは、光学素子33L及び33Rの前面側に配置され、光の透過率を変化させるために用いられる光透過素子である。具体的に、液晶シャッター36Lは光学素子33Lと対向するように配置され、液晶シャッター36Rは光学素子33Rと対向するように配置される。ユーザーが頭部装着型表示装置30を装着した際には、外部からの光は液晶シャッター36L及び光学素子33Lをこの順に通ってユーザーの左目に入射する。また、液晶シャッター36R及び光学素子33Rをこの順に通ってユーザーの右目に入射する。ここで、液晶シャッター36L及び36Rを完全に閉じて光が透過しないようにすると、ユーザーは外界の様子を視認することができなくなり、映像表示素子32L及び32Rが表示する映像だけを閲覧することができる。液晶シャッター36L及び36Rは、それぞれ液晶シャッター駆動回路37が出力する駆動信号に応じて光の透過率を変化させる。液晶シャッター駆動回路37は、中継装置20の制御ユニット21から入力される制御信号に基づいて、液晶シャッター36L及び36Rのそれぞれを動作させる集積回路である。
赤外線センサー38、及び照度センサー39は、それぞれ頭部装着型表示装置30の前面に配置されている。赤外線センサー38は赤外線の信号を検出し、その検出結果をセンサーハブ42に対して出力する。また、照度センサー39は頭部装着型表示装置30周辺の光の照度を検出して、検出結果をセンサーハブ42に対して出力する。なお、本実施形態では、照度センサーは単に外界の光の照度だけでなく、色温度を検出できるものとする。GPSモジュール40は、GPS衛星からの信号を受信することによって、頭部装着型表示装置30の現在位置を特定する。すなわち、GPSモジュール40は位置検出センサーとして機能する。GPSモジュール40による現在位置の検出結果は、センサーハブ42に対して出力される。
モーションセンサーモジュール41は、頭部装着型表示装置30の位置や向き、動きに関する各種の情報を測定する。具体的に本実施形態では、モーションセンサーモジュール41は、3軸の加速度センサー、3軸のジャイロスコープ、3軸の地磁気センサー、及び気圧センサーとしての機能を備えており、計10種の測定結果をセンサーハブ42に対して出力するものとする。これらの測定結果を用いることで、頭部装着型表示装置30の動きや向きの変化が特定される。具体的に、加速度センサーの検出結果を用いることで、頭部装着型表示装置30の鉛直方向に対する傾きや平行移動を検出できる。また、ジャイロスコープや地磁気センサーを用いることで、頭部装着型表示装置30の回転運動を検出できる。さらに、気圧センサーを用いることで、頭部装着型表示装置30の鉛直方向に沿った動きを検出できる。
センサーハブ42は、赤外線センサー38、照度センサー39、GPSモジュール40、及びモーションセンサーモジュール41の出力を統合して、中継装置20の制御ユニット21に対して出力する集積回路である。これらのセンサーの測定結果は、それぞれ異なるフォーマットのデータとして互いに非同期に出力される。センサーハブ42は、これらの多様なフォーマットのデータをまとめてシリアルデータとして出力する。これにより、頭部装着型表示装置30と中継装置20との間で広帯域のデータ通信網を確保したり中継装置20側に複数種類のデータフォーマットに対応したインタフェースを用意したりする必要がなくなり、効率的に各センサーの検出結果を中継装置20に送信することができる。
前面カメラ43は、頭部装着型表示装置30の前面に配置され、ユーザーの前方の様子を撮影する。一方、背面カメラ44R及び44Lは頭部装着型表示装置30の背面側(ユーザー側)を撮影可能な位置に配置されており、ユーザーの左右の目を撮影する。これらのカメラで撮影された画像は、中継装置20のカメラ画像処理ユニット23に入力される。
表示位置制御アクチュエーター45L及び45Rは、映像表示ユニット31L及び31Rを移動させて映像の表示位置を調整するための駆動機構であって、結像距離制御アクチュエーター33L及び33Rと同様に、インパクト駆動アクチュエーターやステッピングモーター、導電性高分子ポリマーなどによって実現されてよい。また、ボールねじやボイスコイルモーター、リニアモーターなどによって実現されてもよい。特に表示位置制御アクチュエーター45L及び45Rは、カメラのオートフォーカスや手ぶれ補正などに利用される駆動機構を用いて実現することができる。具体的に、表示位置制御アクチュエーター45Lは、結像距離制御アクチュエーター34Lとは独立に、映像表示素子32Lと光学素子33Lを含む映像表示ユニット31L全体を、ユーザーの視線方向と交差する面内において移動させる。このような移動制御を実現させるために、映像表示素子32Lと光学素子33Lは共通の支持体に取り付けられており、表示位置制御アクチュエーター45Lはこの支持体を移動させることとしてもよい。特に本実施形態では、表示位置制御アクチュエーター45Lは、ユーザーの視線方向と略直交する平面内において、映像表示ユニット31Lを左右方向及び上下方向のいずれにも移動可能に取り付けられている。同様に、表示位置制御アクチュエーター45Rは、映像表示ユニット31R全体を、ユーザーの視線方向と交差する面内において移動させる。これら表示位置制御アクチュエーター45の制御によって、ユーザーの視界内における映像の表示位置を上下左右の方向に調整することができる。この表示位置調整の具体例については、後に詳しく説明する。
なお、表示位置制御アクチュエーター45L及び45Rは、ユーザーの視線方向と交差する面内だけでなく、ユーザーの視線方向に沿って映像表示ユニット31L及び31Rを移動させてもよい。このように視線方向に沿って映像表示ユニット31L及び31Rを移動させることで、頭部装着型表示装置30は、ユーザーの瞳の位置から映像表示素子32L及び32Rまでの距離を調整することができる。これにより、頭部装着型表示装置30が表示する映像の全体をユーザーが正しく見られるようにする、いわゆるアイポイント調整を行うことができる。
ここで、表示位置制御アクチュエーター45の具体的な実装例について、説明する。図7は、3つのボールねじを組み合わせて表示位置制御アクチュエーター45を実現する場合の配置例を模式的に示している。この図の向かって左側は頭部装着型表示装置30の部分正面図であって、右側は部分右側面図を示している。なお、この図においては、左目用映像の表示位置を調整する表示位置制御アクチュエーター45Lの構成だけを示しているが、表示位置制御アクチュエーター45Rも同様の構成により実装されてよい。同図においては、頭部装着型表示装置30の筐体内に3つのねじ軸45L1、45L2、及び45L3が配置されており、それぞれモーターの駆動によって回転する。そして、これらのねじ軸の回転に応じて、それぞれのねじ軸に対応するステージ45L4、45L5、及び45L6がねじ軸の軸方向に沿って直線移動する。各ステージ45L4、45L5、及び45L6は映像表示ユニット31Lに対して固定されており、これらのステージに連動して映像表示ユニット31Lも移動するように配置されている。より具体的に、ねじ軸45L1の回転に応じてステージ45L4が左右方向(図のX軸方向)に沿って移動する。また、ねじ軸45L2の回転に応じてステージ45L5が上下方向(図のY軸方向)に沿って移動する。さらに、ねじ軸45L3の回転に応じてステージ45L6が前後方向(図のZ軸方向)に沿って移動する。これにより頭部装着型表示装置30は、映像表示ユニット31Lを前後左右上下の任意の方向に一定範囲内で移動させることができる。
アクチュエーター駆動回路46は、中継装置20の制御ユニット21から受け付けた制御信号に基づいて、結像距離制御アクチュエーター34L及び34R、並びに表示位置制御アクチュエーター45L及び45Rのそれぞれを動作させる駆動信号を出力する集積回路である。
通信インタフェース47は、中継装置20との間でデータ通信を行うためのインタフェースである。例えば頭部装着型表示装置30が中継装置20との間で無線LANやBluetooth(登録商標)などの無線通信によりデータの送受信を行う場合、通信インタフェース47は通信用のアンテナ、及び通信モジュールを含む。
次に、映像供給装置10が実現する機能について図8を用いて説明する。図8に示すように、映像供給装置10は、機能的に、アプリケーション実行部51と、結像距離制御部52と、表示位置制御部53と、を含む。これらの機能は、制御部11が記憶部12に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して映像供給装置10に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
アプリケーション実行部51は、制御部11がアプリケーションプログラムを実行することにより、当該アプリケーションプログラムのサービスをユーザーに提供する。具体例として、アプリケーション実行部51は、ゲームプログラムを実行することによりゲームのサービスをユーザーに提供してもよい。また、映像再生プログラムを実行して、情報記憶媒体などに格納されている映像データを再生し、ユーザーに提示してもよい。いずれにせよ、アプリケーション実行部51はユーザーに提示すべき映像を生成し、中継装置20を介して生成した映像を頭部装着型表示装置30に供給する。
結像距離制御部52は、中継装置20の制御ユニット21に対して結像距離Dの変更指示を出力する。この変更指示に応じて制御ユニット21が結像距離制御アクチュエーター34L及び34Rの制御信号を出力することで、頭部装着型表示装置30における映像の結像距離Dが変化する。
特に本実施形態では、結像距離制御部52は、アプリケーション実行部51からの指示に応じて、結像距離Dの変更指示を中継装置20に送信する。透過型の頭部装着型表示装置30においては、表示される映像をユーザーが外界に実在する物体と同時に見る場合があるため、同時に見る物体までの距離と近い距離に映像を結像させることで、ユーザーが映像を閲覧しやすくなる。そこで結像距離制御部52は、アプリケーション実行部51が実行中のアプリケーションプログラムの種類に応じて、結像距離Dを変化させる制御を行う。これにより、実行中のアプリケーションプログラムの内容に適した距離で映像を結像させることができる。
具体例として、アプリケーション実行部51は複数種類のアプリケーションプログラムを実行し、これらのアプリケーションプログラムはそれぞれ距離指定パラメータを含んでいるものとする。アプリケーション実行部51は、実行中のアプリケーションプログラムに含まれる距離指定パラメータに応じた結像距離Dの値を結像距離制御部52に出力し、結像距離制御部52は入力された値に結像距離Dを変更させる変更指示を出力する。例えばアプリケーションプログラムが道案内を行うナビゲーションプログラムであって、進行方向などの情報を映像として頭部装着型表示装置30に表示させる場合、表示される映像は屋外の風景とともに閲覧されることが想定される。この場合、映像の結像距離Dを大きく(例えば無限遠に)設定する。また、アプリケーションプログラムが料理レシピを表示するプログラムの場合、ユーザーは表示される情報を比較的近い位置にある食材や調理器具などとともに閲覧することが想定される。この場合、映像の結像距離Dを小さく設定する。このように実行するアプリケーションプログラムごとに結像距離Dを変更することで、ユーザーが頭部装着型表示装置30を使用中の場面に応じて望ましい距離で映像を表示させることができる。また、アプリケーション実行部51は、一つのアプリケーションプログラムを実行中の間にも、その処理内容の変化に応じて結像距離Dを変化させる指示を出力してもよい。
また、結像距離制御部52は、ユーザーの前方にある物体までの距離に応じて、結像距離Dを変化させてもよい。この場合、頭部装着型表示装置30は前方の物体までの距離を測定する距離センサーをさらに備えることとする。結像距離制御部52は、このような距離センサーの測定結果を頭部装着型表示装置30から取得し、取得した測定結果に応じて結像距離Dを変化させる制御を行う。これにより、検出した物体までの距離と近い距離に映像を結像させることができ、より精度よくユーザーが物体と一緒に視認しやすい位置に映像を結像させることができる。
さらに、結像距離制御部52は、ユーザーが外界の様子とともに映像を閲覧する場合だけでなく、液晶シャッター36L及び36Rが閉ざされてユーザーが映像だけを閲覧する場合にも、結像距離Dの制御を行ってもよい。ユーザーが映像を見やすい距離は、そのユーザーの視力などによっても変化する。そこで結像距離制御部52は、例えばユーザーが頭部装着型表示装置30を最初に使用するときなどに、ユーザーが映像を閲覧しやすい結像距離Dを決定するキャリブレーション処理を実行する。具体的に、結像距離制御部52は、まず液晶シャッター36L及び36Rを閉じてユーザーが外界の様子を見られない状態にし、その状態で結像距離Dを少しずつ変化させながらユーザーに映像を閲覧させる。ユーザーは、その映像を閲覧しながら、自分が最も見やすい結像距離Dで映像が表示されていると感じる状態で、操作入力デバイス14に対して所定の操作を行う。結像距離制御部52は、この操作を受け付けたタイミングにおける結像距離Dを、基準結像距離として決定する。そして、その後にユーザーに映像を閲覧させる際には、基準結像距離に映像を結像させるよう指示する。これにより、ユーザーは自分の見やすい結像距離Dで映像を閲覧することができる。また、このようにキャリブレーションを行う際に液晶シャッター36L及び36Rを閉じることによって、ユーザーが映像に集中しやすい環境で基準結像距離を決定することができる。なお、キャリブレーションを行う際、結像距離制御部52は、自動的に結像距離Dを変化させてもよいし、ユーザーの操作入力デバイス14に対する操作入力に応じて結像距離Dを徐々に変更させてもよい。
また、以上の説明では左右の結像距離Dを同じように調整することとしたが、本実施形態では結像距離制御アクチュエーター34L及び34Rがそれぞれ独立に映像表示素子32L及び32Rの位置を調整するため、結像距離制御部52は左目用映像の結像距離Dと右目用映像の結像距離Dを互いに異なる値にすることもできる。そのため結像距離制御部52は、左目用映像の結像距離Dのキャリブレーションと右目用映像の結像距離Dのキャリブレーションを順次実行することによって、左右それぞれの基準結像距離を決定してもよい。具体的に、例えば結像距離制御部52は、液晶シャッター36L及び36Rの両方を閉じた状態で映像表示素子32Lだけに映像を表示させ、上述したのと同様の手順により左目用映像の基準結像距離を決定する。その後、今度は映像表示素子32Rだけに映像を表示させて、右目用映像の基準結像距離を決定する。このように左右の基準結像距離を独立に決定することで、左右の視力が異なるユーザーにとっても見やすい結像距離Dになるように、キャリブレーションを行うことができる。なお、左右の結像距離Dが大きく異なると、ユーザーから見た映像の大きさも左右で異なる場合がある。そのため、中継装置20の映像処理ユニット22は、結像距離制御部52から指示された左右の結像距離Dに応じて、左目用映像及び右目用映像の少なくとも一方を拡大または縮小してもよい。これにより、左右の映像の見かけの大きさを合わせることができる。
さらに、前述したようにアプリケーションプログラムの種類やその処理内容に応じて結像距離Dを変化させる場合、アプリケーション実行部51は、その結像距離Dを絶対値で指定するのではなく、基準結像距離に対する相対的な変化量で指定してもよい。この場合、結像距離制御部52は、キャリブレーションによって決定された基準結像距離を記憶部12に記憶しておく。そして、アプリケーション実行部51から結像距離Dの変更指示を受け付けた場合には、その変更指示に含まれる変化量に応じて基準結像距離を変化させた値を目標結像距離として決定し、結像距離Dを決定した目標結像距離に変化させる指示を中継装置20に対して出力する。これにより、ユーザーの視力にあった結像距離Dを基準として、状況に応じて結像距離Dを変化させることができる。
表示位置制御部53は、中継装置20に対して表示位置の変更指示を出力する。この変更指示に応じて中継装置20が表示位置制御アクチュエーター45L及び45Rの制御信号を出力することで、頭部装着型表示装置30における映像の表示位置が変化する。特に本実施形態では、表示位置制御部53は、ユーザーの実際の目の位置に合わせて表示位置を移動させることとする。このような制御を実現するために、表示位置制御部53は、背面カメラ44R及び44Lによって撮影されたカメラ画像を中継装置20から取得し、取得したカメラ画像を解析することによって、背面カメラ44R及び44Lの視野内におけるユーザーの目の位置を特定する。そして、特定されたユーザーの目の位置に応じて、表示位置を変更させる変更指示を中継装置20に対して出力する。これにより、頭部装着型表示装置30を装着するユーザーの体型や装着の仕方などの個人差によらず、ユーザーの目の正面に近い位置に映像を表示させることができる。
具体例として、特定された目の位置が各背面カメラの視野範囲内の上方にある場合、ユーザーの目の位置が標準より高めの位置にある(あるいは、ユーザーが頭部装着型表示装置30を低めの位置に装着している)と想定される。このような場合、表示位置制御部53は、表示位置制御アクチュエーター45L及び45Rを制御して映像表示ユニット31L及び31Rを上方に移動させることによって、映像の表示位置を基準位置RPよりも上方に移動させる。ここで基準位置RPとは、映像を表示させる際の基準としてあらかじめ設定された位置であって、例えば表示位置制御アクチュエーター45L及び45Rによる可動範囲の中心に映像表示ユニット31L及び31Rを移動させた際の左目用映像、及び右目用映像それぞれの表示位置であってよい。図9は、このように基準位置RPの上方に表示位置を移動させた例を示しており、実線が左右の映像の表示位置を、破線が基準位置RPを、それぞれ示している。逆に、ユーザーの目の位置が標準より低めの位置にあると想定される場合、表示位置制御部53は、映像表示ユニット31L及び31Rを下方に移動させる変更指示を出力すればよい。
また、表示位置制御部53は、映像表示ユニット31Lと映像表示ユニット31Rとを互いに逆向きに移動させてもよい。例えば背面カメラ44R及び44Lのカメラ画像によってユーザーの両目の間隔が標準よりも狭いと特定された場合、表示位置制御部53は、映像表示ユニット31Lをユーザーから見て右方向に、映像表示ユニット31Rをユーザーから見て左方向に、それぞれ移動させることによって、両者の間の距離を近づける。図10は、このようにして左目用画像の表示位置と右目用画像の表示位置を互いに近づけた場合の例を示している。なお、ユーザーの両目の間隔が標準よりも広いと特定された場合には、これとは逆に映像表示ユニット31Rと映像表示ユニット31Lとを互いに遠ざける向きに移動させる。
また、ユーザーが頭部装着型表示装置30を斜めに装着している場合などにおいては、映像表示ユニット31L及び31Rの一方を上方に移動させ、他方を下方に移動させることしてもよい。図11は、映像表示ユニット31Lを上方に、映像表示ユニット31Rを下方に移動させた場合の表示位置の例を示している。
さらに、表示位置制御部53は、ユーザーの両目の位置だけでなく、ユーザーの視線方向を特定し、その特定結果に応じて映像表示ユニット31L及び31Rを移動させてもよい。表示位置制御部53は、ユーザーの両目を撮影した画像からユーザーの視線方向を特定する公知の技術を利用することで、背面カメラ44R及び44Lの画像からユーザーの視線方向を特定することができる。この例では、表示位置制御部53は、まずユーザーの目の位置に合わせて映像表示ユニット31L及び31Rを移動させる。そして、ユーザーが視線の向きを正面方向から上下左右のいずれかに変化させた場合には、そこからさらに視線の方向に映像表示ユニット31L及び31Rを移動させることとする。これにより、頭部装着型表示装置30は、ユーザーの視線の変化に追随して、ユーザーが見ている方向に映像を表示させることができる。図12は、ユーザーが向って左上方向に視線を向けている場合の映像の表示位置の例を示している。このように視線方向に追随して映像の表示位置を移動させることによって、実際の映像の大きさよりも大きな範囲に映像が表示されているかのようにユーザーに感じさせることができる。また、映像表示ユニット31L及び31Rが表示する映像は、その中心近傍ではひずみが少ないが、外周に近づくにつれて表示内容にひずみが生じるおそれがある。ここで説明したようにユーザーの視線の向きに合わせて映像の表示位置を移動させることによって、常にユーザーの注目する箇所が映像の中心近傍になるように制御することができる。ただし、ユーザーの視線の動きに合わせて表示位置を基準位置RPから移動させると、ユーザーは映像を正面ではなく斜め方向から閲覧することになるため、そのことに起因するひずみが感じられるおそれがある。そこで中継装置20の映像処理ユニット22は、表示位置の変化に応じて表示する映像に対するひずみ補正を実行してもよい。
ここで、以上説明した表示位置制御部53が実行する制御の流れの具体例について、図13のフロー図を用いて説明する。ユーザーが頭部装着型表示装置30を装着してその使用開始を操作入力デバイス14に対して指示すると、表示位置制御部53は、背面カメラ44L及び44Rが撮像した画像を中継装置20経由で取得し、取得した画像を用いてユーザーの左右の目の位置を特定する(S1)。そして、S1で特定した目の位置に応じて映像表示ユニット31L及び31Rを移動させる制御指示を出力する(S2)。この制御指示に応じて、表示位置制御アクチュエーター45L及び45Rが映像表示ユニット31L及び31Rを移動させることによって、ユーザーの目の正面に近い位置に映像が表示されるようになる。
その後、表示位置制御部53は、背面カメラ44L及び44Rの画像を用いてユーザーの左右の目の視線方向を特定する(S3)。そして、映像表示ユニット31L及び31RをS3で特定した方向に応じた位置にさらに移動させる制御指示を出力する(S4)。この制御指示に応じて表示位置制御アクチュエーター45L及び45Rは、映像表示ユニット31L及び31Rをユーザーの視線が向いている方向に移動させる。これにより頭部装着型表示装置30は、ユーザーの視線の先に映像を表示することができる。表示位置制御部53は、頭部装着型表示装置30が表示する映像をユーザーが閲覧している間、このS3及び34の処理を繰り返し実行する。これにより、ユーザーが視線を動かすとその視線に追従して映像の表示位置が移動するように制御できる。
以下、本実施形態に係る映像表示システム1によって実現される機能のいくつかの具体例について、説明する。
頭部装着型表示装置30は、自身が立体映像を表示するだけでなく、別の立体映像表示装置が表示する立体映像を閲覧するための3Dメガネとして用いることもできる。この場合、立体映像表示装置はフレームシーケンシャル方式で立体映像を表示する。頭部装着型表示装置30は、立体映像表示装置が赤外線で送信する切り替え指示の信号を赤外線センサー38で受信し、受信した信号を中継装置20に対して出力する。中継装置20の制御ユニット21は、この信号の受信タイミングに応じて液晶シャッター36L及び36Rの駆動信号を頭部装着型表示装置30に対して出力する。頭部装着型表示装置30は、この駆動信号に応じて、立体映像表示装置が右目用画像を表示しているタイミングでは液晶シャッター36Lを閉じ、立体映像表示装置が左目用画像を表示しているタイミングでは液晶シャッター36Rを閉じる。これによりユーザーは、立体映像表示装置が表示する立体映像を閲覧することができる。
また、頭部装着型表示装置30は、内蔵するモーションセンサーモジュール41によって、ユーザーの頭の動きを検出するヘッドトラッキングを実現することができる。映像供給装置10のアプリケーション実行部51は、この検出された頭の動きに合わせて例えば仮想3次元空間に配置された視点の位置や向きを移動させながら、その仮想3次元空間内の様子を示す映像を生成し、頭部装着型表示装置30に供給する。これにより、ユーザーの頭の動きに合わせて変化する映像をユーザーに提示することができる。
また、中継装置20は、照度センサー39の検出結果を用いることにより、外界の光環境に合わせてユーザーが映像を見やすくするための制御を行ってもよい。例えば中継装置20の制御ユニット21は、照度センサー39が検出した照度の値に応じて、液晶シャッター36L及び36Rの光の透過率を調整する。より具体的に、頭部装着型表示装置30の周囲が明るい場合には液晶シャッター36L及び36Rによる光の透過率を下げることで、外光によるまぶしさを低減し、ユーザーが映像を閲覧しやすくすることができる。また、中継装置20の映像処理ユニット22は、照度センサー39が検出した外光の色温度に応じて、表示する映像の色調を変化させる色変換処理を実行してもよい。これにより、外界の様子とともに映像を閲覧する場合に、映像を見やすい色で表示させることができる。
また、映像供給装置10は、頭部装着型表示装置30の前面カメラ43によって撮影されたカメラ画像を用いて映像を生成してもよい。この場合、映像供給装置10のアプリケーション実行部51は、中継装置20から前面カメラ43のカメラ画像を受信し、受信したカメラ画像に別の画像を重畳することで頭部装着型表示装置30に表示させる映像を生成する。特にカメラ画像を解析してその中から目標物の特徴点などを抽出し、抽出された特徴点に応じた位置に画像を重畳することで、目標物に合わせた映像を生成することができる。
また、頭部装着型表示装置30は各種のセンサーを備えているので、これらのセンサーの検出結果をユーザーの行動記録として収集し、映像供給装置10に蓄積することとしてもよい。特にGPSモジュール40やモーションセンサーモジュール41によって収集されるユーザーの移動記録と、前面カメラ43のカメラ画像とを組み合わせることで、カメラ画像をその画像が撮影された位置とともに記録することができる。
さらに、これらのセンサー群は頭部装着型表示装置30から着脱可能に構成されてもよい。具体的には、赤外線センサー38、照度センサー39、GPSモジュール40、モーションセンサーモジュール41、センサーハブ42、及び前面カメラ43の一部又は全部をユニット化し、頭部装着型表示装置30から着脱可能にする。また、このセンサーユニットは、それ自体が無線通信インタフェースを備え、中継装置20又は頭部装着型表示装置30のいずれかに取得したデータを送信可能とする。これにより、各種の情報を検出可能なセンサーユニットを頭部装着型表示装置30の一部として用いたり、他の物体(例えば自律的に移動する玩具や、ペットなど)に取り付けてその物体のモニターなどに利用することができる。この場合にも、センサーユニットがセンサーハブ42を備えていることにより、複数種類のセンサーの検出結果を統合して他の装置に容易に送信することができる。
本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明において中継装置20が実現するとした映像信号の出力などの処理の少なくとも一部は、映像供給装置10によって実現されてもよい。逆に、以上の説明において映像供給装置10が実現するとした処理の少なくとも一部は、中継装置20によって実現されてもよい。また、以上の説明において中継装置20が実現するとした処理の一部は、頭部装着型表示装置30に内蔵される集積回路によって実現されてもよい。さらに、以上の説明において中継装置20が実現するとした処理の全てが映像供給装置10及び頭部装着型表示装置30によって実現される場合、中継装置20が存在せずともよい。
また、以上の説明では頭部装着型表示装置30は二つの映像表示ユニット31を備えることとしたが、頭部装着型表示装置30は片目で閲覧するための一つの映像表示ユニット31のみを備える単眼式の表示装置であってもよい。また、以上の説明では頭部装着型表示装置30はユーザーが外界を視認することのできる透過型であることとしたが、外界を視認することのできないタイプのものであってもよい。これらの場合であっても、結像距離制御アクチュエーター34によって結像距離Dを調整したり、表示位置制御アクチュエーター45によって映像の表示位置を変化させたりすることで、頭部装着型表示装置30はユーザーや表示内容に適した状態で映像を閲覧させることができる。
また、以上の説明では、結像距離制御アクチュエーター34が映像表示素子32を物理的に移動させることによって映像表示素子32と光学素子33との間の光学的距離を変化させることとしたが、結像距離制御アクチュエーター34は映像表示素子32ではなく光学素子33を移動させて両者の間の光学的距離を変化させてもよい。また、頭部装着型表示装置30は、映像表示素子32と光学素子33との間の物理的な距離を変化させる駆動機構の代わりに、両者の間の光路の屈折率を変化させる結像距離制御機構を用いて、両者の間の光学的距離を変化させてもよい。この場合、例えば結像距離制御機構は、映像表示素子32と光学素子33との間に配置される液晶レンズや液体レンズなどの屈折率調整素子によって実現される。図14は、このような結像距離制御機構の実装例を模式的に示している。この図の例では、映像表示素子32Lと光学素子33Lとの間に屈折率調整素子34L5が配置されている。この屈折率調整素子34L5は、信号出力回路34L6と接続されており、信号出力回路34L6が出力する制御信号に応じてその屈折率が変化する。屈折率調整素子34L5の屈折率が変化すると、映像表示素子32Lと光学素子33Lとの間の光学的距離が変化するため、これに応じて左目用映像の結像距離Dも変化する。このような結像距離制御機構によれば、映像表示素子32や光学素子33を物理的に移動させることなく結像距離Dを制御することができるため、駆動音の発生などを回避することができる。
また、以上の説明では、表示位置制御アクチュエーター45L及び45Rは、ユーザーの視線方向と略直交する平面内で映像表示ユニット31L及び31Rを上下左右に平行移動させることとした。この場合、映像表示ユニット31L及び31Rの映像表示面の向きは変化せず、常に同じ方向を向いていることになる。しかしながら、表示位置制御アクチュエーター45L及び45Rは、映像表示ユニット31L及び31Rのそれぞれをユーザーの視線方向と交差する曲面に沿って移動させることとしてもよい。この曲面は、ユーザーと逆側(頭部装着型表示装置30の前面側)に凸の曲面であって、ユーザーの目の位置を中心とした球面に近い形状を持つことが望ましい。このような曲面に沿って映像表示ユニット31L及び31Rを移動させると、映像表示ユニット31L及び31Rの移動に伴って表示面の向きも変化することになる。図15はこのような制御を行う場合の映像表示ユニット31Lの移動経路の一例を模式的に示す図である。この図は横方向から見た映像表示ユニット31Lとユーザーの左目との間の位置関係を示しており、図中の破線は、表示位置制御アクチュエーター45Lの駆動によって映像表示ユニット31Lが移動する移動経路を示している。表示位置制御部53がユーザーの視線方向に応じてこのような移動経路に沿って映像表示ユニット31Lを移動させることで、ユーザーの視線が上を向いたときも下を向いたときも、ユーザーの視線に対して正対する向きに映像表示ユニット31Lを移動させることができ、ユーザーから見た映像の歪みを小さくすることができる。同様に表示位置制御アクチュエーター45L及び45Rは、映像表示ユニット31L及び31Rを左右方向に移動させる際にも、できるだけユーザーの視線と正対する向きになるように映像表示ユニット31L及び31Rを回転移動させてもよい。このような曲面に沿った駆動は、ボールねじ、曲面ねじ、ボイスコイルモーターやリニアモーターなどを用いて実現できる。
さらに、表示位置制御アクチュエーター45L及び45Rは、ユーザーの視線方向と交差する平面に沿った移動、及び曲面に沿った移動を組み合わせて、映像表示ユニット31L及び31Rの位置を制御してもよい。例えば表示位置制御アクチュエーター45L及び45Rは、図13の例におけるS2のようにユーザーの目の位置に応じて映像表示ユニット31L及び31Rを移動させる場合、ユーザーの顔と相対する平面(ユーザーの視線方向と略直交する平面)に沿って各映像表示ユニット31を移動させることとする。一方、図13の例におけるS4のようにユーザーの視線方向に応じて映像表示ユニット31L及び31Rを移動させる場合、ユーザーの眼球の回転に合わせるため、図15で例示したようにユーザーの正面方向に凸な曲面に沿って各映像表示ユニット31を移動させる。これにより、常にユーザーの目の向けられる向きに相対するように各表示ユニット31の位置を制御できる。なお、以上説明したいずれの場合にも、表示位置制御アクチュエーター45L及び45Rによる各映像表示ユニット31の移動は、ユーザーの視線方向と交差する方向への移動となっている。
また、以上の説明では、面状の映像表示素子32L及び32Rが映像を表示し、その映像を表す光を光学素子33L及び33Rがユーザーの左右の目に入射させることとした。しかしながら、頭部装着型表示装置30はこのような方式に限られず、各種の方式でユーザーに映像を提示する装置であってよい。例えば頭部装着型表示装置30は、ユーザーの網膜に直接映像を投影する網膜照射型(網膜投影型)の装置であってもよい。この場合、例えば映像表示素子32L及び32Rは、光を発するレーザーとその光を走査するMEMS(Micro Electro Mechanical Systems)ミラーなどによって実現される。この光は、ハーフミラーなどの光学素子33L及び33Rによってユーザーの目に導かれる。このようにして走査された光をユーザーの目に入射させることによって、ユーザーの網膜に像を直接結像することができる。この網膜照射型の表示装置においても、映像表示素子32L及び光学素子33Lを含む映像表示ユニット31Lと、映像表示素子32R及び光学素子33Rを含む映像表示ユニット31Rのそれぞれを、ユーザーの視線方向と交差する方向に移動させることによって、ユーザーが認識する映像の位置を上下左右任意の方向に移動させることができる。特に網膜照射型の場合、正確にユーザーの目の位置、及び視線方向に合わせて光を入射させることが求められるため、表示位置制御アクチュエーター45L及び45Rによる表示位置の制御が効果的である。
さらに、これまでの説明では表示位置制御アクチュエーター45Lは映像表示素子32Lと光学素子33Lを含む映像表示ユニット31Lの全体を移動させ、同様に表示位置制御アクチュエーター45Rも映像表示素子32Rと光学素子33Rをともに移動させることとした。しかしながら、各表示位置制御アクチュエーター45は、映像に係る光を最終的にユーザーの目に入射させる光学素子33L又は33Rをユーザーの視線方向と交差する方向に移動させることができれば、ユーザーの目に映像が提示される際の映像の表示位置を変化させることができる。そのため、映像の提示方式によっては、表示位置制御アクチュエーター45L及び45Rのそれぞれは、映像表示ユニット31L及び31Rの全体を移動対象とするのではなく、光学素子33L又は33Rを少なくとも含む一部のコンポーネントのみを移動させることとしてもよい。
1 映像表示システム、10 映像供給装置、11 制御部、12 記憶部、13 インタフェース部、14 操作入力デバイス、20 中継装置、21 制御ユニット、22
映像処理ユニット、23 カメラ画像処理ユニット、30 頭部装着型表示装置、31L及び31R 映像表示ユニット、32L及び32R 映像表示素子、33L及び33R
光学素子、34L及び34R 結像距離制御アクチュエーター、35 映像表示素子駆動回路、36L及び36R 液晶シャッター、37 液晶シャッター駆動回路、38 赤外線センサー、39 照度センサー、40 GPSモジュール、41 モーションセンサーモジュール、42 センサーハブ、43 前面カメラ、44L及び44R 背面カメラ、45L及び45R 表示位置制御アクチュエーター、46 アクチュエーター駆動回路、47 通信インタフェース、51 アプリケーション実行部、52 結像距離制御部、53 表示位置制御部。

Claims (10)

  1. ユーザーの目の前に配置され、ユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子と、
    前記光学素子を前記ユーザーの視線方向と交差する方向に移動させる駆動機構と、
    を備えることを特徴とする頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置において、
    前記映像を表示する映像表示素子をさらに含み、
    前記光学素子は、前記映像表示素子が表示する映像をユーザーの目に入射させ、
    前記駆動機構は、前記映像表示素子と前記光学素子をともに前記視線方向と交差する方向に移動させる
    ことを特徴とする頭部装着型表示装置。
  3. 請求項1又は2に記載の頭部装着型表示装置において、
    前記駆動機構は、前記頭部装着型表示装置の外部から入力される制御信号に応じて、前記映像表示素子及び前記光学素子を移動させる
    ことを特徴とする頭部装着型表示装置。
  4. 請求項1から3のいずれか一項に記載の頭部装着型表示装置において、
    前記ユーザーの目を含む画像を撮影するカメラをさらに備える
    ことを特徴とする頭部装着型表示装置。
  5. 頭部装着型表示装置と、映像供給装置と、を備える映像表示システムであって、
    前記頭部装着型表示装置は、
    ユーザーの目の前に配置され、ユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子と、
    前記光学素子を前記ユーザーの視線方向と交差する方向に移動させる駆動機構と、
    を備え、
    前記映像供給装置は、
    前記頭部装着型表示装置に映像を供給する映像供給部と、
    前記駆動機構を動作させて、前記ユーザーの視野内における前記映像の表示位置を変化させる制御指示を出力する表示位置制御部と、
    を備えることを特徴とする映像表示システム。
  6. 請求項5に記載の映像表示システムにおいて、
    前記頭部装着型表示装置は、前記ユーザーの目を含む画像を撮影するカメラをさらに備え、
    前記表示位置制御部は、前記カメラが撮影した画像に基づいて、前記映像の表示位置を変化させる
    ことを特徴とする映像表示システム。
  7. 請求項6に記載の映像表示システムにおいて、
    前記表示位置制御部は、前記カメラが撮影した画像内における前記ユーザーの目の位置に応じて決まる位置に、前記映像の表示位置を変化させる
    ことを特徴とする映像表示システム。
  8. 請求項6又は7に記載の映像表示システムにおいて、
    前記表示位置制御部は、前記カメラが撮影した画像に基づいて特定される前記ユーザーの視線方向に応じて決まる位置に、前記映像の表示位置を変化させる
    ことを特徴とする映像表示システム。
  9. ユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子を前記ユーザーの視線方向と交差する方向に移動させる駆動機構を備える頭部装着型表示装置と接続される映像供給装置であって、
    前記頭部装着型表示装置に映像を供給する映像供給部と、
    前記駆動機構を動作させて、前記ユーザーの視野内における前記映像の表示位置を変化させる制御指示を出力する表示位置制御部と、
    を備えることを特徴とする映像供給装置。
  10. ユーザーに提示する映像に係る光をユーザーの目に入射させる光学素子を前記ユーザーの視線方向と交差する方向に移動させる駆動機構を備える頭部装着型表示装置と接続されるコンピュータを、
    前記頭部装着型表示装置に映像を供給する映像供給部、及び、
    前記駆動機構を動作させて、前記ユーザーの視野内における前記映像の表示位置を変化させる制御指示を出力する表示位置制御部、
    として機能させるためのプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。
JP2016569222A 2015-01-15 2015-09-24 頭部装着型表示装置、及び映像表示システム Active JP6339239B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015005991 2015-01-15
JP2015005991 2015-01-15
PCT/JP2015/076933 WO2016113951A1 (ja) 2015-01-15 2015-09-24 頭部装着型表示装置、及び映像表示システム

Publications (2)

Publication Number Publication Date
JPWO2016113951A1 true JPWO2016113951A1 (ja) 2017-09-07
JP6339239B2 JP6339239B2 (ja) 2018-06-06

Family

ID=56405508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016569222A Active JP6339239B2 (ja) 2015-01-15 2015-09-24 頭部装着型表示装置、及び映像表示システム

Country Status (3)

Country Link
US (1) US10591735B2 (ja)
JP (1) JP6339239B2 (ja)
WO (1) WO2016113951A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137358A1 (en) * 2015-06-29 2018-05-17 Essilor International (Compagnie Generale D'optique) Scene image analysis module
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
US11164606B2 (en) * 2017-06-30 2021-11-02 Qualcomm Incorporated Audio-driven viewport selection
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
JP2019074582A (ja) * 2017-10-13 2019-05-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10984508B2 (en) 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
US11012682B2 (en) * 2018-03-02 2021-05-18 Texas Instruments Incorporated Linearly actuated display
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
CN112601509B (zh) 2018-05-29 2024-01-23 爱达扩视眼镜公司 用于低视力用户的混合式透视增强现实系统和方法
US11057614B1 (en) * 2018-09-05 2021-07-06 Apple Inc. Motion blur compensation through display actuation
EP3856098A4 (en) 2018-09-24 2022-05-25 Eyedaptic, Inc. IMPROVED AUTONOMOUS HANDS-FREE CONTROL OF ELECTRONIC VISION AIDS
JP2020106636A (ja) * 2018-12-27 2020-07-09 セイコーエプソン株式会社 頭部搭載型表示装置
JP6603424B1 (ja) * 2019-01-21 2019-11-06 株式会社ソフトシーデーシー 移動型表示装置
US11340462B2 (en) * 2019-06-13 2022-05-24 Lg Electronics Inc. Electronic device
CN110308560B (zh) * 2019-07-03 2022-09-30 南京玛克威信息科技有限公司 Vr设备的控制方法
US11487080B2 (en) 2019-10-18 2022-11-01 Htc Corporation Head-mounted display device and adjustment method
KR20220158715A (ko) * 2020-03-27 2022-12-01 소니 세미컨덕터 솔루션즈 가부시키가이샤 표시 장치
JP2022072160A (ja) * 2020-10-29 2022-05-17 セイコーエプソン株式会社 虚像表示装置、および虚像表示装置の製造方法
WO2023187872A1 (ja) * 2022-03-28 2023-10-05 Tdk株式会社 プロジェクターモジュール及びそれを備えた網膜投影表示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2003186462A (ja) * 2001-12-14 2003-07-04 Minolta Co Ltd 画像表示装置
JP2003230539A (ja) * 2002-02-07 2003-08-19 Minolta Co Ltd 視線検出装置
JP2006308674A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp 画像表示装置
US20080106613A1 (en) * 2006-09-29 2008-05-08 Van Schalkwyk Mark System for capturing and displaying digital images
JP2010086336A (ja) * 2008-09-30 2010-04-15 Fujitsu Ltd 画像制御装置、画像制御プログラムおよび画像制御方法
JP2010152443A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2012194501A (ja) * 2011-03-18 2012-10-11 Brother Ind Ltd ヘッドマウントディスプレイ及び虚像提示方法
JP2014022942A (ja) * 2012-07-18 2014-02-03 Nikon Corp 頭部装着装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6967781B2 (en) * 2002-11-29 2005-11-22 Brother Kogyo Kabushiki Kaisha Image display apparatus for displaying image in variable direction relative to viewer
JP5351311B1 (ja) 2012-06-29 2013-11-27 株式会社ソニー・コンピュータエンタテインメント 立体映像観察デバイスおよび透過率制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2003186462A (ja) * 2001-12-14 2003-07-04 Minolta Co Ltd 画像表示装置
JP2003230539A (ja) * 2002-02-07 2003-08-19 Minolta Co Ltd 視線検出装置
JP2006308674A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp 画像表示装置
US20080106613A1 (en) * 2006-09-29 2008-05-08 Van Schalkwyk Mark System for capturing and displaying digital images
JP2010086336A (ja) * 2008-09-30 2010-04-15 Fujitsu Ltd 画像制御装置、画像制御プログラムおよび画像制御方法
JP2010152443A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2012194501A (ja) * 2011-03-18 2012-10-11 Brother Ind Ltd ヘッドマウントディスプレイ及び虚像提示方法
JP2014022942A (ja) * 2012-07-18 2014-02-03 Nikon Corp 頭部装着装置

Also Published As

Publication number Publication date
WO2016113951A1 (ja) 2016-07-21
US10591735B2 (en) 2020-03-17
US20180217380A1 (en) 2018-08-02
JP6339239B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6339239B2 (ja) 頭部装着型表示装置、及び映像表示システム
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
US11669160B2 (en) Predictive eye tracking systems and methods for foveated rendering for electronic displays
EP3379525B1 (en) Image processing device and image generation method
US10871825B1 (en) Predictive eye tracking systems and methods for variable focus electronic displays
US8976086B2 (en) Apparatus and method for a bioptic real time video system
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
US20150187115A1 (en) Dynamically adjustable 3d goggles
JP2014219621A (ja) 表示装置、表示制御プログラム
JP6576536B2 (ja) 情報処理装置
JP5834177B2 (ja) 立体画像表示システム及び立体視メガネ
US20140361987A1 (en) Eye controls
JP2015060071A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
US11743447B2 (en) Gaze tracking apparatus and systems
KR20140115637A (ko) 다수 사용자에 입체 영상을 제공하는 시스템 및 그 방법
JP6867566B2 (ja) 画像表示装置及び画像表示システム
JP2016116066A (ja) 表示装置、及び、表示装置の制御方法
WO2012169221A1 (ja) 立体画像表示装置および立体画像表示方法
US20220350141A1 (en) Head-mountable display apparatus and methods

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180509

R150 Certificate of patent or registration of utility model

Ref document number: 6339239

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250