WO2017077681A1 - ウェアラブルディスプレイ、画像表示装置及び画像表示システム - Google Patents

ウェアラブルディスプレイ、画像表示装置及び画像表示システム Download PDF

Info

Publication number
WO2017077681A1
WO2017077681A1 PCT/JP2016/004330 JP2016004330W WO2017077681A1 WO 2017077681 A1 WO2017077681 A1 WO 2017077681A1 JP 2016004330 W JP2016004330 W JP 2016004330W WO 2017077681 A1 WO2017077681 A1 WO 2017077681A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
image
display area
movement amount
Prior art date
Application number
PCT/JP2016/004330
Other languages
English (en)
French (fr)
Inventor
博隆 石川
孝文 朝原
岩津 健
健 渋井
鈴木 謙治
智英 田辺
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680062627.7A priority Critical patent/CN108351736B/zh
Priority to US15/769,093 priority patent/US20180307378A1/en
Publication of WO2017077681A1 publication Critical patent/WO2017077681A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/34User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術の一形態に係るウェアラブルディスプレイは、表示部と、検出部と、表示制御部とを具備する。上記表示部は、ユーザに装着可能に構成され、ユーザに実空間の視野を提供する表示領域を有する。上記検出部は、上記表示部の少なくとも一軸まわりの方位を検出する。上記表示制御部は、上記検出部の出力に基づいて上記表示部の方位に関連する第1の画像を上記表示領域に提示することが可能に構成される。上記表示制御部は、上記方位の変化に応じて、上記第1の画像を上記表示領域内において上記表示部の移動方向とは逆方向に上記表示部の移動量よりも小さい第1の移動量で移動させることが可能に構成される。

Description

ウェアラブルディスプレイ、画像表示装置及び画像表示システム
 本技術は、表示視野に特定の情報を含む画像を表示することが可能なウェアラブルディスプレイ、画像表示装置及び画像表示システムに関する。
 現実空間もしくはそれを表示する画面に、対応する画像を付加する、拡張現実(AR:Augmented Reality)と呼ばれる技術が知られている。例えば特許文献1には、現実空間に存在する対象物に、それと関連する画像(ARオブジェクト)を重畳して表示することが可能な、シースルー型のヘッドマウントディスプレイ(HMD:Head Mounted Display)が記載されている。
国際公開第2014/128810号
 この種のヘッドマウントディスプレイにおいては、ARオブジェクトの表示位置が対象物に付随するように固定されており、ユーザの頭の動きに合わせてARオブジェクトが対象物とともに移動するのが一般的である。したがって、例えばユーザの無意識な(意図しない)動きに追従するようにARオブジェクトが移動したり、細かくぶれたりすることで、当該ARオブジェクトの視認性が損なわれることがある。また、表示視野が狭いと当該ARオブジェクトが表示領域外に出てしまい、これにより当該ARオブジェクトを見失うことがある。
 以上のような事情に鑑み、本技術の目的は、ARオブジェクトの視認性あるいは検索性を向上させることができるウェアラブルディスプレイ、画像表示装置及び画像表示システムを提供することにある。
 本技術の一形態に係るウェアラブルディスプレイは、表示部と、検出部と、表示制御部とを具備する。
 上記表示部は、ユーザに装着可能に構成され、ユーザに実空間の視野を提供する表示領域を有する。
 上記検出部は、上記表示部の少なくとも一軸まわりの方位を検出する。
 上記表示制御部は、上記検出部の出力に基づいて上記表示部の方位に関連する第1の画像を上記表示領域に提示することが可能に構成される。上記表示制御部は、上記方位の変化に応じて、上記第1の画像を上記表示領域内において上記表示部の移動方向とは逆方向に上記表示部の移動量よりも小さい第1の移動量で移動させることが可能に構成される。
 上記ウェアラブルディスプレイにおいて、表示領域に提示された第1の画像は、表示領域外に出にくくなるため、第1の画像の検索性あるいは視認性を向上させることができる。また、表示部の意図しない動きに対して第1の画像の移動が鈍化することで、第1の画像の視認性を向上させることができる。
 上記表示制御部は、上記第1の画像が上記表示領域内に収まるように上記第1の移動量を制御するように構成されてもよい。
 これにより、第1の画像が表示領域外に出ることを阻止することができるため、第1の画像の視認性あるいは検索性が確保される。
 あるいは、上記表示制御部は、上記第1の画像が上記表示領域の外側に近づくに従って、上記第1の移動量が段階的に小さくなるように上記第1の移動量を制御するように構成されてもよい。このような構成によっても、第1の画像の視認性あるいは検索性が確保される。
 上記第1の画像は、ユーザにより設定された目的地への進路に関連する情報を含んでもよい。
 このような画像は、表示領域への提示位置に関して厳密な精度を必要としないため、表示部の移動量と同等の移動量で移動させなくてもユーザへ必要な情報が確実に提示される。
 一方、上記第1の画像は、複数のキーがマトリクス状に配列されたパターン認証画面であってもよい。あるいは、上記第1の画像は、ユーザにより選択可能に上記表示領域に配列された複数のオブジェクトを含んでもよい。
 これにより、ユーザの動きによって入力操作を容易に行うことが可能となる。
 上記表示制御部は、上記検出部の出力に基づいて上記方位に存在する実空間の特定対象物に関連する情報を含む第2の画像を上記表示領域に提示することが可能に構成されてもよい。この場合、上記表示制御部は、上記方位の変化に応じて、上記表示部の移動方向とは逆方向に、上記第1の移動量よりも大きい第2の移動量で、上記第2の画像を上記表示領域内において移動させることが可能に構成されてもよい。
 このような画像は、表示領域への提示位置に関して比較的厳密な精度を必要とするため、例えば、表示部の移動量と同等の移動量で移動させることで、ユーザへ必要な情報を確実に提示する。
 本技術の一形態に係る画像表示装置は、表示部と、検出部と、表示制御部とを具備する。
 上記表示部は、表示領域を有する。
 上記検出部は、上記表示部の少なくとも一軸まわりの方位を検出する。
 上記表示制御部は、上記検出部の出力に基づいて上記表示部の方位に関連する第1の画像を上記表示領域に提示することが可能に構成される。上記表示制御部は、上記方位の変化に応じて、上記第1の画像を上記表示領域内において上記表示部の移動方向とは逆方向に上記表示部の移動量よりも小さい第1の移動量で移動させることが可能に構成される。
 本技術の一形態に係る画像表示システムは、表示部と、検出部と、表示制御部と、鈍化設定部とを具備する。
 上記表示部は、表示領域を有する。
 上記検出部は、上記表示部の少なくとも一軸まわりの方位を検出する。
 上記表示制御部は、上記検出部の出力に基づいて上記表示部の方位に関連する第1の画像を上記表示領域に提示することが可能に構成される。上記表示制御部は、上記方位の変化に応じて、上記第1の画像を上記表示領域内において上記表示部の移動方向とは逆方向に上記表示部の移動量よりも小さい第1の移動量で移動させることが可能に構成される。
 上記鈍化設定部は、上記第1の移動量の大きさを設定する。
 以上のように、本技術によれば、ARオブジェクト等の画像の視認性あるいは検索性を向上させることができる。
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係るウェアラブルディスプレイ(HMD)の機能を説明する概略図である。 上記HMDの機能の一例を説明する図であって、表示部に提示される視野の概略図である。 上記HMDの機能の一例を説明する図であって、表示部に提示される視野の概略図である。 上記HMDを含むシステムの全体図である。 上記システムの構成を示すブロック図である。 上記HMDにおける制御ユニットの機能ブロック図である。 上記HMDにおけるワールド座標系の一例としての円筒座標の展開図である。 上記HMDにおけるワールド座標系の一例としての円筒座標の展開図である。 上記円筒座標系における座標位置の説明図である。 視野とオブジェクトとの関係を概念的に示す上記円筒座標の展開図である。 円筒座標(ワールド座標)から視野(ローカル座標)への変換方法を説明する図である。 円筒座標(ワールド座標)から視野(ローカル座標)への変換方法を説明する図である。 オブジェクトの表示例を示す視野の概略図である。 図11Aにおいて通常描画でオブジェクトをヨー軸まわりに移動させたときの視野の概略図である。 図11Aにおいて通常描画でオブジェクトをロール軸まわりに移動させたときの視野の概略図である。 オブジェクトの表示例を示す視野の概略図である。 図12Aにおいて鈍化描画でオブジェクトをヨー軸まわりに移動させたときの視野の概略図である。 図12Aにおいて鈍化描画でオブジェクトをロール軸まわりに移動させたときの視野の概略図である。 オブジェクトの表示例を示す視野の概略図である。 図13Aにおいて通常描画でオブジェクトをロール軸まわりに移動させたときの視野の概略図である。 図13Aにおいて鈍化描画でオブジェクトをロール軸まわりに移動させたときの視野の概略図である。 オブジェクトの鈍化描画における移動座標の計算方法を説明する図である。 上記システムの動作の概要を説明するフローチャートである。 上記制御ユニットによる視野へのオブジェクトの描画手順の一例を示すフローチャートである。 上記HMDにおける一適用例を説明する視野の概略図である。 上記HMDにおける一適用例を説明する視野の概略図である。 上記HMDにおける一適用例を説明する視野の概略図である。 上記HMDにおける一適用例を説明する視野の概略図である。 上記HMDにおける一適用例を説明する視野の概略図である。 上記HMDにおける一適用例を説明する視野の概略図である。 上記HMDにおける一適用例を説明する視野の概略図である。 上記HMDにおける一適用例を説明する視野の概略図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[ARシステムの概略構成]
 図1は、本技術の一実施形態に係るウェアラブルディスプレイとしてのヘッドマウントディスプレイ(以下「HMD」と称する。)の機能を説明する概略図である。
 図1において、X軸方向及びY軸方向は相互に直交する水平方向を示し、Z軸方向は鉛直軸方向を示している。これらXYZ直交座標系は、ユーザの属する実空間の座標系(実3次元座標系)を表し、X軸の矢印は北方向を示し、Y軸の矢印は東方向を示している。またZ軸の矢印は重力方向を示している。
 まず図1を参照して、本実施形態に係るHMD100の基本的な機能の概要について説明する。
[HMDの機能の概要]
 本実施形態のHMD100は、ユーザUの頭部に装着され、ユーザUの実空間の視野V(表示視野)に仮想的な画像(ARオブジェクト。以下、オブジェクトともいう)を表示することが可能に構成される。視野Vに表示されるオブジェクトには、当該視野Vに存在する特定対象物(A1,A2,A3,A4,…。以下、個別に説明する場合を除き、特定対象物Aと総称する)に関連する情報のほか、これら特定対象物A以外の情報が含まれる。
 より具体的に、特定対象物Aとしては、例えば、ユーザUの周囲に存在する風景、店舗、商品等が該当し、特定対象物に関連する情報としては、図2に模式的に示すように、視野Vの特定の店舗A10において特定のクーポンが利用可能であることを知らせるオブジェクトB10が表示される。以下の説明では、このような視野Vの特定対象物Aに関連するオブジェクトを以下、「関連オブジェクト」(第2の画像)ともいう。
 一方、特定対象物A以外の情報としては、例えば、ユーザにより設定された目的地への進路に関連する情報等が該当し、図3に模式的に示すように、表示部10の方位に関連して道路あるいは通路の進行方向を示す「矢印」等で構成されたオブジェクトB20が表示される。その他、HMD100の機能を設定するメニュー画面や、後述するパターン認証画面等が該当する。以下の説明では、このような視野Vの特定対象物Aに関連せず、単独で有意の情報を表示するオブジェクトを以下、「個別オブジェクト」(第1の画像)ともいう。
 図1を参照して、HMD100は、HMDを装着したユーザUを包囲する仮想上のワールド座標系に対応付けられたオブジェクト(B1,B2,B3,B4,…。以下、個別に説明する場合を除き、オブジェクトBと総称する)を予め記憶する。ワールド座標系は、ユーザの属する実空間と等価な座標系であって、ユーザUの位置及び所定の軸方向を基準とした特定対象物Aの位置を定める。本実施形態においてワールド座標は、鉛直軸を軸心とする円筒座標C0が採用されるが、これ以外にユーザUを中心とする天球座標等の他の3次元座標が採用されてもよい。
 円筒座標C0の半径R、高さHは任意に設定可能である。ここでは、半径Rは、ユーザUから特定対象物Aまでの距離よりも短く設定されるが、上記距離よりも長くてもよい。また高さHは、HMD100を介して提供されるユーザUの視野Vの高さ(縦方向の長さ)Hv以上の大きさに設定される。
 オブジェクトBは、上述のように、上記ワールド座標系に存在する特定対象物Aに関連する情報、又は特定対象物Aに関連しない情報を含む。オブジェクトBは、文字や絵柄等を含む画像であってもよいし、アニメーション画像であってもよい。またオブジェクトBは、2次元画像であってもよいし、3次元画像であってもよい。さらにオブジェクトBの形状は、矩形、円形その他の任意の又は有意の幾何学的形状であってもよく、オブジェクトBの種類(属性)や表示内容によって適宜設定可能である。
 円筒座標C0上におけるオブジェクトBの座標位置は、例えば、特定対象物Aを注視するユーザの目線Lと円筒座標C0との交差位置にそれぞれ対応付けられる。図1の例では、オブジェクトB1~B4各々の中心位置を上記交差位置に一致させたが、これに限られず、オブジェクトB1~B4の周縁の一部(例えば四隅の一部)を上記交差位置に一致させてもよい。あるいは、オブジェクトB1~B4の座標位置が上記交差位置から離れた任意の位置に対応付けられてもよい。
 円筒座標C0は、北方向を0°とした鉛直軸周りの角度を表す周方向の座標軸(θ)と、ユーザUの水平方向の目線Lhを基準とした上下方向の角度を表す高さ方向の座標軸(h)とを有する。座標軸(θ)は、東周りを正方向とし、座標軸(h)は、俯角を正方向、仰角を負方向としている。
 後述するように、HMD100は、ユーザUの視点方向を検出するための検出部を有しており、当該検出部の出力に基づいて、ユーザUの視野Vが円筒座標C0上のどの領域に対応するかを判定する。そしてHMD100は、視野Vを形成するxy座標系の対応領域に何れかのオブジェクト(例えばオブジェクトB1)が存在するときは、上記対応領域にオブジェクトB1を視野Vに提示(描画)する。
 以上のように本実施形態のHMD100は、実空間の特定対象物A1に重畳してARオブジェクトB1を視野Vに表示することで、ユーザUに対して対象物A1に関連する情報を提示する。またHMD100は、ユーザUの視点の方位あるいは方向に応じて、所定の特定対象物A1~A4に関するARオブジェクト(B1~B4)をユーザUに提示する。
 続いて、HMD100の詳細について説明する。図4は、HMD100を示す全体図であり、図5は、その構成を示すブロック図である。
[HMDの構成]
 HMD100は、表示部10と、表示部10の姿勢を検出する検出部20と、表示部10の駆動を制御する制御ユニット30とを有する。本実施形態においてHMD100は、ユーザに実空間の視野Vを提供可能なシースルー型のHMDで構成されている。
 (表示部)
 表示部10は、ユーザUの頭部に装着可能に構成される。表示部10は、第1及び第2の表示面11R,11Lと、第1及び第2の画像生成部12R,12Lと、支持体13とを有する。
 第1及び第2の表示面11R,11Lは、それぞれユーザUの右眼及び左眼に実空間の視野(外界視野)を提供可能な光透過性の表示領域110を有する光学素子で構成される。第1及び第2の画像生成部12R,12Lは、それぞれ第1及び第2の表示面11R,11Lを介してユーザUへ提示される画像を生成可能に構成される。支持体13は、表示面11R,11L及び画像生成部12R,12Lを支持し、第1及び第2の表示面11L,11RがユーザUの右眼及び左眼にそれぞれ対向するようにユーザの頭部に装着されることが可能な適宜の形状を有する。
 以上のように構成される表示部10は、ユーザUに対して、表示面11R,11Lを介して実空間に所定の画像(あるいは虚像)が重畳された視野Vを提供することが可能に構成される。この場合、右眼用の円筒座標C0と左眼用の円筒座標C0とがそれぞれ設定され、各円筒座標に描画されたオブジェクトが表示面11R,11Lの表示領域110にそれぞれ投影される。
 (検出部)
 検出部20は、表示部10の少なくとも一軸周りの方位あるいは姿勢変化を検出することが可能に構成される。本実施形態において検出部20は、X,Y及びZ軸周りの表示部10の方位あるいは姿勢変化をそれぞれ検出するように構成されている。
 ここで、表示部10の方位とは、典型的には、表示部10の正面方向を意味する。本実施形態では、表示部10の方位は、ユーザUの顔の向きと定義される。
 検出部20は、角速度センサ、加速度センサ等のモーションセンサ、あるいはこれらの組み合わせによって構成することができる。この場合、検出部20は、角速度センサ及び加速度センサの各々を3軸方向に配置したセンサユニットで構成されてもよいし、各軸に応じて使用するセンサを異ならせてもよい。表示部10の姿勢変化、変化の方向及びその変化の量等は、例えば角速度センサの出力の積分値を用いることができる。
 また、鉛直軸(Z軸)周りの表示部10の方位の検出には、地磁気センサが採用されてもよい。あるいは、地磁気センサと上記モーションセンサとが組み合わされてもよい。これにより精度の高い表示部10の方位あるいは姿勢変化の検出が可能となる。
 検出部20は、表示部10の適宜の位置に配置されている。検出部20の位置は特に限定されず、例えば画像生成部12R,12Lのいずれか一方、あるいは支持体13の一部に配置される。
 (制御ユニット)
 制御ユニット30は、検出部20の出力に基づいて、表示部10(画像生成部12R,12L)の駆動を制御する制御信号を生成する。本実施形態において制御ユニット30は、接続ケーブル30aを介して表示部10と電気的に接続されている。勿論これに限られず、制御ユニット30は表示部10と無線通信回線を通じて接続されてもよい。
 図5に示すように制御ユニット30は、CPU301と、メモリ302(記憶部)と、送受信部303と、内部電源304と、入力操作部305とを有する。
 CPU301は、HMD100全体の動作を制御する。メモリ302は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を有し、CPU301によるHMD100の制御を実行するためのプログラムや各種パラメータ、表示部10で表示するべき画像(オブジェクト)、その他必要なデータを記憶する。送受信部303は、後述する携帯情報端末200との通信のためのインターフェースを構成する。内部電源304は、HMD100の駆動に必要な電力を供給する。
 入力操作部305は、ユーザ操作によって表示部10で表示される画像を制御するためのものである。入力操作部305は、メカニカルスイッチで構成されてもよいし、タッチセンサで構成されてもよい。入力操作部305は、表示部10に設けられてもよい。
 HMD100はさらに、スピーカ等の音響出力部、カメラ等を備えていてもよい。この場合、上記音声出力部及びカメラは、典型的には表示部10に設けられる。さらに制御ユニット30には、表示部10の入力操作画面等を表示する表示デバイスが設けられてもよい。この場合、入力操作部305は、当該表示デバイスに設けられたタッチパネルで構成されてもよい。
 (携帯情報端末)
 携帯情報端末200は、制御ユニット30と無線通信回線を介して相互に通信可能に構成されている。携帯情報端末200は、表示部10で表示するべき画像(オブジェクト)を取得する機能と、取得した画像(オブジェクト)を制御ユニット30へ送信する機能とを有する。携帯情報端末200は、HMD100と有機的に組み合わされることで、HMDシステム(画像表示システム)を構築する。
 携帯情報端末200は、表示部10を装着するユーザUによって携帯され、パーソナルコンピュータ(PC:Personal Computer)、スマートフォン、携帯電話機、タブレットPC、PDA(Personal Digital Assistant)等の情報処理装置で構成されるが、HMD100専用の端末装置であってもよい。
 図5に示すように携帯情報端末200は、CPU201と、メモリ202と、送受信部203と、内部電源204と、表示部205と、カメラ206と、位置情報取得部207とを有する。
 CPU201は、携帯情報端末200全体の動作を制御する。メモリ202は、ROM及びRAM等を有し、CPU201による携帯情報端末200の制御を実行するためのプログラムや各種パラメータ、制御ユニット30へ送信される画像(オブジェクト)、その他必要なデータを記憶する。内部電源204は、携帯情報端末200の駆動に必要な電力を供給する。
 送受信部203は、WiFi(Wireless Fidelity)等の無線LAN(IEEE802.11等)や移動通信用の3Gや4Gのネットワークを用いて、サーバNや制御ユニット30、近隣の他の携帯情報端末等と通信する。携帯情報端末200は、送受信部203を介してサーバNから、制御ユニット30へ送信するべき画像(オブジェクト)やそれを表示するためのアプリケーションをダウンロードし、メモリ202へ格納する。
 表示部205は、例えばLCDやOLEDで構成され、各種メニューやアプリケーションのGUI等を表示する。典型的には、表示部205は、タッチパネルと一体とされており、ユーザのタッチ操作を受け付け可能である。携帯情報端末200は、表示部205のタッチ操作によって制御ユニット30へ所定の操作信号を入力することが可能に構成されている。
 位置情報取得部207は、典型的にはGPS(Global Positioning System)受信機を含む。携帯情報端末200は、位置情報取得部207を用いてユーザU(表示部10)の現在位置(経度、緯度、高度)を測位し、サーバNから必要な画像(オブジェクト)を取得することが可能に構成される。すなわちサーバNは、ユーザの現在位置に関する情報を取得し、その位置情報に応じた画像データやアプリケーションソフトウェア等を携帯情報端末200へ送信する。
 サーバNは、典型的にはCPU、メモリ等を含むコンピュータで構成され、ユーザUの要求に応じて、あるいはユーザUの意図に依らず自動的に、所定の情報を携帯情報端末200へ送信する。サーバNは、HMD100が表示し得る複数種の画像データを蓄積する。サーバNは、上記所定の情報の一部として、ユーザUの位置、操作等に応じて選択される複数の画像データを携帯情報端末200へ一括的に又は逐次的に送信することが可能に構成される。
 (制御ユニットの詳細)
 次に、制御ユニット30の詳細について説明する。
 図6は、CPU301の機能ブロック図である。CPU301は、座標設定部311と、画像管理部312と、座標判定部313と、表示制御部314とを有する。CPU301は、メモリ302に格納されたプログラムに従って、これら座標設定部311、画像管理部312、座標判定部313及び表示制御部314における処理を実行する。
 座標設定部311は、ユーザU(表示部10)を包囲する3次元座標を設定する処理を実行するように構成される。本例では、上記3次元座標は、鉛直軸Azを中心とする円筒座標C0(図1参照)が用いられる。座標設定部311は、円筒座標C0の半径Rと高さHをそれぞれ設定する。座標設定部311は、典型的には、ユーザUに提示するべきオブジェクトの数や種類等に応じて円筒座標C0の半径R及び高さHを設定する。
 円筒座標C0の半径Rは固定値でもよいが、表示するべき画像の大きさ(ピクセルサイズ)等に応じて任意に設定可能な可変値であってもよい。円筒座標C0の高さHは、表示部10によってユーザUへ提供される視野Vの縦方向(垂直方向)の高さHv(図1参照)の例えば1倍以上3倍以下の大きさに設定される。高さHの上限は、Hvの3倍に限られず、Hvの3倍を超える大きさであってもよい。
 図7A及び図7Bは、円筒座標C0を展開して示す模式図である。特に、図7Aは、視野Vの高さHvと同一の高さH1を有する円筒座標C0を示しており、図7Bは、視野Vの高さHvの3倍の高さH2を有する円筒座標C0を示している。
 上述のように円筒座標C0は、北方向を0°とした鉛直軸周りの角度を表す周方向の座標軸(θ)と、ユーザUの水平方向の目線Lhを基準とした上下方向の角度を表す高さ方向の座標軸(h)とを有する。座標軸(θ)は、東周りを正方向とし、座標軸(h)は、俯角を正方向、仰角を負方向としている。高さhは、視野Vの高さHvの大きさを100%としたときの大きさを表し、円筒座標C0の原点OP1は、北方向の方位(0°)とユーザUの水平方向の目線Lh(h=0%)との交点に設定される。
 画像管理部312は、メモリ302に格納された画像を管理する機能を有し、例えば、表示部10を介して表示される単数又は複数の画像をメモリ302へ格納し、及び、メモリ302に格納された画像を選択的に削除する処理を実行するように構成される。メモリ302へ格納される画像は、携帯情報端末200から送信される。画像管理部312はまた、送受信部303を介して携帯情報端末200に対して画像の送信を要求する。
 メモリ302は、視野Vに表示すべき単数又は複数の画像(オブジェクト)を円筒座標C0に対応付けて記憶することができるように構成される。すなわちメモリ302は、図1に示した円筒座標C0上の個々のオブジェクトB1~B4を円筒座標C0上の座標位置とともに記憶する。
 図8に示すように、円筒座標系(θ,h)と直交座標系(X,Y,Z)とは、X=rcosθ、Y=rsinθ、Z=h、の関係を有する。図1に示したように視野Vの方位あるいは姿勢に対応して表示すべき個々のオブジェクトB1~B4は、それぞれ固有の円筒座標C0上の座標領域を占めており、その領域内の特定の座標位置P(θ,h)とともにメモリ302に格納される。
 円筒座標C0上におけるオブジェクトB1~B4の座標(θ,h)は、直交座標系(X,Y,Z)で各々定義される対象物A1~A4の位置とユーザの位置とを結ぶ直線と、円筒座標C0の円筒面との交点における円筒座標系の座標に対応付けられる。すなわちオブジェクトB1~B4の座標は、それぞれ、実3次元座標から円筒座標C0に変換された対象物A1~A4の座標に相当する。このようなオブジェクトの座標変換は、例えば、画像管理部312において実行され、当該座標位置とともに各オブジェクトがメモリ302へ格納される。ワールド座標系に円筒座標C0が採用されることにより、オブジェクトB1~B4を平面的に描画することができる。
 オブジェクトB1~B4の座標位置は、各オブジェクトB1~B4の表示領域内であればどの位置に設定されてもよく、1つのオブジェクトにつき特定の1点(例えば中心位置)に設定されてもよいし、2点以上(例えば対角の2点、あるいは四隅の点)に設定されてもよい。
 また図1に示したように、オブジェクトB1~B4の座標位置が対象物A1~A4を注視するユーザの目線Lと円筒座標C0との交差位置に対応付けられたとき、ユーザUは、オブジェクトB1~B4を対象物A1~A4と重なる位置で視認する。これに代えて、オブジェクトB1~B4の座標位置が上記交差位置から離れた任意の位置に対応付けられてもよい。これにより対象物A1~A4に対してオブジェクトB1~B4を所望の位置に表示あるいは描画することができる。
 座標判定部313は、検出部20の出力に基づいてユーザUの視野Vが円筒座標C0上のどの領域に対応するかを判定する処理を実行するように構成される。すなわち、視野Vは、ユーザU(表示部10)の姿勢変化によって円筒座標C0上を移動し、その移動方向や移動量は、検出部20の出力に基づいて算出される。座標判定部313は、検出部20の出力に基づいて表示部10の移動方向及び移動量を算出し、円筒座標C0上のどの領域に視野Vが属するかを判定する。
 図9は、円筒座標C0上における視野VとオブジェクトB1~B4との関係を概念的に示す円筒座標C0の展開図である。視野Vは略矩形状であり、その左上の隅部を原点OP2とするxy座標(ローカル座標)を有する。x軸は、原点OP2から水平方向に延びる軸であり、y軸は、原点OP2から垂直方向に延びる軸である。そして座標判定部313は、視野Vの対応領域にオブジェクトB1~B4の何れかが存在するかどうかを判定する処理を実行するように構成される。
 表示制御部314は、検出部20の出力(すなわち座標判定部313の判定結果)に基づいて表示部10の方位に対応する円筒座標C0上のオブジェクトを視野Vに表示(描画)する処理を実行するように構成される。例えば図9に示すように、視野Vの現在の方位が、円筒座標C0上のオブジェクトB1,B2の表示領域にそれぞれ重なる場合、それらの重なる領域B10,B20に相当する画像を視野Vに表示する(ローカルレンダリング:Local Rendering)。
 図10A及び図10Bは、円筒座標C0(ワールド座標)から視野V(ローカル座標)への変換方法を説明する図である。
 図10Aに示すように円筒座標C0上における視野Vの基準点の座標を(θv,hv)とし、視野Vの領域内に位置するオブジェクトBの基準点の座標を(θ0、h0)とする。視野V及びオブジェクトBの基準点はどの点に設定されてもよく、本例では矩形状である視野V及びオブジェクトBの左上のコーナ部に設定される。αv[°]は、ワールド座標上における視野Vの幅角度であり、その値は表示部10の設計あるいは仕様によって確定する。
 表示制御部314は、円筒座標系(θ,h)をローカル座標系(x,y)に変換することで、視野VにおけるオブジェクトBの表示位置を決定する。図10Bに示すようにローカル座標系における視野Vの高さ及び幅をそれぞれHv及びWvとし、ローカル座標系(x,y)におけるオブジェクトBの基準点の座標を(x0,y0)とすると、変換式は、以下のとおりである。
  x0=(θ0-θv)・Wv/αv …(1)
  y0=(h0-hv)・Hv/100 …(2)
 表示制御部314は、表示部10の方位の変化に応じて、オブジェクトBを視野V内において上記表示部10の移動方向とは逆方向に移動させる。つまり、表示制御部314は、表示部10の方位あるいは姿勢の変化に追従して、視野V内でオブジェクトBの表示位置を変化させる。この制御は、視野VにオブジェクトBの少なくとも一部が存在する限り継続される。
 (個別オブジェクトの鈍化設定)
 本実施形態において表示制御部314は、視野V内の特定対象物に関連する情報を含むオブジェクト(関連オブジェクトB10、図2参照)について、表示部10の動き(方位の変化等)に応じて、視野V内において、表示部10の移動方向とは逆方向に、表示部10の移動量と同一の移動量(第2の移動量)で移動させる。
 例えば図11Aに示すように視野Vの中央に関連オブジェクトB10が表示されている状態において、表示部10がヨー軸(図4においてZ軸)を中心として右方へ角度θ(+θ)分だけ移動した場合、表示制御部314は、図11Bに示すように、関連オブジェクトB10を視野Vの中央から左方へ角度θ(-θ)分だけ移動させる。同様に、表示部10がロール軸(図4においてX軸)を中心として時計まわりに角度φ(+φ)回転した場合、表示制御部314は、図11Cに示すように、視野Vを中心として関連オブジェクトB10を反時計まわりに角度φ(-φ)だけ回転させる。
 このように特定対象物B10の移動量を表示部10の移動量に対応させることで、特定対象物とこれに関連するオブジェクトとの間の相対位置が保持される。これにより、ユーザUにとっては、当該オブジェクトがいずれの特定対象物に関連する情報であるかの判断が容易となる。
 一方、本実施形態において表示制御部314は、視野V内の特定対象物に関連しない情報を含むオブジェクト(個別オブジェクトB20、図2参照)については、表示部10の動き(方位の変化等)に応じて、視野V内において、表示部10の移動方向とは逆方向に、表示部10の移動量よりも小さい移動量(第1の移動量)で移動させる。
 例えば図12Aに示すように視野Vの中央に個別オブジェクトB20が表示されている状態において、表示部10が上記ヨー軸を中心として右方へ角度θ(+θ)分だけ移動した場合、表示制御部314は、図12Bに示すように、個別オブジェクトB20を視野Vの中央から左方へ例えば角度θ/2(-θ/2)分だけ移動させる。同様に、表示部10が上記ロール軸を中心として時計まわりに角度φ(+φ)回転した場合、表示制御部314は、図12Cに示すように、視野Vを中心として個別オブジェクトB20を反時計まわりに例えば角度φ/2(-φ/2)だけ回転させる。
 このように個別オブジェクトB20の移動に関しては、表示部10の移動に対して鈍化させる制御を実行することにより、表示部10の動きが比較的大きい場合でも、個別オブジェクトB20が視野V(表示領域110)の外側に出にくくなる。このため、ユーザUにとっては、いずれの方位を向いたとしても当該オブジェクトの視認性が確保されることになる。このような制御は、例えば図3に示したようなナビゲーション情報に関連する個別オブジェクトB20の表示制御に際して特に有効である。
 なお、上記のように個別オブジェクトの移動を鈍化させる表示制御は、表示部10のヨー軸及びロール軸まわりの移動に限られず、これらに垂直なピッチ軸(図4においてY軸)まわりの移動にも同様に適用可能である。
 個別オブジェクトB20の移動量は、表示部10の移動量よりも小さければその大きさは特に限定されない。したがって、個別オブジェクトB20の移動量は、図12B,Cに示したように表示部10の移動量の1/2の大きさに限られず、それよりも大きくてもよいし、小さくてもよい。
 表示制御部314は、個別オブジェクトB20が視野V(表示領域110)内に収まるように、個別オブジェクトB20の移動量を制御してもよい。これにより、個別オブジェクトB20が視野外に出ることを阻止することができるため、個別オブジェクトB20の視認性あるいは検索性が確保される。
 例えば図13Aに示すように、視野Vに複数のオブジェクトB31,B32が表示されている状態において、表示部10がロール軸を中心に回転すると、表示制御部314は、表示部10の動きに追従して、これら複数のオブジェクトB31,B32を表示部10の回転方向とは反対方向へ視野Vを中心に回転させる場合を考える。このとき、オブジェクトB31,B32が関連オブジェクトの場合、表示制御部314は、図13Bに示すように各オブジェクトB31,B32を表示部10の移動量と同等の移動量(φ1)で移動させる。したがって、移動量(φ1)の大きさによっては、オブジェクトの一部又は全部が視野Vの外側に出ることがある。
 一方、オブジェクトB31,B32が個別オブジェクトの場合、表示制御部314は、図13Cに示すように、回転半径の最外周側に表示されているオブジェクトB32が視野V内に収まる移動量(φ2)で、各オブジェクトB31,B32を回転させる。この場合、オブジェクトB32が視野Vの外側に近づくに従って、オブジェクトB32の移動量が段階的に小さくなるように、各オブジェクトB31,B32の表示が制御されてもよい。あるいは、オブジェクトB31,B32が所定の基準位置から離れるに従って、これらの移動量が段階的に小さくなるように、各オブジェクトB31、B32の表示が制御されてもよい。このような表示制御は、表示部10のロール軸まわりの移動に限られず、ヨー軸まわり及びピッチ軸まわりの移動にも同様に適用可能である。
 図14は、一例として、表示部10のヨー軸及びピッチ軸まわりにおける個別オブジェクトの鈍化座標の計算方法を説明する円筒座標の概略展開図である。
 図14において、視野Vの中心座標を(x1,y1)、関連オブジェクトB11の中心の移動座標を(xa,ya)としたとき、鈍化制御すべき個別オブジェクトB21の中心の移動座標(xb,yb)は、以下の式で表すことができる。
  xb=(1-n)x1+nxa …(3)
  yb=(1-n)y1+nya …(4)
 式(3),(4)において、nは、鈍化率であり、その値の範囲は、0<n≦1とされる。関連オブジェクトB11のように鈍化制御を実行しない場合(鈍化設定なしの場合)は、n=1であり、個別オブジェクトB21のように鈍化制御をする場合は、0<n<1の任意の値に設定される。例えば図12B,Cのように個別オブジェクトの移動量が関連オブジェクトの移動量の半分の場合は、n=0.5であり(鈍化率50%)、nの値が小さくなるほど鈍化の度合が高まる。
 本実施形態において、個別オブジェクトの鈍化設定は、典型的には、携帯情報端末200によって行われる。すなわち、携帯情報端末200は、表示部10の移動量に対する個別オブジェクトの移動量(第1の移動量)の鈍化属性を設定する鈍化設定部としての機能を有する。
 鈍化属性設定部210は、図5に示すように、携帯情報端末200のCPU201で構成される。鈍化属性設定部210は、サーバNから受信した各種オブジェクトの属性(例えば、関連オブジェクト、個別オブジェクト等のオブジェクトの種類)に応じて、これら各オブジェクトの鈍化率を設定する。
 鈍化属性設定部210は、典型的には、関連オブジェクトについては鈍化属性を無効とし(n=1)、個別オブジェクトについては鈍化属性として所定の鈍化率(例えばn=0.5)を設定する。個別オブジェクトに設定される鈍化率はすべて同一のものに限られず、アプリケーションや個別オブジェクトの種類に応じて異ならせてもよい。
 なお、オブジェクトの属性に関係なく、すべてのオブジェクトについて、有効な鈍化属性が設定されてもよい。また、ユーザの選択によって、オブジェクト毎に鈍化属性の有効/無効の選択、あるいは鈍化率の設定が可能に構成されてもよい。この場合、携帯情報端末200の表示部205を介して、鈍化属性の設定入力が行われてもよい。
[HMDの動作]
 次に、以上のように構成される本実施形態に係るHMD100を備えたHMDシステムの動作の一例について説明する。
 図15は、本実施形態に係るHMDシステムの動作の概要を説明するフローチャートである。
 まず、携帯情報端末200の位置情報取得部207を用いて、ユーザU(表示部10)の現在位置が測定される(ステップ101)。表示部10の位置情報は、サーバNに送信される。そして携帯情報端末200は、サーバNから、ユーザUの周囲の実空間に存在する所定の対象物に関連するオブジェクトデータを取得する(ステップ102)。そして、取得したオブジェクトデータのそれぞれについて、鈍化設定部210により、鈍化設定の有効/無効、鈍化率(n)の値等が設定される(ステップ103)。
 次に、携帯情報端末200は、制御ユニット30へオブジェクトデータの送信準備ができたことを通知する。制御ユニット30(本例では座標設定部311)は、オブジェクデータの種類等に応じてワールド座標系としての円筒座標C0の高さ(H)及び半径(R)を設定する(ステップ104)。この場合、座標設定部311は、表示部10によって提供される視野Vの高さ(Hv)に応じた領域制限機能が有効な場合には、ワールド座標系を例えば図7Aに示す円筒座標C0に設定する。
 続いて、制御ユニット30は、検出部20の出力に基づいて視野Vの方位を検出し(ステップ105)、携帯情報端末200からオブジェクトデータを取得してメモリ302へ格納する(ステップ106)。視野Vの方位は、ワールド座標系(θ,h)に換算されて、円筒座標C0上のどの位置に対応するかモニタリングされる。
 そして、制御ユニット30は、円筒座標C0における視野Vの対応領域に何れかのオブジェクトデータが存在する場合には、当該オブジェクトを視野Vの対応位置に表示部10を介して表示(描画)する(ステップ107)。
 図16は、制御ユニット30による視野Vへのオブジェクトの描画手順の一例を示すフローチャートである。
 制御ユニット30は、検出部20の出力に基づいて、視野Vに描画すべきオブジェクトがあるか否かを判定する(ステップ201)。例えば、視野Vに特定対象物が存在していれば、当該特定対象物に関連するオブジェクト(関連オブジェクト)が「描画すべきオブジェクト」と判定される。あるいは、ナビゲーションモードの実行中においては、進路情報に関連するオブジェクト(個別オブジェクト)が「描画すべきオブジェクト」と判定される。
 続いて、制御ユニット30は、「描画すべきオブジェクト」の鈍化属性の設定の有無を判定する(ステップ202)。典型的には、関連オブジェクトについては「鈍化属性なし」と判定し、個別オブジェクトについては「鈍化属性あり」と判定する。そして、制御ユニット30(表示制御部314)は、前者については、表示部10の移動量と同一の移動量で移動させる通常制御でもって当該オブジェクトを視野Vに提示し(ステップ203、通常オブジェクト描画)、後者については、表示部10の移動量よりも小さい移動量で移動させる鈍化制御でもって当該オブジェクトを視野Vに提示する(ステップ204、鈍化オブジェクト描画)。
 制御ユニット30は、これらオブジェクトを視野Vに所定のフレームレートで描画する。フレームレートは特に限定されず、例えば、30~60fpsとされ、これによりオブジェクトを円滑に移動させることができる。
 図17は、HMD100へのカーナビゲーションアプリの適用例を示す視野Vの概略図である。
 表示部10の視野V(表示領域110)にはユーザが搭乗した車から見た特定対象物A12,A13,A14に関連する種々のオブジェクトが表示される。特定対象物としては、例えば、信号機(A12)、飲食店(A13、A14)等が含まれ、これらに関連する情報を含む関連オブジェクトB12,B13,B14として、交差点名(信号名)(B12)、店舗名及び空席情報(B13,B14)等が表示される。また、目的地までの進路に関する情報を含む個別オブジェクトB22として、進行方向を示す矢印記号が含まれる。
 関連オブジェクトB12~B14は、上述の通常オブジェクト描画で表示制御される。したがって、関連オブジェクトB12~B14は、携帯情報端末200の位置情報取得部207の出力に基づき、ユーザが乗車する車両の走行速度に応じて、視野Vにおいて当該車両の進行方向とは逆方向(図において後方側)に移動する。また、ユーザが首を振って周囲を見回したときも同様に、関連オブジェクトB12~B14は、検出部20の出力に基づき、表示部10の移動方向とは逆方向に表示部10の移動量と同一の移動量で視野Vにおいて移動する。これにより、各関連オブジェクトB12~B14は特定対象物A12~A14に追従するため、ユーザにとっては、特定対象物A12~A14と関連オブジェクトB12~B14との対応関係の判断が容易となる。
 一方、個別オブジェクトB22は、典型的には、視野Vの所定位置(例えば中央部やや上方)に表示され、携帯情報端末200の位置情報取得部207の出力やサーバNから取得したロードマップデータ等に基づき、ユーザの進行方向、道路環境等に応じて表示内容が更新される。この場合、例えば同図に示すように、右折すべき信号が近付いたときに、矢印記号(B22)に加えて文字情報(B23)等を併記して、ユーザに注意を促すような表示制御が実行されてもよい。
 個別オブジェクトB22は、上述の鈍化オブジェクト描画で表示制御される。したがって、個別オブジェクトB22は、表示部10の動きに対応する視野V内における移動が鈍化されるため、ユーザが首を振って周囲を見回すときのような表示部10の移動量が比較的大きい場合でも、個別オブジェクトB22が視野Vの外側に出てしまうことが防止される。これにより、ユーザUに提示される個別オブジェクトB22の視認性、検索性を向上させることができる。
 以上のように、本実施形態によれば、特定対象物に関連する情報を含む関連オブジェクトに対しては、対応する特定対象物に追従するように表示部10の移動量と同一の移動量でもって移動させるため、当該特定対象物に関連する情報を容易に取得することができる。
 一方、本実施形態によれば、特定対象物に関連しない個別オブジェクトに対しては、表示部10の移動量に比して小さい移動量に鈍化させるため、視野Vの外に出る可能性を低くして安定した視認性あるいは検索性を確保することができる。また、例えばユーザの無意識な(意図しない)動きに追従するように、個別オブジェクトが意味なく移動したり、細かくぶれたりすることもなくなるため、ユーザ起因の視認性のバラツキも防止することができる。
<第2の実施形態>
 続いて、本技術の第2の実施形態について説明する。以下、第1の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。
 本実施形態では、例えばHMD100の機能のメニュー画面やパターン認証画面等に本技術を適用した例について説明する。
 (適用例1)
 図18A~Cは、ARオブジェクト(個別オブジェクト)として、HMD100の機能のメニュー画面の一例を示す視野Vの概略図である。
 図18Aに示すように、表示部10の視野V(表示領域110)には、例えば3つのメニュー画像B41~B43が左右方向に所定ピッチで配列されている。これらメニュー画像B41~B43は、例えば、個々のアプリケーション(ゲーム、映画、ナビゲーションシステム、情報表示など)のアイコンが該当する。ユーザは、頭部(表示部10)を左右方向に回転させることで、視野中央に固定表示されたカーソルKを所望とするメニュー画像へ移動させ、所定の入力コマンド(例えば制御ユニット30の入力操作部305に対する入力操作)を実行することで当該メニュー画像を選択する。
 上記のような入力操作(ヘッドトラック)を実行するに際して、右側のメニュー画像B43を選択する場合は、ユーザは頭部を右に回してメニュー画像B43を視野Vの中央に移動させる。このとき、メニュー画像B43の移動量(カーソルKの移動量)を表示部10の移動量に一致させると、図18Bに示すように、メニュー画像B43の移動量が大き過ぎて、中央のカーソルKの位置から左方へ飛び出るなど、適正に移動させることが困難な場合がある。
 そこで、本実施形態に係るHMD100は、メニュー画像B41~B43の移動量(カーソルKの移動量)を、表示部10の移動量よりも小さくする鈍化制御を実行する表示制御部314(図6参照)を備える。これにより、図18Cに示すように、所望とするメニュー画像にカーソルKを容易に位置合わせすることが可能となり、ヘッドトラック時のポインティング操作性を向上させることができる。また、表示部10の移動量と比べてメニュー画像B41~B43の移動量が小さいため、ユーザにとっては個々のメニュー画像を移動中に見失うことがなくなり、これにより各メニュー画像の視認性あるいは検索性を確保することが可能となる。
 (適用例2)
 次に、図19A,Bは、ARオブジェクト(個別オブジェクト)として、パターン認証画面B50が表示された視野Vの概略図である。パターン認証画面B50には、「1」~「9」の複数のキー(あるいはラジオボタン)がマトリクス状に配列された画像であり、ユーザによる頭部の上下方向及び左右方向に応じて、各キーが視野Vにおいて一体的に移動するように表示される。そして、図19Bに示すように、視野Vの中央に表示されたカーソルKに所定のキーを所定の順序で位置合わせすることで、複数桁の数字からなる認証パスワードが入力されるように構成される。
 本例においても同様に、表示制御部314は、パターン認証画面B50の移動量を、表示部10の移動量よりも小さくする鈍化制御を実行するように構成される。これにより、正確かつ確実にパターン認証を行うことが可能となる。
 なお、カーソルKの初期位置(最初のキー)への移動には、キー間の領域を通るようにカーソルK(画面)を移動させることができる。あるいは、カーソルKの初期位置で所定の入力操作が実行されたことを検出することで、当該カーソル位置を初期位置と判定してもよい。
 (適用例3)
 図20A,Bは、複数のオブジェクト(B61~B64)が部分的に重なり合うように密集した選択画面B60から、ユーザが特定のオブジェクトを選択する様子を示す視野Vの概略図である。本例においては、選択画面B60の拡大/縮小操作と、カーソルKに対する選択画面B60の移動操作とが可能であり、前者については、制御ユニット30の入力操作部305に対する所定の入力操作、表示部10の前後方向への移動操作等により実行され、後者については、表示部10の移動操作で実行される。
 本例においても同様に、表示制御部314は、拡大操作が実行されたとき、選択画面B60の移動量を、表示部10の移動量よりも小さくする鈍化制御を実行するように構成される。これにより、密集した複数のオブジェクトB61~B64の中から、ユーザが所望とする所定のオブジェクトを確実かつ容易に選択することが可能となる。
 以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
 例えば以上の実施形態では、HMDに本技術を適用した例を説明したが、HMD以外の画像表示装置として、例えば、車両の運転席や航空機等のコックピットに搭載されるヘッドアップディスプレイ(HUD)等の画像表示装置にも本技術は適用可能である。
 また以上の実施形態では、シースルー型(透過型)のHMDへの適用例を説明したが、非透過型のHMDにも本技術は適用可能である。この場合、表示部に装着したカメラで撮像された外界視野に、本技術に係る所定のオブジェクトを表示すればよい。
 さらに以上の実施形態では、ウェアラブルディスプレイとして、ユーザの頭部に装着されるHMDを例に挙げて説明したが、これに限られず、例えばユーザの腕や手首等に装着されて使用される表示装置や、コンタクトレンズのように眼球に直接装着される表示装置についても、本技術は適用可能である。
 なお、本技術は以下のような構成もとることができる。
(1) ユーザに装着可能に構成され、ユーザに実空間の視野を提供する表示領域を有する表示部と、
 前記表示部の少なくとも一軸まわりの方位を検出する検出部と、
 前記検出部の出力に基づいて前記方位に関連する第1の画像を前記表示領域に提示し、前記方位の変化に応じて、前記第1の画像を前記表示領域内において前記表示部の移動方向とは逆方向に前記表示部の移動量よりも小さい第1の移動量で移動させることが可能に構成された表示制御部と
 を具備するウェアラブルディスプレイ。
(2)上記(1)に記載のウェアラブルディスプレイであって、
 前記表示制御部は、前記第1の画像が前記表示領域内に収まるように前記第1の移動量を制御する
 ウェアラブルディスプレイ。
(3)上記(1)又は(2)に記載のウェアラブルディスプレイであって、
 前記表示制御部は、前記第1の画像が前記表示領域の外側に近づくに従って、前記第1の移動量が段階的に小さくなるように前記第1の移動量を制御する
 ウェアラブルディスプレイ。
(4)上記(1)~(3)のいずれか1つに記載のウェアラブルディスプレイであって、
 前記第1の画像は、ユーザにより設定された目的地への進路に関連する情報を含む
 ウェアラブルディスプレイ。
(5)上記(1)~(3)のいずれか1つに記載のウェアラブルディスプレイであって、
 前記第1の画像は、複数のキーがマトリクス状に配列されたパターン認証画面である
 ウェアラブルディスプレイ。
(6)上記(1)~(3)のいずれか1つに記載のウェアラブルディスプレイであって、
 前記第1の画像は、ユーザにより選択可能に前記表示領域に配列された複数のアイコンを含む
 ウェアラブルディスプレイ。
(7)上記(1)~(6)のいずれか1つに記載のウェアラブルディスプレイであって、
 前記表示制御部は、前記検出部の出力に基づいて前記方位に存在する実空間の特定対象物に関連する情報を含む第2の画像を前記表示領域に提示し、前記方位の変化に応じて、前記表示部の移動方向とは逆方向に、前記第1の移動量よりも大きい第2の移動量で、前記第2の画像を前記表示領域内において移動させることが可能に構成される
 ウェアラブルディスプレイ。
(8) 表示領域を有する表示部と、
 前記表示部の少なくとも一軸まわりの方位を検出する検出部と、
 前記検出部の出力に基づいて前記方位に関連する第1の画像を前記表示領域に提示し、前記方位の変化に応じて、前記第1の画像を前記表示領域内において前記表示部の移動方向とは逆方向に前記表示部の移動量よりも小さい第1の移動量で移動させることが可能に構成された表示制御部と
 を具備する画像表示装置。
(9) 表示領域を有する表示部と、
 前記表示部の少なくとも一軸まわりの方位を検出する検出部と、
 前記検出部の出力に基づいて前記方位に関連する第1の画像を前記表示領域に提示し、前記方位の変化に応じて、前記第1の画像を前記表示領域内において前記表示部の移動方向とは逆方向に前記表示部の移動量以下の第1の移動量で移動させることが可能に構成された表示制御部と、
 前記第1の移動量の大きさを設定する鈍化設定部と
 を具備する画像表示システム。
 10…表示部
 20…検出部
 30…制御ユニット
 100…ヘッドマウントディスプレイ(HMD)
 110…表示領域
 200…携帯情報端末
 210…鈍化属性設定部
 314…表示制御部
 A1~A4,A12~A14…特定対象物
 B1~B4,B10~B14…関連オブジェクト
 B20~B23…個別オブジェクト
 V…視野

Claims (9)

  1.  ユーザに装着可能に構成され、ユーザに実空間の視野を提供する表示領域を有する表示部と、
     前記表示部の少なくとも一軸まわりの方位を検出する検出部と、
     前記検出部の出力に基づいて前記方位に関連する第1の画像を前記表示領域に提示し、前記方位の変化に応じて、前記第1の画像を前記表示領域内において前記表示部の移動方向とは逆方向に前記表示部の移動量よりも小さい第1の移動量で移動させることが可能に構成された表示制御部と
     を具備するウェアラブルディスプレイ。
  2.  請求項1に記載のウェアラブルディスプレイであって、
     前記表示制御部は、前記第1の画像が前記表示領域内に収まるように前記第1の移動量を制御する
     ウェアラブルディスプレイ。
  3.  請求項1に記載のウェアラブルディスプレイであって、
     前記表示制御部は、前記第1の画像が前記表示領域の外側に近づくに従って、前記第1の移動量が段階的に小さくなるように前記第1の移動量を制御する
     ウェアラブルディスプレイ。
  4.  請求項1に記載のウェアラブルディスプレイであって、
     前記第1の画像は、ユーザにより設定された目的地への進路に関連する情報を含む
     ウェアラブルディスプレイ。
  5.  請求項1に記載のウェアラブルディスプレイであって、
     前記第1の画像は、複数のキーがマトリクス状に配列されたパターン認証画面である
     ウェアラブルディスプレイ。
  6.  請求項1に記載のウェアラブルディスプレイであって、
     前記第1の画像は、ユーザにより選択可能に前記表示領域に配列された複数のオブジェクトを含む
     ウェアラブルディスプレイ。
  7.  請求項1に記載のウェアラブルディスプレイであって、
     前記表示制御部は、前記検出部の出力に基づいて前記方位に存在する実空間の特定対象物に関連する情報を含む第2の画像を前記表示領域に提示し、前記方位の変化に応じて、前記表示部の移動方向とは逆方向に、前記第1の移動量よりも大きい第2の移動量で、前記第2の画像を前記表示領域内において移動させることが可能に構成される
     ウェアラブルディスプレイ。
  8.  表示領域を有する表示部と、
     前記表示部の少なくとも一軸まわりの方位を検出する検出部と、
     前記検出部の出力に基づいて前記方位に関連する第1の画像を前記表示領域に提示し、前記方位の変化に応じて、前記第1の画像を前記表示領域内において前記表示部の移動方向とは逆方向に前記表示部の移動量よりも小さい第1の移動量で移動させることが可能に構成された表示制御部と
     を具備する画像表示装置。
  9.  表示領域を有する表示部と、
     前記表示部の少なくとも一軸まわりの方位を検出する検出部と、
     前記検出部の出力に基づいて前記方位に関連する第1の画像を前記表示領域に提示し、前記方位の変化に応じて、前記第1の画像を前記表示領域内において前記表示部の移動方向とは逆方向に前記表示部の移動量以下の第1の移動量で移動させることが可能に構成された表示制御部と、
     前記第1の移動量の大きさを設定する鈍化設定部と
     を具備する画像表示システム。
PCT/JP2016/004330 2015-11-02 2016-09-26 ウェアラブルディスプレイ、画像表示装置及び画像表示システム WO2017077681A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680062627.7A CN108351736B (zh) 2015-11-02 2016-09-26 可穿戴显示器、图像显示装置和图像显示系统
US15/769,093 US20180307378A1 (en) 2015-11-02 2016-09-29 Wearable display, image display apparatus, and image display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015215524 2015-11-02
JP2015-215524 2015-11-02

Publications (1)

Publication Number Publication Date
WO2017077681A1 true WO2017077681A1 (ja) 2017-05-11

Family

ID=58663144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004330 WO2017077681A1 (ja) 2015-11-02 2016-09-26 ウェアラブルディスプレイ、画像表示装置及び画像表示システム

Country Status (3)

Country Link
US (1) US20180307378A1 (ja)
CN (1) CN108351736B (ja)
WO (1) WO2017077681A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
AU2018244050A1 (en) * 2017-03-30 2019-09-26 Gs Yuasa International Ltd. Power supply device, server, and power supply device management system
US10715746B2 (en) * 2017-09-06 2020-07-14 Realwear, Inc. Enhanced telestrator for wearable devices
DE112018006464T5 (de) * 2017-12-19 2020-08-27 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm, anzeigesystem und mobiles objekt
CN110187950B (zh) * 2019-05-27 2023-11-10 西藏霖栋科技有限公司 调整画面显示位置的方法、可穿戴设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202281A (ja) * 1995-01-30 1996-08-09 Olympus Optical Co Ltd 頭部装着型映像表示装置システム
WO2013136454A1 (ja) * 2012-03-13 2013-09-19 パイオニア株式会社 表示情報生成装置、表示情報生成方法及び表示情報生成用プログラム並びに情報記録媒体
WO2014129204A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ
JP2014197066A (ja) * 2013-03-29 2014-10-16 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821975A (ja) * 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
JP5728866B2 (ja) * 2010-09-24 2015-06-03 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
EP2979446A1 (en) * 2013-03-26 2016-02-03 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP5884816B2 (ja) * 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
JP2015158748A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、ウェアラブル機器
US9715113B2 (en) * 2014-03-18 2017-07-25 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202281A (ja) * 1995-01-30 1996-08-09 Olympus Optical Co Ltd 頭部装着型映像表示装置システム
WO2013136454A1 (ja) * 2012-03-13 2013-09-19 パイオニア株式会社 表示情報生成装置、表示情報生成方法及び表示情報生成用プログラム並びに情報記録媒体
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
WO2014129204A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ
JP2014197066A (ja) * 2013-03-29 2014-10-16 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム

Also Published As

Publication number Publication date
US20180307378A1 (en) 2018-10-25
CN108351736A (zh) 2018-07-31
CN108351736B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
JP7268692B2 (ja) 情報処理装置、制御方法及びプログラム
US10796669B2 (en) Method and apparatus to control an augmented reality head-mounted display
US11185773B2 (en) Virtual vehicle control method in virtual scene, computer device, and storage medium
WO2016088420A1 (ja) 表示制御装置、表示制御方法およびプログラム
WO2017077681A1 (ja) ウェアラブルディスプレイ、画像表示装置及び画像表示システム
US11188144B2 (en) Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device
JP4922436B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
WO2017073014A1 (ja) ウェアラブルディスプレイ、画像表示装置及び画像表示システム
US20220253198A1 (en) Image processing device, image processing method, and recording medium
JP2020046863A (ja) 拡張現実空間に配置される3dオブジェクトを生成する方法
CN117234340A (zh) 头戴式xr设备用户界面显示方法及设备
JP3161662U (ja) プラネタリウム装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16861759

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15769093

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16861759

Country of ref document: EP

Kind code of ref document: A1