WO2017122270A1

WO2017122270A1 - 画像表示装置

Info

Publication number: WO2017122270A1
Application number: PCT/JP2016/050670
Authority: WO
Inventors: 潤岩田
Original assignee: サン電子株式会社
Priority date: 2016-01-12
Filing date: 2016-01-12
Publication date: 2017-07-20
Also published as: US20190019308A1; CN108541323A; JPWO2017122270A1; EP3404623A4; EP3404623A1

Abstract

制御部３０は、第１のカメラ１２から取得される第１のキャリブレーション画像と、第１のカメラ１２とは異なる位置に設けられる第２のカメラ１４から取得される第２のキャリブレーション画像と、に基づいて空間情報を特定し、空間情報と、第１のカメラ１２から取得される第１の撮影画像と、第２のカメラ１４から取得される第２の撮影画像と、センサ２０が検出する画像表示装置２の姿勢とに基づいて、画像表示装置２の周囲の空間内における画像表示装置２の位置及び姿勢を特定する。さらに、制御部３０は、空間内の所定位置に対応付けられるオブジェクトを表すオブジェクト画像を生成し、特定範囲に所定位置が含まれる場合に、オブジェクト画像が空間内の所定位置に配置された状態を示す画面を表示部１０に表示させる。

Description

画像表示装置

　本明細書によって開示される技術は、ユーザの頭部に装着して用いられる画像表示装置に関する。

　例えば、国際公開第２０１２／０３３５７８号パンフレット（以下、特許文献１という）には、光を用いて物体との物理的距離を測定するカメラシステムが開示されている。このカメラシステムは、照明装置によって、対象の物体に対してパターン化された光（例えば、格子パターン、ドットパターン等の光）を照射する。当該光が物体の表面に照射されると、物体の形状に応じて光のパターンに変形が生じる。可視光カメラによってその変形後のパターンを撮影して分析することにより、カメラシステムと物体との物理的距離を算出する。

　一方、ユーザの頭部に装着して用いられる画像表示装置も知られている。この種の画像表示装置は、ユーザの視界に対応する範囲の画像（即ち、現実画像）を表示する表示部と、表示部に表示される画像に関連するオブジェクトを表すオブジェクト画像を表示部に表示されている現実画像に合成して表示させるコンピュータと、を備える。このように、人間が知覚する現実世界をコンピュータによって増強及び拡張する技術は、拡張現実（ＡＲ：Augumented Reality）として知られている。

　このような画像表示装置に対して、特許文献１の技術を適用することも想定される。その場合、画像表示装置は特許文献１の照明装置及び可視光カメラを備える。そして、画像表示装置は、照射装置によって周囲の物体に対してパターン化された光を照射し、可視光カメラによって周囲の物体に照射された光のパターン（即ち変形後のパターン）を撮影し、コンピュータで分析する。これによって、コンピュータは、画像表示装置と周囲の物体との物理的距離を算出し、周囲の空間内における画像表示装置の位置及び姿勢を特定する。この結果、コンピュータは、周囲の空間内における画像表示装置の位置及び姿勢の情報を利用して、表示部の適切な場所にオブジェクト画像を表示させ得る。

　しかしながら、特許文献１の技術を画像表示装置に適用した場合であっても、照明装置が照射する光が他の光源からの光（例えば、太陽光、室内照明の光等）の影響を受ける場合があり、周囲の物体との物理的距離が適切に算出されず、周囲の空間内における画像表示装置の位置及び姿勢を適切に特定できないおそれがある。

　本明細書では、周囲の空間内における画像表示装置の位置及び姿勢を適切に特定することができる技術を開示する。

　本明細書によって開示される画像表示装置は、ユーザの頭部に装着して用いられる。画像表示装置は、表示部と、ユーザの視界範囲に対応する特定範囲を撮影する第１のカメラと、第１のカメラとは異なる位置に設けられるとともに、特定範囲を撮影する第２のカメラと、画像表示装置の姿勢を検出可能なセンサと、制御部と、を有している。制御部は、第１のカメラから取得される第１のキャリブレーション画像と、第２のカメラから取得される第２のキャリブレーション画像と、に基づいて、画像表示装置の周囲の空間の特徴を特定するための空間情報を特定し、空間情報と、第１のカメラから取得される第１の撮影画像と、第２のカメラから取得される第２の撮影画像と、センサが検出する画像表示装置の姿勢と、に基づいて、空間内における画像表示装置の位置及び姿勢を特定し、空間内の所定位置に対応付けられるオブジェクトを表すオブジェクト画像を生成し、特定範囲に所定位置が含まれる第１の場合に、オブジェクト画像が空間内の所定位置に配置された状態を示す第１のディスプレイ画面を表示部に表示させる。

　上記の構成によると、画像表示装置は、第１のカメラから取得される第１のキャリブレーション画像と、第１のカメラとは異なる位置に設けられる第２のカメラから取得される第２のキャリブレーション画像と、に基づいて空間情報を特定し、空間情報と、第１のカメラから取得される第１の撮影画像と、第２のカメラから取得される第２の撮影画像と、センサが検出する画像表示装置の姿勢と、に基づいて、空間内における画像表示装置の位置及び姿勢を特定する。第１のキャリブレーション画像、第２のキャリブレーション画像、第１の撮影画像、第２の撮影画像、センサが検出する画像表示装置の姿勢、のいずれの要素も、画像表示装置の周囲の環境の変化の影響を受けにくい。そのため、上記の構成によると、画像表示装置は、周囲の空間内における自機の位置及び姿勢を適切に特定することができる。

　ここで、「第１の撮影画像」は、第１のキャリブレーション画像と同じ画像であっても、異なる画像であってもよい。同様に、「第２の撮影画像」は、第２のキャリブレーション画像と同じ画像であっても、異なる画像であってもよい。「オブジェクト画像」は、静止画、動画のどちらの画像も含む。

　なお、上記の画像表示装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能記録媒体も、新規で有用である。

第１実施例の画像表示装置の外観を示す。図１の画像表示装置の構成を示す。表示装置処理のフローチャートを示す。キャリブレーション画面の例を示す。リアルタイム処理の例を示す。メニューオブジェクト画像の例を示す。メニューオブジェクト画像とともにガイド画像が表示される例を示す。空間内における各オブジェクトの表示位置の例を仮想的に示す。地球儀オブジェクト画像とともにガイド画像が表示される例を示す。第２実施例の画像表示装置の外観を示す。

　以下に説明する実施例の主要な特徴を列記しておく。なお、以下に記載する技術要素は、それぞれ独立した技術要素であって、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。

（特徴１）制御部は、さらに、表示部に第１のディスプレイ画面が表示されている間に、ユーザが行う操作に応じて、第１のディスプレイ画面内におけるオブジェクト画像の表示態様を変更してもよい。

　この構成によると、第１のディスプレイ画面内のオブジェクト画像を、ユーザが行う操作に応じて適切な態様で表示することができる。

（特徴２）操作は、ユーザが特定範囲内で行うジェスチャーを含んでもよい。

　この構成によると、ユーザは、入力キー等の入力手段を操作することなく、自分の体を動かしてジェスチャーを行うことで、第１のディスプレイ画面内のオブジェクト画像を、ユーザが行う操作に応じて適切な態様で表示させることができる。ユーザは、自分の感覚に従って、オブジェクト画像の表示態様を変更することができる。

（特徴３）表示部は、透光性のディスプレイであって、ユーザが画像表示装置を装着した際に、ユーザが表示部越しに周囲を視認できるものであってもよい。制御部は、第１の場合に、表示部にオブジェクト画像を表示させることによって、第１のディスプレイ画面を表示部に表示させてもよい。

　この構成によると、ユーザは、表示部越しに視認できる現実の視界にオブジェクト画像が合成された態様の第１のディスプレイ画面を見ることができる。

（特徴４）表示部は遮光性のディスプレイであって、ユーザが画像表示装置を装着した際に、ユーザの視界を遮るものであってもよい。制御部は、第１の撮影画像と第２の撮影画像の少なくとも一方を表示部に表示させ、第１の場合に、表示部に第１の撮影画像と第２の撮影画像の少なくとも一方とともにオブジェクト画像を表示させることによって、第１のディスプレイ画面を表示部に表示させてもよい。

　この構成によると、ユーザは、第１の撮影画像と第２の撮影画像の少なくとも一方の撮影画像にオブジェクト画像が合成された態様の第１のディスプレイ画面を見ることができる。

（特徴５）制御部は、特定範囲に所定位置が含まれない第２の場合に、所定位置の方向を示すガイド画像を含む第２のディスプレイ画面を表示部に表示させてもよい。

　この構成によると、ユーザは、ガイド画像を見ることによってオブジェクト画像が表示される所定位置を把握することができる。

（第１実施例）
（画像表示装置２の構成；図１、図２）
　図１に示す画像表示装置２は、ユーザの頭部に装着して用いられる画像表示装置（いわゆるヘッドマウントディスプレイ）である。画像表示装置２は、支持体４と、表示部１０ａ、１０ｂと、投影部１１ａ、１１ｂと、第１のカメラ１２と、第２のカメラ１４と、コントロールボックス１６とを備えている。

　支持体４は、眼鏡フレーム状の部材である。ユーザは、眼鏡を装着するように支持体４を装着することによって、画像表示装置２を頭部に装着することができる。

　表示部１０ａ、１０ｂは、それぞれ、透光性の表示部材である。ユーザが画像表示装置２を頭部に装着すると、ユーザの右眼に対向する位置に表示部１０ａが配置され、左眼に対向する位置に表示部１０ｂが配置される。以下、左右の表示部１０ａ、１０ｂを総称して表示部１０と呼ぶ場合がある。本実施例では、ユーザは、表示部１０越しに周囲を視認することができる。

　投影部１１ａ、１１ｂは、表示部１０ａ、１０ｂに画像を投影する部材である。投影部１１ａ、１１ｂは、表示部１０ａ、１０ｂの側部に設けられている。以下、左右の投影部１１ａ、１１ｂを総称して投影部１１と呼ぶ場合がある。本実施例では、投影部１１は、制御部３０の指示に従って、所定のオブジェクト画像を表示部１０に投影する。これにより、ユーザは、表示部１０越しにユーザが視認可能な現実世界の対象物又は／及び空間の所定の位置に、上記オブジェクト画像が合成されたかの様に、現実世界の対象物又は／及び空間とオブジェクト画像とを見ることができる。以下、本明細書では、制御部３０が、投影部１１に画像の投影を指示することによって、表示部１０に所望の画面を表示させることを説明する場合に、投影部１１の動作の説明を省略し、単に「制御部３０が表示部１０に所望の画像を表示させる」などと表現する場合がある。

　第１のカメラ１２は、支持体４のうち、表示部１０ａの上方位置（即ち、ユーザの右眼に対応する位置）に配置されているカメラである。一方、第２のカメラ１４は、支持体４のうち、表示部１０ｂの上方位置（即ち、ユーザの左眼に対応する位置）に配置されているカメラである。第１のカメラ１２と第２のカメラ１４のそれぞれによって、画像表示装置２を装着するユーザの視界範囲に対応する範囲（以下では「特定範囲」と呼ぶ）を異なる角度から撮影することができる。

　コントロールボックス１６は、支持体４の一部に取り付けられている箱体である。コントロールボックス１６には、画像表示装置２の制御系統を司る各要素が収容されている。具体的に言うと、図２に示すように、コントロールボックス１６には、センサ２０と、通信インターフェース２２と、制御部３０と、メモリ３２とが収納されている。以下では、インターフェースのことを「Ｉ／Ｆ」と記載する。

　センサ２０は、３軸加速度センサである。センサ２０は、Ｘ，Ｙ，Ｚの３軸の加速度を検出する。センサ２０の検出値を用いて、制御部３０は、画像表示装置２の姿勢、及び、運動状態を特定することができる。

　通信Ｉ／Ｆ２２は、外部の装置（例えば、通信機能を有する端末装置）と無線通信を実行するためのＩ／Ｆである。

　制御部３０は、メモリ３２に記憶されているプログラムに従って様々な処理を実行する。制御部３０が実行する処理の内容は後で詳しく説明する。また、制御部３０は、図２に示すように、表示部１０、投影部１１、第１のカメラ１２、第２のカメラ１４、センサ２０、通信Ｉ／Ｆ２２、及び、メモリ３２と電気的に接続されており、これらの各要素の動作を制御することができる。

　メモリ３２は、様々なプログラムを記憶している。また、メモリ３２は、制御部３０の処理（後述の表示装置処理（図３）等）に伴って生成される様々な情報を記憶する領域も有している。

（表示装置処理；図３）
　図３を参照して、本実施例の画像表示装置２の制御部３０が実行する表示装置処理について説明する。ユーザが画像表示装置２を自身の頭部に装着し、画像表示装置２の電源をオンすると、制御部３０は、図３の表示装置処理を開始する。

　Ｓ１０では、制御部３０は、表示部１０に、所定のキャリブレーション画面を表示する。キャリブレーション画面は、ユーザにキャリブレーションを行わせるための画面である。ここで、「キャリブレーション」は、画像表示装置２の周囲の空間の特徴を特定するための空間情報（即ちキャリブレーションデータ）を特定するための処理である。また、「画像表示装置２の周囲の空間の特徴」は、例えば、画像表示装置２が室内に存在する場合、壁と自機との距離、壁の方向、天井と自機との距離、天井の高さ、床の面積、家具類の位置、家具類との距離等、室内空間を特徴づけるための各種情報を含む。一方、例えば、画像表示装置２が屋外に存在する場合、「画像表示装置２の周囲の空間の特徴」は、周囲の目標物との距離等、自機の周囲の空間を特徴づけるための各種情報を含む。

　図４にキャリブレーション画面の例を示す。図４の例に示すように、キャリブレーションリブレーション画面には、ポインタＰと、ポインタを視線で追うようにユーザに促すためのメッセージが含まれている。制御部３０は、ユーザがポインタＰを視線で追うことにより、画像表示装置２の周囲の空間を全て視界に入れられるように、表示部１０内でポインタＰを動かす。

　続くＳ１２では、制御部３０は、空間情報の特定が完了することを監視する。上記の通り、Ｓ１０で表示部１０にキャリブレーション画面（図４参照）が表示された後に、ユーザがポインタＰを視線で追う動作を行う（即ち、ユーザがポインタＰの動きに合わせて頭部を動かす）ことにより、第１のカメラ１２及び第２のカメラ１４によって周囲の空間の各方向が撮影される。この際、制御部３０は、第１のカメラ１２から、第１のカメラ１２によって撮影された特定範囲（即ち、ユーザの視界範囲に対応する範囲）の画像である第１のキャリブレーション画像を取得するとともに、第２のカメラ１４から、第２のカメラ１４によって撮影された特定範囲の画像である第２のキャリブレーション画像とを取得する。制御部３０は、第１のキャリブレーション画像と第２のキャリブレーション画像とに共通する特徴点を特定し、三角測量を行うことによって、特徴点と画像表示装置２との間の距離を算出することができる。さらに、制御部３０は、ポインタＰの初期位置の座標を基準とする上記特徴点の位置の座標を特定することもできる。制御部３０は、画像表示装置２の周囲の全方向に存在する複数個の特徴点のそれぞれについて、同様の処理を実行する。制御部３０は、画像表示装置２の周囲の全方向に存在する複数個の特徴点のそれぞれについて、当該特徴点との距離と当該特徴点の座標を特定した場合、Ｓ１２でＹＥＳと判断してＳ１４に進む。即ち、Ｓ１２における「画像表示装置２の周囲の空間の特徴を特定するための空間情報」は、各特徴点との距離と各特徴点の座標とを意味する。

　Ｓ１４では、制御部３０は、リアルタイム処理（図５参照）を開始する。Ｓ１４でリアルタイム処理が開始されると、制御部３０は、画像表示装置２の電源がオフされるまで、リアルタイム処理を繰り返し実行する。制御部３０は、Ｓ１４でリアルタイム処理を開始すると、Ｓ１６に進む。以下、図５を参照して、リアルタイム処理の内容を説明する。

（リアルタイム処理；図５）
　図５のＳ３０では、制御部３０は、第１のカメラ１２から、Ｓ３０の時点で第１のカメラ１２によって撮影されている特定範囲の画像である第１の撮影画像を取得するとともに、第２のカメラ１４から、Ｓ３０の時点で第２のカメラ１４によって撮影されている特定範囲の画像である第２の撮影画像とを取得する。即ち、Ｓ３０で取得される第１の撮影画像及び第２の撮影画像は、いずれも、ユーザの現時点の視界範囲に相当するリアルタイムの撮影画像である。

　続くＳ３２では、制御部３０は、第１の撮影画像と第２の撮影画像とに共通する特定の特徴点と画像表示装置２との間の距離を算出する。ここで言う「特徴点」は、例えば、空間情報（図３のＳ１２でＹＥＳの場合）に含まれる複数個の特徴点のうちの１つである。特徴点と画像表示装置２との間の距離は、上記の場合と同様に、第１の撮影画像と第２の撮影画像を用いて三角測量を行うことによって算出される。

　続くＳ３４では、制御部３０は、センサ２０の検出値に基づいて、この時点での画像表示装置２の姿勢を算出する。具体的には、制御部３０は、センサ２０の検出値（即ち、Ｘ軸、Ｙ軸、Ｚ軸の各軸方向の加速度）に基づいて、重力方向を０°とした場合のＸ軸、Ｙ軸、Ｚ軸の傾斜角（θｘ、θｙ、θｚ）を算出し、それらの傾斜角に基づいて、Ｓ１０の時点における画像表示装置２の姿勢（即ち、水平面に対する傾き）を算出する。

　続くＳ３６では、制御部３０は、図３のＳ１２でＹＥＳの場合に特定された空間情報と、Ｓ３２で算出された特徴点との距離と、Ｓ３４で算出された画像表示装置２の姿勢と、を用いて、画像表示装置２が存在する空間内における画像表示装置２の位置及び姿勢を特定する。

　Ｓ３６を終えると、制御部３０は、Ｓ３０に戻り、Ｓ３０～Ｓ３６の各処理を繰り返し実行する。即ち、制御部３０は、Ｓ３０～Ｓ３６の処理を繰り返し実行することにより、画像表示装置２が存在する空間内における画像表示装置２の位置及び姿勢をリアルタイムで特定することができる。

（表示装置処理の続き；図３のＳ１６以降）
　上記の通り、制御部３０は、図３のＳ１４でリアルタイム処理（図５参照）を開始すると、Ｓ１６に進む。Ｓ１６では、制御部３０は、メインメニューオブジェクトを表すメニューオブジェクト画像を生成し、所定位置に対応付ける。言い換えると、制御部３０は、メニューオブジェクト画像を生成し、所定位置に仮想的に配置する。ここで、「メニューオブジェクト画像を所定位置に仮想的に配置する」とは、特定範囲（即ち、第１のカメラ１２及び第２のカメラ１４の撮像範囲）に所定位置が含まれる場合に、メニューオブジェクト画像が空間内の所定位置に配置された状態の画面が表示部１０に表示されるように、メニューオブジェクト画像を所定位置に対応付けることを意味する。なお、Ｓ１６では、制御部３０は、ユーザの視界の正面の位置を所定位置として指定して、メニューオブジェクト画像を仮想的に配置する。そのため、Ｓ１６の処理の時点では、特定範囲（即ちユーザの視界範囲）に所定位置が含まれる。そのため、図６に示すように、表示部１０には、メニューオブジェクトを示すメニューオブジェクト画像６０が空間内に配置された状態の画面が表示される。本実施例では、表示部１０は透光性のディスプレイであるため、ユーザは、表示部１０越しに視認できる現実の物品（即ち、室内の光景）にメニューオブジェクト画像６０が合わされた態様の表示を見ることができる。

　図６に示すように、メニューオブジェクト画像６０は、メインメニューを表している。メニューオブジェクト画像６０は、選択可能な６個のアイコン６２～７２が表示されている。各アイコンは、各アプリケーションに対応している。例えば、アイコン６２はメールアプリを示し、アイコン６４は映画アプリを示し、アイコン６６はブラウザアプリを示し、アイコン６８は写真アプリを示し、アイコン７０はバーチャル地球儀アプリを示し、アイコン７２は音楽アプリを示す。ユーザは、特定範囲内で所望のアイコンにタッチするジェスチャーを行うことにより、所望のアイコンに対応するアプリケーションを起動させることができる。

　続くＳ１８では、制御部３０は、特定範囲内におけるユーザの操作を検出することを監視する。ここで、「特定範囲内におけるユーザの操作」は、ユーザがメニューオブジェクト画像等のオブジェクト画像に対して行うジェスチャー（例えば、画像の移動やサイズ変更を指示するジェスチャー、画像の表示の終了を指示するジェスチャー、アイコンを選択するジェスチャー、画像表示装置２の電源オフを指示するジェスチャー等）、空間内でのユーザの移動、ユーザの視界方向の変化等、各種の動作を含む。Ｓ１８では、制御部３０は、第１のカメラ１２からの第１の撮影画像、第２のカメラ１４からの第２の撮影画像、及び、センサ２０の検出値に基づいて、特定範囲内でユーザが操作を行ったか否かを判断する。制御部３０は、特定範囲内でユーザが操作を行ったことが検出されると、Ｓ１８でＹＥＳと判断し、Ｓ２０に進む。

　Ｓ２０では、制御部３０は、ユーザによって行われた操作が、画像表示装置２の電源オフを指示する所定のジェスチャー（以下では「終了ジェスチャー」と呼ぶ）であるか否かを判断する。制御部３０は、ユーザによって行われた操作が所定の終了ジェスチャーであると判断すると、Ｓ２０でＹＥＳと判断し、Ｓ２４に進み、画像表示装置２の電源をオフする。この場合、図３の表示装置処理が終了する。一方、制御部３０は、ユーザによって行われた操作が所定の終了ジェスチャー以外の操作であると判断すると、Ｓ２０でＮＯと判断し、Ｓ２２に進む。

　Ｓ２２では、制御部３０は、操作に応じた処理を実行する。例えば、ユーザによって行われた操作が、メニューオブジェクト画像６０（図６参照）の表示位置の移動操作である場合、制御部３０は、ユーザの操作に従って、メニューオブジェクト画像６０の表示位置を変更する。その場合、表示部１０には、変更後の位置にメニューオブジェクト画像６０が配置された状態の画面が表示される。また、例えば、図６に示すように、ユーザによって行われた操作が、メニューオブジェクト画像６０中のバーチャル地球儀アプリのアイコン７０を選択する操作（例えば、アイコン７０をタッチする操作）である場合、制御部３０は、ユーザの操作に従って、バーチャル地球儀アプリを起動させる。その場合、制御部３０は、バーチャル地球儀を示す地球儀オブジェクト画像８０を生成し、所定位置（即ち、ユーザから見て右側）に仮想的に配置する（図７～図９参照）。この場合、図７に示すように、表示部１０には、ユーザから見て右側に地球儀オブジェクト画像８０が仮想的に配置されていることを示すガイド画像９０がさらに表示される。

　制御部３０は、Ｓ２２を終えると、Ｓ１８に戻り、再びユーザの操作が行われることを監視する。これにより、ユーザが特定範囲内でジェスチャーを行ったり、ユーザが視線の方向を変えたりする操作を行う毎に、制御部３０は、操作に応じて表示部１０に表示されるオブジェクト画像、ガイド画像の表示位置及び表示態様を変更する。制御部３０は、終了ジェスチャーが行われる（Ｓ２０でＹＥＳ）まで、Ｓ１８～Ｓ２２の各処理を繰り返し実行する。

　ここで、表示部１０に表示される画面の変遷についてさらに詳しく説明する。上記の図７の例では、表示部１０には、メニューオブジェクト画像６０に加えて、ユーザから見て右側に地球儀オブジェクト画像８０が仮想的に配置されていることを示すガイド画像９０が表示されている。図８は、この状況におけるメニューオブジェクト画像６０の配置位置と、地球儀オブジェクト画像８０の配置位置の空間内における位置関係を模式的に示す。図８に示すように、表示部１０に図７の画面が表示されている間は、ユーザの視界範囲に相当する特定範囲ＳＡには、メニューオブジェクト画像６０の配置位置のみが含まれ、地球儀オブジェクト画像８０の配置位置は含まれていない。また、地球儀オブジェクト画像８０の配置位置は、ユーザの位置から見て右側である。ユーザが右側に視線を向けて、特定範囲ＳＢに地球儀オブジェクト画像８０の配置位置が含まれると（図５のＳ１８でＹＥＳ）、図９に示すように、表示部１０には、地球儀オブジェクト画像８０と、ユーザから見て左側にメニューオブジェクト画像６０が仮想的に配置されていることを示すガイド画像９２が表示される（Ｓ２２）。

　以上、本実施例の画像表示装置２の構成及び動作について説明した。上記の通り、本実施例では、制御部３０は、第１のカメラ１２から取得される第１のキャリブレーション画像と、第１のカメラ１２とは異なる位置に設けられる第２のカメラ１４から取得される第２のキャリブレーション画像と、に基づいて空間情報を特定し（図３のＳ１２でＹＥＳ）、その後、空間情報と、第１のカメラ１２から取得される第１の撮影画像と、第２のカメラ１４から取得される第２の撮影画像と、センサ２０が検出する画像表示装置２の姿勢とに基づいて、画像表示装置２の周囲の空間内における画像表示装置２の位置及び姿勢を特定する（図５のＳ３６）。第１のキャリブレーション画像、第２のキャリブレーション画像、第１の撮影画像、第２の撮影画像、センサ２０が検出する画像表示装置２の姿勢、のいずれの要素も、画像表示装置２の周囲の環境（例えば、光量等）の変化の影響を受けにくい。そのため、上記の構成によると、画像表示装置２は、周囲の空間内における自機の位置及び姿勢を適切に特定することができる。そのため、本実施例の画像表示装置２によると、適切に特定された自機の位置及び姿勢の情報を利用して、表示部１０の適切な場所にオブジェクト画像（例えば、メニューオブジェクト画像６０）を表示させることができる（図６参照）。

　また、本実施例では、制御部３０は、表示部１０にメニューオブジェクト画像６０が空間内に配置された状態の画面が表示されている間（図６参照）に、ユーザが行う操作（例えば、表示位置の変更指示等）に応じて、メニューオブジェクト画像６０の表示態様を変更することができる。そのため、画面内のメニューオブジェクト画像６０を、ユーザが行う操作に応じて適切な態様で表示することができる。また、上記の操作は、ユーザが特定範囲内で行うジェスチャーを含む。そのため、ユーザは、入力キー等の入力手段を操作することなく、自分の体を動かしてジェスチャーを行うことで、表示部１０に表示されている画面内のメニューオブジェクト画像６０を、ユーザが行う操作に応じて適切な態様で表示させることができる。ユーザは、自分の感覚に従って、メニューオブジェクト画像６０の表示態様を変更することができる。

　また、本実施例では、表示部１０は、透光性のディスプレイであって、ユーザが画像表示装置２を装着した際に、ユーザが表示部１０越しに周囲を視認できるものである。図３のＳ１６では、制御部３０は、表示部１０越しに視認できる現実画像にメニューオブジェクト画像６０が合成された態様の画面を表示部１０に表示させる。そのため、ユーザは、表示部１０越しに視認できる現実の視界にメニューオブジェクト画像６０が合成された態様の画面を見ることができる。

　また、本実施例では、制御部３０は、ユーザの視界範囲に対応する特定範囲に、地球儀オブジェクト画像８０の配置位置が含まれない場合には、図７に示すように、地球儀オブジェクト画像８０の配置位置の方向を示すガイド画像９０を含む画面を表示部１０に表示させる。即ち、ユーザは、ガイド画像９０を見ることによって地球儀オブジェクト画像８０が表示される位置を把握することができる。

（対応関係）
　図６に示されている表示部１０越しに視認できる現実画像にメニューオブジェクト画像６０が合成された態様の画面が「第１のディスプレイ画面」の一例である。メニューオブジェクト画像６０が「オブジェクト画像」の一例である。メニューオブジェクト画像６０が仮想的に配置される位置が「所定位置」の一例である。また、図９に示されているガイド画像９２を含む画面が「第２のディスプレイ画面」の一例である。

（第２実施例）
　図１０を参照して、第２実施例の画像表示装置１０２について、第１実施例と異なる点を中心に説明する。本実施例では、表示部１１０が遮光性のディスプレイであって、ユーザが画像表示装置２を装着した際に、ユーザの視界を遮るものである点において、第１実施例とは異なる。その他の構成要素は第１実施例とほぼ同様である。

　上記の通り、本実施例では、表示部１１０が遮光性のディスプレイであるため、画像表示装置２の電源がオンされると、制御部３０は、ユーザの右眼に対向する領域に第１のカメラ１２が撮影する画像を表示させ、ユーザの左眼に対向する領域に第２のカメラ１４が撮影する画像を表示させる。そして、例えば、特定範囲にメニューオブジェクト画像６０の配置位置が含まれる場合に、制御部３０は、第１の撮影画像及び第２の撮影画像に、メニューオブジェクト画像６０を合成した画面を表示部１０に表示させる。

　以上、実施例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。

（変形例１）上記の第２実施例では、制御部３０は、ユーザの右眼に対向する領域に第１のカメラ１２が撮影する画像を表示させ、ユーザの左眼に対向する領域に第２のカメラ１４が撮影する画像を表示させる。これに限られず、制御部３０は、表示部１０に、第１のカメラ１２が撮影する画像と第２のカメラ１４が撮影する画像のうちの一方のみを表示してもよい。また、制御部は、表示部１０に、第１のカメラ１２が撮影する画像と第２のカメラ１４が撮影する画像とを合成した画像を表示してもよい。

（変形例２）上記の各実施例では、図３のＳ１８において、制御部３０は、特定範囲内におけるユーザの操作を検出することを監視するが、ここに言う「ユーザの操作」は、ユーザがメニューオブジェクト画像等のオブジェクト画像に対して行うジェスチャー、空間内でのユーザの移動、ユーザの視界方向の変化等に限られず、ユーザが入力手段（入力キー等）を介して入力する操作を含んでもよい。その場合、画像表示装置２は入力手段をさらに有していてもよい。

（変形例３）上記の各実施例では、制御部３０は、キャリブレーションを実行した後に（図３のＳ１０、Ｓ１２でＹＥＳ）、リアルタイム処理（Ｓ１４）を開始する。これに限られず、制御部３０は、キャリブレーションの実行とともにリアルタイム処理を開始してもよい。「第１のキャリブレーション画像」と「第１の撮影画像」は、双方とも第１のカメラ（撮像装置）で撮像された画像ということを意味し、「第１のキャリブレーション画像」と「第１の撮影画像」は同一の画像であってもよい。同様に「第２のキャリブレーション画像」と「第２の撮影画像」は同一の画像であってもよい。また、リアルタイム処理の途中等で、キャリブレーションを再度実行しても良い。例えば、ユーザが画像表示装置２の装着位置を変更した場合（即ち、画像表示装置２を頭部から一旦外して再度装着した場合）に、キャリブレーションを再度実行してもよい。

（変形例４）上記の各実施例では、画像表示装置２、１０２は、いずれも、略眼鏡状の支持枠を有しており、眼鏡を装着するようにユーザの頭部に装着可能なものである。これに限られず、画像表示装置は、ユーザの頭部に装着可能であれば、帽子状、ヘルメット状等、任意の支持枠を有していてもよい。

（変形例５）画像表示装置は、視力矯正、目の保護等の用途のために一般的に使用されているアイウェア（眼鏡、サングラス等）に、第１のカメラ１２、第２のカメラ１４、及び、コントロールボックス１６を装着することによって形成されてもよい。その場合、アイウェアのレンズ部分が表示部として利用されてもよい。

（変形例６）上記の各実施例では、メニューオブジェクト画像６０（図６）等の各種オブジェクト画像はいずれも静止画像として表示されている。これに限られず、各種オブジェクト画像は動画（即ち、少なくとも一部がアニメーション動作する画像）として表示されてもよい。

　また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims

　ユーザの頭部に装着して用いられる画像表示装置であって、
　表示部と、
　前記ユーザの視界範囲に対応する特定範囲を撮影する第１のカメラと、
　前記第１のカメラとは異なる位置に設けられるとともに、前記特定範囲を撮影する第２のカメラと、
　前記画像表示装置の姿勢を検出可能なセンサと、
　制御部と、
　を有しており、
　前記制御部は、
　　前記第１のカメラから取得される第１のキャリブレーション画像と、前記第２のカメラから取得される第２のキャリブレーション画像と、に基づいて、前記画像表示装置の周囲の空間の特徴を特定するための空間情報を特定し、
　　前記空間情報と、前記第１のカメラから取得される第１の撮影画像と、前記第２のカメラから取得される第２の撮影画像と、前記センサが検出する前記画像表示装置の姿勢と、に基づいて、前記空間内における前記画像表示装置の位置及び姿勢を特定し、
　　前記空間内の所定位置に対応付けられるオブジェクトを表すオブジェクト画像を生成し、
　　前記特定範囲に前記所定位置が含まれる第１の場合に、前記オブジェクト画像が前記空間内の前記所定位置に配置された状態を示す第１のディスプレイ画面を前記表示部に表示させる、
　画像表示装置。
　前記制御部は、さらに、
　前記表示部に前記第１のディスプレイ画面が表示されている間に、前記ユーザが行う操作に応じて、前記第１のディスプレイ画面内における前記オブジェクト画像の表示態様を変更する、
　請求項１に記載の画像表示装置。
　前記操作は、前記ユーザが前記特定範囲内で行うジェスチャーを含む、
　請求項２に記載の画像表示装置。
　前記表示部は、透光性のディスプレイであって、前記ユーザが前記画像表示装置を装着した際に、前記ユーザが前記表示部越しに周囲を視認できるものであり、
　前記制御部は、前記第１の場合に、前記表示部に前記オブジェクト画像を表示させることによって、前記第１のディスプレイ画面を前記表示部に表示させる、
　請求項１から３のいずれか一項に記載の画像表示装置。
　前記表示部は遮光性のディスプレイであって、前記ユーザが前記画像表示装置を装着した際に、前記ユーザの視界を遮るものであり、
　前記制御部は、
　　前記第１の撮影画像と前記第２の撮影画像の少なくとも一方を前記表示部に表示させ、
　　前記第１の場合に、前記表示部に前記第１の撮影画像と前記第２の撮影画像の少なくとも一方とともに前記オブジェクト画像を表示させることによって、前記第１のディスプレイ画面を前記表示部に表示させる、
　請求項１から３のいずれか一項に記載の画像表示装置。
　前記制御部は、前記特定範囲に前記所定位置が含まれない第２の場合に、前記所定位置の方向を示すガイド画像を含む第２のディスプレイ画面を前記表示部に表示させる、
　請求項１から５のいずれか一項に記載の画像表示装置。