JP6051522B2 - ヘッドマウントディスプレイ - Google Patents

Description

本発明は、ユーザの頭部に装着される投影装置、および投影装置を制御する制御装置を備えたヘッドマウントディスプレイに関する。

ユーザの頭部に装着され、ユーザの網膜に画像光を投影することによって画像を認識させる投影装置と、投影装置を制御する制御装置とを備えたヘッドマウントディスプレイが知られている。このようなヘッドマウントディスプレイのうち、投影装置がシースルー方式で駆動するヘッドマウントディスプレイは、ユーザの眼前の景色に表示画像を重ねることで、眼前の景色と表示画像とを同時にユーザに認識させることができる。

しかしながら、投影装置を介してユーザに認識させた表示画像が、ユーザの行動の妨げになる場合がある。例えば、歩行中のユーザの眼前の景色に重ねた表示画像が、眼前にある障害物を見にくくしてしまう可能性があり、ユーザは障害物を認識できず、障害物を回避できない場合がある。これに対し、ユーザの歩行状態に応じて表示画像をユーザに認識させるか否かを切り替える技術（例えば特許文献１参照）を適用し、ユーザが歩行中である場合には画像光を投影しないことによって、ユーザに認識させた表示画像が行動の妨げになることを抑止できる。

特開平９−２１１３８２号公報

しかしながら、歩行中のユーザに対して表示画像を認識させたい場合もある。例えば、ユーザを目的地に導くためのナビゲーションシステムにヘッドマウントディスプレイが適用される場合、歩行中のユーザに、行き先を案内するための案内画像を認識させる必要があるが、上述の技術が用いられた場合、ユーザが歩行中である場合に画像光は網膜に投影されないので、歩行中のユーザに案内画像を認識させることができない。従って、歩行中のユーザが必要とする情報を提供できないという問題点がある。

本発明の目的は、ユーザの行動を妨げることなく、且つ、ユーザが必要とする画像をユーザに提供するヘッドマウントディスプレイを提供することにある。

上記目的を達成するために、本発明のヘッドマウントディスプレイは、外景を視認可能なシースルー型のヘッドマウントディスプレイであって、ユーザの網膜上に画像信号に応じた画像光を投影表示する投影装置と、前記投影装置を制御する制御装置とを備え、前記投影装置の動きを少なくとも検出し、検出された動きに応じて、現実の環境の少なくとも一部に対応して、または、関連付けられて提示される表示画像を表示させることが可能なヘッドマウントディスプレイであって、前記表示画像が、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであるか、又は、前記表示画像が、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツでないかを判定する判定手段と、前記投影装置を装着した前記ユーザが移動中であるか否かを特定する移動状態特定手段と、前記移動状態特定手段によって前記ユーザが移動中であると特定された場合において、前記判定手段によって、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツでないと判定された場合には、前記網膜上への前記画像光の投影表示が制限され、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであると判定された場合には投影表示の制限を行わないように前記投影装置を制御する制御手段とを備えている。

本発明によれば、ヘッドマウントディスプレイは、ユーザが移動中である場合且つＡＲコンテンツでない場合、網膜に画像光を投影することを制限できる。この場合、網膜に投影した画像光がユーザの移動の障害となることが抑止されるので、ユーザは投影装置を安全に使用できる。なお、ＡＲコンテンツである場合、従来通り、ユーザが移動中であっても画像光はユーザの網膜に投影されるので、ヘッドマウントディスプレイは、移動中のユーザが必要とする情報を、適切にユーザに認識させることができる。

本発明において、前記判定手段は、前記表示画像を表示するための所定のプログラムの起動状態に基づいて、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであるか否かを判定してもよい。これによってヘッドマウントディスプレイは、ＡＲコンテンツであるか否かを容易に特定できる。

本発明において、前記判定手段は、前記表示画像を表示するか否かを示す情報が、前記画像信号または画像信号に関連する情報に予め対応づけられて記憶された記憶手段を参照することによって、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであるか否かを判定してもよい。これによってヘッドマウントディスプレイは、ＡＲコンテンツであるか否かを容易に特定できる。

本発明において、前記判定手段は、前記ユーザから受け付けた指示に基づいて、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであるか否かを判定してもよい。これによってヘッドマウントディスプレイは、ＡＲコンテンツであるか否かを容易に特定できる。

本発明において、前記移動状態特定手段は、前記ユーザの頭部の動きを検出するセンサ、および、胴部の動きを検出するセンサの少なくとも一方に基づいて、前記ユーザが移動中であるか否かを特定してもよい。これによってヘッドマウントディスプレイは、ユーザが移動中であるか否かを適切に特定できる。

本発明において、前記制御装置は、前記ユーザの胴部に装着され、前記胴部の動きを検出するセンサは、前記制御装置に設けられており、前記移動状態特定手段は、検出された前記胴部の動きに基づいて、前記ユーザが移動中であるか否かを特定してもよい。これによってヘッドマウントディスプレイは、胴部のセンサをユーザに容易に取り付けることができる。

本発明において、前記投影装置は、前記ユーザの頭部に装着され、前記頭部の動きを検出するセンサは、前記投影装置に設けられており、前記移動状態特定手段は、検出された前記頭部の動きより前記ユーザの位置の情報を抽出し、その位置の情報に基づいて、前記ユーザが移動中であるか否かを特定してもよい。これによってヘッドマウントディスプレイは、ユーザが移動中であるか否かを高い精度で特定できる。

ヘッドマウントディスプレイ５の概要を示す図である。 ヘッドマウントディスプレイ５の電気的構成を示すブロック図である。 テーブル１４１を示す模式図である。 メイン処理を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。

図１を参照し、ヘッドマウントディスプレイ５の概要について説明する。ヘッドマウントディスプレイ５は、投影装置２００および制御装置１００を備えている。投影装置２００は、ユーザの眼鏡２２０に装着されて使用される。投影装置２００は、ユーザの眼の近傍から瞳孔に向けて光を照射することで、ユーザに画像を認識させることができる。制御装置１００は、ユーザの腰部に取り付けられる。制御装置１００は、投影装置２００を制御する。制御装置１００は、ケーブル１９０を介して投影装置２００と着脱可能に接続される。

投影装置２００は、出射装置２１０およびハーフミラー２５０を備えている。出射装置２１０は、ユーザに認識させる画像を示す画像信号を制御装置１００から受信し、受信した画像信号に応じて、画像光を生成する。生成された画像光は、出射装置２１０からハーフミラー２５０に向けて出力される。ハーフミラー２５０は、出射装置２１０から出力された画像光を、ユーザの瞳孔に向かって反射させる。ハーフミラー２５０は、所定の反射率（例えば５０％）を有している。ハーフミラー２５０は、外界からの外光の一部を透過させてユーザの瞳孔に導く。つまりハーフミラー２５０は、ユーザの側方から入射した画像光と、外界からの外光とを、ユーザの瞳孔に導く。これによってユーザは、実際の視界にある外景と、画像信号に応じた画像光に基づく画像とを認識することが可能となる。なお、ハーフミラー２５０はプリズムであってもよい。出射装置２１０は、眼鏡２２０と一体となっていてもよい。

制御装置１００は、ケーブル１９０を介して出射装置２１０に実際にユーザに表示する表示用画像信号や指示信号を送信する。これによって制御装置１００は、出射装置２１０から出力される画像光を制御する。制御装置１００は、図示しないＰＣと接続するためのコネクタ２０７を備えている。コネクタ２０７として、例えばＵＳＢ（登録商標）コネクタが挙げられる。ユーザは、ＰＣを操作することで、ＰＣと接続した制御装置１００に操作に対応した新たな表示画像を示す画像信号を入力させることができる。

なお上述の構成は一例であり、他の構成であってもよい。例えば、投影装置２００と制御装置１００とは光ファイバーケーブルによって接続されてもよい。制御装置１００は、画像信号に応じた強度のレーザ光をＲＧＢ各色毎に出射し、それを合波して画像光とし、光ファイバーケーブルを介して投影装置２００に出力してもよい。投影装置２００は、制御装置１００から出力された画像光を走査ミラーなどで２次元方向に走査したうえでハーフミラー２５０に出力してもよい。

図２を参照し、ヘッドマウントディスプレイ５が備える制御装置１００および投影装置２００の電気的構成について説明する。制御装置１００は、ＣＰＵ１１、ＲＡＭ１２、フラッシュＲＯＭ１３、プログラムＲＯＭ１４、画像処理部１５、インタフェース（以下「Ｉ／Ｆ」という）コントローラ１６、ビデオＲＡＭ１７、周辺Ｉ／Ｆ１８、モーションセンサ１９、およびＩ／Ｆコントローラ２２を備えている。

ＣＰＵ１１は、プログラムＲＯＭ１４に記憶された各種プログラムを読み出すことで、メイン処理（図４参照、後述）を実行する。ＲＡＭ１２には、ＣＰＵ１１が処理を実行するために必要なデータが一時的に記憶される。フラッシュＲＯＭ１３には、テーブル１４１（図３参照、後述）等が記憶される。Ｉ／Ｆコントローラ２２は、ＰＣとデータの送受信を行うためのデバイスである。ビデオＲＡＭ１７は、Ｉ／Ｆコントローラ２２を介してＰＣから受信した画像データを一時的に記憶する。画像処理部１５は、ビデオＲＡＭ１７に記憶された画像データに基づき、投影装置２００を介してユーザに認識させる表示画像の画像データを生成する。Ｉ／Ｆコントローラ１６は、画像処理部１５において生成された画像データを読み出し、表示用画像信号として、ケーブル１９０（図１参照）を介して投影装置２００に送信するためのデバイスである。周辺Ｉ／Ｆ１８は、モーションセンサ１９とＣＰＵ１１との間でデータや制御信号を伝達するためのデバイスである。モーションセンサ１９は、制御装置１００に加わる加速度を検出する加速度センサである。

投影装置２００は、ＣＰＵ３１、ＲＡＭ３２、プログラムＲＯＭ３３、周辺Ｉ／Ｆ３４、モーションセンサ３５、カメラ３６、画像表示部３７、およびＩ／Ｆコントローラ３９を備えている。

ＣＰＵ３１は、ＲＡＭ３２、ＲＯＭ３３と共同して、該ＲＯＭ３３に記憶されたプログラムに基づいて、図示しない投影装置２００に設けられた各種スィッチによる指示やＩ／Ｆコントローラ３９で受信した制御装置１００からの指示信号に応じて、画像表示部３７を制御する。ＲＡＭ３２は、ＣＰＵ３１が処理を実行するために必要なデータが一時的に記憶される。周辺Ｉ／Ｆ３４は、モーションセンサ３５およびカメラ３６とＣＰＵ３１との間でデータや制御信号を伝達するためのデバイスである。モーションセンサ３５は、投影装置２００に加わる加速度を検出するための加速度センサである。カメラ３６は、周知の撮像素子である。画像表示部３７は、Ｉ／Ｆコントローラ３９を介して入力された表示用画像信号に基づいて、ＣＰＵ３１の指示の基で画像光をハーフミラー２５０に向けて出力する。Ｉ／Ｆコントローラ３９は、ケーブル１９０を介して制御装置１００から画像信号や画像表示部３７などに関する各種指示信号を受信するためのデバイスである。

一般的なヘッドマウントディスプレイの動作の概要について説明する。ヘッドマウントディスプレイの応用例として、拡張現実（Augmented Reality、以下ＡＲという）コンテンツを表示する場合がある。この場合のヘッドマウントディスプレイは、該ヘッドマウントディスプレイの位置や向きの情報を検出できる手段を備えている必要がある。ＡＲコンテンツは、現実の環境の少なくとも一部に対応して、または、関連付けられた付加情報（付加画像）として合成提示される、バーチャルな電子情報（表示画像）である。ＡＲコンテンツは、現実の環境中の特定の物体に関する説明や関連情報を含み、説明対象となる実物体に対応づけてその近くに提示される。このため、ヘッドマウントディスプレイがＡＲコンテンツを表示する場合、ヘッドマウントディスプレイの動きに応じて表示内容や表示位置を決めたり補正したりすることによって、表示内容や表示位置を実物体に追従させる処理が実行されることになる。以下、この補正を「表示補正」ともいう。ＡＲコンテンツの一例として、道案内情報が挙げられる。例えばＡＲコンテンツとして道案内情報を示す画像の画像光をユーザの網膜に投影し、ユーザに道案内情報を認識させる場合を想定する。この場合、ユーザが移動中にも利用することを想定しているので、ヘッドマウントディスプレイは、ユーザが移動しているか否かに関わらず、画像表示の表示を継続することが好ましい。尚、ＡＲコンテンツの別の一例として、実空間上に、仮想の物体等の表示を行い、其の合成空間上で、其の物体等を操作して楽しむＶＲ（バーチャルリアリティ）型ゲームなども挙げられる。

ＡＲコンテンツを表示可能なヘッドマウントディスプレイであっても、ＡＲコンテンツ以外の画像を表示できるようにすることが望ましい。例えばユーザが移動中（歩行中や、自動車および自転車で移動中など）である場合に、ヘッドマウントディスプレイがＡＲコンテンツ以外の画像をユーザの網膜に投影し、ユーザに画像を認識させたとする。移動方向に障害物等が存在し、この障害物に画像が重なってしまった場合、ユーザは障害物を認識しにくくなる。このような場合、ユーザは障害物等と衝突してしまう可能性などがあり、危険である。従ってヘッドマウントディスプレイは、ユーザが移動中である場合には、ＡＲコンテンツ以外の画像をユーザに認識させないことが好ましい。

そこで本発明のヘッドマウントディスプレイ５は、ユーザが移動している場合には、ＡＲコンテンツ以外のコンテンツ（例えば、通常のＰＣやビデオ機器から入力される映像信号など）の出力を制限し、ユーザにコンテンツを認識させないようにする。これによってヘッドマウントディスプレイ５は、出力した画像光がユーザの移動の障害となることを抑止できる。従ってユーザは、ヘッドマウントディスプレイ５を安全に使用することができる。以上のようにヘッドマウントディスプレイ５は、ユーザの動作状態、および、ＡＲコンテンツを表示するか否かに応じて、画像光を出力するか否かを切り替え、適切な画像を適切なタイミングでユーザに認識させることができる。

ユーザの動作状態を特定する方法について詳細に説明する。制御装置１００のＣＰＵ１１は、制御装置１００に設けられたモーションセンサ１９、および、投影装置２００に設けられたモーションセンサ３５によって検出される加速度に基づき、テーブル１４１（図３参照）を参照することによって、ユーザの動作状態を特定する。具体的には以下の通りである。

ＣＰＵ１１は、モーションセンサ１９によって検出された加速度を、周辺Ｉ／Ｆ１８を介して取得する。またＣＰＵ１１は、モーションセンサ３５によって検出された加速度を、ケーブル１９０を介して投影装置２００から取得する。通常は、この取得した加速度に、積分などの処理を施し、速度を算出し、この速度を使用して判断を行う。ＣＰＵ１１は、モーションセンサ３５によって検出された加速度から算出した速度と、所定の第一閾値とを比較することによって、投影装置２００が取り付けられたユーザの頭部の動きの大きさを判断する。またＣＰＵ１１は、モーションセンサ１９によって検出された加速度から算出した速度と、所定の第二閾値とを比較することによって、制御装置１００が取り付けられたユーザの腰部の動きの大きさを判断する。算出された速度が閾値よりも大きい場合、頭部または腰部の動きは大きいと判断され、算出された速度が閾値以下である場合、頭部又は腰部の動きは小さいと判断される。

図３は、フラッシュＲＯＭ１３に記憶されたテーブル１４１を示している。上述のようにして判断された頭部および腰部の動きの大きさが、テーブル１４１に適用される。具体的には次の通りである。例えば、頭部および腰部の動きが大きいと判断された場合、双方に対応する「移動中」がユーザの動作状態として特定される。ユーザの移動中には、頭部及び腰部は大きく動き、双方の速度が大きくなるためである。また例えば、頭部の動きが大きく、腰部の動きが小さいと判断された場合、双方に対応する「首振り状態」がユーザの動作状態として特定される。ユーザが止まった状態で首を上下左右に動かした場合、頭部の動きのみ大きくなり、腰部の動きは小さい状態で維持されるためである。また例えば、頭部および腰部の動きが小さいと判断された場合、双方に対応する「静止状態」がユーザの動作状態として特定される。

このようにＣＰＵ１１は、ユーザの頭部の動きを検出するモーションセンサ３５、および、ユーザの腰部の動きを検出するモーションセンサ１９によって検出された動きに基づいて、ユーザの動作状態を「移動中」「首振り状態」「静止状態」の何れかに特定することができる。従ってＣＰＵ１１は、ユーザの動作状態を正確かつ詳細に特定できる。

なおヘッドマウントディスプレイ５は、ユーザの動作状態を「移動中」と特定した場合、ＡＲコンテンツの画像光をそのまま継続して出力するが、ＡＲコンテンツ以外のコンテンツの画像光であれば、その出力を制限するものである。またヘッドマウントディスプレイ５は、ユーザの移動状態を「首振り状態」「静止状態」と特定した場合は、画像光を出力しても危険は無いと考えられるので、ＡＲコンテンツであるか否かに関わらず画像光を出力する。このようにヘッドマウントディスプレイ５は、ＡＲコンテンツであるか否かの判断と、ユーザの動作状態を正確かつ詳細に特定することによって、適切な画像を必要に応じてユーザに提供することができる。

図４を参照し、制御装置１００のＣＰＵ１１によって実行されるメイン処理について説明する。メイン処理は、ヘッドマウントディスプレイ５に対してユーザがプログラムを起動する指示を入力した場合に、ＣＰＵ１１において起動され実行される。プログラムは、特定の情報をユーザに提供する処理をＣＰＵ１１が実行するためのものである。一例として、道案内情報をユーザに提供する道案内プログラム、移動中のユーザに危険物を通知する危険物通知プログラム、メンテナンス情報を作業者に通知するメンテナンス情報通知プログラム、医者の手術や治療を補助する医療補助プログラム等が挙げられる。ユーザは、ヘッドマウントディスプレイ５の用途に応じて、実行を指示するプログラムを選択することになる。

メイン処理が開始されると、ＣＰＵ１１は、はじめにモーションセンサ１９、３５（図２参照）によって検出された加速度を取得する（Ｓ１１）。ＣＰＵ１１は、テーブル１４１（図３参照）を参照することによって、ユーザの動作状態を特定する（Ｓ１３、Ｓ１５）。ＣＰＵ１１は、モーションセンサ３５によって検出された投影装置２００の加速度に基づき、ユーザの頭部の動きが大きいかを判断する（Ｓ１３）。検出された加速度から算出された速度が第一閾値以下である場合、投影装置２００の動きは小さいので、ＣＰＵ１１は、ユーザの頭部の動きが小さいと判断する（Ｓ１３：ＮＯ）。ＣＰＵ１１は、テーブル１４１に基づいてユーザの動作状態を「静止状態」と特定する。この場合、ユーザは移動していないため、ユーザに認識させた画像がユーザの移動の障害になることはない。ＣＰＵ１１は、ＡＲコンテンツであるか否かにかかわらず、画像をユーザに認識させるために、投影装置２００を制御して画像光を出力させる（Ｓ２５）。具体的には以下の通りである。

ビデオＲＡＭ１７に記憶された画像データに基づき、制御装置１００の画像処理部１５等において実際にユーザに表示する表示用画像信号が生成される。生成された表示用画像信号が、ケーブル１９０（図１参照）を介して投影装置２００に送信される。投影装置２００は、制御装置１００から受信した表示用画像信号を所定のタイミングで画像表示部３７（図２参照）へ出力し、表示用画像信号に基づく画像光が、画像表示部３７から出力される。これによって移動中でないユーザは、様々な表示画像を認識できる。処理はＳ２７に進む。

一方、モーションセンサ３５によって検出された加速度から算出された速度が第一閾値よりも大きい場合、投影装置２００の動きは大きいので、ＣＰＵ１１は、ユーザの頭部の動きが大きいと判断する（Ｓ１３：ＹＥＳ）。次にＣＰＵ１１は、モーションセンサ１９によって検出された加速度から算出された速度に基づき、ユーザの腰部の動きが大きいかを判断する（Ｓ１５）。検出された加速度から算出された速度が、第二閾値以下である場合、制御装置１００の動きは小さいので、ＣＰＵ１１は、ユーザの腰部の動きが小さいと判断する（Ｓ１５：ＮＯ）。ＣＰＵ１１は、テーブル１４１に基づいてユーザの動作状態を「首振り状態」と特定する。この場合、ユーザは視点を移動させているのみで移動していないことになるので、ユーザに認識させた画像がユーザの移動の障害になることはない。ＣＰＵ１１は、表示画像がＡＲコンテンツであるか否かにかかわらず、表示画像をユーザに認識させるために、投影装置２００を制御して画像光を出力させる（Ｓ２５）。これによって、頭部が動いていても、静止している状態のユーザは、様々な表示画像を認識できる。処理はＳ２７に進む。

他方、モーションセンサ３５によって検出された加速度から算出された速度が、第二閾値よりも大きい場合、制御装置１００の動きは大きいので、ＣＰＵ１１は、ユーザの腰部の動きが大きいと判断する（Ｓ１５：ＹＥＳ）。ユーザの頭部および腰部の動きはいずれも大きい状態であることになるので、ＣＰＵ１１は、テーブル１４１に基づいてユーザの動作状態を「移動中」と特定する。

ＣＰＵ１１は、ＡＲコンテンツであるか否かを特定し（Ｓ１９）、投影装置２００から画像光を出力させるか否かを判断する。ＣＰＵ１１は、（１）画像信号が示す属性情報の内容、（２）ユーザが起動を指示したプログラム、および、（３）ユーザがＡＲコンテンツの表示を指示する入力操作を行ったか、のうち少なくともいずれかによって、表示補正が行われるか否か、即ち、ＡＲコンテンツであるか否かを判定する。具体的には以下のとおりである。

（１）については、ＰＣやビデオ機器等から入力される画像信号を直接解析することによって、ＣＰＵ１１は、表示画像がＡＲコンテンツであるか否かを判断する。なお、情報の内容を示すヘッダ情報が画像信号に予め含められている場合、このヘッダ情報を参照することによって、画像データを直接解析することなく、表示画像がＡＲコンテンツであるかを判断できる。例えば道案内情報や、移動中の作業者に通知する危険物情報等を示す表示画像である場合、ＡＲコンテンツであると判定される。一方、医療補助情報やメンテナンス情報等を示す表示画像である場合、ＡＲコンテンツではないと判定される。

なお上述の判断は、例えば、フラッシュＲＯＭ１３に予め記憶されたテーブルであって、情報のファイルフォーマットや内容と、ＡＲコンテンツであるか否かを示すフラグ情報とが対応付けられたテーブルを参照することによって行われてもよい。具体的には、画像データから得られた情報のファイルフォーマットや内容に対応するフラグ情報を、テーブルを参照することによって特定し、特定したフラグ情報に基づいて、ＡＲコンテンツであるか否かを判定してもよい。また例えば、予めフラッシュＲＯＭ１３に記憶されたＡＲコンテンツのリストを参照することによって行われてもよい。具体的には、画像データから得られた情報のファイルフォーマットや内容がリストに含まれている場合、ＡＲコンテンツであると判定してもよい。

（２）については、ユーザが最初に起動を指示したプログラムが、ＡＲコンテンツをユーザに提供するためのプログラムであるか否かによって、ＣＰＵ１１は、ＡＲコンテンツであるか否かを判定する。例えば道案内プログラムがユーザの指示によって起動されている場合、道案内情報がＡＲコンテンツとしてユーザに提供されるので、ＣＰＵ１１は、ＡＲコンテンツであると判定する。一方、医療補助プログラムがユーザの指示によって起動されている場合、医療補助情報がユーザに提供されるので、ＣＰＵ１１は、ＡＲコンテンツではないと判定する。

（３）については、ユーザがＰＣを介してＡＲコンテンツである旨を指示する操作を制御装置１００に予め設定しているか否かによって、ＣＰＵ１１は、表示画像がＡＲコンテンツであるかを判定する。なお、ユーザがＰＣを介してＡＲコンテンツである旨を指示する操作を設定した場合、制御装置１００のフラッシュＲＯＭ１３に、表示画像がＡＲコンテンツである旨を示すフラグ情報が記憶される。ＣＰＵ１１は、このフラグ情報を参照することによって、表示画像がＡＲコンテンツであるか否かを判定することができる。

上述の結果、（１）（２）（３）のうちいずれによっても、ＡＲコンテンツではないと判定された場合（Ｓ２１：ＮＯ）、移動中のユーザに表示画像を認識させた場合にユーザの移動の障害となる可能性がある。このためＣＰＵ１１は、投影装置２００から画像光が出力されないか、または、外景の視認の邪魔にならないように投影装置２００を制御する。投影装置２００から既に画像光が出力されている場合には、ＣＰＵ１１は、画像光の出力が停止されるように投影装置２００を制御する（Ｓ２３）。これによって移動中のユーザは、周囲の状況を良好に視認することができるので、安全に行動できる。処理はＳ２７に進む。

一方、（１）（２）（３）のうち少なくともいずれかによって、ＡＲコンテンツであると判定された場合（Ｓ２１：ＹＥＳ）、ＡＲコンテンツは移動中のユーザが必要としている情報を含んでいる可能性がある。ＣＰＵ１１は、ＡＲコンテンツをユーザに認識させるために、投影装置２００を制御してＡＲコンテンツの画像光を出力させる（Ｓ２５）。これによってユーザは、移動中に必要なＡＲコンテンツの情報を入手できる。処理はＳ２７に進む。

ＣＰＵ１１は、起動中のプログラムを終了させる指示がユーザによって入力されたかを判断する（Ｓ２７）。プログラムを終了させる指示が入力されていない場合（Ｓ２７：ＮＯ）、処理はＳ１１に戻る。一方、プログラムを終了させる指示が入力された場合（Ｓ２７：ＹＥＳ）、メイン処理は終了する。

以上説明したように、ヘッドマウントディスプレイ５は、ユーザの動作状態、および、表示補正が行われるか否か、即ちＡＲコンテンツであるか否かに応じて、画像光を出力したり、画像光の出力を制限したりできる。ヘッドマウントディスプレイ５は、ユーザが移動中であっても、移動中のユーザが必要とするＡＲコンテンツの画像光は出力する。このためユーザは、ヘッドマウントディスプレイ５を有効的に使用することができる。一方、ヘッドマウントディスプレイ５は、ユーザが移動中である場合には、ＡＲコンテンツ以外のコンテンツの画像光の出力を制限することによって、ユーザの移動の障害となることを抑止する。従ってユーザは、ヘッドマウントディスプレイ５を安全に使用できる。

なお本発明は上述の実施形態に限定されず、種々の変更が可能である。上述では、投影装置２００に設けられたモーションセンサ３５、および、制御装置１００に設けられたモーションセンサ１９によって検出される加速度に基づいて、ヘッドマウントディスプレイ５のユーザの動作状態が判断されていたが、例えばＣＰＵ１１は、モーションセンサ１９およびモーションセンサ３５の何れか一方によって検出される加速度のみに基づいてユーザの動作状態を特定してもよい。

例えば、投影装置２００に設けられたモーションセンサ３５のみによってユーザの動作状態を特定する場合、次のようにして特定してもよい。ＣＰＵ１１は、モーションセンサ３５によって検出された加速度を積分してまず速度を算出し、その速度に基づいて特定してもよい。または、更にその速度を積分して位置を算出し、その算出された速度または位置に基づいてユーザの動作状態を特定してもよい。具体的には、算出された速度や位置が所定の範囲外である場合に、ＣＰＵ１１は、ユーザが移動中であると判断してもよい。一方、算出された速度や位置が所定の範囲内であれば、ユーザは、静止か静止に近い状態であるか、又はユーザ自体が移動をしていない首振り状態であると判断してもよい。これによってヘッドマウントディスプレイ５は、より少ないモーションセンサによってユーザの動作状態を適切に特定できる。また、ヘッドマウントディスプレイ５は、制御装置１００が、投影装置２００に一体化されるような形態であってもよい。この場合、前述した方法によると、頭部のセンサのみでも判断できるので実施がし易くなる。

上述の実施例では、モーションセンサ１９、３５によってユーザの動作状態を特定していたが、モーションセンサ１９、３５の代わりにＧＰＳセンサ等の別のセンサが使用されてもよい。この場合、ＧＰＳセンサによって検出される位置情報が変化している場合に、ＣＰＵ１１はユーザが移動中であると判断してもよい。また、モーションセンサ３５の代わりにカメラ３６が使用されてもよい。この場合、カメラ３６によって撮影された撮影画像の変化を抽出して解析することによって、ユーザが移動中であるかを判断してもよい。なお、撮影画像の静止部分と変化部分とを抽出し、静止部分と変化部分の位置がほぼ固定している場合などは、例えばユーザが車両の助手席や電車に乗っている場合と判断することも可能となる。この場合、ユーザ自体は、乗り物に乗っており、安全と考えて、画像表示を継続してもよい。従ってヘッドマウントディスプレイ５は、より正確にユーザの動作状態を特定することができる。

上述では、ユーザの動作状態が移動中であると特定された場合であって、且つ、表示画像がＡＲコンテンツ以外である場合、投影装置２００からの画像光の出力が停止されていた。これに対し、ユーザに認識させる画像がユーザの移動の障害にならないように画像光を調整し、投影装置２００から出力してもよい。例えば、ユーザに認識させる画像の大きさを小さくし、中心部から外景の視認に影響の少ない周辺部に移動させたり、画像を半透明にしたりしてもよい。これによって、ユーザに認識させた画像が移動の妨げとなることを抑止しつつ、ユーザに対して画像を継続して認識させることができる。

道案内プログラムが起動された場合であって、ヘッドマウントディスプレイ５の現在位置を特定するためのＧＰＳセンサが用いられている場合、ユーザに認識させる表示画像がＡＲコンテンツであるか否かは、そのＧＰＳセンサが起動しているか否かによって判断されてもよい。ＧＰＳセンサが起動している場合、道案内プログラムが同時に実行中であることになるので、ＡＲコンテンツ（道案内情報）であると判断してもよい。尚、ＧＰＳセンサが起動していてもＡＲコンテンツが表示されているとは言い切れない場合があるので、ＧＰＳセンサで検出された位置のデータが表示画像の位置や内容の変更に利用されているか否かで判断される方が好ましいといえる。なお道案内プログラムにおいて、ＧＰＳセンサの代わりにモーションセンサが使用される場合、モーションセンサが起動しているか否かによって道案内プログラムが起動しているか否かを判断できることになる。このためこのような場合、モーションセンサが起動している場合にＡＲコンテンツであると判断してもよい。

上述では、制御装置１００のＣＰＵ１１がユーザの動作状態を判断し、投影装置２００からの画像光の出力制御を行なっていた。これに対し、投影装置２００のＣＰＵ３１がユーザの動作状態を判断すると同時に、画像光の出力制御を行なってもよい。モーションセンサ１９の取り付けられる場所は、ユーザの腰部に限定されず、胴部であればいずれの場所であってもよい。例えば制御装置１００がユーザの胸ポケットに入れられて使用される場合、モーションセンサ１９はユーザの胸部の加速度を検出することになる。

上述の実施例では、制御装置１００や投影装置２００の動きを判断してから、ＡＲコンテンツであるか否かを判断し、ユーザへ投影するか否かを決めている。これに対し、ＡＲコンテンツであるか否かを先に判断し、ＡＲコンテンツでない場合、制御装置１００や投影装置２００の動きを判断してもよい。そして移動中であれば、ユーザへの投影表示を制限し、ＡＲコンテンツであれば、移動中であるか否かによらず、表示してもよい。

なお、Ｓ１９、Ｓ２１の処理を行うＣＰＵ１１が本発明の「判定手段」に相当する。Ｓ１３、Ｓ１５の処理を行うＣＰＵ１１が本発明の「動作状態特定手段」に相当する。Ｓ２３、Ｓ２５の処理を行うＣＰＵ１１が本発明の「制御手段」に相当する。

５ ヘッドマウントディスプレイ
１９、３５ モーションセンサ
３７ 画像表示部
１００ 制御装置
１４１ テーブル
２００ 投影装置

Claims (7)

1. 外景を視認可能なシースルー型のヘッドマウントディスプレイであって、ユーザの網膜上に画像信号に応じた画像光を投影表示する投影装置と、前記投影装置を制御する制御装置とを備え、前記投影装置の動きを少なくとも検出し、検出された動きに応じて、現実の環境の少なくとも一部に対応して、または、関連付けられて提示される表示画像を表示させることが可能なヘッドマウントディスプレイであって、
   前記表示画像が、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであるか、又は、前記表示画像が、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツでないかを判定する判定手段と、
   前記投影装置を装着した前記ユーザが移動中であるか否かを特定する移動状態特定手段と、
   前記移動状態特定手段によって前記ユーザが移動中であると特定された場合において、前記判定手段によって、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツでないと判定された場合には、前記網膜上への前記画像光の投影表示が制限され、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであると判定された場合には投影表示の制限を行わないように前記投影装置を制御する制御手段と
   を備えたことを特徴とするヘッドマウントディスプレイ。
2. 前記判定手段は、
   前記表示画像を表示するための所定のプログラムの起動状態に基づいて、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであるか否かを判定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記判定手段は、
   前記表示画像を表示するか否かを示す情報が、前記画像信号または画像信号に関連する情報に予め対応づけられて記憶された記憶手段を参照することによって、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであるか否かを判定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
4. 前記判定手段は、
   前記ユーザから受け付けた指示に基づいて、前記ユーザが移動中にも利用することを想定しているＡＲコンテンツであるか否かを判定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
5. 前記移動状態特定手段は、
   前記ユーザの頭部の動きを検出するセンサ、および、胴部の動きを検出するセンサの少なくとも一方に基づいて、前記ユーザが移動中であるか否かを特定することを特徴とする請求項１から４のいずれかに記載のヘッドマウントディスプレイ。
6. 前記制御装置は、前記ユーザの胴部に装着され、前記胴部の動きを検出するセンサは、前記制御装置に設けられており、
   前記移動状態特定手段は、
   検出された前記胴部の動きに基づいて、前記ユーザが移動中であるか否かを特定することを特徴とする請求項５に記載のヘッドマウントディスプレイ。
7. 前記投影装置は、前記ユーザの頭部に装着され、前記頭部の動きを検出するセンサは、前記投影装置に設けられており、
   前記移動状態特定手段は、
   検出された前記頭部の動きより前記ユーザの位置の情報を抽出し、その位置の情報に基づいて、前記ユーザが移動中であるか否かを特定することを特徴とする請求項５又は６に記載のヘッドマウントディスプレイ。

Images