JP5218354B2

JP5218354B2 - ヘッドマウントディスプレイ

Info

Publication number: JP5218354B2
Application number: JP2009215085A
Authority: JP
Inventors: 里嘉中澤
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2009-09-16
Filing date: 2009-09-16
Publication date: 2013-06-26
Anticipated expiration: 2029-09-16
Also published as: JP2011065392A; US20110063194A1

Description

本発明は、ユーザの眼にコンテンツデータによって示されるコンテンツ画像を視認可能に提示するヘッドマウントディスプレイに関するものである。

従来から、画像を提示する小型の装置に関する技術が提案されている。例えば、デジタルカメラ、ビデオカメラ又はメモリカードをデータ変換アダプタに接続し、これらに記憶されている画像を、該データ変換アダプタに接続されているデータ表示器の液晶表示器にほぼ瞬時に再現・表示できる携帯式データ表示装置が提案されている。ここで、データ表示器は、平板状に形成されているので、軽量かつコンパクトであり、データ変換アダプタも軽量かつコンパクトであり、したがって、該携帯式データ表示装置は、容易に携帯することができ、かつその保管・収納ないしは設置にほとんどスペースを必要とせず、また、非常に簡素な構造であるので極めて安価に製作することができるとされている（例えば、特許文献１参照）。

なお、画像を提示する小型の装置として、ユーザの頭部に装着するヘッドマウントディスプレイが存在し、これに関する技術が提案されている（例えば、特許文献２参照）。

特開平１１−２４９５８９号公報特開２００４−２１９３１号公報

複数の工程を含む一連の作業を実行するに際し、各工程のポイントなどが明記されたマニュアル（作業指図書）などを確認しつつ、この一連の作業を進めることがある。このような場合、ヘッドマウントディスプレイで、ユーザ（作業者）に各工程の進行に合わせて実行すべき工程のポイントが明記されたページ（コンテンツ画像）を提示することは、効率的な作業を実現する上で有効な手法であると考えられる。

ところで、各工程が終了したとき、ヘッドマウントディスプレイを装着して作業を行っているユーザが自身の眼で視認可能な被写体（ユーザの視野範囲の物など）を撮像し、撮像画像を保存しておき、後に、この撮像画像を、所定の管理などに役立てるという場合がある。例えば、ユーザが実行している作業の対象物または作業場所などを撮像しておき、一連の作業における各工程が、全て好適に実行されたことを撮像画像で確認する場合がある。このような場合、各工程が終了した時点で、被写体を撮像することが必要である。

本発明は、ユーザに順次提示される順番付けされた複数のコンテンツ画像の進行に際し、ユーザが所定の被写体を撮像し忘れることを防止可能なヘッドマウントディスプレイを提供することを目的とする。

上記従来の課題に鑑みなされた本発明のヘッドマウントディスプレイは、コンテンツデータによって示されるコンテンツ画像それぞれを、順次、ユーザの眼に提示するに際し、このヘッドマウントディスプレイが備える撮像手段によって被写体が撮像された場合に、次のコンテンツ画像を提示することとしたものである。

本発明を反映した第１の課題解決手段は、コンテンツデータによって示されるコンテンツ画像それぞれを、順次、ユーザの眼に視認可能に提示するヘッドマウントディスプレイであって、順番付けされた複数のコンテンツ画像それぞれを提示するコンテンツ画像提示手段と、被写体を撮像可能な撮像手段と、前記コンテンツ画像提示手段によって提示されている一のコンテンツ画像に関連付けて、前記被写体の撮像指示が登録されているかについて判断する第１判断手段と、前記第１判断手段によって前記一のコンテンツ画像に前記撮像指示が登録されていると判断された場合、前記被写体の撮像が実行されたとき、順番付けされた順序が前記一のコンテンツ画像の次の順序である他のコンテンツ画像が提示されるように前記コンテンツ画像提示手段を制御する進行制御手段とを備えることを特徴とするヘッドマウントディスプレイである。これによれば、一のコンテンツ画像から順番付けされた順序が次の順序である他のコンテンツ画像への進行を、被写体の撮像が実行された場合に行うようにすることができる。

第２の課題解決手段は、第１の課題解決手段のヘッドマウントディスプレイであって、前記撮像手段によって撮像された前記被写体を含む撮像画像が適切であるかについて判断する第２判断手段を備え、前記進行制御手段は、さらに、前記第２判断手段によって前記撮像画像が適切であると判断された場合、前記他のコンテンツ画像が提示されるように前記コンテンツ画像提示手段を制御することを特徴とする。これによれば、被写体を含む撮像画像が適切に撮像された場合に、他のコンテンツ画像が提示されるようにすることができる。

第３の課題解決手段は、第２の課題解決手段のヘッドマウントディスプレイであって、前記第２判断手段は、前記撮像画像に前記被写体として特定の対象物が含まれている場合、前記撮像画像が適切であると判断し、前記撮像画像に前記被写体として前記特定の対象物が含まれていない場合、前記撮像画像が適切ではないと判断することを特徴とする。これによれば、撮像画像の適切または不適切を好適に判断することができる。

第４の課題解決手段は、第１から第３の課題解決手段のいずれか１つのヘッドマウントディスプレイであって、前記撮像手段によって撮像された前記被写体を含む撮像画像と、前記一のコンテンツ画像とを関連付けて登録する第１関連付手段を備えることを特徴とする。これによれば、被写体を含む撮像画像とコンテンツ画像との関連付けを行うことができる。

第５の課題解決手段は、第１から第４の課題解決手段のいずれか１つのヘッドマウントディスプレイであって、前記撮像指示を、前記撮像手段によって前記被写体を撮像すべき前記コンテンツ画像それぞれに関連付けて登録した第２関連付手段を備え、前記第１判断手段は、前記第２関連付手段に前記一のコンテンツ画像に関連付けて前記撮像指示が登録されている場合、前記撮像指示が登録されていると判断し、前記第２関連付手段に前記一のコンテンツ画像に関連付けて前記撮像指示が登録されていない場合、前記撮像指示が登録されていないと判断することを特徴とする。これによれば、撮像指示が登録されている場合と撮像指示が登録されていない場合とを、第２関連付手段への登録に基づき判断することができる。

第６の課題解決手段は、第１から第５の課題解決手段のいずれか１つのヘッドマウントディスプレイであって、前記第１判断手段によって前記一のコンテンツ画像に前記撮像指示が登録されていると判断された場合、前記被写体が撮像されるように前記撮像手段を制御する撮像制御手段を備えることを特徴とする。これによれば、被写体の撮像を自動的に実行することができる。

本発明によれば、ユーザに順次提示される順番付けされた複数のコンテンツ画像の進行に際し、ユーザが所定の被写体を撮像し忘れることを防止可能なヘッドマウントディスプレイを得ることができる。

ヘッドマウントディスプレイを示す図である。（ａ）はヘッドマウントディスプレイ本体の上面図であり、（ｂ）は正面図であり、（ｃ）は左側面図である。制御ボックスの機能ブロックを示す図である。画像提示部の機能ブロックを示す図である。第１処理形態のコンテンツ画像提示処理のフローチャートを示す図である。コンテンツ画像を示す図である。撮像指示テーブルを示す図である。第２処理形態のコンテンツ画像提示処理のフローチャートを示す図である。撮像指示を含むコンテンツ画像と照合画像を含むコンテンツ画像とを利用した構成を説明する図である。

本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。上記課題解決手段は以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に説明する各構成において、所定の構成を省略することができる。また、以下に説明する各処理において、所定のステップを省略することができる。

（ヘッドマウントディスプレイの概要）
ヘッドマウントディスプレイ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ／以下、「ＨＭＤ」ともいう。）１０について、図１および図２を参照して説明する。ＨＭＤ１０は、ＨＭＤ本体１００と制御ボックス２００とを含む。ＨＭＤ本体１００は、ユーザの顔に装着され、利用される。制御ボックス２００は、ユーザの腰などに取り付けられる。

ＨＭＤ本体１００は、ユーザの耳に当たるモダン１０２Ａ，１０２Ｂが一端に取り付けられたテンプル１０４Ａ，１０４Ｂと、テンプル１０４Ａ，１０４Ｂの他端に蝶番１１２Ａ，１１２Ｂを介して連結されたヨロイ１０６Ａ，１０６Ｂと、ヨロイ１０６Ａ，１０６Ｂを連結するフロントフレーム１０８と、フロントフレーム１０８の中央部に取り付けられ、ユーザの鼻に当接する鼻パッド１１０とを備える。これら各部は、ＨＭＤ本体１００の骨格部を形成する。ヨロイ１０６Ａ，１０６Ｂに形成された蝶番１１２Ａ，１１２Ｂでテンプル１０４Ａ，１０４Ｂを折りたたむことができる。ＨＭＤ本体１００の骨格部の構成は、例えば、通常の眼鏡と同様であり、ＨＭＤ本体１００は、ユーザが装着した状態において、モダン１０２Ａ，１０２Ｂと、鼻パッド１１０とによりユーザの顔に支持される。なお、図２（ｂ）では、モダン１０２Ａ，１０２Ｂおよびテンプル１０４Ａ，１０４Ｂの図示を省略している。

ＨＭＤ本体１００の骨格部には、画像提示部１１４が、ヨロイ１０６Ａ付近に設けられた取付部１２２を介して取り付けられている。画像提示部１１４は、ヨロイ１０６Ａ付近に取付部１２２を介して取り付けられた状態において、ＨＭＤ本体１００を装着したユーザの左眼１１８と略同一の高さとなる位置に配置されている。画像提示部１１４の上面にはＣＣＤセンサ２６０が取り付けられている（図２で図示を省略、図１参照）。画像提示部１１４およびＣＣＤセンサ２６０は、信号ケーブル２５０を介して制御ボックス２００と接続されている。詳細は後述するが、制御ボックス２００は、所定の領域に記憶されたコンテンツデータ２０６２に対して再生処理（レンダリング処理）を実行し、これによって形成されたコンテンツ画像を含む画像信号を、信号ケーブル２５０を介して画像提示部１１４に出力する。画像提示部１１４は、制御ボックス２００が出力する画像信号を取得し、画像信号に基づくコンテンツ画像を、ハーフミラー１１６に向けて光学的に出射する。

画像提示部１１４から出射されたコンテンツ画像を表す画像光１２０ａは、ハーフミラー１１６で反射し、反射した画像光１２０ｂがユーザの左眼１１８に入射、換言すれば、視認可能に提示（投影）される。これにより、ユーザはコンテンツ画像を視認する。ハーフミラー１１６は、外界像を表す外光を透過する。ユーザは、ＨＭＤ本体１００を装着した状態でハーフミラー１１６を介して左眼１１８で外界像をコンテンツ画像と重ねて視認することができる。

なお、画像提示部１１４は、取得した画像信号に応じた画像光１２０ａ，１２０ｂを２次元方向に走査し、その走査された画像光１２０ａ，１２０ｂをユーザの左眼１１８に導き網膜上にコンテンツ画像を形成する網膜走査型のディスプレイを用いて構成することができる他、液晶ディスプレイ、有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイその他の装置を用いた構成とすることもできる。

（制御ボックス）
制御ボックス２００について、図３を参照して説明する。制御ボックス２００は、自装置の制御を司るＣＰＵ２０２と、以下に説明するコンテンツ画像提示処理を含む各種処理のためのプログラムを記憶するプログラムＲＯＭ２０４と、不揮発性のフラッシュＲＯＭ２０６と、作業領域としてのＲＡＭ２０８とを備える。例えば、ＣＰＵ２０２は、ＲＡＭ２０８上で、プログラムＲＯＭ２０４に記憶されているコンテンツ画像提示処理（図５，図８参照）のためのプログラムを実行する。ＣＰＵ２０２が、プログラムＲＯＭ２０４に記憶された各種プログラムをＲＡＭ２０８上で実行することにより、各種機能手段が構成される。なお、フラッシュＲＯＭ２０６には、コンテンツデータ２０６２と撮像指示テーブル２０６４と照合画像２０６６と撮像画像テーブル２０６８と撮像画像２０７０とが記憶されている。これら各データなどについては後述する。

制御ボックス２００は、ビデオＲＡＭ２１０と、ＨＭＤ接続Ｉ／Ｆコントローラ２２０と外部装置接続Ｉ／Ｆコントローラ２３０と周辺Ｉ／Ｆ２４０とを備える。ビデオＲＡＭ２１０は、再生処理によって形成されたコンテンツ画像および後述する外部装置４００から入力されたコンテンツ画像などを記憶する。ＨＭＤ接続Ｉ／Ｆコントローラ２２０は、信号ケーブル２５０を介してＨＭＤ本体１００に接続され、ＣＰＵ２０２からの指令に基づき、ＨＭＤ本体１００の画像提示部１１４との間で行われる各種信号の入出力を制御する。具体的に、ＨＭＤ接続Ｉ／Ｆコントローラ２２０は、コンテンツ画像を含む画像信号および画像提示部１１４に対する制御信号などを、画像提示部１１４に出力する。

外部装置接続Ｉ／Ｆコントローラ２３０は、所定のケーブルを介してパーソナルコンピュータなどの外部装置４００に接続され、ＣＰＵ２０２からの指令に基づき、外部装置４００との間の通信を制御する。例えば、外部装置接続Ｉ／Ｆコントローラ２３０は、外部装置４００から入力される画像信号を受信する。なお、外部装置接続Ｉ／Ｆコントローラ２３０は、受信した画像信号によるコンテンツ画像をビデオＲＡＭ２１０に記憶する。

周辺Ｉ／Ｆ２４０は、ＣＣＤセンサ２６０、電源スイッチ２７０、電源ランプ２８０および操作部２９０などが接続される接続Ｉ／Ｆである。ＣＰＵ２０２は、ＣＣＤセンサ２６０によって撮像された撮像画像２０７０を周辺Ｉ／Ｆ２４０を介して取得する。ユーザは、電源スイッチ２７０を介して画像提示部１１４および制御ボックス２００のオン、オフを操作する。電源ランプ２８０は、電源スイッチ２７０がオンされたとき点灯し、オフされたとき消灯する。操作部２９０は、ユーザからの所定の指令の入力を受け付ける。換言すれば、ユーザは、操作部２９０を介して所定の指令を入力する。

（画像提示部）
画像提示部１１４について、図４を参照して説明する。画像提示部１１４は、走査画像光生成部３１２１、コリメート光学系３１２２、水平走査部３１２３、垂直走査部３１２４、リレー光学系３１２５、リレー光学系３１２６を有している。

走査画像光生成部３１２１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０が出力する画像信号を、ドットクロック毎に読み出し、読み出した画像信号に応じて強度変調して走査画像光を生成する装置である。走査画像光生成部３１２１は、信号処理回路３２１１、光源部３２１２、光合成部３２１３を有している。

信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０と接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて、走査画像光を生成するための要素となるＢ（青）、Ｇ（緑）、Ｒ（赤）の各画像信号３２１４ａ〜３２１４ｃを生成し、光源部３２１２に出力する。また、信号処理回路３２１１は、後述する水平走査部３１２３の水平走査制御回路３１２３ｂと接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて水平駆動信号３２１５を生成し、この水平駆動信号３２１５を水平走査制御回路３１２３ｂに出力する。更に、信号処理回路３２１１は、後述する垂直走査制御回路３１２４ｂと接続している。信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて垂直駆動信号３２１６を生成し、この垂直駆動信号３２１６を垂直走査制御回路３１２４ｂに出力する。

光源部３２１２は、Ｂレーザドライバ３２１２ａ、Ｇレーザドライバ３２１２ｂ、Ｒレーザドライバ３２１２ｃ、Ｂレーザ３２１２ｄ、Ｇレーザ３２１２ｅ、Ｒレーザ３２１２ｆから構成されている。Ｂレーザドライバ３２１２ａは、信号処理回路３２１１からドットクロック毎に出力されたＢ（青）の画像信号３２１４ａに基づき、Ｂレーザ３２１２ｄを駆動させる。Ｂレーザ３２１２ｄは、Ｂ（青）の画像信号３２１４ａに基づき、強度変調された青色のレーザ光を出射する。Ｇレーザ３２１２ｅおよびＲレーザ３２１２ｆも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。

各レーザ３２１２ｄ〜３２１２ｆには、半導体レーザや、高調波発生機能付固体レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流を直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固体レーザを用いる場合には、各レーザ３２１２ｄ〜３２１２ｆそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。なお、高調波発生の効率は高くなく、さらに外部変調器での損失も加わるため、高調波発生機能付固体レーザの消費電力は大きくなるため、各レーザ３２１２ｄ〜３２１２ｆに半導体レーザを用いることが好ましい。

光合成部３２１３は、コリメート光学系３２１３ａ〜３２１３ｃ、ダイクロイックミラー３２１３ｄ〜３２１３ｆ、結合光学系３２１３ｇとから構成されている。コリメート光学系３２１３ａ〜３２１３ｃは、それぞれ、各レーザ３２１２ｄ〜３２１２ｆの前方に配設されていて、各レーザ３２１２ｄ〜３２１２ｆが出射したレーザ光を、平行光化する。ダイクロイックミラー３２１３ｄ〜３２１３ｆは、それぞれ、コリメート光学系３２１３ａ〜３２１３ｃの前方に配設されていて、各コリメート光学系３２１３ａ〜３２１３ｃが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射または透過する。

結合光学系３２１３ｇは、ダイクロイックミラー３２１３ｄの前方に配設されている。ダイクロイックミラー３２１３ｄを透過した青色のレーザ光および、ダイクロイックミラー３２１３ｅ、３２１３ｆでそれぞれ反射された、緑色のレーザ光、赤色のレーザ光が、結合光学系３２１３ｇに入射する。結合光学系３２１３ｇは、各３原色のレーザ光を集光（混合）させて、光ファイバ３１２７に入射させる。なお、青色のレーザ光、緑色のレーザ光、赤色の各レーザ光の強度を均等にすると、白色を表現することができる。

水平走査部３１２３および垂直走査部３１２４は、光ファイバ３１２７に入射されたレーザ光を、画像として照射するために、当該レーザ光を水平方向と垂直方向に走査して走査画像光を生成する。

水平走査部３１２３は、共振型偏向素子３１２３ａ、水平走査制御回路３１２３ｂ、水平走査角検出回路３１２３ｃとから構成されている。光ファイバ３１２７に入射されたレーザ光は、コリメート光学系３１２２で平行光化され、共振型偏向素子３１２３ａに入射される。共振型偏向素子３１２３ａは、水平走査制御回路３１２３ｂで揺動される反射面３１２３ｄを有し、入射されたレーザ光を、揺動する反射面３１２３ｄで反射させて水平方向に走査する。水平走査制御回路３１２３ｂは、信号処理回路３２１１から出力される水平駆動信号３２１５に基づいて、共振型偏向素子３１２３ａの反射面３１２３ｄを揺動させる駆動信号を発生する。水平走査角検出回路３１２３ｃは、共振型偏向素子３１２３ａから出力される変位信号に基づいて、共振型偏向素子３１２３ａの反射面３１２３ｄの揺動範囲および揺動周波数などの揺動状態を検出し、当該揺動状態を示す信号を、ＨＭＤ接続Ｉ／Ｆコントローラ２２０に出力する。

垂直走査部３１２４は、偏向素子３１２４ａ、垂直走査制御回路３１２４ｂ、垂直走査角検出回路３１２４ｃとから構成されている。偏向素子３１２４ａは、垂直走査制御回路３１２４ｂで揺動される反射面３１２４ｄを有し、入射されたレーザ光を、揺動する反射面３１２４ｄで反射させて垂直方向に走査し、２次元的に走査された画像光として、リレー光学系３１２６に出射する。垂直走査制御回路３１２４ｂは、信号処理回路３２１１から出力される垂直駆動信号３２１６に基づいて、偏向素子３１２４ａの反射面３１２４ｄを揺動させる駆動信号を発生する。垂直走査角検出回路３１２４ｃは、偏向素子３１２４ａから出力される変位信号に基づいて、偏向素子３１２４ａの反射面３１２４ｄの揺動範囲および揺動周波数などの揺動状態を検出し、当該揺動状態を示す信号を、ＨＭＤ接続Ｉ／Ｆコントローラ２２０に出力する。

リレー光学系３１２５は、共振型偏向素子３１２３ａと偏向素子３１２４ａの間に配設されている。リレー光学系３１２５は、共振型偏向素子３１２３ａの反射面３１２３ｄで水平方向に走査されたレーザ光を、偏向素子３１２４ａの反射面３１２４ｄに入射させる。

信号処理回路３２１１は、ＨＭＤ接続Ｉ／Ｆコントローラ２２０から入力された画像信号に基づいて、水平駆動信号３２１５と垂直駆動信号３２１６を、それぞれ水平走査制御回路３１２３ｂと垂直走査制御回路３１２４ｂに出力し、反射面３１２３ｄ、３１２４ｄの走査角を変更することにより、画像光を生成する。

こうして変更された反射面３１２３ｄ、３１２４ｄの走査角度は、水平走査角検出回路３１２３ｃおよび垂直走査角検出回路３１２４ｃによって検出信号として検出され、当該検出信号がＨＭＤ接続Ｉ／Ｆコントローラ２２０に入力され、水平駆動信号３２１５および垂直駆動信号３２１６にフィードバックされる。

リレー光学系３１２６は、正の屈折力を持つレンズ系３１２６ａ、３１２６ｂを有している。偏向素子３１２４ａから出射された画像光は、レンズ系３１２６ａによって、それぞれの画像光が、その走査画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系３１２６ｂによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Ｅａに収束するように集光される。

なお、本実施形態では、光ファイバ３１２７から入射されたレーザ光を、水平走査部３１２３で水平方向に走査した後、垂直走査部３１２４によって垂直方向に走査することとしたが、水平走査部３１２３と垂直走査部３１２４の配置を入れ替え、垂直走査部３１２４に垂直方向に走査した後、水平走査部３１２３で水平方向に走査するように構成してもよい。

（コンテンツ画像提示処理）
コンテンツ画像提示処理について、手動撮像に関する第１処理形態と、自動撮像に関する第２処理形態を以下に説明する。以下に説明するコンテンツ画像提示処理それぞれは、制御ボックス２００のＣＰＵ２０２が、ＲＡＭ２０８上で、プログラムＲＯＭ２０４に記憶されたこの処理のためのプログラムを実行することで行われる。ＣＰＵ２０２は、この処理の実行に際し、フラッシュＲＯＭ２０６に記憶されたコンテンツデータ２０６２、ＣＣＤセンサ２６０によって撮像された撮像画像２０７０などのデータを用いる。

以下では、コンテンツデータ２０６２は、例えば、所定の製品の組立作業におけるマニュアルを示すデータであって、組立作業の工程毎に複数のページを含むものとする。ＨＭＤ１０を利用するユーザは、各工程に対応したコンテンツ画像を順次視認（確認）し、この組立作業を進行させる。ユーザは、操作部２９０を操作してコンテンツデータ２０６２の再生を開始するための指令を入力する。ＣＰＵ２０２は、この指令に対応して、以下に示すコンテンツ画像提示処理を開始する。

（第１処理形態）
第１処理形態のコンテンツ画像提示処理について、図５〜図７を参照して説明する。この処理を開始したＣＰＵ２０２は、コンテンツデータ２０６２によって示されるマニュアルの所定のページを表すコンテンツ画像の提示を実行する（Ｓ１００）。例えばマニュアルの第１ページを表すコンテンツ画像を提示する。ここで、提示されるコンテンツ画像は、例えば、図６に示す態様のものであり、ベース板の右上に形成された穴に、ピン（直径８ｍｍ）をはめ込むことを内容とする説明（文字）と、作業対象物（ベース板、穴、ピン）の画像とを含む。

コンテンツ画像の提示に際し、ＣＰＵ２０２は、例えば、フラッシュＲＯＭ２０６に記憶されているコンテンツデータ２０６２をＲＡＭ２０８上に読み出し、これに対して再生処理を実行する。そして、再生処理によって形成されたコンテンツ画像をビデオＲＡＭ２１０に記憶する。または、ＣＰＵ２０２は、外部装置接続Ｉ／Ｆコントローラ２３０を介して受信されたコンテンツ画像をビデオＲＡＭ２１０に記憶する。ＣＰＵ２０２は、ビデオＲＡＭ２１０に記憶されているコンテンツ画像を含む画像信号と、コンテンツ画像の提示についての制御信号とを、ＨＭＤ接続Ｉ／Ｆコントローラ２２０を介して画像提示部１１４に出力し、画像提示部１１４からのコンテンツ画像の提示を実行する。これによって、ユーザは、コンテンツ画像、具体的には、マニュアルの第１ページを表すコンテンツ画像を視認する。

Ｓ１０２でＣＰＵ２０２は、ユーザが、操作部２９０を操作してページ送りの指令を入力したかを判断する（Ｓ１０２）。判断の結果、ページ送りの指令が入力されていない場合（Ｓ１０２：Ｎｏ）、ＣＰＵ２０２はこれが入力されるまで待機する。一方、ページ送りの指令が入力された場合（Ｓ１０２：Ｙｅｓ）、ＣＰＵ２０２はこれを取得する。Ｓ１０４でＣＰＵ２０２は、フラッシュＲＯＭ２０６に記憶されている撮像指示テーブル（「第２関連付手段」に対応）２０６４（詳細は図７参照）にアクセスし、これを参照する。そして、ＣＰＵ２０２は、撮像指示テーブル２０６４に、Ｓ１００または後述するＳ１１８で提示したコンテンツ画像、換言すれば、提示中のコンテンツ画像によって表されるマニュアルのページに撮像指示が関連付けられて登録されているかを判断する（Ｓ１０６）。

判断の結果、撮像指示が関連付けて登録されている場合（Ｓ１０６：Ｙｅｓ）、ＣＰＵ２０２は、処理をＳ１０８に移行する。一方、登録されていない場合（Ｓ１０６：Ｎｏ）、ＣＰＵ２０２は、処理をＳ１１８に移行する。この場合、ＣＰＵ２０２は、Ｓ１０８〜Ｓ１１６を実行しない。例えば、図７に示す撮像指示テーブル２０６４に基づけば、提示中のコンテンツ画像がマニュアルの第１ページまたは第ｎページを表すものである場合、Ｓ１０６の判断は肯定され（Ｓ１０６：Ｙｅｓ）、これ以外のページである場合、否定される（Ｓ１０６：Ｎｏ）。

Ｓ１０８でＣＰＵ２０２は、被写体の撮像要求を内容とするメッセージを含むメッセージ画像の提示を実行する。例えば、「次の工程に移る前に、組立途中の製品を撮像してください」とのメッセージを含むメッセージ画像を提示する。なお、撮像すべき被写体が複数ある場合、撮像すべき被写体を特定し、被写体それぞれに対して撮像を行う旨のメッセージを含むメッセージ画像を提示する。ＣＰＵ２０２は、撮像すべき被写体の判断にあたり、撮像指示テーブル２０６４にマニュアルのページ毎に登録された被写体数を参照する。例えばコンテンツ画像がマニュアルの第１ページである場合、ＣＰＵ２０２は、撮像すべき被写体「１個」と特定し、第ｎページである場合、撮像すべき被写体「２個」と特定する。

そして、ＣＰＵ２０２は、Ｓ１０８の提示に応じて、ユーザが操作部２９０を操作し、ＣＣＤセンサ２６０を介した被写体（組立途中の製品または作業場所など）の撮像が実行されたかを判断する（Ｓ１１０）。判断の結果、撮像が実行されていない場合（Ｓ１１０：Ｎｏ）、ＣＰＵ２０２は、処理をＳ１０８に戻してメッセージ画像の提示を継続する。なお、撮像すべき被写体が複数存在する場合、各被写体を撮像すべき旨のメッセージを含むメッセージ画像それぞれを、全ての被写体が撮像されるまで、順次提示する構成としてもよい。例えば、まず、一の被写体を撮像する旨のメッセージを含む一のメッセージ画像を提示し、これの撮像が実行された場合、他の被写体を撮像する旨のメッセージを含む他のメッセージ画像を提示するようにしてもよい。

これに対し、撮像すべき被写体について、撮像が実行（複数の場合、その全てが実行）された場合（Ｓ１１０：Ｙｅｓ）、ＣＰＵ２０２は、撮像された撮像画像２０７０を照合する（Ｓ１１２）。具体的に、ＣＰＵ２０２は、撮像画像２０７０が、例えば焦点のずれた画像となっていないかを判断する。また、ＣＰＵ２０２は、撮像指示テーブル２０６４に、マニュアルの各ページに関連付けて照合画像２０６６が登録されている場合、撮像画像２０７０と、マニュアルの対応するページに関連付けられた照合画像２０６６とを照合（比較）する。具体的には、両画像を対象としてパターン認識処理を実行し、撮像画像２０７０に被写体として、照合画像２０６６によって表される対象物が含まれているかを判断する。ここで、照合画像２０６６はフラッシュＲＯＭ２０６に記憶されている。なお、複数の撮像画像２０７０が撮像された場合、撮像画像２０７０それぞれに対して、例えば焦点のずれが判断され、また、対応する照合画像２０６６との一致（類似）が判断される。図７に示す撮像指示テーブル２０６４に基づけば、提示中のコンテンツ画像がマニュアルの第１ページを表すものである場合、ＣＰＵ２０２は、第１の撮像画像２０７０ａと照合画像２０６６Ａとを照合する。また、提示中のコンテンツ画像がマニュアルの第ｎページを表すものである場合、第２の撮像画像２０７０ｒと照合画像２０６６Ｒとを照合し、第３の撮像画像２０７０ｄと照合画像２０６６Ｄとを照合する。

Ｓ１１４でＣＰＵ２０２は、Ｓ１１２の照合結果について判断する。そして、判断の結果、適切でない撮像画像２０７０である、または、撮像された複数の撮像画像２０７０の中に適切でない撮像画像２０７０が含まれる場合（Ｓ１１４：Ｎｏ）、ＣＰＵ２０２は処理をＳ１０８に戻し、上記Ｓ１０８〜Ｓ１１２を再度実行する。この場合、適切でないと判断された撮像画像２０７０に関した撮像のみを、再度実行する構成としてもよい。一方、撮像画像２０７０が適切（全て適切）である場合（Ｓ１１４：Ｙｅｓ）、ＣＰＵ２０２は処理をＳ１１６に移行する。なお、撮像画像２０７０が適切であるとは、撮像画像２０７０の撮像条件が適正（例えば、焦点が合っているか、露出がアンダー／オーバーでないかなど）であり、撮像指示テーブル２０６４に照合画像２０６６が登録されている場合はさらに、撮像画像２０７０と照合画像２０６６とが類似していることを意味する。

Ｓ１１６でＣＰＵ２０２は、撮像画像２０７０を、Ｓ１００またはＳ１１８で提示したコンテンツ画像を関連付けて、より詳細には、コンテンツ画像によって表されるマニュアルのページに関連付けて、撮像画像テーブル２０６８に登録し、フラッシュＲＯＭ２０６に記憶する。例えば、提示中のマニュアルのページが第１ページである場合、ＣＰＵ２０２は、撮像画像テーブル（「第１関連付手段」に対応）２０６８の第１ページに関連付けて第１の撮像画像２０７０ａを登録し、フラッシュＲＯＭ２０６に第１の撮像画像２０７０ａを記憶する。また、提示中のマニュアルのページが第ｎページである場合、ＣＰＵ２０２は、撮像画像テーブル２０６８の第ｎページに関連付けて第２の撮像画像２０７０ｒと第３の撮像画像２０７０ｄとを登録し、フラッシュＲＯＭ２０６に第２の撮像画像２０７０ｒと第３の撮像画像２０７０ｄとを記憶する。そして、ＣＰＵ２０２は処理をＳ１１８に移行する。

Ｓ１１８でＣＰＵ２０２は、例えば、マニュアルの第１ページを表すコンテンツ画像が提示されている場合、第２ページのコンテンツ画像の提示を実行する（Ｓ１１８）。そして、ＣＰＵ２０２は、ユーザが、この処理の終了指令を操作部２９０を介して入力したかを判断する（Ｓ１２０）。判断の結果、終了指令が入力されていない場合（Ｓ１２０：Ｎｏ）、ＣＰＵ２０２は処理をＳ１０２に戻し、上記Ｓ１０２以降の各処理を再度実行する。一方、終了指令が入力された場合（Ｓ１２０：Ｙｅｓ）、ＣＰＵ２０２はこの処理を終了する。

（第２処理形態）
第２処理形態のコンテンツ画像提示処理について、図８を参照して説明する。この処理を開始したＣＰＵ２０２は、Ｓ２００〜Ｓ２０６を順次実行する。ここで、Ｓ２００〜Ｓ２０６は、図５に示す第１処理形態のコンテンツ画像提示処理のＳ１００〜Ｓ１０６に対応する処理である。したがって、これら各処理について、詳細な説明は省略する。なお、ＣＰＵ２０２は、Ｓ２０６の判断が肯定される場合（Ｓ２０６：Ｙｅｓ）、処理をＳ２０８に移行し、否定される場合（Ｓ２０６：Ｎｏ）、Ｓ２０８〜Ｓ２１６を実行することなく処理をＳ２１８に移行する。

Ｓ２０８でＣＰＵ２０２は、ＣＣＤセンサ２６０による撮像開始までの時間（残り秒数）と、被写体となる対象物を表す画像とを含むメッセージ画像の提示を実行する。なお、このメッセージ画面には、被写体を左眼１１８で視認せよとのメッセージも含まれる。ＨＭＤ本体１００では、画像提示部１１４の上面にＣＣＤセンサ２６０が取り付けられているため、このようなメッセージを含ませることで、好適な撮像が行われるようにしている。そして、撮像開始の時間が到来したとき、ＣＰＵ２０２は、ＣＣＤセンサ２６０による撮像（自動撮像）を実行する（Ｓ２１０）。なお、提示中のコンテンツ画像がマニュアルの第ｎページのように撮像すべき被写体が複数登録されている場合、ＣＰＵ２０２は、登録されている被写体それぞれについて、Ｓ２０８およびＳ２１０の処理を繰り返して実行する。

ＣＰＵ２０２は、Ｓ２１０で被写体の撮像を実行した後、Ｓ２１２〜Ｓ２２０を順次実行する。ここで、Ｓ２１２〜Ｓ２２０は、図５に示す第１処理形態のコンテンツ画像提示処理のＳ１１２〜Ｓ１２０に対応する処理である。したがって、これら各処理について、詳細な説明は省略する。

（本実施形態の構成による有利な効果）
本実施形態では、提示中のコンテンツ画像によって表されるマニュアルのページ（図５のＳ１００，Ｓ１１８、図８のＳ２００，Ｓ２１８）に関連して、特定の被写体の撮像が必要であるといった状況において（図５のＳ１０６，図８のＳ２０６：Ｙｅｓ）、この被写体を含む適切な撮像画像２０７０が撮像された場合に（図５のＳ１１４、図８のＳ２１４：Ｙｅｓ）、マニュアルの次のページを表すコンテンツ画像を提示する（図５のＳ１１８、図８のＳ２１８）こととした。そのため、被写体を含む適切な撮像画像２０７０を撮像しておくことができる。換言すれば、被写体を撮像し忘れるといった事態、および、撮像された撮像画像２０７０が不適切なものであったといった事態の発生を防止することができる。

なお、特定の被写体の撮像が必要であるといった状況としては、所定の製品の組立作業の全工程が好適に実行されたことを確認する場合などが想定され、撮像画像２０７０によって、これを作業完了後に確認することができる。

（変形例）
上述した本実施形態の構成は、次のようにすることもできる。

（１）上記では、ＨＭＤ本体１００と制御ボックス２００とが別体のＨＭＤ１０を例に説明したが、ＨＭＤ本体１００と制御ボックス２００とを一体で構成したＨＭＤとすることもできる。この場合、制御ボックス２００の各構成（図３参照）は、例えば画像提示部１１４を形成する筐体（カバー）内に収容される。

（２）上記では、図５に示す第１処理形態のコンテンツ画像提示処理のＳ１０６において、図７に示す撮像指示テーブル２０６４を用いる構成を例に説明した。すなわち、ＣＰＵ２０２は、このＳ１０６において、撮像指示テーブル２０６４を参照し、提示中のコンテンツ画像によって表されるマニュアルのページに関連付けて撮像指示が登録されている場合、その判断を肯定し（Ｓ１０６：Ｙｅｓ）、Ｓ１０８で被写体を撮像し、同ページに関連付けられた照合画像２０６６に基づき、撮像画像２０７０を照合し（Ｓ１１２）、撮像画像２０７０が適切であるかを判断することとした（Ｓ１１４）。一方、撮像指示が登録されていない場合、その判断を否定し（Ｓ１０６：Ｎｏ）、Ｓ１０８〜Ｓ１１６を実行することなく、処理をＳ１１８に移行することとした。

ここで、撮像指示テーブル２０６４を省略した上で、Ｓ１０６と、Ｓ１１２およびＳ１１４を図９に示す撮像指示を含むコンテンツ画像と照合画像を含むコンテンツ画像とを利用した構成とすることもできる。具体的に、Ｓ１０６では、Ｓ１１０またはＳ１１８で提示されたコンテンツ画像の所定の位置に、特定のオブジェクトが配置されているか否かに基づいて判断を行う。この場合、図９（ａ）に示すようにコンテンツ画像の右下隅にオブジェクト２１６２が配置されている場合、Ｓ１０６の判断を肯定する（Ｓ１０６：Ｙｅｓ）。一方、図９（ｂ）に示すようにコンテンツ画像の右下隅にオブジェクト２１６２が配置されていない場合、Ｓ１０６の判断を否定する（Ｓ１０６：Ｎｏ）。

Ｓ１１２およびＳ１１４では、コンテンツデータにおいて、照合画像を示すデータ部分を含め、コンテンツデータに含まれる照合画像と、撮像画像２０７０とを照合し、撮像画像２０７０が適切であるかを判断する構成とすることもできる。具体的に、撮像指示を示すオブジェクト２１６２が配置されている図９（ａ）に示すマニュアルのページを表すコンテンツ画像の例えば次の部分（次のページ）に、ここで撮像されるべき被写体に一致する照合画像を配置する。

ここで、照合画像は、右下隅にオブジェクト２１６２とは異なる態様のオブジェクト２２６２を含み（図９（ｃ）参照）、ＣＰＵ２０２は、オブジェクト２２６２に基づき、照合画像を特定する。そして、ＣＰＵ２０２は、撮像を実行した後（Ｓ１１０）、撮像画像２０７０と、提示中のコンテンツ画像の次の部分に配置された照合画像とを、上記同様の手法で照合し（Ｓ１１２）、撮像画像２０７０が適切であるかを判断する（Ｓ１１４）。ＣＰＵ２０２は、Ｓ１１８で照合画像が提示されないように制御する。なお、この変形例（２）の構成は、第２処理形態のコンテンツ画像提示処理のＳ２０６と、Ｓ２１２およびＳ２１４とに対しても適用することができる。この場合の詳細は、第１処理形態のコンテンツ画像提示処理の場合と同じであるため、詳細な説明は省略する。

１０ヘッドマウントディスプレイ（ＨＭＤ）
１００ヘッドマウントディスプレイ本体（ＨＭＤ本体）
１１４画像提示部
２００制御ボックス
２０２ＣＰＵ
２０４プログラムＲＯＭ
２０６フラッシュＲＯＭ
２０６２コンテンツデータ
２０６４撮像指示テーブル
２０６８撮像画像テーブル
２０８ＲＡＭ
２６０ＣＣＤセンサ

Claims

コンテンツデータによって示されるコンテンツ画像それぞれを、順次、ユーザの眼に視認可能に提示するヘッドマウントディスプレイであって、
順番付けされた複数のコンテンツ画像それぞれを提示するコンテンツ画像提示手段と、
被写体を撮像可能な撮像手段と、
前記コンテンツ画像提示手段によって提示されている一のコンテンツ画像に関連付けて、前記被写体の撮像指示が登録されているかについて判断する第１判断手段と、
前記第１判断手段によって前記一のコンテンツ画像に前記撮像指示が登録されていると判断された場合、前記被写体の撮像が実行されたとき、順番付けされた順序が前記一のコンテンツ画像の次の順序である他のコンテンツ画像が提示されるように前記コンテンツ画像提示手段を制御する進行制御手段とを備えることを特徴とするヘッドマウントディスプレイ。
前記撮像手段によって撮像された前記被写体を含む撮像画像が適切であるかについて判断する第２判断手段を備え、
前記進行制御手段は、さらに、前記第２判断手段によって前記撮像画像が適切であると判断された場合、前記他のコンテンツ画像が提示されるように前記コンテンツ画像提示手段を制御することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
前記第２判断手段は、前記撮像画像に前記被写体として特定の対象物が含まれている場合、前記撮像画像が適切であると判断し、前記撮像画像に前記被写体として前記特定の対象物が含まれていない場合、前記撮像画像が適切ではないと判断することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
前記撮像手段によって撮像された前記被写体を含む撮像画像と、前記一のコンテンツ画像とを関連付けて登録する第１関連付手段を備えることを特徴とする請求項１から請求項３のいずれか１項に記載のヘッドマウントディスプレイ。
前記撮像指示を、前記撮像手段によって前記被写体を撮像すべき前記コンテンツ画像それぞれに関連付けて登録した第２関連付手段を備え、
前記第１判断手段は、前記第２関連付手段に前記一のコンテンツ画像に関連付けて前記撮像指示が登録されている場合、前記撮像指示が登録されていると判断し、前記第２関連付手段に前記一のコンテンツ画像に関連付けて前記撮像指示が登録されていない場合、前記撮像指示が登録されていないと判断することを特徴とする請求項１から請求項４のいずれか１項に記載のヘッドマウントディスプレイ。
前記第１判断手段によって前記一のコンテンツ画像に前記撮像指示が登録されていると判断された場合、前記被写体が撮像されるように前記撮像手段を制御する撮像制御手段を備えることを特徴とする請求項１から請求項５のいずれか１項に記載のヘッドマウントディスプレイ。