JP5168161B2 - ヘッドマウントディスプレイ - Google Patents

Description

本発明は、ヘッドマウントディスプレイに関するものであり、特に、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射してユーザに画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイに関するものである。

従来より、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を記憶する記憶手段と、この記憶手段に記憶したコンテンツ情報を再生する再生手段とを備えた情報処理装置が知られている。

この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために使用者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生されたコンテンツ情報を画像として表示するディスプレイ等とから構成されている。

この表示情報を表示するディスプレイとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、ユーザが頭部に装着した状態で画像を視認することができるヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある。）等も開発されている。

また、このようなＨＭＤにおいては、外光をも透過するシースルー型のＨＭＤがあり、コンテンツ情報を画像として表示している最中であっても、コンテンツ情報を視認させながら、ユーザが外界を視認できるように構成している。

ところで、上述したようなディスプレイにおいて、例えば、特許文献１に示すように、各作業過程の順番に従って、視認される作業対象物そのものに対して、各作業過程の作業対象物を象って予め作成されたアニメーション画像を重なるように表示させるものが開示されており、作業対象物に対して行われるべき作業内容を装着者に示すようにしている。

特開２００４−２１９３１号公報

ところが、上記特許文献１に記載の技術では、単に作業支援マニュアルが提示されるだけであり、ユーザの作業速度等、ユーザの作業熟練度に応じたマニュアルが提示されるわけではなく、効率的に作業を進めることができないことがあった。

本発明は、上述したような課題に鑑みてなされたものであり、ユーザの作業熟練度に応じたマニュアル情報を提示することによって、効率的に作業を行うことができるヘッドマウントディスプレイを提供することを目的とする。

以上のような目的を達成するために、本発明は、以下のようなものを提供する。

すなわち、請求項１記載の本発明では、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、作業に関する主マニュアル情報と、当該主マニュアル情報にそれぞれ関連付けられた標準時間及び副マニュアル情報を記憶するマニュアル情報記憶手段と、前記ユーザの視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段による撮像画像を解析する画像解析手段と、前記画像解析手段によって解析された結果に基づいて、前記撮像手段による撮像領域内にユーザの手があるか否かを判定する手検知判定手段と、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合には、前記マニュアル情報記憶手段に記憶された前記主マニュアル情報の再生を前記表示手段に開始させる表示開始制御手段と、前記表示手段によって前記主マニュアル情報の再生が開始されてから、前記手検知判定手段によって前記撮像領域内にユーザの手がないとは判定されずに、再生中の主マニュアル情報に関連付けられて前記マニュアル情報記憶手段に記憶された標準時間が経過した場合には、当該主マニュアル情報の再生を、前記マニュアル情報記憶手段に記憶された前記副マニュアル情報の再生に切り替える表示切替制御手段と、前記表示手段により前記主マニュアル情報又は前記副マニュアル情報が再生されている場合において、前記手検知判定手段によって前記撮像領域内にユーザの手がないと判定されたときには、当該再生されている主マニュアル情報又は副マニュアルの再生を終了させる表示終了制御手段と、を備えたことを特徴とするものである。

また、請求項２記載の本発明では、請求項１に記載の発明において、前記表示手段によって前記主マニュアル情報の再生が開始されてから、前記手検知判定手段によって前記撮像領域内にユーザの手がないと判定されるまでの時間が前記標準時間以下である場合に、当該時間に基づいて前記標準時間を更新する標準時間更新手段を備えたことを特徴とするものである。

また、請求項３記載の本発明では、請求項１又は２に記載のヘッドマウントディスプレイにおいて、ユーザの操作に応じてマニュアル情報を作成するか否かを判定する手段をさらに備え、前記表示開始制御手段は、前記判定する手段によってマニュアル情報を作成すると判定された場合には、前記主マニュアル情報の再生を開始させず、前記マニュアル情報記憶手段は、前記判定する手段によってマニュアル情報を作成すると判定され、且つ、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合には、前記撮像手段による撮像画像を主マニュアル情報又は副マニュアル情報として記憶することを特徴とするものである。

また、請求項４記載の本発明では、請求項３に記載の発明において、前記マニュアル情報記憶手段は、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合において、当該手があると判定されてから所定の作業時間が経過するまでは前記撮像手段による撮像画像を主マニュアル情報として記憶し、当該手があると判定されてから所定の作業時間が経過してから前記撮像手段による撮像画像を副マニュアル情報として記憶することを特徴とするものである。

また、請求項５記載の本発明では、請求項４に記載の発明において、前記マニュアル情報記憶手段により主マニュアル情報を記憶するときと副マニュアル情報を記憶するときとで前記撮像手段の撮像条件を変更する撮像条件変更手段を備えたことを特徴とするものである。

本発明によれば、ユーザの作業熟練度に応じたマニュアル情報を提示することによって、効率的に作業を行うことができる。

本発明の一実施形態に係るＨＭＤを示す説明図である。 本発明の一実施形態に係るＨＭＤ本体を示す外観図である。 本発明の一実施形態に係るＨＭＤの表示画面を示す説明図である。 本発明の一実施形態に係るＨＭＤの電気的構成を示す説明図である。 本発明の一実施形態に係るＨＭＤにおける作業標準時間テーブルを示す説明図である。 本発明の一実施形態に係るＨＭＤの機能構成を示す説明図である。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して具体的に説明する。図１は、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある。）を示す説明図であり、図２は、ＨＭＤ本体２を示す外観図である。

［ＨＭＤ概観］
図１に示すように、本実施形態に係るＨＭＤ１は、ユーザＰが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報や後述する作業に関するマニュアル情報を画像としてそのユーザＰに視認可能に表示するＨＭＤ本体２と、そのＨＭＤ本体２に対して画像信号を供給する処理を主に行うコントローラ３と、ユーザＰの視野範囲の少なくとも一部を撮像するＣＣＤ（Charge Coupled Devices）カメラ４と、コントローラ３と通信可能なパーソナルコンピュータ（以下、「ＰＣ」という。）１５０とを備えている。

ＨＭＤ本体２は、各色（Ｒ，Ｇ，Ｂ）毎に強度変調された光（以下、「画像光」という。）をユーザＰの網膜上で２次元方向に走査させることにより、ユーザＰにコンテンツ情報に対応する画像（以下、単に「コンテンツ」という。）を視認させる網膜走査ディスプレイ（Retinal Imaging Display）である。

尚、本実施形態においては、ＨＭＤ本体２として網膜走査ディスプレイを採用したが、これに限らず、例えば、ＬＣＤ（Liquid Crystal Display）を透過又は反射させて生成した光（画像光）をユーザＰの眼に投射して、ユーザＰにコンテンツを視認させるディスプレイを用いてもよい。

このＨＭＤ本体２は、コンテンツを表示している最中であっても、ユーザＰの視野範囲の中では、外界を視認できるように構成している。

ＨＭＤ本体２は、図２に示すように、略眼鏡形状とした支持部材２ａと、使用者に認識させるための画像を形成する画像形成部２ｂとを備えている。画像形成部２ｂは、ユーザＰの眼前にハーフミラー２ｃを設けており、外光Ｌａをハーフミラー２ｃを透過させてユーザＰの眼Ｙに入射させ、コンテンツ情報に応じた画像光Ｌｂをハーフミラー２ｃで反射させてユーザＰの眼に入射させるようにしている。このようにＨＭＤ１は、外光を透過しつつ、コンテンツ情報に応じた画像光をユーザＰの眼Ｙに投射するシースルー型のヘッドマウントディスプレイとしている。

コントローラ３は、ＨＭＤ本体２、ＣＣＤカメラ４、ＰＣ１５０等と通信可能に接続されており、ＨＭＤ１全体を制御する後述の制御部１０（図４参照）等が内蔵されている。

ＣＣＤカメラ４は、ユーザＰの視野範囲内におけるユーザＰの手を検出できるように、ユーザＰの視野範囲のうち少なくとも一部を撮像する撮像手段２０１（図６参照）として機能し、ユーザＰの視野範囲の画像をサンプリングするように構成されている。また、ＣＣＤカメラ４は、ズーム機能を有しており、撮像範囲を変更可能である。

このような構成において、本実施形態に係るＨＭＤ１は、作業に関するマニュアル情報を記憶しており、ユーザＰの視野範囲のうち少なくとも一部にユーザＰの手が入ってきたときには、作業が行われている状態と想定できるため、作業に関するマニュアル情報の再生や作成が行われる。また、このＨＭＤ１は、シースルー型であるため、外界を視認しつつ、作業に関するマニュアル情報が視認可能である。

このマニュアル情報としては、作業毎に設定されており、主マニュアル情報と、副マニュアル情報と、マニュアル開始時静止画像と、マニュアル終了時静止画像とが含まれている。

主マニュアル情報は、再生開始時から再生される動画像情報であり、副マニュアル情報は、再生開始から、例えば作業内容に応じて設定された標準時間が経過した後に、主マニュアル情報に代わり再生される動画像情報である。本実施形態においては、主マニュアル情報は、ユーザＰの手元を広い撮像範囲で撮像した動画像とし、副マニュアル情報は、ユーザＰの手元を主マニュアルよりも狭い撮像範囲で（ズーミングして）撮像した動画像としている。また、マニュアル開始時静止画像は、作業開始前に表示される静止画像であり、マニュアル終了時静止画像は、作業終了後に表示される静止画像である。

また、これらマニュアル情報には、ＨＭＤ１の初期設定時から記憶されている既存マニュアル情報と、実際に作業した結果に基づいて作成される作成マニュアル情報とが含まれている。作成マニュアル情報としては、実際に作業しているユーザＰの手元が撮像されることによって作成される。また、本実施形態において、副マニュアル情報は、主マニュアル情報の撮像よりも狭い撮像範囲で撮像されるため、主マニュアル情報よりも拡大された詳細のマニュアル情報となる。

［表示画面］
ここで、本実施形態に係るＨＭＤ１における表示画面について、図３を参照して説明する。図３は、本実施形態に係るＨＭＤ１の表示画面を示す説明図である。

図３に示すように、ＨＭＤ１の表示領域５０内には、各種のマニュアル情報が表示される。このマニュアル情報は、作業に関する動画像であり、例えば、組み立て作業に関する動画像や分解作業に関する動画像である。また、このＨＭＤ１は、シースルー型であるため、外界（ユーザＰ自身による作業光景）５１を視認しつつ、図３に示すようなマニュアル情報が視認可能である。

また、マニュアル情報には、図３（Ａ）に示すような主マニュアル情報や、図３（Ｂ）に示すような副マニュアル情報が含まれている。主マニュアル情報は、再生が開始されてから、作業内容に応じて設定された標準時間が経過する以前に再生され、副マニュアル情報は、その標準時間が経過した以降に再生される。また、主マニュアル情報は、図３（Ａ）に示すように、撮像範囲が相対的に広い動画像であり、副マニュアル情報は、図３（Ｂ）に示すように、撮像範囲が相対的に狭い動画像であり、主マニュアル情報の動画像よりも拡大表示されている。すなわち、副マニュアル情報は、主マニュアル情報よりも細かい箇所まで視認可能となっている。

従って、作業熟練度が高いユーザは、標準時間が経過するまでに作業が終了し、主マニュアル情報のみが再生されて、副マニュアル情報の再生は特に必要ではないが、作業熟練度が低いユーザは、標準時間が経過しても作業が終了していないこともあり、かかるユーザに対しては主マニュアル情報のみならず、作業の詳細が表示される副マニュアル情報も再生されることとなる。こうして、熟練度に応じたマニュアル情報を再生することができ、ユーザの作業熟練度に応じてマニュアル情報に関する改良を加えた副マニュアル情報を再生することによって、効率的に作業を行うことができる。

また、本実施形態においては、マニュアル情報の再生及び作成が可能である。特に、装置の組み立て作業に関するマニュアル情報が再生可能である。この組み立て作業に関するマニュアル情報を作成する方法としては、単に、組み立て作業が行われる際にユーザＰの手元を撮像し、その撮像画像を再生する方法もあるが、同じ装置を分解作業する際にユーザＰの手元を撮像し、その分解作業の撮像画像を時系列に逆転させて再生することによって、装置の組み立て作業に関するマニュアル情報の再生が可能である。このように、撮像したマニュアル情報を時系列に逆転させて再生することによって、撮像する機会を別途設けることなく、効率的に作業を行うことができる。

［ＨＭＤの電気的構成］
本実施形態におけるＨＭＤ１の電気的構成などについて図４を用いて説明する。

図４に示すように、このＨＭＤ１は、上述したようなＨＭＤ本体２と、そのＨＭＤ本体２等を制御するコントローラ３と、ＣＣＤカメラ４と、周辺機器３４と、ＰＣ１５０とを備えている。

コントローラ３は、当該ＨＭＤ１全体の動作を統括制御する制御部１０と、ＣＣＤカメラコントローラ２２と、ＣＣＤカメラＶＲＡＭ２４と、ＨＭＤインターフェース（図中「Ｉ／Ｆ」と示し、以下「Ｉ／Ｆ」ということがある）コントローラ２６と、ＨＭＤ ＶＲＡＭ２８と、周辺機器Ｉ／Ｆ３０と、ＰＣ接続Ｉ／Ｆコントローラ３２と、を備えている。

制御部１０は、ＣＰＵ（Central Processing Unit）１２と、不揮発性メモリであるプログラムＲＯＭ（Read Only Memory）１４と、フラッシュＲＯＭ（フラッシュメモリ）１６と、ＲＡＭ（Random Access Memory）１８と、を備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

ＣＰＵ１２は、プログラムＲＯＭ１４に記憶されている各種情報処理プログラムを実行することにより、制御部１０としてＨＭＤ１を構成する各種回路を動作させて、ＨＭＤ１が備える各種機能を実行させる演算処理装置である。

フラッシュＲＯＭ１６は、制御部１０がＣＣＤカメラ４により撮像した画像や、ＰＣ１５０などの他の装置から供給される画像を記憶する。

ＣＣＤカメラコントローラ２２は、ＣＣＤカメラ４を制御し、ＣＣＤカメラＶＲＡＭ２４は、ＣＣＤカメラ４からの画像を一時的に記憶する。制御部１０は、ユーザＰの手を認識するために、ＣＣＤカメラコントローラ２２を介してＣＣＤカメラ４を制御し、ＣＣＤカメラ４によって撮像された画像データをＣＣＤカメラＶＲＡＭ２４から取得する。これによって、制御部１０は、ＣＣＤカメラ４によって撮像された画像を取得することができ、詳しく後述するが、その画像を解析することによって、ユーザＰの手を認識可能となる。

ＨＭＤ Ｉ／Ｆコントローラ２６は、制御部１０からの要求に応じてＨＭＤ本体２を制御し、制御部１０によりＨＭＤ ＶＲＡＭ２８に記憶された画像データに基づいた画像信号をＨＭＤ本体２に供給する。これによって、制御部１０は、画像を表示させる制御を行う。

ＨＭＤ本体２は、ＨＭＤ Ｉ／Ｆコントローラ２６から画像信号が入力されると、この画像信号に基づいて画像を生成するための要素となる各信号（Ｒ，Ｇ，Ｂの３原色の信号）を発生する。また、発生した各信号に基づくレーザ光を出射して合波し、そのレーザ光を２次元に走査する。２次元に走査された光は、その中心線がユーザＰの瞳孔に収束するように変換され、ユーザＰの眼の網膜に投影される。ＨＭＤ本体２の一般的な構成及び動作については、周知であり（例えば、特開２００７−１７８９４１号公報参照）、ここでは具体的な説明は省略する。

周辺機器Ｉ／Ｆ３０は、電源スイッチやランプ類、操作類等（図示せず）の周辺機器３４をコントローラ３に接続するためのインターフェースである。例えば、電源スイッチやランプ類が周辺機器Ｉ／Ｆ３０に接続されたとき、制御部１０は、電源スイッチ等のスイッチ類からの操作情報を周辺機器Ｉ／Ｆ３０を介して受け取り、周辺機器Ｉ／Ｆ３０を介してランプ類の点灯情報をランプ類に供給する。

ＰＣ接続Ｉ／Ｆコントローラ３２は、コントローラ３とＰＣ１５０とを通信可能に制御する。制御部１０は、ＰＣ接続Ｉ／Ｆコントローラ３２を介して画像データの供給をＰＣ１５０に要求し、ＰＣ１５０からＰＣ接続Ｉ／Ｆコントローラ３２を介して供給された画像データをＨＭＤ本体２に供給する。また、制御部１０は、周辺機器３４からの情報をＰＣ接続Ｉ／Ｆコントローラ３２を介してＰＣ１５０に供給する。

［作業標準時間テーブル］
上述したような構成のＨＭＤ１におけるフラッシュＲＯＭ１６に記憶されている作業標準時間テーブルについて図５を用いて説明する。図５は、作業標準時間テーブルを示す説明図である。

フラッシュＲＯＭ１６に記憶された作業標準時間テーブルは、主マニュアル情報と副マニュアル情報の切り替えタイミングとなる標準時間に関するテーブルである。この作業標準時間テーブルには、図５に示すように、作業毎に標準時間に関する情報が対応付けて設定されている。この標準時間に関する情報としては、設定標準時間、既存標準時間、平均時間、合計時間及び作業回数が作業毎に対応付けられている。設定標準時間とは、作業毎に設定されている標準時間であり、既存標準時間と平均時間とで小さい時間が設定される。既存標準時間とは、既存に設定されている標準時間である。平均時間とは、作業が終了するまでの平均の時間であり、合計時間を作業回数で割った結果である。

このような作業標準時間テーブルの参照によって、作業毎に設定された標準時間が選択されることとなる。また、平均時間に応じても設定標準時間が変更されることとなり、その作業者の作業に応じた標準時間が設定されることとなる。言い換えると、このようなフラッシュＲＯＭ１６は、主マニュアル情報と、副マニュアル情報とに関連付けて標準時間を記憶することとなる。尚、このようなフラッシュＲＯＭ１６は、後述するマニュアル情報記憶手段２０４（図６参照）として機能する。

また、標準時間とは、主マニュアル情報の再生と副マニュアル情報の再生との切替の基準となる時間であるが、それとともに、主マニュアル情報の作成と副マニュアル情報の作成との切替の基準となる時間でもある。つまり、このような作業標準時間テーブルによって、主マニュアル情報を作成するための時間（所定の作業時間）が作業毎に設定されている。このように作業標準時間テーブルが記憶されたフラッシュＲＯＭ１６は、作業毎に所定の作業時間を記憶することとなる。尚、本実施形態においては、この標準時間を基準として、再生及び作成の切替基準としたが、これに限らず、例えば、再生の切替基準となる時間と、作成の切替基準となる時間とが異なっていてもよい。

［ＨＭＤ機能構成］
ここで、本実施形態に係るＨＭＤ１の機能構成等について、図６を参照して説明する。図６は、本実施形態に係るＨＭＤ１の機能構成を示す説明図である。

図６に示すように、このＨＭＤ１におけるＣＣＤカメラ４は、ユーザＰの視野範囲を撮像して画像データを生成し、制御部１０にその画像データを供給する撮像手段２０１として機能する。

また、このＨＭＤ１におけるＨＭＤ本体２は、表示手段２１０として機能する。この表示手段２１０は、外光を透過しつつ、画像情報（表示情報）に応じた画像光をユーザＰの眼に投射してそのユーザＰに画像光に応じた画像を視認させる。

ＨＭＤ１における制御部１０は、後述のＣＰＵ１２が所定の情報処理プログラムを実行することによって、画像解析手段２０２、手検知判定手段２０３、マニュアル情報記憶手段２０４、撮像条件変更手段２０５、表示開始制御手段２０６、表示切替制御手段２０７、表示終了制御手段２０８、標準時間更新手段２０９として機能することとなる。

画像解析手段２０２は、撮像手段２０１よって撮像された画像データを解析する。特に、画像解析手段２０２は、撮像手段２０１から出力される画像データを解析して、撮像手段２０１によって撮像された画像の輪郭検出、色検出などを行う。

手検知判定手段２０３は、画像解析手段２０２によって解析された結果に基づいて、ユーザＰの手を検知し、撮像手段２０１による撮像領域内にユーザの手があるか否かを判定する。

マニュアル情報記憶手段２０４は、上述したＣＰＵ１２やフラッシュＲＯＭ１６が相当する。このマニュアル情報記憶手段２０４には、作業に関する主マニュアル情報及び副マニュアル情報が記憶されている。また、このマニュアル情報記憶手段２０４は、手検知判定手段２０３によって撮像領域内にユーザＰの手があると判定された場合において、その手があると判定されてから所定の作業時間が経過するまでに撮像手段２０１による撮像画像を主マニュアル情報として記憶し、その手があると判定されてから所定の作業時間が経過してから撮像手段２０１による撮像画像を副マニュアル情報として記憶する。また、マニュアル情報記憶手段２０４は、主マニュアル情報と副マニュアル情報と、それらにそれぞれ関連付けられた標準時間を記憶している。また、マニュアル情報記憶手段２０４は、作業毎に所定の作業時間を記憶する。

撮像条件変更手段２０５は、マニュアル情報記憶手段２０４により主マニュアル情報を記憶するときと副マニュアル情報を記憶するときとで撮像手段２０１の撮像条件を変更する。具体的には、撮像条件変更手段２０５は、主マニュアル情報を記憶するときよりも、副マニュアル情報を記憶するときのほうが狭い撮像範囲で撮像されるように変更する。

表示開始制御手段２０６は、手検知判定手段２０３によって撮像領域内にユーザＰの手があると判定された場合には、マニュアル情報記憶手段２０４に記憶された主マニュアル情報の再生を表示手段２１０に開始させる。

表示切替制御手段２０７は、表示手段２１０によって主マニュアル情報の再生が開始されてから、手検知判定手段２０３によって撮像領域内にユーザの手がないとは判定されず、再生中の主マニュアル情報に関連付けられた標準時間が経過した場合には、その主マニュアル情報の再生を副マニュアル情報の再生に切り替える。

表示終了制御手段２０８は、表示手段２１０により主マニュアル情報又は副マニュアル情報が再生されている場合において、手検知判定手段２０３によって撮像領域内にユーザの手がないと判定されたときには、その再生されている主マニュアル情報又は副マニュアルの再生を終了させる。

標準時間更新手段２０９は、表示手段２１０によって主マニュアル情報の再生が開始されてから、手検知判定手段２０３によって撮像領域内にユーザの手がないと判定されるまでの時間が標準時間以下である場合に、その時間に基づいて標準時間を更新する。

［制御動作］
次に、図７から図９のフローチャートを参照して、ＨＭＤ１の動作について説明する。図７から図９は、ＨＭＤ１において実行される処理の動作を示すフローチャートである。特に、図７に示すメイン処理は、ＨＭＤ１の電源がオンされた際に、コントローラ３における制御部１０によって実行され、その実行によってコントローラ３の制御部１０が上記各手段として機能する。

［メイン処理］
最初に、図７に示すように、ＨＭＤ１に電源が投入されると、制御部１０は、初期設定を行う（ステップＳ１１）。この処理において、制御部１０は、ＲＡＭアクセス許可、作業領域の初期化等を実行する。また、制御部１０は、ＨＭＤ本体２を起動させ、ＨＭＤ本体２による初期画面を表示させる等の表示制御を行う。この処理が終了した場合には、ステップＳ１２に処理を移す。

ステップＳ１２において、制御部１０は、ユーザＰの操作に応じて、マニュアルを再生するか否かを判定する。この処理において、制御部１０は、ユーザＰの操作に応じて行われる作業を判定することとなり、その結果、選択された作業に対応するマニュアル情報を再生するか否かを判定することとなる。

制御部１０は、マニュアルを再生すると判定すると（ステップＳ１２：ＹＥＳ）、詳しくは図８を用いて後述するが、マニュアル再生処理を実行し（ステップＳ１４）、ステップＳ２０に処理を移す。

一方、制御部１０は、マニュアルを再生しないと判定すると（ステップＳ１２：ＮＯ）、ユーザＰの操作に応じてマニュアルを作成するか否かを判定する（ステップＳ１３）。この処理において、制御部１０は、ユーザＰの操作に応じて行われる作業を判定することとなり、その結果、選択された作業に対応するマニュアル情報を作成するか否かを判定することとなる。

制御部１０は、マニュアルを作成すると判定すると（ステップＳ１３：ＹＥＳ）、詳しくは図９を用いて後述するが、マニュアル作成処理を実行し（ステップＳ１５）、ステップＳ２０に処理を移す。

一方、制御部１０は、マニュアルを作成しないと判定すると（ステップＳ１３：ＮＯ）、ステップＳ２０に処理を移す。

ステップＳ２０において、制御部１０は、電源オフであるか否かを判定する。この処理において、制御部１０は、電源スイッチの操作等に応じて、電源オフであるか否かを判定することとなる。制御部１０は、電源オフであると判定すると（ステップＳ２０：ＹＥＳ）、メイン処理を終了する。一方、制御部１０は、電源オフではないと判定すると（ステップＳ２０：ＮＯ）、再度、ステップＳ１２に処理を移す。これによって、制御部１０は、電源オフとなるまで、上述した処理を繰り返し実行することとなる。

尚、本実施形態においては、ユーザの操作に応じて、マニュアル情報の再生や作成を行うと判定したが、これに限らず、例えば、ＣＣＤカメラ４によって撮像された画像を解析し、その画像のなかにＱＲコードなどの識別体が認識できた場合に、その識別体に対応する作業を選択し、その作業に対応するマニュアル情報の再生を行うように判定してもよい。

［マニュアル再生処理］
図７のステップＳ１４において実行されるサブルーチンについて図８を用いて説明する。

最初に、図８に示すように、制御部１０は、ＣＣＤカメラ４による撮像を有効化し、初期設定時からフラッシュＲＯＭ１６に記憶されている既存のマニュアル情報か、後述するマニュアル作成処理において作成されるマニュアル情報かをユーザの操作に応じて選択する（ステップＳ３１）。この処理が終了した場合には、ステップＳ３２に処理を移す。

ステップＳ３２において、制御部１０は、作業標準時間テーブル（図５参照）を参照し、作業に対応する設定標準時間を読み出す。そして、制御部１０は、その作業に対応するマニュアル情報を選択する（ステップＳ３３）。この処理が終了した場合には、ステップＳ３４に処理を移す。

ステップＳ３４において、制御部１０は、撮像領域内にユーザＰの手があるか否かを判定する。この処理において、制御部１０は、ＣＣＤカメラ４によって撮像された画像データの輪郭検出、色検出を行う。つまり、制御部１０は、ＣＣＤカメラ４による撮像領域にある画像を解析することとなる。そして、制御部１０は、この輪郭検出、色検出の結果に基づいて、ユーザＰの手の輪郭を検知する処理を行う。具体的には、制御部１０は、画像データに含まれる肌色領域を検出し、その肌色領域の輪郭とフラッシュＲＯＭ１６に記憶された手の輪郭のテンプレートとのパターンマッチングを行う。そして、制御部１０は、撮像領域内にユーザＰの手があるか否かを判定することとなる。つまり、制御部１０は、画像が解析された結果に基づいて、撮像領域内にユーザの手があるか否かを判定することとなる。

この処理において、制御部１０は、撮像領域内にユーザＰの手があると判定すると（ステップＳ３４：ＹＥＳ）、ステップＳ３６に処理を移す。一方、制御部１０は、撮像領域内にユーザＰの手がないと判定すると（ステップＳ３４：ＮＯ）、マニュアル開始時静止画像をＨＭＤ本体２に表示させる制御を行い（ステップＳ３５）、再度、ステップＳ３４に処理を移す。これによって、ユーザＰの手が撮像領域に入ってくるまで、マニュアル開始時静止画像がＨＭＤ本体２によって表示されることとなる。

ステップＳ３６において、制御部１０は、作業に対応する主マニュアル情報をフラッシュＲＯＭ１６から読み出し、その主マニュアル情報の再生をＨＭＤ本体２に開始させる。そして、制御部１０は、タイマのカウントを開始させる（ステップＳ３７）。このタイマは、作業が開始されてからの時間を計測するためのものである。つまり、制御部１０は、撮像領域内にユーザＰの手があると判定された場合には、主マニュアル情報の再生をＨＭＤ本体２に開始させ、それからの時間を計測することとなる。この処理が終了した場合には、ステップＳ３８に処理を移す。

ステップＳ３８において、制御部１０は、撮像領域内にユーザＰの手がないか否かを判定する。この処理において、制御部１０は、上述したステップＳ３４と同じように制御することによって、撮像領域内にユーザＰの手がないか否かを判定することとなる。つまり、制御部１０は、ＣＣＤカメラ４による撮像領域にある画像を解析し、画像が解析された結果に基づいて、撮像領域内にユーザの手があるか否かを判定することとなる。

制御部１０は、撮像領域内にユーザＰの手がないと判定すると（ステップＳ３８：ＹＥＳ）、作業が終了したと認識し、ステップＳ４２に処理を移す。一方、制御部１０は、撮像領域内にユーザＰの手があると判定すると（ステップＳ３８：ＮＯ）、作業が終了していないと認識し、ステップＳ３９に処理を移す。

ステップＳ３９において、制御部１０は、標準時間が経過したか否かを判定する。この処理において、制御部１０は、ステップＳ３７においてカウントを開始したタイマから値を読み出し、作業開始から標準時間が経過したか否かを判定することとなる。制御部１０は、標準時間が経過したと判定すると（ステップＳ３９：ＹＥＳ）、ステップＳ４０に処理を移す。一方、制御部１０は、標準時間が経過していないと判定すると（ステップＳ３９：ＮＯ）、ステップＳ４０及びステップＳ４１を実行することなく、再度、ステップＳ３８に処理を移す。

ステップＳ４０において、制御部１０は、選択されている作業に対応する副マニュアル情報を選択する。そして、制御部１０は、再生していた主マニュアル情報を副マニュアル情報に切り替える主副マニュアル切替処理を実行する（ステップＳ４１）。

これによって、制御部１０は、主マニュアル情報の再生が開始されてから、撮像領域内にユーザの手がないとは判定されずに標準時間が経過するまで主マニュアル情報の再生を継続し、主マニュアル情報の再生が開始されてから、撮像領域内にユーザの手がないとは判定されずに標準時間が経過した場合には、継続されていた主マニュアル情報の再生を、副マニュアル情報の再生に切り替えることとなる。この処理が終了した場合には、再度、ステップＳ３８に処理を移す。

一方、ステップＳ４２において、制御部１０は、タイマのカウントを終了し、マニュアル終了時静止画像をＨＭＤ本体２に表示させる制御を行う（ステップＳ４３）。これによって、主マニュアル情報や副マニュアル情報が再生されている場合において、撮像領域内にユーザの手がないと判定されたときには、再生されている主マニュアル情報や副マニュアルの再生を終了させ、マニュアル終了時静止画像がＨＭＤ本体２によって表示されることとなる。この処理が終了した場合には、ステップＳ４４に処理を移す。

ステップＳ４４において、制御部１０は、作業標準時間テーブル更新処理を実行する。この処理において、制御部１０は、終了させたタイマの値を読み出し、作業標準時間テーブルにおける合計時間に加算し、作業回数を“１”増加させる。また、制御部１０は、更新した合計時間と作業回数とに基づいて平均時間を算出し、更新する。そして、制御部１０は、更新した平均時間と既存標準時間とを比較し、小さい値を設定標準時間として更新する。

これによって、制御部１０は、主マニュアル情報の再生が開始されてから、撮像領域内にユーザの手がないと判定されるまでの時間に基づいて標準時間を更新することとなる。この処理が終了した場合には、ステップＳ４５に処理を移す。

このように、作業に時間が掛からない場合には、副マニュアル情報の再生を行うことなく、主マニュアル情報の再生を終了させるが、作業に時間が掛かる場合には、主マニュアル情報から副マニュアル情報の再生に切り替えることとなり、ユーザの作業熟練度に応じたマニュアル情報を提示することによって、効率的に作業を行うことができる。

ステップＳ４５において、制御部１０は、次のマニュアル情報を再生するか否かのスタンバイ画像をＨＭＤ本体２に表示させ、ユーザＰの操作に応じてマニュアル再生が終了であるか否かを判定する。この処理において、制御部１０は、マニュアル再生が終了であると判定すると（ステップＳ４５：ＹＥＳ）、ＣＣＤカメラ４による撮像を無効化し、本サブルーチンを終了する。一方、制御部１０は、マニュアル再生が終了ではないと判定すると（ステップＳ４５：ＮＯ）、次のマニュアル情報を選択し（ステップＳ４６）、再度、ステップＳ３１に処理を移す。これによって、連続してマニュアル情報の再生が可能となる。

このように、作業を行った結果、その作業した時間に基づいて標準時間を更新することができ、以前に行った作業を参考にした標準時間の設定が可能となり、ユーザの作業熟練度に応じたマニュアル情報を提示することによって、効率的に作業を行うことができる。

［マニュアル作成処理］
図７のステップＳ１５において実行されるサブルーチンについて図９を用いて説明する。

最初に、図９に示すように、制御部１０は、ＣＣＤカメラ４による撮像を有効化し、作業標準時間テーブル（図５参照）を参照し、作業に対応する設定標準時間を読み出す（ステップＳ５１）。そして、制御部１０は、ＣＣＤカメラ４によって撮像された画像をマニュアル開始時静止画像としてフラッシュＲＯＭ１６に記憶する（ステップＳ５２）。この処理が終了した場合には、ステップＳ５３に処理を移す。

ステップＳ５３において、制御部１０は、撮像領域内にユーザＰの手があるか否かを判定する。この処理において、制御部１０は、上述したステップＳ３４、ステップＳ３８と同じように制御することによって、撮像領域内にユーザＰの手がないか否かを判定することとなる。つまり、制御部１０は、ＣＣＤカメラ４による撮像領域にある画像を解析し、画像が解析された結果に基づいて、撮像領域内にユーザの手があるか否かを判定することとなる。

この処理において、制御部１０は、撮像領域内にユーザＰの手があると判定すると（ステップＳ５３：ＹＥＳ）、ステップＳ５４に処理を移す。一方、制御部１０は、撮像領域内にユーザＰの手がないと判定すると（ステップＳ５３：ＮＯ）、再度、ステップＳ５３に処理を移す。これによって、ユーザＰの手が撮像領域に入ってくるまで、マニュアル情報の作成を待機させることとなる。

ステップＳ５４において、制御部１０は、主マニュアル情報としての撮像を開始する。この処理において、制御部１０は、ＣＣＤカメラ４によって撮像された画像データを主マニュアル情報としてフラッシュＲＯＭ１６に記憶することとなる。そして、制御部１０は、タイマのカウントを開始させる（ステップＳ５５）。このタイマは、主マニュアル情報の作成が開始されてからの時間を計測するためのものである。この処理が終了した場合には、ステップＳ５６に処理を移す。

ステップＳ５６において、制御部１０は、撮像領域内にユーザＰの手がないか否かを判定する。この処理において、制御部１０は、上述したステップＳ３４、ステップＳ３８、ステップＳ５３と同じように制御することによって、撮像領域内にユーザＰの手がないか否かを判定することとなる。つまり、制御部１０は、ＣＣＤカメラ４による撮像領域にある画像を解析し、画像が解析された結果に基づいて、撮像領域内にユーザの手があるか否かを判定することとなる。

制御部１０は、撮像領域内にユーザＰの手がないと判定すると（ステップＳ５６：ＹＥＳ）、作業が終了し、マニュアル情報の作成が終了したと認識し、ステップＳ６０に処理を移す。一方、制御部１０は、撮像領域内にユーザＰの手があると判定すると（ステップＳ５６：ＮＯ）、作業が終了しておらず、マニュアル情報の作成が継続されていると認識し、ステップＳ５７に処理を移す。

ステップＳ５７において、制御部１０は、標準時間が経過したか否かを判定する。この処理において、制御部１０は、ステップＳ５５においてカウントを開始したタイマから値を読み出し、作業開始（作成開始）から標準時間が経過したか否かを判定することとなる。制御部１０は、標準時間が経過したと判定すると（ステップＳ５７：ＹＥＳ）、ステップＳ５８に処理を移す。一方、制御部１０は、標準時間が経過していないと判定すると（ステップＳ５７：ＮＯ）、ステップＳ５８及びステップＳ５９を実行することなく、再度、ステップＳ５６に処理を移す。

ステップＳ５８において、制御部１０は、撮像範囲を狭く（ズーミング）するなど、撮像条件を変更する撮像条件変更処理を実行する。このように、制御部１０は、主マニュアル情報を記憶するときと副マニュアル情報を記憶するときとでＣＣＤカメラ４の撮像条件を変更することによって、主マニュアル情報と副マニュアル情報との差異を出すことができる。特に、例えば、主マニュアル情報よりも副マニュアル情報を詳細に撮像することによって、ユーザの作業熟練度に応じたマニュアル情報を作成することができる。

そして、制御部１０は、副マニュアル情報として撮像を切り替える（ステップＳ５９）。この処理において、制御部１０は、撮像条件を変更させる前に、今まで撮像した画像データを主マニュアル情報として作業に対応させてフラッシュＲＯＭ１６に記憶する。そして、制御部１０は、撮像条件を変更し、副マニュアル情報としての撮像を開始し、今から撮像する画像データを副マニュアル情報としてフラッシュＲＯＭ１６に記憶する。

これによって、制御部１０は、撮像領域内にユーザの手があると判定された場合において、その手があると判定されてから所定の作業時間が経過するまでに撮像された撮像画像を主マニュアル情報として記憶し、その手があると判定されてから所定の作業時間が経過してから撮像された撮像画像を副マニュアル情報として記憶することとなる。この処理が終了した場合には、再度、ステップＳ５６に処理を移す。

一方、ステップＳ６０において、制御部１０は、タイマのカウントを終了し、主マニュアル情報又は副マニュアル情報としての撮像を終了し、フラッシュＲＯＭ１６に保存する（ステップＳ６１）。これによって、制御部１０は、撮像領域内にユーザの手があると判定された場合には、撮像された撮像画像を主マニュアル情報又は副マニュアル情報として記憶し、撮像領域内にユーザの手がないと判定された場合には、主マニュアル情報又は副マニュアル情報としての撮像を終了させることとなる。この処理が終了した場合には、ステップＳ６２に処理を移す。

ステップＳ６２において、制御部１０は、ＣＣＤカメラ４によって撮像された画像をマニュアル終了時静止画像としてフラッシュＲＯＭ１６に記憶する。この処理が終了した場合には、ステップＳ６３に処理を移す。

ステップＳ６３において、制御部１０は、上述したように撮像されたマニュアル開始時静止画像、主マニュアル情報、副マニュアル情報、マニュアル終了時静止画像を、一つの作業に対応するマニュアル情報としてフラッシュＲＯＭ１６に保存する。これによって、上述したステップＳ３１において、既存のマニュアル情報以外の作成マニュアル情報が選択可能となる。

また、制御部１０は、撮像したマニュアル情報を時系列に逆転させて再生させる場合には、撮像したマニュアル情報を逆転させて記憶する。これによって、制御部１０は、再生時に逆転させるか否かを意識することなく、再生することができる。もちろん、制御部１０は、撮像したマニュアル情報を逆転させずに記憶しておき、再生時に逆転させて再生させてもよい。この処理が終了した場合には、ステップＳ６４に処理を移す。

ステップＳ６４において、制御部１０は、次のマニュアル情報を作成するか否かのスタンバイ画像を表示させ、ユーザＰの操作に応じてマニュアル作成が終了であるか否かを判定する。この処理において、制御部１０は、マニュアル作成が終了であると判定すると（ステップＳ６４：ＹＥＳ）、ＣＣＤカメラ４による撮像を無効化し、本サブルーチンを終了する。一方、制御部１０は、マニュアル作成が終了ではないと判定すると（ステップＳ６４：ＮＯ）、再度、ステップＳ５１に処理を移す。これによって、連続してマニュアル情報の作成が可能となる。

このように、作業を行うことによって、その作業自体における撮像画像が主マニュアル情報又は副マニュアル情報となり、別途主マニュアル情報又は副マニュアル情報を作成する時間を省くことができ、効率的に作業を行うことができる。また、所定の作業時間前後で主マニュアル情報と副マニュアル情報とを切り替えて記憶することができ、別途主マニュアル情報及び副マニュアル情報を作成する時間を省くことができ、効率的に作業を行うことができる。また、作業毎に所定の作業時間が設定されるので、作業の種類に対応した作業時間が設定可能であり、簡便である。

［その他の実施形態］
尚、上述した実施形態において、制御部１０は、主マニュアル情報を撮影範囲が広い（広画角）画像とし、副マニュアル情報を撮影範囲が狭い（狭画角）画像としたが、これに限らず、例えば、主マニュアル情報を通常速度の画像とし、副マニュアル情報を１／２倍速の画像としてもよい。また、例えば、制御部１０は、主マニュアル情報と副マニュアル情報とで異なる角度で撮像されていてもよい。即ち、副マニュアル情報は、主マニュアル情報よりも詳細な情報として認識可能であればよい。

また、上述した実施形態においては、ＣＣＤカメラ４の撮像範囲内にユーザＰの手が入る前に静止画像が表示され、入ったら主マニュアル情報、副マニュアル情報として動画像が表示され、ＣＣＤカメラ４の撮像範囲内からユーザＰの手が出ると、静止画像が表示されたが、これに限らず、例えば、ＣＣＤカメラ４の撮像範囲内にユーザＰの手が入る前や、ＣＣＤカメラ４の撮像範囲内からユーザＰの手が出た後であっても動画像が表示されるようにしてもよい。

また、上述実施形態において、制御部１０は、既存標準時間と平均時間との小さいほうを設定標準時間としたが、これに限らず、例えば、前回の作業時間自体を設定標準時間としてもよい。また、例えば、制御部１０は、前回の作業時間の最短時間を設定標準時間としてもよい。つまり、制御部１０は、主マニュアル情報の再生が開始されてから、撮像領域内にユーザの手がないと判定されるまでの時間が標準時間以下である場合に、その時間に基づいて標準時間を更新するようにしてもよい。また、例えば、このように標準時間自体を更新しない構成であっても問題ない。

また、上述した実施形態においては、ＨＭＤ本体２、コントローラ３、ＰＣ１５０を別々に構成したが、これに限らず、例えば、コントローラ３とＰＣ１５０とを一体に構成してもよく、ＨＭＤ本体２とコントローラ３とを一体に構成してもよい。もちろん、それら全てを一体に構成してもよく、更に別体に構成してもよい。

１ ＨＭＤ
４ ＣＣＤカメラ
１０ 制御部

Claims (5)

1. 外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、
   作業に関する主マニュアル情報と、当該主マニュアル情報にそれぞれ関連付けられた標準時間及び副マニュアル情報を記憶するマニュアル情報記憶手段と、
   前記ユーザの視野範囲のうち少なくとも一部を撮像する撮像手段と、
   前記撮像手段による撮像画像を解析する画像解析手段と、
   前記画像解析手段によって解析された結果に基づいて、前記撮像手段による撮像領域内にユーザの手があるか否かを判定する手検知判定手段と、
   前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合には、前記マニュアル情報記憶手段に記憶された前記主マニュアル情報の再生を前記表示手段に開始させる表示開始制御手段と、
   前記表示手段によって前記主マニュアル情報の再生が開始されてから、前記手検知判定手段によって前記撮像領域内にユーザの手がないとは判定されずに、再生中の主マニュアル情報に関連付けられて前記マニュアル情報記憶手段に記憶された標準時間が経過した場合には、当該主マニュアル情報の再生を、前記マニュアル情報記憶手段に記憶された前記副マニュアル情報の再生に切り替える表示切替制御手段と、
   前記表示手段により前記主マニュアル情報又は前記副マニュアル情報が再生されている場合において、前記手検知判定手段によって前記撮像領域内にユーザの手がないと判定されたときには、当該再生されている主マニュアル情報又は副マニュアルの再生を終了させる表示終了制御手段と、を備えたことを特徴とするヘッドマウントディスプレイ。
2. 請求項１に記載のヘッドマウントディスプレイにおいて、
   前記表示手段によって前記主マニュアル情報の再生が開始されてから、前記手検知判定手段によって前記撮像領域内にユーザの手がないと判定されるまでの時間が前記標準時間以下である場合に、当該時間に基づいて前記標準時間を更新する標準時間更新手段を備えたことを特徴とするヘッドマウントディスプレイ。
3. 請求項１又は２に記載のヘッドマウントディスプレイにおいて、
   ユーザの操作に応じてマニュアル情報を作成するか否かを判定する手段をさらに備え、
   前記表示開始制御手段は、前記判定する手段によってマニュアル情報を作成すると判定された場合には、前記主マニュアル情報の再生を開始させず、
   前記マニュアル情報記憶手段は、前記判定する手段によってマニュアル情報を作成すると判定され、且つ、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合には、前記撮像手段による撮像画像を主マニュアル情報又は副マニュアル情報として記憶することを特徴とするヘッドマウントディスプレイ。
4. 請求項３に記載のヘッドマウントディスプレイにおいて、
   前記マニュアル情報記憶手段は、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合において、当該手があると判定されてから所定の作業時間が経過するまでは前記撮像手段による撮像画像を主マニュアル情報として記憶し、当該手があると判定されてから所定の作業時間が経過してから前記撮像手段による撮像画像を副マニュアル情報として記憶することを特徴とするヘッドマウントディスプレイ。
5. 請求項４に記載のヘッドマウントディスプレイにおいて、
   前記マニュアル情報記憶手段により主マニュアル情報を記憶するときと副マニュアル情報を記憶するときとで前記撮像手段の撮像条件を変更する撮像条件変更手段を備えたことを特徴とするヘッドマウントディスプレイ。

Images