JP6554948B2

JP6554948B2 - 表示装置、表示装置の制御方法、及び、プログラム

Info

Publication number: JP6554948B2
Application number: JP2015135738A
Authority: JP
Inventors: 和夫西沢; 高野　正秀; 正秀高野
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2015-07-07
Filing date: 2015-07-07
Publication date: 2019-08-07
Anticipated expiration: 2035-07-07
Also published as: JP2017016599A

Description

本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。

従来、作業手順に関する情報を含むシナリオに従って、作業手順の実行を支援する方式が知られている（例えば、特許文献１参照）。特許文献１記載の方式では、作業手順の詳細に関するアクション・シーケンスを含むシナリオに従って作業一覧等を表示し、作業手順の実行を支援する。また、実行状態を画面に表示する。

特開２０１３−２９９８５号公報

特許文献１に記載された方式では、作業を行う作業者は、作業一覧等が表示された画面を見て作業を行う。この場合、作業者は、作業の対象である場所や対象物と、画面との両方を見る必要があった。このように、場所や物体を対象として動作する人に対し、動作に関連する情報を見せるためには、対象となる人（例えば、作業者）は動作の対象である場所や物体と動作に関連する情報とを見るために視線の移動等をしなければならない。従って、場所や物体を対象として動作する際に、動作に関する情報を手軽に見せることが可能な手法が望まれていた。
本発明は上記事情に鑑みてなされたものであり、場所や物体を対象として動作する人に対して、動作に関する情報を手軽に見せられるようにすることを目的とする。

上記目的を達成するために、本発明の表示装置は、外景を透過して視認可能に画像を表示する表示部と、入力を認識する入力部と、前記表示部に項目を表示させ、前記入力部で認識した入力に応じて、前記表示部における表示を変化させる制御部と、を備えることを特徴とする。
本発明によれば、表示装置を見る人が、表示される項目を見て入力部により認識可能な入力を行うことにより、項目の表示を変化させることができる。これにより、例えば、場所や物体を対象として動作する人が、表示部により項目を見ることができ、動作の対象である場所や物体を、表示部を透過して視認できる。このように、視線を大きく移動するなどの負荷の大きい動きを行わなくても、外景である実空間に存在する対象と、項目とを見ることができ、表示を変化させることができる。

また、本発明は、上記表示装置において、前記制御部は、項目を含む項目データに基づき、前記表示部に前記項目を表示させること、を特徴とする。
本発明によれば、様々な数、様々な種類の項目を表示できる。

また、本発明は、上記表示装置において、前記項目データは、動作に対応する複数の前記項目を含み、それぞれの前記項目には前記動作の実行順に対応する前記項目の順序が設定されること、を特徴とする。
本発明によれば、表示装置を見る人に対し、項目の表示態様によって動作の実行順を知らせることができる。

また、本発明は、上記表示装置において、前記制御部は、複数の前記項目をリスト形式で配置して前記表示部に表示させ、前記項目は前記項目に設定された順序に従って配置されること、を特徴とする。
本発明によれば、表示装置を見る人に対し、表示される複数の項目の配置によって、動作の実行順を知らせることができる。

また、本発明は、上記表示装置において、前記制御部は、前記項目に設定された順序で前記項目を順次表示させること、を特徴とする。
本発明によれば、表示装置を見る人に対し、項目の表示順によって動作の実行順を知らせることができる。

また、本発明は、上記表示装置において、前記制御部は、前記項目データに含まれる前記項目に対応する動作の実行順に関する情報を含む順序データに基づき、画像を前記表示部に表示させること、を特徴とする。
本発明によれば、表示装置を見る人に対し、動作の実行順を画像によって知らせることができる。

また、本発明は、上記表示装置において、前記項目データと前記順序データとを対応付けて記憶する順序データ記憶部を備えること、を特徴とする。
本発明によれば、動作に関する項目に関するデータ及び動作の実行順に関するデータを容易に読み出して利用できる。

また、本発明は、上記表示装置において、前記入力部は、前記表示部を透過して視認される範囲の入力を検出して入力位置を特定し、前記制御部は、前記入力部で特定した入力位置に対応して前記表示部における表示を変化させること、を特徴とする。
本発明によれば、入力部が認識可能な入力が行われる場合に、入力位置に対応して表示を変化させることができる。

また、本発明は、上記表示装置において、前記制御部は、前記入力部で特定した入力位置に対応する位置に表示中の前記項目に指標を重ねて表示させること、を特徴とする。
本発明によれば、入力を行うことにより、表示される項目の表示態様を変化させることができる。

また、本発明は、上記表示装置において、前記外景の撮像画像または前記外景から集音される音声に基づき、前記項目に対応する動作の実行状態を検出する状態検出部を備え、前記制御部は、前記状態検出部が検出した実行状態に応じて、前記表示部によって表示中の前記項目の表示状態を変化させること、を特徴とする。
本発明によれば、動作の実行状態を検出し、検出した実行状態に対応して表示状態を変化させることができる。

また、本発明は、上記表示装置において、前記動作の実行状態に係る情報を含む実行データを記憶する実行データ記憶部を備え、前記制御部は、前記項目データに含まれる前記項目に対応する動作の実行データを、前記項目データに対応付けて前記実行データ記憶部に記憶させ、前記実行データ記憶部から前記実行データを読み出した場合に、読み出した実行データに基づき、前記表示部によって表示する前記項目の表示状態を制御すること、を特徴とする。
本発明によれば、動作の実行状態に関するデータを記憶し、このデータを読み出して表示に反映することによって、実行状態に関する記録と、記録した実行状態の呼び出しを行える。

また、本発明は、上記表示装置において、前記外景における対象を検出する対象検出部を備え、前記制御部は、前記対象検出部で検出された前記対象が前記表示部を透過して視認される位置に対応させて、前記項目データに含まれる項目を表示させること、を特徴とする。
本発明によれば、動作の対象の場所や物体と項目との両方を容易に視認できる。

また、本発明は、上記表示装置において、外部の機器と通信する通信部を備え、前記通信部により前記外部の機器から前記項目データを受信して取得すること、を特徴とする。
本発明によれば、項目に関するデータを外部から取得できる。

また、本発明は、上記表示装置において、前記通信部は近距離無線通信を実行すること、を特徴とする。
本発明によれば、近距離無線通信により項目に関するデータを外部から取得できる。また、近距離無線通信を行える距離が限られるため、場所に関連付けられたデータを取得できる。

また、上記目的を達成するために、本発明は、外景を透過して視認可能に画像を表示する表示部を有する表示装置の制御方法であって、複数の項目を含むリストのデータを取得し、前記表示部を透過して視認される範囲の入力を検出して入力位置を特定し、項目を含む項目データに基づき、前記表示部に前記項目を表示させ、特定した入力位置に対応する位置に表示中の前記項目の表示状態を変化させること、を特徴とする。
本発明によれば、表示装置を見る人が、表示される項目を見て入力部により認識可能な入力を行うことにより、項目の表示を変化させることができる。これにより、例えば、場所や物体を対象として動作する人が、表示部により項目を見ることができ、動作の対象である場所や物体を、表示部を透過して視認できる。このように、視線を大きく移動するなどの負荷の大きい動きを行わなくても、外景である実空間に存在する対象と、項目とを見ることができ、表示を変化させることができる。

また、本発明は、外景を透過して視認可能に画像を表示する表示部を有する表示装置を制御するコンピューターが実行可能なプログラムとして構成できる。このプログラムは、前記コンピューターにより、前記表示部を透過して視認される範囲の入力を検出して入力位置を特定し、項目を含む項目データに基づき、前記表示部に前記項目を表示させ、特定した入力位置に対応する位置に表示中の前記項目の表示状態を変化させるプログラムである。また、本発明は、このプログラムを記憶した記憶媒体として構成してもよい。

第１実施形態のＨＭＤの外観構成を示す説明図。画像表示部の光学系の構成を示す図。画像表示部の要部構成を示す図。ＨＭＤを構成する各部の機能ブロック図。記憶部が記憶するデータの構成例を示す模式図であり、（Ａ）はシナリオデータ及び履歴データの構成例を示し、（Ｂ）はシナリオデータ及び履歴データの別の構成例を示す。ＨＭＤの入力方法の説明図であり、（Ａ）はバーチャルキーボードを使用する入力例を示し、（Ｂ）は位置入力の例を示す。ＨＭＤの表示例を示す図。第１実施形態のＨＭＤの動作を示すフローチャート。第２実施形態のＨＭＤの動作を示すフローチャート。

［第１実施形態］
図１は、本発明を適用した実施形態に係るＨＭＤ（ヘッドマウントディスプレイ，Head Mounted Display）１００の外観構成を示す説明図である。
ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、使用者がＨＭＤ１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、右カメラ６１（撮像部）と、左カメラ６２（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図２〜図４を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

右カメラ６１は、ＨＭＤ１００の前面において右保持部２１側の端部に配置される。また、左カメラ６２は、ＨＭＤ１００の前面において左保持部２３側の端部に配置される。右カメラ６１、左カメラ６２は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
右カメラ６１及び左カメラ６２は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。別の表現では、右カメラ６１及び左カメラ６２の少なくとも一方は、使用者の視界と重なる範囲または方向を撮像する。より詳細には、右カメラ６１及び左カメラ６２の少なくとも一方は、使用者が注視する方向を撮像する。右カメラ６１及び左カメラ６２の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む画角である。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるように右カメラ６１、左カメラ６２の撮像範囲が設定されているとより好ましい。

右カメラ６１及び左カメラ６２は、制御部１４０が備える撮像制御部１６１（図４）の制御に従って撮像を実行し、撮像画像データを撮像制御部１６１に出力する。

ここで、ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。この場合、使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。距離センサー６４の測定方向は、例えば、ＨＭＤ１００の表側方向で、右カメラ６１及び左カメラ６２の撮像方向と重複する方向とすることができる。
距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１４０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１４０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ２４２、及び、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型の右ＬＣＤ２４１、及び、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、ＨＭＤ１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、ＨＭＤ１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、ＨＭＤ１００の電源オン／オフを切り替えるスイッチである。

図３は、画像表示部２０の要部構成を示す図であり、（Ａ）は画像表示部２０を使用者の頭部側から見た要部斜視図、（Ｂ）は右カメラ６１及び左カメラ６２の画角の説明図である。なお、図３（Ａ）では画像表示部２０に繋がる右コード４２、左コード４４等の図示を省略する。

図３（Ａ）は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右光学像表示部２６及び左光学像表示部２８の裏側が見えている。
この図３（Ａ）では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１Ａ、及び、左眼ＬＥに画像光を照射するハーフミラー２６２Ａが、略四角形の領域として見える。また、ハーフミラー２６１Ａ、２６２Ａを含む右光学像表示部２６及び左光学像表示部２８の全体が、上述したように外光を透過する。このため、使用者には、右光学像表示部２６及び左光学像表示部２８の全体を透過して外景が視認され、ハーフミラー２６１Ａ、２６２Ａの位置に矩形の表示画像が視認される。

右カメラ６１は、上記のように右保持部２１側の端部に、画像表示部２０の前方を向いて配置され、左カメラ６２は、左保持部２３側の端部に配置される。
図３（Ｂ）は、右カメラ６１、及び左カメラ６２の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。右カメラ６１の画角（撮像範囲）をＣＲ、左カメラ６２の画角（撮像範囲）をＣＬで示す。なお、図３（Ｂ）には水平方向の画角ＣＲ、ＣＬを示すが、右カメラ６１及び左カメラ６２の実際の画角は、一般的なデジタルカメラと同様に上下方向に拡がる。

画角ＣＲと画角ＣＬとは、画像表示部２０の中央位置に対してほぼ左右対称であり、画角ＣＲと画角ＣＬは、いずれも画像表示部２０の中央位置の真正面方向を含む。このため、画像表示部２０の中央位置の正面で、画角ＣＲ、ＣＬが重なる。
例えば、図３（Ｂ）に示すように、画像表示部２０の正面方向に対象ＯＢがある場合、対象ＯＢは画角ＣＲ及び画角ＣＬのどちらにも含まれる。このため、右カメラ６１の撮像画像と、左カメラ６２の撮像画像のいずれも、対象ＯＢが写る。ここで、使用者が対象ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象ＯＢに向けられる。一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。
従って、注視点が対象ＯＢである場合、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野であり、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。

また、ＨＭＤ１００を装着する使用者が画像表示部２０を透過して右光学像表示部２６及び左光学像表示部２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。図１及び図２に示す本実施形態の構成で、実視野は、右光学像表示部２６及び左光学像表示部２８を透過して使用者が視認する実際の視野に相当する。実視野は、図３（Ｂ）を参照して説明した視野角及び安定注視野より狭いが、有効視野より広い。

右カメラ６１及び左カメラ６２は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角ＣＲ、ＣＬの全体が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角ＣＲ、ＣＬの全体が、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角ＣＲ、ＣＬの全体が、使用者の安定注視野よりも広く、最も好ましくは、画角ＣＲ、ＣＬの全体が使用者の視野角よりも広い。

このため、右カメラ６１及び左カメラ６２は、画角ＣＲと画角ＣＬとが、図３（Ｂ）に示すように画像表示部２０の前方で重なるように配置される。また、右カメラ６１及び左カメラ６２を広角カメラで構成してもよい。すなわち、右カメラ６１及び左カメラ６２が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群を右カメラ６１及び左カメラ６２が備えてもよい。また、右カメラ６１の画角ＣＲと左カメラ６２の画角ＣＬとは同じ角度でなくてもよい。また、右カメラ６１の撮像方向と左カメラ６２の撮像方向とは、完全に平行である必要はない。右カメラ６１の撮像画像と、左カメラ６２の撮像画像とを重ね合わせた場合に、使用者の視野よりも広い範囲が撮像されていればよい。

図４は、ＨＭＤ１００を構成する各部の機能ブロック図である。
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１３５に接続される。操作部１３５は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１３５から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、及び、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１３５の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
また、記憶部１２０は、シナリオデータ１２３、及び、履歴データ１２４を記憶する。シナリオデータ１２３は、ＨＭＤ１００を装着する使用者に対して作業手順等を案内するために使用されるデータである。また、履歴データ１２４は、シナリオデータ１２３に関係する作業の進捗や実行履歴等に関する情報を含むデータである。シナリオデータ１２３及び履歴データ１２４については後述する。シナリオデータ１２３は、項目データ、及び、順序データを含む。また、記憶部１２０は、順序データ記憶部に相当する。また、記憶部１２０は履歴データ１２４（実行データ）を記憶するので、実行データ記憶部に相当する。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、通信部１１７、近距離無線通信部１１９及び音声認識部１１４が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。３軸センサー１１３により、制御部１４０は、制御装置１０の動きを検出することができ、例えば制御装置１０を振る等の操作を検出できる。また、３軸センサー１１３は９軸センサーに置き換えてもよい。この場合、制御部１４０は、３軸の加速度センサー、３軸の角速度センサー、及び３軸の地磁気センサーの検出値を取得し、例えば、制御装置１０の姿勢、向き、動きを検出できる。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

近距離無線通信部１１９は、制御部１４０の制御に従い、近距離無線データ通信を実行する通信部である。近距離無線通信部１１９は、図示しないアンテナ、ＲＦ回路、ベースバンド回路等を含む無線通信インターフェイスを具備する。近距離無線通信部１１９は、例えば、ＮＦＣ（Near Field radio Communication）と呼ばれる無線通信を実行する。具体的には、FeliCa（登録商標）、ISO/IEC 14443、ISO/IEC 18092等の近距離無線通信を行う。また、近距離無線通信部１１９は、Ｂｌｕｅｔｏｏｔｈ規格に準じた無線通信を実行する構成としてもよい。この場合、例えば、近距離無線通信部１１９がＢｌｕｅｔｏｏｔｈクラス３（出力１ｍｗ）に対応したアンテナやＲＦ回路（図示略）を備え、近距離の無線通信に適する構成とすることが好ましい。また、近距離無線通信部１１９は、いわゆるＩＣタグリーダーとして構成され、外部のＩＣタグ（図示略）と無線通信を実行して、ＩＣタグからデータを取得してもよい。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、撮像制御部１６１、位置検出部１６２、ＡＲ表示制御部１６３、状態検出部１６４、通信制御部１６５、音声処理部１８７、及び、表示制御部１９０として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部１９０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１９０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２及び左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、上記の右カメラ６１、及び左カメラ６２を備える。また、画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、９軸センサー６６とを備える。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１９０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、右カメラ６１、左カメラ６２、及び、９軸センサー６６を接続するインターフェイスである。右カメラ６１、左カメラ６２の撮像データ、９軸センサー６６による加速度（３軸）、角速度（３軸）、及び、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。

受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

図３（Ａ）に示したように、ＨＭＤ１００を装着する使用者が、ハーフミラー２６１Ａ、２６２Ａから照射される画像光を視認する範囲は、実視野より小さい。例えば、ＨＭＤ１００が、ＡＲ（Augmented Reality：拡張現実）効果を奏する画像（以下、ＡＲ画像という）を表示する場合、使用者が注視する対象ＯＢに重なるようにＡＲ画像を表示する。この場合、対象ＯＢにＡＲ画像が重なって見えることで、ＡＲの効果が得られるが、ＡＲ画像が視認される領域はハーフミラー２６１Ａ、２６２Ａの大きさの制約を受ける。このため、実視野に対象ＯＢが含まれる場合であっても、対象ＯＢに重なる位置にＡＲ画像を表示することが困難なケースも考えられる。また、ＡＲ画像以外の画像を表示する場合も、ＨＭＤ１００が画像を表示できる領域が、実視野に比べて小さいことが機能上の制約となる可能性がある。

そこで、ＨＭＤ１００は、右カメラ６１及び左カメラ６２の撮像画像や、予め用意された画像など、使用者の実視野よりも広い範囲の外景の画像を利用して、使用者が注視する外景中の対象ＯＢに対応するＡＲコンテンツを表示するなど、外景に対応した表示を行う。

ＨＭＤ１００は、ハーフミラー２６１Ａ、及び、ハーフミラー２６２Ａが使用者の眼に画像光を反射することによって、表示領域を形成する。ＨＭＤ１００はハーフミラー２６１Ａ、２６２Ａにより画像光を反射して使用者の眼に、虚像を認識させる。このため、本実施形態では、表示領域はハーフミラー２６１Ａ、２６２Ａそのものではなく、ハーフミラー２６１Ａ、２６２Ａに反射した画像光を使用者が知覚する領域である。なお、画像表示部２０が、ハーフミラー２６１Ａ、２６２Ａに画像を結像させる構成とした場合には、ハーフミラー２６１Ａ、２６２Ａが表示領域に相当する。
表示領域は、右ＬＣＤ２４１及び左ＬＣＤ２４２に対応し、これらＬＣＤ２４１、２４２に表示される画像を使用者が視認する領域である。例えば、右ＬＣＤ２４１及び左ＬＣＤ２４２の表示可能な領域（表示可能領域）の全体に画像を表示すると、使用者に、表示領域の全体のサイズの画像を視認させることができる。
表示領域は、例えば後述するように、使用者の視野のほぼ中央に位置し、視野と同じか、視野より小さい。

撮像制御部１６１は、右カメラ６１及び左カメラ６２を制御して撮像を実行させ、撮像画像データを取得する。撮像制御部１６１は、右カメラ６１及び左カメラ６２のいずれか一方にのみ撮像を実行させてもよいし、両方に撮像を実行させてもよい。

位置検出部１６２（入力部、対象検出部）は、制御部１４０が外景画像から対象（対象物）を検出（認識）する機能を実行する。この機能では、位置検出部１６２は、例えば撮像制御部１６１が取得した撮像画像データを解析する。詳細には、位置検出部１６２は、右カメラ６１及び／又は左カメラ６２の撮像画像データに基づき、ＡＲ表示の対象の位置、及び、使用者による操作の操作位置を検出する。位置検出部１６２には、検出する対象として、ＡＲ表示を行う対象、及び、使用者が操作に使用する指示体が設定される。
ＡＲ表示の対象は、実空間の物体（建物等の固定されたものを含む）や景色など、画像表示部２０を透過して使用者が視認する範囲（使用者の視野）の一部を構成する。ＡＲ表示の対象は、右カメラ６１、左カメラ６２の撮像画像データから検出され、制御部１４０は、検出した対象に合わせてＡＲコンテンツを表示する。

対象は、ＡＲ表示のコンテンツ毎に設定可能であり、例えば、ＡＲ表示のコンテンツ（以下、ＡＲコンテンツと呼ぶ）のデータに、対象を検出する処理で用いるデータを含めてもよい。また、検出する対象に関するデータが設定データ１２１として記憶されてもよい。位置検出部１６２は、ＡＲコンテンツまたは設定データ１２１から対象を検出するためのデータを取得し、このデータを用いて、外景画像に含まれる対象を認識する。対象物を検出するためのデータとは、撮像画像から対象物の画像を検出する処理に用いるデータであり、対象物の画像の特徴量等である。例えば、対象物が物体である場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が設定データに含まれる。この場合、位置検出部１６２は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、設定データ１２１に含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、外景画像から抽出した画像の物体を対象物として認識できる。また、対象物について複数の特徴量が設定データ１２１に含まれる場合、位置検出部１６２は複数の特徴量に基づき外景画像から対象物を検出し、認識できる。位置検出部１６２は、外景画像において対象を認識できない場合、ステップＳ１２で撮像制御部１６１が新たな外景画像を取得するまで待機し、新たな外景画像について対象を認識する処理を行う。

制御部１４０は、使用者による入力を認識し、検出する機能を有し、この機能は入力部の機能として実現できる。入力部は、右カメラ６１及び／又は左カメラ６２の撮像画像から、使用者の手等の指示体の画像を検出し、この指示体の位置、方向、或いは動きを入力として検出し認識する。例えば、入力部は、指示体の位置を特定して位置入力を検出する。また、入力部は、例えば、指示体の動きが予め設定されたジェスチャーに相当すると判定した場合に、ジェスチャー入力を検出し認識してもよい。また、入力部は、入力情報取得部１１０から入力される信号に基づいて、操作部１３５に対する操作を検出する。また、入力部は、マイク６３で集音された音声を音声処理部１８７が解析し、予め設定された音声コマンドであると判定された場合に、この音声コマンドの入力を検出し認識してもよい。また、位置検出部１６２は、画像表示部２０が備える９軸センサー６６の検出値のパターンが、画像表示部２０をノックする操作に該当すると判定した場合に、画像表示部２０に対するノック操作を入力として検出し認識してもよい。また、位置検出部１６２は、右カメラ６１及び／又は左カメラ６２の撮像画像から、二次元コードやバーコード等の入力用マーカーの画像を検出した場合に、マーカー読取入力を検出し認識してもよい。位置検出部１６２は、右カメラ６１及び／または左カメラ６２の撮像画像データから、指示体やマーカーを検出する場合に、視線センサー６８により検出される使用者の視線方向に対応する指示体やマーカーを検出し認識してもよい。
また、ＨＭＤ１００が、使用者が足で操作するフットスイッチ（図示略）を備えた構成としてもよい。このフットスイッチは制御部１４０または操作部１３５に有線接続されてもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信により通信部１１７に接続されてもよい。この場合、入力部は、フットスイッチの操作を検出して入力として認識してもよい。また、筋電計（図示略）、脈拍測定装置（図示略）、血圧測定装置（図示略）、血中酸素濃度測定装置（図示略）等のバイタルセンサーをＨＭＤ１００に設け、これらのバイタルセンサーの測定値、検出値に基づき、入力部が入力を検出し認識してもよい。

本実施形態では、位置検出部１６２が、入力部として動作する。位置検出部１６２は、右カメラ６１及び左カメラ６２の撮像画像データから、指示体の画像を検出し、指示体により指示された位置を検出する。指示体は、使用者が操作に使用する物体であり、使用者の手、指など身体の一部、または、使用者が操る物体である。この物体は棒状のもの、ペン型のもの等、形状は特に限定されない。また、指示体には、赤外光や可視光を発する発光部（図示略）を設けてもよいし、撮像画像データにおいて検出可能な柄やパターン等を含むマーキングが施されてもよい。この場合、位置検出部１６２が撮像画像データから指示体を検出する処理を高速に行える。位置検出部１６２は、撮像画像データから対象を検出する処理と同様に、予め記憶部１２０に記憶した特徴量のデータを用いて、指示体を撮像画像データから検出する。指示体の特徴量のデータは、例えば設定データ１２１に含まれる。

位置検出部１６２は、撮像画像データから検出した対象の位置、及び、指示体の位置を特定する。さらに、位置検出部１６２は、検出した対象及び指示体と、使用者が視認する表示領域との相対位置を求める処理を行う。これにより、右表示駆動部２２及び左表示駆動部２４により表示する画像（文字、画像、記号等を含む）の位置と、実空間における対象及び指示体の位置との対応付けを行うことができる。つまり、右表示駆動部２２及び左表示駆動部２４が表示する画像を使用者が視認する位置と、画像表示部２０を透過して使用者が対象や指示体を視認する位置とを対応づけることができる。従って、使用者が指示体により指示する位置を的確に検出できる。また、使用者が対象を視認する位置に対応する位置に、画像を表示できる。

なお、位置検出部１６２が対象物や指示体を認識する方法は、上記のように画像の特徴量に基づき対象物の画像を認識する方法に限定されない。例えば、使用者の指示により、外景画像に含まれる物体等から対象や指示体を選択してもよい。この場合、使用者の指示は、音声による指示であってもよく、マイク６３で集音された音声を音声処理部１８７がテキスト変換することにより、位置検出部１６２が対象を認識し、特定するための情報を取得する。例えば、色や対象の形状など、撮像画像における対象物の特徴を指定する音声がテキスト変換された場合に、位置検出部１６２は、指定された特徴に該当する画像を撮像画像から検出して、認識する。
対象物に関する情報の入力方法は、トラックパッド１４への操作であってもよいし、指等によるジェスチャー操作を制御部１４０が検出してもよい。この場合、右カメラ６１、左カメラ６２の撮像範囲において使用者が指等を動かしてジェスチャー操作を行い、このジェスチャー操作を制御部１４０が検出すれば良い。具体的には、使用者が対象物を指さすことで、対象物そのものを指定する方法を採用してもよい。また、使用者が対象物の方向を手や指で指し示す、使用者が対象物を視認する範囲を手や指で囲む等のジェスチャーを用いてもよい。

ＡＲ表示制御部１６３は、記憶部１２０が記憶するコンテンツデータ（図示略）を読み出し、画像処理部１６０及び表示制御部１７０を制御して、ＡＲ表示用の画像を画像表示部２０により表示させる。また、ＡＲ表示制御部１６３は、コンテンツデータが音声データを含む場合、音声処理部１８７を制御して、右イヤホン３２、左イヤホン３４からコンテンツの音声を出力させる。

ここで、ＡＲ表示制御部１６３は、位置検出部１６２が検出する対象と表示領域との総体位置、及び、指示体と表示領域との相対位置に基づき、ＡＲコンテンツの表示位置を制御する。すなわち、ＡＲ表示制御部１６３は、対象に対応する位置に画像や文字等を表示するＡＲ表示を行う。ＡＲコンテンツの表示位置は対象に重なる位置であっても対象の周囲であってもよい。これにより、ＨＭＤ１００は、対象に関する情報を提供し、或いは、画像表示部２０越しに見える対象の姿の見え方を変える。ＡＲコンテンツは、対象に対応する位置に表示される画像や文字のデータを含む。ＡＲ表示制御部１６３は、検出した対象に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。

本実施形態で、ＡＲ表示制御部１６３は、記憶部１２０が記憶するシナリオデータ１２３に基づき、シナリオデータ１２３に含まれる項目のデータを表示する。つまり、シナリオデータ１２３を後述する所定の表示形式で表示する画像が、ＡＲコンテンツに相当する。

図５は、記憶部１２０が記憶するデータの構成例を示す模式図であり、（Ａ）はシナリオデータ１２３及び履歴データ１２４の構成例を示し、（Ｂ）は履歴データ１２４の別の構成例を示す。

シナリオデータ１２３は、項目を含み、項目には順序が対応づけられる。順序は項目間の相対的な順序であり、シナリオデータ１２３が含む項目が一つの場合は順序が対応づけられなくてもよい。
シナリオデータ１２３が含むそれぞれの項目は、動作に対応する。動作とは、使用者が行う行動または行為を指し、使用者の身体の動きであってもよいし思考や判断を含んでもよい。シナリオデータ１２３の一つの項目が一つの動作に対応する構成であってもよく、シナリオデータ１２３の一つの項目が、複数の動作を含むシーケンスに対応してもよい。

図５（Ａ）に例示するシナリオデータ１２３は、作業の手順に関するシナリオのデータであり、それぞれ作業に対応する複数の項目１２３ａを含む。それぞれの項目１２３ａは、「作業１」、「作業２」、「作業３」、…の名称が付される。また、それぞれの項目１２３ａには各項目の内容（作業内容）が対応づけてシナリオデータ１２３に含まれる。

図５（Ａ）のシナリオデータ１２３は、履歴データ１２４を統合した形態となっている。履歴データ１２４は、シナリオデータ１２３に含まれる項目の実行の履歴に関するデータである。シナリオデータ１２３が作業のシナリオである場合、履歴データ１２４は、シナリオデータ１２３の項目に対応する作業の進捗履歴や実行履歴に関するデータである。図５（Ａ）の例では、履歴データ１２４は、実行履歴データ１２４ａと、実行詳細データ１２４ｂとを含む。実行履歴データ１２４ａは、それぞれの項目１２３ａに対応づけて記憶されるデータであり、項目１２３ａに対応する作業の実行状態（実行状況、進捗状況、進行状況ともいえる）を示す。図５（Ａ）の例では、項目１２３ａに対応する作業が完了した場合に、実行履歴データ１２４ａとして「完了」が設定される。このほか、未実行、未実行、等の実行履歴データ１２４ａを設定できる。

実行詳細データ１２４ｂは、項目１２３ａに対応する作業が実行された履歴に関して、より詳細なデータを含む。例えば、シナリオデータ１２３が含むそれぞれの項目１２３ａの作業が実行された日時、進捗度、完了した日時等のデータを含む。また、実行詳細データ１２４ｂは項目１２３ａに対応する作業が実行されたときに、右カメラ６１及び／又は左カメラ６２により撮像された撮像画像データを含んでもよい。この撮像画像データは静止画像データであっても動画像データであってもよく、撮像日時のデータを含んでもよい。

また、シナリオデータ１２３は、項目１２３ａに対応づけて画像データ１２３ｂを含んでもよい。画像データ１２３ｂは、静止画像であっても動画像データであってもよい。

図５（Ｂ）には、シナリオデータ１２３及び履歴データ１２４の別の構成例を示す。図５（Ｂ）は特に、項目１２３ａの実行順序と、各項目１２３ａに対応する作業の履歴とをタイムチャートして表示する例を示す。図５（Ｂ）のタイムチャートは、例えば、ＡＲ表示制御部１６３の制御によって画像表示部２０に表示される。このタイムチャートは、項目１２３ａに対応する作業１，２，３の実行順序と、現在の作業状況を示す矢印形状の指標（マーク）と、を含む。例えば、ＡＲ表示制御部１６３がシナリオデータ１２３に基づく作業を案内し、使用者が作業を実行するときに、図５（Ｂ）のタイムチャートを表示して、使用者に作業の実行状態を知らせることができる。

ＨＭＤ１００では、シナリオデータ１２３に基づき作業等に関する案内を行う場合に、使用者の入力操作によって、作業の実行状態等を入力できる。
ここで、ＨＭＤ１００における入力方法を説明する。

図６は、ＨＭＤ１００の入力方法の説明図であり、（Ａ）はバーチャルキーボードを使用する入力例を示し、（Ｂ）は位置入力の例を示す。
図６（Ａ）及び（Ｂ）では、ＶＲは使用者の視野を示し、Ｖ１は、ＨＭＤ１００が画像を表示して使用者に視認させることが可能な領域、すなわち画像表示部２０の表示領域を示す。
表示領域Ｖ１は、たとえば、使用者の視野ＶＲのほぼ中央に位置し、視野ＶＲよりも狭い。表示領域Ｖ１は視野ＶＲと同じサイズであってもよく、サイズ及び位置は図６（Ａ）、（Ｂ）の例に限定されない。

図６（Ａ）の入力方法では、バーチャルキーボードＶ１１が表示領域Ｖ１に表示された状態で、使用者の手を利用して入力が行われる。バーチャルキーボードＶ１１の表示位置は、予め設定された位置とすることができる。バーチャルキーボードＶ１１は、ＡＲ表示制御部１６３が、記憶部１２０に記憶されたバーチャルキーボードＶ１１の画像データ（図示略）等に基づき表示する。位置検出部１６２は、視野ＶＲにおける使用者の右手ＨＲ及び左手ＨＬを検出し、指先の位置を算出する。位置検出部１６２が位置検出可能な領域は、右カメラ６１及び左カメラ６２の撮像範囲であり、表示領域Ｖ１の外であってもよい。ＡＲ表示制御部１６３は、位置検出部１６２が算出した指先の位置とバーチャルキーボードＶ１１のキーの表示位置とが重なった場合に、バーチャルキーボードＶ１１のキーへの操作を検出する。

図６（Ｂ）は、表示領域Ｖ１に表示されない状態で、使用者の手により位置指示操作（位置入力操作）を行う入力方法を示す。この入力方法は表示領域Ｖ１に何も表示しなくても実行可能であり、例えば、画像表示部２０を透過して見える外景の視認性に影響しないという利点がある。位置検出部１６２は、使用者の手（図中では右手ＨＲ）の指先を撮像画像データから検出し、指先Ｐの位置を算出する。ＡＲ表示制御部１６３は、位置検出部１６２が算出した指先Ｐの位置を、入力された位置として取得する。位置検出部１６２は、例えば、表示領域Ｖ１に対する指先Ｐの相対位置を示す座標を出力する構成としてよい。また、位置検出部１６２は、視野ＶＲに対する指先Ｐの相対位置を示す座標を出力する構成としてもよい。

図７（Ａ）、（Ｂ）、及び（Ｃ）は、ＨＭＤ１００における表示例を示す図であり、ＡＲ表示制御部１６３の制御によってシナリオデータ１２３の項目を表示する表示態様の例を示す。
図７（Ａ）〜（Ｃ）の例では、使用者の視野ＶＲに対象ＯＢが含まれ、使用者は画像表示部２０を透過して対象ＯＢを視認する。位置検出部１６２は、カメラ６１の撮像画像からＡＲ表示を行う対象である対象ＯＢの位置を検出する。

図７（Ａ）の例では、ＡＲ表示制御部１６３は、シナリオデータ１２３の項目を一覧表示するリストＳＲを表示する。リストＳＲは、シナリオデータ１２３に含まれる項目の名称を、シナリオデータ１２３に設定される項目の順序に従って並べたリストである。リストＳＲには、項目の名称（タイトル）とともに、項目の内容を表示してもよい。
リストＳＲには、各項目の表示位置に対応づけて、チェックボックスＣＨが配置される。チェックボックスＣＨは、各項目に対応する動作が完了したことを示す。ＡＲ表示制御部１６３は、状態検出部１６４が動作の完了を検出した場合に、チェックボックスＣＨの表示状態を、動作完了を示す状態に変更する。
シナリオデータ１２３が一つの項目を含む場合、リストＳＲは一つの項目について名称とチェックボックスＣＨとを含む構成となる。

リストＳＲは、チェックボックスＣＨを有しない構成とすることもできる。この場合、ＡＲ表示制御部１６３は、状態検出部１６４により動作が完了したことが検出された項目を、リストＳＲから削除してもよい。また、リストＳＲにおける表示色や表示輝度を変化させてもよい。
また、図７（Ｂ）に示すように、リストＳＲにおいて、動作が完了した項目に重なるようにマーカーＭ１を表示してもよい。さらに、動作が完了しなかった項目や、動作が行われず次の動作が開始された項目について、動作未完了を示すマーカーＭ２を表示してもよい。

図７（Ｃ）の例は、シナリオデータ１２３の項目を一つ、または予め設定された数ずつ表示する例である。この例では、表示領域Ｖ１に、シナリオデータ１２３の項目の名称、または名称と内容を、１つずつ、吹き出し形式の表示部Ｄに表示する。表示部Ｄの端部を、対象ＯＢにおいて動作の対象となる位置を示す矢印形式としてもよい。また、表示部Ｄに表示された項目に対応する動作の対象位置に、マーカーＭ３を表示してもよい。図７（Ｃ）の例では、表示部Ｄに表示された項目に対応する動作が完了したことが状態検出部１６４により検出されると、ＡＲ表示制御部１６３は、シナリオデータ１２３に含まれる次の順序の項目を表示部Ｄに表示する。このように、表示部Ｄには、シナリオデータ１２３に含まれる項目が、項目の動作の実行順に従って、順次、表示される。

リストＳＲや表示部Ｄの表示位置、表示態様は、適宜に変更可能であり、例えば、リストＳＲや表示部Ｄを、シナリオデータ１２３の項目に対応する動作の対象ＯＢに重なる位置に表示してもよい。また、対象ＯＢに重ならない位置に表示すれば、動作の妨げにならず、項目を見ながら動作しやすくなるという利点がある。また、リストＳＲや表示部Ｄを３Ｄ（立体）表示してもよいし、２Ｄ（平面）画像として表示してもよい。さらに、リストＳＲや表示部Ｄを、右表示駆動部２２と左表示駆動部２４のいずれか一方にのみ表示してもよい。

また、リストＳＲや表示部Ｄを表示する場合に、図５（Ｂ）に例示したタイムチャートを表示してもよい。この場合、複数の項目について、動作の実行順を把握しやすい表示を行うことができる。このタイムチャートの位置を指定する位置指示操作が行われた場合に、タイムチャートで指示された位置に対応する項目を表示してもよい。また、指示された位置に対応する項目について、シナリオデータ１２３に含まれる画像データを表示してもよい。

また、リストＳＲや表示部Ｄに項目を表示する場合に、図５（Ａ）に例示したようにシナリオデータ１２３に含まれる画像データに基づく画像を、併せて表示してもよい。また、リストＳＲや表示部Ｄと画像とを切り替えて表示してもよい。

状態検出部１６４（図４）は、ＡＲ表示制御部１６３がシナリオデータ１２３に基づく表示を行う間に、シナリオデータ１２３の項目１２３ａに対応する動作（作業）の実行状態を検出する。
状態検出部１６４が実行状態を検出する処理は、例えば、右カメラ６１及び／又は左カメラ６２の撮像画像データを解析して行われる。この場合、状態検出部１６４は撮像画像データから作業の対象や、作業に使用される器具、道具、使用者の身体等の少なくともいずれかを検出する。状態検出部１６４は、作業の対象、作業に使用される器具、道具、使用者の身体等の位置、サイズ、色、形状等に基づいて、作業の実行状態に関するデータを生成する。実行状態に関するデータは、例えば、未実行、実行中、実行完了等である。

また、状態検出部１６４は、シナリオデータ１２３の項目についてＡＲ表示制御部１６３が表示する状態で、使用者の操作に基づき、項目に対応する動作の実行状態を検出してもよい。この場合、状態検出部１６４が検出する操作は、制御装置１０のトラックパッド１４等の操作部に対する操作としてもよい。また、図６（Ａ）及び（Ｂ）を参照して説明した入力方法による入力を受け付けてもよい。

例えば、図７（Ａ）に示す例では、状態検出部１６４は、図６（Ｂ）に示したように、使用者が指示体によりチェックボックスＣＨに重なる位置を指定する操作を行った場合に、動作が完了したことを検出してもよい。また、使用者が指示体により予め設定されたジェスチャーを行った場合に、動作が完了したことを検出してもよい。また、マイク６３が集音した音声を音声処理部１８７で解析することで、動作が完了したことを使用者が音声により指示入力し、この指示入力に基づき動作が完了したことを検出してもよい。また、制御装置１０が備える方向キー１６やトラックパッド１４等に対する操作に基づき、動作の完了を検出してもよい。

また、状態検出部１６４は、ＡＲ表示制御部１６３がシナリオデータ１２３に基づく表示を開始した後、右カメラ６１、左カメラ６２の撮像画像データを取得し、取得した撮像画像データを、動作の実行状態に関するデータとして保存してもよい。この場合、たとえばドライブレコーダーのように、動作中の動画像データを記憶部１２０に記憶させても良い。
また、状態検出部１６４は、検出した動作の実行状態を反映するタイムチャート（例えば、図５（Ｂ））を生成してもよい。また、このタイムチャートを、予め設定された標準時間（スタンダードタイム）との差を表す比較結果を付与した比較タイムチャートとしても良い。

通信制御部１６５は、通信部１１７、及び近距離無線通信部１１９を制御して、図示しない外部の機器やＩＣタグ等と無線通信を実行させ、データを取得する。

図８は、ＨＭＤ１００の動作を示すフローチャートである。
使用者がＨＭＤ１００を装着し、操作部１３５の操作によりシナリオデータ１２３の表示が指示されると、制御部１４０は、表示に係る動作を開始する（ステップＳ１１）。
制御部１４０は、記憶部１２０からシナリオデータ１２３を取得し（ステップＳ１２）、シナリオデータ１２３の表示形式を選択する（ステップＳ１３）。ステップＳ１３で、制御部１４０は、予め設定された表示形式を選択してもよいし、使用者の入力により指定される表示形式を選択してもよい。表示形式は、例えば図７（Ａ）〜（Ｃ）に示した形式がある。

制御部１４０は、シナリオデータ１２３の表示に履歴データ１２４を利用（再生）するか否かを判定する（ステップＳ１４）。事前の設定、または使用者の操作により、履歴データ１２４を再生しないと判定した場合（ステップＳ１４；ＮＯ）、制御部１４０は、シナリオデータ１２３の項目を、ステップＳ１３で選択した表示形式で画像表示部２０に表示させる（ステップＳ１５）。このステップＳ１５では、項目の表示順序を、シナリオデータ１２３の項目に対応する動作の実行順序に適合するように制御する。

続いて、制御部１４０は、右カメラ６１及び／又は左カメラ６２の撮像画像データや使用者の入力操作に基づき、動作状態を検出する（ステップＳ１６）。そして、制御部１４０は、検出した動作状態の記録を作成し（ステップＳ１７）、一つの項目に対応する動作が完了したか否かを判定する（ステップＳ１８）。動作が完了していない場合（ステップＳ１８；ＮＯ）、制御部１４０はステップＳ１６に戻る。
また、動作が完了した場合（ステップＳ１８；ＹＥＳ）、制御部１４０は、画像表示部２０に表示中の項目のうち、動作が完了したと判定した項目の表示状態を変更する（ステップＳ１９）。制御部１４０は、ステップＳ１７で作成した記録に基づき、履歴データ１２４を記憶部１２０に保存し、或いは記憶部１２０に保存した履歴データ１２４を更新する（ステップＳ２０）。ここで、ステップＳ１３で選択した表示形式が、項目を一つずつ或いは予め設定された数ずつ順次切り替えて表示する表示形式であって、表示中のすべての項目について動作が完了した場合、制御部１４０は、新たな項目を表示する。

その後、制御部１４０は表示を完了するか否かを判定する（ステップＳ２１）。シナリオデータ１２３に含まれるすべての項目について、対応する動作が完了した場合、或いは、使用者の操作により表示の終了が指示された場合、制御部１４０は表示を終了すると判定し（ステップＳ２１；ＹＥＳ）、本処理を終了する。
表示を終了しないと判定した場合（ステップＳ２１；ＮＯ）、制御部１４０はステップＳ１６に戻る。

また、ステップＳ１４で履歴データ１２４を再生すると判定した場合（ステップＳ１４；ＹＥＳ）、制御部１４０は、履歴データ１２４を取得する（ステップＳ２２）。制御部１４０は、シナリオデータ１２３に含まれる項目について、履歴データ１２４で動作が完了したと設定された項目の次の項目から表示し（ステップＳ２３）、ステップＳ１６に移行する。

また、状態検出部１６４は、位置検出部１６２が認識し検出する入力に基づき、実行状態を検出してもよい。例えば、音声、指示体の位置、向、或いは動き、９軸センサー６６の検出値、右カメラ６１及び／又は左カメラ６２の撮像画像から検出される入力用マーカーの画像、フットスイッチ（図示略）の操作に基づき、実行状態を検出してもよい。

以上説明したように、本発明を適用した第１実施形態に係るＨＭＤ１００は、外景を透過して視認可能に画像を表示する画像表示部２０と、画像表示部２０を透過して視認される範囲の入力を検出して入力位置を特定する位置検出部１６２を有する。制御部１４０は、項目を含むシナリオデータ１２３に基づき、画像表示部２０に項目を表示させ、位置検出部１６２で特定した入力位置に対応して、画像表示部２０における表示を変化させる。
これにより、場所や物体を対象として動作（例えば、作業）をする人が、画像表示部２０により項目を見ることができ、動作の対象である場所や物体を、画像表示部２０を透過して視認できる。このため、表示される内容を見るために、視線を大きく移動するなどの負荷の大きい動きを行う必要がなく、手軽に情報を見ることができる。

また、シナリオデータ１２３は、動作に対応する複数の項目を含み、それぞれの項目には動作の実行順に対応する項目の順序が設定される。これにより、ＨＭＤ１００の使用者が、項目の表示態様をもとに動作の実行順を知ることができる。

制御部１４０のＡＲ表示制御部１６３は、複数の項目をリスト形式で配置して画像表示部２０に表示させてもよく、この場合、項目は項目に設定された順序に従って配置される。これにより、使用者は、表示される複数の項目の配置から、動作の実行順を知ることができる。
制御部１４０は、項目に設定された順序で項目を順次表示させてもよい。これにより、使用者は、項目の表示順から動作の実行順を知ることができる。

シナリオデータ１２３は、シナリオデータ１２３に含まれる項目に対応する動作の実行順に関する情報を含むデータを含み、制御部１４０は、この実行順に基づき、リストＳＲや表示部Ｄ等の画像を画像表示部２０に表示させる。これにより、動作の実行順を画像により視認させることができる。

ＨＭＤ１００は、記憶部１２０に、シナリオデータ１２３と順序データとを対応付けて記憶するので、動作に関する項目に関するデータと動作の実行順とに関するデータとの対応関係、及び各データを容易に読み出して利用できる。

制御部１４０は、位置検出部１６２で特定した入力位置に対応する位置に表示中の項目に、指標としてのマーカーを重ねて表示させてもよい。この場合、使用者が入力を行うことにより、表示される項目の表示態様を変化させることができる。
また、制御部１４０の状態検出部１６４は、右カメラ６１、左カメラ６２による外景の撮像画像または外景からマイク６３により集音される音声に基づき、項目に対応する動作の実行状態を検出してもよい。ＡＲ表示制御部１６３は、検出した実行状態に応じて、画像表示部２０によって表示中の項目の表示状態を変化させてもよい。この場合、動作の実行状態に対応して項目の表示状態を変化させることができる。

記憶部１２０は、動作の実行状態に係る情報を含む履歴データ１２４を記憶する。制御部１４０は、シナリオデータ１２３に含まれる項目に対応する動作の履歴データ１２４を、シナリオデータ１２３に対応付けて記憶部１２０に記憶させる。制御部１４０は、記憶部１２０から履歴データ１２４を読み出した場合に、読み出した履歴データ１２４に基づき、画像表示部２０によって表示する項目の表示状態を制御する。この場合、動作の実行状態に関するデータを記憶し、このデータを読み出して表示に反映することによって、実行状態に関する記録と、記録した実行状態の呼び出しを行える。

また、制御部１４０は、位置検出部１６２により、外景における対象を検出する。ＡＲ表示制御部１６３は、位置検出部１６２で検出された対象が画像表示部２０を透過して視認される位置に対応させて、シナリオデータ１２３に含まれる項目を表示させる。これにより、動作の対象の場所や物体と項目との両方を容易に視認できる。

このように、ＨＭＤ１００は、人間が行う作業のチェック等を現実世界の物体または電子媒体の物体に重ねてＡＲ表示することができる。この場合、表示の態様を、対象物の位置に合わせることで、対象物に対する相対位置を保持するスタビライズ表示を行い、項目を視認しやすい位置に保持できる。

上記実施形態で、画像表示部２０により表示する項目の表示状態を、作業（動作）の進行状態に応じて変化させる方法は、リストＳＲにおいてチェックボックスＣＨの表示状態を、動作完了を示す状態に変更する方法に限定されない。例えば、動作が完了したことが検出された項目をリストＳＲから削除してもよいし、リストＳＲにおける表示色や表示輝度を変化させてもよい。例えば、項目の表示色を維持して、項目に重なる位置に、蛍光色など視認性を高める色の塗りつぶし表示を行ってもよい。また、項目の表示色を変化させる場合に、表示輝度を調整することで、項目に重なる位置の外景の透過度を変化させてもよい。また、項目の表示位置を変えてもよく、例えば、作業完了となった項目を違う行に移動してもよい。さらに、左光学像表示部２８と右光学像表示部２６のいずれか一方に項目を表示する構成とし、作業完了となった項目の表示位置を、左光学像表示部２８から右光学像表示部２６へ、或いはその逆方向に移動させてもよい。これにより、後から確認はできるものの、これからやらなくてはいけない手順が明確に判る表示であれば色々な「表示変化」形態とすることができる。

第１実施形態のＨＭＤ１００の適用例としては、以下のような例が挙げられる。
複数の行程を含む作業の作業標準書をシナリオデータ１２３により構成する場合、シナリオデータ１２３をチェックリストとして利用できる。この場合、作業の案内をする文書、静止画像、動画像を、シナリオデータ１２３に含めることができる。また、動画像に音声を含めてシナリオデータ１２３に含ませてもよい。
この作業標準書は、作業の工程毎に、作業対象の部品、機器、或いは部品や機器の部分を対象ＯＢとしてＡＲ表示制御部１６３により表示できる。
また、シナリオデータ１２３に基づく表示中における使用者の操作に基づき、シナリオデータ１２３を編集することが可能な構成としてもよい。この場合の入力方法は、図５を参照して説明した方法を採用できる。
この例では、使用者がＨＭＤ１００を装着して実際に作業を行い、作業の変更や要点注釈の変更点等をリアルタイムにシナリオデータ１２３に反映できる。
また、作業中に右カメラ６１及び左カメラ６２によって撮像される動画像または静止画像や、マイク６３で集音された音声を、シナリオデータ１２３に含めて保存できる構成としてもよい。

作業は、例えば工場におけるライン作業、セル生産方式における作業があげられるが、商店等における作業の支援にも適用できる。また、シナリオデータ１２３を編集可能とすることで、作業をしながら標準作業と成りえる画像を標準作業として登録保存できる。
また、小さな商店等の棚商品の在庫管理の行程を、シナリオデータ１２３により行える。この場合、ＨＭＤ１００を装着した使用者が店内を巡回し、右カメラ６１及び左カメラ６２により商品を撮像することにより、位置検出部１６２で商品を検出できる。この場合、商品の個数、場所、時間等を記録して履歴データ１２４として保存できる。これにより、在庫管理業務、ピッキング業務等の作業支援システムとしても利用可能である。

また、病院や医院における診察業務において、診断フローをシナリオデータ１２３として作成し、活用できる。例えば、患者の問診における確認項目、及び、検査結果の項目を、シナリオデータ１２３の項目として含むことにより、シナリオデータ１２３に従って診断を行うことができる。この場合、シナリオデータ１２３に含まれる項目について使用者である医師等の医療関係者が入力するデータや、右カメラ６１、左カメラ６２の撮像画像データを、履歴データ１２４として記憶部１２０に記憶し保存すれば、履歴データ１２４を電子カルテの一部すなわち診断記録として活用できる。

また、ＨＭＤ１００を装着する使用者が、外景として視認できる実空間の人や物の数を数える場合にも適用できる。この場合、ジェスチャー等の入力操作が行われる毎にカウント（計数）が進行し、カウントされた人や物に対し、カウント済みであることを示す画像やマーカーが重なるＡＲ表示をすると、効果的である。この適用例では、二重のカウント（ダブルカウント）の防止、ハンズフリーでありながら漏らさずチェック（カウント）できる等の効果が得られる。例えば、イベント会場における人数のカウント、工場作業中における部品数のカウント、等に適用できる。

また、ＨＭＤ１００を装着する使用者が、球技の審判や記録係である場合にも本発明を適用できる。この場合、外景として視認できる実空間においてし合い（ゲーム）が行われる場合に、ゲーム中のプレーについてカウントを実行できる。具体的には、野球のゲームにおけるストライク、ボールカウント、イニング数、イニングの裏と表、得点等のカウントや表示を行うことで、間違いを防止できる。また、例えば、ゴルフ競技におけるラウンド数のカウント、スコアーの計算等にＨＭＤ１００を利用して間違いを防止できる。また、プレイヤーがＨＭＤ１００を装着してもよい。

このように、ＨＭＤ１００により本発明を適用することで、使用者の動作の確度を保証し、手順のチェック、点数の確認、製造現場における品質保証のためのトレーサビリティー（品質保証）のための確認、補償等を実現できる。例えば、人間の行動の不確実性や記憶の曖昧さ等に起因する間違い、トラブル等を、ＨＭＤ１００の機能により確実に防止できる。

また、シナリオデータ１２３は、例えば、プレゼンテーションソフトウェア（例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＰｏｗｅｒＰｏｉｎｔ（登録商標））の形式で作成されたプレゼンテーションプロジェクトファイルとすることができる。この場合、プレゼンテーションプロジェクトファイルを、シナリオデータ１２３として表示し、ＨＭＤ１００を装着する使用者は表示領域Ｖ１の表示を見ながらプレゼンテーションを行える。シナリオデータ１２３に、プレゼンテーションで発話する文章を項目の内容として含めることで、プレゼンテーションの原稿として利用できる。この場合、使用者が発話する音声をマイク６３で集音し、音声処理部１８７で音声をテキスト変換してシナリオデータ１２３の内容と照合することで、シナリオデータ１２３において発話済みのテキスト（文字、文字列）を制御部１４０が特定できる。ここで、ＡＲ表示制御部１６３が、発話済みのテキストの表示態様を変化させれば、プレゼンテーションの進行状態を使用者に見せることができる。例えば、発話済みのテキストを表示領域Ｖ１から消去する態様が考えられる。この場合、画像やテキストの表示位置や表示輝度は、画像表示部２０を透過して視認される外景の視認性を妨げない位置、輝度とすることが好ましい。これにより、例えば、プロジェクターにより表示されるプレゼンテーションのスライド画像を、使用者が視認しやすくなる。また、これから発話するテキスト等をハイライト等の強調表示をしてもよい。

従来、作業の手順のマニュアル等を見ながら作業を行う場合、作業をどこまで実行したかの確認をすること、及び、作業が正しい手順で実行されたかを確認することは、作業者の記憶に頼っていた。同様に、プレゼンテーションを実行する場合に、どこまでプレゼンテーションが進行したかを記録することは容易ではなく、プレゼンテーションを実行する人の記憶に頼って管理されていた。本実施形態のＨＭＤ１００を利用すれば、ＨＭＤ１００を装着する使用者は、作業内容をチェックリストにより自身で確認することができる。また、撮像画像データに基づき動作を検出する構成では、シナリオデータ１２３に含まれる項目に対応する作業等の動作について、実施済みか否かの確認、進行状態の確認等を、使用者の記憶のみに頼る場合に比べ、容易にかつ確実に行うことができる。また、動作の実行漏れ、動作の実行順序の間違い等を防止できる。シナリオデータ１２３に含まれる一連の動作を順次実行する間に、他の動作を行っても、ＡＲ表示制御部１６３が表示するリストＳＲや表示部Ｄにより、中断した動作に関する情報を得ることができる。これにより、複数の工程を含む作業やプレゼンテーション等の確度を高め、スピード、正確性、時間の管理の各種の面において、向上を図ることが可能となる。

［第２実施形態］
図９は、第２実施形態におけるＨＭＤ１００の動作を示すフローチャートである。
第２実施形態のＨＭＤ１００の構成は、上記第１実施形態で図１〜図４を参照して説明した構成と共通であるため、図示及び説明を省略する。
第２実施形態で、ＨＭＤ１００は、近距離無線通信部１１９によりシナリオデータ１２３を取得する。また、シナリオデータ１２３とともに履歴データ１２４を取得してもよい。

図９のフローチャートにおいて、図８で説明した動作と共通する処理には、同じステップ番号を付す。
図９の動作では、通信制御部１６５の制御により、近距離無線通信部１１９が通信を待機する（ステップＳ３１）。ステップＳ３１で、近距離無線通信部１１９は、外部の機器に対して通信を試行する。具体的には、外部の機器の検索を行う無線信号の送信、外部の機器から送信される無線信号の受信等を試行する。外部の機器は、例えば、ＢｌｕｅｔｏｏｔｈやＮＦＣで通信する機器、ＩＣタグ等である。通信制御部１６５は、近距離無線通信部１１９が外部の機器との無線通信を開始できる状態になるまでの間、通信の試行を継続する（ステップＳ３１；ＮＯ）。近距離無線通信部１１９による通信が可能な状態になった場合（ステップＳ３１；ＹＥＳ）、通信制御部１６５は、外部の機器との無線通信を実行させ、シナリオデータ１２３を取得する（ステップＳ３２）。ステップＳ３２では、履歴データ１２４を取得してもよい。通信制御部１６５が取得したシナリオデータ１２３、または、シナリオデータ１２３と履歴データ１２４は、記憶部１２０に記憶される。

ＡＲ表示制御部１６３は、通信制御部１６５が取得し記憶部１２０に記憶されたシナリオデータ１２３を読み出して、シナリオデータ１２３に含まれる項目を表示する（ステップＳ３３）。項目の表示については図８のステップＳ１４、Ｓ１５、Ｓ２３と同様の処理が行われる。制御部１４０は、ステップＳ１６〜Ｓ２１の動作を実行する。

近距離無線通信部１１９は、上述したように近距離無線通信を実行するので、近距離無線通信部１１９が通信可能な範囲に外部の機器が存在しない場合は、シナリオデータ１２３を取得しない。そして、近距離無線通信部１１９の通信可能範囲に外部の機器が現れた場合に、この機器からシナリオデータ１２３を取得して表示する。
例えば、ＨＭＤ１００の制御装置１０を、シナリオデータ１２３を保持する機器に接近させると、ステップＳ３１で無線通信が発生し（ステップＳ３１；ＹＥＳ）、当該機器から取得するシナリオデータ１２３に含まれる項目が画像表示部２０により表示される。

第２実施形態のＨＭＤ１００は、シナリオデータ１２３を保持する機器に接近した場合に、接近した機器が保持するシナリオデータ１２３に基づく表示を行うので、シナリオデータ１２３を保持する機器が複数存在する場所で、近接した機器が保持するシナリオデータ１２３に基づく表示を行う。この場合、ＨＭＤ１００は、場所に対応するシナリオデータ１２３を取得して表示を行うことができる。

具体的な例としては、建物内の机等の家具や什器・設備、冷蔵庫等の家電製品、工場内の機械、複数の機械で構成される生産ライン、自動車等の場所に、ＨＭＤ１００と無線通信可能かつシナリオデータ１２３を有する機器を配置する。この場合、ＨＭＤ１００を装着した使用者が、シナリオデータ１２３を有する機器に接近すると、このシナリオデータ１２３に基づく表示が行われる。従って、使用者に対し、使用者がいる場所に対応したシナリオデータ１２３を提供できる。また、シナリオデータ１２３を、使用者の操作により改変可能な構成とすれば、随時、シナリオデータ１２３を改変できる。改変したシナリオデータ１２３を、外部の機器に対して送信する構成であってもよい。

このように、ＨＭＤ１００は、外部の機器と通信する通信部１１７、近距離無線通信部１１９を備え、外部の機器からシナリオデータ１２３を受信して取得してもよい。この場合、項目に関するデータを外部から取得できる。また、近距離無線通信部１１９は、近距離無線通信を実行して、シナリオデータ１２３を取得してもよい。この場合、近距離無線通信を行える距離が限られるため、場所に関連付けられたデータを取得できる。

［変形例］
第１、第２実施形態で説明したＨＭＤ１００を複数含むシステムとして構成することも可能である。この場合、動作を管理する管理者と、動作を実行する実行者が、それぞれＨＭＤ１００を装着する形態が挙げられる。
この構成では、管理者のＨＭＤ１００と実行者のＨＭＤ１００との間でシナリオデータ１２３及び履歴データ１２４を送受信することで、シナリオデータ１２３及び履歴データ１２４を共有できる。すなわち、実行者のＨＭＤ１００から管理者のＨＭＤ１００に対して、シナリオデータ１２３及び履歴データ１２４を送信し、管理者のＨＭＤ１００が受信したシナリオデータ１２３及び履歴データ１２４に基づく表示を行う。これにより、管理者は、実行者の動作の実行状態を知ることができる。

また、管理者のＨＭＤ１００においてシナリオデータ１２３を編集し、編集後のシナリオデータ１２３を実行者のＨＭＤ１００に送信し、実行者のＨＭＤ１００が編集後のシナリオデータ１２３に基づく表示を行う構成としてもよい。この場合、管理者が、実行者の動作の実行を補助するようにシナリオデータ１２３を編集することで、管理者が実行者に対して支援を行える。この構成では、管理者は、情報提供側すなわち情報提供者ということができ、実行者は情報受信者ということができる。

また、異なる複数のシナリオデータ１２３を、対応づける構成としてもよい。例えば、管理者用のシナリオデータ１２３と、実行者用のシナリオデータ１２３とを対応づけることができる。管理者用のシナリオデータ１２３と実行者用のシナリオデータ１２３とは異なるデータであってもよい。管理者が確認する項目と、実行者が確認する項目とが異なる場合に、管理者用のシナリオデータ１２３と実行者用のシナリオデータ１２３とは異なる項目を含み、それぞれの項目に対応する履歴データ１２４をＨＭＤ１００が保持する構成とすればよい。

この場合、実行者が実行する作業について、管理者と実行者のそれぞれが装着するＨＭＤ１００で、動作の実行状態を確認し、履歴データ１２４を生成できる。これにより、動作の実行に関してダブルチェックを行うことができ、動作の実行精度の向上を図ることができる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

上記各実施形態において、使用者が表示部を透過して外景を視認する構成は、右光学像表示部２６及び左光学像表示部２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、右カメラ６１及び／又は左カメラ６２の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、ＡＲ表示、ＭＲ表示、或いはＶＲ表示といった処理を行わず、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

本発明でいう「表示部」は、画像光を出射する構成に相当し、以下の説明ではＨＭＤ１００が画像光を出射することを、「表示する」と呼ぶ。
上記各実施形態では、図４を参照して説明した左右の画像光生成部により画像光を生成し、図２に示す右光学像表示部２６及び左光学像表示部２８によって、使用者の右眼と左眼のそれぞれに向けて画像光を照射し、使用者の右眼と左眼のそれぞれに画像光を入射させる構成を例示する。「表示部」の構成はこれに限定されない。すなわち、画像光を照射するものであれば、図２及び図４の構成に限定されない。例えば本実施形態の構成では、ハーフミラー２６１Ａ、２６２Ａを有する「右導光部」及び「左導光部」によって、使用者の眼に向けて画像光を出射する。また、画像光を生成する構成として、右バックライト２２１及び左バックライト２２２と、右ＬＣＤ２４１及び左ＬＣＤ２４２とを備える。「表示部」はこれらの構成を必須としない。

例えば、画像表示部２０の右表示駆動部２２及び左表示駆動部２４のいずれか、又は両方に内蔵する機構によって生成される画像光を、画像表示部２０の使用者側すなわち使用者の眼を向く側に設けられる反射機構により反射して、使用者の眼に出射してもよい。ここで、反射機構は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを用いた走査光学系を採用することもできる。すなわち、画像光生成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系を備え、この走査光学系で走査される光が使用者の眼に直接入射する構成としてもよい。また、走査光学系により走査される光によって虚像が形成される光学部材を、画像表示部２０に設けてもよい。この光学部材はＭＥＭＳミラーが走査する走査光による虚像を形成する。この場合、ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が視認（認識）される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、走査光学系はＭＥＭＳミラーを備えた構成に限定されない。画像光を生成する機構も、レーザー光を発するレーザー光源であってもよい。例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、走査される光を受ける虚像形成面に代えて、回折格子を用いて使用者の眼に画像光を導く構成であってもよい。つまり、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／又は反射させて導く機能のみを有するものであってもよい。

ＭＥＭＳ等を有する走査光学系を備えた構成では、画像表示部２０における走査光学系の取り付け角度を変更することで、使用者が画像を視認する位置、すなわち画像の表示位置を変更できる。従って、上記各実施形態で表示位置を変更する処理において、右ＬＣＤ２４１、左ＬＣＤ２４２における画像の表示位置を変更する動作に代えて、走査光学系の角度を変更する動作を行ってもよい。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。

また、上記各実施形態では使用者の眼前に位置する右光学像表示部２６及び左光学像表示部２８の一部に、ハーフミラー２６１Ａ、２６２Ａにより虚像が形成される構成を例示した。本発明はこれに限定されず、右光学像表示部２６及び左光学像表示部２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図４に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７、近距離無線通信部１１９又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１３５のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図４に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２５…インターフェイス、２６…右光学像表示部、２８…左光学像表示部、６１…右カメラ、６２…左カメラ、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１１９…近距離無線通信部（通信部）、１２０…記憶部（順序データ記憶部、実行データ記憶部）、１２５…インターフェイス、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…撮像制御部、１６２…位置検出部（入力部、対象検出部）、１６３…ＡＲ表示制御部、１６４…状態検出部、１６５…通信制御部、１８７…音声処理部、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、２６１Ａ、２６２Ａ…ハーフミラー。

Claims

外景を透過して視認可能に画像を表示する表示部と、
入力を認識する入力部と、
動作に対応する複数の項目を含む項目データに基づき、前記表示部に項目を表示させ、前記入力部で認識した入力に応じて、前記表示部における表示を変化させる制御部と、を備え、
複数の前記項目の各々には、動作の実行順に対応する項目の順序が設定され、
前記制御部は、複数の前記項目をリスト形式であって、設定された前記順序で表示させ、
次に実行させる動作に対応する項目と、次に実行させる前記動作の対象位置に第１マーカーとを表示させ、動作が完了した項目に重なるように第２マーカーを表示させ、動作が未完了のまま次の動作が実行された項目に重なるように第３マーカーを表示させること、を特徴とする表示装置。
前記制御部は、前記項目データに含まれる前記項目に対応する動作の実行順に関する情報を含む順序データに基づき、画像を前記表示部に表示させること、
を特徴とする請求項１記載の表示装置。
前記項目データと前記順序データとを対応付けて記憶する順序データ記憶部を備えること、
を特徴とする請求項２記載の表示装置。
前記入力部は、前記表示部を透過して視認される範囲の入力を検出して入力位置を特定し、
前記制御部は、前記入力部で特定した入力位置に対応して前記表示部における表示を変化させること、
を特徴とする請求項１から３のいずれかに記載の表示装置。
前記制御部は、前記入力部で特定した入力位置に対応する位置に表示中の前記項目に指標を重ねて表示させること、
を特徴とする請求項４記載の表示装置。
前記外景の撮像画像または前記外景から集音される音声に基づき、前記項目に対応する動作の実行状態を検出する状態検出部を備え
前記制御部は、前記状態検出部が検出した実行状態に応じて、前記表示部によって表示中の前記項目の表示状態を変化させること、
を特徴とする請求項１から５のいずれかに記載の表示装置。
前記動作の実行状態に係る情報を含む実行データを記憶する実行データ記憶部を備え、
前記制御部は、前記項目データに含まれる前記項目に対応する動作の実行データを、前記項目データに対応付けて前記実行データ記憶部に記憶させ、前記実行データ記憶部から前記実行データを読み出した場合に、読み出した実行データに基づき、前記表示部によって表示する前記項目の表示状態を制御すること、
を特徴とする請求項６記載の表示装置。
前記外景における対象を検出する対象検出部を備え、
前記制御部は、前記対象検出部で検出された前記対象が前記表示部を透過して視認される位置に対応させて、前記項目データに含まれる項目を表示させること、
を特徴とする請求項１から７のいずれかに記載の表示装置。
外部の機器と通信する通信部を備え、
前記通信部により前記外部の機器から前記項目データを受信して取得すること、
を特徴とする請求項１から８のいずれかに記載の表示装置。
前記通信部は近距離無線通信を実行すること、
を特徴とする請求項９記載の表示装置。
外景を透過して視認可能に画像を表示する表示部を有する表示装置の制御方法であって、
動作に対応する複数の項目を含む項目データに基づき、前記表示部に前記項目を表示させるステップと、
前記表示部を透過して視認される範囲の入力を検出して入力位置を特定するステップと、
特定した入力位置に対応する位置に表示中の前記項目の表示状態を変化させるステップと、を有し、
複数の前記項目の各々には、動作の実行順に対応する項目の順序が設定され、
前記表示部に前記項目を表示させるステップは、複数の前記項目をリスト形式であって、設定された前記順序で表示させ、
次に実行させる動作に対応する項目と、次に実行させる前記動作の対象位置に第１マーカーとを表示させ、動作が完了した項目に重なるように第２マーカーを表示させ、動作が未完了のまま次の動作が実行された項目に重なるように第３マーカーを表示させること、
を特徴とする表示装置の制御方法。
外景を透過して視認可能に画像を表示する表示部を有する表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターに、
動作に対応する複数の項目を含む項目データに基づき、前記表示部に前記項目を表示させる手順と、
前記表示部を透過して視認される範囲の入力を検出して入力位置を特定する手順と、
特定した入力位置に対応する位置に表示中の前記項目の表示状態を変化させる手順と、を実行させ、
複数の前記項目の各々には、動作の実行順に対応する項目の順序が設定され、
前記表示部に前記項目を表示させる手順は、複数の前記項目をリスト形式であって、設定された前記順序で表示させ、
次に実行させる動作に対応する項目と、次に実行させる前記動作の対象位置に第１マーカーとを表示させ、動作が完了した項目に重なるように第２マーカーを表示させ、動作が未完了のまま次の動作が実行された項目に重なるように第３マーカーを表示させる、プログラム。