JP6387825B2 - 表示システム、及び、情報表示方法 - Google Patents

Description

本発明は、表示システム、及び、情報表示方法に関する。

従来、作業を行う人を支援するため、頭部に装着するヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）と呼ばれる表示装置を使用する例が知られている（例えば、特許文献１、２参照）。特許文献１記載のシステムは、作業者用ＨＭＤユニットが備えるカメラ装置で撮像した視界画像を、管理者用ＨＭＤユニットに送信し、管理者用ＨＭＤユニットにおいて作業者の作業状態を見ることを可能とする。また、特許文献２記載のサーバーは、輸送機のパイロットが装着するＨＭＤに対し、目的の地点、物資、スケジュール等に関する情報を送信する。ＨＭＤを有するクライアント装置は、サーバーから送信された情報と、輸送機の位置情報、向き情報等に基づき仮想空間情報をＨＭＤに表示する。この仮想空間情報には、矢印や文字で表現される各種の情報が含まれる。

特開２００７−３２０７１５号公報 特開２０１２−１３８００５号公報

上述したように、従来の手法では、作業を支援する側または支援される側のＨＭＤに視界画像や文字等による情報を表示していたが、よりわかりやすい態様で多くの情報を伝達することが望まれていた。
本発明は上記事情に鑑みてなされたものであり、頭部装着型の表示装置を装着した人に対し、わかりやすい態様で多くの情報を伝達できるようにすることを目的とする。

上記目的を達成するために、本発明の表示システムは、頭部装着型の第１表示装置及び第２表示装置を備え、前記第１表示装置は、外景を視認可能に画像を表示する第１表示部と、前記第１表示部で視認可能な外景の少なくとも一部を含む範囲を撮像する撮像部と、前記撮像部の撮像画像に基づき生成される案内対象情報を、前記第２表示装置に送信し、前記第２表示装置から案内情報を受信する第１通信部と、前記第１通信部で受信した案内情報に基づく画像を前記第１表示部に表示させる第１制御部と、を備え、前記第２表示装置は、外景を視認可能に画像を表示する第２表示部と、前記第１表示装置から案内対象情報を受信し、前記第１表示装置に案内情報を送信する第２通信部と、前記第２通信部が受信した案内対象情報に基づき前記第２表示部に画像を表示させる表示制御部と、操作を検出する操作検出部と、前記案内対象情報に基づく画像を表示中に前記操作検出部が検出する操作を示す情報と、前記操作と前記案内対象情報とを関連付ける情報とを含む前記案内情報を生成して、前記第２通信部で送信する第２制御部と、を備えること、を特徴とする。
本発明によれば、第１表示装置で撮像された撮像画像に基づく案内対象情報を第２表示装置に送信し、第２表示装置が案内対象情報に基づき画像を表示し、この画像の表示中の操作と案内対象情報とを関連付ける情報を含む案内情報が、第１表示装置に送信される。このため、第２表示装置の操作により、第１表示装置に対して、第１表示装置における撮像画像に関連付けた操作に関する情報を提供できるので、第１表示装置の使用者に対し、わかりやすい態様で多くの情報を伝達できる。

また、本発明は、上記表示システムにおいて、前記第１表示装置が備える前記第１制御部は、前記撮像部の撮像画像を含む案内対象情報を生成し、前記第２表示装置が備える前記操作検出部は、位置指示操作を検出し、前記第２制御部は、前記操作検出部が検出した位置指示操作の指示位置を、案内対象情報に含まれる撮像画像に対応付ける情報を含む案内情報を生成すること、を特徴とする。
本発明によれば、第２表示装置において位置指示操作を行うことができ、第１表示装置において、第２表示装置の位置指示操作の指示位置を撮像画像に対応付けることができる。このため、第１表示装置の使用者に対し、第２表示装置で行う位置指示操作の内容を伝えることができる。

また、本発明は、上記表示システムにおいて、前記第２表示装置が備える前記第２制御部は、前記操作検出部が検出した位置指示操作の指示位置に関する情報と、指示体の画像とを含む案内情報を生成し、前記第１表示装置が備える前記第１制御部は、前記第１表示部によって、前記第１通信部が受信した案内情報に含まれる指示位置に対応する位置に、指示体の画像を表示させること、を特徴とする。
本発明によれば、第２表示装置において位置指示操作を行うことで、この位置指示操作による指示位置に対応して、第１表示装置が指示体の画像を表示する。このため、第２表示装置の操作によって、第１表示装置の使用者に対して位置を指し示すことができる。

また、本発明は、上記表示システムにおいて、前記第１表示装置が備える前記第１制御部は、前記第１表示部によりＧＵＩ（Graphical User Interface）操作用の画像を表示させ、前記ＧＵＩ操作用の画像の表示位置と前記第２通信部が受信した案内情報に含まれる指示位置とに基づいて、操作を検出すること、を特徴とする。
本発明によれば、第２表示装置で位置指示操作を行うことにより、第１表示装置に対するＧＵＩ操作を行い、第１表示装置を制御できる。

また、本発明は、上記表示システムにおいて、前記第１表示装置が備える前記第１制御部は、前記第１通信部で受信した案内情報に含まれる操作を示す情報に基づき、前記第１表示装置に対する操作を検出すること、を特徴とする。
本発明によれば、第２表示装置で操作を行うことにより、第１表示装置を制御できる。

また、本発明は、上記表示システムにおいて、前記第２表示装置が備える前記第２制御部は、前記第２通信部が受信した案内対象情報が撮像画像を含む場合に、この撮像画像を前記第２表示部に表示させ、撮像画像の表示中に前記操作検出部が検出する操作に基づいて撮像画像を編集し、編集後の撮像画像を含む前記案内情報を生成すること、を特徴とする。
本発明によれば、第１表示装置で撮像した撮像画像を編集して、第１表示装置の使用者に見せることができる。

また、本発明は、上記表示システムにおいて、前記第２表示装置は、前記第１表示装置が備える撮像部の撮像条件を指定する情報を前記第２通信部で送信し、前記第１表示装置の第１制御部は、前記第２表示装置から撮像条件を受信して、受信した撮像条件に基づき撮像部を制御し、前記撮像部の撮像画像に基づき生成される案内対象情報を前記第２表示装置に送信すること、を特徴とする。
本発明によれば、第２表示装置から撮像条件を指定して、指定した撮像条件で撮像された撮像画像に基づく案内対象情報を、第２表示装置が取得できる。このため、第２表示装置の使用者は、第１表示装置の環境における所望の情報を得ることができる。

また、本発明は、上記表示システムにおいて、前記第２表示装置は、前記撮像条件として撮像方向及び／又はズーム倍率を指定する情報を前記第２通信部で送信し、前記第１表示装置の第１制御部は、前記第２表示装置から受信した撮像条件に基づき、前記撮像部の撮像方向及び／又はズーム倍率を制御すること、を特徴とする。
本発明によれば、第２表示装置から撮像方向、或いはズーム倍率を指定して、指定した撮像条件で撮像された撮像画像に基づく案内対象情報を、第２表示装置が取得できる。このため、第２表示装置の使用者は、第１表示装置の環境における所望の撮像画像に関する情報を得ることができる。

また、上記目的を達成するために、本発明は、頭部装着型の表示装置であって、外景を視認可能に画像を表示する表示部と、前記表示部で視認可能な外景の少なくとも一部を含む範囲を撮像する撮像部と、前記撮像部の撮像画像に基づき生成される案内対象情報を外部の装置に送信し、前記外部の装置から案内情報を受信する通信部と、前記通信部で受信した案内情報に基づいて画像の表示位置を算出し、前記表示部により、算出した表示位置に前記案内情報に基づく画像を表示させる制御部と、を備えること、を特徴とする。
本発明によれば、外景の一部を含む範囲の撮像画像に基づく案内対象情報を外部の装置に送信し、外部の装置から受信する案内情報に従って画像を表示する。これにより、外部の装置に対して、実行中の作業に関する情報を送信し、外部の装置が送信する情報を、使用者に効果的に見せることができる。

また、上記目的を達成するために、本発明は、外景を視認可能に画像を表示する第１表示部を備えた第１表示装置、及び、外景を視認可能に画像を表示する第２表示部を備えた第２表示装置を用いる情報表示方法であって、前記第１表示装置により、前記第１表示部で視認可能な外景の少なくとも一部を含む範囲を撮像し、撮像画像に基づき生成される案内対象情報を、前記第２表示装置に送信し、前記第２表示装置により、前記第１表示装置から案内対象情報を受信し、受信した案内対象情報に基づき前記第２表示部に画像を表示させ、案内対象情報に基づく画像の表示中の操作を検出し、検出した操作を示す情報および検出した操作と案内対象情報とを関連付ける情報を含む案内情報を生成して、第２通信部で送信し、前記第１表示装置により、前記第２表示装置が送信した案内情報を受信し、受信した案内情報に基づく画像を前記第１表示部に表示させること、を特徴とする。
本発明によれば、第１表示装置で撮像された撮像画像に基づく案内対象情報を第２表示装置に送信し、第２表示装置が案内対象情報に基づき画像を表示し、この画像の表示中の操作と案内対象情報とを関連付ける情報を含む案内情報が、第１表示装置に送信される。このため、第２表示装置の操作により、第１表示装置に対して、第１表示装置における撮像画像に関連付けた操作に関する情報を提供できるので、第１表示装置の使用者に対し、わかりやすい態様で多くの情報を伝達できる。

また、上記目的を達成するために、本発明は、外景を視認可能に画像を表示する表示部と、前記表示部で視認可能な外景の少なくとも一部を含む範囲を撮像する撮像部とを備える頭部装着型の表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターにより、前記撮像部の撮像画像に基づき生成される案内対象情報を外部の装置に送信し、前記外部の装置から案内情報を受信し、受信した案内情報に基づいて画像の表示位置を算出し、前記表示部により、算出した表示位置に前記案内情報に基づく画像を表示させること、を特徴とする。
本発明によれば、表示装置により、外景の一部を含む範囲の撮像画像に基づく案内対象情報を外部の装置に送信し、外部の装置から受信する案内情報に従って画像を表示できる。このため、外部の装置に対して、実行中の作業に関する情報を送信し、外部の装置が送信する情報を、使用者に効果的に見せることができる。
また、本発明は、このプログラムを記憶した記憶媒体として構成してもよい。

第１実施形態の表示システムの概略構成図。 頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 指令サイトの頭部装着型表示装置を構成する各部の機能ブロック図。 作業サイトの頭部装着型表示装置を構成する各部の機能ブロック図。 表示システムの動作を示すフローチャート。 頭部装着型表示装置の表示例を示す図。 第２実施形態の表示システムの動作を示すフローチャート。 第２実施形態の表示システムの動作を示すフローチャート。 第２実施形態の頭部装着型表示装置の表示例を示す図。 第３実施形態の表示システムの動作を示すフローチャート。 第４実施形態の表示システムの動作を示すフローチャート。

［第１実施形態］
図１は、本発明を適用した実施形態に係る表示システム１の概略構成図である。
この図１に示すように、表示システム１は、複数のＨＭＤ１００を、通信ネットワーク４を介して相互に通信可能に接続したシステムである。図１には３台のＨＭＤ１００を通信ネットワーク４に接続する例を示すが、表示システム１が備えるＨＭＤ１００の数に制限はない。

本実施形態において表示システム１は、異なる機能を有する２種類のＨＭＤ１００を備え、各々のＨＭＤ１００を、それぞれ、ＨＭＤ１００Ａ、１００Ｂとする。以下では、ＨＭＤ１００Ａ、１００Ｂを区別する必要のない場合、ＨＭＤ１００と記載する。
ＨＭＤ１００Ａ、１００Ｂは、図１に示すように使用者が頭部に装着する表示装置であり、頭部装着型表示装置（ヘッドマウントディスプレイ、Head Mounted Display）とも呼ばれる。ＨＭＤ１００Ａ、１００Ｂは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のＨＭＤである。
なお、以下の説明では、ＨＭＤ１００Ａ、１００Ｂによって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

表示システム１は、作業を行う作業者がＨＭＤ１００Ｂを装着し、作業者に対して指示や管理を行う指令者がＨＭＤ１００Ａを装着し、指令者と作業者の間で指示や管理のための情報を送受信する。指令者がいる指令サイトＡと、作業者が作業を行う作業サイトＢとは、通信ネットワーク４に接続可能であれば地理的制約はなく、遠隔地であってもよいし、近接した場所であってもよい。

表示システム１は、作業者が装着するＨＭＤ１００Ｂが、作業者の視界を撮像し、撮像画像を含む作業情報（案内対象情報）をＨＭＤ１００Ａに送信する機能を有する。ＨＭＤ１００Ａは、作業情報を受信して、作業者の視界の撮像画像を表示する。指令者は、ＨＭＤ１００Ａを操作し、説明用のコンテンツの選択、説明のために指示体（例えば、腕、手または指）を動かす動作等を行い、ＨＭＤ１００ＡからＨＭＤ１００Ｂに、選択されたコンテンツ及び指示体の動きを示すデータを含む指示情報（案内情報）が送信される。ＨＭＤ１００Ａは外景を視認可能な、いわゆるシースルー型の表示装置である。このため、指令者は、ＨＭＤ１００Ａが表示する作業者の視界を見ながら、操作を行う。

ＨＭＤ１００Ｂは、ＨＭＤ１００Ａが送信する指示情報を受信して、コンテンツの画像や指示体の動きを示す画像を、画像表示部２０に表示する。ＨＭＤ１００Ｂはシースルー型の表示装置であるため、作業者は、画像表示部２０が表示する画像を見ながら、手元を見て作業を行うことができる。
これにより、表示システム１では、作業サイトＢで作業を行う作業者の視界を、指令サイトＡにいる指令者が視認し、作業者のＨＭＤ１００Ｂに対し、指示体やコンテンツを利用して、作業の案内や説明等を行うことができる。作業者は、コンテンツの画像や指示体の動きを見ながら作業を行うことができる。

通信ネットワーク４は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線またはその組合せで実現され、その具体的構成は限定されない。通信ネットワーク４は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたＬＡＮ（Local Area Network）であってもよい。また、通信ネットワーク４、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワーク４が複数の通信回線で構成されてもよい。指令サイトＡには通信ネットワーク４に接続するアクセスポイント３Ａが設置され、作業サイトＢには、通信ネットワーク４に接続するアクセスポイント３Ｂが設置される。無線アクセスポイント３Ａ、３Ｂは、アクセスポイントやルーター等の通信装置であり、ＨＭＤ１００Ａ、１００Ｂと通信ネットワーク４とのデータ通信を中継する。

ＨＭＤ１００Ａは、無線アクセスポイント３を介して他のＨＭＤ１００Ｂとデータ通信を実行する。なお、それぞれのＨＭＤ１００Ａは、他のＨＭＤ１００Ｂとの間で、例えばアドホックモードで直接、無線通信を実行してもよいし、有線の通信回線によりＨＭＤ１００Ａ、１００Ｂが接続されてもよい。すなわち、表示システム１は、ＨＭＤ１００Ａ及びＨＭＤ１００Ｂが通信可能であれば、その構成は特に限定されない。

ＨＭＤ１００Ａは、使用者である指令者が頭部に装着する画像表示部２０、及び、画像表示部２０を制御する制御装置１０Ａを備える。画像表示部２０は、使用者の頭部に装着された状態で使用者に虚像を視認させる。制御装置１０Ａは、使用者がＨＭＤ１００Ａを操作するコントローラーとしても機能する。
また、ＨＭＤ１００Ｂは、画像表示部２０、及び、制御装置１０Ｂを備える。画像表示部２０はＨＭＤ１００Ａと共通であり、使用者である作業者の頭部に装着された状態で、使用者に虚像を視認させる。制御装置１０Ｂは、制御装置１０Ａと同様に画像表示部２０を制御し、使用者がＨＭＤ１００Ｂを操作するコントローラーとしても機能する。制御装置１０Ａと制御装置１０Ｂは外観において共通であり、機能的構成は相違するが、この相違点については後述する。

図２は、ＨＭＤ１００Ａの外観構成を示す説明図である。ＨＭＤ１００Ｂは、外観上はＨＭＤ１００Ａと同一であるため、ＨＭＤ１００Ｂの構成について図示及び説明を省略する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図４参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図４参照）と調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板２０Ａは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００Ａを装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。カメラ６１は、制御部１４０の制御に従って撮像を実行し、撮像画像データを制御部１４０に出力する。

図３は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型の右ＬＣＤ２４１、および、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、ＨＭＤ１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０は、制御装置１０Ａに接続部４０を介して接続する。接続部４０は、制御装置１０Ａに接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能であればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

画像表示部２０と制御装置１０Ａとは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０Ａには、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０Ａのコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０Ａと画像表示部２０とを接離できる。

制御装置１０Ａは、ＨＭＤ１００を制御する。制御装置１０Ａは、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０Ａは、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０Ａで操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、ＨＭＤ１００の電源オン／オフを切り替えるスイッチである。
図２を参照して説明した内容に関し、ＨＭＤ１００Ｂの構成はＨＭＤ１００Ａと共通である。すなわち、上記説明において制御装置１０Ａを制御装置１０Ｂに代えた構成となる。

図４は、ＨＭＤ１００Ａを構成する各部の機能ブロック図である。また、図５はＨＭＤ１００Ｂを構成する各部の機能ブロック図である。
図４に示すように、ＨＭＤ１００Ａは、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１１４を備える。インターフェイス１１４は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０Ａは、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含む操作部１３５に接続される。入力情報取得部１１０は、操作部１３５から入力される信号に基づき、操作部１３５における操作内容を検出し、操作内容を示す操作データを制御部１４０に出力する。また、制御装置１０Ａは、電源部（図示略）を備え、制御装置１０Ａ及び画像表示部２０の各部に電源を供給する。

記憶部１２０は、不揮発性の記憶装置であって、制御部１４０が実行する種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１３５の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１１４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。

また、記憶部１２０は、検出用データ１２２、メニュー画像データ１２３、送信画像データ１２４、及び指示コンテンツデータ１２５を記憶する。
検出用データ１２２は、画像データから作業対象物の画像を検出するために利用されるデータである。作業対象物とは、ＨＭＤ１００Ｂを装着した作業者が行う作業の対象であり、作業時に作業者の視界に位置すると考えることができる。検出用データ１２２は、例えば、画像データから作業対象物の画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物の画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム１では、ＨＭＤ１００Ｂを装着する作業者が対象とする作業対象物が事前に判明している場合に、この作業対象物に関する検出用データ１２２が、記憶部１２０に記憶される。

メニュー画像データ１２３は、画像表示部２０にメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
送信画像データ１２４は、ＨＭＤ１００ＡがＨＭＤ１００Ｂに送信する指示情報に用いられる画像データであり、例えば、腕、手、指、或いは指示棒等の指示体の画像の画像データである。詳細は後述するが、指示情報には、カメラ６１が撮像する指示体の撮像画像を含めることができるが、撮像画像の代わりに、予め用意された指示体の画像を用いることもできる。送信画像データ１２４は、撮像画像の代わりに指示情報に含めることが可能な画像データである。送信画像データ１２４は、例えば、作業者の腕や手指を模した画像の画像データであるが、矢印等の記号で構成されるポインターの画像の画像データであってもよく、その種類や内容は制限されない。
指示コンテンツデータ１２５は、ＨＭＤ１００ＡがＨＭＤ１００Ｂに送信するコンテンツのデータであり、テキストデータ、静止画像データ、動画像データ、及び音声データ等を含むことができる。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。３軸センサー１１３により、制御部１４０は、制御装置１０Ａの動きを検出することができ、例えば制御装置１０Ａを振る等の操作を検出できる。また、３軸センサー１１３は９軸センサーに置き換えてもよい。この場合、制御部１４０は、３軸の加速度センサー、３軸の角速度センサー、及び３軸の地磁気センサーの検出値を取得し、例えば、制御装置１０Ａの姿勢、向き、動きを検出できる。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０Ａの現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１１４に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１１４より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１１４は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、及び、表示制御部１７０として機能する。また、制御部１４０は、上記プログラムを実行し、通信制御部１８１、受信情報処理部１８２、操作検出部１８３、操作時表示制御部１８４、送信画像取得部１８５、指示情報生成部１８６、及び、音声処理部１８７として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０Ａと画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

通信制御部１８１は、通信部１１７を制御して、ＨＭＤ１００Ｂとの間の通信を制御する。通信制御部１８１は、ＨＭＤ１００Ｂから作業情報を受信し、受信した作業情報を受信情報処理部１８２に出力する。また、指示情報生成部１８６が生成する指示情報を、ＨＭＤ１００Ｂに送信する処理を行う。

受信情報処理部１８２は、通信制御部１８１が受信した作業情報を解析して、作業情報に含まれる画像データを抽出する。受信情報処理部１８２は、例えば、記憶部１２０が記憶する検出用データ１２２を用い、作業情報に含まれる画像データから作業対象物の画像を検出する。

操作検出部１８３は、ＨＭＤ１００Ａを装着した指令者の操作を検出する。操作検出部１８３は、入力情報取得部１１０から入力される操作データに基づき、操作部１３５の操作を検出する。また、操作検出部１８３は、カメラ６１を利用して、ＨＭＤ１００Ａを装着する指令者の操作を検出する。この場合、操作検出部１８３は、カメラ６１の撮像画像データから、指令者が使用する指示体の画像を検出する。指令者が使用する指示体は、例えば、指令者の腕、手、指、指示棒等を含む。操作検出部１８３は、撮像画像における指示体の画像の位置に基づき、指示体の指示位置を特定する。また、操作検出部１８３は、特定した指示位置が、予め設定されたパターンに該当する軌跡を形成する場合に、操作を検出してもよい。この動作は、指令者が指示体を動かして、その動きの種類により異なる指示を行う、いわゆるジェスチャー操作である。

操作時表示制御部１８４は、操作検出部１８３が操作を検出する間の、画像表示部２０の表示を制御する。操作時表示制御部１８４は、記憶部１２０からメニュー画像データ１２３等を読み出し、画像処理部１６０及び表示制御部１７０を制御して、メニュー画像等を表示させる。これにより、例えば、指令者が指示体や操作部１３５で操作を行う場合に、指示体の動きの指標や目安となる文字や画像、或いは、位置入力を可能とするメニューバー画像を、画像表示部２０に表示させることができる。

送信画像取得部１８５は、ＨＭＤ１００Ｂに送信する指示情報に含める指示体の画像を取得する。送信画像取得部１８５は、カメラ６１で指示体を撮像した場合には、カメラ６１の撮像画像から指示体の画像を抽出して取得する。また、指令者の操作または事前の設定で、指示体の画像を記憶部１２０から取得するよう設定された場合、送信画像取得部１８５は送信画像データ１２４を取得する。
指示情報生成部１８６は、ＨＭＤ１００Ｂに送信する指示情報を生成する。指示情報は、ＨＭＤ１００ＡがＨＭＤ１００Ｂに送信するデータであり、本実施形態では、コンテンツの画像データ及び／又は音声データ、指示体の画像データ、音声処理部１８７が生成する指令者の音声のデータ、指示体の位置または動きを示すデータを含む。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、上述したようにカメラ６１及び距離センサー６４を備える。また、画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、９軸センサー６６と、視線センサー６８とを備える。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、距離センサー６４、９軸センサー６６及び視線センサー６８を接続するインターフェイスである。カメラ６１の撮像データ、距離センサー６４の検出結果、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果、及び、視線センサー６８の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。

受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０Ａと画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０Ａと画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

図５に示すように、ＨＭＤ１００Ｂは、図４を参照して説明した画像表示部２０と、制御装置１０Ｂとを接続した構成を有する。
制御装置１０Ｂは、制御部１４０（図４）に代えて制御部３００を有し、記憶部１２０（図４）に代えて３４０を有する。他の構成は図４に示した制御装置１０Ａと共通である。

記憶部３４０は、記憶部１２０と同様の不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部３４０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部３４０は、設定データ３４１を記憶する。設定データ３４１は、制御部３００が使用する各種の設定値を含む。設定データ３４１が含む設定値は、予め操作部１３５の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１１４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。

また、記憶部３４０は、不揮発性の記憶装置であって、制御部３００が実行する種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部３４０は、検出用データ３４３、メニュー画像データ３４５、送信画像データ１２４、及び指示コンテンツデータ１２５を記憶する。
検出用データ３４３は、画像データから作業対象物の画像を検出するために利用されるデータである。検出用データ３４３は、例えば、画像データから作業対象物の画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物の画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。記憶部３４０が記憶する検出用データ３４３は、設定データ１２１と同一であってもよいし、設定データ１２１とは異なるデータであってもよい。
メニュー画像データ３４５は、画像処理部３０３及び表示制御部３０５により表示されるメニュー画像のデータである。

制御部３００は、制御部１４０と同様、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部３００は、記憶部３４０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）３０１、画像処理部３０３、表示制御部３０５、及び、表示制御部３０５として機能する。また、制御部３００は、通信制御部３１１、撮像制御部３１３、作業情報生成部３１５、受信情報解析部３１７、指示検出部３１９、表示位置算出部３２１、操作検出部３２３、表示情報生成部３２５、及び、音声処理部３２９として機能する。

画像処理部３０３は、コンテンツに含まれる画像信号を取得する。画像処理部３０３は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部３０３は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部３０３は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部３０３は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部３００のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部３０３は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部３０３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部３０３は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０Ｂと画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部３０５は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部３０５は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

通信制御部３１１は、通信部１１７を制御して、ＨＭＤ１００Ａとの間の通信を制御する。通信制御部３１１は、作業情報生成部３１５が生成する送信情報を含むデータを、ＨＭＤ１００Ａに送信する処理を行う。また、通信制御部３１１は、ＨＭＤ１００Ａが送信するデータを受信し、受信したデータを受信情報解析部３１７に出力する。

撮像制御部３１３は、カメラ６１を制御して撮像を実行させ、撮像画像データを取得する。
作業情報生成部３１５は、ＨＭＤ１００Ａに送信するデータを取得し、取得したデータに基づき作業情報を生成する。作業情報生成部３１５は、カメラ６１の撮像画像データを取得する。また、作業情報生成部３１５は、距離センサー６４、９軸センサー６６、及び視線センサー６８の少なくとも一部のセンサーの検出値を取得してもよく、この場合、カメラ６１の撮像画像データ、及び、センサーの検出値を含む作業情報を生成する。作業情報生成部３１５が検出値を取得するセンサーは予め設定されるが、ＨＭＤ１００ＡがＨＭＤ１００Ｂに設定用のコマンドを送信して、取得する検出値を指定してもよい。また、作業情報生成部３１５は、カメラ６１の撮像画像データそのものに限らず、撮像画像データから生成した画像データを含む作業情報を生成してもよい。
受信情報解析部３１７は、通信制御部３１１が受信したデータを解析する。本実施形態では、受信情報解析部３１７は、通信制御部３１１が受信した指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部３１７は、通信制御部３１１が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。

指示検出部３１９は、受信情報解析部３１７が抽出したデータから、指示体による操作を行うことを示すデータを検出する。指令者はＨＭＤ１００Ａを操作して、指示体による位置指示操作を行い、この位置指示操作によってＨＭＤ１００Ｂを制御することが可能である。この場合、ＨＭＤ１００Ａが送信する指示情報に含まれる位置指示操作に関するデータを、ＨＭＤ１００Ｂが、ＧＵＩの操作として検出する。ＨＭＤ１００Ａが送信する指示情報には、指令者の操作をＧＵＩの操作として検出するか否かを指定するデータが含まれ、このデータを指示検出部３１９が検出する。
表示位置算出部３２１は、受信情報解析部３１７が抽出した画像データに基づき画像を表示する位置を算出する。受信情報解析部３１７が抽出する画像データは、指示体の画像データ、コンテンツの画像データ、及びその他の画像データである。これらのデータに基づき、表示位置算出部３２１は、指示体の画像の表示位置、コンテンツの画像データの表示位置、及び、その他の画像の表示位置を算出する。また、表示位置算出部３２１は、各画像の表示サイズを算出してもよい。また、指示検出部３１９が、指令者の操作をＧＵＩの操作とすることを指示するデータを検出した場合、表示位置算出部３２１は、ＧＵＩ操作を行うためのメニュー画像の表示位置を算出する。

操作検出部３２３は、受信情報解析部３１７が抽出した指示体の位置や動きを示すデータをＧＵＩの操作として検出する場合に、操作を検出する。操作検出部３２３は、表示位置算出部３２１が算出したメニュー画像のアイコン等の表示位置と、指示体の画像の表示位置とに基づき、ＧＵＩの操作を検出する。

表示情報生成部３２５は、画像表示部２０により表示する画面の表示情報を生成する。表示情報生成部３２５は、受信情報解析部３１７が抽出した画像データに基づく画像を、表示位置算出部３２１が算出した表示位置に配置して、一画面分の表示情報を生成する。表示情報生成部３２５が生成する表示情報は、表示制御部１７０及び表示制御部３０５の動作により、画像表示部２０に送信され、画像表示部２０が表示する。

音声処理部３２９は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部３２９は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部３２９は、ディジタル音声データに対して予め設定された処理を行ってもよい。

このように構成される表示システム１において、ＨＭＤ１００Ｂは表示装置、及び第１表示装置に相当し、ＨＭＤ１００Ａは第２表示装置に相当する。ＨＭＤ１００Ｂが備える画像表示部２０は第１表示部に相当し、通信部１１７は第１通信部に相当し、制御部３００は制御部及び第１制御部に相当し、カメラ６１は撮像部に相当する。また、ＨＭＤ１００Ａが備える画像表示部２０は第２表示部に相当し、通信部１１７は第２通信部に相当し、制御部１４０は第２制御部に相当する。

図６は、表示システム１の動作を示すフローチャートであり、（Ａ）はＨＭＤ１００Ａの動作を示し、（Ｂ）はＨＭＤ１００Ｂの動作を示す。図６には、１台のＨＭＤ１００Ａと、１台のＨＭＤ１００Ｂとが動作する例を示す。
ＨＭＤ１００Ｂでは、撮像制御部３１３がカメラ６１を制御して撮像を実行して撮像画像データを取得し（ステップＳ２１）、作業情報生成部３１５が各センサーの検出値を取得する（ステップＳ２２）。
続いて、作業情報生成部３１５は、ステップＳ２１の撮像画像データと、ステップＳ２２で取得した検出値のデータとを含む作業情報を生成し、このデータを通信制御部３１１がＨＭＤ１００Ａに送信する（ステップＳ２３）。

ＨＭＤ１００Ａでは、ＨＭＤ１００Ｂから送信された作業情報を、通信制御部１８１が受信し、受信した作業情報を受信情報処理部１８２が解析する（ステップＳ１１）。受信情報処理部１８２は、受信した作業情報から撮像画像のデータを抽出して、画像処理部１６０及び表示制御部１７０により、撮像画像を表示させる（ステップＳ１２）。また、通信制御部１８１が受信した作業情報にセンサーの検出値が含まれる場合、受信情報処理部１８２は、センサーの検出値を撮像画像に重ねて表示するデータを生成し、画像処理部１６０及び表示制御部１７０で表示させてもよい。

続いて、ＨＭＤ１００Ａでは、指令者の操作によりコンテンツが選択され（ステップＳ１３）、指令者が作業者に指示等をするための操作が行われる（ステップＳ１４）。ステップＳ１３では、例えば、テキストと画像を含む支援用のコンテンツが選択される。ステップＳ１４では、例えば、通信制御部１８１が受信して表示中の画像について、作業者に注目させる位置を指し示す操作が行われる。ステップＳ１４の操作は、操作部１３５の操作、または、指令者がＨＭＤ１００Ａの前方で指示体を動かす操作である。この操作は操作検出部１８３により検出され（ステップＳ１５）、操作検出部１８３は検出した操作のデータを生成する。

操作検出部１８３は、検出した操作の操作位置や操作の軌跡を、表示中のＨＭＤ１００Ｂの撮像画像に対応付けるデータを生成する（ステップＳ１６）。これにより、作業者の視界において特定の位置を示すデータが得られる。送信画像取得部１８５は、ステップＳ１４の操作中にカメラ６１が撮像した撮像画像から指示体の画像を切り出し、或いは、記憶部１２０から送信画像データ１２４を読み出して、送信画像を取得する（ステップＳ１７）。
指示情報生成部１８６は、送信画像取得部１８５が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をＨＭＤ１００Ｂの撮像画像と対応付けるデータとを含む指示情報を生成して送信する（ステップＳ１８）。
制御部１４０は、動作の終了条件が成立したか否かを判定し（ステップＳ１９）、終了条件が成立していない場合は（ステップＳ１９；ＮＯ）、ステップＳ１１に戻る。また、終了条件が成立した場合は（ステップＳ１９；ＹＥＳ）、本処理を終了する。終了条件は、例えば操作部１３５の操作により、動作終了やＨＭＤ１００Ａのシャットダウンが指示されること等が挙げられる。

ＨＭＤ１００Ｂは、ＨＭＤ１００Ａが送信する指示情報を通信制御部３１１で受信し（ステップＳ２４）、受信した指示情報を受信情報解析部３１７が解析して画像データを抽出する（ステップＳ２５）。次いで、表示位置算出部３２１が各画像データに基づいて画像を表示する位置を算出する（ステップＳ２６）。さらに、表示情報生成部３２５が、算出した表示位置に画像を配置した表示情報を生成して、画像処理部３０３及び表示制御部３０５により表示させる（ステップＳ２７）。
制御部３００は、動作の終了条件が成立したか否かを判定し（ステップＳ２８）、終了条件が成立していない場合は（ステップＳ２８；ＮＯ）、ステップＳ２３に戻る。また、終了条件が成立した場合は（ステップＳ２８；ＹＥＳ）、本処理を終了する。終了条件は、例えば操作部１３５の操作により、動作終了やＨＭＤ１００Ｂのシャットダウンが指示されること等が挙げられる。

図７は、ＨＭＤ１００Ａ、１００Ｂにおける表示例を示す図であり、（Ａ）はＨＭＤ１００Ａを装着した指令者の視野ＶＲＡを示し、（Ｂ）はＨＭＤ１００Ｂを装着した作業者の視野ＶＲＢ１を示す。また、（Ｃ）はＨＭＤ１００Ａを装着した指令者の視野ＶＲＡの別の例を示し、（Ｄ）はＨＭＤ１００Ｂを装着した別の作業者の視野ＶＲＢ２を示す。なお、図７（Ａ）〜（Ｄ）の各図は指令者または作業者の右眼の視野の例を示しており、左眼の視野は各図と同一または左右対称であるため図示を省略する。

ここで、指示情報生成部１８６が生成する指示情報（案内情報）において、操作と作業情報とを関連付ける情報、或いは、作業情報に含まれる撮像画像に対応付ける情報の具体的な態様は、特に制限されない。上記の例では、操作位置や操作の軌跡をＨＭＤ１００Ｂの撮像画像と対応付けるデータとして説明したが、単に操作位置や操作の軌跡そのものを上記情報としてもよい。また、ファイル名による対応付け、データのタイプ、ＩＤ、属性、位置等により、操作位置や操作の軌跡をＨＭＤ１００Ｂの撮像画像と対応付けるデータであってもよく、結果として対応を認識できる情報であればよい。

図７（Ａ）に示す指令者の視野ＶＲＡでは、ハーフミラー２６１Ａに相当する領域が表示領域４０１となり、この表示領域４０１に、右ＬＣＤ２４１（図４）に描画される画像が表示される。図７（Ａ）の例では表示領域４０１に、通常操作用画面４０２が表示されている。通常操作用画面４０２は、ＯＳ１５０の機能やＯＳ１５０上で動作するアプリケーションプログラムの機能により表示される画面であり、図７（Ａ）の例ではファイル及びフォルダーの操作に係る画面である。
ＨＭＤ１００Ａは、ＨＭＤ１００Ｂから作業情報を受信した場合に、図７（Ａ）に示すようにＨＭＤ１００Ｂの撮像画像を表示する（図６のステップＳ１２）。表示領域４０１に、撮像画像表示用の表示領域４０３が設けられ、表示領域４０３に撮像画像が表示される。ハーフミラー２６１Ａは外景を透過するので、指令者には、指令者が操作する指示体２が表示領域４０１越しに視認される。なお、図７（Ａ）の例で、指示体２は指令者の手である。指令者は、表示領域４０１に表示される作業対象物の画像４０４に対し、例えば、指示体２で指し示す操作を行う。ＨＭＤ１００Ａは、操作検出部１８３により指示体２が指示した指示位置４０５を検出し、指示位置４０５と、表示領域４０３に表示中の撮像画像との相対位置を算出する。

図７（Ｂ）に示す作業者の視野ＶＲＢ１では、ハーフミラー２６１Ａに相当する領域が表示領域４５１となり、表示領域４５１に、右ＬＣＤ２４１（図５）に描画される画像が表示される。ハーフミラー２６１Ａは外景を透過するので、作業者の視野にある作業対象物４５２が表示領域４５１越しに視認される。そして、表示領域４５１には、指令者が指示体２で指し示した指示位置４５４を指す指示体の画像４５３が表示される。指示体の画像４５３は、ＨＭＤ１００ＢがＨＭＤ１００Ａから受信する（図６のステップＳ２４）指示情報に含まれる画像データに基づき表示される。また、指示位置４５４の位置は、指示情報に含まれるデータで指定される。

図７（Ａ）及び（Ｂ）に示すように、ＨＭＤ１００Ａを装着する指令者には、作業者の視野を撮像した撮像画像が見えるので、作業者の視野を見ながら作業に関する指示等を行うことができる。また、指令者が指示体２で指示した指示位置がＨＭＤ１００Ａにより検出され、撮像画像に対する指示位置を示すデータがＨＭＤ１００Ｂに送信されるので、作業者は実際の視野における外景に重なるように、指示体の画像４５３を見ることができる。このため、作業者は、実際に外景として見える作業対象物に重なる画像による指示を受けることができる。また、指示体の画像４５３は、ＨＭＤ１００ＡがＨＭＤ１００Ｂに送信するデータに基づき表示されるので、ＨＭＤ１００Ａは、指示体の画像を実際の指示体２の撮像画像とするか、予め用意された画像とするかを選択できる。ここで、指示体の画像を表示するための画像データをＨＭＤ１００Ｂの記憶部３４０に記憶しておき、ＨＭＤ１００ＡがＨＭＤ１００Ｂに送信する指示情報に、ＨＭＤ１００Ｂが記憶する画像を指定するデータを含めても良い。

図１に示したように、表示システム１は、複数のＨＭＤ１００Ｂを通信ネットワーク４に接続して使用できる。この場合、ＨＭＤ１００Ａでは、複数のＨＭＤ１００Ｂから作業情報を受信して表示できる。
図７（Ｃ）はＨＭＤ１００Ａが２つのＨＭＤ１００Ｂから受信した作業情報に基づき撮像画像を表示する例を示す。図７（Ｃ）の例では、表示領域４０１に、撮像画像を表示する２つの表示領域４０９、４１０が配置される。表示領域４０９には一方のＨＭＤ１００Ｂが送信した作業情報に基づく画像が表示される。また、表示領域４１０には他方のＨＭＤ１００Ｂが送信した作業情報に基づく画像が表示される。これら表示領域４０９、４１０に表示された画像に対し、指示体２による指示が行われた場合、ＨＭＤ１００Ａは、指示された位置に対応する作業情報を送信したＨＭＤ１００Ｂに対して、指示情報を生成して送信する。

また、表示システム１が複数のＨＭＤ１００Ｂを含む場合に、いずれかのＨＭＤ１００ＢにＨＭＤ１００Ａが送信する作業情報を、他のＨＭＤ１００Ｂに送信してもよい。この場合の表示例を図７（Ｄ）に示す。図７（Ｄ）には、図７（Ｂ）に例示した指示情報を、他のＨＭＤ１００Ｂが受信した場合の表示例を示す。
ＨＭＤ１００Ｂを装着した別の作業者の視野ＶＲＢには、ハーフミラー２６１Ａに相当する表示領域４６１に、作業対象物の画像４６２が表示され、指示位置４６４を指し示す指示体の画像４６３が表示される。視野ＶＲＢ２には、図７（Ｂ）に示した作業者の視野ＶＲＢ１とは異なり、作業対象物が見えておらず、無関係な外景が見えている。ＨＭＤ１００Ａが送信する指示情報にＨＭＤ１００Ｂの撮像画像が含まれていれば、図７（Ｄ）に示すように、表示領域４６１に作業対象物の画像４６２を表示できる。この例では、いずれかの作業者に対して送信した指示情報の内容を、他の作業者が知ることができる。

以上説明したように、本発明を適用した第１実施形態に係る表示システム１は、頭部装着型のＨＭＤ１００Ｂ及びＨＭＤ１００Ａを備える。ＨＭＤ１００Ｂは、外景を視認可能に画像を表示する画像表示部２０と、画像表示部２０で視認可能な外景の少なくとも一部を含む範囲を撮像するカメラ６１とを備える。また、カメラ６１の撮像画像に基づき生成される作業情報をＨＭＤ１００Ａに送信し、ＨＭＤ１００Ａから指示情報を受信する通信部１１７と、通信部１１７で受信した指示情報に基づく画像を画像表示部２０に表示させる制御部３００と、を備える。ＨＭＤ１００Ａは、画像表示部２０と、ＨＭＤ１００Ｂから作業情報を受信し、ＨＭＤ１００Ｂに指示情報を送信する通信部１１７とを備える。また、通信部１１７が受信した作業情報に基づき画像表示部２０に画像を表示させる表示制御部３０５と、操作検出部１８３と、操作検出部１８３が検出する操作と作業情報とを関連付ける情報とを含む指示情報を生成して送信する制御部１４０と、を備える。
このため、ＨＭＤ１００Ｂが撮像した撮像画像に基づく作業情報をＨＭＤ１００Ａに送信し、ＨＭＤ１００Ａが作業情報に基づき画像を表示し、この画像の表示中の操作と作業情報とを関連付ける情報を含む指示情報が、ＨＭＤ１００Ｂに送信される。このため、ＨＭＤ１００Ａの操作により、ＨＭＤ１００Ｂに対して、ＨＭＤ１００Ｂにおける撮像画像に関連付けた操作に関する情報を提供できるので、ＨＭＤ１００Ｂを装着する作業者に対し、わかりやすい態様で多くの情報を伝達できる。

また、ＨＭＤ１００Ｂの制御部３００は、カメラ６１の撮像画像を含む作業情報を生成し、ＨＭＤ１００Ａが備える操作検出部１８３は、位置指示操作を検出する。制御部１４０は、操作検出部１８３が検出した位置指示操作の指示位置を、作業情報に含まれる撮像画像に対応付ける情報を含む指示情報を生成する。このため、ＨＭＤ１００Ａで行われる位置指示操作の指示位置を、ＨＭＤ１００Ｂの撮像画像に対応付けることができる。このため、ＨＭＤ１００Ｂを装着する作業者に対し、ＨＭＤ１００Ａで行う位置指示操作の内容を伝えることができる。

また、制御部１４０は、操作検出部１８３が検出した位置指示操作の指示位置に関する情報と、指示体の画像とを含む指示情報を生成する。制御部３００は、通信部１１７で指示情報を受信し、受信した指示情報に含まれる指示位置に対応する位置に、指示体の画像を表示させる。ＨＭＤ１００Ａの位置指示操作による指示位置に対応して、ＨＭＤ１００Ｂが指示体の画像を表示するので、ＨＭＤ１００Ａの操作によって、ＨＭＤ１００Ｂを装着する作業者に対して位置を指し示すことができる。

表示システム１の適用例について、具体例を挙げて説明する。
表示システム１は、例えば、作業者が機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から指令者が機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体的には、パーソナルコンピューターを作業対象物として、セットアップやアプリケーションプログラムの操作を行う場合に適用できる。また、例えば、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物として、機械の操作やメンテナンスを行う場合に適用できる。すなわち、各種機械のメンテナンスを行う作業者が、ユーザーの依頼に応じて作業対象の機械の設置場所を訪問し、メンテナンスを行う場合に、習熟度の低い作業者を指令者が支援する用途で表示システム１を使用できる。

このような場合、遠隔地の作業サイトＢにいる作業者とサービスセンター等の指令サイトＡにいる指令者が情報を共有し、指令サイトＡの指令者は作業者のＨＭＤ１００ＢにＡＲ画像を表示させて、指示、表示の変更ができる。そして、ＨＭＤ１００Ｂにより、指令サイトＡにいる指令者の手や手指による操作をバーチャル画像として見せて、支援できる。この場合、指令サイトＡにおいて指令者の前に作業サイトＢの作業対象物と同じ機器を置いて実際に操作しながら説明することも有効である。指令者にとっては、現場の現物の特定部位に対して位置指示操作により指示や教示を行うことができ、シンプルな操作で効率よく支援できる。

他の適用例として、ＨＭＤ１００Ａから送信する指示情報に、名刺の画像データやテキストを含めることで、作業者に名刺を見せることができる。この場合、指令者の腕を模した画像の画像データを指示情報に含めることで、ＨＭＤ１００Ｂに、名刺を差し出す腕を表示させて、バーチャルな名刺交換を実現できる。
この名刺交換を、指令サイトＡの指令者と作業サイトＢの作業者との間で実行し、その後に、上記実施形態で説明した動作を実行してもよい。

さらに、ＨＭＤ１００Ａがコンテンツのデータを指示情報に含めてＨＭＤ１００Ｂに送信することで、ＨＭＤ１００Ｂの画像表示部２０に、テキストや画像を含むコンテンツを表示させることができる。この場合、コンテンツのテキストや画像の表示位置は、画像表示部２０を透過して視認される現実の作業対象物の位置に合わせて、作業対象物の視認を妨げない位置とすることが好ましい。
また、コンテンツのデータとして、音声データを指示情報に含めて、ＨＭＤ１００ＡからＨＭＤ１００Ｂに送信してもよい。コンテンツの音声データは、予め記憶部１２０に記憶されたデータであってもよいし、指令者の音声をマイク６３で集音した音声データであってもよい。

さらに、指示体の画像として、指令者役のアバターや指令者の実際の顔、上半身、或いは全身の画像を利用することで、作業員の代わりにコンシューマーを対象としたサービスを実現することも可能である。この場合、指令者はコールセンターのスタッフ、家庭教師や塾の講師スタッフ等となる。このシステムの用途は、電子機器のソフトウェアのインストールや操作の案内またはトレーニング、語学教育、資格試験等の受験指導、運手免許等の公的資格のための講習、スポーツの指導等も挙げられる。また、例えば、外国語会話の講習では、受講者がＨＭＤ１００Ｂを装着し、講師がＨＭＤ１００Ａを装着し、ＨＭＤ１００Ｂが、講師の口の形を、鏡に映った受講者の口の像に重なるようにＡＲ表示して、視覚的に発音を教授することができる。

また、学習やスポーツの指導を行う場合、指導する側が指令サイトＡにおいてＨＭＤ１００Ａを使用し、指導を受ける側が作業サイトＢにおいてＨＭＤ１００Ｂを使用する。このような場合を含み、指令サイトＡは、指導或いは管理を行う者がいる「管理サイト」と呼ぶことができ、ＨＭＤ１００Ａは管理用装置といえる。また、作業サイトＢ、Ｃは、指導や教授を受けて学習を実行する者や作業を実行する者がいる「実行サイト」と呼ぶことができ、ＨＭＤ１００Ｂ、１００Ｃは実行側装置といえる。そして、ＨＭＤ１００Ｂ、１００ＣからＨＭＤ１００Ａに送信する作業情報は、案内対象情報、或いは実行側情報と呼ぶことができ、指示情報は、案内情報、指導情報、或いは、管理情報と呼ぶことができる。

指導の具体例としては、数学、英語、国語、社会科、文字の書き順等の学習課目について、指導を受ける者が装着するＨＭＤ１００ＢまたはＨＭＤ１００Ｃに表示される内容により教授、指導が行われる。パーソナルコンピューター等の機器の操作方法をガイドする目的で使用する場合も同様である。また、英会話の指導を行う場合は、ＨＭＤ１００Ａを装着する指導者の口、及び、ＨＭＤ１００Ｂ、１００Ｃを装着する受講者（学習者、実行者）の口を撮影し、これらの撮影画像を含む作業情報と指示情報とを送受信することで、より効果的な学習・指導を行える。

その他の適用例としては、ＨＭＤ１００Ｂを装着した人に対し、ＨＭＤ１００Ａを装着した指令者が道案内や周辺の建物等の案内を行うことで、例えば観光地における観光ガイドや道案内に適用できる。

また、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃにおいて、特定の情報を、ポップアップ、ブリンキング、蛍光色で表示する等して、目立つように表示してもよい。また、表示される画像の表示色や表示輝度を、画像表示部２０を透過する外景の視認性が高まるように変更してもよい。この場合、画像表示部２０が表示する画像が、外景に対して相対的に視認性が低下するので、この表示画像に含まれる文字や画像を補助的に見せる効果がある。

表示システム１では、ＨＭＤ１００Ｂを装着した作業者の視点における撮像画像を、遠隔地のＨＭＤ１００Ａで見ることができ、作業者は、指令者がＨＭＤ１００Ａにおいて行う位置指示操作の内容を見ることができる。位置指示操作の内容は、例えば指示体の画像４５３により、ＡＲ表示することができる。すなわち、ＨＭＤ１００Ｂでは、作業者が外景として見る作業対象物４５２に重なるように、指示体の画像４５３が表示され、この指示体の画像４５３と作業対象物４５２との位置により、ＡＲ（Augmented Reality、拡張現実）としての表示効果が期待できる。このＡＲ表示の効果を高めるため、ＨＭＤ１００Ｂは、指示体の画像４５３等を表示する際に、右表示駆動部２２と左表示駆動部２４とで視差を有する画像を表示してもよい。この場合、制御部３００は、作業対象物の種類や作業内容に対応して、視差の方向及び大きさを決定する。制御部３００の表示情報生成部３２５は、指示情報に基づいて視差を有する画像を生成して、画像処理部３０３及び表示制御部３０５により表示させる。また、制御部３００は、距離センサー６４により作業対象物までの距離を検出してもよい。この場合、制御部３００は、検出した作業対象物までの距離に基づき、ＡＲ表示する指示体の画像の視差の方向及び大きさを算出してもよい。例えば、予め設定された距離条件に基づき、視差を設けてもよい。この場合、ＨＭＤ１００Ｂ、１００Ｖを装着する作業者の手が届く範囲内を示す画像について、立体的に視認される。また、ＨＭＤ１００Ａにおいて、視差を設けた画像を表示して、指令者が立体的に画像を視認できるようにしてもよい。

また、図７（Ｃ）及び（Ｄ）を参照して説明したように、作業サイトＣでＨＭＤ１００Ｂを装着した作業者が、作業サイトＢの作業者の作業操作を、遠隔地からＡＲ画像として見ることができる。これにより、作業手順等の作業支援の内容を共有できる。
また、ＨＭＤ１００Ａにより２以上の表示領域に、ＨＭＤ１００Ａの表示とＨＭＤ１００Ｂの撮像画像、或いは、２以上のＨＭＤ１００Ｂの撮像画像を表示すれば、指令者が多くの状況を視認できる。
ここで、図７（Ｃ）に示すように、２以上の表示領域に２以上のＨＭＤ１００Ｂに対応する画像を表示する場合、各表示領域におけるポインター等の形状、色を変えることで、各表示領域の混同を防止する構成も考えられる。
その他、表示システム１の適用範囲は何ら制限されず、他の用途への利用も勿論可能である。

［第２実施形態］
図８及び図９は、第２実施形態における表示システム１の動作を示すフローチャートである。図８（Ａ）はＨＭＤ１００Ａの動作を示し、図８（Ｂ）はＨＭＤ１００Ｂの動作を示す。また、図１０は、第２実施形態におけるＨＭＤ１００Ａ、１００Ｂの表示例を示す図である。
第２実施形態の表示システム１は、上記第１実施形態で説明した表示システム１と同様に構成されるため、表示システム１の各部の構成について図示及び説明を省略する。また、図８及び図９のフローチャートにおいて第１実施形態で説明した動作（図６）と共通する動作については、同一のステップ番号を付す。

第２実施形態では、ＨＭＤ１００Ｂのカメラ６１で撮像した撮像画像を含む作業情報がＨＭＤ１００Ａに送信され、ＨＭＤ１００Ａで表示される点等は第１実施形態と同様である。第２実施形態では、ＨＭＤ１００Ａで行われる位置指示操作により、ＨＭＤ１００Ｂの制御が可能である。

図８（Ａ）に示すＨＭＤ１００Ａの動作において、ステップＳ１１〜Ｓ１７は上記第１実施形態で説明した通りである。
ステップＳ１７において、送信画像取得部１８５が送信画像を取得した後、操作部１３５の操作により、ＨＭＤ１００Ｂに対するメニュー操作を行うか否かが指定される（ステップＳ３１）。そして、指示情報生成部１８６は、メニュー操作を行うか否かを指定するデータを含む指示情報を生成し、ＨＭＤ１００Ｂに送信する（ステップＳ３２）。ステップＳ３２で生成される指示情報は、送信画像取得部１８５が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をＨＭＤ１００Ｂの撮像画像と対応付けるデータとを含む。

図８（Ｂ）に示すＨＭＤ１００Ｂの動作において、ステップＳ２１〜Ｓ２７は上記第１実施形態で説明した通りである。
ＨＭＤ１００Ｂは、ＨＭＤ１００Ａが送信する指示情報を通信制御部３１１で受信し、この指示情報に基づく表示情報を生成して、画像処理部３０３及び表示制御部３０５により表示させる（ステップＳ２７）。
続いて、制御部３００は、操作検出処理を実行する（ステップＳ３５）。

図９は、ＨＭＤ１００Ｂが実行する操作検出処理を詳細に示すフローチャートである。
この操作検出処理において、ＨＭＤ１００Ｂの操作検出部３２３は、ステップＳ２４で受信した指示情報から、メニュー操作を行うか否かを指定するデータを抽出し、このデータに基づきメニュー操作を行うか否かを判定する（ステップＳ４１）。メニュー操作を行わないと判定した場合は（ステップＳ４１；ＮＯ）、図８（Ｂ）のステップＳ２８に移行する。

メニュー操作を行うと判定した場合（ステップＳ４１；ＹＥＳ）、操作検出部３２３は、メニュー画像の表示位置を決定し、メニュー画像を表示する（ステップＳ４２）。ここで、メニュー画像の表示位置は、ＨＭＤ１００Ａが送信する指示情報に含まれるデータで指定されてもよいし、予め設定された位置であってもよい。また、操作検出部３２３が自動的に位置を決定してもよい。次いで、操作検出部３２３は、指示情報から操作位置を示すデータを取得し（ステップＳ４３）、取得した操作位置がメニュー画像に対応する位置であるか否かを判定する（ステップＳ４４）。
ここで、操作位置がメニュー画像に対応する位置でないと判定した場合（ステップＳ４４；ＮＯ）、制御部３００はステップＳ２８に移行する。

操作検出部３２３は、操作位置がメニュー画像に対応する位置である場合（ステップＳ４４）、メニュー画像に対する操作を検出する（ステップＳ４５）。このステップＳ４５で、操作検出部３２３は、メニュー画像に配置される複数のアイコン等の操作用画像のうち、操作位置に対応する操作用画像を特定する。制御部３００は、操作検出部３２３が特定した操作用画像に対応付けられた動作を実行し（ステップＳ４６）、当該動作の後にステップＳ２８に移行する。

図１０（Ａ）はＨＭＤ１００Ａを装着した指令者の視野ＶＲＡを示し、（Ｂ）はＨＭＤ１００Ｂを装着した作業者の視野ＶＲＢ１を示す。また、（Ｃ）はＨＭＤ１００Ａを装着した指令者の視野ＶＲＡの別の例を示し、（Ｄ）はＨＭＤ１００Ｂを装着した別の作業者の視野ＶＲＢ２を示す。なお、図１０（Ａ）〜（Ｄ）の各図は指令者または作業者の右眼の視野の例を示しており、左眼の視野は各図と同一または左右対称であるため図示を省略する。

図１０（Ａ）に示す指令者の視野ＶＲＡでは、表示領域４０１に、通常操作用画面４０２が表示され、撮像画像表示用の表示領域４０３に、ＨＭＤ１００Ｂの撮像画像が表示される。操作部１３５の操作により、メニュー操作を行うことが指定された場合、表示領域４０１にメニュー画像４１１が表示される。メニュー画像４１１は、ＨＭＤ１００Ａに対する操作を行う画像ではなく、ＨＭＤ１００Ｂに対する操作を行うために表示される画像である。メニュー画像４１１は、例えば、ボタン形状の複数のアイコン（操作用画像）が配置される。各アイコンには、それぞれ、ＨＭＤ１００Ｂで実行する動作が対応付けられる。この種の動作としては、例えば、表示拡大／縮小、描画開始／終了、描画する図形の指定、描画色の指定等が挙げられる。メニュー画像４１１は、操作時表示制御部１８４がメニュー画像データ１２３に基づいて表示させる。

メニュー画像４１１に対して指示体２による操作が行われると、操作検出部１８３が操作を検出し、操作位置を特定する。また、操作検出部１８３は、操作時のメニュー画像４１１及びメニュー画像４１１に含まれるアイコン等の操作部の位置を取得する。指示情報生成部１８６は、指示情報生成部１８６がメニュー画像４１１を表示させた状態で、操作検出部１８３が操作を検出した場合、メニュー操作を指示するデータを、指示情報に含ませる。また、指示情報生成部１８６は、操作検出部１８３が検出した操作の操作位置と、操作検出部１８３が取得したメニュー画像４１１等の位置を含む指示情報を生成する。

これにより、ＨＭＤ１００ＡからＨＭＤ１００Ｂに対し、指令者がＨＭＤ１００Ａで行った操作の操作位置と、操作時のメニュー画像４１１等の位置と、メニュー操作を指定するデータとを含む指示情報が送信される。ＨＭＤ１００Ｂの表示位置算出部３２１は、メニュー画像４１１等の位置に合わせて、図１０（Ｂ）に示すようにメニュー画像４７１を表示させる。なお、メニュー画像４７１が有するアイコン等の操作部の配置は、ＨＭＤ１００Ａにおけるメニュー画像４１１と同一または類似していることが好ましい。このため、ＨＭＤ１００Ａが生成し送信する指示情報には、メニュー画像４１１の種類や構成を指定するデータを含めてもよい。表示位置算出部３２１は、指示情報に基づいて指示体の画像４５３を表示する。指示検出部３１９は、指示体の画像４５３の表示位置が、メニュー画像４７１のアイコン等の操作部の表示位置に重なる場合、指示検出部３１９は当該操作部に対する操作を検出する。

従って、指令者がＨＭＤ１００Ａにおいて指示体２で位置指示操作を行うと、この位置指示操作に対応して、ＨＭＤ１００Ｂが操作を検出し、ＨＭＤ１００Ｂに動作を実行させることができる。このため、指令者がＨＭＤ１００Ｂを遠隔操作することが可能となる。

また、表示システム１が複数のＨＭＤ１００Ｂを含んで構成される場合、ＨＭＤ１００Ａは、複数のＨＭＤ１００Ｂから作業情報を受信して表示する。
図１０（Ｃ）はＨＭＤ１００Ａが２つのＨＭＤ１００Ｂから受信した作業情報に基づき撮像画像を表示する例を示す。表示領域４０１に配置された表示領域４０９、４１０のうち、メニュー画像による操作の対象となる側の表示領域（ここでは表示領域４０９）にはメニュー画像４１３が表示される。このメニュー画像４１３の位置に合わせて指示体２を用いた操作が行われると、表示領域４０９に対応するＨＭＤ１００Ｂに対し、操作位置とメニュー画像４１３等の位置とを含む指示情報が送信される。また、表示領域４０９に対する操作中、表示領域４０１には、他のＨＭＤ１００Ｂの作業情報に基づく表示が継続される。

また、表示システム１が複数のＨＭＤ１００Ｂを含む場合に、いずれかのＨＭＤ１００ＢにＨＭＤ１００Ａが送信する作業情報を、他のＨＭＤ１００Ｂに送信してもよい。この場合の表示例を図１０（Ｄ）に示す。図１０（Ｄ）に示すように、ＨＭＤ１００Ｂが、例えば図１０（Ｂ）に示すように表示領域４５１に表示した内容を、他のＨＭＤ１００Ｂにおいて表示できる。表示領域４６１を表示するＨＭＤ１００Ｂの外景に、作業対象物が含まれているとは限らない。このため、表示領域４６１には、指示体の画像４６３、メニュー画像４７３とともに、ＨＭＤ１００Ｂが撮像した作業対象物の画像４６２が表示される。また、表示領域４６１の表示を行うＨＭＤ１００Ｂは、ＨＭＤ１００Ａによる操作の対象となっていないため、このＨＭＤ１００Ｂは指示体２の操作に対応した動作を実行しなくてもよい。また、このＨＭＤ１００Ｂが、他のＨＭＤ１００Ｂと同様に、指示体２の操作に対応した動作を行ってもよい。この場合、ＨＭＤ１００Ａを装着する指令者が複数のＨＭＤ１００Ｂを操作できる。

このように、制御部３００は、通信部１１７で受信した指示情報に含まれる操作を示す情報に基づき、ＨＭＤ１００Ｂに対する操作を検出する。より具体的には、制御部３００は、画像表示部２０によりＧＵＩ操作用の画像であるメニュー画像４７１を表示させる。指示検出部３１９は、メニュー画像４７１の表示位置と、通信部１１７が受信した指示情報に含まれる操作位置とに基づいて操作を検出する。このため、ＨＭＤ１００Ａで位置指示操作を行うことにより、ＨＭＤ１００Ｂに対するＧＵＩ操作を行い、ＨＭＤ１００Ｂを制御できる。

［第３実施形態］
図１１は、第３実施形態における表示システム１の動作を示すフローチャートである。図１１（Ａ）はＨＭＤ１００Ａの動作を示し、図１１（Ｂ）はＨＭＤ１００Ｂの動作を示す。
第３実施形態の表示システム１は、上記第１実施形態で説明した表示システム１と同様に構成されるため、表示システム１の各部の構成について図示及び説明を省略する。また、図１１のフローチャートにおいて第１実施形態で説明した動作（図６）と共通する動作については、同一のステップ番号を付す。

第３実施形態では、ＨＭＤ１００Ｂのカメラ６１で撮像した撮像画像を含む作業情報がＨＭＤ１００Ａに送信され、ＨＭＤ１００Ａで表示される点は第１実施形態と同様である。第３実施形態では、ＨＭＤ１００Ａの位置指示操作により、ＨＭＤ１００Ｂが撮像した撮像画像を編集し、編集した撮像画像をＨＭＤ１００Ｂで表示できる。

図１１（Ａ）に示すＨＭＤ１００Ａの動作において、ステップＳ１１〜Ｓ１５は上記第１実施形態で説明した通りである。第３実施形態の表示システム１では、ステップＳ１４においてコンテンツに対応する操作が行われ、この操作を操作検出部１８３が検出した後、さらに、表示中の撮像画像に対する操作を行うことができる（ステップＳ５１）。操作検出部１８３は、撮像画像に対する操作を検出し（ステップＳ５２）、ステップＳ１５及びＳ５２で検出された操作を撮像画像に対応付ける（ステップＳ５３）。具体的には、操作検出部１８３は、ステップＳ１５で検出した操作位置を、撮像画像に対する相対位置として示すデータを生成する。また、操作検出部１８３は、ステップＳ５２で検出した操作により編集された撮像画像のデータを生成する。

続いて、送信画像取得部１８５が送信画像を取得し（ステップＳ５４）、指示情報生成部１８６は、送信画像取得部１８５が取得した指示体の画像の画像データと、操作検出部１８３が生成したデータとを含む指示情報を生成して送信する（ステップＳ５５）。送信画像取得部１８５が送信画像を取得する処理は、例えばステップＳ１７と同様の処理である。

また、図１１（Ｂ）に示すＨＭＤ１００Ｂの動作は、上記第１実施形態で説明した通りである。すなわち、ＨＭＤ１００Ｂは、ＨＭＤ１００Ａが送信する指示情報を受信し（ステップＳ２４）、受信した指示情報を受信情報解析部３１７が解析して画像データを抽出する（ステップＳ２５）。このステップＳ２５では、ＨＭＤ１００Ａにおいて編集された、ＨＭＤ１００Ｂの撮像画像データ、及び、指示体の画像データが抽出される。次いで、表示位置算出部３２１が画像を表示する位置を算出し（ステップＳ２６）、表示情報生成部３２５が表示情報を生成して、画像処理部３０３及び表示制御部３０５により表示させる（ステップＳ２７）。

この第３実施形態の表示システム１によれば、制御部１４０が、ＨＭＤ１００Ｂから受信した作業情報が撮像画像を含む場合に、この撮像画像を画像表示部２０に表示させ、撮像画像の表示中に操作検出部１８３が検出する操作に基づいて撮像画像を編集する。そして、編集後の撮像画像を含む指示情報を生成してＨＭＤ１００Ｂに送信する。ＨＭＤ１００Ｂは、編集された撮像画像を含む指示情報を受信して、編集された撮像画像を画像表示部２０により表示する。
これにより、ＨＭＤ１００Ｂの視野にある作業対象物に対する操作を、指令者が仮想的に行った結果を、作業者に見せることができる。このため、作業対象物に対する作業に関して、作業者に、より多くの情報を提供できる。

また、第３実施形態では、ＨＭＤ１００Ｂが撮像した撮像画像をＨＭＤ１００Ａで編集する例を説明したが、例えば、ＨＭＤ１００ＢからＨＭＤ１００Ａに文書データや図面データを送信し、この文書データや図面データをＨＭＤ１００Ａで編集してもよい。この場合、編集後の文書データや図面データがＨＭＤ１００Ｂに送信され、ＨＭＤ１００Ｂは、編集後の文書データや図面データに基づき表示を行う。これにより、文書の編集や図面作成・編集の作業に関して、指令者が編集を行って、作業者に対し、いわゆる手本を見せることができる。

［第４実施形態］
図１２は、第４実施形態における表示システム１の動作を示すフローチャートである。図１２（Ａ）はＨＭＤ１００Ａの動作を示し、図１２（Ｂ）はＨＭＤ１００Ｂの動作を示す。
第４実施形態の表示システム１は、上記第１実施形態で説明した表示システム１と同様に構成されるため、表示システム１の各部の構成について図示及び説明を省略する。また、図１２のフローチャートにおいて第１実施形態で説明した動作（図６）と共通する動作については、同一のステップ番号を付す。

第４実施形態では、ＨＭＤ１００Ｂのカメラ６１で撮像する方向を、ＨＭＤ１００Ａにより制御可能とする。このため、ＨＭＤ１００Ａを装着する指令者の指示により、ＨＭＤ１００Ｂのカメラ６１の撮像方向を制御できる。必要であれば、カメラ６１の撮像方向を変更、調整するため、カメラ６１の台座部分に、カメラ６１の方向を変更可能なボールジョイントや回転機構を設け、カメラ６１を動かすマニピュレーター等を設ければよい。このマニピュレーターは制御部３００の制御により動作すればよく、撮像制御部３１３が制御を行う構成としてもよい。

図１２（Ａ）に示すＨＭＤ１００Ａの動作において、ステップＳ１１〜Ｓ１２は上記第１実施形態で説明した通りである。
第４実施形態の表示システム１では、ＨＭＤ１００Ａで撮像画像を表示した後、撮像方向を指示する操作が可能である（ステップＳ７１）。ＨＭＤ１００Ａの制御部１４０は、操作検出部１８３で検出した操作に基づき撮像方向を指示する情報を生成して、通信部１１７で送信する（ステップＳ７２）。

図１２（Ｂ）に示すＨＭＤ１００Ｂの動作において、ステップＳ２１〜Ｓ２３は上記第１実施形態で説明した通りである。
ＨＭＤ１００Ｂは、ＨＭＤ１００Ａが送信する指示を受信し（ステップＳ８１）、受信した指示に従って、操作検出部１８３がカメラ６１の撮像方向を更新する（ステップＳ８２）。その後、操作検出部１８３は、スタビライズ処理を開始する（ステップＳ８２）。このスタビライズ処理では、作業者の動きによりＨＭＤ１００Ｂの位置や方向が変化することで、カメラ６１の撮像方向を安定させることが容易でない場合に、撮像画像を安定させる処理である。具体的には、カメラ６１が、撮像素子やレンズをシフトさせる光学ブレ補正機能を有する場合には、操作検出部１８３はカメラ６１のブレ補正機能により撮像画像の揺れを補正する。また、操作検出部１８３は、カメラ６１の撮像画像データに対し、揺れを補正する画像処理を行ってもよい。

ＨＭＤ１００Ａにおいて、指令者は、ＨＭＤ１００Ｂの撮像画像のキャプチャを指示する操作を行える。すなわち、ＨＭＤ１００Ｂが撮像した撮像画像データは、ＨＭＤ１００ＢからＨＭＤ１００Ａに常時送信する構成としてもよいが、消費電力量の削減やデータ通信量の削減のため、ＨＭＤ１００Ｂにおける作業者の指示に応じて、送信される。本実施形態では、ＨＭＤ１００Ａを指令者が操作して、画像の送信を指示できる。制御部１４０は、指令者の操作を検出して、キャプチャの指示を生成してＨＭＤ１００Ｂに送信する（ステップＳ７３）。

ＨＭＤ１００Ｂにおいて、制御部３００は、キャプチャの指示を受信し（ステップＳ８４）、カメラ６１による撮像を実行させる（ステップＳ８５）。カメラ６１が常時撮像を実行する構成である場合、制御部３００は、ステップＳ８５で撮像画像データを取得する。制御部３００は、取得した撮像画像データを含む作業情報を生成して、ＨＭＤ１００Ａに送信する（ステップＳ８６）。ステップＳ８６で送信する作業情報は、ステップＳ２３で送信する情報と同じ情報であってもよいし、撮像画像データを含んでいれば、他の態様のデータであってもよい。

ＨＭＤ１００Ａは、ＨＭＤ１００Ｂから送信される作業情報を受信して解析し（ステップＳ７４）、ＨＭＤ１００Ｂで撮像した撮像画像を、画像表示部２０により表示する（ステップＳ７５）。

この第４実施形態の表示システム１によれば、ＨＭＤ１００Ａによって、ＨＭＤ１００Ｂのカメラ６１が撮像する撮像条件を指定し、ＨＭＤ１００Ｂが、指定された撮像条件に基づきカメラ６１を制御する。このため、指令サイトＡと作業サイトＢとが遠隔地である場合に、ＨＭＤ１００Ａを使用する指令者が見たい方向、場所を見ることができる。撮像条件は、例えば、ＨＭＤ１００Ｂの撮像方向を含む。撮像方向は、カメラ６１の撮像範囲（画角）の中心軸の向く方向として定義できる。ＨＭＤ１００ＢがＨＭＤ１００Ａに送信する撮像画像データは、作業者の視点に追随しない撮像画像であり、指令者の指示により撮像方向を制御できる。このため、指令者は、ＨＭＤ１００Ｂの環境である作業サイトＢに関し、所望の情報を得ることができ、作業支援、指示等を効率よく行える。また、撮像方向を実際に変更する制御はＨＭＤ１００Ｂの制御部３００が行うため、ＨＭＤ１００Ａの負荷の増大、通信するデータ量の増大を回避できる。さらに、制御部３００の制御によりスタビライズ処理を実行するので、作業者の動きに追従せず、揺れの少ない画像を、ＨＭＤ１００Ａにおいて見ることができる。

第４の実施形態では、ＨＭＤ１００Ｂは、カメラ６１の撮像画像そのものを送信する場合に限定されず、撮像画像から生成した情報をＨＭＤ１００Ａに送信してもよい。この場合、ＨＭＤ１００Ａは、撮像画像を表示する処理の代わりに、撮像画像に基づきＨＭＤ１００Ｂが生成した情報を、表示し、或いは音声により出力すればよい。

また、第４実施形態において、撮像条件として、ズーム倍率を指定してもよい。すなわち、撮像方向だけでなく、ＨＭＤ１００Ｂのカメラ６１におけるズーム倍率を指定する指示を、ＨＭＤ１００Ａが送信してもよい。ズーム倍率を制御することで、ＨＭＤ１００Ｂで撮像する倍率だけでなく、撮像範囲を調整できる。また、ＨＭＤ１００Ａが撮像方向を指定する方法は、例えば、ＨＭＤ１００Ｂのカメラ６１の撮像画像に写った特定の被写体、対象物が撮像画像に収まるように指定する方法を採用してもよい。この場合、制御部３００が、撮像画像データを解析して、当該特定の被写体、対象物が撮像範囲に収まるように撮像方向やズーム倍率を制御すればよい。
また、ステップＳ７２で送信される情報のように、ＨＭＤ１００Ａが送信し、撮像条件を指定する情報は、指示情報に含めてもよい。この場合、制御部３００は、指示情報を受信して解析する一連の処理において、図１２（Ｂ）の動作を実行できる。

第４実施形態では、ＨＭＤ１００Ｂの制御部３００が、カメラ６１の撮像範囲（画角）の一部を切り出してＨＭＤ１００Ａに送信する構成としてもよい。この場合、制御部３００は、ＨＭＤ１００Ａの制御により撮像方向を変更する場合に、カメラ６１の撮像画像から切り出す範囲を更新する。例えば、ＨＭＤ１００Ｂ、１００Ｃのカメラ６１を広角レンズで構成すれば、このような実施態様を容易に実現できる。

なお、本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、ＨＭＤ１００Ａ、１００Ｂは、画像表示部２０と制御装置１０Ａ、１０Ｂとが分離され、接続部４０を介して接続された構成として説明した。本発明はこれに限定されず、制御装置１０Ａ、１０Ｂと画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、ＨＭＤ１００Ａ、１００Ｂは、少なくとも、表示を行う画像表示部２０が、使用者（作業者、指令者）の頭部に装着される装置であればよく、制御装置１０Ａ、１０Ｂの装着状態は限定されない。このため、制御装置１０Ａ、１０Ｂとして、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０Ａ、１０Ｂとして、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０Ａ、１０Ｂが画像表示部２０と分離して構成され、制御装置１０Ａ、１０Ｂと画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する構成としてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４及び図５に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図４，図５に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０Ａ内の記憶装置に記憶されてもよいし、制御部１４０が備えるＲＯＭに記憶してもよい。制御部３００が実行するプログラムは、記憶部３４０または制御装置１０Ｂ内の記憶装置に記憶されてもよいし、制御部３００が備えるＲＯＭに記憶してもよい。さらに、制御部１４０が実行するプログラムを、ＨＭＤ１００Ａに外部接続される記憶装置や記憶媒体に格納してもよい。制御部３００が実行するプログラムも同様に、ＨＭＤ１００Ｂに外部接続される記憶装置や記憶媒体に格納してもよい。或いは、これらの記憶装置や記憶媒体から、プログラムを、記憶部１２０、３４０に取り込んで実行することも可能である。また、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１１４を介して取得して実行する構成としてもよい。また、制御装置１０Ａ、１０Ｂに形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図４に示す制御部１４０や図５に示す制御部３００が、画像表示部２０にも設けられた構成としてもよく、この場合、制御装置１０Ａ、１０Ｂの制御部と画像表示部２０の制御部とが機能を分担してもよい。

１…表示システム、２…指示体、３…無線アクセスポイント、１０Ａ、１０Ｂ…制御装置、２０…画像表示部（表示部、第１表示部、第２表示部）、４０…接続部、４７…メニュー画像、４８…本体コード、６１…カメラ（撮像部）、６３…マイク、６４…距離センサー、６６…９軸センサー、６８…視線センサー、１００Ａ…ＨＭＤ（第２表示装置）、１００Ｂ…ＨＭＤ（表示装置、第１表示装置）、１１０…入力情報取得部、１１３…３軸センサー、１１４…インターフェイス、１１５…ＧＰＳ、１１７…通信部（第１通信部、第２通信部）、１２０…記憶部、１２１…設定データ、１２２…検出用データ、１２３…メニュー画像データ、１２４…送信画像データ、１２５…指示コンテンツデータ、１３５…操作部、１４０…制御部（第２制御部）、１６０…画像処理部、１７０…表示制御部、１８１…通信制御部、１８２…受信情報処理部、１８３…操作検出部、１８４…操作時表示制御部、１８５…送信画像取得部、１８６…指示情報生成部、１８７…音声処理部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６１Ａ…ハーフミラー、２６２…左導光板、２６２Ａ…ハーフミラー、３００…制御部（制御部、第１制御部）、３０３…画像処理部、３０５…表示制御部、３１１…通信制御部、３１３…撮像制御部、３１５…作業情報生成部、３１７…受信情報解析部、３１９…指示検出部、３２１…表示位置算出部、３２３…操作検出部、３２５…表示情報生成部、３２９…音声処理部、３４０…記憶部、３４１…設定データ、３４３…検出用データ、３４５…メニュー画像データ、Ａ…指令サイト、Ｂ、Ｃ…作業サイト、ＬＥ…左眼、ＲＥ…右眼、Ｌ…画像光、ＯＬ…外光、ＶＲＡ、ＶＲＢ、ＶＲＢ１、ＶＲＢ２…視野。

Claims (11)

1. 頭部装着型の第１表示装置及び第２表示装置を備え、
   前記第１表示装置は、
   外景を視認可能に画像を表示する第１表示部と、
   前記第１表示部で視認可能な外景の少なくとも一部を含む範囲を撮像する撮像部と、
   前記撮像部の撮像画像に基づき生成される案内対象情報を前記第２表示装置に送信し、前記第２表示装置から案内情報を受信する第１通信部と、
   前記第１通信部で受信した案内情報に基づく画像を前記第１表示部に表示させる第１制御部と、を備え、
   前記第２表示装置は、
   外景を視認可能に画像を表示する第２表示部と、
   前記第１表示装置から案内対象情報を受信し、前記第１表示装置に案内情報を送信する第２通信部と、
   前記第２通信部が受信した案内対象情報に基づき前記第２表示部に画像を表示させる表示制御部と、
   第２操作用画像を前記第２表示部により表示させ、位置指示操作を検出する操作検出部と、
   前記第２通信部が受信した案内対象情報に基づく画像の表示中に前記操作検出部が検出する位置指示操作の指示位置を示す情報と、前記操作検出部が検出する操作と前記第２通信部が受信した案内対象情報とを関連付ける情報と、前記第２表示部における第２操作用画像の表示位置を示す情報と、を含む案内情報を生成して、前記第２通信部で送信する第２制御部と、を備え、
   前記第１表示装置の前記第１制御部は、前記第１通信部で受信した案内情報に含まれる第２操作用画像の表示位置に合わせて、前記第１表示部に第１操作用画像を表示させ、前記案内情報に含まれる指示位置を示す情報に基づいて前記第１表示部に指示体の画像を表示させ、前記第１表示部の指示体の画像の表示位置と前記第１操作用画像の表示位置とに基づいて、前記第１操作用画像を用いる操作を検出すること、
   を特徴とする表示システム。
2. 前記第１表示装置が備える前記第１制御部は、前記第１表示部の指示体の画像の表示位置と前記第１操作用画像の表示位置とに基づいて、前記第１操作用画像を用いる操作を検出した場合に、検出した操作に対応付けられた動作を実行すること、
   を特徴とする請求項１記載の表示システム。
3. 複数の前記第１表示装置を備え、
   前記第２表示装置の前記表示制御部は、前記第２通信部によって複数の前記第１表示装置から案内対象情報を受信した場合、受信した案内対象情報に基づく画像のそれぞれを前記第２表示部により表示させ、
   前記操作検出部は、複数の前記第１表示装置のうち、操作の対象となる前記第１表示装置から受信した案内対象情報に基づく画像とともに前記第２操作用画像を表示させ、
   前記第２制御部は、操作の対象となる前記第１表示装置に対して案内情報を送信すること、
   を特徴とする請求項１または２に記載の表示システム。
4. 前記第１表示装置が備える前記第１制御部は、前記撮像部の撮像画像を含む案内対象情報を生成し、
   前記第２制御部は、前記操作検出部が検出した位置指示操作の指示位置を、案内対象情報に含まれる撮像画像に対応付ける情報を含む案内情報を生成すること、
   を特徴とする請求項１または２に記載の表示システム。
5. 前記第２表示装置が備える前記第２制御部は、前記操作検出部が検出した位置指示操作の指示位置に関する情報と、指示体の画像とを含む案内情報を生成し、
   前記第１表示装置が備える前記第１制御部は、前記第１表示部によって、前記第１通信部が受信した案内情報に含まれる指示位置に対応する位置に、前記案内情報に含まれる指示体の画像を表示させること、
   を特徴とする請求項４記載の表示システム。
6. 前記第２表示装置が備える前記第２制御部は、前記第２通信部が受信した案内対象情報が撮像画像を含む場合に、この撮像画像を前記第２表示部に表示させ、撮像画像の表示中に前記操作検出部が検出する操作に基づいて撮像画像を編集し、編集後の撮像画像を含む前記案内情報を生成すること、
   を特徴とする請求項１から５のいずれかに記載の表示システム。
7. 前記第２表示装置は、前記第１表示装置が備える撮像部の撮像条件を指定する情報を前記第２通信部で送信し、
   前記第１表示装置の第１制御部は、前記第２表示装置から撮像条件を受信して、受信した撮像条件に基づき撮像部を制御し、前記撮像部の撮像画像に基づき生成される案内対象情報を前記第２表示装置に送信すること、
   を特徴とする請求項１から６のいずれかに記載の表示システム。
8. 前記第２表示装置は、前記撮像条件として撮像方向及び／又はズーム倍率を指定する情報を前記第２通信部で送信し、
   前記第１表示装置の第１制御部は、前記第２表示装置から受信した撮像条件に基づき、前記撮像部の撮像方向及び／又はズーム倍率を制御すること、
   を特徴とする請求項７記載の表示システム。
9. 前記第１表示装置は、前記第１表示部の動きを検出するセンサーを備え、
   前記第１制御部は、前記撮像部の撮像画像、及び、前記センサーの検出値を含む案内対象情報を生成し、
   前記第２表示装置が備える前記第２制御部は、前記第２通信部が受信した案内対象情報が撮像画像及び前記センサーの検出値を含む場合に、前記撮像画像を前記第２表示部に表示させ、前記センサーの検出値を前記撮像画像に重ねて表示させること、
   を特徴とする請求項１から８のいずれかに記載の表示システム。
10. 前記第２表示装置が備える前記第２制御部は、前記第２通信部が受信した案内対象情報に含まれる撮像画像の表示中に前記操作検出部が検出する操作の操作位置及び操作の軌跡の少なくともいずれかを表示中の撮像画像に対応付ける処理を行い、操作位置及び操作の軌跡の少なくともいずれかを示す情報と、操作位置及び操作の軌跡の少なくともいずれかを撮像画像と対応付ける情報とを含む前記案内情報を生成して送信すること、
    を特徴とする請求項６記載の表示システム。
11. 外景を視認可能に画像を表示する第１表示部を備えた第１表示装置、及び、外景を視認可能に画像を表示する第２表示部を備えた第２表示装置を用いる情報表示方法であって、
    前記第１表示装置により、前記第１表示部で視認可能な外景の少なくとも一部を含む範囲を撮像し、撮像画像に基づき生成される案内対象情報を、前記第２表示装置に送信し、
    前記第２表示装置により、前記第１表示装置から案内対象情報を受信し、受信した案内対象情報に基づき前記第２表示部に画像を表示させ、第２操作用画像を前記第２表示部により表示させ、案内対象情報に基づく画像の表示中の位置指示操作を検出し、検出した操作を示す情報、前記第２表示部における第２操作用画像の表示位置を示す情報、および検出した操作と案内対象情報とを関連付ける情報を含む案内情報を生成して、第２通信部で送信し、
    前記第１表示装置により、前記第２表示装置が送信した案内情報を受信し、受信した案内情報に基づく画像を前記第１表示部に表示させ、受信した案内情報に含まれる第２操作用画像の表示位置に合わせて、前記第１表示部に第１操作用画像を表示させ、前記案内情報に含まれる指示位置を示す情報に基づいて前記第１表示部に指示体の画像を表示させ、前記第１表示部の指示体の画像の表示位置と前記第１操作用画像の表示位置とに基づいて、前記第１操作用画像を用いる操作を検出すること、
    を特徴とする情報表示方法。

Images