JP6919222B2 - 表示装置、及び、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、画像表示部を透過する外景を視認させる透過型の表示装置が知られている（例えば、特許文献１参照）。この種の表示装置は、例えば、画像を表示した状態で、この表示画像と外景との両方を視認するような方法で使用できる。
また、従来、遠隔操縦できる無人機（いわゆるドローン）が知られている（例えば、特許文献２参照）。特許文献２記載の無人機は、航法姿勢制御システムを備える４翼ヘリコプター（ｑｕａｄｒｉｃｏｐｔｅｒ）であり、カメラを搭載する。

特開２０１７−０２２６３５号公報 特開２００６−１２０４２号公報

特許文献１に記載された透過型の表示装置は、例えば、特許文献２に記載された無人機が撮像する画像を表示し、実空間の無人機を外景として視認するような利用ができる。このような利用法では、外景すなわち実空間の無人機を視認しながら、その撮像画像を見ることができ、有用であると考えられる。
ところで、透過型の表示装置が表示する画像の視認性は、表示装置を透過する外光の影響を受ける。このため、表示装置が画像を表示する場合に、外光の影響を考慮した処理を行うことが考えられる。しかし、外景を視認することと、透過型の表示装置が表示する画像を視認することとを両立する方法は従来なかった。
本発明は、透過型の表示装置において、透過型の表示装置が表示する画像の視認性を、外景の視認性と合わせて適切に調整することが可能な表示装置、及び、表示装置の制御方法を提供することを目的とする。

上記課題を解決するため、本発明は、外光を透過することにより外景を視認可能に画像を表示する表示部と、移動体の位置を取得する移動体位置取得部と、操作を検出する操作検出部と、前記表示部に画像を表示させる表示制御部と、を備え、前記表示制御部は、前記移動体位置取得部により取得する前記移動体の位置、及び、前記操作検出部により検出する操作に基づいて、前記表示部により表示する画像の、前記表示部を透過する外光に対する視認性を制御する視認性制御処理を実行する。
本発明によれば、外景に対する表示画像の視認性を、移動体の位置および操作に基づいて制御することにより、実空間の移動体の視認性と表示画像の視認性とを適切に調整できる。例えば、移動体の位置から、移動体が外景として視認される可能性を判定できるので、この可能性に対応して、移動体の視認性を高める制御や表示画像の視認性を高める制御等を行うことができる。

また、上記構成において、前記移動体が撮像する撮像画像に関する画像データーを取得する画像取得部を備え、前記表示制御部は前記画像取得部により取得した前記画像データーに基づく画像を前記表示部に表示させる構成であってもよい。
この構成によれば、移動体が撮像する撮像画像に関する画像を表示し、この画像の視認性を、外景として視認される移動体の視認性に対して適切に調整できる。

また、上記構成において、前記画像取得部は、複数の前記移動体が撮像する撮像画像の各々に関する複数の前記画像データーを取得し、前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づく複数の前記画像を前記表示部に表示させ、前記視認性制御処理によって、複数の前記画像の視認性を制御する構成であってもよい。
この構成によれば、複数の移動体に関する複数の画像を表示する場合に、これら複数の画像の視認性を適切に調整することができる。

また、上記構成において、前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づき前記表示部に表示される複数の前記画像の視認性の差が小さくなるように前記視認性制御処理を実行する構成であってもよい。
この構成によれば、複数の移動体に関する複数の画像を表示する場合に、これら複数の画像の全てを視認しやすい状態を実現できる。

また、上記構成において、前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づき前記表示部に表示される複数の前記画像のうち、一部の前記画像の視認性が他の前記画像よりも高くなるように前記視認性制御処理を実行する構成であってもよい。
この構成によれば、複数の移動体に関する複数の画像を表示する場合に、一部の画像の視認性を高めることができ、例えば表示装置の使用者を、特定の画像に注目させることができる。

また、上記構成において、前記移動体位置取得部は、実空間の前記移動体が前記表示部を透過して視認される視認位置を取得し、前記表示制御部は、前記移動体位置取得部が取得する前記移動体の視認位置に対応して、前記視認性制御処理を実行する構成であってもよい。
この構成によれば、表示部において移動体が視認される位置に対応して、外景に対する表示画像の視認性を適切に調整できる。

また、上記構成において、前記表示制御部は、前記移動体の視認位置に対応する位置に、前記移動体に関連付けられた画像を表示させる構成であってもよい。
この構成によれば、外景として視認される移動体に関する情報を効果的に表示できる。

また、上記構成において、前記移動体位置取得部は、前記表示部に対する前記移動体の相対位置を取得する構成であってもよい。
この構成によれば、表示装置を使用する使用者に対する移動体の見え方に対応して、適切に表示画像を表示できる。

また、上記構成において、前記表示制御部は、前記移動体位置取得部により取得される前記移動体の位置を示す情報を前記表示部に表示させる構成であってもよい。
この構成によれば、移動体の位置に関する情報を、表示装置を使用する使用者に対して効果的に見せることができる。

また、上記構成において、前記表示制御部は、画像データーに基づき前記表示部に前記画像を表示させ、前記画像データーに対する輝度調整、色調調整、ガンマ補正の少なくともいずれかを実行可能に構成され、前記視認性制御処理において、前記画像データーの輝度、色調、及びガンマ補正値の少なくともいずれかを変更する構成であってもよい。
この構成によれば、外景に対する表示画像の視認性を効果的に調整できる。

また、上記構成において、前記表示制御部は、前記視認性制御処理を実行することにより、前記表示部を透過して視認される前記外景の視認性を前記表示部により表示する画像の視認性より高くする第１モード、及び、前記表示部を透過する外光に対して前記表示部により表示する画像の視認性を高める第２モードを、前記操作検出部が検出する操作に応じて切り替える構成であってもよい。
この構成によれば、操作に対応して外景と表示画像との視認性の優先度を切り替えることができ、利便性の向上を図ることができる。

また、上記構成において、外光を検出する外光検出部を有し、前記表示制御部は、前記外光検出部により検出される外光に応じて前記視認性制御処理を実行する構成であってもよい。
この構成によれば、外光に対する表示画像の視認性をより適切に調整できる。

また、上記構成において、使用者の頭部に装着される前記表示部を有する頭部装着型表示装置である構成であってもよい。
この構成によれば、使用者が頭部に装着する表示部を透過して視認する外景と、表示画像との視認性を適切に制御することができ、利便性の向上を図ることができる。

また、上記課題を解決するため、本発明は、外光を透過することにより外景を視認可能に画像を表示する表示部を備える表示装置の制御方法であって、移動体の位置を取得し、操作を検出し、前記表示部に画像を表示させ、前記移動体の位置、及び、操作に基づいて、前記表示部により表示する画像の、前記表示部を透過する外光に対する視認性を制御する視認性制御処理を実行する。
本発明によれば、外景に対する表示画像の視認性を、移動体の位置および操作に基づいて制御することにより、実空間の移動体の視認性と表示画像の視認性とを適切に調整できる。例えば、移動体の位置から、移動体が外景として視認される可能性を判定できるので、この可能性に対応して、移動体の視認性を高める制御や表示画像の視認性を高める制御等を行うことができる。

本発明は、上述した表示装置、及び表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の表示装置と移動体とを含む表示システムとして構成することも可能である。また、上記の表示装置、移動体、及び、上記移動体を操縦する操縦装置を含むシステムとして構成することも可能である。また、上記の制御方法を実行するために制御部やコンピューターが実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデーター信号等の形態で実現できる。

移動機複合制御システムの概略構成図。 移動機の機能ブロック図。 ＨＭＤの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部の構成を示す斜視図。 画像表示部と撮像範囲の対応を示す模式図。 ＨＭＤのブロック図。 ＨＭＤの制御部および記憶部の機能ブロック図。 移動機の動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの表示例を示す図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤ間のデーターの送受信に係る動作を示すシーケンス図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 外景の視認特性を示す図表。 画像表示部が表示する画像の視認特性を示す図表。 ＨＭＤの表示例を示す図。 ＨＭＤの表示例を示す図。 ＨＭＤの表示例を示す図。

図１は、本発明を適用した実施形態に係る移動機複合制御システム１の概略構成図である。
移動機複合制御システム１は、移動機（移動体）３１０と、移動機３１０を操縦するオペレーターが装着して使用するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型表示装置）１００とを有する移動機制御システム３００により構成される表示システムである。移動機複合制御システム１は、複数のオペレーターが、それぞれＨＭＤ１００（表示装置）を装着し、移動機３１０を操縦する構成であり、複数の移動機制御システム３００を含む。

図１の例では、３つの移動機制御システム３００Ａ、３００Ｂ、３００Ｃにより移動機複合制御システム１が構成される。移動機複合制御システム１を構成する移動機制御システム３００の数、すなわちＨＭＤ１００の数および移動機３１０の数は任意であり、２以下であっても４以上であってもよい。また、移動機複合制御システム１は、移動機３１０を操縦しないオペレーターが装着するＨＭＤ１００を含んでもよい。

以下の説明では、複数のＨＭＤ１００及び移動機３１０を符号により区別して、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃ、及び、移動機３１０Ａ、３１０Ｂ、３１０Ｃと表記する。各々のＨＭＤ１００を区別する必要がある場合はＨＭＤ１００Ａ、１００Ｂ、１００Ｃと記載し、区別しない場合はＨＭＤ１００と記載する。同様に、各々の移動機３１０を区別する必要がある場合は移動機３１０Ａ、３１０Ｂ、３１０Ｃと記載し、区別しない場合は移動機３１０と記載する。
また、図示はしないが、移動機３１０ＡはオペレーターＡにより操縦され、移動機３１０ＢはオペレーターＢにより操縦され、移動機３１０ＣはオペレーターＣにより操縦される。オペレーターは、ユーザー、あるいは使用者ということができ、以下の説明では使用者と称する。

本実施形態では、本発明の移動体の一態様として、移動機３１０を例示する。移動機３１０は、４つのプロペラ３２１、３２２、３２３、３２４の回転により飛行する飛行体である。移動機３１０は、或いは、無人飛行体（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）を意味するドローン（Ｄｒｏｎｅ）と呼ばれるものの一種であり、４翼ヘリコプターと呼ぶこともできる。移動機３１０は、ＨＭＤ１００により遠隔操縦される。すなわち、移動機３１０ＡはＨＭＤ１００Ａにより遠隔操縦され、同様に、移動機３１０ＢはＨＭＤ１００Ｂにより、移動機３１０ＣはＨＭＤ１００Ｃにより遠隔操縦される。

プロペラ３２１、３２２、３２３、３２４は、それぞれ、飛行モーター３３１、３３２、３３３、３３４により駆動されて回転し、移動機３１０を浮上させる。また、移動機３１０には移動機カメラ３３５が設けられ、移動機カメラ３３５により撮像した撮像画像をＨＭＤ１００に送信できる。移動機カメラ３３５は、移動機３１０の本体に直接固定されてもよいし、ジンバル（Ｇｉｍｂａｌ）、雲台等の台座を介して移動機３１０の本体に固定される構成であってもよい。また、移動機カメラ３３５の台座に、移動機カメラ３３５の撮像方向を変更及び調整する機構を設けてもよい。

ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、図３を参照して後述するように、平たい箱形の本体を備え、この本体に、使用者の操作を受け付ける各種のスイッチや操作パッド等の操作部を備える。これらの操作部を使用者が操作することによって、制御装置１０は、ＨＭＤ１００を制御する制御装置として機能する。

ＨＭＤ１００は、移動機３１０との間で通信を実行する。ＨＭＤ１００は、移動機３１０から画像データーを受信して、受信した画像データーに基づく画像を画像表示部２０により表示する。これにより、使用者は、移動機３１０が撮像した撮像画像を画像表示部２０によって視認し、制御装置１０を操作して、移動機３１０を操縦できる。

ＨＭＤ１００と移動機３１０とを接続する態様は任意であり、例えば、後述する周波数の無線信号を用いて各種データーを送受信する。

図２は、移動機３１０の機能ブロック図であり、移動機３１０の制御系の構成を示す。この構成は、移動機３１０Ａ、３１０Ｂ、３１０Ｃに共通であるため、これらを区別せず説明する。

移動機３１０の制御系は、移動機３１０を制御する移動機制御部３４１と、移動機制御部３４１に接続される各部により構成される。詳細には、移動機３１０は、移動機制御部３４１、移動機記憶部３４２、移動機通信部３４３、ＧＰＳ装置３４４、飛行制御部３４５、カメラ制御部３４６、モーターコントローラー３４７、姿勢センサー３４８、及び、インジケーター３４９を備える。また、図示を省略するが、移動機３１０は、飛行モーター３３１、３３２、３３３、３３４（図１）を含む各部に電源を供給するバッテリーと、バッテリーによる電力供給を制御するバッテリー制御回路とを備える。

移動機制御部３４１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイコン等の演算処理装置（プロセッサー）を備え、プログラムを実行することにより、移動機３１０を制御する。移動機制御部３４１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他周辺回路等を備える構成としてもよい。

移動機制御部３４１には、移動機制御部３４１が処理するデーター等を記憶する移動機記憶部３４２が接続される。移動機記憶部３４２は、半導体メモリー素子等の記憶装置を有し、移動機３１０の制御に関する各種データーや、移動機制御部３４１が実行するプログラムを記憶する。

また、移動機制御部３４１には、移動機通信部３４３が接続される。移動機通信部３４３は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成され、ＨＭＤ１００との間で無線通信を実行する。移動機通信部３４３は、ラジコン用の周波数である２７ＭＨｚ帯、４０ＭＨｚ帯、２．４ＧＨｚ帯等で無線通信を実行する。或いは、移動機通信部３４３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。移動機通信部３４３は、移動機制御部３４１の制御に従ってＨＭＤ１００と通信を実行し、ＨＭＤ１００が送信するコマンドを受信して移動機制御部３４１に出力する。また、移動機通信部３４３は、移動機カメラ３３５の撮像画像データーをＨＭＤ１００に送信する。

移動機３１０Ａが備える移動機通信部３４３は、ＨＭＤ１００Ａと通信を行う。同様に、移動機３１０Ｂの移動機通信部３４３はＨＭＤ１００Ｂと通信し、移動機３１０Ｃの移動機通信部３４３はＨＭＤ１００Ｃと通信する。

ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置３４４は、ＧＰＳ衛星から送信される信号を受信して解析することにより、移動機３１０の位置を測定（測位）する装置である。ＧＰＳ装置３４４は、移動機制御部３４１の制御に従って測位を行い、測位結果を移動機制御部３４１に出力する。ＧＰＳ装置３４４が出力する測位結果は、移動機３１０の緯度及び経度を含み、移動機３１０の高度を含んでもよい。

また、移動機制御部３４１には飛行制御部３４５が接続される。飛行制御部３４５は、モーターコントローラー３４７、及び姿勢センサー３４８に接続される。モーターコントローラー３４７は、飛行制御部３４５の制御に従って、飛行モーター３３１、３３２、３３３、３３４を駆動する回路である。

姿勢センサー３４８は、移動機３１０の姿勢や動きを検出するセンサーである。例えば、姿勢センサー３４８は、ジャイロセンサー、加速度センサー、速度センサー、高度センサーのいずれかを備える構成とすることができる。また、姿勢センサー３４８は、移動機３１０の方向を検出するための地磁気センサーを備えてもよい。例えば、姿勢センサー３４８は、３軸ジャイロセンサー、３軸加速度センサー、３軸地磁気センサーを統合した９軸モーションセンサーユニットを用いてもよく、このモーションセンサーユニットに高度センサーを統合してもよい。姿勢センサー３４８は、飛行制御部３４５の制御に従って、検出値を飛行制御部３４５に出力する。また、姿勢センサー３４８は風速センサーを備えてもよい。

飛行制御部３４５は、移動機３１０が姿勢センサー３４８により検出した検出値及び／またはＧＰＳ装置３４４により検出した緯度、経度を、移動機制御部３４１に出力する。移動機制御部３４１は、姿勢センサー３４８の検出値及びＧＰＳ装置３４４の検出結果の一部または全部を、移動機通信部３４３によりＨＭＤ１００に送信できる。移動機３１０がＨＭＤ１００に送信する移動機３１０の位置に関する情報を、移動機位置情報と呼ぶ。移動機位置情報は、例えば、移動機３１０の高度、緯度、経度を含み、風速等の外部環境に関する情報を含んでもよい。また、移動機位置情報は、移動機３１０の位置を示す情報として、高度、緯度、経度以外の情報を含んでもよい。例えば、移動機３１０の位置を移動機３１０の平面位置に対応する住所表示、地名、地番、近傍または直下の施設名や建物名により表現してもよい。また、予め設定されたランドマークを基準とする方角や距離により移動機３１０の位置を示す情報を含んでもよいし、風速等の外部環境に関する情報を含んでもよい。

また、移動機３１０がＨＭＤ１００に送信する移動機３１０の位置に関する情報は、移動機位置情報のほか、移動機３１０の環境や状況に関する移動機状況情報を含んでもよい。移動機状況情報は、移動機３１０の位置に関連する情報を含んでもよい。例えば、移動機３１０の近傍または直下の施設名や建物名等の周辺施設に関する情報を含んでもよい。また、移動機状況情報は、移動機３１０の環境に関する情報（天気（天候）、温度、湿度、風速、風向、降雨量等）を含んでもよい。

移動機３１０は、ＨＭＤ１００に対し、ＨＭＤ１００が指定したタイミングで取得した検出値及び／または検出結果に基づく移動機位置情報を送信してもよい。また、移動機３１０は、ＨＭＤ１００に対し、ＨＭＤ１００が指定したタイミング以後に取得した検出値及び／または検出結果に基づく移動機位置情報を随時送信してもよい。

なお、移動機３１０が位置を検出する構成は、ＧＰＳ装置３４４や姿勢センサー３４８に限定されない。例えば、移動機３１０が飛行する領域（エリア）に予め設置された無線ビーコン送信機からビーコン信号を受信し、ビーコン信号の受信強度等に基づいて移動機３１０の位置を検出してもよい。無線ビーコン送信機には、赤外光（ＩＲ）等の可視外領域の光でビーコン信号を送信する光ビーコン装置や、Ｂｌｕｅｔｏｏｔｈでビーコン信号を送信するＢｌｕｅｔｏｏｔｈビーコンを利用できる。この場合に検出される移動機３１０の位置は、高度、及び、無線ビーコン送信機に対する相対位置を含む。この場合、移動機制御部３４１は、高度、及び、無線ビーコン送信機に対する相対位置を含む移動機位置情報を生成して、ＨＭＤ１００に送信すればよい。

移動機制御部３４１には、飛行制御部３４５を制御するカメラ制御部３４６が接続される。飛行制御部３４５は、上述したように移動機３１０の本体に設置されて、所定の方向を撮像する。飛行制御部３４５は、撮像素子３３６と、撮像レンズ（図示略）を移動させてズーム倍率を調整するズーム機構３３７とを備える。撮像素子３３６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等からなる。

カメラ制御部３４６は、移動機制御部３４１の制御に従って撮像素子３３６及びズーム機構３３７を駆動し、移動機制御部３４１により指定されたズーム倍率で撮像を行い、撮像画像データーを移動機制御部３４１に出力する。移動機３１０は、移動機カメラ３３５によって予め設定されたサンプリング周期で撮像を実行し、撮像画像データーを生成する。すなわち、移動機３１０は動画像を撮像するといえる。移動機３１０は、ＨＭＤ１００に対し、ＨＭＤ１００が指定したタイミングで撮像した撮像画像データーを送信することができる。この場合、ＨＭＤ１００は、移動機３１０が撮像した静止画像の撮像画像データーを取得できる。また、移動機３１０は、ＨＭＤ１００に対し、ＨＭＤ１００が指定したタイミング以後に撮像した撮像画像データーを随時送信することができる。この場合、ＨＭＤ１００は、移動機３１０が撮像した動画像（映像）の撮像画像データーを取得できる。

移動機制御部３４１は、移動機カメラ３３５の撮像画像データーを送信する場合に、撮像画像データーに基づき生成した画像データーを送信してもよい。例えば、移動機カメラ３３５の撮像画像データーの解像度やフレームレートを変更して帯域を調整し、調整した画像データーを送信してもよい。

また、移動機制御部３４１には、インジケーター３４９が接続される。インジケーター３４９は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源を備え、移動機３１０の動作状態に対応する発光色、及び／または発光パターンで発光する。インジケーター３４９は、移動機３１０の筐体の下面、前面、後面など、移動機３１０の飛行中において外部から視認可能な位置に配置される。移動機制御部３４１は、飛行制御部３４５の動作状態に対応して、インジケーター３４９を発光させる。例えば、移動機制御部３４１は、移動機３１０が前進している場合は赤色でインジケーター３４９を発光させ、移動機３１０が後退している間は緑色でインジケーター３４９を発光させる。また、移動機３１０の旋回中に、インジケーター３４９を点滅させてもよい。

図３は、ＨＭＤ１００の外観構成を示す説明図である。この構成は、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃに共通であるため、これらを区別せず説明する。図４、図５、図６、図７及び図８についても同様である。

制御装置１０は、図３に示すように、平たい箱形のケース１０Ａ（筐体）を備える。ケース１０Ａは、使用者の操作を受け付ける各種のスイッチやトラックパッド１４等を備え、これらを使用者が操作することによって、制御装置１０は、ＨＭＤ１００を制御する制御装置として機能する。また、ケース１０Ａは、ＨＭＤ１００を制御する機能部を内蔵する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を総称して単に「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に右電子シェード２２７及び左電子シェード２４７（図５）を配置し、虚像の視認のしやすさを調整できる。

ＨＭＤカメラ６１（外光検出部）は、画像表示部２０の前部フレーム２７に配設される。ＨＭＤカメラ６１は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図３の例では、ＨＭＤカメラ６１が前部フレーム２７の端部ＥＲ側に配置される。ＨＭＤカメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

ＨＭＤカメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のＨＭＤカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。ＨＭＤカメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、ＨＭＤカメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。ＨＭＤカメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、ＨＭＤカメラ６１の撮像範囲が設定される。
ＨＭＤカメラ６１は、ＨＭＤ制御部１４１が備える撮像制御部１４９の制御に従って撮像を実行し、撮像画像データーを撮像制御部１４９に出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー６４を備える。距離センサー６４は、例えば、使用者にとって前方に位置する測定対象物までの距離を検出する構成とすることができ、本実施形態では、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置される。この例では、画像表示部２０の装着状態において、距離センサー６４の位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサー６４の測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればＨＭＤカメラ６１の撮像方向と重複する方向である。

距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。距離センサー６４は、ＨＭＤ制御部１４１の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、ＨＭＤ制御部１４１の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの端部に設けられるコネクター４２に着脱可能に接続される。すなわち、ケース１０Ａには、接続ケーブル４０を抜き差し可能なコネクター４２が設けられ、画像表示部２０を使用する場合にコネクター４２に接続ケーブル４０が接続される。

接続ケーブル４０は、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデーターを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。
コネクター４６は、ステレオミニプラグを接続するジャック（オーディオコネクター）であり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図３に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、コネクター４６に接続される。

マイク６３は、例えば図３に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図８）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

制御装置１０は、使用者により操作される被操作部として、トラックパッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。これらの被操作部は、例えば、使用者の手指により操作される。

トラックパッド１４は、ケース１０Ａの前面において、使用者が指を接触させる、タッチ操作を行うための領域である。トラックパッド１４は、ケース１０Ａの前面と同様の平面であってもよいが、トラックパッド１４と、それ以外の領域とを使用者が識別できる構成であることが好ましい。例えば、トラックパッド１４の縁を示す線が印刷または凹凸により形成されてもよいし、トラックパッド１４が、トラックパッド１４の表面の触感をそれ以外の領域と異ならせる表面加工を施されてもよい。

制御装置１０は、ケース１０Ａの前面において、後述するタッチセンサー１３（図７）により、使用者によるトラックパッド１４への接触操作を検出できる。制御装置１０は、タッチセンサー１３が接触操作を検出した場合に、操作を検出した位置を特定する。トラックパッド１４は、トラックパッド１４における絶対位置、或いは、相対位置を入力する操作のために使用できる。

ケース１０Ａの前面にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は、トラックパッド１４に位置し、ＬＥＤ表示部１７の表面は、ケース１０Ａの前面における他の領域と違わない。ＬＥＤ表示部１７は、光を透過可能な透過部（図示略）を有し、透過部の直下に設置される１または複数のＬＥＤが点灯することにより、使用者が記号等を視認できるように、発光する。図３の例では、ＬＥＤ表示部１７のＬＥＤが点灯することにより、３つの記号△（三角形）、○（丸）、□（四角形）が現れる。

制御装置１０は、ＬＥＤ表示部１７に対する使用者の手指の接触操作を、タッチセンサー１３により検出し、操作位置を特定できる。このため、例えば操作位置が、ＬＥＤ表示部１７に現れる記号のどれに対応する位置かを特定できる。従って、ＬＥＤ表示部１７はソフトウェアボタンとして機能する。例えば、ＬＥＤ表示部１７に現れる記号を、ＨＭＤ１００の機能に対応付けることで、ＬＥＤ表示部１７へのタッチ操作を当該機能に対する操作として検出できる。ＨＭＤ１００は、図３の例で、記号○（丸）をホームボタンに割り当てることができる。この場合、記号○（丸）の位置に接触操作が行われると、ＨＭＤ制御部１４１は、ホームボタンの操作を検出する。また、記号□（四角形）は履歴ボタンに割り当てることができる。この場合、記号□（四角形）の接触操作を、ＨＭＤ制御部１４１は、履歴ボタンの操作として検出する。同様に、記号△（三角形）は戻るボタンに割り当てることができる。ＨＭＤ制御部１４１は、記号△（三角形）の接触操作を、戻るボタンの操作として検出する。

上下キー１５は、ケース１０Ａの側面に配置され、押圧操作を検出する一対のキーを備える。上下キー１５の右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。
電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。

ケース１０Ａにおいて電源スイッチ１８と同じ側の側面には、ＵＳＢコネクター１８８（図７）が設けられる。ＵＳＢコネクター１８８は、制御装置１０を、外部の装置に接続するインターフェイスであり、本実施形態ではインターフェイスの一例として、ＵＳＢ規格に準拠したコネクターを例示する。ＵＳＢコネクター１８８は、例えば、ｍｉｃｒｏＵＳＢ規格に適合する形状、及びサイズを有するコネクターであり、転送速度等の仕様は任意である。

制御装置１０は後述するようにバッテリー１３２（図７）を有し、バッテリー１３２が供給する電力により制御装置１０および画像表示部２０が動作する。バッテリー１３２への充電は、ＵＳＢコネクター１８８に対して電力を供給することにより行うことができる。ＨＭＤ１００は、制御装置１０と画像表示部２０を取り外し、制御装置１０のみを専用の充電装置に接続することで、充電を行うことができる。

図４は、画像表示部２０が備える光学系の構成を示す要部平面図である。図４には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図４に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、ＨＭＤ制御部１４１の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー６９（図７）が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、ＨＭＤ制御部１４１の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

また、画像表示部２０は、右電子シェード２２７及び左電子シェード２４７を備える。右電子シェード２２７は、シェード駆動部２２８（図６）と、液晶パネル２２９とを備える。左電子シェード２４７は、シェード駆動部２４８（図６）と、液晶パネル２４９とを備える。液晶パネル２２９及び２４９は、透過率調整板ともいうことができる。
右電子シェード２２７の液晶パネル２２９は、右導光板２６の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。図２には、液晶パネル２２９を、右導光板２６から離して配置した状態を示すが、液晶パネル２２９は、右導光板２６の表面に貼り付けられる。液晶パネル２２９は、画像表示部２０の右導光板２６に重ねて配置される。
左電子シェード２４７の液晶パネル２４９は、左導光板２８の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。図２には、液晶パネル２４９を、左導光板２８から離して配置した状態を示すが、液晶パネル２４９は、左導光板２８の表面に貼り付けられる。液晶パネル２４９は、画像表示部２０の左導光板２８に重ねて配置される。

液晶パネル２２９及び２４９は、複数の画素をマトリクス状に配置した透過型の液晶パネルである。液晶パネル２２９及び２４９は、ＴＮ（ｔｗｉｓｔｅｄ ｎｅｍａｔｉｃ）液晶、ゲストホスト液晶、ＰＤＬＣ（Ｐｏｌｙｍｅｒ Ｄｉｓｐｅｒｓｅｄ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）、エレクトロクロミック、ガスクロミックのいずれかの液晶により構成される。

液晶パネル２２９及び２４９は、供給電圧の増減により、外部から使用者の眼ＲＥに導かれる外光の透過率を画素単位で増減させる。本実施形態の右電子シェード２２７及び左電子シェード２４７は、供給電圧なしの状態では外光の透過率が１００％となり、供給電圧が最大の状態では外光の透過率が０％（遮断）される。

図５及び図６は、画像表示部２０の要部構成を示す図である。図５は、画像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図５では接続ケーブル４０の図示を省略する。図６はＨＭＤカメラ６１の画角の説明図である。

図５は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図５では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

ＨＭＤカメラ６１は、上記のように画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図６は、ＨＭＤカメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。ＨＭＤカメラ６１の画角（撮像範囲）をＣで示す。なお、図６には水平方向の画角Ｃを示すが、ＨＭＤカメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

ＨＭＤカメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図６に示すように、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。ＨＭＤカメラ６１の光軸、及び画角は、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。

また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図６の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶことができる。図３に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

ＨＭＤカメラ６１の画角Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の両眼の視野角よりも広い。

ＨＭＤカメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をＨＭＤカメラ６１が備える構成であってもよい。

また、距離センサー６４は、右導光板２６と左導光板２８との中央において、前方を向いて配置される。例えば、距離センサー６４は、画像表示部２０の中央位置から、図６に示す対象物ＯＢのように、使用者の正面方向に位置する物体までの距離を検出可能に構成される。ＨＭＤ１００を装着した使用者は、注視する方向に頭を向けるので、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、使用者が注視する対象までの距離を検出できる。

また、図５に示すように、画像表示部２０の使用者側には内側カメラ６８が配置される。内側カメラ６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、ＨＭＤ制御部１４１の制御に従って撮像を行う。ＨＭＤ制御部１４１は、内側カメラ６８の撮像画像データーを解析する。例えば、ＨＭＤ制御部１４１は、内側カメラ６８の撮像画像データーから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、ＨＭＤ制御部１４１は、使用者の視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。

また、ＨＭＤ制御部１４１は、内側カメラ６８の撮像画像データーから使用者の右眼ＲＥ及び左眼ＬＥの瞼（眼瞼）の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。本実施形態では画像表示部２０が一対の内側カメラ６８、６８を備える構成を例示するが、例えば、１つの内側カメラ６８を、画像表示部２０の中央位置に設けてもよい。この場合、１つの内側カメラ６８が、右眼ＲＥ及び左眼ＬＥを撮像できる画角を有することが好ましいが、例えば、右眼ＲＥまたは左眼ＬＥの一方のみを内側カメラ６８により撮像してもよい。すなわち、右眼ＲＥまたは左眼ＬＥのいずれか一方の視線方向、眼球運動、眼瞼運動、眼瞼の状態等をＨＭＤ制御部１４１が検出する構成としてもよい。

また、ＨＭＤ制御部１４１は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。図６には輻輳角を符号ＰＡで示す。輻輳角ＰＡは、使用者が注視する対象物ＯＢまでの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。従って、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

輻輳角は、例えば、内側カメラ６８の撮像画像データーから求めることができる。例えば、内側カメラ６８に撮像画像データーから右眼ＲＥの視線方向を求め、この視線方向から、右眼ＲＥの正面方向に対する右眼ＲＥの視線方向の角度ＬＡを求める。同様に、内側カメラ６８の撮像画像データーから左眼ＬＥの視線方向を求め、この視線方向に基づき、左眼ＬＥの正面方向に対する左眼ＬＥの視線方向の角度ＲＡを求める。輻輳角ＰＡは、角度ＬＡ、ＲＡの和に等しく、容易に輻輳角ＰＡを求めることができる。

図７は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置として操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１４０には、ＨＭＤ通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、ＨＭＤ通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データーを記憶する。

メインプロセッサー１４０は、操作部１１０から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、およびＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。この場合、操作部１１０は、トラックパッド１４におけるタッチ位置を示すデーターを含む操作信号をメインプロセッサー１４０に出力する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０からメインプロセッサー１４０に対し、操作信号が出力される。
ＬＥＤ表示部１７は、トラックパッド１４（図３）の直下に配置されるＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

ＨＭＤ通信部１１７（画像取得部）は、外部の機器との間で無線通信を実行する。本実施形態では、通信部１１７は、他のＨＭＤ１００が備えるＨＭＤ通信部１１７と無線通信を実行する。ＨＭＤ通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。ＨＭＤ通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。

ＨＭＤ通信部１１７は、移動機３１０が備える移動機通信部３４３と無線通信を行う。この構成において、ＨＭＤ通信部１１７が通信に使用する周波数帯や通信方式は、移動機通信部３４３と通信できるよう適宜選択されればよい。従って、ＨＭＤ通信部１１７は、移動機通信部３４３と同様、ラジコン用の周波数である２７ＭＨｚ帯、４０ＭＨｚ帯、２．４ＧＨｚ帯等で無線通信を実行する。或いは、移動機通信部３４３は、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。
ＨＭＤ１００は、ＨＭＤ通信部１１７とは別の通信部（図示略）を備え、この通信部によって移動機通信部３４３と通信を行う構成としてもよい。

ＨＭＤ１００Ａが備えるＨＭＤ通信部１１７は、移動機３１０Ａと通信を実行する。同様に、ＨＭＤ１００Ｂが備えるＨＭＤ通信部１１７は移動機３１０Ｂと通信し、ＨＭＤ１００Ｃが備えるＨＭＤ通信部１１７は移動機３１０Ｃと通信する。
また、ＨＭＤ通信部１１７は、他のＨＭＤ１００が備えるＨＭＤ通信部１１７と通信を実行することも可能である。このため、後述するように、移動機複合制御システム１を構成するＨＭＤ１００Ａ、１００Ｂ、１００Ｃが相互にデーターを送受信することができる。さらに、ＨＭＤ１００ＡのＨＭＤ通信部１１７は、移動機３１０Ａに限らず、移動機３１０Ｂ、３１０Ｃに対してコマンド等を含むデーターを送信可能であってもよい。ＨＭＤ１００Ｂ、１００Ｃも同様に、移動機３１０Ａ、３１０Ｂ、３１０Ｃに対しデーターを送信可能であってもよい。この場合、例えば、ＨＭＤ１００Ａから移動機３１０Ｂ、３１０Ｃに対し移動機３１０Ａの位置情報を送信し、過度の接近を回避する動作を行わせてもよい。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図３）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８０はアナログ音声信号からデジタル音声データーへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データーをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データーに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデーターの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。

ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデーターの処理、及び、インターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図３に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデーターを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＨＭＤカメラ６１、照度センサー６５、ＬＥＤインジケーター６７、及びシェード駆動部２２８を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）２１５は、各種のデーターをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデーター、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデーターなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデーター等を記憶する。これらのデーターは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデーターを利用して処理を行える。

ＨＭＤカメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データー、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５（外光検出部）は、図３に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図３に示すように、前部フレーム２７の端部ＥＲにおいてＨＭＤカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、ＨＭＤカメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

内側カメラ６８は、インターフェイス２１１を介して制御装置１０から入力される信号に従って撮像を実行し、撮像画像データー、或いは、撮像結果を示す信号を制御装置１０に出力する。図４には１つの内側カメラ６８を図示するが、図３（Ａ）に示す一対の内側カメラ６８、６８が同時に動作してもよい。また、一対の内側カメラ６８、６８のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。

距離センサー６４は、インターフェイス２１１を介して制御装置１０から入力される信号に従って距離検出を実行し、検出結果を示す信号を制御装置１０に出力する。図４には１つの距離センサー６４を図示するが、図３（Ａ）に示す一対の距離センサー６４、６４が同時に動作してもよい。また、一対の距離センサー６４、６４のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。

シェード駆動部２２８は、メインプロセッサー１４０に従って、右電子シェード２２７に供給される電圧を制御し、右電子シェード２２７の外光の透過率を画素単位で増減させる。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデーターを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データーを受信した場合に、受信した画像データーを、ＯＬＥＤ駆動回路２２５（図２）に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデーターを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５（動きセンサー）、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、温度センサー２３９、及びシェード駆動部２４８を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

シェード駆動部２４８は、メインプロセッサー１４０に従って、左電子シェード２４７に供給する電圧を制御し、左電子シェード２４７の外光の透過率を画素単位で増減させる。

右表示ユニット２２が備えるＨＭＤカメラ６１、距離センサー６４、照度センサー６５、内側カメラ６８、温度センサー２１７、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データーの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデーター形式の相違に対応し、統一されたデーター形式のデーターに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、ＨＭＤカメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデーターに基づく画像や音声を出力できる。

図８は、制御装置１０の制御系を構成するＨＭＤ記憶部１７０、及びＨＭＤ制御部１４１の機能ブロック図である。図８に示すＨＭＤ記憶部１７０は、不揮発性記憶部１２１（図７）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、ＨＭＤ制御部１４１、及び、ＨＭＤ制御部１４１が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。ＨＭＤ制御部１４１、及びＨＭＤ制御部１４１を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。

ＨＭＤ制御部１４１は、ＨＭＤ記憶部１７０が記憶するデーターを利用して各種処理を実行し、ＨＭＤ１００を制御する。
ＨＭＤ記憶部１７０は、ＨＭＤ制御部１４１が処理する各種のデーターを記憶する。ＨＭＤ記憶部１７０は、設定データー１７１、表示設定データー１７２、撮像画像データー１７３、移動機識別データー１７４、及び、移動エリアデーター１７５を記憶する。

また、ＨＭＤ記憶部１７０は、画像表示部２０により表示可能な画像や映像を含むコンテンツを含むコンテンツデーターを記憶してもよい。

設定データー１７１は、ＨＭＤ１００の動作に係る各種の設定値を含む。また、ＨＭＤ制御部１４１がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データー１７１に含めてもよい。

表示設定データー１７２は、画像表示部２０により表示する画像に関するデーターであり、詳細には、使用者が移動機３１０を操縦する場合の画像の表示態様に関する設定を含む。
表示設定データー１７２は、例えば、移動機３１０からＨＭＤ通信部１１７が受信した画像データーを画像表示部２０に表示する場合の表示サイズ、表示位置等の情報を含む。ＨＭＤ制御部１４１は、画像表示部２０にアイコン、ウィジェット、メニュー画面等のように、特定の機能が割り当てられた画像や領域を表示することが可能であり、これらを用いてＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を実現できる。表示設定データー１７２は、これらの表示の要否や表示位置等に関する情報を含んでもよいし、これらを表示するための画像データーを含んでもよい。

撮像画像データー１７３は、移動機３１０から受信された画像データーである。ＨＭＤ制御部１４１は、移動機３１０から受信した画像データーを、撮像画像データー１７３としてＨＭＤ記憶部１７０に記憶させる。

ここで、ＨＭＤ１００ＡのＨＭＤ制御部１４１は、移動機３１０Ａから受信する撮像画像データーを撮像画像データー１７３として記憶する。また、上述したように、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃは相互にデーター通信可能であり、例えば、移動機３１０Ａ、３１０Ｂ、３１０Ｃがそれぞれ移動機カメラ３３５により撮像した撮像画像データーを送受信できる。この場合、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃは、他のＨＭＤ１００から受信した撮像画像データーを、撮像画像データー１７３として記憶する。具体的には、ＨＭＤ１００Ａは、ＨＭＤ１００Ｂ、１００Ｃから、移動機３１０Ｂ、３１０Ｃの撮像画像データーを受信した場合、撮像画像データー１７３として記憶する。ＨＭＤ１００Ｂ、１００Ｃも同様である。

移動機識別データー１７４は、制御装置１０が通信する移動機３１０を識別する情報を含む。移動機識別データー１７４は、移動機３１０の機種名、型番、メーカー名、製造番号、製造時に設定された固有のＩＤ等を含んでもよい。或いは、移動機識別データー１７４は、使用者が設定した移動機３１０のＩＤ等の識別情報を含んでもよい。ＨＭＤ１００Ａ、１００Ｂ、１００Ｃは、それぞれ、移動機識別データー１７４を利用して、移動機３１０Ａ、３１０Ｂ、３１０Ｃを識別できる。

移動機識別データー１７４は、ＨＭＤ１００が移動機制御システム３００を認証するために用いる認証用の情報を含んでもよい。また、移動機識別データー１７４は、制御装置１０がＨＭＤ通信部１１７により移動機３１０と通信する場合、通信に必要な情報を含んでもよい。具体的には、ネットワークアドレス、ネットワークＩＤ、パスワード等の通信用の認証情報等を含んでもよい。

移動エリアデーター１７５は、移動機３１０を移動（飛行）させる領域として予め設定された移動エリアに関する情報を含む。例えば、移動エリアは、移動機３１０Ａ、３１０Ｂ、３１０Ｃが移動（飛行）する領域（空域、地域）を含み、移動エリアデーター１７５は、この空域や地域を含む地図データーである。また、移動エリアデーター１７５は、平面位置に関するデーターに限らず、高度に関するデーターを含んでもよい。
移動エリアデーター１７５に含まれるデーターと、移動機３１０Ａ、３１０Ｂ、３１０Ｃの位置とは、実空間における絶対的な位置を示すことが可能な、緯度や経度で対応付けることが可能である。また、実空間に設定される基準位置に対する相対的な位置により対応付けることが可能であってもよい。

ＨＭＤ制御部１４１は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、検出制御部１５１、通信制御部１５３、位置推定部１５５、操作検出部１５７、及び、コマンド生成部１５９の機能を有する。
オペレーティングシステム１４３の機能は、ＨＭＤ記憶部１７０が記憶する制御プログラムの機能であり、その他のＨＭＤ制御部１４１の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。

画像処理部１４５は、画像表示部２０により表示する画像または映像の画像データーに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。

また、画像処理部１４５は、必要に応じて、画像データーの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データーの輝度や彩度を調整する画像調整処理、３Ｄ画像データーから２Ｄ画像データーを作成し、或いは２Ｄ画像データーから３Ｄ画像データーを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データーに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

表示制御部１４７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

また、表示制御部１４７は、表示設定データー１７２に基づき、画像表示部２０により各種の画像を表示させる。例えば、表示制御部１４７は、表示設定データー１７２の設定に従ってアイコン、ウィジェット、メニュー等を表示させる。

また、表示制御部１４７は、画像表示部２０が表示する画像の視認性を調整する処理を実行する。この処理を、以下の説明において画像表示制御（視認性制御処理）と呼ぶ。画像表示制御で、表示制御部１４７は、画像表示部２０が表示する画像に係る画像データーの輝度調整、色調調整、ガンマ補正の少なくともいずれかを実行する。また、画像表示制御において、表示制御部１４７は、画像データーに係る上記処理に加えて、或いは上記処理に代えて、右電子シェード２２９及び左電子シェード２４９の透過率（透光率）を調整してもよい。

表示制御部１４７は、画像表示制御において、画像表示部２０を透過して使用者の視界に入射する外光ＯＬの光量を検出する。具体的な外光ＯＬの光量の検出方法としては、照度センサー６５の検出値を用いる方法や、ＨＭＤカメラ６１の撮像画像の輝度及びＨＭＤカメラ６１の露光量を用いる方法が挙げられる。表示制御部１４７は、検出制御部１５１が取得する照度センサー６５の検出値に基づき、外光ＯＬの光量を判定し、判定した外光ＯＬの光量に対応して、画像表示部２０が表示する画像の視認性を実現するように、画像表示制御を行う。また、表示制御部１４７は、撮像制御部１４９の制御によりＨＭＤカメラ６１が撮像する撮像画像データーの輝度と、この撮像画像データーの撮像時における露光量の設定値とに基づき、外光ＯＬの光量を判定する。

また、表示制御部１４７は、画像表示制御において、複数の画像データーに基づき複数の画像を画像表示部２０に表示する場合に、表示される複数の画像の視認性を調和させる処理を行うこともできる。この場合、表示制御部１４７は、画像表示部２０により表示させる複数の画像に係る画像データーの視認性を判定し、視認性を揃えるように処理する。つまり、表示制御部１４７は、複数の移動機３１０Ａ、３１０Ｂ、３１０Ｃが撮像した撮像画像を、各々の画像の視認性の差が小さくなるように画像表示制御を行う。或いは、表示制御部１４７は、いずれか一部の画像の視認性を他の画像より高めるように処理を行う。表示制御部１４７が実行する処理は、例えば、上述した画像データーの輝度調整、色調調整、ガンマ補正の少なくともいずれかであってもよい。

例えば、ＨＭＤ１００Ａが、移動機３１０Ａ、３１０Ｂ、３１０Ｃが撮像した撮像画像データーをそれぞれ取得して画像表示部２０に表示する場合、表示制御部１４７は、移動機３１０Ａ、３１０Ｂ、３１０Ｃの各々の撮像画像データーに基づき画像を表示する。表示制御部１４７は、これらの複数の画像の視認性を揃えるように、或いは、いずれか一部の画像の視認性を他の画像より高めるように、画像表示制御を行う。これにより、ＨＭＤ１００Ａは、移動機３１０Ａ、３１０Ｂ、３１０Ｃの撮像画像を、画像の視認性が揃った状態で、或いは、一部の画像が他の画像より視認しやすい状態で、表示できる。

表示制御部１４７は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ））で構成してもよい。

撮像制御部１４９は、ＨＭＤカメラ６１を制御して撮像を実行させ、撮像画像データーを生成し、ＨＭＤ記憶部１７０に一時的に記憶する。また、ＨＭＤカメラ６１が撮像画像データーを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は撮像画像データーをＨＭＤカメラ６１から取得して、ＨＭＤ記憶部１７０に一時的に記憶する。

また、撮像制御部１４９は、内側カメラ６８を制御して使用者の右眼ＲＥ及び左眼ＬＥを撮像してもよい。この場合、ＨＭＤ制御部１４１は、撮像制御部１４９の制御に従って内側カメラ６８が撮像する撮像画像データーを解析して、使用者の右眼ＲＥ及び左眼ＬＥの運動を検出してもよい。この場合、ＨＭＤ制御部１４１は、右眼ＲＥ及び左眼ＬＥのそれぞれ、或いは、いずれか一方について、動き方向、及び、動き量等を求めてもよい。

検出制御部１５１は、ＨＭＤ１００が備える各種センサーの検出値を取得する。検出制御部１５１が制御するセンサーは、例えば、６軸センサー１１１、磁気センサー１１３、温度センサー２１７、６軸センサー２３５、磁気センサー２３７、距離センサー６４、及び照度センサー６５を含む。また、ＧＰＳ１１５を含んでもよい。

また、検出制御部１５１は、受付部として機能し、ＨＭＤ１００に対する操作を受け付ける。検出制御部１５１は、制御装置１０が備えるボタン１１やタッチセンサー１３に対する操作を検出する。また、検出制御部１５１は、制御装置１０が備える６軸センサー１１１や磁気センサー１１３の検出値及び／または検出値の変化に基づき、制御装置１０を動かすことによる操作を検出する。また、検出制御部１５１は、画像表示部２０が備える６軸センサー２３５や磁気センサー２３７の検出値及び／または検出値の変化に基づき、画像表示部２０を動かすことによる操作を検出する。例えば、検出制御部１５１は、制御装置１０及び／又は画像表示部２０の動きが、予め設定された態様の動きに該当する場合に、操作を検出する。

通信制御部１５３は、ＨＭＤ通信部１１７を制御して、移動機３１０、及び、他のＨＭＤ１００との間の通信を実行させる。すなわち、ＨＭＤ１００Ａの通信制御部１５３は、ＨＭＤ通信部１１７により、移動機３１０Ａと通信を実行し、さらに、ＨＭＤ１００Ｂ、１００Ｃと各々に対し通信を実行する。

また、通信制御部１５３は、移動機３１０から送信される撮像画像データーを受信してもよい。例えば、通信制御部１５３はＨＭＤ通信部１１７が送受信するデーターから、撮像画像データーに該当するデーターを抽出する。ＨＭＤ１００Ａが備える通信制御部１５３は、移動機３１０Ａが送信する撮像画像データーを受信してもよいし、移動機３１０Ｂ、３１０Ｂが送信する撮像画像データーを受信してもよい。また、ＨＭＤ１００Ａが備える通信制御部１５３は、ＨＭＤ１００Ｂ、１００Ｃが、移動機３１０から受信した撮像画像データーをＨＭＤ１００Ａに向けて送信した場合に、この送信された撮像画像データーを受信してもよい。これらの機能は、ＨＭＤ１００Ｂ、１００Ｃが備える通信制御部１５３も同様である。

位置推定部１５５（移動体位置取得部）は、移動機３１０の位置を推定する。位置推定部１５５は、移動機３１０の位置情報に基づき、移動機３１０の位置を特定してもよい。移動機３１０が移動エリア内に位置する状態で、位置推定部１５５は、移動機３１０が送信する撮像画像データーに基づいて、移動機３１０の位置を推定する処理を行う。
ＨＭＤ１００Ａの位置推定部１５５は、移動機３１０Ａの位置を推定する。また、ＨＭＤ１００Ａの位置推定部１５５は、ＨＭＤ１００Ｂ、１００Ｃから受信するデーターに基づき、移動機３１０Ｂ、３１０Ｃの位置を推定することが可能なものであってもよい。
位置推定部１５５が推定する移動機３１０の位置は、移動エリアデーター１７５により定められる移動エリアにおける移動機３１０の位置に限らない。

例えば、位置推定部１５５は、画像表示部２０に対する移動機３１０の相対的な位置を推定してもよい。より詳細には、位置推定部１５５は、画像表示部２０を装着する使用者が、画像表示部２０を透過して実空間の移動機３１０を視認できるかどうかを判定するための位置を推定する。具体的には、位置推定部１５５は、画像表示部２０の位置および画像表示部２０の正面方向を基準とする移動機３１０の位置を推定してもよい。或いは、使用者が画像表示部２０を透過して実空間の移動機３１０を視認する場合の、画像表示部２０を通した視界と移動機３１０との相対位置を推定してもよい。

また、位置推定部１５５は、通信制御部１５３の制御によって実行されるデーター通信を利用して、移動機３１０の移動機位置情報を取得してもよい。例えば、位置推定部１５５は、通信制御部１５３の制御によってＨＭＤ通信部１１７が受信する各種のデーターから、移動機位置情報に該当するデーターを抽出する。例えば、ＨＭＤ１００Ａが備える位置推定部１５５は、移動機３１０Ａが送信する移動機位置情報を受信してもよいし、移動機３１０Ｂ、３１０Ｂが送信する移動機位置情報を受信してもよい。また、ＨＭＤ１００Ａが備える位置推定部１５５は、ＨＭＤ１００Ｂ、１００Ｃが、移動機３１０から受信した移動機位置情報をＨＭＤ１００Ａに向けて送信した場合に、この送信された移動機位置情報を受信してもよい。これらの機能は、ＨＭＤ１００Ｂ、１００Ｃが備える位置推定部１５５も同様である。

さらにまた、位置推定部１５５は、ＧＰＳ装置３４４の検出値等を含む移動機位置情報に限らず、外部（移動機３１０以外、或いはＨＭＤ１００以外の装置）から受信するデーターや信号に基づき移動機３１０Ａの位置を推定してもよい。例えば、信号機や案内標識等の道路設備に取り付けられたビーコン信号送信機、商業施設において店舗等に設置されたビーコン送信機等が送信するビーコン信号を受信して、位置の推定に利用してもよい。また、外部からの信号としては、携帯電話の基地局が送信するデーター、公衆無線ＬＡＮの送信設備（例えば、ＷｉＦｉスポット等）により送信される位置情報や通信データーを用いてもよい。また、上記の各種信号の組合せを利用して位置を推定してもよい。

操作検出部１５７は、画像表示部２０を装着した使用者による操作を検出するものであり、例えば位置指示操作を検出する。操作検出部１５７は、撮像制御部１４９の制御によりＨＭＤカメラ６１が撮像する撮像画像データーを解析し、撮像画像データーから指示体（使用者の指、手、他の身体の一部、或いは他の物体など）の画像を抽出する。操作検出部１５７は、撮像画像データーにおける指示体の画像の位置を特定し、特定した位置を、画像表示部２０に対する相対位置に変換する。変換後の位置を、操作位置として出力する。これにより、画像表示部２０を装着する使用者が、ＨＭＤカメラ６１の撮像範囲に指示体を位置させ、或いは、撮像範囲で指示体を動かすことで、位置指示操作を行うことができる。

コマンド生成部１５９は、検出制御部１５１が検出する操作、或いは、操作検出部１５７が検出する操作に従って、コマンドを生成する。コマンド生成部１５９が生成するコマンドは、移動機３１０を動作させるコマンドである。例えば、移動機３１０の上昇（浮上）、降下、前進（進行）、後退、旋回（回転）、逆旋回（逆回転）等を指示するコマンドや、移動機３１０の定型動作を指示するコマンド、撮像画像データーの送信を指示するコマンド等である。コマンド生成部１５９が生成するコマンドはＨＭＤ通信部１１７により移動機３１０に送信される。

コマンド生成部１５９が生成するコマンド（本発明のコマンドに相当）は、移動機３１０の動作を指示するものであれば、データー形式や処理されるプロセスは特に限定されない。具体的には、コマンド生成部１５９が生成するコマンドは、移動機３１０において、移動機制御部３４１が各部を制御するためのコマンド、すなわち移動機３１０の内部コマンドそのものであってもよいし、移動機制御部３４１に対して内部コマンドを生成させる元となるデーターであってもよい。例えば、移動機制御部３４１が、コマンド生成部１５９が生成してＨＭＤ通信部１１７により送信するコマンドを受信し、このコマンドに基づき、飛行制御部３４５、カメラ制御部３４６、インジケーター３４９等を制御するための内部コマンドを生成する構成であってもよい。従って、コマンド生成部１５９は、飛行制御部３４５、カメラ制御部３４６、インジケーター３４９等を移動機制御部３４１が制御するための内部コマンドを生成する機能を有するものであってもよいし、移動機制御部３４１が解釈可能な形式の制御データー等を生成する機能を有するものであってもよい。内部コマンドとは、例えば、上述した定型動作コマンド等を含んでもよい。

ＨＭＤ１００Ａのコマンド生成部１５９は、ＨＭＤ１００Ａを用いて操縦される移動機３１０Ａに対応するコマンドを生成する。移動機３１０Ａに対応するコマンドとは、ＨＭＤ１００Ａのコマンド生成部１５９が生成するコマンドは、少なくとも移動機制御部３４１が受信し、解釈し、処理を実行可能な形式のデーターを指し、移動機３１０Ａの内部コマンドに限定されない。ここで、移動機３１０Ａ、３１０Ｂ、３１０Ｃの少なくとも一部が異なるコマンドに対応して動作する場合、ＨＭＤ１００Ａのコマンド生成部１５９は、移動機３１０Ａに対応するコマンドを生成可能であればよい。また、ＨＭＤ１００Ａのコマンド生成部１５９が移動機３１０Ｂ、３１０Ｃに対応するコマンドを生成可能な構成であってもよい。

さらに、コマンド生成部１５９は、他のＨＭＤ１００から受信したデーターに基づきコマンドを生成してもよい。
例えば、ＨＭＤ１００Ａが、ＨＭＤ１００Ｂから受信するデーターに従って、移動機３１０Ａに対するコマンドを生成し、ＨＭＤ通信部１１７により送信してもよい。この動作は、ＨＭＤ１００Ｂが、移動機３１０Ａに対し、ＨＭＤ１００Ａを介して間接的にコマンドを送信する動作に相当する。この動作を、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃの間で相互に実行可能であってもよい。この場合、移動機３１０Ａ、３１０Ｂ、３１０Ｃが異なっている場合など、対応するコマンドが異なる場合であっても、１つのＨＭＤ１００から各々の移動機３１０にコマンドを送信できる。

コマンド生成部１５９が生成し、ＨＭＤ通信部１１７によって移動機３１０にコマンドを送信する場合、ＨＭＤ通信部１１７と、移動機３１０の移動機通信部３４３との間で暗号化されたコマンドを送受信してもよい。例えば、ＨＭＤ通信部１１７と移動機通信部３４３とがパケット形式で、コマンドを含む各種データーを送受信する構成とし、パケットごとに乱数や鍵情報を用いた暗号化を施してもよい。この場合、コマンド生成部１５９が、コマンドを暗号化して、暗号データーをＨＭＤ通信部１１７により送信させてもよい。また、移動機３１０において、移動機制御部３４１が、移動機通信部３４３により受信した暗号データーを復号する処理を行ってもよい。移動機３１０からＨＭＤ１００にデーターを送信する場合も同様に、移動機制御部３４１が暗号化した暗号データーを移動機通信部３４３により送信し、ＨＭＤ１００が、ＨＭＤ通信部１１７によって暗号データーを受信し、受信した暗号データーをＨＭＤ制御部１４１が復号してもよい。

ＨＭＤ制御部１４１は、ＨＭＤ通信部１１７により移動機３１０と通信し、移動機３１０が送信する移動機位置情報を受信する。また、ＨＭＤ制御部１４１は、移動機３１０が送信する撮像画像データーを受信する。また、ＨＭＤ制御部１４１は、移動機３１０から受信した移動機位置情報を加工し、受信した移動機位置情報に基づき生成された移動機３１０の位置を示すデーターを、新しい移動機位置情報として生成してもよい。また、ＨＭＤ制御部１４１は、移動機３１０から受信した撮像画像データーを加工して、受信した撮像画像データーに基づく新たな画像データーを生成してもよい。

また、ＨＭＤ１００Ａは、ＨＭＤ１００Ｂ、１００Ｃに対し、移動機３１０Ａの移動機位置情報、及び、撮像画像データーを送信できる。この場合、ＨＭＤ１００ＡのＨＭＤ制御部１４１は、ＨＭＤ１００Ｂ、１００Ｃに対し、指定されたタイミングで移動機位置情報及び／または撮像画像データーを送信することができる。同様に、ＨＭＤ１００Ｂは、ＨＭＤ１００Ａ、１００Ｃに対し、移動機３１０Ｂの移動機位置情報、及び、撮像画像データーを送信できる。また、ＨＭＤ１００Ｃは、ＨＭＤ１００Ａ、１００Ｂに対し、移動機３１０Ｃの移動機位置情報、及び、撮像画像データーを送信できる。

移動機複合制御システム１が有するＨＭＤ１００Ａ、１００Ｂ、１００Ｃを、その機能により、第１表示装置、及び、第２表示装置とすることができる。この場合、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃのいずれかが第１表示装置に対応し、その他は第２表示装置に対応する。例えばＨＭＤ１００Ａを第１表示装置とする場合において、ＨＭＤ１００Ｂ、１００Ｃは第２表示装置に対応する。ＨＭＤ１００ＢまたはＨＭＤ１００Ｃを第１表示装置とする場合も同様であり、各々の場合に対し、ＨＭＤ１００Ａ、１００Ｃ、或いは、ＨＭＤ１００Ａ、１００Ｂが第２表示装置に対応する。また、これらの場合において、第１表示装置の画像表示部２０を第１表示部とし、第２表示装置の画像表示部２０を第２表示部と呼ぶことができる。

上記の場合において、第１表示装置の操作検出部１５７は第１操作検出部に相当し、第２表示装置の操作検出部１５７は第２操作検出部に相当する。第１表示装置のコマンド生成部１５９は第１移動体制御部に相当し、第２表示装置のコマンド生成部１５９は第２移動体制御部に相当する。第１表示装置の通信制御部１５３は第１移動体画像データー取得部に相当し、第２表示装置の通信制御部１５３は第２移動体画像データー取得部に相当する。これら第１及び第２移動体画像データー取得部は、通信制御部１５３とＨＭＤ通信部１１７との協働により実現されてもよく、画像取得部としての機能も同様である。また、第１表示装置の表示制御部１４７は第１表示制御部に相当し、第２表示装置の表示制御部１４７は第２表示制御部に相当する。

また、上記の場合において、移動機複合制御システム１が有する移動体である移動機３１０Ａ、３１０Ｂ、３１０Ｃのいずれかを、第１移動体とし、その他を第２移動体とすることができる。例えば、移動機３１０Ａを第１移動体とする場合において、移動機３１０Ｂ、３１０Ｃは第２移動体に対応する。移動機３１０Ｂ、３１０Ｃを第１移動体とする場合も同様に、移動機３１０Ａ、３１０Ｃ、或いは、移動機３１０Ａ、３１０Ｂが第２移動体に対応する。

第１表示装置と第１移動体との対応関係、及び、第２表示装置と第２移動体との対応関係についても同様である。ＨＭＤ１００Ａが第１表示装置である場合、移動機３１０Ａは第１移動体に対応する。ＨＭＤ１００Ａが第２表示装置である場合、移動機３１０Ａは第２移動体に対応する。ＨＭＤ１００Ｂ、１００Ｃ及び移動機３１０Ｂ、３１０Ｃについても同様である。

図９、図１０、図１２、図１３、図１４及び図１５は移動機複合制御システム１の各部の動作を示すフローチャートである。図１２はＨＭＤ１００における表示例を示す図である。図１６及び図１７は画像表示部２０が表示する画像の視認特性を示す図表である。図１８、図１９、及び図２０は、移動機複合制御システム１の動作に伴い画像表示部２０に表示される画面の表示例を示す図である。これらの図を参照して、移動機複合制御システム１の動作を説明する。

図９は、移動機３１０の動作を示すフローチャートである。図９に示す動作は移動機３１０Ａ、３１０Ｂ、３１０Ｃに共通である。移動機３１０Ａ、３１０Ｂ、３１０Ｃは、それぞれ、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃから送信されるコマンドに従って図９の動作を実行する。ここでは、移動機３１０Ａを例に挙げて説明する。

移動機３１０Ａの移動機制御部３４１は、移動機３１０Ａの電源がオンにされると動作を開始し、モーターコントローラー３４７を含む各部の初期化、及び、ＨＭＤ１００Ａとの間の通信を確立する動作を実行する（ステップＳ１１）。

移動機制御部３４１は、ＧＰＳ装置３４４による位置検出を開始させ、ＧＰＳ装置３４４が検出する位置情報の取得を開始する（ステップＳ１２）。また、移動機制御部３４１は、カメラ制御部３４６を制御して、移動機カメラ３３５による撮像を開始させる（ステップＳ１３）。

移動機制御部３４１は、ＧＰＳ装置３４４から取得した位置情報、及び、移動機カメラ３３５の撮像画像データーを、ＨＭＤ１００Ａに送信する処理を開始する（ステップＳ１４）。ここで、移動機制御部３４１は、姿勢センサー３４８の検出値を位置情報に含めて送信してもよい。また、移動機制御部３４１は、例えば移動機３１０のバッテリー残量等を含む制御情報を、位置情報に含めて送信してもよい。図９に示す動作例では、移動機制御部３４１は、位置情報及び撮像画像データーの送信を、ステップＳ１４以後、予め設定された周期で継続して実行する。

移動機制御部３４１は、移動機通信部３４３により、ＨＭＤ１００Ａからコマンドを受信したか否かを判定する（ステップＳ１５）。コマンドを受信した場合（ステップＳ１５；Ｙｅｓ）、移動機制御部３４１は、受信したコマンドが定型動作コマンドであるか否かを判定する（ステップＳ１６）。受信したコマンドが定型動作コマンドである場合（ステップＳ１６；Ｙｅｓ）、移動機制御部３４１は、受信したコマンドで指定される定型動作を、飛行制御部３４５によって実行させ（ステップＳ１７）、ステップＳ１９に移行する。受信したコマンドが定型動作コマンドでない場合（ステップＳ１６；Ｙｅｓ）、移動機制御部３４１は、受信したコマンドで指定される動作を飛行制御部３４５によって実行させ（ステップＳ１８）、ステップＳ１９に移行する。また、ＨＭＤ１００Ａからコマンドを受信していない場合（ステップＳ１５；Ｎｏ）、移動機制御部３４１はステップＳ１９に移行する。

ステップＳ１９で、移動機制御部３４１は、動作を終了するか否かを判定し（ステップＳ１９）、動作を終了しない場合は（ステップＳ１９；Ｎｏ）、ステップＳ１５に戻る。

移動機３１０Ｂ及び移動機３１０Ｃは、移動機３１０Ａと同様に図９の動作を実行し、それぞれ、ＨＭＤ１００Ｂ、１００Ｃと通信を実行する。これにより、移動機３１０Ｂは、ＨＭＤ１００Ｂが送信するコマンドに従って動作し、ＨＭＤ１００Ｂに対して撮像画像データーや位置情報を送信する。移動機３１０Ｃ及びＨＭＤ１００Ｃについても同様である。

図１０は、ＨＭＤ１００の動作を示すフローチャートである。図１０に示す動作はＨＭＤ１００Ａ、１００Ｂ、１００Ｃに共通であり、ここでは、ＨＭＤ１００Ａを例に挙げて説明する。

ＨＭＤ１００ＡのＨＭＤ制御部１４１は、ＨＭＤ１００の電源がオンにされると動作を開始し、ＨＭＤ１００の各部の初期化を行い、移動機３１０Ａとの間で通信を確立する（ステップＳ３１）。

ＨＭＤ制御部１４１は、移動機３１０Ａを操縦する操作を行うための操縦画面（操作用画面）を画像表示部２０により表示させ（ステップＳ３２）、コマンド生成処理を開始する（ステップＳ３３）。コマンド生成処理は、画像表示部２０に操縦画面を表示する状態において操作検出部１５７によって操作を検出し、検出した操作に基づき、コマンド生成部１５９によって移動機３１０Ａを動かすためのコマンドを生成し、送信する処理である。ＨＭＤ制御部１４１は、ステップＳ３３でコマンド生成処理を開始してから、動作を終了するまで、使用者の操作に対応してコマンドを生成し送信することができる。コマンド生成処理で操作検出部１５７が検出する操作は、上述したように、トラックパッド１４のタッチ操作等の制御装置１０における操作、ＨＭＤカメラ６１の撮像範囲における指示体による操作等である。指示体による操作については、図１１を参照して後に例を説明する。

ＨＭＤ制御部１４１は、移動機３１０Ａから位置情報を受信する動作を開始する（ステップＳ３４）。また、ＨＭＤ制御部１４１は画像データーの取得を開始する（ステップＳ３５）。ステップＳ３５で取得する画像データーは移動機３１０Ａの撮像画像データーであってもよく、他の移動機３１０Ｂ、３１０Ｃの撮像画像データーであってもよい。

ここで、ＨＭＤ制御部１４１は、ステップＳ３４で受信開始した位置情報、及び、ステップＳ３５で取得開始した画像データーを、他のＨＭＤ１００に送信するか否かを判定する（ステップＳ３６）。送信の要否は、予めＨＭＤ制御部１４１に設定され、例えば設定データー１７１に含まれる設定値により決められる。具体的な送信先は、ＨＭＤ１００Ｂ及びＨＭＤ１００Ｃの少なくともいずれかである。また、ＨＭＤ制御部１４１は、他のＨＭＤ１００すなわちＨＭＤ１００Ｂ、１００Ｃと通信を行い、データーの送信を要求された場合に、データーを受信すると判定してもよい。

ＨＭＤ制御部１４１は、ＨＭＤ１００ＢまたはＨＭＤ１００Ｃにデーターを送信する場合（ステップＳ３６；Ｙｅｓ）、画像データー及び位置情報のデーター送信を開始する（ステップＳ３７）。仮に、ＨＭＤ１００Ｂが図１０の動作を実行する場合、ステップＳ３７ではＨＭＤ１００Ａ、１００Ｃへのデーター送信を開始し、ＨＭＤ１００Ｃが図１０の動作を実行する場合、ステップＳ３７ではＨＭＤ１００Ａ、１００Ｂへのデーターの送信を開始する。

その後、ＨＭＤ制御部１４１は、他のＨＭＤ１００からデーターを受信するか否かを判定する（ステップＳ３８）。受信の要否は、予めＨＭＤ制御部１４１に設定され、例えば設定データー１７１に含まれる設定値により決められる。具体的な送信元は、ＨＭＤ１００Ｂ及びＨＭＤ１００Ｃの少なくともいずれかである。また、ＨＭＤ制御部１４１は、他のＨＭＤ１００すなわちＨＭＤ１００Ｂ、１００Ｃと通信を行い、データーの受信を要求された場合に、データーを受信すると判定してもよい。また、ＨＭＤ１００ＢまたはＨＭＤ１００Ｃにデーターを送信しないと判定した場合（ステップＳ３６；Ｎｏ）、ステップＳ３８に移行する。

ＨＭＤ制御部１４１は、ＨＭＤ１００ＢまたはＨＭＤ１００Ｃからデーターを受信する場合（ステップＳ３８；Ｙｅｓ）、画像データー及び位置情報のデーターの受信を開始する（ステップＳ３９）。仮に、ＨＭＤ１００Ｂが図１０の動作を実行する場合、ステップＳ３９ではＨＭＤ１００Ａ、１００Ｃからのデーター受信を開始し、ＨＭＤ１００Ｃが図１０の動作を実行する場合、ステップＳ３９ではＨＭＤ１００Ａ、１００Ｂからのデーター受信を開始する。

ＨＭＤ制御部１４１は、画像データーの表示位置及びサイズを決定する表示位置調整処理を開始し（ステップＳ４０）、本処理を終了する。また、他のＨＭＤ１００からデーターを受信しないと判定した場合（ステップＳ３８；Ｎｏ）、ステップＳ４０の動作を実行して本処理を終了する。

ＨＭＤ１００Ａ、１００Ｂ、１００Ｃが表示する画面の状態、すなわち表示形態は任意である。
例えば、ＨＭＤ１００Ａは、移動機３１０Ａを操作するための操作画面を表示してもよい。操作画面は、使用者の操作により移動機３１０Ａを操縦するための画面であり、例えば、移動機３１０ＡからＨＭＤ１００Ａが受信する位置情報に基づく表示が行われる。具体的には、移動機３１０Ａの経度、緯度、高度、バッテリー残量等が表示される。
また、ＨＭＤ制御部１４１は、使用者の操作に応じて移動機３１０Ａにコマンドを送信した場合に、送信したコマンドの内容を示す画像を表示してもよい。具体的には、移動機３１０Ａに対して前進を指示するコマンドを送信したことを示す画像、文字、図形、或いはその他の表示オブジェクトを表示してもよい。

また、ＨＭＤ制御部１４１は、画像表示部２０により、移動機３１０Ａの位置を示す画像を表示してもよい。この画像は、例えば、地図とともに移動機３１０Ａの位置を示す画像であってもよく、この地図には、ＨＭＤ１００Ａの位置が表示されてもよい。また、上記地図に、移動機３１０Ｂ、３１０Ｃの位置が表示されてもよく、ＨＭＤ１００Ｂ、１００Ｃの位置が表示されてもよい。ＨＭＤ１００Ａは、これらの位置を、ＨＭＤ１００ＡがＨＭＤ１００Ｂ、１００Ｃから受信する位置情報に基づき表示できる。また、上記のように画像として表示される地図は、俯瞰地図を用いてもよく、具体的には、移動機３１０Ａが飛んでいる状況に応じたナビゲーションマップとして機能する表示態様であってもよい。

また、ＨＭＤ制御部１４１は、移動機３１０Ａ、ＨＭＤ１００Ｂ、１００ＣからＨＭＤ１００Ａが受信した画像を表示してもよい。これらの画像は、移動機３１０Ａから受信した撮像画像データーに基づき表示される画像、或いは、ＨＭＤ１００ＡがＨＭＤ１００Ｂから受信した画像データーに基づき表示される画像である。具体的には、ＨＭＤ１００Ｂが移動機３１０Ｂから受信する移動機３１０Ｂの撮像画像データーに基づく画像、または、ＨＭＤ１００Ｂが備えるＨＭＤカメラ６１の撮像画像データーに基づく画像である。また、ＨＭＤ１００ＡがＨＭＤ１００Ｃから受信した画像データーに基づき画像を表示してもよい。具体的には、ＨＭＤ１００Ｃが移動機３１０Ｃから受信する移動機３１０Ｃの撮像画像データーに基づく画像、または、ＨＭＤ１００Ｃが備えるＨＭＤカメラ６１の撮像画像データーに基づく画像を表示してもよい。

また、ＨＭＤ制御部１４１は、移動機３１０Ａの動作状態を示す画像を表示してもよい。この画像は、例えば、画像表示部２０を透過して使用者が視認する実空間の移動機３１０Ａに対し、移動機３１０Ａが視認される位置に対応する表示位置で表示される、いわゆるＡＲ（拡張現実：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像とすることができる。この画像は、例えば、移動機３１０Ａの進行方向（前進、後退、旋回、逆旋回など）を示す画像である。本実施形態では、移動機３１０Ａが備えるインジケーター３４９（図２）が移動機３１０Ａの移動方向に対応して発光する。このため、インジケーター３４９の発光を模したＡＲ画像を、実空間の移動機３１０Ａが視認される位置に重なるように表示することができる。このように、実空間の移動機３１０Ａの視認性に影響を与え、追加的に情報を表示するＡＲ画像を表示することで、効果的な視覚効果を得ることができる。

この例では、使用者は、移動機３１０Ａのインジケーター３４９を直接視認できない場合であっても、直接インジケーター３４９を視認できる場合と同様に、移動機３１０Ａの動作状態を把握できる。これにより、使用者は、移動機３１０Ａの進行方向を知ることができる。ＨＭＤ１００Ｂが画像表示部２０において画像を表示する表示領域、及び、ＨＭＤ１００Ｃが画像表示部２０において画像を表示する表示領域においても、同様の表示を行う構成としてもよい。すなわち、操縦画面の表示中、或いは、実空間の移動機３１０Ｂ、３１０Ｃを視認可能な状態で、上述したＡＲ画像と同様の画像を表示してもよい。また、実空間の移動機３１０Ｂ、３１０Ｃが、表示領域に重なる位置で視認される場合に、ＨＭＤ１００ＡのＨＭＤ制御部１４１が、移動機３１０Ｂ、３１０Ｃが視認される位置にＡＲ画像を表示してもよい。

また、ＨＭＤ制御部１４１は、画像表示部２０の表示領域に、移動機３１０からＨＭＤ１００が受信する位置情報に基づく表示を行ってもよい。具体的には、移動機３１０の経度、緯度、高度、バッテリー残量等を表示してもよい。ここで、ＨＭＤ１００Ａの画像表示部２０において、移動機３１０Ａの経度、緯度、高度、バッテリー残量等を表示してもよく、移動機３１０Ｂ及び移動機３１０Ｃのいずれか１以上の経度、緯度、高度、バッテリー残量等を表示してもよい。

これらの表示は、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃの各々が実行可能な構成であってもよく、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃの一部のみが上記表示を行う構成であってもよい。このため、移動機複合制御システム１において、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃが、同様の画像等の表示オブジェクトを表示してもよいし、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃの表示或いは表示される情報が各々異なる形態であってもよい。

これらの表示形態を採用することにより、ＨＭＤ１００Ａの使用者は、実空間の移動機３１０Ａを視認しながら、画像表示部２０に表示される画像や操作表示を見る。例えば、移動機３１０Ａのような無人飛行体の操縦について、目視できる範囲で操縦するよう法令・条令その他の規則により規定されている場合、実空間の移動機３１０Ａを視認できる必要がある。一方、使用者が、移動機３１０Ａの位置や状態等を示す画像を視認することの重要性も低くない。また、例えば、ＨＭＤ１００Ｂが移動機３１０Ｂの撮像画像データーを送信する場合に、ＨＭＤ１００Ａの使用者は、画像表示部２０の表示を視認することにより、移動機３１０Ｂの位置や方向を知ることができる。また、使用者は、移動機３１０Ｂが撮像する撮像対象物について、多くの情報を得ることができる。例えば、移動機３１０Ｂ、３１０ＣがＨＭＤ１００Ａの使用者から離れた位置を飛行する場合に、移動機３１０Ｂ、３１０Ｃの撮像画像データーに基づく画像を利用して、渋滞道路の情報、迂回路の案内、火事を含む各種災害現場の情報提供、情報共有を実現できる。なお、上述した表示形態において、表示される画像を撮像した機器を識別するため、画像に枠を表示し、枠の表示状態（実線か破線か、表示色など）を機種毎に変更してもよい。

ここで、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃの表示形態について説明する。
図１１は、ＨＭＤ１００Ａの表示例を示す図である。
図中、符号ＶＲ１は、ＨＭＤ１００Ａの画像表示部２０を装着する使用者の視野を示す。符号Ｖ１はハーフミラー２６１、２８１により画像を使用者に視認させることが可能な領域であり、言い換えれば画像表示部２０が画像を表示できる表示可能領域である。視野ＶＲ１は、画像表示部２０を透過する外光ＯＬ、及び、画像表示部２０が出力する画像光Ｌによって使用者が視認する範囲を示している。図１１の例では、表示領域Ｖ１に重なる位置に、実空間の移動機３１０Ａが視認される。

表示領域Ｖ１の中央には、操作画面として機能する画像Ｐ１１が表示される。画像Ｐ１１は、使用者の操作により移動機３１０Ａを操縦するための画面であり、例えば、移動機３１０ＡからＨＭＤ１００Ａが受信する位置情報に基づく表示が行われる。具体的には、移動機３１０Ａの経度、緯度、高度、バッテリー残量等が表示される。

また、ＨＭＤ制御部１４１は、使用者の操作に応じて移動機３１０Ａにコマンドを送信した場合に、送信したコマンドの内容を画像Ｐ１１に表示する。例えば、図１５には、画像Ｐ１１に、移動機３１０Ａに対して前進を指示するコマンドを送信したことを示す操作表示Ｍ１１が表示される。このコマンドの内容の表示は、操作表示Ｍ１１のように画像であってもよいし、文字、図形、或いはその他の表示オブジェクトを利用できる。

表示領域Ｖ１には、移動機３１０Ａの位置を示す画像Ｐ１２が表示される。画像Ｐ１２は、地図とともに移動機３１０Ａの位置を示す画像が表示される。画像Ｐ１２の地図には、ＨＭＤ１００Ａの位置が表示されてもよい。また、画像Ｐ１２の地図に、移動機３１０Ｂ、３１０Ｃの位置が表示されてもよく、ＨＭＤ１００Ｂ、１００Ｃの位置が表示されてもよい。ＨＭＤ１００Ａは、これらの位置を、ＨＭＤ１００ＡがＨＭＤ１００Ｂ、１００Ｃから受信する位置情報に基づき表示できる。また、画像Ｐ１２に表示される地図は、俯瞰地図を用いてもよく、具体的には、移動機３１０Ａが飛んでいる状況に応じたナビゲーションマップとして機能する表示態様であってもよい。

表示領域Ｖ１には、移動機３１０Ａ、ＨＭＤ１００Ｂ、１００ＣからＨＭＤ１００Ａが受信した画像Ｐ１３、Ｐ１４、Ｐ１５が表示される。画像Ｐ１３は、移動機３１０Ａから受信した撮像画像データーに基づき表示される画像である。画像Ｐ１４は、ＨＭＤ１００ＡがＨＭＤ１００Ｂから受信した画像データーに基づき表示される画像である。具体的には、ＨＭＤ１００Ｂが移動機３１０Ｂから受信する移動機３１０Ｂの撮像画像データーに基づく画像、または、ＨＭＤ１００Ｂが備えるＨＭＤカメラ６１の撮像画像データーに基づく画像である。画像Ｐ１５は、ＨＭＤ１００ＡがＨＭＤ１００Ｃから受信した画像データーに基づき表示される画像である。具体的には、ＨＭＤ１００Ｃが移動機３１０Ｃから受信する移動機３１０Ｃの撮像画像データーに基づく画像、または、ＨＭＤ１００Ｃが備えるＨＭＤカメラ６１の撮像画像データーに基づく画像である。

また、表示領域Ｖ１には、移動機３１０Ａの動作状態を示す画像ＡＲ１が表示される。画像ＡＲ１は、移動機３１０Ａの進行方向（前進、後退、旋回、逆旋回など）を示す画像である。本実施形態では、移動機３１０Ａが備えるインジケーター３４９（図２）の発光を模した画像ＡＲ１が表示される。画像ＡＲ１の表示位置は、実空間の移動機３１０Ａが視認される位置に重なる位置とされる。つまり、画像ＡＲ１は、実空間の移動機３１０Ａの視認性に影響を与え、追加的に情報を表示するＡＲ表示である。

これにより、使用者は、移動機３１０Ａのインジケーター３４９を直接視認できない場合であっても、直接インジケーター３４９を視認できる場合と同様に、移動機３１０Ａの動作状態を把握できる。これにより、使用者は、移動機３１０Ａの進行方向を知ることができる。表示領域Ｖ２、Ｖ３においても、操縦画面の表示中、或いは、実空間の移動機３１０Ｂ、３１０Ｃを視認可能な状態で、画像ＡＲ１と同様の画像を表示してもよい。また、実空間の移動機３１０Ｂ、３１０Ｃが、表示領域Ｖ１に重なる位置で視認される場合に、ＨＭＤ１００ＡのＨＭＤ制御部１４１が、移動機３１０Ｂ、３１０Ｃが視認される位置に画像ＡＲ１と同様の画像を表示してもよい。

さらに、図１１の表示例では、実空間の移動機３１０Ａが視野ＶＲ１に視認される状態で、指示体Ｈによる操作を行う例を示す。指示体Ｈは、図１１の例では使用者の手であるが、発行回路を内蔵した電子デバイス、指示棒、ペン、その他各種の物体であって、ＨＭＤカメラ６１により撮像可能な物体であればよい。ＨＭＤ制御部１４１は、撮像制御部１４９によりＨＭＤカメラ６１の撮像画像データーを取得し、この撮像画像データーを操作検出部１５７が解析することで、指示体Ｈを検出する。操作検出部１５７は、画像表示部２０に対する指示体Ｈの相対位置を特定することにより、視野ＶＲ１に対する指示体Ｈの位置を特定する。この位置が、指示体Ｈによる操作位置として検出される。ＨＭＤ制御部１４１は、操作位置に対応する表示領域Ｖ１内部表示位置に、指示体Ｈによる操作を検出したことを示す操作画像Ｍ１２を表示させる。操作画像Ｍ１２は、ＨＭＤ制御部１４１が検出した操作位置を使用者に報知するための画像である。さらに、ＨＭＤ制御部１４１は、操作検出部１５７が検出した指示体Ｈの位置に基づき、移動機３１０に送信するコマンドをコマンド生成部１５９により生成させ、ＨＭＤ通信部１１７によって移動機３１０に送信させる。ここで、指示体Ｈの位置に関して予めキャリブレーションが実行され、キャリブレーションの結果を含むキャリブレーションデータをＨＭＤ１００が記憶してもよく、この場合、キャリブレーションデータに従って、指示体Ｈの位置アライメントを特定できる。つまり、画像表示部２０を装着する使用者は、指示体Ｈを動かすことによって、移動機３１０の駆動を指示することができ、ＨＭＤ１００はいわゆるアクションＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。この指示体ＨによるアクションＵＩの操作は、位置指示操作に相当する。つまり、位置指示操作は、ＨＭＤカメラ６１の撮像範囲において指示体を位置に位置させ、或いは動かす操作である。操作検出部１５７は、図１６の例のように、指示体Ｈの位置を指示位置として検出するだけでなく、指示体ＨがＨＭＤカメラ６１の撮像範囲において動いた場合に、この動きが予め設定されたジェスチャーに該当すると、これを操作検出部１５７が検出する、ジェスチャーＵＩを実現してもよい。ＨＭＤカメラ６１の撮像画像に基づいて指示体の位置または動きを操作検出部１５７が検出すれば、位置指示操作が検出されたことになる。このように、操作検出部１５７が検出する操作は、制御装置１０の操作部であるトラックパッド１４等に対する操作に限らず、指示体Ｈによる操作、画像表示部２０の位置、姿勢、動き等による操作を含めることができる。そして、操作検出部１５７が検出する操作は、移動機３１０を操縦するためにＨＭＤ１００を使用する使用者に限らず、例えば、移動機３１０ＡをＨＭＤ１００Ａの使用者が操縦する場合において、ＨＭＤ１００Ｂの使用者が操作を行い、このＨＭＤ１００Ｂの表示の制御に適用してもよい。

ＨＭＤ１００ＡのＨＭＤ制御部１４１は、画像表示部２０により表示する画像等の各々について、視認性を制御する処理を行う。この処理を図１２に示す。
図１２は、ＨＭＤ１００の動作を示すフローチャートである。図１２に示す動作はＨＭＤ１００Ａ、１００Ｂ、１００Ｃに共通であるが、ここでは、ＨＭＤ１００Ａを例に挙げて説明する。

ＨＭＤ１００ＡのＨＭＤ制御部１４１は、表示対象である移動機３１０、すなわち移動機３１０Ａから受信する撮像画像データー及び位置情報を取得する（ステップＳ６１）。ステップＳ６１で取得される撮像画像データー及び位置情報は、図１０に示す処理で受信したものが挙げられるが、ＨＭＤ１００Ｂ、１００Ｃから受信してもよい。

ＨＭＤ制御部１４１は、ＨＭＤ１００Ａの位置情報を取得する（ステップＳ６２）。ステップＳ６２では、例えば、ＧＰＳ１１５（図７）が検出する位置情報を取得するが、ＨＭＤ１００Ａの位置を特定可能な情報であればよい。

ＨＭＤ制御部１４１は、ステップＳ６１及びステップＳ６２で取得した情報に基づき、表示領域Ｖ１に表示する画像に係る画像データーに対し、重要度の順位付けを行う（ステップＳ６３）。ステップＳ６３で、ＨＭＤ制御部１４１は、例えば、移動機３１０Ａの位置とＨＭＤ１００Ａの位置とに基づき、外景と、移動機３１０Ａの撮像画像データーと、移動機３１０Ａを操縦するための操縦画面との重要度を順位付けする。ＨＭＤ制御部１４１は、ステップＳ６３で決定した重要度の順位付けに従って、各画像データーに基づく画像の表示位置及び表示サイズを決定し（ステップＳ６４）、表示を更新する（ステップＳ６５）。

続いて、ＨＭＤ制御部１４１は、ＨＭＤカメラ６１の撮像画像の撮像画像データーを取得し（ステップＳ６６）、撮像画像データーを解析することにより外光ＯＬの状態を検出する（ステップＳ６７）。ＨＭＤ制御部１４１は、画像表示部２０に表示する表示対象の画像データーの各々について、特性を検出する（ステップＳ６８）。ＨＭＤ制御部１４１は、ステップＳ６７で検出した外光ＯＬの状態、及び、ステップＳ６８で検出した各画像データーの特性に基づき、画像表示制御の内容を決定し（ステップＳ６９）、決定した内容に従って画像表示制御を行う（ステップＳ７０）。

ステップＳ６７において、ＨＭＤ制御部１４１は、外光ＯＬの光量あるいは外光ＯＬの強度を検出する。この場合、ＨＭＤ制御部１４１は、ステップＳ６７でＨＭＤカメラ６１の撮像画像データーを利用して外光ＯＬの光量あるいは強度を検出する処理に限らず、照度センサー６５の検出値に基づいて外光ＯＬの光量あるいは強度を検出する処理を行ってもよい。また、ＨＭＤ制御部１４１は、ステップＳ６７で、外光ＯＬの色調を検出してもよい。外光ＯＬの色調は、例えば、ＲＧＢ、ＹＵＶ、Ｌａｂ等の各種の色空間における座標として特定してもよい。また、例えば、撮像画像データーから予め設定された位置または数の代表画素を抽出して、抽出した画素の色データーに基づき、外光ＯＬの色調を検出してもよい。或いは、撮像画像データーの全体の色データー（階調値）の平均値や中央値に基づき、外光ＯＬの色調を検出してもよい。これらの処理の具体的な内容は任意である。

ステップＳ６８で決定される画像表示制御の内容としては、外光ＯＬの状態に対応して、画像表示部２０が表示する画像の視認性を高める処理、及び、画像表示部２０を透過する外景の視認性を高める処理が挙げられる。また、画像表示部２０に表示される複数の画像の視認性を揃える処理、及び、画像表示部２０に表示される複数の画像の視認性の一部を他の画像より高める処理が挙げられる。

画像表示制御では、例えば、ＨＭＤ制御部１４１は、ステップＳ６５で、上述した操縦画面の重要度の順位が高い場合、外景及び撮像画像データーよりも操縦画面の視認性が高くなるように、処理を行ってもよい。すなわち、操縦画面の拡大表示、ブリンキング等により強調表示をしてもよい。また、外光ＯＬの光量を低減させるため、ＨＭＤ制御部１４１は、右電子シェード２２９及び左電子シェード２４９の透過光量を低減させてもよい。右電子シェード２２９及び左電子シェード２４９の透過光量を変化させる場合、右電子シェード２２９及び左電子シェード２４９の一部のエリアの透過光量を他のエリアとは異ならせるエリア制御を行ってもよい。また、特定の画像の輝度や画像サイズを時間的（経時的）に変化させてフェードイン或いはフェードアウトさせてもよい。また、画像に蛍光色表示を付して強調する表示制御を行ってもよい。また、ＨＭＤ制御部１４１は、操縦画面の輝度を高めて、外景よりも操縦画面の視認性が高まるようにしてもよい。この処理で、ＨＭＤ制御部１４１は、照度センサー６５の検出値や、ＨＭＤカメラ６１の撮像画像データーから得られる外部環境に対応して、制御を行ってもよい。一例として、ＨＭＤ１００Ａの場所の背景、天候や時刻に影響される実背景（晴れ、雨、夕方、夜、雪、海、紅葉等）に応じて、表示領域Ｖ１の画像を制御してもよい。また、ＨＭＤ制御部１４１は、操縦画面の色または色調を調整して、操縦画面が、背景の空または雲、風景と識別可能な状態を維持できるように自動調整してもよい。また、操縦画面が暗く見える場合に、明色（白など）の透かしや背景を付加してもよい。
さらに、ＨＭＤ制御部１４１は、順位付けを行う際に、他の移動機すなわち移動機３１０Ｂ、３１０Ｃの位置と、移動機３１０Ａの位置と、ＨＭＤ１００Ａの位置との位置関係によって変更してもよい。

移動機３１０Ａの撮像画像データーに基づく画像、移動機３１０Ａを操縦するための操縦画面、及び、その他の画像等の表示位置の制御に関して、ＨＭＤ制御部１４１は、ＨＭＤ１００Ａが有する各種センサーの検出値を用いてもよい。例えば、ＨＭＤ制御部１４１は、画像表示部２０の位置に関する検出値を用いて表示位置を制御してもよい。具体的には、操作検出部１５７により、６軸センサー２３５及び／または磁気センサー２３７の検出値に基づいて画像表示部２０の動きを検出し、画像表示部２０の動きや使用者の姿勢を操作として検出してもよい。また、操作検出部１５７が、ＨＭＤカメラ６１の撮像画像の変化や距離センサー６４の検出値の変化に基づき画像表示部２０の動きや使用者の姿勢を検出してもよい。また、操作検出部１５７が内側カメラ６８により撮像した右眼ＲＥ及び／または左眼ＬＥの動きや視線方向を操作として検出してもよい。そして、ＨＭＤ制御部１４１が、表示制御部１４７の機能により、操作検出部１５７が検出した操作に対応して表示画像の優先度を決定し、表示位置を決定してもよい。これにより、第１表示装置であるＨＭＤ１００Ａや第２表示装置であるＨＭＤ１００Ｂ、１００Ｃにおける撮像画像データーに基づく画像の表示位置、表示エリアのサイズ、撮像画像と外景との透過度、制御用表示ＵＩの透過度等を制御してもよい。一例として、視線や、画像表示部２０を装着した使用者の頭の向きが、操作する対象である移動機３１０を向いている場合は、表示領域Ｖを透過して視認される外景（実空間）を優先して視認できるように、表示画像や操作用ＵＩの透過度を変更してもよい。また、これらの制御を移動機３１０の動作状態をも反映させて行ってもよく、例えば、移動機３１０が離着陸をする時に、使用者から近い位置に移動機３１０が位置する場合は、移動機カメラ３３５の撮像画像データーに基づく画像の表示を消して、移動機３１０を操作するための操縦用画像の表示の優先度を高めることができる。さらにまた、操作検出部１５７によって画像表示部２０を装着した頭の急な動きや右眼ＲＥまたは左眼ＬＥの視線方向の急な変動を検出した場合に、使用者の近くで外景を見る優先事項が発生した場合に該当すると判断し、具体的には使用者が歩いていると判断してもよい。このような場合に、ＨＭＤ制御部１４１は、移動機カメラ３３５の撮像画像データーに基づく画像や移動機３１０の操縦用画像の表示を、視野ＶＲ１の中央から周辺に退避させる、画像の表示輝度（明るさ）を低下させて、これらの画像よりも外景の視認性を高めるように画像を制御してもよい。
また、画像表示制御の具体例については、図１６〜図１９を参照して後述する。

図１３は、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃ間のデーターの送受信に係る動作を示すシーケンス図である。
移動機複合制御システム１において、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃは、相互にデーターを送受信可能である。
具体的には、ＨＭＤ１００Ａは、移動機３１０Ａの撮像画像データー（移動機カメラ画像データー）、移動機３１０Ａの位置情報（移動機位置情報）、及び、ＨＭＤカメラ６１の撮像画像データー（ＨＭＤカメラ画像データー）を送信できる。送信先として、ＨＭＤ１００Ｂに送信する（ステップＳＡ１）、ＨＭＤ１００Ｃに送信する（ステップＳＡ２）動作のいずれも可能である。

同様に、ＨＭＤ１００Ｂは、移動機３１０Ｂの移動機カメラ画像データー、移動機３１０Ｂの移動機位置情報、及び、ＨＭＤ１００Ｂが撮像したＨＭＤカメラ画像データーを送信できる。送信先は、ＨＭＤ１００Ａ（ステップＳＢ１）、ＨＭＤ１００Ｃ（ステップＳＢ２）のいずれも選択可能である。ＨＭＤ１００Ｃは、移動機３１０Ｃの移動機カメラ画像データー、移動機３１０Ｃの移動機位置情報、及び、ＨＭＤ１００Ｃが撮像したＨＭＤカメラ画像データーを送信できる。送信先は、ＨＭＤ１００Ａ（ステップＳＣ１）、ＨＭＤ１００Ｂ（ステップＳＣ２）のいずれも選択可能である。

このように、移動機複合制御システム１では、ＨＭＤ１００Ａ、１００Ｂ、１００Ｃが相互にデーターを送受信し、移動機３１０Ａ、３１０Ｂ、３１０Ｃの撮像画像データー及び位置情報を互いに取得できる。この構成を利用して、移動機３１０の操縦の交代（引継）を行う事ができる。

例えば、ＨＭＤ１００Ａの操縦により移動機３１０ＡがＡ地点まで移動し、Ａ地点でホバリングを実行する。ここで、ＨＭＤ１００ＢがＨＭＤ１００Ａと相互に通信し、互いに認証を行う。認証に成功した後、ＨＭＤ１００Ａは移動機３１０Ａに対し、ＨＭＤ１００Ｂを識別するデーターを送信し、このデーターに基づき、移動機３１０Ａが、ＨＭＤ１００Ｂと相互に通信して認証を行う。その後、移動機３１０Ａは、Ａ地点でホバリングする状態から、ＨＭＤ１００Ｂが送信するコマンドに従って移動する状態に移行する。この手順により、移動機３１０Ａの操縦を、ＨＭＤ１００Ａの使用者からＨＭＤ１００Ｂの使用者に引き継ぐことができる。また、引継の前後において、ＨＭＤ１００Ａ、１００Ｂが表示する移動機３１０Ａの撮像画像データーに基づく画像、または、実空間の移動機３１０Ａに重ねて表示されるＡＲ画像を変更してもよい。ＨＭＤ１００Ａが移動機３１０Ａを操縦する間と、ＨＭＤ１００Ｂが移動機３１０Ａを操縦する間とで、ＡＲ表示の表示色や撮像画像データーに基づく画像の表示枠の色を変えてもよい。

図１４は、ＨＭＤ１００の動作を示すフローチャートである。
この図１４に示す動作は移動機３１０に対応するＡＲ画像の表示に関する動作である。図１４の動作はＨＭＤ１００Ｂ、１００Ｃが実行してもよく、ここでは一例として、ＨＭＤ１００Ａが実行する例を説明する。ＡＲ画像は、例えば、上述したようにインジケーター３４９の発光を模した画像であってもよいし、移動機３１０Ａの位置や動作に係る情報を示す文字や画像であってもよい。ここでは、インジケーター３４９に対応するＡＲ画像を表示する例を説明する。

ＨＭＤ１００ＡのＨＭＤ制御部１４１は、ＨＭＤカメラ６１の撮像画像データーを取得する（ステップＳ８１）。ＨＭＤ制御部１４１は、撮像画像データーから移動機３１０Ａの画像を抽出し、抽出した画像と表示領域Ｖ１との相対位置を検出する（ステップＳ８２）。検出した位置は、画像表示部２０を透過した視野ＶＲ１に対する移動機３１０Ａの位置に相当し、ＡＲ画像の表示位置を決定する条件となる。

ＨＭＤ制御部１４１は、移動機３１０Ａの移動方向を特定する（ステップＳ８３）。移動機３１０Ａの移動方向は、ＨＭＤ１００Ａが移動機３１０Ａに送信したコマンドや、移動機３１０ＡがＨＭＤ１００Ａに送信する位置情報等に基づき特定できる。
ＨＭＤ制御部１４１は、特定した移動方向に基づき、インジケーター３４９の表示に対応するＡＲ画像を生成し、画像表示部２０表示領域に表示する（ステップＳ８４）。

ＨＭＤ制御部１４１は、移動機３１０Ａが備えるインジケーター３４９の視認状態を検出、或いは取得する（ステップＳ８５）。すなわち、ステップＳ８２で検出した位置や、移動機３１０Ａの高度、角度等から、ＨＭＤ１００Ａの使用者がインジケーター３４９を視認できるかどうか等を含む視認状態を検出できる。この視認状態は、例えば、使用者が制御装置１０を操作して入力することができ、この場合、ＨＭＤ制御部１４１は、使用者が入力する視認状態を取得する。

ＨＭＤ制御部１４１は、ステップＳ８５で検出または取得した視認状態に対応して、ステップＳ８４で表示を開始した画像ＡＲ１の表示状態を調整する（ステップＳ８６）。例えば、使用者が、インジケーター３４９を良好に視認できる場合には、画像ＡＲ１の表示輝度を低下させ、或いは、表示を停止させる。また、使用者が、インジケーター３４９を視認することが困難な場合には、ＡＲ画像の表示輝度を向上させる。

図１５は、ＨＭＤ１００の動作を示すフローチャートである。図１５に示す動作は移動機３１０に対応するＡＲ画像の表示に関する動作であり、特に、ＡＲ画像の表示を行う場合の視認性を制御する動作を示す。図１５の動作はＨＭＤ１００Ｂ、１００Ｃが実行してもよく、ここでは一例として、ＨＭＤ１００Ａが実行する例を説明する。ＡＲ画像は、例えば、上述したようにインジケーター３４９の発光を模した画像であってもよいし、移動機３１０Ａの位置や動作に係る情報を示す文字や画像であってもよい。ここでは、インジケーター３４９に対応するＡＲ画像を表示する例を説明する。

ＨＭＤ制御部１４１は、移動機３１０Ａの位置を取得する（ステップＳ９１）。移動機３１０Ａの位置を取得する処理は、例えば、ステップＳ８２（図１４）で移動機３１０Ａの位置を検出する処理を同様の処理とすることができる。
続いて、ＨＭＤ制御部１４１は、実空間の移動機３１０Ａが、画像表示部２０を透過して使用者が視認可能な位置にあるか否かを判定する（ステップＳ９２）。すなわち、移動機３１０Ａが外景として視認可能であるか否かを判定する。

ここで、実空間の移動機３１０Ａが視認可能な位置にある場合（ステップＳ９２；Ｙｅｓ）、ＨＭＤ制御部１４１はＡＲ表示を実行する（ステップＳ９３）。ＨＭＤ制御部１４１は、外景における移動機３１０Ａの視認性を確保するため、ＨＭＤ１００Ａの表示モードとして、移動機優先モードを選択する（ステップＳ９４）。
また、実空間の移動機３１０Ａが視認可能な位置にない場合（ステップＳ９２；Ｎｏ）、ＨＭＤ制御部１４１は、ＨＭＤ１００Ａの表示モードとして、表示画像優先モードを選択する（ステップＳ９５）。

ステップＳ９４及びステップＳ９５で表示モードを選択した後、ＨＭＤ制御部１４１は、ＨＭＤカメラ６１の撮像画像データーを取得する（ステップＳ９６）。ＨＭＤ制御部１４１は、取得した撮像画像データーを解析することにより外光ＯＬの状態を検出する（ステップＳ９７）。ステップＳ９６及びステップＳ９７の動作は、例えば、上述したステップＳ６６及びステップＳ６７の動作と同様である。ＨＭＤ制御部１４１は、ステップＳ９４またはステップＳ９５で選択した表示モードに合わせて、画像表示制御の内容を決定し（ステップＳ９８）、決定した内容に従って画像表示制御を行う（ステップＳ９９）。

図１６は、外景の視認特性を示す図表であり、例えば、移動機３１０Ａが搭載する移動機カメラ３３５の画像等の画像を画像表示部２０によって表示する場合の、実空間の物体の視認特性を示す。
図１６の縦軸は実空間の物体（外景）の視認性を示し、縦軸において上が視認性が高いことを示し、下は視認性が低いことを示す。図１６の横軸は、表示画像の色調を示し、図中において左側が色調が暗色であることを示し、図中において右側は色調が明るい色であることを示す。

図１６に示す実線ＳＰ１は、表示画像の色調と外景の視認性との相関を示す。図中のゾーンＮは外景が暗色の場合（外光ＯＬの周波数成分が暗色に偏っている場合）を示し、例えば夜間、或いは暗い室内に相当する。これに対し、ゾーンＤが、外景が明るい色の場合（外光ＯＬの周波数成分が明色に偏っている場合）を示し、例えば昼間、或いは、明るい室内に相当する。

図１６に示す例では、相関ＳＰ１は、表示画像の色調が明るいほど、外景における物体（例えば、実空間の移動機３１０Ａ）の視認性が低下し、表示画像の色調が暗いほど、外景における物体の視認性が高まることを示している。
この図１６の例におけるゾーンＤでは、表示画像の色調が明るく、この色調の影響によって実空間の移動機３１０Ａの視認性が低くなっている。この場合、表示画像優先モード（第２モード）では、表示画像の視認性が外景よりも優先されているため、ＨＭＤ制御部１４１は表示を継続する。これに対し、移動機優先モード（第１モード）では、移動機３１０Ａの視認性を高めるため、画像表示制御を行う。この画像表示制御において、ＨＭＤ制御部１４１は、移動機３１０Ａの視認性を高めるため、表示画像の画像データーに対し、コントラストを低下させる等の処理を行う。或いは、画像データーの輝度または画像表示部２０における表示輝度を低下させる、画像データーのガンマ値を暗くする等の処理を行う。

また、図１６の例におけるゾーンＮのように、表示画像の色調が暗く、実空間の移動機３１０Ａの視認性が高い場合、移動機優先モードでは、移動機３１０Ａの視認性が高いので、ＨＭＤ制御部１４１は表示を継続する。これに対し、表示画像優先モードでは、表示画像の視認性を高めるため、ＨＭＤ制御部１４１は、画像データーに対しコントラストを高める処理を行う。

図１７は、画像表示部２０の表示画像の視認特性を示す図表であり、例えば、移動機３１０Ａが搭載する移動機カメラ３３５の画像等の画像を画像表示部２０によって表示する場合の視認特性を示す。図１７の縦軸は表示される画像の視認性を示し、縦軸において上が視認性が高いことを示し、下は視認性が低いことを示す。図１７の横軸は、表示画像と外景（外光ＯＬ）の色調の差を示し、図中において左側が色調差が大きいことを示し、図中において右側は色調差が小さいことを示す。別の表現では、横軸において左側は、表示画像の色調と外景の色調とが補色に近いことを示し、横軸において右側は表示画像の色調と外景の色調とが同色に近いことを示す。ここで、色調の差は、例えば、色相環における距離として考えてもよい。

図１７における実線ＳＰは、表示画像の視認性と、表示画像と外景との色調の差との相関を示している。ゾーンＵは、表示画像の視認性が低い状態を示している。つまり、表示画像の色調と、外景の色調とが近い場合には、画像表示部２０が表示する画像の視認性が低くなることを示している。
表示画像優先モードにおいて、ＨＭＤ制御部１４１は、ゾーンＵに該当する状態が発生した場合、表示画像の視認性を高めるために、画像表示制御を実行する。この画像表示制御において、ＨＭＤ制御部１４１は、例えば、表示する画像に係る画像データーの色調を、暗い側にシフトさせることにより、表示画像の視認性を高める。この場合、表示画像の輝度を変化させずに視認性を高めることができるので、外景の視認性が極端に低下することを防止できる。

図１８、及び、図１９は、画像表示部２０における表示例を示す図であり、移動機３１０Ａの移動機カメラ３３５の撮像画像を表示した例を示す。図中、ＶＲは、ＨＭＤ１００Ａの画像表示部２０を装着する使用者の視野を示す。符号Ｖ１はハーフミラー２６１、２８１により画像を使用者に視認させることが可能な領域であり、言い換えれば画像表示部２０が画像を表示できる表示可能領域（表示領域）である。視野ＶＲは、画像表示部２０を透過する外光ＯＬ、及び、画像表示部２０が出力する画像光Ｌによって使用者が視認する範囲を示している。

図１８に示す例では、使用者の視野ＶＲのほぼ中央に位置する表示領域Ｖ１に、撮像画像Ｐ１が表示される。図１８の例では、視野ＶＲ全体に視認される外景の明るさに対し、表示領域Ｖ１に表示される撮像画像Ｐ１が明るい。このため、撮像画像Ｐ１の視認性が高く、外景の視認性が低い。
表示画像優先モードでは、ＨＭＤ制御部１４１は、図１８の表示状態を維持する。これに対し、移動機優先モードでは、ＨＭＤ制御部１４１は、外景の視認性を高めるため、撮像画像Ｐ１の画像データーに対する画像表示制御を実行する。この画像表示制御の実行後の状態を図１９に示す。

図１９の例では、撮像画像Ｐ１の明度が、図１８に比べて低い。このため、撮像画像Ｐ１に対し、外景の視認性が向上している。

このように、ＨＭＤ制御部１４１は、外光ＯＬの状態（光量、色調など）に対応して、外景の視認性、及び、表示画像の視認性を制御する処理が可能である。このため、天候等の気象条件や、外景として視認される背景の影響にも対応して、外景である移動機３１０Ａの視認性や、表示画像である移動機カメラ３３５の撮像画像の視認性を制御できる。気象条件としては、晴天、曇り、雨天、降雪、朝夕、夜間等が挙げられ、背景としては森林、市街地、空、陸地、海、紅葉などが挙げられる。また、移動機３１０Ａの位置に基づき、使用者が外景を視認することが優先される状態では移動機優先モードを選択する。また、使用者が表示画像を視認することが優先される状態では表示画像優先モードを選択する。このため、状況に応じて、適切に、表示画像または外景の視認性を制御できる。

また、ＨＭＤ制御部１４１は、移動機３１０Ａを操縦するための操縦用の画面として、操縦用の画像（アイコン）を配置した操縦画面を表示することもできる。その例を図２０に示す。
図２０は、ＨＭＤ１００の表示例を示す図であり、表示領域Ｖ１にアイコンＩＣ１〜ＩＣ４を配置した例を示す。アイコンＩＣ１、ＩＣ２、ＩＣ３、ＩＣ４は、ＨＭＤ１００Ａから移動機３１０Ａに送信するコマンドや、表示領域Ｖ１における表示を制御する指示に対応するアイコンである。

すなわち、アイコンＩＣ１〜ＩＣ４には、移動機３１０Ａに送信するコマンドを対応付けることができる。移動機３１０Ａの移動を指示するコマンドの例としては、使用者の操作により指定した位置へ移動機３１０Ａを飛行させる飛行指示コマンド、使用者が指定または事前に設定された対象物を自動追尾させる追尾指示コマンドが挙げられる。また、上昇、下降、回転、逆回転、前進、後退等の基本動作を実行させる基本移動コマンド、使用者が指定または事前に設定された位置を中心に円を描く飛行をさせる円形飛行コマンド、使用者のＨＭＤ１００Ａを自動追尾させる使用者追尾コマンドが挙げられる。また、使用者が指定または事前に設定された位置の間を移動させる指定位置移動コマンド、予め設定されたホーム位置へ移動させるホーム移動コマンド、使用者が指定または事前に設定された方向に固定する方向固定コマンドが挙げられる。

また、アイコンＩＣ１〜ＩＣ４に割り当て可能な、画像表示部２０の表示の指示としては、移動機３１０Ａが移動機カメラ３３５により撮像した撮像画像の表示の指示が挙げられる。また、移動機３１０Ａの位置やバッテリー残量等の状態の表示の指示、移動機３１０Ａが搭載するセンサーの検出値の表示の指示等が挙げられる。また、移動機カメラ３３５の撮像条件の設定の指示、地図の表示の指示、地図の表示に係る設定の指示等が挙げられる。さらに、アイコンＩＣ１〜ＩＣ４に限らず、表示領域Ｖ１には、より多くのアイコンを配置してもよく、複数の画面に異なる指示に対応するアイコンを配置しても良い。この場合、いずれかのアイコンに、異なるアイコンが配置された画面への切り替えの指示を対応付けてもよい。

以上説明したように、本発明を適用した実施形態のＨＭＤ１００は、外光を透過することにより外景を視認可能に画像を表示する画像表示部２０を備える。また、移動機３１０の位置を取得する位置推定部１５５と、操作を検出する操作検出部１５７と、画像表示部２０に画像を表示させる表示制御部１４７と、を備える。表示制御部１４７は、操作等に基づいて、画像表示部２０により表示する画像の、画像表示部２０を透過する外光に対する視認性を制御する画像表示制御（視認性制御処理）を実行する。操作等とは、例えば、位置推定部１５５により取得する移動機３１０の位置、及び、操作検出部１５７により検出する操作である。

本発明を適用したＨＭＤ１００、及び、ＨＭＤ１００の制御方法によれば、外景に対する表示画像の視認性を、移動機３１０の位置および操作に基づいて制御することにより、実空間の移動機３１０の視認性と表示画像の視認性とを適切に調整できる。例えば、移動機３１０の位置から、移動機３１０が外景として視認される可能性を判定できるので、この可能性に対応して、移動機３１０の視認性を高める制御や表示画像の視認性を高める制御等を行うことができる。

操作検出部１５７が検出する操作は、トラックパッド１４等に対する操作に限定されない。例えば、図１５〜図２０で説明した表示制御に関して、ＨＭＤ制御部１４１は、ＨＭＤ１００Ａが有する各種センサーの検出値を用いてもよい。例えば、ＨＭＤ制御部１４１は、画像表示部２０の位置に関する検出値を用いて表示位置を制御してもよい。具体的には、操作検出部１５７により、６軸センサー２３５及び／または磁気センサー２３７の検出値に基づいて画像表示部２０の動きを検出し、画像表示部２０の動きや使用者の姿勢を操作として検出してもよい。また、操作検出部１５７が、ＨＭＤカメラ６１の撮像画像の変化や距離センサー６４の検出値の変化に基づき画像表示部２０の動きや使用者の姿勢を検出してもよい。また、操作検出部１５７が内側カメラ６８により撮像した右眼ＲＥ及び／または左眼ＬＥの動きや視線方向を操作として検出してもよい。つまり、表示画像及び外景の視認性を制御する処理において、操作検出部１５７が、画像表示部２０の動き、画像表示部２０を装着する使用者の動き、姿勢、視線方向または視線方向の変化等を、操作として検出してもよい。

また、移動機３１０が撮像する撮像画像に関する画像データーを取得するＨＭＤ通信部１１７を備え、表示制御部１４７はＨＭＤ通信部１１７により取得した画像データーに基づく画像を画像表示部２０に表示させる。これにより、移動機３１０が撮像する撮像画像に関する画像を表示し、この画像の視認性を、外景として視認される移動機３１０の視認性に対して適切に調整できる。

また、ＨＭＤ通信部１１７は、複数の移動機３１０Ａ、３１０Ｂ、３１０Ｃが撮像する撮像画像の各々に関する複数の画像データーを取得する。表示制御部１４７は、ＨＭＤ通信部１１７により取得した複数の画像データーに基づく複数の画像を画像表示部２０に表示させる。表示制御部１４７は、画像表示制御によって、複数の画像の視認性を制御する。これにより、複数の移動機３１０に関する複数の画像を表示する場合に、これら複数の画像の視認性を適切に調整することができる。
また、例えばＨＭＤ１００Ａを装着した使用者が移動機３１０Ａを操縦する場合において、移動機３１０Ａの操縦をしない使用者が使用するＨＭＤ１００Ｂ、或いはＨＭＤ１００Ｃにおいて、移動機３１０Ａの撮像画像データーに基づく画像を表示してもよい。この場合、ＨＭＤ１００Ａと、移動機３１０Ａを操縦していないＨＭＤ１００Ｂ、１００Ｃとの間で移動機３１０Ａの撮像画像データーに基づく画像を共有できる。また、画像の共有に限らず、例えば、ＨＭＤ１００Ａにおいて移動機３１０Ａの撮像画像データーに基づく画像を表示していないタイミングで、移動機３１０Ａを操縦していないＨＭＤ１００Ｂ、１００Ｃにより、移動機３１０Ａの撮像画像データーに基づく画像を表示してもよい。

また、表示制御部１４７は、ＨＭＤ通信部１１７により取得した複数の画像データーに基づき画像表示部２０に表示される複数の画像の視認性の差が小さくなるように画像表示制御を実行する。これにより、複数の移動機３１０に関する複数の画像を表示する場合に、これら複数の画像の全てを視認しやすい状態を実現できる。

また、表示制御部１４７は、ＨＭＤ通信部１１７により取得した複数の画像データーに基づき画像表示部２０に表示される複数の画像のうち、一部の画像の視認性が他の画像よりも高くなるように画像表示制御を実行する構成であってもよい。これにより、複数の移動機３１０に関する複数の画像を表示する場合に、一部の画像の視認性を高めることができ、例えば表示装置の使用者を、特定の画像に注目させることができる。

また、位置推定部１５５は、実空間の移動機３１０が画像表示部２０を透過して視認される視認位置を取得し、表示制御部１４７は、位置推定部１５５が取得する移動機３１０の視認位置に対応して、画像表示制御を実行する。これにより、画像表示部２０において移動機３１０が視認される位置に対応して、外景に対する表示画像の視認性を適切に調整できる。

また、表示制御部１４７は、移動機３１０の視認位置に対応する位置に、移動機３１０に関連付けられた画像を表示させる。これにより、外景として視認される移動機３１０に関する情報を効果的に表示できる。

ここで、ＨＭＤ１００は、移動機３１０の位置に関する情報を表示してもよい。移動機３１０の位置に関する情報は、上述した移動機位置情報を含んでもよく、その他、移動機３１０の環境や状況に関する移動機状況情報を含んでもよい。移動機状況情報は、移動機３１０の位置に関連する情報を含んでもよい。例えば、移動機３１０の近傍または直下の施設名や建物名等の周辺施設に関する情報を含んでもよい。また、移動機状況情報は、移動機３１０の環境に関する情報（天気（天候）、温度、湿度、風速、風向、降雨量等）を含んでもよい。

また、位置推定部１５５は、画像表示部２０に対する移動機３１０の相対位置を取得する。これにより、表示装置を使用する使用者に対する移動機３１０の見え方に対応して、適切に表示画像を表示できる。

また、表示制御部１４７は、位置推定部１５５により取得される移動機３１０の位置を示す情報を画像表示部２０に表示させる構成であってもよい。これにより、移動機３１０の位置に関する情報を、表示装置を使用する使用者に対して効果的に見せることができる。

また、表示制御部１４７は、画像データーに基づき画像表示部２０に画像を表示させ、画像データーに対する輝度調整、色調調整、ガンマ補正の少なくともいずれかを実行可能に構成される。表示制御部１４７は、画像表示制御において、画像データーの輝度、色調、及びガンマ補正値の少なくともいずれかを変更する。これにより、外景に対する表示画像の視認性を効果的に調整できる。

また、ＨＭＤ１００のＨＭＤ制御部１４１は、画像表示部２０または画像表示部２０を使用する使用者の状態に基づいて、画像表示部２０における外景の視認性を制御してもよい。この動作は、第１表示装置としてのＨＭＤ１００Ａ、１００Ｂ、１００Ｃ、及び、第２表示装置としてのＨＭＤ１００Ａ、１００Ｂ、１００Ｃのいずれにおいても適用できる。従って、画像表示部２０または使用者の位置、動き、姿勢等に反映される使用者にとっての外景の視認性の重要度に対応して、外景の視認性を制御できる。

また、表示制御部１４７は、画像表示制御を実行することにより、画像表示部２０を透過して視認される外景の視認性を画像表示部２０により表示する画像の視認性より高くする移動機優先モード（第１モード）を実行する。また、画像表示部２０を透過する外光に対して画像表示部２０により表示する画像の視認性を高める表示画像優先モード（第２モード）を実行する。これらの移動機優先モード及び表示画像優先モードを、表示制御部１４７は、切り替えて選択し、実行する。これにより、操作に対応して外景と表示画像との視認性の優先度を切り替えることができ、利便性の向上を図ることができる。移動機優先モードと表示画像優先モードとの切り替えは、移動機３１０の位置に基づいて実行することも、操作検出部１５７が検出する操作に応じて実行することも可能である。

また、ＨＭＤ１００は、外光を検出する外光検出部として、ＨＭＤカメラ６１、及び、照度センサー６５を有し、表示制御部１４７は、外光検出部により検出される外光に応じて画像表示制御を実行する。これにより、外光に対する表示画像の視認性をより適切に調整できる。

また、ＨＭＤ１００は、使用者の頭部に装着される画像表示部２０を有する頭部装着型表示装置である。これにより、使用者が頭部に装着する画像表示部２０を透過して視認する外景と、表示画像との視認性を適切に制御することができ、利便性の向上を図ることができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、移動機３１０の移動機カメラ３３５は可視光による撮像を行うものに限定されず、赤外光などの可視外光による撮像を行う構成や、超音波等を用いたセンサーであってもよい。例えば、赤外光を照射する光源を移動機３１０に搭載してもよい。これにより、移動機３１０の撮像画像データーを用いて、農作物の糖度を検出することができる。また、建造物の点検をする場合において、対象の建造物の探傷検査や、サーモグラフィ技術を利用して温度の測定等を行うことができる。

また、移動機複合制御システム１の適用例として、スタジアム等の多数の座席を有する大規模施設において、移動機３１０の撮像画像データーを利用して場所ごとの混雑度を判定する、道路における渋滞の状況を判定する等の用途が挙げられる。

また、上述した実施形態において、操作検出部１５７は、画像表示部２０の動きまたは画像表示部２０に対する操作を検出し、この操作に応じてコマンド生成部１５９が定型動作を指示するコマンドを生成することが可能である。ここで、操作検出部１５７は、ＨＭＤ１００以外の装置による操作を検出してもよい。例えば、使用者が指に装着する指輪型の操作デバイスを用いる例が挙げられる。また、使用者が腕に装着する腕時計型の操作デバイスを用いる例が挙げられる。これらの操作デバイスは、６軸センサー２３５や磁気センサー２３７等の動きセンサーと、動きセンサーの検出値をＨＭＤ１００に送信する送信部とを備えてもよい。この場合、操作デバイスとＨＭＤ通信部１１７とが、Ｂｌｕｅｔｏｏｔｈにより相互に通信可能な構成とすれば、操作検出部１５７が、操作デバイスを動かす操作を検出できる。この場合、操作検出部１５７は、操作デバイスの動きが予め設定された態様である場合に、定型動作を指示するコマンドを生成してもよい。

また、操作検出部１５７は、マイク６３が集音する音声によるコマンド指示を検出してもよい。すなわち、検出制御部１５１は、音声インターフェイス１８２により検出する音声のパターンが、予め設定されたパターンに該当する場合に、定型動作を指示するコマンドを生成してもよい。

指示体は、図に示した指示体Ｈのように、人間の指、手等のほか、ＨＭＤ１００を遠隔操作するリモコン装置、指し棒、ペン等であってもよい。また、検出制御部１５１は、エアーマウス等のデバイスの操作を検出してもよく、検出手段としてはＨＭＤカメラ６１の撮像画像を用いることができ、例えばＬＥＤ等の発光体を具備するデバイスを指示体として用いることもできる。
例えば、上記実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式はＨＭＤ通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。例えば、制御装置１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、ＨＭＤカメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データーや外部から入力される映像データーに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、ＨＭＤカメラ６１により撮像する外景の画像と、表示画像とを合成した合成画像を画像表示部２０により表示する構成とすれば、画像表示部２０が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に本発明を適用することも勿論可能である。

上記実施形態では、移動体の一例として、無人飛行体であり、４翼ヘリコプターである移動機３１０を示した。移動体は、これに限定されるものではなく、遠隔操作される自動車や船、ロボット、これらの玩具等の遠隔操作や自動運転される種々の無人の移動体に対しても適用可能である。この場合の移動体は画像を撮像するカメラを有していればよく、ヘリコプター、飛行機、ロケット、潜水艦、人口衛星、バス等の車両、鉄道車両等の移動体が挙げられ、有人であっても無人であってもよく、貨物を搭載してもよい。無人で操縦・操作される機器であっても、輸送対象として人を乗せる構成であってもよい。また、移動体は、トラック（貨物運送用自動車）に付随するクレーンユニット等の付属機器であってもよい。また、シャベルカー、除雪車、草刈機、トラクター、ブルドーザー、コンバイン、耕運機、田植え機、農薬散布機等の作業用車両や作業用（例えば、建設現場用）機器等、農業、林業、漁業、砿業等で使用される機器に適用できる。これらの移動体は遠隔操作利用される機器であってもよく人が搭乗して操縦してもよい。

また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示、或いは仮想画像を表示するＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データーまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図２、図７、図８等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、ＨＭＤ制御部１４１が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＨＭＤ通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１…移動機複合制御システム、１０…制御装置、２０…画像表示部（表示部）、６１…ＨＭＤカメラ（外光検出部）、６３…マイク、６４…距離センサー、６５…照度センサー（外光検出部）、６７…ＬＥＤインジケーター、６８…内側カメラ、６９…温度センサー、１００、１００Ａ、１００Ｂ、１００Ｃ…ＨＭＤ（表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…ＨＭＤ通信部（画像取得部）、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４１…ＨＭＤ制御部、１４３…オペレーティングシステム、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５１…検出制御部、１５３…通信制御部、１５５…位置推定部（移動体位置取得部）、１５７…操作検出部、１５９…コマンド生成部、１７０…ＨＭＤ記憶部、１７１…設定データー、１７３…撮像画像データー、１７４…移動機識別データー、１７５…移動エリアデーター、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１５…ＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…右電子シェード、２２８…シェード駆動部、２２９…液晶パネル、２２９…右電子シェード、２３１…インターフェイス、２３３…受信部、２３５…センサー、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…左電子シェード、２４８…シェード駆動部、２４９…左電子シェード、２４９…液晶パネル、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、３００、３００Ａ、３００Ｂ、３００Ｃ…移動機制御システム、３１０、３１０Ａ、３１０Ｂ、３１０Ｃ…移動機（移動体）、３３５…移動機カメラ、３３６…撮像素子、３３７…ズーム機構、３４１…移動機制御部、３４２…移動機記憶部、３４３…移動機通信部、３４４…ＧＰＳ装置、３４５…飛行制御部、３４６…カメラ制御部、３４７…モーターコントローラー、３４８…姿勢センサー、３４９…インジケーター、Ｖ１…表示領域、ＶＲ…視野。

Claims (13)

1. 使用者によって装着される表示部であって、外光を透過することにより、前記使用者が外景を視認可能なように画像を表示する表示部と、
   前記表示部に対する移動体の相対位置を取得する移動体位置取得部と、
   前記使用者による操作を検出する操作検出部と、
   前記操作検出部による検出する操作に基づいて、前記移動体を動作させるコマンドを生成するコマンド生成部と、
   前記表示部に画像を表示させる表示制御部と、を備え、
   前記表示制御部は、前記移動体位置取得部により取得する前記移動体の位置に基づいて、前記表示部により表示する画像の、前記表示部を透過して視認される外景に対する視認性を制御する視認性制御処理を実行する
   表示装置。
2. 前記移動体が撮像する撮像画像に関する画像データーを取得する画像取得部を備え、
   前記表示制御部は前記画像取得部により取得した前記画像データーに基づく画像を前記表示部に表示させる請求項１記載の表示装置。
3. 前記画像取得部は、複数の前記移動体が撮像する撮像画像の各々に関する複数の前記画像データーを取得し、
   前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づく複数の前記画像を前記表示部に表示させ、前記視認性制御処理によって、複数の前記画像の視認性を制御する請求項２記載の表示装置。
4. 前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づき前記表示部に表示される複数の前記画像の視認性の差が小さくなるように前記視認性制御処理を実行する請求項３記載の表示装置。
5. 前記表示制御部は、前記画像取得部により取得した複数の前記画像データーに基づき前記表示部に表示される複数の前記画像のうち、一部の前記画像の視認性が他の前記画像よりも高くなるように前記視認性制御処理を実行する請求項３記載の表示装置。
6. 前記移動体位置取得部は、実空間の前記移動体が前記表示部を透過して視認される視認位置を取得し、
   前記表示制御部は、前記移動体位置取得部が取得する前記移動体の視認位置に対応して、前記視認性制御処理を実行する請求項１から５のいずれか１項に記載の表示装置。
7. 前記表示制御部は、前記移動体の視認位置に対応する位置に、前記移動体に関連付けられた画像を表示させる請求項６記載の表示装置。
8. 前記表示制御部は、前記移動体位置取得部により取得される前記移動体の位置を示す情報を前記表示部に表示させる請求項１から７のいずれか１項に記載の表示装置。
9. 前記表示制御部は、画像データーに基づき前記表示部に前記画像を表示させ、前記画像データーに対する輝度調整、色調調整、ガンマ補正の少なくともいずれかを実行可能に構成され、前記視認性制御処理において、前記画像データーの輝度、色調、及びガンマ補正値の少なくともいずれかを変更する請求項１から８のいずれか１項に記載の表示装置。
10. 前記表示制御部は、前記視認性制御処理を実行することにより、前記表示部を透過して視認される前記外景の視認性を前記表示部により表示する画像の視認性より高くする第１モード、及び、前記表示部を透過して視認される外景に対して前記表示部により表示する画像の視認性を高める第２モードを、前記操作検出部が検出する操作に応じて切り替える請求項１から９のいずれか１項に記載の表示装置。
11. 外光を検出する外光検出部を有し、
    前記表示制御部は、前記外光検出部により検出される外光に応じて前記視認性制御処理を実行する請求項１から１０のいずれか１項に記載の表示装置。
12. 使用者の頭部に装着される前記表示部を有する頭部装着型表示装置である請求項１から１１のいずれか１項に記載の表示装置。
13. 使用者によって装着される表示部であって外光を透過することにより前記使用者が外景を視認可能なように画像を表示する表示部を備える表示装置の制御方法であって、
    前記表示部に対する移動体の相対位置を取得し、
    前記使用者による操作を検出し、
    検出する操作に基づいて、前記移動体を動作させるコマンドを生成し、
    前記表示部に画像を表示させ、前記移動体の位置に基づいて、前記表示部により表示する画像の、前記表示部を透過して視認される外景に対する視認性を制御する視認性制御処理を実行する
    表示装置の制御方法。

Images