JP6919206B2 - 表示装置、及び、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、遠隔操縦できる無人機（いわゆるドローン）が知られている（例えば、特許文献１参照）。特許文献１記載の無人機は、航法姿勢制御システムを備える４翼ヘリコプター（ｑｕａｄｒｉｃｏｐｔｅｒ）であり、遠隔制御装置との間の無線リンクを通じて操縦コマンドを受信する。また、特許文献１記載の無人機はカメラを備え、カメラにより取り込んだ画像を遠隔制御装置に送信する。ユーザーは、遠隔制御装置のタッチスクリーンを用いて、無人機の旋回、上昇もしくは下降、カメラが指す方向の変更等の操作を行うことができる。

特開２０１３−１４４５３９号公報

特許文献１に記載されたように、無人機にカメラを設けて撮像を行わせる場合、撮像時の無人機の位置や方向を知ることができれば、撮像画像の有用性が高まることが期待される。例えば、特許文献１記載の構成では、遠隔制御装置と無人機の相対的な角度や向きを求めることが可能である。しかしながら、撮像時の無人機の位置と撮像画像との対応付けを、撮像した後に知ることができても、撮像画像の利用可能性に限界があった。
本発明は、カメラを備える移動体により撮像される撮像画像について、撮像時の移動体の位置との対応付けを効果的に行えるようにすることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着される表示部と、移動体が送信する撮像画像を受信する通信部と、前記通信部により受信した撮像画像に基づき実空間における前記移動体の位置を推定する位置推定部と、前記通信部により受信した撮像画像と、前記位置推定部により推定した前記移動体の位置に関する情報とを前記表示部に表示させる表示制御部と、を備える。
本発明によれば、移動体が撮像した撮像画像を、移動体の位置と共に表示できる。これにより、ユーザーが、移動体の位置と撮像画像との対応を容易に把握することができる。従って、例えば、移動体の位置を確認してから撮像を行うことができ、撮像画像の有用性を高めることが期待できる。

上記構成において、前記位置推定部は、予め定められた範囲を前記移動体が撮像した基準撮像画像に基づいて、前記基準撮像画像を撮像した際の前記移動体の位置を特定して基準移動体位置を設定し、前記基準移動体位置に基づき前記移動体の位置を推定する構成としてもよい。
この構成によれば、例えば基準移動体位置からの移動体の移動量および移動方向を利用する方法等により、移動体の位置を容易に推定できる。

上記構成において、前記通信部は、前記移動体が送信する位置情報を受信し、前記位置推定部は、前記通信部により受信した位置情報に基づき、前記基準移動体位置からの前記移動体の移動量を求めることにより、前記移動体の位置を推定する構成としてもよい。
この構成によれば、移動体の位置を容易に、精度良く推定できる。

上記構成において、前記位置推定部は、前記通信部により撮像画像を受信した場合に、受信した前記撮像画像と前記基準撮像画像とに基づいて前記移動体の位置を推定する構成としてもよい。
この構成によれば、移動体が送信する撮像画像を用いることにより、移動体の位置を容易に推定できる。

上記構成において、前記表示制御部は、前記移動体の位置に関する情報として、前記移動体の撮像方向、撮像倍率、前記移動体の高度、前記基準移動体位置からの移動量の少なくともいずれかを表示する構成としてもよい。
この構成によれば、移動体の撮像方向、撮像倍率、移動体の高度、基準移動体位置からの移動量等を表示して、表示装置のユーザーに対して適切に情報を提供できる。

上記構成において、前記通信部により受信した前記撮像画像における位置を指定する位置指定部を備え、前記位置推定部は、前記撮像画像を撮像したときの前記移動体の位置に基づいて、前記位置指定部により指定された位置に対応する実空間における位置を推定する構成としてもよい。
この構成によれば、撮像画像における位置に対応する実空間の位置を推定することにより、ユーザーに対し、撮像画像と実空間との対応に関する情報を提供できる。

上記構成において、前記位置推定部は、前記位置指定部により指定された位置に対応して推定した実空間における位置を、マーカー位置として設定し、前記表示制御部は、前記マーカー位置を前記表示部に表示させる構成としてもよい。
この構成によれば、ユーザーに対し、撮像画像と実空間との対応に関する情報を、表示部により提供できる。

上記構成において、前記位置推定部は、前記通信部により撮像画像を受信した場合に、受信した前記撮像画像における前記マーカー位置の相対位置を推定し、前記表示制御部は、前記位置推定部により推定した相対位置に基づいて、前記通信部により受信した前記撮像画像と、前記マーカー位置を示す表示オブジェクトとを前記表示部に表示させる構成としてもよい。
この構成によれば、指定された位置を示す表示オブジェクトを撮像画像とともに表示することにより、ユーザーに対し、撮像画像と実空間との対応に関する情報を提供できる。

上記構成において、操作を受け付ける受付部を備え、前記受付部で受け付けた操作に基づき前記移動体を制御する制御情報を前記通信部により送信する構成としてもよい。
この構成によれば、表示装置に対する操作を移動体の制御に反映させることができ、移動体の操作性の向上を図ることができる。

上記構成において、前記表示部の動きを検出する動きセンサーを備え、前記受付部は前記動きセンサーの検出値に基づき、前記表示部の動きによる操作を受け付ける構成としてもよい。
この構成によれば、表示部の動きによる操作を移動体の制御に反映させることができ、移動体の操作性の向上を図ることができる。

また、上記課題を解決するため、本発明は、使用者の頭部に装着される表示部を備える表示装置の制御方法であって、移動体が送信する撮像画像を受信するステップと、受信した撮像画像に基づき実空間における前記移動体の位置を推定するステップと、前記移動体から受信した撮像画像と、推定した前記移動体の位置に関する情報とを前記表示部に表示するステップと、を有する。
本発明によれば、移動体が撮像した撮像画像を、移動体の位置と共に表示できる。これにより、ユーザーが、移動体の位置と撮像画像との対応を容易に把握することができる。従って、例えば、移動体の位置を確認してから撮像を行うことができ、撮像画像の有用性を高めることが期待できる。

本発明は、上述した表示装置、及び表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の表示装置を含む表示システムを構成することも可能であり、具体的には、上記の表示装置と移動体とを含むシステムであってもよい。また、上記の制御方法を実行するために制御部やコンピューターが実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。

移動機制御システムの概略構成図。 移動機ユニットの機能ブロック図。 ＨＭＤの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部の構成を示す斜視図。 画像表示部と撮像範囲の対応を示す模式図。 ＨＭＤのブロック図。 制御部および記憶部の機能ブロック図。 移動機の動作を示すフローチャート。 リモートコントローラーの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの表示例を示す図。 移動機の移動エリアの例を示す模式図。 ＨＭＤの表示例を示す図。 ＨＭＤの表示例を示す図。

図１は、本発明を適用した実施形態に係る移動機制御システム１の概略構成図である。
移動機制御システム１は、移動機ユニット３００と、移動機ユニット３００を操縦するオペレーターが装着して使用するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型表示装置）１００とを有する。オペレーターは、ユーザー、あるいは使用者ということができ、以下の説明では使用者と称する。

移動機ユニット３００は、移動機３１０（移動体）と、移動機３１０の操縦に使用されるリモートコントローラー３５０とを含む。
本実施形態では、本発明の移動体の一態様として、移動機３１０を例示する。移動機３１０は、４つのプロペラ３２１、３２２、３２３、３２４の回転により飛行する飛行体である。移動機３１０は、或いは、無人飛行体（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）を意味するドローン（Ｄｒｏｎｅ）と呼ばれるものの一種であり、４翼ヘリコプターと呼ぶこともできる。移動機３１０は、リモートコントローラー３５０により遠隔操縦される。

プロペラ３２１、３２２、３２３、３２４は、それぞれ、飛行モーター３３１、３３２、３３３、３３４により駆動されて回転し、移動機３１０を浮上させる。また、移動機３１０には移動機カメラ３３５が設けられ、移動機カメラ３３５により撮像した撮像画像をリモートコントローラー３５０に送信することができる。移動機カメラ３３５は、移動機３１０の本体に直接固定されてもよいし、ジンバル（Ｇｉｍｂａｌ）、雲台等の台座を介して移動機３１０の本体に固定される構成であってもよい。また、移動機カメラ３３５の台座に、移動機カメラ３３５の撮像方向を変更及び調整する機構を設けてもよい。

リモートコントローラー３５０は、使用者が操作する各種の操作子を備える。リモートコントローラー３５０は、移動機３１０との間で無線通信を実行し、操作子の操作に対応するコマンドを生成して移動機３１０に送信する。移動機３１０は、リモートコントローラー３５０から送信されるコマンドを受信し、コマンドに従って飛行する。リモートコントローラー３５０が備える操作子の数や形状等の具体的構成は任意であり、本実施形態では一例として、操作スティック３５１、３５２、及び、操作ボタン３５３、３５４を図示する。操作スティック３５１、３５２は、それぞれ、リモートコントローラー３５０の本体に対して前後方向、及び／又は左右方向に倒すように操作可能な棒状の操作子である。操作ボタン３５３、３５４は、例えば押しボタンスイッチ或いは接触検知式のタッチセンサーで構成される。

ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、図３を参照して後述するように、平たい箱形の本体を備え、この本体に、使用者の操作を受け付ける各種のスイッチや操作パッド等の操作部を備える。これらの操作部を使用者が操作することによって、制御装置１０は、ＨＭＤ１００を制御する制御装置として機能する。

ＨＭＤ１００は、リモートコントローラー３５０との間で通信を実行する。リモートコントローラー３５０は、移動機３１０が無線送信する撮像画像データに基づく画像データを、ＨＭＤ１００に送信することが可能である。ＨＭＤ１００は、リモートコントローラー３５０から画像データを受信して、受信した画像データに基づく画像を画像表示部２０により表示する。これにより、使用者は、移動機３１０が撮像した撮像画像を画像表示部２０によって視認し、リモートコントローラー３５０を操作して、移動機３１０を操縦できる。

ＨＭＤ１００とリモートコントローラー３５０とを接続する態様は任意であり、例えば、制御装置１０とリモートコントローラー３５０とを有線接続する構成であってもよい。具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）（登録商標）ケーブル等により接続する態様が考えられる。本実施形態では、ＨＭＤ１００とリモートコントローラー３５０とを無線通信回線により、相互にデータ通信可能に接続した例を説明する。

図２は、移動機ユニット３００の機能ブロック図であり、移動機３１０の制御系の構成、及び、リモートコントローラー３５０の制御系の構成を示す。
移動機３１０の制御系は、移動機３１０を制御する移動機制御部３４１と、移動機制御部３４１に接続される各部により構成される。詳細には、移動機３１０は、移動機制御部３４１、移動機記憶部３４２、移動機通信部３４３、ＧＰＳ装置３４４、飛行制御部３４５、カメラ制御部３４６、モーターコントローラー３４７、及び姿勢センサー３４８を備える。また、図示を省略するが、移動機３１０は、飛行モーター３３１、３３２、３３３、３３４（図１）を含む各部に電源を供給するバッテリーと、バッテリーによる電力供給を制御するバッテリー制御回路とを備える。

移動機制御部３４１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイコン等の演算処理装置（プロセッサー）を備え、プログラムを実行することにより、移動機３１０を制御する。移動機制御部３４１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他周辺回路等を備える構成としてもよい。

移動機制御部３４１には、移動機制御部３４１が処理するデータ等を記憶する移動機記憶部３４２が接続される。移動機記憶部３４２は、半導体メモリー素子等の記憶装置を有し、移動機３１０の制御に関する各種データや、移動機制御部３４１が実行するプログラムを記憶する。

また、移動機制御部３４１には、移動機通信部３４３が接続される。移動機通信部３４３は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成され、リモートコントローラー３５０との間で無線通信を実行する。移動機通信部３４３は、ラジコン用の周波数である２７ＭＨｚ帯、４０ＭＨｚ帯、２．４ＧＨｚ帯等で無線通信を実行する。或いは、移動機通信部３４３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。移動機通信部３４３は、移動機制御部３４１の制御に従ってリモートコントローラー３５０と通信を実行し、リモートコントローラー３５０が送信するコマンドを受信して移動機制御部３４１に出力する。また、移動機通信部３４３は、移動機カメラ３３５の撮像画像データをリモートコントローラー３５０に送信する。

ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置３４４は、ＧＰＳ衛星から送信される信号を受信して解析することにより、移動機３１０の位置を測定（測位）する装置である。ＧＰＳ装置３４４は、移動機制御部３４１の制御に従って測位を行い、測位結果を移動機制御部３４１に出力する。ＧＰＳ装置３４４が出力する測位結果は、移動機３１０の緯度及び経度を含み、移動機３１０の高度を含んでもよい。

また、移動機制御部３４１には飛行制御部３４５が接続される。飛行制御部３４５は、モーターコントローラー３４７、及び姿勢センサー３４８に接続される。モーターコントローラー３４７は、飛行制御部３４５の制御に従って、飛行モーター３３１、３３２、３３３、３３４を駆動する回路である。

姿勢センサー３４８は、移動機３１０の姿勢や動きを検出するセンサーである。例えば、姿勢センサー３４８は、ジャイロセンサー、加速度センサー、速度センサー、高度センサーのいずれかを備える構成とすることができる。また、姿勢センサー３４８は、移動機３１０の方向を検出するための地磁気センサーを備えてもよい。例えば、姿勢センサー３４８は、３軸ジャイロセンサー、３軸加速度センサー、３軸地磁気センサーを統合した９軸モーションセンサーユニットを用いてもよく、このモーションセンサーユニットに高度センサーを統合してもよい。姿勢センサー３４８は、飛行制御部３４５の制御に従って、検出値を飛行制御部３４５に出力する。

飛行制御部３４５は、移動機制御部３４１の制御に従って、移動機３１０の飛行を制御する。飛行制御部３４５は、姿勢センサー３４８の検出値を取得し、予め設定された飛行プログラムに従って、姿勢センサー３４８の検出値を利用してモーターコントローラー３４７を制御する。飛行制御部３４５が実行する自律飛行プログラムは、移動機３１０の姿勢を所定の飛行姿勢に保持する制御、移動機制御部３４１が指定する高度へ上昇または下降する制御、移動機制御部３４１が指定する位置まで飛行する制御等を実現するプログラムである。飛行制御部３４５が実行する自律飛行プログラムは、予め設定された定型動作を実行することが可能である。

定型動作は、例えばホバリング、定経路飛行、定位置飛行等、定められた内容の飛行動作を指す。ホバリングは、一定の位置を維持して飛行する動作である。定経路飛行は、予め設定された経路に沿って高度、緯度、及び経度を調整して移動する動作である。定位置飛行は、予め設定された位置に向けて高度、緯度、及び経度を調整して移動する動作である。定型動作では、飛行モーター３３１、３３２、３３３、３３４の回転数制御等の詳細な制御を飛行制御部３４５が自律的に実行する。例えばリモートコントローラー３５０を操作する使用者は、定型動作の種類や目的地等を指定すればよく、操作の簡易化を実現できる。

ここで、移動機３１０の位置は、高度、緯度、経度を含む。例えば、移動機制御部３４１がリモートコントローラー３５０から、定型動作の種類を指定するコマンドを受信した場合、移動機制御部３４１は飛行制御部３４５に対し、定型動作の実行を指示する。飛行制御部３４５は、移動機制御部３４１の指示に従って、指示された種類の定型動作を行う。

定型動作を行うための自律飛行プログラム、及び、定型動作の経路や位置等の各種データは、例えば移動機記憶部３４２に記憶される。これにより、リモートコントローラー３５０において定型動作を指示する簡単な操作を行うことで、移動機３１０に定型動作を実行させることができる。飛行制御部３４５を移動機３１０に統合することも可能である。例えば、移動機３１０を構成する演算処理装置が、プログラムを実行することにより、飛行制御部３４５として機能する構成であってもよい。また、移動機制御部３４１及び飛行制御部３４５を、上記のプログラムと同様の機能を実行するようプログラミングされたハードウェアで構成してもよい。

飛行制御部３４５は、移動機３１０が姿勢センサー３４８により検出した検出値及び／またはＧＰＳ装置３４４により検出した緯度、経度を、移動機制御部３４１に出力する。移動機制御部３４１は、姿勢センサー３４８の検出値及びＧＰＳ装置３４４の検出結果の一部または全部を、移動機通信部３４３によりリモートコントローラー３５０に送信できる。移動機３１０がリモートコントローラー３５０に送信する移動機３１０の位置に関する情報を、移動機位置情報と呼ぶ。移動機位置情報は、例えば、移動機３１０の高度、緯度、経度を含む。また、移動機位置情報は、移動機３１０の位置を示す情報として、高度、緯度、経度以外の情報を含んでもよい。例えば、移動機３１０の位置を移動機３１０の平面位置に対応する住所表示、地名、地番、近傍または直下の施設名や建物名により表現してもよいし、予め設定されたランドマークを基準とする方角や距離により移動機３１０の位置を示す情報を含んでもよい。

また、移動機３１０がリモートコントローラー３５０に送信する移動機３１０の位置に関する情報は、移動機位置情報のほか、移動機３１０の環境や状況に関する移動機状況情報を含んでもよい。移動機状況情報は、移動機３１０の位置に関連する情報を含んでもよい。例えば、移動機３１０の近傍または直下の施設名や建物名等の周辺施設に関する情報を含んでもよい。また、移動機状況情報は、移動機３１０の環境に関する情報（天気（天候）、温度、湿度、風速、風向、降雨量等）を含んでもよい。

移動機３１０は、リモートコントローラー３５０に対し、リモートコントローラー３５０が指定したタイミングで取得した検出値及び／または検出結果に基づく移動機位置情報を送信してもよい。また、移動機３１０は、リモートコントローラー３５０に対し、リモートコントローラー３５０が指定したタイミング以後に取得した検出値及び／または検出結果に基づく移動機位置情報を随時送信してもよい。

なお、移動機３１０が位置を検出する構成は、ＧＰＳ装置３４４や姿勢センサー３４８に限定されない。例えば、移動機３１０が飛行する領域（エリア）に予め設置された無線ビーコン送信機からビーコン信号を受信し、ビーコン信号の受信強度等に基づいて移動機３１０の位置を検出してもよい。無線ビーコン送信機には、赤外光（ＩＲ）等の可視外領域の光でビーコン信号を送信する光ビーコン装置や、Ｂｌｕｅｔｏｏｔｈでビーコン信号を送信するＢｌｕｅｔｏｏｔｈビーコンを利用できる。この場合に検出される移動機３１０の位置は、高度、及び、無線ビーコン送信機に対する相対位置を含む。この場合、移動機制御部３４１は、高度、及び、無線ビーコン送信機に対する相対位置を含む移動機位置情報を生成して、リモートコントローラー３５０に送信すればよい。

移動機制御部３４１には、飛行制御部３４５を制御するカメラ制御部３４６が接続される。飛行制御部３４５は、上述したように移動機３１０の本体に設置されて、所定の方向を撮像する。飛行制御部３４５は、撮像素子３３６と、撮像レンズ（図示略）を移動させてズーム倍率を調整するズーム機構３３７とを備える。撮像素子３３６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等からなる。
カメラ制御部３４６は、移動機制御部３４１の制御に従って撮像素子３３６及びズーム機構３３７を駆動し、移動機制御部３４１により指定されたズーム倍率で撮像を行い、撮像画像データを移動機制御部３４１に出力する。移動機３１０は、移動機カメラ３３５によって予め設定されたサンプリング周期で撮像を実行し、撮像画像データを生成する。すなわち、移動機３１０は動画像を撮像するといえる。移動機３１０は、リモートコントローラー３５０に対し、リモートコントローラー３５０が指定したタイミングで撮像した撮像画像データを送信することができる。この場合、リモートコントローラー３５０は、移動機３１０が撮像した静止画像の撮像画像データを取得できる。また、移動機３１０は、リモートコントローラー３５０に対し、リモートコントローラー３５０が指定したタイミング以後に撮像した撮像画像データを随時送信することができる。この場合、リモートコントローラー３５０は、移動機３１０が撮像した動画像（映像）の撮像画像データを取得できる。

リモートコントローラー３５０は、ＣＴＬ（Ｃｏｎｔｒｏｌｌｅｒ）演算制御部３６０を備える。ＣＴＬ演算制御部３６０は、ＣＴＬ制御部３６１、コマンド作成部３６２、及びＣＴＬ記憶部３６３を含む。ＣＴＬ演算制御部３６０は、ＣＰＵやマイコン等の演算処理装置と、ＲＯＭ、ＲＡＭ、不揮発性記憶素子等を備えて構成され、演算処理装置によりプログラムを実行することによって、リモートコントローラー３５０を制御する。ＣＴＬ演算制御部３６０のＣＴＬ制御部３６１、及びコマンド作成部３６２は、演算処理装置がプログラムを実行することで実現されてもよい。また、ＣＴＬ演算制御部３６０を、上記のプログラムと同様の機能を実行するようプログラミングされたハードウェアで構成してもよい。また、ＣＴＬ記憶部３６３は、ＲＯＭ、ＲＡＭ、不揮発性記憶素子の記憶領域の一部または全部を用いて構成され、ＣＴＬ演算制御部３６０が実行するプログラムや、ＣＴＬ演算制御部３６０が処理する各種データを記憶する。

ＣＴＬ演算制御部３６０には、ＣＴＬ操作部３６４が接続される。ＣＴＬ操作部３６４は、図１に示した操作スティック３５１、３５２や操作ボタン３５３、３５４、及び、その他の操作子を含む。

また、ＣＴＬ演算制御部３６０には第１通信部３７１、及び第２通信部３７２が接続される。第１通信部３７１は、移動機３１０が備える移動機通信部３４３と無線通信を行う通信部である。第１通信部３７１が通信に使用する周波数帯や通信方式は、移動機通信部３４３と通信できるよう適宜選択されればよい。従って、第１通信部３７１は、移動機通信部３４３と同様、ラジコン用の周波数である２７ＭＨｚ帯、４０ＭＨｚ帯、２．４ＧＨｚ帯等で無線通信を実行する。或いは、移動機通信部３４３は、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。

第２通信部３７２は、ＨＭＤ１００との間で無線通信を実行する通信部である。第２通信部３７２は、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。

ＣＴＬ演算制御部３６０は、ＣＴＬ制御部３６１の機能によりＣＴＬ操作部３６４の操作を検出する。ＣＴＬ制御部３６１は、検出した操作が移動機３１０の動作を指示する操作である場合に、コマンド作成部３６２の機能により、ＣＴＬ操作部３６４の操作に対応するコマンドを生成する。ＣＴＬ制御部３６１は、第１通信部３７１により、コマンド作成部３６２が生成したコマンドを送信し、移動機３１０を飛行させる。コマンド作成部３６２が生成するコマンドは、移動機３１０の上昇、下降、旋回、逆旋回などの基本的な動作を指示するコマンドであってもよいし、移動機３１０の定型動作を指示するコマンドであってもよい。

ＣＴＬ演算制御部３６０は、第１通信部３７１により移動機３１０と通信し、移動機３１０が送信する移動機位置情報を受信する。また、ＣＴＬ演算制御部３６０は、移動機３１０が送信する撮像画像データを受信する。ＣＴＬ演算制御部３６０は、第１通信部３７１により受信した移動機位置情報、及び、撮像画像データを、第２通信部３７２によってＨＭＤ１００に送信できる。この場合、ＣＴＬ演算制御部３６０は、ＨＭＤ１００に対し、ＨＭＤ１００が指定したタイミングで移動機位置情報及び／または撮像画像データを送信することができる。また、ＣＴＬ演算制御部３６０は、ＨＭＤ１００に対し、ＨＭＤ１００が指定したタイミング以後に移動機位置情報及び／または撮像画像データを随時送信することができる。また、ＣＴＬ演算制御部３６０は、移動機３１０から受信した移動機位置情報を加工し、受信した移動機位置情報に基づき生成された移動機３１０の位置を示すデータを、新しい移動機位置情報としてＨＭＤ１００に送信してもよい。また、ＣＴＬ演算制御部３６０は、移動機３１０から受信した撮像画像データを加工し、受信した撮像画像データに基づき生成された画像データを、ＨＭＤ１００に送信してもよい。

図３は、ＨＭＤ１００の外観構成を示す説明図である。
制御装置１０は、図３に示すように、平たい箱形のケース１０Ａ（筐体）を備える。ケース１０Ａは、使用者の操作を受け付ける各種のスイッチやトラックパッド１４等を備え、これらを使用者が操作することによって、制御装置１０は、ＨＭＤ１００を制御する制御装置として機能する。また、ケース１０Ａは、ＨＭＤ１００を制御する機能部を内蔵する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を総称して単に「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。

また、右導光板２６及び左導光板２８の表面に、調光機能を有する電子シェード（図示略）を設けてもよい。電子シェードは電圧を入力する端子（図示略）、及び、端子間の電圧に応じて光の透過率が変化するシェード本体（図示略）を有し、後述するＨＭＤ制御部１４１の制御により、印加される電圧を調整可能である。電子シェードは、可視光を含む波長域全体の透過率が変化する構成であってもよいし、光の波長域により異なる透過率を有する構成であってもよい。電子シェードは、例えば、使用者の眼の側とは反対の側である前部フレーム２７の表側を覆うように配置される。電子シェードの光学特性を調整することにより、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光および外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に電子シェードを装着し、電子シェードの光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整できる。

ＨＭＤカメラ６１は、画像表示部２０の前部フレーム２７に配設される。ＨＭＤカメラ６１は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図３の例では、ＨＭＤカメラ６１が前部フレーム２７の端部ＥＲ側に配置される。ＨＭＤカメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

ＨＭＤカメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のＨＭＤカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。ＨＭＤカメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、ＨＭＤカメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。ＨＭＤカメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、ＨＭＤカメラ６１の撮像範囲が設定される。
ＨＭＤカメラ６１は、ＨＭＤ制御部１４１が備える撮像制御部１５６の制御に従って撮像を実行し、撮像画像データを撮像制御部１５６に出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー６４を備える。距離センサー６４は、例えば、使用者にとって前方に位置する測定対象物までの距離を検出する構成とすることができ、本実施形態では、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置される。この例では、画像表示部２０の装着状態において、距離センサー６４の位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサー６４の測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればＨＭＤカメラ６１の撮像方向と重複する方向である。

距離センサー６４は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。距離センサー６４は、ＨＭＤ制御部１４１の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、ＨＭＤ制御部１４１の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの端部に設けられるコネクター４２に着脱可能に接続される。すなわち、ケース１０Ａには、接続ケーブル４０を抜き差し可能なコネクター４２が設けられ、画像表示部２０を使用する場合にコネクター４２に接続ケーブル４０が接続される。

接続ケーブル４０は、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。
コネクター４６は、ステレオミニプラグを接続するジャック（オーディオコネクター）であり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図３に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、コネクター４６に接続される。

マイク６３は、例えば図３に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図８）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

制御装置１０は、使用者により操作される被操作部として、トラックパッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。これらの被操作部は、例えば、使用者の手指により操作される。

トラックパッド１４は、ケース１０Ａの前面において、使用者が指を接触させる、タッチ操作を行うための領域である。トラックパッド１４は、ケース１０Ａの前面と同様の平面であってもよいが、トラックパッド１４と、それ以外の領域とを使用者が識別できる構成であることが好ましい。例えば、トラックパッド１４の縁を示す線が印刷または凹凸により形成されてもよいし、トラックパッド１４が、トラックパッド１４の表面の触感をそれ以外の領域と異ならせる表面加工を施されてもよい。

制御装置１０は、ケース１０Ａの前面において、後述するタッチセンサー１３（図７）により、使用者によるトラックパッド１４への接触操作を検出できる。制御装置１０は、タッチセンサー１３が接触操作を検出した場合に、操作を検出した位置を特定する。トラックパッド１４は、トラックパッド１４における絶対位置、或いは、相対位置を入力する操作のために使用できる。

ケース１０Ａの前面にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は、トラックパッド１４に位置し、ＬＥＤ表示部１７の表面は、ケース１０Ａの前面における他の領域と違わない。ＬＥＤ表示部１７は、光を透過可能な透過部（図示略）を有し、透過部の直下に設置される１または複数のＬＥＤが点灯することにより、使用者が記号等を視認できるように、発光する。図３の例では、ＬＥＤ表示部１７のＬＥＤが点灯することにより、３つの記号△（三角形）、○（丸）、□（四角形）が現れる。

制御装置１０は、ＬＥＤ表示部１７に対する使用者の手指の接触操作を、タッチセンサー１３により検出し、操作位置を特定できる。このため、例えば操作位置が、ＬＥＤ表示部１７に現れる記号のどれに対応する位置かを特定できる。従って、ＬＥＤ表示部１７はソフトウェアボタンとして機能する。例えば、ＬＥＤ表示部１７に現れる記号を、ＨＭＤ１００の機能に対応付けることで、ＬＥＤ表示部１７へのタッチ操作を当該機能に対する操作として検出できる。ＨＭＤ１００は、図３の例で、記号○（丸）をホームボタンに割り当てることができる。この場合、記号○（丸）の位置に接触操作が行われると、ＨＭＤ制御部１４１は、ホームボタンの操作を検出する。また、記号□（四角形）は履歴ボタンに割り当てることができる。この場合、記号□（四角形）の接触操作を、ＨＭＤ制御部１４１は、履歴ボタンの操作として検出する。同様に、記号△（三角形）は戻るボタンに割り当てることができる。ＨＭＤ制御部１４１は、記号△（三角形）の接触操作を、戻るボタンの操作として検出する。

上下キー１５は、ケース１０Ａの側面に配置され、押圧操作を検出する一対のキーを備える。上下キー１５の右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。
電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。

ケース１０Ａにおいて電源スイッチ１８と同じ側の側面には、ＵＳＢコネクター１８８（図７）が設けられる。ＵＳＢコネクター１８８は、制御装置１０を、外部の装置に接続するインターフェイスであり、本実施形態ではインターフェイスの一例として、ＵＳＢ規格に準拠したコネクターを例示する。ＵＳＢコネクター１８８は、例えば、ｍｉｃｒｏＵＳＢ規格に適合する形状、及びサイズを有するコネクターであり、転送速度等の仕様は任意である。

制御装置１０は後述するようにバッテリー１３２（図７）を有し、バッテリー１３２が供給する電力により制御装置１０および画像表示部２０が動作する。バッテリー１３２への充電は、ＵＳＢコネクター１８８に対して電力を供給することにより行うことができる。ＨＭＤ１００は、制御装置１０と画像表示部２０を取り外し、制御装置１０のみを専用の充電装置に接続することで、充電を行うことができる。

図４は、画像表示部２０が備える光学系の構成を示す要部平面図である。図４には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図４に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、ＨＭＤ制御部１４１の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー６９（図７）が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、ＨＭＤ制御部１４１の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図５及び図６は、画像表示部２０の要部構成を示す図である。図５は、画像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図５では接続ケーブル４０の図示を省略する。図６はＨＭＤカメラ６１の画角の説明図である。

図５は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図５では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

ＨＭＤカメラ６１は、上記のように画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図６は、ＨＭＤカメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。ＨＭＤカメラ６１の画角（撮像範囲）をＣで示す。なお、図６には水平方向の画角Ｃを示すが、ＨＭＤカメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

ＨＭＤカメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図６に示すように、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。ＨＭＤカメラ６１の光軸、及び画角は、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。

また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図６の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶことができる。図３に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

ＨＭＤカメラ６１の画角Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の両眼の視野角よりも広い。

ＨＭＤカメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をＨＭＤカメラ６１が備える構成であってもよい。

また、距離センサー６４は、右導光板２６と左導光板２８との中央において、前方を向いて配置される。例えば、距離センサー６４は、画像表示部２０の中央位置から、図６に示す対象物ＯＢのように、使用者の正面方向に位置する物体までの距離を検出可能に構成される。ＨＭＤ１００を装着した使用者は、注視する方向に頭を向けるので、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、使用者が注視する対象までの距離を検出できる。

また、図５に示すように、画像表示部２０の使用者側には内側カメラ６８が配置される。内側カメラ６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、ＨＭＤ制御部１４１の制御に従って撮像を行う。ＨＭＤ制御部１４１は、内側カメラ６８の撮像画像データを解析する。例えば、ＨＭＤ制御部１４１は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、ＨＭＤ制御部１４１は、使用者の視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。

また、ＨＭＤ制御部１４１は、内側カメラ６８の撮像画像データから使用者の右眼ＲＥ及び左眼ＬＥの瞼（眼瞼）の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。本実施形態では画像表示部２０が一対の内側カメラ６８、６８を備える構成を例示するが、例えば、１つの内側カメラ６８を、画像表示部２０の中央位置に設けてもよい。この場合、１つの内側カメラ６８が、右眼ＲＥ及び左眼ＬＥを撮像できる画角を有することが好ましいが、例えば、右眼ＲＥまたは左眼ＬＥの一方のみを内側カメラ６８により撮像してもよい。すなわち、右眼ＲＥまたは左眼ＬＥのいずれか一方の視線方向、眼球運動、眼瞼運動、眼瞼の状態等をＨＭＤ制御部１４１が検出する構成としてもよい。

また、ＨＭＤ制御部１４１は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。図６には輻輳角を符号ＰＡで示す。輻輳角ＰＡは、使用者が注視する対象物ＯＢまでの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。従って、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

輻輳角は、例えば、内側カメラ６８の撮像画像データから求めることができる。例えば、内側カメラ６８に撮像画像データから右眼ＲＥの視線方向を求め、この視線方向から、右眼ＲＥの正面方向に対する右眼ＲＥの視線方向の角度ＬＡを求める。同様に、内側カメラ６８の撮像画像データから左眼ＬＥの視線方向を求め、この視線方向に基づき、左眼ＬＥの正面方向に対する左眼ＬＥの視線方向の角度ＲＡを求める。輻輳角ＰＡは、角度ＬＡ、ＲＡの和に等しく、容易に輻輳角ＰＡを求めることができる。

図７は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置として操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１４０には、ＨＭＤ通信部１１７（通信部）、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、ＨＭＤ通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

メインプロセッサー１４０は、操作部１１０から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、およびＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。この場合、操作部１１０は、トラックパッド１４におけるタッチ位置を示すデータを含む操作信号をメインプロセッサー１４０に出力する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０からメインプロセッサー１４０に対し、操作信号が出力される。
ＬＥＤ表示部１７は、トラックパッド１４（図３）の直下に配置されるＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

ＨＭＤ通信部１１７は、外部の機器との間で無線通信を実行する。本実施形態では、通信部１１７は、リモートコントローラー３５０が備える第２通信部３７２と無線通信を実行する。ＨＭＤ通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。ＨＭＤ通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図３）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。

ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。ＨＭＤ１００とリモートコントローラー３５０とをＵＳＢケーブルによって接続する場合、ＵＳＢコネクター１８８が、リモートコントローラー３５０に接続される。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図３に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５（記憶部）が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＨＭＤカメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

ＨＭＤカメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図３に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図３に示すように、前部フレーム２７の端部ＥＲにおいてＨＭＤカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、ＨＭＤカメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

内側カメラ６８は、インターフェイス２１１を介して制御装置１０から入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。図４には１つの内側カメラ６８を図示するが、図３（Ａ）に示す一対の内側カメラ６８、６８が同時に動作してもよい。また、一対の内側カメラ６８、６８のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。

距離センサー６４は、インターフェイス２１１を介して制御装置１０から入力される信号に従って距離検出を実行し、検出結果を示す信号を制御装置１０に出力する。図４には１つの距離センサー６４を図示するが、図３（Ａ）に示す一対の距離センサー６４、６４が同時に動作してもよい。また、一対の距離センサー６４、６４のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５（動きセンサー）、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるＨＭＤカメラ６１、距離センサー６４、照度センサー６５、内側カメラ６８、温度センサー２１７、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、ＨＭＤカメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

図８は、制御装置１０の制御系を構成するＨＭＤ記憶部１７０、及びＨＭＤ制御部１４１の機能ブロック図である。図８に示すＨＭＤ記憶部１７０は、不揮発性記憶部１２１（図７）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、ＨＭＤ制御部１４１、及び、ＨＭＤ制御部１４１が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。ＨＭＤ制御部１４１、及びＨＭＤ制御部１４１を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。

ＨＭＤ制御部１４１は、ＨＭＤ記憶部１７０が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
ＨＭＤ記憶部１７０は、ＨＭＤ制御部１４１が処理する各種のデータを記憶する。ＨＭＤ記憶部１７０は、設定データ１７１、表示設定データ１７２、撮像画像データ１７３、移動機識別データ１７４、移動エリアデータ１７５、エリア内タグデータ１７６、基準移動体位置データ１７７、及び、位置履歴データ１７８を記憶する。

また、ＨＭＤ記憶部１７０は、画像表示部２０により表示可能な画像や映像を含むコンテンツを含むコンテンツデータを記憶してもよい。

設定データ１７１は、ＨＭＤ１００の動作に係る各種の設定値を含む。また、ＨＭＤ制御部１４１がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１７１に含めてもよい。

表示設定データ１７２は、画像表示部２０により表示する画像に関するデータであり、詳細には、使用者が移動機３１０を操縦する場合の画像の表示態様に関する設定を含む。
表示設定データ１７２は、例えば、リモートコントローラー３５０からＨＭＤ通信部１１７が受信した画像データを画像表示部２０に表示する場合の表示サイズ、表示位置等の情報を含む。ＨＭＤ制御部１４１は、画像表示部２０にアイコン、ウィジェット、メニュー画面等のように、特定の機能が割り当てられた画像や領域を表示することが可能であり、これらを用いてＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を実現できる。表示設定データ１７２は、これらの表示の要否や表示位置等に関する情報を含んでもよいし、これらを表示するための画像データを含んでもよい。

撮像画像データ１７３は、リモートコントローラー３５０から受信された画像データである。リモートコントローラー３５０は、上述したように、リモートコントローラー３５０は、移動機３１０の移動機カメラ３３５の撮像画像データ、または、撮像画像データに基づき生成した画像データを送信する。このため、リモートコントローラー３５０からＨＭＤ１００が受信する画像データは、撮像画像データそのものとは限らないが、撮像画像データに関連するデータである。ＨＭＤ制御部１４１は、リモートコントローラー３５０から受信した画像データを、撮像画像データ１７３としてＨＭＤ記憶部１７０に記憶させる。

移動機識別データ１７４は、制御装置１０が通信する移動機ユニット３００を識別する情報を含む。移動機識別データ１７４は、移動機３１０及びリモートコントローラー３５０の機種名、型番、メーカー名、製造番号、製造時に設定された固有のＩＤ等を含んでもよい。或いは、移動機識別データ１７４は、使用者が設定した移動機３１０またはリモートコントローラー３５０のＩＤ等の識別情報を含んでもよい。また、移動機識別データ１７４は、ＨＭＤ１００が移動機ユニット３００を認証するために用いる認証用の情報を含んでもよい。また、移動機識別データ１７４は、制御装置１０がＨＭＤ通信部１１７によりリモートコントローラー３５０と通信する場合、通信に必要な情報を含んでもよい。具体的には、ネットワークアドレス、ネットワークＩＤ、パスワード等の通信用の認証情報等を含んでもよい。

移動エリアデータ１７５は、移動機３１０を移動（飛行）させる領域として予め設定された移動エリアに関する情報を含む。本実施形態では、移動機３１０を、予め設定された移動エリアにおいて移動させ、この移動中に移動機３１０が撮像する撮像画像に基づき、画像表示部２０に画像を表示する。移動エリアデータ１７５は、移動機３１０を移動させる移動エリアの位置や大きさ等の情報を含む。移動エリアの位置及びサイズは、実際の空間である実空間における位置及びサイズで特定される。また、移動エリアの位置及びサイズが高さ方向で特定されてもよい。具体的には、移動エリアの高度の範囲が定められてもよい。

移動エリアデータ１７５に含まれる移動エリアの位置は、実空間における絶対的な位置を示すことが可能な、緯度や経度で表現されてもよいし、実空間に設定される基準に対する相対的な位置として表現されてもよい。

エリア内タグデータ１７６は、移動エリアに設置されるタグに関する情報を含む。移動エリアには、移動機３１０の位置の指標となるタグが設置される。移動エリアに設置されるタグについて、各タグを識別するＩＤ等の識別情報と、各タグの位置を示す情報とが対応付けられてエリア内タグデータ１７６に含まれる。また、移動エリアに設定されるタグのうち少なくとも１つは、移動エリアにおける移動機３１０の位置を推定する処理において基準となる基準位置を示すタグである。エリア内タグデータ１７６は、基準位置を示すタグについて、基準位置であることを示す情報と、タグの位置を示す情報と、タグの識別情報とを対応付けて含む。タグの位置は、実空間における絶対的な位置を示すことが可能な、緯度や経度で表現されてもよいし、移動エリアに設定される基準に対する相対的な位置として表現されてもよい。

基準移動体位置データ１７７は、移動エリアにおける移動機３１０の基準移動体位置を示す情報を含む。後述するように、ＨＭＤ制御部１４１の制御により、移動エリアに設置される基準位置を示すタグを利用して、移動機３１０の基準移動体位置が設定される。基準移動体位置データ１７７は、設定された基準移動体位置に関する情報を含む。

位置履歴データ１７８は、移動機３１０の位置の履歴を含む。位置履歴データ１７８は、後述する位置推定部１５５が推定する移動機３１０の位置の履歴であってもよい。また、位置履歴データ１７８は、リモートコントローラー３５０がＨＭＤ１００に送信する移動機３１０の位置に関する情報を含んでもよい。

ＨＭＤ制御部１４１は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、検出制御部１５１、通信制御部１５３、位置推定部１５５、操作検出部１５７、及び、コマンド生成部１５９の機能を有する。
オペレーティングシステム１４３の機能は、ＨＭＤ記憶部１７０が記憶する制御プログラムの機能であり、その他のＨＭＤ制御部１４１の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。

画像処理部１４５は、画像表示部２０により表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ））で構成してもよい。

表示制御部１４７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

また、表示制御部１４７は、表示設定データ１７２に基づき、画像表示部２０により各種の画像を表示させる。例えば、表示制御部１４７は、表示設定データ１７２の設定に従ってアイコン、ウィジェット、メニュー等を表示させる。

撮像制御部１４９は、ＨＭＤカメラ６１を制御して撮像を実行させ、撮像画像データを生成し、ＨＭＤ記憶部１７０に一時的に記憶する。また、ＨＭＤカメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は撮像画像データをＨＭＤカメラ６１から取得して、ＨＭＤ記憶部１７０に一時的に記憶する。

また、撮像制御部１４９は、内側カメラ６８を制御して使用者の右眼ＲＥ及び左眼ＬＥを撮像してもよい。この場合、ＨＭＤ制御部１４１は、撮像制御部１４９の制御に従って内側カメラ６８が撮像する撮像画像データを解析して、使用者の右眼ＲＥ及び左眼ＬＥの運動を検出してもよい。この場合、ＨＭＤ制御部１４１は、右眼ＲＥ及び左眼ＬＥのそれぞれ、或いは、いずれか一方について、動き方向、及び、動き量等を求めてもよい。

検出制御部１５１は、ＨＭＤ１００が備える各種センサーの検出値を取得する。検出制御部１５１が制御するセンサーは、例えば、６軸センサー１１１、磁気センサー１１３、温度センサー２１７、６軸センサー２３５、磁気センサー２３７、距離センサー６４、及び照度センサー６５を含む。また、ＧＰＳ１１５を含んでもよい。

また、検出制御部１５１は、受付部として機能し、ＨＭＤ１００に対する操作を受け付ける。検出制御部１５１は、制御装置１０が備えるボタン１１やタッチセンサー１３に対する操作を検出する。また、検出制御部１５１は、制御装置１０が備える６軸センサー１１１や磁気センサー１１３の検出値及び／または検出値の変化に基づき、制御装置１０を動かすことによる操作を検出する。また、検出制御部１５１は、画像表示部２０が備える６軸センサー２３５や磁気センサー２３７の検出値及び／または検出値の変化に基づき、画像表示部２０を動かすことによる操作を検出する。例えば、検出制御部１５１は、制御装置１０及び／又は画像表示部２０の動きが、予め設定された態様の動きに該当する場合に、操作を検出する。

通信制御部１５３は、ＨＭＤ通信部１１７を制御してリモートコントローラー３５０との間の通信を実行させる。

位置推定部１５５は、移動機３１０の位置を推定する。位置推定部１５５は、リモートコントローラー３５０が送信する移動機３１０の位置情報に基づき、移動機３１０の位置を特定してもよい。移動機３１０が移動エリア内に位置する状態で、位置推定部１５５は、移動機３１０の撮像画像データ、或いは、移動機３１０の撮像画像データに基づきリモートコントローラー３５０が生成する画像データに基づいて、移動機３１０の位置を推定する処理を行う。

操作検出部１５７（位置指定部）は、画像表示部２０を装着した使用者による位置指示操作を検出する。操作検出部１５７は、撮像制御部１４９の制御によりＨＭＤカメラ６１が撮像する撮像画像データを解析し、撮像画像データから指示体（使用者の指、手、他の身体の一部、或いは他の物体など）の画像を抽出する。操作検出部１５７は、撮像画像データにおける指示体の画像の位置を特定し、特定した位置を、画像表示部２０に対する相対位置に変換する。変換後の位置を、操作位置として出力する。これにより、画像表示部２０を装着する使用者が、ＨＭＤカメラ６１の撮像範囲に指示体を位置させ、或いは、撮像範囲で指示体を動かすことで、位置指示操作を行うことができる。

コマンド生成部１５９は、検出制御部１５１が検出する操作、或いは、操作検出部１５７が検出する操作に従って、コマンドを生成する。コマンド生成部１５９が生成するコマンドは、移動機３１０またはリモートコントローラー３５０を動作させるコマンドである。例えば、移動機３１０に対して定型動作を指示するコマンドや、リモートコントローラー３５０に対して撮像画像データの送信を指示するコマンドである。コマンド生成部１５９が生成するコマンドはＨＭＤ通信部１１７によりリモートコントローラー３５０に送信され、リモートコントローラー３５０が受信する。リモートコントローラー３５０は、ＨＭＤ１００が送信するコマンドを受信して、移動機３１０に送信する。なお、コマンド生成部１５９が生成するコマンドのうち、移動機３１０の動作に係るコマンドは、リモートコントローラー３５０から移動機３１０に対するコマンドの送信を指示するコマンドであってもよい。この場合、コマンド生成部１５９は、リモートコントローラー３５０が解釈可能なコマンドを生成すればよい。すなわち、リモートコントローラー３５０が、移動機３１０に対する定型コマンド等のコマンドを生成する動作を、リモートコントローラー３５０に対して指示するコマンドであってもよい。

図９、図１０及び図１１は移動機制御システム１の各部の動作を示すフローチャートである。図１２及び図１４は、移動機制御システム１の動作に伴い画像表示部２０に表示される画面の表示例を示す図である。また、図１３は移動機３１０の移動エリアの例を示す模式図である。これらの図を参照して、移動機制御システム１の動作を説明する。

図９は、移動機３１０の動作を示すフローチャートである。
移動機制御部３４１は、移動機３１０の電源がオンにされると動作を開始し、モーターコントローラー３４７を含む各部の初期化、及び、リモートコントローラー３５０との間の通信を確立する動作を実行する（ステップＳ１１）。

移動機制御部３４１は、ＧＰＳ装置３４４による位置検出を開始させ、ＧＰＳ装置３４４が検出する位置情報の取得を開始する（ステップＳ１２）。また、移動機制御部３４１は、カメラ制御部３４６を制御して、移動機カメラ３３５による撮像を開始させる（ステップＳ１３）。

移動機制御部３４１は、ＧＰＳ装置３４４から取得した位置情報、及び、移動機カメラ３３５の撮像画像データを、リモートコントローラー３５０に対して送信する処理を開始する（ステップＳ１４）。ここで、移動機制御部３４１は、姿勢センサー３４８の検出値を位置情報に含めて送信してもよい。また、移動機制御部３４１は、例えば移動機３１０のバッテリー残量等を含む制御情報を、位置情報に含めて送信してもよい。図９に示す動作例では、移動機制御部３４１は、位置情報及び撮像画像データの送信を、ステップＳ１４以後、予め設定された周期で継続して実行する。

ここで、移動機制御部３４１は、移動機通信部３４３により、リモートコントローラー３５０が送信する定型動作コマンドを受信したか否かを判定する（ステップＳ１５）。定型動作コマンドを受信した場合（ステップＳ１５；Ｙｅｓ）、移動機制御部３４１は、受信したコマンドで指定される定型動作を、飛行制御部３４５によって実行させる（ステップＳ１６）。その後、移動機制御部３４１は、動作を終了するか否かを判定し（ステップＳ１７）、動作を終了しない場合は（ステップＳ１７；Ｎｏ）、ステップＳ１５に戻る。
また、定型動作コマンドを受信しない場合（ステップＳ１５；Ｎｏ）、移動機制御部３４１はステップＳ１７に移行する。

図１０は、リモートコントローラー３５０の動作を示すフローチャートである。
ＣＴＬ演算制御部３６０は、リモートコントローラー３５０の電源がオンにされると動作を開始し、リモートコントローラー３５０の各部の初期化、及び、移動機３１０との間の通信を確立する動作を実行する（ステップＳ２１）。ステップＳ２１で、ＣＴＬ演算制御部３６０は、第２通信部３７２によりＨＭＤ１００との間の通信を確立する処理を実行してもよい。

ＣＴＬ演算制御部３６０は、移動機３１０から位置情報及び撮像画像データの受信を開始する（ステップＳ２２）。ＣＴＬ演算制御部３６０は、移動機３１０から受信した位置情報及び撮像画像データをＣＴＬ記憶部３６３に一時的に記憶する。ＣＴＬ演算制御部３６０は、移動機３１０から受信した位置情報をＨＭＤ１００に送信する動作を開始する（ステップＳ２３）。ここで、ＣＴＬ演算制御部３６０が送信する位置情報は、上述したように、移動機３１０がＧＰＳ装置３４４により検出した位置情報に限らず、姿勢センサー３４８の検出値を含んでいてもよいし、制御情報を含んでもよい。

ここで、ＣＴＬ演算制御部３６０は、ＨＭＤ１００から、撮像画像データの送信を指示するコマンドを受信したか否かを判定し（ステップＳ２４）、受信していない場合は（ステップＳ２４；Ｎｏ）、受信するまで待機する。撮像画像データの送信を指示するコマンドを受信した場合（ステップＳ２４；Ｙｅｓ）、ＣＴＬ演算制御部３６０は、送信動作を開始する。すなわち、移動機３１０から受信した撮像画像データ、または、受信した撮像画像データに基づき生成した画像データをＨＭＤ１００に送信する動作を開始する（ステップＳ２５）。ここで、ＣＴＬ演算制御部３６０は、例えば、移動機３１０から受信した撮像画像データについて、解像度の変換、フレームレートの変換、画像フォーマットの変換等の画像処理を行い、処理後の画像データをＨＭＤ１００に送信してもよい。

ＣＴＬ演算制御部３６０は、ＨＭＤ１００から、定型動作を指示するコマンドを受信したか否かを判定する（ステップＳ２６）。定型動作を指示するコマンドを受信した場合（ステップＳ２６；Ｙｅｓ）、ＣＴＬ演算制御部３６０は、移動機３１０に対して定型動作を指示する定型動作コマンドを送信する（ステップＳ２７）。その後、ＣＴＬ演算制御部３６０は、動作を終了するか否かを判定し（ステップＳ２８）、動作を終了しない場合は（ステップＳ２８；Ｎｏ）、ステップＳ２６に戻る。また、定型動作を指示するコマンドを受信しない場合（ステップＳ２６；Ｎｏ）、移動機制御部３４１はステップＳ２８に移行する。

図１１は、ＨＭＤ１００の動作を示すフローチャートである。
ＨＭＤ制御部１４１は、ＨＭＤ１００の電源がオンにされると動作を開始し、ＨＭＤ１００の各部の初期化を行い、リモートコントローラー３５０との間で通信を確立する（ステップＳ３１）。次いで、ＨＭＤ制御部１４１は、リモートコントローラー３５０から位置情報を受信する動作を開始する（ステップＳ３２）。

ＨＭＤ制御部１４１は、通常モードで画像表示部２０に画像を表示する。画像表示部２０における表示モードとして、本実施形態では、ＨＭＤ制御部１４１が、通常モードと、撮像画像モードとを切り替えることが可能である。撮像画像モードは、移動機３１０が移動機カメラ３３５により撮像した撮像画像データに基づく画像を、画像表示部２０により表示する動作モードである。通常モードは、移動機ユニット３００とＨＭＤ１００とが通信を実行する状態で、移動機３１０の撮像画像データを表示しない表示モードである。なお、ＨＭＤ１００は、移動機ユニット３００と通信しない状態で、例えばＨＭＤ記憶部１７０に記憶したコンテンツデータを再生する表示等を行うことが可能である。通常モード及び撮像画像モードは、ＨＭＤ１００の使用者がリモートコントローラー３５０を操作して移動機３１０を操縦する場合の表示モードである。

図１２は、ＨＭＤ１００の表示例を示す図であり、通常モードにおける画像表示部２０の表示例を示す。図中、符号ＶＲは、画像表示部２０を装着する使用者の視野を示す。符号Ｖはハーフミラー２６１、２８１により画像を使用者に視認させることが可能な領域であり、言い換えれば画像表示部２０が画像を表示できる表示可能領域である。

通常モードにおいて、表示領域Ｖには、情報表示部Ｉ１、Ｉ２、Ｉ３、及びメニュータブＴＭが配置される。情報表示部Ｉ１は、移動機３１０の位置情報を表示する。情報表示部Ｉ２は、移動機３１０の操縦に関する各種の情報が表示される。例えば、移動機３１０のバッテリー残量の警告等が情報表示部Ｉ２に表示される。情報表示部Ｉ３は、移動機３１０の位置を、予め設定された範囲における位置として示す画像を表示する。メニュータブＴＭは、ＨＭＤ１００の設定等を行うためのメニュー画面（図示略）を呼び出す指示を行う操作用の画像である。例えば、ＨＭＤ制御部１４１がＨＭＤカメラ６１の撮像画像に基づいて、メニュータブＴＭに対する指示体の操作を検出した場合に、メニュー画面を表示することができる。

通常モードでは、表示領域Ｖの中央を避ける位置に情報表示部Ｉ１、Ｉ２、Ｉ３、及びメニュータブＴＭが配置される。このため、表示領域Ｖの中央を含む大部分で、画像表示部２０を透過して外景を視認可能である。このように、通常モードでは、外景すなわち実空間を視認する目的に適した表示が行われる。図１２の例では、飛行する移動機３１０を目視により視認可能であり、使用者は、移動機３１０を視認して、リモートコントローラー３５０を操作し、移動機３１０を操縦できる。

ステップＳ３３で、ＨＭＤ制御部１４１は、通常モードの表示を開始し、リモートコントローラー３５０から受信した位置情報を情報表示部Ｉ１に表示し、受信した位置情報に基づき移動機３１０の位置を示す画像を情報表示部Ｉ３に表示する。また、位置情報に制御情報が含まれる場合は、この制御情報、または、制御情報に基づきＨＭＤ制御部１４１が生成するメッセージ等を情報表示部Ｉ２に表示してもよい。

ＨＭＤ制御部１４１は、操作検出部１５７が検出する操作によって、基準位置の設定が指示されたか否かを判定する（ステップＳ３４）。基準位置の設定は、移動機３１０が移動エリアを飛行する場合において、移動機３１０の位置と、移動エリアとの対応付けを行う処理である。より具体的には、移動機３１０の撮像画像データを利用して移動機３１０の位置を特定するために、移動機３１０の撮像画像データに写る範囲すなわち撮像範囲と、移動エリアとの位置を対応付ける、一種のキャリブレーションである。基準位置の設定を行った後は、移動機３１０の撮像画像データに写る実空間の画像から、撮像を行ったときの移動機３１０の位置や方向を求めることが可能となる。

図１３の模式図には、移動機３１０を移動させる移動エリアの一例として、複数の樹木が植えられている移動エリアＡを示す。図１３の模式図は移動エリアＡを上から見た平面図であり、符号Ｗが木を示し、符号ＴＧは木Ｗに取り付けられたタグを示す。タグＴＧは、木Ｗの幹や枝に取り付けられる目印として機能し、タグＴＧの形状やサイズは任意であるが、移動機カメラ３３５の撮像画像でタグＴＧの画像を検出できるものであることが好ましい。図１３の例では１本の木Ｗに１〜２個のタグＴＧが取り付けられる。移動エリアＡにおける各々のタグＴＧには、識別用の識別情報（ここではＩＤと呼ぶ）が付与される。移動エリアＡにおけるタグＴＧの位置、及び、タグＴＧの識別情報は、エリア内タグデータ１７６（図８）に含まれる。

移動エリアＡには、基準位置を示す基準タグＣＲが設置される。基準タグＣＲは、タグＴＧの一種であるが、移動エリアＡにおいて基準位置とすることが好ましい位置に設置される。後述するように、基準位置を設定する処理では移動機３１０の撮像画像データを利用するので、移動機３１０が撮像しやすい位置に基準タグＣＲが設置されることが好ましく、木Ｗや、その他の移動エリアＡ内の物体の影に隠れないような位置であることが好ましい。基準タグＣＲはタグＴＧの一種であるから、タグＴＧと同様に、基準タグＣＲの識別情報及び基準タグＣＲの位置は、エリア内タグデータ１７６に含まれてＨＭＤ記憶部１７０に記憶される。

なお、図１３は移動エリアＡの一例に過ぎず、タグＴＧは木Ｗに取り付けられるものに限定されない。例えば、タグＴＧは移動エリアＡ内の地面や床面に設置されてもよい。また、移動エリアＡは屋内であってもよく、この場合、タグＴＧや基準タグＣＲは壁面に設置されてもよい。

基準位置の設定が指示されない場合（ステップＳ３４；Ｎｏ）、ＨＭＤ制御部１４１は後述するステップＳ４８に移行する。基準位置の設定が指示された場合（ステップＳ３４；Ｙｅｓ）、ＨＭＤ制御部１４１は、ＨＭＤ記憶部１７０から移動エリアＡに関するデータを取得する（ステップＳ３５）。具体的には、ＨＭＤ制御部１４１は移動エリアデータ１７５、エリア内タグデータ１７６、及び基準移動体位置データ１７７を取得する。

ＨＭＤ制御部１４１は、リモートコントローラー３５０に対して撮像画像の取得を指示するコマンドを生成して送信し（ステップＳ３６）、このコマンドに応じてリモートコントローラー３５０が送信する画像データの取得を開始する（ステップＳ３７）。ＨＭＤ制御部１４１は、表示モードを撮像画像モードに切り替え、リモートコントローラー３５０が受信する画像データに基づく画像の表示を開始する（ステップＳ３８）。

図１４は、ＨＭＤ１００の表示例を示す図であり、撮像画像モードにおける画像表示部２０の表示例を示す。図中、視野ＶＲ及び表示領域Ｖは図１２を参照して説明した通りである。

撮像画像モードでは、表示領域Ｖの中央に、リモートコントローラー３５０から受信した画像データに基づく画像Ｐが表示される。画像Ｐの表示サイズ及び表示位置は予め設定されており、図１４には表示領域Ｖの全面に表示された例を示す。

撮像画像モードにおいて、表示領域Ｖには、通常モードと同様に、情報表示部Ｉ１、Ｉ２、Ｉ３、及びメニュータブＴＭを配置できる。これらの表示位置は、表示領域Ｖの中央を避けた位置であるため、画像Ｐの視認性を大きく損なうおそれはない。また、図１４の例のように画像Ｐを表示領域Ｖの全面に表示する場合、画像Ｐに情報表示部Ｉ１、Ｉ２、Ｉ３、及びメニュータブＴＭが重なって表示される。画像Ｐを表示領域Ｖの一部に表示する場合、情報表示部Ｉ１、Ｉ２、Ｉ３、及びメニュータブＴＭを、画像Ｐを避けた位置に表示してもよい。また、検出制御部１５１が検出する操作に基づき、一時的に、情報表示部Ｉ１、Ｉ２、Ｉ３、及びメニュータブＴＭの表示をオフにしてもよい。

撮像画像モードにおいても、画像表示部２０は外光を透過する構成であるため、画像Ｐ越しに外景を視認可能である。このため、使用者は、撮像画像モードの実行中も、実空間の移動機３１０を視認できるので、移動機３１０を目視により操縦できる。なお、撮像画像モードにおいて、リモートコントローラー３５０が操作された場合に、リモートコントローラー３５０の操作をＨＭＤ制御部１４１が検出して、外景の視認性を高めるように表示を制御してもよい。具体的には、ＨＭＤ制御部１４１は、画像処理またはＯＬＥＤユニット２２１、２４１の発光制御を行って、画像表示部２０に表示する画像Ｐの表示輝度を低下させることにより、外景の視認性を高めてもよい。

基準位置設定を指示した場合、使用者は、移動機３１０を操縦して、基準位置の設定用の画像を撮像できる位置に移動させる。基準位置の設定用の画像を撮像できる位置を、移動機３１０の基準移動体位置という。基準移動体位置は、移動機３１０が撮像する撮像画像に関する条件で規定される。本実施形態では、移動エリアＡのうち基準タグＣＲを含む範囲を撮像可能であり、少なくとも半数以上のタグＴＧの設置位置を含む範囲を撮像可能であることが条件とされる。使用者は、リモートコントローラー３５０を操作して、移動機３１０の位置を、基準移動体位置の条件を満たす位置に調整する。この調整の作業、すなわちリモートコントローラー３５０の操作は、移動機３１０の撮像画像を撮像画像モードで視認しながら行うことができるので、困難性は低い。また、コマンド生成部１５９の機能により、移動機３１０を操縦するコマンドをＨＭＤ制御部１４１が生成して、リモートコントローラー３５０に送信し、移動機３１０を基準移動体位置に移動させる操作を補助してもよい。また、基準移動体位置に移動機３１０を移動させる定型動作を指示するコマンドをコマンド生成部１５９が生成して送信し、自動的に移動機３１０を基準移動体位置に移動させてもよい。

図１４には、移動機３１０が基準移動体位置に移動した場合の撮像画像データに基づく画像Ｐを表示した状態を示す。画像Ｐには、移動エリアＡに植えられた木Ｗが写っており、複数のＴＧの位置を含む範囲が撮像されたことが明らかであり、基準タグＣＲが撮像されている。

ＨＭＤ制御部１４１は、検出制御部１５１により、使用者が行う基準位置指定操作を検出したか否かを判定する（ステップＳ３９）。基準位置指定操作は、移動機３１０の撮像画像における基準タグＣＲの位置を指定する操作であり、例えば、ＨＭＤカメラ６１の撮像範囲において、使用者の手や指などの指示体を移動させる操作や、トラックパッド１４に対する位置指示操作である。

図１４には、基準位置指定操作を行う指示体Ｈを示す。指示体Ｈは実空間の物体であるから画像表示部２０を透過して視認される。ＨＭＤ制御部１４１は、検出制御部１５１により指示体Ｈの位置を検出し、検出した位置に対応して基準位置マーカーＣＲＡを表示する。使用者が指示体Ｈを動かすと、指示体Ｈの検出位置すなわち操作位置に対応して、基準位置マーカーＣＲＡが移動する。使用者は、基準位置マーカーＣＲＡが、画像Ｐにおける基準タグＣＲに重なるように、指示体Ｈで操作を行う。そして、基準位置マーカーＣＲＡが基準タグＣＲに重なった状態で使用者が確定操作を行うと、基準位置マーカーＣＲＡの位置が、使用者が指定した位置として特定される。

ここで、基準位置マーカーＣＲＡは、いわゆるポインターとして機能し、使用者の操作（ここでは指示体Ｈの位置）に対応する位置に表示される。基準位置マーカーＣＲＡは、３Ｄのように立体表示されるＡＲ画像、ＡＲマーカーとすることもできる。例えば、デジタルカメラの焦点合わせで使用されるオートフォーカス技術を適用して、基準位置マーカーＣＲＡが基準タグＣＲに近づいた状態で使用者が確定操作を行うと、実物の基準マーカーに重なった事が容易に判るようにしてもよい。また、例えば、指示体Ｈの位置に基づき標的範囲をサークルで囲んで表示し、標的を捕捉すると基準位置マーカーＣＲＡが点滅する、標的範囲内の対象物上の位置に合わせて表示する、標的範囲内の対象物に重なったときに音声を出力する等の補助動作を行ってもよい。これにより、例えば、柿等の果樹が位置する果樹園や畑において、対象物である柿等の木の高さ等を等高線のように表示してもよい。また、大きな畑や市街地を対象とする場合において、基準タグＣＲは、１つだけではなく複数あっても良い。

ＨＭＤ制御部１４１は、使用者が行う基準位置指定操作を検出した場合（ステップＳ３９；Ｙｅｓ）、使用者が指定した操作位置を特定して取得する（ステップＳ４１）。ステップＳ４１で取得する位置は、使用者が指定した基準位置マーカーＣＲＡの位置である。ＨＭＤ制御部１４１は、基準位置マーカーＣＲＡの位置に基づき、基準移動体位置に関する基準移動体位置データ１７７を生成する（ステップＳ４１）。

ステップＳ４１で、まず、ＨＭＤ制御部１４１は、画像Ｐと基準位置マーカーＣＲＡとの相対位置を特定する。次に、ＨＭＤ制御部１４１は、画像Ｐに含まれる目印となる物体の画像を検出して、検出した画像の位置を特定する。目印となる物体は、例えば、木ＷやタグＴＧである。ＨＭＤ制御部１４１は、画像Ｐで特定した物体の画像Ｐにおける位置と、基準位置マーカーＣＲＡの位置とに基づき、移動エリアＡに対する移動機３１０の相対位置、及び、方向を算出する。ここで、ＨＭＤ制御部１４１は、移動機カメラ３３５のズーム機構３３７のズーム倍率を加味した演算を行ってもよい。この処理により、基準移動体位置と移動機３１０の撮像画像データとの対応付けがなされ、基準移動体位置データ１７７が生成される。

移動機３１０は、ＧＰＳ装置３４４を備えており、移動機３１０の位置について緯度、経度、高度等の情報を得ることができる。しかしながら、移動機３１０を屋内の移動エリアＡで移動させる場合や、非常に高い精度で移動機３１０の位置を検出したい場合など、ＧＰＳ装置３４４以外の方法により、移動機３１０の位置を求めることのニーズがある。本実施形態では、移動機３１０が撮像する撮像画像データに基づいて、撮像を行ったときの移動機３１０の位置および方向を特定する。この特定を可能とするために、実空間である移動エリアＡと、移動機３１０の撮像画像データとを対応付けるため、使用者に指示体Ｈによる操作を行わせて、基準位置マーカーＣＲＡを基準タグＣＲに合わせる操作をさせる。このように、ＨＭＤ制御部１４１が画像表示部２０に画像Ｐを表示させた状態で、画像表示部２０に表示させるマーカーである基準位置マーカーＣＲＡにより、位置を指定させることで、実空間と画像Ｐとの対応付けを高精度で、容易に行える。

ＨＭＤ制御部１４１は、基準移動体位置データ１７７を生成し、ＨＭＤ記憶部１７０に記憶または上書きした後、基準移動体位置からの移動機３１０の移動量の検出を開始する（ステップＳ４２）。ＨＭＤ制御部１４１は、移動機３１０が検出するＧＰＳ装置３４４の位置情報や姿勢センサー３４８の検出値等の差分を求める処理や積算する処理等により、時間の経過に伴う移動機３１０の移動量と、移動方向を積算する。

ＨＭＤ制御部１４１は、基準移動体位置と、基準移動体位置からの移動機３１０の移動量および移動方向の積算値に基づいて、移動エリアＡにおける移動機３１０の位置を算出する（ステップＳ４３）。
そして、ＨＭＤ制御部１４１は、算出した移動機３１０の位置と、移動機３１０が撮像する撮像範囲とを、画像表示部２０により表示する。

また、ＨＭＤ制御部１４１は、移動機３１０の位置および方向を算出した場合に、算出した移動機３１０の位置及び／または方向と、移動機３１０の撮像画像データとを対応付けてＨＭＤ記憶部１７０に記憶してもよい。そして、移動機３１０の位置及び／または方向をもとに、移動機３１０の撮像画像データをＨＭＤ記憶部１７０から読み出して、画像表示部２０によって表示可能としてもよい。また、移動機３１０の位置及び／または方向と移動機３１０の撮像画像データとをパーソナルコンピューター等に出力可能な構成としてもよい。

図１５は、ＨＭＤ１００の表示例を示す図であり、移動機３１０の撮像画像とともに移動機３１０の位置等を表示した例を示す。
図１５には、１つの木Ｗの側方から移動機３１０が撮像した撮像画像データに基づく画像Ｐが表示される。表示領域Ｖには、情報表示部Ｉ１、Ｉ２、Ｉ３が配置され、ＧＰＳ装置３４４が検出した移動機３１０の位置等が表示される。さらに、表示領域Ｖには情報表示部Ｉ４が配置される。情報表示部Ｉ４は移動エリアＡにおける移動機３１０の相対位置を図案化して示す。また、情報表示部Ｉ４では、移動機３１０が移動機カメラ３３５により撮像する撮像範囲、或いは撮像方向が図案化して示される。使用者は、移動機３１０が撮像した撮像画像データを表示領域Ｖで確認し、この撮像画像データが、どの位置から撮像されたものかを情報表示部Ｉ４の表示により知ることができる。

ＨＭＤ制御部１４１は、ステップＳ４３で求めた移動機３１０の撮像範囲にタグＴＧが含まれるか否かを、エリア内タグデータ１７６等に基づき判定する（ステップＳ４５）。タグＴＧが含まれない場合（ステップＳ４５；Ｎｏ）、ＨＭＤ制御部１４１は後述するステップＳ４７に移行する。また、タグＴＧが含まれる場合（ステップＳ４５；Ｙｅｓ）、ＨＭＤ制御部１４１は、撮像画像データにおけるタグＴＧの位置に重ねて、タグＴＧのＩＤを表示する（ステップＳ４６）。ここで、タグＴＧのＩＤは、実空間のタグＴＧ及び撮像画像データに写るタグＴＧにおいては目視できないが、ＨＭＤ制御部１４１がＩＤをタグＴＧに重ねて表示することで、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒａｌｉｔｙ）表示の視覚効果を得られる。これにより、使用者は、撮像画像データに基づく画像を見ることで、タグＴＧに関する情報を得ることができる。

ＨＭＤ制御部１４１は、撮像画像モードの終了の指示の有無を判定し（ステップＳ４７）、撮像画像モードの終了の指示があった場合は（ステップＳ４７；Ｙｅｓ）、ステップＳ３３に移行して、表示モードを通常モードに切り替える。また、撮像画像モードの終了の指示がない場合（ステップＳ４７；Ｎｏ）、ＨＭＤ１００の動作を終了するか否かを判定する（ステップＳ４８）。動作を終了しない場合は（ステップＳ４８；Ｎｏ）、ステップＳ３９に戻る。

以上説明したように、本発明を適用した実施形態のＨＭＤ１００は、使用者の頭部に装着される画像表示部２０と、移動機３１０が送信する撮像画像を受信するＨＭＤ通信部１１７とを備える。ＨＭＤ１００は、ＨＭＤ通信部１１７により受信した撮像画像に基づき実空間における移動機３１０の位置を推定する位置推定部１５５を備える。また、ＨＭＤ１００は、ＨＭＤ通信部１１７により受信した撮像画像と、位置推定部１５５により推定した移動機３１０の位置に関する情報とを画像表示部２０に表示させる表示制御部１４７と、を備える。

本発明を適用したＨＭＤ１００、及び、ＨＭＤ１００の制御方法によれば、移動機３１０が撮像した撮像画像を、移動機３１０の位置と共に表示できる。これにより、ユーザーが、移動機３１０の位置と撮像画像との対応を容易に把握することができる。従って、例えば、移動機３１０の位置を確認してから撮像を行うことができ、移動機３１０が撮像する撮像画像の有用性を高めることが期待できる。

また、位置推定部１５５は、予め定められた範囲を移動機３１０が撮像した基準撮像画像に基づいて、基準撮像画像を撮像した際の移動機３１０の位置を特定して基準移動体位置を設定し、基準移動体位置に基づき移動機３１０の位置を推定する。これにより、例えば基準移動体位置からの移動機３１０の移動量および移動方向を利用する方法等により、移動機３１０の位置を容易に推定できる。

また、ＨＭＤ通信部１１７は、移動機３１０が送信する位置情報を受信し、位置推定部１５５は、ＨＭＤ通信部１１７により受信した位置情報に基づき、基準移動体位置からの移動機３１０の移動量を求めることにより、移動機３１０の位置を推定する。これにより、移動機３１０の位置を容易に、精度良く推定できる。

また、位置推定部１５５は、ＨＭＤ通信部１１７により撮像画像を受信した場合に、受信した撮像画像と基準撮像画像とに基づいて移動機３１０の位置を推定する。これにより、移動機３１０が送信する撮像画像を用いることにより、移動機３１０の位置を容易に推定できる。

また、表示制御部１４７は、移動機３１０の位置に関する情報として、移動機３１０の撮像方向、撮像倍率、移動機３１０の高度、基準移動体位置からの移動量の少なくともいずれかを表示する。これにより、移動機３１０の撮像方向、撮像倍率、移動機３１０の高度、基準移動体位置からの移動量等を表示して、表示装置のユーザーに対して適切に情報を提供できる。

ここで、移動機３１０の位置に関する情報は、上述した移動機位置情報を含んでもよく、その他、移動機３１０の環境や状況に関する移動機状況情報を含んでもよい。移動機状況情報は、移動機３１０の位置に関連する情報を含んでもよい。例えば、移動機３１０の近傍または直下の施設名や建物名等の周辺施設に関する情報を含んでもよい。また、移動機状況情報は、移動機３１０の環境に関する情報（天気（天候）、温度、湿度、風速、風向、降雨量等）を含んでもよい。

また、移動機３１０の位置に関する情報は、移動機３１０の周囲の状況について移動機３１０の移動機制御部３４１が判定処理あるいは分析処理を行った処理結果を含んでもよい。すなわち、移動機制御部３４１が判定する周囲の天候や、天候の予測結果を含んでよい。また、移動機３１０の近傍に位置する植物、建物、設備など予め設定された監視対象物についての情報を含んでもよい。具体例としては、果樹園において移動機３１０の近傍または撮像範囲内の樹木または果物の最適摘果時期を示す情報、建物や橋梁或いは道路構造物などの建造物の劣化検査において監視対象の建造物のセメント剥がれの有無等を示す情報を含んでもよい。また、最適摘果時期や修繕の有無などをＨＭＤ１００の使用者に問いかけるメッセージ等を含んでもよく、ＨＭＤ１００が、これら移動機３０１が送信する情報をＡＲ表示する構成が考えられる。例えば、移動機３１０の位置を示す情報として、タグ（図に示すタグＴＧ）を基準とする「南１０ｍ、高さ３ｍ」等の情報をＨＭＤ１００が表示することで、果実の摘果作業、消毒作業の後からの作業の補助として場所と情報を簡単につなげることが可能となり、非常に有用である。また、例えば、建造物の劣化検査における道路、建造物の補修の場所特定をアシストする用途にも利用できる。さらに、移動機３１０の位置に関する情報を、移動機３１０の移動と連動させ、図１５に示した情報表示部Ｉ４の表示のような状態とマップ表示とを連動させ、撮像後に同じ場所をＨＭＤ１００の使用者が見回るとその場所が一目瞭然にＡＲ重畳画像（マーカーでも良い）として表示されて対象位置が即座に判るような作業支援的な用途でも利用できる。

また、移動機３１０は、移動機３１０の位置に関する情報に加え、機体状態情報として、現在位置、高度、速度、移動方向等以外に、移動機３１０の姿勢、バッテリー残量等の情報や、無線機器等の操作するためのリモコンの電波強度等の情報を送信してもよい。例えば、移動機３１０からの無線通信の電波強度等によっても移動機３１０とＨＭＤ１００の視界方向との相対的な位置関係を特定できる。また、携帯電話機用の基地局が発する電波の受信強度を利用してもよい。

また、ＨＭＤ１００は、ＨＭＤ通信部１１７により受信した撮像画像における位置を指定する操作検出部１５７を備える。位置推定部１５５は、撮像画像を撮像したときの移動機３１０の位置に基づいて、操作検出部１５７により指定された位置に対応する実空間における位置を推定する。これにより、撮像画像における位置に対応する実空間の位置を推定することにより、ユーザーに対し、撮像画像と実空間との対応に関する情報を提供できる。

また、位置推定部１５５は、検出制御部１５１により指定された位置に対応して推定した実空間における位置を、マーカー位置として設定し、表示制御部１４７は、マーカー位置を画像表示部２０に表示させる。これにより、ユーザーに対し、撮像画像と実空間との対応に関する情報を、画像表示部２０により提供できる。

また、位置推定部１５５は、ＨＭＤ通信部１１７により撮像画像を受信した場合に、受信した撮像画像におけるマーカー位置の相対位置を推定する。表示制御部１４７は、位置推定部１５５により推定した相対位置に基づいて、ＨＭＤ通信部１１７により受信した撮像画像と、マーカー位置を示す表示オブジェクトとを画像表示部２０に表示させる。これにより、指定された位置を示す表示オブジェクトを撮像画像とともに表示することにより、ユーザーに対し、撮像画像と実空間との対応に関する情報を提供できる。

また、ＨＭＤ１００は、操作を受け付ける検出制御部１５１を備え、検出制御部１５１で受け付けた操作に基づき移動機３１０を制御する制御情報をＨＭＤ通信部１１７により送信する。これにより、表示装置に対する操作を移動機３１０の制御に反映させることができ、移動機３１０の操作性の向上を図ることができる。

また、ＨＭＤ１００は、画像表示部２０の動きを検出する動きセンサーとして６軸センサー２３５、及び／または磁気センサー２３７を備える。ＨＭＤ１００は、検出制御部１５１は動きセンサーの検出値に基づき、画像表示部２０の動きによる操作を受け付ける。これにより、画像表示部２０の動きによる操作を移動機３１０の制御に反映させることができ、移動機３１０の操作性の向上を図ることができる。

さらに、移動機制御システム１において、撮像画像モードで画像Ｐを表示中に、検出制御部１５１が位置指示操作を検出した場合に、指示位置に対応する仮想マーカーを設定してもよい。この場合、ＨＭＤ制御部１４１は、画像Ｐにおける指示位置を検出し、その画像Ｐに対応する撮像画像データを撮像したときの移動機３１０の位置および方向に基づき、仮想マーカーの移動エリアＡに対する相対位置を特定する。さらに、特定した位置をＨＭＤ記憶部１７０に記憶する。この構成では、１または複数の仮想マーカーの位置を、例えば情報表示部Ｉ４に表示してもよい。

移動機制御システム１の適用例としては、例えば、野菜や果樹等の農作物を栽培する圃場（農園）において、農作物の生育状況等を移動機３１０の撮像画像データにより監視する用途が挙げられる。この例では、移動エリアＡは圃場の全部または圃場を区分した一部とすることができる。また、タグＴＧは、圃場に存在する農作物である樹木や樹木を指示する什器あるいは支柱等の設置物に取り付けることができる。この場合、移動機３１０の撮像画像データに基づき農作物の状態を目視できる上、撮像画像データが撮像した範囲および移動機３１０の位置を知ることができる。従って、多数の樹木や農作物が存在する圃場において、漏れなく、的確に農作物の状態を目視により確認できる。

また、移動機制御システム１の他の適用例として、建築物、道路、橋梁などの建造物や移動可能な物品の状態を、目視により点検、管理する用途が挙げられる。

ここで、移動機３１０の移動機カメラ３３５は可視光による撮像を行うものに限定されず、赤外光などの可視外光による撮像を行う構成や、超音波等を用いたセンサーであってもよい。例えば、赤外光を照射する光源を移動機３１０に搭載してもよい。これにより、移動機３１０の撮像画像データを用いて、農作物の糖度を検出することができる。また、建造物の点検をする場合において、対象の建造物の探傷検査や、サーモグラフィ技術を利用して温度の測定等を行うことができる。

また、その他の適用例として、スタジアム等の多数の座席を有する大規模施設において、移動機３１０の撮像画像データを利用して場所ごとの混雑度を判定する、道路における渋滞の状況を判定する等の用途が挙げられる。

また、図１２、図１４、図１５等に示したように情報表示部Ｉ３にマップを表示する場合に、移動機３１０の移動方向、すなわち、どちらからどちらへ移動しているかを示すような情報を付加して表示してもよい。例えば、情報表示部Ｉ３に表示するマップ画像に、飛行機雲の画像を付加してもよい。さらに、情報表示部Ｉ３及びその他の表示領域Ｖ内の場所において、実空間の移動機３１０の位置に合わせたＡＲ表示を行ってもよい。このＡＲ表示の具体例として、飛行機雲の画像や、実空間の移動機３１０の進行方向の後に影を付ける、矢印を付加する等の方向性を持った付加画像を付加して表示する態様を用いてもよく、移動機３１０に関する操作が楽になるメリットがある。

上述した実施形態において、操作検出部１５７は、画像表示部２０の動きまたは画像表示部２０に対する操作を検出し、この操作に応じてコマンド生成部１５９が定型動作を指示するコマンドを生成することが可能である。ここで、操作検出部１５７は、ＨＭＤ１００以外の装置による操作を検出してもよい。例えば、使用者が指に装着する指輪型の操作デバイスを用いる例が挙げられる。また、使用者が腕に装着する腕時計型の操作デバイスを用いる例が挙げられる。これらの操作デバイスは、６軸センサー２３５や磁気センサー２３７等の動きセンサーと、動きセンサーの検出値をＨＭＤ１００に送信する送信部とを備えてもよい。この場合、操作デバイスとＨＭＤ通信部１１７とが、Ｂｌｕｅｔｏｏｔｈにより相互に通信可能な構成とすれば、操作検出部１５７が、操作デバイスを動かす操作を検出できる。この場合、操作検出部１５７は、操作デバイスの動きが予め設定された態様である場合に、定型動作を指示するコマンドを生成してもよい。

また、操作検出部１５７は、マイク６３が集音する音声によるコマンド指示を検出してもよい。すなわち、検出制御部１５１は、音声インターフェイス１８２により検出する音声のパターンが、予め設定されたパターンに該当する場合に、定型動作を指示するコマンドを生成してもよい。

また、ＨＭＤ制御部１４１は、表示制御部１４７によって、リモートコントローラー３５０から受信した画像データに基づく画像Ｐを表示する場合に、画像Ｐまたは画像Ｐにおいて含まれるタグＴＧを、立体視が可能な態様で表示してもよい。この構成は、画像処理部１４５が、右表示ユニット２２により表示する画像と左表示ユニット２４により表示する画像とに視差を生じる様に画像を処理することで実現可能である。例えば、図１５に示したタグＴＧのＩＤをＡＲ表示する場合に、視差を付けて表示することができる。この場合、ＨＭＤ１００の使用者に、リアルな現実感を想起させながら画像を見せることができる。

また、ＨＭＤ１００が、他のＨＭＤ１００と無線データ通信可能な場合に、当該他のＨＭＤ１００に、リモートコントローラー３５０からＨＭＤ１００が受信した画像データや、この画像データに移動機３１０の位置を示すデータ等を含めたデータを送信してもよい。この場合、ＨＭＤ１００の使用者が他のＨＭＤ１００の使用者に、移動機３１０の撮像画像データや移動機３１０の位置に関する情報を提供できる。

指示体は、図に示した指示体Ｈのように、人間の指、手等のほか、ＨＭＤ１００を遠隔操作するリモコン装置、指し棒、ペン等であってもよい。また、検出制御部１５１は、エアーマウス等のデバイスの操作を検出してもよく、検出手段としてはＨＭＤカメラ６１の撮像画像を用いることができ、例えばＬＥＤ等の発光体を具備するデバイスを指示体として用いることもできる。

また、ＨＭＤ制御部１４１は、表示領域Ｖに表示する情報表示部Ｉ１、Ｉ２、Ｉ３、Ｉ４に示した情報を、音声により、右イヤホン３２、左イヤホン３４から出力してもよい。この音声は、移動機３１０の飛行中に、移動機３１０の位置に対応して出力してもよい。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式はＨＭＤ通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。例えば、制御装置１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、ＨＭＤカメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、ＨＭＤカメラ６１により撮像する外景の画像と、表示画像とを合成した合成画像を画像表示部２０により表示する構成とすれば、画像表示部２０が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に本発明を適用することも勿論可能である。

上記実施形態では、移動体の一例として、無人飛行体であり、４翼ヘリコプターである移動機３１０を示した。移動体は、これに限定されるものではなく、遠隔操作される自動車や船、ロボット、これらの玩具等の遠隔操作や自動運転される種々の無人の移動体に対しても適用可能である。この場合の移動体は画像を撮像するカメラを有していればよく、ヘリコプター、飛行機、ロケット、潜水艦、人口衛星、バス等の車両、鉄道車両等の移動体が挙げられ、有人であっても無人であってもよく、貨物を搭載してもよい。無人で操縦・操作される機器であっても、輸送対象として人を乗せる構成であってもよい。また、移動体は、トラック（貨物運送用自動車）に付随するクレーンユニット等の付属機器であってもよい。また、シャベルカー、除雪車、草刈機、トラクター、ブルトーザー、コンバイン、耕運機、田植え機、農薬散布機等の作業用車両や作業用（例えば、建設現場用）機器等、農業、林業、漁業、砿業等で使用される機器に適用できる。これらの移動体は遠隔操作利用される機器であってもよく人が搭乗して操縦してもよい。

また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示、或いは仮想画像を表示するＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図２、図７、図８等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、ＨＭＤ制御部１４１が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＨＭＤ通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１…移動機制御システム、１０…制御装置、２０…画像表示部（表示部）、２２…右表示ユニット、２４…左表示ユニット、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、６１…ＨＭＤカメラ、６３…マイク、６４…距離センサー、６４Ａ…検出方向、６５…照度センサー、６８…内側カメラ、１００…ＨＭＤ（表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…ＨＭＤ通信部（通信部）、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４１…ＨＭＤ制御部、１４３…オペレーティングシステム、１４５…画像処理部、１４９…撮像制御部、１５１…検出制御部（受付部）、１５３…通信制御部、１５５…位置推定部、１５６…撮像制御部、１５７…操作検出部（位置指定部）、１５９…コマンド生成部、１７０…ＨＭＤ記憶部、１７１…設定データ、１７２…タッチセンサー、１７３…撮像画像データ、１７４…移動機識別データ、１７５…移動エリアデータ、１７６…エリア内タグデータ、１７７…基準移動体位置データ、１７８…位置履歴データ、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、３００…移動機ユニット、３１０…移動機（移動体）、３３５…移動機カメラ、３５０…リモートコントローラー、Ａ…移動エリア、ＣＲ…基準タグ、ＣＲＡ…基準位置マーカー、Ｉ１…情報表示部、Ｉ２…情報表示部、Ｉ３…情報表示部、Ｉ４…情報表示部、Ｖ…表示領域、ＶＲ…視野。

Claims (10)

1. 使用者の頭部に装着される表示部と、
   移動体が送信する撮像画像を受信する通信部と、
   前記通信部により受信した撮像画像に基づき実空間における前記移動体の位置を推定する位置推定部と、
   前記通信部により受信した撮像画像と、前記位置推定部により推定した前記移動体の位置に関する情報とを前記表示部に表示させる表示制御部と、
   を備え、
   前記通信部は、前記移動体が送信する位置情報を受信し、
   前記位置推定部は、予め定められた範囲を前記移動体が撮像した基準撮像画像に基づいて、前記基準撮像画像を撮像した際の前記移動体の位置を特定して基準移動体位置を設定し、前記通信部により受信した位置情報に基づき、前記基準移動体位置からの前記移動体の移動量を求めることにより、前記移動体の位置を推定する、表示装置。
2. 前記位置推定部は、前記通信部により撮像画像を受信した場合に、受信した前記撮像画像と前記基準撮像画像とに基づいて前記移動体の位置を推定する
   請求項１記載の表示装置。
3. 前記表示制御部は、前記移動体の位置に関する情報として、前記移動体の撮像方向、撮像倍率、前記移動体の高度、前記基準移動体位置からの移動量の少なくともいずれかを表示する
   請求項１または２記載の表示装置。
4. 使用者の頭部に装着される表示部と、
   移動体が送信する撮像画像を受信する通信部と、
   前記通信部により受信した撮像画像に基づき実空間における前記移動体の位置を推定する位置推定部と、
   前記通信部により受信した撮像画像と、前記位置推定部により推定した前記移動体の位置に関する情報とを前記表示部に表示させる表示制御部と、
   前記通信部により受信した前記撮像画像における位置を指定する位置指定部と、を備え、
   前記位置推定部は、前記撮像画像を撮像したときの前記移動体の位置に基づいて、前記位置指定部により指定された位置に対応する実空間における位置を推定する、表示装置。
5. 前記位置推定部は、前記位置指定部により指定された位置に対応して推定した実空間における位置を、マーカー位置として設定し、
   前記表示制御部は、前記マーカー位置を前記表示部に表示させる
   請求項４記載の表示装置。
6. 前記位置推定部は、前記通信部により撮像画像を受信した場合に、受信した前記撮像画像における前記マーカー位置の相対位置を推定し、
   前記表示制御部は、前記位置推定部により推定した相対位置に基づいて、前記通信部により受信した前記撮像画像と、前記マーカー位置を示す表示オブジェクトとを前記表示部に表示させる
   請求項５記載の表示装置。
7. 操作を受け付ける受付部を備え、前記受付部で受け付けた操作に基づき前記移動体を制御する制御情報を前記通信部により送信する
   請求項１から６のいずれか１項に記載の表示装置。
8. 前記表示部の動きを検出する動きセンサーを備え、
   前記受付部は前記動きセンサーの検出値に基づき、前記表示部の動きによる操作を受け付ける
   請求項７記載の表示装置。
9. 使用者の頭部に装着される表示部を備える表示装置の制御方法であって、
   移動体が送信する撮像画像を受信するステップと、
   受信した撮像画像に基づき実空間における前記移動体の位置を推定するステップと、
   前記移動体から受信した撮像画像と、推定した前記移動体の位置に関する情報とを前記表示部に表示するステップと、
   前記移動体が送信する位置情報を受信するステップと、を有し、
   前記移動体の位置を推定するステップは、予め定められた範囲を前記移動体が撮像した基準撮像画像に基づいて、前記基準撮像画像を撮像した際の前記移動体の位置を特定して基準移動体位置を設定し、受信した前記位置情報に基づき、前記基準移動体位置からの前記移動体の移動量を求めることにより、前記移動体の位置を推定する、表示装置の制御方法。
10. 使用者の頭部に装着される表示部を備える表示装置の制御方法であって、
    移動体が送信する撮像画像を受信するステップと、
    受信した撮像画像に基づき実空間における前記移動体の位置を推定するステップと、
    前記移動体から受信した撮像画像と、推定した前記移動体の位置に関する情報とを前記表示部に表示するステップと、
    受信した前記撮像画像における位置を指定するステップと、を有し、
    前記移動体の位置を推定するステップは、前記撮像画像を撮像したときの前記移動体の位置に基づいて、指定された位置に対応する実空間における位置を推定する、表示装置。
    

Images