JP7334521B2 - ヘッドモーショントラッカ装置 - Google Patents

Description

本発明は、ヘッドモーショントラッカ装置に関する。

従来、頭部の位置および角度を算出するヘッドモーショントラッカ装置が知られている（たとえば、特許文献１参照）。

上記特許文献１のヘッドモーショントラッカ装置は、パイロットの頭部に装着される頭部装着体を備える。頭部装着体には、光線を出射する複数の頭部装着体発光部が設けられている。また、パイロットが搭乗するコックピット内にはカメラ装置が取り付けられている。また、ヘッドモーショントラッカ装置は、カメラ装置により取得される画像において映し出される頭部装着体発光部の位置情報に基づいて、カメラ装置に対するパイロットの頭部（頭部装着体）の位置および角度を含む相対情報を算出する相対情報算出部を備える。

特開２００９－１０９３１９号公報

しかしながら、上記特許文献１に記載されているヘッドモーショントラッカ装置では、カメラ装置がコックピット内に取り付けられているので、頭部の動きを適切に検出するために、カメラ装置の取り付け位置およびカメラ装置の取り付け方法の検討を行う必要がある。この場合、既存のコックピットにカメラ装置を後から取り付ける場合において、コックピットの形状、大きさ、および、コックピット内の装備品の位置等に起因して、カメラ装置を適切に取り付けるのが困難な場合がある。そこで、カメラ装置（撮像部）の取り付けを容易化しながら、頭部の動きを検出することが可能なヘッドモーショントラッカ装置が望まれていた。

この発明は、上記のような課題を解決するためになされたものであり、撮像部の取り付けを容易化しながら、頭部の動きを検出することが可能なヘッドモーショントラッカ装置を提供することである。

上記目的を達成するために、この発明の一の局面におけるヘッドモーショントラッカ装置は、装着者の頭部に装着され、画像を撮像する撮像部を含む頭部装着部と、頭部装着部の周囲の特徴点の情報を含む周囲環境情報が予め記憶されている記憶部と、信号処理部と、を備え、頭部装着部は、撮像部の傾斜角度、撮像部の向き、頭部装着部の加速度、および、頭部装着部の角速度のうちの少なくとも１つを検出するセンサを含み、信号処理部は、現在のフレームにおいて撮像部により撮像された現フレーム画像と、現在のフレームよりも前の前フレームにおける頭部の位置および角度とセンサの検出値とに基づく現在のフレームの頭部の概略的な位置および概略的な角度に対応する記憶部に記憶されている周囲環境情報、または、現在のフレームよりも前の前フレームにおいて撮像部により撮像された前フレーム画像とに基づいて、現在のフレームにおける頭部の位置および角度を算出し、信号処理部は、現在のフレームの頭部の位置および角度に対応する周囲環境情報が記憶部に記憶されていない場合に、周囲環境情報が記憶部に記憶されている頭部の位置および角度と、周囲環境情報が記憶部に記憶されている頭部の位置からの頭部の移動量と、現フレーム画像とに基づいて、現在のフレームの頭部の位置および角度を算出するとともに現在のフレームの周囲環境情報の作成および記憶部への登録を行うように構成されている。

本発明によれば、上記のように、撮像部が頭部装着部に含まれている。これにより、頭部装着部以外の場所（たとえば、コックピット内の所定箇所）に撮像部が設けられる場合と異なり、頭部の周囲の状態（たとえば、装着者がいる部屋（コックピットなど）の形状、大きさ、上記部屋内の装備品等の位置）によって、撮像部の取り付け位置および撮像部の取り付け方法を検討する必要がない。なお、撮像部が頭部装着部に含まれている場合でも、撮像部により撮像された現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部の位置および角度を算出することができる。その結果、撮像部の取り付けを容易化しながら、頭部の動きを検出することができる。

一実施形態による操縦者が航空機の搭乗している状態を示した図である。 一実施形態によるヘッドモーショントラッカ装置の構成を示した概略図である。 一実施形態によるヘッドモーショントラッカ装置の構成を示したブロック図である。 一実施形態による現フレーム画像と前フレーム画像との比較を行う場合の制御を示すフロー図である。 一実施形態による現フレーム画像と周囲環境情報との比較を行う場合の制御を示すフロー図である。 一実施形態による周囲環境情報が記憶されていない領域において頭部の位置および角度を算出する方法を説明するための図である。 一実施形態における周囲環境情報のアライメント情報を取得する方法を説明するための図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

［本実施形態］
図１～図７を参照して、ヘッドモーショントラッカ装置（頭部位置角度検出装置）１００について説明する。本実施形態では、ヘッドモーショントラッカ装置１００が、航空機２００において適用される例について説明する。なお、航空機２００は、特許請求の範囲の「機体」の一例である。

図１に示すように、ヘッドモーショントラッカ装置１００は、頭部装着部１を備える。頭部装着部１は、ヘルメット形状を有しているが、ヘッドギア形状を有していてもよい。頭部装着部１は、航空機２００を操縦する操縦者２０１の頭部２０１ａに装着される。なお、操縦者２０１は、特許請求の範囲の「装着者」の一例である。

また、頭部装着部１には、操縦者２０１の眼前に設けられるバイザー２が設けられる。バイザー２を介して、操縦者２０１が航空機２００の操縦を補助する情報（たとえば機体姿勢および速度等のシンボル）が表示される。この表示を視認することにより、操縦者２０１は、航空機２００の機体姿勢および速度等を調整することが可能となる。

図２に示すように、頭部装着部１には、カメラ３が設けられている。すなわち、カメラ３は、頭部装着部１と一体的に設けられている。ここで、本実施形態では、カメラ３は、頭部装着部１に複数（本実施形態では２つ）設けられている。２つのカメラ３は、頭部装着部１の前面において水平方向に並んで設けられている。なお、カメラ３の頭部装着部１における配置場所および並び方はこれに限られない。また、カメラ３のレンズの種類は限定されず、たとえば、広角レンズおよび魚眼レンズ等により構成されていてもよい。なお、カメラ３は、特許請求の範囲の「撮像部」の一例である。

また、頭部装着部１には、近赤外光を照射する近赤外ＬＥＤ４が設けられている。近赤外ＬＥＤ４は、頭部装着部１に２つ設けられている。具体的には、水平方向において頭部装着部１の一方側に設けられている近赤外ＬＥＤ４は、頭部装着部１の一方側に設けられているカメラ３の撮像方向に近赤外光を照射する。また、水平方向において頭部装着部１の他方側に設けられている近赤外ＬＥＤ４は、頭部装着部１の他方側に設けられているカメラ３の撮像方向に近赤外光を照射する。頭部装着部１の一方側に設けられるカメラ３と近赤外ＬＥＤ４は隣接するように設けられ、頭部装着部１の他方側に設けられるカメラ３と近赤外ＬＥＤ４は隣接するように設けられている。なお、近赤外ＬＥＤ４および近赤外光は、それぞれ、特許請求の範囲の「光源部」および「非可視光」の一例である。

また、本実施形態では、カメラ３は、可視領域の波長から非可視領域の波長までの光を検出可能に構成されている。具体的には、カメラ３は、可視光および近赤外光の検出が可能に構成されている。

また、ヘッドモーショントラッカ装置１００は、近赤外ＬＥＤ４から照射される近赤外光を照射方向（カメラ３側）に反射する再帰性反射体５を備える。再帰性反射体５とは、光が入射された方向（照射方向）に光を反射させる反射体を意味する。再帰性反射体５は、航空機２００のコックピット２００ａ内の機体フレーム２００ｂ、キャノピー２００ｃ、および、ウィンドウ２００ｄ（図１参照）の各々に取り付けられている。なお、再帰性反射体５は、操縦者２０１の視認性を阻害しなければ、機体フレーム２００ｂ、キャノピー２００ｃ、および、ウィンドウ２００ｄ以外の場所にも取り付けられていてもよい。

また、再帰性反射体５は、透明な材質により形成されている。また、再帰性反射体５は、裏面に粘着テープ等が設けられたシート状の反射体であり、機体フレーム２００ｂ、キャノピー２００ｃ、および、ウィンドウ２００ｄの各々に貼り付けられている。

図３に示すように、頭部装着部１は、センサ６を含む。センサ６は、２つのカメラ３の各々に設けられている第１センサ６ａを含む。第１センサ６ａは、カメラ３の傾斜角度および向きを検出する。

また、センサ６は、第２センサ６ｂを含む。第２センサ６ｂは、頭部装着部１の加速度および角速度を検出する。

また、ヘッドモーショントラッカ装置１００は、信号処理部７を備える。信号処理部７は、頭部装着部１に内蔵されている。信号処理部７は、制御部７ａと、画像処理部７ｂと、センサデータ処理部７ｃと、記憶部７ｄと、比較部７ｅと、頭部角度位置算出部７ｆと、を含む。

制御部７ａは、カメラ３および近赤外ＬＥＤ４の各々に制御信号を送信するように構成されている。具体的には、制御部７ａは、たとえば、カメラ３および近赤外ＬＥＤ４の各々のオンオフを制御する信号、および、近赤外ＬＥＤ４の発光強度等を制御する信号を送信する。

具体的には、制御部７ａは、夜間等の周囲が暗い場合には、近赤外ＬＥＤ４をオンさせる制御信号を送る。また、昼間等の周囲が明るい場合にも近赤外ＬＥＤ４をオンさせてもよい。なお、近赤外ＬＥＤ４は、近赤外光の波長が８５０ｎｍ以上であるように構成されている。また、近赤外ＬＥＤ４は、夜間等の周囲が暗い場合で暗視機能を使用する用途では、９３０ｎｍ以上の波長の近赤外光を使用可能に構成されている。これにより、夜間等において、近赤外ＬＥＤ４からの近赤外光による暗視機能等への影響を低減することが可能である。

また、画像処理部７ｂは、２つのカメラ３の各々により撮像された画像に基づいて、画像処理を行うように構成されている。たとえば、画像処理部７ｂは、画像における光学歪補正および特徴点抽出等を行う。

また、センサデータ処理部７ｃは、第１センサ６ａおよび第２センサ６ｂの各々の検出値（センサデータ）に基づいて、処理を行うように構成されている。

また、記憶部７ｄには、頭部装着部１の周囲の特徴点の情報を含む周囲環境情報が記憶されている。具体的には、周囲環境情報とは、周囲の特徴点の、所定の機体の基準座標における３次元座標情報である。また、周囲環境情報とは、所定の角度に傾いた頭部２０１ａにおいて、所定の位置からカメラ３により画像（頭部２０１ａの周囲の環境）を撮像した場合に撮像された画像において、上記特徴点が取得される位置の情報（画像上における位置の情報）に換算可能な情報を少なくとも含む。また、周囲環境情報は、上記特徴点が取得される位置の情報に加えて、上記特徴点の大きさの情報等を含んでいてもよい。また、カメラ３により取得された後述する前フレーム画像または画像中の特徴点は、記憶部７ｄに格納される。

ここで、本実施形態では、周囲環境情報は、操縦者２０１の周囲に設けられた装備品の少なくとも位置情報を含む。たとえば、周囲環境情報は、再帰性反射体５の位置情報、機体フレーム２００ｂの位置情報、キャノピー２００ｃの位置情報、および、ウィンドウ２００ｄの位置情報等を含む。なお、機体フレーム２００ｂ、キャノピー２００ｃ、ウィンドウ２００ｄ、および、再帰性反射体５の各々は、上記装備品の一例である。なお、周囲環境情報は、コックピット２００ａの壁面、天井面、および、角部等の位置情報等を含んでいてもよい。

また、比較部７ｅは、現在のフレームにおいてカメラ３により撮像された画像（以下、現フレーム画像）と、現在のフレームよりも前のフレームにおいてカメラ３により撮像された画像（以下、前フレーム画像）とを比較するように構成されている。また、比較部７ｅは、現フレーム画像と、記憶部７ｄに記憶された周囲環境情報とを比較するように構成されている。なお、カメラ３のフレームレートは、たとえば６０Ｈｚ以上である。

また、頭部角度位置算出部７ｆは、比較部７ｅによる比較結果に基づいて、頭部２０１ａ（頭部装着部１）の角度および位置を算出するように構成されている。頭部角度位置算出部７ｆにより算出された頭部２０１ａの角度および位置の情報は、ＨＭＤ回路（図示せず）を含む装置（図示せず）に送信される。上記ＨＭＤ回路は、送信された頭部２０１ａの角度および位置の情報に基づいて、バイザー２を介して操縦者２０１に表示する画像を作成する。なお、上記ＨＭＤ回路を含む装置は、頭部装着部１の外部および内部のいずれに設けられていてもよい。

ここで、本実施形態では、信号処理部７は、現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部２０１ａの位置および角度を算出するように構成されている。具体的には、信号処理部７は、現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とを比較することにより、現在のフレームにおける頭部２０１ａの位置および角度を算出するように構成されている。なお、信号処理部７は、上記比較において、周囲環境情報および前フレーム画像のうちのいずれを使用するかを切り替えるように構成されていてもよいし、いずれか一方のみを使用するように構成されていてもよい。

（現フレーム画像と前フレーム画像との比較による算出）
図４を参照して、現フレーム画像と前フレーム画像とを比較することにより、現在のフレームにおける頭部２０１ａの位置および角度を算出する場合の信号処理部７の制御について説明する。

図４に示すように、ステップＳ１において、信号処理部７（頭部角度位置算出部７ｆ）は、初期のフレームの画像（以下、初期フレーム画像）と周囲環境情報とに基づいて、初期のフレームにおける頭部２０１ａの位置および角度の基準値を算出するように構成されている。具体的には、信号処理部７（頭部角度位置算出部７ｆ）は、初期フレーム画像において取得された所定の特徴点（たとえば再帰性反射体５）と、所定の角度で所定の位置に設けられている頭部２０１ａに対応する周囲環境情報に含まれる上記所定の特徴点の位置情報等とを比較する。この比較結果により算出される上記所定の特徴点の位置および大きさ等の変化量に基づいて、上記周囲環境情報に対応する上記所定の角度および上記所定の位置と、初期のフレームにおける頭部２０１ａの位置および角度との差異が検出される。その結果、初期のフレームにおける頭部２０１ａの位置および角度（基準値）が算出される。

次に、ステップＳ２において、本実施形態では、信号処理部７（頭部角度位置算出部７ｆ）は、上記基準値、および、前フレーム画像と現フレーム画像との比較結果に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するように構成されている。

具体的には、信号処理部７（頭部角度位置算出部７ｆ）は、上記基準値、および、初期フレーム画像と初期のフレームの次のフレーム（以下、Ｎ１フレーム）における画像との比較結果に基づいて、Ｎ１フレームにおける頭部２０１ａの位置および角度を算出する。具体的な算出方法としては、上記ステップＳ１で説明した方法と同様である。すなわち、初期フレーム画像において取得された所定の特徴点（たとえば再帰性反射体５）と、Ｎ１フレーム画像において取得された上記所定の特徴点とが比較される。この比較結果により算出される上記所定の特徴点の位置および大きさ等の変化量に基づいて、初期フレームにおける頭部２０１ａの位置および角度と、Ｎ１フレームにおける頭部２０１ａの位置および角度との差異（すなわち頭部２０１ａの位置および角度の各々の変化量）が検出される。その結果、Ｎ１フレームにおける頭部２０１ａの位置および角度が算出される。

次に、Ｎ１フレームにおける頭部２０１ａの位置および角度を基準値として、Ｎ１フレームの画像とＮ１フレームの次のフレーム（以下、Ｎ２フレーム）の画像との比較結果に基づいて、Ｎ２フレームにおける頭部２０１ａの位置および角度が算出される。このように、フレーム間の画像の比較が各フレームにおいて行われることによって、各フレームにおける頭部２０１ａの位置および角度が算出される。これにより、現在のフレームの頭部２０１ａの位置および角度が算出される。

（現フレーム画像と周囲環境情報との比較による算出）
次に、図５を参照して、現フレーム画像と周囲環境情報とを比較することにより、現在のフレームにおける頭部２０１ａの位置および角度を算出する場合の信号処理部７の制御について説明する。

まず、ステップＳ１１において、信号処理部７（頭部角度位置算出部７ｆ）は、初期のフレームの画像（以下、初期フレーム画像）と周囲環境情報とに基づいて、初期のフレームにおける頭部２０１ａの位置および角度の基準値を算出するように構成されている。この制御は、上記ステップＳ１と同じであるので、詳細な説明は省略する。

次に、ステップＳ１２において、信号処理部７（頭部角度位置算出部７ｆ）は、前フレームにおける頭部２０１ａの位置および角度と、センサ６の検出値とに基づいて、現在のフレームの頭部２０１ａの概略的な位置および概略的な角度を算出する。この際、センサ６の検出値として、第１センサ６ａにより検出されたカメラ３の傾斜角度および向きのデータと、第２センサ６ｂにより検出された頭部装着部１の加速度および角速度のデータとが用いられる。

次に、ステップＳ１３において、本実施形態では、信号処理部７は、現フレーム画像と、頭部２０１ａの上記概略的な位置および上記概略的な角度に対応する周囲環境情報とを比較することにより、現在のフレームの頭部２０１ａの位置および角度を算出するように構成されている。具体的には、信号処理部７は、記憶部７ｄ（図３参照）に記憶されている周囲環境情報のうち、頭部２０１ａの上記概略的な位置および上記概略的な角度に対応する周囲環境情報を取得する（読み出す）とともに、記憶部７ｄから取得された（読み出された）周囲環境情報と、現フレーム画像との比較を行う。

詳細には、信号処理部７（頭部角度位置算出部７ｆ）は、現フレーム画像において取得された所定の特徴点（たとえば再帰性反射体５）と、上記概略的な位置および上記概略的な角度に対応する周囲環境情報に含まれる上記所定の特徴点の位置情報等とを比較する。この比較結果により算出される上記所定の特徴点の位置等の差異に基づいて、上記周囲環境情報と、現在のフレームにおける頭部２０１ａの位置および角度との差異が検出される。その結果、現在のフレームにおける頭部２０１ａの位置および角度が算出される。なお、ステップＳ１２において用いられた前フレームにおける頭部２０１ａの位置および角度は、ステップＳ１１において算出された基準値に基づいて、ステップＳ１３の制御がフレーム毎に繰り返し行われることにより算出されている。

また、ヘッドモーショントラッカ装置１００（信号処理部７）では、現フレーム画像と前フレーム画像との比較を行う制御と、現フレーム画像と周囲環境情報との比較を行う制御との切り替え可能に構成されていてもよい。たとえば、通常時は現フレーム画像と周囲環境情報との比較が行われる一方、第１センサ６ａまたは第２センサ６ｂの情報から周囲環境情報の取得ができなかった場合などに、現フレーム画像と前フレーム画像との比較を行う制御に切り替えられるように構成されていてもよい。また、通常時は現フレーム画像と前フレーム画像との比較が行われる一方、カメラ３により前フレーム画像が撮像されなかった場合などに、現フレーム画像と周囲環境情報との比較を行う制御に切り替えられるように構成されていてもよい。なお、途中で制御が切り替えられる場合は、上記ステップＳ１（図４参照）およびステップＳ１１（図５参照）の制御は行わなくてもよい。また、現フレーム画像と前フレーム画像との比較を行う制御と、現フレーム画像と周囲環境情報との比較を行う制御のうちのいずれか一方の制御のみが行われるように構成されていてもよい。

また、本実施形態では、信号処理部７は、現在のフレームの頭部２０１ａの位置および角度の算出が所定の時間（たとえば１フレーム）内に行われなかった場合に、センサ６の検出値に基づいて補間を行うように構成されている。信号処理部７は、上記補間を行うことにより、前フレームにおける頭部２０１ａの位置および角度から、現在のフレームの頭部２０１ａの位置および角度を算出するように構成されている。具体的には、信号処理部７は、現在のフレームの頭部２０１ａの位置および角度の算出が所定の時間内に行われなかった場合に、前フレームにおける頭部２０１ａの位置および角度と、第２センサ６ｂにより検出された頭部装着部１の加速度および角速度とに基づいて、現在のフレームの頭部２０１ａの位置および角度を補間により算出する。

この場合、信号処理部７に設けられる図示しないタイマ等により、上記算出が所定の時間内に行われたか否かを検知可能に構成されていてもよい。なお、現在のフレームの頭部２０１ａの位置および角度の算出が所定の時間内に行われない場合とは、ノイズ等に起因してカメラ３により適切な画像が撮像されなかったことに起因して、現フレーム画像において前フレーム画像（周囲環境情報）等と位置の比較が行われる所定の特徴点（たとえば再帰性反射体５）の検出（発見）に時間を要した場合等が考えられる。

また、図６を参照して、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報が記憶部７ｄに記憶されていない場合の信号処理部７の制御ついて説明する。

図６に示すように、現在のフレームよりも前のフレームにおいて、周囲環境情報が記憶部７ｄに記憶されている領域Ａの方向に頭部２０１ａが向いた状態で画像３００が取得されたとする。また、現在のフレームにおいて、周囲環境情報が記憶部７ｄに記憶されていない領域Ｂの方向に頭部２０１ａが向いた状態で画像３０１が取得されているとする。

この場合、本実施形態では、周囲環境情報が記憶部７ｄに記憶されている頭部２０１ａの位置および角度（領域Ａの方向に対する頭部２０１ａの位置および角度）と、周囲環境情報が記憶部７ｄに記憶されていない頭部２０１ａの位置（領域Ｂの方向に対する頭部２０１ａの位置）からの頭部２０１ａの移動量Ｌと、現フレーム画像（この場合、画像３０１）とに基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するように構成されている。

具体的には、信号処理部７は、画像３００および領域Ａの方向に対応する周囲環境情報から領域Ａの方向に対する頭部２０１ａの位置および角度を算出するように構成されている。また、信号処理部７は、前フレーム画像（画像３００）および現フレーム画像（画像３０１）の各々において同一の所定の特徴点（たとえば再帰性反射体５）が取得されている場合に、上記所定の特徴点の位置、方向および大きさ等の変化量に基づいて、フレーム間における頭部２０１ａの位置の移動量Ｌ（および頭部２０１ａの角度の変化量）を算出する。そして、信号処理部７は、領域Ａの方向に対する頭部２０１ａの位置および角度と、頭部２０１ａの位置の移動量Ｌ（および頭部２０１ａの角度の変化量）とに基づいて、領域Ｂの方向に対する頭部２０１ａの位置および角度を算出する。

さらに、信号処理部７は、領域Ａの方向に対する頭部２０１ａの位置および角度と、頭部２０１ａの位置の移動量Ｌ（および頭部２０１ａの角度の変化量）と、現フレーム画像（画像３０１）とに基づいて、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報の作成および記憶部７ｄへの登録を行う。具体的には、領域Ｂに対応する画像３０１から特徴点が抽出されるとともに、抽出された領域Ｂに対応する特徴点と、領域Ｂの方向に対する頭部２０１ａの位置および角度とに基づいて、領域Ｂに対応する周囲環境情報が新たに作成されるとともに記憶部７ｄに登録（追加）される。これにより、周囲環境情報がない領域の方向でも、頭部２０１ａの位置および角度算出が可能になるとともに、この処理が繰り返し行われることにより、周囲環境情報をさらに更新（増加）することが可能である。その結果、上記処理が行われる度に、頭部２０１ａの位置および角度の算出の精度を向上させることが可能である。

また、現フレーム画像（画像３０１）において前フレーム画像（画像３００）と同一の所定の特徴点（たとえば再帰性反射体５）が取得されない場合には、領域Ａと領域Ｂとの中間領域（領域Ａと領域Ｂとに跨る領域）に対する頭部２０１ａの位置および角度に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出してもよい。なお、現在のフレームまでに、中間領域の方向に頭部２０１ａが向いた状態で画像３０２が取得されているとする。

この場合、中間領域に対応する画像３０２のうちの領域Ａ側の画像と、領域Ａ側に対応する周囲環境情報とに基づいて、中間領域に対する頭部２０１ａの位置および角度が算出される。また、中間領域に対応する画像３０２のうちの領域Ｂ側の画像から特徴点（たとえば再帰性反射体５）が抽出される。抽出された領域Ｂ側の特徴点と、中間領域に対する頭部２０１ａの位置および角度とに基づいて、中間領域に対応する周囲環境情報が作成されるとともに登録される。

そして、信号処理部７は、中間領域に対応する画像３０２および現フレーム画像（画像３０１）の各々における同一の所定の特徴点の位置、方向および大きさ等の変化量に基づいて算出される頭部２０１ａの位置の移動量（頭部２０１ａの角度の変化量）と、中間領域に対する頭部２０１ａの位置および角度とに基づいて、領域Ｂの方向に対する頭部２０１ａの位置および角度を算出する。その後、上記と同様に、領域Ｂに対応する周囲環境情報が新たに作成されるとともに記憶部７ｄに登録（追加）される。

また、現フレーム画像（画像３０１）において前フレーム画像（画像３００）と同一の所定の特徴点（たとえば再帰性反射体５）が取得されない場合で、かつ、中間領域において画像が取得されない場合には、領域Ａの方向に対応する頭部２０１ａの位置および角度と、第２センサ６ｂにより検出された加速度および角速度とにより、領域Ｂに対応する頭部２０１ａの位置および角度を算出してもよい。

また、本実施形態では、信号処理部７は、周囲環境情報のアライメント情報を予め取得し、取得したアライメント情報を反映した周囲環境情報を用いて頭部２０１ａの位置および角度を算出するように構成されている。

具体的には、図７に示すように、アライメント装置２０２により、航空機２００の姿勢情報および方位情報に基づいたアライメントに関するデータ（以下、アライメントデータ）を取得しておく。アライメントデータとは、たとえば、航空機２００が飛行していない状態において、航空機２００の機体の基準座標に対する航空機２００の傾斜角度等の情報を含む。すなわち、機体静止状態での所定の機体の基準座標に対する周囲環境情報の位置情報を予め取得するアライメントが行われる。

アライメント装置２０２は、アライメント時のみ使用され、アライメント装置２０２には、航空機２００のインターフェースから機体姿勢および方位情報が入力される。なお、ヘッドモーショントラッカ装置１００自体が航空機２００のインターフェースに直接的に接続されていてもよい。

また、ヘッドモーショントラッカ装置１００は、無線（たとえばＷｉｆｉ）または有線（たとえばイーサネット（登録商標））を介して、アライメント装置２０２からアライメントデータを取得している。

また、信号処理部７では、アライメント装置２０２から取得したアライメントデータ（機体姿勢および方位情報）および現フレーム画像の特徴点と、第１センサ６ａにより検出されたカメラ３の傾斜角度および向きのデータとの対応付けが行われる。そして、信号処理部７（たとえば記憶部７ｄ）に、現フレーム画像の特徴点の、所定の機体の基準座標に対する３次元座標および形状等の情報テーブル（上記アライメント情報の一例）が保持される。信号処理部７は、上記テーブルを参照することにより、所定の機体の基準座標に対する現在のフレームにおける頭部２０１ａの位置および角度を算出する。具体的には、上記ステップＳ１（図４参照）および上記ステップＳ１１（図５参照）の各々において上記テーブルの情報が考慮された状態で、頭部２０１ａの位置および角度の算出が行われる。言い換えれば、現在のフレームにおける頭部２０１ａの位置および角度は、上記テーブルの情報により補正された上記基準値に基づいて算出される。

なお、ヘッドモーショントラッカ１００の使用時には、現在のフレームにおける頭部２０１ａの位置および角度を算出において、航空機２００が飛行時の機体姿勢、方向、加速度、および、角速度等の情報が参照（図３参照）される。

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

本実施形態では、上記のように、ヘッドモーショントラッカ装置１００は、操縦者２０１の頭部２０１ａに装着され、画像を撮像するカメラ３を含む頭部装着部１を備える。また、ヘッドモーショントラッカ装置１００は、現在のフレームにおいてカメラ３により撮像された現フレーム画像と、頭部装着部１の周囲の特徴点の情報を含む周囲環境情報、および、現在のフレームよりも前の前フレームにおいてカメラ３により撮像された前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部２０１ａの位置および角度を算出する信号処理部７を備える。これにより、頭部装着部１以外の場所にカメラ３が設けられる場合と異なり、頭部２０１ａの周囲の状態（たとえば、コックピット２００ａの形状、大きさ、コックピット２００ａ内の装備等の位置）によって、カメラ３の取り付け位置およびカメラ３の取り付け方法を検討する必要がない。なお、カメラ３が頭部装着部１に含まれている場合でも、カメラ３により撮像された現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部２０１ａの位置および角度を算出することができる。その結果、カメラ３の取り付けを容易化しながら、頭部２０１ａの動きを検出することができる。

また、本実施形態では、上記のように、信号処理部７を、現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とを比較することにより、現在のフレームにおける頭部２０１ａの位置および角度を算出するように構成する。これにより、周囲環境情報および前フレーム画像を基準に、現在のフレームにおける頭部２０１ａの位置および角度を算出することができる。その結果、現在のフレームにおける頭部２０１ａの位置および角度を容易に算出することができる。

また、本実施形態では、上記のように、信号処理部７を、周囲環境情報としての、操縦者２０１の周囲に設けられた装備品（再帰性反射体５、機体フレーム２００ｂ、キャノピー２００ｃ、および、ウィンドウ２００ｄ）の少なくとも位置情報に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するように構成する。ここで、上記装備品の位置情報は、信号処理部７による制御中に変化しない情報である。したがって、上記装備品の位置情報に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出することによって、制御中に変化する情報に基づいて制御を行う場合に比べて、信号処理部７の制御を簡易化することができる。

また、本実施形態では、上記のように、上記装備品としての、近赤外ＬＥＤ４から照射される近赤外光を照射方向に反射する再帰性反射体５を備えるように、ヘッドモーショントラッカ装置１００を構成する。ここで、再帰性反射体５は、照射方向に近赤外光を反射するので、暗所においてもカメラ３により容易に視認される。また、再帰性反射体５を設けることによって、再帰性反射体５以外の部品がカメラ３により視認され難くなるので、カメラ３により取得可能な情報量が低減される。その結果、再帰性反射体５を設けることにより、暗所においても現在のフレームの頭部２０１ａの位置および角度を算出することができるとともに、カメラ３により取得可能な情報量の低減に起因して上記算出における信号処理部７の処理の負荷を低減することができる。

また、本実施形態では、上記のように、再帰性反射体５が、透明な材質により形成されるように、ヘッドモーショントラッカ装置１００を構成する。これにより、操縦者２０１の視認性が再帰性反射体５により阻害されるのを抑制することができる。

また、本実施形態では、上記のように、信号処理部７を、初期のフレームの初期フレーム画像と周囲環境情報とに基づいて、初期のフレームにおける頭部２０１ａの位置および角度の基準値を算出するとともに、上記基準値、および、前フレーム画像と現フレーム画像との比較結果に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するように構成する。これにより、上記基準値を用いずに、前フレーム画像と現フレーム画像との比較結果だけに基づいて上記算出を行う場合に比べて、上記算出をより正確に行うことができる。

また、本実施形態では、上記のように、信号処理部７を、前フレームにおける頭部２０１ａの位置および角度と、センサ６の検出値とに基づいて、現在のフレームの頭部２０１ａの概略的な位置および概略的な角度を算出するように構成する。さらに、信号処理部７を、現フレーム画像と、頭部２０１ａの概略的な位置および概略的な角度に対応する周囲環境情報とを比較することにより、現在のフレームの頭部２０１ａの位置および角度を算出するように構成する。これにより、現在のフレームの頭部２０１ａの概略的な位置および概略的な角度を算出することにより、現フレーム画像が有する環境情報と、比較対象の周囲環境情報（すなわち上記概略的な位置および概略的な角度に対応する周囲環境情報）との差異を比較的小さくすることができる。その結果、現在のフレームの頭部２０１ａの位置および角度の算出を速やかに、かつ、正確に行うことができる。

また、本実施形態では、上記のように、周囲環境情報が記憶されている記憶部７ｄを備えるように、ヘッドモーショントラッカ装置１００を構成する。また、信号処理部７を、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報が記憶部７ｄに記憶されていない場合に、周囲環境情報が記憶部７ｄに記憶されている頭部２０１ａの位置および角度と、周囲環境情報が記憶部７ｄに記憶されている頭部２０１ａの位置からの頭部２０１ａの移動量Ｌと、現フレーム画像とに基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するとともに現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報の作成および記憶部７ｄへの登録を行うように構成する。これにより、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報が記憶部７ｄに記憶されていない場合でも、現在よりも前のフレームにおける情報を用いることによって、現在のフレームの頭部２０１ａの位置および角度を容易に算出することができる。さらに、頭部２０１ａの位置および角度の算出とともに、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報の作成および記憶部７ｄへの登録を行うことによって、次回以降の頭部２０１ａの位置および角度の算出を容易化することができる。

また、本実施形態では、上記のように、信号処理部７を、現在のフレームの頭部２０１ａの位置および角度の算出が所定の時間内に行われなかった場合に、センサ６の検出値に基づいて補間することにより、前フレームにおける頭部２０１ａの位置および角度から、現在のフレームの頭部２０１ａの位置および角度を算出するように構成する。これにより、現在のフレームにおいて頭部２０１ａの位置および角度の算出が所定の時間内に行われなかった場合でも、上記補間より、現在のフレームに対応する頭部２０１ａの位置および角度を取得することができる。

また、本実施形態では、上記のように、信号処理部７を、周囲環境情報のアライメント情報を予め取得し、取得したアライメント情報を反映した周囲環境情報を用いて頭部２０１ａの位置および角度を算出するように構成する。これにより、アライメント情報が反映された周囲環境情報に基づいて頭部２０１ａの位置および角度の算出を行うことによって、頭部２０１ａの位置および角度をより正確に算出することができる。

また、本実施形態では、上記のように、カメラ３が、頭部装着部１に複数設けられるように、ヘッドモーショントラッカ装置１００を構成する。これにより、頭部装着部１にカメラ３が１つだけ設けられている場合に比べて、頭部から見てより広範囲の領域の画像を取得することができる。

また、本実施形態では、上記のように、カメラ３を、可視領域の波長から非可視領域の波長までの光を検出可能に構成する。これにより、昼間等の周囲が明るい場合においては頭部の周囲の画像を可視光を用いてカメラ３により撮像することができる。さらに、夜間等の周囲が暗いため可視画像の取得が困難な場合にも、頭部の周囲の画像を非可視光を用いてカメラ３により容易に撮像することができる。

（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、近赤外光（非可視光）が照射される近赤外ＬＥＤ４（光源部）が設けられている例を示したが、本発明はこれに限られない。たとえば、光源部は、紫外線を照射し、カメラは紫外線対応可能なもので構成してもよい。

また、上記実施形態では、航空機２００における構成を例に示したが、本発明はこれに限られない。たとえば、自動車、船舶、および、シミュレータ等に上記実施形態に記載のヘッドモーショントラッカ装置が用いられてもよい。

また、上記実施形態では、カメラ３（撮像部）が頭部装着部１に２つ設けられる例を示したが、本発明はこれに限られない。たとえば、カメラ３（撮像部）は、頭部装着部１に１つ、または、３つ以上設けられていてもよい。また、カメラ３とは異なる個数の近赤外ＬＥＤ４（光源部）が設けられていてもよい。

また、上記実施形態では、信号処理部７は、頭部装着部１に内蔵されている例を示したが、本発明はこれに限られない。信号処理部７は、頭部装着部１の外部に設けられていてもよい。

また、上記実施形態では、カメラ３（撮像部）の傾斜角度、カメラ３（撮像部）の向き、頭部装着部１の加速度、および、頭部装着部１の角速度がセンサ６により検出される例を示したが、本発明はこれに限られない。カメラ３（撮像部）の傾斜角度、カメラ３（撮像部）の向き、頭部装着部１の加速度、および、頭部装着部１の角速度のうちの一部だけがセンサ６により検出されてもよい。

また、上記実施形態では、説明の便宜上、信号処理部７による処理を「フロー駆動型」のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、信号処理部７の処理をイベント単位で実行する「イベント駆動型」により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

（項目１）
装着者の頭部に装着され、画像を撮像する撮像部を含む頭部装着部と、
現在のフレームにおいて前記撮像部により撮像された現フレーム画像と、前記頭部装着部の周囲の特徴点の情報を含む周囲環境情報、および、前記現在のフレームよりも前の前フレームにおいて前記撮像部により撮像された前フレーム画像のうちの少なくとも一方とに基づいて、前記現在のフレームにおける前記頭部の位置および角度を算出する信号処理部と、を備える、ヘッドモーショントラッカ装置。

（項目２）
前記信号処理部は、前記現フレーム画像と、前記周囲環境情報および前記前フレーム画像のうちの少なくとも一方とを比較することにより、前記現在のフレームにおける前記頭部の位置および角度を算出するように構成されている、項目１に記載のヘッドモーショントラッカ装置。

（項目３）
前記信号処理部は、前記周囲環境情報としての、前記装着者の周囲に設けられた装備品の少なくとも位置情報に基づいて、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、項目１または２に記載のヘッドモーショントラッカ装置。

（項目４）
前記頭部装着部は、前記撮像部と隣接するように設けられ、前記撮像部の撮像方向に非可視光を照射する光源部を含み、
前記装備品としての、前記光源部から照射される前記非可視光を照射方向に反射する再帰性反射体をさらに備える、項目３に記載のヘッドモーショントラッカ装置。

（項目５）
前記再帰性反射体は、透明な材質により形成されている、項目４に記載のヘッドモーショントラッカ装置。

（項目６）
前記信号処理部は、初期のフレームの初期フレーム画像と前記周囲環境情報とに基づいて、前記初期のフレームにおける前記頭部の位置および角度の基準値を算出するとともに、前記基準値、および、前記前フレーム画像と前記現フレーム画像との比較結果に基づいて、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、項目１～５のいずれか１項に記載のヘッドモーショントラッカ装置。

（項目７）
前記頭部装着部は、前記撮像部の傾斜角度、前記撮像部の向き、前記頭部装着部の加速度、および、前記頭部装着部の角速度のうちの少なくとも１つを検出するセンサを含み、
前記信号処理部は、前記前フレームにおける前記頭部の位置および角度と、前記センサの検出値とに基づいて、前記現在のフレームの前記頭部の概略的な位置および概略的な角度を算出するとともに、前記現フレーム画像と、前記頭部の前記概略的な位置および前記概略的な角度に対応する前記周囲環境情報とを比較することにより、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、項目１～６のいずれか１項に記載のヘッドモーショントラッカ装置。

（項目８）
前記周囲環境情報が記憶されている記憶部をさらに備え、
前記信号処理部は、前記現在のフレームの前記頭部の位置および角度に対応する前記周囲環境情報が前記記憶部に記憶されていない場合に、前記周囲環境情報が前記記憶部に記憶されている前記頭部の位置および角度と、前記周囲環境情報が前記記憶部に記憶されている前記頭部の位置からの前記頭部の移動量と、前記現フレーム画像とに基づいて、前記現在のフレームの前記頭部の位置および角度を算出するとともに前記現在のフレームの前記周囲環境情報の作成および前記記憶部への登録を行うように構成されている、項目７に記載のヘッドモーショントラッカ装置。

（項目９）
前記頭部装着部は、前記撮像部の傾斜角度、前記撮像部の向き、前記頭部装着部の加速度、および、前記頭部装着部の角速度のうちの少なくとも１つを検出するセンサを含み、
前記信号処理部は、前記現在のフレームの前記頭部の位置および角度の算出が所定の時間内に行われなかった場合に、前記センサの検出値に基づいて補間することにより、前記前フレームにおける前記頭部の位置および角度から、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、項目１～８のいずれか１項に記載のヘッドモーショントラッカ装置。

（項目１０）
前記信号処理部は、前記周囲環境情報のアライメント情報を予め取得し、取得された前記アライメント情報を反映した周囲環境情報を用いて前記頭部の位置および角度を算出するように構成されている、項目１～９のいずれか１項に記載のヘッドモーショントラッカ装置。

（項目１１）
前記撮像部は、前記頭部装着部に複数設けられている、項目１～１０のいずれか１項に記載のヘッドモーショントラッカ装置。

（項目１２）
前記撮像部は、可視領域の波長から非可視領域の波長までの光を検出可能に構成されている、項目１～１１のいずれか１項に記載のヘッドモーショントラッカ装置。

１ 頭部装着部
３ カメラ（撮像部）
４ 近赤外ＬＥＤ（光源部）
５ 再帰性反射体
６ センサ
７ 信号処理部
７ｄ 記憶部
１００ ヘッドモーショントラッカ装置
２００ 航空機（機体）
２０１ 操縦者（装着者）
２０１ａ 頭部
Ｌ 移動量

Claims (11)

1. 装着者の頭部に装着され、画像を撮像する撮像部を含む頭部装着部と、
   前記頭部装着部の周囲の特徴点の情報を含む周囲環境情報が予め記憶されている記憶部と、
   信号処理部と、を備え、
   前記頭部装着部は、前記撮像部の傾斜角度、前記撮像部の向き、前記頭部装着部の加速度、および、前記頭部装着部の角速度のうちの少なくとも１つを検出するセンサを含み、
   前記信号処理部は、
   現在のフレームにおいて前記撮像部により撮像された現フレーム画像と、
   前記現在のフレームよりも前の前フレームにおける前記頭部の位置および角度と前記センサの検出値とに基づく前記現在のフレームの前記頭部の概略的な位置および概略的な角度に対応する前記記憶部に記憶されている前記周囲環境情報、または、前記現在のフレームよりも前の前フレームにおいて前記撮像部により撮像された前フレーム画像とに基づいて、前記現在のフレームにおける前記頭部の位置および角度を算出し、
   前記信号処理部は、前記現在のフレームの前記頭部の位置および角度に対応する前記周囲環境情報が前記記憶部に記憶されていない場合に、前記周囲環境情報が前記記憶部に記憶されている前記頭部の位置および角度と、前記周囲環境情報が前記記憶部に記憶されている前記頭部の位置からの前記頭部の移動量と、前記現フレーム画像とに基づいて、前記現在のフレームの前記頭部の位置および角度を算出するとともに前記現在のフレームの前記周囲環境情報の作成および前記記憶部への登録を行うように構成されている、ヘッドモーショントラッカ装置。
2. 前記信号処理部は、前記現フレーム画像と、前記周囲環境情報または前記前フレーム画像とを比較することにより、前記現在のフレームにおける前記頭部の位置および角度を算出するように構成されている、請求項１に記載のヘッドモーショントラッカ装置。
3. 前記信号処理部は、前記周囲環境情報としての、前記装着者の周囲に設けられた装備品の少なくとも位置情報に基づいて、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、請求項１または２に記載のヘッドモーショントラッカ装置。
4. 前記頭部装着部は、前記撮像部と隣接するように設けられ、前記撮像部の撮像方向に非可視光を照射する光源部を含み、
   前記装備品としての、前記光源部から照射される前記非可視光を照射方向に反射する再帰性反射体をさらに備える、請求項３に記載のヘッドモーショントラッカ装置。
5. 前記再帰性反射体は、透明な材質により形成されている、請求項４に記載のヘッドモーショントラッカ装置。
6. 前記信号処理部は、初期のフレームの初期フレーム画像と前記周囲環境情報とに基づいて、前記初期のフレームにおける前記頭部の位置および角度の基準値を算出するとともに、前記基準値、および、前記前フレーム画像と前記現フレーム画像との比較結果に基づいて、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、請求項１～５のいずれか１項に記載のヘッドモーショントラッカ装置。
7. 前記信号処理部は、前記前フレームにおける前記頭部の位置および角度と、前記センサの検出値とに基づいて、前記現在のフレームの前記頭部の概略的な位置および概略的な角度を算出するとともに、前記現フレーム画像と、前記頭部の前記概略的な位置および前記概略的な角度に対応する前記周囲環境情報とを比較することにより、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、請求項１～６のいずれか１項に記載のヘッドモーショントラッカ装置。
8. 前記信号処理部は、前記現在のフレームの前記頭部の位置および角度の算出が所定の時間内に行われなかった場合に、前記センサの検出値に基づいて補間することにより、前記前フレームにおける前記頭部の位置および角度から、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、請求項１～７のいずれか１項に記載のヘッドモーショントラッカ装置。
9. 前記信号処理部は、前記周囲環境情報のアライメント情報を予め取得し、取得した前記アライメント情報を反映した前記周囲環境情報を用いて前記頭部の位置および角度を算出するように構成されている、請求項１～８のいずれか１項に記載のヘッドモーショントラッカ装置。
10. 前記撮像部は、前記頭部装着部に複数設けられている、請求項１～９のいずれか１項に記載のヘッドモーショントラッカ装置。
11. 前記撮像部は、可視領域の波長から非可視領域の波長までの光を検出可能に構成されている、請求項１～１０のいずれか１項に記載のヘッドモーショントラッカ装置。

Images