JP4775296B2 - 撮像空間安定化装置及び被写体追尾装置 - Google Patents

Description

この発明は、撮像空間安定化装置及び被写体追尾装置に係り、詳しくは、ヘリコプタ、航空機及び車両等の移動体に搭載されたカメラが、任意に選択された被写体を連続的に撮像する間、当該カメラの向きを制御して、当該カメラの前記被写体を指向する方向姿勢を保持するための撮像空間安定化装置及び該装置を用いる被写体追尾装置に関する。

ヘリコプタ、航空機、あるいは車両等の移動体にカメラを搭載して被写体の連続画像を得ようとする場合、何の手段も講じないとすれば、気流や路面等外部から受ける動揺等のため、カメラ画像にぶれが生じ、正確な画像情報を得ることは困難である。さらに、移動体自体の並進運動や回転運動のため、捕捉した被写体を追尾することも困難である。
そこで、従来から、移動体の運動や外部から受ける動揺にも拘わらず、搭載カメラの姿勢を安定化させることができ、被写体に関する正確な画像情報を得ることができる各種の撮像空間安定化装置が提供されている（特許文献１乃至４）。

図２は、特許文献１に記載の撮像空間安定化装置の電気的構成を示すブロック図であり、この撮像空間安定化装置（以下、第１の従来装置という）は、移動体に搭載されたカメラの振動抑制制御を行う角速度制御装置に係り、同図に示すように、搭載カメラ１０１を支持して回動可能なＡＺ／ＥＬ２軸ジンバル１０２（以下、単に、２軸ジンバル１０２という）と、ＡＺ軸ジャイロ１０３と、ＥＬ軸ジャイロ１０４と、視線軸方向ピッチ角／方位角変位決定器１０５（以下、単に、ピッチ角／方位角変位決定器１０５という）と、ジンバルＡＺ軸制御信号生成器１０６と、ジンバルＥＬ軸制御信号生成器１０７と、ジンバルＡＺ軸トルカ（トルクモータ）１０８と、ジンバルＥＬ軸トルカ（トルクモータ）１０９とから構成されている。

上記２軸ジンバル１０２は、搭載カメラ１０１を支持した状態で、搭載カメラ１０１の向きを水平方向に３６０度自在に回動できるＡＺ（アジマス）軸回りの回転構造と、搭載カメラ１０１の向きを水平方向−垂直方向間で自在に回動できるＥＬ（エレベーション）軸回りの回転構造との２軸回転機構からなっている。上記ＡＺ軸ジャイロ１０３は、２軸ジンバル１０２のＡＺ軸回りの回転角速度を検出する。また、ＥＬ軸ジャイロ１０４は、２軸ジンバル１０２のＥＬ軸回りの回転角速度を検出する。

上記ピッチ角／方位角変位決定器１０５は、搭載カメラ１０１の視線軸方向に対する揺動成分を検出して、視線軸方向方位角変位量と視線軸方向ピッチ角変位量とを算出決定する。ジンバルＡＺ軸制御信号生成器１０６は、ＡＺ軸ジャイロ１０３によって検出された２軸ジンバル１０２のＡＺ軸回りの回転角速度と視線軸方向ピッチ角／方位角変位決定器１０５によって算出決定された搭載カメラ１０１の方位方向変位角とに基づいて、ジンバルＡＺ軸制御信号を生成する。また、ジンバルＥＬ軸制御信号生成器１０７は、ＥＬ軸ジャイロ１０４によって検出された２軸ジンバル１０２のＥＬ軸回りの回転角速度と視線軸方向ピッチ角／方位角変位決定器１０５によって算出決定された搭載カメラ１０１のピッチ方向変位角とに基づいて、ジンバルＥＬ軸制御信号を生成する。

また、上記ジンバルＡＺ軸トルカ１０８は、ジンバルＡＺ軸制御信号生成器１０６から供給されるジンバルＡＺ軸制御信号に基づいて、２軸ジンバル１０２を駆動して、そのＡＺ軸回りの回転角を制御する。また、ジンバルＥＬ軸トルカ１０９は、ジンバルＥＬ軸制御信号生成器１０７から供給されるジンバルＥＬ軸制御信号に基づいて、２軸ジンバル１０２を駆動して、そのＥＬ軸回りの回転角を制御する。

上記第１の従来装置が駆動する際には、搭載カメラ１０１を支持した２軸ジンバル１０２に対し、搭載カメラ１０１で取得した撮像画像情報に基づいて、ピッチ角／方位角変位決定器１０５が搭載カメラ１０１の視線軸方向のずれ（ピッチ方向変位角と方位方向変位角）を算出決定する。

ここで、上記２軸ジンバル１０２は、構造上の特性から左右方向に撓み易く、この影響を受けて、搭載カメラ１０１の視線軸方向が常に微小変動する。上記ＡＺ軸ジャイロ１０３及びＥＬ軸ジャイロ１０４は、２軸ジンバル１０２が撓み振動する結果として生じる角速度変動を検出し、具体的には、ＡＺ軸ジャイロ１０３は、２軸ジンバル１０２のＡＺ軸回りの回転角速度を検出して角速度変動補償信号として出力し、また、ＥＬ軸ジャイロ１０４は、２軸ジンバル１０２のＥＬ軸回りの回転角速度を検出して角速度変動補償信号として出力する。

ジンバルＡＺ軸制御信号生成器１０６は、ＡＺ軸ジャイロ１０３から供給される２軸ジンバル１０２のＡＺ軸回りに関する角速度変動補償信号と視線軸方向ピッチ角／方位角変位決定器１０５から供給される搭載カメラ１０１の視線軸方向方位角変位信号とを補償重畳する演算を行い、この演算結果に基づいて、ジンバルＡＺ軸制御信号を生成する。ジンバルＡＺ軸トルカ１０８は、ジンバルＡＺ軸制御信号生成器１０６から供給されるジンバルＡＺ軸制御信号に基づいて、２軸ジンバル１０２を駆動して、そのＡＺ軸回りの回転角を制御する。また、ジンバルＥＬ軸制御信号生成器１０７は、ＥＬ軸ジャイロ１０４から供給される２軸ジンバル１０２のＥＬ軸回りに関する角速度変動補償信号と視線軸方向ピッチ角／方位角変位決定器１０５から供給される搭載カメラ１０１の視線軸方向ピッチ角変位信号とを補償重畳する演算を行い、この演算結果に基づいて、ジンバルＥＬ軸制御信号を生成する。ジンバルＥＬ軸トルカ１０９は、ジンバルＥＬ軸制御信号生成器１０７から供給されるジンバルＥＬ軸制御信号に基づいて、２軸ジンバル１０２を駆動して、そのＥＬ軸回りの回転角を制御する。

上記第１の従来装置の構成によれば、ＡＺ軸ジャイロ１０３が、２軸ジンバル１０２が撓み振動する結果として生じるＡＺ軸回りの角速度変動を検出し、この検出結果に基づいて、ジンバルＡＺ軸制御信号生成器１０６が、撓み振動に起因するＡＺ軸回りの角速度変動分を補償したジンバルＡＺ軸制御信号を生成すると共に、ＥＬ軸ジャイロ１０４が、２軸ジンバル１０２が撓み振動する結果として生じるＥＬ軸回りの角速度変動を検出し、この検出結果に基づいて、ジンバルＥＬ軸制御信号生成器１０７が、撓み振動に起因するＥＬ軸回りの角速度変動分を補償したジンバルＥＬ軸制御信号を生成するので、撮像空間の高精度の安定化を達成できる。

また、例えば、特許文献２には、1つの軸が、インナジンバルとアウタジンバルとの２重のジンバル機構からなる撮像空間安定化装置（以下、第２の従来装置という）が開示されている。この第２の従来技術では、インナジンバルにはインナ慣性センサを設けると共に、アウタジンバルにもアウタ慣性センサを設け、インナジンバルとアウタジンバルの両方の制御ループによって、撮像空間を安定化させることによって、安価な慣性センサ及びジンバル機構でも充分な空間安定精度が得られるようにしている。

また、例えば、特許文献３には、ヘリコプタや航空機等の移動体に、当該移動体（機体）の姿勢を検出する姿勢検出装置と、角速度を指令されて、光学カメラが取り付けられたジンバルを駆動するジンバル部とが搭載されて、前記ジンバルの角度制御を行う装置（以下、第３の従来装置という）が開示されている。この第３の従来技術では、光学カメラの光軸をジョイスティックにより所望の方向に向け、その時点におけるジンバル角と移動体姿勢角とから地面に対して光軸が維持すべきアジマス角ＡＺ_Ｇ及びエレベーション角ＥＬ_Ｇを計算して記憶しながら、時々刻々と変化する移動体の姿勢角から目標とするアジマス角ＡＺ_０及びエレベーション角ＥＬ_０を算出する。そして、実際のアジマス角ＡＺ及びエレベーション角ＥＬとの偏差を求め、この偏差に基づいた角速度指令をジンバルに与えることでジンバル制御を実施する。このように、この第３の従来技術の構成によれば、ジョイスティックをオフとした後においても、光学カメラの光軸ドリフトを防止し光学カメラを一定の方向に指向し続けることができる。

さらに、例えば、特許文献４には、移動体に取り付けられた機器に対して、移動体から受ける振動を緩衝させる装置（以下、第４の従来装置という）が開示されている。この第４の従来技術では、防振要素ストラットやダッシュポットで高周波領域の振動を吸収し、吸収しきれない低周波領域の振動については、簡易な構造の１次元変位センサを複数個、非平行に配置しジンバルに対するリアクション部の姿勢角変位及び並進変位を算出後、その信号に基づいて、ジンバル角をフィードバック制御することで、より広い周波数領域の振動を低減できるようにしている。
特開２００６−０９９６６３号公報（第１３頁、図８） 特開２００４−３６１１２１号公報（図１） 実開平０７−０３２６４６号公報（図１） 特開２００６−０８５５３０号公報（図１）

しかしながら、特許文献１に記載の第１の従来装置では、図２に示すように、搭載カメラ１０１の基準視線軸方向を搭載カメラ１０１で取得した画像情報のみから決定しているため、搭載カメラ１０１の基準視線軸方向に対する更新処理にかなりの遅れが生じてしまう、という問題があった。それゆえ、この構成では、特別な運用制限を設けない限り、移動体ピッチ角姿勢の高速変動に対する追従を保証することができず、搭載カメラ１０１で取得される画像データのぶれに起因する画像垂直方向のドリフト変動によって、比較的短時間で撮像対象を見失ってしまう虞があり、この結果、操作者によるマニュアル補正の必要性が避けられない、という不都合がある。

また、特許文献２に記載の第２の従来装置では、各軸とも角速度変動に基づく空間安定（角速度レギュレーション）のみに重点が置かれているため、ジンバルを搭載する移動体の姿勢変動に対してジンバル角度を十分に補償できず、このままでは撮像対象を見失ってしまう虞がある、という問題点がある。

また、特許文献３に記載の第３の従来装置では、ジンバルを搭載する移動体（機体）姿勢角を常に高精度で検出しなければならず、ジンバルに搭載する光学カメラの光軸精度は、検出された移動体姿勢角の精度と検出更新周期に依存する、という問題点がある。

さらに、特許文献４に記載の第４の従来装置では、ジンバルに対する防振効果に特化した構成であるため、構造的にパッシブなダンピング効果が、撮像対象に対する追尾という観点では、逆効果となって、好ましい追尾性能が得られない、という問題がある。

この発明は、上述の事情に鑑みてなされたもので、ヘリコプタや航空機及び車両等の移動体にカメラを搭載し、移動体の運動や外的要因によって生じる動揺に影響されることなく任意に選択した撮像対象に対する追尾（オートトラッキング）を実現することで、連続画像情報を一段と迅速かつ高精度に取得することができる撮像空間安定化装置及び被写体追尾装置を提供することを目的としている。

上記課題を解決するために、請求項１記載の発明は、移動体に搭載されたカメラが、任意に選択された被写体を連続的に撮像する間、当該カメラの向きを制御して、当該カメラの前記被写体を指向する方向姿勢を保持するための撮像空間安定化装置に係り、前記移動体の加速度を検出して加速度信号を生成するための加速度計と、前記カメラを支持した状態で、前記カメラの向きをＥＬ軸回り及びＡＺ軸回りに回動自在に変更し得る機構を備える２軸ジンバルと、該２軸ジンバルのＥＬ軸回りの回転角速度を検出するためのＥＬ軸ジャイロと、前記２軸ジンバルのＡＺ軸回りの回転角速度を検出するためのＡＺ軸ジャイロと、前記加速度計によって生成される前記加速度信号に基づいて、前記移動体のピッチ方向変位角を推定するピッチ角変位推定手段と、前記カメラから連続して供給される前記被写体の撮像画像情報の幾何学的変動に基づいて、前記移動体の方位方向変位角を推定する方位角変位推定手段と、前記ピッチ角変位推定手段によって推定された前記移動体の前記ピッチ方向変位角と前記ＥＬ軸ジャイロによって検出された前記２軸ジンバルのＥＬ軸回りの回転角速度とに基づいて、ＥＬ軸制御指令信号を生成するＥＬ軸制御信号生成手段と、前記方位角変位推定手段によって推定された前記移動体の前記方位方向変位角と前記ＡＺ軸ジャイロによって検出された前記２軸ジンバルのＡＺ軸回りの回転角速度とに基づいて、ＡＺ軸制御指令信号を生成するＡＺ軸制御信号生成手段と、前記ＥＬ軸制御指令信号に基づいて、前記２軸ジンバルのＥＬ軸回りの回転角を制御するためのジンバルＥＬ軸トルカと、前記ＡＺ軸制御指令信号に基づいて、前記２軸ジンバルのＡＺ軸回りの回転角を制御するためのジンバルＡＺ軸トルカとを備えてなることを特徴としている。

また、請求項２記載の発明は、請求項１記載の撮像空間安定化装置に係り、前記加速度計が、前記移動体の進行方向の加速度を検出する態様に設置され、かつ、前記ピッチ角変位推定手段が、前記加速度計によって生成される前記加速度信号と重力加速度との比に基づいて、前記移動体の前記ピッチ方向変位角を推定することを特徴としている。

また、請求項３記載の発明は、請求項１記載の撮像空間安定化装置に係り、前記方位角変位推定手段が、前記カメラから連続して供給される前記被写体の前記撮像画像情報に対して特徴点を抽出して特徴点データを取得し、撮像時刻の異なる２サンプル分の前記特徴点データを参照して前記特徴点の幾何学的な変動を算出し、得られた算出結果に基づいて、前記移動体の前記方位方向変位角を推定することを特徴としている。

また、請求項４記載の発明は、請求項３記載の撮像空間安定化装置に係り、前記方位角変位推定手段が、前記カメラから連続して供給される前記被写体の前記撮像画像情報に対し、平滑化フィルタとエッジ検出フィルタとを適用して、前記特徴点を抽出することを特徴としている。

また、請求項５記載の発明は、請求項１記載の撮像空間安定化装置に係り、前記移動体が、ヘリコプタ、航空機又は車両であることを特徴としている。

また、請求項６記載の発明は、移動体に搭載されて、被写体の撮像画像情報を連続的に出力するカメラと、前記移動体に搭載された前記カメラが、任意に選択された前記被写体を連続的に撮像する間、当該カメラの向きを制御して、当該カメラの前記被写体を指向する方向姿勢を保持するための撮像空間安定化装置とを備える被写体追尾装置に係り、前記撮像空間安定化装置が、前記移動体の加速度を検出して加速度信号を生成するための加速度計と、前記カメラを支持した状態で、前記カメラの向きをＥＬ軸回り及びＡＺ軸回りに回動自在に変更し得る機構を備える２軸ジンバルと、該２軸ジンバルのＥＬ軸回りの回転角速度を検出するためのＥＬ軸ジャイロと、前記２軸ジンバルのＡＺ軸回りの回転角速度を検出するためのＡＺ軸ジャイロと、前記加速度計によって生成される前記加速度信号に基づいて、前記移動体のピッチ方向変位角を推定するピッチ角変位推定手段と、前記カメラから連続して供給される前記被写体の撮像画像情報の幾何学的変動に基づいて、前記移動体の方位方向変位角を推定する方位角変位推定手段と、前記ピッチ角変位推定手段によって推定された前記移動体の前記ピッチ方向変位角と前記ＥＬ軸ジャイロによって検出された前記２軸ジンバルのＥＬ軸回りの回転角速度とに基づいて、ＥＬ軸制御指令信号を生成するＥＬ軸制御信号生成手段と、前記方位角変位推定手段によって推定された前記移動体の前記方位方向変位角と前記ＡＺ軸ジャイロによって検出された前記２軸ジンバルのＡＺ軸回りの回転角速度とに基づいて、ＡＺ軸制御指令信号を生成するＡＺ軸制御信号生成手段と、前記ＥＬ軸制御指令信号に基づいて、前記２軸ジンバルのＥＬ軸回りの回転角を制御するためのジンバルＥＬ軸トルカと、前記ＡＺ軸制御指令信号に基づいて、前記２軸ジンバルのＡＺ軸回りの回転角を制御するためのジンバルＡＺ軸トルカとを備えてなることを特徴としている。

また、請求項７記載の発明は、請求項６記載の被写体追尾装置に係り、前記加速度計が、前記移動体の進行方向の加速度を検出する態様に設置され、かつ、前記ピッチ角変位推定手段が、前記加速度計によって生成される前記加速度信号と重力加速度との比に基づいて、前記移動体の前記ピッチ方向変位角を推定することを特徴としている。

また、請求項８記載の発明は、請求項６記載の被写体追尾装置に係り、前記方位角変位推定手段が、前記カメラから連続して供給される前記被写体の前記撮像画像情報に対して特徴点を抽出して特徴点データを取得し、撮像時刻の異なる２サンプル分の前記特徴点データを参照して前記特徴点の幾何学的な変動を算出し、得られた算出結果に基づいて、前記移動体の前記方位方向変位角を推定することを特徴としている。

また、請求項９記載の発明は、請求項８記載の被写体追尾装置に係り、前記方位角変位推定手段が、前記カメラから連続して供給される前記被写体の前記撮像画像情報に対し、平滑化フィルタとエッジ検出フィルタとを適用して、前記特徴点を抽出することを特徴としている。

また、請求項１０記載の発明は、請求項６記載の被写体追尾装置に係り、前記移動体が、ヘリコプタ、航空機又は車両であることを特徴としている。

この発明の構成によれば、２軸ジンバルに対し、ＡＺ軸／ＥＬ軸に配したＡＺ軸／ＥＬ軸ジャイロにより検出される角速度に加え、２軸ジンバル全体を搭載する移動体の姿勢変動を被写体の撮像画像情報の幾何学的変動と移動体加速度ベクトル変化とから推定し、これら取得した角速度と姿勢角を同時にＡＺ軸／ＥＬ軸フィードバック制御するようにしたので、移動体の運動や外的要因によって生じる動揺に影響されることなく、画像ぶれ除去と撮像対象への自動追尾を同時に実現可能できる。
加えて、移動体方位角変位推定のみ、搭載カメラから供給される被写体の撮像画像信号に基づいて実施し、移動体ピッチ角変位推定は、被写体の撮像画像信号に頼らずに、例えば、機首方向に向けて設置された加速度計から検出される加速度信号に基づいて実施するようにしたので、移動体方位角変位推定処理と移動体ピッチ角変位推定処理とを同時進行（並列処理）で行うことができる。それゆえ、ＡＺ軸／ＥＬ軸フィードバック制御を迅速に行うことができ、その分、追尾精度及び画像品質を高めることができる。

移動体ピッチ角変位推定器７は、１軸加速度計１から供給される移動体の加速度信号ＡＣＣに基づいて、移動体ピッチ角変位推定信号ＭＰＩを出力する。ジンバルＥＬ軸制御信号生成器９は、入力される移動体ピッチ角変位推定信号ＭＰＩと、ＥＬ軸ジャイロ５から供給されるジンバルＥＬ軸角速度検出信号ＧＥＬとから、ジンバルＥＬ軸制御指令信号ＥＬＰを生成する。移動体方位角変位推定器６は、搭載カメラ２から連続的に供給される被写体の撮像画像信号ＩＭＧに基づいて移動体方位角変位推定信号ＭＹＡを生成する。ジンバルＡＺ軸制御信号生成器８は、入力される移動体方位角変位推定信号ＭＹＡとＡＺ軸ジャイロ４から供給されるジンバルＡＺ軸角速度検出信号ＧＡＺとから、ジンバルＡＺ軸制御指令信号ＡＺＹを発生する。

図１は、この発明の一実施例である撮像空間安定化装置の電気的構成を示すブロック図である。
この例の撮像空間安定化装置は、同図に示すように、ヘリコプタ、航空機、あるいは車両等の移動体に搭載されたカメラが、任意に選択された被写体を連続的に撮像する間、当該カメラの向きを制御して、当該カメラの上記被写体を指向する方向姿勢を保持する機能を備える装置であり、同図に示すように、１軸加速度計１と、搭載カメラ２を支持した状態で自在に回動し得るＡＺ／ＥＬ２軸ジンバル３（以下、単に、２軸ジンバル３という）と、ＡＺ軸ジャイロ４と、ＥＬ軸ジャイロ５と、移動体方位角変位推定器６と、移動体ピッチ角変位推定器７と、ジンバルＡＺ軸制御信号生成器８と、ジンバルＥＬ軸制御信号生成器９と、２軸ジンバル３に搭載されたジンバルＡＺ軸トルカ１０及びジンバルＥＬ軸トルカ１１とから構成されている。ここで、移動体方位角変位推定器６、移動体ピッチ角変位推定器７、ジンバルＡＺ軸制御信号生成器８、及びジンバルＥＬ軸制御信号生成器９は、少なくともその主要部が、ＣＰＵ（中央演算処理装置）、ＲＯＭ、ＲＡＭ等からなるコンピュータ構成からなっている。

まず、装置各部について説明する。１軸加速度計１は、その検出方向を移動体の機首方向に向けて設置され、移動体自身の加速度を検出して、加速度信号ＡＣＣを生成する。また、上記２軸ジンバル３は、搭載カメラ２を支持した状態で、搭載カメラ２の向きをＡＺ（アジマス）軸回り及びＥＬ（エレベーション）軸回りに回動自在に変更し得る機構を備えている。また、ＡＺ軸ジャイロ４は、２軸ジンバル３のＡＺ軸回りの回転角速度を検出して、角速度変動補償信号としてのジンバルＡＺ軸角速度検出信号ＧＡＺを出力する。また、ＥＬ軸ジャイロ５は、２軸ジンバル３のＥＬ軸回りの回転角速度（角速度変動）を検出して、角速度変動補償信号としてのジンバルＥＬ軸角速度検出信号ＧＥＬを出力する。

上記方位角変位推定器６は、搭載カメラ２から連続して供給される被写体の撮像画像信号ＩＭＧの幾何学的変動（すなわち、被写体の撮像画像信号ＩＭＧから得られる画像情報上で認識される任意ターゲットの時間経過に伴う位置変動）に基づいて、移動体の方位方向変位角を推定し、移動体方位角変位推定信号ＭＹＡを生成する。また、移動体ピッチ角変位推定器７は、１軸加速度計１から供給される加速度信号ＡＣＣと重力加速度とに基づいて、重力方向を基準とし移動体に印加される加速度ベクトルの変動分に相当する、移動体のピッチ方向変位角を推定し、角度変動補償信号としての移動体ピッチ角変位推定信号ＭＰＩを生成する。

ジンバルＡＺ軸制御信号生成器８は、方位角変位推定器６によって生成される移動体方位角変位推定信号ＭＹＡと、ＡＺ軸ジャイロ４から供給されるジンバルＡＺ軸角速度検出信号ＧＡＺとに基づいて、ジンバルＡＺ軸制御指令信号ＡＺＹを生成する。また、ジンバルＥＬ軸制御信号生成器９は、移動体ピッチ角変位推定器７によって生成される移動体ピッチ角変位推定信号ＭＰＩと、ＥＬ軸ジャイロ５から供給されるジンバルＥＬ軸角速度検出信号ＧＥＬとに基づいて、ジンバルＥＬ軸制御指令信号ＥＬＰを生成する。

ジンバルＡＺ軸トルカ１０は、ジンバルＡＺ軸制御信号生成器８によって生成されるジンバルＡＺ軸制御指令信号ＡＺＹに基づいて、２軸ジンバル３のＡＺ軸回りの回転角を制御する。また、ジンバルＥＬ軸トルカ１１は、ジンバルＥＬ軸制御信号生成器９によって生成されるジンバルＥＬ軸制御指令信号ＥＬＰに基づいて、２軸ジンバル３のＥＬ軸回りの回転角を制御する。

上記構成において、１軸加速度計１は、移動体自身の加速度を検出して、加速度信号ＡＣＣを生成する。ＥＬ軸ジャイロ５は、２軸ジンバル３のＥＬ軸回りの回転角速度を検出して、ジンバルＥＬ軸角速度検出信号ＧＥＬを出力する。移動体ピッチ角変位推定器７は、入力される加速度信号ＡＣＣと重力加速度とに基づいて、重力方向を基準とし移動体に印加される加速度ベクトルの変動分に相当する、移動体のピッチ方向変位角を推定し、移動体ピッチ角変位推定信号ＭＰＩを生成する。ジンバルＥＬ軸制御信号生成器９は、入力される移動体ピッチ角変位推定信号ＭＰＩに、ＥＬ軸ジャイロ５から入力されるジンバルＥＬ軸角速度検出信号ＧＥＬを加えて、ジンバルＥＬ軸制御指令信号ＥＬＰを生成する。ジンバルＥＬ軸トルカ１１は、ジンバルＥＬ軸制御信号生成器９から入力されるジンバルＥＬ軸制御指令信号ＥＬＰに基づいて駆動され、２軸ジンバル３のＥＬ軸回りの回転角を制御する。

ＡＺ軸ジャイロ４は、２軸ジンバル３のＡＺ軸回りの回転角速度を検出して、ジンバルＡＺ軸角速度検出信号ＧＡＺを出力する。方位角変位推定器６は、搭載カメラ２から連続して供給される被写体の撮像画像信号ＩＭＧから得られる画像情報上で認識される任意ターゲットの時間経過に伴う位置変動に基づいて、移動体の方位方向変位角を推定し、角度変動補償信号としての移動体方位角変位推定信号ＭＹＡを生成する。ジンバルＡＺ軸制御信号生成器８は、入力される移動体方位角変位推定信号ＭＹＡと、ＡＺ軸ジャイロ４から入力されるジンバルＡＺ軸角速度検出信号ＧＡＺとに基づいて、ジンバルＡＺ軸制御指令信号ＡＺＹを生成する。ジンバルＡＺ軸トルカ１０は、入力されるジンバルＡＺ軸制御指令信号ＡＺＹに基づいて駆動され、２軸ジンバル３のＡＺ軸回りの回転角を制御する。

このようにして、ジンバルＥＬ軸トルカ１１が、入力されるジンバルＥＬ軸制御指令信号ＥＬＰに基づいて駆動されることで、２軸ジンバル３のＥＬ軸回りの回転角が制御されると共に、ジンバルＡＺ軸トルカ１０が、入力されるジンバルＡＺ軸制御指令信号ＡＺＹに基づいて駆動されることで、ＡＺ軸回りの回転角が制御されるので、移動体の運動や外的要因によって生じる動揺に影響されることなく、搭載カメラ２の指向方向が、高精度で連続的に制御される。それゆえ、カメラぶれを防止でき、一段と鮮明な画像を得ることができる。加えて、被写体を高精度に追尾できる。

次に、図１を参照して、この例の動作について詳述する。
具体例として、ヘリコプタ（回転翼機）等の移動体に撮像空間安定化装置を搭載し、撮像対象となるターゲット（被写体）の画像情報を連続的に取得するために実施する、２軸ジンバル３に取着された搭載カメラ２の指向方向制御について説明する。

１軸加速度計１は、その検出方向を機首方向に向けて設置されていて、移動体自身の加速度（加速度成分値ａ_x）を検出して、加速度信号ＡＣＣを生成する。言い換えれば、１軸加速度計１は、その検出方向を機首方向に向けて設置したときに検出できる加速度成分値ａ_xを加速度信号ＡＣＣとして出力する。

移動体ピッチ角変位推定器７は、１軸加速度計１から供給される加速度信号ＡＣＣ（加速度成分値ａ_x）と重力加速度ｇとで与えられる式(１)から、移動体の加速度ベクトルの推定変動分に相当する移動体ピッチ方向変位推定角θ’_pitchを導出し、移動体のピッチ角姿勢変動を示す移動体ピッチ角変位推定信号ＭＰＩを生成する。つまり、移動体ピッチ角変位推定器７は、式（１）によって与えられる移動体ピッチ方向変位推定角θ’_pitchを移動体ピッチ角変位推定信号ＭＰＩとしてジンバルＥＬ軸制御信号生成器９に向けて出力する。

ここで、式（１）は、移動体の姿勢を３−２−１Ｅｕｌｅｒ Ｓｅｑｕｅｎｃｅと呼ばれる姿勢表現によって記述している。

また、ＥＬ軸ジャイロ５は、図１に示すように、搭載カメラ２が回動自在に設置されている２軸ジンバル３のＥＬ軸回りの回転角速度（角速度変動）を検出して、角速度変動補償信号としてのジンバルＥＬ軸角速度検出信号ＧＥＬを生成してジンバルＥＬ軸制御信号生成器９に向けて出力する。

ジンバルＥＬ軸制御信号生成器９は、同図に示すように、入力される移動体ピッチ角変位推定信号ＭＰＩ（θ’_pitch）と、入力されるジンバルＥＬ軸角速度検出信号ＧＥＬとに基づいて、ジンバルＥＬ軸トルカ１１に対する指令信号となるジンバルＥＬ軸制御指令信号ＥＬＰを生成する。ここで、ジンバルＥＬ軸制御指令信号ＥＬＰは、例えば、比例動作、積分動作、及び微分動作を含むＰＩＤ制御則やＨ∞制御系設計手法により実現される、反復プロセスからなるロバスト制御則等を適用することで、生成される。

一方、方位角変位推定器６では、搭載カメラ２から連続して供給される時系列データとして、被写体の撮像画像信号ＩＭＧに対し、（１）特徴点抽出、及び（２）姿勢角変動推定の２つのステップによって、移動体の方位角姿勢に関する変動を推定する。

（１）特徴点抽出ステップ
具体的には、まず、特徴点抽出ステップでは、連続的に取得された検出時刻の異なる２サンプル分の被写体の撮像画像信号ＩＭＧについて、例えば、ある時点Ｔ1におけるサンプルＳ1の撮像画像信号ＩＭＧをサンプルデータｇ₁(ｘ,ｙ)とし、所定時間（間隔）経過後の次の時点Ｔ2におけるサンプルＳ２の撮像画像信号ＩＭＧをサンプルデータｇ₂(ｘ,ｙ)としたとき、まず、各サンプルデータｇ₁(ｘ,ｙ)、ｇ₂(ｘ,ｙ)に対し「メディアンフィルタ」と呼ばれる平滑化フィルタを適用して、それぞれ、ある時点Ｔ1におけるサンプルデータｇ₁(ｘ,ｙ)を平滑化データｇ’₁(ｘ,ｙ)に変換すると共に、次の時点Ｔ2におけるサンプルデータｇ₂(ｘ,ｙ)を平滑化データｇ’₂(ｘ,ｙ)に変換する。次に、得られた２サンプル分の平滑化データｇ’₁(ｘ,ｙ)、ｇ’₂(ｘ,ｙ)に対して、「ソーベルフィルタ」と呼ばれるエッジ検出フィルタを適用して、それぞれ、縦方向エッジｆ_x1(ｘ,ｙ)、ｆ_x2(ｘ,ｙ)の検出を実施すると共に、横方向エッジｆ_y1(ｘ,ｙ)、ｆ_y2(ｘ,ｙ)の検出を実施する。この後、ある時点Ｔ1におけるサンプルから検出された縦方向エッジｆ_x1(ｘ,ｙ)と横方向エッジｆ_y1(ｘ,ｙ)とから与えられる式（２）を用いて、ある時点Ｔ1におけるサンプルＳ1の撮像画像信号ＩＭＧに対する特徴点の抽出処理を実行すると共に、次の時点Ｔ2におけるサンプルから検出された縦方向エッジｆ_x2(ｘ,ｙ)と横方向エッジｆ_y2(ｘ,ｙ) とから与えられる式（３）を用いて、次の時点Ｔ2におけるサンプルＳ２の撮像画像信号ＩＭＧに対する特徴点の抽出処理を実行する。このようにして、時系列的に連続する２つのサンプルＳ1，Ｓ2分から、特徴点が抽出されて、特徴点画像データｆ’₁(ｘ,ｙ)、ｆ’₂(ｘ,ｙ)が得られる。

（２）姿勢角変動推定ステップ
次に、姿勢角変動推定ステップでは、時系列的に連続する２つのサンプルＳ1，Ｓ2間に対応する、特徴点画像データｆ’₁(ｘ,ｙ)、ｆ’₂(ｘ,ｙ)に対し、任意に定義される画像計測座標系で記述された各特徴点画像データ上からそれぞれ選択されたｎ個の特徴点に対するベクトルを^SＰ_n、 ^SＰ’_nと定義する。このとき、２つのベクトル^SＰ_n、 ^SＰ’_nの間には、式（４）の関係が成立する。
^sＰ’_n＝Ｒ^sＰ_n＋^sｔ （４）
ただし、Ｒは回転変換行列で、ＲＲ^Ｔ＝Ｒ^ＴＲ＝Ｉ，detＲ＝1の関係が成立する。また、^sｔは並進変換ベクトルである。

ここで、式（４）の回転変換行列Ｒと並進変換ベクトル^sｔは、搭載カメラ２から連続的に供給される被写体の撮像画像信号ＩＭＧ（時系列データ）について、ある時点Ｔ1でのサンプルS1取得から、所定時間（間隔）経過後の次の時点Ｔ2でのサンプルＳ2取得までの間に、移動体が変動した位置姿勢量を表すものとなる。

ここで、時点Ｔ１でのサンプルS1取得から抽出されたｎ個の特徴点ベクトルを要素とする行列Ｑを式（5）により定義し、時点Ｔ２でのサンプルS２取得から抽出されたｎ個の特徴点ベクトルを要素とする行列Ｑ’を式（６）により定義したとき、回転変換行列Ｒと並進変換ベクトル^sｔとによって構成される同次変換行列Ｈは、式（７）で表される。

Ｈ＝Ｑ’Ｑ⁺ （７）

ここで、Ｑ⁺は、Ｑの一般化逆行列であるので、式（７）は、式（８）となる。

ここで、ｎ個の特徴点は、全て同一の回転変換及び同一の並進変換によって関係づけられると仮定すれば、Ｈ₁＝Ｈ₂＝…＝Ｈ_n＝Ｖとおける。

それゆえ、同次変換行列Ｈは、式（９）で表されることになる。ここで、式（９）の要素Ｖは、回転変換行列Ｒ及び並進変換ベクトル^sｔを要素とする式（１０）の行列により定義される。

さらに、移動体姿勢を３−２−１Ｅｕｌｅｒ Ｓｅｑｕｅｎｃｅと呼ばれる姿勢表現によって記述するために、回転変換行列Ｒを式（１１）と表現すれば、移動体の方位角姿勢変動を示す移動体方位角変位推定信号ＭＹＡは、式（１２）で与えられる移動体方位角変位推定角θ’_yawによって生成される。

つまり、移動体方位角変位推定器５は、式（１２）で与えられる移動体方位角変位推定角θ’_yawを移動体方位角変位推定信号ＭＹＡとしてジンバルＡＺ軸制御信号生成器８に向けて出力する。

また、ＡＺ軸ジャイロ４は、図１に示すように、搭載カメラ２が回動自在に設置されている２軸ジンバル３のＡＺ軸回りの回転角速度（角速度変動）を検出して、角速度変動補償信号としてのジンバルＡＺ軸角速度検出信号ＧＡＺを生成してジンバルＡＺ軸制御信号生成器８に向けて出力する。

ジンバルＡＺ軸制御信号生成器８は、同図に示すように、入力される移動体方位角変位推定信号ＭＹＡ（θ’_yaw）と、入力されるジンバルＡＺ軸角速度検出信号ＧＡＺとに基づいて、ジンバルＡＺ軸トルカ１０に対する指令信号となるジンバルＡＺ軸制御指令信号ＡＺＹを生成する。ここで、ジンバルＡＺ軸制御指令信号ＡＺＹは、例えば、比例動作、積分動作、及び微分動作を含むＰＩＤ制御則やＨ∞制御系設計手法により実現される、反復プロセスからなるロバスト制御則等を適用することで、生成される。

ジンバルＡＺ軸トルカ１０は、ジンバルＡＺ軸制御信号生成器８から供給されるジンバルＡＺ軸制御指令信号ＡＺＹに基づいて、搭載カメラ２が設置された２軸ジンバル３のＡＺ軸回りの回転角を補償制御する。また、ジンバルＥＬ軸トルカ１１は、ジンバルＥＬ軸制御信号生成器９から供給されるジンバルＥＬ軸制御指令信号ＥＬＰに基づいて、２軸ジンバル３のＥＬ軸回りの回転角を補償制御する。

以上示したように、この例の構成によれば、２軸ジンバル３に対し、ＡＺ軸／ＥＬ軸に配したＡＺ軸／ＥＬ軸ジャイロ４、５により検出される角速度に加え、２軸ジンバル３全体を搭載する移動体の姿勢変動を被写体の画像情報（撮像画像信号ＩＭＧ）の幾何学的変動と移動体加速度ベクトル変化とから推定し、これら取得したジンバル角速度と移動体姿勢角とを同時にＡＺ軸／ＥＬ軸フィードバック制御するようにしたので、移動体の運動や外的要因によって生じる動揺に影響されることなく、画像ぶれ除去と撮像対象への自動追尾を同時に実現可能できる。

加えて、移動体方位角変位推定のみ、搭載カメラ２から供給される被写体の撮像画像信号ＩＭＧに基づいて実施し、移動体ピッチ角変位推定は、被写体の撮像画像信号ＩＭＧに頼らずに、例えば、機首方向に向けて設置された加速度計から検出される加速度信号ＡＣＣに基づいて実施するようにしたので、移動体方位角変位推定処理と移動体ピッチ角変位推定処理とを同時進行（並列処理）で行うことができる。それゆえ、ジンバルＥＬ軸制御信号生成器９とジンバルＡＺ軸制御信号生成器８とにおいて、それぞれ、対応するジンバルＡＺ軸／ＥＬ軸回り角速度と移動体方位／ピッチ姿勢角とに応じ、これら２つの状態変動を同時に補償するためのジンバルＥＬ軸制御指令信号ＥＬＰ（ＥＬ軸フィードバック制御信号）とジンバルＡＺ軸制御指令信号ＡＺＹ（ＡＺ軸フィードバック制御信号）とを迅速に生成でき、その分、追尾精度及び画像品質を高めることができる。

以上、この発明の実施例を図面を参照して詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、上述の実施例では、検出時刻の異なる２サンプル分の被写体の撮像画像信号ＩＭＧが連続的に取得されるようにしたが、連続的に取得されるものに限定されない。また、上述の実施例では、移動体姿勢を３−２−１Ｅｕｌｅｒ Ｓｅｑｕｅｎｃｅと呼ばれる姿勢表現によって記述する場合について述べたが、この発明は、これに限定されない。

この発明は、ヘリコプタ（回転翼機）に限らず、他の航空機（固定翼機）及び地上を走行する自動車等に搭載するカメラに適用できる。

この発明の一実施例である撮像空間安定化装置の電気的構成を示すブロック図である。 従来の撮像空間安定化装置の電気的構成を示すブロック図である。

符号の説明

１ １軸加速度計（加速度計）
ＡＣＣ 加速度信号
２ 搭載カメラ（カメラ）
３ ＡＺ／ＥＬ２軸ジンバル（２軸ジンバル）
４ ＡＺ軸ジャイロ
ＧＡＺ ジンバルＡＺ軸角速度検出信号（ＡＺ軸回りの回転角速度）
５ ＥＬ軸ジャイロ
ＧＥＬ ジンバルＥＬ軸角速度検出信号（ＥＬ軸回りの回転角速度）
６ 移動体方位角変位推定器（方位角変位推定手段）
ＩＭＧ 被写体の撮像画像信号（被写体の撮像画像情報）
ＭＹＡ 移動体方位角変位推定信号（移動体の方位方向変位角）
７ 移動体ピッチ角変位推定器（ピッチ角変位推定手段）
ＭＰＩ 移動体ピッチ角変位推定信号（移動体のピッチ方向変位角）
８ ジンバルＡＺ軸制御信号生成器（ＡＺ軸制御信号生成手段）
ＡＺＹ ジンバルＡＺ軸制御指令信号（ＡＺ軸制御指令信号）
９ ジンバルＥＬ軸制御信号生成器（ＥＬ軸制御信号生成手段）
ＥＬＰ ジンバルＥＬ軸制御指令信号（ＥＬ軸制御指令信号）
１０ ジンバルＡＺ軸トルカ
１１ ジンバルＥＬ軸トルカ

Claims (10)

1. 移動体に搭載されたカメラが、任意に選択された被写体を連続的に撮像する間、当該カメラの向きを制御して、当該カメラの前記被写体を指向する方向姿勢を保持するための撮像空間安定化装置であって、
   前記移動体の加速度を検出して加速度信号を生成するための加速度計と、
   前記カメラを支持した状態で、前記カメラの向きをＥＬ軸回り及びＡＺ軸回りに回動自在に変更し得る機構を備える２軸ジンバルと、
   該２軸ジンバルのＥＬ軸回りの回転角速度を検出するためのＥＬ軸ジャイロと、
   前記２軸ジンバルのＡＺ軸回りの回転角速度を検出するためのＡＺ軸ジャイロと、
   前記加速度計によって生成される前記加速度信号に基づいて、前記移動体のピッチ方向変位角を推定するピッチ角変位推定手段と、
   前記カメラから連続して供給される前記被写体の撮像画像情報の幾何学的変動に基づいて、前記移動体の方位方向変位角を推定する方位角変位推定手段と、
   前記ピッチ角変位推定手段によって推定された前記移動体の前記ピッチ方向変位角と前記ＥＬ軸ジャイロによって検出された前記２軸ジンバルのＥＬ軸回りの回転角速度とに基づいて、ＥＬ軸制御指令信号を生成するＥＬ軸制御信号生成手段と、
   前記方位角変位推定手段によって推定された前記移動体の前記方位方向変位角と前記ＡＺ軸ジャイロによって検出された前記２軸ジンバルのＡＺ軸回りの回転角速度とに基づいて、ＡＺ軸制御指令信号を生成するＡＺ軸制御信号生成手段と、
   前記ＥＬ軸制御指令信号に基づいて、前記２軸ジンバルのＥＬ軸回りの回転角を制御するためのジンバルＥＬ軸トルカと、
   前記ＡＺ軸制御指令信号に基づいて、前記２軸ジンバルのＡＺ軸回りの回転角を制御するためのジンバルＡＺ軸トルカと、
   を備えてなることを特徴とする撮像空間安定化装置。
2. 前記加速度計は、前記移動体の進行方向の加速度を検出する態様に設置され、かつ、
   前記ピッチ角変位推定手段は、前記加速度計によって生成される前記加速度信号と重力加速度との比に基づいて、前記移動体の前記ピッチ方向変位角を推定することを特徴とする請求項１記載の撮像空間安定化装置。
3. 前記方位角変位推定手段は、前記カメラから連続して供給される前記被写体の前記撮像画像情報に対して特徴点を抽出して特徴点データを取得し、撮像時刻の異なる２サンプル分の前記特徴点データを参照して前記特徴点の幾何学的な変動を算出し、得られた算出結果に基づいて、前記移動体の前記方位方向変位角を推定することを特徴とする請求項１記載の撮像空間安定化装置。
4. 前記方位角変位推定手段は、前記カメラから連続して供給される前記被写体の前記撮像画像情報に対し、平滑化フィルタとエッジ検出フィルタとを適用して、前記特徴点を抽出することを特徴とする請求項３記載の撮像空間安定化装置。
5. 前記移動体は、ヘリコプタ、航空機又は車両であることを特徴とする請求項１記載の撮像空間安定化装置。
6. 移動体に搭載されて、被写体の撮像画像情報を連続的に出力するカメラと、
   前記移動体に搭載された前記カメラが、任意に選択された前記被写体を連続的に撮像する間、当該カメラの向きを制御して、当該カメラの前記被写体を指向する方向姿勢を保持するための撮像空間安定化装置とを備える被写体追尾装置であって、
   前記撮像空間安定化装置が、
   前記移動体の加速度を検出して加速度信号を生成するための加速度計と、
   前記カメラを支持した状態で、前記カメラの向きをＥＬ軸回り及びＡＺ軸回りに回動自在に変更し得る機構を備える２軸ジンバルと、
   該２軸ジンバルのＥＬ軸回りの回転角速度を検出するためのＥＬ軸ジャイロと、
   前記２軸ジンバルのＡＺ軸回りの回転角速度を検出するためのＡＺ軸ジャイロと、
   前記加速度計によって生成される前記加速度信号に基づいて、前記移動体のピッチ方向変位角を推定するピッチ角変位推定手段と、
   前記カメラから連続して供給される前記被写体の撮像画像情報の幾何学的変動に基づいて、前記移動体の方位方向変位角を推定する方位角変位推定手段と、
   前記ピッチ角変位推定手段によって推定された前記移動体の前記ピッチ方向変位角と前記ＥＬ軸ジャイロによって検出された前記２軸ジンバルのＥＬ軸回りの回転角速度とに基づいて、ＥＬ軸制御指令信号を生成するＥＬ軸制御信号生成手段と、
   前記方位角変位推定手段によって推定された前記移動体の前記方位方向変位角と前記ＡＺ軸ジャイロによって検出された前記２軸ジンバルのＡＺ軸回りの回転角速度とに基づいて、ＡＺ軸制御指令信号を生成するＡＺ軸制御信号生成手段と、
   前記ＥＬ軸制御指令信号に基づいて、前記２軸ジンバルのＥＬ軸回りの回転角を制御するためのジンバルＥＬ軸トルカと、
   前記ＡＺ軸制御指令信号に基づいて、前記２軸ジンバルのＡＺ軸回りの回転角を制御するためのジンバルＡＺ軸トルカと、
   を備えてなることを特徴とする被写体追尾装置。
7. 前記加速度計は、前記移動体の進行方向の加速度を検出する態様に設置され、かつ、
   前記ピッチ角変位推定手段は、前記加速度計によって生成される前記加速度信号と重力加速度との比に基づいて、前記移動体の前記ピッチ方向変位角を推定することを特徴とする請求項６記載の被写体追尾装置。
8. 前記方位角変位推定手段は、前記カメラから連続して供給される前記被写体の前記撮像画像情報に対して特徴点を抽出して特徴点データを取得し、撮像時刻の異なる２サンプル分の前記特徴点データを参照して前記特徴点の幾何学的な変動を算出し、得られた算出結果に基づいて、前記移動体の前記方位方向変位角を推定することを特徴とする請求項６記載の被写体追尾装置。
9. 前記方位角変位推定手段は、前記カメラから連続して供給される前記被写体の前記撮像画像情報に対し、平滑化フィルタとエッジ検出フィルタとを適用して、前記特徴点を抽出することを特徴とする請求項８記載の被写体追尾装置。
10. 前記移動体は、ヘリコプタ、航空機又は車両であることを特徴とする請求項６記載の被写体追尾装置。

Images