JP4810582B2 - 移動体画像追尾装置および方法 - Google Patents

Description

本発明は、全方向に渡り移動する目標に対してカメラ等の目標認識センサを追尾させるための移動体画像追尾装置および方法に関する。

近年、空港やプラントなど大型施設、及び発電所や水道施設などのライフラインに関わる施設での保安設備、並びにＩＴＳなどの交通情報支援システムなどにおいて、ＩＴＶカメラ等を用いて対象物を追跡し、継続した監視や詳細な情報を入手するシステムが多く商品化されている。これらのシステムは、地上設置型だけでなく、プラットホームとして車両、船舶または航空機などを想定し、小型かつ耐振性を考慮した構造で、振動・動揺に対する外乱抑制を行っている。更に、複数の対象物を順次、追尾できるように、旋回速度を高速化し、対象物への指向を短時間に行えることが重要になってきている。

このような移動体画像追尾システムは、全方向に渡り移動する目標に対して追尾するために、ジンバル構造では少なくとも２軸以上を備える必要がある。２軸ジンバルでは、対象物が天頂、もしくは天頂付近を通過する場合にはＡＺ軸は瞬時に１８０度回転する必要があり、実際にはこの動作の実現は難しく、連続した追跡ができなくなるというジンバルロックと呼ばれる現象の課題がある。このため２軸ジンバル構造では、ジンバルロックが生じる天頂付近には指向することができず、全方向の実現が難しい。

従来の画像追尾システムでは、３軸ジンバル構造を用いることで、自由度を増やし、角速度が過大とならないように、ＡＺ軸とｘＥＬ軸との動作に分配することで、実現可能なジンバル可動範囲を超えることなく、ジンバルロックを避け、全方向にわたり連続的に追尾させようとしている（例えば、特許文献１参照）。

特開２００６−１０６９１０公報

このような従来技術では、１軸増えているために、２軸ジンバルと比べると構造が複雑化し、モータ等の駆動手段も増えるため、小型化や低コスト化が難しい。また、カメラ等を搭載するためｘＥＬ軸の負荷慣性が大きく、ＡＺ軸とｘＥＬ軸との軸干渉の影響も生じる可能性があり、３軸ジンバル構造特有の課題が生じてしまう。

また、２軸ジンバル構造で天頂付近の追尾を行うためには、瞬時の１８０度の回転を許容できるモータ性能等が必要となり、過大な要求を満たす必要が生じてしまう。

本発明は、上記に鑑みてなされたものであって、付加センサを追加することなく、追尾性能の劣化を改善する移動体画像追尾装置および方法を提供することを目的とする。

上述の課題を解決するため、本発明の移動体画像追尾装置は、垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段と、前記アジマス軸と直交する水平方向に設けられ、回転自在に支持されるエレベーション軸を中心に回転し、水平方向の正面から天頂を経て背面に回転が可能であり、少なくとも１８０度以上の可動範囲を有する第２回転手段と、前記第１回転手段と前記第２回転手段を個別に回転駆動する駆動手段と、前記第２回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、前記回転手段ごとに、前記回転手段の姿勢を示す角度を検出する第２検出手段と、前記回転手段ごとに、前記軸回りの角速度を検出する第３検出手段と、天頂から一定の距離よりも離れた第１範囲に前記移動体がある場合には、前記角度と前記追尾誤差検出値とを使用して、前記移動体を追尾するように前記第１回転手段および前記第２回転手段を駆動する第１角速度指令値を計算する第１計算手段と、天頂から一定の距離以内の第２範囲に前記移動体がある場合には、前記角度と前記追尾誤差検出値とを使用して、前記移動体の移動方向を推定する推定手段と、前記角度と前記追尾誤差検出値と前記移動方向とを使用して、天頂特異点を回避しながら前記移動体を追尾するように前記第１回転手段および前記第２回転手段を駆動する第２角速度指令値を計算する第２計算手段と、前記第１範囲に前記移動体がある場合には前記第１角速度指令値と前記角速度との差がなくなるように、前記移動体が前記第２範囲にある場合には前記第２角速度指令値と前記角速度との差がなくなるように、前記第１回転手段および前記第２回転手段を駆動制御する制御手段と、を具備することを特徴とする。

本発明の移動体画像追尾装置および方法によれば、付加センサを追加することなく、追尾性能の劣化を改善することができる。

第１の実施形態の移動体画像追尾装置のブロック図。 図１のジンバル駆動部を示す模式図。 図１の補正制御系を示すブロック図。 図１のカメラセンサの画像の視野と移動体追尾について説明するための図。 移動体の軌跡と視軸の軌跡とを示す図。 ジンバル天頂座標系によって、軌跡、補正範囲および追尾誤差を示す図。 ジンバル天頂座標系によって、天頂到達後の、軌跡、補正範囲および追尾誤差を示す図。 図１の角速度指令選択部の動作の一例を示すフローチャート。 図１の移動体画像追尾装置の補正制御の有無による角速度指令値を示す図。 図１の移動体画像追尾装置の補正制御の有無による追尾誤差を示す図。 図１の移動体画像追尾装置の補正制御を適用した場合、ジンバル天頂座標系での視軸のベクトル軌跡を示す図。 第２の実施形態での補正制御系を示すブロック図。 図１２の角速度指令選択部の動作の一例を示すフローチャート。 第３の実施形態での補正制御系を示すブロック図。

以下、図面を参照しながら本発明の実施形態に係る移動体画像追尾装置および方法について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
実施形態の移動体画像追尾装置は、移動体画像追尾機構の制御システムを、画像トラッキングシステムに適用したものである。

（第１の実施形態）
本実施形態の移動体画像追尾装置について図１を参照して説明する。
本実施形態の移動体画像追尾装置は、第１、第２のジンバル１１１，１２１、第１、第２の駆動部１１２，１２２、第１、第２の角速度センサ１１３，１２３、第１、第２の角度センサ１１４，１２４、カメラセンサ１４０、追尾誤差検出部１７３、角速度指令生成部１５０、移動体方向推定部１７４、補正角速度指令生成部１７１、角速度指令選択部１７２、駆動制御部１６０を含む。また、駆動制御部１６０は、第１のサーボ制御部１６１と、第２のサーボ制御部１６２を含んでいる。

第１のジンバル１１１は、垂直方向に向けられ回転自由に支持されるアジマス軸として第１のジンバル軸を中心に回転する。第２のジンバル１２１は、このアジマス軸と直交する水平方向に設けられ、回転自由に支持されるエレベーション軸として第２のジンバル軸を中心に回転する。第１、第２の駆動部１１２，１２２は、それぞれ、第１、第２のジンバル１１１，１２１を回転駆動する。

第１の角速度センサ１１３は、第１のジンバル軸を中心に回転する第１のジンバル１１１の角速度を検出する。第２の角速度センサ１２３は、第２のジンバル軸を中心に回転する第２のジンバル１２１の角速度を検出する。

第１の角度センサ１１４は、第１のジンバル１１１のジンバル固定部に対する回転角度を検出する。第２の角度センサ１２４は、第２のジンバル１２１の第１のジンバル１１１に対する回転角度を検出する。カメラセンサ１４０は、第２のジンバル１２１に支持され、移動体を認識して画像データを得る。

追尾誤差検出部１７３は、カメラセンサ１４０から取得した画像データに画像処理を施して追尾誤差検出値を検出する。追尾誤差検出部１７３は、一般的には２値化により白黒画像にし、移動体の特徴点を抽出することでカメラ視野内の位置を識別し、視野中心からの２方向のずれ量（ΔＸ，ΔＹ）を追尾誤差検出値とする。これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。追尾誤差検出値については後に図４を参照して説明する。

角速度指令生成部１５０は、追尾誤差検出部１７３から取得する２方向の追尾誤差検出値と、第１、第２の角度センサ１１４，１２４により検出されるジンバル姿勢を表す２軸の角度検出値（θ_１，θ_２）とにより、移動体を追尾するようジンバルを駆動する角速度指令値を生成する。この計算の詳細は後に図３を参照して説明する。

移動体方向推定部１７４は、追尾誤差検出部１７３から取得する２方向の追尾誤差検出値を入力し、第１、第２の角度センサ１１４，１２４のそれぞれから角度を入力することで移動体の進行方向を移動体方向推定値として得る。

補正角速度指令生成部１７１は、移動体方向推定部１７４による移動体方向推定値と、追尾誤差検出部１７３から取得する２方向の追尾誤差検出値と、第１、第２の角度センサ１１４，１２４のそれぞれから角度とを入力し、天頂を回避しつつ移動体を追尾するようジンバルを駆動する補正角速度指令値を生成する。

角速度指令選択部１７２は、角速度指令生成部１５０による角速度指令値と、補正角速度指令生成部１７１による補正角速度指令値と、角度センサ１１４，１２４からの角度とを入力し、天頂への指向方向の近接度合いによって、角速度指令生成部１５０による角速度指令値または補正角速度指令生成部１７１による補正角速度指令値のいずれかを出力する。

駆動制御部１６０は、各角速度センサ１１３，１２３に対応する角速度指令値または補正角速度指令値と、第１、第２の角速度センサ１１３，１２３で検出された角速度検出値との差を０にするように制御指令値を計算する。第１、第２のサーボ制御部１６１，１６２は、それぞれ第１、第２の角速度センサ１１３，１２３に対応し、それぞれ第１、第２の駆動部１１２，１２２に対応する制御指令値を出力する。

次に、本実施形態で使用するジンバル駆動部について図２を参照して説明する。
第１のジンバル軸はアジマス軸（以下、単に「ＡＺ軸」という）、第２のジンバル軸はエレベーション軸（以下、単に「ＥＬ軸」という）である。図１の移動体画像追尾装置は、これらのＡＺ軸、ＥＬ軸が一点において直交する２軸構造を備えた２軸旋回装置である。

次に、本実施形態の移動体画像追尾装置の補正制御系について図３を参照して説明する。図３は、ＡＺ軸、ＥＬ軸の２軸まとめて表した制御ブロック線図である。
角速度指令生成部１５０は、追尾誤差検出部１７３から取得する２方向の追尾誤差検出値と、第１、第２の角度センサ１１４，１２４により検出されるジンバル姿勢を表す２軸の角度検出値（θ_１，θ_２）とにより、移動体を追尾するようにジンバルを駆動する下記（Ａ）の角速度指令値を生成する。

２方向画像（ΔＸ，ΔＹ）から２軸ジンバルの各軸へ角速度を分配する手法の一つとして、追尾誤差と角度に対する角速度指令値の関係式を表すと、次式のように表される。

ここで、Ｋ_ｃは追尾ゲインである。また、secθは、θに関する正割関数であり、θ＝９０度で無限大となる。このため天頂や、天頂付近では第１のジンバル１１１に対して非常に大きな角速度指令が発生することとなり、これがジンバルロックの課題となっている。

本実施形態にかかる補正制御では、ジンバルの角度を検出する角度データ、ならびにカメラセンサ１４０からの追尾誤差検出値に基づいて、移動体方向推定部１７４で移動体の進行方向の推定を行う。天頂補正を適用する天頂補正範囲内では、ジンバル角度によって決まる視軸は、天頂付近を指向しており、移動体の位置は視軸と追尾誤差から推定することができる。第１のジンバル角度が０度、第２のジンバル角度が９０度を基準としたジンバル天頂座標系において、視軸による移動体の位置成分（Ｘ_ｊ，Ｙ_ｊ）は、球面座標系からカルテシアン座標への変換を用いて、次式で表される。

天頂補正適用時には、必ず追尾誤差が発生していることから、視軸位置から追尾誤差による位置成分を訂正する必要がある。カメラに固定されているカメラ座標系は第１のジンバル１１１によって回転していることから、追尾誤差による移動体の位置成分（Ｘ_ｅ，Ｙ_ｅ）は、第１のジンバル角度による逆回転変換を用いて、次式で表される。

従って、ジンバル天頂座標系での移動体の位置（Ｘ，Ｙ）は、次式で表される。

このようにして求まった移動体の推定位置を（Ｘ，Ｙ）用いて、ｋサンプル間隔の差分（ｄｘ，ｄｙ）が次式で表される。

このようにして求まった移動体推定位置の差分を用いて、移動体の進行方向θ_ｅｓｔは次式で表される。

補正角速度指令生成部１７１は、このようにして求まった移動体方向推定値θ_ｅｓｔ、ならびにジンバル角度（θ_１，θ_２）、追尾誤差（ΔＸ，ΔＹ）を用いて、補正角速度指令の生成を行う。

補正角速度指令を適用する補正範囲内では、視軸は天頂付近を指向していることから、補正範囲閾角度θ_ｔｈに対して、ジンバル角度による球面座標系からカルテシアン座標への変換を用いて、補正範囲は次式で表される。

視軸が補正範囲内である場合には、天頂付近での追尾誤差による角速度指令が過大となるジンバルロックを避けるため、追尾誤差を許容して天頂を視軸が通過する補正駆動を行う。

ジンバルのＥＬ軸０度でカメラが指向している方向をＡＺ軸正面とすると、天頂においては、ＡＺ軸正面方向と、移動体との進行方向とは対向する関係となる。従って、ＡＺ軸角度θ_１と移動体方向推定値θ_ｅｓｔから、必要なＡＺ軸の補正角度θ_ｎｅｅｄは、次式で表される。

この補正角度を用いて、補正範囲内進入時から天頂に至るまでは、第１のジンバル１１１の補正角速度指令値は次式で表される。

ここで、Ｋは補正角速度ゲインである。すなわち、移動体が天頂を越えるまでは、第１のジンバル１１１のアジマス軸角度と移動方向との差が零に近付くように、第１のジンバル１１１の角速度を制御する。

この補正角速度指令によりＡＺ軸が駆動されＥＬ軸９０度である天頂に至ると、天頂では移動体位置の天頂からのずれ量に応じてＸ成分の追尾誤差が必ず生じることとなる。従って、天頂通過後は、この追尾誤差を抑制するように補正駆動を行う。

追尾誤差を抑制するように駆動するのは［式１］と同様であるが、天頂付近においてはsec関数が非常に大きくなるため、ゲインＫ_ｐを用いて天頂補正範囲内での追尾誤差を抑制する補正角速度指令は次式で表される。

この天頂補正により、ＥＬ軸が９０度以上となり補正範囲外へ退出した後、再び補正範囲に進入する場合には、［式９］を適用し、この際に必要なＡＺ軸の補正角度θ_ｎｅｅｄは、次式で表される。

これに対応して、ＥＬ軸が９０度以上となり補正範囲外へ退出した後、再び補正範囲に進入し、さらに天頂を通過後、追尾誤差を抑制する天頂補正角速度指令は次式で表される。

角速度指令選択部１７２は、このようにして求まった角速度指令値と補正角速度指令値と角度センサ１１４，１２４からの角度とを用いて、天頂付近の角速度指令の選択を行う。角速度指令選択部１７２は、補正範囲外の場合には、カメラセンサ１４０から取得した画像によって追尾誤差検出部１７３が検出した追尾誤差検出値に基づく下記（Ｂ）の角速度指令をそのまま適用し、補正範囲内の場合には、移動体方向推定値に基づく下記（Ｃ）の補正角速度指令を適用する。第２のジンバル１２１に関しては、過大な角速度指令は生じないため、そのまま下記（Ｄ）の角速度指令を適用する。

このようにして角速度指令選択部１７２で生成された各角速度センサ１１３，１２３に対応する角速度指令値と第１、第２の角速度センサ１１３，１２３で検出された角速度検出値との差を０にするように駆動制御部１６０で制御指令値が計算され、この制御指令値に従いジンバル駆動部が移動体を追尾するように駆動される。ここで、ジンバル駆動部は、第１、第２のジンバル１１１，１２１と第１、第２の駆動部１１２，１２２を含む。

以上のように移動体画像追尾装置が作動することにより、天頂付近で過大な角速度指令とならないため、天頂付近でも適切な追尾駆動をするための角速度指令を生成することが可能となる。

次に、カメラセンサ１４０が取得した画像の視野と移動体追尾について図４を参照して説明する。
図４は、本実施形態にかかるカメラ画像の視野と移動体追尾の概要を示した図である。移動体がカメラ視野内で捉えている場合には、カメラ中心からのずれ量として追従誤差検出値（ΔＸ，ΔＹ）が得られる。追尾遅れが生じるため、この追尾誤差検出値はカメラ視野以上には許容でない。追尾誤差検出値は小さいことが望ましいが、追尾誤差検出値が大きくともカメラ視野内に入っている限り、２軸ジンバルを駆動して移動体を追尾することができる。

次に、天頂範囲外から移動体が進入し、天頂付近を通過し、その後、天頂範囲外へ退出する場合の補正について、図５、図６、図７を参照して説明する。

図５は、移動体の軌跡と補正角速度駆動による視軸の軌跡の概要を表した図である。３次元の空間で表すと、２軸ジンバルにより半球状の全方向に渡って視軸を指向することができる。これに対して、典型的な一例として移動体は天頂よりわずかにずれた位置を正面から背面に渡って移動する場合を考える。この図において、天頂から補正範囲閾角度θ_ｔｈの範囲が補正を適用する範囲となる。

図６は、天頂方向から２次元平面として、補正範囲を拡大して表した図である。図６および図７は、ジンバル天頂座標系で軌跡、補正範囲および追尾誤差を示している。この一例では移動体が下方より上方へ移動する場合である。下方より移動体を追尾誤差検出値に基づく角速度指令により追尾して、補正範囲に入った場合、移動体方向推定値θ_ｅｓｔは、ジンバル天頂座標系で９０度となる。従って、天頂に至るまでにＡＺ軸正面が指向すべきＡＺ軸角度は０度であり、［式８］により第１のジンバル１１１は補正角速度指令により駆動する。第２のジンバル１２１は、カメラセンサ１４０から取得した画像によって追尾誤差検出部１７３が検出した追尾誤差検出値に基づく角速度指令により駆動する。

図７は、視軸が天頂到達後の視軸と移動体との位置関係を示した図である。ＥＬ軸９０度である天頂ではＡＺ軸正面と移動体方向とは対向する向きとなり、天頂からのずれ量に応じたＸ方向追尾誤差ΔＸが発生している。この追尾誤差を抑制するように、［式９］により第１のジンバル１１１は補正角速度指令により駆動する。第２のジンバル１２１は、天頂通過前と同様に、カメラセンサ１４０から取得した画像によって追尾誤差検出部１７３が検出した追尾誤差検出値ΔＹに基づく角速度指令により駆動する。このようにして追尾誤差が抑制されると伴に、天頂補正範囲から退出した場合、第１のジンバル１１１では補正角速度指令から追尾誤差検出値に基づく角速度指令に切り替えることで、継続して追尾が可能となる。

角速度指令選択部１７２の動作の一例について図８を参照して説明する。
角度センサ１１４，１２４から取得したジンバル角度検出値に従い、［式７］によって天頂補正範囲内に進入したかどうかを判定する（ステップＳ８０１）。天頂補正範囲外であると判定した場合には、角速度指令生成部１５０による角速度指令値を選択して（ステップＳ８１４）、駆動制御部１６０へ渡す。一方、補正範囲内に進入したと判定した場合には、ＥＬ軸の角度が９０度を跨いだかどうかから天頂通過を判定する（ステップＳ８０２）。天頂を通過していない場合には、角度センサ１１４，１２４から取得したジンバル角度、ならびにカメラセンサ１４０から取得した追尾誤差を用いて移動体方向推定部１７４により移動体方向推定値を計算する（ステップＳ８０６）。そして、ＥＬ軸角度が９０度を超えていない場合には補正角度を［式８］により補正角度計算Ａとして計算し（ステップＳ８０８）、９０度を超えている場合には補正角度を［式１１］により補正角度計算Ｂとして計算する（ステップＳ８０９）。この補正角度が補正角度閾値より大きかった場合には、角速度指令生成部１５０による角速度指令値を選択する（ステップＳ８１０、Ｓ８１４）。こうすることで、天頂補正範囲内であっても、第１のジンバル１１１で回転角度が大きい、つまり大きな補正角速度指令となる場合には、補正の適用を制限することができる。第１のジンバル１１１の補正角度が閾値以下と判定された場合には、［式９］に従い、補正角速度指令Ａとして補正角速度指令の計算を行う（ステップＳ８１１）。
一方、天頂を通過した場合には、ＥＬ軸角度が９０度を超えている場合には［式１０］に従い補正角速度Ｂとして補正角速度指令を計算し（ステップＳ８０４）、９０度を超えていない場合には［式１１］に従い補正角速度Ｃとして補正角速度指令を計算する（ステップＳ８０５）。

天頂補正範囲内では、このようにして計算された補正角速度指令を角速度指令選択部１７２により選択し、駆動制御部１６０へ渡す。補正角速度指令で駆動されている状態では天頂の通過を繰り返し判定し、補正角速度指令の計算を切り替える。また、天頂補正状態において、天頂補正範囲外であると判定した場合には、角速度指令生成部１５０による角速度指令値を選択して駆動し、再び天頂補正範囲内に侵入したかどうかの判定へと戻す。

次に、移動体は天頂よりわずかにずれた位置を正面から背面に渡って移動する場合に、本実施形態の移動体画像追尾装置による補正制御の適用有無によって、追尾誤差の変化の一例について図９、図１０、図１１を参照して説明する。

緩やかに移動体が移動を開始し天頂付近を通過する場合、天頂に近いほどジンバルは正面から平面にＡＺ軸を大きく回転させる動作が伴い、ジンバル駆動特性の限界から、移動体の追尾特性が悪化する可能性が高い。

図９では、第１、第２のジンバル１１１，１２１それぞれに対して、駆動制御部１６０に与えられる角速度指令値を、それぞれ時間に対して図示したものである。第１のジンバル１１１がＡＺ、第２のジンバル１２１がＥＬに対応している。補正なしの場合では、天頂付近（図９の２．２［ｓ］付近）で、非常に大きなＡＺ軸角速度指令が与えられている（図９（Ａ））が、ジンバル駆動特性の限界から指令に追従することができない。これに対して、補正ありの場合では、ジンバル駆動特性で十二分に追尾することができる角速度指令となっている（図９（Ｂ））。顕著な特徴として、図９（Ｂ）に示されるように、補正ありにすることで天頂付近では、補正範囲への進入とともに移動体の進行方向と対向するようにＡＺ軸角度を回転し始めるため減速がおき、天頂通過後は天頂補正により生じたＸ方向追尾誤差を抑制するように駆動されている。これに対して、ＥＬ軸は移動体の移動速度に応じた角速度で駆動され、正面から背面への移動体追尾に対して、ＥＬ軸は０度から１８０度と変化して追尾していることを示している。

図１０では、カメラ追尾誤差のｘ成分とｙ成分をそれぞれ時間に対して図示したものである。補正なしの場合には、非常に大きなＡＺ角速度指令となるため、ジンバル駆動特性の限界から追尾誤差が大きくなり、追尾誤差検出範囲を超えてしまって、追尾不能となっている（図１０（Ａ））。これに対して、補正ありの場合では、追尾誤差検出範囲を超えることなく移動体を追尾していることを示している（図１０（Ｂ））。顕著な特徴として、Ｔｉｍｅが２．２［ｓ］手前での天頂通過時に、最大の追尾誤差となっている。しかし、カメラ視野に収まっており、安定した追尾が可能である。

図１１では、補正を適用した場合において、ジンバル天頂座標系での視軸のベクトル軌跡を図示したものである。破線の円は補正範囲を表している。下方から上方へ追尾から、補正範囲への侵入とともに天頂補正を開始し、天頂である（０，０）点に視軸が一旦指向し、その後、追尾誤差が抑制されながら元の下方から上方への軌道へと戻っていることを示している。

以上の第１の実施形態によれば、付加センサを追加することなく、２軸ジンバル構造であっても、第２のジンバルが正面から背面に指向可能な可動範囲を有し全方向に渡り追尾可能になり、天頂、ならびに天頂付近では、角度データに基づいて移動体角速度推定値を計算し、補正角速度指令で駆動することで、天頂付近での過大な角速度指令によるジンバルロックを回避し、移動体追尾の適切な角速度指令を生成することができ、追従特性を改善することができる。

（第２の実施形態）
本実施形態の移動体画像追尾装置の補正制御では、移動体角速度推定部１２０１による移動体角速度推定値を用いて移動体の移動状態を判定し、極めて天頂に近い位置から追尾を開始する場合は、天頂に指向するようにアジマス軸ならびにエレベーション軸の角速度指令を生成する。

本実施形態の移動体画像追尾装置の補正制御系について図１２を参照して説明する。図１２は、ＡＺ軸、ＥＬ軸の２軸まとめて表した制御ブロック線図である。
移動体角速度推定部１２０１は、追尾誤差検出部１７３から取得する２方向の追尾誤差を入力し、第１、第２の角度センサ１１４，１２４のそれぞれから角度を入力し、第１、第２の角速度センサ１１３，１２３のそれぞれから角速度を入力することで、移動体の速度を得る。

本実施形態にかかる補正制御では、ジンバルの角度を検出する角度データ、ならびにジンバルの角速度を検出する角速度データ（ω_１，ω_２）、ならびにカメラセンサ１４０からの追尾誤差検出値（ΔＸ，ΔＹ）に基づいて、移動体角速度推定部１２０１で移動体速度の推定を行う。

天頂補正非適用時には、追尾状態であれば視軸と移動体とは必ず交わるように移動しており、視軸ベクトル速度の大きさと移動体速度とが一致することより、移動体角速度推定値ω_ｅｓｔは次式で表される。

天頂補正適用時には、追尾誤差を許容して第１のジンバル１１１での大きな角速度指令を回避する動作を行うため、［式１３］では移動体の速度が推定できない。ここで、天頂補正状態では、Ｘ方向の追尾誤差は移動体の移動とは関連がなく、移動体の速度は、第２のジンバル１２１の角速度指令に等しいことから、Ｙ方向追尾誤差と追尾ゲインＫ_ｃから次式で表される。

補正角速度指令生成部１２０２は、このようにして求まった移動体角速度推定値ω_ｅｓｔ、移動体方向推定値θ_ｅｓｔ、ジンバル角度（θ_１，θ_２）、およびジンバル角速度（ω_１，ω_２）を用いて、補正角速度指令の生成を行う。

角速度指令選択部１２０３の動作の一例について図１３を参照して説明する。
天頂補正範囲であると判定された場合（ステップＳ８０１）、移動体角速度推定部１２０１から取得した移動体角速度推定値ω_ｅｓｔに従い、対象物の移動状態を判定する（ステップＳ１３０１）。移動体角速度推定値ω_ｅｓｔが移動体角速度閾値ω_ｔｈより大きい場合には、移動していると判定してステップＳ１３０３に進む。一方、移動体角速度推定値ω_ｅｓｔが移動体角速度閾値以下である場合には、移動停止時の追尾のために追尾誤差に基づく角速度指令で駆動するが、天頂付近ではsecθ_２が非常に大きくなるため、sec関数の変わりに、sign関数を使った停止追尾を行う（ステップＳ１３０２）。停止追尾の場合の補正角速度指令は次式で表される。

ここで、signθは、θに関する符号関数であり、θが０より大きければ１を、０の場合は０を、０未満の場合は−１を出力する。

移動していると判定された場合、極天頂補正適用条件であるか判定を行う（ステップＳ１３０３）。極天頂補正適用条件としては、天頂補正範囲内から追尾を開始し、かつ視軸がカメラの視野範囲θ_ｃ内であるかに基づき、次式のように表される。カメラの視野範囲θ_ｃ内の範囲は、天頂補正範囲よりも小さくなる。

条件外（［式１６］を満たさない場合）である場合には、ステップＳ８０２に進み第１の実施形態と同様の天頂補正を行う。条件と一致する場合（［式１６］を満たす場合）には、補正角速度指令Ｄとして、次式に従って計算する（ステップＳ１３０４）。

この補正角速度指令により、極天頂範囲にて移動体追尾を開始した場合には、ＡＺ軸は追尾誤差を低減し、ＥＬ軸は追尾誤差によらず天頂であるＥＬ軸９０度となるように駆動される。このようにすることで、ＥＬ軸は天頂を通過するため、以降の天頂補正は第１の実施形態と同様の処理となり、天頂補正範囲内ではこのようにして計算された補正角速度指令を角速度指令選択部１２０３により選択し、駆動制御部１６０へ渡す。補正角速度指令で駆動されている状態で、天頂の通過を繰り返し判定し、補正角速度指令の計算を切り替える。また、天頂補正状態において、天頂補正範囲外であると判定した場合には、角速度指令生成部１５０による角速度指令値を選択して（ステップＳ８０１、Ｓ８１４）、再び天頂補正範囲内に侵入したかどうかの判定へと戻す。

以上の第２の実施形態によれば、移動体角速度推定部による移動体角速度推定値を用いて移動体の移動状態を判定し、極めて天頂に近い位置から追尾を開始する場合は、天頂に指向するようにアジマス軸ならびにエレベーション軸の角速度指令を生成することができるので、適切に、天頂付近での過大な角速度指令によるジンバルロックを回避し、移動体追尾の適切な角速度指令を生成することができ、追従特性を改善することができる。

（第３の実施形態）
本実施形態の移動体画像追尾装置の補正制御では、移動体方向推定部１７４による移動体推定位置の差分を用いて移動体の移動状態を判定し、極めて天頂に近い位置から追尾を開始する場合は、天頂に指向するようにアジマス軸ならびにエレベーション軸の角速度指令を生成する。本実施形態は、図１３のステップＳ１３０１で対象物が移動状態にあるかどうかを判定する判定手法が第２の実施形態と異なる。

本実施形態の移動体画像追尾装置の補正制御系について図１４を参照して説明する。図１４は、ＡＺ軸、ＥＬ軸の２軸まとめて表した制御ブロック線図である。
移動体方向推定部１７４から出力される［式５］の移動体推定位置の差分（ｄｘ，ｄｙ）より、移動ベクトル閾値ｒより移動状態の判定条件は、次式のように表される。すなわち、あるサンプル間隔での差分が速度に対応しているので、この差分によって移動体が移動しているかどうかを判定することができる。

閾値より小さい場合には移動停止していると判定し、大きい場合には移動していると判定する。これ以降の処理は第２の実施形態と同様の天頂補正を行う。

以上の第３の実施形態によれば、移動体推定位置の差分（ｄｘ，ｄｙ）によって移動体が移動しているかどうかを判定することによって、第２の実施形態と同様の効果を得ることができる。

以上のような実施形態の移動体画像追尾装置は、ＴＶカメラやカメラシーカー、そして自動測量器等を搭載したジンバル構造の移動体のカメラ追尾を行う機器において、２軸ジンバル構造での全方位に渡って追尾が可能であり、移動体に搭載される追尾カメラシステムに有効である。

以上に示した実施形態によれば、２軸ジンバル構造であっても、第２のジンバルが正面から背面に指向可能な可動範囲を有し、天頂、ならびに天頂付近では、角度データに基づいて移動体角速度推定値を計算し、補正角速度指令で駆動することで、天頂付近での過大な角速度指令によるジンバルロックを回避し、移動体追尾の適切な角速度指令を生成することができ、追従特性を改善することが可能となる。

これにより、構造が簡易な２軸ジンバル構造で、過大なモータ性能を必要とせず、天頂、ならびに天頂付近の追尾が可能となる。また、新たにセンサを付与する必要がなく、装置のコストを増やすことなく、追尾特性を改善することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１１，１２１・・・ジンバル、１１２，１２２・・・駆動部、１１３，１２３・・・角速度センサ、１１４，１２４・・・角度センサ、１４０・・・カメラセンサ、１５０・・・角速度指令生成部、１６０・・・駆動制御部、１６１，１６２・・・サーボ制御部、１７１・・・補正角速度指令生成部、１７２、１２０３・・・角速度指令選択部、１７３・・・追尾誤差検出部、１７４・・・移動体方向推定部、１２０１・・・移動体角速度推定部、１２０２・・・補正角速度指令生成部。

Claims (7)

1. 垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段と、
   前記アジマス軸と直交する水平方向に設けられ、回転自在に支持されるエレベーション軸を中心に回転し、水平方向の正面から天頂を経て背面に回転が可能であり、少なくとも１８０度以上の可動範囲を有する第２回転手段と、
   前記第１回転手段と前記第２回転手段を個別に回転駆動する駆動手段と、
   前記第２回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、
   前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、
   前記回転手段ごとに、前記回転手段の姿勢を示す角度を検出する第２検出手段と、
   前記回転手段ごとに、前記軸回りの角速度を検出する第３検出手段と、
   天頂から一定の距離よりも離れた第１範囲に前記移動体がある場合には、前記角度と前記追尾誤差検出値とを使用して、前記移動体を追尾するように前記第１回転手段および前記第２回転手段を駆動する第１角速度指令値を計算する第１計算手段と、
   天頂から一定の距離以内の第２範囲に前記移動体がある場合には、前記角度と前記追尾誤差検出値とを使用して、前記移動体の移動方向を推定する推定手段と、
   前記角度と前記追尾誤差検出値と前記移動方向とを使用して、天頂特異点を回避しながら前記移動体を追尾するように前記第１回転手段および前記第２回転手段を駆動する第２角速度指令値を計算する第２計算手段と、
   前記第１範囲に前記移動体がある場合には前記第１角速度指令値と前記角速度との差がなくなるように、前記移動体が前記第２範囲にある場合には前記第２角速度指令値と前記角速度との差がなくなるように、前記第１回転手段および前記第２回転手段を駆動制御する制御手段と、を具備することを特徴とする移動体画像追尾装置。
2. 前記推定手段は、前記角度により定まるジンバル視軸の位置成分と前記追尾誤差検出値から定まる位置成分とから天頂座標系における対象物の位置を求め、該位置のあるサンプル間隔の差分により前記移動方向を推定算することを特徴とする請求項１に記載の移動体画像追尾装置。
3. 前記第２計算手段は、前記移動体が天頂を越えるまでは、第１回転手段のアジマス軸角度と前記移動方向との差が零に近付くように、前記第１回転手段の角速度を制御することを特徴とする請求項１または請求項２に記載の移動体画像追尾装置。
4. 前記第２計算手段は、前記移動体が天頂を越えた後は、前記追尾誤差検出値を抑制するように、該追尾誤差検出値に応じて前記第１回転手段の角速度を制御することを特徴とする請求項１から請求項３のいずれか１項に記載の移動体画像追尾装置。
5. 前記第２範囲に前記移動体がある場合には前記追尾誤差検出値に応じて移動体の角速度推定値を計算する第３計算手段をさらに具備し、
   前記第２計算手段は、前記第２範囲内にある前記移動体の追尾を開始し、かつ、視軸がある視野範囲内にある場合には、前記第１回転手段が追尾誤差検出値を低減するように該第１回転手段の角速度を制御し、前記第２回転手段が天頂を指向するように該第２回転手段の角速度を制御することを特徴とする請求項１から請求項４のいずれか１項に記載の移動体画像追尾装置。
6. 前記第３計算手段は、前記第１範囲に前記移動体がある場合には、前記第２検出手段による角度および前記第３検出手段による角速度に応じて移動体の角速度推定値を計算することを特徴とする請求項５に記載の移動体画像追尾装置。
7. 垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段を用意し、
   前記アジマス軸と直交する水平方向に設けられ、回転自在に支持されるエレベーション軸を中心に回転し、水平方向の正面から天頂を経て背面に回転が可能であり、少なくとも１８０度以上の可動範囲を有する第２回転手段を用意し、
   前記第１回転手段と前記第２回転手段を個別に回転駆動し、
   前記第２回転手段に支持され、移動体を撮影して画像データを取得し、
   前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出し、
   前記回転手段ごとに、前記回転手段の姿勢を示す角度を検出し、
   前記回転手段ごとに、前記軸回りの角速度を検出し、
   天頂から一定の距離よりも離れた第１範囲に前記移動体がある場合には、前記角度と前記追尾誤差検出値とを使用して、前記移動体を追尾するように前記第１回転手段および前記第２回転手段を駆動する第１角速度指令値を計算し、
   天頂から一定の距離以内の第２範囲に前記移動体がある場合には、前記角度と前記追尾誤差検出値とを使用して、前記移動体の移動方向を推定し、
   前記角度と前記追尾誤差検出値と前記移動方向とを使用して、天頂特異点を回避しながら前記移動体を追尾するように前記第１回転手段および前記第２回転手段を駆動する第２角速度指令値を計算し、
   前記第１範囲に前記移動体がある場合には前記第１角速度指令値と前記角速度との差がなくなるように、前記移動体が前記第２範囲にある場合には前記第２角速度指令値と前記角速度との差がなくなるように、前記第１回転手段および前記第２回転手段を駆動制御することを特徴とする移動体画像追尾方法。

Images