JP5659109B2

JP5659109B2 - 移動物体追跡装置及び参照点追跡方法

Info

Publication number: JP5659109B2
Application number: JP2011191775A
Authority: JP
Inventors: 黒岩　正; 正黒岩
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-09-02
Filing date: 2011-09-02
Publication date: 2015-01-28
Anticipated expiration: 2031-09-02
Also published as: JP2013055474A

Description

本発明の実施形態は、移動物体追跡装置及び移動物体の参照点追跡方法に関する。

一般に、画像追跡方式によって移動物体を追跡する追跡装置において、追跡の対象とする移動物体全体の形状を撮像でき、その形状や特徴量等を識別できる場合には、移動物体上のある特定な点について、撮像画像上での位置を算出することができる。

従来、撮像画像から画像処理等によって移動物体の慣性主軸方向を抽出し、それに基づいて移動物体上の特定の点を算定するものがある（例えば、飛しょう体を対象とした特許文献１参照。）。

しかしながら、撮像した画像における移動物体の画素の輝度値のダイナミックレンジが撮像器の輝度値のダイナミックレンジを超える場合や、画像処理やノイズ除去のためにあるしきい値以上の輝度値をもつ画素による画像（二値化した場合を含む）しか得られない場合などには、追跡に必要な輝度値を有する画素の情報は得られても、追跡の対象とする移動物体全体の形状を撮像画像から得ることが困難となる場合がある。

特許第４４１２７９９号公報

本発明が解決しようとする課題は、移動物体上のある点に対して移動物体の移動速度方向から所定角度だけ回転した方向に所定長さ離れた点の位置を精度良く把握可能な移動物体追跡装置及び移動物体の参照点追跡方法を提供することにある。

実施形態の移動物体追跡装置は、移動物体の所定の部位を画像追跡点として撮像する撮像器と、前記撮像器を駆動する駆動機構部と、前記撮像器で取得した画像追跡点の画像データを入力し、撮像画像における追跡のための追跡原点座標と前記移動物体の画像追跡点の座標との差異を表す追跡誤差を算出する画像処理器と、
前記画像処理器で得られた追跡誤差に基づいて、前記撮像器の追跡角速度に前記移動物体に対する前記撮像器の追従遅れを補正した視軸角速度を算出する制御処理器と、前記移動物体との間の相対距離を計測する測距離センサと、移動物体追跡装置自身の移動速度を計測する速度計測器と、前記制御処理器で得られた視軸角速度と前記測距離センサで得られた相対距離と前記速度計測器で得られた移動物体追跡装置自身の移動速度に基づいて、前記画像追跡点から前記移動物体の移動速度方向から所定の角度だけ回転した方向に所定長さだけ離れた参照点を追跡するための参照点追跡角度を算出する参照点追跡角度算出部とを、具備する。

実施形態に係る移動物体追跡装置の構成を示す図である。撮像器から見た移動物体の座標系を示す図である。撮像器、画像処理器及び制御処理器で実現する機能を画像追跡制御系と角速度制御系に簡略化したものと、駆動機構部との信号の授与関係を示す図である。

以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。

図１は、実施形態に係る移動物体追跡装置１の構成を示す図である。本実施形態に係る移動物体追跡装置１は、移動物体１００の方向に撮像器１０を指向させ、その撮像画像に基づいて移動物体１００を追跡するものである。画像追跡するための移動物体１００上のある点、例えば、撮像画像において画素の輝度値が高い部位や、特徴的な形状が見られる部位を追跡点１００ａとし、その追跡点１００ａに対し移動物体１００の移動速度V方向から所定の角度Δδだけ回転した方向に所定の長さＬだけ離れた点を参照点１００ｂとする。本実施形態では、移動物体１００が角度Δδだけ傾きを維持したたま、直進して移動する場合の移動物体１００を追跡するものである。

移動物体１００の参照点１００ｂは、直接的には把握できないので、追跡点１００ａに基づいて間接的に把握する。図１に示すように、移動物体追跡装置１は、撮像器１０と、画像処理器２０と、制御処理器３０と、駆動機構部４０と、参照点追跡角度算出部５０と、測距離センサ６０と、速度計測器７０を具備している。

撮像器１０は、移動物体１００上の追跡点１００ａに狙いを定めて撮像するもので、駆動機構部４０の可動側に搭載される。撮像器１０は、駆動機構部４０を適切に動かすことによって、移動物体１００をその視野内に捉えることができる。撮像器１０は、例えば、他の部位と比べて温度差がある部位を追跡点１００ａとして捉える場合には、赤外線カメラがしばしば用いられる。撮像器１０で撮像した移動物体１００の画像を含む画像データは、画像処理器２０に送られる。画像処理器２０は、画像データに基づいて、後述する追跡誤差信号を算出する。また、駆動機構部４０から、移動物体追跡装置１から見た移動物体方向の角度θ情報を含むセンサ信号が制御処理器３０に送られる。そして、制御処理器３０から、該センサ信号を処理して得られた移動物体方向角度θ信号は、後述する参照点追跡角度算出部５０に送られる。

撮像画像における移動物体１００上の追跡点１００ａの座標と、移動物体１００上にあり、追跡点１００ａから移動物体１００の移動速度V方向から所定の角度Δδだけ回転した方向に所定の長さＬだけ離れた参照点１００ｂの撮像画像上での座標とは差異が有る。図２は、撮像器１０の視野内に移動物体１００を捉えたときの撮像画像を模式的に表した図で、座標系も合せて示す。撮像画像上では、少なくとも移動物体１００上の追跡点１００ａを捉えることができる輝度値をもつ画像が得られていれば十分で、移動物体１００の全体の形状を捉えることができる輝度値をもつ画像が得られていなくても良い。図２に示すように、撮像器１０の視軸方向又は追跡の基準とする方向の撮像画像上における座標を表す追跡原点座標と移動物体上の追跡点１００ａの撮像画像上における座標との差異を表す信号が追跡誤差信号である。追跡誤差は、撮像画像の水平方向（Ｘ方向）の成分と、撮像画像の垂直方向（Ｙ方向）の成分に分けて示している。

画像処理器２０で算出した追跡誤差信号は、制御処理器３０に送られる。

制御処理器３０では、追跡誤差信号に応じた駆動信号を生成し、駆動機構部４０に送出する。駆動機構部４０は、例えば後述する図３に示すように、アンプ・モータ４０ａ、駆動機構４０ｂ、角速度センサ４０ｃ、角度センサ４０ｄで構成することができる。

制御処理器３０において駆動機構部４０を駆動するための駆動信号を生成する際には、駆動機構部４０に取付けられた角度センサ４０ｄや角速度センサ４０ｃのセンサ信号をフィードバックして制御することも同時に行い、それによってより精度良く、速やかに撮像器１０を移動物体１００の方向へ指向させ追跡することができる。

測距離センサ６０は、移動物体１００と移動物体追跡装置１との間の相対距離Ｒを計測する。測距離センサ６０で得られた相対距離信号は、参照点追跡角度算出部５０に送られる。

速度計測器７０は、移動物体追跡装置１自身の移動速度V₀を計測する。速度計測器７０で得られた移動物体追跡装置１自身の移動速度V₀は，参照点追跡角度算出部５０に送られる。

図３は、実施形態における制御ブロック図で、撮像器１０、画像処理器２０及び制御処理器３０で実現する機能を画像追跡制御系３０ａと角速度制御系３０ｂとして表したものと、駆動機構部４０との信号の授与関係を示す図である。移動物体１００の移動方向及び角度の情報は、撮像器１０で撮像した画像データに基づいて画像処理器２０で算出した追跡誤差信号として、画像追跡制御系３０ａに供給される。画像追跡制御系３０ａで得られた追跡誤差信号は角速度制御系３０ｂに供給される。角速度制御系３０ｂには、角度センサ４０ｄや角速度センサ４０ｃのセンサ信号が供給され、フィードバック制御を行って駆動機構部４０を駆動するための駆動信号を生成し、駆動機構部４０に供給される。

角速度制御系３０ｂからは、後述する視軸角速度の情報が参照点追跡角度算出部５０に供給される。

測距離センサ６０からは、相対距離信号が参照点追跡角度算出部５０に供給される。速度計測器７０からは，移動物体追跡装置１自身の移動速度V₀が参照点追跡角度算出部５０に供給される。

参照点追跡角度算出部５０は、追跡点１００ａと参照点１００ｂとの間の見かけの角度差である参照点追跡角度Δθを算出するものである。

ここで、視軸角速度と追跡角速度Ωについて説明する。

視軸角速度は、撮像器１０の視軸方向が移動する角速度で、駆動機構４０に搭載された角速度センサ４０ｃからの角速度信号に基づいて算出される。なお、角速度センサ４０ｃの方式と取り付け部位によっては、駆動機構４０に搭載された角度センサ４０ｄからの角度信号も用いて算出する。

追跡角速度Ωは、移動物体追跡装置１から見た移動物体１００の角速度である。撮像器１０の視軸方向を移動物体１００上の一定の点（追跡点）に常に誤差なく指向し続けられれば、追跡角速度Ωは視軸角速度と一致するが、多くの場合には両者の間には差異（追跡誤差）が生じる。しかし、例えば、画像追跡制御系３０ａ及び角速度制御系３０ｂによる追跡制御系を１型のサーボ系で構成した場合、移動物体１００が等角速度で移動する場合には、上記追跡誤差は定常的には一定値となり、視軸角速度は追跡角速度Ωに一致する。したがって、移動物体１００が等角速度で移動するか、近似的に又は短時間の間は等角速度で移動するとみなせる場合には、追跡角速度Ωを視軸角速度で置き換えて差支えない。

また、上記追跡制御系の内部において、移動物体１００を追跡するための駆動機構４０の移動角速度の目標値を生成している場合には、その目標値を追跡角速度Ωとみなしてもよい。例えば、上記追跡誤差に比例した値を駆動機構４０の移動角速度の目標値とする場合がそれにあたる。この場合には、追跡制御系全体の周波数帯域より高い周波数までの変動に追従することができる。ただし、誤差やノイズの影響を受けやすくなるおそれがありうる。

一方、移動物体１００の移動角速度（追跡角速度Ω）の時間変化率が著しい場合には、撮像器１０の追従に大きな遅れが発生する。そこで、参照点追跡角度Δθの算出に際しては、撮像器１０の追従遅れを加味した（補正した）視軸角速度の情報に基づく方が、より精度良く、参照点１００ｂが得られる。なお、ここでは、追従遅れの補正の詳細説明は省略する。

参照点追跡角度算出部５０は、視軸角速度の値を基に参照点追跡角度Δθを算出する。

以上のように構成した移動物体追跡装置１において、参照点追跡角度算出部５０は、参照点追跡角度Δθを次式によって算出する。

ここで，
L ：移動物体上での画像追跡点と参照点との間の実際の長さ
Δδ ：移動物体上での画像追跡点に対する参照点の方向の角度
（移動物体の移動速度方向基準）
Ω ：移動物体追跡装置が移動物体を追跡する角速度
V ：移動物体の移動速度
R ：移動物体追跡装置と移動物体との間の相対距離
V₀ ：移動物体追跡装置自身の移動速度
θ ：移動物体追跡装置から見た移動物体方向の角度
（移動物体追跡装置自身の移動速度方向基準）
である。
なお，移動物体１００の移動速度Vの値は，0でないとする。

図２に示すように、参照点追跡角度ΔθはＸ方向成分ΔθxとＹ方向成分Δθyとで表わすことができるから、参照点追跡角度Δθは、上記の式を各方向成分ごとに適用して算出する。

移動物体追跡装置１が移動物体１００を追跡する追跡角速度Ωは、上述したように、駆動機構部４０の可動部に搭載された撮像器１０の視軸角速度を利用して算出することができる。視軸角速度は、駆動機構部４０の角速度と必要であれば角度をもとに、制御処理器３０の出力として得ることができる。

以上のようにして、移動物体１００上の参照点１００ｂが把握できた後は、例えば、参照点１００ｂの方向に光波を照射すると移動物体１００が移動し続けていても、常に移動物体１００上の参照点１００ｂを外部から照らすことができる。

なお、移動物体上の追跡点１００ａは、移動物体１００に対して相対的な位置関係が変化しないで移動物体１００とともに移動していればよく、必ずしも移動物体１００上に実在する点である必要はない（例えば、高温の燃焼ガスを噴射しているような部位を追跡点として赤外線カメラで撮像し、追跡する場合など。）。

また、図１では、移動物体１００について、移動速度V方向と直交する方向に幅があるように示しているが、移動物体１００が細長く参照点１００ｂは追跡点１００ａに対して移動物体１００の長さ方向に所定の長さLだけ離れていて、移動物体１００の速度方向が移動物体１００の長さ方向に対して所定の角度Δδずれている場合も同じ関係が成り立つ。

以上の説明では、追跡誤差信号は画像処理器２０で算出するとしたが、画像処理器２０では撮像画像上における追跡点１００ａの座標を算出して制御処理器３０に送り、追跡誤差信号は制御処理器３０で算出する方式でも構わない。

（実施形態の変形例１）
上述した第１の実施形態では、移動物体１００上での画像追跡点１００ａと参照点１００ｂとの間の実際の長さL及び移動物体上での画像追跡点１００ａに対する参照点１００ｂの方向の角度の各値が既知である場合について、説明した。

一方、移動物体１００の正体がはっきりしていない場合には、長さL及び角度の値は不知となる。このような場合には、既知の移動物体１００の諸元から長さL及び角度の値について、推定値を用いることが可能である。

（実施形態の変形例２）
移動物体追跡装置１を常に静止した状態で用いる場合がある。このようなケースでは，移動物体追跡装置１の構成として、速度計測器７０を備えていないものがある。このような場合には、上記した式（１）及び（２）において、V₀ = 0 となる。

以上説明したように、本実施形態によれば、撮像画像上において、追跡している移動物体上の点（追跡点）に対して移動物体の移動速度方向から所定角度だけ回転した方向に所定長さ離れた点（参照点）の撮像画像上における位置と、追跡点の撮像画像上における位置との差異、すなわち、参照点追跡角度を算出することができる。そして、移動物体１００上の参照点１００ｂが把握できた後は、例えば、参照点１００ｂの方向に光波を照射すると移動物体１００が移動し続けていても、常に移動物体１００上の参照点１００ｂを外部から照らすことができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…移動物体追跡装置、
１０・・・撮像器、
２０・・・画像処理器、
３０・・・制御処理器、
４０・・・駆動機構部、
５０・・・参照点追跡角度算出部、
６０・・・測距離センサ、
７０・・・速度計測器。

Claims

移動物体の所定の部位を画像追跡点として撮像する撮像器と、
前記撮像器を駆動する駆動機構部と、
前記撮像器で取得した画像追跡点の画像データを入力し、撮像画像における追跡のための追跡原点座標と前記移動物体の画像追跡点の座標との差異を表す追跡誤差を算出する画像処理器と、
前記画像処理器で得られた追跡誤差に基づいて、前記撮像器の追跡角速度に前記移動物体に対する前記撮像器の追従遅れを補正した視軸角速度を算出する制御処理器と、
前記移動物体との間の相対距離を計測する測距離センサと、
移動物体追跡装置自身の移動速度を計測する速度計測器と、
前記制御処理器で得られた視軸角速度と前記測距離センサで得られた相対距離と前記速度計測器で得られた移動物体追跡装置自身の移動速度に基づいて、前記画像追跡点から前記移動物体の移動速度方向から所定の角度だけ回転した方向に所定長さだけ離れた参照点を追跡するための参照点追跡角度を算出する参照点追跡角度算出部とを、
具備する移動物体追跡装置。
前記視軸角速度は、前記駆動機構部の指向角度及び移動角速度のセンサ信号と前記画像処理器で得られた追跡誤差の、いずれか一方又は両方に基づいて算出する請求項１記載の移動物体追跡装置。
前記参照点追跡角度は、前記移動物体上での追跡点と参照点との間の実際の長さ、前記移動物体上での画像追跡点に対する参照点の方向の角度の各値から算出する請求項１又は請求項２に記載の移動物体追跡装置。
前記移動物体上での追跡点と参照点との間の実際の長さ、前記移動物体上での画像追跡点に対する参照点の方向の角度の各値は、既知の移動物体から推定した推定値を使用する請求項３記載の移動物体追跡装置。
前記参照点追跡角度算出部は、前記測距離センサで得られた相対距離及び相対距離の時間変化率、移動物体追跡装置自身の移動速度及び前記視軸角速度の各値を使用して前記移動物体の移動速度を算出してから、前記参照点追跡角度を算出する請求項１記載の移動物体追跡装置。
撮像器で移動物体を撮像し、
前記撮像器で取得した画像データに基づいて前記移動物体上の追跡点の撮像画像上における座標を算出し、前記撮像器の視軸方向又は追跡の基準とする方向の撮像画像上における座標を表す追跡原点座標と前記移動物体上の追跡点の座標との差異を表す追跡誤差を算出し、
前記追跡誤差に基づいて、前記撮像器の視野内に前記移動物体を捉えるように前記撮像器を駆動する駆動機構部への駆動信号を生成するとともに、
前記駆動機構部からの指向角度及び移動角速度のセンサ信号と、前記追跡誤差の、いずれか一方又は両方に基づいて視軸角速度を算出し、
前記移動物体との間の相対距離を計測し、
前記移動物体追跡時の前記撮像器自身の移動速度を計測し、
前記視軸角速度と前記相対距離と前記移動物体追跡時の移動速度に基づいて、前記移動物体上の追跡点から前記移動物体の移動速度方向から所定の角度だけ回転した方向に所定長さだけ離れた参照点を追跡するための参照点追跡角度を算出する、
移動物体の参照点追跡方法。
前記相対距離の時間変化率、前記移動物体追跡時の前記撮像器自身の移動速度及び前記視軸角速度の各値を使用して前記移動物体の移動速度を算出してから、前記参照点追跡角度を算出する請求項６記載の移動物体の参照点追跡方法。