JP4061221B2 - 移動目標検出装置、追尾システム及び移動目標識別方法 - Google Patents
移動目標検出装置、追尾システム及び移動目標識別方法 Download PDFInfo
- Publication number
- JP4061221B2 JP4061221B2 JP2003078506A JP2003078506A JP4061221B2 JP 4061221 B2 JP4061221 B2 JP 4061221B2 JP 2003078506 A JP2003078506 A JP 2003078506A JP 2003078506 A JP2003078506 A JP 2003078506A JP 4061221 B2 JP4061221 B2 JP 4061221B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- evaluation value
- frame image
- target area
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、移動目標検出装置、追尾システム及び移動目標識別方法に係り、より詳しくは、フレーム画像ごとに目標領域を抽出して航空機などの移動目標の検出を行う移動目標検出装置の改良に関する。
【０００２】
【従来の技術】
従来の移動目標検出装置としては、例えば、特許文献１または２に記載のものがある。このうち、特許文献１に記載の移動物体認識装置は、複数の時系列画像と背景画像とが格納される画像記憶部と、時間を遡って画像処理を行う画像処理部とを備えている。そして、画像処理部は、複数の時系列画像のうち時刻ｔの画像について、背景画像と比較して移動物体を認識し、認識された移動物体に識別符号を付与し、時刻ｔの画像に含まれる各移動物体の動きベクトルを求め、（ｔ−１）の画像に含まれる移動物体上の領域が識別符号Ｘを持っていると仮定して、この領域に対応した時刻ｔでの画像上の領域を動きベクトルに基づき推定し、両領域の相関度を求め、複数の識別符号Ｘの各々について求めた相関度の大小関係に基づいて、領域に付与すべき識別符号を決定することにより時刻（ｔ−１）の画像に含まれている非分離移動物体を分割するように構成される。
【０００３】
【特許文献１】
特開２００２−１３３４２１号公報
【特許文献２】
特開２０００−１３７８２号公報
【０００４】
【発明が解決しようとする課題】
上述した様な従来の移動目標検出装置は、現在の入力画像と、過去の入力画像から得られる背景画像との差分画像に基づいて、移動目標を検出している。このため、カメラセンサの視野範囲内において複数の目標が同時に捉えられるような状況では、カメラセンサの視線方向と各目標との位置関係によって各目標が重なって画像入力され、複数の移動目標を１つの移動目標であるというように誤検出されてしまう場合があった。
【０００５】
また、日射などの外乱によって入力画像に揺らぎが生じ、１つの移動目標が分裂して検出されるような状況では、分裂した個々の検出結果をそれぞれ移動目標であるというように誤認されてしまうという問題もあった。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、移動目標の検出精度を向上させた移動目標検出装置、追尾システム及び移動目標識別方法を提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明による移動目標検出装置は、背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出手段と、上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成手段と、上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別手段とを備え、上記評価値生成手段は、上記現在のフレーム画像から抽出された第１の目標領域と、上記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とするように構成される。
【０００８】
この様な構成によれば、第１及び第２の目標領域の重複領域に基づいて、評価値が生成されるので、評価値の生成が容易である。また、評価値に基づいてこれらの目標領域がフレーム間で対応づけられ、この対応づけに基づいて移動目標が識別されるので、移動目標の検出精度を向上させることができる。
【０００９】
本発明による追尾システムは、カメラセンサから順次に入力されるフレーム画像に基づいて、移動目標の検出を行う移動目標検出装置と、移動目標の位置情報の標定を行う目標位置標定装置と、標定結果に基づいて予測ゲートを補正し、補正結果に基づいて移動目標の追尾を行う追尾処理装置により構成され、移動目標検出装置は、背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出手段と、上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成手段と、上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別手段とを備え、上記評価値生成手段は、上記現在のフレーム画像から抽出された第１の目標領域と、上記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とする。
【００１０】
本発明による移動目標識別方法は、背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出ステップと、上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成ステップと、上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別ステップとからなり、上記評価値生成ステップは、上記現在のフレーム画像から抽出された第１の目標領域と、上記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とするステップである。
【００１１】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１による追尾システムの一構成例を示したブロック図である。本実施の形態の追尾システム１は、カメラセンサ２、移動目標検出装置３、目標位置標定装置４、追尾処理装置５及び目標位置表示装置６により構成される。この追尾システム１は、カメラセンサ２からの画像データに基づいて目標を追尾し、追尾結果を目標位置表示装置６に表示するものであり、例えば、車両もしくは滑走路上の航空機などの移動目標を追尾するのに好適なものである。
【００１２】
カメラセンサ２は、所定のフレーム周期で撮像を行う撮像手段であり、滑走路脇などに設置される。撮像された画像データは、順次に移動目標検出装置３へ出力され、フレームごとの画像データ（以下、フレーム画像という）に基づいて移動目標の検出が行われる。
【００１３】
目標位置標定装置４は、移動目標の検出結果に基づいて、移動目標の位置情報の標定を行っている。位置情報の標定は、カメラセンサ２の設置場所と、撮像の方位及び俯角情報とに基づいて行われ、検出された移動目標のフレーム画像上における重心位置及びサイズを、実座標における重心位置及びサイズに変換することにより行われる。また、移動目標の大きさもしくは高さなどから、位置情報の標定誤差が算出される。この様にして行われた標定結果は、追尾処理装置５へ出力される。
【００１４】
追尾処理装置５は、目標の移動先を予測するための予測ゲートを設け、この予測ゲートの大きさを標定結果に基づいて補正することにより、移動目標の追尾処理を行っている。追尾処理の結果は、目標位置表示装置６へ出力され、移動目標の航跡などが画面表示される。
【００１５】
図２は、図１の追尾システムにおける移動目標検出装置の構成例を示したブロック図である。本実施の形態の移動目標検出装置３は、Ａ／Ｄ変換部７、目標領域抽出部８、背景画像記憶部９、入力画像記憶部１０、評価値生成部１１及び目標識別部１２により構成される。
【００１６】
Ａ／Ｄ変換部７は、カメラセンサ２から入力されたフレーム画像をデジタル画像に変換し、変換後のフレーム画像を目標領域抽出部８へ出力している。目標領域抽出部８は、このフレーム画像をフレームごとに入力画像記憶部１０へ格納するとともに、フレーム画像ごとに順次に目標領域の抽出を行っている。
【００１７】
目標領域の抽出は、背景画像記憶部９に記憶された背景画像に基づいて行われる。背景画像とは、カメラセンサ２により予め撮像された画像データであり、背景差分法による空間フィルタを用いてフレーム画像から目標領域が判別される。つまり、現在のフレーム画像と、過去のフレーム画像から得られる背景画像との差分画像から目標領域が抽出される。この様にして抽出された抽出結果は、フレーム画像ごとに入力画像記憶部１０へ記憶される。
【００１８】
評価値生成部１１は、フレーム画像ごとに抽出された目標領域に対し、異なる２つのフレーム画像間で相関度の評価を行っている。相関度の評価は、各目標領域のフレーム画像内における抽出位置に基づいて行われ、目標領域ごとにフレーム間での評価値が生成される。
【００１９】
評価値は、目標領域のフレーム間での相関度を表し、フレーム画像から抽出された目標領域（第１の目標領域とする）が、そのフレーム画像より前のフレーム画像から抽出された目標領域（第２の目標領域とする）と重複する場合に、この重複領域に基づいて生成される。ここでは、第２の目標領域が、第１の目標領域より１フレーム前のフレーム画像から抽出されたものであるとする。また、第１及び第２の目標領域が重複しない場合には、目標領域間の距離に基づいて評価値が生成される。
【００２０】
例えば、第１及び第２の目標領域が重複する場合には、その重複部分の領域面積から評価値が生成され、画素数単位で評価値が算出される。また、第１及び第２の目標領域が重複しない場合には、目標領域間の離れ距離に基づいて評価値が生成され、画素数単位の距離から評価値が算出される。
【００２１】
離れ距離とは、目標領域間の縦方向の最大距離と、横方向の最小距離とを表し、フレーム画像における縦横による遠近感及び画像圧縮度の差違が考慮された値である。評価値は、この離れ距離に基づいて算出され、例えば、目標領域間の縦方向の最大距離と、横方向の最小距離との和に−１を乗算することにより得られる値である。つまり、第１及び第２の目標領域が重複する場合には、正の評価値が生成され、第１及び第２の目標領域が重複しない場合には、負の評価値が生成される。この様な評価値は、フレーム画像内において抽出された全ての目標領域について算出される。
【００２２】
目標識別部１２は、生成された目標領域間の評価値に基づいて、目標領域を異なるフレーム画像間で対応づけ、その対応関係から移動目標の識別を行っている。フレーム間の対応づけは、例えば、１つの第２の目標領域に対し、最も高い評価値を有する第１の目標領域を判別することにより行われ、当該第１の目標領域が当該第２の目標領域に対応づけられる。
【００２３】
この様にして対応づけられたフレーム間の目標領域には、例えば、同一の識別符号が付与され、この識別符号に基づいて、移動目標がフレームごとに順次に識別される。
【００２４】
また、目標識別部１２は、評価値に基づいて、フレーム画像内の目標領域の選別を行っている。目標領域の選別は、フレーム画像ごとに行われ、例えば、評価値を所定の閾値と比較することにより行われる。この比較の結果、評価値が閾値より低い目標領域については、追尾対象から除外される。
【００２５】
この様にして移動目標の識別が行われ、識別情報が移動目標の検出結果として目標位置標定装置４へ出力される。
【００２６】
図３のステップＳ１〜Ｓ４は、図２の移動目標検出装置における移動目標識別の動作の一例を示したフローチャートである。カメラセンサ２からフレーム画像が入力されると（ステップＳ１）、このフレーム画像は、Ａ／Ｄ変換部７によってアナログ画像からデジタル画像に変換され、変換後のフレーム画像が目標領域抽出部８に出力される。
【００２７】
次に、目標領域抽出部８は、背景画像記憶部９に記憶された背景画像に基づいて、フレーム画像から目標領域を抽出する（ステップＳ２）。抽出結果は、評価値生成部１１に出力され、フレーム画像間の目標領域の相関度が評価される。評価値生成部１１は、目標領域のフレーム画像内での抽出位置に基づいて、評価値を生成する（ステップＳ３）。
【００２８】
評価結果は、目標識別部１２に出力され、フレーム画像間における目標領域の対応づけが行われる。目標識別部１２は、この対応づけに基づいて、移動目標を識別する（ステップＳ４）。
【００２９】
図４及び図５は、図２の移動目標検出装置における評価値生成の一例を示した説明図であり、図４（ａ）は、現在のフレーム画像において抽出された各目標領域を表し、図４（ｂ）は、過去のフレーム画像において抽出された各目標領域を表し、図５は、現在のフレーム画像及び過去のフレーム画像間における目標領域の位置関係に基づく評価値の生成を表している。
【００３０】
カメラセンサ２から順次に入力されるフレーム画像の１つを現在フレーム画像とし、そのフレーム画像より１フレーム前のフレーム画像を過去フレーム画像とする。そして、目標領域抽出部８によって現在フレーム画像から抽出された各目標領域（第１の目標領域）を目標領域２１，２４，２５とし、過去フレーム画像から抽出された各目標領域（第２の目標領域）を目標領域２２，２３とする。
【００３１】
評価値生成部１１は、現在フレーム画像における目標領域２１，２４，２５と、過去フレーム画像における目標領域２２，２３との間で互いの位置関係に基づいて評価値を算出する。その評価値の算出方法について説明する。以下、説明をわかり易くするため、現在及び過去のフレーム画像内の各目標領域に対して個々に説明する。
【００３２】
例えば、現在フレーム画像の目標領域２１は、過去フレーム画像の目標領域２２と抽出位置が重複している。この場合（Ａ１−Ａ２）には、重複部分の領域面積から評価値が算出される。重複領域のフレーム画像上における縦横の長さを、ピクセル数（画素数）単位で求めることにより、評価値は、２０×３０＝６００と算出される。
【００３３】
一方、現在フレーム画像の目標領域２１は、過去フレーム画像の目標領域２３と抽出位置が重複していない。この場合（Ａ１−Ｂ２）には、フレーム画像上における目標領域間の離れ距離から評価値が算出される。ピクセル数単位で離れ距離を求めると、縦方向に最大５０、横方向に最小５であり、評価値は、（−５０）＋（−５）＝−５５と算出される。
【００３４】
他の目標領域間の評価値についても、Ａ１−Ａ２の場合もしくはＡ１−Ｂ２の場合と同様にして算出され、目標領域２４及び２２の場合（Ｂ１−Ａ２）は、−３００、目標領域２４及び２３の場合（Ｂ１−Ｂ２）は、２００、目標領域２５及び２２の場合（Ｃ１−Ａ２）は、−４００、目標領域２５及び２３の場合（Ｃ１−Ｂ２）は、−４０となっている。
【００３５】
本実施の形態によれば、目標領域間の評価値を重複領域の面積及び離れ距離から算出するので、評価値を容易に算出することができる。また、現在及び過去のフレーム画像間で算出された評価値に基づいて、目標領域間の対応づけが行われるので、複数の移動目標に対する識別精度を向上させることができる。
【００３６】
また、評価値に基づいてフレーム画像内の目標領域の選別が行われるので、追尾処理におけるデータ処理量を低減させることができ、処理時間が短縮する。
【００３７】
実施の形態２．
図６は、本発明の実施の形態２による移動目標検出装置の構成例を示したブロック図である。図２の移動目標検出装置３（実施の形態１）では、同程度の重複度でも目標領域の大きさに応じて評価値が変化していたが、本実施の形態の移動目標検出装置３ａでは、評価値を補正することにより、目標領域の大きさによる評価値のばらつきを解消している。
【００３８】
この移動目標検出装置３ａは、評価値補正部１３を備え、評価値生成部１１によって生成された目標領域間の評価値が、評価値補正部１３によって補正される。評価値の補正は、所定の最低評価値を定め、この最低評価値よりも低い評価値を最低評価値とすることにより行われる。
【００３９】
ここで、最低評価値は、カメラセンサ２の設置場所、視野範囲、移動目標の大きさまたは移動目標までの距離などに基づいて予め定められるものとする。
【００４０】
例えば、評価値に所定の補正値を加算した後、負の値をゼロの評価値に置き換えることにより補正が行われる。この場合、ゼロが最低評価値となる。ここで、補正値は、最低評価値と同様に定められる。補正値の加算処理は、例えば、目標領域の大きさが大きいと、重複領域の面積及び離れ距離の分散が大きくなり、同程度の重複度でも目標領域の大小によって評価値の指標が変化してしまうのを解消するための正規化処理である。
【００４１】
この様にして評価値の補正が行われ、補正後の評価値に基づいて移動目標の識別が行われる。なお、その他の構成は、図２の移動目標検出装置３と同様である。
【００４２】
図７は、図６の移動目標検出装置における評価値補正の一例を示した説明図である。例えば、補正値を１００として、評価値の補正が行われる。Ａ１−Ａ２の場合は、６００＋１００＝７００と補正され、Ａ１−Ｂ２の場合は、−５５＋１００＝４５と補正される。また、Ｂ１−Ａ２の場合は、−３００＋１００＝−２００＝０、Ｂ１−Ｂ２の場合は、２００＋１００＝３００、Ｃ１−Ａ２の場合は、−４００＋１００＝−３００＝０、Ｃ１−Ｂ２の場合は、−４０＋１００＝６０とそれぞれ補正される。
【００４３】
本実施の形態によれば、最低評価値を定め、それよりも低い評価値を最低評価値に繰り上げることにより、分散が減少し、目標領域の大小による評価値のばらつきを解消することができる。従って、より高精度な目標検出を行うことができる。
【００４４】
実施の形態３．
図８は、本発明の実施の形態３による移動目標検出装置の構成例を示したブロック図である。本実施の形態の移動目標検出装置３ｂでは、フレーム画像内における各目標領域についての評価値の正規化処理を行っている。
【００４５】
この移動目標検出装置３ｂは、評価値正規化部１４を備え、評価値補正部１３によって補正された評価値が、評価値正規化部１４によって正規化される。評価値の正規化は、現在フレーム画像における目標領域（第１の目標領域）ごとに、過去フレーム画像における各目標領域（第２の目標領域）に対する評価値について行われる正規化（第１の正規化）処理と、過去フレーム画像における目標領域ごとに、現在フレーム画像における各目標領域に対する評価値について行われる正規化（第２の正規化）処理と、第１及び第２の正規化処理により得られた値に基づいて、相関値を算出する相関値算出処理とからなる。
【００４６】
例えば、第１の正規化は、現在フレーム画像内の１つの目標領域について、過去フレーム画像内の各目標領域に対する評価値の総和を基準として行われる。第２の正規化は、過去フレーム画像内の１つの目標領域について、現在フレーム画像内の各目標領域に対する評価値の総和を基準として行われる。そして、これらの第１及び第２の正規化処理によって得られた値を互いに乗算することにより、相関値がそれぞれ算出される。
【００４７】
つまり、相関値は、対応関係を現在からみた場合の過去の各目標領域に対する評価値の正規化と、過去からみた場合の現在の各目標領域に対する評価値の正規化とを均等に考慮されたものとなっている。
【００４８】
この様にして評価値の正規化が行われ、正規化処理後の相関値に基づいて移動目標の識別が行われる。なお、その他の構成は、図６の移動目標検出装置３ａと同様である。
【００４９】
図９〜図１１は、図８の移動目標検出装置における評価値正規化の一例を示した説明図であり、図９は、現在のフレーム画像における目標領域ごとの第１の正規化を表し、図１０は、過去のフレーム画像における目標領域ごとの第２の正規化を表し、図１１は、第１及び第２の正規化処理に基づく相関値算出を表している。
【００５０】
例えば、現在フレーム画像のＡ１についての第１の正規化処理３１は、過去フレーム画像のＡ２及びＢ２に対して行われ、評価値の総和７００＋４５を基準として、７００／（７００＋４５）＝０．９４，４５／（７００＋４５）＝０．０６というように値がそれぞれ求められる。
【００５１】
同様にして、Ｂ１についての第１の正規化処理３２から、評価値の総和０＋３００を基準として、０／（０＋３００）＝０，３００／（０＋３００）＝１．０がそれぞれ求められる。また、Ｃ１についての第１の正規化処理３３からも、評価値の総和０＋６０を基準として、０／（０＋６０）＝０，６０／（０＋６０）＝１．０がそれぞれ求められる。
【００５２】
一方、過去フレーム画像のＡ２についての第２の正規化処理４１は、現在フレーム画像のＡ１〜Ｃ１に対して行われ、評価値の総和７００＋０＋０を基準として、７００／（７００＋０＋０）＝１．０，０／（７００＋０＋０）＝０，０／（７００＋０＋０）＝０というように値がそれぞれ求められる。
【００５３】
同様にして、Ｂ２についての第２の正規化処理４２から、評価値の総和４５＋３００＋６０を基準として、４５／（４５＋３００＋６０）＝０．１１，３００／（４５＋３００＋６０）＝０．７４，６０／（４５＋３００＋６０）＝０．１５がそれぞれ求められる。
【００５４】
そして、第１及び第２の正規化処理によって得られた値をそれぞれ乗算することにより相関値が算出される。Ａ１−Ａ２については、０．９４×１．０＝０．９４として相関値が算出され、Ａ１−Ｂ２については、０．０６×０．１１＝０．００６６として相関値が算出される。同様にして、Ｂ１−Ａ２については、０×０＝０、Ｂ１−Ｂ２については、１．０×０．７４＝０．７４、Ｃ１−Ａ２については、０×０＝０、Ｃ１−Ｂ２については、１．０×０．１５＝０．１５がそれぞれ算出される。
【００５５】
本実施の形態によれば、現在からみた過去の各目標領域に対する対応関係と、過去からみた現在の各目標領域に対する対応関係とに基づいて、目標領域間の対応付けを行うことができる。このため、例えば、現在からみると評価値の高い対応関係であっても、過去からみて評価値の低いものは対応づけから除外することができ、移動目標の識別精度をより向上させることができる。
【００５６】
また、相関値を算出することにより、対応関係の良好な目標領域の組み合わせを容易に抽出することができる。
【００５７】
実施の形態４．
図１２は、本発明の実施の形態４による移動目標検出装置における移動目標識別の一例を示した説明図であり、図１２（ａ）は、過去のフレーム画像において抽出された各目標領域を表し、図１２（ｂ）は、現在のフレーム画像において抽出された目標領域を表している。
【００５８】
本実施の形態では、過去フレーム画像における２以上の目標領域５１及び５２が、現在フレーム画像における同一の目標領域５３に対応づけられる場合に、目標領域５３が２以上の移動目標からなると判別される。
【００５９】
この目標領域の判別は、目標識別部１２によって行われ、現在フレーム画像の目標領域５３は、過去フレーム画像の目標領域５１及び５２に対応する移動目標が重なって抽出された領域であると識別される。その他の構成は、図２の移動目標検出装置３と同様である。
【００６０】
本実施の形態によれば、複数の移動目標が重なって抽出されたとしても、正確にフレーム間で目標領域を識別することができる。従って、複数の移動目標が１つの移動目標であるというような誤検出を防止することができる。また、複数の移動目標が重なって抽出されることによる移動目標の消失を防ぐことができる。
【００６１】
実施の形態５．
図１３は、本発明の実施の形態５による移動目標検出装置における目標領域統合の一例を示した説明図であり、図１３（ａ）は、現在のフレーム画像において第１候補６１を中心とする統合ゲート６３内に第２候補６２の全部が含まれる場合を表し、図１３（ｂ）は、統合ゲート６３内に第２候補６２の一部が含まれる場合を表し、図１３（ｃ）は、統合ゲート６３に第２候補６２が含まれない場合を表している。
【００６２】
本実施の形態では、現在フレーム画像における少なくとも２つの目標領域が、過去フレーム画像における同一の目標領域に対応づけられる場合に、これらの現在フレーム画像の目標領域のうち、評価値の低い目標領域が、評価値の高い目標領域を中心とする所定の統合ゲート６３内にあれば、これらの目標領域が同一の移動目標からなると目標識別部１２が判別する。
【００６３】
ここで、目標領域の対応づけは、過去フレーム画像の１つの目標領域と対応づけられる現在フレーム画像の各目標領域のうち、評価値が最も高い目標領域を第１候補６１とし、評価値が２番目に高い目標領域を第２候補６２として、以下のように行われる。
【００６４】
すなわち、第２候補６２からみて、過去フレーム画像の上記目標領域に対する評価値が過去フレーム画像における他の目標領域に対する評価値より高く、かつ、過去フレーム画像における各目標領域から見て、第２候補６２に対する評価値が現在フレーム画像における他の目標領域に対する評価値に比べ最も高くない場合に、第１候補６１及び第２候補６２が過去フレーム画像の上記目標領域に対応づけられるものとする。
【００６５】
このとき、第２候補６２の全部が第１候補６１を中心とする統合ゲート６３内に完全に包含される場合には、第１候補６１の領域を統合ゲート６３まで拡大した後、この拡大された目標領域６４が過去フレーム画像の上記目標領域に対応づけられる。
【００６６】
また、第２候補６２の一部が統合ゲート６３内に包含される場合には、第１候補６１の領域を第２候補６２の全部が完全に含まれる範囲まで拡大した後、この拡大された目標領域６５が過去フレーム画像の上記目標領域に対応づけられる。
【００６７】
また、第２候補６２が統合ゲート６３に含まれない場合には、目標領域の統合を行わず、第１候補６１が過去フレーム画像の上記目標領域の対応づけられる。
【００６８】
統合ゲート６３は、カメラセンサ２の設置場所、視野範囲もしくは移動目標の大きさなどに基づいて定められる。その他の構成は、図２の移動目標検出装置３と同様である。
【００６９】
本実施の形態によれば、現在及び過去のフレーム画像間における目標領域の対応関係に基づいて、上述したように目標領域を統合することにより、１つの移動目標を分離した２つの目標領域に対応づけてしまうという誤検出を防止することができる。
【００７０】
実施の形態６．
図１４は、本発明の実施の形態６による移動目標検出装置における初期検出の一例を示した説明図であり、図１４（ａ）は、過去のフレーム画像において初期検出領域７１内で抽出された目標領域７２を表し、図１４（ｂ）は、現在のフレーム画像において初期検出領域７１内で抽出された目標領域７３を表し、図１４（ｃ）は、現在のフレーム画像において目標領域７２及び７３の近傍で抽出された目標領域７４を表している。
【００７１】
本実施の形態では、フレーム画像内に所定の初期検出領域（ゲート領域）７１が設けられ、この初期検出領域７１外においてはフレーム間差分に基づく目標領域の初期検出が行われない。
【００７２】
初期検出領域７１は、カメラセンサ２の設置場所、視野範囲もしくは移動目標などに基づいて定められる。例えば、滑走路を移動する航空機を検出する場合、移動目標が出現するエリアが滑走路端などに限られるので、この目標出現エリアに対応してフレーム画像の画端などに設けられる。このとき、初期検出は、評価値生成部１１によって、以下のように行われる。
【００７３】
現在フレーム画像において抽出された目標領域７３が、過去フレーム画像において初期検出領域７１内で抽出された目標領域７２と所定のフレーム間差分が生じており、これらの目標領域７２及び７３の近傍に他の目標領域７４が存在しない場合に、目標領域７３がはじめて検出されたとして、目標領域７３に対する評価値の生成が開始される。
【００７４】
ここで、フレーム間差分は、現在フレーム画像の目標領域７３と、過去フレーム画像の目標領域７２との重複部分以外の部分であり、この部分の面積がピクセル数単位で算出され、面積が目標領域のムーブスレショルド（move Threshold）％以上生じていることが、初期検出の条件である。
【００７５】
また、ピクセル数単位で他の目標領域７４との距離が算出され、所定の閾値以下の目標領域７４が存在しないことも初期検出の条件である。この様な初期検出の条件が満たされたときに、目標領域７３が初期検出される。従って、初期検出領域７１以外の領域において抽出された目標領域などの初期検出の条件を満たさない目標領域は、初期検出されず、評価値の生成は行われない。
【００７６】
本実施の形態によれば、フレーム画像の中央部など移動目標が出現しないと考えられる領域を初期検出対象から除外し、目標検出を開始する領域をフレーム画像の画端などの初期検出領域７１に限定することにより、誤検出の発生を抑制することができる。また、評価値生成のデータ処理量を削減することができる。
【００７７】
実施の形態７．
本実施の形態では、目標識別部１２が目標領域ごとに初期検出後の対応づけの度数を判別し、この判別結果に基づいて移動目標の識別が行われる。例えば、各目標領域について、初期検出後のフレーム画像ごとの対応づけの回数がカウントされ、対応づけの連続性がその回数によって評価される。
【００７８】
本実施の形態によれば、対応づけの回数に基づいて目標識別の信頼度を評価することができる。例えば、目標の移動に合わせて対応づけの回数が増加していく場合には、正しく目標の移動を追従して捉えていると考えて良く、目標検出の信頼性が高い。また、対応づけの回数が所定の閾値より低い目標領域については、信頼性が低いとして、追尾対象から除外することもできる。
【００７９】
【発明の効果】
以上、説明したように本発明による移動目標検出装置、追尾システム及び移動目標識別方法によれば、第１及び第２の目標領域の重複領域に基づいて、評価値を生成することができ、この評価値に基づいて、異なるフレーム画像間で目標領域の対応づけを行うことができる。この対応づけに従って、移動目標を識別するので、移動目標の検出精度を向上させることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による追尾システムの一構成例を示したブロック図である。
【図２】 図１の追尾システムにおける移動目標検出装置の構成例を示したブロック図である。
【図３】 図２の移動目標検出装置における移動目標識別の動作の一例を示したフローチャートである。
【図４】 図２の移動目標検出装置における評価値生成の一例を示した説明図である。
【図５】 図２の移動目標検出装置における評価値生成の一例を示した説明図である。
【図６】 本発明の実施の形態２による移動目標検出装置の構成例を示したブロック図である。
【図７】 図６の移動目標検出装置における評価値補正の一例を示した説明図である。
【図８】 本発明の実施の形態３による移動目標検出装置の構成例を示したブロック図である。
【図９】 図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１０】 図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１１】 図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１２】 本発明の実施の形態４による移動目標検出装置における移動目標識別の一例を示した説明図である。
【図１３】 本発明の実施の形態５による移動目標検出装置における目標領域統合の一例を示した説明図である。
【図１４】 本発明の実施の形態６による移動目標検出装置における初期検出の一例を示した説明図である。
【符号の説明】
１ 追尾システム、２ カメラセンサ、３，３ａ，３ｂ 移動目標検出装置、
４ 目標位置標定装置、５ 追尾処理装置、６ 目標位置表示装置、
７ Ａ／Ｄ変換部、８ 目標領域抽出部、９ 背景画像記憶部、
１０ 入力画像記憶部、１１ 評価値生成部、１２ 目標識別部、
１３ 評価値補正部、１４ 評価値正規化部
【発明の属する技術分野】
本発明は、移動目標検出装置、追尾システム及び移動目標識別方法に係り、より詳しくは、フレーム画像ごとに目標領域を抽出して航空機などの移動目標の検出を行う移動目標検出装置の改良に関する。
【０００２】
【従来の技術】
従来の移動目標検出装置としては、例えば、特許文献１または２に記載のものがある。このうち、特許文献１に記載の移動物体認識装置は、複数の時系列画像と背景画像とが格納される画像記憶部と、時間を遡って画像処理を行う画像処理部とを備えている。そして、画像処理部は、複数の時系列画像のうち時刻ｔの画像について、背景画像と比較して移動物体を認識し、認識された移動物体に識別符号を付与し、時刻ｔの画像に含まれる各移動物体の動きベクトルを求め、（ｔ−１）の画像に含まれる移動物体上の領域が識別符号Ｘを持っていると仮定して、この領域に対応した時刻ｔでの画像上の領域を動きベクトルに基づき推定し、両領域の相関度を求め、複数の識別符号Ｘの各々について求めた相関度の大小関係に基づいて、領域に付与すべき識別符号を決定することにより時刻（ｔ−１）の画像に含まれている非分離移動物体を分割するように構成される。
【０００３】
【特許文献１】
特開２００２−１３３４２１号公報
【特許文献２】
特開２０００−１３７８２号公報
【０００４】
【発明が解決しようとする課題】
上述した様な従来の移動目標検出装置は、現在の入力画像と、過去の入力画像から得られる背景画像との差分画像に基づいて、移動目標を検出している。このため、カメラセンサの視野範囲内において複数の目標が同時に捉えられるような状況では、カメラセンサの視線方向と各目標との位置関係によって各目標が重なって画像入力され、複数の移動目標を１つの移動目標であるというように誤検出されてしまう場合があった。
【０００５】
また、日射などの外乱によって入力画像に揺らぎが生じ、１つの移動目標が分裂して検出されるような状況では、分裂した個々の検出結果をそれぞれ移動目標であるというように誤認されてしまうという問題もあった。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、移動目標の検出精度を向上させた移動目標検出装置、追尾システム及び移動目標識別方法を提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明による移動目標検出装置は、背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出手段と、上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成手段と、上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別手段とを備え、上記評価値生成手段は、上記現在のフレーム画像から抽出された第１の目標領域と、上記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とするように構成される。
【０００８】
この様な構成によれば、第１及び第２の目標領域の重複領域に基づいて、評価値が生成されるので、評価値の生成が容易である。また、評価値に基づいてこれらの目標領域がフレーム間で対応づけられ、この対応づけに基づいて移動目標が識別されるので、移動目標の検出精度を向上させることができる。
【０００９】
本発明による追尾システムは、カメラセンサから順次に入力されるフレーム画像に基づいて、移動目標の検出を行う移動目標検出装置と、移動目標の位置情報の標定を行う目標位置標定装置と、標定結果に基づいて予測ゲートを補正し、補正結果に基づいて移動目標の追尾を行う追尾処理装置により構成され、移動目標検出装置は、背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出手段と、上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成手段と、上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別手段とを備え、上記評価値生成手段は、上記現在のフレーム画像から抽出された第１の目標領域と、上記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とする。
【００１０】
本発明による移動目標識別方法は、背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出ステップと、上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成ステップと、上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別ステップとからなり、上記評価値生成ステップは、上記現在のフレーム画像から抽出された第１の目標領域と、上記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とするステップである。
【００１１】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１による追尾システムの一構成例を示したブロック図である。本実施の形態の追尾システム１は、カメラセンサ２、移動目標検出装置３、目標位置標定装置４、追尾処理装置５及び目標位置表示装置６により構成される。この追尾システム１は、カメラセンサ２からの画像データに基づいて目標を追尾し、追尾結果を目標位置表示装置６に表示するものであり、例えば、車両もしくは滑走路上の航空機などの移動目標を追尾するのに好適なものである。
【００１２】
カメラセンサ２は、所定のフレーム周期で撮像を行う撮像手段であり、滑走路脇などに設置される。撮像された画像データは、順次に移動目標検出装置３へ出力され、フレームごとの画像データ（以下、フレーム画像という）に基づいて移動目標の検出が行われる。
【００１３】
目標位置標定装置４は、移動目標の検出結果に基づいて、移動目標の位置情報の標定を行っている。位置情報の標定は、カメラセンサ２の設置場所と、撮像の方位及び俯角情報とに基づいて行われ、検出された移動目標のフレーム画像上における重心位置及びサイズを、実座標における重心位置及びサイズに変換することにより行われる。また、移動目標の大きさもしくは高さなどから、位置情報の標定誤差が算出される。この様にして行われた標定結果は、追尾処理装置５へ出力される。
【００１４】
追尾処理装置５は、目標の移動先を予測するための予測ゲートを設け、この予測ゲートの大きさを標定結果に基づいて補正することにより、移動目標の追尾処理を行っている。追尾処理の結果は、目標位置表示装置６へ出力され、移動目標の航跡などが画面表示される。
【００１５】
図２は、図１の追尾システムにおける移動目標検出装置の構成例を示したブロック図である。本実施の形態の移動目標検出装置３は、Ａ／Ｄ変換部７、目標領域抽出部８、背景画像記憶部９、入力画像記憶部１０、評価値生成部１１及び目標識別部１２により構成される。
【００１６】
Ａ／Ｄ変換部７は、カメラセンサ２から入力されたフレーム画像をデジタル画像に変換し、変換後のフレーム画像を目標領域抽出部８へ出力している。目標領域抽出部８は、このフレーム画像をフレームごとに入力画像記憶部１０へ格納するとともに、フレーム画像ごとに順次に目標領域の抽出を行っている。
【００１７】
目標領域の抽出は、背景画像記憶部９に記憶された背景画像に基づいて行われる。背景画像とは、カメラセンサ２により予め撮像された画像データであり、背景差分法による空間フィルタを用いてフレーム画像から目標領域が判別される。つまり、現在のフレーム画像と、過去のフレーム画像から得られる背景画像との差分画像から目標領域が抽出される。この様にして抽出された抽出結果は、フレーム画像ごとに入力画像記憶部１０へ記憶される。
【００１８】
評価値生成部１１は、フレーム画像ごとに抽出された目標領域に対し、異なる２つのフレーム画像間で相関度の評価を行っている。相関度の評価は、各目標領域のフレーム画像内における抽出位置に基づいて行われ、目標領域ごとにフレーム間での評価値が生成される。
【００１９】
評価値は、目標領域のフレーム間での相関度を表し、フレーム画像から抽出された目標領域（第１の目標領域とする）が、そのフレーム画像より前のフレーム画像から抽出された目標領域（第２の目標領域とする）と重複する場合に、この重複領域に基づいて生成される。ここでは、第２の目標領域が、第１の目標領域より１フレーム前のフレーム画像から抽出されたものであるとする。また、第１及び第２の目標領域が重複しない場合には、目標領域間の距離に基づいて評価値が生成される。
【００２０】
例えば、第１及び第２の目標領域が重複する場合には、その重複部分の領域面積から評価値が生成され、画素数単位で評価値が算出される。また、第１及び第２の目標領域が重複しない場合には、目標領域間の離れ距離に基づいて評価値が生成され、画素数単位の距離から評価値が算出される。
【００２１】
離れ距離とは、目標領域間の縦方向の最大距離と、横方向の最小距離とを表し、フレーム画像における縦横による遠近感及び画像圧縮度の差違が考慮された値である。評価値は、この離れ距離に基づいて算出され、例えば、目標領域間の縦方向の最大距離と、横方向の最小距離との和に−１を乗算することにより得られる値である。つまり、第１及び第２の目標領域が重複する場合には、正の評価値が生成され、第１及び第２の目標領域が重複しない場合には、負の評価値が生成される。この様な評価値は、フレーム画像内において抽出された全ての目標領域について算出される。
【００２２】
目標識別部１２は、生成された目標領域間の評価値に基づいて、目標領域を異なるフレーム画像間で対応づけ、その対応関係から移動目標の識別を行っている。フレーム間の対応づけは、例えば、１つの第２の目標領域に対し、最も高い評価値を有する第１の目標領域を判別することにより行われ、当該第１の目標領域が当該第２の目標領域に対応づけられる。
【００２３】
この様にして対応づけられたフレーム間の目標領域には、例えば、同一の識別符号が付与され、この識別符号に基づいて、移動目標がフレームごとに順次に識別される。
【００２４】
また、目標識別部１２は、評価値に基づいて、フレーム画像内の目標領域の選別を行っている。目標領域の選別は、フレーム画像ごとに行われ、例えば、評価値を所定の閾値と比較することにより行われる。この比較の結果、評価値が閾値より低い目標領域については、追尾対象から除外される。
【００２５】
この様にして移動目標の識別が行われ、識別情報が移動目標の検出結果として目標位置標定装置４へ出力される。
【００２６】
図３のステップＳ１〜Ｓ４は、図２の移動目標検出装置における移動目標識別の動作の一例を示したフローチャートである。カメラセンサ２からフレーム画像が入力されると（ステップＳ１）、このフレーム画像は、Ａ／Ｄ変換部７によってアナログ画像からデジタル画像に変換され、変換後のフレーム画像が目標領域抽出部８に出力される。
【００２７】
次に、目標領域抽出部８は、背景画像記憶部９に記憶された背景画像に基づいて、フレーム画像から目標領域を抽出する（ステップＳ２）。抽出結果は、評価値生成部１１に出力され、フレーム画像間の目標領域の相関度が評価される。評価値生成部１１は、目標領域のフレーム画像内での抽出位置に基づいて、評価値を生成する（ステップＳ３）。
【００２８】
評価結果は、目標識別部１２に出力され、フレーム画像間における目標領域の対応づけが行われる。目標識別部１２は、この対応づけに基づいて、移動目標を識別する（ステップＳ４）。
【００２９】
図４及び図５は、図２の移動目標検出装置における評価値生成の一例を示した説明図であり、図４（ａ）は、現在のフレーム画像において抽出された各目標領域を表し、図４（ｂ）は、過去のフレーム画像において抽出された各目標領域を表し、図５は、現在のフレーム画像及び過去のフレーム画像間における目標領域の位置関係に基づく評価値の生成を表している。
【００３０】
カメラセンサ２から順次に入力されるフレーム画像の１つを現在フレーム画像とし、そのフレーム画像より１フレーム前のフレーム画像を過去フレーム画像とする。そして、目標領域抽出部８によって現在フレーム画像から抽出された各目標領域（第１の目標領域）を目標領域２１，２４，２５とし、過去フレーム画像から抽出された各目標領域（第２の目標領域）を目標領域２２，２３とする。
【００３１】
評価値生成部１１は、現在フレーム画像における目標領域２１，２４，２５と、過去フレーム画像における目標領域２２，２３との間で互いの位置関係に基づいて評価値を算出する。その評価値の算出方法について説明する。以下、説明をわかり易くするため、現在及び過去のフレーム画像内の各目標領域に対して個々に説明する。
【００３２】
例えば、現在フレーム画像の目標領域２１は、過去フレーム画像の目標領域２２と抽出位置が重複している。この場合（Ａ１−Ａ２）には、重複部分の領域面積から評価値が算出される。重複領域のフレーム画像上における縦横の長さを、ピクセル数（画素数）単位で求めることにより、評価値は、２０×３０＝６００と算出される。
【００３３】
一方、現在フレーム画像の目標領域２１は、過去フレーム画像の目標領域２３と抽出位置が重複していない。この場合（Ａ１−Ｂ２）には、フレーム画像上における目標領域間の離れ距離から評価値が算出される。ピクセル数単位で離れ距離を求めると、縦方向に最大５０、横方向に最小５であり、評価値は、（−５０）＋（−５）＝−５５と算出される。
【００３４】
他の目標領域間の評価値についても、Ａ１−Ａ２の場合もしくはＡ１−Ｂ２の場合と同様にして算出され、目標領域２４及び２２の場合（Ｂ１−Ａ２）は、−３００、目標領域２４及び２３の場合（Ｂ１−Ｂ２）は、２００、目標領域２５及び２２の場合（Ｃ１−Ａ２）は、−４００、目標領域２５及び２３の場合（Ｃ１−Ｂ２）は、−４０となっている。
【００３５】
本実施の形態によれば、目標領域間の評価値を重複領域の面積及び離れ距離から算出するので、評価値を容易に算出することができる。また、現在及び過去のフレーム画像間で算出された評価値に基づいて、目標領域間の対応づけが行われるので、複数の移動目標に対する識別精度を向上させることができる。
【００３６】
また、評価値に基づいてフレーム画像内の目標領域の選別が行われるので、追尾処理におけるデータ処理量を低減させることができ、処理時間が短縮する。
【００３７】
実施の形態２．
図６は、本発明の実施の形態２による移動目標検出装置の構成例を示したブロック図である。図２の移動目標検出装置３（実施の形態１）では、同程度の重複度でも目標領域の大きさに応じて評価値が変化していたが、本実施の形態の移動目標検出装置３ａでは、評価値を補正することにより、目標領域の大きさによる評価値のばらつきを解消している。
【００３８】
この移動目標検出装置３ａは、評価値補正部１３を備え、評価値生成部１１によって生成された目標領域間の評価値が、評価値補正部１３によって補正される。評価値の補正は、所定の最低評価値を定め、この最低評価値よりも低い評価値を最低評価値とすることにより行われる。
【００３９】
ここで、最低評価値は、カメラセンサ２の設置場所、視野範囲、移動目標の大きさまたは移動目標までの距離などに基づいて予め定められるものとする。
【００４０】
例えば、評価値に所定の補正値を加算した後、負の値をゼロの評価値に置き換えることにより補正が行われる。この場合、ゼロが最低評価値となる。ここで、補正値は、最低評価値と同様に定められる。補正値の加算処理は、例えば、目標領域の大きさが大きいと、重複領域の面積及び離れ距離の分散が大きくなり、同程度の重複度でも目標領域の大小によって評価値の指標が変化してしまうのを解消するための正規化処理である。
【００４１】
この様にして評価値の補正が行われ、補正後の評価値に基づいて移動目標の識別が行われる。なお、その他の構成は、図２の移動目標検出装置３と同様である。
【００４２】
図７は、図６の移動目標検出装置における評価値補正の一例を示した説明図である。例えば、補正値を１００として、評価値の補正が行われる。Ａ１−Ａ２の場合は、６００＋１００＝７００と補正され、Ａ１−Ｂ２の場合は、−５５＋１００＝４５と補正される。また、Ｂ１−Ａ２の場合は、−３００＋１００＝−２００＝０、Ｂ１−Ｂ２の場合は、２００＋１００＝３００、Ｃ１−Ａ２の場合は、−４００＋１００＝−３００＝０、Ｃ１−Ｂ２の場合は、−４０＋１００＝６０とそれぞれ補正される。
【００４３】
本実施の形態によれば、最低評価値を定め、それよりも低い評価値を最低評価値に繰り上げることにより、分散が減少し、目標領域の大小による評価値のばらつきを解消することができる。従って、より高精度な目標検出を行うことができる。
【００４４】
実施の形態３．
図８は、本発明の実施の形態３による移動目標検出装置の構成例を示したブロック図である。本実施の形態の移動目標検出装置３ｂでは、フレーム画像内における各目標領域についての評価値の正規化処理を行っている。
【００４５】
この移動目標検出装置３ｂは、評価値正規化部１４を備え、評価値補正部１３によって補正された評価値が、評価値正規化部１４によって正規化される。評価値の正規化は、現在フレーム画像における目標領域（第１の目標領域）ごとに、過去フレーム画像における各目標領域（第２の目標領域）に対する評価値について行われる正規化（第１の正規化）処理と、過去フレーム画像における目標領域ごとに、現在フレーム画像における各目標領域に対する評価値について行われる正規化（第２の正規化）処理と、第１及び第２の正規化処理により得られた値に基づいて、相関値を算出する相関値算出処理とからなる。
【００４６】
例えば、第１の正規化は、現在フレーム画像内の１つの目標領域について、過去フレーム画像内の各目標領域に対する評価値の総和を基準として行われる。第２の正規化は、過去フレーム画像内の１つの目標領域について、現在フレーム画像内の各目標領域に対する評価値の総和を基準として行われる。そして、これらの第１及び第２の正規化処理によって得られた値を互いに乗算することにより、相関値がそれぞれ算出される。
【００４７】
つまり、相関値は、対応関係を現在からみた場合の過去の各目標領域に対する評価値の正規化と、過去からみた場合の現在の各目標領域に対する評価値の正規化とを均等に考慮されたものとなっている。
【００４８】
この様にして評価値の正規化が行われ、正規化処理後の相関値に基づいて移動目標の識別が行われる。なお、その他の構成は、図６の移動目標検出装置３ａと同様である。
【００４９】
図９〜図１１は、図８の移動目標検出装置における評価値正規化の一例を示した説明図であり、図９は、現在のフレーム画像における目標領域ごとの第１の正規化を表し、図１０は、過去のフレーム画像における目標領域ごとの第２の正規化を表し、図１１は、第１及び第２の正規化処理に基づく相関値算出を表している。
【００５０】
例えば、現在フレーム画像のＡ１についての第１の正規化処理３１は、過去フレーム画像のＡ２及びＢ２に対して行われ、評価値の総和７００＋４５を基準として、７００／（７００＋４５）＝０．９４，４５／（７００＋４５）＝０．０６というように値がそれぞれ求められる。
【００５１】
同様にして、Ｂ１についての第１の正規化処理３２から、評価値の総和０＋３００を基準として、０／（０＋３００）＝０，３００／（０＋３００）＝１．０がそれぞれ求められる。また、Ｃ１についての第１の正規化処理３３からも、評価値の総和０＋６０を基準として、０／（０＋６０）＝０，６０／（０＋６０）＝１．０がそれぞれ求められる。
【００５２】
一方、過去フレーム画像のＡ２についての第２の正規化処理４１は、現在フレーム画像のＡ１〜Ｃ１に対して行われ、評価値の総和７００＋０＋０を基準として、７００／（７００＋０＋０）＝１．０，０／（７００＋０＋０）＝０，０／（７００＋０＋０）＝０というように値がそれぞれ求められる。
【００５３】
同様にして、Ｂ２についての第２の正規化処理４２から、評価値の総和４５＋３００＋６０を基準として、４５／（４５＋３００＋６０）＝０．１１，３００／（４５＋３００＋６０）＝０．７４，６０／（４５＋３００＋６０）＝０．１５がそれぞれ求められる。
【００５４】
そして、第１及び第２の正規化処理によって得られた値をそれぞれ乗算することにより相関値が算出される。Ａ１−Ａ２については、０．９４×１．０＝０．９４として相関値が算出され、Ａ１−Ｂ２については、０．０６×０．１１＝０．００６６として相関値が算出される。同様にして、Ｂ１−Ａ２については、０×０＝０、Ｂ１−Ｂ２については、１．０×０．７４＝０．７４、Ｃ１−Ａ２については、０×０＝０、Ｃ１−Ｂ２については、１．０×０．１５＝０．１５がそれぞれ算出される。
【００５５】
本実施の形態によれば、現在からみた過去の各目標領域に対する対応関係と、過去からみた現在の各目標領域に対する対応関係とに基づいて、目標領域間の対応付けを行うことができる。このため、例えば、現在からみると評価値の高い対応関係であっても、過去からみて評価値の低いものは対応づけから除外することができ、移動目標の識別精度をより向上させることができる。
【００５６】
また、相関値を算出することにより、対応関係の良好な目標領域の組み合わせを容易に抽出することができる。
【００５７】
実施の形態４．
図１２は、本発明の実施の形態４による移動目標検出装置における移動目標識別の一例を示した説明図であり、図１２（ａ）は、過去のフレーム画像において抽出された各目標領域を表し、図１２（ｂ）は、現在のフレーム画像において抽出された目標領域を表している。
【００５８】
本実施の形態では、過去フレーム画像における２以上の目標領域５１及び５２が、現在フレーム画像における同一の目標領域５３に対応づけられる場合に、目標領域５３が２以上の移動目標からなると判別される。
【００５９】
この目標領域の判別は、目標識別部１２によって行われ、現在フレーム画像の目標領域５３は、過去フレーム画像の目標領域５１及び５２に対応する移動目標が重なって抽出された領域であると識別される。その他の構成は、図２の移動目標検出装置３と同様である。
【００６０】
本実施の形態によれば、複数の移動目標が重なって抽出されたとしても、正確にフレーム間で目標領域を識別することができる。従って、複数の移動目標が１つの移動目標であるというような誤検出を防止することができる。また、複数の移動目標が重なって抽出されることによる移動目標の消失を防ぐことができる。
【００６１】
実施の形態５．
図１３は、本発明の実施の形態５による移動目標検出装置における目標領域統合の一例を示した説明図であり、図１３（ａ）は、現在のフレーム画像において第１候補６１を中心とする統合ゲート６３内に第２候補６２の全部が含まれる場合を表し、図１３（ｂ）は、統合ゲート６３内に第２候補６２の一部が含まれる場合を表し、図１３（ｃ）は、統合ゲート６３に第２候補６２が含まれない場合を表している。
【００６２】
本実施の形態では、現在フレーム画像における少なくとも２つの目標領域が、過去フレーム画像における同一の目標領域に対応づけられる場合に、これらの現在フレーム画像の目標領域のうち、評価値の低い目標領域が、評価値の高い目標領域を中心とする所定の統合ゲート６３内にあれば、これらの目標領域が同一の移動目標からなると目標識別部１２が判別する。
【００６３】
ここで、目標領域の対応づけは、過去フレーム画像の１つの目標領域と対応づけられる現在フレーム画像の各目標領域のうち、評価値が最も高い目標領域を第１候補６１とし、評価値が２番目に高い目標領域を第２候補６２として、以下のように行われる。
【００６４】
すなわち、第２候補６２からみて、過去フレーム画像の上記目標領域に対する評価値が過去フレーム画像における他の目標領域に対する評価値より高く、かつ、過去フレーム画像における各目標領域から見て、第２候補６２に対する評価値が現在フレーム画像における他の目標領域に対する評価値に比べ最も高くない場合に、第１候補６１及び第２候補６２が過去フレーム画像の上記目標領域に対応づけられるものとする。
【００６５】
このとき、第２候補６２の全部が第１候補６１を中心とする統合ゲート６３内に完全に包含される場合には、第１候補６１の領域を統合ゲート６３まで拡大した後、この拡大された目標領域６４が過去フレーム画像の上記目標領域に対応づけられる。
【００６６】
また、第２候補６２の一部が統合ゲート６３内に包含される場合には、第１候補６１の領域を第２候補６２の全部が完全に含まれる範囲まで拡大した後、この拡大された目標領域６５が過去フレーム画像の上記目標領域に対応づけられる。
【００６７】
また、第２候補６２が統合ゲート６３に含まれない場合には、目標領域の統合を行わず、第１候補６１が過去フレーム画像の上記目標領域の対応づけられる。
【００６８】
統合ゲート６３は、カメラセンサ２の設置場所、視野範囲もしくは移動目標の大きさなどに基づいて定められる。その他の構成は、図２の移動目標検出装置３と同様である。
【００６９】
本実施の形態によれば、現在及び過去のフレーム画像間における目標領域の対応関係に基づいて、上述したように目標領域を統合することにより、１つの移動目標を分離した２つの目標領域に対応づけてしまうという誤検出を防止することができる。
【００７０】
実施の形態６．
図１４は、本発明の実施の形態６による移動目標検出装置における初期検出の一例を示した説明図であり、図１４（ａ）は、過去のフレーム画像において初期検出領域７１内で抽出された目標領域７２を表し、図１４（ｂ）は、現在のフレーム画像において初期検出領域７１内で抽出された目標領域７３を表し、図１４（ｃ）は、現在のフレーム画像において目標領域７２及び７３の近傍で抽出された目標領域７４を表している。
【００７１】
本実施の形態では、フレーム画像内に所定の初期検出領域（ゲート領域）７１が設けられ、この初期検出領域７１外においてはフレーム間差分に基づく目標領域の初期検出が行われない。
【００７２】
初期検出領域７１は、カメラセンサ２の設置場所、視野範囲もしくは移動目標などに基づいて定められる。例えば、滑走路を移動する航空機を検出する場合、移動目標が出現するエリアが滑走路端などに限られるので、この目標出現エリアに対応してフレーム画像の画端などに設けられる。このとき、初期検出は、評価値生成部１１によって、以下のように行われる。
【００７３】
現在フレーム画像において抽出された目標領域７３が、過去フレーム画像において初期検出領域７１内で抽出された目標領域７２と所定のフレーム間差分が生じており、これらの目標領域７２及び７３の近傍に他の目標領域７４が存在しない場合に、目標領域７３がはじめて検出されたとして、目標領域７３に対する評価値の生成が開始される。
【００７４】
ここで、フレーム間差分は、現在フレーム画像の目標領域７３と、過去フレーム画像の目標領域７２との重複部分以外の部分であり、この部分の面積がピクセル数単位で算出され、面積が目標領域のムーブスレショルド（move Threshold）％以上生じていることが、初期検出の条件である。
【００７５】
また、ピクセル数単位で他の目標領域７４との距離が算出され、所定の閾値以下の目標領域７４が存在しないことも初期検出の条件である。この様な初期検出の条件が満たされたときに、目標領域７３が初期検出される。従って、初期検出領域７１以外の領域において抽出された目標領域などの初期検出の条件を満たさない目標領域は、初期検出されず、評価値の生成は行われない。
【００７６】
本実施の形態によれば、フレーム画像の中央部など移動目標が出現しないと考えられる領域を初期検出対象から除外し、目標検出を開始する領域をフレーム画像の画端などの初期検出領域７１に限定することにより、誤検出の発生を抑制することができる。また、評価値生成のデータ処理量を削減することができる。
【００７７】
実施の形態７．
本実施の形態では、目標識別部１２が目標領域ごとに初期検出後の対応づけの度数を判別し、この判別結果に基づいて移動目標の識別が行われる。例えば、各目標領域について、初期検出後のフレーム画像ごとの対応づけの回数がカウントされ、対応づけの連続性がその回数によって評価される。
【００７８】
本実施の形態によれば、対応づけの回数に基づいて目標識別の信頼度を評価することができる。例えば、目標の移動に合わせて対応づけの回数が増加していく場合には、正しく目標の移動を追従して捉えていると考えて良く、目標検出の信頼性が高い。また、対応づけの回数が所定の閾値より低い目標領域については、信頼性が低いとして、追尾対象から除外することもできる。
【００７９】
【発明の効果】
以上、説明したように本発明による移動目標検出装置、追尾システム及び移動目標識別方法によれば、第１及び第２の目標領域の重複領域に基づいて、評価値を生成することができ、この評価値に基づいて、異なるフレーム画像間で目標領域の対応づけを行うことができる。この対応づけに従って、移動目標を識別するので、移動目標の検出精度を向上させることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による追尾システムの一構成例を示したブロック図である。
【図２】 図１の追尾システムにおける移動目標検出装置の構成例を示したブロック図である。
【図３】 図２の移動目標検出装置における移動目標識別の動作の一例を示したフローチャートである。
【図４】 図２の移動目標検出装置における評価値生成の一例を示した説明図である。
【図５】 図２の移動目標検出装置における評価値生成の一例を示した説明図である。
【図６】 本発明の実施の形態２による移動目標検出装置の構成例を示したブロック図である。
【図７】 図６の移動目標検出装置における評価値補正の一例を示した説明図である。
【図８】 本発明の実施の形態３による移動目標検出装置の構成例を示したブロック図である。
【図９】 図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１０】 図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１１】 図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１２】 本発明の実施の形態４による移動目標検出装置における移動目標識別の一例を示した説明図である。
【図１３】 本発明の実施の形態５による移動目標検出装置における目標領域統合の一例を示した説明図である。
【図１４】 本発明の実施の形態６による移動目標検出装置における初期検出の一例を示した説明図である。
【符号の説明】
１ 追尾システム、２ カメラセンサ、３，３ａ，３ｂ 移動目標検出装置、
４ 目標位置標定装置、５ 追尾処理装置、６ 目標位置表示装置、
７ Ａ／Ｄ変換部、８ 目標領域抽出部、９ 背景画像記憶部、
１０ 入力画像記憶部、１１ 評価値生成部、１２ 目標識別部、
１３ 評価値補正部、１４ 評価値正規化部
Claims (10)
- 背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出手段と、
上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成手段と、
上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別手段とを備え、
上記評価値生成手段は、上記現在のフレーム画像から抽出された第１の目標領域と、上記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とすることを特徴とする移動目標検出装置。 - 所定の最低評価値よりも低い評価値を最低評価値とする評価値補正手段を備えることを特徴とする請求項１に記載の移動目標検出装置。
- 上記評価値生成手段は、第１の目標領域及び第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を離れ距離として求め、この離れ距離に−１を乗算したものを評価値とし、
上記評価値補正手段は、評価値に所定の補正値を加算した後、負の値をゼロの評価値とすることを特徴とする請求項２に記載の移動目標検出装置。 - １つの上記第１の目標領域に対し、複数の上記第２の目標領域について上記評価値の総和を求め、この総和が１となるように当該各評価値を正規化する第１の正規化処理と、
１つの上記第２の目標領域に対し、複数の上記第１の目標領域について上記評価値の総和を求め、この総和が１となるように当該各評価値を正規化する第２の正規化処理と、
上記第１の正規化処理及び上記第２の正規化処理によって正規化された評価値に基づいて相関値を算出する相関値算出処理とを行う評価値正規化手段を備えることを特徴とする請求項１または３に記載の移動目標検出装置。 - 上記目標識別手段は、２以上の第２の目標領域が同一の第１の目標領域に対応づけられる場合に、上記第１の目標領域が２以上の移動目標からなると判別することを特徴とする請求項１に記載の移動目標検出装置。
- 上記目標識別手段は、２つの第１の目標領域が同一の第２の目標領域に
対応づけられる場合に、上記第１の目標領域のうち評価値の低い第１の目標領域が、評価値の高い第１の目標領域を中心とする所定の統合ゲート内にあれば、上記第１の目標領域が同一の移動目標からなると判別することを特徴とする請求項１に記載の移動目標検出装置。 - 上記評価値生成手段は、所定の初期検出領域外においてはフレーム間差分に基づく目標領域の初期検出を行わないことを特徴とする請求項１に記載の移動目標検出装置。
- 上記目標識別手段は、目標領域ごとに初期検出後の対応づけの度数を判別することを特徴とする請求項１または７に記載の移動目標検出装置。
- カメラセンサから順次に入力されるフレーム画像に基づいて、移動目標の検出を行う移動目標検出装置と、移動目標の位置情報の標定を行う目標位置標定装置と、標定結果に基づいて予測ゲートを補正し、補正結果に基づいて移動目標の追尾を行う追尾処理装置により構成され、
移動目標検出装置は、背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出手段と、上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成手段と、上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別手段とを備え、
上記評価値生成手段は、上記現在のフレーム画像から抽出された第１の目標領域と、上 記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とすることを特徴とする追尾システム。 - 背景画像に基づいて、現在のフレーム画像及び過去のフレーム画像からそれぞれ目標領域を抽出する目標領域抽出ステップと、上記現在のフレーム画像及び上記過去のフレーム画像間で上記目標領域の相関度を評価し、評価値を生成する評価値生成ステップと、上記評価値に基づいて現在のフレーム画像及び過去のフレーム画像間で目標領域を対応づけ、移動目標を識別する目標識別ステップとからなり、
上記評価値生成ステップは、上記現在のフレーム画像から抽出された第１の目標領域と、上記過去のフレーム画像から抽出された第２の目標領域とが重複する場合に、この重複領域の面積を評価値とし、上記第１の目標領域及び上記第２の目標領域が重複しない場合に、これらの目標領域間における縦方向の最大距離と、横方向の最小距離との和を求めて評価値とするステップであることを特徴とする移動目標識別方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003078506A JP4061221B2 (ja) | 2003-03-20 | 2003-03-20 | 移動目標検出装置、追尾システム及び移動目標識別方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003078506A JP4061221B2 (ja) | 2003-03-20 | 2003-03-20 | 移動目標検出装置、追尾システム及び移動目標識別方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004287806A JP2004287806A (ja) | 2004-10-14 |
| JP4061221B2 true JP4061221B2 (ja) | 2008-03-12 |
Family
ID=33292969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003078506A Expired - Fee Related JP4061221B2 (ja) | 2003-03-20 | 2003-03-20 | 移動目標検出装置、追尾システム及び移動目標識別方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4061221B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5305562B2 (ja) * | 2006-03-06 | 2013-10-02 | 株式会社東芝 | 自動改札装置 |
| JP4743048B2 (ja) * | 2006-08-31 | 2011-08-10 | カシオ計算機株式会社 | 撮像装置及びプログラム |
| JP5614969B2 (ja) * | 2009-10-30 | 2014-10-29 | 東京計器株式会社 | 目標追尾装置及び目標追尾方法 |
| KR101193445B1 (ko) | 2012-04-09 | 2012-10-24 | 국방과학연구소 | 항공 촬영용 자동 배경 추적 장치 |
| WO2014049729A1 (ja) * | 2012-09-26 | 2014-04-03 | 株式会社 東芝 | 動画像認識装置及び動画像認識方法 |
| CN113537283B (zh) * | 2021-05-31 | 2024-09-06 | 浙江大华技术股份有限公司 | 目标跟踪方法及相关装置 |
| CN117058518B (zh) * | 2023-08-03 | 2024-05-03 | 南方电网数字电网研究院有限公司 | 基于yolo改进的深度学习目标检测方法、装置和计算机设备 |
-
2003
- 2003-03-20 JP JP2003078506A patent/JP4061221B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004287806A (ja) | 2004-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7729512B2 (en) | Stereo image processing to detect moving objects | |
| US10867166B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| JP4961234B2 (ja) | 物体追跡装置 | |
| JP6036824B2 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
| US20180101732A1 (en) | Image processing apparatus, image processing system, method for image processing, and computer program | |
| US20180165828A1 (en) | Object Recognition Device and Object Recognition System | |
| JP2016099941A (ja) | オブジェクト位置推定システム、及びそのプログラム | |
| US20090161911A1 (en) | Moving Object Detection Apparatus And Method | |
| JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
| KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
| US20190384969A1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| EP2858037B1 (en) | Moving object detector | |
| US20120106784A1 (en) | Apparatus and method for tracking object in image processing system | |
| US10496874B2 (en) | Facial detection device, facial detection system provided with same, and facial detection method | |
| JP5262705B2 (ja) | 運動推定装置及びプログラム | |
| KR20160020172A (ko) | 도로에서의 차선 검출 방법 및 장치 | |
| CN115144828A (zh) | 一种智能汽车多传感器时空融合的自动在线标定方法 | |
| CN113646803A (zh) | 人检测装置以及人检测方法 | |
| JP4061221B2 (ja) | 移動目標検出装置、追尾システム及び移動目標識別方法 | |
| CN117670939B (zh) | 多相机的多目标跟踪方法、装置、存储介质及电子设备 | |
| CN105760854B (zh) | 信息处理方法及电子设备 | |
| WO2022239355A1 (ja) | 位置測定システム | |
| JP5241687B2 (ja) | 物体検出装置及び物体検出プログラム | |
| JP2006148442A (ja) | 移動監視装置 | |
| JPWO2020175085A1 (ja) | 画像処理装置、及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |