JPH0345898A - 画像識別・追尾装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ この発明は、画像識別・追尾装置、特に目標識別装置及
び追尾能力の向上のための改良に関するものである。

［従来の技術］ 第５図は例えば特願昭６３−２５１１３９号に示された
従来の画像識別・追尾装置の構成を示す図であり、図に
おいて（１）は画像センサ、＜２）は画像センサ（１）
により得られた画像信号を、濃淡画像信号に変換するＡ
／Ｄ変換器、（３）は濃淡画像信号を、あるしきい値で
２値化する２値化回路、（４〉は２値化回路り３）で２
値化された目標等の領域の面積を計測する面積計測回路
、〈５）は目標までの距離を計測するレーダ装置、（６
）はＡ／Ｄ変換器（２）よりの濃度画像信号と面積計測
回路（４〉からの面積データと、レーダ装置（５）から
の測距データとを入力して、目標か否かを判定する判定
回路、（７〉は２値化回路（３〉の出力と、判定回路り
６）の出力から、目標領域のみにレベル１を有する目標
２値化画像信号を作成する目標抽出回路、（８〉は目＋
ＩＡ２値化画像信号から目標領域の重心位置を計測し、
目標位置データを、追尾信号として出力する重心位置計
測回路である。

次に動作について説明する。画像センサーク１〉により
撮像された画像データは、Ａ／Ｄ変換器（２）により濃
淡画像信号に変換される。この信号は、２値化回路（３
）により目標の領域が２値化され、面積計測回路（４〉
で、各目標領域の面積が計測される。判定回路（６〉に
は面積データと、濃淡画像信号と、レーダ装置（５）で
得られた目標までの距離データとが入力される。

いま、目標の面積をＳ、輝度レベルをＡ、距離データを
Ｒとすると、目標を探知したいとき、目標が遠方にある
場合には、Ｓは十分に小さく、また、Ａは底値以上を有
している必要があることから１判定回路り６〉はＡ／Ｓ
が最も大となる領域を目標領域と判定し、また、目標が
中〜近距離にある場合には、微小高輝度の］Ｒフレアー
等の誤検出を避けるため、判定回路（９〉はＡＸＳが最
も大とねる領域を目標領域と判定する。

判定回路〈６〉により判定された目標データは、目標検
出回路（７〉で目標領域のみにレベル１を有する目標２
を化画像信号に変換され、重心位置計測回路（８〉で目
標領域の重心位置が算出され、追尾信号として出力する
。

よ ［発明が解決し３つとする課題］ 従来の画像追尾装置は、以上のように構成されているの
で、測距データと２値化後の面積データと、輝度情報の
みで目標領域の判定を行っているので、レーダ装置が妨
害にあい、正しい測距データが得られねいときなど、微
小高輝度のＩＲフレア等の誤検出が発生すること、また
、画像データからの情報の抽出は、面積輝度情報のみで
あり、形状情報による判定を行っていないため、赤外画
像で高輝度に見える水平線、雲等の背景ノイズ、疑似熱
源の分離が不十分であるという課題がありた。

二の発明は、上記のようね課題を解消するためにたされ
たもので、形状情報の利用により、　ＩＲフレア、水平
線、雲等の背景ノイズ、疑似熱源の分離を行い、ノイズ
の多い画像及び様々ね妨害環境下においても良好に目標
を識別し、かつ追尾できる画像識別・追尾装置を得るこ
とを目的とする。

［課題を解決するための手段］ この発明に係る画像識別・追尾装置は、画像入力回路の
出力を入力として、エツジ強度と濃淡変化の方向を抽出
するエツジ情報抽出回路と、このエツジ情報抽出回路の
出力から円・楕円・平行形状の特定形状を抽出する形状
抽出フィルタとから構成され、目標候補を出力する目標
候補抽出回路と、上記特徴抽出回路から得られる複数枚
の連続画像での目標候補に関する特徴量を記憶する特徴
データ記憶部と、複数枚の連続画像間での目標候補の面
積・重心位置情報の特徴データ及び既に対応のとれた目
標候補間の移動量の動き情報を基に、目標候補の対応関
係を評価する対応関係評価部から構成され、目標領域を
判定する判定回路を用いたものである。

［作　用］ この発明における形状抽出フィルタは、濃淡画像から円
・楕円・平行形状等設定された特定形状を高速で抽出し
、また、判定回路は抽出結果の連続画像での関係から、
目標領域を判定する槽底としたので、形状情報・動き情
報を用いた判定が可能となり、良好な識別・追尾が実行
可能となる。

［実施例］ 以下、この発明の一実施例を図について説明する。第１
図において（１〉は画像上ンサ、（２１〉は画像上ンサ
（１〉から得られる画像信号を、各画素毎に多値化する
画像入力回路、（３２）は濃淡画像からエツジ強度と濃
淡変化の方向等を抽出するエツジ情報抽出回路、（３３
〉はエツジ強度と濃淡変化の方向データから、円・楕円
・平行形状等の設定された特定形状を抽出する形状抽出
フィルタ、〈３１）はエツジ情報抽出回路（３２〉と形
状抽出フィルタ（３３）とから構成される目標候補抽出
回路、（４１〉は目標候補の領域毎に面積・重心位置等
の特徴量を抽出する特徴抽出回路、（６２）は特徴抽出
回路（４１）で得られた特徴量を、複数枚の連続画像に
ついて記憶する特徴データ記憶部、（６３）は複数枚の
連続画像間での目標候補の特徴データから対応関係を評
価する対応関係評価部、＜６１〉は特徴データ記憶部（
６２）と対応関係評価部り６３）とから構成される判定
回路である。

次に動作に次いて説明する。画像センサ（１〉より帰ら
れた画像信号は１画像入力回路（２１〉で濃淡画像信号
に変換される。エツジ情報抽出回路（３２〉は濃淡画像
信号によりエツジ強度、濃淡変化の方向を各画像毎に抽
出する。これは、例えば３行３列の空間積和演算で実行
される。処理対策画像データＸ　＋　＃　、ｎ　ｌ　＋
荷重係数Ｗ　（（、ｊ）が第２図（ａ）に示すように配
列されているとき、空間積和演算結果Ｙ　＋ｓ、ｎ＋は
１次式で表わされる。

このとき、荷重係数として第２図＜ｂ＞に示す２種類の
荷重係数を用い、横方向の変化量Ｓ８、縦方向の変化量
Ｓ、を求めると、エツジ強度及び濃淡変化の方向は、各
々 ＳＸ　Ｉ　＋ｌ　Ｓ、　ｌ　ｔａｎ−’Ｓｙ／Ｓｘで与
えられる。

形状抽出フィルタ（３３）は、エツジ強度及び８方向に
量子化された濃淡変化の方向データを用い、円・楕円・
平行形状等の、あらかじめ設定された特定形状を抽出す
る。第３図により形状抽出フィルタ（３３）での抽出原
理を説明する。図は円を抽出する際の説明図であり、第
３図（ａ）に示すように円を構成するエツジ部での濃淡
変化の方向は、全て中心に向かう。そこで第３図（ｂ）
に示すようにエツジ部での濃淡変化の方向に対応して、
長さＳだけ離れたところに長さしのスポーク（線要素）
を発生させる。第３図（Ｃ）に示すように、各方向から
スポークを発生させると、円の中心付近でスポークが交
差することにねる。形状抽出フィルタはこの交差状況を
見ることにより、円の有無を判定する手法であり、Ｓが
抽出したい円の大きさ、Ｌがその許容量に対応すること
にねる。また、平行形状を抽出する際には、向かいあう
平行線からのエツジの方向が対向するという性質を利用
して、平行線の中心線を抽出する。以上のように形状抽
出フィルタは、抽出したい形状・大きさを制限すること
により、エツジの強度と方向という濃淡情報に、形状情
報を付加した特徴を同時に用いることで、ノイズに強い
安定な抽出を行う。特に、熱分布を示す赤外画像等にお
いては、目標物は円・楕円・平行形状を示すことが多く
、目標領域を抽出する際の有効た手法である。さらに形
状情報を利用しているので、微小高輝度の］Ｒフレア、
雲、水平１１Ａ等の影響を除去できることになる。

本発明者らは既に特定形状の抽出法として「画像形状認
識方式」　（特願昭６２−３３０９６０号）形状抽出フ
ィルタの高速実行として「スポークレジスタ生成回路」
　（特願昭６３−２５５１０２号）の２つの発明を完成
させ、この発明はこれらの応用に関するものである。

形状抽出フィルタ（３３〉で帰られた目標候補は、特徴
抽出回路〈４工〉で目標候補の領域毎に重心位置・面積
等の特徴量が演算される。各画像毎に演算される特徴量
は、さらに複数枚の連続画像について、各々演算された
特徴データ記憶部＜６２）に格納される。対応関係評価
部（６３）では、特徴データ記憶部＜６２〉に貯えられ
た各画像での各目標候補毎の特徴量を用い、目標候補の
対応関係を評価し、目標領域を判定する。

いま、ある時刻ｔでの画像から得られた目標候補なＱ、
（ｔ）、その重心位置を　ｘ　、　（ｔ＞、　　ｙ　：
　（ｔ＞、　　面積をＳ＋（ｔ）と表す。ここで、ｉ＝
（、・・、Ｎｔ、Ｎｔは時刻ｔの画像で抽でされた目標
候補の総数である。

説明のため、時刻ｔｔ＋ｔ＋＋＋＋ｔ＋＋２＋　ｔｌや
３の連続する４フレ一ム間での対応関係を評価するとき
について考える。時刻ｔ、、ｔｊにおける目標候補Ｑ−
（ｔｋ＞、Ｑｂ（ｔｚ＞［ｎ＝１．−、Ｎｔｍ、　　　
ｂ＝１．−Ｎｔｔ、　　ｔｂ≠ｔｔ、ｔ、ｔｚ＝ｔ、・
・ｔ、、３コ　　について４フレームから２フレームを
選ぶすべての組合せ６通りの画像間（１，とｔ、、。

ｔ、とｔｉ＊＋、Ｊとｉｊ＋ｌ＋ｆｊ＋Ｉとｔ３＋２．
ｔｌ＊＋とｔ、＋２．　ｉｌ＋２とｔ、−３）で目標候
補の総当たりの組合せについて対応関係を評価する。対
応関係の有無は、次式に示される目標候補間の距ｎ　ｏ
、ｂ、　　面積の差Ｍ、ｂにより判定する。

Ｄａｂ２：［ｘｂ（ｔｚ）−ｘｓ（ｔｋ）］’＋［ｙｂ
（ｔｚ）−ｙ、（ｔ、）］２・・・（２）Ｍ−ｂ”　　
Ｓｂ（を尤）−Ｓｓ　（ｉｈ　）　　　　　　　・・・
・・（３）このＤａｂとＭａｂがともにあるしきい値Ｔ
＋　、　Ｔ２より小さいとき、Ｑａ（ｔｋ）とＱｂ　（
ｔｚ　）の間に対応関係があるとする。さらに、同一の
フレーム間で１つの目標候補に対して、２つ以上の目標
候補が対応した場合には、Ｄａｂと口、ｂの積が最小と
なる目標候補間を選択する。

次に対応関係の４つのフレーム間での連結について評価
する。即ち、１．〜ｔ、、３の４フレームで見たとき、
全２のフレーム間（１，とｉｌ”ｌ＋　　ｉｊ＋１とｉ
　４　＋２＋　　ｉ　ｊ　＋　２とｉｊ＋３）で対応が
とれているかどうか、あるいは４フレーム中３フレーム
だけで対応がとれているかどうか（（１，，１，やＩ　
＋　ｉｌ＋２）＊　　（ｊｊ＋　ｔ）＋１゜を戸３）・
　（ｔｊ・ｔｉ・２・ｆｉ＋３）＋　　＜ｆ」・１・ｔ
ｉ・２・ｔ」・３〉の４種）、あるいは４フレーム中で
２フレ一ム間だけで対応関係があるのみかを評価する。

当然、多くのフレームで対応関係がとれるものを目標領
域と判定する。

処理の流れを第４図を用いて説明する。各時刻ｆｉ、−
１ｉ＋”３の画像から抽出された目標候補の特徴データ
は、特徴データ記憶部＜６２〉に記憶される。

第４図は各時刻ｔｉ　、　−ｔｉ。３の画像から抽出さ
れた目標候補の数が、各々５個、６個、３個、４個であ
ることを示している。次に２フレ一ム間での対応関係を
　２．３式を用い評価する。その結果、図に示すように
Ｑ３（ｔ、）とＱ２（ｔ４．＋　）、Ｑ５（Ｊ　）とＱ
ｅ（ｔ；−＋）。

Ｑ２（ｔ、や１）とＱ冨（ｔ７＊３＞−Ｑｓ（ｔｉ、２
）とＱａ（ｔｌ。３）の間で対応関係があったとすると
、さらに４フレ一ム間での対応関係を調べ　３フレーム
で対応のとれるＱ３＜ｔ、）、Ｑ２（ｔ；。＋）、Ｑ＋
＜ｔ７や３〉を目標領域と判定し出力する。即ち、連続
フレーム間での対応関係を見ることによｌＪ、雲等の影
響によζノ検出し得々いフレームが存在しても、良好に
追尾することが可能になる。また、次のフレーム１．・
４での目標候補については、既に検出した目標領域との
対応関係を見るだけでもよいし、あるいは上記と同様に
ｔＪや１〜ｔ、１の目標候補に対し評価してもよい。

さらに、既に目標領域が求まり、これを追尾する段階で
は、１フレームあたりのＸ方向、Ｙ方向での移動量Ｖ、
、　　Ｖ、を求め、２式の代わりに次式を用い、動き情
報の利用を図ってもよい。

Ｄａｂ２”［Ｘｂ（ｔｔ）−（Ｌ（ｔｔｔ）＋ｖｘ（ｔ
ｔ−ｔｔｔ）ｌ］２＋［Ｘｂ（ｔｚ＞−ｆＬ（ｔｂ　）
＋Ｖ、（ｔｔ−ｔｔｔ　）ｌ］２・・・・・・（４〉な
お、上記実施例では、対応関係評価部で２フレ一ム間で
の対応、４フレ一ム間での対応関係を評価する場合につ
いて説明したが、任意のフレームで評価してもよい。

また、目標の形状を円・楕円・平行形状等に近似して目
標候補を抽出しているので、目標の接近等により目標領
域が拡大すると、円・楕円・平行形状等に近似で！？た
くねり、目標候補が抽出でよねいという問題点がある。

これには判定回路（６１〉において、目標領域の面積が
一定値以上にたったことを検知し、画像入力回路（２１
）で、面積増加に対応して画像を縮小することで対応し
く第１図で波線の矢印で示すコントロール）、追尾を継
続する。ｋお、画像の縮小は画素の間引き、あるいは２
式２画素の平均値を１画素とする等の近傍画素の統合手
法によζＪ簡単に実現できる。

［発明の効果］ 以上のように、この発明によれば目標候補抽出回路に、
濃淡画像から円・楕円・平行形状等の特定形状を抽出す
る形状抽出フィルタを用い、判定回路で複数枚の連続画
像間での目標候補の面積・重心位置情報及び動き情報を
基に、目標候補の対応量１系を評価するように構成した
ので、　ノイズの多い画像でも目標を良好に識別するこ
とができ、また、様々ね妨害環境下においても良好に目
標追尾を継続することができる効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像識別・追尾装置
の構成を示すブロック図、第２図はエツジ情報抽出処理
を行う空間積和演算の説明図、第３図は形状抽出フィル
タの抽出原理の説明図、第４図は判定回路での処理内容
を示す説明図、第５図は従来の画像追尾装置の構成を示
すブロック図である。 図において（１）は画像センサ、＜２〉はＡ／Ｄ変換器
、（２１＞は画像入力回路、〈３）は２値化回路、（３
１〉は目標候補抽出回路（３２〉はエツジ情報抽出回路
、（３３ンは形状抽出フィルタ、〈４〉は面積計測回路
、（４１〉は特徴抽出回路、（５〉はレーダ装置、＜６
〉、＜６１＞は判定回路、＜６２）は特徴データ記憶部
、（６３）は対応関係評価部、（７〉は目標抽出回路、
り８〉は重心位置計測回路である。 なお、図中同一符号は同一　または相当部分を示す。

Claims (1)

【特許請求の範囲】
1. 画像センサから得られる画像信号を、各画素毎に多値化
   する画像入力回路と、この画像入力回路の出力から、２
   値化等により目標候補を抽出する目標候補抽出回路と、
   上記目標候補の領域毎に面積、重心位置の特徴量を抽出
   する特徴抽出回路と、上記特徴量を評価することにより
   、目標領域を判定する判定回路とから構成される画像識
   別・追尾装置において、上記画像入力回路の出力を入力
   とし、エッジ強度と濃淡変化の方向を抽出するエッジ情
   報抽出回路と、このエッジ情報抽出回路の出力から、円
   ・楕円・平行形状の特定形状を抽出する形状抽出フィル
   タとから構成され目標候補を出力する目標候補抽出回路
   と、上記特徴抽出回路から得られる複数枚の連続画像で
   の目標候補に関する特徴量を記憶する特徴データ記憶部
   と、複数枚の連続画像間での目標候補の面積・重心位置
   情報の特徴データ及び既に対応のとれた目標候補間の移
   動量の動き情報を基に、目標候補の対応関係を評価する
   対応関係評価部とから構成され、目標領域を判定する判
   定回路とを備えたことを特徴とする画像識別・追尾装置
   。