JP2693586B2 - 画像識別・追尾装置 - Google Patents

画像識別・追尾装置

Info

Publication number
JP2693586B2
JP2693586B2 JP18130389A JP18130389A JP2693586B2 JP 2693586 B2 JP2693586 B2 JP 2693586B2 JP 18130389 A JP18130389 A JP 18130389A JP 18130389 A JP18130389 A JP 18130389A JP 2693586 B2 JP2693586 B2 JP 2693586B2
Authority
JP
Japan
Prior art keywords
target
circuit
image
area
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18130389A
Other languages
English (en)
Other versions
JPH0345898A (ja
Inventor
伸一 黒田
耕一 笹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP18130389A priority Critical patent/JP2693586B2/ja
Publication of JPH0345898A publication Critical patent/JPH0345898A/ja
Application granted granted Critical
Publication of JP2693586B2 publication Critical patent/JP2693586B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は、画像識別・追尾装置、特に目標識別能力
及び追尾能力の向上のための改良に関するものである。
[従来の技術] 第5図は例えば特願昭63-251139号に示された従来の
画像識別・追尾装置の構成を示す図であり、図において
(1)は画像センサ、(2)は画像センサ(1)により
得られた画像信号を、濃淡画像信号に変換するA/D変換
器、(3)は濃淡画像信号を、あるしきい値で2値化す
る2値化回路、(4)は2値化回路(3)で2値化され
た目標等の領域の面積を計測する面積計測回路、(5)
は目標までの距離を計測するレーダ装置、(6)はA/D
変換器(2)よりの濃度画像信号と面積計測回路(4)
からの面積データと、レーダ装置(5)からの測距デー
タとを入力して、目標か否かを判定する判定回路、
(7)は2値化回路(3)の出力と、判定回路(6)の
出力から、目標領域のみにレベル1を有する目標2値化
画像信号を作成する目標抽出回路、(8)は目標2値化
画像信号から目標領域の重心位置を計測し、目標位置デ
ータを、追尾信号として出力する重心位置計測回路であ
る。
次に動作について説明する。画像センサー(1)によ
り撮像された画像データは、A/D変換器(2)により濃
淡画像信号に変換される。この信号は、2値化回路
(3)により目標の領域が2値化され、面積計測回路
(4)で、各目標領域の面積が計測される。判定回路
(6)には面積データと、濃淡画像信号と、レーダ装置
(5)で得られた目標までの距離データとが入力され
る。
いま、目標の面積をS、輝度レベルをA、距離データ
をRとすると、目標を探知したいとき、目標が遠方にあ
る場合には、Sは十分に小さく、また、Aは或値以上を
有している必要があることから、判定回路(6)はA/S
が最も大となる領域を目標領域と判定し、また、目標が
中〜近距離にある場合には、微小高輝度のIRフレアー等
の誤検出を避けるため、判定回路(6)はA×Sが最も
大となる領域を目標領域と判定する。
判定回路(6)により判定された目標データは、目標
検出回路(7)で目標領域のみにレベル1を有する目標
2値化画像信号に変換され、重心位置計測回路(8)で
目標領域の重心位置が算出され、追尾信号として出力す
る。
[発明が解決しようとする課題] 従来の画像追尾装置は、以上のように構成されている
ので、測距データと2値化後の面積データと、輝度情報
のみで目標領域の判定を行っているので、レーダ装置が
妨害にあい、正しい測距データが得られないときなど、
微小高輝度のIRフレア等の誤検出が発生すること、ま
た、画像データからの情報の抽出は、面積と輝度情報の
みであり、形状情報による判定を行っていないため、赤
外画像で高輝度に見える水平線、雲等の背景ノイズ、疑
似熱源の分離が不十分であるという課題があった。
この発明は、上記のような課題を解消するためになさ
れたもので、形状情報の利用により、IRフレア、水平
線、雲等の背景ノイズ、疑似熱源の分離を行い、ノイズ
の多い画像及び様々な妨害環境下においても良好に目標
を識別し、かつ追尾できる画像識別・追尾装置を得るこ
とを目的とする。
[課題を解決するための手段] この発明に係る画像識別・追尾装置は、画像入力回路
の出力を入力として、エッジ強度と濃淡変化の方向を抽
出するエッジ情報抽出回路と、このエッジ情報抽出回路
の出力から円・楕円・平行形状の特定形状を抽出する形
状抽出フィルタとから構成され、目標候補を出力する目
標候補抽出回路と、上記特徴抽出回路から得られる複数
枚の連続画像での目標候補に関する特徴量を記憶する特
徴データ記憶部と、複数枚の連続画像間での目標候補の
面積・重心位置情報の特徴データ及び既に対応のとれた
目標候補間の移動量の動き情報を基に、目標候補の対応
関係を評価する対応関係評価部から構成され、目標領域
を判定する判定回路を用いたものである。
[作用] この発明における形状抽出フィルタは、濃淡画像から
円・楕円・平行形状等設定された特定形状を高速で抽出
し、また、判定回路は抽出結果の連続画像での関係か
ら、目標領域を判定する構成としたので、形状情報・動
き情報を用いた判定が可能となり、良好な識別・追尾が
実行可能となる。
[実施例] 以下、この発明の一実施例を図について説明する。第
1図において(1)は画像センサ、(21)は画像センサ
(1)から得られる画像信号を、各画素毎に多値化する
画像入力回路、(32)は濃淡画像からエッジ強度と濃淡
変化の方向等を抽出するエッジ情報抽出回路、(33)は
エッジ強度と濃淡変化の方向データから、円・楕円・平
行形状等の設定された特定形状を抽出する形状抽出フィ
ルタ、(31)はエッジ情報抽出回路(32)と形状抽出フ
ィルタ(33)とから構成される目標候補抽出回路、(4
1)は目標候補の領域毎に面積・重心位置等の特徴量を
抽出する特徴抽出回路、(62)は特徴抽出回路(41)で
得られた特徴量を、複数枚の連続画像について記憶する
特徴データ記憶部、(63)は複数枚の連続画像間での目
標候補の特徴データから対応関係を評価する対応関係評
価部、(61)は特徴データ記憶部(62)と対応関係評価
部(63)とから構成される判定回路である。
次に動作に次いて説明する。画像センサ(1)より得
られた画像信号は、画像入力回路(21)で濃淡画像信号
に変換される。エッジ情報抽出回路(32)は濃淡画像信
号からエッジ強度、濃淡変化の方向を各画素毎に抽出す
る。これは、例えば3行3列の空間積和演算で実行され
る。処理対策画像12データX(m,n),荷重係数W(i,j)が第
2図(a)に示すように配列されているとき、空間積和
演算結果Y(m,n)は次式で表わされる。
このとき、荷重係数として第2図(b)に示す2種類
の荷重係数を用い、横方向の変化量Sx、縦方向の変化量
Syを求めると、エッジ強度及び濃淡変化の方向は、各々 |Sx|+|Sy|,tan-1(Sy/Sx)で与えられる。
形状抽出フィルタ(33)は、エッジ強度及び8方向に
量子化された濃淡変化の方向データを用い、円・楕円・
平行形状等の、あらかじめ設定された特定形状を抽出す
る。第3図により形状抽出フィルタ(33)での抽出原理
を説明する。図は円を抽出する際の説明図であり、第3
図(a)に示すように円を構成するエッジ部での濃淡変
化の方向は、全て中心に向かう。そこで第3図(b)に
示すようにエッジ部での濃淡変化の方向に対応して、長
さSだけ離れたところに長さLのスポーク(線要素)を
発生させる。第3図(C)に示すように、各方向からス
ポークを発生させると、円の中心付近でスポークが交差
することになる。形状抽出フィルタはこの交差状況を見
ることにより、円の有無を判定する手法であり、Sが抽
出したい円の大きさ、Lがその許容量に対応することに
なる。また、平行形状を抽出する際には、向かいあう平
行線からのエッジの方向が対向するという性質を利用し
て、平行線の中心を抽出する。以上のように形状抽出フ
ィルタは、抽出したい形状・大きさを制限することによ
り、エッジの強度と方向という濃淡情報に、形状情報を
付加した特徴を同時に用いることで、ノイズに強い安定
な抽出を行う。特に、熱分布を示す赤外画像等において
は、目標物は円・楕円・平行形状を示すことが多く、目
標領域を抽出する際の有効な手法である。さらに形状情
報を利用しているので、微小高輝度のIRフレア、雲、水
平線等の影響を除去できることになる。
本発明者らは既に特定形状の抽出法として「画像形状
認識方式」(特願昭62-330960号)形状抽出フィルタの
高速実行として「スポークレジスタ生成回路」(特願昭
63-255102号)の2つの発明を完成させ、この発明はこ
れらの応用に関するものである。
形状抽出フィルタ(33)で得られた目標候補は、特徴
抽出回路(41)で目標候補の領域毎に重心位置・面積等
の特徴量が演算される。各画像毎に演算される特徴量
は、さらに複数枚の連続画像について、各々演算され特
徴データ記憶部(62)に格納される。対応関係評価部
(63)では、特徴データ記憶部(62)に貯えられた各画
像での各目標候補毎の特徴量を用い、目標候補の対応関
係を評価し、目標領域を判定する。
いま、ある時刻tでの画像から得られた目標候補をQi
(t)、その重心位置をxi(t),yi(t),面積をSi(t)と表
す。ここで、i=1,…,Nt,Ntは時刻tの画像で抽出され
た目標候補の総数である。
説明のため、時刻tj,tj+1,tj+2,tj+3の連続する4フ
レーム間での対応関係を評価するときについて考える。
時刻tk,tlにおける目標候補Qa(tk),Qb(tl)[a=1,…,
Ntk,b=1,…Ntl,tk≠tl,tk,tl=tj…tj+3について4フ
レームから2フレームを選ぶすべての組合せ6通りの画
像間(tjとtj+1tjとtj+2,tjとtj+3,tj+1とtj+2,tj+1とt
j+3,tj+2とtj+3)で目標候補の総当たりの組合せについ
て対応関係を評価する。対応関係の有無は、次式に示さ
れる目標候補間の距離Dab,面積の差Mabにより判定す
る。
Dab 2=[xb(t1)−xa(tk)]2+[yb(t1)−ya(tk)]2 ……(2) Mab=|Sb(t1)−Sa(tk)| ……(3) このDabとMabがともにあるしきい値T1,T2より小さい
とき、Qa(tk)とQb(t1)の間に対応関係があるとする。さ
らに、同一のフレーム間で1つの目標候補に対して、2
つ以上の目標候補が対応した場合には、DabとMabの積が
最小となる目標候補間を選択する。
次に対応関係の4つのフレーム間での連結について評
価する。即ち、tj〜tj+3の4フレームで見たとき、全2
のフレーム間(tjとtj+1,tj+1とtj+2,tj+2とtj+3)で対応
がとれているかどうか、あるいは4フレーム中3フレー
ムだけで対応がとれているかどうか((tj,tj+1,tj+2),(t
j,tj+1,tj+3),(tj,tj+2,tj+3),(tj+1,tj+2,tj+3)の4
種)、あるいは4フレーム中で2フレーム間だけで対応
関係があるのみかを評価する。当然、多くのフレームで
対応関係がとれるものを目標領域と判定する。
処理の流れを第4図を用いて説明する。各時刻tj
…,tj+3の画像から抽出された目標候補の特徴データ
は、特徴データ記憶部(62)に記憶される。第4図は各
時刻tj,…,tj+3の画像から抽出された目標候補の数
が、各々5個、6個、3個、4個であることを示してい
る。次に2フレーム間での対応関係を2,3式を用い評価
する。その結果、図に示すようにQ3(tj)とQ2(tj+1),Q
5(tj)とQ6(tj+1),Q2(tj+1)とQ1(tj+3),Q3(tj+2)とQ4(t
j+3)の間で対応関係があったとすると、さらに4フレー
ム間での対応関係を調べ、3フレームで対応のとれるQ3
(tj),Q2(tj+1),Q1(tj+3)を目標領域と判定し出力する。
即ち、連続フレーム間での対応関係を見ることにより、
雲等の影響により検出し得ないフレームが存在しても、
良好に追尾することが可能になる。また、次のフレーム
tj+4での目標候補については、既に検出した目標領域と
の対応関係を見るだけでもよいし、あるいは上記と同様
にtj+1〜tj+4の目標候補に対し評価してもよい。
さらに、既に目標領域が求まり、これを追尾する段階
では、1フレームあたりのX方向、Y方向での移動量
Vx,Vyを求め、2式の代わりに次式を用い、動き情報の
利用を図ってもよい。
Dab 2=[Xb(t1)−{Xa(tk)+Vx(t1−tk)}]+[Xb(t 1)−{Xa(tk)+Vx(t1−tk)}] …(4) なお,上記実施例では、対応関係評価部で2フレーム
間での対応、4フレーム間での対応関係を評価する場合
について説明したが、任意のフレームで評価してもよ
い。
また、目標の形状を円・楕円・平行形状等に近似して
目標候補を抽出しているので、目標の接近等により目標
領域が拡大すると、円・楕円・平行形状等に近似できな
くなり、目標候補が抽出できないという問題点がある。
これには判定回路(61)において、目標領域の面積が一
定値以上になったことを検知し、画像入力回路(21)
で、面積増加に対応して画像を縮小することで対応し
(第1図で波線の矢印で示すコントロール)、追尾を継
続する。なお、画像の縮小は画素の間引き、あるいは2
×2画素の平均値を1画素とする等の近傍画素の統合手
法により簡単に実現できる。
[発明の効果] 以上のように、この発明によれば目標候補抽出回路
に、濃淡画像から円・楕円・平行形状等の特定形状を抽
出する形状抽出フィルタを用い、判定回路で複数枚の連
続画像間での目標候補の面積・重心位置情報及び動き情
報を基に、目標候補の対応関係を評価するように構成し
たので、ノイズの多い画像でも目標を良好に識別するこ
とができ、また、様々な妨害環境下においても良好に目
標追尾を継続することができる効果がある。
【図面の簡単な説明】
第1図はこの発明の一実施例による画像識別・追尾装置
の構成を示すブロック図、第2図はエッジ情報抽出処理
を行う空間積和演算の説明図、第3図は形状抽出フィル
タの抽出原理の説明図、第4図は判定回路での処理内容
を示す説明図、第5図は従来の画像追尾装置の構成を示
すブロック図である。 図において(1)は画像センサ、(2)はA/D変換器、
(21)は画像入力回路、(3)は2値化回路、 (31)は目標候補抽出回路(32)はエッジ情報抽出回
路、(33)は形状抽出フィルタ、(4)は面積計測回
路、(41)は特徴抽出回路、(5)はレーダ装置、
(6),(61)は判定回路、(62)は特徴データ記憶
部、(63)は対応関係評価部、(7)は目標抽出回路、
(8)は重心位置計測回路である。 なお、図中同一符号は同一、または相当部分を示す。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】画像センサから得られる画像信号を、各画
    素毎に多値化する画像入力回路と、この画像入力回路の
    出力から、2値化等により目標候補を抽出する目標候補
    抽出回路と、上記目標候補の領域毎に面積、重心位置の
    特徴量を抽出する特徴抽出回路と、上記特徴量を評価す
    ることにより、目標領域を判定する判定回路とから構成
    される画像識別・追尾装置において、上記画像入力回路
    の出力を入力とし、エッジ強度と濃淡変化の方向を抽出
    するエッジ情報抽出回路と、このエッジ情報抽出回路の
    出力から、円・楕円・平行形状の特定形状を抽出する形
    状抽出フィルタとから構成され目標候補を出力する目標
    候補抽出回路と、上記特徴抽出回路から得られる複数枚
    の連続画像での目標候補に関する特徴量を記憶する特徴
    データ記憶部と、複数枚の連続画像間での目標候補の面
    積・重心位置情報の特徴データ及び既に対応のとれた目
    標候補間の移動量の動き情報を基に、目標候補の対応関
    係を評価する対応関係評価部とから構成され、目標領域
    を判定する判定回路とを備えたことを特徴とする画像識
    別・追尾装置。
JP18130389A 1989-07-13 1989-07-13 画像識別・追尾装置 Expired - Fee Related JP2693586B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18130389A JP2693586B2 (ja) 1989-07-13 1989-07-13 画像識別・追尾装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18130389A JP2693586B2 (ja) 1989-07-13 1989-07-13 画像識別・追尾装置

Publications (2)

Publication Number Publication Date
JPH0345898A JPH0345898A (ja) 1991-02-27
JP2693586B2 true JP2693586B2 (ja) 1997-12-24

Family

ID=16098320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18130389A Expired - Fee Related JP2693586B2 (ja) 1989-07-13 1989-07-13 画像識別・追尾装置

Country Status (1)

Country Link
JP (1) JP2693586B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729562B2 (ja) * 1996-06-12 2005-12-21 松下電器産業株式会社 自動監視装置
JP2007183999A (ja) * 1998-04-07 2007-07-19 Omron Corp 画像処理装置および方法,画像処理のためのプログラムを記憶した媒体,ならびに検査装置
JP5305995B2 (ja) * 2009-03-12 2013-10-02 株式会社東芝 対象物識別装置
JP2011080890A (ja) * 2009-10-08 2011-04-21 Toshiba Corp 対象物識別装置
CN102222534B (zh) * 2011-03-10 2013-06-12 中国原子能科学研究院 一种单粒子效应地面加速器模拟试验用束流快门
WO2022038757A1 (ja) * 2020-08-21 2022-02-24 三菱電機株式会社 目標識別装置、目標識別方法及び目標識別プログラム

Also Published As

Publication number Publication date
JPH0345898A (ja) 1991-02-27

Similar Documents

Publication Publication Date Title
JP3307335B2 (ja) 車両領域検出装置及び車両領域検定方法
US5081689A (en) Apparatus and method for extracting edges and lines
JP4389602B2 (ja) 物体検出装置、物体検出方法、プログラム
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
JP2006071471A (ja) 移動体高さ判別装置
CN105787429B (zh) 采用机器视觉用于检查物体的方法和设备
RU2363018C1 (ru) Способ селекции объектов на удаленном фоне
JP2693586B2 (ja) 画像識別・追尾装置
JPH1166226A (ja) 車両のナンバプレート認識装置
JP3216385B2 (ja) 目標探知追尾装置
JP6412032B2 (ja) 空間認識装置
JP2011090708A (ja) 対象個数検出装置および対象個数検出方法
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法
JPS6126189A (ja) エツジ抽出方法
JPWO2020175085A1 (ja) 画像処理装置、及び画像処理方法
JP6332704B2 (ja) 物体検出装置
JPH067171B2 (ja) 移動物体の検知方法
JP2982287B2 (ja) 文字列検出方法、文字列検出装置、文字列読取方法及び文字列読取装置
JP2979910B2 (ja) 画像目標検出装置
JPH0410564B2 (ja)
JP6332702B2 (ja) 空間認識装置
JPH09282460A (ja) 自動目標認識装置
JP6332703B2 (ja) 空間認識装置
JP3091356B2 (ja) 移動体検出方法および装置
JP2000222588A (ja) 画像目標検出装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees