JPH1010222A - 複数目標連続追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】連続性を保持し複数も目標を追跡する複数目標
連続追跡装置を提供。 【解決手段】赤外線画像から候補対象を検出する候補対
象検出手段（３）と、初回に候補対象群データを全て追
跡対象として登録する初期追跡テーブル作成手段（４）
と、二回目以降に前記追跡対象と前記候補対象との全て
の組合せについて、存在度と類似度とを出力する評価マ
トリクス作成手段（５）と、前記追跡対象と前記候補対
象との間で最も対応している組合せを１対１で検出する
対応関係取得手段（６）と、未対応追跡対象が存在する
ときそれが画像上で重複しているものとし、重複してい
る他の追跡対象を検出し、重複情報を変更する重複処理
手段（７）と、未対応候補対象が存在するとき、それを
新たに出現した追跡対象とし登録する出現判定手段
（８）と、全ての追跡対象について予測位置と特徴情報
を更新する追跡テーブル更新手段（９）と、を具備。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、赤外線画像上の複
数の目標を、連続性を保持して追跡する複数目標連続追
跡装置に関する。

【０００２】

【従来の技術】従来、時系列の赤外線画像上で特定の高
輝度領域を目標として追跡する手法として、赤外線画像
に対して二値化処理、ラベリング処理を行ない取得され
る特徴情報を用いる手法がある。前記二値化処理は追跡
目標と背景とが明確に分離可能な閾値を設定し、赤外線
画像をＡ／Ｄ変換したディジタル画像に対して、高輝度
の画素が“１”、その他の画素が“０”である二値画像
データを作成する処理である。また、前記ラベリング処
理は前記二値画像データにラベル付けを行なう処理であ
り、各ラベルを候補対象として特徴情報（ラベル特徴
量）を取得する。

【０００３】最初の処理において、前記二値化処理、前
記ラベリング処理により取得した複数の候補対象の中か
ら追跡目標を選択し、その特徴情報を保持する。２回目
以降の処理において、前記二値化処理、前記ラベリング
処理で取得した複数の候補対象の中で、保持されている
追跡目標の特徴情報との類似度が最も高い候補対象を一
つ選択し、その選択された候補対象の位置に前記追跡目
標が移動したものとし、前記追跡目標の特徴情報を前記
候補対象の特徴情報に置き換える。このような処理を繰
り返すことで、追跡が実行される。

【０００４】上記類似度は、例えば追跡対象や候補対象
の画素数、アスペクトレシオ、充填率等の特徴情報か
ら、次式（１）の加重平均算出式等により算出される。 類似度＝ω1 ｆ1 （画素数差）＋ω2 ｆ2 （アスペクトレシオ差） ＋ω3 ｆ3 （充填率差） …（１） ここで、ωi はどの特徴を重視するかを表わす重みであ
り、次式（２）を満たす。

【０００５】

【数１】 ここで、ｆi ()は０から１の間の値を取る関数である。

【０００６】図９の（ａ）および（ｂ）は、上述した従
来の手法における予測範囲設定手段を説明するための概
念図である。追跡目標の対応の間違いを減らすため、図
９の（ａ）に示すように、追跡目標の重心２０と前記追
跡目標に対応した候補対象の重心２１との位置関係か
ら、次に取り込む画像上で前記追跡目標が移動すると考
えられる予測範囲２２を設定する。次の処理では、予測
範囲２２内に重心が存在する候補対象のみと対応を取る
方法もあり、前記追跡目標が移動していないときは、図
９の（ｂ）に示すように候補対象の重心２１を中心とし
たドーナツ円を予測範囲２２として設定する。

【０００７】

【発明が解決しようとする課題】上記のような追跡手法
においては、二値画像データ上において追跡目標と同じ
様な特徴情報を有する妨害物が予測範囲内に存在した
り、追跡目標が妨害物等と重複したような場合などに、
追跡が途切れたり追跡目標とは別の高輝度領域を誤って
追跡したりして、追跡の連続性を保てないという問題が
ある。

【０００８】図１０の（ａ）および（ｂ）は、上述した
従来の手法における問題点を示すための概念図であり、
妨害物のために追跡が失敗する例を表わしている。赤外
線画像の二値画像データ２３上において、図１０の
（ａ）では、矢印２７方向に移動している追跡目標２４
の進行方向に、妨害物２５と追跡目標２４によく似た形
状の妨害物２６とが存在することを表わしている。

【０００９】また図１０の（ｂ）では、前記追跡目標２
４が矢印２８方向に移動して妨害物２５と重複したた
め、追跡目標２４が妨害物２６と対応することになり、
矢印２９方向に間違えて追跡されたことを表わしてい
る。また図１０の（ａ），（ｂ）において、妨害物２６
が存在しないような場合、追跡目標２４の対応先が無く
なり、追跡が途切れてしまうことになる。すなわち従来
の追跡手法では、単体の目標しか追跡できず、目標を追
跡中に他の高輝度領域と交差すると、追跡対象が高輝度
領域に移り、最初の目標に対する追跡が中断されるとい
う問題がある。

【００１０】本発明の目的は、追跡目標だけでなく妨害
物を含む全ての高輝度領域を追跡対象として扱い、追跡
対象が重複しているか否かを常に検出して、追跡が途切
れたり追跡を誤ったりすることを防ぎ、連続性を保持し
ながら複数の目標を追跡することができる複数目標連続
追跡装置を提供することにある。

【００１１】

【課題を解決するための手段】上記課題を解決し目的を
達成するために、本発明の複数目標連続追跡装置は以下
の如く構成されている。本発明の複数目標連続追跡装置
は、時系列赤外線画像から候補対象を検出して特徴情報
を算出し、候補対象群データとして出力する候補対象検
出手段と、初回の処理のとき、前記候補対象群データを
全て追跡対象として所定の追跡テーブルデータに登録す
る初期追跡テーブル作成手段と、二回目以降の処理のと
き、前記追跡テーブルデータに登録されている追跡対象
と前記候補対象群データの候補対象との全ての組合せに
ついて、追跡対象の予測位置と候補対象の重心との距離
から算出した存在度と、追跡対象の特徴情報と候補対象
の特徴情報とから算出した類似度とを評価マトリクスデ
ータとして出力する評価マトリクス作成手段と、前記評
価マトリクスデータを基に、追跡対象と候補対象との間
で最も対応している組合せを１対１で検出し、対応関係
データとして出力する対応関係取得手段と、前記対応関
係データにおいて未対応追跡対象が存在するとき、前記
未対応追跡対象は画像上で重複しているものとし、前記
未対応追跡対象が重複している他の追跡対象を検出し、
前記追跡テーブルデータの重複情報を変更する重複処理
手段と、前記対応関係データにおいて未対応候補対象が
存在するとき、前記未対応候補対象を新たに出現した追
跡対象として前記追跡テーブルデータに登録する出現判
定手段と、前記追跡テーブルデータ内の全ての追跡対象
について予測位置と特徴情報を更新する追跡テーブル更
新手段と、から構成されている。

【００１２】上記手段を講じた結果、次のような作用が
生じる。本発明の複数目標連続追跡装置によれば、時系
列赤外線画像から候補対象を検出して特徴情報を算出
し、候補対象群データとし、初回の処理のとき、前記候
補対象群データを全て追跡対象として所定の追跡テーブ
ルデータに登録し、二回目以降の処理のとき、前記追跡
テーブルデータに登録されている追跡対象と前記候補対
象群データの候補対象との全ての組合せについて、追跡
対象の予測位置と候補対象の重心との距離から算出した
存在度と、追跡対象の特徴情報と候補対象の特徴情報と
から算出した類似度とを評価マトリクスデータとして出
力し、前記評価マトリクスデータを基に、追跡対象と候
補対象との間で最も対応している組合せを１対１で検出
し、対応関係データとして出力し、前記対応関係データ
において未対応追跡対象が存在するとき、前記未対応追
跡対象は画像上で重複しているものとし、前記未対応追
跡対象が重複している他の追跡対象を検出し、前記追跡
テーブルデータの重複情報を変更し、前記対応関係デー
タにおいて未対応候補対象が存在するとき、前記未対応
候補対象を新たに出現した追跡対象として前記追跡テー
ブルデータに登録し、前記追跡テーブルデータ内の全て
の追跡対象について予測位置と特徴情報を更新する。

【００１３】これにより、赤外線画像上の追跡目標や妨
害物を含む全ての高輝度領域を追跡対象として扱い、追
跡対象の重複情報を用いて追跡対象が重複しているか否
かを検出しながら、追跡対象と候補対象との対応を求め
ていくことで、複数の目標を連続性を保持しながら追跡
することができる。

【００１４】

【発明の実施の形態】図１は、本発明の実施の形態に係
る複数目標連続追跡装置の構成を示す制御ブロック図で
ある。図１において、画像入力装置１は二値化回路２、
候補対象検出回路３、初期追跡テーブル作成回路４、評
価マトリクス作成回路５、対応関係取得回路６を介して
重複処理回路７の重複先候補対象検出回路７１に接続さ
れている。また、候補対象検出回路３は直接評価マトリ
クス作成回路５に接続されている。

【００１５】重複処理回路７内では、重複先候補対象検
出回路７１が即対応追跡対象検出回路７２と候補対象無
重複処理回路７３に接続されている。即対応追跡対象検
出回路７２と候補対象無重複処理回路７３は出現判定回
路８に接続されており、出現判定回路８は追跡テーブル
更新回路９を介して評価マトリクス作成回路５に接続さ
れている。

【００１６】またｃ１〜ｃ８は各々信号を示しており、
それぞれｃ１はディジタル画像データ、ｃ２は二値画像
データ、ｃ３は候補対象群データ、ｃ４は追跡テーブル
データ、ｃ５は評価マトリクスデータ、ｃ６は対応関係
データ、ｃ７は重複先候補対象、ｃ８は既対応追跡対象
に係る信号を示している。

【００１７】図２および図３は、上記のような構成をな
す複数目標連続追跡装置の動作手順を示すフローチャー
トである。以下、図２および図３を基に、当該複数目標
連続追跡装置の動作手順を説明する。

【００１８】まず図２に示すステップＳ１で、画像入力
回路１は外界の時系列赤外線画像を入力し、この赤外線
画像をディジタル画像データｃ１に変換する。このディ
ジタル画像データｃ１は、ステップＳ２で、二値化回路
２にて二値化され、二値化画像データｃ２になる。この
とき二値化回路２には追跡目標と背景とを分離できる輝
度値が閾値として設定されている。次にステップＳ３
で、候補対象検出回路３は二値化画像データｃ２をラベ
リング処理し、各ラベルを候補対象として特徴情報（重
心、画素数、アスペクトレシオ、充填率等）を算出し、
候補対象群データｃ３として出力する。

【００１９】そしてステップＳ４で、最初の処理の場
合、ステップＳ５で初期追跡テーブル作成回路４におい
て、候補対象群データｃ３の全ての候補対象を追跡対象
とし、追跡テーブルデータｃ４に登録する。ここで、追
跡テーブルデータｃ４上の各追跡対象には追跡情報が与
えられており、前記追跡情報は追跡目標フラグ、重複情
報、候補対象番号、移動ベクトル、予測位置および特徴
情報で構成されるデータである。

【００２０】上記追跡目標フラグは、追跡対象が人間の
指定した追跡目標であるか否かを表わし、追跡目標のと
きは“１”、追跡目標でないとき“０”になる。赤外線
画像上で追跡目標に印を付けたいときは、前記追跡目標
フラグが“１”である追跡対象の位置に印をつければよ
い。上記重複情報は、追跡対象が画像上で重複している
か否かを表わし、重複しているときは１以上の自然数、
重複していないときは“０”とする。

【００２１】上記候補対象番号は、追跡対象と対応した
候補対象の番号であり、候補対象検出回路３におけるラ
ベリング処理で各候補対象に割り当てられる。上記移動
ベクトルは、追跡対象の移動した距離と方向を表わし、
追跡対象が移動していないときはゼロベクトルである。
上記予測位置は、次に取り込む画像上において、追跡対
象の重心が存在する可能性の高い位置を表わす。

【００２２】初期追跡テーブル作成回路４では、上記重
複情報に“０”を、上記候補対象番号には候補対象群デ
ータｃ３で候補対象に与えられていた番号を、上記移動
ベクトルにはゼロベクトルを、上記予測位置には候補対
象の重心を、上記特徴情報には候補対象の特徴情報を設
定する。また、追跡目標に指定された追跡対象について
は上記追跡目標フラグを“１”とする。

【００２３】上記ステップＳ４で２回目以降の処理の場
合は、ステップＳ６で評価マトリクス作成回路５は、候
補対象検出回路３から入力した候補対象群データｃ３
と、前回の処理で初期追跡テーブル作成回路４から取得
した追跡テーブルデータｃ４の全ての追跡対象との全組
合せに対して、候補対象の重心と追跡対象の予測位置と
の近さの度合を示す存在度と、二値化画像データｃ２上
で候補対象と追跡対象とがどの程度似ているかを示す類
似度とを、後述する図４の（ａ）に示すような評価マト
リクスデータｃ５として出力する。

【００２４】図４の（ａ）は、評価マトリクスデータｃ
５の例を示す図である。上記存在度は、予測位置を原点
としてこの予測位置と候補対象の重心との距離が離れる
に従って値が低くなる関数から算出され、本手法を一回
処理する時間内に、追跡目標が赤外線画像上で移動する
最大画素数を考慮して設定した制限距離以上移動したと
き“０”とする。前記関数としては、二次元ガウス分布
関数や反比例線形関数を採用できる。前記類似度は、従
来と同様追跡対象の特徴情報と候補対象の特徴情報から
上記式（１）等により算出される。

【００２５】続いて図２に示すステップＳ７で、対応関
係取得回路６は前記評価マトリクスデータｃ５において
類似度が人間の設定した閾値以上であり、かつ存在度が
“０”ではない組合せの中から、存在度の高い順に追跡
対象と候補対象との組合せを検出した対応関係データｃ
６を出力する。

【００２６】図４の（ｂ）は、対応関係データｃ６を評
価マトリクスデータｃ５から検出する手法を説明するた
めの図である。この検出手法は、評価マトリクスデータ
ｃ５から検出された組合せの追跡対象と候補対象を除去
し、新たな組合せを検出するという方法であり、対応関
係データｃ６は、追跡対象と候補対象とが１対１で対応
したデータになる。

【００２７】そして対応関係取得回路６は、最後まで評
価マトリクスデータｃ５に残った追跡対象を未対応追跡
対象、候補対象を未対応候補対象として対応関係データ
ｃ６に記録する。また上記組合せを検出したとき、追跡
テーブルデータｃ４上の検出された追跡対象の候補対象
番号に、対応した候補対象の番号を記録する。

【００２８】次にステップＳ８で、対応関係取得回路６
の出力した対応関係データｃ６に未対応追跡対象が存在
するときは、前記未対応追跡対象は他の追跡対象と重複
しているものとして、重複処理回路７で以下の重複処理
を行なう。

【００２９】図３は、重複処理回路７の動作手順を示す
フローチャートであり、図５は評価マトリクスデータｃ
５から未対応追跡対象の組合わせを抽出する手法を説明
するための概念図である。図３のステップＳ１３で、重
複先候補対象検出回路７１は図５に示すように、評価マ
トリクスデータｃ５から未対応追跡対象に対する候補対
象の評価データ５６を抜き出し、二値画像データｃ２上
で追跡対象が重複すると画素数が増えると考え、前記評
価データ５６の中で、存在度が０でないもののうち存在
度の高い順に、未対応追跡対象の画素数と前記候補対象
の画素数との比較を行なう。そして次式（３）を満たす
候補対象を検出し、その候補対象を重複先候補対象ｃ７
として出力する。

【００３０】 （未対応追跡対象の画素数）≦（候補対象の画素数） …（３） 次にステップＳ１４で、重複先候補対象検出回路７１が
重複先候補対象ｃ７を検出できたときは、以下の候補対
象有重複処理を実行する。まずステップＳ１５で、追跡
テーブルデータｃ４上の前記未対応追跡対象の重複情報
を“１”とし、重複先候補対象ｃ７の番号を候補対象番
号に記録する。次にステップＳ１６で、既対応追跡対象
検出回路７２において、対応関係データｃ６から前記重
複先候補対象ｃ７と既に対応している追跡対象（以下、
既対応追跡対象と称す）ｃ８を出力する。そしてステッ
プＳ１７で、既対応追跡対象ｃ８が存在するときは、ス
テップＳ１８で既対応追跡対象検出回路７２において、
追跡テーブルデータｃ４上の既対応追跡対象ｃ８の重複
情報を“１”とする。

【００３１】なお上記ステップＳ１４で、重複先候補対
象ｃ７を検出できなかったときは、前記未対応追跡対象
は他の追跡対象と重複していると仮定して、以下の候補
対象無重複処理を実行する。まずステップＳ１９で、候
補対象無重複処理回路７３は、追跡テーブルデータｃ４
上の前記未対応追跡対象の重複情報に“１”を加算し、
ステップＳ２０で前記重複情報が人間の設定した制限回
数以上になった場合、前記未対応追跡対象は画面上で見
えなくなったとして、ステップＳ２１で、追跡テーブル
データｃ４から前記未対応追跡対象を除去する。また前
記ステップＳ２０で前記重複情報が人間の設定した制限
回数以上にならない場合、前記の処理を行なわない。

【００３２】上記のような重複処理回路７の処理の後、
図２に示すステップＳ１０で、対応関係データｃ６に未
対応候補対象が存在するときは、ステップＳ１１で、出
現判定回路８において前記未対応候補対象は新たに画像
上に出現した追跡対象であるものとして、追跡テーブル
データｃ４に新たに登録する。追跡テーブルデータｃ４
上の追跡情報の設定方法は、初期追跡テーブル作成回路
４と同様である。最後にステップＳ１２で、追跡テーブ
ル更新回路９は、追跡テーブルデータｃ４上の各追跡対
象の予測位置を距離や角度の変化を考慮して算出し、か
つ上記特徴情報を更新する。

【００３３】図６は、移動距離と方向の変化を考慮した
予測位置算出方法を説明するための図である。図６に示
すように、追跡テーブルデータｃ４上で重複情報が
“０”の追跡対象に対して、まず前記追跡対象の重心４
７と前記追跡対象と対応している候補対象の重心４９と
から、距離がＶ1 、角度がθ1 である新たな移動ベクト
ル４８を算出する（以下、算出移動ベクトルと称す）。

【００３４】算出移動ベクトル４８の距離Ｖ1 が人間の
設定した最短距離以下のとき、前記追跡対象は移動して
いないものとして、前記算出移動ベクトル４８をゼロベ
クトルとする。次に、距離がＶ0 、角度がθ0 である前
記追跡対象の移動ベクトル４６と前記算出移動ベクトル
４８とから、下式（４）により距離をＶ、角度をθとし
た予測ベクトル５０を算出する。

【００３５】

【数２】 上式（４）において、Ｖが負のときはＶを０とし、ま
た、移動ベクトル４６がゼロベクトルであったときはθ
をθ1 とする。

【００３６】また前記予測ベクトル５０と、前記追跡対
象に対応した候補対象の重心４９の座標（ｘ，ｙ）とか
ら、上式（５）で予測位置５１の座標（ｐx ，ｐy ）を
算出し、追跡テーブルデータｃ４上の前記追跡対象の予
測位置に予測位置５１を、移動ベクトル４６に算出移動
ベクトル４８を記録するとともに、特徴情報に対応する
候補対象の特徴情報を記録する。ここで、上式（５）で
算出した予測位置５１が画面外のときは、追跡テーブル
データｃ４から前記追跡対象を除去する。

【００３７】追跡テーブルデータｃ４上で重複情報が１
以上、すなわち他の追跡対象と重複しているとされた追
跡対象については、前記追跡対象の予測位置を仮に候補
対象の重心（以下、仮設定重心と呼ぶ）４９として、前
記処理と同様に、算出移動ベクトル４８を算出し、上式
（４）（５）から予測位置５１を算出する。そして、追
跡テーブルデータｃ４上の、前記追跡対象の重心に前記
仮設定重心４９を、予測位置に前記予測位置５１を、移
動ベクトルに前記算出移動ベクトル４８を記録する。た
だし、重心以外の特徴情報は書き換えない。

【００３８】図７および図８は、本実施の形態の複数目
標連続追跡装置において追跡対象が重複しても連続性を
保つことを説明するための概念図である。本実施の形態
は上述したような手法により、図１０と同じ状況におい
て連続した追跡を可能とするものである。図１０の二値
画像データ２３の高輝度部分を拡大して描いた図７およ
び図８において、図７の（ａ）は、図１０の（ａ）の妨
害物２５を追跡対象３１、妨害物２６を追跡対象３２、
追跡目標２４を追跡対象３０として扱い、追跡対象３０
は矢印２７方向（以下、矢印を移動ベクトルと呼ぶ）に
移動していることを表わしている。

【００３９】図７の（ｂ）は、次に取り込む画像上で、
各追跡対象がどの位置に移動するかを示す予測位置を設
定した図であり、追跡対象３０は移動ベクトル３６だけ
移動すると予測して予測位置３３を設定し、追跡対象３
１と追跡対象３２は移動していないため、それぞれの重
心に予測位置３４、予測位置３５を設定する。

【００４０】図７の（ｃ）は、追跡対象３０が点線で示
した位置５３に移動して上記追跡対象３１と重複した状
態を示す図である。候補対象４０の重心３８や候補対象
３７の重心３９と、図７の（ｂ）で設定した、追跡対象
３０の予測位置３３、追跡対象３１の予測位置３４、追
跡対象３２の予測位置３５の全ての組合せに対して、予
測位置と候補対象の重心との距離が近く、候補対象と二
値画像データ上の形状が似ている候補対象を検出する
と、追跡対象３１と候補対象４０とが対応し、また追跡
対象３２と候補対象３７とが対応し、追跡対象３０は未
対応追跡対象となる。

【００４１】図８の（ａ）は、上記未対応追跡対象３０
に対する重複処理を表わす図である。未対応追跡対象３
０は候補対象４０上で追跡対象３１と重複しており、予
測位置３３の位置に未対応追跡対象３０に対応する候補
対象の重心が存在すると仮定し、未対応追跡対象３０は
移動ベクトル４１だけ移動したものとする。そして、次
に取り込まれる画像上において、未対応追跡対象３０は
予測位置３３から移動ベクトル４２だけ移動するものと
して、予測位置４３を設定する。

【００４２】図８の（ｂ）は、追跡対象３０が移動して
候補対象４４の位置に表われた状態を示す図であり、上
述した図７の（ｃ）と同様な処理で対応を求めると、追
跡対象３１と候補対象５４とが対応し、また追跡対象３
２と候補対象５５とが対応し、追跡対象３０との対応は
予測位置４３に近く形状が似ている候補対象４４が選択
され、移動ベクトル４５だけ移動したとされ、追跡対象
３０の追跡の連続性が保たれることになる。

【００４３】（実施の形態のまとめ）本実施の形態の複
数目標連続追跡装置は、時系列に取り込まれる赤外線画
像から高輝度領域（輝度が設定閾値以上の画素の集ま
り）を逐次検出して、追跡したい高輝度領域の目標（以
下、追跡目標と称す）や地面に反射した太陽光等の妨害
物を含む全ての高輝度領域を追跡対象とし、かつ前記追
跡対象が赤外線画像上で他の追跡対象と重複しているか
否かを検出しながら追跡することで、連続性を保ちなが
ら複数の目標を追跡可能としている。

【００４４】そして、外界を撮影した赤外線画像をＡ／
Ｄ変換してディジタルデータ（ｃ１）として出力する画
像入力回路１と、この画像入力回路１の出力したディジ
タルデータ（ｃ１）を二値化する二値化回路２と、この
二値化回路２の出力した二値画像データｃ２をラベリン
グ処理して、検出された高輝度領域（以下、候補対象と
呼ぶ）全てに対して特徴情報（重心、画素数、アスペク
トレシオ、充填率等）を取得し、候補対象群データｃ３
として出力する候補対象検出回路３と、最初の処理のと
き、全ての追跡対象についての追跡情報（追跡目標フラ
グ、重複情報、候補対象番号、移動ベクトル、予測位
置、特徴情報）を保持する追跡テーブルデータｃ４に、
前記候補対象検出回路３の出力した候補対象群データｃ
３を、全て追跡対象として登録する初期追跡テーブル作
成回路４と、２回目以降の処理のとき、前記候補対象検
出回路３の出力した候補対象群データｃ３の候補対象と
前記追跡テーブルデータｃ４に登録されている追跡対象
との全ての組合せに対して、候補対象が追跡対象の予想
位置とどの程度近いかを示す存在度と、二値画像データ
ｃ２上において候補対象の形状と追跡対象の形状とがど
の程度似ているかを示す類似度とを評価マトリクスデー
タｃ５として出力する評価マトリクス作成回路５と、こ
の評価マトリクス作成回路５の出力した評価マトリクス
データｃ５を基に、追跡対象と対応する候補対象を１対
１となるように選択した対応関係データｃ６を出力し、
前記追跡対象に対応した候補対象の番号を追跡テーブル
データｃ４に記録する対応関係取得回路６と、この対応
関係取得回路６の出力した対応関係データｃ６におい
て、対応する候補対象の無かった追跡対象（以下、未対
応追跡対象と呼ぶ）が存在するとき、未対応追跡対象が
画像上で他の追跡対象と重複しているものとして、前記
追跡対象と重複している他の追跡対象を検出して、追跡
テーブルデータｃ４の重複情報を変更する重複処理回路
７と、前記対応関係データｃ６において、対応する追跡
対象の無かった候補対象（以下、未対応候補対象と呼
ぶ）を、新たな追跡対象として追跡テーブルデータｃ４
に登録する出現判定回路８と、前記追跡テーブルデータ
ｃ４に登録されている全ての追跡対象に対して、距離や
方向の変化を加味した予測位置の算出と特徴情報の更新
とを行う追跡テーブル更新回路９と、から構成されてい
る。

【００４５】このように、赤外線画像上を二値化処理、
ラベリング処理してラベル特徴量を求め、目標（ラベ
ル）の状態（移動、停止）と未来予測位置を保持してい
る追跡テーブルを用いて複数の目標を追跡するので、複
数の目標を追跡することが可能になり、未来位置を常に
予測していくことで目標が重なっても連続追跡が可能に
なる。すなわち本実施の形態に係る複数目標連続追跡装
置は、赤外線画像上の追跡目標や妨害物を含む全ての高
輝度領域を追跡対象として扱い、追跡対象が重複してい
るか否かを検出しながら、追跡対象と候補対象との対応
を求めていくことで、複数の目標を連続性を保ちながら
追跡することができる。なお、本発明は上記実施の形態
のみに限定されず、要旨を変更しない範囲で適時変形し
て実施できる。

【００４６】

【発明の効果】本発明によれば、追跡目標だけでなく妨
害物を含む全ての高輝度領域を追跡対象として扱い、追
跡対象が重複しているか否かを常に検出して、追跡が途
切れたり追跡を誤ったりすることを防ぎ、連続性を保持
しながら複数の目標を追跡することができる複数目標連
続追跡装置を提供できる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る複数目標連続追跡装
置の構成を示す制御ブロック図。

【図２】本発明の実施の形態に係る複数目標連続追跡装
置の動作手順を示すフローチャート。

【図３】本発明の実施の形態に係る複数目標連続追跡装
置の動作手順を示すフローチャート。

【図４】本発明の実施の形態に係る図であり、（ａ）は
評価マトリクスデータの例を示す図、（ｂ）は対応関係
データを評価マトリクスデータから検出する手法を説明
するための図。

【図５】本発明の実施の形態に係る図であり、評価マト
リクスデータから未対応追跡対象の組合わせを抽出する
手法を説明するための概念図。

【図６】本発明の実施の形態に係る図であり、移動距離
と方向の変化を考慮した予測位置算出方法を説明するた
めの図。

【図７】本発明の実施の形態に係る複数目標連続追跡装
置において追跡対象が重複しても連続性を保つことを説
明するための概念図。

【図８】本発明の実施の形態に係る複数目標連続追跡装
置において追跡対象が重複しても連続性を保つことを説
明するための概念図。

【図９】従来例に係る予測範囲設定手段を説明するため
の概念図。

【図１０】従来例に係る問題点を示すための概念図。

【符号の説明】

１…画像入力装置 ２…二値化回路 ３…候補対象検出回路 ４…初期追跡ケーブル作成回路 ５…評価マトリクス作成回路 ６…対応関係取得回路 ７…重複処理回路 ７１…重複先候補対象検出回路 ７２…即対応追跡対象検出回路 ７３…候補対象無重複処理回路 ８…出現判定回路 ９…追跡テーブル更新回路 ｃ１…ディジタル画像データ ｃ２…二値画像データ ｃ３…候補対象群データ ｃ４…追跡テーブルデータ ｃ５…評価マトリクスデータ ｃ６…対応関係データ ｃ７…重複先候補対象 ｃ８…既対応追跡対象 ２０…追跡目標の重心 ２１…候補対象の重心 ２２…予測範囲 ２３…二値画像データ ２４…追跡目標 ２５…妨害物 ２６…妨害物 ２７…矢印 ２８…矢印 ２９…矢印 ３０…追跡対象 ３１…追跡対象 ３２…追跡対象 ３３…予測位置 ３４…予測位置 ３５…予測位置 ３６…移動ベクトル ３７…候補対象 ３８…重心 ３９…重心 ４０…候補対象 ４１…移動ベクトル ４２…移動ベクトル ４３…予測位置 ４４…候補対象 ４５…移動ベクトル ５３…位置 ５４…候補対象 ５５…候補対象

Claims (1)

【特許請求の範囲】
1. 【請求項１】時系列赤外線画像から候補対象を検出して
   特徴情報を算出し、候補対象群データとして出力する候
   補対象検出手段と、 初回の処理のとき、前記候補対象群データを全て追跡対
   象として所定の追跡テーブルデータに登録する初期追跡
   テーブル作成手段と、 二回目以降の処理のとき、前記追跡テーブルデータに登
   録されている追跡対象と前記候補対象群データの候補対
   象との全ての組合せについて、追跡対象の予測位置と候
   補対象の重心との距離から算出した存在度と、追跡対象
   の特徴情報と候補対象の特徴情報とから算出した類似度
   とを評価マトリクスデータとして出力する評価マトリク
   ス作成手段と、 前記評価マトリクスデータを基に、追跡対象と候補対象
   との間で最も対応している組合せを１対１で検出し、対
   応関係データとして出力する対応関係取得手段と、 前記対応関係データにおいて未対応追跡対象が存在する
   とき、前記未対応追跡対象は画像上で重複しているもの
   とし、前記未対応追跡対象が重複している他の追跡対象
   を検出し、前記追跡テーブルデータの重複情報を変更す
   る重複処理手段と、 前記対応関係データにおいて未対応候補対象が存在する
   とき、前記未対応候補対象を新たに出現した追跡対象と
   して前記追跡テーブルデータに登録する出現判定手段
   と、 前記追跡テーブルデータ内の全ての追跡対象について予
   測位置と特徴情報を更新する追跡テーブル更新手段と、 を具備したことを特徴とする複数目標連続追跡装置。