JPH1114741A - ターゲット追跡方法及び装置 - Google Patents
ターゲット追跡方法及び装置Info
- Publication number
- JPH1114741A JPH1114741A JP10099752A JP9975298A JPH1114741A JP H1114741 A JPH1114741 A JP H1114741A JP 10099752 A JP10099752 A JP 10099752A JP 9975298 A JP9975298 A JP 9975298A JP H1114741 A JPH1114741 A JP H1114741A
- Authority
- JP
- Japan
- Prior art keywords
- gate
- image
- pixel
- target
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
(57)【要約】
【課題】 ブロック整合方式によるターゲット追跡方法
及び装置を提供する。 【解決手段】 第１のフレームの画像内にターゲットを
含む第１の矩形ゲートを形成し，第１のフレームに時間
的に連続する第２のフレームの画像内に第２の矩形ゲー
トを形成する。第１の矩形ゲートの画像及び第２の矩形
ゲートの画像において移動領域に含まれる画素を識別
し，移動領域の画素のみを使って第１の矩形ゲートの画
像及び第２の矩形ゲートの画像間のブロック整合度を求
める。第２の矩形ゲートを複数形成してそれぞれについ
てブロック整合度を求め，複数のブロック整合度を相互
に比較して，最大のブロック整合度を伴う第２の矩形ゲ
ートを決め，第１の矩形ゲートとその第２の矩形ゲート
の位置差をターゲットの移動量とする。
及び装置を提供する。 【解決手段】 第１のフレームの画像内にターゲットを
含む第１の矩形ゲートを形成し，第１のフレームに時間
的に連続する第２のフレームの画像内に第２の矩形ゲー
トを形成する。第１の矩形ゲートの画像及び第２の矩形
ゲートの画像において移動領域に含まれる画素を識別
し，移動領域の画素のみを使って第１の矩形ゲートの画
像及び第２の矩形ゲートの画像間のブロック整合度を求
める。第２の矩形ゲートを複数形成してそれぞれについ
てブロック整合度を求め，複数のブロック整合度を相互
に比較して，最大のブロック整合度を伴う第２の矩形ゲ
ートを決め，第１の矩形ゲートとその第２の矩形ゲート
の位置差をターゲットの移動量とする。
Description
【０００１】
【発明の属する技術分野】本発明はターゲット追跡に係
り，さらに詳しくはブロック整合方式による画像内のタ
ーゲット追跡方法及び装置に関する。
り，さらに詳しくはブロック整合方式による画像内のタ
ーゲット追跡方法及び装置に関する。
【０００２】
【従来の技術】通常レーダ信号の処理に用いられる自動
画像追跡とは，画像内の特定のターゲットの動きを自動
的に追跡し，該追跡データに基づいて他の決定を下すた
めの技術である。
画像追跡とは，画像内の特定のターゲットの動きを自動
的に追跡し，該追跡データに基づいて他の決定を下すた
めの技術である。
【０００３】このような自動画像追跡は，一面において
画像機器における画像圧縮技術と類似しているが，後者
にあっては画像内の客体がいずれも画素単位で考慮され
るのに対し，前者にあっては特定のターゲットの動きの
みを考慮の対象としているという点で両者は相異すると
言うことができる。
画像機器における画像圧縮技術と類似しているが，後者
にあっては画像内の客体がいずれも画素単位で考慮され
るのに対し，前者にあっては特定のターゲットの動きの
みを考慮の対象としているという点で両者は相異すると
言うことができる。
【０００４】自動画像追跡のための従来の方法の一つと
して，ターゲットの重心点を利用する重心点追跡技法が
挙げられる。この方法においては，まず適切な臨界値を
設定し，連続的に入力される動画像において各画素の画
像信号を臨界値と比較し，該比較結果に応じて画素をタ
ーゲット画素と背景画素とに見分けた上で，ターゲット
に当たる画素に対し重心を計算するようになっている。
仮に，ターゲットに当たる画素は１の値を有し，背景に
当たる画素は０の値を有する２進画像信号をＢ（ｈ，
ｖ，ｍ）とする時，ターゲットの重心は以下の数式１の
ようにして得ることができる。
して，ターゲットの重心点を利用する重心点追跡技法が
挙げられる。この方法においては，まず適切な臨界値を
設定し，連続的に入力される動画像において各画素の画
像信号を臨界値と比較し，該比較結果に応じて画素をタ
ーゲット画素と背景画素とに見分けた上で，ターゲット
に当たる画素に対し重心を計算するようになっている。
仮に，ターゲットに当たる画素は１の値を有し，背景に
当たる画素は０の値を有する２進画像信号をＢ（ｈ，
ｖ，ｍ）とする時，ターゲットの重心は以下の数式１の
ようにして得ることができる。
【０００５】
【数１】
【０００６】かかる重心点追跡技法においては，背景画
素をターゲット画素に識別し損なったり，逆にターゲッ
ト画素を背景画素に識別し損なった場合，ターゲットの
重心を精度よく算出することが難しくなる。ところが，
普通画像信号には雑音が存在し，かつ背景は変化するの
で，ターゲット画素と背景画素との識別はそう容易なこ
とではない。従って，重心点追跡技法を適用する場合，
ターゲットを精度よく追跡し続けるのは困難である。
素をターゲット画素に識別し損なったり，逆にターゲッ
ト画素を背景画素に識別し損なった場合，ターゲットの
重心を精度よく算出することが難しくなる。ところが，
普通画像信号には雑音が存在し，かつ背景は変化するの
で，ターゲット画素と背景画素との識別はそう容易なこ
とではない。従って，重心点追跡技法を適用する場合，
ターゲットを精度よく追跡し続けるのは困難である。
【０００７】自動画像追跡のための従来のもう一つの方
法として相関係数の係数追跡方式が挙げられる。これ
は，連続する両フレーム間の各画素別の時間／空間軸上
の輝度差の相関関係より動ターゲット画素の移動変位を
算出する方法である。
法として相関係数の係数追跡方式が挙げられる。これ
は，連続する両フレーム間の各画素別の時間／空間軸上
の輝度差の相関関係より動ターゲット画素の移動変位を
算出する方法である。
【０００８】すなわち，ｍ番目のフレームで位置（ｈ，
ｖ）にある画素の輝度関数をＩ（ｈ，ｖ，ｍ）とする
時，画素単位の輝度差を示す水平／垂直／時間の階調は
以下の数式２のように示される。
ｖ）にある画素の輝度関数をＩ（ｈ，ｖ，ｍ）とする
時，画素単位の輝度差を示す水平／垂直／時間の階調は
以下の数式２のように示される。
【０００９】
【数２】
【００１０】このような画素単位の時間／空間軸上の階
調を基に，ｋ−１番目のフレームとｋ番目のフレームと
の水平軸及び垂直軸それぞれの方向への動ターゲットの
移動量Ｄｈ及びＤｖは以下の数式３のように階調項の相
関係数を用いて計算される。
調を基に，ｋ−１番目のフレームとｋ番目のフレームと
の水平軸及び垂直軸それぞれの方向への動ターゲットの
移動量Ｄｈ及びＤｖは以下の数式３のように階調項の相
関係数を用いて計算される。
【００１１】
【数３】
【００１２】上記のように相関係数の係数追跡方式にお
いて，時間階調項はテイラー級数展開によって空間階調
項として示される。しかしながら，このような級数展開
の過程で高次項が無視される場合には，理論的に高速で
移動するターゲットに対する追跡性能が低下するという
欠点がある。例えば，ターゲットの移動速度がフレーム
当り２画素以上の場合は精度よく追跡することが難し
い。さらに，画像に背景が含まれている場合には，背景
に因る階調項のために追跡性能が低下するといった不具
合が生じてくる。
いて，時間階調項はテイラー級数展開によって空間階調
項として示される。しかしながら，このような級数展開
の過程で高次項が無視される場合には，理論的に高速で
移動するターゲットに対する追跡性能が低下するという
欠点がある。例えば，ターゲットの移動速度がフレーム
当り２画素以上の場合は精度よく追跡することが難し
い。さらに，画像に背景が含まれている場合には，背景
に因る階調項のために追跡性能が低下するといった不具
合が生じてくる。
【００１３】自動画像追跡のための従来の他の方法とし
てはブロック整合法が挙げられる。この方法は一つの基
準フレームでターゲットの含まれたテンプレートを形成
し，そのテンプレートに含まれた情報が次のフレームで
はいかなる位置にあるかを探索する方法である。そのた
めに，次のフレーム内の所定の探索領域内で候補テンプ
レートを順次形成し，以前フレームにおけるテンプレー
トとの類似性を計算する。それから，類似性の最大の候
補テンプレートの位置と以前フレームにおけるテンプレ
ートの位置との差をターゲットの移動変位と定める。
てはブロック整合法が挙げられる。この方法は一つの基
準フレームでターゲットの含まれたテンプレートを形成
し，そのテンプレートに含まれた情報が次のフレームで
はいかなる位置にあるかを探索する方法である。そのた
めに，次のフレーム内の所定の探索領域内で候補テンプ
レートを順次形成し，以前フレームにおけるテンプレー
トとの類似性を計算する。それから，類似性の最大の候
補テンプレートの位置と以前フレームにおけるテンプレ
ートの位置との差をターゲットの移動変位と定める。
【００１４】この類似性の尺度には正規化相関係数，絶
対差の平均，差自乗の平均，正規化不変モーメント方程
式などがある。例えば，テンプレート間の絶対差の平均
は以下の数式４のように計算される。
対差の平均，差自乗の平均，正規化不変モーメント方程
式などがある。例えば，テンプレート間の絶対差の平均
は以下の数式４のように計算される。
【００１５】
【数４】
【００１６】ここで，ｓは２次元位置ベクトル，Ｄｍは
ターゲットの２次元予想変位，Ｍは総画素数をそれぞれ
示す。この時，絶対差の平均が最小値となる２次元予想
変位Ｄｍがターゲットの移動変位として決まる。
ターゲットの２次元予想変位，Ｍは総画素数をそれぞれ
示す。この時，絶対差の平均が最小値となる２次元予想
変位Ｄｍがターゲットの移動変位として決まる。
【００１７】このようなブロック整合法は画像信号に雑
音が含まれている場合にも比較的安定した性能を有する
が，複雑な背景が含まれた場合には背景により生じる画
素単位の輝度関数値の差が原因になって性能が低下する
という欠点がある。さらには普通計算量が多いためリア
ルタイムの実行が容易でないという問題点がある。
音が含まれている場合にも比較的安定した性能を有する
が，複雑な背景が含まれた場合には背景により生じる画
素単位の輝度関数値の差が原因になって性能が低下する
という欠点がある。さらには普通計算量が多いためリア
ルタイムの実行が容易でないという問題点がある。
【００１８】
【発明が解決しようとする課題】本発明は上述のような
課題に鑑みて成されたものであり，本発明の目的は雑音
に拘わらず優秀で，しかも安定した追跡性能を有し，か
つ，計算量が少ないためリアルタイムの実行が容易なブ
ロック整合方式による画像内のターゲット追跡方法を提
供することにある。
課題に鑑みて成されたものであり，本発明の目的は雑音
に拘わらず優秀で，しかも安定した追跡性能を有し，か
つ，計算量が少ないためリアルタイムの実行が容易なブ
ロック整合方式による画像内のターゲット追跡方法を提
供することにある。
【００１９】本発明の他の目的は上記のような追跡方法
を実現するための画像内のターゲット追跡装置を提供す
るにある。
を実現するための画像内のターゲット追跡装置を提供す
るにある。
【００２０】
【課題を解決するための手段】前記目的を達成するため
の本発明に係るターゲット追跡方法は，（ａ）第１のフ
レームの画像内に，一フレームよりも小さく，かつ追跡
しようとするターゲットを実質的に含む大きさの第１の
ゲートを形成する段階と，（ｂ）前記第１のフレームに
時間的に連続する第２のフレームの画像内に，前記第１
のゲートと大きさ及び形状が同一で，例えば位置が異な
ることがある第２のゲートを形成する段階と，（ｃ）前
記第１のゲートの画像及び第２のゲートの画像におい
て，一方では前記ターゲットに属し，他方では背景に属
する領域である移動領域に含まれる画素を識別し，前記
移動領域の画素のみを使って前記第１のゲートの画像及
び第２のゲートの画像間のブロック整合度を求める段階
と，（ｄ）前記第２のフレーム画像内における前記第２
のゲートの位置を所定の範囲内で変更し，前記（ｂ）段
階及び（ｃ）段階を繰返す段階と，（ｅ）前記（ｃ）段
階及び前記（ｄ）段階において得られたブロック整合度
を相互に比較し，最大のブロック整合度を伴う第２のゲ
ートを決定し，決定された第２のゲートと前記第１のゲ
ートとの位置差をターゲットの移動量とする段階とを含
んでターゲット追跡方法を構成した。
の本発明に係るターゲット追跡方法は，（ａ）第１のフ
レームの画像内に，一フレームよりも小さく，かつ追跡
しようとするターゲットを実質的に含む大きさの第１の
ゲートを形成する段階と，（ｂ）前記第１のフレームに
時間的に連続する第２のフレームの画像内に，前記第１
のゲートと大きさ及び形状が同一で，例えば位置が異な
ることがある第２のゲートを形成する段階と，（ｃ）前
記第１のゲートの画像及び第２のゲートの画像におい
て，一方では前記ターゲットに属し，他方では背景に属
する領域である移動領域に含まれる画素を識別し，前記
移動領域の画素のみを使って前記第１のゲートの画像及
び第２のゲートの画像間のブロック整合度を求める段階
と，（ｄ）前記第２のフレーム画像内における前記第２
のゲートの位置を所定の範囲内で変更し，前記（ｂ）段
階及び（ｃ）段階を繰返す段階と，（ｅ）前記（ｃ）段
階及び前記（ｄ）段階において得られたブロック整合度
を相互に比較し，最大のブロック整合度を伴う第２のゲ
ートを決定し，決定された第２のゲートと前記第１のゲ
ートとの位置差をターゲットの移動量とする段階とを含
んでターゲット追跡方法を構成した。
【００２１】本発明に係るターゲット追跡方法において
は，第１のフレームと，第１のフレームに時間的に連続
する第２のフレームとをそのままブロック整合法にて処
理するのではなく，第１のフレーム内にターゲットを含
む第１のゲートを形成し，第２のフレーム内にも同じ大
きさ及び形状の第２のゲートを複数形成して，最大のブ
ロック整合度を伴う第２のゲートと第１のゲートとの位
置差をターゲットの移動量とする。
は，第１のフレームと，第１のフレームに時間的に連続
する第２のフレームとをそのままブロック整合法にて処
理するのではなく，第１のフレーム内にターゲットを含
む第１のゲートを形成し，第２のフレーム内にも同じ大
きさ及び形状の第２のゲートを複数形成して，最大のブ
ロック整合度を伴う第２のゲートと第１のゲートとの位
置差をターゲットの移動量とする。
【００２２】第１のゲート及び第２のゲートの形状は，
例えば計算量の多さ，ターゲットの形状，ターゲットの
移動位置の推定のしやすさ等を考慮して定められるが，
ラスタ走査方式のフレームならば計算量を少なくして速
やかに計算結果を得るためには，走査線に沿った一辺及
び対抗する辺と，一辺及び対抗する辺に隣接する垂直な
両辺からなる矩形ゲートに形成される。
例えば計算量の多さ，ターゲットの形状，ターゲットの
移動位置の推定のしやすさ等を考慮して定められるが，
ラスタ走査方式のフレームならば計算量を少なくして速
やかに計算結果を得るためには，走査線に沿った一辺及
び対抗する辺と，一辺及び対抗する辺に隣接する垂直な
両辺からなる矩形ゲートに形成される。
【００２３】最初の第１のフレームの位置は，ターゲッ
トを含むように手動若しくは自動的に決定される。第２
のフレームは，（Ｂ）段階及び（ｅ）段階において，も
しも第１のフレームが最初のフレームであれば，第１の
ゲートと同一の位置を中心に第２のゲート，例えば第２
の矩形ゲートが設けられ，もしも第１フレームが最初の
フレームでなければ，第１のゲートの位置から以前段階
で推定したターゲットの移動量及び移動方向と同じだけ
移動させた位置を中心に設けられるように構成するのが
好ましい。
トを含むように手動若しくは自動的に決定される。第２
のフレームは，（Ｂ）段階及び（ｅ）段階において，も
しも第１のフレームが最初のフレームであれば，第１の
ゲートと同一の位置を中心に第２のゲート，例えば第２
の矩形ゲートが設けられ，もしも第１フレームが最初の
フレームでなければ，第１のゲートの位置から以前段階
で推定したターゲットの移動量及び移動方向と同じだけ
移動させた位置を中心に設けられるように構成するのが
好ましい。
【００２４】最大のブロック整合度を伴う第２ゲートを
求める際には，まず第２ゲート第１のゲートの画像及び
第２のゲートの画像において，一方ではターゲットに属
し，他方では背景に属する領域である移動領域に含まれ
る画素を識別し，移動領域の画素のみを使って前記第１
のゲートの画像及び第２のゲートの画像間のブロック整
合度が求められる。これにより計算量を格段に少なくす
ることができる。１つの第２のゲート画像についてのブ
ロック整合度が求められると，第２のフレーム画像内に
おける第２のゲートの位置を所定の範囲内で変更し，第
２のゲートの形成及びブロック整合度の計算が繰り返さ
れる。ブロック整合度を求める段階は，第１のゲートの
画像及び第２のゲートの画像において共通して前記ター
ゲットに含まれる画素及び前記ターゲットの背景に含ま
れる画素を他の画素と識別する段階と，識別された画素
を第１のゲートの画像及び第２のゲートの画像よりそれ
ぞれ除外する段階と，画素の除外された第１のゲートの
画像及び第２のゲートの画像間のブロック整合度を求め
る段階とを含んで構成することができる。さらに画素の
識別は，第１のゲート及び第２のゲートにおいて相互に
同一の空間座標を有する画素ごとの画素値の絶対差であ
る画像差を求める段階と，画像差と所定の臨界値とを比
較して画素ごとの画像差インデックスを計算する段階
と，画素ごとの画像差インデックスが所定の臨界値より
小さい場合，画素を共通して前記ターゲットに含まれる
画素及びターゲットの背景に含まれる画素のいずれかで
あると判断し，他の画素と識別する段階とを含んで構成
することができる。
求める際には，まず第２ゲート第１のゲートの画像及び
第２のゲートの画像において，一方ではターゲットに属
し，他方では背景に属する領域である移動領域に含まれ
る画素を識別し，移動領域の画素のみを使って前記第１
のゲートの画像及び第２のゲートの画像間のブロック整
合度が求められる。これにより計算量を格段に少なくす
ることができる。１つの第２のゲート画像についてのブ
ロック整合度が求められると，第２のフレーム画像内に
おける第２のゲートの位置を所定の範囲内で変更し，第
２のゲートの形成及びブロック整合度の計算が繰り返さ
れる。ブロック整合度を求める段階は，第１のゲートの
画像及び第２のゲートの画像において共通して前記ター
ゲットに含まれる画素及び前記ターゲットの背景に含ま
れる画素を他の画素と識別する段階と，識別された画素
を第１のゲートの画像及び第２のゲートの画像よりそれ
ぞれ除外する段階と，画素の除外された第１のゲートの
画像及び第２のゲートの画像間のブロック整合度を求め
る段階とを含んで構成することができる。さらに画素の
識別は，第１のゲート及び第２のゲートにおいて相互に
同一の空間座標を有する画素ごとの画素値の絶対差であ
る画像差を求める段階と，画像差と所定の臨界値とを比
較して画素ごとの画像差インデックスを計算する段階
と，画素ごとの画像差インデックスが所定の臨界値より
小さい場合，画素を共通して前記ターゲットに含まれる
画素及びターゲットの背景に含まれる画素のいずれかで
あると判断し，他の画素と識別する段階とを含んで構成
することができる。
【００２５】またブロック整合度を求める前にインパル
ス性雑音を含んでいる画素を第１のゲートの画像及び第
２のゲートの画像よりそれぞれ除外する段階を含んでも
よい。このとき，現画素の画像差インデックスが所定の
臨界値より大きく，かつ現画素の周辺に存在する所定数
の画素の画像差インデックスがいずれも所定の臨界値よ
り小さい場合には，この画素をインパルス性雑音を含ん
でいる画素と判断するように構成することができる。こ
の所定数は，例えば８である。さらにまた，画素の識別
段階においてはターゲットに含まれる画素とターゲット
の背景に含まれる画素に加えて，前記ターゲットの前景
に含まれる画素をも識別するようにしてもよい。
ス性雑音を含んでいる画素を第１のゲートの画像及び第
２のゲートの画像よりそれぞれ除外する段階を含んでも
よい。このとき，現画素の画像差インデックスが所定の
臨界値より大きく，かつ現画素の周辺に存在する所定数
の画素の画像差インデックスがいずれも所定の臨界値よ
り小さい場合には，この画素をインパルス性雑音を含ん
でいる画素と判断するように構成することができる。こ
の所定数は，例えば８である。さらにまた，画素の識別
段階においてはターゲットに含まれる画素とターゲット
の背景に含まれる画素に加えて，前記ターゲットの前景
に含まれる画素をも識別するようにしてもよい。
【００２６】ブロック整合度を求める過程においては，
従来のブロック整合法において利用されている計算方法
がここでも利用可能である。
従来のブロック整合法において利用されている計算方法
がここでも利用可能である。
【００２７】前記他の目的を達成するために本発明は，
第１のフレームの画像信号を受取り，１フレーム分遅延
させて前記第１のフレームの画像信号を出力するフレー
ムメモリと，前記フレームメモリから前記第１のフレー
ムの画像信号を受け取るとともに第２のフレームの画像
信号を受取って，前記第１のフレームの画像内に追跡し
ようとするターゲットを実質的に含み，一フレームより
も小さくかつ前記ターゲット全体を十分含むことのでき
る大きさの第１のゲートを発生し，前記第２のフレーム
の画像信号内に前記第１のゲートと大きさ及び形状が同
一で，位置が異なることのある複数の第２のゲートを形
成し，前記第１のゲートと前記各第２のゲート内におけ
る空間座標が対応する画素ごとに画像差をそれぞれ発生
する画像差発生部と，前記画像差発生部から出力される
画像差に基づき，前記第１のゲートと前記各第２のゲー
トとに共通して前記ターゲットに含まれる画素，前記タ
ーゲットの背景に含まれる画素及び前記ターゲットの前
景に含まれる画素を前記第１のゲート及び前記各第２の
ゲートより除去し，第１の移動テンプレート及び複数の
第２の移動テンプレートを発生する移動領域発生部と，
前記第１の移動テンプレート及び複数の第２の移動テン
プレート間のブロック整合度をそれぞれ求めて，最大の
ブロック整合度を持たせる第２の移動テンプレートを決
定し，前記最大のブロック整合度を持たせる第２の移動
テンプレートに対応する第２のゲートと第１のゲートと
の位置差を前記ターゲットの移動量とするブロック整合
部とを含んでターゲット追跡装置を構成した。
第１のフレームの画像信号を受取り，１フレーム分遅延
させて前記第１のフレームの画像信号を出力するフレー
ムメモリと，前記フレームメモリから前記第１のフレー
ムの画像信号を受け取るとともに第２のフレームの画像
信号を受取って，前記第１のフレームの画像内に追跡し
ようとするターゲットを実質的に含み，一フレームより
も小さくかつ前記ターゲット全体を十分含むことのでき
る大きさの第１のゲートを発生し，前記第２のフレーム
の画像信号内に前記第１のゲートと大きさ及び形状が同
一で，位置が異なることのある複数の第２のゲートを形
成し，前記第１のゲートと前記各第２のゲート内におけ
る空間座標が対応する画素ごとに画像差をそれぞれ発生
する画像差発生部と，前記画像差発生部から出力される
画像差に基づき，前記第１のゲートと前記各第２のゲー
トとに共通して前記ターゲットに含まれる画素，前記タ
ーゲットの背景に含まれる画素及び前記ターゲットの前
景に含まれる画素を前記第１のゲート及び前記各第２の
ゲートより除去し，第１の移動テンプレート及び複数の
第２の移動テンプレートを発生する移動領域発生部と，
前記第１の移動テンプレート及び複数の第２の移動テン
プレート間のブロック整合度をそれぞれ求めて，最大の
ブロック整合度を持たせる第２の移動テンプレートを決
定し，前記最大のブロック整合度を持たせる第２の移動
テンプレートに対応する第２のゲートと第１のゲートと
の位置差を前記ターゲットの移動量とするブロック整合
部とを含んでターゲット追跡装置を構成した。
【００２８】移動領域発生部は，インパルス性雑音を含
んでいる画素を第１の移動テンプレート及び第２の移動
テンプレートよりそれぞれ除外するためのフィルタを含
むことができ，このフィルタは，現画素の周辺に存在す
る所定数の画素の画像差インデックスが入力され，論理
積演算を行なう論理積ゲートと，一方の入力端子を通じ
て前記現画素の画像差インデックスが入力され，他方の
入力端子を通じて前記論理積ゲートの出力データが入力
されて論理和演算を行なう論理和ゲートとを含んで構成
することができる。この論理積ゲートは，例えば８−入
力論理積ゲートである。
んでいる画素を第１の移動テンプレート及び第２の移動
テンプレートよりそれぞれ除外するためのフィルタを含
むことができ，このフィルタは，現画素の周辺に存在す
る所定数の画素の画像差インデックスが入力され，論理
積演算を行なう論理積ゲートと，一方の入力端子を通じ
て前記現画素の画像差インデックスが入力され，他方の
入力端子を通じて前記論理積ゲートの出力データが入力
されて論理和演算を行なう論理和ゲートとを含んで構成
することができる。この論理積ゲートは，例えば８−入
力論理積ゲートである。
【００２９】
【発明の実施の形態】以下，添付した図面に基づき本発
明の実施の形態について詳しく説明する。まず，本発明
の理解の助けとなる本発明の概念について説明する。画
像信号において，画素の輝度関数Ｉ（ｓ，ｍ）を，数式
５のように，ターゲットに当たる領域を示す項０（ｓ，
ｍ），背景領域を示す項Ｂ（ｓ，ｍ）及び前景領域を示
す項Ｆ（ｓ，ｍ）の合計で示し得ると仮定する。ここ
で，背景とは，ターゲットを取り囲んでいるターゲット
以外の部分をいい，前景とはクラッターのようにターゲ
ットの前面を占める部分を言う。
明の実施の形態について詳しく説明する。まず，本発明
の理解の助けとなる本発明の概念について説明する。画
像信号において，画素の輝度関数Ｉ（ｓ，ｍ）を，数式
５のように，ターゲットに当たる領域を示す項０（ｓ，
ｍ），背景領域を示す項Ｂ（ｓ，ｍ）及び前景領域を示
す項Ｆ（ｓ，ｍ）の合計で示し得ると仮定する。ここ
で，背景とは，ターゲットを取り囲んでいるターゲット
以外の部分をいい，前景とはクラッターのようにターゲ
ットの前面を占める部分を言う。
【００３０】
【数５】
【００３１】ここで，ＵＦ（ｓ）とＵ０（ｓ，ｍ）はそ
れぞれＦ（ｓ）と０（ｓ，ｍ）が輝度値を有する時は１
の値を有し，そうでない時は０の値を有する単位ステッ
プ関数である。また，変数ｓ及びｍはそれぞれ２次元空
間座標，すなわち位置ベクトルとフレームインデックス
を示す。なお背景及び前景に関してはターゲットの移動
に拘わらず常に一定の位置にあると仮定し，以下，フレ
ームインデックスｍを表記に使わない。
れぞれＦ（ｓ）と０（ｓ，ｍ）が輝度値を有する時は１
の値を有し，そうでない時は０の値を有する単位ステッ
プ関数である。また，変数ｓ及びｍはそれぞれ２次元空
間座標，すなわち位置ベクトルとフレームインデックス
を示す。なお背景及び前景に関してはターゲットの移動
に拘わらず常に一定の位置にあると仮定し，以下，フレ
ームインデックスｍを表記に使わない。
【００３２】数式５において，位置ベクトルｓが前景内
にある場合は第２項と第３項とが０となり，最初の項の
みがその値を有するということが分かる。同様に，位置
ベクトルｓがターゲット領域にある場合には第１項と第
３項とが０となり，第２項のみがその値を有する一方，
位置ベクトルｓが背景を示す場合には第１項と第２項と
が０となり，第３項のみがその値を有する。
にある場合は第２項と第３項とが０となり，最初の項の
みがその値を有するということが分かる。同様に，位置
ベクトルｓがターゲット領域にある場合には第１項と第
３項とが０となり，第２項のみがその値を有する一方，
位置ベクトルｓが背景を示す場合には第１項と第２項と
が０となり，第３項のみがその値を有する。
【００３３】すなわちこのような表現は，画像内の各画
素をその位置に応じて前景，ターゲット及び背景の関数
に区分して表わすことにより，ターゲットの移動によっ
て画像が変わる時，各領域がターゲット追跡にいかなる
影響を及ぼしているかを区分して考えようとするもので
ある。
素をその位置に応じて前景，ターゲット及び背景の関数
に区分して表わすことにより，ターゲットの移動によっ
て画像が変わる時，各領域がターゲット追跡にいかなる
影響を及ぼしているかを区分して考えようとするもので
ある。
【００３４】仮に，ｍ−１番目のフレームとｍ番目のフ
レームとの間で物体がＤだけ移動したとすれば，ｍ番目
のフレームにおけるターゲット領域の輝度関数は次の数
式６のように示される。
レームとの間で物体がＤだけ移動したとすれば，ｍ番目
のフレームにおけるターゲット領域の輝度関数は次の数
式６のように示される。
【００３５】
【数６】
【００３６】上記のような画像につき，まず画像内に前
景が無い場合を考えると数式５は以下のように簡単に示
される。
景が無い場合を考えると数式５は以下のように簡単に示
される。
【００３７】
【数７】
【００３８】この時，ゲート領域内の画素に対する絶対
差の平均は次の通りである。
差の平均は次の通りである。
【００３９】
【数８】
【００４０】ここで，ｍ−１番目のフレームの画素の輝
度関数Ｉ（ｓ，ｍ−１）は数式６を用いてｍ番目のフレ
ームの画素の輝度関数Ｉ（ｓ，ｍ）に置き換えられてい
る。
度関数Ｉ（ｓ，ｍ−１）は数式６を用いてｍ番目のフレ
ームの画素の輝度関数Ｉ（ｓ，ｍ）に置き換えられてい
る。
【００４１】数式８において，Ｑ（Ｄｍ）が最小になる
時，予想変位Ｄｍは実際変位Ｄを示すようになる。この
時，数式８は次のように簡単に示される。
時，予想変位Ｄｍは実際変位Ｄを示すようになる。この
時，数式８は次のように簡単に示される。
【００４２】
【数９】
【００４３】さらに，この値は小さいほど，すなわち０
に近いほど好ましい。
に近いほど好ましい。
【００４４】従って，予想変位Ｄｍが実際変位Ｄと同一
の場合に，Ｉ（ｓ，ｍ）とＩ（ｓ，ｍ−１）の絶対差の
合計は背景部分における輝度差となることがわかる。そ
こで，仮に背景が複雑であれば，背景部分の差項が大き
くなるので予想変位Ｄｍが実際変位Ｄと同じであっても
絶対差が大きくなってしまい，追跡性能が低下する。よ
って，追跡性能を高めるには背景に当たる領域を絶対差
の合計算よりできる限り除外することが好ましい。
の場合に，Ｉ（ｓ，ｍ）とＩ（ｓ，ｍ−１）の絶対差の
合計は背景部分における輝度差となることがわかる。そ
こで，仮に背景が複雑であれば，背景部分の差項が大き
くなるので予想変位Ｄｍが実際変位Ｄと同じであっても
絶対差が大きくなってしまい，追跡性能が低下する。よ
って，追跡性能を高めるには背景に当たる領域を絶対差
の合計算よりできる限り除外することが好ましい。
【００４５】一方，予想変位Ｄｍが実際変位Ｄと異なる
場合にも同様である。この場合にも同じく数式８がその
まま用いられなければならない。以下，この場合につき
図１に基づいて説明する。
場合にも同様である。この場合にも同じく数式８がその
まま用いられなければならない。以下，この場合につき
図１に基づいて説明する。
【００４６】図１（Ａ）はｍ−１番目のフレームにおい
て，ゲート画像内に含まれる一つの水平ラインの画像信
号を示す図であり，図１（Ｂ）はターゲットの実際変位
がＤの場合，ｍ番目のフレームにおいてｍ−１番目のフ
レームと同じようにゲートを固定させた時，図１（Ａ）
に示したものと対応する位置にある水平ラインの画像信
号を示したものである。図１（Ｃ）は，ターゲットの予
想変位をＤｍと仮定した上でゲートを移動させた時，ｍ
番目のフレームにおいて図１（Ａ）に示したものと対応
する位置にある水平ラインの画像信号を示した図面であ
る。
て，ゲート画像内に含まれる一つの水平ラインの画像信
号を示す図であり，図１（Ｂ）はターゲットの実際変位
がＤの場合，ｍ番目のフレームにおいてｍ−１番目のフ
レームと同じようにゲートを固定させた時，図１（Ａ）
に示したものと対応する位置にある水平ラインの画像信
号を示したものである。図１（Ｃ）は，ターゲットの予
想変位をＤｍと仮定した上でゲートを移動させた時，ｍ
番目のフレームにおいて図１（Ａ）に示したものと対応
する位置にある水平ラインの画像信号を示した図面であ
る。
【００４７】図１（Ｂ）から分かるように，ｍ番目及び
ｍ−１番目のフレーム上の画像信号にゲートが固定され
ている時，背景信号は両フレームにおいて同一であり，
ターゲット信号だけがフレーム間に相対的に移動する。
さらに，図１（Ｃ）から分かるように，ｍ番目及びｍ−
１番目のフレーム上の画像信号間のターゲットの予想変
位をＤｍと仮定した時には，背景信号とターゲット信号
とがいずれもゲート内で相対的に移動する。
ｍ−１番目のフレーム上の画像信号にゲートが固定され
ている時，背景信号は両フレームにおいて同一であり，
ターゲット信号だけがフレーム間に相対的に移動する。
さらに，図１（Ｃ）から分かるように，ｍ番目及びｍ−
１番目のフレーム上の画像信号間のターゲットの予想変
位をＤｍと仮定した時には，背景信号とターゲット信号
とがいずれもゲート内で相対的に移動する。
【００４８】従って，ｍ−１番目のフレームの画素の輝
度関数Ｉ（ｓ，ｍ−１）とｍ番目のフレームの画素の輝
度関数Ｉ（ｓ，ｍ）との差につき説明するにあたって，
本発明においては各画素が共通して背景に属する部分Ｒ
ＢＢ，一方のフレームではターゲットに属し，他方のフ
レームでは背景に属する部分ＲｔＢ，及び共通してター
ゲットに属する部分Ｒｔｔのうち何れか一つに区分され
る。
度関数Ｉ（ｓ，ｍ−１）とｍ番目のフレームの画素の輝
度関数Ｉ（ｓ，ｍ）との差につき説明するにあたって，
本発明においては各画素が共通して背景に属する部分Ｒ
ＢＢ，一方のフレームではターゲットに属し，他方のフ
レームでは背景に属する部分ＲｔＢ，及び共通してター
ゲットに属する部分Ｒｔｔのうち何れか一つに区分され
る。
【００４９】上記のように，数式８による演算結果は全
体的に予想変位Ｄｍが実際変位Ｄに近接するほど小さく
ならなければならず，予想変位Ｄｍが実際変位Ｄより遠
くなるほど演算結果は大きくならなければならない。
体的に予想変位Ｄｍが実際変位Ｄに近接するほど小さく
ならなければならず，予想変位Ｄｍが実際変位Ｄより遠
くなるほど演算結果は大きくならなければならない。
【００５０】しかしながら，ＲＢＢ領域の場合，予想変
位の正確度より背景の複雑度が数式８による計算値にさ
らに大きい影響を与える。またＲｔｔ領域の場合，ター
ゲットの表面の輝度がある程度一定しているとすれば，
計算値が予想変位に拘わらず一定した値を有する。その
一方，ＲｔＢ領域においては予想変位Ｄｍが実際変位Ｄ
にいかに近接しているかによって計算値に大きい差が表
れる。さらに，ＲｔＢ領域において計算値は予想変位Ｄ
ｍが実際変位Ｄに近接する場合急激に減少する。そのた
め，数式８の計算にＲｔＢ領域だけを含むようにする
と，追跡性能を大きく向上させることができる。
位の正確度より背景の複雑度が数式８による計算値にさ
らに大きい影響を与える。またＲｔｔ領域の場合，ター
ゲットの表面の輝度がある程度一定しているとすれば，
計算値が予想変位に拘わらず一定した値を有する。その
一方，ＲｔＢ領域においては予想変位Ｄｍが実際変位Ｄ
にいかに近接しているかによって計算値に大きい差が表
れる。さらに，ＲｔＢ領域において計算値は予想変位Ｄ
ｍが実際変位Ｄに近接する場合急激に減少する。そのた
め，数式８の計算にＲｔＢ領域だけを含むようにする
と，追跡性能を大きく向上させることができる。
【００５１】本発明は，ブロック整合技法を適用するに
あたって，ＲｔＢ領域のみを演算に用いている。ＲｔＢ
領域はターゲットの移動によって生じる領域であり，以
下，この領域を移動領域と言う。
あたって，ＲｔＢ領域のみを演算に用いている。ＲｔＢ
領域はターゲットの移動によって生じる領域であり，以
下，この領域を移動領域と言う。
【００５２】一方，画像内に前景がある場合について説
明すると，数式５は次のように表される。
明すると，数式５は次のように表される。
【００５３】
【数１０】
【００５４】ここで，ｍ−１番目のフレームの画素の輝
度関数Ｉ（ｓ，ｍ−１）は数式６を使ってｍ番目のフレ
ームの画素の輝度関数Ｉ（ｓ，ｍ）に置き換えられてい
る。
度関数Ｉ（ｓ，ｍ−１）は数式６を使ってｍ番目のフレ
ームの画素の輝度関数Ｉ（ｓ，ｍ）に置き換えられてい
る。
【００５５】既存の整合法によれば，予想変位Ｄｍが実
際変位Ｄとまったく同一の場合であっても，前景の影響
によりＩ（ｓ，Ｄ）とＩ（ｓ＋Ｄ，ｍ−１）との絶対差
が大きくなることもあるので，追跡性能が大幅に低下す
る。ところが，以上述べたように，テンプレートのうち
移動領域のみについて類似性を計算すれば，前景は計算
に含まれないので前景による追跡性能の低下を防止する
ことができる。
際変位Ｄとまったく同一の場合であっても，前景の影響
によりＩ（ｓ，Ｄ）とＩ（ｓ＋Ｄ，ｍ−１）との絶対差
が大きくなることもあるので，追跡性能が大幅に低下す
る。ところが，以上述べたように，テンプレートのうち
移動領域のみについて類似性を計算すれば，前景は計算
に含まれないので前景による追跡性能の低下を防止する
ことができる。
【００５６】以下，添付した図面に基づき本発明の好ま
しい実施の形態についてさらに詳しく説明する。
しい実施の形態についてさらに詳しく説明する。
【００５７】図２は本発明に係るターゲット追跡装置の
一つの実施の形態の構成を示すブロック図である。図２
及び以下の説明において，ｈとｖはそれぞれ水平及び垂
直方向の平面座標を表す。
一つの実施の形態の構成を示すブロック図である。図２
及び以下の説明において，ｈとｖはそれぞれ水平及び垂
直方向の平面座標を表す。
【００５８】図２に示すターゲット追跡装置はフレーム
メモリ１０と，画像差発生部２０と，移動領域発生部３
０と，ブロック整合部４０とを含む。
メモリ１０と，画像差発生部２０と，移動領域発生部３
０と，ブロック整合部４０とを含む。
【００５９】フレームメモリ１０はデジタル画像信号を
順次受け取ってフレーム単位でバッファリングを行な
い，１フレーム遅延させた信号を出力する。従って，ｍ
番目のフレームのデジタル画像信号がフレームメモリ１
０に書込まれる間に，ｍ−１番目のフレームの画像信号
がフレームメモリ１０から出力される。画像差発生部２
０はｍ−１番目のフレームの画像信号とｍ番目のフレー
ムの画像信号とを受け取ると，ｍ−１番目のフレームの
画像内に追跡しようとするターゲットを実質的に含むよ
うに第１の矩形ゲートを発生し，ｍ番目のフレームの画
像内に第２の矩形ゲートを発生する。本実施の形態にお
いて，ｍ−１番目のフレームが最初のフレームの場合，
すなわち最初の入力画像の場合には，第１の矩形ゲート
は操作者が別途の入力装置（図示していない）を使用し
て追跡しようとするターゲットを実質的に含むようゲー
ト領域を設定して入力することにより発生する。入力装
置としてはマウスやトラックボールなどが利用できる。
順次受け取ってフレーム単位でバッファリングを行な
い，１フレーム遅延させた信号を出力する。従って，ｍ
番目のフレームのデジタル画像信号がフレームメモリ１
０に書込まれる間に，ｍ−１番目のフレームの画像信号
がフレームメモリ１０から出力される。画像差発生部２
０はｍ−１番目のフレームの画像信号とｍ番目のフレー
ムの画像信号とを受け取ると，ｍ−１番目のフレームの
画像内に追跡しようとするターゲットを実質的に含むよ
うに第１の矩形ゲートを発生し，ｍ番目のフレームの画
像内に第２の矩形ゲートを発生する。本実施の形態にお
いて，ｍ−１番目のフレームが最初のフレームの場合，
すなわち最初の入力画像の場合には，第１の矩形ゲート
は操作者が別途の入力装置（図示していない）を使用し
て追跡しようとするターゲットを実質的に含むようゲー
ト領域を設定して入力することにより発生する。入力装
置としてはマウスやトラックボールなどが利用できる。
【００６０】本発明の他の実施の形態における上記の構
成の代案によると，最初の入力画像に対する第１の矩形
ゲートは所定のコンピュータプログラムによる予測方法
やデータベースに貯蔵された情報に基づいて自動で設定
することができる。例えば，レーダによる航空機追跡分
野において，予め入力されている航空機の運航計画を考
慮して所定時間に飛行場の周辺に出現した航空機を追跡
するために，飛行場を含む所定領域をカバーするよう第
１の矩形ゲートを設定することができる。
成の代案によると，最初の入力画像に対する第１の矩形
ゲートは所定のコンピュータプログラムによる予測方法
やデータベースに貯蔵された情報に基づいて自動で設定
することができる。例えば，レーダによる航空機追跡分
野において，予め入力されている航空機の運航計画を考
慮して所定時間に飛行場の周辺に出現した航空機を追跡
するために，飛行場を含む所定領域をカバーするよう第
１の矩形ゲートを設定することができる。
【００６１】第１の矩形ゲートは走査線に沿った一辺及
び対抗する辺と，一辺及び対抗する辺に隣接する垂直な
両辺からなる矩形であり，これは計算を容易にして処理
速度を上げるために選択された形状である。よって必要
に応じて円形等に構成してもよい。また矩形ゲートの大
きさは，ターゲット全体を充分に含むことができるよう
に設定されていなければならず，また一フレームの大き
さよりも小さいことはいうまでもない。
び対抗する辺と，一辺及び対抗する辺に隣接する垂直な
両辺からなる矩形であり，これは計算を容易にして処理
速度を上げるために選択された形状である。よって必要
に応じて円形等に構成してもよい。また矩形ゲートの大
きさは，ターゲット全体を充分に含むことができるよう
に設定されていなければならず，また一フレームの大き
さよりも小さいことはいうまでもない。
【００６２】第２の矩形ゲートは第１の矩形ゲートと同
じ形状及び大きさであって，もしも第１の矩形ゲートが
最初のフレームの入力画像の場合には第１の矩形ゲート
と同一の位置に設定されることもあり，第１の矩形ゲー
トの位置を中心に所定範囲にある探索領域内で順次生成
されることもある。以降のフレームに対しては所定の予
測方法により予測されたターゲットの移動量だけ第１の
矩形ゲートの位置から移動した位置を中心に所定範囲に
ある探索領域内で順次生成される。
じ形状及び大きさであって，もしも第１の矩形ゲートが
最初のフレームの入力画像の場合には第１の矩形ゲート
と同一の位置に設定されることもあり，第１の矩形ゲー
トの位置を中心に所定範囲にある探索領域内で順次生成
されることもある。以降のフレームに対しては所定の予
測方法により予測されたターゲットの移動量だけ第１の
矩形ゲートの位置から移動した位置を中心に所定範囲に
ある探索領域内で順次生成される。
【００６３】次に，画像差発生部２０は第１の矩形ゲー
トと第２の矩形ゲートとの内で相互同一の空間座標を有
する画素別に画像差（ＦＤ：Ｆrａｍｅ Ｄｉｆｆｅｒ
ｅｎｃｅ）を発生する。画像差は以下の数式１１のよう
に現フレームと以前フレームにおける画素値の絶対差と
して計算される。
トと第２の矩形ゲートとの内で相互同一の空間座標を有
する画素別に画像差（ＦＤ：Ｆrａｍｅ Ｄｉｆｆｅｒ
ｅｎｃｅ）を発生する。画像差は以下の数式１１のよう
に現フレームと以前フレームにおける画素値の絶対差と
して計算される。
【００６４】
【数１１】
【００６５】ここで，水平及び垂直方向の平面座標のｈ
とｖは矩形ゲート内における座標を言い，全体のフレー
ム内における座標を言うのではない。
とｖは矩形ゲート内における座標を言い，全体のフレー
ム内における座標を言うのではない。
【００６６】仮に，図１に示したように，ターゲットの
存在する画像部分と背景や前景の存在する画像部分との
間に画像信号の大きさが著しく異なると仮定し，さらに
連続するフレーム間のターゲット移動量がそれほど大き
くないか，あるいは本装置により計算される推定移動量
が比較的正確であると仮定すると，画像差は両フレーム
において共通して背景に属する部分ＲＢＢ，一方のフレ
ームではターゲットに属し，他方のフレームでは背景に
属する部分ＲｔＢ及び共通してターゲットに属する部分
Ｒｔｔを見分ける指標として使用することができる。
存在する画像部分と背景や前景の存在する画像部分との
間に画像信号の大きさが著しく異なると仮定し，さらに
連続するフレーム間のターゲット移動量がそれほど大き
くないか，あるいは本装置により計算される推定移動量
が比較的正確であると仮定すると，画像差は両フレーム
において共通して背景に属する部分ＲＢＢ，一方のフレ
ームではターゲットに属し，他方のフレームでは背景に
属する部分ＲｔＢ及び共通してターゲットに属する部分
Ｒｔｔを見分ける指標として使用することができる。
【００６７】移動領域発生部３０は，画像差発生部２０
より出力される画像差に基づいてｍ番目のフレームとｍ
−１番目のフレームとにおいてターゲット，ターゲット
の背景もしくはターゲットの前景に含まれる画素を第１
の矩形ゲート及び第２の矩形ゲートから除去する。その
結果，第１の矩形ゲート及び第２の矩形ゲートにはター
ゲットから背景に置き換えられたか，逆に背景からター
ゲットに置き換えられた部分の画素と，ターゲットから
前景に置き換えられたか，逆に前景からターゲットに置
き換えられた部分の画素のみが残される。このような画
素の集合を以下第１の移動テンプレートと第２の移動テ
ンプレートとそれぞれ言う。
より出力される画像差に基づいてｍ番目のフレームとｍ
−１番目のフレームとにおいてターゲット，ターゲット
の背景もしくはターゲットの前景に含まれる画素を第１
の矩形ゲート及び第２の矩形ゲートから除去する。その
結果，第１の矩形ゲート及び第２の矩形ゲートにはター
ゲットから背景に置き換えられたか，逆に背景からター
ゲットに置き換えられた部分の画素と，ターゲットから
前景に置き換えられたか，逆に前景からターゲットに置
き換えられた部分の画素のみが残される。このような画
素の集合を以下第１の移動テンプレートと第２の移動テ
ンプレートとそれぞれ言う。
【００６８】この除去作業は画素別の画像差が特定の臨
界値ＦＤｔｈより大きいかを判断することによって行な
われる。すなわち，各画素が矩形ゲートから取除かれず
移動テンプレートに含まれているかを示す画像差インデ
ックス（ＦＲａｍｅ ＤｉＦＦｅｒｅｎｃｅ Ｉｎｄｅ
ｘ: ＦＤＩ）は次の数式１２のようにして得られる。
界値ＦＤｔｈより大きいかを判断することによって行な
われる。すなわち，各画素が矩形ゲートから取除かれず
移動テンプレートに含まれているかを示す画像差インデ
ックス（ＦＲａｍｅ ＤｉＦＦｅｒｅｎｃｅ Ｉｎｄｅ
ｘ: ＦＤＩ）は次の数式１２のようにして得られる。
【００６９】
【数１２】
【００７０】数式１２において臨界値ＦＤｔｈは０と最
大値との間の適切な値を取って決まる。仮に画像差イン
デックスＦＤＩが０の値を有するとすれば，一応当該画
素は第１及び第２の移動テンプレートに含まれ，画像差
インデックスＦＤＩが１の値を有するのであれば，画素
は第１及び第２の移動テンプレートから取除かれる。
大値との間の適切な値を取って決まる。仮に画像差イン
デックスＦＤＩが０の値を有するとすれば，一応当該画
素は第１及び第２の移動テンプレートに含まれ，画像差
インデックスＦＤＩが１の値を有するのであれば，画素
は第１及び第２の移動テンプレートから取除かれる。
【００７１】図５は本実施の形態における第１の移動テ
ンプレート及び第２の移動テンプレートの形成の様子を
例示している。まず図５（Ａ）に示すようにターゲット
を含む第１の矩形ゲートを形成し，次に図５（Ｂ）に示
すように第２の矩形ゲートを形成した上で，図５（Ｃ）
のように第１の矩形ゲートと第２の矩形ゲートのうちタ
ーゲットから前景または背景に置き換えられたか，ある
いは前景または背景からターゲットに置き換えられた部
分のみを選んで移動テンプレートを形成する。図５
（Ｃ）において，第１の矩形ゲートのうち線影の部分が
第１の移動テンプレートで，第２の矩形ゲートのうち線
影の部分が第２の移動テンプレートである。
ンプレート及び第２の移動テンプレートの形成の様子を
例示している。まず図５（Ａ）に示すようにターゲット
を含む第１の矩形ゲートを形成し，次に図５（Ｂ）に示
すように第２の矩形ゲートを形成した上で，図５（Ｃ）
のように第１の矩形ゲートと第２の矩形ゲートのうちタ
ーゲットから前景または背景に置き換えられたか，ある
いは前景または背景からターゲットに置き換えられた部
分のみを選んで移動テンプレートを形成する。図５
（Ｃ）において，第１の矩形ゲートのうち線影の部分が
第１の移動テンプレートで，第２の矩形ゲートのうち線
影の部分が第２の移動テンプレートである。
【００７２】また本実施の形態において，移動領域発生
部３０はインパルス性雑音により第１及び第２の移動テ
ンプレートに含まれた画素を移動テンプレートから除去
するためのフィルタを含む。図３は本実施の形態におけ
る移動領域発生部３０に含まれるフィルタを示す。
部３０はインパルス性雑音により第１及び第２の移動テ
ンプレートに含まれた画素を移動テンプレートから除去
するためのフィルタを含む。図３は本実施の形態におけ
る移動領域発生部３０に含まれるフィルタを示す。
【００７３】８−入力論理積ゲート３１は現画素の周辺
にある８個の画素の画像差インデックスＦＤＩを入力
し，論理積演算を行なう。論理和ゲート３２には，一方
の入力端子から現画素の画像差インデックスＦＤＩ
（ｈ，ｖ）が入力し，他方の入力端子から前記論理積ゲ
ート３１の出力データが入力して，論理和演算を行なっ
て動きインデックスＭＩ（ｈ，ｖ，ｍ）を出力する。
にある８個の画素の画像差インデックスＦＤＩを入力
し，論理積演算を行なう。論理和ゲート３２には，一方
の入力端子から現画素の画像差インデックスＦＤＩ
（ｈ，ｖ）が入力し，他方の入力端子から前記論理積ゲ
ート３１の出力データが入力して，論理和演算を行なっ
て動きインデックスＭＩ（ｈ，ｖ，ｍ）を出力する。
【００７４】従って，仮に現画素の画像差インデックス
ＦＤＩｈ，ｖが論理１の値を有して現画素が移動テンプ
レートより除かれる場合には，動きインデックスＭＩは
１の値を有することになり，依然として現画素を移動テ
ンプレートから取除くべきであることを示すことにな
る。
ＦＤＩｈ，ｖが論理１の値を有して現画素が移動テンプ
レートより除かれる場合には，動きインデックスＭＩは
１の値を有することになり，依然として現画素を移動テ
ンプレートから取除くべきであることを示すことにな
る。
【００７５】さらに，現画素の画像差インデックスＦＤ
Ｉ（ｈ，ｖ）が論理０の値を有して現画素が移動テンプ
レートに一応含まれている場合に，論理積ゲート３１が
０の値を出力して周辺画素のうち少なくとも何れか一つ
に対する画像差インデックスが臨界値より大きいことを
示す時には，動きインデックスＭＩは０の値を有するこ
とになり，現画素が依然として移動テンプレートに含ま
れるべきであることを示すことになる。
Ｉ（ｈ，ｖ）が論理０の値を有して現画素が移動テンプ
レートに一応含まれている場合に，論理積ゲート３１が
０の値を出力して周辺画素のうち少なくとも何れか一つ
に対する画像差インデックスが臨界値より大きいことを
示す時には，動きインデックスＭＩは０の値を有するこ
とになり，現画素が依然として移動テンプレートに含ま
れるべきであることを示すことになる。
【００７６】しかし，現画素の画像差インデックスＦＤ
Ｉ（ｈ，ｖ）が論理０の値を有して現画素が移動テンプ
レートに一応含まれている場合に，論理積ゲート３１が
１の値を出力して全ての周辺画素に対する画像差インデ
ックスが臨界値より小さいということを示す時には，動
きインデックスＭＩは１の値を有することになり，現画
素がインパルス性雑音を含んでいると見なされ移動テン
プレートより除外される。
Ｉ（ｈ，ｖ）が論理０の値を有して現画素が移動テンプ
レートに一応含まれている場合に，論理積ゲート３１が
１の値を出力して全ての周辺画素に対する画像差インデ
ックスが臨界値より小さいということを示す時には，動
きインデックスＭＩは１の値を有することになり，現画
素がインパルス性雑音を含んでいると見なされ移動テン
プレートより除外される。
【００７７】本発明の他の実施の形態においては，論理
ゲートの代りにルックアップテーブルを使ってフィルタ
を具現することもできる。
ゲートの代りにルックアップテーブルを使ってフィルタ
を具現することもできる。
【００７８】図２のブロック整合部４０は，第１及び第
２の移動テンプレートの各画素に対する画像差インデッ
クスが入力され，第１の移動テンプレート及び第２の移
動テンプレート間のブロック整合度を計算する。ブロッ
ク整合度は正規化相関係数，絶対差の平均，差自乗の平
均，正規化不変モーメント方程式などのような従来の評
価関数を使って計算される。さらに，ブロック整合部４
０は順次形成された複数の移動テンプレートのうちで，
どの移動画像が最大のブロック整合度を持たせることに
なるかを判断する。このような移動テンプレートに対応
する第２の矩形ゲートの第１の矩形ゲートから移動した
空間変移量がターゲットの移動量として定まる。
２の移動テンプレートの各画素に対する画像差インデッ
クスが入力され，第１の移動テンプレート及び第２の移
動テンプレート間のブロック整合度を計算する。ブロッ
ク整合度は正規化相関係数，絶対差の平均，差自乗の平
均，正規化不変モーメント方程式などのような従来の評
価関数を使って計算される。さらに，ブロック整合部４
０は順次形成された複数の移動テンプレートのうちで，
どの移動画像が最大のブロック整合度を持たせることに
なるかを判断する。このような移動テンプレートに対応
する第２の矩形ゲートの第１の矩形ゲートから移動した
空間変移量がターゲットの移動量として定まる。
【００７９】本発明の他の実施の形態においては，ブロ
ック整合部４０は第１及び第２の矩形ゲートの画像信号
と共に各画素に対する動きインデックスＭＩ値を入力し
て，動きインデックスＭＩ値が０の画素に対し画像信号
値を以てブロック整合度を計算するように構成すること
もできる。
ック整合部４０は第１及び第２の矩形ゲートの画像信号
と共に各画素に対する動きインデックスＭＩ値を入力し
て，動きインデックスＭＩ値が０の画素に対し画像信号
値を以てブロック整合度を計算するように構成すること
もできる。
【００８０】図４は本発明に係るターゲット追跡方法の
一つの実施の形態を示すフローチャートである。
一つの実施の形態を示すフローチャートである。
【００８１】まず，第１のフレームの画像内に追跡しよ
うとするターゲットを実質的に含む第１の矩形ゲートを
形成する（ステップ１００）。前述したように最初の第
１の矩形ゲートは操作者の操作により，あるいは自動的
に形成される。次に，第１のフレームに時間的に連続す
る第２のフレームの画像内の第１の矩形ゲートに対応す
る位置に第２の矩形ゲートを設ける（ステップ１１
０）。
うとするターゲットを実質的に含む第１の矩形ゲートを
形成する（ステップ１００）。前述したように最初の第
１の矩形ゲートは操作者の操作により，あるいは自動的
に形成される。次に，第１のフレームに時間的に連続す
る第２のフレームの画像内の第１の矩形ゲートに対応す
る位置に第２の矩形ゲートを設ける（ステップ１１
０）。
【００８２】続いて，第１の矩形ゲートの画像及び第２
の矩形ゲートの画像において移動領域に含まれる画素の
みを使って第１及び第２の移動テンプレートを形成する
（ステップ１２０）。このために，まず第１の矩形ゲー
トの画像を第２の矩形ゲートの画像から減算して絶対値
を計算することによって，画素単位の画像差インデック
スを計算する。仮に各画素に対する画像差インデックス
が所定臨界値より小さい場合，画素が両矩形ゲートで共
通にターゲットやターゲットの背景もしくはターゲット
の前景に含まれる画素と判断して第１及び第２の矩形ゲ
ートより除外し，そうでない場合には第１及び第２の矩
形ゲート内に維持させる。こうして形成された第１及び
第２の移動テンプレートよりインパルス性雑音を含んで
いる画素を除外する。この過程ついては前述した通りで
ある。
の矩形ゲートの画像において移動領域に含まれる画素の
みを使って第１及び第２の移動テンプレートを形成する
（ステップ１２０）。このために，まず第１の矩形ゲー
トの画像を第２の矩形ゲートの画像から減算して絶対値
を計算することによって，画素単位の画像差インデック
スを計算する。仮に各画素に対する画像差インデックス
が所定臨界値より小さい場合，画素が両矩形ゲートで共
通にターゲットやターゲットの背景もしくはターゲット
の前景に含まれる画素と判断して第１及び第２の矩形ゲ
ートより除外し，そうでない場合には第１及び第２の矩
形ゲート内に維持させる。こうして形成された第１及び
第２の移動テンプレートよりインパルス性雑音を含んで
いる画素を除外する。この過程ついては前述した通りで
ある。
【００８３】ステップ１３０においては，第１及び第２
の移動テンプレートに含まれた画素のみを使って第１の
矩形ゲートの画像及び第２の矩形ゲートの画像間のブロ
ック整合度を求める。
の移動テンプレートに含まれた画素のみを使って第１の
矩形ゲートの画像及び第２の矩形ゲートの画像間のブロ
ック整合度を求める。
【００８４】さらに，所定の探索領域内で第２の矩形ゲ
ートの位置を変更し（ステップ１５０），再びステップ
１２０及びステップ１３０を繰返して第１の矩形ゲート
の画像及び第２の矩形ゲートの画像内に第１及び第２の
移動テンプレートを形成した後，第１の矩形ゲートの画
像及び第２の矩形ゲートの画像間のブロック整合度を求
める。
ートの位置を変更し（ステップ１５０），再びステップ
１２０及びステップ１３０を繰返して第１の矩形ゲート
の画像及び第２の矩形ゲートの画像内に第１及び第２の
移動テンプレートを形成した後，第１の矩形ゲートの画
像及び第２の矩形ゲートの画像間のブロック整合度を求
める。
【００８５】ステップ１４０においては，探索領域内で
形成しうるすべての第２の矩形ゲートに対してブロック
整合度が計算されたかを判断する。もし探索が完了しな
かったら，前記ステップ１５０，１２０及び１３０を繰
返す。ステップ１４０において探索が完了したと判断さ
れた場合には，最大のブロック整合度を伴う第２の矩形
ゲートを決定する（ステップ１６０）。次いでこのよう
な第２の矩形ゲートと第１の矩形ゲートとの位置差をタ
ーゲットの移動量と定める（ステップ１７０）。
形成しうるすべての第２の矩形ゲートに対してブロック
整合度が計算されたかを判断する。もし探索が完了しな
かったら，前記ステップ１５０，１２０及び１３０を繰
返す。ステップ１４０において探索が完了したと判断さ
れた場合には，最大のブロック整合度を伴う第２の矩形
ゲートを決定する（ステップ１６０）。次いでこのよう
な第２の矩形ゲートと第１の矩形ゲートとの位置差をタ
ーゲットの移動量と定める（ステップ１７０）。
【００８６】以上のような過程により第１のフレームと
第２のフレームについての最初の処理が終了するが，実
際にはさらに第１のフレームを第２のフレームに置き換
えると同時に第３のフレームを入力し，入力された第３
のフレームを第２のフレームとして追跡が続行される。
さらに２度目以降の処理においては，前の処理において
求めたターゲットの移動量及び移動方向に基づいてター
ゲットの移動先を推定し，第１の矩形ゲートに対応する
位置から推定された位置を中心にその周辺に第２の矩形
ゲートを設ける。それからステップ１２０ないし１７０
が繰返される。
第２のフレームについての最初の処理が終了するが，実
際にはさらに第１のフレームを第２のフレームに置き換
えると同時に第３のフレームを入力し，入力された第３
のフレームを第２のフレームとして追跡が続行される。
さらに２度目以降の処理においては，前の処理において
求めたターゲットの移動量及び移動方向に基づいてター
ゲットの移動先を推定し，第１の矩形ゲートに対応する
位置から推定された位置を中心にその周辺に第２の矩形
ゲートを設ける。それからステップ１２０ないし１７０
が繰返される。
【００８７】以上添付図面を参照しながら本発明に係る
ターゲット追跡方法及び装置の好適な実施形態について
説明したが，本発明はかかる例に限定されない。当業者
であれば，特許請求の範囲に記載された技術的思想の範
疇内において各種の変更例または修正例に想到し得るこ
とは明らかであり，それらについても当然に本発明の技
術的範囲に属するものと了解される。
ターゲット追跡方法及び装置の好適な実施形態について
説明したが，本発明はかかる例に限定されない。当業者
であれば，特許請求の範囲に記載された技術的思想の範
疇内において各種の変更例または修正例に想到し得るこ
とは明らかであり，それらについても当然に本発明の技
術的範囲に属するものと了解される。
【００８８】
【発明の効果】以上のように，本発明に係るターゲット
追跡方法及び装置によると，ゲート画像内の画素のうち
一部のみを使ってブロック整合アルゴリズムを具現した
ので計算量が小さくなり，これによりリアルタイムのタ
ーゲット追跡の実行が可能になる。また，インパルス性
雑音を除去するためのフィルタリングを行なうことによ
り，雑音に対し優秀でしかも安定した追跡性能を持つこ
とができる。さらに，移動テンプレートを形成する画素
を判断するにあたって，ブロック整合度の計算に用いら
れる画像差信号を使うので，付加的な計算量を生ずると
いう不具合を避けることができる。
追跡方法及び装置によると，ゲート画像内の画素のうち
一部のみを使ってブロック整合アルゴリズムを具現した
ので計算量が小さくなり，これによりリアルタイムのタ
ーゲット追跡の実行が可能になる。また，インパルス性
雑音を除去するためのフィルタリングを行なうことによ
り，雑音に対し優秀でしかも安定した追跡性能を持つこ
とができる。さらに，移動テンプレートを形成する画素
を判断するにあたって，ブロック整合度の計算に用いら
れる画像差信号を使うので，付加的な計算量を生ずると
いう不具合を避けることができる。
【図１】図１（Ａ），（Ｂ），（Ｃ）はそれぞれ本発明
の原理を説明するための図であって，図１（Ａ）はｍ番
目のフレームにおいてゲート画像内に含まれる一つの水
平ラインの画像信号を示す図であり，図１（Ｂ）はター
ゲットの実際変位がＤの場合，ｍ番目のフレームでｍ−
１番目のフレームと同一にゲートを固定させた時，図１
（Ａ）に示しもたのと対応する位置にある水平ラインの
画像信号を示す図であり，図１（Ｃ）はターゲットの予
想変位をＤｍと仮定してゲートを移動させた時，ｍ番目
のフレームで図１（Ａ）に示したのと対応する位置にあ
る水平ラインの画像信号を示す図である。
の原理を説明するための図であって，図１（Ａ）はｍ番
目のフレームにおいてゲート画像内に含まれる一つの水
平ラインの画像信号を示す図であり，図１（Ｂ）はター
ゲットの実際変位がＤの場合，ｍ番目のフレームでｍ−
１番目のフレームと同一にゲートを固定させた時，図１
（Ａ）に示しもたのと対応する位置にある水平ラインの
画像信号を示す図であり，図１（Ｃ）はターゲットの予
想変位をＤｍと仮定してゲートを移動させた時，ｍ番目
のフレームで図１（Ａ）に示したのと対応する位置にあ
る水平ラインの画像信号を示す図である。
【図２】図２は本発明に係るターゲット追跡装置の一つ
の実施の形態の構成を示すブロック図である。
の実施の形態の構成を示すブロック図である。
【図３】図３は，図２の移動領域発生部に含まれるフィ
ルタの回路図である。
ルタの回路図である。
【図４】図４は，本発明に係るターゲット追跡方法の一
つの実施の形態における処理の流れを示すフローチャー
トである。
つの実施の形態における処理の流れを示すフローチャー
トである。
【図５】図５（Ａ），（Ｂ），（Ｃ）はそれぞれ図２に
示した実施の形態における第１の移動テンプレート及び
第２の移動テンプレートの形成の様子を示す図である。
示した実施の形態における第１の移動テンプレート及び
第２の移動テンプレートの形成の様子を示す図である。
１０…フレームメモリ， ２０…画像差発生部， ３０…移動領域発生部， ４０…ブロック整合部
Claims (17)
- 【請求項１】 （ａ） 第１のフレームの画像内に，一
フレームよりも小さく，かつ追跡しようとするターゲッ
トを実質的に含む大きさの第１のゲートを形成する段階
と，（ｂ） 前記第１のフレームに時間的に連続する第
２のフレームの画像内に，前記第１のゲートと大きさ及
び形状が同一な第２のゲートを形成する段階と，（ｃ）
前記第１のゲートの画像及び第２のゲートの画像にお
いて，一方では前記ターゲットに属し，他方では背景に
属する領域である移動領域に含まれる画素を識別し，前
記移動領域の画素のみを使って前記第１のゲートの画像
及び第２のゲートの画像間のブロック整合度を求める段
階と，（ｄ） 前記第２のフレーム画像内における前記
第２のゲートの位置を所定の範囲内で変更し，前記
（ｂ）段階及び（ｃ）段階を繰返す段階と，（ｅ） 前
記（ｃ）段階及び前記（ｄ）段階において得られたブロ
ック整合度を相互に比較し，最大のブロック整合度を伴
う第２のゲートを決定し，決定された第２のゲートと前
記第１のゲートとの位置差をターゲットの移動量とする
段階とを含むことを特徴とするターゲット追跡方法。 - 【請求項２】 前記第１のゲート及び前記第２のゲート
は，走査線に沿った一辺及び対抗する辺と，前記一辺及
び対抗する辺に隣接する垂直な両辺からなる矩形ゲート
である請求項１に記載のターゲット追跡方法。 - 【請求項３】 前記（ｂ）段階及び（ｅ）段階におい
て，もしも前記第１のフレームが最初のフレームであれ
ば，前記第１のゲートと同一の位置を中心に第２のゲー
トが設けられ，もしも第１フレームが最初のフレームで
なければ，第１のゲートの位置から以前段階で推定した
前記ターゲットの移動量及び移動方向と同じだけ移動さ
せた位置を中心に前記第２のゲートが設けられる請求項
１乃至２に記載のターゲット追跡方法。 - 【請求項４】 前記（ｃ）段階は，（ｃ１） 前記第１
のゲートの画像及び前記第２のゲートの画像において共
通して前記ターゲットに含まれる画素及び前記ターゲッ
トの背景に含まれる画素を他の画素と識別する段階と，
（ｃ２） 前記（ｃ１）段階において識別された画素を
第１のゲートの画像及び第２のゲートの画像よりそれぞ
れ除外する段階と，（ｃ３） 前記画素の除外された第
１のゲートの画像及び第２のゲートの画像間のブロック
整合度を求める段階とを含む請求項１乃至３に記載のタ
ーゲット追跡方法。 - 【請求項５】 前記（ｃ１）段階は，（ｃ１１） 前記
第１のゲート及び前記第２のゲートにおいて相互に同一
の空間座標を有する画素ごとの画素値の絶対差である画
像差を求める段階と，（ｃ１２） 前記画像差と所定の
臨界値とを比較して画素ごとの画像差インデックスを計
算する段階と，（ｃ１３） 前記画素ごとの画像差イン
デックスが所定の臨界値より小さい場合，前記画素を共
通して前記ターゲットに含まれる画素及び前記ターゲッ
トの背景に含まれる画素のいずれかであると判断し，他
の画素と識別する段階とを含む請求項４に記載のターゲ
ット追跡方法。 - 【請求項６】 前記（ｃ）段階は，（ｃ１） 前記第１
のゲートの画像及び前記第２のゲートの画像において共
通して前記ターゲットに含まれる画素及び前記ターゲッ
トの背景に含まれる画素を他の画素と識別する段階と，
（ｃ２） 前記（ｃ１）段階において識別された画素を
前記第１のゲートの画像及び前記第２のゲートの画像よ
りそれぞれ除外する段階と，（ｃ３） インパルス性雑
音を含んでいる画素を前記第１のゲートの画像及び前記
第２のゲートの画像よりそれぞれ除外する段階と，（ｃ
４） 前記画素の除外された前記第１のゲートの画像及
び前記第２のゲートの画像間のブロック整合度を求める
段階とを含む請求項１乃至３に記載のターゲット追跡方
法。 - 【請求項７】 前記（ｃ１）段階は，（ｃ１１） 前記
第１のゲート及び前記第２のゲートにおいて相互に同一
の空間座標を有する画素ごとの画素値の絶対差である画
像差を求める段階と，（ｃ１２） 前記画像差と所定の
臨界値とを比較して画素ごとの画像差インデックスを計
算する段階と，（ｃ１３） 前記画素ごとの画像差イン
デックスが所定の臨界値より小さい場合，前記画素を共
通して前記ターゲットに含まれる画素及び前記ターゲッ
トの背景に含まれる画素のいずれかであると判断し，他
の画素と識別する段階とを含む請求項６に記載のターゲ
ット追跡方法。 - 【請求項８】 前記（ｃ３）段階において，現画素の画
像差インデックスが所定の臨界値より大きく，かつ前記
現画素の周辺に存在する所定数の画素の画像差インデッ
クスがいずれも所定の臨界値より小さい場合には，前記
画素をインパルス性雑音を含んでいる画素と判断する請
求項６乃至７に記載のターゲット追跡方法。 - 【請求項９】 前記（ｃ）段階は，（ｃ１） 前記第１
のゲートの画像及び前記第２のゲートの画像において共
通して前記ターゲットに含まれる画素，前記ターゲット
の背景に含まれる画素及び前記ターゲットの前景に含ま
れる画素を他の画素から識別する段階と，（ｃ２） 前
記（ｃ１）段階において識別された画素を前記第１のゲ
ートの画像及び前記第２のゲートの画像よりそれぞれ除
外する段階と，（ｃ３） 前記画素の除外された第１の
ゲートの画像及び前記第２のゲートの画像間のブロック
整合度を求める段階とを含む請求項１に記載のターゲッ
ト追跡方法。 - 【請求項１０】 前記（ｃ１）段階は，（ｃ１１） 前
記第１のゲート及び前記第２のゲートにおいて相互に同
一の空間座標を有する画素ごとの画素値の絶対差である
画像差を求める段階と，（ｃ１２） 前記画像差と所定
の臨界値とを比較して画素ごとの画像差インデックスを
計算する段階と，（ｃ１３） 前記画素ごとの画像差イ
ンデックスが所定の臨界値より小さい場合，前記画素を
共通して前記ターゲットに含まれる画素，前記ターゲッ
トの背景に含まれる画素及び前記ターゲットの前景に含
まれる画素のいずれかであると判断し，他の画素と識別
する段階とを含む請求項９に記載のターゲット追跡方
法。 - 【請求項１１】 前記（ｃ）段階は，（ｃ１） 前記第
１のゲートの画像及び前記第２のゲートの画像において
共通して前記ターゲットに含まれる画素，前記ターゲッ
トの背景に含まれる画素及びターゲットの前景に含まれ
る画素を他の画素から識別する段階と，（ｃ２） 前記
（ｃ１）段階において識別された画素を前記第１のゲー
トの画像及び前記第２のゲートの画像よりそれぞれ除外
する段階と，（ｃ３） インパルス性雑音を含んでいる
画素を前記第１のゲートの画像及び第２のゲートの画像
よりそれぞれ除外する段階と，（ｃ４） 前記画素の除
外された第１のゲートの画像及び第２のゲートの画像間
のブロック整合度を求める段階とを含む請求項１に記載
のターゲット追跡方法。 - 【請求項１２】 前記（ｃ１）段階は，（ｃ１１） 前
記第１のゲート及び前記第２のゲートにおいて相互に同
一の空間座標を有する画素ごとの画素値の絶対差である
画像差を求める段階と，（ｃ１２） 前記画像差と所定
の臨界値とを比較して画素ごとの画像差インデックスを
計算する段階と，（ｃ１３） 前記画素ごとの画像差イ
ンデックスが所定の臨界値より小さい場合，前記画素を
共通して前記ターゲットに含まれる画素，前記ターゲッ
トの背景に含まれる画素及び前記ターゲットの前景に含
まれる画素のいずれかであると判断し，他の画素と識別
する段階とを含む請求項９に記載のターゲット追跡方
法。 - 【請求項１３】 前記（ｃ３）段階において，現画素の
画像差インデックスが所定の臨界値より大きく，かつ前
記現画素の周囲に存在する所定数の画素の画像差インデ
ックスがいずれも所定の臨界値より小さい場合に前記現
画素をインパルス性雑音を含んでいる画素と判断する請
求項１１に記載のターゲット追跡方法。 - 【請求項１４】 第１のフレームの画像信号を受取
り，１フレーム分遅延させて前記第１のフレームの画像
信号を出力するフレームメモリと，前記フレームメモリ
から前記第１のフレームの画像信号を受け取るとともに
第２のフレームの画像信号を受取って，前記第１のフレ
ームの画像内に追跡しようとするターゲットを実質的に
含み，一フレームよりも小さくかつ前記ターゲット全体
を十分含むことのできる大きさの第１のゲートを発生
し，前記第２のフレームの画像信号内に前記第１のゲー
トと大きさ及び形状が同一で，位置が異なることのある
複数の第２のゲートを形成し，前記第１のゲートと前記
各第２のゲート内における空間座標が対応する画素ごと
に画像差をそれぞれ発生する画像差発生部と，前記画像
差発生部から出力される画像差に基づき，前記第１のゲ
ートと前記各第２のゲートとに共通して前記ターゲット
に含まれる画素，前記ターゲットの背景に含まれる画素
及び前記ターゲットの前景に含まれる画素を前記第１の
ゲート及び前記各第２のゲートより除去し，第１の移動
テンプレート及び複数の第２の移動テンプレートを発生
する移動領域発生部と，前記第１の移動テンプレート及
び複数の第２の移動テンプレート間のブロック整合度を
それぞれ求めて，最大のブロック整合度を持たせる第２
の移動テンプレートを決定し，前記最大のブロック整合
度を持たせる第２の移動テンプレートに対応する第２の
ゲートと第１のゲートとの位置差を前記ターゲットの移
動量とするブロック整合部とを含むことを特徴とするタ
ーゲット追跡装置。 - 【請求項１５】 前記第１のゲート及び前記第２のゲー
トは，走査線に沿った一辺及び対抗する辺と，前記一辺
及び対抗する辺に隣接する垂直な両辺からなる矩形ゲー
トである請求項１４に記載のターゲット追跡装置。 - 【請求項１６】 前記移動領域発生部は，インパルス
性雑音を含んでいる画素を第１の移動テンプレート及び
第２の移動テンプレートよりそれぞれ除外するためのフ
ィルタを含む請求項１４または１５に記載のターゲット
追跡装置。 - 【請求項１７】 前記フィルタは，現画素の周辺に存
在する所定数の画素の画像差インデックスが入力され，
論理積演算を行なう論理積ゲートと，一方の入力端子を
通じて前記現画素の画像差インデックスが入力され，他
方の入力端子を通じて前記論理積ゲートの出力データが
入力されて論理和演算を行なう論理和ゲートとを含む請
求項１４に記載のターゲット追跡装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019970024206A KR100224752B1 (ko) | 1997-06-11 | 1997-06-11 | 표적 추적 방법 및 장치 |
| KR1997P24206 | 1997-06-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1114741A true JPH1114741A (ja) | 1999-01-22 |
| JP2915894B2 JP2915894B2 (ja) | 1999-07-05 |
Family
ID=19509275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10099752A Expired - Lifetime JP2915894B2 (ja) | 1997-06-11 | 1998-04-10 | ターゲット追跡方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6233008B1 (ja) |
| JP (1) | JP2915894B2 (ja) |
| KR (1) | KR100224752B1 (ja) |
| CN (1) | CN1131439C (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6393687B1 (en) * | 1999-03-11 | 2002-05-28 | Deckel Maho Gmbh | Machine tool for the processing of workpieces with cutting tool and laser beam |
| WO2005098752A1 (ja) * | 2004-04-09 | 2005-10-20 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
| WO2005098754A1 (ja) * | 2004-04-09 | 2005-10-20 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2007074591A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6542621B1 (en) * | 1998-08-31 | 2003-04-01 | Texas Instruments Incorporated | Method of dealing with occlusion when tracking multiple objects and people in video sequences |
| GB2351407B (en) * | 1999-06-21 | 2003-06-11 | Sony Uk Ltd | Video data compression |
| TW515192B (en) * | 2000-06-06 | 2002-12-21 | Noa Kk Off | Compression method of motion picture image data and system there for |
| US7085424B2 (en) * | 2000-06-06 | 2006-08-01 | Kobushiki Kaisha Office Noa | Method and system for compressing motion image information |
| US7319479B1 (en) | 2000-09-22 | 2008-01-15 | Brickstream Corporation | System and method for multi-camera linking and analysis |
| JP4106874B2 (ja) * | 2001-02-05 | 2008-06-25 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| US7277580B2 (en) * | 2001-12-12 | 2007-10-02 | Sony Corporation | Multiple thresholding for video frame segmentation |
| US6930776B2 (en) * | 2002-07-25 | 2005-08-16 | Exfo Electro-Optical Engineering Inc. | High optical rejection optical spectrum analyzer/monochromator |
| CN1311409C (zh) * | 2002-07-31 | 2007-04-18 | 皇家飞利浦电子股份有限公司 | 用于分割的系统和方法 |
| JP4203736B2 (ja) * | 2002-09-09 | 2009-01-07 | 日本ビクター株式会社 | 画像の動き検出装置及びコンピュータプログラム |
| US6999600B2 (en) * | 2003-01-30 | 2006-02-14 | Objectvideo, Inc. | Video scene background maintenance using change detection and classification |
| US7956889B2 (en) * | 2003-06-04 | 2011-06-07 | Model Software Corporation | Video surveillance system |
| KR100524077B1 (ko) * | 2003-11-13 | 2005-10-26 | 삼성전자주식회사 | 중간 영상 합성을 위한 시간적 평활화 장치 및 방법 |
| US7171024B2 (en) * | 2003-12-01 | 2007-01-30 | Brickstream Corporation | Systems and methods for determining if objects are in a queue |
| US20070092110A1 (en) * | 2004-11-08 | 2007-04-26 | Li-Qun Xu | Object tracking within video images |
| US7813581B1 (en) * | 2005-05-06 | 2010-10-12 | Fitzpatrick Ben G | Bayesian methods for noise reduction in image processing |
| TWI401670B (zh) * | 2006-05-22 | 2013-07-11 | Hitachi High Tech Corp | 檢測圓周方向之刮傷缺陷的方法、及磁碟驗證器 |
| JP4579191B2 (ja) * | 2006-06-05 | 2010-11-10 | 本田技研工業株式会社 | 移動体の衝突回避システム、プログラムおよび方法 |
| US8330642B2 (en) * | 2007-07-09 | 2012-12-11 | Carnegie Mellon University | Imaging by time reversal beamforming |
| JP2009053815A (ja) * | 2007-08-24 | 2009-03-12 | Nikon Corp | 被写体追跡プログラム、および被写体追跡装置 |
| CN101212658B (zh) * | 2007-12-21 | 2010-06-02 | 北京中星微电子有限公司 | 一种目标跟踪方法及装置 |
| CN101290681B (zh) * | 2008-05-26 | 2010-06-02 | 华为技术有限公司 | 视频目标跟踪方法、装置及自动视频跟踪系统 |
| US8134489B2 (en) * | 2008-07-14 | 2012-03-13 | The Boeing Company | System and method for bistatic change detection for perimeter monitoring |
| CN101339664B (zh) * | 2008-08-27 | 2012-04-18 | 北京中星微电子有限公司 | 一种目标跟踪方法及系统 |
| CN102052899B (zh) * | 2009-11-02 | 2015-09-30 | 重庆工商大学 | 以三基色对比度为特征帧匹配测量二维位移的方法及装置 |
| WO2013058735A1 (en) | 2011-10-18 | 2013-04-25 | Hewlett-Packard Development Company, L.P. | Depth mask assisted video stabilization |
| RU2498342C1 (ru) * | 2012-04-26 | 2013-11-10 | Открытое акционерное общество "Концерн радиостроения "Вега" | Способ перехвата воздушных целей летательными аппаратами |
| CN103281476A (zh) * | 2013-04-22 | 2013-09-04 | 中山大学 | 基于电视图像运动目标的自动跟踪方法 |
| CN107301651A (zh) * | 2016-04-13 | 2017-10-27 | 索尼公司 | 对象跟踪装置和方法 |
| KR101877232B1 (ko) * | 2017-05-29 | 2018-07-12 | 국방과학연구소 | 영상 유사도 및 추적 지점 변화량 기반의 영상 추적기 시스템 및 그의 추적 안정도 판별 방법 |
| TWI660310B (zh) * | 2018-08-06 | 2019-05-21 | 財團法人資訊工業策進會 | 比對追蹤物件的方法及電子裝置 |
| KR20210116966A (ko) | 2020-03-18 | 2021-09-28 | 삼성전자주식회사 | 타겟 트래킹 방법 및 장치 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB1409448A (en) | 1966-04-27 | 1975-10-08 | Emi Ltd | Automatic target following apparatus |
| FR2566219B1 (fr) | 1984-06-15 | 1989-04-28 | Sfim | Procede et dispositif pour l'exploration d'une fenetre de la zone image d'un dispositif a transfert de charges du type a transfert de trames |
| US5583947A (en) | 1990-05-18 | 1996-12-10 | U.S. Philips Corporation | Device for the detection of objects in a sequence of images |
| JPH0562879A (ja) | 1991-09-03 | 1993-03-12 | Canon Inc | アライメント方法 |
| JP2997349B2 (ja) | 1991-10-21 | 2000-01-11 | 日本無線株式会社 | レーダ映像表示方法 |
| US5631697A (en) | 1991-11-27 | 1997-05-20 | Hitachi, Ltd. | Video camera capable of automatic target tracking |
| GB9204117D0 (en) * | 1992-02-26 | 1992-04-08 | British Broadcasting Corp | Video image processing |
| JP2965790B2 (ja) | 1992-04-30 | 1999-10-18 | 株式会社東芝 | レーダー降雨短期移動予測装置 |
| JPH06130145A (ja) | 1992-10-20 | 1994-05-13 | Toshiba Corp | レーダ信号処理装置 |
| JP3208213B2 (ja) | 1993-03-29 | 2001-09-10 | 日本無線株式会社 | レーダスイープ相関回路 |
| JP2983407B2 (ja) | 1993-03-31 | 1999-11-29 | 三菱電機株式会社 | 画像追尾装置 |
| JPH0795598A (ja) | 1993-09-25 | 1995-04-07 | Sony Corp | 目標追尾装置 |
| JP3268953B2 (ja) | 1995-02-27 | 2002-03-25 | 三洋電機株式会社 | 追尾領域設定装置，動きベクトル検出回路およびそれを用いた被写体追尾装置 |
| US5729338A (en) | 1996-04-22 | 1998-03-17 | The United States Of America As Represented By The Secretary Of The Navy | Computer controlled optical tracking system |
| JPH09318745A (ja) | 1996-05-28 | 1997-12-12 | Nippon Telegr & Teleph Corp <Ntt> | 相互相関雨域予測装置および相互相関雨域予測方法 |
-
1997
- 1997-06-11 KR KR1019970024206A patent/KR100224752B1/ko not_active IP Right Cessation
- 1997-11-28 CN CN97123072A patent/CN1131439C/zh not_active Expired - Lifetime
-
1998
- 1998-04-10 JP JP10099752A patent/JP2915894B2/ja not_active Expired - Lifetime
- 1998-06-11 US US09/095,728 patent/US6233008B1/en not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6393687B1 (en) * | 1999-03-11 | 2002-05-28 | Deckel Maho Gmbh | Machine tool for the processing of workpieces with cutting tool and laser beam |
| WO2005098752A1 (ja) * | 2004-04-09 | 2005-10-20 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
| WO2005098754A1 (ja) * | 2004-04-09 | 2005-10-20 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
| JPWO2005098754A1 (ja) * | 2004-04-09 | 2008-02-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JPWO2005098752A1 (ja) * | 2004-04-09 | 2008-02-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7667778B2 (en) | 2004-04-09 | 2010-02-23 | Sony Corporation | Image processing apparatus and method, and recording medium and program used therewith |
| US7848427B2 (en) | 2004-04-09 | 2010-12-07 | Sony Corporation | Apparatus and method for determining motion vector with effective pixel gradient |
| JP4692846B2 (ja) * | 2004-04-09 | 2011-06-01 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4692845B2 (ja) * | 2004-04-09 | 2011-06-01 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2007074591A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1201910A (zh) | 1998-12-16 |
| KR100224752B1 (ko) | 1999-10-15 |
| CN1131439C (zh) | 2003-12-17 |
| JP2915894B2 (ja) | 1999-07-05 |
| KR19990001024A (ko) | 1999-01-15 |
| US6233008B1 (en) | 2001-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2915894B2 (ja) | ターゲット追跡方法及び装置 | |
| EP2265023B1 (en) | Subject tracking device and subject tracking method | |
| Teoh et al. | Symmetry-based monocular vehicle detection system | |
| KR100837891B1 (ko) | 화상 시퀀스에서의 밸런스드 오브젝트 추적기 | |
| US20150253864A1 (en) | Image Processor Comprising Gesture Recognition System with Finger Detection and Tracking Functionality | |
| US7684592B2 (en) | Realtime object tracking system | |
| CN106682619B (zh) | 一种对象跟踪方法及装置 | |
| KR100799990B1 (ko) | 2차원 영상의 3차원 영상 변환 장치 및 방법 | |
| US20140355833A1 (en) | Image Processing Apparatus and Method | |
| KR20080066671A (ko) | 궤적 구간 분석을 사용한 양방향 추적 | |
| CN104217192B (zh) | 基于深度图像的手定位方法和设备 | |
| CN113763427B (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| CN111161325A (zh) | 基于卡尔曼滤波与lstm的三维多目标跟踪方法 | |
| CN111798486B (zh) | 基于人体运动预测的多视角人体运动捕捉方法 | |
| Funde et al. | Object detection and tracking approaches for video surveillance over camera network | |
| JP4020982B2 (ja) | 動画像処理装置 | |
| Denman et al. | Adaptive optical flow for person tracking | |
| CN111768427A (zh) | 一种多运动目标跟踪方法、装置及存储介质 | |
| JPH11167455A (ja) | 手形状認識装置及び単色物体形状認識装置 | |
| KR100566629B1 (ko) | 이동물체 검출 시스템 및 방법 | |
| JP2001307104A (ja) | 動画像のオブジェクト抽出装置 | |
| JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
| US20230410467A1 (en) | Image processing device and image processing method | |
| Jiang et al. | Appearance and motion based data association for pedestrian tracking | |
| CN111563912B (zh) | 一种行人追踪系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990330 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120416 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120416 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 15 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |