JPH1196376A - 移動物体追跡装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 連続入力画像上で同一移動物体を高精度に追
跡する。 【解決手段】 影の影響を受けることなく移動物体のみ
を検出する。その移動物体パターンをテンプレートとし
てテンプレートマッチングによって移動物体を追跡す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像中に存在する
移動物体を複数の連続画像に渡って追跡する移動物体追
跡装置及び方法に関し、特に、テレビカメラで撮影した
道路画像における車両画像部分を追跡するものに適用し
て好適なものである。

【０００２】

【従来の技術】従来、この種の移動物体追跡装置及び方
法として、特開平８−１４７４７５号公報に開示された
ものがある。

【０００３】この移動物体追跡装置及び方法は、以下の
ようなものである。撮影で得られた時系列の入力画像か
らまず白線（中央分離線）を検出し、されに検出された
白線領域、及び、道路以外の領域を除いた車線領域を検
出する。この車線領域について、移動物体が含まれない
背景画像を作成し、入力画像と背景画像とから輝度の変
化が大きなエッジ点を抽出する。抽出されたエッジ点の
うち、入力画像にのみ存在するものを移動エッジ点とし
て選択し、選択されたエッジ点の密度が高い領域を移動
物体の存在分野として特定する。得られた移動物体領域
は、前回の処理で得られた移動物体領域との位置を比較
し、距離が一定値以下の領域は同一物体であるとして対
応付けを行う。また、今回の処理で得られた移動物体領
域のうち、前回の移動物体領域のいずれとも対応しなか
った領域は新たに進入した物体であると判定する。

【０００４】

【発明が解決しようとする課題】従来の移動物体追跡装
置及び方法においては、図２に示すように、走行車線だ
けを処理対象領域として規定しているため、車両Ａのよ
うに、白線をまたいで走行するような移動物体は１台の
車両として検出されず、２台に分割されるか、移動物体
として検出されないかのいずれかとなる。

【０００５】また、従来の移動物体追跡装置及び方法に
おいては、車両Ｂのように移動物体の影が現れた場合
は、影も移動物体の一部として検出されてしまう。この
場合、移動物体の検出領域は影の影響をうけてしまい、
検出位置が安定しない。

【０００６】さらに、従来の移動物体追跡装置及び方法
においては、移動物体の時間的な対応付けは相前後する
撮影画像から検出された物体間の距離と予め設定された
値との比較により行われるため、移動物体の速度が非常
に高速な場合などには、追跡を誤る可能性があった。

【０００７】そのため、より高精度に移動物体を追跡す
ることができる移動物体追跡装置及び方法が求められて
いる。

【０００８】

【課題を解決するための手段】第１の本発明は、複数の
入力画像について同一の移動物体を追跡する移動物体追
跡装置において、（１）現時刻の入力画像が過去の入力
画像及び背景画像と異なる変化領域とを求め、求められ
た変化領域が移動物体、停止物体、環境変動の何れによ
り生じたかを弁別する変化領域判定部と、環境変動によ
って生じた変化領域と、全く変化のなかった領域とにつ
いての現時刻の入力画像の情報を反映させるように、今
までの背景画像を更新する背景画像更新部と、更新され
た最新の背景画像を記憶する背景画像記憶部とを有する
背景画像作成手段と、（２）この背景画像作成手段で移
動物体により生じた変化領域と判定された領域から移動
物体のみの部分画像パターンを検出する移動物体検出手
段と、（３）得られた移動物体の部分画像パターンを記
憶する移動物体パターン記憶手段と、（４）移動物体パ
ターン記憶手段に記憶された移動物体の部分画像パター
ンをテンプレートとして、テンプレートマッチングによ
り、その後の入力画像における同一の移動物体を追跡す
る移動物体追跡手段とを有することを特徴とする。

【０００９】第２の本発明は、複数の入力画像について
同一の移動物体を追跡する移動物体追跡方法において、
（１）現時刻の入力画像が過去の入力画像及び背景画像
と異なる変化領域とを求め、求められた変化領域が移動
物体、停止物体、環境変動の何れにより生じたかを弁別
し、環境変動によって生じた変化領域と、全く変化のな
かった領域とについての現時刻の入力画像の情報を反映
させるように、今までの背景画像を更新し、更新された
最新の背景画像を記憶し直す背景画像作成処理と、
（２）この背景画像作成処理で移動物体により生じた変
化領域と判定された領域から移動物体のみの部分画像パ
ターンを検出する移動物体検出処理と、（３）得られた
移動物体の部分画像パターンを記憶する移動物体パター
ン記憶処理と、（４）記憶された移動物体の部分画像パ
ターンをテンプレートとして、テンプレートマッチング
により、その後の入力画像における同一の移動物体を追
跡する移動物体追跡処理とを有することを特徴とする。

【００１０】

【発明の実施の形態】以下、本発明による移動物体追跡
装置及び方法の一実施形態を図面を参照しながら詳述す
る。

【００１１】ここで、図１は、この実施形態の移動物体
追跡装置の構成を示すブロック図である。この実施形態
の移動物体追跡装置は、画像撮影手段１００、画像入力
手段２００、第１及び第２の入力画像記憶手段３００及
び４００、背景画像作成手段５００、移動物体検出手段
６００、移動物体追跡手段７００、並びに、移動物体パ
ターン記憶手段８００とから構成されている。背景画像
作成手段５００は、詳細には、変化領域判定部５１０、
背景画像更新部５２０及び背景画像記憶部５３０とから
構成されている。

【００１２】画像撮影手段１００は、適宜存在する移動
物体及び背景からなる道路画像を撮影するテレビカメラ
等が該当するものであり、例えば、撮影領域は常時同じ
領域となっているものである。

【００１３】第１の入力画像記憶手段３００は、現時刻
の入力画像を記憶するものであり、一方、第２の入力画
像記憶手段４００は、現時刻より１フレーム前の入力画
像を記憶するものであり、画像入力手段２００は、第１
の入力画像記憶手段３００に記憶されていた画像を第２
の入力画像記憶手段４００にコピーすると共に、画像撮
影手段１００によって撮影された画像を第１の入力画像
記憶手段３００に入力するものである。

【００１４】背景画像作成手段５００は、第１及び第２
の入力画像記憶手段３００に記憶されている入力画像
や、それまでの背景画像などに基づいて、移動物体や停
止物体が含まれない背景画像を作成、更新するものであ
る。

【００１５】移動物体検出手段６００は、背景画像を参
照しながら入力画像から移動物体のみを検出するもので
ある。移動物体パターン記憶手段８００は、検出された
移動物体形状パターン（以下、単に移動物体パターンと
呼ぶ）を記憶するものである。移動物体追跡手段７００
は、検出された移動物体を複数の入力画像に渡って追跡
するものである。

【００１６】背景画像作成手段５００において、変化領
域判定部５１０は、第１及び第２の入力画像記憶手段３
００及び４００に記憶されている入力画像と背景画像記
憶部５３０に記憶されていた背景画像とを用いて変化領
域を検出し、検出された変化領域が環境変動、移動物
体、停止物体のいずれにより発生したのかを判定するも
のであり、背景画像更新部５２０は、変化領域のうち環
境変動による変化領域及び変化が検出されなかった領域
のみを更新するものであり、背景画像記憶部５３０は更
新された最新の背景画像を記憶するものである。

【００１７】次に、以上のような構成要素からなるこの
実施形態の移動物体追跡装置の動作（移動物体追跡方
法）を説明する。

【００１８】画像撮影手段１００によって、例えば、図
４（ｂ）に示すような車両が走行している路上といった
被写体の画像、すなわち、背景及び物体からなる画像が
撮影され、この撮影画像が画像入力手段２００に与えら
れる。

【００１９】画像入力手段２００においては、第１の入
力画像記憶手段３００に記憶されている画像を第２の入
力画像記憶手段４００にコピーし、さらに、画像撮影手
段１００によって得られた現時刻の入力画像信号をアナ
ログ／ディジタル変換して、第１の入力画像記憶手段３
００に格納する。

【００２０】背景画像作成手段５００では、まず変化領
域判定部５１０において、第１及び第２の入力画像記憶
手段３００及び４００に記憶されている２フレーム分の
連続画像と、背景画像記憶部５３０に記憶されている現
時刻の入力画像の１フレーム前までの画像で生成された
背景画像とに基づいて、この背景画像に対する現時刻の
入力画像の変化領域が検出される。変化領域判定部５１
０において、さらに、この検出された変化領域が、環境
変動、移動物体の存在、停止物体（落下物、停止車両な
ど）の発生のいずれにより発生したのかが判定される。

【００２１】図３は、この変化領域判定部５１０におけ
る処理の詳細を示すフローチャートである。

【００２２】まず、変化領域判定部５１０は、第１及び
第２の入力画像記憶手段３００及び４００に記憶されて
いる連続する２フレームの画像ｆ（t,x,y）及びｆ（t-
1,x,y）を用いて、時間差分処理を行った後（ステップ
Ｓ５１１）、（１）式に従って２値化処理を行う（ステ
ップＳ５１３）。但し、thl１は、予め設定されたしき
い値である。

【００２３】 ｎ１（x,y）＝０ ｜ｆ（t,x,y）−ｆ（t-1,x,y）｜＜thl１のとき ｎ１（x,y）＝１ その他のとき …（１） 同様に、第１の入力画像記憶手段３００に記憶されてい
る現時刻の入力画像ｆ（t,x,y）と背景画像記憶手段８
００に記憶されている背景画像ｂ（x,y）を用いて背景
差分処理を行った後（ステップＳ５１２）、（２）式に
従って２値化処理を行う（ステップＳ５１４）。但し、
thl２は、予め設定されたしきい値である。

【００２４】 ｎ２（x,y）＝０ ｜ｆ（t,x,y）−ｂ（x,y）｜＜thl２のとき ｎ２（x,y）＝１ その他のとき …（２） 次に、変化領域判定部５１０は、上述のようにして得ら
れた２個の差分２値画像（以下、前者を時間差分２値画
像と呼び、後者を背景差分２値画像と呼ぶ）ｎ１（x,
y）及びｎ２（x,y）に基づいて、入力画像ｆ（t,x,y）
についての移動領域の検出処理（ステップＳ５１５）
と、静止領域の検出処理（ステップＳ５１６）とを行
う。移動領域の検出処理（ステップＳ５１５）と、静止
領域の検出処理（ステップＳ５１６）とを、図４及び図
５を用いて詳述する。なお、図４及び図５は、同一の処
理説明に供するものであるので、部分図を示す符号を
（ａ）〜（ｈ）で連続させている。

【００２５】図４（ａ）、（ｂ）はそれぞれ、時刻ｔ−
１、ｔの入力画像を示し、図４（ｃ）は、時刻ｔでの背
景画像を示している。図４（ａ）、（ｂ）において、領
域５００ａ、５００ｄは環境（例えば、照明）変動によ
り発生した影を示し、領域５００ｂ、５００ｅは移動車
両を示し、領域５００ｃ、５００ｆはその移動車両から
落ちた落下物を示している。

【００２６】また、図４（ｄ）は、図４（ａ）及び
（ｂ）に示す入力画像の差分を取った後、２値化した時
間差分２値画像ｎ１（x,y）であり、黒（値１）が変化
領域を示している。図５（ｅ）は、図４（ｂ）に示す入
力画像と図４（ｃ）に示す背景画像との差分を取った
後、２値化した背景差分２値画像ｎ２（x,y）であり、
黒（値１）が変化領域を示している。ここで、時間差分
２値画像ｎ１（x,y）の変化領域内部に無変化領域が含
まれているが、これは図４（ａ）、（ｂ）の移動車両に
含まれるほぼ同じ（しいき値thl１以下の変化しかな
い）画素値を持つ領域が重複してしまった領域である。

【００２７】移動領域検出処理（ステップＳ５１５）で
は、図４（ｄ）に示す時間差分２値画像ｎ１（x,y）
と、図５（ｅ）に示す背景差分２値画像ｎ２（x,y）の
論理積を算出し（すなわち、両２値画像共に変化領域と
検出された共通領域を算出し）、図５（ｆ）に示す移動
領域（黒：値１）を規定する移動領域画像を作成する。
ここで検出された移動領域は、移動物体に属する領域で
ある。そのため、後述する背景の更新処理の更新対象か
ら除外される。

【００２８】静止領域検出処理（ステップＳ５１６）で
は、図５（ｅ）に示す背景差分２値画像ｎ２（x,y）に
おける変化領域のうち、図４（ｄ）に示す時間差分２値
画像ｎ１（x,y）においては変化領域として検出されて
いない変化領域を検出する。図５（ｇ）は、この静止領
域検出処理で作成された静止領域画像であり、この例の
場合には、静止領域候補として、領域５００ｉ、５００
ｊ及び５００ｋの３つの領域が検出されている。

【００２９】この静止領域画像に含まれる領域（静止領
域候補）は、環境変動によって生じた領域５００ｉ、落
下物などの停止物体の存在によって生じた領域５００
ｋ、又は、移動物体の影のようなほぼ同じ画素値を持つ
領域が連続入力画像において重複したために生じた領域
５００ｊのいずれかに属している。

【００３０】上述したような移動領域検出処理及び静止
領域検出処理の終了後に、変化領域判定処理（ステップ
Ｓ５１７）に移行する。

【００３１】この変化領域判定処理（ステップＳ５１
７）では、静止領域検出処理（ステップＳ５１６）で得
られた静止領域候補が、環境変動によって生じた領域、
落下物などの停止物体の存在によって生じた領域、又
は、移動物体の影のようなほぼ同じ画素値を持つ領域が
連続入力画像において重複したために生じた領域のいず
れの分類に属している領域であるかを判定する。

【００３２】図６は、この変化領域判定処理（ステップ
Ｓ５１７）の処理内容を示すフローチャートである。

【００３３】まず、静止領域検出処理で検出された静止
領域候補のそれぞれについて、その静止領域候補内の差
分値の平均値（メディアンなど、他の分布代表値につい
ての指標を用いても良い）及び標準偏差（分散など、他
のばらつきについての指標を用いても良い）の値を、２
値化処理する前の背景差分画像ｄ（x,y）を用いて検出
する（ステップＳ１０）。

【００３４】ここで、図４（ｃ）のように背景画像が道
路の場合には、路面は全体的にほぼ同じ画素値を持って
おり、この路面に現れた環境変動による物体の影の静止
領域候補（図５（ｇ）：５００ｉ）や、移動物体の影の
ようなほぼ同じ画素値を持つ領域が連続入力画像で重複
したために生じた静止領域候補（図５（ｇ）：５００
ｊ）内の差分値は、図７（ａ）のように、ばらつきの少
ない分布となり、先に求めた標準偏差の値も小さい値と
なる。

【００３５】これに対して、停止車両や落下物などの停
止物体のために生じた静止領域候補（図５（ｇ）：５０
０ｋ）は、物体表面の形状、模様等により、様々な明る
さの画素が存在するため、停止物体の領域内の差分値
は、図７（ｂ）のように、ばらつきが大きい分布とな
り、標準偏差の値も大きくなる。

【００３６】そこで、ステップＳ１０で求めた標準偏差
の値を予め用意したしきい値thl３と比較し（ステップ
Ｓ２０）、標準偏差の値がこのしきい値thl３よりも大
きい場合は、その静止領域候補は、停止物体の領域であ
ると判定する（ステップＳ３０）。この停止物体領域
は、後述する背景の更新処理の更新対象から除外され
る。

【００３７】次に、環境変動による変化領域（図５
（ｇ）：５００ｉ）か、移動物体の連続画像での重複領
域（図５（ｇ）：５００ｊ）かの判定を行う（ステップ
Ｓ４０〜Ｓ７０）。

【００３８】ここでは、まず、静止領域画像から得られ
た静止領域候補のうち、停止物体領域以外の各領域につ
いて、上述したステップＳ１０で求めた各領域の平均値
及び標準偏差を用いて領域膨脹処理（ステップＳ４０）
を行う。ある領域の背景差分画像での平均値をμ、標準
偏差をσとすると、この領域に隣接する背景差分画像の
画素値ｄ（x,y）が、以下の（３）式に示す条件を満た
せれば、その画素をこの領域に加える。かかる処理を領
域が膨脹しなくなるまで繰り返し行う。

【００３９】 μ−σ≦ｄ（x,y）≦μ＋σ …（３） （３）式は、静止領域候補に隣接する画素の画素値が、
静止領域候補での平均画素値と、ばらつきをも考慮して
判断して近い値であるか否かを弁別しているものであ
り、近い値である場合に、当該領域に組み込むことを表
している。

【００４０】図５（ｈ）は、図５（ｇ）に示す静止領域
候補５００ｉ及び５００ｊについて膨脹処理を施した結
果を示しており、領域５００ｍが静止領域候補５００ｊ
から膨脹した領域を表している。静止領域候補５００ｊ
については、移動車両の２連続画像での重複領域である
ため、重複していない車両のボディー、影の領域の画素
値も重複領域の平均的な画素値に近く、この膨脹処理
（ステップＳ４０）により、重複していない車両のボデ
ィー、影の領域も、新たに領域に加えられることにな
る。

【００４１】これにより、移動車両の２連続画像での重
複領域を膨張処理した場合には、その膨張処理後の領域
は、上述した移動領域検出処理（ステップＳ５１５）で
検出された移動領域と重複する部分が生じるようにな
る。これに対して、静止領域候補５００ｉは、環境変動
による変化領域であるので、膨張処理を得た後もほとん
ど膨張せず、移動領域検出処理（ステップＳ５１５）で
検出された移動領域と重複する部分が生じることはな
い。

【００４２】そこで、膨張処理（ステップＳ４０）によ
り膨張された各静止領域候補と、上述した移動領域検出
処理（ステップＳ５１５）で検出された移動領域との重
複を調べ（ステップＳ５０）、重複していれば、移動物
体の２入力画像の重複による静止領域候補（変化領域）
と判定し（ステップＳ６０）、重複していなければ、環
境変動による静止領域候補（変化領域）と判定する（ス
テップＳ７０）。

【００４３】背景画像更新部５２０では、変化領域判定
部５１０において環境変動による変化領域と判定された
変化領域及び変化が検出されなかった領域については、
現時刻の入力画像ｆ（t,x,y）の画素値を背景画像にコ
ピーし、上記以外の領域は過去の背景画像ｂ（x,y）の
画素値を保存した新しい背景画像を作成する。そして、
背景画像記憶部５３０において、背景画像更新部５２０
によって作成された最新の背景画像が記憶される。

【００４４】図８は、移動物体検出、追跡のための領域
設定の一例を示す説明図である。図８の場合、移動物体
が画面下方から上方へ移動する同一方向２車線道路を想
定している。また、図８は、左右の路肩に挟まれた領域
のうち、画面下方側に移動物体検出エリアを設定し、画
面中央部から上方側にかけて移動物体追跡エリアを設定
したものである。路肩は固定物体であるので、このよう
な領域設定は装置の設置時に固定的に行うことができ
る。

【００４５】移動物体検出手段６００においては、画面
下方側に設定された移動物体検出エリアにおいて、移動
物体の影などを除いた移動物体のみからなる領域を検出
する。この検出には、背景画像作成手段５００の変化領
域判定部５１０において移動物体領域と判定された領域
（図５（ｆ））及び移動物体の重複領域を膨張処理（Ｓ
４０）した領域（図５（ｈ））を用いる。図４及び図５
の例で説明すると、移動物体のみの領域は、図５（ｆ）
で検出された変化領域を構成する画素の内、図５（ｈ）
に存在しない画素を検出することで容易に検出が可能で
ある。図９は、移動物体検出処理の結果得られた移動物
体のみの領域を示している。なお、図９は、上述した図
４（ａ）に示す時刻ｔ−１の入力画像より過去の入力画
像に対する移動物体の検出結果を示している。

【００４６】さらに、移動物体検出手段６００において
は、得られた移動物体のみの領域から、移動物体追跡に
用いるパターンを第１の入力画像記憶手段３００に記憶
されている現時刻の入力画像から作成し（図９参照）、
移動物体パターン記憶手段８００に記憶させる。

【００４７】移動物体追跡手段７００では、移動物体パ
ターン記置手段８００に記憶されている移動物体パター
ンを用いて、移動物体追跡エリアにおいて、テンプレー
トマッチングによる追跡を行う。図１０（ａ）は、テン
プレートマッチングの探索領域を示す説明図である。移
動物体追跡手段７００では、１つ前のフレームで得られ
た移動物体パターンの矩形領域の中心位置（後述する
（４）式の値Ｅを最小とした前回でのｉ，ｊ）から水平
方向に±Ｗ、垂直方向に±Ｈの範囲においてマッチング
を行う。ここで、範囲規定パラメータＷ、Ｈは各々予め
設定された値である。

【００４８】また、移動物体追跡手段７００では、マッ
チングの相違度Ｅを、以下の（４）式に従って計算し、
相違度Ｅの値が最小となる位置を、新しい移動物体の位
置とする。（４）式において、ｉは｜ｉ｜＜Ｗを、ｊは
｜ｊ｜＜Ｈを満たすものであり、また、総和Σは、ここ
で、移動物体パターンtempl(x,y)を構成する全ての画素
位置(x,y)についてである。

【００４９】 Ｅ（f,templ,;i,j）＝min Σ｜f(t,x+i,y+j)−templ(x,y)｜ …（４ ） なお、探索範囲は、移動物体の移動方向や移動速度が予
め予測可能な場合には狭くすることができるため、処理
の高速化を図ることも可能である。例えば、移動物体が
カメラから遠ざかる方向（画面下方から上方）へのみ移
動することが予め分かっている場合には、図１０（ｂ）
のように探索範囲を狭めることが可能である。

【００５０】次に、移動物体追跡手段７００では、マッ
チングのとれた領域から、次のマッチングに用いる新し
いテンプレートを作成する。テンプレートを更新するこ
とにより、フレーム間での移動物体の微少な大きさや向
き（形状）の変化への対応が可能となる。図１１は、テ
ンプレート更新手順を説明する図である。図１０（ａ）
に示すように、移動物体がカメラから遠ざかる方向へ移
動する場合、マッチングのとれた位置において、移動物
体の大きさはマッチングに用いたテンプレートの大きさ
に比べて小さくなってしまう。そこで、マッチングのと
れた領域内において、移動物体検出手段６００で既に得
られている移動物体領域にテンプレートの枠がフィット
するようにテンプレート枠を更新し、先に述べた移動物
体パターンの作成と同様の手続きにより新しいテンプレ
ートを作成し（図１１（ｂ））、移動物体パターン記憶
手段８００に記憶されている古いテンプレートと入れ替
える。

【００５１】以上の一連の追跡処理を、追跡する移動物
体が入力画面から消えるまで繰り返し行う。

【００５２】以上のように、上記実施形態の移動物体追
跡装置及び方法によれば、撮影された画像における変化
領域が移動物体、停止物体、環境変動のいずれにより発
生したのかを判定するため、移動物体や停止物体を誤っ
て背景に取り込むことなく、変化のなかった領域と環境
変動による変化領域のみを背景に反映することができる
ため、最新の背景画像を安定して提供することが可能と
なっている。その結果、環境変動（照度変化）や、環境
変動によって変化する移動物体の影の影響を受けること
なく、移動物体のみを検出することができ、移動物体が
撮影範囲に存在する間は正確に追跡することが可能とな
っている。

【００５３】また、上記実施形態の移動物体追跡装置及
び方法によれば、検出された移動物体のパターンをテン
プレートとして、次の入力画像のある程度広い範囲を探
索領域としたマッチングにより、次の入力画像での位置
を検出するようにしたので、車線変更中の移動物体や非
常に高速な移動物体等、従来の手法では追跡できない状
況での追跡することができる。

【００５４】さらに、上記実施形態の移動物体追跡装置
及び方法によれば、テンプレートを１フレーム毎に更新
するようにしているので、この点でも、追跡精度を向上
させることができる。

【００５５】なお、上記実施形態においては、背景画像
の部分的な更新を、現時刻の入力画像の画素値に置き換
えることを行うものを示したが、その部分的な更新方法
はこれに限定されるものではない。例えば、従来と同様
に、今までの背景画像と入力画像との重み付け加算によ
っても良い。

【００５６】また、上記実施形態においては、時間差分
２値画像の形成に係る２画像が、１フレームだけ異なる
ものであったが、２フレーム以上異なる２画像を用いる
ものであっても良い。

【００５７】さらに、上記実施形態においては、停止物
体についても、入力画像の入力毎に検出処理するものを
示したが、停止物体の検出周期を、入力画像の入力周期
より長くして、停止物体の検出時刻以外の各時刻では、
その直前の検出物体の検出時刻で得られた停止物体領域
情報を用いて背景画像の更新制御を行うようにしても良
い。

【００５８】さらにまた、上記実施形態においては、撮
影対象が移動物体が一方向に進行する道路を示したが、
移動物体が双方向に進行する道路に対しても本発明を適
用することができる。この場合、図８とは異なって、移
動物体検出エリアを、上方側及び下方側の双方に設け、
上方側の移動物体検出エリアで検出された移動物体の追
跡エリアは、上方側の移動物体検出エリアより下方のエ
リアとし、下方側の移動物体検出エリアで検出された移
動物体の追跡エリアは、下方側の移動物体検出エリアよ
り上方のエリアとし、移動物体パターンを記憶させると
きには、どちらの移動物体検出エリアで検出されたもの
かを表す情報をも記憶する。

【００５９】また、上記実施形態においては、移動物体
追跡処理における探索範囲内でのマッチング処理での相
違度を（４）式で求めるものを示したが、マッチング評
価に用いる相違度はこれに限定されるものではない。例
えば、遠近での形状の大きさの相違（縮小率や拡大率）
を考慮し、縮小率や拡大率を重み付け係数として適用し
た相違度を適用するようにしても良い。

【００６０】さらに、上記実施形態においては、画像撮
影手段からの入力画像を直ちに処理するものを示した
が、磁気ディスク等の画像記憶手段から読み出した入力
画像を処理するようにしても良い。

【００６１】さらにまた、上記実施形態においては、入
力画像（フレーム）毎にテンプレートを更新するものを
示したが、複数フレーム毎にテンプレートを更新するよ
うにしても良く、撮影範囲が狭い場合には、テンプレー
トを更新しないようにしても良い。

【００６２】また、上記実施形態においては、道路監視
装置に適用することを前提として説明しているが、他の
用途に、本発明を適用できることは勿論である。例え
ば、コンベア上の物体の有無や移動を監視する装置にも
適用可能である。

【００６３】

【発明の効果】以上のように、本発明の移動物体追跡装
置及び方法によれば、影の影響を受けることなく移動物
体のみを検出し、その移動物体パターンをテンプレート
としてテンプレートマッチングによって移動物体を追跡
するようにしたので、従来より高精度に移動物体を追跡
することができる

【図面の簡単な説明】

【図１】実施形態の移動物体追跡装置の構成を示すブロ
ック図である。

【図２】従来の課題の説明図である。

【図３】実施形態の変化領域判定部での処理を示すフロ
ーチャートである。

【図４】実施形態の移動物体追跡処理における各種の処
理結果画像を示す説明図（１）である。

【図５】実施形態の移動物体追跡処理における各種の処
理結果画像を示す説明図（２）である。

【図６】実施形態の静止領域検出処理を示すフローチャ
ートである。

【図７】実施形態での静止領域候補の領域内の画素差分
値の分布例を示す説明図である。

【図８】実施形態の移動物体検出、追跡のための領域設
定例を示す説明図である。

【図９】実施形態のテンプレートの作成方法の説明図で
ある。

【図１０】実施形態のテンプレートマッチングでの探索
範囲の説明図である。

【図１１】実施形態のテンプレート更新処理の説明図で
ある。

【符号の説明】

１００…画像撮影手段、２００…画像入力手段、３００
…第１の入力画像記憶手段、４００…第２の入力画像記
憶手段、５００…背景画像作成手段、５１０…変化領域
判定部、５２０…背景画像更新部、５３０…背景画像記
憶部、６００…移動物体検出手段、７００…移動物体追
跡手段、８００…移動物体パターン記憶手段。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 複数の入力画像について同一の移動物体
   を追跡する移動物体追跡装置において、 現時刻の入力画像が過去の入力画像及び背景画像と異な
   る変化領域とを求め、求められた変化領域が移動物体、
   停止物体、環境変動の何れにより生じたかを弁別する変
   化領域判定部と、環境変動によって生じた変化領域と、
   全く変化のなかった領域とについての現時刻の入力画像
   の情報を反映させるように、今までの背景画像を更新す
   る背景画像更新部と、更新された最新の背景画像を記憶
   する背景画像記憶部とを有する背景画像作成手段と、 この背景画像作成手段で移動物体により生じた変化領域
   と判定された領域から移動物体のみの部分画像パターン
   を検出する移動物体検出手段と、 得られた移動物体の部分画像パターンを記憶する移動物
   体パターン記憶手段と、 移動物体パターン記憶手段に記憶された移動物体の部分
   画像パターンをテンプレートとして、テンプレートマッ
   チングにより、その後の入力画像における同一の移動物
   体を追跡する移動物体追跡手段とを有することを特徴と
   する移動物体追跡装置。
2. 【請求項２】 上記変化領域判定部は、現時刻の入力画
   像と過去の入力画像とで異なる第１の変化領域を求める
   と共に、現時刻の入力画像と、その直前での背景画像と
   で異なる第２の変化領域を求め、これらの第１及び第２
   の変化領域の情報から、静止変化領域及び移動変化領域
   を求め、求められた変化領域が入力画像に生じた原因を
   弁別することを特徴とする請求項２に記載の移動物体追
   跡装置。
3. 【請求項３】 上記変化領域判定部は、各静止変化領域
   について、現時刻の入力画像と背景画像との画素差分値
   の平均値及びばらつき度合を求め、ばらつき度合が所定
   値よりも大きい静止変化領域を、背景画像の更新を実行
   しない静止変化領域として決定し、背景画像の更新を実
   行しないと決定された静止変化領域以外の静止変化領域
   について、その平均値からの相違が小さい画素値の周囲
   画素を当該静止変化領域の要素となるように、各静止変
   化領域を膨張させ、移動変化領域と部分的にも重複する
   膨張された静止変化領域があれば、その静止変化領域
   を、背景画像の更新を実行しない静止変化領域として決
   定することにより、求められた変化領域が入力画像に生
   じた原因を弁別することを特徴とする請求項１又は２に
   記載の移動物体追跡装置。
4. 【請求項４】 上記背景更新部は、上記変化領域判定部
   によって、移動変化領域及び背景画像の更新を実行しな
   いと決定された静止変化領域以外の静止変化領域につい
   て、現時刻の入力画像を反映させるように背景画像を更
   新することを特徴とする請求項１〜３のいずれかに記載
   の移動物体追跡装置。
5. 【請求項５】 上記移動物体検出手段は、上記背景画像
   作成手段において検出された移動物体に係る変化領域か
   ら、部分的にも重複する膨張された静止変化領域を除い
   た移動物体のみからなる領域を求め、現時刻の入力画像
   からこの領域に相当する部分を切出し、移動物体パター
   ンとして移動物体パターン記憶手段に記憶させることを
   特徴とする請求項１〜４のいずれかに記載の移動物体追
   跡装置。
6. 【請求項６】 上記移動物体追跡手段は、上記移動物体
   パターン記憶手段に記憶された移動物体パターンをテン
   プレートとし、所定の探索範囲をテンプレートを移動さ
   せながら相違度を算出し、相違度が最小となる位置を移
   動物体が移動した位置とすると共に、上記移動物体検出
   手段で得られた移動物体のみの領域にフィットするよう
   にテンプレートの大きさを変更して移動物体パターンを
   入力画像から切出し、移動物体パターン記憶部のテンプ
   レートを更新することを特徴とする請求項１〜５のいず
   れかに記載の移動物体追跡装置。
7. 【請求項７】 複数の入力画像について同一の移動物体
   を追跡する移動物体追跡方法において、 現時刻の入力画像が過去の入力画像及び背景画像と異な
   る変化領域とを求め、求められた変化領域が移動物体、
   停止物体、環境変動の何れにより生じたかを弁別し、環
   境変動によって生じた変化領域と、全く変化のなかった
   領域とについての現時刻の入力画像の情報を反映させる
   ように、今までの背景画像を更新し、更新された最新の
   背景画像を記憶し直す背景画像作成処理と、 この背景画像作成処理で移動物体により生じた変化領域
   と判定された領域から移動物体のみの部分画像パターン
   を検出する移動物体検出処理と、 得られた移動物体の部分画像パターンを記憶する移動物
   体パターン記憶処理と、 記憶された移動物体の部分画像パターンをテンプレート
   として、テンプレートマッチングにより、その後の入力
   画像における同一の移動物体を追跡する移動物体追跡処
   理とを有することを特徴とする移動物体追跡方法。
8. 【請求項８】 上記背景画像作成処理は、現時刻の入力
   画像と過去の入力画像とで異なる第１の変化領域を求め
   ると共に、現時刻の入力画像と、その直前での背景画像
   とで異なる第２の変化領域を求め、これらの第１及び第
   ２の変化領域の情報から、静止変化領域及び移動変化領
   域を求め、求められた変化領域が入力画像に生じた原因
   を弁別することを特徴とする請求項７に記載の移動物体
   追跡方法。
9. 【請求項９】 上記背景画像作成処理は、各静止変化領
   域について、現時刻の入力画像と背景画像との画素差分
   値の平均値及びばらつき度合を求め、ばらつき度合が所
   定値よりも大きい静止変化領域を、背景画像の更新を実
   行しない静止変化領域として決定し、背景画像の更新を
   実行しないと決定された静止変化領域以外の静止変化領
   域について、その平均値からの相違が小さい画素値の周
   囲画素を当該静止変化領域の要素となるように、各静止
   変化領域を膨張させ、移動変化領域と部分的にも重複す
   る膨張された静止変化領域があれば、その静止変化領域
   を、背景画像の更新を実行しない静止変化領域として決
   定することにより、求められた変化領域が入力画像に生
   じた原因を弁別することを特徴とする請求項７又は８に
   記載の移動物体追跡方法。
10. 【請求項１０】 上記背景画像作成処理は、移動変化領
    域及び背景画像の更新を実行しないと決定された静止変
    化領域以外の静止変化領域について、現時刻の入力画像
    を反映させるように背景画像を更新することを特徴とす
    る請求項７〜９のいずれかに記載の移動物体追跡方法。
11. 【請求項１１】 上記移動物体検出処理は、上記背景画
    像作成処理で検出された移動物体に係る変化領域から、
    部分的にも重複する膨張された静止変化領域を除いた移
    動物体のみからなる領域を求め、現時刻の入力画像から
    この領域に相当する部分を切出し、移動物体パターンと
    して記憶させることを特徴とする請求項７〜１０のいず
    れかに記載の移動物体追跡方法。
12. 【請求項１２】 上記移動物体追跡処理は、記憶された
    移動物体パターンをテンプレートとし、所定の探索範囲
    をテンプレートを移動させながら相違度を算出し、相違
    度が最小となる位置を移動物体が移動した位置とすると
    共に、上記移動物体検出処理で得られた移動物体のみの
    領域にフィットするようにテンプレートの大きさを変更
    して移動物体パターンを入力画像から切出し、記憶する
    移動物体パターンのテンプレートを更新することを特徴
    とする請求項７〜１１のいずれかに記載の移動物体追跡
    方法。