JPH06110552A - 移動体追跡装置 - Google Patents

Abstract

(57)【要約】 【目的】動画像中の移動体を時間的に遅れなく、確実に
追跡可能とする。 【構成】動画像情報をフレーム単位のディジタル画像に
変換する画像入力部１と、画像入力部１によって得られ
たディジタル画像を、時間的に連続する複数フレーム分
記憶するための時系列画像記憶部２と、時系列画像記憶
部２に記憶された複数フレーム分のディジタル画像をも
とに画像中の変化している変化領域を抽出する変化領域
抽出部３と、変化領域抽出部によって抽出された変化領
域の履歴を記憶するための履歴情報記憶部４と、変化領
域抽出部３によって変化領域が検出された後に、同変化
領域の変化を履歴情報記憶部４に記憶された履歴に基づ
いて追跡する移動体追跡部５とを具備して構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばＴＶカメラで撮
影した動画像中の車両等の追跡を行なう移動体追跡装置
に関する。

【０００２】

【従来の技術】近年、ＴＶカメラで撮影した動画像、あ
るいはＶＴＲに記録された動画像をもとに、動画像中の
車両に取り付けられたナンバプレートを自動的に読取
り、この読み取った情報を用いて駐車場での自動管理や
手配車両・盗難車両等の自動発見等のシステムが考えら
れている。

【０００３】この種、システムにおいては、車両に取り
付けられたナンバプレートのナンバプレート情報を読み
取るために、動画像中から移動体である車両が検出さ
れ、さらに追跡される。この場合、時系列に入力される
画像間の差分処理によって変化領域を抽出し、この変化
領域の面積などの情報を使って移動体の検出を行なって
いる。そして、この処理を繰り返して行なうことによ
り、移動体の追跡が行なわれる。

【０００４】

【発明が解決しようとする課題】このように従来の動画
像における移動体の追跡は、常に連続する複数枚の画像
間の差分処理（減算処理）を行なうことにより、変化領
域を抽出しようとしている。

【０００５】このため、対象とする画像についての最終
的な変化領域抽出結果は、次の画像をもとにした差分処
理が終了してから得られるため、時間的に遅れて得られ
ることになる。この遅れ時間を短くするためには入力画
像のサンプリング時間を短くすることが考えられる。し
かし、サンプリング時間が短いと十分な変化情報を取得
することが出来なくなってしまう。

【０００６】また、常に複数の入力画像に対して処理を
行なって移動体を追跡するため、移動体が一度静止して
しまうと、この移動体の抽出ができなくなってしまう。

【０００７】さらに、ＴＶカメラの撮影環境の変動によ
って、変化領域の抽出が非常に困難になってしまう。例
えば、風の状態や日光の状態により、撮影環境が変動し
てしまうと、本来の移動体ではなく、撮影環境の変動に
よる画像変化（雑音領域）を移動体として抽出し易くな
ってしまう。

【０００８】本発明は前記のような点に鑑みてなされた
もので、動画像中の移動体を時間的に遅れなく、確実に
追跡可能な移動体追跡装置を提供することを目的とす
る。

【０００９】

【課題を解決するための手段】本発明は、動画像情報を
フレーム単位のディジタル画像に変換する画像入力手段
と、前記画像入力手段によって得られたディジタル画像
を、時間的に連続する複数フレーム分記憶するための時
系列画像記憶手段と、時系列画像記憶手段に記憶された
複数フレーム分のディジタル画像をもとに画像中の変化
している変化領域を抽出する変化領域抽出手段と、前記
変化領域抽出手段によって抽出された変化領域の履歴を
記憶するための履歴情報記憶手段と、前記変化領域抽出
手段によって変化領域が検出された後に、同変化領域の
変化を前記履歴情報記憶手段に記憶された履歴に基づい
て追跡する移動体追跡手段とを具備して構成する。

【００１０】特に、前記移動体追跡手段は、前記履歴情
報記憶手段に記憶された履歴に基づいて変化領域候補を
求め、同変化領域候補内で変化領域の追跡を行なうこと
を特徴とする。

【００１１】

【作用】このような構成によれば、変化領域の抽出は、
複数枚の連続画像間の減算処理によって求められる。例
えば、時間的に連続する３枚の入力画像の各々２枚の画
像間の減算、及び２値化処理を行なった２枚の処理画像
の論理積をとることによって変化領域を抽出する。一
度、変化領域を抽出した後は、連続的に入力される１枚
１枚の画像に対して追跡処理を行なう。この追跡処理と
して、連続した入力画像取り込み時間の間隔、抽出した
変化領域の過去からの移動方向の連続性などの情報（履
歴情報）を利用することによって、次に入力される取り
込み画像の変化領域を予測し、抽出しようとする変化領
域候補の範囲が柔軟性をもって決定される。

【００１２】例えば、抽出しようとする変化領域候補の
範囲を、移動体の移動方向に応じて、画像を入力するＴ
Ｖカメラ等に近づく場合は拡大し、ＴＶカメラから遠ざ
かる場合には縮小する。この時に、その変化領域候補範
囲の大きさは、画像取り込み時間の間隔や移動方向の連
続性などの情報に基づいて決定される。これによって、
ＴＶカメラの撮影環境の変化から影響を受けずに移動体
の追跡を行なうことができる。また、移動体がＴＶカメ
ラの撮影範囲内に入る際は、必ず適当な速度で移動して
おり、一度撮影範囲内に入った後の動作に十分対応する
ことができる。すなわち、撮影範囲内に入った後は、移
動体が静止したとしても継続して常に移動体を抽出し、
追跡することができる。

【００１３】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は同実施例に係わる移動体追跡装置の構成
を示すブロック図である。図１に示すように、移動体追
跡装置は、画像入力部１、時系列画像記憶部２、変化領
域抽出部３、処理結果履歴情報部４、移動体追跡部５、
取込み時間制御部６、及び抽出結果表示部７によって構
成されている。

【００１４】画像入力部１は、ＴＶカメラ、ＶＴＲ等か
らの画像信号をＡ／Ｄ変換などの処理を施してディジタ
ル情報（ディジタル多値画像）に変換し、時系列画像記
憶部２に記憶させる。時系列画像記憶部２は、時間的に
連続した複数枚の画像を記憶するためのものである。変
化領域抽出部３は、時系列画像記憶部２に記憶された時
間的に連続したディジタル多値画像を複数枚用いて、画
像中の変化した領域（変化領域）を２値画像として抽出
するものである。変化領域抽出部３によって抽出される
２値画像は、時系列画像記憶部２に記憶される画像が更
新される毎に、時間的に連続して出力される。

【００１５】処理結果履歴情報部４は、変化領域抽出部
３によって抽出された変化領域を記憶するものである。
変化領域抽出部３によって抽出される変化領域は、各々
独立したものであり、抽出しようとする移動体の動きに
よっては抽出されない場合がある（移動体が停止した場
合等）。処理結果履歴情報部４は、このような場合でも
処理結果を記憶しておき、これらの履歴から移動体の方
向と大きさを予測追跡のために参照されるものである。

【００１６】移動体追跡部５は、処理結果履歴情報部４
に蓄積された履歴情報を用いて、現在抽出している変化
領域が、次の時間に取得した入力画像の中のどの場所に
存在するかを追跡するものである。具体的には、現在の
抽出領域からの方向情報（変化領域が何れの方向に移動
するかを示す）と、存在領域（移動後の変化領域）の大
きさを予測するものである（詳細については後述す
る）。これにより、画面全体を対象にして移動体を抽出
する必要がなく、存在領域候補を絞って抽出することが
できるため効率的な処理が可能となる。なお、存在領域
候補は、最初にある程度拡大し、その後、変化領域の変
化に応じて拡大、または縮小することによって求める。

【００１７】取込み時間制御部６は、移動体追跡部５に
入力される連続画像の取込み時間の間隔を制御するもの
である。例えば、撮影環境で撮影範囲が狭い場合には、
移動体を連続的に取り込むために、取込み時間の間隔の
値を小さく設定する。また、撮影範囲が広い場合には、
取込み時間の間隔の値を小さく設定してしまうと移動体
の移動量が検知できなくなるので、取込み時間の間隔の
値を大きく設定する。取込み時間制御部６は、撮影範囲
に応じて取込み時間間隔を固定して設定するものであっ
ても良いし、移動体の変化（移動量）などに応じて動的
に設定されるものであっても良い。

【００１８】抽出結果表示部７は、移動体追跡部４を介
して入力される画像信号をもとに入力画像の表示を行な
うと共に、移動体追跡部５による処理結果に応じて変化
領域等の表示を行なう。

【００１９】次に、同実施例の動作について図２に示す
フローチャートを参照しながら説明する。ここでは、時
系列画像記憶部２に連続する３画面分の画像を記憶する
ための入力画像メモリＡ，Ｂ，Ｃが設けられ、変化領域
抽出部３に処理結果を記憶するための画像メモリＲ１，
Ｒ２が設けられているものとする。

【００２０】まず、画像入力部１は、ＴＶカメラ等（図
示せず）からの画像信号をＡ／Ｄ変換して、ディジタル
多値画像に変換する。このディジタル多値画像は、連続
して時系列画像記憶部２の入力用画像メモリＡ，Ｂに、
順次（ｔ＝１，２）記憶される（ステップＳ１〜Ｓ
４）。

【００２１】変化領域抽出部３は、入力用画像メモリ
Ａ，Ｂに記憶された２画面分の画像について差分処理を
行ない、その結果を画像メモリＲ１に記憶させる（ステ
ップＳ５）。ここで変化領域抽出部３は、一度、変化領
域が検出された後に、１枚の画像が入力される毎に差分
処理が行なわれるように、画像メモリＢに記憶されてい
た内容を画像メモリＡに入れ（ステップＳ６）、画像メ
モリＲ１中の画像を２値化する（ステップＳ７）。

【００２２】画像入力部１は、次に（ｔ＝ｔ＋１）入力
した画像を入力画像メモリＣに記憶させる（ステップＳ
８，Ｓ９）。変化領域抽出部３は、入力用画像メモリ
Ｂ，Ｃに記憶された２画面分の画像について差分処理を
行ない、その結果を画像メモリＲ２に記憶させる（ステ
ップＳ１０）。ここで変化領域抽出部３は、一度、変化
領域が検出された後に、１枚の画像が入力される毎に差
分処理が行なわれるように、画像メモリＣに記憶されて
いた内容を画像メモリＢに入れ（ステップＳ１１）、画
像メモリＲ２中の画像を２値化する（ステップＳ１
２）。

【００２３】変化領域抽出部３は、画像メモリＲ１，Ｒ
２に記憶された２値画像の論理積をとることによって変
化領域を抽出する（ステップＳ１３）。

【００２４】つまり、変化領域は、時間的に連続する３
枚分の入力画像の中で２枚の画像の異なる組み合わせの
各々で減算処理を行ない、それぞれに２値化処理を行な
い、２枚の処理画像の論理積を取ることによって抽出さ
れる。

【００２５】変化領域抽出部３は、画像メモリＲ１の中
の各々の変化領域を囲んだ時の中心点を、その変化領域
の代表とし、これを履歴情報として処理結果履歴情報部
４に記憶させる（ステップＳ１４）。

【００２６】移動体追跡部５は、処理結果履歴情報部４
に蓄積された履歴情報を用いて、変化領域の時間的変化
を解析する（ステップＳ１５）。この結果、変化領域の
位置が変化している場合（ステップＳ１６）、移動体追
跡部５は、変化領域に対する方向情報、及び存在領域の
大きさを予測し、移動後の変化領域を予測設定する。抽
出結果表示部７は、移動体追跡部５によって設定された
変化領域の表示を行なう（ステップＳ１７）。ここで移
動体の追跡を終了するのでなければ、ステップＳ５に戻
る。

【００２７】移動体追跡部５は、一度、変化領域が追跡
された後は、処理結果履歴情報部４に蓄積された履歴情
報を用いて、連続的に入力される入力画像の１枚毎に追
跡処理を行なう。

【００２８】この追跡処理として、連続した入力画像の
取込み時間の間隔、抽出した変化領域の過去からの移動
方向の連続性などの情報を使うことによって、次に入力
される取込み画像の変化領域を予測し、抽出しようとす
る変化領域候補の範囲を柔軟に決定するものである。

【００２９】図３（ａ）（ｂ）は存在領域を予測する際
の２つの具体例を説明するものである。まず、図３
（ａ）は、移動体である車両などがＴＶカメラの撮影方
向に対して直角方向に移動している例を示している。最
初は、取込み時間制御部６によって、複数枚の画像間の
取込み時間間隔を小さく設定することにより、画像減算
処理による変化抽出領域の対応関係を取得すると共に、
移動方向と移動量を求めるものである。このようにし
て、変化領域Ｍ１ａ、Ｍ２ａが１つの移動体の履歴情報
であると判断する。

【００３０】例えば、各々の抽出領域を包含する矩形の
中心点間の長さを移動量とし、その方向を例えば図３
（ｃ）に示す８種類の方向コードで表わす。移動体追跡
部５は、この移動量と移動方向情報を使って、次に入力
される画像に対して抽出処理の対象とすべき存在領域Ａ
１を予測設定するものである。

【００３１】この存在領域Ａ１は、先の移動方向の予測
（この場合、移動方向コード６）に基づいて拡大、縮小
されたものである。図３（ａ）の場合は、移動体が横方
向に移動しているため、存在領域Ａ１は横長に拡大し、
縦方向に対しては変化領域Ｍ１ａより拡大しても良いし
同じサイズであっても良い。予測領域の設定は、処理結
果履歴情報部４に蓄積される情報が多くなる程、その信
頼性が増大する。

【００３２】図３（ｂ）は、移動体である車両がＴＶカ
メラの撮影方向に対して平行に、すなわち画面上を縦方
向に移動する場合を示したものである。画面左下の移動
体については、図３（ａ）で示した場合と同様にして、
変化領域Ｍ１ｂ、Ｍ２ｂを抽出して移動量、移動方向
（ここでは、移動方向コード０）を求め、その結果を基
に存在領域Ｂ１を設定している。この場合、移動体はＴ
Ｖカメラから遠ざかる方向に移動しているため、抽出し
ている変化領域の大きさは小さくなっているが、予測領
域Ａ１は縦長に拡大されているが結果として変化領域Ｍ
２ｂと同じサイズとなっている。逆に画面右上の移動体
はＴＶカメラに対して近付く方向に移動しており、変化
領域Ｍ１ｃ，Ｍ２ｃを抽出して、これから移動量、移動
方向を求め、存在領域Ｃ１を設定している。この場合
は、移動体はＴＶカメラに近付いているので見掛け上の
大きさは大きくなり、予測領域Ｃ１は縦、横方向共に拡
大されている。

【００３３】このようにして、最初に連続する複数枚の
画像間の減算処理で変化候補領域を抽出した後は、この
抽出領域を基にして、次に入力される１枚の画像を対象
にして領域内に存在する変化物体を抽出でき、繰り返
し、この処理を行なうことにより変化物体の追跡を行な
うことができるので、移動体抽出結果の時間的ずれを最
小限に押さえることができると共に、移動体が静止した
としても継続して追跡することができる。

【００３４】また、適宜の時間間隔で取り込んだ画像１
枚について変化物体を抽出し追跡しているため、風や日
照の変化に伴って撮影環境が変化した場合であっても、
雑音成分を移動物として誤認識することがないため、確
実に移動物の追跡が可能となる。

【００３５】さらに、適宜の時間間隔で取り込んだ画像
１枚について変化領域を抽出する際に、抽出した変化領
域の大きさ、及び移動方向の予測に基づいて抽出処理を
行なうべき領域を拡大、または縮小してから追跡処理を
行なうようにしているため、処理の効率化と共に、移動
体の抽出処理の信頼性を向上させることができる。

【００３６】なお、本発明は前記実施例に限定されるも
のではない。

【００３７】例えば、本実施例では連続する複数枚の画
像間の減算処理により変化領域を抽出した後に、連続す
る１枚１枚の多値画像を対象にして追跡処理を行なって
いるが、前記複数枚の減算処理による変化領域抽出処理
を一定時間実施して、常に撮影範囲内に入ってくる移動
体をモニタしておく構成にすることも可能である。

【００３８】また、求めた変化候補領域に対して、その
中から移動体を抽出するための２値化処理のしきい値
は、変化候補領域内の濃度頻度情報を用いたり、現在抽
出している変化領域に対応した入力画像の多値情報を用
いることもできる。

【００３９】なお、移動体を抽出する処理として、２値
化した画像を対象とする他に、入力画像の多値情報をそ
のまま用いることも可能である。例えば、縦、及び横方
向の射影情報を用いて抽出する。

【００４０】さらに、複数枚の画像間の減算処理で抽出
した変化点結果と、予測領域から抽出した結果を相補的
に使用する場合に、例えば撮影環境によって結果採用優
先度を切り替えて使用することなどが考えられる。

【００４１】また、特定移動体を追跡する場合には、複
数の変化領域結果を矩形表示している中から追跡したい
移動体を包含する矩形を指定することにより、以降指定
した矩形に対応した移動体のみを追跡表示するなどの多
彩な処理モードを指定することができる。

【００４２】要するに本発明は、その要旨を逸脱しない
範囲で任意に変更することが可能である。

【００４３】

【発明の効果】以上のように本発明によれば、最初に変
化領域を抽出した後は、この抽出領域を基にして、過去
の変化領域の履歴に基づいて、次に入力される１枚の画
像を対象にして領域内に存在する変化物体を抽出でき、
繰り返し、この処理を行なうことにより変化物体の追跡
を行なうことができるので、移動体抽出結果の時間的ず
れを最小限に押さえることができると共に、移動体が静
止したとしても継続して追跡することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる移動体追跡装置の構
成を示すブロック図。

【図２】本実施例の動作を説明するためのフローチャー
ト。

【図３】本実施例の具体例を説明するための図。

【符号の説明】

１…画像入力部、２…時系列画像記憶部、３…変化領域
抽出部、４…処理結果履歴情報部、５…移動体追跡部、
６…取込み時間制御部、７…抽出結果表示部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/232 Ｃ 7/18 Ｇ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 動画像情報をフレーム単位のディジタル
   画像に変換する画像入力手段と、 前記画像入力手段によって得られたディジタル画像を、
   時間的に連続する複数フレーム分記憶するための時系列
   画像記憶手段と、 前記時系列画像記憶手段に記憶された複数フレーム分の
   ディジタル画像をもとに画像中の変化している変化領域
   を抽出する変化領域抽出手段と、 前記変化領域抽出手段によって抽出された変化領域の履
   歴を記憶するための履歴情報記憶手段と、 前記変化領域抽出手段によって変化領域が検出された後
   に、同変化領域の変化を前記履歴情報記憶手段に記憶さ
   れた履歴に基づいて追跡する移動体追跡手段と、 を具備したことを特徴とする移動体追跡装置。
2. 【請求項２】 前記移動体追跡手段は、前記履歴情報記
   憶手段に記憶された履歴に基づいて変化領域候補を求
   め、同変化領域候補内で変化領域の追跡を行なうことを
   特徴とする請求項１記載の移動体追跡装置。