JPH10105690A

JPH10105690A - 広域移動体追跡装置

Info

Publication number: JPH10105690A
Application number: JP27698396A
Authority: JP
Inventors: Koji Matsumoto; 浩司松本; Akihiro Fujii; 明宏藤井; Naohiro Amamoto; 直弘天本; Akitoshi Tsukamoto; 明利塚本
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1996-09-27
Filing date: 1996-09-27
Publication date: 1998-04-24

Abstract

(57)【要約】【解決手段】監視対象区域を複数の挙動検知ユニット
を用いて監視する。各挙動検知ユニットは、検出した車
両の画像とこれらを区別するために付けたＩＤ番号とを
記憶し、車両検知領域から外れると、その情報をバッフ
ァに格納する。次の挙動検知ユニットは、撮影した各車
両の画像と直前のユニットのバッファにある車両の画像
を比較し、ＩＤ番号を一致させる。【効果】同一の車両に同一のＩＤ番号を付けて複数の
挙動検知ユニットで順に追跡するから、広域における車
両毎の挙動が監視できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両等の移動体を
カメラを用いて撮影し、比較的広域に亘って移動体毎に
その挙動を追跡する広域移動体追跡装置に関する。

【０００２】

【従来の技術】道路交通容量の拡大、交通事故の抑制あ
るいは省エネルギー等を目的として、次世代道路交通シ
ステムの研究が盛んに進められている。こうしたシステ
ムでは、道路上を走行する車両を撮影し、車両毎にその
挙動を検知する技術が要求される。この目的のために次
のような技術が紹介されている（文献：安居院猛，塚
中正太，長橋宏：画像処理による通行車両の抽出：
信学春季全大，Ｄ−６２７（１９９４））。この種のシ
ステムでは予め車両の映っていない道路を撮影し、所定
の時間間隔で繰り返し道路上を走行する車両を撮影す
る。そして、各撮影された画像を比較することによって
車両毎の動きベクトルを求める。

【０００３】

【発明が解決しようとする課題】ところで、上記のよう
な従来の装置には次のような解決すべき課題があった。
道路交通需要がますます増加する中で、交通事故を始
め、渋滞による輸送効率の低下や環境の悪化等、多くの
問題を発生している。この問題を解決するために、高速
道路での自動運転や安全支援等の自動高速道路システム
が考えられている（日本経済新聞社「ＩＴＳのすべて」
（ｐｐ５８−６１））。

【０００４】しかしながら、上記のようなシステムで
は、道路側と車両側に自動運転を制御するためのセンサ
や通信装置等各種の設備が必要になる。一方、自動運転
を制御する装置を搭載していない車両も存在し、またた
とえ搭載していてもその車両の装置に何らかの障害が発
生することもある。こうした場合に、安全にその他の車
両の自動車線変更や自動分合流等を実現するためには、
自動運転区域内全ての車両を追跡する必要がある。従っ
て、自動運転区域内を走行する多数の車両について、こ
れらを区別しながらコンピュータ上で追跡するシステム
が要求される。

【０００５】

【課題を解決するための手段】本発明は以上の点を解決
するため次の構成を採用する。〈構成１〉監視対象区域について、それぞれ移動体の進
行方向に沿う部分を分担して撮影するカメラを備えた複
数の挙動検知ユニットを備え、監視対象区域の端に位置
する挙動検知ユニットは、自己の撮影した画像中で検知
した各移動体の画像に、監視対象区域内部で一意に設定
した識別情報を付与して記憶する記憶部と、撮影する画
像中から外れた移動体の識別情報を隣接する他の挙動検
知ユニットに通知する手段とを備え、監視対象区域の端
以外に配置された挙動検知ユニットは、自己の撮影した
画像中に新たな移動体が出現したとき、隣接した挙動検
知ユニットから通知を受けた識別情報に基づいて、同一
の移動体の画像に同一の識別番号を付与する比較部と、
移動体の画像とそれに付与した識別情報を記憶する記憶
部と、撮影する画像中から外れた移動体の識別情報を隣
接する他の挙動検知ユニットに通知する手段とを備えた
ことを特徴とする広域移動体追跡装置。

【０００６】〈構成２〉構成１において、識別情報比較
部は、隣接した挙動検知ユニットから、移動体の画像と
これに付与した識別情報の通知を受けて、自己の撮影し
た同一の移動体の画像にその識別情報を付与することを
特徴とする広域移動体追跡装置。

【０００７】〈構成３〉構成２において、識別情報は、
移動体が画像から外れたときの位置と時刻と動きベクト
ルとを含み、識別情報比較部は、隣接した挙動検知ユニ
ットから、移動体の画像とこれに付与した識別情報の通
知を受けて、自己の撮影した同一の移動体の画像の位置
を上記時刻と動きベクトルとから予測して、検出した同
一の移動体の画像に、その識別情報を付与することを特
徴とする広域移動体追跡装置。

【０００８】〈構成４〉構成３において、互いに隣接す
る挙動検知ユニットの撮影する移動体検知領域の間にい
ずれの挙動検知ユニットにも撮影されない領域が存在す
ることを特徴とする広域移動体追跡装置。

【０００９】〈構成５〉構成１において、移動体の進行
方向に直角な方向に広がりのある領域を移動体が移動す
る場合に、２以上のカメラにより撮影した画像を連結合
成する画像合成部を備えたことを特徴とする広域移動体
追跡装置。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態を具体
例を用いて説明する。〈具体例〉図１は、本発明を車両に適用した広域車両追
跡装置の具体例を示すブロック図である。この装置は、
カメラ１、Ａ／Ｄ変換部２、現画像フレーム記憶部３、
前画像フレーム記憶部４、背景画像フレーム記憶部５、
差分器６、２値化部７、テンプレート作成部８、動きベ
クトル検出部９及び車両領域マスク画像作成部１０を備
えている。

【００１１】カメラ１は、道路の比較的高い位置から車
両を撮影できるように図示しない適当なフレーム等によ
って固定配置されている。カメラ１は走行している車両
を道路と共に撮影して、その撮影した画像をアナログ信
号として出力する。なお、この装置は複数の挙動検知ユ
ニットＵ１，Ｕ２，…から構成され、各ユニット毎にカ
メラ１が設けられている。そして、各ユニットは監視対
象区域をそれぞれ分担しながら撮影している。その説明
は、後で図９等を用いて更に詳しく行う。Ａ／Ｄ変換部
２は、カメラ１から入力したアナログ信号をディジタル
信号に変換するための装置である。現画像フレーム記憶
部３は、ディジタル化された後の現画像フレーム１３を
一時的に格納するためのメモリである。前画像フレーム
記憶部４は、直前に撮影された現画像フレームを前画像
フレーム１４として一時格納しておくメモリである。背
景画像フレーム記憶部５は、道路上に走行車両がない場
合に予め撮影した背景画像フレーム１５を格納しておく
メモリから構成される。

【００１２】差分器６は、前画像フレーム記憶部４から
前画像フレーム１４を受け入れ、背景画像フレーム記憶
部５から背景画像フレーム１５を受け入れて、両者の差
分値を出力する回路である。また、２値化部７は、設定
された閾値を基準とし差分器６の出力を２値化する装置
である。こうして、２値化部７は２値化差分画像１６を
出力する。テンプレート作成部８は、後で説明するテン
プレートを生成し、動きベクトル検出部９に供給する装
置である。動きベクトル検出部９は、各車両のテンプレ
ートと一致する画像を現画像フレーム１３中で検出して
テンプレートに対応する車両の動きベクトルを得るため
の装置である。車両領域マスク画像作成部１０は、次の
動きベクトル検出に適する車両領域マスク画像を生成す
る装置である。また、上記検知ユニットＵ１にはこの他
に、総合判定部３０、車両画像記憶部３１、ＩＤ番号記
憶部３２、車両画像バッファ３３、ＩＤ番号バッファ３
４及びＩＤ番号生成部３５が設けられている。

【００１３】車両画像記憶部３１は、車両毎の画像を記
憶しておくメモリで、車両毎の画像は、例えばテンプレ
ートそのものを使用してもよいし、適当にデータを圧縮
したり間引いたりして加工したものとしてもよい。ＩＤ
番号記憶部３２には、車両画像に対応する所定の識別番
号が格納される。これは、例えば各車両をそれぞれ区別
するための番号である。そのＩＤ番号は、ＩＤ番号生成
部３５において生成される。ＩＤ番号は監視対象区域を
通過する車両を区別するためのものであるから重複しな
いように生成される。

【００１４】車両画像バッファ３３とＩＤ番号バッファ
３４は、挙動検知ユニットＵ１のカメラ１が撮影する範
囲を通過してしまった車両の画像やＩＤ番号を車両画像
記憶部３１やＩＤ番号記憶部３２から移して格納する部
分である。ここに格納された車両画像やＩＤ番号は、次
の挙動検知ユニットＵ２に参照され、同一の車両を同一
のＩＤ番号で追跡するために利用される。なお、総合判
定部３０は、各挙動検知ユニットＵ１，Ｕ２，…の動作
を連携させて監視対象区域内を走行するそれぞれの車両
の追跡動作を円滑に制御する部分である。

【００１５】挙動検知ユニットＵ２には、直前の挙動検
知ユニットＵ１の車両画像バッファ３３やＩＤ番号バッ
ファ３４の内容を参照して自己の検知した車両の画像と
比較する処理するために、車両画像比較部３６が設けら
れている。従って、挙動検知ユニットＵ１の総合判定部
３０とＩＤ番号生成部３５を除き、車両画像比較部３６
を追加した構成となる。その他のこの挙動検知ユニット
Ｕ２に続く、いくつかの挙動検知ユニットは全て挙動検
知ユニットＵ２と同一の構成とされる。

【００１６】ここで、挙動検知ユニットＵ１のカメラ１
で撮影した車両の挙動を検知し、更にその画像を取得す
るための動作を説明する。図２は、図１に示した現画像
フレーム記憶部３に格納された現画像フレーム１３と、
前画像フレーム記憶部４に格納された前画像フレーム１
４と、背景画像フレーム記憶部５に記憶された背景画像
フレーム１５とを示した図である。この図に示すよう
に、背景画像フレーム１５と前画像フレーム１４との差
分をとれば、前画像フレーム中の２台の車両の画像が取
り出される。その画像から各車両１台分の画像を切り離
して、現画像フレーム１３とのマッチングを行えば、そ
の車両が前画像フレームからどれだけ移動したかを検出
できる。

【００１７】図３には、図１に示した差分器６の出力説
明図を示す。また、図４には、図１に示した２値化部７
の出力説明図を示す。図１に示した差分器６は、前画像
フレーム１４と背景画像フレーム１５とを受け入れて両
者の絶対値差分をとる。差分器６は、図２に示した前画
像フレーム１４と背景画像フレーム１５について、画素
単位であるいは後で説明するブロック単位で差分値をと
り、所定の閾値で２値化する。これで図３のような絶対
値差分ブロック１９を得る。更に周辺が背景と考えられ
る孤立した差分が“０”にならない有値のブロックは、
自動的に背景と同一のブロックに置き換えるといった雑
音消去処理をして明瞭な車両部分の映像を得るようにす
るとよい。

【００１８】図４のように２値化部の出力は、２値化差
分画像１６の中に実際の車両の画像領域２１のみが残さ
れた内容となる。このような画像を得るために２値化部
は、例えば図３に示すように、差分器の出力を適当な大
きさのブロックに分割し、そのブロック内の全ての画素
値を積分して、その積分値が所定の閾値より大きいかど
うかでブロック全体を“１”にするか“０”にするかと
いう処理を行う。これによって、背景画像部分は全て白
に、車の存在する部分は全て黒になるような画像処理が
可能となる。その結果が図４に示したとおりのものであ
る。

【００１９】図５では、２値化部の出力した２値化差分
画像１６を元にして、図１に示すテンプレート作成部８
が、テンプレートを生成する場合の説明を行う。図１に
示したテンプレート作成部８は、図４に示した２値化差
分画像１６を受け入れると共に、車両毎に元の画像フレ
ームからどの部分を切り取れば、その車両の画像が得ら
れるかを指定するための、個別車両領域マスク画像２２
−１や２２−２を受け入れる。これらはいずれも図５
（ａ）、（ｂ）に示すように、背景領域２４の一部に窓
状に車両領域２３を配置している。このような個別車両
領域マスク画像２２−１，２２−２は、走行する車両１
台分ごとに作成される。

【００２０】図５（ａ）に示す個別車両領域マスク画像
２２−１により、２値化差分画像中の１台の車両を切り
出す領域が決定する。こうして、２値化差分画像中から
不要信号を排除し、前画像フレームから１台の車両のテ
ンプレートを切り出す。図５（ｃ）に、そのテンプレー
トの例を示す。その後は、動きベクトル検出部９は、そ
のテンプレートを動かして現画像フレーム１３とのマッ
チングを行い、前画像フレームから現画像フレームまで
の車両の移動方向を示す動きベクトルを検出する。車両
領域マスク画像作成部１０は、動きベクトル検出後のテ
ンプレートの位置と輪郭の情報を動きベクトル検出部９
から受け入れて個別車両領域マスク画像２２−１，２２
−２を生成する。こうすれば、テンプレート以外の領域
の不要信号を一切排除できるようなマスクを得ることが
できる。

【００２１】図６には、テンプレート作成部の動作フロ
ーチャートを示す。図に示すように、まずテンプレート
作成部８は、ステップＳ１で２値化部７から出力される
２値化差分画像を受け入れ、ステップＳ２でここに車両
があるかどうかを判断する。２値化差分画像全体のデー
タが全て“０”であれば車両がない。この場合にはその
まま処理を終了する。一方車両があると判断するとステ
ップＳ３に移り、個別車両マスク画像を受け入れる。そ
して、これらを用いてステップＳ４で前画像フレームか
らテンプレートを切り出し、ステップＳ５でそのテンプ
レートを出力する。なお、車両領域マスク画像作成部１
０は、動きベクトル検出部で使用したテンプレートの数
だけ個別車両マスク画像を生成する。そして、次のステ
ップＳ６では、図１に示したＩＤ番号生成部３５によっ
てＩＤ番号を生成する。そして、後で説明する要領で切
り取った車両画像を記憶する。

【００２２】図７には、上記の図６のステップＳ５の動
作を更に詳細に説明したフローチャートを示す。テンプ
レート作成部８は、まず始めに２値化差分画像の中の各
画素を連結しているもの同士でラベル付けを行う（ステ
ップＳ１）。即ち、図４に示したような２値化差分画像
１６の中に点在する黒画素の各かたまりにこれらを区別
するためのラベル付けを行う。そして、ステップＳ２に
おいて、Ｎが“０”より大きいかどうかを判断する。即
ち、画像中に車両が存在しているかどうかを判断する。
車両が存在すればステップＳ３に進み、パラメータｉを
“０”に設定する。このパラメータｉは、１台分ずつテ
ンプレートを生成する際に各テンプレートに付与するカ
ウンタである。

【００２３】ステップＳ４では、２値化差分画像から個
別車両領域マスク画像により不要信号を除去する。ステ
ップＳ５では、前画像フレームからテンプレートの切り
出しを行う。ステップＳ６とステップＳ７によって車両
の数だけ処理を繰り返すと、全ての車両についてテンプ
レートが生成できる。ステップＳ８では、２値化差分画
像内で残ったラベル毎にテンプレートを出力する。以上
の処理によって、全ての車両についてテンプレートが生
成される。

【００２４】ところで、既に説明したように、図１に示
すＩＤ番号生成部３５は、監視対象区域内で１つしかな
い番号を生成する。図１に示す総合判定部３０は、ＩＤ
番号生成部３５からの問い合わせに対し、そのＩＤ番号
が使用されていないという確認処理を行う。従って、総
合判定部３０に使用されているＩＤ番号のリスト等を記
憶しておけばよい。また、既に付与したＩＤ番号の車両
が監視対象区域内を越えた場合には、総合判定部３０は
その旨を認識し、使用中のＩＤ番号リストから外す。こ
れによって、ＩＤ番号生成部３５は、既に使用されたＩ
Ｄ番号であっても再利用することができる。ＩＤ番号の
絶対量は、車線の数や監視対象区域の広さによって決定
される。例えば、２車線の全長１００キロメートル程度
の監視対象区域であれば、ＩＤ番号は１６ビットの２進
数で表現することが可能である。これは、車両が渋滞し
ている場合でも十分に耐える量である。即ち、１６ビッ
トで２の１６乗台数の車両を区別できる。一方、１００
キロに全長４メートルの車両が隙間を空けずに停車し、
これが２車線分存在したとしても５万台となる。従っ
て、十分な量のＩＤ番号が確保できる。こうして設定さ
れたＩＤ番号は車両画像と対応させて、図１に示すＩＤ
番号記憶部３２に記憶される。また、車両画像は動きベ
クトル検出部９から出力されたものが記憶される。

【００２５】次に、図８に示す動きベクトル検出部の動
作フローチャートを説明する。図８ステップＳ１は、車
両が１つでもあれば動きベクトル検出を行うためのステ
ップである。ステップＳ２では、パラメータｉとパラメ
ータｅとを初期化する。そして、ステップＳ３におい
て、車両のテンプレートを受け入れる。次のステップＳ
４において、現画像フレームとテンプレートの間で、パ
ターンマッチングによる動きベクトルの検出を行う。即
ち、現画像フレーム中に、そのテンプレートと一致する
画像が存在するかどうかを比較処理等によって検出す
る。そのテンプレートは、例えば図２に示すように、車
両が画面の下から上に向かうにつれて、次第に小さくな
るようであれば、テンプレートを伸縮しながらマッチン
グを行う。そして、ステップＳ５において、最もマッチ
したときの動きベクトルを出力する。

【００２６】マッチングによりテンプレートの画像上の
位置座標が検出されると、前画像フレーム中の同一のテ
ンプレートの位置座標と比較することによって、前フレ
ームから現フレームに移るまでの間、車両がどの方向に
どの距離だけ移動したかという動きベクトルを得ること
ができる。これを出力する。次のステップＳ６におい
て、最もマッチしたときのテンプレートが車両検知領域
から外れたかどうかを判断する。後で説明するように、
例えば画像全体についてテンプレートマッチングを行う
とすれば、画像の周辺部分で車両の一部だけしか画像中
に現れていないようなものについてまで処理を行わなけ
ればならない。こうすると、雑音等によって誤検出をす
るおそれがある。そこで、画像全体でなく、周辺部分を
除いた中央部分のみをマッチングの対象とすることもよ
い。

【００２７】この車両検知領域というのはその中央部分
で、後で図１０を用いて更に詳しく説明する。この範囲
からテンプレートがずれた場合には、その車両は挙動検
知の対象としない。このとき、図１に示した挙動検知ユ
ニット１１が次の挙動検知ユニットＵ２に情報を伝達す
るために、ステップＳ８において、ＩＤ番号と車両画像
をＩＤ番号バッファ３４や車両画像バッファ３３に転送
する。更に、減算用のパラメータとして準備されたｅを
インクリメントする。一方、マッチングが車両検知領域
内で行われた場合には、最もマッチしたときのテンプレ
ートを後処理等のために出力する（ステップＳ７）。そ
の後、パラメータｉをインクリメントして、次の車両の
処理に進む。ステップＳ２〜ステップＳ１０を車両分だ
け繰り返し、その処理が終了すると、ステップＳ１１に
おいて、車両検知領域外に外れた車両数分だけ全体の車
両数を減少させて処理を終了する。

【００２８】なお、上記のテンプレートマッチング処理
は、予め画像中で定めた範囲についてのみ行うようにし
たり、あるいは同一車両に対する過去の複数の動きベク
トルから次の移動距離や方向を推定し、その範囲で行う
ようにするとよい。これによって、マッチング処理の演
算量と演算時間を最適化できる。過去の動きベクトルか
ら推定した範囲にテンプレートを動かすためには、例え
ばｉ番目の車両に対する過去の複数のベクトルをｍｖ
（ｉ，１），ｍｖ（ｉ，２），…，ｍｖ（ｉ，ｎ）とし
たとき、（１）式の基準ベクトルｍｖ（ｉ，０）を求め
る。ｍｖ（ｉ，０）＝Σ p=1n （α（ｐ）×ｍｖ（ｉ，ｐ））但し：α（ｐ）＞０且つΣ p=1n α（ｐ）＝１ …（１）このｍｖ（ｉ，０）を中心に前後左右の適当な範囲をテ
ンプレートを動かす範囲とすればよい。

【００２９】また、テンプレートを上下に動かす場合
に、テンプレートを拡大縮小する方法としては、動かし
た大きさに応じて適当な量の画素を間引いてテンプレー
トを縮小したり、補間するようにして拡大すればよい。
マッチング処理は現画像フレームとテンプレートとの間
でテンプレートを動かしながら画素の差分の絶対値平均
を求める。その絶対値平均が最小の場合に、マッチング
が終了したと判断すればよい。

【００３０】車両検知領域から外れているかどうかとい
う判断は、例えば画面の内側に一定の車両検知領域を設
定した場合に、車両検知領域の内側の画素の値は“１”
とし、車両検知領域の外側の画素の値を“０”とする判
定画像を生成する。そして、この判定画像と個別車両領
域マスク画像の対応する画素同士についてその論理積を
求める。このとき例えば黒画素の場合は“０”、白画素
の場合は“１”とする。こうすれば、論理積画像の各画
素の値が全て“０”であれば、この個別車両領域マスク
画像中の車両は車両検知領域を外れていることになる。
即ち、個別車両領域マスク画像中の図５に示す車両領域
２３が車両検知領域内部に存在する場合には、この部分
の画素が全て“１”となり、その他の画素は全て“０”
となる。一方、この車両領域が車両検知領域外に一部は
み出すと、この部分の画素の値は“０”となる。従っ
て、全てがはみ出した場合には全て“０”となり、車両
検知領域を外れていることが判断できる。これによっ
て、車両のごく一部しか画面中に現れていない場合に、
これをあえて動きベクトル処理の対象とすることによっ
て、誤検出を生じるのを防止できる。

【００３１】図９に、監視対象区域の説明図を示す。図
１を用いて説明した広域車両追跡装置２０は、例えばこ
の図に示すように、４個の挙動検知ユニットＵ１，Ｕ
２，Ｕ３，Ｕ４を備えている。そして、これらのカメラ
１が、道路の車両進行方向に向いて適当な間隔で電柱等
に支持されている。各カメラの車両検知領域は、広域車
両追跡装置２０の監視対象区域全体をカバーするように
適当な分担が設定されている。車両は、図の左側から進
入し、右側方向に進行する。従って、一番最初に監視対
象区域の左端のカメラ１が車両を撮影する。挙動検知ユ
ニットＵ１はこの車両の挙動を検知し、動きベクトルを
検出する。そして、車両の画像とＩＤ番号とを対応させ
て図１に示した記憶部に格納する。一番左側のカメラ１
の視野から車両が外れ、すぐ右隣のカメラ１の視野へそ
の車両が移動した場合には、通知用の車両画像バッファ
３３やＩＤ番号バッファ３４に車両画像とＩＤ番号を転
送する。そして、次の挙動検知ユニットＵ２が同一の車
両を認識し追跡する。

【００３２】図１に示した車両画像比較部３６が比較処
理を終了すると、参照された車両画像やＩＤ番号は車両
画像バッファ３３やＩＤ番号バッファ３４からクリアさ
れる。なお、車両画像比較部３６の処理結果は総合判定
部３０に出力される。車両画像比較部３６は、挙動検知
ユニットＵ２が新たな進入車両を検出し、その画像を取
得すると、直前のユニットＵ１の車両画像バッファ３３
を参照し、同一の車両に対し対応するＩＤ番号を取得す
る。このＩＤ番号が挙動検知ユニットＵ２のＩＤ番号記
憶部３２に格納される。そして、そのＩＤ番号とその車
両の動きベクトルとは、総合判定部３０に向けて転送さ
れる。こうして、図９に示した複数台のカメラ１によっ
て、監視対象区域内の同一の車両に一定のＩＤ番号が付
与され、この動きベクトルを取得し、広域に亘る挙動が
検知される。総合判定部３０は、例えば各ＩＤ番号の車
両が選択対象区域中でどのように走行したかをデータと
して保持し、交通制御等の資料にする。

【００３３】図１０には、背景ブロック領域と車両検知
領域の説明図を示す。図１０は、カメラによって撮影さ
れた画面２７を示している。車両の進行方向は左側の矢
印に示されている。この道路は２車線で、いずれの車両
も画面下から画面上に向かって進行するものとする。こ
の場合に、図中、一点鎖線で示した領域を車両検知領域
２８に設定する。この車両検知領域は、先に説明したと
おり、この範囲にテンプレートがある場合に動きベクト
ルの検出を行おうとする制限領域である。従って、画面
の周囲の所定の幅だけ除外したものを車両検知領域２８
としている。

【００３４】上記の例は車両の挙動検知について説明し
たが、その他の各種移動体についても同様の追跡処理が
可能である。また、自己の撮影する画像中から外れた移
動体の識別情報を通知するのは、バッファメモリを使用
しなくても、適当な通知用の手段を使用することができ
る。

【００３５】〈具体例１の効果〉以上のように、監視対
象区域内に複数のカメラを配置し、この監視対象区域を
分担して撮影し、各カメラを含む挙動検知ユニットによ
って車両の動きベクトルを求める一方、車両毎に車両画
像とこれを他の車両と区別するＩＤ番号とを対応付け、
その情報を挙動検知ユニット間で通知し合うことによ
り、広い監視対象区域内で撮影できる全ての車両につい
て、これらを区別しながら追跡することが可能になる。

【００３６】〈具体例２〉図１１に、具体例２の装置の
ブロック図を示す。この図の装置は、図１の装置の車両
画像記憶部３１、ＩＤ番号記憶部３２、車両画像バッフ
ァ３３、ＩＤ番号バッファ３４の部分を取り替えたもの
である。即ち、この図１１に示す記憶部４０には、位置
座標４１と、車両画像４２と、ＩＤ番号４３とを記憶し
ている。また、バッファ５０には、検出時刻５１、ベク
トル５２、位置座標５３、車両画像５４及びＩＤ番号５
５を記憶している。監視対象区域の両端に配置される挙
動検知ユニットＵ１は、この図の一番上に示したような
構成となり、監視対象区域の端以外に配置された挙動検
知ユニットＵ２はその下側に示すような構成となる。即
ち、記憶部４０には、位置座標４１、車両画像４２、Ｉ
Ｄ番号４３の他、検出時刻５１が格納される。また、バ
ッファ５０には、端のユニットと同様、検出時刻５１、
ベクトル５２、位置座標５３、車両画像５４及びＩＤ番
号５５が格納される。更に、図１の挙動検知ユニットＵ
２には、車両画像比較部３６の他に進行方向確認部３８
を設ける。

【００３７】図１２には、具体例２の装置による車両検
知領域の説明図を示す。具体例２は、既に図９を用いて
説明したように、監視対象区域を複数のカメラによって
分担して撮影する。この例では、例えば２台のカメラ１
Ｋと２Ｋとが分担して監視対象区域を撮影する。このと
き、一方のカメラで撮影していた車両が車両検知領域外
に移動し、更に他方のカメラで撮影している領域に移っ
た場合に、その車両がどの画像に該当するかを確実に認
識する。特に、２台の車両が同一車種で同一の色をして
いるような場合に、どの車両がどのような動きをしてい
るかを誤りなく検知する工夫が必要となる。ここでは、
その解決法を紹介する。

【００３８】図１１に示した記憶部４０に対し車両画像
４２やＩＤ番号４３の他に新たに位置座標４１を格納し
たのは、画面中で表示されている各車両がどの位置に存
在するかを常に記憶しておくためである。車両が移動す
る度にこの位置座標４１は更新される。そして、移動を
し車両検知領域外に車両が消えてしまった場合には、最
後に検出した位置座標４１が記憶部４０に格納される。
これは、バッファ５０に転送されて隣接する車両検知ユ
ニットへの通知に使用される。バッファ５０には、位置
座標５３、車両画像５４及びＩＤ番号５５の他に検出時
刻５１とベクトル５２とを格納する。ベクトル５２は、
図１に示す動きベクトル検出部９を用いて検出したベク
トルで、その車両がどちらの方向に移動中、車両検知領
域から姿を消したかを表示するためのものである。検出
時刻５１は、ベクトル５２や位置座標５３等をバッファ
５０に格納した時刻である。即ち、検出時刻５１で表示
された時刻にベクトル５２の方向に移動中の車両が位置
座標５３の部分から姿を消したという情報を、隣接する
車両検知ユニットに通知すれば、隣接する車両検知ユニ
ットはその情報に基づいて該当する車両を認識し、その
車両に誤りなく同一のＩＤ番号５５を付与できる。

【００３９】このために、隣接する車両検知ユニットに
は、進行方向確認部３８が設けられている。進行方向確
認部３８は、バッファ５０に格納された位置座標５３
と、ベクトル５２から予想される車両の位置と、自己が
検出した車両に関する記憶部４０に格納した位置座標４
１とを比較し、該当する車両を見つける。そして、車両
画像が一致しているかどうかを確認し、一致していれば
ＩＤ番号を付与する。この処理は車両画像比較部３６に
おいて行われる。

【００４０】〈具体例２の効果〉こうして、単に車両画
像の一致のみで各車両を追跡するばかりでなく、位置や
時刻や動きベクトルといった進行方向等の情報も含めて
判断するので、同一車種、同一色の車両が並行して走行
しているような場合においても、誤りなく各車両を区別
して追跡を行うことができる。図１３に、２台のカメラ
の画像の時間変化説明図を示す。この図の左側は、カメ
ラ１Ｋが撮影した画像を時刻ｔ１〜時刻ｔ４まで示して
いる。そして、その右側には、カメラ２Ｋが撮影した時
刻ｔ１〜時刻ｔ４までの画像を示している。この図に示
すように、時刻ｔ１，ｔ２，ｔ３と時間が経過するにつ
れて、カメラ１Ｋで撮影した２台の形の良く似た車両Ｖ
１，Ｖ２は、次第に画面の下から画面の上に向かって進
行する。そして、時刻ｔ３以降は、画面の上の端から消
える。一方、カメラ２Ｋで撮影した画像には、時刻ｔ４
に車両Ｖ１，Ｖ２が初めて撮影される。このとき、車両
Ｖ１がカメラ１Ｋの画像から消えた位置座標及びその動
きベクトルから、想定されるカメラ２Ｋの画像中の車両
Ｖ１の位置を予測する。こうしてカメラ２Ｋで撮影した
画像において、時刻ｔ４に撮影した画像の左側にあるの
が車両Ｖ１で、右側にあるのが車両Ｖ２であることが明
確になる。

【００４１】このようにして、この具体例では、複数の
車両を誤りなく追跡することができる。しかも、図１２
に示したように、カメラ１Ｋとカメラ２Ｋが撮影する車
両検知領域の間に、いずれの挙動検知ユニットも撮影し
ない領域が存在したとしても、車両の動きから次に撮影
する位置を予測するため、誤りなく同一の車両をそのま
ま追跡できる。従って、監視対象区域を全て網羅的にカ
メラを用いて撮影しなくても、各車両の追跡が可能とな
る。

【００４２】〈具体例３〉図１４に、具体例３の装置の
ブロック図を示す。この装置は、１組の挙動検知ユニッ
トＵ１がそれぞれ２台のカメラ１Ａ，１Ｂと、Ａ／Ｄ変
換部２Ａ，２Ｂとを備えている。そして、２台のカメラ
１Ａ，１Ｂの画像は画像合成部７１において合成され
て、合成された画像を用いて車両の挙動検出処理が行わ
れる。その他の部分の構成は図１のものと同一である。
なお、画像合成部７１には、画像の合成に必要な道路の
形状等を明らかにするための道路情報データ７０が供給
される。

【００４３】図１５に、このような挙動検知ユニットの
２台のカメラを道路上に据え付けた例を示す。このよう
に、具体例２の場合、１台の車両検知ユニットで、車両
の進行方向に見て直角な方向に広がりのある道路を撮影
するために、２台あるいはそれ以上のカメラ１Ａ，１Ｂ
を使用する。

【００４４】図１６には、例えば４車線ある道路の撮影
画像を示す。図に示すように、例えば車線Ｌ１〜Ｌ４ま
で４車線の道路上を２台の車両Ｂ１，Ｂ２が走行してい
るとする。この場合に、１台のカメラでは道路の左半分
あるいは右半分しか撮影することができない。このと
き、図１６に示すように、車両Ｂ１が左側から右側に車
線変更をするようなときも、正確にその動きベクトル検
出をする必要がある。そのために、図１５に示すよう
に、２台のカメラ１Ａ，１Ｂを用いて道路の左側と右側
をそれぞれ別々に撮影し、その画像を合成するようにし
ている。カメラ１Ａとカメラ１Ｂの出力は、図１４に示
すように、画像合成部７１において連結合成され、１枚
の広い幅の画像としてその後の処理がなされる。

【００４５】図１７には、ある時刻における各カメラの
映像と合成画像とを示す。この図に示すように、時刻ｔ
１，ｔ２，ｔ３という順に各カメラ１Ａ，１Ｂは、それ
ぞれ道路の一部分を撮影している。これが図１４の画像
合成部７１によって、図１７の右側に示すような合成画
像を得る。こうすれば、合成画像で道路全体をカバー
し、各車両毎の画像の切り出しやその追跡、動きベクト
ルの検出を誤りなく処理できる。なお、こうした画像の
合成には、画像のどの部分を基準に画像をつなぎ合わせ
るかという情報が必要になる。これが図１４に示す道路
情報データ７０である。即ち、例えば、道路のレーンを
分ける中央付近にあるライン７５をその基準情報とす
る。このライン７５が重なるように左右のカメラの撮影
した画像を合成してやれば、１枚の合成画像ができあが
る。この重ね合わせは、例えばライン７５の画像を丁度
車両の位置検出をした場合と同様にテンプレート化し、
どの部分にそのラインが存在するかを認識して画像の重
ね合わせをするとよい。

【００４６】〈具体例３の効果〉以上のように、特に車
両の進行方向と直角の方向に監視対象区域が広がった場
合に、複数のカメラで一部を重複させながら撮影をし、
その撮影画像を合成して合成画像を用いて車両の動きベ
クトル等を検出する。これによって、車線数の多い、幅
の広い道路でも車両を見失うことなく正確に追跡するこ
とができる。

【図面の簡単な説明】

【図１】本発明の広域車両追跡装置のブロック図であ
る。

【図２】（ａ）は現画像フレーム、（ｂ）は前画像フレ
ーム、（ｃ）は背景画像フレームである。

【図３】差分器の出力説明図である。

【図４】２値化部の出力説明図である。

【図５】個別車両領域マスク画像の説明図である。

【図６】テンプレート作成部の動作フローチャート（そ
の１）である。

【図７】テンプレート作成部の動作フローチャート（そ
の２）である。

【図８】動きベクトル検出部の動作フローチャートであ
る。

【図９】監視対象区域の説明図である。

【図１０】背景ブロック領域と車両検知領域の説明図で
ある。

【図１１】具体例２の装置のブロック図である。

【図１２】車両検知領域の説明図である。

【図１３】２台のカメラの画像時間変化説明図である。

【図１４】具体例３の装置ブロック図である。

【図１５】カメラ設置例説明図である。

【図１６】４車線の場合の説明図である。

【図１７】ある時刻における各カメラの映像と合成画像
の説明図である。

【符号の説明】

１カメラ３現画像フレーム記憶部４前画像フレーム記憶部５背景画像フレーム記憶部６差分器７２値化部８テンプレート作成部９動きベクトル検出部１０車両領域マスク画像作成部３０総合判定部３１車両画像記憶部３２ＩＤ番号記憶部３３車両画像バッファ３４ＩＤ番号バッファ３５ＩＤ番号生成部３６車両画像比較部Ｕ１，Ｕ２挙動検知ユニット

フロントページの続き (72)発明者塚本明利東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内

Claims

【特許請求の範囲】

【請求項１】監視対象区域について、それぞれ移動体
の進行方向に沿う部分を分担して撮影するカメラを備え
た複数の挙動検知ユニットを備え、監視対象区域の端に位置する挙動検知ユニットは、自己の撮影した画像中で検知した各移動体の画像に、監
視対象区域内部で一意に設定した識別情報を付与して記
憶する記憶部と、撮影する画像中から外れた移動体の識
別情報を隣接する他の挙動検知ユニットに通知する手段
とを備え、監視対象区域の端以外に配置された挙動検知ユニット
は、自己の撮影した画像中に新たな移動体が出現したとき、
隣接した挙動検知ユニットから通知を受けた識別情報に
基づいて、同一の移動体の画像に同一の識別番号を付与
する比較部と、移動体の画像とそれに付与した識別情報
を記憶する記憶部と、撮影する画像中から外れた移動体
の識別情報を隣接する他の挙動検知ユニットに通知する
手段とを備えたことを特徴とする広域移動体追跡装置。
【請求項２】請求項１において、識別情報比較部は、隣接した挙動検知ユニットから、移
動体の画像とこれに付与した識別情報の通知を受けて、
自己の撮影した同一の移動体の画像にその識別情報を付
与することを特徴とする広域移動体追跡装置。
【請求項３】請求項２において、識別情報は、移動体が画像から外れたときの位置と時刻
と動きベクトルとを含み、識別情報比較部は、隣接した挙動検知ユニットから、移
動体の画像とこれに付与した識別情報の通知を受けて、
自己の撮影した同一の移動体の画像の位置を前記時刻と
動きベクトルとから予測して、検出した同一の移動体の
画像に、その識別情報を付与することを特徴とする広域
移動体追跡装置。
【請求項４】請求項３において、互いに隣接する挙動検知ユニットの撮影する移動体検知
領域の間にいずれの挙動検知ユニットにも撮影されない
領域が存在することを特徴とする広域移動体追跡装置。
【請求項５】請求項１において、移動体の進行方向に直角な方向に広がりのある領域を移
動体が移動する場合に、２以上のカメラにより撮影した
画像を連結合成する画像合成部を備えたことを特徴とす
る広域移動体追跡装置。