JPH0991439A - 物体監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数の物体のそれぞれの動きを精度良く抽出
可能とする。 【解決手段】 撮像手段１，Ａ／Ｄ変換手段２および変
化領域抽出手段４等により抽出される変化領域の濃淡画
像から、監視領域設定画像５，カメラパラメータ７，変
換用マップ作成手段８および実空間変換手段１０等によ
り実空間の平面に擬似的に投影変換した画像を作成し、
作成した画像を分離手段１２にて個別の領域に分離し、
追跡手段１５にて個別の変化領域を時間的に追跡して動
きベクトルを抽出し、フレーム間の動きベクトルから抽
出手段１７により移動軌跡を抽出することで、個々の物
体を精度良く抽出できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、テレビカメラ等
の撮像手段を介して得た撮像画像から、特定の移動物体
の有無を検知したり、その個数をカウントしたり、物体
の移動速度を計測したり、異常状態を検知する機能をも
つ、画像処理を利用した物体監視装置に関する。

【０００２】

【従来の技術】従来、画像処理を利用した移動物体計測
装置として、例えば図１５に示すようなものが知られて
いる（特開平６−３６０１４号公報参照）。同図におい
て、３１は撮像装置としてのテレビ（ＴＶ）カメラ、３
２はＴＶカメラ制御回路、３３はフレームメモリ、３９
は処理領域設定回路、４０は垂直線検出回路、４１はプ
ロジェクションデータ作成回路、４２はデータ時系列蓄
積回路、４３は２値化回路、４４は穴埋め回路、４５は
線分要素抽出回路、４６は線分抽出回路、４７は車両判
定回路、４８は車両情報計測回路である。

【０００３】ＴＶカメラ３１は制御回路３２からの指令
にもとづき、任意のフレーム間隔で走行車両の画像を撮
像する。フレームメモリ３３はディジタル化された映像
信号を記憶する。処理領域設定回路３９は、テレビカメ
ラの設置位置やアングルに従い、車種毎の車両の分離精
度が高くなるよう、処理領域を設定する。垂直線検出回
路４０はこの処理領域内の画像データから、垂直線エッ
ジデータを検出する。プロジェクションデータ作成回路
４１は、このデータを水平方向に蓄積する。データ時系
列蓄積回路４２はプロジェクションデータを蓄積し、２
次元のデータを作成する。穴埋め回路４４は垂直エッジ
の欠落部によってできる穴埋めを行ない、線分要素抽出
回路４５により線分の要素を抽出する。線分抽出回路４
６は回路４５で抽出された線分要素を連結し、線分を抽
出する。車両判定回路４７は、抽出された線分の長さや
位置による判定を行なって車両となる線分を認識し、車
両情報計測回路４８は、車両の速度や車間距離などを計
測する。

【０００４】

【発明が解決しようとする課題】このように、図１５の
装置では、物体抽出を対象物体の特徴を表わすデータ
（車両の場合は垂直線）のプロジェクションをとった１
次元データを、時系列に蓄積した時系列蓄積画像を用い
ることで、フレーム間の対応付けをすることなく、画面
内の１つの移動物体に対して１本の線分を抽出し、その
線分から物体の移動速度などを計測するようにしてい
る。つまり、上記装置では対象物体はその移動ルート毎
に一定方向に動いていることが前提条件であり、交通流
計測を例にとると、１車線毎の処理を行なっているた
め、複数車線を有する道路における車両の車線変更や追
い越しがあるような場合は、そのような事象を検知する
のが困難であるという問題がある。

【０００５】また、一般にこのような監視平面は奥行き
が数十〜数百メートルと、遠くまでを見通すようにカメ
ラを設置しているが、遠くの方では解像度が低下し、接
近した複数の車両の分離ができないため、計測精度が低
下するという問題もある。したがって、この発明の課題
は物体毎の動きを精度良く抽出し得るようにすることに
ある。

【０００６】

【課題を解決するための手段】このような課題を解決す
べく、この発明では時系列画像より抽出した変化領域の
濃淡画像から、予め設定した監視領域の平面と撮像手段
との位置関係を用いて実空間の平面上に擬似的に投影変
換した画像を作成し、その画像から動きベクトル抽出に
より変化領域を追跡し、斜め方向への移動も含む物体の
軌跡を検知し得るようにする。また、物体の速度，加速
度などの運動パラメータから、或る時刻における個別変
化領域の次時刻での位置を予測し、その予測領域近辺の
一定の範囲内だけで動きベクトル抽出を行なうことで、
処理の高速化を図る。さらに、撮像手段から遠方におい
て、複数の物体が近接して存在し複数の物体が１つの個
別変化領域として抽出された場合でも、それ以前または
以後の複数の物体が個々の変化領域として抽出された場
合のデータとの間で分割や統合を許容した対応付けを行
なうことにより、個別の物体の動きを高精度に推定す
る。

【０００７】

【発明の実施の形態】図１はこの発明の第１の実施の形
態を示すブロック図である。同図において、１はテレビ
カメラ等の撮像手段、２はＡ／Ｄ変換手段、３は現時刻
における入力画像記憶部、４は変化領域抽出手段、５は
監視領域設定画像、６は変化領域濃淡画像である。ま
た、７はカメラと監視平面との空間的な位置関係を示
す、予め設定されるカメラパラメータ、８は実空間変換
マップ作成手段、９は実空間変換マップ、１０は実空間
変換手段、１１は実空間変化領域画像、１２は変化領域
分離手段、１３は個別変化領域画像、１４は前フレーム
個別変化領域画像、１５は変化領域追跡手段、１６は時
系列変化領域画像、１７は物体軌跡抽出手段、１８は物
体軌跡、１９は結果計算・出力手段、２０は監視結果を
示す。

【０００８】撮像手段１によって取り込まれた画像は、
Ａ／Ｄ変換手段２によってディジタル化され、入力画像
記憶部３に格納される。変化領域抽出手段４は監視領域
設定画像５を参照しながら、監視領域内で一定以上の濃
度変化のあった領域を、変化領域濃淡画像６として生成
する。監視領域設定画像５は、監視対象物体が存在する
範囲だけを残して画面をマスクしたり、性質の異なる領
域を区別するために用意され、交通流計測においては例
えば各車線の領域を区別する機能を持つ。

【０００９】カメラパラメータ７としては、カメラと監
視平面間の距離（カメラ設置高さ）Ｈ、カメラの俯角
θ、カメラレンズの焦点距離ｆ、カメラの撮像面サイズ
ｈなどがある。カメラと監視平面との関係を図２に示
す。撮像された画像上の各画素と監視平面上での位置と
の対応が、これらのパラメータによって決定されるわけ
である。このカメラパラメータ７と監視領域設定画像５
から、監視領域を擬似的に実空間へと変換するための変
換マップ９を作成するのが、実空間変換マップ作成手段
８である。実空間変換手段１０はこの変換マップ９に従
い、擬似的に実空間の監視平面上に変化領域濃淡画像６
の貼りつけを行ない、実空間変化領域画像１１を作成す
る。

【００１０】変化領域分離手段１２では、変化領域の各
ラベルの濃度の類似度やラベル間距離を用いて、変化領
域を同一物体と見られるまとまりに分離する。個別変化
領域画像１３は、こうして分離された画像を示す。変化
領域追跡手段１５は前フレームで抽出された個別変化領
域画像１４を用い、これに対応する現フレームの個別変
化領域を探索し、対象物体の追跡を行なう。時系列変化
領域画像１６は、こうして対応付けられた一連の時系列
変化領域画像である。物体軌跡抽出手段１７はこの時系
列変化領域画像１６から、物体の存在位置による抽出精
度を考慮して物体の軌跡を求めるもので、１８はその結
果得られる物体軌跡を示す。結果計算・出力手段１９は
物体軌跡１８から、必要とされる物体個数，速度などの
データを計算したり、出力したりする。その結果（監視
対象有無，監視対象数，監視対象速度等）を符号２０で
示す。

【００１１】図３は、この発明による擬似的な実空間変
換画像の一例として、交通流計測を例にとってその画面
を示したものである。同図（ａ）は監視領域設定画像、
（ｂ）は対象物体（ここでは車）がない状態の背景画
像、（ｃ）は３台の車が走行している入力画像である。
この（ｂ），（ｃ）の２枚の画像から、背景画像に対し
て一定以上の濃度変化を持つ領域を抜き出したのが、
（ｄ）の変化領域濃淡画像である。（ｅ）は、変化領域
濃淡画像を擬似実空間画像へと変換するためのマップを
説明するための図である。この擬似的実空間画像も２次
元の画像データとなっており、マップは実際はもとの画
像上の画素ｉｐ（ｘ，ｙ）を、擬似実空間画像ＩＰ
（ｕ，ｖ）へマッピングするための（ｘ，ｙ）と（ｕ，
ｖ）の組として記述される。このマップは予め作成して
おくと、カメラの設定や位置が変化しない限り、同一の
マップを使用することができる。

【００１２】図４（ａ）に以上のようにして変換した擬
似実空間画像の例を示す。対象物体が遠ざかるつれて、
もとの画像の実空間での分解能が低下し、入力画像の１
画素は実空間上の非常に広い領域に対応していることが
分かる。また、図４（ｂ）〜（ｄ）に擬似実空間画像の
時間的変化（時系列画像）例を示す。

【００１３】図５は変化領域を個別の物体領域に分離す
る処理を説明するためのフローチャートである。ここで
は、対象物体はそれぞれ固有の色（濃度）を有している
ものとし、各領域間の距離と平均濃度値により領域の分
離を行なうこととする。すなわち、ｉ，ｊ番目の領域の
平均濃度をｇｉ，ｇｊ、ｉ番目とｊ番目の領域間距離を
ｄｉｊとすると、 ｄｉｊ≦Ｄでかつ｜ｇｉ−ｇｊ｜≦Ｇ を満足する領域を１つの個別領域として抽出する。Ｄ，
Ｇはしきい値であり、実際のデータをもとに、適宜な値
に設定する。図６に個別領域の分離結果の例を示す。こ
の例では、３つの個別領域〜が抽出されている。

【００１４】図７は変化領域の追跡処理を示すフローチ
ャートである。これは、時刻ｔにおけるｎ（ｔ）個の個
別変化領域に、時刻ｔ＋１におけるｎ（ｔ＋１）個の個
別変化領域の対応付けを行なうものである。この際、個
別変化領域物体の進行方向後方から前方に向かって、番
号をふっておく。対象物体は静止しているか、進行方向
に向かって移動しているとしても差し支えないので、ま
ず、時刻ｔにおける変化領域ａｉを、時刻ｔ＋１の変化
領域画像の中で、時刻ｔの位置より進行方向に向かう領
域だけに限定して、濃度相関による位置探索を行なう。

【００１５】上記探索は具体的には、次式（１）に示さ
れるような、時刻ｔにおける個別領域画像テンプレート
ａｉ（ｉ＝１，２，…ｎｔ）と、時刻ｔ＋１における変
化領域画像ＩＰｔ＋１（ｋ，１）との濃度相関値Ｃ
（Ｕ，Ｖ）が、最大となるような（Ｕ，Ｖ）を求めるも
のである。

【００１６】なお、上記（１）式の｜ＴＰ｜は次の
（２）式で示されるテンプレートのノルム、｜ＩＰ｜は
（３）式で示される変化領域画像のノルムを示す。

【００１７】ところで、物体の移動方向は既知なので、
前フレームで抽出された物体は、次のフレームでは前フ
レームの位置と同じか、または、進行方向に進んでいる
ものとしても差し支えはない。また、車線の変更も考慮
して、車線に対し垂直方向にも探索を行なう。探索時に
は、変化領域以外の画素値は「０」とする。次の時刻で
は、このマッチング位置にある個別変化領域でテンプレ
ートを更新して、さらに次時刻の追跡を行なう。途中、
時刻ｔ＋１において、時刻ｔの変化領域位置から進行方
向の変化領域が存在しない、または濃度相関値が一定レ
ベル以下のものしか存在しない（時刻ｔでの）変化領域
ａｉについては、時刻ｔ＋１で消失したものとする。ま
た、時刻ｔにおける変化領域の対応付け終了後、時刻ｔ
＋１で対応元がなく、一定以上の面積を有する変化領域
については、時刻ｔ＋１で出現したものとする。

【００１８】図８は追跡処理例を説明するための説明図
である。同図（ａ），（ｂ），（ｃ）はそれぞれ時刻
ｔ，ｔ＋１，ｔ＋２において抽出された変化領域画像で
ある。すなわち、時刻ｔ＋１の変化領域画像上では、時
刻ｔのテンプレートａｉの位置より進行方向の領域内
（網掛けの部分参照）で、時刻ｔの個別変化領域テンプ
レートａｉとの濃度相関が最大になる点を探索する。時
刻ｔ＋２の変化領域画像についても同様に、時刻ｔ＋１
の変化領域テンプレートｂｉの位置より進行方向の領域
内で、時刻ｔ＋１の変化領域ｂｉとの濃度相関が最大に
なる点を探索する。変化領域追跡結果として抽出された
動きベクトルを、（ｄ）に示す。この場合は、進行方向
最後部中央を代表点とする動きベクトルである。

【００１９】一般に、各フレーム間の動きベクトルは、
前フレームの個別変化領域の代表点から現フレームの変
化領域画像中で、前フレームの個別変化領域テンプレー
トとの濃度相関が最も高くなった時の、テンプレートの
代表点に向けたベクトルとして抽出されており、必ずし
もフレーム間で連続した軌跡とはなっていない。物体軌
跡追跡処理では、このような離散的なフレーム間の動き
ベクトルを、連続した軌跡データに合成する。図９は、
このような動きベクトルから得られる物体軌跡抽出例を
示す。

【００２０】図１０はこの発明の第２の実施の形態を示
すブロック図である。同図からも明らかなように、この
例は図１に示すものに対し、運動速度，加速度データの
設定手段２１および次フレーム変化領域予測手段２２を
付加して構成される。図１では、時刻ｔの物体に対応す
る領域を時刻ｔ＋１の変化領域濃淡画像から探索するの
に、時刻ｔの物体位置より進行方向の全領域を探索して
いるが、ここでは図１１に示すように、時刻ｔの物体に
対応する領域を、前時刻までの流れの移動速度Ｖ、物体
の速度上限Ｖｍａｘ、加速度下限Ａｍｉｎ（Ｖ）、上限
Ａｍａｘ（Ｖ）から予測した予測範囲内（図１１の網掛
け部分参照）だけで行なうことにより、処理量を少なく
し追跡処理の高速化を図るものである。なお、その他の
点は図１と同様なので、詳細は省略する。

【００２１】図１２は遠方における複数物体の重複を説
明するための説明図である。同図（ａ），（ｂ）は同一
の距離だけ離れている２つの物体と、その監視画像を示
す。（ａ）では、２つの物体はカメラの近くにあるた
め、監視画像上でも分離して抽出されるが、（ｂ）では
カメラから遠くにあるため、監視画像上の変化領域から
２つの物体を分離することができない状態にある。この
ように、同一の距離だけ離れた物体でも、近くに存在す
る場合は別々の物体として分離できる場合でも、遠くで
他の物体によりその一部が隠れてしまったり、遠くに出
現したときは１つの変化領域であったが、近くに移動す
るにつれて複数の物体に分離することがある。物体がカ
メラから遠ざかる方向に移動する場合、単純に個別変化
領域同士を１：１で対応付けると、カメラから遠くにあ
る重複物体は、その一部が見えていても対応付けられな
くなる。また、Ｎ：１の統合を許容して対応付けたとし
ても、遠方でその一部が手前の物体で隠れた物体に対し
ては、個別変化領域の移動軌跡を求めることができなく
なる。

【００２２】図１３に遠方での物体重複を考慮した場合
の追跡例を示す。ここでは、物体は全てカメラから遠ざ
かる方向に移動しているものとする。すなわち、時刻ｔ
では別の個別変化領域として抽出されている物体
（（ａ）の，参照）が、時刻ｔ＋１では遠方に移動
したため、１つの個別変化領域になる。追跡は、進行方
向後方の物体から行なうとすると、（ｂ）の変化領域中
を（ａ）のをテンプレートとして探索した結果、最大
相関位置が決定する。次に、（ｂ）の変化領域画像中か
ら、テンプレートとマッチングした領域を除去（具体的
には画素値＝０とする）した画像（ｃ）から、時刻ｔの
の変化領域をテンプレートとして探索し、最大相関位
置を得る。（ｄ）は、このようにして求めた個別変化領
域の動きベクトルである。

【００２３】次に、物体がカメラに近づく場合について
説明する。遠方で、重複して１つの個別変化領域となっ
ていた物体が近くにきて、それぞれ別の変化領域に分離
した場合は、個々の個別変化領域の軌跡を正確に求める
ことが必要になる。図１４に物体がカメラに向かって近
づく場合の、遠方での物体重複を考慮した場合の追跡例
を示す。同図（ａ）は時刻ｔにおける変化領域画像を示
し、２個の物体が重複した個別変化領域が抽出されて
いる。（ｂ）は時刻ｔ＋１における変化領域画像中で、
時刻ｔにおける個別変化領域をテンプレートとして探
索を行なった結果を示す。探索結果の領域中に’，
’の２個の個別変化領域が含まれている。カメラに向
かって手前側の個別変化領域’については抽出された
動きベクトルで良いが、遠方の個別変化領域’につい
ては、時間をさかのぼって、時刻ｔにおける個別変化領
域中を探索範囲として、個別変化領域’のマッチング
位置を探索し、その位置を時刻ｔ＋１の個別変化領域
’と対応付けるような動きベクトルを抽出する。抽出
された動きベクトルを（ｄ）に太線矢印で示す。

【００２４】

【発明の効果】この発明によれば、時系列画像から抽出
された変化領域の濃淡画像より、予め設定されている監
視領域の平面と撮像手段との位置関係を用いて、実空間
の平面上に擬似的に投影変換した画像を作成し、その画
像から動きベクトル抽出により変化領域を追跡するよう
にしたので、斜め方向への移動も含む物体の軌跡を検知
することが可能となる利点が得られる。また、物体の速
度，加速度を含む運動パラメータより、或る時刻におけ
る個別変化領域の次時刻での位置を予測し、その予測領
域近辺で動きベクトルの抽出を行なうことにより、処理
の簡素化と高速化を図る。さらに、撮像手段から遠方に
おいて、複数の物体が近接して存在し複数の物体が１つ
の個別変化領域として抽出されるような場合でも、それ
以前または以後の複数の物体が個々の変化領域として抽
出された場合のデータとの間で、分割や統合を許容した
対応付けを行なうことにより、個別の物体の動きを高精
度に推定することができる。

【図面の簡単な説明】

【図１】この発明による第１の実施の形態を示すブロッ
ク図である。

【図２】カメラと監視平面との位置関係の説明図であ
る。

【図３】擬似実空間用変換マップの説明図である。

【図４】実空間用変換した変化領域濃淡画像例の説明図
である。

【図５】この発明による変化領域分離処理を示すフロー
チャートである。

【図６】変化領域分離結果例の説明図である。

【図７】この発明による変化領域追跡処理を示すフロー
チャートである。

【図８】変化領域追跡結果例の説明図である。

【図９】物体軌跡抽出結果例の説明図である。

【図１０】この発明による第２の実施の形態を示すブロ
ック図である。

【図１１】変化領域予測方法の説明図である。

【図１２】遠方における複数物体の重複の影響説明図で
ある。

【図１３】遠方での物体重複を考慮した追跡結果例の説
明図である。

【図１４】遠方での物体重複を考慮した追跡結果の別の
例の説明図である。

【図１５】従来例を示すブロック図である。

【符号の説明】

１…撮像手段（カメラ）、２…Ａ／Ｄ変換手段、３…入
力画像記憶部、４…変化領域抽出手段、５…監視領域設
定画像、６…変化領域濃淡画像、７…カメラパラメー
タ、８…実空間変換マップ作成手段、９…実空間変換マ
ップ、１０…実空間変換手段、１１…実空間変化領域画
像、１２…変化領域分離手段、１３…個別変化領域画
像、１４…前フレーム個別変化領域画像、１５…変化領
域追跡手段、１６…時系列変化領域画像、１７…物体軌
跡抽出手段、１８…物体軌跡、１９…結果計算・出力手
段、２０…監視結果。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 時系列画像を入力する撮像手段と、監視
   領域の平面と撮像手段との空間的な位置関係を設定する
   設定手段と、時間変化による画像上の変化領域を抽出す
   る抽出手段と、変化領域の時系列画像から監視対象物体
   とその動きを認識する画像処理を用いた物体監視装置に
   おいて、 前記監視領域内の濃淡画像を撮像手段と監視平面の空間
   的な位置関係を用いて実空間での監視平面上に擬似的に
   投影変換する変換手段と、実空間上へ変換後の変化領域
   濃淡画像を個別の変化領域に分離抽出する分離抽出手段
   と、時系列の変化領域濃淡画像から動きベクトル抽出に
   より変化領域を追跡する追跡手段と、その追跡により対
   応付けられた変化領域から物体軌跡を推定する推定手段
   とを設けたことを特徴とする物体監視装置。
2. 【請求項２】 前記個別の変化領域濃淡画像の次フレー
   ムでの存在範囲を、前記監視平面を実空間に擬似的に投
   影変換した平面上で、物体の運動パラメータにもとづき
   予測する予測手段を付加したことを特徴とする請求項１
   に記載の物体監視装置。
3. 【請求項３】 前記追跡手段を、物体が撮像手段の近く
   から遠くに向かって移動するとき、手前側で別々の変化
   領域として抽出された複数の物体が、遠方に移動して重
   複により１つの変化領域として抽出される場合でも、実
   空間に投影変換した変化領域濃淡画像上での濃淡画像相
   関により、個々の物体領域を追跡可能にしたことを特徴
   とする請求項１に記載の物体監視装置。
4. 【請求項４】 前記追跡手段を、物体が撮像手段の遠く
   から近くに向かって移動するとき、遠方において複数の
   物体が重複し１つの変化領域として抽出された状態か
   ら、近くで別々の変化領域として抽出される場合でも、
   実空間に投影変換した変化領域濃淡画像上での濃淡画像
   相関により、個々の物体領域を追跡可能にしたことを特
   徴とする請求項１に記載の物体監視装置。