JPH05298591A

JPH05298591A - 物体認識装置

Info

Publication number: JPH05298591A
Application number: JP4106415A
Authority: JP
Inventors: Tadaaki Kitamura; 忠明北村; Yoshiki Kobayashi; 小林　　芳樹; Kunio Nakanishi; 邦夫中西; Masakazu Yahiro; 正和八尋; Yoshiyuki Sato; 良幸佐藤; Toshiro Shibata; 敏郎柴田; Takeshi Horie; 武堀江; Katsuyuki Yamamoto; 勝之山本
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-04-24
Filing date: 1992-04-24
Publication date: 1993-11-12
Anticipated expiration: 2016-08-20
Also published as: JP3200950B2

Abstract

(57)【要約】【目的】移動する物体を、環境変化や隠れなどに左右さ
れないように抽出し、移動物体の軌跡を正確に求める。【構成】入力画像の中から移動物体の特徴的な部分を複
数濃淡のテンプレート画像として切り出し登録するテン
プレート登録回路と、その後の入力画像と該テンプレー
ト画像とで濃淡パターンマッチングする濃淡パターンマ
ッチング回路と、移動物体の形状変化に対応するために
記憶しているテンプレート画像を更新するテンプレート
更新回路と該複数の部分テンプレートを統合して移動物
体全体を把握する分離，統合回路とを有する。【効果】移動物体の特徴的な部分濃淡パターンマッチン
グを実行して統合処理することで、明るさの変化や、移
動物体の重なりが生じても正確に移動物体の位置を検出
でき、移動物体の追跡が容易になる。また、移動物体の
形状が変化しても、テンプレートを更新することによっ
て、柔軟に対応可能である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体の動きなどを把握
するのに必要な物体の認識および追跡方法に関するもの
である。

【０００２】

【従来の技術】物体の動きなどを画像処理を応用して認
識することは、非常に有効であり、各種の応用が考えら
れる。例えば、道路上を走行する車両を認識して、通過
台数や、速度あるいは、停止しているのか否かなどの情
報を計測できる。

【０００３】これまで、テレビカメラの画像を処理して
車を認識する方式としては、例えば、特開平2−122400
号「空間密度検出方式」や、「ＤＴＴ法を用いた車両認
識」情報処理学会研究会コンピュータビジョン；７２−
５；１９９２．５；に記載されている方法などがある。

【０００４】

【発明が解決しようとする課題】上記「空間密度検出方
式」の場合は、入力画像を微分し、この画像を２値化し
て、特徴計測するもので、「ＤＴＴ法を用いた車両認
識」は、入力画像を微分処理し、この画像を２値化して
この２値画像のＸ軸方向（水平方向）に２値の投影分布
を求め、更にこの投影分布を有る所定のしきい値以上の
座標だけを記憶するようなことで、車両の奇跡を求めて
いる。画像処理によって車の台数，速度などを計測する
方法は、従来はこのような流れがほとんどであるため、
２値化のしきい値が設定しにくい、車が重なった場合に
計測困難などといった問題が有った。本発明の目的は、
明るさの変化や、物体の重なりが生じても良好に移動物
体の追跡を行い得る物体認識装置の提供にある。

【０００５】

【課題を解決するための手段】移動物体の追跡をこれま
では２値画像で実行していたが、濃淡画像のまま、ある
テンプレート画像とのマッチングを求めることで追跡す
るようにし、従来の２値化しきい値などを不要とする。

【０００６】ここで、かなり大きな物体の移動を人間が
観察する場合を考えてみると、必ずしもその移動物体全
体をテンプレートとして追跡するのでなく、ある特定の
注目点の移動を追跡し、それらの動きが同じ速度，同じ
移動方向の箇所を最終的に統合化して大きな物体を認識
しているものと考えられる。即ち、大型バスなどの場
合、屋根の上の換気口や窓のような特徴のある場所につ
いて移動を追跡し、複数の特徴的な箇所が同じ速度，同
じ方向に移動していることを認識して、最終的に「大型
バス」であると認識していると考えられる。

【０００７】ところが、これまでの画像処理手法は、対
象物体全体の認識を行っていることがほとんどであるた
め、対象のコントラストが低い場合（例えば、影の中に
存在する黒い車など）に対象物体の一部が欠けたりして
しまうために、認識が困難であった。しかしながら、低
コントラストの物体でも、コントラストが高い領域が必
ず存在する(全てが見えないような対象の場合は人間の
目でも認識困難である)ので、この部分に着目して人間
と同じように後処理で統合すれば、どのような対象物で
も容易に認識可能と考える。

【０００８】そこで、本発明の物体認識手法は、物体の
画像の中から特徴的な領域を取り出し、その特徴的な画
像その物を濃淡テンプレートとして登録し、濃淡パター
ンマッチングすることで各テンプレート毎に移動点を求
め、この情報から移動速度，移動方向を求め、この結果
を統合処理することで、移動物体全体の認識を行うよう
にしたものである。濃淡パターンマッチング回路の例と
しては、特開昭63−98070 号「相関演算装置」などに記
載されている。

【０００９】なお、本手法を「部分相関統合法」と称す
ることにする。

【００１０】

【作用】物体の特定箇所の画像を記憶する濃淡テンプレ
ート記憶回路と、この濃淡テンプレートと入力画像との
間でパターンマッチングする濃淡パターンマッチング回
路を有し、濃淡テンプレートの画像と類似している画像
を入力画像の中からサーチすることで、物体の存在位置
を求め、この座標変化により移動速度，移動方向を求
め、各テンプレートの挙動が類似しているテンプレート
は同一物体であると判断する統合処理を有する。

【００１１】

【実施例】以下、本発明の一実施例を図面を用いて説明
する。説明は道路をテレビカメラで撮影し、道路上を走
行する車両の認識手法について説明するが、車だけでな
く全ての物体の挙動計測に適応可能である。

【００１２】図１は本発明の構成を示すブロック図であ
る。テレビカメラ１などの映像はアナログデータをディ
ジタルデータに変換するＡ／Ｄ変換器２を経て、画像メ
モリ３に入力される。この画像メモリ３は８ビット程度
の濃淡画像メモリである。一方、濃淡テンプレート記憶
回路４は濃淡画像の濃淡テンプレートを記憶する。この
濃淡画像メモリ３と濃淡テンプレート記憶回路４はアド
レスプロセッサ５によりメモリ内を走査する構成となっ
ている。濃淡テンプレート記憶回路４は画像の中からテ
ンプレート領域を切り出すテンプレート切り出し回路８
を経て記憶される。濃淡テンプレート記憶回路４は色々
な濃淡画像を記憶できるように複数の濃淡テンプレート
を有する。濃淡パターンマッチング回路６は画像メモリ
３の画像データ３０と濃淡テンプレート記憶回路４の画
像データ４０とのマッチングを求めるもので、通常以下
の正規化相関演算を実行する。

【００１３】入力画像ｆ（ｘ，ｙ）に対し濃淡テンプレ
ートＴ（ｐ，ｑ）で正規化相関する場合、入力画像ｆ
（ｕ，ｖ）点の類似度ｒ（ｕ，ｖ）は数１で計算され
る。

【００１４】

【数１】

【００１５】ここで、ｐ，ｑは濃淡テンプレートのｘ，
ｙサイズである。なお、相関を求める方法としては、上
記と同様な効果がある相関処理ならどのような処理でも
構わない。

【００１６】以上の画像メモリ３，濃淡テンプレート記
憶回路４の走査，濃淡パターンマッチング回路６の動作
などはすべてＣＰＵ（図示しない）で制御される。すな
わち、ＣＰＵからアドレスプロセッサ５と濃淡パターン
マッチング回路６に起動がかかり、上記計算式の画像ア
ドレス発生をアドレスプロセッサ５で発生させ、画像メ
モリ３，濃淡テンプレート記憶回路４のデータを読みだ
し、濃淡パターンマッチング回路６で類似度計算に必要
なデータを求め、ＣＰＵで類似度ｒ（ｕ，ｖ）を計算す
る。類似度が大きい座標が求まると、「時間」「Ｙ座
標」の管理と「時間」「Ｘ座標」の管理を行う軌跡管理
テーブル９に記憶する。そして、軌跡管理テーブルに対
して分離，統合処理を分離，統合処理回路１０で実行す
る。濃淡パターンマッチング回路６を簡単に説明する
と、濃淡テンプレートに関するデータはあらかじめ計算
できるので、類似度演算の時は入力画像に関するデータ
を計算し、ＣＰＵに伝送する。入力画像に関するデータ
は、上記計算式の場合は、下記の数２から数４の演算を
濃淡パターンマッチング回路６で求めている。なお、濃
淡テンプレート記憶回路４は画像メモリ３で共有するこ
とも可能である。

【００１７】

【数２】

【００１８】

【数３】

【００１９】

【数４】

【００２０】図２は入力画像に対し、濃淡パターンマッ
チングする場合の例を示す。時刻ｔの入力画像ｆ（ｔ）
に車２０が映っていた場合、該入力画像ｆ（ｔ）から濃
淡テンプレートＴ１を切り出し、時刻ｔ＋ｄｔの入力画
像ｆ（ｔ＋ｄｔ）に対しパターンマッチングしながらラ
スター走査し、類似度ｒ（ｕ，ｖ）が大きくなる座標を
探すと図２（ｂ）のように類似度最大点が求まる。した
がって、時刻ｔの車両存在座標（テンプレート中心座
標）と時刻ｔ＋ｄｔの類似度最大点から、車両の瞬間移
動速度，移動方向などを求めることが可能となる。

【００２１】ここで、画像メモリの水平方向軸をＸ座
標，垂直方向の軸をＹ座標と呼ぶ。

【００２２】上記の正規化相関処理の利点は、登録した
濃淡テンプレートと画像のパターンが似ていれば、明る
さが変化したり、多少何かによって隠れた場合（車両の
重なりや、建物の影などによって車両の一部分しか見え
ない場合など）でも類似度としてはある程度得られるこ
とが出来るということである。すなわち、路面の明るさ
に似たものでも、車の形を持っていれば車両と認識する
ことが出来る。従来は、あるしきい値で２値化処理する
ため、低コントラストの車両の認識が非常に困難であっ
たが、本実施例の手法を用いることで容易に車両の抽出
が可能である。ここで、車両を認識する場合、車両の種
類には小型，大型など色々な種類がある。即ち、大きさ
が色々なものがある。パターンマッチングで処理する場
合、大きさの変化が問題となるが、車両全体のパターン
マッチングを実行していたのでは、車両の大きさをあら
かじめ認識できなければならず、ランダムに通過する車
両の認識には適応が困難である。そこで、人間がかなり
大きな物体の移動を観察する場合、必ずしもその移動物
体全体を追跡するのでなく、ある特定の注目点の移動を
追跡し、それらの動きが同じ速度，同じ移動方向の箇所
を最終的に統合化して大きな物体を認識している方法と
同様な手法を採用する。即ち、車両の大きさより小さい
部分テンプレートを複数用意し、各テンプレート毎に濃
淡パターンマッチングを行い、その結果得られる各テン
プレート毎の移動速度，移動方向が類似しているものを
同じ車両であると判断するように統合処理し、大きさに
依存しない処理としている。なお、登録したテンプレー
トに移動物体が存在しない場合（路面だけの画像）は、
類似度最大点は定義できないか、あるいは登録したテン
プレートの中心座標から移動しない事になる。

【００２３】図３で詳細に説明すると、入力した画像の
中に車両の大きさより小さい部分領域を設定する。この
図では、テンプレートＴ１，Ｔ２を設定する。この部分
領域をそれぞれテンプレートとして登録し、順次入力す
る画像とマッチングを求め、各テンプレート毎にマッチ
ングの最大点を求める。この状態を横軸「時間」，縦軸
「Ｙ座標」として図４のように表すと、各テンプレート
毎に軌跡を求めることが出きる。ここで、時間軸の単位
は画像を入力するサンプリング間隔に相当し、例えば３
フレーム毎に画像を取り込む場合は、３×１／３０＝１
００ｍｓが単位となる。この管理は、軌跡管理テーブル
９で管理している。テンプレート毎にマッチング点が微
妙に異なるため、移動速度（Ｙ座標の変位）が変化する
が、同一車両の部分テンプレートであるため、ほとんど
類似した挙動を示す。このため、これらを統合処理すれ
ば、車両全体の認識を実行することが可能となる。統合
処理は統合処理回路１０で実行する。図５は横軸「時
間」，縦軸「Ｘ座標」として軌跡を表したもので、軌跡
の形状を認識することで、直進，車線変更の区別が可能
となる。図６は車両が２台通過する場合の詳細を示すも
ので、時刻ｔ１からｔ１６までのある単位時間間隔毎に
入力した画像を処理する場合である。テンプレートは車
両が進入する画面下部に設けた３つの部分領域の濃淡画
像を用いる。以下、概略処理手順を説明すると、（１）ｔ１時刻の画像において、３枚の車両前部の部分
テンプレートＴ１(t1)〜Ｔ３（ｔ１）が登録される。こ
こで、ｔは時間を、Ｔはテンプレートを表す。（２）登録したＴ１（ｔ１）〜Ｔ３（ｔ１）を用いてｔ
２時刻の画像に対して濃淡パターンマッチングする。こ
の結果Ｔ１（ｔ１）〜Ｔ３（ｔ１）の部分テンプレート
についての移動軌跡が求まる。

【００２４】（３）ｔ２時刻の画像においても、３枚の
部分テンプレートＴ１（ｔ２）〜Ｔ３（ｔ２）を登録す
る。

【００２５】（４）同様に、登録したＴ１（ｔ１）〜Ｔ
３（ｔ１）及び、Ｔ１（ｔ２）〜Ｔ３（ｔ２）を用い
て、ｔ３時刻の画像に対して濃淡パターンマッチングす
る。この結果Ｔ１（ｔ１）〜Ｔ３（ｔ１）及び、Ｔ１
（ｔ２）〜Ｔ３（ｔ２）の部分テンプレートについての
移動軌跡が求まる。

【００２６】（５）以上の様な処理を順次繰り返すと、
即ち、各時点における部分テンプレートの登録と、前時
点までに登録した部分テンプレートと現時点の画像との
濃淡パターンマッチングを並列に順次繰り返すことによ
り、図７のように各部分テンプレート毎の軌跡が求ま
り、同じ車両はその軌跡が密に並び、他の車両との区別
を付けることが出きる。ちなみに、密に並んでいる軌跡
と軌跡の間が車間距離、密に並んでいる軌跡の幅が車長
に相当する。また、軌跡の傾きは速度に相当する。

【００２７】（６）部分テンプレートの分離，統合処理
を行う。図７の場合は、部分テンプレートＴ１（ｔ１）
〜Ｔ３（ｔ１）が同一物体であるといった処理を実行す
る。本手法を用いることで、車両行動認識が容易に実行
できることが分かる。

【００２８】以下、各処理方法の具体例を説明する。

【００２９】１．分離，統合処理方法各テンプレートの移動点が求まった後の、分離，統合処
理方法には、下記のような手法が考えられる。

【００３０】１．１統合処理（１）各テンプレート毎の軌跡を最小２乗法などで曲線
近似し、それぞれの曲線の距離が近い部分テンプレート
は統合する。

【００３１】（２）対象画像の知識（濃度分布の知識，
形状の知識など）をあらかじめ用意し、テンプレートの
形状が認識対象のどの部分に相当しているかを判断し、
全体を統合する。たとえば、車両の場合、あるテンプレ
ート１が「テールランプの左側の画像」、あるテンプレ
ート２が「テールランプの右側の画像」、あるテンプレ
ート３が「リアーウインドの中央の画像」とすると、知
識をもとに、テンプレート１の右側にテンプレート２が
有り、その上部にテンプレート３がある、と判断でき
る。すなわち、テンプレート１からテンプレート３は同
一物体であると判断できる。

【００３２】テンプレートの大きさは、初期の部分テン
プレートで常に処理する方法（仮想大型テンプレート）
と、統合した後は、統合した部分テンプレートを全て含
む矩形の領域のテンプレートとして処理する場合が考え
られる。

【００３３】１．２分離処理（１）統合したテンプレートの内、一部のテンプレート
の特徴量（例えば、平均濃度）が急激に変化した場合
は、統合パターンから分離する。

【００３４】（２）統合したときに、各テンプレートを
あらかじめある抵抗で連結しているものとし、あるテン
プレートの動きが他の接続されているテンプレートの動
きと異なった場合は、抵抗値を切断しない範囲なら統合
したままにしておき、抵抗値を切断するような大きな差
がある場合は、そのテンプレートを分離する。尚、上記
の抵抗値としては、例えば連結の強度表す重み、あるい
は結合度を表す関数などで定義できる。

【００３５】２．サーチ範囲の限定法道路を走行する車両の動きを認識する場合、登録したテ
ンプレートの相関演算を常に全面走査する必要はない。
すなわち、車の移動範囲はある程度限定されているの
で、車の過去の動きから次のサーチ範囲を特定すること
ができる。類似度演算の処理時間は画素数（テンプレー
トのサイズとサーチ範囲の大きさ）に比例するため、出
来るだけサーチ範囲を小さくすることが有効である。図
８にその例を示すが、車両がｘ０，ｙ０座標からｘ１，
ｙ１座標に移動した場合の次のサーチエリアは移動速度
Ｖと移動方向θを用いて特定することが可能である。予
想位置は前回の移動速度Ｖに対し、最小速度Ｖmin，最
大速度Ｖmaxおよび移動方向の変化量２φを用いて図８
の扇型の範囲となる。処理を簡単にするために、その扇
型を囲む矩形領域を次回のサーチ範囲としてもよい。そ
の場合、数５から数８のように定まる。

【００３６】

【数５】

【００３７】

【数６】

【００３８】

【数７】

【００３９】

【数８】

【００４０】ここで、ｘｓ，ｙｓは領域の始点座標、ｘ
ｅ，ｙｅは領域の終点座標である。なお、車両の向きの
範囲φは図９のように速度Ｖの関数として変化させても
よい。また、認識対象が車両のように単純な行動パター
ンでないような対象、例えば人間，動物といった対象を
認識，追跡する場合は、上記のような簡単なサーチ範囲
の決定では不十分の場合が有る。そこで、過去の移動軌
跡から次の移動可能範囲を特定するために、ニューラル
ネットワークなどによって過去の行動パターンを学習
し、これをもとに先の行動予測をすれば、更に細かいサ
ーチ範囲になるため、処理時間の短縮が期待できる。

【００４１】このようにすることで、図１０（ａ）に示
すように時刻ｔに求まった車両の座標Ｐ１〜Ｐ４の座標
を追跡する場合、図１０（ｂ）のようにサーチエリアを
決定することができるため処理時間の大幅な短縮が可能
である。

【００４２】３．テンプレートの更新方法以上の説明は道路を真上から見た場合についての処理で
あるが、道路を撮影する場合、実際には真上から撮影す
ることはほとんど出来ない。このため、道路を俯瞰撮影
することになる。この場合の車の見え方は、図１１のよ
うに車が画面上部に位置するに従い、小さく見える。し
たがって、上記で説明した相関演算方式の追跡では、登
録した濃淡テンプレートと同じ大きさに見える車両の検
出は出来ても、遠方の車両に対しては検出できなくな
り、結果的に追跡できなくなってしまう。このような問
題は、監視範囲が広い応用、例えば、人間の侵入者監
視、線路の踏切監視などの場合は必ず発生する。

【００４３】そこで、図１１のように追跡しながら濃淡
テンプレートを更新する。すなわち、ｔ１時刻の画像か
らＹ座標がＹ１を中心とするテンプレートを登録した場
合、ｔ２時刻の画像に対し、濃淡パターンマッチングし
て、Ｙ２の座標に類似度点が検出できたとすると、登録
しているテンプレートサイズをＹ２の座標によって定ま
る比率によって小さくし、類似度点近傍のｔ２時刻の濃
淡画像を再度テンプレートとして登録する。そして、新
たに登録された濃淡テンプレートで次のサーチエリアに
ついてマッチング処理し、これを順次実行することで、
車両の大きさが変化しても柔軟に追跡することが可能と
なる。尚、この方法は、車の大きさや向きなどが瞬間的
にはほとんど変化しない、即ち徐々に変化するものであ
ることに着目したものである。

【００４４】なお、テンプレートの作成は上記のよう
に、最新の入力画像だけで作成する方法のほかに、前回
のテンプレート画像（ｇ）と新たに検出された車両位置
近傍の画像（ｆ）の平均（（ｆ＋ｇ）／２）や、線形結
合演算（αｆ＋βｇ，α＋β＝１）で作成してもよい。

【００４５】このような手法を用いると、例えば図１２
のような交差点での右折車両台数を計測する場合、右折
する車は徐々に向きを変えるために１つの濃淡テンプレ
ートでは追跡が途中で終わってしまうが、追跡しながら
濃淡テンプレートを更新することで容易に追跡が可能と
なる。また、人間を追跡する場合でも、形状が時々刻々
と変化するが、上記のようにテンプレートを更新するこ
とで追跡可能である。ところで、濃淡テンプレートを更
新した場合は、前述した数１の演算のうち濃淡テンプレ
ートに関するデータをあらかじめ求めることが出来なく
なるため、高速にその値を求めることが必要となる。そ
こで、図１３のように濃淡テンプレートＴ（ｉ，ｊ）に
関するデータを求める回路を追加し、濃淡テンプレート
が登録されると数９，数１０の演算を実行し、常に高速
処理が可能な構成にすることもできる。

【００４６】

【数９】

【００４７】

【数１０】

【００４８】ここで、ｐ，ｑは濃淡テンプレートのサイ
ズによって常に変化する。

【００４９】４．テンプレートの大きさについてこれまでの説明は、車両が並行して走行している場合に
ついては述べなかったが、実際の道路の場合は、２車
線，３車線となっていることが多く、並行車両の認識に
ついても処理できることが必要である。図１４に並行走
行車両の挙動を認識している場合を示す。入力画像に対
しテンプレートをＴ１〜Ｔ４を図１４(ａ)のように登録
する。このテンプレートで時刻ｔ＋ｄｔの入力画像に対
し、濃淡パターンマッチングで追跡するとそれぞれのテ
ンプレート毎のマッチング点が検出できる。ここで、横
軸「時間」，縦軸「Ｙ座標」で移動軌跡を表すと、図１
５のようになる。２台の車両の移動速度，移動方向がほ
とんど一致している場合は、図１５の軌跡を解析して
も、小型車両と、大型車両の区別ができない事が分か
る。

【００５０】この原因は、２台の車両を分離している道
路の領域を認識していないためである。即ち、テンプレ
ートサイズが大きすぎると、道路だけのテンプレートを
登録できないため、テンプレートサイズを車両と車両の
間隔以下の幅（Ｘ方向）とすることが重要となる。図１
６にテンプレートサイズを小さくした場合の動作を示
す。車両と車両の間隔に必ず１つ以上のテンプレート
（ここではＴ５に相当）を設けられる程度の大きさのテ
ンプレートを設け、前述した濃淡パターンマッチングで
追跡する。この時の「時間」「Ｙ座標」，「時間」「Ｘ
座標」の関係を図１７，図１８に示す。「時間」「Ｙ座
標」のグラフでは、２台の車両の速度がほとんど同じ場
合、どのテンプレートと、どのテンプレートが同一車両
のテンプレートであるか分からないが、「時間」「Ｘ座
標」のグラフを見ると、車両がない領域が検出できるた
め、テンプレートＴ１〜Ｔ４とＴ６〜Ｔ１０が同一車両
であることが分かる。

【００５１】このように、車両と車両の間が分離点であ
ることを認識できるように、テンプレートの幅（Ｘ方
向）を車両と車両の間隔以下に設定することが重要であ
る。この時、テンプレートの長さ（Ｙ方向幅）は相関演
算で処理できる範囲（車両の特徴をつかめる程度の大き
さ）ならどのような大きさでも構わない。

【００５２】５．テンプレートの登録方法テンプレートの登録方法について説明する。追跡するテ
ンプレートの切り出し方には、上記のようにある定めら
れた領域（最も簡単な方法は、車両進入側にテンプレー
トを図１６のように並べる）の画像を常にテンプレート
として用いる方法もあるが、車両が途中で大型車などに
よって隠れ、再び現われたときに追跡不能になってしま
う。このため、画像全体のうち、特徴的な箇所、例え
ば、微分処理したときに微分値が大きいところ（空間周
波数特徴）や、ある時間間隔で画像間の差分処理した場
合にその差分値が大きいところ（時間周波数特徴）など
に相当する入力画像の濃淡画像をテンプレートとして設
定し、それぞれを相関演算で追跡処理する。あるいは、
車両の進入側の画像と組み合わせてもよい。

【００５３】また、ニューラルネットワークを用いてあ
る画像から直接対象物体を切り出すような学習処理を行
い、これを用いて移動物体候補画像を直接抽出し、この
領域に相当する入力画像の濃淡画像をテンプレートとし
て切り出しても良い。

【００５４】このような処理を順次行うことにより、車
両が途中から出現しても、その時刻以降は追跡が可能と
なる。

【００５５】６．相関演算方法上記「部分相関統合法」は２次元の相関演算を実行して
いるが、処理を簡素化した、「濃度投影部分相関統合
法」も同様の効果がある。図１９に概要を示すが、１次
元の濃度分布をもとに相関演算するもので、車線毎にＹ
軸方向に濃度の投影（濃度累積）を求める。この投影分
布のある幅の部分パターンをテンプレートとして追跡す
れば、Ｙ座標の移動量を求めることが出きる。ただし、
Ｘ座標の変化は検出できない。Ｘ座標の検出も実行する
場合は、図２０のように、Ｙ座標のマッチング点が求ま
った時点で、その近傍の濃度のＸ軸方向への投影(濃度
累積)を求め、あらかじめ登録しているテンプレートと
相関を求めればＸ座標の変化も検出できる。上記方式の
大まかな手順は「部分相関統合法」と同一である。テン
プレートの登録方法は、投影分布の変化点のみに着目し
た方法などが考えられる。この方式の利点は、テンプレ
ートが１次元であるため、前述した「部分相関統合法」
に比べかなり処理時間が短縮できることである。

【００５６】以上の説明では、濃淡画像の相関演算だけ
を取り上げたが、認識対象がはっきり見えるような場合
においては、従来から実行されている２値のテンプレー
トマッチングや、階層型パターンマッチング（濃淡，２
値ともに）などを実行しても良い。この場合も、テンプ
レートの大きさや，分離，統合処理、あるいはテンプレ
ートパターンの更新処理などを利用することが重要であ
る。

【００５７】なお、本発明の「部分相関統合法」及び
「濃度投影部分相関統合法」は以下の応用展開が可能で
ある。対象が「人間」の場合、「車」の場合が考えられ
るが、その他の移動物体の追跡にも利用可能である。

【００５８】（１）停止車両の検出：車両の軌跡を追跡
することで、どの位置に停止したかが分かるため、駐車
違反などの検出が可能。

【００５９】（２）駐車場管理：駐車場を高所から監視
し、どのエリアが「空き」なのかを車両の軌跡追跡で認
識する。

【００６０】（３）踏切監視：踏切内に車両が停止して
いないかなどを認識する。車両の動きは単純に左右（あ
るいは、カメラの見方によっては上下）方向の移動であ
るため、車両の追跡処理は簡単に実行できる。

【００６１】（４）侵入者監視（セキュリティ）：夜間
などに不審者が侵入していないかなどを認識する。人間
を認識対象とするため、テンプレートの大きさは人間の
幅より小さい部分テンプレートとすればよい。駅のホー
ムで線路に侵入する人間の検出も同様に処理可能であ
る。

【００６２】などにも利用できるものである。

【００６３】

【発明の効果】本発明によれば、部分相関統合法により
低コントラスト、物体の重なりがある場合についても正
確にその動きを検出可能となる。従来は、入力画像を２
値化処理したり、２値の投影分布に対してしきい値を設
けたりしていたため、チューニングが難しく、環境、例
えば明るさ、影などで条件が変わると処理性能が大きく
変動してしまっていた。

【００６４】本発明では、一切２値化のしきい値を持た
ないため、チューニングの必要がなく、環境変化に柔軟
に対応可能である。又、濃淡テンプレートの更新処理に
より、記憶するテンプレートの形状と追跡すべき移動物
体の形状が変化するような場合でも、濃淡パターンマッ
チング処理での移動物体追跡が実行でき、交差点などの
右折車両などの認識や、人間の行動認識についても容易
に実現可能である。また、テンプレートを部分テンプレ
ートとして、追跡し、後処理として分離，統合処理を実
施しているため、対象の大きさがまちまちなものでも、
容易に認識可能である。

【図面の簡単な説明】

【図１】本発明の一実施例を説明するブロック図であ
る。

【図２】濃淡パターンマッチングの処理例を示す図であ
る。

【図３】部分濃淡パターンマッチングの処理例を示す図
である。

【図４】部分濃淡パターンマッチングの処理で得られる
「時間」「Ｙ座標」の軌跡を示す図である。

【図５】部分濃淡パターンマッチングの処理で得られる
「時間」「Ｘ座標」の軌跡を示す図である。

【図６】部分相関統合法による移動物体を追跡する場合
の対象画像のモデルを示す図である。

【図７】部分相関統合法の処理で得られる「時間」「Ｙ
座標」の軌跡を示す図である。

【図８】移動物体を追跡する場合のサーチエリア限定方
法を示す図である。

【図９】移動物体の移動速度と、移動方向範囲との関係
を説明する図である。

【図１０】移動物体を追跡する場合の各テンプレート毎
のサーチエリアを説明する図である。

【図１１】道路を俯瞰撮影した場合のテンプレートサイ
ズ決定方法を説明する図である。

【図１２】交差点における車の動きを説明する図であ
る。

【図１３】テンプレートを更新する場合の、濃淡パター
ンマッチング回路の一例を示す図である。

【図１４】車両が並行に走行する場合の処理を示す図で
ある。

【図１５】車両が並行に走行する場合の「時間」「Ｙ座
標」の軌跡を示す図である。

【図１６】車両が並行に走行する場合でも良好に処理で
きる方法を説明する図である。

【図１７】車両が並行に走行する場合でも良好に処理で
きる方法を用いた場合の「時間」「Ｙ座標」の軌跡を説
明する図である。

【図１８】車両が並行に走行する場合でも良好に処理で
きる方法を用いた場合の「時間」「Ｘ座標」の軌跡を説
明する図である。

【図１９】濃度の投影分布を基に相関演算で車両を追跡
する手法を説明する図である。

【図２０】濃度の投影分布を基に相関演算で車両を追跡
する場合のＸ座標の追跡方法を示す図である。

【符号の説明】

３…画像メモリ、４…濃淡テンプレート記憶回路、５…
アドレスプロセッサ、６…濃淡パターンマッチング回
路、８…テンプレート切り出し回路、９…軌跡管理テー
ブル、１０…統合処理回路。

フロントページの続き (72)発明者八尋正和茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (72)発明者佐藤良幸茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (72)発明者柴田敏郎東京都千代田区神田駿河台四丁目６番地株式会社日立製作所内 (72)発明者堀江武東京都千代田区神田駿河台四丁目６番地株式会社日立製作所内 (72)発明者山本勝之東京都千代田区神田駿河台四丁目６番地株式会社日立製作所内

Claims

【特許請求の範囲】

【請求項１】物体をテレビカメラで撮影し、該テレビカ
メラの映像を処理することにより物体の動きを認識する
物体認識装置において、対象画像から部分テンプレート
を切り出すテンプレート切り出し回路と、該部分テンプ
レートと入力画像との間で相関演算により物体を追跡す
る手段と、追跡座標履歴あるいは物体に関する知識によ
り、該部分テンプレートを分離，統合する手段とを有す
ることを特徴とする物体認識装置。
【請求項２】物体をテレビカメラで撮影し、該テレビカ
メラの映像を処理することにより物体の動きを認識する
物体認識装置において、時刻ｔの画像からあらかじめ定
められた大きさのテンプレート領域の画像を複数切り出
すテンプレート切り出し回路と、該テンプレート切り出
し回路で得られた複数の濃淡画像を記憶する濃淡テンプ
レート記憶回路と、該濃淡テンプレート記憶回路に記憶
されている各濃淡テンプレートと前記テレビカメラから
得られる時刻ｔ＋ｄｔ，時刻ｔ＋２ｄｔ，・・ｔ＋ｎｄ
ｔ（ｎは整数）の入力画像との間でそれぞれ濃淡パター
ンマッチングして各濃淡テンプレートの移動位置を求め
る濃淡パターンマッチング回路と、該濃淡パターンマッ
チング回路で得られた各濃淡テンプレート毎の移動位置
と時刻との関係を記憶する軌跡管理テーブルと、該軌跡
管理テーブルを用いてどのテンプレートが同一物体の画
像であるかを判断する分離，統合処理回路とを有するこ
とを特徴とする物体認識装置。
【請求項３】請求項１において、テンプレート切り出し
回路は、入力画像のうち物体の進入側に設けた複数の部
分領域の濃淡画像をテンプレートとして切り出すことを
特徴とする物体認識装置。
【請求項４】請求項１において、テンプレート切り出し
回路は、入力画像の空間周波数特徴が大きい領域あるい
は、時間周波数特徴が大きい領域に相当する入力画像の
濃淡画像をあらかじめ定められた大きさのテンプレート
で切り出すことを特徴とする物体認識装置。
【請求項５】請求項１において、テンプレート切り出し
回路は、入力画像をニューラルネットワークなどで学習
することで、移動物体らしい領域を抽出し、この領域に
相当する入力画像の濃淡画像をあらかじめ定められた大
きさのテンプレートで切り出すことを特徴とする物体認
識装置。
【請求項６】請求項１において、分離，統合処理回路
は、各濃淡テンプレート毎に求まった移動軌跡を基に、
物体の移動速度，方向が類似しているテンプレート同士
を統合管理することを特徴とする物体認識装置。
【請求項７】ニューラルネットワークにより過去の行動
パターンを学習し、現在までの行動パターンから将来の
行動予測を行い、テンプレートとの相関演算範囲を決定
することを特徴とする物体認識装置。
【請求項８】請求項１において、記憶しているテンプレ
ート画像を入力画像を用いて更新するテンプレート更新
回路を有する物体認識装置。
【請求項９】請求項８において、テンプレート更新回路
は、時刻ｔの入力画像ｆ（ｔ）に対して、ある濃淡テン
プレートｇでパターンマッチングし、類似度が所定のし
きい値より大きい座標Ｐが求まった場合、該入力画像ｆ
（ｔ）のうち前記座標Ｐの近傍の画像を新たな濃淡テン
プレートｇ′として登録することを特徴とする物体認識
装置。
【請求項１０】請求項８において、テンプレート更新回
路は、時刻ｔの入力画像ｆ（ｔ）に対して、ある濃淡テ
ンプレートｇでパターンマッチングし、類似度が所定の
しきい値より大きい座標Ｐが求まった場合、該入力画像
ｆ（ｔ）のうち前記座標Ｐの近傍の画像ｆ′（ｔ）を用
いてｇ′＝αｆ′（ｔ）＋βｇのｇ′（α，βは定数）を新
たな濃淡テンプレートとして登録することを特徴とする
物体認識装置。
【請求項１１】交差点付近をカメラで撮影し、得られた
画像信号を画像処理することにより交通流を計測する交
差点の交通流計測装置において、時刻ｔの画像からあら
かじめ定められた大きさのテンプレート領域の画像を複
数切り出すテンプレート切り出し回路と、該テンプレー
ト切り出し回路で得られた複数の濃淡画像を記憶する濃
淡テンプレート記憶回路と、該濃淡テンプレート記憶回
路に記憶されている各濃淡テンプレートと前記テレビカ
メラから得られる時刻ｔ＋ｄｔ，時刻ｔ＋２ｄｔ，・・
ｔ＋ｎｄｔ（ｎは整数）の入力画像との間でそれぞれ濃
淡パターンマッチングして各濃淡テンプレートの移動位
置を求める濃淡パターンマッチング回路と、前記濃淡テ
ンプレート記憶回路の濃淡テンプレートを入力画像を用
いて順次更新するテンプレート更新回路と、該濃淡パタ
ーンマッチング回路で得られた各濃淡テンプレート毎の
移動位置と時刻との関係を記憶する軌跡管理テーブル
と、該軌跡管理テーブルを用いてどのテンプレートが同
一物体の画像であるかを判断する分離，統合処理回路と
を有し、得られた車両位置を追跡することで車両の通過
台数，速度，右左折台数などを計測する交通パラメータ
計測部を有することを特徴とする交差点交通流計測装
置。