JP4795479B2 - 移動物体認識方法及び装置 - Google Patents

Description

本発明は、移動物体認識方法及び装置に関する。

車、バイク、自転車及び人などの移動物体をカメラで撮像してその動作を認識しようと
すると、分離して写っていた移動物体同士がその後、隣接し又は重なり、その際にカメラ
と移動物体との間の距離及びアングルに依存して移動物体の形や大きさが変化する場合が
ある。

衝突事故を正確に認識するためには、このような移動物体の動作を正確に認識する必要
があるが、従来ではこれが容易でなかった。

特開平１０−４０４９０号公報

本発明の目的は、このような問題点に鑑み、移動物体の動作をより正確に認識すること
が可能な移動物体認識方法及び装置を提供することにある。

本発明による移動物体認識方法の第１態様では、
電子カメラ（１０）で撮影されたフレーム画像（２１）を、複数ピクセルからなるブロックに分割し、ブロック単位で移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成し（図１１）、時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める移動物体認識方法であって、
現フレーム画像（図２９のＦ２）について、着目ブロックを、前フレームの各移動物体の動きベクトルの符号を逆にしたベクトルで移動させたときに（図３０（Ｂ）、図３１（Ａ））、複数の移動のそれぞれで該前フレームの移動物体と重なる場合、評価関数に基づいて該着目ブロックの識別符号を決定し、
該評価関数は、該移動させた着目ブロックの枠内に含まれる、該移動に対応した動きベクトルを持つ移動物体と同一識別符号を持つブロックの面積が広いほど、該着目ブロックが該同一識別符号を持つ確度が高くなることを示す関数値となる関数である。

本発明の他の目的、構成及び効果は以下の説明から明らかになる。なお、本願特許請求の範囲に関わる実施例は、主に、実施例３を前提とする実施例６である。

本発明の移動物体間動作分類装置を交差点に配置した場合を示す概略図である。 図１中の画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す概略図である。 図２中の処理を説明するためのベクトル図である。 危険度ベクトルＶ／Ｄの量子化説明図である。 衝突事故の時系列パターン説明図である。 他の衝突事故の時系列パターン説明図である。 さらに他の衝突事故の車両速度ベクトル時系列説明図である。 （Ａ）は図７の車両速度ベクトルを−θ回転させたものの時系列説明図り、（Ｂ）はこの時系列と相対速度ベクトルの時系列とを示す図である。 ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ隠れマルコフモデルの状態遷移図である。 本発明の実施例２に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す概略図である。 図１０中の移動物体認識部での処理説明図である。 （Ａ）は衝突事故の車両速度ベクトル時系列の各ベクトル回転説明図、（Ｂ）はこの時系列と相対速度ベクトルの時系列とを示す図である。 図１２（Ａ）を時計回りに９０゜回転させた速度ベクトル時系列パターンを示す図である。 ＨＭＭモデルにおいて、衝突とこれに類似したタンデムの動作の区別度の状態数依存性を示す線図である。 状態数が７のときの衝突動作において、状態ｉから状態ｊ＝ｉ＋１に遷移し又は状態ｊに留まって観測量Ｏを出力する確率の具体例を視覚的に示す３次元棒グラフである。 本発明の実施例３に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す図である。 交差点への４つの入口及び交差点からの４つの出口に設定されたスリット及びブロックに付された移動物体のＩＤを示す説明図である。 図１６の移動物体更新部３８での処理説明図であって、それぞれ時刻（ｔ−１）での画像、時刻ｔでの予測画像及び時刻ｔでの実際の画像を示す図である。 （Ａ）及び（Ｂ）は、図１６の移動物体分割部３９での処理説明図であって、それぞれ時刻ｔ及び時刻（ｔ＋１）での画像を示す図である。 （Ａ）は４ブロックの各々の動きベクトルに基づいて得られる移動物体動きベクトルを示し、（Ｂ）は、重なって写っている２つの移動物体に属するブロックの各々の動きベクトルに基づいて得られる、２つの移動物体の動きベクトルを示す図である。 本発明の実施例４に係る画像認識装置を示すブロック図である。 図２１中の一部を示すブロック図である。 本発明の実施例５に係る画像認識装置を示すブロック図である。 図２３中のシフトレジスタに同時に保持されるデータであって、ある交差点での衝突動作の観測系列Ｏ¹に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。 図２３中のシフトレジスタに同時に保持されるデータパターンであって、他の交差点での衝突動作の観測系列Ｏ^1Aに対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。 図２３中のシフトレジスタに同時に保持されるデータパターンであって、タンデム動作の観測系列Ｏ²に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。 図２３中のシフトレジスタに同時に保持されるデータパターンであって、通過動作の観測系列Ｏ³に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。 本発明の実施例６に係る画像認識装置のハードウェア及びソフトウェアの構成を機能ブロックで示す図である。 図２８中の不明ＩＤ決定部の入出力関係を模式的に示す図である。 （Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。 （Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。 本発明の実施例７に係る画像認識装置の不明ＩＤ決定部での処理を示すフローチャートである。

図１は、本発明の移動物体間動作分類装置を交差点に配置した場合の概略を示している
。

この装置は、交差点を撮像して画像信号を出力する電子カメラ１０と、その画像を処理
して移動物体間衝突事故を認識する画像認識装置２０とを備えている。

図２は、本発明の実施例１に係る画像認識装置２０のハードウェア及びソフトウェアの
構成を機能ブロックで示している。

電子カメラ１０からの画像信号は、デジタル化されており、画像メモリ２１に格納され
る。移動物体認識部２２は、画像メモリ２１内の現画像を過去の画像と比較して、移動物
体を認識し、その位置、例えば移動物体の図形の重心を検出する。例えば図１の場合、車
Ｍ１〜Ｍ６の位置Ｐ１〜Ｐ６を検出する。これらの位置座標は、位置レジスタアレイ２３
の内容が位置レジスタアレイ２４にコピーされた後、位置レジスタアレイ２３に保持され
る。移動物体認識部２２はまた、移動物体間の距離、例えば図３（Ａ）に示す距離ｄを画
素単位で測定し、位置レジスタアレイ内の２位置の組み合わせと対応させて、相対距離レ
ジスタアレイ２５に格納する。

Ｖ／Ｄ計算部２６は、位置レジスタアレイ２３と２４の対応するレジスタの内容の差を
移動物体の速度ベクトルとして求め、次に、全ての移動物体間の相対速度ベクトルＶを計
算する。例えば、図３（Ａ）に示す車Ｍ１の速度ベクトルＶ１と車Ｍ２の速度ベクトルＶ
２の相対速度ベクトルＶは図３（Ｂ）に示す如くなる。Ｖ／Ｄ計算部２６はさらに、各移
動物体間について、相対速度ベクトルＶの２物体に対応した相対距離位置レジスタアレイ
２４の内容ｄを読み出し、ベクトルＶ／Ｄを計算する。ここに、Ｄ＝ｄ＋εであり、εは
Ｄ＞０を保証するための定数であって、ε≧０である。εの値はｄの定義によって異なり
、必ずＤ＞０であればε＝０とすることができる。

相対的なベクトルであるＶ／Ｄの時系列パターンが同一であれば同一パターンであると
認識されるので、様々な衝突事故を認識することが可能となる。衝突危険度は、相対速度
ベクトルＶが大きいほど、相対距離ｄが小さいほど大きいと考えられるので、Ｖ／Ｄは衝
突危険度を示している。図１の場合、移動物体間の組み合わせは１５通りあり、各組み合
わせについてＶ／Ｄを計算する。その計算結果は、Ｖ／Ｄ時系列メモリ２７に格納される
。

Ｖ／Ｄ時系列メモリ２７は、例えばＦＩＦＯメモリであり、最も古いデータがＶ／Ｄ時
系列メモリ２７から排出されるとともに、Ｖ／Ｄ計算部２６からの新たなデータがＶ／Ｄ
時系列メモリ２７格納される。次の表１は、Ｖ／Ｄ時系列メモリ２７内のデータ格納状態
を示している。

表１中、（Ｖ／Ｄ）ｉｊｔは、車ＭｉとＭｊの組の時刻ｔにおける危険度ベクトルＶ／
Ｄの値を示している。Ｖ／Ｄは、例えばＸ座標とＹ座標の値で表される。

Ｖ／Ｄが小さければ衝突が生じないので、認識開始判定部２８は、Ｖ／Ｄ計算部２６の
出力からその絶対値｜Ｖ／Ｄ｜を計算し、これが設定値Ｃより大きいかどうかを判定し、
その結果をＶ／Ｄ時系列切り出し部２９に供給する。

｜Ｖ／Ｄ｜＞Ｃと判定されると、その後所定時間以内に交通事故が生ずるかもしれない
ので、該所定時間経過後にＶ／Ｄ時系列切り出し部２９はそのＶ／Ｄ時系列をＶ／Ｄ時系
列メモリ２７から切り出す。

このようにすれば、｜Ｖ／Ｄ｜≦Ｃのときには衝突事故の認識をしないので、無駄な処
理が省かれ、処理速度が低速で安価な装置を用いて衝突事故認識に必要な処理時間を確保
することが可能になる。

ここで、様々な衝突事故を容易に認識可能にするためには、類似の衝突事故を同種事故
と分類する必要がある。例えば、ある衝突事故の時系列パターンと、静止座標系を回転さ
せれば同一になる時系列パターンとが、同一観測系列になるようにした方が好ましい。す
なわち、交差点の形状やカメラ１０の取付位置などに観測系列が依存しないようにすべき
である。

そこでベクトル回転部３０は、Ｖ／Ｄ時系列切り出し部２９で切り出されたＶ／Ｄ時系
列内の最初の時刻ｔ＝１のベクトル（Ｖ／Ｄ）ｉｊ１のＸ軸に対する角度θを計算する。
次に、このＶ／Ｄ時系列の各ベクトルＶ／Ｄを−θ回転させる。例えば図３（Ｃ）に示す
如く回転させる。これにより、例えば図５に示す衝突パターンのＶ／Ｄ時系列とこれを１
８０度回転させた図６に示すような衝突パターンのそれは同一になる。

簡単化のためにＶ／Ｄの替わりに速度ベクトルのみで説明すると、図７に示す車Ｍ１及
びＭ２の時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４及びＶ２１〜Ｖ２４は、−θ回
転により図８（Ａ）に示す速度ベクトルＶ１１ａ〜Ｖ１４ａ及びＶ２１ａ〜Ｖ２４ａにな
り、相対速度ベクトルは図８（Ｂ）に示すＶ＝Ｖ１〜Ｖ４となる。

量子化部３１は、このように回転されたＶ／Ｄ時系列の各Ｖ／Ｄについて、図４に示す
如く、量子化する。例えばＶ／Ｄ＝ｖの時系列が｛ｖ０,ｖ１,ｖ２｝の場合、時系列｛０
,１,２｝と量子化する。量子化された観測量の時系列を観測系列と称す。例えば図５に示
す時刻ｔ＝４〜９の観測系列は｛１,２,３,０,８,７｝となる。図６の衝突パターンにつ
いても同じである。この量子化により、ある衝突パターンと類似の衝突パターンは同一観
測系列となるので、様々な衝突事故を容易に認識可能になる。また、量子化により観測系
列が簡単な数値列になるので、その後の認識処理が簡単になる。

類似度計算部３２は、具体的な衝突事故の観測系列を参照系列とし、量子化部３１から
供給される観測系列の参照系列に対する類似度を計算する。上記のことから、少ない参照
系列で様々な衝突事故を容易に認識可能になる。

公知のパターン類似度計算には、隠れマルコフモデル（ＨＭＭ）法やパターンマッチン
グ法などがあり、これらのいずれかを利用することができる。例えば、具体的な衝突事故
の観測系列を学習系列としてパラメータを決定したＨＭＭにより、量子化部３１で得られ
た観測系列が生ずる確率Ｐ＝ＥＸＰ（μ）を計算する。この計算方法は、後述する。学習
系列に対称パターンが含まれていなければ、量子化部３１で得られた観測系列と対称なパ
ターンについても確率Ｐを計算し、確率Ｐの大きい方の値を類似度とする。例えば、観測
系列｛０,１,４,５,２｝に対し、図４との関係でこれと対称なパターンは｛０,１,１０,
１１,２｝である。

衝突事故判定部３３は、μが設定値μ０より大きければ、この観測系列が衝突事故であ
ると判定し、その結果を出力する。この結果は、警察に自動通報され、これにより救助活
動が迅速に行われるとともに、実地検分が迅速に行われて事故渋滞が緩和される。

図２の構成要素２８〜３３の処理は、コンピュータで実行することができる。

次に上記計算方法を説明する。

図９に示すような状態数Ｎのｌｅｆｔ−ｔｏ−ｒｉｊｈｔ ＨＭＭを考える。ＨＭＭに
おける状態は観測量ではなく、具体的なイメージと対応していないのが通常である。観測
量は図４に示す如く量子化されたものであり、時刻ｔでの観測量をＯ_tと表記する。１≦
ｉ≦Ｎなる任意のｉについて、時刻（ｔ−１）で状態ｉであるとき、時刻ｔで状態ｊにな
る確率をａ_ijと表記し、このとき観測量Ｏ_tを出力する確率をｂ_ij（Ｏ_t）と表記すると、
次の関係が成立する。

ｊ≠ｉかつｊ≠ｉ＋１に対し、ａ_ij＝０、ｂ_ij（Ｏ_t）＝０ １≦ｉ≦Ｎ−１なる任意
のｉに対し、ａ_ii＋ａ_i(i+1)＝１
状態Ｎは最終状態であり、次の状態には遷移できず、ａ_NN＝１
ｊ＝ｉ又はｊ＝ｉ＋１に対し、
ｂ_ij（０）＋ｂ_ij（１）＋・・・＋ｂ_ij（１２）＝１
例えば初期ｔ＝０に状態１である確率が１であり、時刻ｔ＝１、２の観測系列｛２,５
｝が生ずる確率Ｐは、時刻ｔ＝１、２の状態系列｛１,１｝、｛１,２｝、｛２,２｝、｛
２,３｝の各々について観測系列｛２,５｝を出力する確率の総和であり、次式で表される
。

Ｐ＝ａ₁₁・ｂ₁₁（２）・ａ₁₁・ｂ₁₁（５）
＋ａ₁₁・ｂ₁₁（２）・ａ₁₂・ｂ₁₂（５）
＋ａ₁₂・ｂ₁₂（２）・ａ₂₂・ｂ₂₂（５）
＋ａ₁₂・ｂ₁₂（２）・ａ₂₃・ｂ₂₃（５）
初期ｔ＝０に状態ｉにいる確率をπ_iと表記する。ＨＭＭモデルは、初期状態の確率分
布π＝｛π_1,π_2,π_3,,,,,π_N｝と、上記確率ａ_ij及びｂ_ij（ｋ）の集合とにより定まる
。これらのパラメータをλと表記する。

以下、観測系列の長さをＴ、観測量の数をＬ（図４ではＬ＝１３）と表記する。また、
時刻ｔまでに観測系列｛Ｏ₁Ｏ_2...Ｏ_t｝を出力し、状態ｉになる部分系列観測確率をα（
ｉ，ｔ）と表記する。

モデルパラメータλの下で観測系列｛Ｏ₁Ｏ_2...Ｏ_T｝が生ずる確率Ｐ（Ｏ₁Ｏ_2...Ｏ_T｜
λ）は一般に、以下の３ステップからなる前向きアルコリズムで計算されることが知られ
ている。

ステップ１：ｔ＝１
α（１，１）＝π₁・ｂ₁₁
２≦ｊ≦Ｎの各ｊに対し、
α（ｊ，１）＝π_(j-1)・ｂ_(j-1)j＋π_j・ｂ_jj
ステップ２：ｔ＝１，２，・・・，Ｔ−１の各々について順次
１≦ｊ≦Ｎの各ｊに対し、

ステップ３：

確率Ｐは、公知の後ろ向きアルコリズムでも、さらにＶｉｔｅｒｂｉアルゴリズムでも
計算することができる（電子・情報工学講座１９「情報処理概論」、榑松明著、培風館）
。

ここで、時刻ｔで状態ｉにいるとき、時刻（ｔ＋１）からの観測系列が｛Ｏ_t+1Ｏ_t+2・
・・Ｏ_T｝となる確率をβ（ｉ，ｔ）と表記すると、次の関係式が成立する。

また、学習系列｛Ｏ₁Ｏ₂・・・Ｏ_T｝に関し、時刻（ｔ−１）に状態ｉにいて時刻ｔで
状態ｊに遷移する確率をγ（ｉ，ｊ，ｔ）と表記する。

モデルパラメータは、衝突事故の観測系列を学習系列として、Ｂａｕｍ−Ｗｅｌｃｈア
ルゴリズムにより求めることができる。すなわち、モデルパラメータに初期値を与え、１
≦ｉ≦Ｎ、１≦ｊ≦Ｎの各ｉ及びｊに対し、以下のステップ１でγ（ｉ，ｊ，ｔ）を計算
し、得られたγ（ｉ，ｊ，ｔ）を用いてステップ２でモデルパラメータを更新し、同様に
ステップ１と２の計算をモデルパラメータが収束するまで繰り返すことにより、モデルパ
ラメータが決定される。

ステップ１：γ（ｉ，ｊ，ｔ）の計算

ここに、Ｆは状態の全集合｛１，２，・・・，Ｎ｝であり、総和のｉはｉ∈Ｆと同じ意
味である。

ステップ２：モデルパラメータ更新

ここに、総和のｉ及びｊはいずれもｉ∈Ｆ及びｊ∈Ｆを意味している。また、ｔ：ｙ_t
＝ｋは、時刻ｔにおいて観測量ｋであるもののみの総和をとることを意味している。

学習系列が複数ある場合には、例えば、１つの学習系列につき上記方法でモデルパラメ
ータを決定し、このモデルパラメータを初期値として次の学習系列につき上記方法でモデ
ルパラメータを決定し、以降同様の処理を繰り返す。

図１０は、本発明の実施例２に係る画像認識装置２０Ａのハードウェア及びソフトウェ
アの構成を機能ブロックで示している。

移動物体認識部２２Ａは、メモリを有し、画像メモリ２１内の画像の解像度を低減し、
移動物体のみの図１０に示すようなパターン情報を該メモリに書き込む。例えば、画像メ
モリ２１の１フレームが４８０×６４０ピクセルの場合、８×８ピクセルを１ブロックの
情報に低減して、６０×８０ブロックのパターン情報に変換する。ブロック情報は、移動
物体毎に異なる識別符号であり、図１０では図１中の車Ｍ１〜Ｍ６に対応してそれぞれ識
別符号１〜６の情報が書き込まれている。

移動物体認識部２２Ａは、上記実施例１と同様に移動物体の位置を検出し、また、異な
る識別符号の画素間距離の最小値を移動物体間距離ｄと決定する。

次に、本実施例２で用いる観測量について説明する。

図１２（Ａ）において、車Ｍ１及びＭ２の時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ
１４がＸ方向になるようにそれぞれθ１〜θ４回転させたものを速度ベクトルＶ１１ｂ〜
Ｖ１４ｂとする。速度ベクトルが０である場合にはその方向を、０になる直前の速度ベク
トルの方向であるとみなす。θ１〜θ４回転に対応して、車Ｍ２の時刻ｔ＝１〜４での速
度ベクトルＶ２１〜Ｖ２４をそれぞれθ１〜θ４回転させたものを速度ベクトルＶ２１ｂ
〜Ｖ２４ｂとする。ｉ＝１〜４について、図１２（Ｂ）に示す相対速度ベクトルＶｉ＝Ｖ
２ｉｂ−Ｖ１ｉｂを求める。換言すれば、車Ｍ１の速度ベクトルＶ１ｉのＸ軸に対する角
度がθｉのとき、車Ｍ１とＭ２の相対速度ベクトル（Ｖ２ｉ−Ｖ１ｉ）を−θ回転させた
ベクトルＶｉを求める。次に、ベクトルｖ＝Ｖｉ／Ｄｉを図４に示すように量子化したも
のを、時刻ｔ＝ｉでの観測量として求める。ここにＤｉは、時刻ｔ＝ｉでの上述のＤ＝ｄ
＋εである。

図１３は、図１２（Ａ）を時計回りに９０゜回転させた速度ベクトル時系列パターンを
示している。この場合、上記同様に回転して得られる速度ベクトルＶ１１ｂ〜Ｖ１４ｂ及
びＶ２１ｂ〜Ｖ２４ｂは、図１２（Ａ）のそれと同一になり、観測系列も図１２（Ａ）の
場合と同一になる。

すなわち、この観測系列は、図１３において、車Ｍ１に固定された座標系から見た車Ｍ
２の相対的な観測量Ｖ／Ｄの時系列であり、地上静止座標系を回転させても同一になる。

このような観測系列を用いれば、図１０に示す如く、Ｖ／Ｄ計算部２６で求められたＶ
／Ｄをベクトル回転部３０Ａに供給してベクトルＶ／Ｄをリアルタイムで上記−θ回転さ
せ、次にこれを量子化部３１で図４に示す如く量子化し、観測系列メモリ２７Ａに格納す
ることができる。

したがって、図２の場合のようにθ決定時点を選ぶ必要がない。また、量子化後の観測
量がメモリ２７Ａに格納されるので、その必要な容量は、量子化前のベクトル量が格納さ
れる図２のメモリ２７のそれより少なくなる。

他の点は、上記実施例１と同一である。

次に、上記実施例２の効果を示す実験結果について説明する。

（１）衝突動作パターンに対するモデルパラメータλ１の決定 状態数Ｎ＝７とした。
ａ_ijの初期値を、
ｉ＝１〜６の各々についてａ_ii＝０．５
ａ₇₇＝１．０とし、ｂ_ijの初期値を、
ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝０〜２の各々について、
ｂ_ii（ｋ）＝０．１０、ｂ_ij（ｋ）＝０．１０
ｉ＝７、ｋ＝０〜２の各々について、
ｂ_ii（ｋ）＝０．１０
ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝３〜１２の各々について、
ｂ_ii（ｋ）＝０．０７、ｂ_ij（ｋ）＝０．０７
ｉ＝７、ｋ＝０〜２の各々について、
ｂ_ii（ｋ）＝０．０７とした。また、初期ｔ＝０での状態確率分布を、
π₁＝１、ｉ＝２〜７に対しπ_i＝ ０
とした、さらに、以下の表２のＮｏ１〜１０の衝突事故観測系列を学習系列とした。この
学習系列はいずれも、図５又は図６に示すような同一車線上の同一方向の車間の衝突に関
するものである。

このような条件の下で、上記Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムによりパラメータａ_ij
を次の表３のように決定し、パラメータｂ_ij（０）〜ｂ_ij（６）及びｂ_ij（７）〜ｂ_ij（
１２）をそれぞれ以下の表４及び表５のように決定した。

このモデルパラメータをλ１と表記する。

（２）他の動作パターンに対するモデルパラメータの決定
上記同様にして、次の２つの動作パターンに対するモデルパラメータλ２及びλ３を決
定した。

（１）交差点で同一方向に直列に隣合った車どうしが衝突を起こさずにストップ／スタ
ート動作（タンデム動作）するパターン 次の表６のＮｏ１〜１０の観測系列をこの動作
の学習系列とした。タンデム動作は、後ろの車が前の車に接近した後、前の車が後ろの車
から離れるので、衝突動作に類似している。

上記同様にして得られたモデルパラメータをλ２と表記する。

（２）異なる車線で少なくとも一方が移動して他方を通過する動作（通過動作）パター
ン
次の表７のＮｏ１〜１０の観測系列をこの動作の学習系列とした。

上記同様にして得られたモデルパラメータをλ３と表記する。

同一車線上の同一方向の車間のある衝突事故の観測系列Ｏ¹、タンデムスタート／スト
ップ動作の観測系列Ｏ²及び通過動作の観測系列Ｏ³の各々について、モデルパラメータλ
１、λ２及びλ３の下で該観測系列が生ずる確率Ｐ（Ｏⁱ｜λｊ）＝ＥＸＰ（μ_ij）、ｉ
＝１〜３、ｊ＝１〜３の指数部μ_ijを計算したところ、次の表８に示す結果が得られた。

この表から、例えば、
Ｐ（Ｏ¹｜λ１）／Ｐ（Ｏ²｜λ１）＝ＥＸＰ（１１．２）
Ｐ（Ｏ¹｜λ１）／Ｐ（Ｏ³｜λ１）＝ＥＸＰ（２９．７）
と確率比が大きく、動作分離性能が高いことがわかる。

次に、衝突事故のＨＭＭモデルにおける状態の理解を深めるための解析結果を説明する
。

図１４は、ＨＭＭモデルにおいて、衝突動作(Accident)とこれに類似したタンデム動作
(Tandem)との区別の程度が状態数Ｎによりどのように変化するかの解析結果を示す。モデ
ルパラメータは、４０の衝突事故の観測系列を学習系列として決定した。横軸は状態数Ｎ
であり、縦軸はこのモデルで計算された観測系列の確率Ｐ＝ＥＸＰ（μ）の指数部を、複
数の観測系列について合計し、さらに−１を乗じた値である。図１４中のAccidentは、前
記４０の観測系列に関するものであり、Tandemは他の４０のタンデム動作の観測系列に関
するものである。

この図から、Ｎが６又は７以上でTandemとAccidentの区別がよくできることが分かる。

図１５は、Ｎ＝７のときの上記モデルパラメータの下で、状態ｉから状態ｊ＝ｉ＋１に
遷移し又は状態ｊに留まって観測量Ｏを出力する確率（ｂ_ij（Ｏ）＋ｂ_jj（Ｏ））の具体
例を視覚的に示す３次元棒グラフである。

ＨＭＭの状態には明示的な意味はないが、このグラフから、状態を次のように解釈する
ことができる。

無干渉（状態１及び２）：観測量０
接近（状態３）：観測量１又は２
急接近（状態４）：観測量３
衝突の瞬間（状態５）：観測量０
反動（状態６）：観測量７又は８
停止（状態７）：観測量０

図１６は、本発明の実施例３に係る画像認識装置２０Ｂのハードウェア及びソフトウェ
アの構成を機能ブロックで示している。

図１０とは、構成要素３４〜４０のみ異なる。まず、構成要素３５〜３９での処理を概
説する。

画像メモリ２１の１フレームが４８０×６４０ピクセルの場合、８×８ピクセルを１ブ
ロックとし、１フレームを６０×８０ブロックに分割する。ブロック単位で移動物体が存
在するかどうかを判断し、存在すれば、移動物体毎に異なる識別符号を付す。図１１では
、升目がブロックを示しており、図１中の車Ｍ１〜Ｍ６に対応してそれぞれ識別符号１〜
６の情報がブロック単位で書き込まれている。典型的には、一つの移動物体に５〜３０程
度のブロックが属する。移動物体としては、車、バイク、自転車、人などがある。

移動物体識別番号（ＩＤ）の生成及び消滅処理を行うために、図１７に示す如く、フレ
ーム上（画像メモリ２１内）において、交差点への４つの入口及び交差点からの４つの出
口にそれぞれスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４を初期設定しておく。

次に、構成要素３４〜４０での処理の詳細を説明する。

背景画像は、移動物体が存在しない画像である。背景画像生成部３４は、画像メモリ２
１をアクセスし、例えば過去１０分間の全画像について、対応するピクセルの画素値のヒ
ストグラムを作成し、その最頻値（モード）をそのピクセルの画素値とする画像を背景画
像として生成し、画像メモリ２１内の所定領域に格納する。背景画像は、背景画像生成部
３４により定期的に更新される。

ブロック情報メモリ３５は、６０×８０ブロック及び移動物体の情報を記憶するための
ものであり、構成要素３５〜３９及びＶ／Ｄ計算部２６によりアクセスされる。画像メモ
リ２１内のブロックは、アドレスにより識別される。なお、画像メモリ２１とブロック情
報メモリ３５とは同一メモリ内の異なる記憶領域であってもよい。

ＩＤ生成／消滅部３６は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像デ
ータを読み込み、これらスリット内に移動物体が存在するかどうかをブロック単位で判定
する。あるブロックに移動物体が存在するかどうかは、このブロックの各ピクセルと背景
画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定す
る。

入口スリット内の移動物体存在ブロックが、識別符号を持ったブロックと隣接していな
い場合には、該移動物体存在ブロックに新たなＩＤを付す。

移動物体が存在すると判定された隣接ブロックに同一ＩＤを付すことにより、該移動物
体に対応したクラスタができる。例えば図１７中の入口スリットＥＮ１内にはＩＤ＝１が
生成されている。新たな移動物体のブロックが、すでに存在する移動物体のブロックと隣
接しているときには、すでに存在する移動物体のＩＤと同じにする。例えば図１７中の入
口スリットＥＮ４内の移動物体存在ブロックには、すでに存在する移動物体のＩＤと同じ
ＩＤ＝５が付加される。

ＩＤ生成／消滅部３６はさらに、画像メモリ２１から出口スリットＥＸ１〜ＥＸ４内の
画像データを読み込み、これらスリット内に移動物体が存在するかどうかをブロック単位
で判定し、出口スリットを移動物体が通過したときにそのＩＤを消滅させる。例えば図１
７中の出口スリットＥＸ１内のブロックにＩＤが付されている状態から、ＩＤが付されな
い状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用い
ることができる。

動きベクトル算出部３７は、画像メモリ２１から画像データを読み込み、時刻（ｔ−１
）での前フレーム中の移動物体に属するブロック毎に独立に、これと時刻ｔでの現フレー
ム内の位置可変ブロックとの間で、MPEGの符号化で用いられているブロックマッチングを
適用して、該ブロックの動きベクトルを求める。動きベクトル算出部３７はさらに、移動
物体毎に、求めた複数の動きベクトルの代表値、例えばモード、メジアン又は平均値を、
その移動物体の動きベクトルと推定し、これを、該移動物体の情報としてブロック情報メ
モリ３５に書き込む。代表値がメジアン又は平均値である場合には、中心分布から著しく
離れる動きベクトルを除外した後に代表値を求めることにより、より正確な値を得るよう
にしてもよい。

例えば４ブロックの移動物体の動きベクトルが図２０（Ａ）に示す細線ベクトルである
場合、平均値である太線ベクトルをこの移動物体の動きベクトルと推定する。

これにより、右折や左折する移動物体の速度を高精度で測定して、衝突事故の認識率を
高めることが可能となる。

動きベクトル算出部３７は、図１７に示すＩＤ＝２のような欠落のない移動物体のみな
らず、ＩＤ＝１、３及び５のような移動物体一部についても、その動きベクトルを推定す
る。

なお、MPEGでの動きベクトルは、データ圧縮のためのものであって、クラスタ単位の動
きベクトルという概念はない。また、動きベクトルが小さい場合には、ブロックマッチン
グの他にオプティカルフローの推定も有用な手法として用いることができる。

ある移動物体に属するブロック内の各ピクセルの色がほぼ同一である場合、すなわちテ
クスチャの少ないブロックがクラスタに存在する場合、ブロックマッチングやオプティカ
ルフローなどの手法により正確な動きベクトルを得ることができない。

そこで動きベクトル算出部３７は、このようなブロック、例えばそのブロック内の全画
素値の散布度、例えば分散σ²、標準偏差σ、平均偏差ＭＤ、四分偏差ＱＤ、範囲Ｒ又は
エントロピーなどが所定値以下であるブロックについては、動きベクトルを求めず、移動
物体の動きベクトル推定に使用しない。この場合であっても、タイヤの部分のように色が
一様でないブロック群が存在するので、動きベクトル算出部３７は移動物体の動きベクト
ルを推定することができる。

動きベクトルを求めるべきブロックであるかどうかを判断するのに、エッジ画像を利用
することができる。すなわち、原画像に対しエッジ強調処理を行い、次いで２値画像に変
換し、ブロック内に‘１’のエッジ画素の数が所定値以下であれば、動きベクトルを求め
るのに適しないブロックと判定してもよい。エッジ強調画像は、原画像に１次微分オペレ
ータ又はラプラシアンオペレータなどの２次微分オペレータをかけて簡単なフィルタ処理
を行うことにより得られる。エッジ画像取得には、Sobel、Roberts又はPrewittなどの公
知手法を用いてもよい。

次に、移動物体更新部３８での処理の具体例を説明する。

図１８は、車がカメラ側へ向かった後、車から見て右折する場合の、移動物体更新部の
処理説明図である。

画像Ｐ１中の車のクラスタ（ドット領域）を、上記のようにして求めた動きベクトルだ
け平行移動させると、次フレームの予測画像Ｐ２が得られる。この予測画像のクラスタ周
囲を、１ブロック外側まで拡大させて、太線で境界を示す領域を考える。次フレームの実
際の画像は、Ｐ３であるとする。この場合、移動物体更新部３８は、予測画像Ｐ２の拡大
領域（太線枠内）に対応する画像メモリ２１内の領域について、ブロック毎に、上記のよ
うに移動物体が存在するかどうかを判定し、存在すると判定されたブロックに対しては、
画像Ｐ１中のクラスタに付されたＩＤと同じＩＤを付す。このようにして更新されたクラ
スタを予測画像Ｐ２中のクラスタと比較すると、結果として、予測クラスタから削除され
たブロック（斜線部）と、予測クラスタに追加されたブロック（縦線部）とがある。

すなわち、移動物体更新部３８は、ブロック情報メモリ３５から移動物体のオブジェク
トマップ及び動きベクトルを読み込み、この動きベクトルだけ、該移動物体を該オブジェ
クトマップ内で平行移動させ、さらにその周囲を拡大した範囲について、画像メモリ２１
内の現フレームに移動物体が存在するかどうかをブロック毎に判定することにより、該移
動物体のクラスタを更新する。この動きベクトルは、時刻（ｔ−１）でのフレームと時刻
ｔでのフレームとの間で動きベクトル算出部３７により求められたものであり、画像メモ
リ２１内の現フレームは時刻（ｔ＋１）でのものである。

このようにすることにより、カメラに分離して写っていた車同士がその後、隣接し、そ
の際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形
が変化しても、両者を異なる車として認識することが可能になる。例えば図１９（Ａ）に
示す１つのクラスタを２台の車として認識することができる。

移動物体更新部３８は、前記拡大範囲が移動物体間で重なった場合、重なったブロック
がどの移動物体に属するかどうかが不明であるので、重なったブロックはいずれの移動物
体にも属さないとみなし、移動物体が存在するかどうかを判定しない、すなわち重なった
ブロックにはＩＤを付加しない。

これにより、カメラに分離して写っていた車同士がその後、重なり、その際にカメラと
移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、
両者の動きベクトルが不正確になるのを防止することができる。

したがって、このような重なりや変化により衝突事故の判定ができなくなるのを防止す
ることができる。

入口スリットなどで複数の移動物体が重なって写り、単一クラスタと認識されても、動
きベクトル算出部３７でブロック毎に動きベクトルを求めたとき、図２０（Ｂ）に示すよ
うに動きベクトルが複数のグループに分かれる場合には、移動物体分割部３９はグループ
毎に異なる移動物体と認識する。そして、これにともなって新たなＩＤを生成し、各移動
物体の動きベクトルを上記のように推定し、各移動物体のこれらＩＤ及び動きベクトルを
ブロック情報メモリ３５に書き込む。

移動物体分割部３９はまた、動きベクトルが複数のグループに分かれなくても、ブロッ
ク情報メモリ３５内のオブジェクトマップについて、例えば時刻ｔで図１９（Ａ）に示す
単一クラスタが、次の時刻（ｔ＋１）で図１９（Ｂ）に示すように２つのクラスタに分か
れたとき、互いに異なる移動物体と認識し、これにともなって新たなＩＤを生成しこれを
ブロック情報メモリ３５に書き込む。

移動物体間距離算出部４０は、ブロック情報メモリ３５内のオブジェクトマップから、
移動物体間の最短距離ｄを求め、これをその２つのＩＤと共にＶ／Ｄ計算部２６に供給す
る。Ｖ／Ｄ計算部２６は、この２つのＩＤの動きベクトルをブロック情報メモリ３５から
読み出し、上述の衝突危険度Ｖ／（ｄ＋ε）を算出する。

他の点は、上記実施例２と同一である。

以下の表９は、本実施例３の装置による認識実験の結果を示す。衝突、タンデム及び通
過の動作を認識するためのモデルパラメータの決定には、衝突、タンデム及び通過の動作
の各々について４０個の学習系列を用いた。上記モデルパラメータλ１、λ２及びλ３に
対応したこの場合のモデルパラメータをそれぞれλ１ａ、λ２ａ及びλ３ａと表記する。

認識される観測系列のうち、Ｏ¹、Ｏ²及びＯ³は上記実施例２で述べたものと同一であ
って、それぞれ衝突、タンデム及び通過の動作を示している。Ｏ^1Aは、Ｏ¹と異なる交差
点での衝突の観測系列である。

図２１は、本発明の実施例４に係る画像認識装置を示している。

画像処理装置４１は、図１６の装置２０Ｂから類似度計算部３２及び衝突事故判定部３
３を除いた部分と同一である。画像認識装置は、画像処理装置４１と、これら要素３２及
び３３の替わりに用いられるデコーダ４２、シフトレジスタ４３、ニューラルネットワー
ク４４及びコンパレータ４５とを備えている。

デコーダ４２は、観測系列切り出し部２９Ａからの４ビット観測量をデコードして、１
ビットのみ‘１’である１３ビットにし、シフトレジスタ４３の初段に供給する。シフト
レジスタ４３は、１３×２０＝２６０個のフリップフロップを備え、すなわち２０ビット
のシフトレジスタを１３個備え、図２２に示す如く、１ワード＝１３ビットの観測量を時
刻ｔ＝０〜１９について保持している。ｔ＝１９がシフトレジスタ４３の初段に相当して
いる。

すなわち、シフトレジスタ４３には、事故を判定可能な数の観測量からなる観測系列の
２値パターンが一時記憶されている。

図２２に示す、シフトレジスタ４３に同時に保持されている観測系列は、衝突事故を示
しており、その観測量は、ｔ＝０〜３で０（無干渉）、ｔ＝３及び４で１（接近）、ｔ＝
５〜７で３（急接近）、ｔ＝８〜１０で０（衝突）、ｔ＝１１で８（反動）、ｔ＝１２〜
１４で７（反動）、ｔ＝１５〜１９で０（停止）である。

ニューラルネットワーク４４は一般的な構成であり、入力層、中間層及び出力層を備え
ている。入力層のノード数は、シフトレジスタ４３のビット数２６０に等しく、各ノード
の入力値は‘０’または‘１’である。入力層のノードにはそれぞれシフトレジスタ４３
のビットが供給される。すなわち、シフトレジスタ４３の全ビットが入力パターンとして
、ニューラルネットワーク４４の入力層に供給される。ニューラルネットワーク４４の中
間層のノード数は思考錯誤で定められ、例えば５０である。本実施例４では、衝突事故の
みを判定するので、出力層のノード数は１であり、そのノードの出力値の範囲は０〜１で
ある。

ニューラルネットワーク４４の出力は、参照系列に対する類似度を示しており、コンパ
レータ４５の一方の入力端に供給され、コンパレータ４５の他方の入力端には参照値とし
て０．５が供給される。ニューラルネットワーク４４の出力が０．５より大きいとき、コ
ンパレータ４５の出力が‘１’となって、衝突事故と認識される。

ニューラルネットワーク４４のパラメータは、例えば通常のバックプロパゲーションア
リゴリズムでトレーニングされて定められる。前記参照系列は、このパラメータを定める
ための学習系列と考えることができる。

以下の表１０は、図２３の装置による認識実験の結果を示す。但し、ニューラルネット
ワーク４４の中間層及び出力層のノード数をそれぞれ５０及び３として、衝突のみならず
上述のタンデム及び通過の動作も認識できるようにした。

この実験に使用した学習系列は、上記実施例３で述べたものと同一である。また、認識
される観測系列も上記実施例３で述べたものと同一である。

Ｏ^1Aに対する上記実施例３での識結果は正しかったが、表１０はこれに対する認識結果
が間違っていることを示している。

これは、ＨＭＭとニューラルネットワーク４４との本質的な相違に基ずくものと考えら
れる。すなわち、ＨＭＭでは状態遷移において同じ状態に留まる場合を考慮するので、少
ない学習データで時間軸方向に関し伸縮した様々な類似パターンを吸収することができ、
これにより高い認識率が得られると考えられる。ニューラルネットワーク４４の欠点を解
消するためには、学習データ数を増やせばよい。

ニューラルネットワーク４４を用いたことの利点は、リアルタイムで観測系列全体を同
時入力することができるので、高速処理が可能になるということである。

図２３は、本発明の実施例５に係る画像認識装置を示している。

画像処理装置４１Ａは、図２１の画像処理装置４１に部分系列観測確率算出部４６を付
加したものである。部分系列観測確率算出部４６は、観測系列切り出し部２９Ａから観測
量が供給される毎に、上述の、ＨＭＭにおける部分系列観測確率α（ｉ，ｔ）、すなわち
時刻ｔまでに観測系列｛Ｏ₁Ｏ_2...Ｏ_t｝を出力し、状態ｉになる確率を、全ての状態ｉ＝
１〜Ｎについて算出して出力する。α（１，ｔ）〜α（Ｎ，ｔ）は同時に、シフトレジス
タ４３Ａの入力段に供給される。α（ｉ，ｔ）が小数であるので、シフトレジスタ４３Ａ
のビット数は図２１のそれよりも多い。

図２４は、上述の観測系列Ｏ¹に対応しており、部分系列観測確率α（１，ｔ）〜α（
７，ｔ）がｔ＝０〜１９についてシフトレジスタ４３Ａに保持された場合のデータパター
ンを示している。

任意の時点におけるシフトレジスタ４３Ａ内のデータ数は７×２０＝１４０であり、そ
れぞれニューラルネットワーク４４Ａの入力層のノードに供給される。ニューラルネット
ワーク４４Ａの入力層の各ノードの入力値は、０〜１の範囲の小数である。ニューラルネ
ットワーク４４Ａの出力は、コンパレータ４５の一方の入力端に供給され、図２１と同様
にして衝突事故が認識される。

図２５〜２７はそれぞれ、上述の観測系列Ｏ^1A、Ｏ²及びＯ³に対応した、ｔ＝０〜１９
についての部分系列観測確率α（１，ｔ）〜α（７，ｔ）のデータパターンを示している
。

以下の表１１は、ニューラルネットワーク４４Ａの出力層のノード数を３にして衝突、
タンデム及び通過を認識可能にした場合の、表１０に対応した認識実験結果を示す。部分
系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）はＨＭＭモデルパラメータに依存するが、衝突
のそれを用いた。タンデム及び通過のそれを用いても、学習系列が互いに類似しているの
で、同様の結果が得られると考えられる。

この表から、実施例５のほうが実施例４よりも認識率が高いことが分かる。

上記実施例３では、移動物体更新部３８において、時点（ｔ−１）で予測した時点ｔで
の移動物体の拡大範囲が他の移動物体のそれと重なった場合、重なったブロックがいずれ
の移動物体にも属さないとみなし、移動物体ＩＤを付加しなかった。

しかし、移動物体の重なり部分の割合が大きくなると、重なり部分について料移動物体
の情報がなくなるので、両移動物体を正確にトレースすることができなくなる。

画像上でこのような移動物体間の重なりが生じて、カメラから見て背面側の移動物体の
一部が見えなくなっても、カメラから見て前面側の移動物体は見えるので、そのブロック
がどの移動物体に属するかを、簡単な画像処理により推定することを考える。また、時刻
ｔにおいて、移動物体間が重なっていないが接近しているため同一ブロック（混合ブロッ
ク）に２つの移動物体の一部が属する場合であっても、時刻（ｔ−１）では該一部がそれ
ぞれ異なるブロックに属している場合がある。この場合、時刻（ｔ−１）での画像を参照
することにより、混合ブロックにどちらの移動物体がより多く属しているかを容易に推定
することを考える。

図２８は、このような推定を用いて移動物体をより正確にトレースすることを可能にす
る本発明の実施例６に係る画像認識装置２０Ｃを示す。

この装置は、画像メモリ２１、ブロック情報メモリ３５及び移動物体更新部３８に接続
された不明ＩＤ決定部４７を備えている点で、図１６の画像認識装置２０Ｂと異なる。

上述のように、移動物体更新部３８は、ブロック情報メモリ３５に格納されている時点
（ｔ−１）でのオブジェクトマップ及び各クラスタの動きベクトルと、画像メモリ２１に
格納されている時点ｔでのフレーム画像とに基づいて、時点ｔでのオブジェクトマップを
作成する。作成中において、移動物体が存在すると判定されたが上記のように移動物体Ｉ
Ｄが付されなかったブロック（ＩＤ不明ブロック）が存在した場合には、作成後に、これ
を不明ＩＤ決定部４７に通知する。

不明ＩＤ決定部４７は、これに応答して、以下のようにしてＩＤ不明ブロックの移動物
体ＩＤを決定する。

図２９は、不明ＩＤ決定部４７の入出力関係を模式的に示す。

図２９中、Ｆ１及びＦ２はそれぞれ時点（ｔ−１）及びｔでの、図２８の画像メモリ２
１に格納されているフレーム画像の一部を概略的に示す。１つの枡目は１画素を表してい
る。ＢＬ１（ｔ−１）及びＢＬ１（ｔ）はそれぞれ、時点（ｔ−１）及びｔでの移動物体
Ｍ１の境界線であり。ＢＬ２（ｔ）は時点ｔでの移動物体Ｍ２の境界線である。

Ｑ１及びＱ２はそれぞれフレーム画像Ｆ１及びＦ２に対応した、図２８のブロック情報
メモリ３５に格納されているオブジェクトマップの概略を示す図である。１つの枡目は１
つのブロックを表している。オブジェクトマップは、移動体ＩＤを持っているブロックと
持っていないブロックとからなる。図２９では理解を容易にするために、オブジェクトマ
ップ中にも移動物体の境界線を太線で表している。オブジェクトマップＱ１及びＱ２中の
ハッチングは、ＩＤが付されたブロックであることを示している。右上がり斜線が付され
たブロックはＩＤ＝１を持ち、右下がり斜線が付されたブロックはＩＤ＝２を持っている
。

オブジェクトマップＱ２中のブロックＢ１、Ｂ２及びＢ３のいずれにも移動物体Ｍ１と
Ｍ２の一部が含まれているので、移動物体更新部３８は、これらのブロックがいずれの移
動物体に属するかを判定することができない。

不明ＩＤ決定部４７は、これらフレーム画像Ｆ１、Ｆ２、オブジェクトマップＱ１及び
Ｑ２並びに移動物体Ｍ１及びＭ２の動きベクトルに基づき、ブロックＢ１、Ｂ２及びＢ３
のＩＤを決定して、オブジェクトマップＱ３を得る。

以下、オブジェクトマップＱ２中のブロックＢ２が移動物体Ｍ１とＭ２のいずれに属す
るかを決定する方法を、具体的に説明する。この決定は、ブロックＢ２が移動物体Ｍ１で
あると仮定したときの評価値と、ブロックＢ２が移動物体Ｍ２であると仮定したときの評
価値との大小関係に基づいて行なわれる。評価値は、以下の要素（１）〜（３）を含んで
ある。

（１）時点ｔでのオブジェクトマップのみに関係した評価要素ＵＮ
ブロックＢ２と隣接する９ブロックについて、ＩＤ＝１を持ったブロックの数Ｎ１が多
いほどブロックＢ２が移動物体Ｍ１のブロックである確度が高いと考えられる。そこで、
ブロックＢ２のＩＤが１であることを評価する要素ＵＮ（１）を例えば次式で表す。

ＵＮ（１）＝α（Ｎ１−９）²
ここに、αは正の定数である。ＵＮ（１）の値が小さいほどブロックＢ２が移動物体Ｍ
１に属する確度が高いと言える。

同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＮ（２）を次式で表す。

ＵＮ（２）＝α（Ｎ２−９）²
ここにＮ２は、ブロックＢ２と隣接する９ブロックのうち、ＩＤ＝２を持ったブロック
の数である。

図２９の場合、ＵＮ（１）＝１６α、ＵＮ（２）＝６４αである。したがって、オブジ
ェクトマップＱ２のみから判断すると、ブロックＢ２は、ＩＤ＝１である確度が、ＩＤ＝
２である確度よりも高いと言える。

（２）時点（ｔ−１）でのオブジェクトマップと移動物体の動きベクトルとに関係した
評価要素ＵＳ
図３０（Ａ）は大略、図２９中のオブジェクトマップＱ１とＱ２とを重ね合わせ、かつ
、ハッチングを削除したものである。図中、ＭＶ１は移動物体Ｍ１の動きベクトルであり
、点線はＢＬ１（ｔ−１）をＭＶだけ平行移動させたものである。

図３０（Ｂ）に示す如く、ブロックＢ２を−ＭＶ１だけ平行移動させることにより、移
動物体Ｍ１に固定された座標系から見て、時点（ｔ−１）でのブロックＢ２に対応すると
推定される判定枠Ｂ２１が得られる。時点ｔでブロックＢ２に移動物体Ｍ１の一部と移動
物体Ｍ２の一部とが含まれていても、時点（ｔ−１）で判定枠Ｂ２１には移動物体Ｍ２の
一部が含まれていない場合があり、この場合、判定枠Ｂ２１内を見ることにより、ブロッ
クＢ２がＩＤ＝１であるかどうかをより正確に推定することが可能となる。

判定枠Ｂ２１内の右上がり斜線部（ＩＤ＝１の部分）の面積Ｓ１が広いほど、ブロック
Ｂ２がＩＤ＝１を持つことの確度が高くなると考えられる。

そこで、オブジェクトマップの各ブロックを、８×８の同一ＩＤアレイに分割したマップを作成し、このマップ上で、図３１（Ａ）に示す如く、ＩＤ＝１の画素の個数を数えることにより、斜線部面積Ｓ１を求める。図３１（Ａ）中の斜線部はＩＤ＝１の領域を示している。Ｓ１が６４であるとき、ＩＤ＝１である確度が最大となる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＳ（１）を例えば次式で表す。

ＵＳ（１）＝β（Ｓ１−６４）²
ここに、βは正の定数である。ＵＳ（１）の値が小さいほどブロックＢ２が移動物体Ｍ
１に属する確度が高いと言える。

同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＳ（２）を次式で表す。

ＵＳ（２）＝β（Ｓ２−６４）²
ここにＳ２は、図３１（Ａ）に示す如く、ブロックＢ２を−ＭＶ２だけ平行移動させて
得られる判定枠Ｂ２２内のＩＤ＝２の個数（右下がり斜線部面積）である。ＭＶ２は、移
動物体Ｍ２の動きベクトルである。

（３）時点ｔ及び（ｔ−１）でのフレーム画像と移動物体の動きベクトルとに関係した
評価要素ＵＤ
図３０（Ｂ）のブロックＢ２と判定枠Ｂ２１とに対応した図２９のフレーム画像Ｆ２及
びＦ１中の局所画像の相関が強いほど、ブロックＢ２がＩＤ＝１である確度が高いと言え
る。図３１（Ｂ）に示すＢ２Ｆ及びＢ２１Ｆはそれぞれ、図３０中のブロックＢ２及び判
定枠Ｂ２１に対応したフレーム画像Ｆ２及びＦ１中の局所画像を示す。

ブロックＢ２のＩＤが１であることを評価する要素ＵＤ（１）を例えば次式で表す。

ＵＤ（１）＝γΣ｜Ｂ２１Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、γは正の定数であり，Ｂ２１Ｆ（ｉ，ｊ）及びＢ２Ｆ（ｉ，ｊ）はそれぞれ局
所画像Ｂ２Ｆ及びＢ２１Ｆ内の第ｉ行第ｊ列の画素値であり、Σはｉ＝１〜８及びｊ＝１
〜８についての総和（ブロック内全画素についての総和）を意味している。

ＵＤ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える
。

同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＤ（２）を次式で表す。

ＵＤ（１）＝γΣ｜Ｂ２２Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、Ｂ２２Ｆ（ｉ，ｊ）は局所画像Ｂ２２Ｆ内の第ｉ行第ｊ列の画素値であり、局
所画像Ｂ２２Ｆは図３１（Ａ）中の判定枠Ｂ２２に対応したフレーム画像Ｆ１中の局所画
像である。

不明ＩＤブロックのＩＤをより正確に推定するために、以上の（１）〜（３）を総合し
、評価関数の値
Ｕ（１）＝ＵＮ（１）＋ＵＳ（１）＋ＵＤ（１）
と、
Ｕ（２）＝ＵＮ（２）＋ＵＳ（２）＋ＵＤ（２）
との大小関係に基づいて、ブロックＢ２のＩＤを決定する。すなわち、
Ｕ１２＝Ｕ（１）−Ｕ（２）
の値が負であればＩＤ＝１と決定し、正であればＩＤ２＝２と決定する。Ｕ（１）及びＵ
（２）の最小値はいずれも０である。Ｕ１２の値が小さいほど、ブロックＢ２がＩＤ＝１
である確度が高くなる。

図２９のオブジェクトマップＱ２において、上記具体例ではブロックＢ１及びＢ３のＩ
Ｄを考慮しなかったが、実際には、ブロックＢ１、Ｂ２及びＢ３のＩＤを同時に仮定し、
ブロックＢ１、Ｂ２及びＢ３の各々の評価関数の総和が最小となるように、ブロックＢ１
、Ｂ２及びＢ３のＩＤを決定する。 この際、メトロポリス（Metropolis）アルゴリズム
又はギッブスサンプラー（Gibbs Sampler）アルゴリズムなどの確率的緩和アルゴリズム
を用いて最小値へ導く。また、評価値の極小値を最小値と間違えないようにするとともに
、極小の谷から速く脱出するために、公知のシミュレーティッドアニーリング（Simulate
d Annealing）法を適用する。

これにより、複数のＩＤ不明ブロックのＩＤを、より正確かつ容易に決定することがで
きる。

定数α、β及びγは、実際の画像を処理して、移動物体トラッキング成功率が高くなる
ように定められる。

本発明者らは、上記のような評価関数を用いることが適切であることを数学的に確かめ
た。すなわち、マルコフ・ランダム・フィールド（Markov Random Field）モデルを時空
間画像に拡張して適用し、表現された画像のエネルギー分布を確率緩和過程により最適化
した結果、上記結果評価関数の最小化と同一になった。この点は、後述する実施例７につ
いても同様である。

なお、上記入口スリットで複数の移動物体が重なって写り、単一クラスタと認識された
場合、これを不明ＩＤ決定部４７で分離認識できないので、移動物体分割部３９は本実施
例６においても用いられる。

次の表１２は、本実施例６を適用した実験結果を示す。

フレーム画像は、カラーではなく８ビットの濃淡画像を用いた。

この表は、移動物体のトラキックング成功率を、画像中の垂直方向と水平方向の交通の
流れに分けて示している。表は、交差点での実際の画像を解析して得られたものであり、
複雑な交通の流れも上記いずれかの場合に分けられている。

トラッキングが失敗した例は、一方の移動物体中に他方の移動物体が完全に重なった場
合であった。水平方向のトラッキング成功率が、左右方向のそれよりも高い理由は、左右
方向の交通の方が、移動物体間の重なりが垂直方向のそれよりも大きいためである。

上記実施例６では、時点ｔでのＩＤ不明ブロックが、互いに接近し又は重なった移動物
体Ｍ１又はＭ２に属すると仮定して評価関数の値の大小関係に基づき不明ＩＤを決定した
。

しかし、１つのブロックに３以上の移動物体の一部が含まれる場合がある。また、多く
の移動物体について、互いに接近しようとしている移動物体がどれであるかを判断しなけ
ればならない。

他方、評価要素ＵＳ及びＵＤはいずれも、時点ｔと時点（ｔ−１）での相関度が低いブ
ロック間では値が大きく高いブロック間では値が小さい。これらの値を見るだけで上記の
ことを判断することができる。また、評価値の計算は容易である。

そこで、本発明の実施例７では、図２８の不明ＩＤ決定部４７において、ＩＤ不明ブロ
ックは、時点（ｔ−１）のオブジェクトマップに含まれる全てのＩＤ＝１〜ｍのいずれか
を持つと考えて、評価関数の値の大小関係に基づき不明ＩＤを決定する。

時点ｔでのＩＤ不明ブロックを、ＢＫ１〜ＢＫｐで表し、ＩＤ不明ブロックＢＫｉのＩ
ＤがＩＤｊ（１≦ＩＤｊ≦ｍ）であると仮定したときの、ＩＤ不明ブロックＢＫｉの上記
評価関数Ｕ＝ＵＮ＋ＵＳ＋ＵＤの値をＵ（ＢＫｉ，ＩＤｊ）で表すと，次のようにしてＩ
Ｄ不明ブロックＢＫ１〜ＢＫｐのＩＤを決定する。

すなわち、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤをそれぞれＩＤ１〜ＩＤｐと仮定し
、評価関数の値
ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）
を計算する。この値が最小になるＩＤ１〜ＩＤｐを、繰り返し計算により求め、求めたも
のをＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤと決定する。この繰り返し計算において、上
記確率的緩和アルゴリズム及びシミュレーティッドアニーリング法を適用する。

他の点は上記実施例６と同一である。

次に、図３２を参照して、メトロポリスアルゴリズムを用いて解を求める場合を説明す
る。

（Ｓ１）ＩＤ不明ブロックＢＫ１〜ＢＫｐの識別符号ＩＤ１〜ＩＤｐ及びその解ＩＩＤ
１〜ＩＩＤｐに初期値ＩＤ１０〜ＩＤｐ０を与える。ｉ及びｊに初期値１を代入する（ｉ
←１、ｊ←１）。ＵＴの前回値ＵＴＢに、大きな初期値ＵＴＢmaxを与える。

（Ｓ２）評価関数の値
ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）
を計算する。

（Ｓ３、Ｓ４）ＵＴ＜ＵＴＢであれば、ＩＩＤｉ←ＩＤｉ、ＵＴＢ←ＵＴ。

（Ｓ５）ｊ←ｊ＋１
（Ｓ６、Ｓ７）ｊ≦ｍであればブロックＢＫｉのＩＤｉの値を更新してステップＳ２へ
戻り、そうでなければ次のステップＳ６へ進む。

（Ｓ８）ＩＤｉ←ＩＩＤｉ、ｉ←ｉ＋１
（Ｓ９）ｉ≦ｐであればステップＳ２へ戻り、そうでなければ処理を終了する。

このようにして、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤがそれそれＩＩＤ１〜ＩＩＤ
ｐと決定される。

理論的には、時点ｔでの全ブロックをＩＤ不明ブロックとして上記計算により適正なＩ
Ｄを決定可能である。

なお、本発明には外にも種々の変形例が含まれる。

例えば、類似度計算部３２ではパターンマッチング度を求めてもよい。例えば、図４に
おいて観測量の相違度を、横切る境界線の数と定義する。例えば、観測量０と０は相違度
０、観測量０と７は相違度１、観測量４と８は相違度２である。参照系列が｛１,２,０｝
で観測系列が｛３,２,１｝の場合、対応する成分間の相違度を求め、その総和（２＋０＋
１）の逆数１／３を一致度として求め、複数の参照系列について同様の計算を行い、その
うち最も大きい一致度を類似度としてもよい。

また、参照系列に対し観測系列を時間軸方向にずらし、ずらしたものについても類似度
を計算し、最大値を最終的な類似度として求めてもよいことは勿論である。

さらに、上記実施形態では、図２又は図１０の認識開始判定部２８において｜Ｖ／Ｄ｜
＞Ｃと判定された場合のみＶ／Ｄ時系列切り出し部２９で切り出しを行う場合を説明した
が、認識開始判定部２８、及び、時系列切り出し部２９又は２９Ａを省略し、時系列メモ
リ２７又は２７Ａ内の各時点における全ての時系列に対しブロック３２で確率Ｐを計算す
る構成であってもよい。

また、本発明の適用は各種移動物体間衝突事故に限定されず、衝突以外の動作に対して
も本発明を適用可能である。

さらにまた、要求される処理速度によっては、図２又は図１０の画像認識装置での全処
理をコンピュータで実行することも可能である。

また、評価関数は上記３要素のうち少なくとも１つを含むものであればよい。各要素の
上記関数は一例であり、推定の確度が上がるほど一方向に変化（単調変化）する種々の形
のものを用いることができる。

１０ 電子カメラ
２０、２０Ａ〜２０Ｃ 画像認識装置
２１ 画像メモリ
２２、２２Ａ 移動物体認識部
２３、２４ 位置レジスタアレイ
２５ 相対距離レジスタアレイ
２６、２６Ａ Ｖ／Ｄ計算部
２７ Ｖ／Ｄ時系列メモリ
２７Ａ Ｏ時系列メモリ
２８ 認識開始判定部
２９ Ｖ／Ｄ時系列切り出し部
２９Ａ 観測系列切り出し部
３０、３０Ａ ベクトル回転部
３１ 量子化部
３２ 類似度計算部
３３ 衝突事故判定部
Ｍ１〜Ｍ６ 車
３４ 背景画像生成部
３６ ＩＤ生成／消滅部
３７ 動きベクトル算出部
３８ 移動物体更新部
３９ 移動物体分割部
４０ 移動物体間距離算出部
４１、４１Ａ 画像処理装置
４２ デコーダ
４３、４３Ａ シフトレジスタ
４４、４４Ａ ニューラルネットワーク
４５ コンパレータ
４６ 部分系列観測確率算出部
４７ 不明ＩＤ決定部
Ｂ１、Ｂ２、Ｂ３ ブロック
Ｆ１、Ｆ２ フレーム画像
Ｑ１〜Ｑ３ オブジェクトマップ
ＭＶ１、ＭＶ２ 動きベクトル
Ｂ２１、Ｂ２２ 判定枠
Ｂ２１Ｆ、Ｂ２Ｆ 局所画像

Claims (2)

1. 電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、ブロック単位で移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成し、時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める移動物体認識方法であって、
   現フレーム画像について、着目ブロックを、前フレームの各移動物体の動きベクトルの符号を逆にしたベクトルで移動させたときに、複数の移動のそれぞれで該前フレームの移動物体と重なる場合、評価関数に基づいて該着目ブロックの識別符号を決定し、
   該評価関数は、該移動させた着目ブロックの枠内に含まれる、該移動に対応した動きベクトルを持つ移動物体と同一識別符号を持つブロックの面積が広いほど、該着目ブロックが該同一識別符号を持つ確度が高くなることを示す関数値となる関数である、
   ことを特徴とする移動物体認識方法。
2. 撮影されたフレーム画像が格納される画像記憶部と、
   該フレーム画像を複数ピクセルからなるブロックに分割し、ブロックに移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成するオブジェクトマップ作成部と、
   該画像記憶部に格納された時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める動きベクトル算出部と、
   現フレーム画像について、着目ブロックを、前フレームの各移動物体の動きベクトルの符号を逆にしたベクトルで移動させたときに、複数の移動のそれぞれで該前フレームの移動物体と重なる場合、評価関数に基づいて該着目ブロックの識別符号を決定する識別符号決定部と、
   を有し、該評価関数は、該移動させた着目ブロックの枠内に含まれる、該移動に対応した動きベクトルを持つ移動物体と同一識別符号を持つブロックの面積が広いほど、該着目ブロックが該同一識別符号を持つ確度が高くなることを示す関数値となる関数であることを特徴とする移動物体認識装置。

Images