JP4187448B2

JP4187448B2 - 画像における移動体追跡方法及び装置

Info

Publication number: JP4187448B2
Application number: JP2002062439A
Authority: JP
Inventors: 俊介上條; 正夫坂内
Original assignee: Fujitsu Semiconductor Ltd; Foundation for the Promotion of Industrial Science
Current assignee: Fujitsu Semiconductor Ltd; Foundation for the Promotion of Industrial Science
Priority date: 2002-03-07
Filing date: 2002-03-07
Publication date: 2008-11-26
Anticipated expiration: 2022-03-07
Also published as: KR20030074266A; US20030169340A1; EP1345175A2; KR100882368B1; CN1272747C; JP2003263626A; EP1345175A3; EP1345175B1; CN1444183A; US7149328B2

Description

【０００１】
【発明の属する技術分野】
本発明は、時系列画像を処理して画像中の移動体（車、自転車、動物等の移動可能なもの）を追跡する移動体追跡方法及び装置に関する。
【０００２】
【従来の技術】
交通事故の早期発見は、迅速な救助活動により人命救助の成功率を高めるだけでなく、警察の実地検分などを迅速にすることにより事故渋滞を緩和することもできるので、様々な交通事故の認識自動化が期待されている。交通事故の認識率を高めるためには、カメラで撮像された画像を処理して移動体を正確に追跡する必要がある。
【０００３】
移動体追跡においては特に、画像上で重なった移動体を分離して認識することと、雲や建物の影などによる移動体の照度変化に影響されずに移動体を追跡することが問題となる。
【０００４】
前者の問題は、本発明者の特開２００１−１４８０１９号公報に開示されている、時空間マルコフモデルを用いて時空間の相関度を計算する方法により、解決することができる。後者の問題は、差分画像を用いることにより解決することができる（G.L.Gimel'farb, “Texture Modeling by Multiple Pairwise Pixel Interactions”, IEEE trans.
PAMI, Vol.18, No.11, 1996, pp1110-1114）。
【０００５】
【発明が解決しようとする課題】
しかしながら、後者の差分画像をどのように変換して前者の方法に組み入れれば、移動体追跡の成功率を高くすることができるかという技術的課題が残されていた。
【０００６】
本発明の目的は、このような事実に鑑み、画像上で移動体が重なったり移動体の照度が変化しても高い成功率で移動体を追跡することが可能な移動体追跡方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段及びその作用効果】
本発明の一態様では、撮像された第１時系列画像を処理して画像中の移動体を追跡する移動体追跡方法において、
（ａ）該第１時系列画像の各フレーム画像を空間的差分フレーム画像に変換して第２時系列画像を生成し、
（ｂ）該時刻ｔ１の空間的差分フレーム画像と、該時刻ｔ１と隣り合う時刻ｔ２の空間的差分フレーム画像との相関関係と、該時刻ｔ１の空間的差分フレーム画像に含まれる移動体の識別結果とに基づいて、該時刻ｔ２の移動体を識別するステップを有する。
【０００８】
この構成によれば、ステップ（ａ）により第２時系列画像が照度変化に殆どよらず、該第２時系列画像に対しステップ（ｂ）の処理が行われるので、画像上で移動体が重なったり移動体の照度が変化しても高い成功率で移動体を追跡することが可能となる。
【０００９】
上記ステップ（ａ）において、上記変換前のフレームの着目画素の値を、該着目画素とその周囲の画素との差分値を該着目画素とその周囲の画素の値の最大値で除したものに比例した値Ｈに関する値Ｉに変換することにより、上記空間的差分フレーム画像の着目画素の値を求めれば、画素値が小さくて差分が小さい場合も、画素値及び差分が大きい場合とほぼ等価にエッジ情報を取得することができるので、移動体追跡の成功率をさらに高めることができる。
【００１０】
上記ステップ（ａ）においてさらに、上記比例した値Ｈが所定範囲であるとき該値Ｈを略一次変換して上記値Ｉを求め、該比例した値Ｈが該所定範囲を越えるとき該値Ｈを、該空間的差分フレーム画像の画素の取り得る最大値Ｇmaxを超えないように抑圧した値に変換して上記値Ｉを求めれば、Ｈの分布に含まれるエッジ情報を殆ど低減させることなく値Ｉのビットを短くすることができ、画像処理の高速化が可能になる。
【００１１】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。複数の図中の対応する同一又は類似の構成要素には、同一又は類似の符号を付している。
【００１３】
図１は、交差点及びこれに配置された本発明の一実施形態の移動体追跡装置の概略を示す。
【００１４】
この装置は、交差点を撮像して画像信号を出力する電子カメラ１０と、その画像を処理して移動体を追跡する移動体追跡装置２０とを備えている。
【００１５】
図２は、この移動体追跡装置２０の機能ブロック図である。移動体追跡装置２０の構成要素のうち、記憶部以外はコンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウエアと専用のハードウエアの組み合わせで構成することができる。
【００１６】
電子カメラ１０で撮影された時系列画像は、例えば１２フレーム／秒のレートで、画像メモリ２１に格納される。
【００１７】
画像メモリ２１は、３フレーム以上の記憶容量を有し、最も古いフレームが新しいフレーム画像で書き換えられる。
【００１８】
画像変換部２２は、画像メモリ２１内の各フレーム画像について、これをフレームバッファメモリ２３にコピーし、コピーされた画像のデータを用いて画像メモリ２１内の対応するフレーム画像を空間的差分フレーム画像に変換する。この変換は２段階で行われる。
【００１９】
元のフレーム画像の第ｉ行第ｊ列の画素値（輝度値）をＧ（ｉ，ｊ）とすると、第１段階における変換後の第ｉ行第ｊ列の画素値Ｈ（ｉ，ｊ）は、次式で表される。
【００２０】

ここにΣ_{neighberpixcels}は、ｃを自然数とすると、ｄｉ＝−ｃ〜ｃ及びｄｊ＝−ｃ〜ｃにわたっての総和を意味し、例えばｃ＝１のとき、第ｉ行第ｊ列の画素と隣り合う８画素にわたる総和である。照度が変化すると、画素値Ｇ（ｉ，ｊ）とその付近の画素値Ｇ（ｉ＋ｄｉ，ｊ＋ｄｊ）が同様に変化するので、Ｈ（ｉ，ｊ）の画像は、照度の変化に対し不変である。
【００２１】
ここで、隣り合う画素の差分の絶対値は、一般に画素値が大きいほど大きい。移動体追跡の成功率を高めるには、画素値が小さくて差分が小さい場合も、画素値及び差分が大きい場合とほぼ等価にエッジ情報を取得した方が好ましい。そこで、Ｈ（ｉ，ｊ）を次のように規格化する。
【００２２】

ここに、Ｇｉ，ｊ，maxは、Ｈ（ｉ，ｊ）の計算に用いた元の画素の値の最大値であり、例えばｃ＝１の場合、第ｉ行第ｊ列の画素を中心とする３×３画素の値の最大値であり、Ｇmaxは画素値Ｇ（ｉ，ｊ）の取りうる最大値、例えば画素値が８ビットで表される場合、２５５である。以下、ｃ＝１、Ｇmax＝２５５である場合について説明する。
【００２３】
Ｈ（ｉ，ｊ）の取りうる最大値は、移動体毎に異なる。例えばＧ（ｉ，ｊ）＝Ｇmaxで第ｉ行第ｊ列の画素に隣り合う８画素の値がいずれも０で有る場合、Ｈ（ｉ，ｊ）＝８Ｇmaxとなって、Ｈ（ｉ，ｊ）を８ビットで表すことができない。
【００２４】
一方、移動体のエッジ部のＨ（ｉ，ｊ）の値のヒストグラムを作成してみると、頻度の大部分がＨ＝５０〜１１０の範囲に含まれることがわかった。すなわち、Ｈの値が約１１０より大きくなるほど移動体追跡のためのエッジ情報の数が少ないので、重要度が低い。
【００２５】
したがって、Ｈの値の大きい部分を抑圧して変換画素のビット長を短くすることにより、画像処理を高速に行なったほうが好ましい。そこで、第２段階として、このＨ（ｉ，ｊ）を、シグモイド関数を用いた次式により、Ｉ（ｉ，ｊ）に変換する。
【００２６】
Ｉ＝Ｇmax／｛１＋ｅｘｐ〔−β（Ｈ−α）〕｝（６）
シグモイド関数はＨ＝αの付近で線形性が良い。そこで、閾値αの値を、エッジ情報を持つＨの度数分布の最頻値、例えば８０にする。
【００２７】
図３は、Ｇmax＝２５５、α＝８０でβの値が０．００１、０．０２、０．０５、０．２０及び０．５０の場合のＨに対するＩのグラフを示す。βの値の好ましい範囲は、実際に行なった移動体追跡の成功率との関係で後述する。
【００２８】
画像変換部２２は、上式（２）及び（３）に基づいて、画素値Ｇ（ｉ，ｊ）の画像を画素値Ｉ（ｉ，ｊ）の画像に変換する。
【００２９】
図４（Ａ）及び図４（Ｂ）は、交差点を撮影した元画像であり、図４（Ａ）は建物の影が存在しない場合、図５（Ａ）はこの影が存在する場合である。図４（Ｂ）及び図５（Ｂ）はそれぞれ、図４（Ａ）及び図５（Ａ）の元画像を画像変換部２２で変換して得られた空間的差分画像である。これらの画像から、差分画像は照度の変化に対しほぼ不変であり、また、移動体の特徴が抽出されていることが判る。
【００３０】
背景画像生成部２４、ＩＤ生成／消滅部２５及び移動体追跡部２７は、画像メモリ２１中の空間的差分フレーム画像に基づいて処理を行う。以下においては、空間的差分フレーム画像を単にフレーム画像と称す。
【００３１】
背景画像生成部２４は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１０分間の全てのフレーム画像の対応するピクセルについて画素値のヒストグラムを作成し、その最頻値（モード）をそのピクセルの画素値とする画像を、移動体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００３２】
ＩＤ生成／消滅部２５には、図６に示す如くフレーム画像内の、交差点への４つの入口及び交差点からの４つの出口にそれぞれ配置されるスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４の位置及びサイズのデータが予め設定されている。ＩＤ生成／消滅部２５は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これら入口スリット内に移動体が存在するかどうかをブロック単位で判定する。図６中のメッシュの升目はブロックであり、１ブロックは例えば８×８画素であり、１フレームが４８０×６４０画素の場合、１フレームは６０×８０ブロックに分割される。あるブロックに移動体が存在するかどうかは、このブロック内の各ピクセルと背景画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定する。この判定は、移動体追跡部２７においても行われる。
【００３３】
ＩＤ生成／消滅部２５は、ブロック内に移動体が存在すると判定すると、このブロックに新たなクラスタ識別符号ＩＤを付与する。ＩＤ生成／消滅部２５は、ＩＤ付与済ブロックと隣接しているブロックに移動体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは入口スリットに隣接しているブロックも含まれる。例えば図６中の入口スリットＥＮ１内のブロックにはＩＤ＝１が付与され、入口スリットＥＮ４内の移動体存在ブロックにはＩＤ＝５が付与される。
【００３４】
ＩＤの付与は、オブジェクトマップ記憶部２６内の対応するブロックに対して行われる。オブジェクトマップ記憶部２６は、上述の場合６０×８０ブロックのオブジェクトマップを記憶するためのものであり、各部ブロックには、ＩＤが付与されているかどうかのフラグ、ＩＤが付与されている場合にはその番号と後述のブロック動きベクトルとがブロック情報として付与される。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。
【００３５】
入口スリットを通過したクラスタに対しては、移動体追跡部２７により移動方向のブロックに対するＩＤの付与及び移動と反対方向のブロックに対するＩＤの消滅、すなわちクラスタの追跡処理が行われる。移動体追跡部２７による追跡処理は、各クラスタについて出口スリット内まで行われる。
【００３６】
ＩＤ生成／消滅部２５はさらに、オブジェクトマップ記憶部２６の内容に基づき出口スリットＥＸ１〜ＥＸ４内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、出口スリットをクラスタが通過したときにそのＩＤを消滅させる。例えば図６中の出口スリットＥＸ１内のブロックにＩＤが付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。
【００３７】
移動体追跡部２７は、時刻（ｔ−１）のオブジェクトマップ及びフレーム画像と、時刻ｔのフレーム画像とに基づいて、時刻ｔのオブジェクトマップを生成する。以下、これを説明する。
【００３８】
１台のカメラで広い領域を撮像して移動体を追跡するために、路面に対し低カメラアングルで移動体を正面から撮像した場合、図７（Ａ）〜（Ｃ）に示すように移動体同士の画像上での重なりが頻繁に生ずる。
【００３９】
図８及び図９はそれぞれ、図７（Ａ）及び（Ｂ）の拡大画像を示す。点線は、画像をブロックに分割するものである。図８において、重なった移動体Ｍ１とＭ２は、図２のオブジェクトマップ記憶部２６において１つのクラスタＣ１２に対応しており、移動体Ｍ１とＭ２とが識別されていないとする。これに対し、クラスタＣ３は１つの移動体Ｍ３に対応している。
【００４０】
時刻ｔでの第ｉ行第ｊ列のブロックをＢ（ｔ：ｉ，ｊ）で表す。図８に示すように、ブロックＢ（ｔ−１：１１，１３）及びＢ（ｔ−１：１４，１３）の動きベクトルをそれぞれＶ２及びＶ３で表す。動きベクトルＶ２及びＶ３の先端はいずれもブロックＢ（ｔ−１：１８，１１）内に存在している。図９に示す時刻ｔの画像中の枠ＳＢ２及びＳＢ３はそれぞれ、図８の画像中のブロックＢ（ｔ−１：１１，１３）及びＢ（ｔ−１：１４，１３）をそれぞれ動きベクトルＶ１及びＶ２移動させた領域に対応している。
【００４１】
次に、動きベクトルＶ２及びＶ３の先端がブロックＢ（１８，１１）の中心に一致するように動きベクトルＶ２及びＶ３を平行移動させ、動きベクトルＶ２及びＶ３の方向を逆にし、図１０に示すように、ハッチングが施されたブロックＢ（ｔ−１：１８，１１）を−Ｖ２及び−Ｖ３移動させた枠ＳＢＲ２及びＳＢＲ３を求める。枠ＳＢＲ２及びＳＢＲ３内の画像はそれぞれ、図１１のブロックＢ（ｔ：１８，１１）内の画像が図１０の時刻（ｔ−１）のクラスタＣ１２及びＣ３に属していた仮定したときの推定画像である。クラスタＣ１２及びＣ３のＩＤをそれぞれＩＤ１２及びＩＤ３とする。
【００４２】
図１０中の枠ＳＢＲ２内の画像と図１１中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＤを次式で計算し、この値をＵＤ（ＩＤ１２）とする。
【００４３】
ＵＤ＝Σ｜ＳＰ（ｔ−１：ｉ，ｊ）−ＢＰ（ｔ：ｉ，ｊ）｜（４）
ここにＳＰ（ｔ−１：ｉ，ｊ）及びＢＰ（ｔ：ｉ，ｊ）はそれぞれ、図１０の枠ＳＢＲ２内及び図１１のブロックＢ（ｔ：１８，１１）内の第ｉ行第ｊ列のピクセルの値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総和（ブロック内全画素についての総和）を意味している。評価値ＵＤの値が小さいほど相関度が高い。
【００４４】
同様に図１０中の枠ＳＢＲ３内の画像と図１１中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＤを計算し、この値をＵＤ（ＩＤ３）とする。
【００４５】
図１０と図１１の場合には、ＵＤ（ＩＤ３）＜ＵＤ（ＩＤ１２）となり、ブロックＢ（ｔ：１８，１１）にＩＤ３を付与する。
【００４６】
このように、ブロック毎の動きベクトルを用いることにより、複数の移動体を含む時刻ｔのクラスタＣ１２３に含まれるブロックに異なるＩＤを付与することができ、これにより１つのクラスタＣ１２３を異なるＩＤのクラスタに分割することが可能になる。
【００４７】
図９のクラスタＣ１２３に属するブロックＢ（ｔ：１８，１１）に対応するクラスタＣ１２内のブロックＢ（ｔ−１：１１，１３）及びクラスタＣ３内のＢ（ｔ−１：１４，１３）の見つけ方は次の通りである。すなわち、ブロックＢ（ｔ−１：ｉ，ｊ）の中心からブロックＢ（ｔ−１：１８，１１）の中心までのベクトルをＶ（１８−ｉ，１１−ｊ）、ブロックＢ（ｔ−１：ｉ，ｊ）の動きベクトルをＶ（ｔ−１：ｉ，ｊ）と表記すると、
｜Ｖ（１８−ｉ，１１−ｊ）−Ｖ（ｔ−１：ｉ，ｊ）｜＜ΔＶ
を満たすＶ（ｔ−１：ｉ，ｊ）をもつブロックＢ（ｔ−１：ｉ，ｊ）を見つければよい。ここにΔＶは定数であり、例えばブロックの１辺の画素数の３倍の値である。ブロックＢ（ｔ：１８，１１）に対応するクラスタＣ１２内のブロックが複数有り、又は、ブロックＢ（ｔ：１８，１１）に対応するクラスタクラスタＣ３内のブロックが複数有る場合には、その各々についての評価値を求め、最も小さい評価値に対応したＩＤをブロックＢ（ｔ：１８，１１）に付与する。
【００４８】
図９のクラスタＣ１２３に属する他のブロックについても上記同様である。
【００４９】
ブロックＢ（ｔ：１８，１１）にＩＤ３を付与する上記の場合、このブロックの動きベクトルはほぼ動きベクトルＶ３であると推定できる。ブロックＢ（ｔ：１８，１１）の動きベクトルをより正確に求めるために、枠ＳＢＲ３を、この位置を中心として所定範囲内で１画素ずつシフトさせ、このシフト毎に該評価値を求め、評価値が最小（相関度が最大）になったときの枠ＳＢＲ３の中心からブロックＢ（ｔ：１８，１１）の中心へ向かうベクトルを、ブロックＢ（ｔ：１８，１１）の動きベクトルと決定する。時刻ｔでのブロックの動きベクトルは、このブロックにＩＤを付与する毎に、このようなブロックマッチングで決定される。
【００５０】
類似度をより正確に見積もるために、以下のような量も考慮する。
【００５１】
図１０中の枠ＳＢＲ３の一部はクラスタＣ３からはみ出しており、その面積が広いほど、図１１のブロックＢ（ｔ：１８，１１）のＩＤがＩＤ３である確率が低いと考えられる。そこで、ブロックＢ（ｔ：１８，１１）のＩＤがＩＤ３であると仮定し、枠ＳＢＲ３内の、クラスタＣ３に属する画素数Ｓ（ｔ−１）を求め、図１０中の枠ＳＢＲ３内の画像と図１１中のブロックＢ（ｔ：１８，１１）内の画像との相関度に関係した評価値ＵＳを次式で計算し、この値をＵＳ（ＩＤ３）とする。
【００５２】
ＵＳ＝（Ｓ（ｔ−１）−６４）² （５）
評価値ＵＤの値が小さいほど相関度が高い。同様にブロックＢ（ｔ：１８，１１）のＩＤがＩＤ１２であると仮定し、枠ＳＢＲ２内の、クラスタＣ１２に属する画素数Ｓを求めて評価値ＵＳを計算し、この値をＵＳ（ＩＤ１２）とする。図１０と図１１の場合には、ＵＳ（ＩＤ１２）＝０であり、ＵＳ（ＩＤ３）＞ＵＳ（ＩＤ１２）である。
【００５３】
上式（４）と（５）の一次結合Ｕ＝αＵＤ＋βＵＳを評価関数とし、評価値Ｕが小さいほど類似度が高いと判定する。ここにα及びβは正の定数であり、類似度の評価がより正確になるように経験的に定められる。
【００５４】
図１１の時刻ｔにおける各ブロックにつき、上記同様にしてＩＤ１２を付与するかＩＤ３を付与するかを決定する。評価値の差の絶対値｜Ｕ（ＩＤ１２）−Ｕ（ＩＤ３）｜が所定値以下の場合には誤判定される確率が大きいので、ＩＤを付与しないで残しておき、時刻ｔの画像について次の量を考慮する。例えば、図１１のブロックＢ（ｔ：１８，１１）のＩＤが未定でこれがＩＤ３であると仮定した場合、ブロックＢ（ｔ：１８，１１）に隣接した８個のブロックについて、ＩＤ３が付与されている個数Ｎ（ｔ）を求め、評価値ＵＮを次式で計算し、この値をＵＮ（ＩＤ３）とする。
【００５５】
ＵＮ＝（Ｎ（ｔ）−８）² （６）
評価値ＵＮの値が小さいほど相関度が高い。同様に図１１中のブロックＢ（ｔ：１８，１１）がＩＤ１２であると仮定した場合、ブロックＢ（ｔ：１８，１１）に隣接した８個のブロックについて、ＩＤ１２が付与されている個数Ｎを求め、評価値ＵＮを計算し、この値をＵＮ（ＩＤ１２）とする。
【００５６】
また、ほぼ同一の画素値が分布しているためにブロックマッチングで求めた時刻（ｔ−１）の動きベクトルの誤差が大きく、このため上式（４）〜（６）の一次結合Ｕ＝αＵＤ＋βＵＳ評価値の差の絶対値｜Ｕ（ＩＤ１２）−Ｕ（ＩＤ３）｜が所定値以下になる場合も考えられるので、さらに、ブロックＢ（ｔ：１８，１１）に対応するブロックＢ（ｔ−１：１４，１３）及びＢ（ｔ−１：１１，１３）の各々の周囲のブロックの動きベクトルに着目することにより、類似度の評価をより正確化する。すなわち、ブロックＢ（ｔ：１８，１１）がＩＤ３であると仮定して求められた、時刻（ｔ−１）の対応するブロックＢ（ｔ−１：１４，１３）の動きベクトルＶＣ（ｔ−１）＝Ｖ３と、このブロックＢ（ｔ−１：１４，１３）に隣接した８個のブロックのうちＩＤがＩＤ３であるＮＸ＝ＮＸ３個のブロック（図１０中の小黒点付ブロック）の動きベクトルＶＢｉ（ｔ−１）、ｉ＝１〜ＮＸについて、評価値ＵＶを次式で計算し、この値をＵＶ（ＩＤ３）とする。
【００５７】
ＵＶ＝Σ｜ＶＣ（ｔ−１）−ＶＢｉ（ｔ−１）｜²／ＮＸ（７）
ここにΣはｉ＝１〜ＮＸについての総和を意味する。評価値ＵＶの値が小さいほど相関度が高い。同様に、ブロックＢ（ｔ：１８，１１）がＩＤ１２であると仮定して求められた、時刻（ｔ−１）の対応するブロックＢ（ｔ−１：１１，１３）の動きベクトルＶＣ＝Ｖ２と、このブロックＢ（ｔ−１：１１，１３）に隣接した８個のブロックのうちＩＤがＩＤ１２であるＮＸ＝ＮＸ１２個のブロック（図１０中の×印付ブロック）の動きベクトルＶＢｊ（ｔ−１）、ｊ＝１〜ＮＸについて、評価値ＵＶを計算し、この値をＵＶ（ＩＤ１２）とする。
【００５８】
上式（４）〜（７）の一次結合
Ｕ＝ａＵＮ＋ｂＵＳ＋ｃＵＤ＋ｆＵＶ（８）
を評価関数とし、評価値Ｕが小さいほど類似度が高い（相関度が高い）と判定する。ここにａ及びｆも正の定数であり、類似度の評価がより正確になるように経験的に定められる。
【００５９】
このようにして、図１１のクラスタＣ１２３内のブロック毎にＩＤがＩＤ１２であるかＩＤ３であるかが決定されるとともにその動きベクトルが決定される。すなわち、時刻ｔでのオブジェクトマップが決定され、図１２に示すように、移動体Ｍ２が移動体Ｍ１とＭ３の両方に重なっていても、異なるＩＤをもつクラスタに分割することができる。
【００６０】
同様にして、時刻ｔのフレーム画像とオブジェクトマップとから、時刻（ｔ＋１）でのオブジェクトマップが得られる。時刻ｔでＣ１２とＣ３とが識別されていることと、時刻（ｔ＋１）のフレーム画像で移動体Ｍ１がＭ２から分離していることから、図１３に示すように、時刻（ｔ＋１）では移動体Ｍ１〜Ｍ３に対応したＣ１〜Ｃ３が識別される。
【００６１】
なお、時刻ｔのオブジェクトマップ作成前に、時刻（ｔ−１）のオブジェクトマップＸをワークエリアにコピーしてオブジェクトマップＹとし、オブジェクトマップＸ上でＩＤがＩＤαである各ブロックｉの動きベクトルＶｉを、オブジェクトマップＹ上の該ブロックｉに対応したブロック及びこれに隣接したＩＤ＝ＩＤαの全てのブロックの動きベクトルＶｊ、ｊ＝１〜ｐを平均化したベクトル（ΣＶｊ）／ｐで置き換えてもよい。このようにすれば、ブロック内のテクスチャが隣接ブロックのそれと類似しているために動きベクトルの誤差が大きい場合、この誤差が低減される。ワークエリアへのコピーは、平均化ベクトルを一意的に定めるためである。
【００６２】
時刻ｔのオブジェクトマップは、次のようにして決定することもできる。
【００６３】
時刻ｔでのオブジェクトマップ中のブロックｉ、例えば図１１中のブロックＢ（１８，１１）が識別コードＩＤｉ及び動きベクトルＶｉ、例えばＩＤ３及びＶ３を有すると仮定し、
ブロックｉの枠をベクトル−Ｖｉだけ移動させたときの時刻（ｔ−１）でのフレーム画像上の枠内の画像、例えば図１０中の枠ＳＢＲ３内の画像と、時刻ｔでのフレーム画像上のブロックｉの画像との相関度を単位相関度として計算し、
時刻ｔの全ブロックにわたって単位相関度の総和を求め、この総和が最大になるように時刻ｔのオブジェクトマップを作成する。
【００６４】
このアルゴリズムは、ｔと（ｔ−１）を入れ替えても成立する。この場合、重なっていた移動体が分離した場合に、時間を遡ることにより、重なっていた移動体を分離することができる。
【００６５】
図１４（Ａ）は、高速道路に設置された低カメラアングルの撮影画像の一部を示す。図１４（Ｂ）は、図１４（Ａ）の画像を図２の画像変換部２２で処理した画像を示す。図１４（Ｂ）中の黒線矩形は、識別された移動体の範囲の概略を人が容易に把握できるようにするために、画像上に描かれたものであり、実際の移動体追跡処理とは無関係である。図１４（Ｃ）は、図１４（Ｂ）の差分画像に対応したオブジェクトマップ中のＩＤ分布図である。
【００６６】
図１５は、図２のカメラを高速道路に低カメラアングルで設置（図１４（Ａ）はこのカメラで撮影された画像の一部分）した場合の、上式（３）のシグモイド関数中のパラメータβに対する移動体追跡成功率の実験結果を示す。α＝８０、Ｇmax＝２５５、３０フレーム／ｓｅｃとした。また、上式（８）中の係数をａ＝１／２、ｂ＝１／２５６、ｃ＝３２／１００００００、ｆ＝１／４と試行錯誤的に決定した。このグラフから、βの値が０．０５〜０．５０の範囲で移動体追跡成功率が９０％以上になることが判る。
【００６７】
なお、本発明には外にも種々の変形例が含まれる。例えば、上式（３）のシグモイド関数の代わりに、図１６に示すような簡単な折線関数を用いてＨ（ｉ，ｊ）をＩ（ｉ，ｊ）に変換する構成であってもよい。また、上式（２）中の分子の代わりに、従来のラプラシアンオペレータ等の差分オペレータを用いて変換したものであってもよい。ただし、上式（２）のように規格化したほうが、移動体追跡成功率を向上させることができる。
【００６８】
以上の説明から明らかなように、本発明には、以下の付記が含まれる。
【００６９】
（付記１）撮像された第１時系列画像を処理して画像中の移動体を追跡する移動体追跡方法において、
（ａ）該第１時系列画像の各フレーム画像を空間的差分フレーム画像に変換して第２時系列画像を生成し、
（ｂ）該時刻ｔ１の空間的差分フレーム画像と、該時刻ｔ１と隣り合う時刻ｔ２の空間的差分フレーム画像との相関関係と、該時刻ｔ１の空間的差分フレーム画像に含まれる移動体の識別結果とに基づいて、該時刻ｔ２の移動体を識別する、ステップを有することを特徴とする移動体追跡方法。（１）
（付記２）上記ステップ（ａ）では、上記変換前のフレームの着目画素の値を、該着目画素とその周囲の画素との差分値に関する値Ｉに変換することにより、上記空間的差分フレーム画像の着目画素の値を求める、
ことを特徴とする付記１記載の移動体追跡方法。（２）
（付記３）上記ステップ（ａ）において、上記差分値に関する値Ｉは、該差分値を上記着目画素とその上記周囲の画素の値の最大値で除したものに比例した値Ｈに関する値Ｉである、
ことを特徴とする付記２記載の移動体追跡方法。（３）
（付記４）上記比例した値Ｈが所定範囲であるとき該値Ｈを略一次変換して上記値Ｉを求め、該比例した値Ｈが該所定範囲を越えるとき該値Ｈを、該空間的差分フレーム画像の画素の取り得る最大値Ｇmaxを超えないように抑圧した値に変換して上記値Ｉを求めることを特徴とする付記３記載の移動体追跡方法。（４）
（付記５）上記比例した値Ｈを変数とするシグモイド関数ｆ（Ｈ）
ｆ（Ｈ）＝１／｛１＋ｅｘｐ〔−β（Ｈ−α）〕｝
に基づき上記値Ｉ＝Ｇmax・ｆ（Ｈ）を求め、ここにα及びβは正の定数であることを特徴とする付記４記載の移動体追跡方法。（５）
（付記６）上記定数βは０．０５〜０．５０の範囲の値であることを特徴とする付記４記載の移動体追跡方法。（６）
（付記７）上記ステップ（ｂ）では、
上記時刻ｔ１及びｔ２の空間的差分フレーム画像の各々を、複数画素を含むブロックに分割し、
上記時刻ｔ１の移動体識別結果は、移動体の一部が含まれるブロックに付与された該移動体の識別コードと、該識別コードが付与されたブロックの動きベクトルとを含む該時刻ｔ１でのオブジェクトマップであり、
該時刻ｔ２のオブジェクトマップを作成することにより該時刻ｔ２での移動体を識別する、
ことを特徴とする付記１乃至５のいずれか１つに記載の移動体追跡方法。（７）
（付記８）上記時刻ｔ２でのオブジェクトマップ中のブロックｉが識別コードＩＤｉ及び動きベクトルＶｉを有すると仮定し、該ブロックｉの枠をベクトル−Ｖｉだけ移動させたときの上記時刻ｔ１での空間的差分フレーム画像上の枠内の画像と、該時刻ｔ２での空間的差分フレーム画像上のブロックｉの画像との相関度を単位相関度として計算し、該時刻ｔ２の全ブロックにわたって該単位相関度の総和を求め、該総和が最大になるように該時刻ｔ２のオブジェクトマップを作成することを特徴とする付記７記載の移動体追跡方法。（８）
（付記９）撮像された第１時系列画像を処理して画像中の移動体を追跡する移動体追跡装置において、
該第１時系列画像が格納される画像記憶部と、
該第１時系列画像の各フレーム画像を空間的差分フレーム画像に変換して第２時系列画像を生成し該画像記憶部に格納させる画像変換部と、
該時刻ｔ１の空間的差分フレーム画像と、該時刻ｔ１と隣り合う時刻ｔ２の空間的差分フレーム画像との相関関係と、該時刻ｔ１の空間的差分フレーム画像に含まれる移動体の識別結果とに基づいて、該時刻ｔ２の移動体を識別することにより、該第２時系列画像中の移動体を追跡する画像処理部と、
を有することを特徴とする移動体追跡装置。（９）
（付記１０）上記画像変換部は、上記変換前のフレームの着目画素の値を、該着目画素とその周囲の画素との差分値を該着目画素とその周囲の画素の値の最大値で除したものに比例した値Ｈに関する値Ｉに変換することにより、上記空間的差分フレーム画像の着目画素の値を求める、
ことを特徴とする付記８記載の移動体追跡装置。（１０）
（付記１１）上記画像変換部は、上記比例した値Ｈが所定範囲であるとき該値Ｈを略一次変換して上記値Ｉを求め、該比例した値Ｈが該所定範囲を越えるとき該値Ｈを、該空間的差分フレーム画像の画素の取り得る最大値Ｇmaxを超えないように抑圧した値に変換して上記値Ｉを求めることを特徴とする付記１０記載の移動体追跡装置。
【００７０】
（付記１２）上記画像変換部は、上記比例した値Ｈを変数とするシグモイド関数ｆ（Ｈ）
ｆ（Ｈ）＝１／｛１＋ｅｘｐ〔−β（Ｈ−α）〕｝
に基づき上記値Ｉ＝Ｇmax・ｆ（Ｈ）を求め、ここにα及びβは正の定数であることを特徴とする付記１０記載の移動体追跡装置。
【００７１】
（付記１３）上記定数βは０．０５〜０．５０の範囲の値であることを特徴とする付記１２記載の移動体追跡装置。
【００７２】
（付記１４）上記画像処理部では、
上記時刻ｔ１及びｔ２の空間的差分フレーム画像の各々を、複数画素を含むブロックに分割し、
上記時刻ｔ１の移動体識別結果は、移動体の一部が含まれるブロックに付与された該移動体の識別コードと、該識別コードが付与されたブロックの動きベクトルとを含む該時刻ｔ１でのオブジェクトマップであり、
該時刻ｔ２のオブジェクトマップを作成することにより該時刻ｔ２での移動体を識別する、
ことを特徴とする付記９乃至１３のいずれか１つに記載の移動体追跡装置。
【００７３】
（付記１５）上記画像処理部は、上記時刻ｔ２でのオブジェクトマップ中のブロックｉが識別コードＩＤｉ及び動きベクトルＶｉを有すると仮定し、該ブロックｉの枠をベクトル−Ｖｉだけ移動させたときの上記時刻ｔ１での空間的差分フレーム画像上の枠内の画像と、該時刻ｔ２での空間的差分フレーム画像上のブロックｉの画像との相関度を単位相関度として計算し、該時刻ｔ２の全ブロックにわたって該単位相関度の総和を求め、該総和が最大になるように該時刻ｔ２のオブジェクトマップを作成することを特徴とする付記１４記載の移動体追跡装置。
【図面の簡単な説明】
【図１】交差点及びこれに配置された本発明の一実施形態の装置の概略を示す図である。
【図２】図１中の移動体追跡装置の機能ブロック図である。
【図３】図２の画像変換部で用いられるシグモイド関数を示すグラフである。
【図４】（Ａ）は建物の影が存在しない交差点を撮影した元画像であり、（Ｂ）は（Ａ）の画像を図２の画像変換部で変換した空間的差分画像である。
【図５】（Ａ）は建物の影が存在する交差点を撮影した元画像であり、（Ｂ）は（Ａ）の画像を図２の画像変換部で変換した空間的差分画像である。
【図６】交差点への４つの入口及び交差点からの４つの出口に設定されたスリット及びブロックに付された移動体のＩＤを示す説明図である。
【図７】移動体同士の画像上での重なりが頻繁に生ずる場合の説明図である。
【図８】オブジェクトマップ作成説明図である。
【図９】オブジェクトマップ作成説明図である。
【図１０】オブジェクトマップ作成説明図である。
【図１１】オブジェクトマップ作成説明図である。
【図１２】オブジェクトマップ作成説明図である。
【図１３】オブジェクトマップ作成説明図である。
【図１４】（Ａ）は高速道路に設置された低カメラアングルの撮影画像の一部を示す図であり、（Ｂ）は（Ａ）の画像を図２の画像変換部で変換した画像に、図２の移動体追跡部で認識された移動体を含む矩形枠を付した図であり、（Ｃ）は（Ｂ）の画像に対応したオブジェクトマップを示す図である。
【図１５】図２のカメラを高速道路に低カメラアングルで設置した場合の、シグモイド関数中のパラメータβに対する移動体追跡成功率の実験結果を示す図である。
【図１６】図３のシグモイド関数の替わりに用いることができる簡単な折線関数を示す図である。
【符号の説明】
１０カメラ
２０移動体追跡装置
２１画像メモリ
２２画像変換部
２３フレームバッファメモリ
２４背景画像生成部
２５ＩＤ生成／消滅部
２６オブジェクトマップ記憶部
２７移動体追跡部

Claims

撮像された第１時系列画像を処理して画像中の移動体を追跡する移動体追跡方法において、
（ａ）該第１時系列画像の各フレーム画像を空間的差分フレーム画像に変換して第２時系列画像を生成し、
（ｂ）該時刻ｔ１の空間的差分フレーム画像と、該時刻ｔ１と隣り合う時刻ｔ２の空間的差分フレーム画像との相関関係と、該時刻ｔ１の空間的差分フレーム画像に含まれる移動体の識別結果とに基づいて、該時刻ｔ２の移動体を識別する、
ステップを有し、
該ステップ（ａ）では、該変換前のフレームの着目画素の値を、該着目画素とその周囲の画素との差分値に関する値Ｉに変換することにより、上記空間的差分フレーム画像の着目画素の値を求め、
該ステップ（ａ）において、該差分値に関する値Ｉは、該差分値を該着目画素とその該周囲の画素の値の最大値で除したものに比例した値Ｈに関する値Ｉである、
ことを特徴とする移動体追跡方法。
上記比例した値Ｈが所定範囲であるとき該値Ｈを略一次変換して上記値Ｉを求め、該比例した値Ｈが該所定範囲を越えるとき該値Ｈを、該空間的差分フレーム画像の画素の取り得る最大値Ｇmaxを超えないように抑圧した値に変換して上記値Ｉを求めることを特徴とする請求項１記載の移動体追跡方法。
上記比例した値Ｈを変数とするシグモイド関数ｆ（Ｈ）
ｆ（Ｈ）＝１／｛１＋ｅｘｐ〔−β（Ｈ−α）〕｝
に基づき上記値Ｉ＝Ｇmax・ｆ（Ｈ）を求め、ここにα及びβは正の定数であることを特徴とする請求項２記載の移動体追跡方法。
上記定数βは０．０５〜０．５０の範囲の値であることを特徴とする請求項３記載の移動体追跡方法。
上記ステップ（ｂ）では、
上記時刻ｔ１及びｔ２の空間的差分フレーム画像の各々を、複数画素を含むブロックに分割し、
上記時刻ｔ１の移動体識別結果は、移動体の一部が含まれるブロックに付与された該移動体の識別コードと、該識別コードが付与されたブロックの動きベクトルとを含む該時刻ｔ１でのオブジェクトマップであり、
該時刻ｔ２のオブジェクトマップを作成することにより該時刻ｔ２での移動体を識別する、
ことを特徴とする請求項１乃至４のいずれか１つに記載の移動体追跡方法。
上記時刻ｔ２でのオブジェクトマップ中のブロックｉが識別コードＩＤｉ及び動きベクトルＶｉを有すると仮定し、該ブロックｉの枠をベクトル−Ｖｉだけ移動させたときの上記時刻ｔ１での空間的差分フレーム画像上の枠内の画像と、該時刻ｔ２での空間的差分フレーム画像上のブロックｉの画像との相関度を単位相関度として計算し、該時刻ｔ２の全ブロックにわたって該単位相関度の総和を求め、該総和が最大になるように該時刻ｔ２のオブジェクトマップを作成することを特徴とする請求項５記載の移動体追跡方法。
撮像された第１時系列画像を処理して画像中の移動体を追跡する移動体追跡装置において、
該第１時系列画像が格納される画像記憶部と、
該第１時系列画像の各フレーム画像を空間的差分フレーム画像に変換して第２時系列画像を生成し該画像記憶部に格納させる画像変換部と、
該時刻ｔ１の空間的差分フレーム画像と、該時刻ｔ１と隣り合う時刻ｔ２の空間的差分フレーム画像との相関関係と、該時刻ｔ１の空間的差分フレーム画像に含まれる移動体の識別結果とに基づいて、該時刻ｔ２の移動体を識別することにより、該第２時系列画像中の移動体を追跡する画像処理部と、
を有し、
該画像変換部は、該変換前のフレームの着目画素の値を、該着目画素とその周囲の画素との差分値を該着目画素とその周囲の画素の値の最大値で除したものに比例した値Ｈに関する値Ｉに変換することにより、上記空間的差分フレーム画像の着目画素の値を求める、
ことを特徴とする移動体追跡装置。