JP4573590B2 - 画像処理による移動物体計測方法及び装置 - Google Patents

Description

本発明は、時系列画像を処理して画像中の移動物体（車、自転車、動物等の移動可能なもの）の位置、通過時間又は速度等の物理量を計測する移動物体計測方法及び装置に関する。

ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。

画像上の移動物体を追跡する方法として、例えば４８０×６４０画素のフレームを８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（例えば下記特許文献１〜３）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。

しかしながら、画像上の移動物体を追跡するので、画像上の移動物体の位置、通過時間又は速度等を計測すると、特有の誤差が生ずる。

例えば、上記のようにブロック単位で移動物体を検出するので、最大で１ブロック幅の移動物体位置計測誤差が生ずる。

図３に示すように路面１１上の位置によりビデオカメラ１０との距離が異なるので、図４に示すように画像フレーム上でブロックサイズが均一であっても、１ブロック幅の実際の幅（実ブロック幅）がフレーム内の位置により異なる。例えば図３の実ブロック幅ＫａとＫｂとは、画像上で同一幅であるが、実ブロック幅Ｋｂの方が実ブロック幅Ｋａより数倍長い。このため、画像フレーム内の位置により計測誤差が大きく異なる。

さらに、同じ位置のブロックでも、移動物体の高さによりビデオカメラとの距離が異なるので、実ブロック幅が異なり、計測誤差も異なる。また、フレームレートが有限であるので、移動物体が不連続的に移動し、移動物体が所定区間を通過するのに要する時間の計測に誤差が生ずる。

したがって、画像処理により移動物体の所定区間平均速度を計測すると、条件により誤差が変化し、計測値の信頼性が低くなる。

また、図１６に示すように、同一ＩＤのブロックの塊であるクラスタの代表点をクラスタの幾何学的重心とした場合、移動物体の一部が他の移動物体に隠れると、代表点が、移動物体が隠れなかった場合の位置からずれるので、代表点に基づいて移動物体の位置、通過時間又は速度等を計測すると、誤差が変動する。図１６は、時刻ｔ１〜ｔ３での同一移動物体１３１〜１３３と、時刻ｔ１〜ｔ３での同一移動物体１４１〜１４３とを重ねて示したものであり、ＲＡ１〜ＲＡ３はそれぞれ移動物体１３１〜１３３の幾何学的重心であり、ＲＢ１〜ＲＢ３はそれぞれ移動物体１４１〜１４３の幾何学的重心である。
特開２００２−１３３４２１号公報 特開２００３−００６６５５号公報 特開２００３−２６３６２６号公報

本発明の目的は、上記問題点に鑑み、計測誤差をより小さくすることができる、画像処理による移動物体計測方法及び装置を提供することにある。

本発明の他の目的は、計測値の信頼性を高くすることができる画像処理による移動物体計測方法及び装置を提供することにある。

本発明による画像処理による移動物体計測方法の第１態様では、移動物体を撮像するビデオカメラから遠ざかる方向へ該移動物体が移動するときには該移動物体の略後端を該代表点とし、該ビデオカメラへ近づく方向に該移動物体が移動するときには該移動物体の略前端を該代表点とし、該代表点に関する物理量を計測する。

本発明による画像処理による移動物体計測方法の第２態様では、移動物体の領域に対する相対位置を該移動物体の代表点として予め定めておき、該代表点に関する物理量を計測する。

本発明による画像処理による移動物体計測方法の第３態様では、移動物体が他の移動物体と重なっていないと判定した場合には、該移動物体の幾何学的重心を代表点として求め、該移動物体が他の移動物体と重なっていることを検出した場合には、該移動物体の動きベクトルに基づいて、該重なりがないとしたときの該幾何学的重心に相当する点を代表点として求め、該代表点に関する物理量を計測する。

上記第１態様の構成によれば、移動物体の代表点が移動物体の高さによらずほぼ基準面付近となるので、基準面上に設定された位置に関する物理量の計測誤差を低減することができる。

上記第２態様の構成によれば、移動物体の領域に対する相対位置が設定されるので、移動物体の影を移動物体と認識しても、計測しようとする物理量に応じた移動物体の着目位置付近を代表点として検出することができるので、計測誤差を低減することができる。

上記第３態様の構成によれば、画像上で移動物体同士の重なりがあっても、移動物体の動きベクトルに基づいて、移動物体の重なりが無いとしたときの幾何学的重心に相当する点が代表点として求まるので、代表点に基づいて求めた物理量の計測誤差を低減することができる。

本発明の他の構成、作用及び効果は、以下の説明から明らかになる。

以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。

図１は、ビデオカメラ（例えばＩＴＶカメラ）１０で撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例１の移動物体計測装置２０の概略機能ブロック図である。

移動物体計測装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウェアと専用のハードウェアの組み合わせで構成することができる。

ビデオカメラ１０で撮影された時系列画像は、例えば３０フレーム／秒のレートで、画像メモリ２１に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。

本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２６によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。

また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２６で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（変換画像）を、構成要素２３〜２６で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。

背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。

ＩＤ生成／消滅部２３には、図４に示す如くフレーム１５内に配置される入口スリットＡ１、Ｂ２及び出口スリットＢ１、Ａ２の位置及びサイズのデータが、予め設定されている。

この設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、ＩＤ生成／消滅部２３に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。

図４中のメッシュはブロックの境界線であり、１ブロックは例えば８×８画素である。スリットＡ１、Ｂ１、Ａ２及びＢ２の移動物体通過方向の幅は、図４では１ブロック幅に等しいが、１ブロック幅の整数倍であればよい。

ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリットＡ１及びＢ２内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が所定値以上であるかどうかにより判定する。

ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、ＩＤが付与されたブロックの塊をクラスタと称する。

ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグと、ＩＤが付与されていることを示している場合にはＩＤ及びブロックの動きベクトル（ＭＶ）を含む。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。

入口スリットＡ１又はＢ２を通過したクラスタに対しては、移動物体追跡部２５により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、評価関数を用いて同時に決定することもできる（例えば上記特許文献３）。ＩＤ及びＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。

移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。

ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリットＢ１及びＡ２内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。

図５は、ＩＤのオブジェクトマップに、理解を容易にするため図４を重ね合わせたものである。

本実施例１の特徴は、平均速度及び誤差算出部２６及びこれに関係したＩＤ生成／消滅部２３の一部の構成にあり、以下これを詳述する。

図３は、画像処理による移動物体の区間平均速度計測説明図である。

ビデオカメラ１０は、路面１１から高さＨの位置に光軸を斜め下方へ向けて配置されている。一般に、移動物体の速度が一定の場合、計測距離が長いほど測定精度が高くなる。そこで、紙面垂直方向のラインＰａからＰｂまでの距離Ｌ１の平均速度Ｖを計測する。すなわち、距離Ｌ１を実測しておくとともに、フレーム画像上でラインＰａ及びＰｂを設定しておき、移動物体の代表点がラインＰａを通ってからラインＰｂを通るまでの時間を計測することにより平均速度Ｖを算出する。

ビデオカメラ１０で撮影される画像は、ビデオカメラ１０の光軸に垂直な面Ｓに被写体を透視的に投影したものとなる。図４は、ビデオカメラ１０で撮影された画像に、上述のブロック境界線及びスリットを描いたものを示す。

図４では、ラインＰａ及びＰｂがそれぞれ入口スリットＡ１及び出口スリットＢ１の前端に一致しており、スリットＡ１及びＢ１を上述のように設定することにより、ラインＰａ及びＰｂが設定されたことになる。なお、ブロック単位で位置を計測するので、スリット自体をラインとみなしてもよい。

ここで、移動物体の代表点を例えばその幾何学的重心とすると、移動物体の高さによりビデオカメラ１０と代表点との距離が異なるので、ラインＰａ及びＰｂの通過時点計測誤差が増加する原因となる。そこで、図３に示すように移動物体がビデオカメラ１０から遠ざかる方向へ移動する場合には、移動物体の後端を移動物体の代表点とする。「後端」は、その辺に対応する複数の移動物体ブロック又はその中の１ブロックのいずれであってもよい。

これにより、移動物体の代表点が移動物体の高さによらずほぼ路面１１付近となるので、ラインＰａ及びＰｂの位置に関する物理量、例えば位置通過時点又は通過位置の計測誤差を低減することができる。なお、図３中の１２Ａ及び１２Ｂはそれぞれ、移動物体後端がラインＰａ及びＰｂを通過した時点における同じ移動物体を示している。

図２は、１フレーム画像における図４の入口スリットＡ１及び出口スリットＢ１に対する図１のＩＤ生成／消滅部２３のライン通過検出処理を示す概略フローチャートである。

（Ｓ１０）入口スリットＡ１内の各ブロックについて、上述の移動物体存否判定処理を行なう。

（Ｓ１１）入口スリットＡ１内に新たな移動物体が存在すればステップＳ１２へ進み、そうでなければステップＳ１３へ進む。

（Ｓ１２）入口スリットＡ１内の、移動物体が存在すると判定されたブロックにＩＤを付与する。次にステップＳ１５へ進む。

（Ｓ１３）移動物体が入口スリットＡ１を通過した場合には、すなわち１つ前のフレームで入口スリットＡ１内に存在した移動物体ブロック（ＩＤが付与されたブロック）が現フレームで存在しなくなった場合には、ラインＰａを移動物体が通過したと判定し、ステップＳ１４へ進み、そうでなければステップＳ１５へ進む。

（Ｓ１４）図１の平均速度及び誤差算出部２６に対し、入口スリットＡ１を通過した移動物体のＩＤ及び現在のフレーム番号Ｆ（入口スリット通過時刻）を通知する。

（Ｓ１５）出口スリットＢ１内の各ブロックについて、上述の移動物体存否判定処理を行なう。

（Ｓ１６）出口スリットＢ１内に新たな移動物体が存在すればステップＳ１７へ進み、そうでなければステップＳ１８へ進む。

（Ｓ１７）出口スリットＢ１内のＩＤを一時記憶し、処理を終了する。

（Ｓ１８）移動物体が出口スリットＢ１を通過した場合にはステップＳ１９へ進み、そうでなければ処理を終了する。

（Ｓ１９）図１の平均速度及び誤差算出部２６に対し、出口スリットＢ１を通過したＩＤ（ステップＳ１７で記憶したＩＤ）及び現在のフレーム番号Ｆを通知し、ステップＳ１７で記憶したＩＤを消去する。

平均速度及び誤差算出部２６は、ステップＳ１４及びＳ１９でＩＤ生成／消滅部２３から受け取ったＩＤ及びフレーム番号Ｆに基づいて、次式により平均速度Ｖ（ｍ／ｓ）を算出する。
Ｖ＝Ｌ１／（（Ｆｂ−Ｆａ）／ｆ） （１）
ここに、Ｆｂ及びＦａはそれぞれ、ステップＳ１４及びＳ１９で受け取った同一ＩＤについてのフレーム番号であり、ｆはフレームレートである。

Ｖ＝Ｌ１／（（Ｆｂ−Ｆａ）／ｆ） （１）
ここに、Ｆｂ及びＦａはそれぞれ、ステップＳ１４及びＳ１９で受け取った同一ＩＤについてのフレーム番号であり、ｆはフレームレートである。

１フレーム画像における図５の入口スリットＢ２及び出口スリットＡ２に対する図１のＩＤ生成／消滅部２３のライン通過検出処理はそれぞれ、上述の入口スリットＡ１及び出口スリットＢ１に対するライン通過検出処理と同様である。ただし、移動物体１６Ａがビデオカメラ１０に近づく方向へ移動するので、移動物体の前端を移動物体の代表点とする。図４及び図５の１６Ｂ及び１６Ａはそれぞれ、移動物体前端がラインＰｂ及びＰａを通過した時点における同じ移動物体を示している。

次に、平均速度Ｖの計測誤差δＶについて説明する。

誤差δＶは主に、フレームレートによる誤差と、ブロック単位で移動物体存否を判定することによる誤差とを含んでいる。

（１）フレームレートｆのみによる位置計測誤差Ｄ
例えばｆ＝３０で移動物体速度が６０ｋｍ／ｈ及び１００ｋｍ／ｈの場合、それぞれ１フレーム時間（１／ｆ秒）で０．５６ｍ及び０．９３ｍ移動し、これらが最大の位置計測誤差Ｄとなる。

（２）ブロック処理のみによる位置計測誤差Ｋ
ブロック単位で移動物体存否を判定しているので、最大で、画像上の１ブロック幅に対応する実際の幅（実ブロック幅）Ｋの位置計測誤差が生ずる。

実ブロック幅Ｋは、ブロックの位置により異なる。図３において、１ブロック幅の視角をηとし、図４に示すラインＰａ及びＰｂを一端とするブロックＢＫａ及びＢＫｂの実ブロック幅Ｋをそれぞれ図３に示すようにＫａ及びＫｂとすると、次式が成立する。

ｔａｎ（α−η）＝Ｈ／（Ｋａ＋Ｌ２） （２）
ｔａｎ（β−η）＝Ｈ／（Ｋｂ＋Ｌ１＋Ｌ２） （３）
ここに、Ｌ２はビデオカメラ１０の真下からラインＰａまでの距離であり、α及びβはそれぞれビデオカメラ１０からラインＰａ及びＰｂへの視線と路面１１とのなす角度である。

図１の平均速度及び誤差算出部２６は、上式（１）で表される平均速度Ｖの計測値に応じて、速度計測誤差δＶを上述のように算出し、これらＶ及びδＶを表示装置ＯＵＴに表示させる。本実施例１の応用例として例えば、制限速度がＶｌｉｍである場合、Ｖ−δＶ＞Ｖｌｉｍであればスピード違反と判定してこれを表示装置ＯＵＴに表示するとともに不図示の警報を鳴らし、その時系列画像を不図示の外部記憶装置に格納する。

ｔａｎ（α）＝Ｈ／Ｌ２ （４）
ｔａｎ（β）＝Ｈ／（Ｌ１＋Ｌ２） （５）
Ｌ１がｎブロックに分割されているとすると、次式が成立する。

α＝β＋ｎ・η （６）
例えばＨ＝１０ｍ、Ｌ１＝２０ｍ、Ｌ２＝２０ｍの場合、上式（４）及び（５）からα＝０．４６ｒａｄ、β＝０．２５ｒａｄとなり、さらにｎ＝２５の場合、上式（６）からη＝０．００８７ｒａｄとなる。これらの値を上式（２）及び（３）に代入すると、Ｋａ＝０．４５ｍ、Ｋｂ＝１．５ｍとなり、これらがラインＰａ、Ｐｂ通過位置計測の最大の誤差となる。

（３）平均速度計測誤差δＶ
上式（１）の右辺分母をＴと表記すると一般に、
δＶ／Ｖ＝−δＴ／Ｔ （７）
が成立する。ここにδＴは、計測時間Ｔの誤差である。

δＴ及びＴはそれぞれ、区間フレーム数計測誤差Ｘ及び区間フレーム数計測値（Ｆｂ−Ｆａ）に比例するので、式（７）は、
δＶ／Ｖ＝−Ｘ／（Ｆｂ−Ｆａ） （８）
と表される。区間フレーム数計測誤差Ｘは、ラインＰａ及びＰａを移動物体が通過する時点のフレーム番号誤差をそれぞれδＦａ及びδＦｂとすると、平均誤差
Ｘ＝±（δＦａ＋δＦｂ）／２ （９）
で表される。

ここで、実ブロック幅Ｋａ及びＫｂを平均速度Ｖの移動物体が進むのに必要なフレーム数ΔＦａ及びΔＦｂはそれぞれ、次式で表される。

ΔＦａ＝ｆ・Ｋａ／Ｖ （１０）
ΔＦｂ＝ｆ・Ｋｂ／Ｖ （１１）
フレーム番号誤差δＦａは、ΔＦａ＞１のとき、すなわちＫ＞Ｄのとき、上記フレーム誤差が上記ブロック処理による誤差に吸収されて最大でΔＦａになり、ΔＦａ≦１のとき、すなわちＫ≦Ｄのとき、最大で１になる。同様に、フレーム番号誤差δＦｂは、ΔＦｂ＞１のとき最大でΔＦｂになり、ΔＦｂ≦１のとき最大で１になる。

図６は、平均速度Ｖが４０、６０、８０及び１００ｋｍ／ｈの場合の速度計測誤差δＶ及びこれに関係した上述の量の数値計算例を示す。

図１の平均速度及び誤算算出部２６は、上式（１）で表される平均速度Ｖの計測値に応じて、速度計測誤差δＶを上述のように算出し、これらＶ及びδＶを表示装置ＯＵＴに表示させる。本実施例１の応用例として例えば、制限速度がＶｌｉｍである場合、Ｖ−δＶ＞Ｖｌｉｍであればスピード違反と判定してこれを表示装置ＯＵＴに表示するとともに不図示の警報を鳴らし、その時系列画像を不図示の外部記憶装置に格納する。

（Ｓ２０）移動物体のクラスタが内接する矩形を求める。図１０は、図９にさらに、４つの移動物体クラスタが内接する矩形１７Ａ、１７Ｂ、１８Ａ及び１８Ｂを追加したものを示す。
（Ｓ２１）代表点Ｒの座標を
（Ｘ０＋ｐｘ・ＬＸ，Ｙ０＋ｐｙ・ＬＹ）
として求める。ここに、（Ｘ０，Ｙ０）は矩形の基準点、例えば矩形の左下頂点の座標である。比率ｐｘ及びｐｙは移動物体追跡処理前に予め設定された値であり、０＜ｐｘ＜１、０＜ｐｙ＜１を満たし、上述の設定手段と同様の手段により設定される。

図７の平均速度及び誤差算出部２６Ａは、代表点以外は上記第１実施例と同様にして、移動物体の平均速度Ｖ及びその誤差δＶを算出し、これらを表示装置ＯＵＴに表示させる。

図７は、ビデオカメラ１０で撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例２の移動物体計測装置２０Ａの概略機能ブロック図である。

代表点追跡部２７は、各フレームに対する記憶部２４内のオブジェクトマップに基づいて移動物体の代表点を求めることにより、代表点を追跡する。

移動物体計測装置２０Ａは、フレーム画像内の複数の移動物体をリアルタイムで追跡処理する必要があるので、処理を高速化する必要がある。このためにモノクロ画像を用いると、移動物体とその影とを区別することが困難となり、計測誤差を最も小さくするための代表点を決定することができない。図９は、影１２ＳＡ、１２ＳＢ、１６ＳＡ及び１６ＳＢがそれぞれ移動物体１２Ａ、１２Ｂ、１６Ａ及び１６Ｂと区別出来ない場合を示す。

また、平均速度及び誤差算出部２６Ａは、各ブロックの実ブロック幅と代表点追跡部２７で求められた代表点の座標とに基づいて代表点の軌跡の長さを走行距離Ｌ２として求め、他は上記実施例１と同様にして、移動物体の代表点平均速度Ｖ及びその誤差δＶを算出してもよい。

ＩＤ生成／消滅部２３Ａでは、図９に示すように、入口スリットＢ２に移動物体が検出されると、入口スリットＢ２に入る前のブロックについても移動物体検出処理を行う。さらに、出口スリットＢ１に移動物体が検出されても、出口スリットＢ１を完全に抜け出るまで移動物体検出処理を行う。

図８は、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。

（Ｓ２０）移動物体のクラスタが内接する矩形を求める。図１０は、図９にさらに、４つの移動物体クラスタが内接する矩形１７Ａ、１７Ｂ、１８Ａ及び１８Ｂを追加したものを示す。

（Ｓ２１）代表点Ｒの座標を
（Ｘ０＋ｐｘ・ＬＹ，Ｙ０＋ｐｙ・ＬＹ）
として求める。ここに、（Ｘ０，Ｙ０）は矩形の基準点、例えば矩形の左下頂点の座標である。比率ｐｘ及びｐｙは移動物体追跡処理前に予め設定された値であり、０＜ｐｘ＜１、０＜ｐｘ＜１を満たし、上述の設定手段と同様の手段により設定される。

（Ｓ３１）移動物体の動きベクトルＭＶｍの角度θを求め、次いで比率関数ｐｘ（θ）及びｐｙ（θ）の値を求める。動きベクトルＭＶｍは、同一移動物体に属する全てのブロックの動きベクトルの平均ベクトルである。比率ｐｘ（θ）及びｐｙ（θ）は、予め経験的に決定され、０＜ｐｘ（θ）＜１、０＜ｐｙ（θ）＜１を満たし、θをパラメータとするテーブル又はこれを数式で近似したもので表される。θは、フレーム画像上の角度又は路面上の角度である。路面上の角度の場合には、フレーム画像上の角度を、フレーム画像上の位置に応じた路面上の角度に変換する数式又はテーブルを用いる。

なお、動きベクトルＭＶｍは、平均から所定値以上ずれているものを除いて平均したものであってもよい。動きベクトルＭＶｍはまた、幾何学的重心が含まれるブロックのＭＶ又はその付近のＭＶの平均値であってもよい。
（Ｓ３２）図８のステップＳ２１と同様に、代表点Ｒの座標を
（Ｘ０＋ｐｘ（θ）・ＬＸ，Ｙ０＋ｐｙ（θ）・ＬＹ）
として求める。

なお、移動物体の一部と見なされる影の大きさは、時間や天候により異なるので、これに応じて比率ｐｘ及びｐｙの設定値を変える必要がある。

しかしながら、例えば実施例１により平均速度Ｖを計測し、スピード違反の疑いがある時系列画像を不図示の外部記憶装置に保存しておき、後でその画像を見てｐｘ及びｐｙを適当に設定することにより、スピード違反の判定をより正確に行なうことが可能となる。

また、平均速度及び誤算算出部２６Ａは、各ブロックの実ブロック幅と代表点追跡部２７で求められた代表点の座標とに基づいて代表点の軌跡の長さを走行距離Ｌ２として求め、他は上記実施例１と同様にして、移動物体の代表点平均速度Ｖ及びその誤差δＶを算出してもよい。

上記実施例では、ビデオカメラが道路の中央部上方に配置されている場合を説明したが、例えば交差点にビデオカメラを配置した場合には図１２に示すように、ビデオカメラに対する移動物体３０の角度が上述の場合と異なる。図１２中、３０Ｓは移動物体３０の影であり、移動物体の一部と認識され、３１はこれらを含む矩形である。Ｒは、移動物体３０の位置計測誤差を小さくするのに好ましい代表点である。

また、図１３に示すように移動物体が右折すると、移動物体の方向が変化していくので、移動物体の代表点を路面位置付近に設定するのが困難となる。図１３中、３０１〜３０３は、移動中の異なる時間での同一移動物体を示し、３０１Ｓ〜３０３Ｓはそれぞれ移動物体の一部と認識された、移動物体３０１〜３０３の影を示す。

本実施例３では、このような場合でも代表点を路面位置付近に設定できるようにするため、図８の処理の代わりに、図１１に示す処理を行なう。

（Ｓ３０）図８のステップＳ２０と同様に、移動物体のクラスタが内接する矩形を求める。図１３中、３１１〜３１３は移動物体クラスタが内接する矩形を示す。

（Ｓ３１）移動物体の動きベクトルＭＶｍの角度θを求め、次いで比率関数ｐｘ（θ）及びｐｙ（θ）の値を求める。動きベクトルＭＶｍは、同一移動物体に属する全てのブロックの動きベクトルの平均ベクトルである。比率ｐｘ（θ）及びｐｙ（θ）は、予め経験的に決定され、０＜ｐｘ（θ）＜１、０＜ｐｘ（θ）＜１を満たし、θをパラメータとするテーブル又はこれを数式で近似したもので表される。θは、フレーム画像上の角度又は路面上の角度である。路面上の角度の場合には、フレーム画像上の角度を、フレーム画像上の位置に応じた路面上の角度に変換する数式又はテーブルを用いる。

なお、動きベクトルＭＶｍは、平均から所定値以上ずれているものを除いて平均したものであってもよい。動きベクトルＭＶｍはまた、幾何学的重心が含まれるブロックのＭＶ又はその付近のＭＶの平均値であってもよい。

１０ ビデオカメラ
１１ 路面
１２Ａ、１２Ｂ、１３１〜１３３、１４１〜１４３、１６Ａ、１６Ｂ、３０、３０１〜３０３ 移動物体
１２ＳＡ、１２ＳＢ、１６ＳＡ、１６ＳＢ、３０Ｓ、３０１Ｓ、３０３Ｓ 影
１５ フレーム
１７Ａ、１７Ｂ、１８Ａ、１８Ｂ、３１、３１１〜３１３ 矩形
２０、２０Ａ 移動物体計測装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体追跡部
２６、２６Ａ 平均速度及び誤差算出部
２７ 代表点追跡部
ＩＮ 入力装置
ＯＵＴ 表示装置
Ｐａ、Ｐｂ ライン
Ａ１、Ｂ２ 入口スリット
Ａ２、Ｂ１ 出口スリット
Ｋ、Ｋａ、Ｋｂ 実ブロック幅
Ｆ、Ｆａ、Ｆｂ フレーム番号
ΔＦａ、ΔＦｂ フレーム数
δＦａ、δＦｂ フレーム番号誤差
Ｖ 平均速度
δＶ 速度計測誤差

本実施例３によれば、比率ｐｘ及びｐｙが移動物体の動きベクトルの角度に応じて定められているので、移動物体の影を移動物体と認識し且つ移動物体がその移動方向を変化させても、計測しようとする物理量に応じた移動物体の着目点付近を代表点として検出することができ、計測精度向上に寄与するところが大きい。

本発明の実施例４は、背景技術の欄で述べた図１６に示す問題点を解決するためのものである。実施例４における図７の代表点追跡部２７は、各画像フレームに対応するオブジェクトマップ上の各移動物体に対し、図１４に示す処理を行なう。

（Ｓ４０）画像上で移動物体同士の重なりがなければステップＳ４１へ進み、そうでなければステップＳ４３へ進む。

（Ｓ４１）幾何学的重心Ｇの座標を求める。

（Ｓ４２）このＧを、時刻ｔにおける代表点Ｐ（ｔ）として求める。図１５中、×印は、代表点を示し、ＲＸ２以外は幾何学的重心Ｇである。

（Ｓ４３）着目している移動物体の各ブロックの動きベクトルの平均値ＭＶｍを求める。上述のように、動きベクトルＭＶｍは、平均から所定値以上ずれているものを除いて平均したものであってもよい。

（Ｓ４４）１つ前のフレームの対応する移動物体の代表点Ｐ（ｔ−１）をＭＶｍだけ移動させた点を、時刻ｔでの代表点Ｐ（ｔ）として求める。図１５中のＲＸ２は、このようにして求めた移動物体１３２の代表点である。

本実施例４によれば、画像上で移動物体同士の重なりがあっても、移動物体の動きベクトルに基づいて、移動物体の重なりが無いとしたときの幾何学的重心に相当する点が代表点として求まり、図１５と図１６を比較すれば明らかなように、より正確に移動物体の代表点及びその軌跡を求めることができ、代表点に基づいて求めた他の物理量の計測値もより正確になる。

ビデオカメラで撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例１の移動物体計測装置の概略機能ブロック図である。 １フレーム画像における入口スリット及び出口スリットに対する図１のＩＤ生成／消滅部２３のライン通過検出処理を示す概略フローチャートである。 画像処理による移動物体の区間平均速度計測説明図である。 図３のビデオカメラで撮像された画像を、ブロック境界線、入口スリット及び出口スリットとともに示す説明図である。 ＩＤのオブジェクトマップに図４を重ね合わせたものを示す説明図である。 平均速度Ｖが４０、６０、８０及び１００ｋｍ／ｈの場合の速度計測誤差δＶ及びこれに関係した量の数値計算例を示す表である。 ビデオカメラで撮像された画像を処理して移動物体の平均速度を計測する、本発明の実施例２の移動物体計測装置の概略機能ブロック図である。 任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。 移動物体の影が移動物体と区別出来ない場合を示す説明図である。 図８の処理説明図である。 本発明の実施例３に係る、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。 図１１の処理説明図である。 図１１の処理説明図である。 本発明の実施例４に係る、任意の１つの移動物体クラスタに対する代表点追跡部２７の代表点決定処理を示す概略フローチャートである。 図１４の処理説明図である。 従来技術の問題点説明図である。

符号の説明

１０ ビデオカメラ
１１ 路面
１２Ａ、１２Ｂ、１３１〜１３３、１４１〜１４３、１６Ａ、１６Ｂ、３０、３０１〜３０３ 移動物体
１２ＳＡ、１２ＳＢ、１６ＳＡ、１６ＳＢ、３０Ｓ、３０１Ｓ、３０３Ｓ 影
１５ フレーム
１７Ａ、１７Ｂ、１８Ａ、１８Ｂ、３１、３１１〜３１３ 矩形
２０、２０Ａ 移動物体計測装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動物体追跡部
２６、２６Ａ 平均速度及び誤算算出部
２７ 代表点追跡部
ＩＮ 入力装置
ＯＵＴ 表示装置
Ｐａ、Ｐｂ ライン
Ａ１、Ｂ２ 入口スリット
Ａ２、Ｂ１ 出口スリット
Ｋ、Ｋａ、Ｋｂ 実ブロック幅
Ｆ、Ｆａ、Ｆｂ フレーム番号
ΔＦａ、ΔＦｂ フレーム数
δＦａ、δＦｂ フレーム番号誤差
Ｖ 平均速度
δＶ 速度計測誤差
ＲＡ１〜ＲＡ３、ＲＢ１〜ＲＢ３ 幾何学的重心

Claims (6)

1. コンピュータが、時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測方法において、該コンピュータが、
   画像フレーム内に予め設定された第１ラインから該画像フレーム内に予め設定された第２ラインまで該移動物体が移動する時間を検出し、該時間と、該第１ラインから該第２ラインまでの実際の距離の値とに基づき、該移動物体の平均速度Ｖを該物理量として求め、
   該平均速度の誤差を求め、
   該平均速度及び該誤差を出力し、
   該誤差は少なくとも、フレームレートによるもの及び画像フレームをブロックに分割してブロック単位で該移動物体を検出することによるものを含むことを特徴とする、画像処理による移動物体計測方法。
2. 該誤差は実質的にＶ・Ｘ／（Ｆｂ−Ｆａ）で表され、ここにＸは該移動物体が該第１ラインを通過する時点に対応したフレーム番号の誤差と該移動物体が該第２ラインを通過する時点に対応したフレーム番号の誤差との平均値であり、（Ｆｂ−Ｆａ）は該移動物体が該第１ラインから該第２ラインまで移動するのに要するフレーム数の計測値である、
   ことを特徴とする請求項１記載の方法。
3. 該移動物体の平均速度は、該移動物体を撮像するビデオカメラから遠ざかる方向へ該移動物体が移動するときには該移動物体の略後端の平均速度であり、該ビデオカメラへ近づく方向に該移動物体が移動するときには該移動物体の略前端の平均速度である、
   ことを特徴とする請求項１又は２に記載の方法。
4. 時系列画像上の移動物体を検出して該移動物体の物理量を計測する、画像処理による移動物体計測装置において、
   画像フレーム内に第１及び第２ラインを設定するとともに、該第１ラインから該第２ラインまでの実際の距離を入力する入力手段と、
   該第１ラインから該第２ラインまで該移動物体が移動する時間を検出し、該時間と、該距離とに基づき、該移動物体の平均速度Ｖを該物理量として求める平均速度計測手段と、
   該平均速度Ｖの誤差として、少なくとも、フレームレートによる誤差と画像フレームをブロックに分割してブロック単位で該移動物体を検出することによる誤差とを含むものを求める誤差決定手段と、
   該平均速度Ｖ及び該平均速度Ｖの誤差を出力する出力手段と、
   を有することを特徴とする、画像処理による移動物体計測装置。
5. 該誤差決定手段は、該誤差を実質的にＶ・Ｘ／（Ｆｂ−Ｆａ）として求め、ここにＸは該移動物体が該第１ラインを通過する時点に対応したフレーム番号の誤差と該移動物体が該第２ラインを通過する時点に対応したフレーム番号の誤差との平均値であり、（Ｆｂ−Ｆａ）は該移動物体が該第１ラインから該第２ラインまで移動するのに要するフレーム数の計測値である、
   ことを特徴とする請求項４に記載の装置。
6. 該移動物体の平均速度は、該移動物体を撮像するビデオカメラから遠ざかる方向へ該移動物体が移動するときには該移動物体の略後端の平均速度であり、該ビデオカメラへ近づく方向に該移動物体が移動するときには該移動物体の略前端の平均速度である、
   ことを特徴とする請求項４又は５に記載の装置。