JP3916379B2 - 移動物体の検出計測装置及び方法 - Google Patents
移動物体の検出計測装置及び方法 Download PDFInfo
- Publication number
- JP3916379B2 JP3916379B2 JP2000193469A JP2000193469A JP3916379B2 JP 3916379 B2 JP3916379 B2 JP 3916379B2 JP 2000193469 A JP2000193469 A JP 2000193469A JP 2000193469 A JP2000193469 A JP 2000193469A JP 3916379 B2 JP3916379 B2 JP 3916379B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- time
- detection
- measuring
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ＩＴＳ（高度道路交通システム）における交通流計測、マーケティング調査における人の流れの計測等、一定範囲を継続的に撮影した複数の画像から抽出した動きベクトルに基づいて、車両、人物のような移動物体の存在を検出し、更にこの移動物体の速度、長さ、位置、幅、数量等の物理量を計測する装置、及びこの装置で実施する移動物体の検出計測方法に関する。
【０００２】
【従来の技術】
テレビカメラで道路を撮影した画像を画像処理して交通状況を監視するＩＴＳが提案されている。このように、テレビカメラで撮影した動画像の中の移動物体を検出する代表的な方法として、差分画像を用いる方法がある。この方法では、例えば、予め撮影しておいた背景画像との差分画像、又は連続するフレーム間の差分画像を求め、差分画像において階調値が“０”でない部分の連結領域を車両として検出する。
【０００３】
差分画像を用いる方法によって移動物体の領域を抽出できるが、照明変動に弱い等の問題があり、交通状況の監視に必要な車両速度、交通密度等を求めるために必要な車両上の各点の移動方向と移動距離とを検出することは困難である。あるフレームから次のフレームに至る過程の各点の移動方向と移動距離とを表す量は、その点の動きベクトルと呼ばれ、また動きベクトルの場はオプティカルフローと呼ばれ、このオプティカルフローの検出処理が動画像処理を利用した交通状況監視に必要である。
【０００４】
オプティカルフロー検出処理として代表的なものに、局所相関演算法、勾配法等がある。図１は局所相関演算法の原理図である。局所相関演算法では、ｎ×ｍ画素のブロックからなる検出ポイント毎に、第Ｎフレームのある検出ポイントにおける画像と、第Ｎフレームより後で撮影した第Ｎ＋１フレームの画像の、検出ポイントの周囲の任意の広さの探索範囲内を、検出ポイントと同一のｎ×ｍ画素のブロックで区切った探索ポイントにおける画像との相関値を計算し、相関値が最も高い探索ポイントが第Ｎフレームの検出ポイントの移動後の位置に相当すると判断して、この探索ポイントと第Ｎフレームの検出ポイントとの対応する画素間の座標値から動きベクトルを抽出する。
【０００５】
このような動きベクトルを抽出する方法として、従来では、図２の原理図に示すように、移動物体である車両の進入位置の、車両を包含し得る程度の範囲に、上述のような検出ポイントをメッシュ状に配置して車両を検出する。
【０００６】
【発明が解決しようとする課題】
以上のような従来の車両検出方法では、１車線で約２００〜４００ポイントの検出ポイントを必要とする。従って、各フレームにおいて、各検出ポイントの動きベクトルを図１に示すような原理で検出する処理に長時間を要するため演算能力の高いコンピュータを必要とする。一方、コンピュータの演算能力が低い場合はフレームの更新期間中に処理が終了せず、装置の精度を低下させる結果を招く。
【０００７】
また検出ポイントをメッシュ状（２次元）に配置するため、検知した車両を追跡できる画像範囲がメッシュ状の検出ポイントを除いた狭い範囲に限定されてしまう。
【０００８】
更に、検出ポイントをメッシュ状に配した範囲が矩形であるため、経路の形状によっては、オプティカルフローの演算結果が利用されない無駄な部分が発生す。例えば、道路の下流から上流方向の動画像を撮影しており、道路の上流へと達するに従って車両の画像が小さくなるような場合に、移動物体である車両の１車線の侵入位置に検出ポイントをメッシュ状に配置すると、１車線以外の無駄な部分まで含んでしまう。
【０００９】
本発明はこのような問題点を解決するためになされたものであって、移動物体の進入位置のような画像の所定位置の一次元方向に複数の検出ポイントを配置して動きベクトルを抽出し、動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積し、移動物体の先頭の通過時点と最後尾の通過時点とを特定し、動きベクトルの長さ成分、これらの通過時点等を利用して移動物体の速度、長さ、位置、幅、通過数量等の物理量を計測することにより、検出ポイント数が少なくて移動物体の検出に要する処理時間が短く、また比較的演算能力が低いコンピュータであってもフレームの更新期間中に演算を終了することができ、更に比較的少ないデータ量でその物理量を計測することができる装置、及びこの装置で実施する移動物体の検出計測方法の提供を目的とする。
【００１０】
【課題を解決するための手段】
図３は本発明の原理図である。
本発明では、移動物体である車両の１車線の進入位置の一次元方向に、約４０〜８０の検出ポイントを、例えば４ドットおきに配置する。
例えば各フレームの画像取り込み時点において、一次元方向の実質的に連続している検出ポイントで動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積していき、所定数以上で動きベクトルを抽出した時点が車両の先頭の通過した時点に相当する。
【００１１】
所定数以上の検出ポイントが動きベクトルを抽出している間は車両が通過している期間であり、所定数以下の検出ポイントしか動きベクトルを抽出しなくなった時点が車両の最後尾が通過した時点に相当する。
【００１２】
以上のようにして抽出した動きベクトルの長さ成分に相当する実距離をフレームの時間間隔で除算することにより、車両の速度が求まる。
また各時点で動きベクトルを抽出している検出ポイントの位置、及びその総数に相当する実距離から車両の位置と幅とがそれぞれ求まる。
【００１３】
更に速度に、車両の先頭が通過した時点から最後尾が通過した時点までの時間を積算することにより車両の長さが求まる。
また時系列データを観察し、所定期間に車両の先頭が通過した後、最後尾が通過した時点の数を計数することにより、所定期間の車両の通過台数が求まる。
【００１４】
第１発明に係る移動物体の検出計測装置は、一定の範囲を複数の時点で撮影した複数の画像から抽出した動きベクトルに基づき、該範囲における移動物体の存在を検出して該移動物体の物理量を計測する装置において、動きベクトルを抽出するための探索範囲が周囲に設定されてある複数の検出ポイントを、前記画像の所定位置の一次元方向に配置する手段と、第１の時点及び第１の時点以後の第２の時点で撮影した２枚の画像から、前記探索範囲内で移動した検出ポイントの動きベクトルを抽出する抽出手段と、各時点の動きベクトルを抽出した実質的に連続している検出ポイントの総数を時系列データとして蓄積する蓄積手段と、所定数以上の検出ポイントにて動きベクトルが抽出された場合は移動物体の存在を検出する検出手段と、前記２枚の画像の撮影時間間隔、前記抽出手段にて抽出した動きベクトルの長さ成分のベクトル量、及び／又は前記蓄積手段にて蓄積してある時系列データに基づいて、前記移動物体の物理量を計測する計測手段とを備えたことを特徴とする。
【００１５】
第２発明の移動物体の検出計測装置は、第１発明の前記撮影時間間隔は、一定であり、前記計測手段は、予め実測してある実距離のうち、前記ベクトル量に相当する実距離を求め、該実距離を前記撮影時間間隔で除算して移動物体の速度を計測すべくなしたことを特徴とする。
【００１６】
第３発明の移動物体の検出計測装置は、第２発明の前記計測手段は、検出ポイントが所定数を超えた時点を移動物体の先頭の検出時点、また所定数を下回った時点を該移動物体の最後尾の検出時点と特定し、該移動物体の速度に、先頭の検出時点から最後尾の検出時点までの経過時間を積算して該移動物体の移動方向の寸法を計測すべくなしたことを特徴とする。
【００１７】
第４発明に係る移動物体の検出計測装置は、第１乃至第３発明のいずれかの前記計測手段は、前記蓄積手段にて蓄積してある時系列データの１つの時点における検出ポイントの総数に相当する実距離から前記移動物体の移動方向に交差する方向の寸法を計測すべくなしたことを特徴とする。
【００１８】
第５発明に係る移動物体の検出計測方法は、一定の範囲を複数の時点で撮影した複数の画像から抽出した動きベクトルに基づき、該範囲における移動物体の存在を検出して該移動物体の物理量を計測する方法において、動きベクトルを抽出するための探索範囲が周囲に設定されてある複数の検出ポイントを、前記画像の所定位置の一次元方向に配置し、第１の時点及び第１の時点以後の第２の時点で撮影した２枚の画像から、前記探索範囲内で移動した検出ポイントの動きベクトルを抽出し、各時点の動きベクトルを抽出した実質的に連続している検出ポイントの総数を時系列データとして蓄積し、所定数以上の検出ポイントにて動きベクトルが抽出された場合は移動物体の存在を検出し、前記２枚の画像の撮影時間間隔、前記抽出手段にて抽出した動きベクトルの長さ成分のベクトル量、及び／又は蓄積してある時系列データに基づいて、前記移動物体の物理量を計測することを特徴とする。
【００１９】
本発明では、移動物体の進入位置のような画像の所定位置の一次元方向に複数の検出ポイントを配置して動きベクトルを抽出し、動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積し、移動物体の先頭の通過時点と最後尾の通過時点とを特定して、動きベクトルの長さ成分、これらの通過時点等を利用して移動物体の速度、長さ、幅、通過数量等の物理量を計測する。
【００２０】
従って、検出ポイント数が少なくて移動物体の検出に要する処理時間が短く、また比較的演算能力が低いコンピュータであってもフレームの更新期間中に演算を終了することができ、更に比較的少ないデータ量でその物理量を計測することができる。
また一次元方向に配置した検出ポイント以外の広い領域が、車両の追跡領域となる。
【００２１】
【発明の実施の形態】
図４は本発明の移動物体の検出計測装置（以下、本発明装置という）の機能ブロック図である。
本発明装置は、例えば１車線の下流から上流方向の一定の範囲をテレビカメラで撮影した画像を一定時間間隔で取り込み、画像処理する機能を備えたコンピュータで実現される。
【００２２】
ＣＰＵ１は、テレビカメラから画像を取り込んでフレームバッファ４に格納する画像取り込み手段１１と、フレームバッファ４に格納された連続する２フレームの画像間における、車両の進入位置の一次元方向に４ドットおきに配置した検出ポイントでの動きベクトルを抽出し、各時点で動きベクトルを抽出した検出ポイントの位置、総数をＲＡＭ３に時系列データとして蓄積する動きベクトル抽出手段１２と、ＲＡＭ３に蓄積された時系列データの検出ポイントの総数が、しきい値を超えた時点を移動物体の進入として検出する移動物体検出手段１３と、動きベクトル抽出手段１２が抽出した動きベクトル、及びＲＡＭ３に蓄積された時系列データから、車両の速度、長さ、位置、幅、通過数量を計測する物理量計測手段１４とを備える。
【００２３】
ＲＯＭ２には、装置のＯＳ（オペレーティング・システム）を初めとして、移動物体の検出計測のコンピュータプログラムが格納されている。
ＲＡＭ３にはＣＰＵ１が実行するコンピュータプログラムの作業領域が設けられ、またコンピュータプログラムの実行に必要な各種データ、上述の時系列データのような実行結果のデータ等が格納されている。
フレームバッファ４には、画像取り込み手段１１がテレビカメラから取り込んだ数フレームの動画像がフレーム単位で一時的に格納される。
【００２４】
図５は本発明の移動物体の検出計測方法（以下、本発明方法という）の概念図である。
本発明では、移動物体である車両の１車線の進入位置の一次元方向に、約４０〜８０の検出ポイントを、例えば４ドットおきに配置する。
各フレームの画像取り込み時点において、一次元方向の検出ポイントで動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積していき（図５(a) 参照）、動きベクトルを抽出した検出ポイントの総数がしきい値を超えた時点が車両の先頭の通過した時点に相当する（図５(b) 参照）。
【００２５】
本例では、移動物体の進入として検出するしきい値として、画像に含まれるノイズによって動きベクトルを検出した場合、又検出対象の車両以外の移動物体の進入を検出した場合等に誤って車両の進入と検出しないような適宜の値を設定しておく。
【００２６】
また総数のしきい値以外に、所定数以上連続した検出ポイントで動きベクトルが検出された場合だけ、車両の通過を検出したと判定するためのしきい値も設定しておく必要がある。更に、しきい値以上の検出ポイントで動きベクトルを抽出した時点が所定数以上連続した場合だけ、車両の通過を検出したと判定するためのしきい値も設定しておく必要がある。
【００２７】
しきい値以上の数の検出ポイントが動きベクトルを抽出している間は車両の通過時間であり、しきい値以下の検出ポイントしか動きベクトルを抽出しなくなった時点が車両の最後尾の通過した時点に相当する。
【００２８】
特定の検出ポイントで抽出した動きベクトルの長さ成分（又は全検出ポイントで抽出した動きベクトルの長さ成分の平均）に相当する実距離を画像の取り込み時間間隔で除算することにより、車両の速度が求まる。
また各時点で動きベクトルを抽出している検出ポイントの位置、及びその総数に相当する実距離から車両の位置と幅とがそれぞれ求まる。
【００２９】
更に速度に、車両の先頭が通過した時点から最後尾が通過した時点までの時間（通過時間）を積算することにより車両の長さが求まる。
また時系列データを観察し、所定期間に車両の先頭が通過した後、最後尾が通過した時点の数を計数することにより、所定期間の車両の通過台数が求まる。
また一次元方向に配置した検出ポイント以外の広い領域が、車両の追跡領域となる。
【００３０】
次に、本発明方法の手順を、図６のフローチャートに基づいて説明する。
第Ｎフレームと、次の第Ｎ＋１フレームとの画像を一定時間（例えば３３ｍｓｅｃ）毎に取り込み（ステップＳ１）、検出ポイントで動きベクトルを検出し（ステップＳ２）、動きベクトルを検出した検出ポイントの総数を算出し（ステップＳ３）、各フレームでの総数を時系列データとしてＲＡＭ３に蓄積する（ステップＳ４）。
【００３１】
動きベクトル検出ポイントの総数が時系列のしきい値を超え、更にしきい値を下回るまでは（ステップＳ５のＮＯの間）、時系列データの蓄積を続け、時系列のしきい値を超えた後、しきい値を下回った場合は（ステップＳ５のＹＥＳ）、動きベクトルの長さ成分相当の実距離をフレーム時間間隔で除算して車両の速度を算出し（ステップＳ６）、速度に通過時間を積算して車両の長さを計測し、また検出ポイント総数相当の実距離から車両の幅を計測する（ステップＳ７）。
更に、時系列のしきい値を超えた後、しきい値を下回る時点の数を計数することにより、車両の通過台数を計測する（ステップＳ８）。
【００３２】
所定時間の経過後、又は外部からの命令により物理量の計測終了が指示されるまで（ステップＳ９のＮＯの間）、車両の検出を続け、物理量の計測終了が指示された場合は（ステップＳ９のＹＥＳ）、計測を終了する。
【００３３】
なお、上述の説明では、複数の検出ポイントを車両の進入位置の一次元方向に配置したが、検出ポイントを配置する位置は車両の進入位置に限らず、画像上の任意の位置に配置することができる。
【００３４】
図７は本発明の応用例（その１）を示しており、本発明装置及び方法を２車線の交差点の画像に適用した場合である。この場合、各車線の進入位置と退出位置とのそれぞれの一次元方向に複数の検出ポイントを配置する。
【００３５】
また図８は本発明の応用例（その２）を示しており、本発明装置及び方法を店舗内の人の流れの計測に適用した場合である。
【００３６】
なお、以上のような移動物体の検出計測のコンピュータプログラムはコンピュータにプレインストールして提供することも、またＣＤ−ＲＯＭ、ＭＯ等の可搬型記録媒体で提供することも可能である。さらに回線経由で提供することも可能である。
【００３７】
【発明の効果】
以上のように、本発明では、移動物体の進入位置のような画像の所定位置の一次元方向に複数の検出ポイントを配置して動きベクトルを抽出し、動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積し、移動物体の先頭の通過時点と最後尾の通過時点とを特定し、動きベクトルの長さ成分、これらの通過時点等を利用して移動物体の速度、長さ、位置、幅、通過数量等の物理量を計測するので、検出ポイント数が少なくて移動物体の検出に要する処理時間が短く、また比較的演算能力が低いコンピュータであってもフレームの更新期間中に演算を終了することができ、更に比較的少ないデータ量でその物理量を計測することができるという優れた効果を奏する。
【図面の簡単な説明】
【図１】局所相関演算法の原理図である。
【図２】従来の移動物体検出方法の原理図である。
【図３】本発明の原理図である。
【図４】本発明装置の機能ブロック図である。
【図５】本発明方法の概念図である。
【図６】本発明方法のフローチャートである。
【図７】本発明の応用例（その１）の図である。
【図８】本発明の応用例（その２）の図である。
【符号の説明】
１ ＣＰＵ
１１ 画像取り込み手段
１２ 動きベクトル抽出手段
１３ 移動物体検出手段
１４ 物理量計測手段
２ ＲＯＭ
３ ＲＡＭ
４ フレームバッファ
【発明の属する技術分野】
本発明は、ＩＴＳ（高度道路交通システム）における交通流計測、マーケティング調査における人の流れの計測等、一定範囲を継続的に撮影した複数の画像から抽出した動きベクトルに基づいて、車両、人物のような移動物体の存在を検出し、更にこの移動物体の速度、長さ、位置、幅、数量等の物理量を計測する装置、及びこの装置で実施する移動物体の検出計測方法に関する。
【０００２】
【従来の技術】
テレビカメラで道路を撮影した画像を画像処理して交通状況を監視するＩＴＳが提案されている。このように、テレビカメラで撮影した動画像の中の移動物体を検出する代表的な方法として、差分画像を用いる方法がある。この方法では、例えば、予め撮影しておいた背景画像との差分画像、又は連続するフレーム間の差分画像を求め、差分画像において階調値が“０”でない部分の連結領域を車両として検出する。
【０００３】
差分画像を用いる方法によって移動物体の領域を抽出できるが、照明変動に弱い等の問題があり、交通状況の監視に必要な車両速度、交通密度等を求めるために必要な車両上の各点の移動方向と移動距離とを検出することは困難である。あるフレームから次のフレームに至る過程の各点の移動方向と移動距離とを表す量は、その点の動きベクトルと呼ばれ、また動きベクトルの場はオプティカルフローと呼ばれ、このオプティカルフローの検出処理が動画像処理を利用した交通状況監視に必要である。
【０００４】
オプティカルフロー検出処理として代表的なものに、局所相関演算法、勾配法等がある。図１は局所相関演算法の原理図である。局所相関演算法では、ｎ×ｍ画素のブロックからなる検出ポイント毎に、第Ｎフレームのある検出ポイントにおける画像と、第Ｎフレームより後で撮影した第Ｎ＋１フレームの画像の、検出ポイントの周囲の任意の広さの探索範囲内を、検出ポイントと同一のｎ×ｍ画素のブロックで区切った探索ポイントにおける画像との相関値を計算し、相関値が最も高い探索ポイントが第Ｎフレームの検出ポイントの移動後の位置に相当すると判断して、この探索ポイントと第Ｎフレームの検出ポイントとの対応する画素間の座標値から動きベクトルを抽出する。
【０００５】
このような動きベクトルを抽出する方法として、従来では、図２の原理図に示すように、移動物体である車両の進入位置の、車両を包含し得る程度の範囲に、上述のような検出ポイントをメッシュ状に配置して車両を検出する。
【０００６】
【発明が解決しようとする課題】
以上のような従来の車両検出方法では、１車線で約２００〜４００ポイントの検出ポイントを必要とする。従って、各フレームにおいて、各検出ポイントの動きベクトルを図１に示すような原理で検出する処理に長時間を要するため演算能力の高いコンピュータを必要とする。一方、コンピュータの演算能力が低い場合はフレームの更新期間中に処理が終了せず、装置の精度を低下させる結果を招く。
【０００７】
また検出ポイントをメッシュ状（２次元）に配置するため、検知した車両を追跡できる画像範囲がメッシュ状の検出ポイントを除いた狭い範囲に限定されてしまう。
【０００８】
更に、検出ポイントをメッシュ状に配した範囲が矩形であるため、経路の形状によっては、オプティカルフローの演算結果が利用されない無駄な部分が発生す。例えば、道路の下流から上流方向の動画像を撮影しており、道路の上流へと達するに従って車両の画像が小さくなるような場合に、移動物体である車両の１車線の侵入位置に検出ポイントをメッシュ状に配置すると、１車線以外の無駄な部分まで含んでしまう。
【０００９】
本発明はこのような問題点を解決するためになされたものであって、移動物体の進入位置のような画像の所定位置の一次元方向に複数の検出ポイントを配置して動きベクトルを抽出し、動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積し、移動物体の先頭の通過時点と最後尾の通過時点とを特定し、動きベクトルの長さ成分、これらの通過時点等を利用して移動物体の速度、長さ、位置、幅、通過数量等の物理量を計測することにより、検出ポイント数が少なくて移動物体の検出に要する処理時間が短く、また比較的演算能力が低いコンピュータであってもフレームの更新期間中に演算を終了することができ、更に比較的少ないデータ量でその物理量を計測することができる装置、及びこの装置で実施する移動物体の検出計測方法の提供を目的とする。
【００１０】
【課題を解決するための手段】
図３は本発明の原理図である。
本発明では、移動物体である車両の１車線の進入位置の一次元方向に、約４０〜８０の検出ポイントを、例えば４ドットおきに配置する。
例えば各フレームの画像取り込み時点において、一次元方向の実質的に連続している検出ポイントで動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積していき、所定数以上で動きベクトルを抽出した時点が車両の先頭の通過した時点に相当する。
【００１１】
所定数以上の検出ポイントが動きベクトルを抽出している間は車両が通過している期間であり、所定数以下の検出ポイントしか動きベクトルを抽出しなくなった時点が車両の最後尾が通過した時点に相当する。
【００１２】
以上のようにして抽出した動きベクトルの長さ成分に相当する実距離をフレームの時間間隔で除算することにより、車両の速度が求まる。
また各時点で動きベクトルを抽出している検出ポイントの位置、及びその総数に相当する実距離から車両の位置と幅とがそれぞれ求まる。
【００１３】
更に速度に、車両の先頭が通過した時点から最後尾が通過した時点までの時間を積算することにより車両の長さが求まる。
また時系列データを観察し、所定期間に車両の先頭が通過した後、最後尾が通過した時点の数を計数することにより、所定期間の車両の通過台数が求まる。
【００１４】
第１発明に係る移動物体の検出計測装置は、一定の範囲を複数の時点で撮影した複数の画像から抽出した動きベクトルに基づき、該範囲における移動物体の存在を検出して該移動物体の物理量を計測する装置において、動きベクトルを抽出するための探索範囲が周囲に設定されてある複数の検出ポイントを、前記画像の所定位置の一次元方向に配置する手段と、第１の時点及び第１の時点以後の第２の時点で撮影した２枚の画像から、前記探索範囲内で移動した検出ポイントの動きベクトルを抽出する抽出手段と、各時点の動きベクトルを抽出した実質的に連続している検出ポイントの総数を時系列データとして蓄積する蓄積手段と、所定数以上の検出ポイントにて動きベクトルが抽出された場合は移動物体の存在を検出する検出手段と、前記２枚の画像の撮影時間間隔、前記抽出手段にて抽出した動きベクトルの長さ成分のベクトル量、及び／又は前記蓄積手段にて蓄積してある時系列データに基づいて、前記移動物体の物理量を計測する計測手段とを備えたことを特徴とする。
【００１５】
第２発明の移動物体の検出計測装置は、第１発明の前記撮影時間間隔は、一定であり、前記計測手段は、予め実測してある実距離のうち、前記ベクトル量に相当する実距離を求め、該実距離を前記撮影時間間隔で除算して移動物体の速度を計測すべくなしたことを特徴とする。
【００１６】
第３発明の移動物体の検出計測装置は、第２発明の前記計測手段は、検出ポイントが所定数を超えた時点を移動物体の先頭の検出時点、また所定数を下回った時点を該移動物体の最後尾の検出時点と特定し、該移動物体の速度に、先頭の検出時点から最後尾の検出時点までの経過時間を積算して該移動物体の移動方向の寸法を計測すべくなしたことを特徴とする。
【００１７】
第４発明に係る移動物体の検出計測装置は、第１乃至第３発明のいずれかの前記計測手段は、前記蓄積手段にて蓄積してある時系列データの１つの時点における検出ポイントの総数に相当する実距離から前記移動物体の移動方向に交差する方向の寸法を計測すべくなしたことを特徴とする。
【００１８】
第５発明に係る移動物体の検出計測方法は、一定の範囲を複数の時点で撮影した複数の画像から抽出した動きベクトルに基づき、該範囲における移動物体の存在を検出して該移動物体の物理量を計測する方法において、動きベクトルを抽出するための探索範囲が周囲に設定されてある複数の検出ポイントを、前記画像の所定位置の一次元方向に配置し、第１の時点及び第１の時点以後の第２の時点で撮影した２枚の画像から、前記探索範囲内で移動した検出ポイントの動きベクトルを抽出し、各時点の動きベクトルを抽出した実質的に連続している検出ポイントの総数を時系列データとして蓄積し、所定数以上の検出ポイントにて動きベクトルが抽出された場合は移動物体の存在を検出し、前記２枚の画像の撮影時間間隔、前記抽出手段にて抽出した動きベクトルの長さ成分のベクトル量、及び／又は蓄積してある時系列データに基づいて、前記移動物体の物理量を計測することを特徴とする。
【００１９】
本発明では、移動物体の進入位置のような画像の所定位置の一次元方向に複数の検出ポイントを配置して動きベクトルを抽出し、動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積し、移動物体の先頭の通過時点と最後尾の通過時点とを特定して、動きベクトルの長さ成分、これらの通過時点等を利用して移動物体の速度、長さ、幅、通過数量等の物理量を計測する。
【００２０】
従って、検出ポイント数が少なくて移動物体の検出に要する処理時間が短く、また比較的演算能力が低いコンピュータであってもフレームの更新期間中に演算を終了することができ、更に比較的少ないデータ量でその物理量を計測することができる。
また一次元方向に配置した検出ポイント以外の広い領域が、車両の追跡領域となる。
【００２１】
【発明の実施の形態】
図４は本発明の移動物体の検出計測装置（以下、本発明装置という）の機能ブロック図である。
本発明装置は、例えば１車線の下流から上流方向の一定の範囲をテレビカメラで撮影した画像を一定時間間隔で取り込み、画像処理する機能を備えたコンピュータで実現される。
【００２２】
ＣＰＵ１は、テレビカメラから画像を取り込んでフレームバッファ４に格納する画像取り込み手段１１と、フレームバッファ４に格納された連続する２フレームの画像間における、車両の進入位置の一次元方向に４ドットおきに配置した検出ポイントでの動きベクトルを抽出し、各時点で動きベクトルを抽出した検出ポイントの位置、総数をＲＡＭ３に時系列データとして蓄積する動きベクトル抽出手段１２と、ＲＡＭ３に蓄積された時系列データの検出ポイントの総数が、しきい値を超えた時点を移動物体の進入として検出する移動物体検出手段１３と、動きベクトル抽出手段１２が抽出した動きベクトル、及びＲＡＭ３に蓄積された時系列データから、車両の速度、長さ、位置、幅、通過数量を計測する物理量計測手段１４とを備える。
【００２３】
ＲＯＭ２には、装置のＯＳ（オペレーティング・システム）を初めとして、移動物体の検出計測のコンピュータプログラムが格納されている。
ＲＡＭ３にはＣＰＵ１が実行するコンピュータプログラムの作業領域が設けられ、またコンピュータプログラムの実行に必要な各種データ、上述の時系列データのような実行結果のデータ等が格納されている。
フレームバッファ４には、画像取り込み手段１１がテレビカメラから取り込んだ数フレームの動画像がフレーム単位で一時的に格納される。
【００２４】
図５は本発明の移動物体の検出計測方法（以下、本発明方法という）の概念図である。
本発明では、移動物体である車両の１車線の進入位置の一次元方向に、約４０〜８０の検出ポイントを、例えば４ドットおきに配置する。
各フレームの画像取り込み時点において、一次元方向の検出ポイントで動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積していき（図５(a) 参照）、動きベクトルを抽出した検出ポイントの総数がしきい値を超えた時点が車両の先頭の通過した時点に相当する（図５(b) 参照）。
【００２５】
本例では、移動物体の進入として検出するしきい値として、画像に含まれるノイズによって動きベクトルを検出した場合、又検出対象の車両以外の移動物体の進入を検出した場合等に誤って車両の進入と検出しないような適宜の値を設定しておく。
【００２６】
また総数のしきい値以外に、所定数以上連続した検出ポイントで動きベクトルが検出された場合だけ、車両の通過を検出したと判定するためのしきい値も設定しておく必要がある。更に、しきい値以上の検出ポイントで動きベクトルを抽出した時点が所定数以上連続した場合だけ、車両の通過を検出したと判定するためのしきい値も設定しておく必要がある。
【００２７】
しきい値以上の数の検出ポイントが動きベクトルを抽出している間は車両の通過時間であり、しきい値以下の検出ポイントしか動きベクトルを抽出しなくなった時点が車両の最後尾の通過した時点に相当する。
【００２８】
特定の検出ポイントで抽出した動きベクトルの長さ成分（又は全検出ポイントで抽出した動きベクトルの長さ成分の平均）に相当する実距離を画像の取り込み時間間隔で除算することにより、車両の速度が求まる。
また各時点で動きベクトルを抽出している検出ポイントの位置、及びその総数に相当する実距離から車両の位置と幅とがそれぞれ求まる。
【００２９】
更に速度に、車両の先頭が通過した時点から最後尾が通過した時点までの時間（通過時間）を積算することにより車両の長さが求まる。
また時系列データを観察し、所定期間に車両の先頭が通過した後、最後尾が通過した時点の数を計数することにより、所定期間の車両の通過台数が求まる。
また一次元方向に配置した検出ポイント以外の広い領域が、車両の追跡領域となる。
【００３０】
次に、本発明方法の手順を、図６のフローチャートに基づいて説明する。
第Ｎフレームと、次の第Ｎ＋１フレームとの画像を一定時間（例えば３３ｍｓｅｃ）毎に取り込み（ステップＳ１）、検出ポイントで動きベクトルを検出し（ステップＳ２）、動きベクトルを検出した検出ポイントの総数を算出し（ステップＳ３）、各フレームでの総数を時系列データとしてＲＡＭ３に蓄積する（ステップＳ４）。
【００３１】
動きベクトル検出ポイントの総数が時系列のしきい値を超え、更にしきい値を下回るまでは（ステップＳ５のＮＯの間）、時系列データの蓄積を続け、時系列のしきい値を超えた後、しきい値を下回った場合は（ステップＳ５のＹＥＳ）、動きベクトルの長さ成分相当の実距離をフレーム時間間隔で除算して車両の速度を算出し（ステップＳ６）、速度に通過時間を積算して車両の長さを計測し、また検出ポイント総数相当の実距離から車両の幅を計測する（ステップＳ７）。
更に、時系列のしきい値を超えた後、しきい値を下回る時点の数を計数することにより、車両の通過台数を計測する（ステップＳ８）。
【００３２】
所定時間の経過後、又は外部からの命令により物理量の計測終了が指示されるまで（ステップＳ９のＮＯの間）、車両の検出を続け、物理量の計測終了が指示された場合は（ステップＳ９のＹＥＳ）、計測を終了する。
【００３３】
なお、上述の説明では、複数の検出ポイントを車両の進入位置の一次元方向に配置したが、検出ポイントを配置する位置は車両の進入位置に限らず、画像上の任意の位置に配置することができる。
【００３４】
図７は本発明の応用例（その１）を示しており、本発明装置及び方法を２車線の交差点の画像に適用した場合である。この場合、各車線の進入位置と退出位置とのそれぞれの一次元方向に複数の検出ポイントを配置する。
【００３５】
また図８は本発明の応用例（その２）を示しており、本発明装置及び方法を店舗内の人の流れの計測に適用した場合である。
【００３６】
なお、以上のような移動物体の検出計測のコンピュータプログラムはコンピュータにプレインストールして提供することも、またＣＤ−ＲＯＭ、ＭＯ等の可搬型記録媒体で提供することも可能である。さらに回線経由で提供することも可能である。
【００３７】
【発明の効果】
以上のように、本発明では、移動物体の進入位置のような画像の所定位置の一次元方向に複数の検出ポイントを配置して動きベクトルを抽出し、動きベクトルを抽出した検出ポイントの総数を時系列データとして蓄積し、移動物体の先頭の通過時点と最後尾の通過時点とを特定し、動きベクトルの長さ成分、これらの通過時点等を利用して移動物体の速度、長さ、位置、幅、通過数量等の物理量を計測するので、検出ポイント数が少なくて移動物体の検出に要する処理時間が短く、また比較的演算能力が低いコンピュータであってもフレームの更新期間中に演算を終了することができ、更に比較的少ないデータ量でその物理量を計測することができるという優れた効果を奏する。
【図面の簡単な説明】
【図１】局所相関演算法の原理図である。
【図２】従来の移動物体検出方法の原理図である。
【図３】本発明の原理図である。
【図４】本発明装置の機能ブロック図である。
【図５】本発明方法の概念図である。
【図６】本発明方法のフローチャートである。
【図７】本発明の応用例（その１）の図である。
【図８】本発明の応用例（その２）の図である。
【符号の説明】
１ ＣＰＵ
１１ 画像取り込み手段
１２ 動きベクトル抽出手段
１３ 移動物体検出手段
１４ 物理量計測手段
２ ＲＯＭ
３ ＲＡＭ
４ フレームバッファ
Claims (5)
- 一定の範囲を複数の時点で撮影した複数の画像から抽出した動きベクトルに基づき、該範囲における移動物体の存在を検出して該移動物体の物理量を計測する装置において、
動きベクトルを抽出するための探索範囲が周囲に設定されてある複数の検出ポイントを、前記画像の所定位置の一次元方向に配置する手段と、
第１の時点及び第１の時点以後の第２の時点で撮影した２枚の画像から、前記探索範囲内で移動した検出ポイントの動きベクトルを抽出する抽出手段と、
各時点の動きベクトルを抽出した実質的に連続している検出ポイントの総数を時系列データとして蓄積する蓄積手段と、
所定数以上の検出ポイントにて動きベクトルが抽出された場合は移動物体の存在を検出する検出手段と、
前記２枚の画像の撮影時間間隔、前記抽出手段にて抽出した動きベクトルの長さ成分のベクトル量、及び／又は前記蓄積手段にて蓄積してある時系列データに基づいて、前記移動物体の物理量を計測する計測手段と
を備えたことを特徴とする移動物体の検出計測装置。 - 前記撮影時間間隔は、一定であり、
前記計測手段は、予め実測してある実距離のうち、前記ベクトル量に相当する実距離を求め、該実距離を前記撮影時間間隔で除算して移動物体の速度を計測すべくなしたことを特徴とする請求項１記載の移動物体の検出計測装置。 - 前記計測手段は、検出ポイントが所定数を超えた時点を移動物体の先頭の検出時点、また所定数を下回った時点を該移動物体の最後尾の検出時点と特定し、該移動物体の速度に、先頭の検出時点から最後尾の検出時点までの経過時間を積算して該移動物体の移動方向の寸法を計測すべくなしたことを特徴とする請求項２記載の移動物体の検出計測装置。
- 前記計測手段は、前記蓄積手段にて蓄積してある時系列データの１つの時点における検出ポイントの総数に相当する実距離から前記移動物体の移動方向に交差する方向の寸法を計測すべくなしたことを特徴とする請求項１乃至３のいずれか１つに記載の移動物体の検出計測装置。
- 一定の範囲を複数の時点で撮影した複数の画像から抽出した動きベクトルに基づき、該範囲における移動物体の存在を検出して該移動物体の物理量を計測する方法において、
動きベクトルを抽出するための探索範囲が周囲に設定されてある複数の検出ポイントを、前記画像の所定位置の一次元方向に配置し、
第１の時点及び第１の時点以後の第２の時点で撮影した２枚の画像から、前記探索範囲内で移動した検出ポイントの動きベクトルを抽出し、
各時点の動きベクトルを抽出した実質的に連続している検出ポイントの総数を時系列データとして蓄積し、
所定数以上の検出ポイントにて動きベクトルが抽出された場合は移動物体の存在を検出し、
前記２枚の画像の撮影時間間隔、前記抽出手段にて抽出した動きベクトルの長さ成分のベクトル量、及び／又は蓄積してある時系列データに基づいて、前記移動物体の物理量を計測することを特徴とする移動物体の検出計測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000193469A JP3916379B2 (ja) | 2000-06-27 | 2000-06-27 | 移動物体の検出計測装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000193469A JP3916379B2 (ja) | 2000-06-27 | 2000-06-27 | 移動物体の検出計測装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002008018A JP2002008018A (ja) | 2002-01-11 |
| JP3916379B2 true JP3916379B2 (ja) | 2007-05-16 |
Family
ID=18692459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000193469A Expired - Fee Related JP3916379B2 (ja) | 2000-06-27 | 2000-06-27 | 移動物体の検出計測装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3916379B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3944647B2 (ja) | 2003-10-21 | 2007-07-11 | コニカミノルタホールディングス株式会社 | 物体計測装置、物体計測方法、およびプログラム |
| CN112517868B (zh) * | 2020-11-18 | 2022-05-31 | 河北凯昌科技有限公司 | 连铸铸坯长度测量装置及方法 |
-
2000
- 2000-06-27 JP JP2000193469A patent/JP3916379B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002008018A (ja) | 2002-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7163945B2 (ja) | 移動状況推定装置、移動状況推定方法およびプログラム記録媒体 | |
| US8848979B2 (en) | Tracked object determination device, tracked object determination method and tracked object determination program | |
| TWI448977B (zh) | 基於視訊分析的物件計數方法與裝置 | |
| JP4966820B2 (ja) | 混雑推定装置および方法 | |
| CN101206799B (zh) | 监控系统、监控装置和监控方法 | |
| US8401715B2 (en) | Vehicle periphery monitoring device | |
| US7262710B2 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
| US7536035B2 (en) | Object velocity measuring apparatus and object velocity measuring method | |
| JP6356266B2 (ja) | 群集監視システム | |
| JP2010063001A (ja) | 人物追跡装置および人物追跡プログラム | |
| US10853949B2 (en) | Image processing device | |
| JP2011180982A (ja) | 区画線検出装置 | |
| JP4600929B2 (ja) | 停止低速車両検出装置 | |
| JP6792722B2 (ja) | 車両台数計測システム | |
| US9256945B2 (en) | System for tracking a moving object, and a method and a non-transitory computer readable medium thereof | |
| CN114998317B (zh) | 镜头遮挡检测方法、装置、摄像装置和存储介质 | |
| JP2006202047A (ja) | 移動物体検出装置及び移動物体検出方法 | |
| KR100885418B1 (ko) | 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법 | |
| JP3916379B2 (ja) | 移動物体の検出計測装置及び方法 | |
| JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 | |
| KR100631082B1 (ko) | 단일 카메라를 사용한 3차원 영상정보 획득방법 및 이를이용한 영상검지방법 | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| JP2002288786A (ja) | 広域渋滞判定方法、広域渋滞判定システム及び判定装置 | |
| JPH04345396A (ja) | 移動物体追跡方法 | |
| JP3609679B2 (ja) | 動画像処理装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070206 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |