JP4714872B2 - 画像上重畳移動物体分割方法及び装置 - Google Patents

画像上重畳移動物体分割方法及び装置 Download PDF

Info

Publication number
JP4714872B2
JP4714872B2 JP2006005447A JP2006005447A JP4714872B2 JP 4714872 B2 JP4714872 B2 JP 4714872B2 JP 2006005447 A JP2006005447 A JP 2006005447A JP 2006005447 A JP2006005447 A JP 2006005447A JP 4714872 B2 JP4714872 B2 JP 4714872B2
Authority
JP
Japan
Prior art keywords
moving object
cluster
image
axis
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006005447A
Other languages
English (en)
Other versions
JP2007188268A (ja
Inventor
俊介 上條
健二 藤平
明哲 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2006005447A priority Critical patent/JP4714872B2/ja
Publication of JP2007188268A publication Critical patent/JP2007188268A/ja
Application granted granted Critical
Publication of JP4714872B2 publication Critical patent/JP4714872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、記憶手段に格納された時系列画像上の重畳移動物体を画像処理により分割する画像上重畳移動物体分割方法及び装置に係り、特に道路上の車輌が画像上で重なり合って移動している場合に好適な画像上重畳移動物体分割方法及び装置に関する。
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。
画像上の移動物体を追跡する方法として、例えば480×640画素のフレーム画像を8×8画素のブロックに分割して60×80ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻t−1とtのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号(ID)及び動きベクトル(MV)を求める方法がある(例えば下記特許文献1)。これにより、同一移動物体と認められるブロックには同一IDが付与される。
また、2つの移動物体が画像上で重なり合って1つのクラスタを形成していても、ある時点でそれらの間に速度差が所定値以上あれば、これに基づいてクラスタを分割し、上記時空相関に基づいて時間を進め又は遡ることにより、相対速度が殆ど無くても、正又は負の時間軸方向に存在する移動物体を分割して認識することができる。
特開2004−207786号公報
しかしながら、移動物体がフレーム内に現れてからフレーム外に消失するまでの間に、画像上で重なり合った移動物体間の相対速度が殆どゼロであれば、両移動物体を分割して認識することができない。
本発明の目的は、このような問題点に鑑み、複数の移動物体が画像上で互いに重なり合い、それらの間の相対速度が殆どゼロであっても、分割された複数の移動物体として認識することが可能な画像上重畳移動物体分割方法及び装置を提供することにある。
本発明の第1態様では、記憶手段に格納された時系列画像上の移動物体を画像処理により認識して追跡する画像上移動物体追跡方法において、
(a)1つとして認識された移動物体のクラスタサイズが設定値より大きいか否かを判定し、
(b)肯定判定した場合には、クラスタ内のエッジの分布を調べ、
(c)該分布に基づいて該クラスタを複数の移動物体領域に分割する、
ステップを有する。
本発明による画像上移動物体追跡方法の第2態様では、第1態様において、
該画像上移動物体追跡方法は、サンプリング時刻t1のフレーム画像と、該サンプリング時刻t1と隣り合うサンプリング時刻t2のフレーム画像との相関関係と、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果とに基づいて、該サンプリング時刻t2のフレーム画像に含まれる移動物体を識別するものであり、
該ステップ(c)により分割された複数の移動物体領域を、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果の一部として取り入れる。
本発明による画像上移動物体追跡方法の第3態様では、第2態様において、
画像フレームに対応したエリア内に、進入する移動物体の有無を判定し肯定判定した場合に該移動物体にIDを付与するための領域又は線を予め設定しておき、
該クラスタが該領域又は線と所定の関係にあるか否かを判定し、
該所定の関係にあると判定した場合に、該ステップ(a)へ進む。
本発明による画像上移動物体追跡方法の第4態様では、第1乃至3態様のいずれか1つにおいて、
該ステップ(a)の該クラスタサイズは、該クラスタの略進路方向と略直角な略横断方向の長さであり、
該ステップ(b)では、該クラスタ内において、該略進路方向と略直角な移動物体略横断方向の複数の位置の各々につき、該略進路方向に沿ってエッジをカウントし、
該ステップ(c)では、該略横断方向に隣り合う位置についてのカウントの差に基づき、該略横断方向に隣り合う位置の間における略進路方向の線に沿って、該クラスタを複数の移動物体領域に分割する。
本発明による画像上移動物体追跡方法の第5態様では、第1乃至4態様のいずれか1つにおいて、
該ステップ(a)の該クラスタサイズは、該略進路方向の長さであり、
該ステップ(b)では、該クラスタ内において、該略進路方向に沿ったエッジの間隔を計測し、該間隔の位置における画像縮小率に比例した値で該間隔を除して実間隔を求め、
該ステップ(c)では、一連の該実間隔の数列パターンの一部を参照数列パターンと比較し、両者が一致していると判定した場合には、該一部の一端に対応したエッジに基づいて、該略横断方向の線に沿って該クラスタを複数の移動物体領域に分割する。
上記第1態様の構成によれば、1つとして認識された移動物体のクラスタサイズが設定値より大きいか否かを判定し、肯定判定した場合には、クラスタ内のエッジの分布を調べ、該分布に基づいて該クラスタを複数の移動物体領域に分割するので、画像上で複数の移動物体が重なり合い、これらの間の相対速度が殆どゼロであっても、重なり合った移動物体を分割して認識することができるという効果を奏する。
上記第2態様の構成によれば、サンプリング時刻t1のフレーム画像と、該サンプリング時刻t1と隣り合うサンプリング時刻t2のフレーム画像との相関関係と、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果とに基づいて、該サンプリング時刻t2のフレーム画像に含まれる移動物体を識別するので、該ステップ(c)により分割された複数の移動物体領域を、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果の一部として取り入れることにより、任意の1つのクラスタについて該分割を1回行うだけで、移動物体間の相対速度によらずその後も分割を維持することができる。
上記第3態様の構成によれば、画像フレームに対応したエリア内に、進入する移動物体の有無を判定し肯定判定した場合に該移動物体にIDを付与するための領域又は線を予め設定しておき、該クラスタが該領域又は線と所定の関係にあるか否かを判定し、該所定の関係にあると判定した場合に、該ステップ(a)へ進むので、該関係が成立した後は、移動物体が重なっていても継続して該分割を維持することが可能となる。
上記第4態様の構成によれば、比較的簡単な処理で、略進路方向の線に沿って、該クラスタを複数の移動物体領域に分割することができる。
上記第5態様の構成によれば、比較的簡単な処理で、略横断方向の線に沿って、該クラスタを複数の移動物体領域に分割することができる。
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
図1は、ビデオカメラ(例えばITVカメラ)10で撮像された画像を処理して移動物体を追跡する、本発明の実施例1の画像上移動物体追跡装置20の概略機能ブロック図である。
この装置20のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウェアと専用のハードウェアの組み合わせで構成することができる。
ビデオカメラ10で撮影された時系列画像は、例えば30フレーム/秒のレートで、画像メモリ21に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。
本発明は、画像メモリ21に格納された画像データを構成要素23〜26によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
また、画像メモリ21に格納された画像(原画像)を直接、構成要素23〜26で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は2次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの(エッジが強調された変換画像)を、ブロック23〜27で処理する構成であってもよい。但し、原画像を処理する場合には、ブロック26において該変換を行い、変換画像に対して後述の処理を行う。以下、「画像」とは原画像又は変換画像を意味する。
背景画像生成部22は、記憶部と処理部とを備え、処理部は、画像メモリ21をアクセスし、例えば過去1分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値(モード)をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
ID生成/消滅部23には、図3に示す如く、フレーム画像30内に配置される移動物体入り口スリット31A、31B及び移動物体出口スリット32A、32Bの領域を示すデータが、予め設定されている。これらスリットの境界は、後述のブロックの境界に一致している(図3ではスリット間の境界を示すために、一部の辺をブロックの境界からわざと外して示している)。
この設定は、マウス等のポインティングデバイス又はキーボード等の入力装置INと、設定を確認する表示装置OUTと、ID生成/消滅部23に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
図3中のメッシュはブロックの境界線であり、1ブロックは例えば8×8画素である。スリット31A、32A、31B及び32Bの移動物体通過方向の幅は、1ブロック幅の整数倍であればよい。
ID生成/消滅部23は、画像メモリ21から入り口スリット31A及び31B内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が所定値以上であるかどうかにより判定する。
ID生成/消滅部23は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号(ID)を付与する。ID生成/消滅部23は、ID付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のIDを付与する。このID付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、IDが付与されたブロックの塊をクラスタと称する。
IDの付与は、記憶部24内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合60×80ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、IDが付与されているかどうかを示すフラグと、IDが付与されていることを示している場合にはID及びブロックの動きベクトル(MV)を含む。この情報は配列M(i,j,n)で表すことができる。ここに(i,j)は第i行第j列のブロックを示し、n=0、n=1及びn=2はそれぞれMがフラグ、ID及びMVであることを示す。なお、該フラグを用いずに、ID=0のときIDが付与されていないと判定してもよい。また、IDの最上位ビットをフラグとしてもよい。ブロックマッチングでMVが求まらないブロックのMVは例えば、その回りの同一IDのブロックのMVの平均値に等しくする。
入り口スリット31A又は31Bを通過したクラスタに対しては、移動物体追跡部25により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻t−1(フレーム番号)でのMVに基づいて時刻tでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するIDの付与及び移動と反対方向側のブロックに対するIDの消滅が行われて、時刻tでのクラスタが決定される。また、時刻t−1とtのフレーム画像間のブロックマッチングにより、時刻tでIDが付与されているブロックのMVが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻t−1でのMVに基づいて定められる。各ブロックのIDとMVは、評価関数を用いて同時に決定することもできる(例えば上記特許文献1)。ID及びMVの更新は、記憶部24内のオブジェクトマップに対して行われる。
移動物体追跡部25による追跡処理は、各クラスタについて出口スリット内まで行われる。
ID生成/消滅部23はさらに、記憶部24内のオブジェクトマップに基づき出口スリット32A及び32B内のブロックにIDが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのIDを消滅させる。
図4は、IDのオブジェクトマップ33に、理解を容易にするため図3中の移動物体を重ね合わせ、且つ、クラスタの境界を太線で示したものである。
本実施例1の特徴は、ID生成/消滅部23とクラスタ分割線決定部26との関係と、クラスタ分割線決定部26による処理と、クラスタ分割線決定部26と移動物体追跡部25との関係とにあり、以下にこれらを詳説する。
まず、図3に示すように、略進路方向をY方向、これと直角な方向をX方向とする。なお、以下の説明から明らかなように、道路に対するビデオカメラ10の配置と向きによっては、Y方向を略進路方向とし、X方向を画像上で該Y方向と略直角な方向としてもよい。
ID生成/消滅部23は、図3及び図4において、クラスタ34の後端341が入口スリット31Aの後端31A1を完全に通過したと判定すると、これをクラスタ分割線決定部26に通知する。
クラスタ分割線決定部26はこれに応答して、図2に示す処理を開始する。以下、括弧内は図2中のステップ識別符号である。
(S0)クラスタ34が内接する矩形のX方向及びY方向の長さNW及びNLをそれぞれ、クラスタ34のX方向及びY方向の長さとして計測する。NW及びNLの単位はブロックの一辺の長さであり、IDオブジェクトマップ33上でクラスタ34のX方向及びY方向のブロックをカウントしそれぞれの最大値を求めることにより、NW及びNLを計測することができる。
(S1)NWが、予め設定された値NW0より大きければステップS2へ進み、そうでなければステップS3へ進む。図4はNW>NW0の場合を示す。
(S2)後述のようにクラスタ34の領域内の画像のエッジ分布(エッジの個数又は最大間隔の変化)に基づいて、Y方向の分割線を決定し、その情報を移動物体追跡部25へ与える。移動物体追跡部25はこれに応答して、クラスタ34を分割する。
(S3)NLが、予め設定された値NL0より大きければステップS4へ進み、そうでなければこのクラスタ34に対する処理を終了する。図9はNL>NL0の場合を示す。
(S4)後述のようにクラスタ34の領域内画像のエッジ分布(参照数列に対する一連のエッジ間隔の数列)に基づいてX方向の分割線を決定し、その情報を移動物体追跡部25へ与える。移動物体追跡部25はこれに応答して、クラスタ34を分割する
このようにして分割されIDが付与された各ブロックは、移動物体追跡部25により上述の時空間相関に基づいて追跡される。従って、本実施例によれば、複数の移動物体が画像上で互いに重なり合い、それらの間の相対速度が殆どゼロであっても、分割された複数の移動物体として認識することが可能となる。
次に、図5(A)を参照して、上記ステップS2での処理を説明する。
フレーム画像30内の、クラスタ34に対応した領域の上記エッジ強調画像について、X方向の各ブロックの中間点につき、Y方向に走査しながらエッジをカウントする。但し、クラスタ34内におけるX方向両サイドのブロック中間点については、Y方向に走査せず、図5(A)ではX=4.5、5.5、6.5及び6.5の各々についてY方向に走査する。エッジは、図7に示すように、エッジが強調された濃淡画像のピークに対応しており、閾値THよりも大きいピークの数をエッジの数として求める。図5(A)中の上部の数字は、Y方向の線に沿ったエッジの数を示している。図5(A)ではエッジカウントが6,3,5,5となる。
このエッジカウント列において、隣り合うカウントの差が最大となるXの値4.5と5.5の間の整数値(ブロック境界に対応する値)XB=5を、クラスタ分割線情報として移動物体追跡部25へ供給する。移動物体追跡部25はこれに応答して、図5(B)に示すように、クラスタ34を分割する。すなわち、移動物体追跡部25は、クラスタ34内の、分割線X=XBの一方側の各ブロックに、新たなIDを付与する。
なお、分割線候補が2以上あり、且つ、分割線候補間の距離が設定値以内であれば、予め定めたルールに従ってそのうちの1つを分割線として選択する。
また、Y方向に沿ってエッジをカウントする代わりに、図6に示す如く、上記の各Xの値について、エッジのY方向間隔の最大値をクラスタ34内で求め、その数列(図6では6,14,20,20)において、隣り合う値の差が最大となるXの値4.5と5.5の間の整数値XB=5を求め、その後は上記同様にして分割線を決定してもよい。
次に、図8〜12を参照して、上記ステップS4での処理を説明する。
図8に示すように、フレーム画像30A上で移動物体が進路方向(略Y方向)に重なる場合には、図9に示すようなIDオブジェクトマップ33A内のクラスタ34Aに対応する、図8のフレーム画像30A内の領域について、進路の幅の中央線又は略中央線(図10では直線X=6)に沿って、エッジの間隔(図7のピーク間距離又はピークで区切られた閾値直線THの線分の長さ)を計測する。図8ではブロックサイズが比較的大きいので、エッジ間隔を画素単位で計測する。
Y方向位置により縮尺率が異なり、フレーム画像30A内で移動物体がY方向に重なっている場合にはこれを無視できないので、次に、画像上のエッジ間隔を縮尺率で除することにより、実間隔に変換する。この縮尺率は、ビデオカメラ10の高さと光軸の俯角とフレーム画像30A内の位置とに基づいて幾何学的に算出することができる。図10の右側の数列は、実エッジ間隔を示す。
クラスタ分割線決定部26は、参照パターン記憶部を備え、これには、図11に示すような車両の実エッジ間隔のパターンが格納されている。各参照パターンの一連のエッジ間隔の各々には範囲がある。例えば、パターン1はエッジ間隔列L1〜L4であり、L1=7〜9、L2=20〜25、L3=6〜10、L4=5〜10である。
各参照パターン(n個の数列)を、図10(A)に示す実エッジ間隔列8,23,8,6,3,7、5,10,7の先頭からn個の数列と比較し、参照パターンと一致する(参照パターンに含まれる)か否かを調べる。一致する場合には、その実パターンが1つの移動物体に対応していると判定し、その最後のエッジ間隔に対応する端のエッジを画像上分割線と決定し、この分割線に最も近いブロック境界のYの値YBを求め、Y=YBをクラスタ分割線と決定する。
図10(A)の場合、先頭からの数列8,23,8,6がパターン1と一致するので、エッジ間隔6と、次のエッジ間隔3との間のエッジを、画像上分割線と決定する。
次に、実パターンの残りの数列について同様に、参照パターンと一致するか否かを調べる。但し、実パターンの残りの数列の先頭の数値については、移動物体間の重なりによるエッジ間隔減少を考慮し、参照パターンのそれより小さい場合には一致するとみなす。図10(A)の場合、数列3,7、5,10,7は、図11の参照パターン2と一致すると判定される。さらに残りの数列はないので、クラスタ34Aに対するクラスタ分割線決定部26の処理は終了する。
クラスタ分割線決定部26は、このようにして求めたクラスタ決定線の情報を移動物体追跡部25に与える。移動物体追跡部25はこれに応答して、クラスタ34A内の、分割線Y=YBの一方側の各ブロックに、新たなIDを付与する。
なお、図12に示すように、フレーム画像上で多数の移動物体が進路方向に重なっている場合、Y方向ではなく、矢印で示す進路方向に走査してエッジ間隔を計測する。
図1に戻って、代表点追跡部27は、オブジェクトマップ記憶部24に格納された時刻tのオブジェクトマップに基づいて、時刻tにおける各移動物体(クラスタ又は分割されたクラスタ)の代表点の座標、例えば幾何学的重心を求める。
なお、本発明には外にも種々の変形例が含まれる。
例えば、上記実施例ではクラスタ内のエッジの分布を調べ、その結果に基づいてクラスタを分割する場合を説明したが、例えば図3において、クラスタを車線区分線35に対応した線(ブロック境界に対応する線)に基づいて複数の移動物体領域に分割し、他の構成については上記実施例と同様に処理する構成であってもよい。
また、クラスタが車線区分線35の両側に跨っている場合、又は、隣り合う車線の一方及び他方の中央線上のブロックをクラスタが含む場合、クラスタの横断方向長さ計測値が設定値以上であると判定してもよい。
さらに、例えば図3において、ビデオカメラ10から遠方の入口スリット31B側でクラスタを分割するよりも近くの出口スリット32B側でクラスタを分割した方が精度が高くなるので、出口スリット32B側でクラスタを分割し、上記特許文献1に記載のように時間を遡って、分割後の移動物体を追跡する構成であってもよく、これは、過去のビデオの解析のようにリアルタイム処理が要求されない場合に有効である。
また、代表点追跡部27での処理開始時点は、設定したラインが移動物体(クラスタ)と所定の関係になった時点、例えば、移動物体の先端部、後端部又は代表点が該ラインと一致し又は該ラインを通過した時点であってもよい。なぜならば、ラインをどの位置に設定するかで該所定の関係を変えることができ、また、時間を遡って入口スリットに入る前の移動物体軌跡を求めることができるからである。このラインは領域の辺であってもよい。
また、本発明の画像上移動物体追跡装置は、移動物体追跡機能を備えていればよく、例えば移動物体追跡結果に基づいて事故等を検出する装置も本発明に含まれることは勿論である。
本発明の実施例1の画像上移動物体追跡装置の概略機能ブロック図である。 図1中のクラスタ分割線決定部での処理を示す概略フローチャートである。 略進路方向の線でクラスタを分割する処理の開始時点に対応したフレーム画像をブロック境界に対応する線とともに示す図である。 移動物体IDのオブジェクトマップに、図3中の移動物体を重ね合わせ、且つ、クラスタの境界を太線で示した図であって、図2のステップS0の説明図ある。 (A)は図2のステップS2の説明図であり、(B)はこのステップS2の処理終了に応答して図1中の移動物体追跡部で行われる処理の説明図である。 図5(A)の方法の変形例を示す説明図である。 図5(A)でのエッジカウントを説明するグラフである。 略横断方向の線でクラスタを分割する処理の開始時点に対応したフレーム画像をブロック境界線とともに示す図である。 移動物体IDのオブジェクトマップに、図8中の移動物体を重ね合わせ、且つ、クラスタの境界を太線で示した図であって、図2のステップS0の説明図ある。 (A)は図2のステップS4の説明図であり、(B)はこのステップS4の処理終了に応答して図1中の移動物体追跡部で行われる処理の説明図である。 図2のステップS4で用いられるエッジ間隔列の参照パターンテーブル説明図である。 画像上で多数の移動物体が進路方向に重なっている場合にエッジ間隔を計測するための走査方向説明図である。
符号の説明
10 ビデオカメラ
20 画像上移動物体追跡装置
21 画像メモリ
22 背景画像生成部
23 ID生成/消滅部
24 オブジェクトマップ記憶部
25 移動物体追跡部
26 クラスタ分割線決定部
27 代表点追跡部
IN 入力装置
OUT 表示装置
30、30A フレーム画像
31A、31B 入口スリット
31A1、341 後端
32A、32B 出口スリット
33、33A IDオブジェクトマップ
34、34A クラスタ

Claims (8)

  1. (a)記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
    (b)隣り合う移動物体のブロックに同一の移動物体IDを付与して移動物体ID分布のマップを該記憶手段内に作成し、
    (c)該マップ上の同一移動物体IDの領域であるクラスタが内接する矩形の1辺の長さを計測し、
    (d)該1辺の長さが第1設定値を超えているか否かを判定し、
    (e)ステップ(d)で肯定判定した場合には、該マップ上の同一移動物体IDの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
    (f)該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体IDを付与する、
    ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第1軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該1辺は該第1軸方向と直角な第2軸と平行であり、
    ステップ(e)では、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第2軸に沿った、該クラスタ領域内の両端部を除く所定ピッチの各計測点について、該第1軸に沿った画素濃度が閾値以上となるピークをエッジとしてカウントし、該第2軸に沿ったエッジ数の数列の階差の絶対値の最大値を求め、該最大値に対応した該第2軸上の2計測点の間の、該第1軸と平行なブロック境界線を通る直線で該分割を行う、
    ことを特徴とする画像上重畳移動物体分割方法。
  2. (a)記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
    (b)隣り合う移動物体のブロックに同一の移動物体IDを付与して移動物体ID分布のマップを該記憶手段内に作成し、
    (c)該マップ上の同一移動物体IDの領域であるクラスタが内接する矩形の1辺の長さを計測し、
    (d)該1辺の長さが第1設定値を超えているか否かを判定し、
    (e)ステップ(d)で肯定判定した場合には、該マップ上の同一移動物体IDの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
    (f)該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体IDを付与する、
    ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第1軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該1辺は該第1軸方向と直角な第2軸と平行であり、
    ステップ(e)では、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第2軸に沿った、該クラスタ領域内の両端部を除く所定ピッチの各計測点について、該第1軸に沿った画素濃度が閾値以上となるピークをエッジとして検出し、エッジ間距離最大値を求め、該第2軸に沿った該最大値の数列の階差の絶対値の最大値に対応した該第2軸上の2計測点の間の、該第1軸と平行なブロック境界線を通る直線で該分割を行う、
    ことを特徴とする画像上重畳移動物体分割方法。
  3. (a)記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
    (b)隣り合う移動物体のブロックに同一の移動物体IDを付与して移動物体ID分布のマップを該記憶手段内に作成し、
    (c)該マップ上の同一移動物体IDの領域であるクラスタが内接する矩形の1辺の長さを計測し、
    (d)該1辺の長さが第1設定値を超えているか否かを判定し、
    (e)ステップ(d)で肯定判定した場合には、該マップ上の同一移動物体IDの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
    (f)該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体IDを付与する、
    ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第1軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該1辺は該第1軸と平行であり、
    ステップ(e)では、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第1軸方向と直角な第2軸上の該クラスタ領域の中央点を通り該第1軸と平行な直線に沿った画素濃度が閾値以上となるピークをエッジとして検出し、エッジ間距離の数列のそれぞれの数値が、該記憶手段に予め格納されている参照範囲の数列の対応する参照範囲に含まれていれば、該数列の一端に対応する端のエッジを通り該第1軸と直角な直線に最も近いブロック境界線で該分割を行う、
    ことを特徴とする画像上重畳移動物体分割方法。
  4. ステップ(c)のエッジ間距離は、フレーム画像上のエッジ間隔をその位置に応じて幾何学的に定まる縮尺率で除した値であることを特徴とする請求項3に記載の画像上重畳移動物体分割方法。
  5. 記憶手段と、データ処理手段とを備え、該データ処理手段は、
    (a)記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
    (b)隣り合う移動物体のブロックに同一の移動物体IDを付与して移動物体ID分布のマップを該記憶手段内に作成し、
    (c)該マップ上の同一移動物体IDの領域であるクラスタが内接する矩形の1辺の長さを計測し、
    (d)該1辺の長さが第1設定値を超えているか否かを判定し、
    (e)ステップ(d)で肯定判定した場合には、該マップ上の同一移動物体IDの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
    (f)該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体IDを付与する、
    ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第1軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該1辺は該第1軸方向と直角な第2軸と平行であり、
    該データ処理手段はステップ(e)において、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第2軸に沿った、該クラスタ領域内の両端部を除く所定ピッチの各計測点について、該第1軸に沿った画素濃度が閾値以上となるピークをエッジとしてカウントし、該第2軸に沿ったエッジ数の数列の階差の絶対値の最大値を求め、該最大値に対応した該第2軸上の2計測点の間の、該第1軸と平行なブロック境界線を通る直線で該分割を行う、
    ことを特徴とする画像上重畳移動物体分割装置。
  6. 記憶手段と、データ処理手段とを備え、該データ処理手段は、
    (a)記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
    (b)隣り合う移動物体のブロックに同一の移動物体IDを付与して移動物体ID分布のマップを該記憶手段内に作成し、
    (c)該マップ上の同一移動物体IDの領域であるクラスタが内接する矩形の1辺の長さを計測し、
    (d)該1辺の長さが第1設定値を超えているか否かを判定し、
    (e)ステップ(d)で肯定判定した場合には、該マップ上の同一移動物体IDの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
    (f)該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体IDを付与する、
    ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第1軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該1辺は該第1軸方向と直角な第2軸と平行であり、
    該データ処理手段はステップ(e)において、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第2軸に沿った、該クラスタ領域内の両端部を除く所定ピッチの各計測点について、該第1軸に沿った画素濃度が閾値以上となるピークをエッジとして検出し、エッジ間距離最大値を求め、該第2軸に沿った該最大値の数列の階差の絶対値の最大値に対応した該第2軸上の2計測点の間の、該第1軸と平行なブロック境界線を通る直線で該分割を行う、
    ことを特徴とする画像上重畳移動物体分割装置。
  7. 記憶手段と、データ処理手段とを備え、該データ処理手段は、
    (a)記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
    (b)隣り合う移動物体のブロックに同一の移動物体IDを付与して移動物体ID分布のマップを該記憶手段内に作成し、
    (c)該マップ上の同一移動物体IDの領域であるクラスタが内接する矩形の1辺の長さを計測し、
    (d)該1辺の長さが第1設定値を超えているか否かを判定し、
    (e)ステップ(d)で肯定判定した場合には、該マップ上の同一移動物体IDの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
    (f)該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体IDを付与する、
    ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第1軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該1辺は該第1軸と平行であり、
    該データ処理手段はステップ(e)において、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第1軸方向と直角な第2軸上の該クラスタ領域の中央点を通り該第1軸と平行な直線に沿った画素濃度が閾値以上となるピークをエッジとして検出し、エッジ間距離の数列のそれぞれの数値が、該記憶手段に予め格納されている参照範囲の数列の対応する参照範囲に含まれていれば、該数列の一端に対応する端のエッジを通り該第1軸と直角な直線に最も近いブロック境界線で該分割を行う、
    ことを特徴とする画像上重畳移動物体分割装置。
  8. ステップ(c)のエッジ間距離は、フレーム画像上のエッジ間隔をその位置に応じて幾何学的に定まる縮尺率で除した値であることを特徴とする請求項7に記載の画像上重畳移動物体分割装置。
JP2006005447A 2006-01-12 2006-01-12 画像上重畳移動物体分割方法及び装置 Active JP4714872B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006005447A JP4714872B2 (ja) 2006-01-12 2006-01-12 画像上重畳移動物体分割方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006005447A JP4714872B2 (ja) 2006-01-12 2006-01-12 画像上重畳移動物体分割方法及び装置

Publications (2)

Publication Number Publication Date
JP2007188268A JP2007188268A (ja) 2007-07-26
JP4714872B2 true JP4714872B2 (ja) 2011-06-29

Family

ID=38343401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006005447A Active JP4714872B2 (ja) 2006-01-12 2006-01-12 画像上重畳移動物体分割方法及び装置

Country Status (1)

Country Link
JP (1) JP4714872B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5884759B2 (ja) * 2013-03-22 2016-03-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6110174B2 (ja) * 2013-03-26 2017-04-05 株式会社メガチップス 画像検出装置及び制御プログラム並びに画像検出方法
CN113642453A (zh) * 2021-08-11 2021-11-12 北京京东乾石科技有限公司 障碍物的检测方法、装置和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221549A (ja) * 1995-02-09 1996-08-30 Oki Electric Ind Co Ltd 侵入物体認識装置
JP2001277369A (ja) * 2000-03-28 2001-10-09 Matsushita Electric Works Ltd 光造形機用データ作成方法及びその装置
JP2003263626A (ja) * 2002-03-07 2003-09-19 Fujitsu Ltd 画像における移動体追跡方法及び装置
JP2004038624A (ja) * 2002-07-04 2004-02-05 Nissan Motor Co Ltd 車両認識方法、車両認識装置及び車両認識用プログラム
JP2004207786A (ja) * 2002-12-20 2004-07-22 Foundation For The Promotion Of Industrial Science 画像における移動物体の追跡方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221549A (ja) * 1995-02-09 1996-08-30 Oki Electric Ind Co Ltd 侵入物体認識装置
JP2001277369A (ja) * 2000-03-28 2001-10-09 Matsushita Electric Works Ltd 光造形機用データ作成方法及びその装置
JP2003263626A (ja) * 2002-03-07 2003-09-19 Fujitsu Ltd 画像における移動体追跡方法及び装置
JP2004038624A (ja) * 2002-07-04 2004-02-05 Nissan Motor Co Ltd 車両認識方法、車両認識装置及び車両認識用プログラム
JP2004207786A (ja) * 2002-12-20 2004-07-22 Foundation For The Promotion Of Industrial Science 画像における移動物体の追跡方法及び装置

Also Published As

Publication number Publication date
JP2007188268A (ja) 2007-07-26

Similar Documents

Publication Publication Date Title
EP3576008B1 (en) Image based lane marking classification
JP4793324B2 (ja) 車両監視装置および車両監視方法
TWI448977B (zh) 基於視訊分析的物件計數方法與裝置
US11093762B2 (en) Method for validation of obstacle candidate
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
JP6226368B2 (ja) 車両監視装置、および車両監視方法
JP5799784B2 (ja) 道路形状推定装置及びプログラム
CN111798487B (zh) 目标跟踪方法、装置和计算机可读存储介质
TWI504858B (zh) A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium
CN111149131B (zh) 区划线识别装置
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
KR102522928B1 (ko) 차량의 이동 속도 추정 방법 및 장치
Meshram et al. Traffic surveillance by counting and classification of vehicles from video using image processing
KR20180033552A (ko) 화상 처리 장치 및 화상 처리 방법
Noh et al. Vision-based overhead front point recognition of vehicles for traffic safety analysis
JP2007188269A (ja) 画像上移動物体追跡方法及び装置
JP4714872B2 (ja) 画像上重畳移動物体分割方法及び装置
KR101723536B1 (ko) 도로에서의 차선 검출 방법 및 장치
JP2012150595A (ja) 一時停止線検出装置及びプログラム
JP4783898B2 (ja) 画像処理による交差点での異常事象検出方法
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
JPH10187974A (ja) 物流計測装置
JP4628712B2 (ja) 画像上移動物体認識方法及び装置
JP4573590B2 (ja) 画像処理による移動物体計測方法及び装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060123

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110301

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150