JP3750184B2 - 移動物体の抽出装置及び抽出方法 - Google Patents
移動物体の抽出装置及び抽出方法 Download PDFInfo
- Publication number
- JP3750184B2 JP3750184B2 JP08126396A JP8126396A JP3750184B2 JP 3750184 B2 JP3750184 B2 JP 3750184B2 JP 08126396 A JP08126396 A JP 08126396A JP 8126396 A JP8126396 A JP 8126396A JP 3750184 B2 JP3750184 B2 JP 3750184B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- contour model
- model
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤや赤外線カメラ等から得られる動画像からの複数移動物体の抽出装置に関する。
【０００２】
【従来の技術】
画像から対象物を抽出・追跡する技術としては、特にノイズなどの影響を受けにくい抽出・追跡技術として、情報処理Vol.30、No.9、pp.1047〜pp.1057等に記載されているＳＮＡＫＥＳが知られている。この技術によれば、抽出したい対象物の概略の輪郭をあらかじめ初期輪郭として与えてやれば、エッジなどの画像特徴に初期輪郭が引き寄せられて変形し、対象物の輪郭を抽出することができる。このＳＮＡＫＥＳによる移動物体の追跡は、動画像のあるフレームでの抽出結果の輪郭を次のフレームにおける初期輪郭として設定するだけであり、設定された輪郭は同様にエッジなどの画像特徴に引き寄せられ、移動した物体を抽出できる。ＳＮＡＫＥＳによる追跡法は、ＳＮＡＫＥＳ以前の追跡法で困難とされていた動画像の各フレームで独立に抽出された移動物体のフレーム間での対応付けが必要ないという利点を持ち、特開平5-12443の動物体の輪郭追跡方法や特開平5-242247の画像処理装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のようなＳＮＡＫＥＳでは、抽出・追跡したい物体について予めその数と概略の領域を指定しなければ、複数の物体を抽出・追跡できないという課題があった。したがって、物体の数や処理する画像の枚数が多い場合、この設定に対する処理負担が増大し、また、画像に含まれる対象物がいくつあるかを自動的に知りたいという、例えば、セキュリティシステムにおける侵入者数の検知や、空調制御における在室者数の検知等における要求に対応できないなどの問題を抱えていた。さらに、ＳＮＡＫＥＳに基づく従来の追跡装置では、複数物体を同時に追跡する場合、移動中にそれらの物体が交差すれば、おのおののＳＮＡＫＥＳは自分自身が追跡している物体以外にも引き寄せられ、正しく追跡することができない。また、途中で第３の物体が現れることに対しては考慮されておらず、人間が介在して新たに輪郭を追加しなければならなかった。
【０００４】
本発明は、かかる点に鑑み、抽出・追跡したい移動物体の数とその概略輪郭を予め与えることなしに、複数物体の追跡中にそれらが交差しても、誤りなく自動抽出・追跡できる移動物体の抽出・追跡装置を提供することを目的とする。
【０００５】
また本発明は、追跡の途中で新たな移動物体が出現しても人間が介在することなく自動的に抽出・追跡することができる移動物体の抽出・追跡装置を提供することを目的とする。
【０００６】
さらに本発明は、１種の画像では情報の欠落やノイズ等により正確な抽出・追跡ができない場合にも、熱画像や可視画像といった異種の画像情報を統合し、より正確に複数の移動物体の自動抽出・追跡ができる移動物体の抽出・追跡装置を提供することを目的とする。
【０００７】
また本発明は、移動物体毎に他の移動物体との交差回数を記録し、その大小により他の移動物体に対して不整合な動きをしている物体の検出を可能とし、例えば、空港、ホテルのロビー、コンビニエンスストア等で不審な動きをしている人物を抽出可能な移動物体の抽出・追跡装置を提供することを目的とする。
【０００８】
さらに本発明は、抽出・追跡の結果から移動物体の速度や、移動物体間の距離を算出することにより複数の移動物体が置かれている状況の認識を可能とし、例えば、高速道路等で車の動きを監視し、事故や渋滞、車間距離不保持などの危険な運転等を認識できる移動物体の抽出装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、時系列で入力される画像を少なくとも２枚連続して記憶する画像記憶部と、前記画像から動きの情報を検出する動き検出部と、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭候補点とその連結順序を記憶する輪郭モデル記憶部と、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形部と、前記輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部とを備えた移動物体の抽出装置である。
また、時系列で入力される画像を少なくとも２枚連続して記憶する画像記憶部と、前記画像から動きの情報を検出する動き検出部と、前記画像に含まれる少なくとも１つの移動物体を囲む輪郭モデルを記憶する輪郭モデル記憶部と、前記輪郭モデルを所定の規則にしたがって変形させる輪郭モデル変形部と、前記輪郭モデル変形部により収縮変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差の有無を判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデル相互の接触または交差の有無を判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差が検知された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部と、所定の条件を満たす前記輪郭モデルの変形を停止させて移動物体の抽出完了と判定する抽出完了判定部と、前記抽出完了判定部により収縮変形を停止させられた前記輪郭モデルが囲む画像中の領域の特徴量を移動物体の特徴量として抽出し記憶する特徴量抽出記憶部と、異なる時刻の画像間で移動物体を対応付ける移動物体照合部とを備えたことを特徴とする移動物体の抽出装置である。
【００１０】
また本発明は、時系列で処理対象の画像が入力、又は更新される毎に新たに画像の枠と同じ大きさの輪郭モデルを１つ追加する輪郭モデル追加部を付加したことを特徴とする移動物体の抽出装置である。
【００１１】
また本発明は、時系列で同一視野で入力される可視画像および熱画像をそれぞれ少なくとも２枚づつ連続して記憶する異種画像記憶部と、前記可視画像および熱画像から動きの情報を検出する異種画像情報統合動き検出部と、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭候補点とその連結順序を記憶する輪郭モデル記憶部と、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形部と、前記輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部とを備えたことを特徴とする移動物体の抽出装置である。
また、時系列で同一視野で入力される可視画像および熱画像をそれぞれ少なくとも２枚づつ連続して記憶する異種画像記憶部と、前記可視画像および熱画像から動きの情報を検出する異種画像情報統合動き検出部と、前記画像に含まれる少なくとも１つの移動物体を囲む輪郭モデルを記憶する輪郭モデル記憶部と、前記輪郭モデルを所定の規則にしたがって変形させる輪郭モデル変形部と、前期輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部と、所定の条件を満たす前記輪郭モデルの変形を停止し移動物体の抽出完了と判定する抽出完了判定部と、前記抽出完了判定部により変形を停止された前記輪郭モデルが囲む前記可視画像および熱画像のおのおのの領域の特徴量を抽出・記憶する異種画像特徴量抽出記憶部と、前記異種画像特徴抽出記憶部に記憶されている異種画像からの複数の特徴量により異なる時刻の画像間で移動物体の対応付けを行う異種画像特徴量統合照合部とを備えたことを特徴とする移動物体の抽出装置である。
【００１２】
また本発明は、移動物体毎に相互交差の回数を記録する輪郭モデル別相互交差回数計数部と、前記輪郭モデル別相互交差回数計数部により数えられた相互交差回数が単位時間当り所定の回数以上である輪郭モデルが抽出・追跡している物体を他の移動物体に対して不整合な動きの物体と判定する不整合移動物体判定部を付加したことを特徴とする移動物体の抽出装置である。
【００１３】
また本発明は、時系列で得られる各画像における輪郭モデルの位置から移動物体の速度を算出する移動速度算出部と、異なる輪郭モデル間の距離を算出する輪郭モデル間距離算出部を付加したことを特徴とする移動物体の抽出装置である。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１５】
（実施の形態１）
図１は、第１の実施の形態を示す構成図である。図１において、１は移動物体を撮像するためのカメラ、２はカメラ１により時系列で撮像された画像をデジタル化し少なくとも２枚連続して記憶する画像記憶部、３は画像記憶部２に記憶されている時間的に連続した画像から動きの情報を検出する動き検出部、４は画像記憶部２に記憶されている画像中の移動物体の輪郭位置を探索する輪郭候補点とその連結順序を記憶する輪郭モデル記憶部、５は輪郭モデル記憶部４に記憶されている輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより輪郭モデルを変形する輪郭モデル変形部、６は輪郭モデル変形部５により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差の有無を判定する輪郭モデル自己交差判定部、７は輪郭モデル自己交差判定部６により接触または交差があると判定された場合に接触または交差部分でその輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部、８は輪郭モデル記憶部４に記憶されている複数の異なる輪郭モデル相互の接触または交差の有無を判定する輪郭モデル相互交差判定部、９は輪郭モデル相互交差判定部８により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部、１０は輪郭モデル記憶部４に記憶されている連結順序により互いに連結された２つの輪郭候補点間の距離が所定の範囲にあるときそれらの輪郭候補点の間に少なくとも１つの新規の輪郭候補点を追加し、前記連結順序により互いに連結された３つの輪郭候補点からなる連結された２線分のなす角が所定の範囲にあるとき前記２線分の連結点である輪郭候補点を削除する輪郭候補点生成・消滅部、１１は所定の数の前記輪郭候補点についてその移動により前記評価関数が減少しない場合に前記輪郭候補点の移動を停止させて前記輪郭モデルの変形を停止し移動物体の抽出完了と判定する抽出完了判定部、１２は抽出完了判定部１１により変形を停止させられた輪郭モデルが囲む画像中の領域の特徴量を移動物体の特徴量として抽出し記憶する特徴量抽出記憶部、異なる時刻の画像間で移動物体を対応付ける移動物体照合部である。また、１５は１〜１４の各部と接続され各部の動作の開始や停止あるいは各部間のデータのやりとりを制御する制御部で、ＲＯＭやＲＡＭなどのメモリとＣＰＵから構成されるコンピュータであって、各種のインタフェースを介することにより、図１に示すようなキーボードやマウスなどの入力装置１６およびＣＲＴなどの表示装置１７と接続されている。
【００１６】
次に本実施の形態の動作について説明する。図２は本実施の形態の移動物体の抽出・追跡装置の動作を示すフローチャートである。図３は本実施の形態の動作をより分かりやすく説明するための互いにすれ違う移動物体の画像の一部である。すなわち本発明は、このような画像から移動物体を抽出・追跡できるため、例えば、ビル内外のセキュリティにおける人物の監視システム等に応用できる。画像記憶部１は通常ＲＡＭで構成されており、デジタル化された画像の各画素データは、例えば、その輝度を８ビットで表すなどして記憶されている。以下に本実施の形態の動作手順を示す。
【００１７】
[STEP1a]画像の取り込み
カメラ１から時系列的に得られる映像をデジタル化して、画像IT,T=0,1,…として画像記憶部２に記憶する。以下、画像ITをT=0から順に処理する。
【００１８】
[STEP2a]初期輪郭の設置
T=0の時、画像記憶部２に記憶されている画像I0(x,y)中の移動物体すべてを包含する1つの多角形（輪郭モデル）を構成するNm個の点を、初期の輪郭候補点vmi(xmi(0),ymi(0))(i=1,2,…,Nm;m=1,2,…,m_max)として輪郭モデル記憶部４に記憶する。mは複数の輪郭モデルにつけられた番号を表し、最初はm_max=1である。またiは輪郭モデルを構成する輪郭候補点の連結順序を表す。輪郭モデル記憶部４は通常ＲＡＭで構成されている。なお、操作者が表示装置１６に表示された画像を見ながらキーボードやマウスなどの入力装置１５を操作して初期の輪郭候補点を入力して輪郭モデル記憶部４に記憶させてもよい。あるいは、画像の大きさにほぼ等しい長方形の辺をNm等分した点を初期の輪郭候補点としてあらかじめ輪郭モデル記憶部４に記憶させてもよい。
【００１９】
[STEP3a]動きの検出
動き検出部３により、画像記憶部２に記憶されている２枚の画像IT、IT+1から輪郭モデルの各輪郭候補点vmi(xmi,ymi)の位置における移動ベクトルを検出する。移動ベクトルは、例えば、勾配法に基づき最小２乗法により求めることができる。勾配法では、画像の輝度をIT(x,y)とすると、その時間・空間に関する偏微分と、画像中の点(x,y)における物体の見かけの速度(u,v)=(dx/dt,dy/dt)に関する次の拘束式を用いる。
【００２０】
【数１】
【００２１】
今、各輪郭候補点近傍の局所的な小領域で移動ベクトルが均一、すなわち、局所的な小領域Sで数１式の拘束式が同じ解を持つと仮定すれば、各輪郭候補点の位置における動きベクトルは次式を最小にする(u,v)として求められる。
【００２２】
【数２】
【００２３】
したがって、∂E/∂u=0, ∂E/∂v=0を満たす(u,v)を次式により求めればよい。ただし、(i,j)は点(x,y)の近傍領域S内の点の座標を表す。
【００２４】
【数３】
【００２５】
ただし、i,jはそれぞれ画像中の小領域Sに属する画素のx,y座標であり、Σは(i,j)∈Sについて算出する。また、Detは次式により計算される。
【００２６】
【数４】
【００２７】
[STEP4a]輪郭モデルの変形
輪郭モデル変形部５は、以下の式で表される各エネルギー項の和で定義される輪郭モデルのエネルギーEsnake(vmi)を最小にするように、輪郭モデル記憶部に記憶されている輪郭候補点を移動させることにより輪郭モデルを変形する。
【００２８】
1)輪郭モデルの滑らかさを表すEspline
【００２９】
【数５】
【００３０】
数５を最小にするような輪郭候補点の移動方向は、輪郭モデルが収縮するような方向である。
【００３１】
2)輪郭モデルの囲む閉領域の面積に相当するEarea
【００３２】
【数６】
【００３３】
ただし、xmNm+1=xm1,ymNm+1=ym1とする。数６を最小にするような輪郭候補点の移動方向は、輪郭モデルに対して垂直な方向である。Eareaを用いれば、くぼんだ形状の対象物の輪郭が抽出できる。
【００３４】
3)輪郭候補点間の距離を平均化するEdist
【００３５】
【数７】
【００３６】
ただし、davは輪郭候補点間の平均距離である。
4)画像の輝度IT(vmi)の勾配の大きさEedge
【００３７】
【数８】
【００３８】
数８を最小にするような輪郭候補点の移動方向は、輝度勾配の大きくなる方向、すなわち対象物の輪郭部分へ向かう方向である。ここで、数５〜９のwsp1,wsp2,warea,wdist,wedge>0は、それぞれ各エネルギー項の重み係数である。
【００３９】
具体的な輪郭モデルの変形は、例えば、輪郭候補点vmi(xmi(t),ymi(t))(i=1,2,…,Nm;m=1,2,…)を画素単位でその近傍の位置に移動させたときのエネルギーEsnake(vmi)が最小となる位置に1回移動させることにより行われる。t(i=0,1,…)は各点の移動回数を表し、輪郭候補点vmi(xmi,ymi)の近傍の位置は、例えば、vmi(xmi-1,ymi-1)、vmi(xmi-1,ymi)、vmi(xmi-1,ymi+1)、vmi(xmi,ymi-1)、vmi(xmi,ymi+1)、vmi(xmi+1,ymi-1)、vmi(xmi+1,ymi)、vmi(xmi+1,ymi+1)の８近傍を考えればよい。ただし、移動によりエネルギーEsnake(vmi)が増加する場合には移動させない。このとき、移動した輪郭候補点の数をCmoveに記憶する。
【００４０】
ここで、移動物体を抽出するので、各輪郭候補点の移動に際しては、STEP2aで求められた各輪郭候補点の位置での動きベクトルの絶対値が所定の値以下の時、画像の輝度IT(vmi)の勾配の大きさを表すエネルギーEedgeの重み係数wedgeを0とする。これにより動きのあるエッジにのみ輪郭モデルが引き寄せられ、移動物体を抽出できる。
【００４１】
[STEP5a]輪郭モデルの自己交差判定
輪郭モデル自己交差判定部６により、輪郭モデル上の異なる２線分vmkvmk+1と線分vmhvmh+1(k=1,2,…,Nm;h=1,2,…,Nm)のすべての組合せについて接触または交差を判定する。ただし、連結している２線分は除く。線分vmkvmk+1と線分vmhvmh+1が接触または交差するならば、次式を満たす実数p(0≦p≦1),q(0≦q≦1)が存在する。
【００４２】
【数９】
【００４３】
数９は、p,qに関する連立方程式であり、次式で計算される行列式detが0でないとき解を持つ。なお、det=0のとき、線分vmkvmk+1と線分vmhvmh+1が一致する場合があるため、この場合の交差は、行列式detの計算前にこの一致を判定しておく。
【００４４】
【数１０】
【００４５】
det≠0のとき次式により算出されるp,qが、それぞれ0≦p≦1,0≦q≦1を満たすとき、輪郭モデルは、線分vmkvmk+1と線分vmhvmh+1の交点(p,q)で自己交差または接触したと判定しSTEP6aを実行、それ以外はSTEP7aを実行する。
【００４６】
【数１１】
【００４７】
[STEP6a]輪郭モデルの分裂
輪郭モデル自己交差判定部６により自己交差があると判定された輪郭モデルに対し、輪郭モデル分裂部７はその輪郭モデルを複数に分裂させ、STEP2aへ戻る。自己交差した輪郭モデルは、交点を持つ線分を構成する輪郭候補点で分裂させる。輪郭モデルのエネルギーとしてEareaを用いた場合に起こる典型的な輪郭モデルの自己交差の例を図４に示す。図４に示すように、自己交差した輪郭モデルは、輪郭候補点vmkとvmh+1、vmhとvmk+1とをそれぞれ連結することにより2つに分裂される。これにより、連結順序が{vm1,…,vmk,vmh+1,…,vmn}と{vmk+1,…,vmh}である輪郭候補点の組が、それぞれ新たに分裂し独立した輪郭モデルとなる。これらの新たに独立した輪郭モデルは、輪郭モデル記憶部４に記憶される。また、分裂により輪郭モデルの数が増加するので、その数m_maxの値を更新する。
【００４８】
[STEP7a]輪郭モデルの相互交差判定
輪郭モデル相互交差判定部８により、異なる２つの輪郭モデルvfkとvgh(f=1,2,…,m_max;k=1,2,…,Nf;g=1,2,…,m_max;h=1,2,…,Ng;f≠g)のすべての組合せについて相互の接触または交差を判定する。具体的には、輪郭モデルvfkを構成する線分vfkvfk+1と輪郭モデルvghを構成する線分vghvgh+1のすべての組合せについて接触または交差を判定する。異なる２つの輪郭モデルvfkとvghの相互接触または相互交差、すなわち線分vfkvfk+1と線分vghvgh+1が接触または交差しているならば、次式を満たす実数p(0≦p≦1),q(0≦q≦1)が存在する。
【００４９】
【数１２】
【００５０】
数１２は、p,qに関する連立方程式であり、次式で計算される行列式detが0でないとき解を持つ。なお、det=0のとき、線分vfkvfk+1と線分vghvgh+1が一致する場合があるため、この場合の交差は、行列式detの計算前にこの一致を判定しておく。
【００５１】
【数１３】
【００５２】
det≠0のとき次式により算出されるp,qが、それぞれ0≦p≦1,0≦q≦1を満たすとき、２つの異なる輪郭モデルは、線分vfkvfk+1と線分vghvgh+1の交点(p,q)で相互に接触または交差したと判定しSTEP8aを実行、それ以外はSTEP9aを実行する。
【００５３】
【数１４】
【００５４】
[STEP8a]輪郭モデルの統合
輪郭モデル相互交差判定部８により相互に接触または交差していると判定された少なくとも２つの輪郭モデルをについて、輪郭モデル統合部９により、それらを構成するすべての輪郭候補点を包含する凸多角形を求め、その凸多角形を構成する輪郭候補点の組を統合された輪郭モデルとして輪郭モデル記憶部４に記憶する。また、統合により輪郭モデルの数が減少するので、その数m_maxの値を更新する。図５は、異なる２つの輪郭モデルに起こる典型的な相互交差と、それらを１つに統合した輪郭モデルを示している。
【００５５】
[STEP9a]輪郭候補点の生成・消滅判定
輪郭候補点生成・消滅部１０により、新たな輪郭候補点の生成・消滅を行う。例えば、次のような場合に輪郭候補点の生成を行う。輪郭候補点生成・消滅部１０は、隣接する輪郭候補点間の距離が|vmi+1-vmi|>DThを満たすとき、2点vmi,vmi+1間に新たに離散点を生成する。ただし、DThはあらかじめ定められた輪郭候補点間の最大距離である。このとき、輪郭候補点を１つでも生成すればGflag=1、生成しなければGflag=0とする。この輪郭候補点の追加生成により、分裂により減少する対象物１つあたりの輪郭候補点の数を補って、複数対象物の輪郭を正しく抽出することができる。
【００５６】
また、輪郭候補点生成・消滅部１０は、例えば、cosθ>θTh（θはvmivmi-1とvmivmi+1のなす角）を満たす輪郭候補点vmiを消滅させる。ただし、θThはあらかじめ定められた輪郭モデルの尖りを判定するしきい値である。このとき輪郭候補点が１つでも消滅すればDflag=1、消滅しなければDflag=0とする。この輪郭候補点の消滅手順により、対象物の輪郭以外の位置でノイズの影響などにより停止している輪郭候補点が削除され、誤った輪郭抽出を避けることができる。
【００５７】
[STEP10a]抽出完了判定
抽出完了判定部１１により、画像ITにおける移動物体の抽出完了を判定する。すべての輪郭モデルについて、輪郭候補点に移動がなく（Cmove≦CTh;CTh≧0はあらかじめ定められた移動した輪郭候補点の個数に対するしきい値）かつ新たな輪郭候補点の生成・消滅がないとき（Gflag=0かつDflag=0）、あるいはt≧tmax（tmaxはあらかじめ定められた輪郭候補点の移動回数の最大値）のとき、画像ITでの移動物体の抽出が完了したと判定しSTEP11aへ。それ以外はT=T+1としてSTEP3aへ戻る。なお、抽出が完了した際、異なる輪郭モデルに異なる色をつけて表示部１６に表示すれば、例えば監視システム等においては、異なる移動物体の視認性が向上する。
【００５８】
[STEP11a]移動物体の特徴量抽出
特徴量抽出記憶部１２により、輪郭モデルvmi（m=1,2,…,m_max）が囲む画像ITの領域の特徴量を移動物体の特徴量として抽出する。例えば、輝度のヒストグラムの累積分布Hm(k)（8bitの場合k=0,1,…,255）が特徴量として利用できる。T=0のとき、特徴量Hm(k)を特徴量抽出記憶部１２にHl(k)（l=1,2,…,l_max；l_maxは特徴量が記憶されている移動物体の数）として記憶し、T=T+1としてSTEP3aへ戻る。T>0のとき特徴量Hm(k)を抽出しSTEP12aへ。
【００５９】
[STEP12a]移動物体の照合
移動物体照合部１３により、現在（T=T_present）の処理対象の画像IT_present(T_present>0)で抽出された移動物体が、特徴量抽出記憶部１２に記憶されている過去（T=T_past;T_past<T_present）に抽出されたどの移動物体であるかを、特徴量の類似度（ヒストグラム間の距離d）により照合する。具体的には、次式で表されるヒストグラム間の距離dをmとlのすべての組合せについて求め、その値があらかじめ定められたしきい値Dmatch以下のものについて、最小値を持つ組合せから順に、輪郭モデルvmiが抽出している特徴量Hm(k)の移動物体と、特徴量抽出記憶部１２に記憶されている特徴量Hl(k)を持つ移動物体とを対応付ける。
【００６０】
【数１５】
【００６１】
ここで、抽出された領域の大きさによりヒストグラムの度数が異なるので、最大度数で正規化しておく。さらに、対応付けられた移動物体については、特徴量抽出記憶部１２に記憶されている特徴量Hl(k)を、輪郭モデルvmiが抽出している特徴量Hm(k)で置き換える。また、対応の付かなかった移動物体については、その特徴量を新たに特徴量抽出記憶部１２に記憶する。移動物体の照合が終われば、T=T+1としてSTEP3aへ戻る。
【００６２】
なお、対応付けは必ずしもすべての輪郭モデルと特徴量抽出記憶部１２に記憶されているすべての移動物体について行う必要はなく、例えば、一旦融合した輪郭モデルについては再び分裂したときに行えばよい。また、特徴量抽出記憶部１２には、特徴量と共にその移動物体を抽出した輪郭モデルの色も記憶しておけば、対応のついた移動物体を抽出している輪郭モデルの色を記憶されている色で表示部１６に表示でき、同一移動物体の抽出・追跡の視認性が向上する。
【００６３】
以上の手順によれば、図６に示すように、移動物体（ここでは歩行者）の集合全体を包含した１つの輪郭モデル（図６(a)）が、２つに分裂して２人の歩行者それぞれを抽出・追跡し（図６(b)〜(d)）、２人の歩行者が重なる（図６(e)）と同時に、２つの輪郭モデルが１つに統合して（図６(f)）さらに追跡を続け（図６(g)）、やがて２人の歩行者がすれ違い離れると１つの輪郭モデルも再び２つに分裂し、２人の歩行者を独立に抽出・追跡することができる（図６(h)〜(i)）。
【００６４】
以上説明したように、第１の実施の形態によれば、輪郭モデルの自己交差および相互交差を判定して輪郭モデルを分裂および統合させることにより、複数の移動物体がすれ違う場合にも抽出・追跡することができる。
【００６５】
（実施の形態２）
次に本発明の移動物体の抽出・追跡装置に係る第２の実施の形態について説明する。第１の実施の形態では、輪郭モデルの自己交差および相互交差を判定して輪郭モデルを分裂および統合させることにより、複数移動物体がすれ違う場合にも抽出・追跡できることを説明した。第２の実施の形態は、最初カメラの画角内に存在しなかった他の移動物体が途中でカメラの画角内に新たに入ってくる場合にも、その移動物体を抽出・追跡できるように考慮したものである。第１の実施の形態では、カメラの画角内には常に同じ移動物体がある場合を例として説明したが、ビルやプラント内外の監視システム等においては、次々に画角内に入ってくる移動物体を抽出・追跡することが必要である。
【００６６】
図７は第２の実施の形態の構成図であり、図１に示した第１の実施の形態と同じ構成部分には同一番号を付して詳細な説明は省略する。第２の実施の形態と第１の実施の形態の相違点は、第１の実施の形態に、画像記憶部２に次の時刻の画像が記憶される毎に、画像の枠と同じ大きさの輪郭モデルを新たに１つ追加しその輪郭モデル追加部１７を付加したことである。これにより、次々に新しく画角内に入ってくる移動物体を抽出・追跡することが可能となる。
【００６７】
以上のように構成された第２の実施の形態の輪郭抽出装置の動作を、図８のフローチャートを参照しながら説明する。ただし、第２の実施の形態のSTEP1b〜STEP2b、STEP4b、STEP6b〜STEP7bおよびSTEP9b〜STEP13bは、それぞれ第１の実施の形態のSTEP1a〜STEP2a、STEP3a、STEP5a〜STEP6aおよびSTEP8a〜STEP12aと全く同様の手順であるため、異なるSTEP3b、STEP5bおよびSTEP8bのみを説明する。
【００６８】
[STEP3b]輪郭モデルの追加
輪郭モデル追加部１５は、T>0の時、画像記憶部２に記憶されている画像IT(x,y)の大きさにほぼ等しい長方形状の輪郭モデルを、新たに輪郭モデル記憶部４に記憶する。このとき輪郭モデルの数をm_max=m_max+1と更新する。
【００６９】
[STEP5b]輪郭モデルの変形
輪郭モデル変形部５により輪郭モデルを変形する際、新たに追加された輪郭モデルの輪郭候補点が、既存の輪郭モデルモデル内にある時、画像の輝度IT(vmi)の勾配の大きさを表すエネルギーEedgeの重み係数wedgeを0とする。これにより、新たに追加された輪郭モデルが、既存の輪郭モデルがすでに抽出している移動物体を再度抽出することがない。なお、新たに追加された輪郭モデルが自己交差により分裂した輪郭モデルについても同様の処理を行う。
【００７０】
[STEP8b]輪郭モデルの相互交差判定
輪郭モデル相互交差判定部７により、異なる２つの輪郭モデルの相互の接触または交差を判定する際、新たに追加された輪郭モデルおよびその輪郭モデルの分裂によって新たに生じた輪郭モデルとの相互交差判定は行わない。これにより、既存の輪郭モデルが抽出している移動物体を再び抽出しなおすことがなくなる。
【００７１】
以上の手順によれば、図９に示すように、新たな移動物体が出現した場合には新たに追加した輪郭モデルが（図９(b)）、既存の輪郭モデルが抽出している移動物体を再度抽出することなく（図9(c)）新たに出現した移動物体のみを抽出することができる（図９(d)）。
【００７２】
以上説明したように、第２の実施の形態によれば、新しい画像を入力する毎に、画像の大きさに相当する輪郭モデルを新たに１つ追加し、既存の輪郭モデルとは相互交差の判定を行わず、かつ既存の輪郭モデルが囲む領域内のエッジには引き寄せられないようにしたため、既存の移動物体を再度抽出することなく、新たに出現した移動物体を抽出・追跡することができる。
【００７３】
（実施の形態３）
次に本発明の輪郭抽出装置に係る第３の実施の形態について説明する。第１、第２の実施の形態では、１種類の画像を利用して、複数移動物体の抽出・追跡ができることを説明した。さらに第３の実施の形態は、１種類の画像では情報の欠落やノイズ等により正確な抽出・追跡ができない場合に、熱画像や可視画像等の異種の画像情報を統合し、より正確な複数の移動物体の抽出・追跡を考慮したものである。
【００７４】
図１０は本実施の形態の構成図であり、図１に示した第１の実施の形態と同じ構成部分には同一番号を付して詳細な説明は省略する。第３の実施の形態と第１の実施の形態との相違点は、第１の実施の形態に、可視画像と同一視野の熱画像を撮像するための赤外線カメラ１８、ハーフミラー１９およびミラー２０を付加し、さらに第１の実施の形態における画像記憶部２を熱画像と可視画像の異種の画像情報を記憶する異種画像記憶部２１で置き換え、同動き検出部３を、赤外線カメラの熱画像とＣＣＤカメラの可視画像から動きの情報を検出する異種画像情報統合動き検出部２２で置き換え、同特徴抽出・記憶部１２を熱画像と可視画像おのおのから輪郭モデルの囲む領域の特徴量を抽出・記憶する異種画像特徴抽出・記憶部２３で置き換え、同移動物体照合部１３を、異種画像特徴抽出・記憶部２３に記憶されている異種画像からの複数の特徴量により移動物体の対応付けを行う異種画像特徴量統合照合部２４で置き換えたことである。
【００７５】
以上のように構成された第３の実施の形態の輪郭抽出装置の動作を、図１１のフローチャートを参照しながら説明する。ただし、第１の実施の形態とは異なるSTEP1c、STEP3c、STEP4c、STEP11cおよびSTEP12cのみを説明する。
【００７６】
[STEP1c]画像の取り込み
カメラ１および赤外線カメラ１８から時系列的に得られる映像をデジタル化して、それぞれ可視画像IT CCDおよび熱画像IT TH,T=0,1,…として異種画像記憶部２１に記憶する。以下、画像をIT CCDおよび熱画像IT THをT=0から順に処理する。
【００７７】
[STEP3c]動きの検出
異種画像情報統合動き検出部２２により、異種画像記憶部２１に記憶されている可視画像IT CCD、IT+1 CCDおよび熱画像IT TH、IT+1 THの４枚の画像情報を統合して各輪郭候補点vmi(xmi,ymi)の位置における移動ベクトルを検出する。（数１）に示した勾配法の拘束式は、可視画像IT CCDおよび熱画像IT THのそれぞれについて成り立つので、一般に画像中の点(x,y)における移動ベクトル(u,v)は、次の連立方程式を解くことにより求めることができる。
【００７８】
【数１６】
【００７９】
ただし、
【００８０】
【数１７】
【００８１】
とする。
しかし、ここでは、各輪郭候補点vmi(xmi,ymi)近傍の、可視画像および熱画像について同一の局所的な小領域S（(x,y)∈S）で移動ベクトルが均一、すなわち、可視画像および熱画像について同一の局所的な小領域Sで（数１６）の拘束式がじ解を持つと仮定し、最小２乗法により求める。これにより、ノイズの影響の低減および各画像単独では写っていない情報を補って、より正確に移動ベクトルを算出することができる。
【００８２】
[STEP4c]輪郭モデルの変形
輪郭モデル変形部５では、輪郭モデルのエネルギーEsnake(vmi)を最小にするように輪郭モデルを変形するが、新たなエネルギーとして可視画像の輝度勾配に加え、次式の熱画像の輝度勾配を加える。
【００８３】
【数１８】
【００８４】
数１８を最小にするような輪郭候補点の移動方向は、熱画像におけるエッジへ向かう方向である。ここで、wedge TH>0は、このエネルギー項の重み係数である。このエネルギーの導入により、例えば、可視画像では存在しない白い壁の前にいる白い服を着た人物の輪郭も、熱画像中にはその輪郭が現れるので抽出することができる。
【００８５】
[STEP11c]移動物体の特徴量抽出
異種画像特徴量抽出記憶部２３により、輪郭モデルvmi（m=1,2,…,m_max）が囲む可視画像IT CCDおよび熱画像IT THの領域の特徴量をそれぞれ移動物体の特徴量として抽出する。特徴量としては、例えば、輝度および温度のヒストグラムの累積分布が利用できる。
【００８６】
[STEP12c]移動物体の照合
異種情報統合移動物体照合部２４により、例えば、輝度および温度のヒストグラムの累積分布などの異種の特徴量を統合して移動物体の対応付けを行う。複数の異種の特徴量の統合は、例えば、信学技報PRU94-131(1995-03)pp.9-16に記載されているDempster-Shafer理論に基づく方法により行うことができる。本実施の形態では、可視画像および熱画像それぞれから抽出された特徴量の類似度から、どの移動物体であるかの確信度を求めてそれらを統合し、確信度が最大となる移動物体同士を対応付ければよい。ここでは、輪郭モデルvmiが抽出している移動物体が、特徴量抽出記憶部１２に特徴量が記憶されているl_max個の移動物体wl（ｌ=1,2,…,l_max)のいずれであるかの照合の手順を説明する。
【００８７】
今、輪郭モデルvmiが抽出している移動物体について、可視および熱画像から特徴量として抽出した輝度および温度のヒストグラムをそれぞれHm CCDおよびHm TH、特徴量抽出記憶部１２に記憶されている移動物体wlについての熱および可視画像から抽出した特徴量をそれぞれHl CCDおよびHl THとし、輪郭モデルvmiが抽出した移動物体と移動物体wlについて、その特徴量の類似度SCCD(wl)およびSTH(wl)をそれぞれ以下の式で与える。
【００８８】
【数１９】
【００８９】
ただし、類似度は、α1≧α2≧…≧αl_max、β1≧β2≧…≧βl_maxのように並べ変えておく。このとき、可視および熱画像から抽出された各特徴量について、輪郭モデルvmiにより抽出された移動物体が、どの移動物体wl（の集合Ａ）である（に含まれる）かの確信度（基本確率）は次の数２０、２１により表される。
【００９０】
【数２０】
【００９１】
【数２１】
【００９２】
これらの異種の特徴量から求められた確信度（基本確率）を次式により統合する。
【００９３】
【数２２】
【００９４】
（数２２）の統合された基本確率mCCD_TH(Ａ) から次式により算出される決定確率Ｐ(wl)が最大の移動物体を、輪郭モデルvmiが抽出した移動物体と判定する。
【００９５】
【数２３】
【００９６】
｜Ａ｜はＡの要素数を表す。
以上説明したように、第３の実施の形態によれば、可視画像だけでなく熱画像の情報を統合して移動ベクトルを算出、輪郭モデルの変形、さらにはそれらの画像から抽出される複数の特徴量を用いた移動物体の照合を行うので、より正確に人物などの移動物体を抽出・追跡することができる。
【００９７】
（実施の形態４）
次に、本発明の輪郭抽出装置の第４の実施の形態について説明する。第１〜第３の実施の形態では、ＣＣＤカメラなどから得られる画像からの複数移動物体を抽出・追跡について説明した。さらに第４の実施の形態は、抽出・追跡している移動物体毎に他の移動物体との交差回数を記録し、その大小により他の移動物体に対して不整合な動きをしている移動物体の検出を可能とし、例えば、空港、ホテルのロビー、コンビニエンスストア等で不審な動きをしている人物を抽出することを考慮したものである。
【００９８】
図１２は第４の実施の形態の構成図であり、図１に示した第１の実施の形態と同じ構成部分には同一番号を付して詳細な説明は省略する。第４の実施の形態と第１の実施の形態との相違点は、移動物体毎に毎に相互交差の回数を記録する移動物体別相互交差回数記憶部２５と、移動物体別相互交差回数記憶部２５により数えられた相互交差回数が単位時間当り所定の回数以上である輪郭モデルが抽出・追跡している物体を他の移動物体に対して不整合な動きの物体と判定する不整合移動物体判定部２６を付加したことである。
【００９９】
以上のように構成された第４の実施の形態の輪郭抽出装置の動作を、図１３のフローチャートを参照しながら説明する。ただし、第１の実施の形態と異なるSTEP8dおよびSTEP14dのみを説明する。
【０１００】
[STEP8d]輪郭モデルの相互交差判定および交差回数の記憶
輪郭モデル相互交差判定部７により、輪郭モデル記憶部４に記憶されている異なる２つの輪郭モデルvfkとvgh(f=1,2,…,m_max;k=1,2,…,Nf;g=1,2,…,m_max;h=1,2,…,Ng;f≠g)のすべての組合せについて相互の接触または交差を判定し、接触または交差があった場合、特徴量抽出記憶部１２に記憶されている移動物体毎にその回数を移動物体別相互交差回数記憶部２５に記憶する。
【０１０１】
[STEP14d]不整合移動物体の判定
不整合移動物体判定部２６は、移動物体別相互交差回数記憶部２５に記憶されている相互交差回数が、あらかじめ定められた単位時間当りの相互交差回数のしきい値以上の移動物体を、その他の移動物体とは不整合な異なる動きをしている物体として判定する。なお、不整合な動きをしている物体を抽出している輪郭モデルに対して、その他の輪郭モデルとは異なる色をつけて表示部１６に表示すれば、例えば監視システム等においては、不審人物等の視認性が向上する。
【０１０２】
以上説明したように、第４の実施の形態によれば、抽出・追跡している移動物体毎に他の移動物体との交差回数を記録することにより、交差回数の大小により他の移動物体に対して不整合な動きをしている移動物体の検出が可能となる。
【０１０３】
（実施の形態５）
次に、本発明の輪郭抽出装置の第５の実施の形態について説明する。第１〜第４の実施の形態では、ＣＣＤカメラ等から得られる画像から移動物体を抽出・追跡でき、また不審な動きなど移動物体に関するおおまかな情報が得られることを説明した。さらに第５の実施の形態は、抽出・追跡の結果から移動物体の速度や、移動物体間の距離を算出することにより複数の移動物体が置かれている状況が認識でき、例えば、高速道路等で車の動きを監視し、事故や渋滞、車間距離不保持などの危険な運転等を認識し、運転者や管制局にそれら情報を伝えることができるようなシステムの実現を考慮したものである。
【０１０４】
図１４は第５の実施の形態の構成図であり、図１に示した第１の実施の形態と同じ構成部分には同一番号を付して詳細な説明は省略する。第５の実施の形態と第１の実施の形態との相違点は、輪郭モデル記憶部４に記憶されている異なる輪郭モデル間の距離を算出する輪郭モデル間距離算出部２７と、移動物体毎に時系列の各画像における輪郭モデルの位置から移動物体の速度を算出する移動速度算出部２８とを付加したことである。
【０１０５】
以上のように構成された第５の実施の形態の移動物体の抽出・追跡装置の動作を、図１５のフローチャートを参照しながら説明する。ただし、第１の実施の形態と異なるSTEP1e、STEP11e、STEP14eのみを説明する。
【０１０６】
[STEP1e]画像の取り込み
高速道路上等の車に関して、カメラ１から時系列的に得られる映像をデジタル化して画像記憶部２に記憶する。
【０１０７】
[STEP11e]輪郭モデル間距離の算出
抽出完了判定部１１により変形が停止されたのち、輪郭モデル記憶部４に記憶されている異なる輪郭モデル間同士の距離を、輪郭モデル間距離算出部により算出する。輪郭モデル間同士の距離は、異なる輪郭モデルを構成する輪郭候補点間の距離の最小値とする。制御部１４は、この距離があらかじめ定められたしきい値よりも小さいとき、車間距離が短いと判断して、道路情報表示版２９に「車間距離あけろ」等のメッセージを表示する。
【０１０８】
[STEP14e]移動速度の算出
移動物体照合部１３により異なる時間に得られた画像間で対応付けられた移動物体毎に、例えば輪郭モデルの重心位置の単位時間当りの距離変化から各移動物体の移動速度を算出する。制御部１４は、適当な間隔で設置された複数台のカメラの映像から算出された移動速度が、すべて所定の値（例えば5km/h）以下の状態が、所定の時間（例えば１０分）続いていれば、道路上は渋滞であると判断する。
【０１０９】
なお、輪郭モデル相互交差判定部８により、異なる車を抽出している異なる輪郭モデル同士の接触または交差があると判定された場合、制御部１４により車同士の接触または追突事故、あるいは車間距離の不保持と判定できる。例えば、輪郭モデルに相互交差があった場合、カメラ１が車をほぼ真上からとらえている場合には、車同士の接触または追突事故があったと判断できる。このとき、後続の車に対しては、事故があったことを情報表示板２９に表示することにより、さらなる事故を防ぐことができる。また、カメラ１が斜め方向から車を捕らえている場合には、異なる輪郭モデルの相互交差は、車間距離が短いためにカメラ１からは複数の車が重なって見えるためにおこるので、このとき車間距離不保持の危険な運転であると判断でき、STEP11eと同様なメッセージを表示することができる。
【０１１０】
以上説明したように、第５の実施の形態によれば、異なる輪郭モデルの交差判定により車の接触または追突事故が、また、抽出・追跡の結果から移動物体間の距離や速度を算出することにより、例えば、車間距離不保持などの危険運転や渋滞等、高速道路などでの交通状況が認識できる。
第１の実施の形態によれば、輪郭モデルを自己交差部分で複数の輪郭モデルに分裂、または相互に交差した異なる輪郭モデル１つに統合することにより、複数の移動物体が交差するような場合にも、それらを正しく抽出することができる。
第２の実施の形態によれば、毎フレーム毎に画像の枠に相当する輪郭モデルを新たに１つ追加することにより、新たに画角内に侵入してくる第３の移動物体も抽出することができる。
第３の実施の形態によれば、熱画像と可視画像といった異種の画像情報を統合して、動きの推定や移動物体の照合を行うので、より正確に複数の移動物体を抽出することができる。
第４の実施の形態によれば、輪郭モデル別に相互交差の回数を数えることにより、その数が多い輪郭モデルが追跡している移動物体は、周囲の移動物体とは異なる動きをしていると判断できる。したがって、例えば空港、ホテルのロビー、コンビニエンスストア等で不審な動きをしている人物を抽出することができる。
第５の実施の形態によれば、高速道路やトンネルなどで車両を抽出・追跡し、異なる車両を追跡している輪郭モデル間の距離を算出したり相互交差を判定することにより、車間距離が接近した危険な状態を認識して情報表示版で警告することや衝突事故の認識でき、また、輪郭モデルの位置の時間変化により移動物体の速度算出し、移動速度とその維持時間から渋滞が認識できる。
【０１１１】
【発明の効果】
本発明によれば、輪郭モデルを自己交差部分で複数の輪郭モデルに分裂、または相互に交差した異なる輪郭モデル１つに統合することにより、複数の移動物体が交差するような場合にも、それらを正しく抽出することができる。
【図面の簡単な説明】
【図１】本発明第１の実施の形態のブロック図
【図２】本発明第１の実施の形態の動作手順を示すフローチャート
【図３】移動物体がすれ違う画像の一例を示す図
【図４】輪郭モデルの交差・分裂の一例を示す図
【図５】輪郭モデルの相互交差・統合の一例を示す図
【図６】第１の実施の形態による抽出結果を示す図
【図７】本発明第２の実施の形態のブロック図
【図８】本発明第２の実施の形態の動作手順を示すフローチャート
【図９】新たな移動物体の侵入に対する抽出結果を示す図
【図１０】本発明第３の実施の形態のブロック図
【図１１】本発明第３の実施の形態の動作手順を示すフローチャート
【図１２】本発明第４の実施の形態のブロック図
【図１３】本発明第４の実施の形態の動作手順を示すフローチャート
【図１４】本発明第５の実施の形態のブロック図
【図１５】本発明第５の実施の形態の動作手順を示すフローチャート
【符号の説明】
１ カメラ
２ 画像記憶部
３ 動き検出部
４ 輪郭モデル記憶部
５ 輪郭モデル変形部
６ 輪郭モデル自己交差判定部
７ 輪郭モデル分裂部
８ 輪郭モデル相互交差判定部
９ 輪郭モデル統合部
１０ 輪郭候補点生成・消滅部
１１ 抽出完了判定部
１２ 特徴量抽出記憶部
１３ 移動物体照合部
１４ 制御部
１５ 入力部
１６ 表示部
１７ 輪郭モデル追加部
１８ 赤外線カメラ
１９ ハーフミラー
２０ ミラー
２１ 異種画像記憶部
２２ 異種画像情報統合動き検出部
２３ 異種画像特徴量抽出記憶部
２４ 異種情報統合照合部
２５ 移動物体別相互交差回数記憶部
２６ 不整合移動物体判定部
２７ 輪郭モデル間距離算出部
２８ 移動速度算出部
２９ 道路情報表示板
【発明の属する技術分野】
本発明は、ＣＣＤや赤外線カメラ等から得られる動画像からの複数移動物体の抽出装置に関する。
【０００２】
【従来の技術】
画像から対象物を抽出・追跡する技術としては、特にノイズなどの影響を受けにくい抽出・追跡技術として、情報処理Vol.30、No.9、pp.1047〜pp.1057等に記載されているＳＮＡＫＥＳが知られている。この技術によれば、抽出したい対象物の概略の輪郭をあらかじめ初期輪郭として与えてやれば、エッジなどの画像特徴に初期輪郭が引き寄せられて変形し、対象物の輪郭を抽出することができる。このＳＮＡＫＥＳによる移動物体の追跡は、動画像のあるフレームでの抽出結果の輪郭を次のフレームにおける初期輪郭として設定するだけであり、設定された輪郭は同様にエッジなどの画像特徴に引き寄せられ、移動した物体を抽出できる。ＳＮＡＫＥＳによる追跡法は、ＳＮＡＫＥＳ以前の追跡法で困難とされていた動画像の各フレームで独立に抽出された移動物体のフレーム間での対応付けが必要ないという利点を持ち、特開平5-12443の動物体の輪郭追跡方法や特開平5-242247の画像処理装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のようなＳＮＡＫＥＳでは、抽出・追跡したい物体について予めその数と概略の領域を指定しなければ、複数の物体を抽出・追跡できないという課題があった。したがって、物体の数や処理する画像の枚数が多い場合、この設定に対する処理負担が増大し、また、画像に含まれる対象物がいくつあるかを自動的に知りたいという、例えば、セキュリティシステムにおける侵入者数の検知や、空調制御における在室者数の検知等における要求に対応できないなどの問題を抱えていた。さらに、ＳＮＡＫＥＳに基づく従来の追跡装置では、複数物体を同時に追跡する場合、移動中にそれらの物体が交差すれば、おのおののＳＮＡＫＥＳは自分自身が追跡している物体以外にも引き寄せられ、正しく追跡することができない。また、途中で第３の物体が現れることに対しては考慮されておらず、人間が介在して新たに輪郭を追加しなければならなかった。
【０００４】
本発明は、かかる点に鑑み、抽出・追跡したい移動物体の数とその概略輪郭を予め与えることなしに、複数物体の追跡中にそれらが交差しても、誤りなく自動抽出・追跡できる移動物体の抽出・追跡装置を提供することを目的とする。
【０００５】
また本発明は、追跡の途中で新たな移動物体が出現しても人間が介在することなく自動的に抽出・追跡することができる移動物体の抽出・追跡装置を提供することを目的とする。
【０００６】
さらに本発明は、１種の画像では情報の欠落やノイズ等により正確な抽出・追跡ができない場合にも、熱画像や可視画像といった異種の画像情報を統合し、より正確に複数の移動物体の自動抽出・追跡ができる移動物体の抽出・追跡装置を提供することを目的とする。
【０００７】
また本発明は、移動物体毎に他の移動物体との交差回数を記録し、その大小により他の移動物体に対して不整合な動きをしている物体の検出を可能とし、例えば、空港、ホテルのロビー、コンビニエンスストア等で不審な動きをしている人物を抽出可能な移動物体の抽出・追跡装置を提供することを目的とする。
【０００８】
さらに本発明は、抽出・追跡の結果から移動物体の速度や、移動物体間の距離を算出することにより複数の移動物体が置かれている状況の認識を可能とし、例えば、高速道路等で車の動きを監視し、事故や渋滞、車間距離不保持などの危険な運転等を認識できる移動物体の抽出装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、時系列で入力される画像を少なくとも２枚連続して記憶する画像記憶部と、前記画像から動きの情報を検出する動き検出部と、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭候補点とその連結順序を記憶する輪郭モデル記憶部と、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形部と、前記輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部とを備えた移動物体の抽出装置である。
また、時系列で入力される画像を少なくとも２枚連続して記憶する画像記憶部と、前記画像から動きの情報を検出する動き検出部と、前記画像に含まれる少なくとも１つの移動物体を囲む輪郭モデルを記憶する輪郭モデル記憶部と、前記輪郭モデルを所定の規則にしたがって変形させる輪郭モデル変形部と、前記輪郭モデル変形部により収縮変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差の有無を判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデル相互の接触または交差の有無を判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差が検知された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部と、所定の条件を満たす前記輪郭モデルの変形を停止させて移動物体の抽出完了と判定する抽出完了判定部と、前記抽出完了判定部により収縮変形を停止させられた前記輪郭モデルが囲む画像中の領域の特徴量を移動物体の特徴量として抽出し記憶する特徴量抽出記憶部と、異なる時刻の画像間で移動物体を対応付ける移動物体照合部とを備えたことを特徴とする移動物体の抽出装置である。
【００１０】
また本発明は、時系列で処理対象の画像が入力、又は更新される毎に新たに画像の枠と同じ大きさの輪郭モデルを１つ追加する輪郭モデル追加部を付加したことを特徴とする移動物体の抽出装置である。
【００１１】
また本発明は、時系列で同一視野で入力される可視画像および熱画像をそれぞれ少なくとも２枚づつ連続して記憶する異種画像記憶部と、前記可視画像および熱画像から動きの情報を検出する異種画像情報統合動き検出部と、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭候補点とその連結順序を記憶する輪郭モデル記憶部と、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形部と、前記輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部とを備えたことを特徴とする移動物体の抽出装置である。
また、時系列で同一視野で入力される可視画像および熱画像をそれぞれ少なくとも２枚づつ連続して記憶する異種画像記憶部と、前記可視画像および熱画像から動きの情報を検出する異種画像情報統合動き検出部と、前記画像に含まれる少なくとも１つの移動物体を囲む輪郭モデルを記憶する輪郭モデル記憶部と、前記輪郭モデルを所定の規則にしたがって変形させる輪郭モデル変形部と、前期輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部と、所定の条件を満たす前記輪郭モデルの変形を停止し移動物体の抽出完了と判定する抽出完了判定部と、前記抽出完了判定部により変形を停止された前記輪郭モデルが囲む前記可視画像および熱画像のおのおのの領域の特徴量を抽出・記憶する異種画像特徴量抽出記憶部と、前記異種画像特徴抽出記憶部に記憶されている異種画像からの複数の特徴量により異なる時刻の画像間で移動物体の対応付けを行う異種画像特徴量統合照合部とを備えたことを特徴とする移動物体の抽出装置である。
【００１２】
また本発明は、移動物体毎に相互交差の回数を記録する輪郭モデル別相互交差回数計数部と、前記輪郭モデル別相互交差回数計数部により数えられた相互交差回数が単位時間当り所定の回数以上である輪郭モデルが抽出・追跡している物体を他の移動物体に対して不整合な動きの物体と判定する不整合移動物体判定部を付加したことを特徴とする移動物体の抽出装置である。
【００１３】
また本発明は、時系列で得られる各画像における輪郭モデルの位置から移動物体の速度を算出する移動速度算出部と、異なる輪郭モデル間の距離を算出する輪郭モデル間距離算出部を付加したことを特徴とする移動物体の抽出装置である。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１５】
（実施の形態１）
図１は、第１の実施の形態を示す構成図である。図１において、１は移動物体を撮像するためのカメラ、２はカメラ１により時系列で撮像された画像をデジタル化し少なくとも２枚連続して記憶する画像記憶部、３は画像記憶部２に記憶されている時間的に連続した画像から動きの情報を検出する動き検出部、４は画像記憶部２に記憶されている画像中の移動物体の輪郭位置を探索する輪郭候補点とその連結順序を記憶する輪郭モデル記憶部、５は輪郭モデル記憶部４に記憶されている輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより輪郭モデルを変形する輪郭モデル変形部、６は輪郭モデル変形部５により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差の有無を判定する輪郭モデル自己交差判定部、７は輪郭モデル自己交差判定部６により接触または交差があると判定された場合に接触または交差部分でその輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部、８は輪郭モデル記憶部４に記憶されている複数の異なる輪郭モデル相互の接触または交差の有無を判定する輪郭モデル相互交差判定部、９は輪郭モデル相互交差判定部８により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部、１０は輪郭モデル記憶部４に記憶されている連結順序により互いに連結された２つの輪郭候補点間の距離が所定の範囲にあるときそれらの輪郭候補点の間に少なくとも１つの新規の輪郭候補点を追加し、前記連結順序により互いに連結された３つの輪郭候補点からなる連結された２線分のなす角が所定の範囲にあるとき前記２線分の連結点である輪郭候補点を削除する輪郭候補点生成・消滅部、１１は所定の数の前記輪郭候補点についてその移動により前記評価関数が減少しない場合に前記輪郭候補点の移動を停止させて前記輪郭モデルの変形を停止し移動物体の抽出完了と判定する抽出完了判定部、１２は抽出完了判定部１１により変形を停止させられた輪郭モデルが囲む画像中の領域の特徴量を移動物体の特徴量として抽出し記憶する特徴量抽出記憶部、異なる時刻の画像間で移動物体を対応付ける移動物体照合部である。また、１５は１〜１４の各部と接続され各部の動作の開始や停止あるいは各部間のデータのやりとりを制御する制御部で、ＲＯＭやＲＡＭなどのメモリとＣＰＵから構成されるコンピュータであって、各種のインタフェースを介することにより、図１に示すようなキーボードやマウスなどの入力装置１６およびＣＲＴなどの表示装置１７と接続されている。
【００１６】
次に本実施の形態の動作について説明する。図２は本実施の形態の移動物体の抽出・追跡装置の動作を示すフローチャートである。図３は本実施の形態の動作をより分かりやすく説明するための互いにすれ違う移動物体の画像の一部である。すなわち本発明は、このような画像から移動物体を抽出・追跡できるため、例えば、ビル内外のセキュリティにおける人物の監視システム等に応用できる。画像記憶部１は通常ＲＡＭで構成されており、デジタル化された画像の各画素データは、例えば、その輝度を８ビットで表すなどして記憶されている。以下に本実施の形態の動作手順を示す。
【００１７】
[STEP1a]画像の取り込み
カメラ１から時系列的に得られる映像をデジタル化して、画像IT,T=0,1,…として画像記憶部２に記憶する。以下、画像ITをT=0から順に処理する。
【００１８】
[STEP2a]初期輪郭の設置
T=0の時、画像記憶部２に記憶されている画像I0(x,y)中の移動物体すべてを包含する1つの多角形（輪郭モデル）を構成するNm個の点を、初期の輪郭候補点vmi(xmi(0),ymi(0))(i=1,2,…,Nm;m=1,2,…,m_max)として輪郭モデル記憶部４に記憶する。mは複数の輪郭モデルにつけられた番号を表し、最初はm_max=1である。またiは輪郭モデルを構成する輪郭候補点の連結順序を表す。輪郭モデル記憶部４は通常ＲＡＭで構成されている。なお、操作者が表示装置１６に表示された画像を見ながらキーボードやマウスなどの入力装置１５を操作して初期の輪郭候補点を入力して輪郭モデル記憶部４に記憶させてもよい。あるいは、画像の大きさにほぼ等しい長方形の辺をNm等分した点を初期の輪郭候補点としてあらかじめ輪郭モデル記憶部４に記憶させてもよい。
【００１９】
[STEP3a]動きの検出
動き検出部３により、画像記憶部２に記憶されている２枚の画像IT、IT+1から輪郭モデルの各輪郭候補点vmi(xmi,ymi)の位置における移動ベクトルを検出する。移動ベクトルは、例えば、勾配法に基づき最小２乗法により求めることができる。勾配法では、画像の輝度をIT(x,y)とすると、その時間・空間に関する偏微分と、画像中の点(x,y)における物体の見かけの速度(u,v)=(dx/dt,dy/dt)に関する次の拘束式を用いる。
【００２０】
【数１】
今、各輪郭候補点近傍の局所的な小領域で移動ベクトルが均一、すなわち、局所的な小領域Sで数１式の拘束式が同じ解を持つと仮定すれば、各輪郭候補点の位置における動きベクトルは次式を最小にする(u,v)として求められる。
【００２２】
【数２】
したがって、∂E/∂u=0, ∂E/∂v=0を満たす(u,v)を次式により求めればよい。ただし、(i,j)は点(x,y)の近傍領域S内の点の座標を表す。
【００２４】
【数３】
ただし、i,jはそれぞれ画像中の小領域Sに属する画素のx,y座標であり、Σは(i,j)∈Sについて算出する。また、Detは次式により計算される。
【００２６】
【数４】
[STEP4a]輪郭モデルの変形
輪郭モデル変形部５は、以下の式で表される各エネルギー項の和で定義される輪郭モデルのエネルギーEsnake(vmi)を最小にするように、輪郭モデル記憶部に記憶されている輪郭候補点を移動させることにより輪郭モデルを変形する。
【００２８】
1)輪郭モデルの滑らかさを表すEspline
【００２９】
【数５】
数５を最小にするような輪郭候補点の移動方向は、輪郭モデルが収縮するような方向である。
【００３１】
2)輪郭モデルの囲む閉領域の面積に相当するEarea
【００３２】
【数６】
ただし、xmNm+1=xm1,ymNm+1=ym1とする。数６を最小にするような輪郭候補点の移動方向は、輪郭モデルに対して垂直な方向である。Eareaを用いれば、くぼんだ形状の対象物の輪郭が抽出できる。
【００３４】
3)輪郭候補点間の距離を平均化するEdist
【００３５】
【数７】
ただし、davは輪郭候補点間の平均距離である。
4)画像の輝度IT(vmi)の勾配の大きさEedge
【００３７】
【数８】
数８を最小にするような輪郭候補点の移動方向は、輝度勾配の大きくなる方向、すなわち対象物の輪郭部分へ向かう方向である。ここで、数５〜９のwsp1,wsp2,warea,wdist,wedge>0は、それぞれ各エネルギー項の重み係数である。
【００３９】
具体的な輪郭モデルの変形は、例えば、輪郭候補点vmi(xmi(t),ymi(t))(i=1,2,…,Nm;m=1,2,…)を画素単位でその近傍の位置に移動させたときのエネルギーEsnake(vmi)が最小となる位置に1回移動させることにより行われる。t(i=0,1,…)は各点の移動回数を表し、輪郭候補点vmi(xmi,ymi)の近傍の位置は、例えば、vmi(xmi-1,ymi-1)、vmi(xmi-1,ymi)、vmi(xmi-1,ymi+1)、vmi(xmi,ymi-1)、vmi(xmi,ymi+1)、vmi(xmi+1,ymi-1)、vmi(xmi+1,ymi)、vmi(xmi+1,ymi+1)の８近傍を考えればよい。ただし、移動によりエネルギーEsnake(vmi)が増加する場合には移動させない。このとき、移動した輪郭候補点の数をCmoveに記憶する。
【００４０】
ここで、移動物体を抽出するので、各輪郭候補点の移動に際しては、STEP2aで求められた各輪郭候補点の位置での動きベクトルの絶対値が所定の値以下の時、画像の輝度IT(vmi)の勾配の大きさを表すエネルギーEedgeの重み係数wedgeを0とする。これにより動きのあるエッジにのみ輪郭モデルが引き寄せられ、移動物体を抽出できる。
【００４１】
[STEP5a]輪郭モデルの自己交差判定
輪郭モデル自己交差判定部６により、輪郭モデル上の異なる２線分vmkvmk+1と線分vmhvmh+1(k=1,2,…,Nm;h=1,2,…,Nm)のすべての組合せについて接触または交差を判定する。ただし、連結している２線分は除く。線分vmkvmk+1と線分vmhvmh+1が接触または交差するならば、次式を満たす実数p(0≦p≦1),q(0≦q≦1)が存在する。
【００４２】
【数９】
数９は、p,qに関する連立方程式であり、次式で計算される行列式detが0でないとき解を持つ。なお、det=0のとき、線分vmkvmk+1と線分vmhvmh+1が一致する場合があるため、この場合の交差は、行列式detの計算前にこの一致を判定しておく。
【００４４】
【数１０】
det≠0のとき次式により算出されるp,qが、それぞれ0≦p≦1,0≦q≦1を満たすとき、輪郭モデルは、線分vmkvmk+1と線分vmhvmh+1の交点(p,q)で自己交差または接触したと判定しSTEP6aを実行、それ以外はSTEP7aを実行する。
【００４６】
【数１１】
[STEP6a]輪郭モデルの分裂
輪郭モデル自己交差判定部６により自己交差があると判定された輪郭モデルに対し、輪郭モデル分裂部７はその輪郭モデルを複数に分裂させ、STEP2aへ戻る。自己交差した輪郭モデルは、交点を持つ線分を構成する輪郭候補点で分裂させる。輪郭モデルのエネルギーとしてEareaを用いた場合に起こる典型的な輪郭モデルの自己交差の例を図４に示す。図４に示すように、自己交差した輪郭モデルは、輪郭候補点vmkとvmh+1、vmhとvmk+1とをそれぞれ連結することにより2つに分裂される。これにより、連結順序が{vm1,…,vmk,vmh+1,…,vmn}と{vmk+1,…,vmh}である輪郭候補点の組が、それぞれ新たに分裂し独立した輪郭モデルとなる。これらの新たに独立した輪郭モデルは、輪郭モデル記憶部４に記憶される。また、分裂により輪郭モデルの数が増加するので、その数m_maxの値を更新する。
【００４８】
[STEP7a]輪郭モデルの相互交差判定
輪郭モデル相互交差判定部８により、異なる２つの輪郭モデルvfkとvgh(f=1,2,…,m_max;k=1,2,…,Nf;g=1,2,…,m_max;h=1,2,…,Ng;f≠g)のすべての組合せについて相互の接触または交差を判定する。具体的には、輪郭モデルvfkを構成する線分vfkvfk+1と輪郭モデルvghを構成する線分vghvgh+1のすべての組合せについて接触または交差を判定する。異なる２つの輪郭モデルvfkとvghの相互接触または相互交差、すなわち線分vfkvfk+1と線分vghvgh+1が接触または交差しているならば、次式を満たす実数p(0≦p≦1),q(0≦q≦1)が存在する。
【００４９】
【数１２】
数１２は、p,qに関する連立方程式であり、次式で計算される行列式detが0でないとき解を持つ。なお、det=0のとき、線分vfkvfk+1と線分vghvgh+1が一致する場合があるため、この場合の交差は、行列式detの計算前にこの一致を判定しておく。
【００５１】
【数１３】
det≠0のとき次式により算出されるp,qが、それぞれ0≦p≦1,0≦q≦1を満たすとき、２つの異なる輪郭モデルは、線分vfkvfk+1と線分vghvgh+1の交点(p,q)で相互に接触または交差したと判定しSTEP8aを実行、それ以外はSTEP9aを実行する。
【００５３】
【数１４】
[STEP8a]輪郭モデルの統合
輪郭モデル相互交差判定部８により相互に接触または交差していると判定された少なくとも２つの輪郭モデルをについて、輪郭モデル統合部９により、それらを構成するすべての輪郭候補点を包含する凸多角形を求め、その凸多角形を構成する輪郭候補点の組を統合された輪郭モデルとして輪郭モデル記憶部４に記憶する。また、統合により輪郭モデルの数が減少するので、その数m_maxの値を更新する。図５は、異なる２つの輪郭モデルに起こる典型的な相互交差と、それらを１つに統合した輪郭モデルを示している。
【００５５】
[STEP9a]輪郭候補点の生成・消滅判定
輪郭候補点生成・消滅部１０により、新たな輪郭候補点の生成・消滅を行う。例えば、次のような場合に輪郭候補点の生成を行う。輪郭候補点生成・消滅部１０は、隣接する輪郭候補点間の距離が|vmi+1-vmi|>DThを満たすとき、2点vmi,vmi+1間に新たに離散点を生成する。ただし、DThはあらかじめ定められた輪郭候補点間の最大距離である。このとき、輪郭候補点を１つでも生成すればGflag=1、生成しなければGflag=0とする。この輪郭候補点の追加生成により、分裂により減少する対象物１つあたりの輪郭候補点の数を補って、複数対象物の輪郭を正しく抽出することができる。
【００５６】
また、輪郭候補点生成・消滅部１０は、例えば、cosθ>θTh（θはvmivmi-1とvmivmi+1のなす角）を満たす輪郭候補点vmiを消滅させる。ただし、θThはあらかじめ定められた輪郭モデルの尖りを判定するしきい値である。このとき輪郭候補点が１つでも消滅すればDflag=1、消滅しなければDflag=0とする。この輪郭候補点の消滅手順により、対象物の輪郭以外の位置でノイズの影響などにより停止している輪郭候補点が削除され、誤った輪郭抽出を避けることができる。
【００５７】
[STEP10a]抽出完了判定
抽出完了判定部１１により、画像ITにおける移動物体の抽出完了を判定する。すべての輪郭モデルについて、輪郭候補点に移動がなく（Cmove≦CTh;CTh≧0はあらかじめ定められた移動した輪郭候補点の個数に対するしきい値）かつ新たな輪郭候補点の生成・消滅がないとき（Gflag=0かつDflag=0）、あるいはt≧tmax（tmaxはあらかじめ定められた輪郭候補点の移動回数の最大値）のとき、画像ITでの移動物体の抽出が完了したと判定しSTEP11aへ。それ以外はT=T+1としてSTEP3aへ戻る。なお、抽出が完了した際、異なる輪郭モデルに異なる色をつけて表示部１６に表示すれば、例えば監視システム等においては、異なる移動物体の視認性が向上する。
【００５８】
[STEP11a]移動物体の特徴量抽出
特徴量抽出記憶部１２により、輪郭モデルvmi（m=1,2,…,m_max）が囲む画像ITの領域の特徴量を移動物体の特徴量として抽出する。例えば、輝度のヒストグラムの累積分布Hm(k)（8bitの場合k=0,1,…,255）が特徴量として利用できる。T=0のとき、特徴量Hm(k)を特徴量抽出記憶部１２にHl(k)（l=1,2,…,l_max；l_maxは特徴量が記憶されている移動物体の数）として記憶し、T=T+1としてSTEP3aへ戻る。T>0のとき特徴量Hm(k)を抽出しSTEP12aへ。
【００５９】
[STEP12a]移動物体の照合
移動物体照合部１３により、現在（T=T_present）の処理対象の画像IT_present(T_present>0)で抽出された移動物体が、特徴量抽出記憶部１２に記憶されている過去（T=T_past;T_past<T_present）に抽出されたどの移動物体であるかを、特徴量の類似度（ヒストグラム間の距離d）により照合する。具体的には、次式で表されるヒストグラム間の距離dをmとlのすべての組合せについて求め、その値があらかじめ定められたしきい値Dmatch以下のものについて、最小値を持つ組合せから順に、輪郭モデルvmiが抽出している特徴量Hm(k)の移動物体と、特徴量抽出記憶部１２に記憶されている特徴量Hl(k)を持つ移動物体とを対応付ける。
【００６０】
【数１５】
ここで、抽出された領域の大きさによりヒストグラムの度数が異なるので、最大度数で正規化しておく。さらに、対応付けられた移動物体については、特徴量抽出記憶部１２に記憶されている特徴量Hl(k)を、輪郭モデルvmiが抽出している特徴量Hm(k)で置き換える。また、対応の付かなかった移動物体については、その特徴量を新たに特徴量抽出記憶部１２に記憶する。移動物体の照合が終われば、T=T+1としてSTEP3aへ戻る。
【００６２】
なお、対応付けは必ずしもすべての輪郭モデルと特徴量抽出記憶部１２に記憶されているすべての移動物体について行う必要はなく、例えば、一旦融合した輪郭モデルについては再び分裂したときに行えばよい。また、特徴量抽出記憶部１２には、特徴量と共にその移動物体を抽出した輪郭モデルの色も記憶しておけば、対応のついた移動物体を抽出している輪郭モデルの色を記憶されている色で表示部１６に表示でき、同一移動物体の抽出・追跡の視認性が向上する。
【００６３】
以上の手順によれば、図６に示すように、移動物体（ここでは歩行者）の集合全体を包含した１つの輪郭モデル（図６(a)）が、２つに分裂して２人の歩行者それぞれを抽出・追跡し（図６(b)〜(d)）、２人の歩行者が重なる（図６(e)）と同時に、２つの輪郭モデルが１つに統合して（図６(f)）さらに追跡を続け（図６(g)）、やがて２人の歩行者がすれ違い離れると１つの輪郭モデルも再び２つに分裂し、２人の歩行者を独立に抽出・追跡することができる（図６(h)〜(i)）。
【００６４】
以上説明したように、第１の実施の形態によれば、輪郭モデルの自己交差および相互交差を判定して輪郭モデルを分裂および統合させることにより、複数の移動物体がすれ違う場合にも抽出・追跡することができる。
【００６５】
（実施の形態２）
次に本発明の移動物体の抽出・追跡装置に係る第２の実施の形態について説明する。第１の実施の形態では、輪郭モデルの自己交差および相互交差を判定して輪郭モデルを分裂および統合させることにより、複数移動物体がすれ違う場合にも抽出・追跡できることを説明した。第２の実施の形態は、最初カメラの画角内に存在しなかった他の移動物体が途中でカメラの画角内に新たに入ってくる場合にも、その移動物体を抽出・追跡できるように考慮したものである。第１の実施の形態では、カメラの画角内には常に同じ移動物体がある場合を例として説明したが、ビルやプラント内外の監視システム等においては、次々に画角内に入ってくる移動物体を抽出・追跡することが必要である。
【００６６】
図７は第２の実施の形態の構成図であり、図１に示した第１の実施の形態と同じ構成部分には同一番号を付して詳細な説明は省略する。第２の実施の形態と第１の実施の形態の相違点は、第１の実施の形態に、画像記憶部２に次の時刻の画像が記憶される毎に、画像の枠と同じ大きさの輪郭モデルを新たに１つ追加しその輪郭モデル追加部１７を付加したことである。これにより、次々に新しく画角内に入ってくる移動物体を抽出・追跡することが可能となる。
【００６７】
以上のように構成された第２の実施の形態の輪郭抽出装置の動作を、図８のフローチャートを参照しながら説明する。ただし、第２の実施の形態のSTEP1b〜STEP2b、STEP4b、STEP6b〜STEP7bおよびSTEP9b〜STEP13bは、それぞれ第１の実施の形態のSTEP1a〜STEP2a、STEP3a、STEP5a〜STEP6aおよびSTEP8a〜STEP12aと全く同様の手順であるため、異なるSTEP3b、STEP5bおよびSTEP8bのみを説明する。
【００６８】
[STEP3b]輪郭モデルの追加
輪郭モデル追加部１５は、T>0の時、画像記憶部２に記憶されている画像IT(x,y)の大きさにほぼ等しい長方形状の輪郭モデルを、新たに輪郭モデル記憶部４に記憶する。このとき輪郭モデルの数をm_max=m_max+1と更新する。
【００６９】
[STEP5b]輪郭モデルの変形
輪郭モデル変形部５により輪郭モデルを変形する際、新たに追加された輪郭モデルの輪郭候補点が、既存の輪郭モデルモデル内にある時、画像の輝度IT(vmi)の勾配の大きさを表すエネルギーEedgeの重み係数wedgeを0とする。これにより、新たに追加された輪郭モデルが、既存の輪郭モデルがすでに抽出している移動物体を再度抽出することがない。なお、新たに追加された輪郭モデルが自己交差により分裂した輪郭モデルについても同様の処理を行う。
【００７０】
[STEP8b]輪郭モデルの相互交差判定
輪郭モデル相互交差判定部７により、異なる２つの輪郭モデルの相互の接触または交差を判定する際、新たに追加された輪郭モデルおよびその輪郭モデルの分裂によって新たに生じた輪郭モデルとの相互交差判定は行わない。これにより、既存の輪郭モデルが抽出している移動物体を再び抽出しなおすことがなくなる。
【００７１】
以上の手順によれば、図９に示すように、新たな移動物体が出現した場合には新たに追加した輪郭モデルが（図９(b)）、既存の輪郭モデルが抽出している移動物体を再度抽出することなく（図9(c)）新たに出現した移動物体のみを抽出することができる（図９(d)）。
【００７２】
以上説明したように、第２の実施の形態によれば、新しい画像を入力する毎に、画像の大きさに相当する輪郭モデルを新たに１つ追加し、既存の輪郭モデルとは相互交差の判定を行わず、かつ既存の輪郭モデルが囲む領域内のエッジには引き寄せられないようにしたため、既存の移動物体を再度抽出することなく、新たに出現した移動物体を抽出・追跡することができる。
【００７３】
（実施の形態３）
次に本発明の輪郭抽出装置に係る第３の実施の形態について説明する。第１、第２の実施の形態では、１種類の画像を利用して、複数移動物体の抽出・追跡ができることを説明した。さらに第３の実施の形態は、１種類の画像では情報の欠落やノイズ等により正確な抽出・追跡ができない場合に、熱画像や可視画像等の異種の画像情報を統合し、より正確な複数の移動物体の抽出・追跡を考慮したものである。
【００７４】
図１０は本実施の形態の構成図であり、図１に示した第１の実施の形態と同じ構成部分には同一番号を付して詳細な説明は省略する。第３の実施の形態と第１の実施の形態との相違点は、第１の実施の形態に、可視画像と同一視野の熱画像を撮像するための赤外線カメラ１８、ハーフミラー１９およびミラー２０を付加し、さらに第１の実施の形態における画像記憶部２を熱画像と可視画像の異種の画像情報を記憶する異種画像記憶部２１で置き換え、同動き検出部３を、赤外線カメラの熱画像とＣＣＤカメラの可視画像から動きの情報を検出する異種画像情報統合動き検出部２２で置き換え、同特徴抽出・記憶部１２を熱画像と可視画像おのおのから輪郭モデルの囲む領域の特徴量を抽出・記憶する異種画像特徴抽出・記憶部２３で置き換え、同移動物体照合部１３を、異種画像特徴抽出・記憶部２３に記憶されている異種画像からの複数の特徴量により移動物体の対応付けを行う異種画像特徴量統合照合部２４で置き換えたことである。
【００７５】
以上のように構成された第３の実施の形態の輪郭抽出装置の動作を、図１１のフローチャートを参照しながら説明する。ただし、第１の実施の形態とは異なるSTEP1c、STEP3c、STEP4c、STEP11cおよびSTEP12cのみを説明する。
【００７６】
[STEP1c]画像の取り込み
カメラ１および赤外線カメラ１８から時系列的に得られる映像をデジタル化して、それぞれ可視画像IT CCDおよび熱画像IT TH,T=0,1,…として異種画像記憶部２１に記憶する。以下、画像をIT CCDおよび熱画像IT THをT=0から順に処理する。
【００７７】
[STEP3c]動きの検出
異種画像情報統合動き検出部２２により、異種画像記憶部２１に記憶されている可視画像IT CCD、IT+1 CCDおよび熱画像IT TH、IT+1 THの４枚の画像情報を統合して各輪郭候補点vmi(xmi,ymi)の位置における移動ベクトルを検出する。（数１）に示した勾配法の拘束式は、可視画像IT CCDおよび熱画像IT THのそれぞれについて成り立つので、一般に画像中の点(x,y)における移動ベクトル(u,v)は、次の連立方程式を解くことにより求めることができる。
【００７８】
【数１６】
ただし、
【００８０】
【数１７】
とする。
しかし、ここでは、各輪郭候補点vmi(xmi,ymi)近傍の、可視画像および熱画像について同一の局所的な小領域S（(x,y)∈S）で移動ベクトルが均一、すなわち、可視画像および熱画像について同一の局所的な小領域Sで（数１６）の拘束式がじ解を持つと仮定し、最小２乗法により求める。これにより、ノイズの影響の低減および各画像単独では写っていない情報を補って、より正確に移動ベクトルを算出することができる。
【００８２】
[STEP4c]輪郭モデルの変形
輪郭モデル変形部５では、輪郭モデルのエネルギーEsnake(vmi)を最小にするように輪郭モデルを変形するが、新たなエネルギーとして可視画像の輝度勾配に加え、次式の熱画像の輝度勾配を加える。
【００８３】
【数１８】
数１８を最小にするような輪郭候補点の移動方向は、熱画像におけるエッジへ向かう方向である。ここで、wedge TH>0は、このエネルギー項の重み係数である。このエネルギーの導入により、例えば、可視画像では存在しない白い壁の前にいる白い服を着た人物の輪郭も、熱画像中にはその輪郭が現れるので抽出することができる。
【００８５】
[STEP11c]移動物体の特徴量抽出
異種画像特徴量抽出記憶部２３により、輪郭モデルvmi（m=1,2,…,m_max）が囲む可視画像IT CCDおよび熱画像IT THの領域の特徴量をそれぞれ移動物体の特徴量として抽出する。特徴量としては、例えば、輝度および温度のヒストグラムの累積分布が利用できる。
【００８６】
[STEP12c]移動物体の照合
異種情報統合移動物体照合部２４により、例えば、輝度および温度のヒストグラムの累積分布などの異種の特徴量を統合して移動物体の対応付けを行う。複数の異種の特徴量の統合は、例えば、信学技報PRU94-131(1995-03)pp.9-16に記載されているDempster-Shafer理論に基づく方法により行うことができる。本実施の形態では、可視画像および熱画像それぞれから抽出された特徴量の類似度から、どの移動物体であるかの確信度を求めてそれらを統合し、確信度が最大となる移動物体同士を対応付ければよい。ここでは、輪郭モデルvmiが抽出している移動物体が、特徴量抽出記憶部１２に特徴量が記憶されているl_max個の移動物体wl（ｌ=1,2,…,l_max)のいずれであるかの照合の手順を説明する。
【００８７】
今、輪郭モデルvmiが抽出している移動物体について、可視および熱画像から特徴量として抽出した輝度および温度のヒストグラムをそれぞれHm CCDおよびHm TH、特徴量抽出記憶部１２に記憶されている移動物体wlについての熱および可視画像から抽出した特徴量をそれぞれHl CCDおよびHl THとし、輪郭モデルvmiが抽出した移動物体と移動物体wlについて、その特徴量の類似度SCCD(wl)およびSTH(wl)をそれぞれ以下の式で与える。
【００８８】
【数１９】
ただし、類似度は、α1≧α2≧…≧αl_max、β1≧β2≧…≧βl_maxのように並べ変えておく。このとき、可視および熱画像から抽出された各特徴量について、輪郭モデルvmiにより抽出された移動物体が、どの移動物体wl（の集合Ａ）である（に含まれる）かの確信度（基本確率）は次の数２０、２１により表される。
【００９０】
【数２０】
【数２１】
これらの異種の特徴量から求められた確信度（基本確率）を次式により統合する。
【００９３】
【数２２】
（数２２）の統合された基本確率mCCD_TH(Ａ) から次式により算出される決定確率Ｐ(wl)が最大の移動物体を、輪郭モデルvmiが抽出した移動物体と判定する。
【００９５】
【数２３】
｜Ａ｜はＡの要素数を表す。
以上説明したように、第３の実施の形態によれば、可視画像だけでなく熱画像の情報を統合して移動ベクトルを算出、輪郭モデルの変形、さらにはそれらの画像から抽出される複数の特徴量を用いた移動物体の照合を行うので、より正確に人物などの移動物体を抽出・追跡することができる。
【００９７】
（実施の形態４）
次に、本発明の輪郭抽出装置の第４の実施の形態について説明する。第１〜第３の実施の形態では、ＣＣＤカメラなどから得られる画像からの複数移動物体を抽出・追跡について説明した。さらに第４の実施の形態は、抽出・追跡している移動物体毎に他の移動物体との交差回数を記録し、その大小により他の移動物体に対して不整合な動きをしている移動物体の検出を可能とし、例えば、空港、ホテルのロビー、コンビニエンスストア等で不審な動きをしている人物を抽出することを考慮したものである。
【００９８】
図１２は第４の実施の形態の構成図であり、図１に示した第１の実施の形態と同じ構成部分には同一番号を付して詳細な説明は省略する。第４の実施の形態と第１の実施の形態との相違点は、移動物体毎に毎に相互交差の回数を記録する移動物体別相互交差回数記憶部２５と、移動物体別相互交差回数記憶部２５により数えられた相互交差回数が単位時間当り所定の回数以上である輪郭モデルが抽出・追跡している物体を他の移動物体に対して不整合な動きの物体と判定する不整合移動物体判定部２６を付加したことである。
【００９９】
以上のように構成された第４の実施の形態の輪郭抽出装置の動作を、図１３のフローチャートを参照しながら説明する。ただし、第１の実施の形態と異なるSTEP8dおよびSTEP14dのみを説明する。
【０１００】
[STEP8d]輪郭モデルの相互交差判定および交差回数の記憶
輪郭モデル相互交差判定部７により、輪郭モデル記憶部４に記憶されている異なる２つの輪郭モデルvfkとvgh(f=1,2,…,m_max;k=1,2,…,Nf;g=1,2,…,m_max;h=1,2,…,Ng;f≠g)のすべての組合せについて相互の接触または交差を判定し、接触または交差があった場合、特徴量抽出記憶部１２に記憶されている移動物体毎にその回数を移動物体別相互交差回数記憶部２５に記憶する。
【０１０１】
[STEP14d]不整合移動物体の判定
不整合移動物体判定部２６は、移動物体別相互交差回数記憶部２５に記憶されている相互交差回数が、あらかじめ定められた単位時間当りの相互交差回数のしきい値以上の移動物体を、その他の移動物体とは不整合な異なる動きをしている物体として判定する。なお、不整合な動きをしている物体を抽出している輪郭モデルに対して、その他の輪郭モデルとは異なる色をつけて表示部１６に表示すれば、例えば監視システム等においては、不審人物等の視認性が向上する。
【０１０２】
以上説明したように、第４の実施の形態によれば、抽出・追跡している移動物体毎に他の移動物体との交差回数を記録することにより、交差回数の大小により他の移動物体に対して不整合な動きをしている移動物体の検出が可能となる。
【０１０３】
（実施の形態５）
次に、本発明の輪郭抽出装置の第５の実施の形態について説明する。第１〜第４の実施の形態では、ＣＣＤカメラ等から得られる画像から移動物体を抽出・追跡でき、また不審な動きなど移動物体に関するおおまかな情報が得られることを説明した。さらに第５の実施の形態は、抽出・追跡の結果から移動物体の速度や、移動物体間の距離を算出することにより複数の移動物体が置かれている状況が認識でき、例えば、高速道路等で車の動きを監視し、事故や渋滞、車間距離不保持などの危険な運転等を認識し、運転者や管制局にそれら情報を伝えることができるようなシステムの実現を考慮したものである。
【０１０４】
図１４は第５の実施の形態の構成図であり、図１に示した第１の実施の形態と同じ構成部分には同一番号を付して詳細な説明は省略する。第５の実施の形態と第１の実施の形態との相違点は、輪郭モデル記憶部４に記憶されている異なる輪郭モデル間の距離を算出する輪郭モデル間距離算出部２７と、移動物体毎に時系列の各画像における輪郭モデルの位置から移動物体の速度を算出する移動速度算出部２８とを付加したことである。
【０１０５】
以上のように構成された第５の実施の形態の移動物体の抽出・追跡装置の動作を、図１５のフローチャートを参照しながら説明する。ただし、第１の実施の形態と異なるSTEP1e、STEP11e、STEP14eのみを説明する。
【０１０６】
[STEP1e]画像の取り込み
高速道路上等の車に関して、カメラ１から時系列的に得られる映像をデジタル化して画像記憶部２に記憶する。
【０１０７】
[STEP11e]輪郭モデル間距離の算出
抽出完了判定部１１により変形が停止されたのち、輪郭モデル記憶部４に記憶されている異なる輪郭モデル間同士の距離を、輪郭モデル間距離算出部により算出する。輪郭モデル間同士の距離は、異なる輪郭モデルを構成する輪郭候補点間の距離の最小値とする。制御部１４は、この距離があらかじめ定められたしきい値よりも小さいとき、車間距離が短いと判断して、道路情報表示版２９に「車間距離あけろ」等のメッセージを表示する。
【０１０８】
[STEP14e]移動速度の算出
移動物体照合部１３により異なる時間に得られた画像間で対応付けられた移動物体毎に、例えば輪郭モデルの重心位置の単位時間当りの距離変化から各移動物体の移動速度を算出する。制御部１４は、適当な間隔で設置された複数台のカメラの映像から算出された移動速度が、すべて所定の値（例えば5km/h）以下の状態が、所定の時間（例えば１０分）続いていれば、道路上は渋滞であると判断する。
【０１０９】
なお、輪郭モデル相互交差判定部８により、異なる車を抽出している異なる輪郭モデル同士の接触または交差があると判定された場合、制御部１４により車同士の接触または追突事故、あるいは車間距離の不保持と判定できる。例えば、輪郭モデルに相互交差があった場合、カメラ１が車をほぼ真上からとらえている場合には、車同士の接触または追突事故があったと判断できる。このとき、後続の車に対しては、事故があったことを情報表示板２９に表示することにより、さらなる事故を防ぐことができる。また、カメラ１が斜め方向から車を捕らえている場合には、異なる輪郭モデルの相互交差は、車間距離が短いためにカメラ１からは複数の車が重なって見えるためにおこるので、このとき車間距離不保持の危険な運転であると判断でき、STEP11eと同様なメッセージを表示することができる。
【０１１０】
以上説明したように、第５の実施の形態によれば、異なる輪郭モデルの交差判定により車の接触または追突事故が、また、抽出・追跡の結果から移動物体間の距離や速度を算出することにより、例えば、車間距離不保持などの危険運転や渋滞等、高速道路などでの交通状況が認識できる。
第１の実施の形態によれば、輪郭モデルを自己交差部分で複数の輪郭モデルに分裂、または相互に交差した異なる輪郭モデル１つに統合することにより、複数の移動物体が交差するような場合にも、それらを正しく抽出することができる。
第２の実施の形態によれば、毎フレーム毎に画像の枠に相当する輪郭モデルを新たに１つ追加することにより、新たに画角内に侵入してくる第３の移動物体も抽出することができる。
第３の実施の形態によれば、熱画像と可視画像といった異種の画像情報を統合して、動きの推定や移動物体の照合を行うので、より正確に複数の移動物体を抽出することができる。
第４の実施の形態によれば、輪郭モデル別に相互交差の回数を数えることにより、その数が多い輪郭モデルが追跡している移動物体は、周囲の移動物体とは異なる動きをしていると判断できる。したがって、例えば空港、ホテルのロビー、コンビニエンスストア等で不審な動きをしている人物を抽出することができる。
第５の実施の形態によれば、高速道路やトンネルなどで車両を抽出・追跡し、異なる車両を追跡している輪郭モデル間の距離を算出したり相互交差を判定することにより、車間距離が接近した危険な状態を認識して情報表示版で警告することや衝突事故の認識でき、また、輪郭モデルの位置の時間変化により移動物体の速度算出し、移動速度とその維持時間から渋滞が認識できる。
【０１１１】
【発明の効果】
本発明によれば、輪郭モデルを自己交差部分で複数の輪郭モデルに分裂、または相互に交差した異なる輪郭モデル１つに統合することにより、複数の移動物体が交差するような場合にも、それらを正しく抽出することができる。
【図面の簡単な説明】
【図１】本発明第１の実施の形態のブロック図
【図２】本発明第１の実施の形態の動作手順を示すフローチャート
【図３】移動物体がすれ違う画像の一例を示す図
【図４】輪郭モデルの交差・分裂の一例を示す図
【図５】輪郭モデルの相互交差・統合の一例を示す図
【図６】第１の実施の形態による抽出結果を示す図
【図７】本発明第２の実施の形態のブロック図
【図８】本発明第２の実施の形態の動作手順を示すフローチャート
【図９】新たな移動物体の侵入に対する抽出結果を示す図
【図１０】本発明第３の実施の形態のブロック図
【図１１】本発明第３の実施の形態の動作手順を示すフローチャート
【図１２】本発明第４の実施の形態のブロック図
【図１３】本発明第４の実施の形態の動作手順を示すフローチャート
【図１４】本発明第５の実施の形態のブロック図
【図１５】本発明第５の実施の形態の動作手順を示すフローチャート
【符号の説明】
１ カメラ
２ 画像記憶部
３ 動き検出部
４ 輪郭モデル記憶部
５ 輪郭モデル変形部
６ 輪郭モデル自己交差判定部
７ 輪郭モデル分裂部
８ 輪郭モデル相互交差判定部
９ 輪郭モデル統合部
１０ 輪郭候補点生成・消滅部
１１ 抽出完了判定部
１２ 特徴量抽出記憶部
１３ 移動物体照合部
１４ 制御部
１５ 入力部
１６ 表示部
１７ 輪郭モデル追加部
１８ 赤外線カメラ
１９ ハーフミラー
２０ ミラー
２１ 異種画像記憶部
２２ 異種画像情報統合動き検出部
２３ 異種画像特徴量抽出記憶部
２４ 異種情報統合照合部
２５ 移動物体別相互交差回数記憶部
２６ 不整合移動物体判定部
２７ 輪郭モデル間距離算出部
２８ 移動速度算出部
２９ 道路情報表示板
Claims (10)
- 時系列で入力される画像を少なくとも２枚連続して記憶する画像記憶部と、前記画像から動きの情報を検出する動き検出部と、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭候補点とその連結順序を記憶する輪郭モデル記憶部と、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形部と、前記輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部と、所定の数の前記輪郭候補点についてその移動により前記評価関数が減少しない場合に前記輪郭候補点の移動を停止させて前記輪郭モデルの変形を停止し移動物体の抽出完了と判定する抽出完了判定部と、前記抽出完了判定部により変形を停止された前記輪郭モデルが囲む画像中の領域の特徴量を移動物体の特徴量として抽出し記憶する特徴量抽出記憶部と、前記特徴量抽出記憶部に記憶されている前記特徴量により異なる時刻の画像間で移動物体の対応付けを行う移動物体照合部とを備えたことを特徴とする移動物体の抽出装置。
- 画像記憶部に時系列で新たな画像が入力される毎に新たに画像の枠と同じ大きさの輪郭モデルを１つ前記輪郭モデル記憶部に追加記憶する輪郭モデル追加部を付加したことを特徴とする請求項１記載の移動物体の抽出装置。
- 時系列で同一視野で入力される可視画像および熱画像をそれぞれ少なくとも２枚づつ連続して記憶する異種画像記憶部と、前記可視画像および熱画像から動きの情報を検出する異種画像情報統合動き検出部と、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭候補点とその連結順序を記憶する輪郭モデル記憶部と、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形部と、前記輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部と、所定の数の前記輪郭候補点についてその移動により前記評価関数が減少しない場合に前記輪郭候補点の移動を停止させて前記輪郭モデルの変形を停止し移動物体の抽出完了と判定する抽出完了判定部と、前記抽出完了判定部により変形を停止された前記輪郭モデルが囲む前記可視画像および熱画像のおのおのの領域の特徴量を抽出・記憶する異種画像特徴量抽出記憶部と、前記異種画像特徴抽出記憶部に記憶されている異種画像からの複数の特徴量により異なる時刻の画像間で移動物体の対応付けを行う異種画像特徴量統合照合部とを備えたことを特徴とする移動物体の抽出装置。
- 特徴量抽出記憶部または異種画像特徴量抽出記憶部に特徴量が記憶されている移動物体毎に前記輪郭モデル相互交差判定部により判定された相互交差の回数を記憶する移動物体別相互交差回数記憶部と、前記移動物体別相互交差回数記憶部に記憶されている相互交差回数が単位時間当り所定の回数以上である移動物体を他の移動物体に対して不整合な動きの物体と判定する不整合移動物体判定部を付加したことを特徴とする請求項１、２、または３記載の移動物体の抽出装置。
- 輪郭モデル記憶部または輪郭モデル相互交差判定部を参照して異なる輪郭モデル間の距離を算出する輪郭モデル間距離算出部と、前記輪郭モデル記憶部と前記特徴量抽出記憶部または異種画像特徴量抽出記憶部を参照し移動物体毎に前記輪郭モデルの位置に基づきその移動速度を算出する移動速度算出部とを付加したことを特徴とする請求項１〜４のいずれかに記載の移動物体の抽出装置。
- 輪郭モデル記憶部に記憶されている連結順序により互いに連結された２つの輪郭候補点間の距離が所定の範囲にあるときそれらの輪郭候補点の間に少なくとも１つの新規の輪郭候補点を追加し、前記連結順序により互いに連結された３つの輪郭候補点からなる連結された２線分のなす角が所定の範囲にあるとき前記２線分の連結点である輪郭候補点を削除し、前記輪郭モデル記憶部に記憶されている輪郭候補点とその連結順序を更新する輪郭候補点生成・消滅部を付加したことを特徴とする請求項１〜５のいずれかに記載の移動物体の抽出装置。
- 時系列で入力される画像を少なくとも２枚連続して記憶する画像記憶部と、前記画像から動きの情報を検出する動き検出部と、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭候補点とその連結順序を記憶する輪郭モデル記憶部と、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形部と、前記輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部とを備えたことを特徴とする移動物体の抽出装置。
- 時系列で同一視野で入力される可視画像および熱画像をそれぞれ少なくとも２枚づつ連続して記憶する異種画像記憶部と、前記可視画像および熱画像から動きの情報を検出する異種画像情報統合動き検出部と、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭 候補点とその連結順序を記憶する輪郭モデル記憶部と、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形部と、前記輪郭モデル変形部により変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定部と、前記輪郭モデル自己交差判定部により接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂部と、前記輪郭モデル記憶部に記憶されている複数の異なる輪郭モデルが相互に接触または交差したか否かを判定する輪郭モデル相互交差判定部と、前記輪郭モデル相互交差判定部により接触または交差があると判定された少なくとも２つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合部とを備えたことを特徴とする移動物体の抽出装置。
- 所定の条件により前記輪郭モデルの変形を停止し移動物体の抽出完了と判定する抽出完了判定部とを備えた請求項７、又は８に記載の移動物体の抽出装置。
- 少なくとも２枚連続した時系列で入力される画像から動きの情報を検出する動き検出ステップと、前記画像に含まれる少なくとも１つの移動物体を閉曲線で囲む輪郭モデルを構成する複数の輪郭候補点とその連結順序を記憶する輪郭モデル記憶ステップと、前記輪郭モデルを構成する輪郭候補点をその位置および前記画像から定義される評価関数を最小にする方向に移動することにより前記輪郭モデルを変形させる輪郭モデル変形ステップと、前記輪郭モデル変形ステップにより変形された輪郭モデルの一部がその輪郭モデルの別の部分に接触または交差したか否かを判定する輪郭モデル自己交差判定ステップと、前記輪郭モデル自己交差判定ステップにより接触または交差があると判定された場合に接触または交差部分で前記輪郭モデルを切断し複数の輪郭モデルに分裂させる輪郭モデル分裂ステップと、前記輪郭モデル記憶ステップに記憶されている複数の異なる輪郭モデルが前記輪郭モデル変形ステップにより変形されて相互に接触または交差したか否かを判定する輪郭モデル相互交差判定ステップと、前記輪郭モデル相互交差判定ステップにより接触または交差があると判定された少なくとも２ つの異なる輪郭モデルを１つの輪郭モデルに統合する輪郭モデル統合ステップとを備えた移動物体の抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08126396A JP3750184B2 (ja) | 1996-04-03 | 1996-04-03 | 移動物体の抽出装置及び抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08126396A JP3750184B2 (ja) | 1996-04-03 | 1996-04-03 | 移動物体の抽出装置及び抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09270014A JPH09270014A (ja) | 1997-10-14 |
| JP3750184B2 true JP3750184B2 (ja) | 2006-03-01 |
Family
ID=13741483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08126396A Expired - Fee Related JP3750184B2 (ja) | 1996-04-03 | 1996-04-03 | 移動物体の抽出装置及び抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3750184B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216519A (ja) * | 2000-02-04 | 2001-08-10 | Fujitsu Ltd | 交通監視装置 |
| JP2001266159A (ja) * | 2000-03-17 | 2001-09-28 | Toshiba Corp | 物体領域情報生成方法及び物体領域情報生成装置並びに近似多角形生成方法及び近似多角形生成装置 |
| US7003061B2 (en) | 2000-12-21 | 2006-02-21 | Adobe Systems Incorporated | Image extraction from complex scenes in digital video |
| US7418139B2 (en) | 2003-07-01 | 2008-08-26 | Honda Motor Co., Ltd. | Contour extraction apparatus, contour extraction method, and contour extraction program |
| JP4858761B2 (ja) * | 2006-05-17 | 2012-01-18 | 住友電気工業株式会社 | 衝突危険性判定システム及び警告システム |
| JP6474126B2 (ja) * | 2015-02-27 | 2019-02-27 | Kddi株式会社 | オブジェクト追跡方法、装置およびプログラム |
| JP6641633B2 (ja) * | 2016-03-10 | 2020-02-05 | スズキ株式会社 | 移動体検知システムおよびそのデータ整合性判定方法 |
| US10852420B2 (en) | 2018-05-18 | 2020-12-01 | Industrial Technology Research Institute | Object detection system, autonomous vehicle using the same, and object detection method thereof |
| JP7006809B2 (ja) * | 2018-11-02 | 2022-01-24 | 日本電気株式会社 | 動線補正装置、動線補正方法、および動線追跡プログラム |
| WO2022244346A1 (ja) * | 2021-05-17 | 2022-11-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
-
1996
- 1996-04-03 JP JP08126396A patent/JP3750184B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09270014A (ja) | 1997-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020000251A1 (zh) | 基于摄像机协同接力的路口违章视频识别方法 | |
| EP0567059B1 (en) | Object recognition system using image processing | |
| US5999877A (en) | Traffic flow monitor apparatus | |
| US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
| JP4981808B2 (ja) | センサに基づく車両の始動制御方法及び運転者支援システム | |
| JP3169483B2 (ja) | 道路環境認識装置 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN102696041B (zh) | 用于眼睛跟踪和司机睡意确认的成本效益高且稳健的系统和方法 | |
| EP1030188B1 (en) | Situation awareness system | |
| KR101859402B1 (ko) | 터널 내 카메라 간 물체 연계 추적 및 차선 변경 차량 탐지 방법 | |
| CN106652465A (zh) | 一种道路异常驾驶行为的识别方法及系统 | |
| JP3750184B2 (ja) | 移動物体の抽出装置及び抽出方法 | |
| CN107705577B (zh) | 一种基于车道线标定车辆违章变道的实时检测方法及系统 | |
| CN111126323A (zh) | 服务于交通违规检测的卡口元素识别与分析方法、系统 | |
| JPH1166319A (ja) | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 | |
| KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
| TWI335886B (en) | Methods and systems for identifying events for a vehicle | |
| CN112733598A (zh) | 车辆违法判别方法、装置、计算机设备和存储介质 | |
| KR102177614B1 (ko) | 교통 정보 수집을 위한 차로 생성 시스템 및 그 방법 | |
| CN112906428A (zh) | 影像侦测区域取得方法及空间使用情况的判定方法 | |
| JP2002008019A (ja) | 軌道認識装置及び軌道認識装置を用いた鉄道車両 | |
| Nejadasl et al. | Optical flow based vehicle tracking strengthened by statistical decisions | |
| CN113353071B (zh) | 一种基于深度学习的狭窄区域交汇车安全辅助方法和系统 | |
| JP2023536692A (ja) | レーストラックのａｉベースのモニタリング | |
| TWI730509B (zh) | 影像偵測區域取得方法及空間使用情況的判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050622 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |