JP3846135B2 - 移動物体追跡装置 - Google Patents
移動物体追跡装置 Download PDFInfo
- Publication number
- JP3846135B2 JP3846135B2 JP34133999A JP34133999A JP3846135B2 JP 3846135 B2 JP3846135 B2 JP 3846135B2 JP 34133999 A JP34133999 A JP 34133999A JP 34133999 A JP34133999 A JP 34133999A JP 3846135 B2 JP3846135 B2 JP 3846135B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- time
- moving object
- image
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、移動物体追跡装置に関し、特に撮像装置から取り込んだ画像内に存在する移動物体を抽出し、追跡することにより移動情報を計測する追跡手法に関するものである。
【0002】
【従来の技術】
連続的に撮影される画像内に存在する車両を追跡するための従来方法を、図1に説明的に示す。現時点(時刻t0)における画像が図1(b)で、それよりも過去(時刻t1)の画像が図1(a)であったとする。従来にあっては、図1に示すように時刻t1における画像内の追跡対象車両の抽出結果(車両p1、p2…)と、時刻t0における画像内の追跡車両の抽出結果(車両q1、q2…)を対応づける手法が一般的に用いられている。例えば図1においては、車両p1と車両q1が矢印で結ばれているが、これは時刻t1における車両p1が時刻t0における車両q1と同一車両であると結論して対応づけたことを意味する。
【0003】
上記のようにして対応づける方法としては、時刻t1までの入力画像における追跡対象車両から推定された個々の車両速度を用いて、時刻t0におけるそれぞれの車両位置を予測することで対応づけを行なう手法、あるいは時刻t1までの入力画像から得られた種々の車両の濃淡画像をテンプレートとして複数枚登録しておき、時刻t0での入力画像との正規化相関演算によるテンプレートマッチングを行なうことにより、車両の対応づけをおこなう手法がある。
【0004】
【発明が解決しようとする課題】
しかしながら、速度と位置を予測して対応づけをおこなう場合には、1時点前すなわち時刻t1での速度の計測誤差や速度の急激な変化により、時刻t0での車両の予測位置にずれが生じ、対応づけに失敗することがある。対応づけに失敗した場合の例を図2に示す。図2(a)(b)は、時刻t2(<t1)における画像と時刻t1における画像とから、車両p2´と車両p2とが同一車両であると対応づけると共に当該車両p2(p2´)の速度を推定するようすを示しており、図2(c)における点線枠は車両p2の推定速度に基づいて現時点t0における車両p2の予測位置を表している。この場合、実際には時刻t1における車両p2は現時点t0の車両q2であるにもかかわらず、予測位置の中心からもっとも近い位置にある車両は、時刻t0では車両q3であることから、車両p2は時刻t0における車両q3と対応づけられるという誤った結果が導かれてしまう。
【0005】
また、濃淡画像テンプレートを用いて対応づけを行なう場合では、精度よくテンプレートマッチングを行なうためには、車両の大きさ、形、輝度の違いに応じて多くのテンプレートを用意する必要がある。これに伴い正規化演算処理の計算コストはテンプレートの枚数に応じて増大し、処理の高速化が困難になる。
【0006】
さらに、上記従来手法においては、個々の車両追跡を独立に行なっているため、車両どうしが隣接している場合や、速度に急激な変化が起こった場合には、正確な対応づけが困難になる問題があった。
【0007】
本発明は、上記の従来例の問題点に鑑みてなされたものであり、その目的とするところは、1時点前および現時点における画像内の移動物体群の全体的な配置を参照することで、速度やテンプレートなどの余分な情報を用いることなく、安定して移動物体の追跡を行なうことができる移動物体追跡装置を提供することにある。
【0008】
【課題を解決するための手段】
請求項1に記載の移動物体追跡装置は、異なる時刻における複数の画像から抽出された複数の移動物体の情報をグラフ理論におけるグラフと対応させる手段と、グラフから構成される組合わせ最適化問題の最適解を得る手段と、この最適解によって異なる時刻の移動物体どうしを対応させる手段とを有する移動物体追跡装置において、画像から抽出した移動物体と共に、処理対象時刻の1時点前の画像内に存在しないが処理対象時刻の画像内に存在する移動物体に対応する点を1時点前の移動物体情報としてグラフに追加し、あるいは処理対象時刻の1時点前の画像内には存在していたが処理対象時刻の画像内には存在しない移動物体に対応する点を処理対象時刻の移動物体情報としてグラフに付加する機能を有することを特徴としている。
【0011】
請求項2に記載の移動物体追跡装置は、請求項1に記載した移動物体追跡装置における前記組合せ最適化問題の最適解を得る手段が、当該最適解を決定するための評価関数の生成において、処理対象時刻及びその1時点前の時刻における画像内全移動物体の相対的な位置関係を変数とすることを特徴としている。
【0012】
請求項3に記載の移動物体追跡装置は、請求項1又は2に記載した移動物体追跡装置における前記評価関数の生成において、移動物体の特性ないし移動状況に応じた拘束条件を適用することを特徴としている。
【0013】
【作用】
請求項1に記載の移動物体追跡装置にあっては、異なる時刻における複数の画像から抽出された複数の移動物体の情報をグラフ理論におけるグラフと対応させ、そのグラフに組合わせ最適化問題を適用し、その最適解によって異なる時刻の移動物体どうしを対応づけているので、渋滞等の位置予測誤差の影響を受けやすい状況においても、移動物体の安定した追跡を行なえる。
【0015】
さらに、請求項1に記載の移動物体追跡装置にあっては、処理対象時刻の1時点前の画像内に存在しないが処理対象時刻の画像内に現れた場合や、処理対象時刻の1時点前の画像に存在していた移動物体が視野外に消えた場合には、対応する点をグラフに付加しているので、画像内の移動物体だけでなく画像のフレーム外の車両も仮想点としてグラフに組み込むことができ、車両が画像のフレームに出入りした場合においても、すべての移動物体の対応付けを漏れなく求めることができる。
【0016】
請求項2に記載の移動物体追跡装置にあっては、処理対象時刻及びその1時点前の時刻における画像内全移動物体の相対的な位置関係を変数とした評価関数を用いているので、組み合わせ最適化問題の評価関数を全ての移動物体の相対的な位置関係で定義することができ、渋滞等における移動物体の重なりや位置誤差の影響をうけることなく安定した追跡を行うことができる。
【0017】
請求項3に記載の移動物体追跡装置にあっては、評価関数の生成時に、移動物体の特性ないし移動状況に応じた拘束条件を適用しているから、移動物体の特性や移動状況に鑑みれば不自然な状況を追跡結果の候補から除外することができ、処理速度を向上させると共に、誤った追跡結果を検出することを抑制できる。
【0018】
【発明の実施の形態】
(第1の実施形態)
図3は本発明の一実施形態による移動物体追跡装置の構成を示すブロック図、図4〜図11は当該移動物体追跡装置によって車両の移動を追跡する様子を説明する図である。
【0019】
移動物体追跡装置の構成を図3に示す。移動物体追跡処理装置は、入力装置1、追跡処理装置2、記憶装置3、出力装置11からなる。入力装置1は、所定の空間を撮影して一定時間毎の画像を取り込むものであって、道路上に設置されたカメラなどの撮像装置からなる。例えば、車両の走行状況を表している図4(a)(b)において、右側から走行してくる車両もしくは右側へ走行して行く車両を撮影している。
【0020】
図4(b)は処理対象時刻t0(通常は、現在時刻)における画像を示し、図4(a)はそれよりも1時点前の時刻t1における画像の一例を示している。なお、以下の説明では、時刻t0においては、n台の車両(図4(b)では3台を示している)がとらえられ、時刻t1においては、m台の車両(図4(a)では2台を示している)がとらえられているものとする。
【0021】
さらに追跡処理装置2は、車両情報抽出手段4、グラフ作成手段6、評価関数値算出手段7、グラフ組み合わせ算出手段8、通過台数・速度算出手段10からなる。また、記憶装置3は、車両情報記憶手段5と追跡車両情報記憶手段9からなり、RAMやハードディスク装置などで構成されている。
【0022】
車両情報抽出手段4は、入力装置1から取得した画像情報に基づき、例えば画像における車両部分の輝度平均や、車両部分の面積、車両の画素位置、あるいは入力装置1の中心直下を基準とした車両の奥行き距離などの車両情報を算出する。ここで得られた各車両の情報は、各撮影時刻における車両情報抽出結果として記憶装置3の車両情報記憶手段5に記憶される。車両情報は、画像から抽出された各車両毎のデータテーブル12として車両情報記憶手段5に記憶される。例えば、時刻t0に画像から抽出された車両qjの車両情報のデータテーブル12の一例を図5に示す。処理時刻の欄TB(2)は、処理時刻(あるいは撮影時刻)を記録し、車両分類ラベルの欄TB(1)は、当該時刻の画像から抽出された車両に付した分類ラベル、例えばp1、p2、…、q1、q2、…などを表している。距離欄TB(3)は入力装置1の設置位置(あるいは特定位置)から当該車両p1、p2、…、q1、q2、…までの距離X(p1)、X(p2)、…、X(q1)、X(q2)、…を記録し、輝度平均欄TB(4)は、当該車両に対応する画像部分の輝度平均値を表し、面積欄TB(5)は当該車両に対応する画像の面積(あるいは、入力装置1から一定距離における車両面積に換算したもの)を記録している。
【0023】
グラフ作成手段6は、各車線ごとに、処理対象時刻t0における輝度平均や位置などの車両情報と、その1時点前である時刻t1における車両情報を車両情報記憶手段5から取り出し、グラフ理論における平面上の2部グラフG=(V,E)における点集合Vを作成する。ただし、点集合Vは空でない2つの点集合P、Qに分けられるものとする。点集合P、Qの要素はそれぞれ、
P={pi|1≦i≦m}
Q={qj|1≦j≦n}
で表され、車両情報と1対1に対応づけられるものとする。具体的に言うと、点集合P={pi}は時刻t1における画像から抽出されたm台の車両p1、p2、…、pmに対応し、点集合Q={qj}は時刻t0における画像から抽出されたn台の車両q1、q2、…、qnに対応している。実際には、車両には大きさがあるから、これを点集合の要素と結びつけるためには、点集合P、Qの要素として車両情報を利用する。例えば、点集合P、Qの要素として、車両先頭の画像内座標(画素位置)や入力装置1の設置位置からの奥行き距離などが用いられる。また、E={eij|1≦i≦m、1≦j≦n}は枝集合を表し、枝eij=pi/qjは点piと点qjをグラフ平面上で最短に結ぶ直線を表す。
【0024】
なお、各車両の分類ラベルとしては、例えば画像内の車両に近いものから順に1、2、…というように整数を付与するだけでもよい。また、各車両pi、qjとその距離(座標)X(pi)、X(qj)とは前記のように車両情報によって結びつけられているから、点集合P、Qの要素(分類ラベル)として各車両の位置X(pi)、X(qj)を用いてもよい。すなわち、
P={X(pi)|1≦i≦m}
Q={X(qj)|1≦j≦n}
としてもよい。
【0025】
2つの時刻の画像から2部グラフGを作成する場合、実際には、時刻t1と時刻t0とで画像内の車両数が異なることもある。すなわち、図4に示すように、時刻t1の画像内に存在していなかった車両が時刻t0に視野内に入ってきている場合には、時刻t0で車両数が増加し、逆に、時刻t1の画像内に存在していた車両が時刻t0に視野から外に出ている場合には、時刻t0に車両数が減少する。また、時刻t1と時刻t0とで車両数が変わっていない場合でも、両方の出来事が同時に起こっている可能性もある。このような場合には、画像内にとらえられている車両から抽出した点集合要素だけでは正しい枝集合で点集合P、Qどうしを結ぶことができない。
【0026】
これは視野外の要素(車両)も考慮してグラフを作成する必要のあることを示している。これを解決するため、グラフ作成時においては、点集合PとQの要素数m、nを比較し、要素数が増加した場合(m<n)には視野に入ってきた車両が存在する(図4参照)と仮定し、この車両を追跡するため、図6に示すように点集合Pに視野外の要素Aを追加する。逆に、要素数が減少した場合(m>n)には視野から出た車両が存在すると仮定し、この車両を追跡するため、図7に示すように点集合Qに視野外の要素Dを追加する。また、要素数が等しいとき(m=n)には、視野から出た車両と視野に入った車両とが存在する場合を考慮し、点集合Qに視野外の要素Dを追加すると共に、集合Pに視野外の要素Aを追加する。ただし、1時点前の画像との比較で、2台以上の車両の増減があった場合でも、付加する要素A、Dはそれぞれ1つだけとする。なお、このような要素A、Dを用いれば、渋滞で車両が他の車両に隠れたり、他の車両の陰から現れたりするような場合にも対応可能となる。
【0027】
視野外の要素A、Dも、点集合P、Qの要素と同様、車両先頭の画像座標や撮像位置からの奥行き距離などの車両情報で定義されるが、視野外の車両は実際には計測することができないので、画像座標や奥行き距離の値は理論的には無限大となる。そこで追跡のための要素A、Dには点集合P、Qの要素の距離平均値と比較して十分に大きな値を車両距離とする。例えば、要素Aの車両情報には、視野範囲の最小値Lminよりも小さな適当な距離として、−10,000m(入力装置1からの距離Xは、車両の進行方向を正の値とし、後方を負の値とする)を割り当てる。要素Dの車両情報には、視野範囲の最大値Lmaxよりも大きな適当な距離として、+10,000mを割り当てる。
【0028】
図8のフローチャートは、上記グラフ作成手段6のデータ処理手順を表したものである。すなわち、グラフ作成手段6は、車両情報抽出手段4で作成された時刻t0の車両情報を読み込むと共に車両情報記憶手段5に記録されている時刻t1の車両情報を読み込み(ステップS21)、時刻t0の車両情報から点集合Qを作成し、時刻t1の車両情報から点集合Pを作成する(ステップS22)。ついで、点集合PとQの要素数m、nを比較し(ステップS23)、要素数が増加した場合(m<n)には点集合Pに視野外の要素Aを追加する(ステップS24)。この要素Aの車両情報には、視野範囲の後方距離(例えば、−10,000m)を割り当てる。逆に、要素数が減少した場合(m>n)には点集合Qに視野外の要素Dを追加する(ステップS25)。この要素Dの車両情報には、視野範囲の前方距離(例えば、+10,000m)を割り当てる。また、要素数が等しい場合(m=n)には、点集合Qに視野外の要素Dを追加すると共に集合Pに視野外の要素Aを追加する(ステップS26)。そして、要素Dの車両情報として、視野範囲の前方距離(例えば、+10,000m)を割り当て、要素Aの車両情報として視野範囲の後方距離(例えば、−10,000m)を割り当てる。
【0029】
図6及び図7は、時刻t1および時刻t0の画像から得られた車両位置情報をもとに作成した、平面上における2部グラフGの点集合P、Qを表している。時刻t1における車両位置情報をグラフとして定義したのが点集合P、時刻t0における車両位置情報をグラフとして定義したのが点集合Qである。図6では、時刻t0における車両の数が、1時点前の時刻t1における車両の数より1だけ多いので、時刻t1における車両位置に対応する点集合Pに要素Aが加えられている。図7では、時刻t0における車両の数が、時刻t1における車両の数より1だけ少ないので、時刻t0における車両位置に対応する点集合Qに要素Dが加えられている。
【0030】
評価関数値算出手段7は、グラフ作成手段6で作成された2部グラフGの各枝の重みによって構成される評価関数f(G)の最大値又は最小値を求める。評価関数f(G)の重みは、1時点前の時刻t1における車両p1、p2、…、pmと現時点t0における車両q1、q2、…、qnとの対応づけの組み合わせの実現度合いに応じて設定する。このような評価関数f(G)は局所的な車両位置のみで構成することもできるが、本発明では、1時点前および現時点における全ての車両情報(及び、追加された車両A、Dに関する車両情報)を反映させた評価関数f(G)を考える。車両情報を各車両について漏れなく用いることにより、例えば、画像内の車両のある1台が1時刻内に、実際の交通状況として起きえない程飛躍的に移動するような事態を排除でき、このような結果となるような対応づけを誤って出力することがなくなる。
【0031】
評価関数f(G)の一例を次の▲1▼式に示す。ただし、d(eij)は2部グラフGにおける枝eijの重みである。重みd(eij)の例としては、時刻t1及び時刻t0における車両輝度平均の差や車両位置の差が挙げられる。以下の説明においては、枝eijの重みとして時刻t1における車両piの距離X(pi)と時刻t0における車両qjの距離X(qj)との差、すなわち移動距離d(eij)=X(qj)−X(pi)を用い、評価関数f(G)の最小値を求めるものとする。
【0032】
【数1】
【0033】
ここで、総和は時刻t0とt1の画像内に存在する車両(要素A、Dが存在する場合には、点A、Dを含む)に関する点集合Pと点集合Qを結ぶすべての枝に関するものであるが、走行する車両の追跡という特殊性に鑑み、上記評価関数f(G)を次の▲2▼式のように改良すると共に下記のような拘束条件を適用する。
【0034】
【数2】
【0035】
ここで、αij、βijは下記の拘束条件1〜5で決まる定数であって、拘束条件による指定がない限り、αij=1、βij=0(つまり、▲1▼式)である。このように評価関数f(G)の重みとして車両の移動距離を採用した場合、撮像時間の間隔が十分に短ければ車両の移動距離も車間距離に比べて十分に小さくなるから、実際の車両配置は評価関数f(G)の最小値に対応すると考えることができる。
【0036】
評価関数f(G)として車両の移動距離の総和を用いれば、移動距離の総和として撮像時間間隔Δtの間の実現値として起こり得ないような事象(例えば、撮像時間間隔Δtの間での車両の移動限界を超えるような走行状態)をあらかじめ除去しておくことができ、車両対応づけの組み合わせとして起こり得る確率が高いものを高速に求めることができる。
【0037】
また、上記▲2▼式の評価関数を用いるにあたっては、追跡対象である車両の挙動ないし特殊性を考慮し、以下のようないくつかの拘束条件を設定する。
拘束条件1: 移動距離d(eij)=X(pi)−X(qj)<0の場合(車両後退の場合)には、枝eijの重み関数に所定の正の定数βijを加える。
拘束条件2: 点集合Pの要素をその距離Xによって座標軸上に配置し、点集合Qの要素をその距離Xによって向かい合う座標軸上に配置したとき、すべてのi、j、k、l(1≦i≦m、1≦j≦n、1≦k≦m,1≦l≦n)について、piとqjを結ぶ枝eijと枝eklは交差しない。
拘束条件3: 要素Aを負方向の最も端に配置し、要素Dを正方向の最も端に配置したとき、一端に要素Aを持つ枝e+jと一端に要素Dを持つ枝ei-のみ、他の枝との交差を認める。
拘束条件4: 要素A、要素Dから出る枝の最大数は、max(1,|m−n|)とする。
拘束条件5: 一端に要素A又は要素Dを持つ枝eijの重み関数は一定値とする。すなわち、この場合には、αij=0、βij≠0となる。
【0038】
上記拘束条件1は、車両が後退する状況については、重み関数の値を大きくして判定結果に反映されにくくするものである。このように進行方向に応じて重みを変えるようにすれば、画面の中のある車両が1時点Δtの間に突然進行方向を変えるなどの不自然な状況を追跡結果の候補から除外することができ、処理コスト削減につながるとともに、誤った追跡結果を検出することを排除できる。
【0039】
拘束条件2は短い撮像時間間隔Δtでは車両の追い越しは起きないということである。この拘束条件は、別な表現によれば、
X(pi)<X(pk)かつX(ql)<X(qj)であれば、
αij=αkl=βij=βkl=0
X(pk)<X(pi)かつX(qj)<X(ql)であれば、
αij=αkl=βij=βkl=0
となる。このように、1時点Δtの間の車両の前後関係の入れ替わりを排除することにより、最適解の探索回数が減り、処理コスト削減につながるとともに誤った追跡結果を検出することがなくなる。
【0040】
また、拘束条件3、4、5を考慮することにより、時刻t1で抽出された車両が時刻t0で抽出されなかった場合、あるいはその逆に、時刻t1で抽出されていない車両が時刻t0で抽出された場合でも、他の車両の追跡結果に影響を及ぼすことがなくなる。拘束条件3は、車両の増減がなく(m=n)点A、Dが付加された場合には、点A、Dを結んだ枝e+-が最適解に含まれることがあり、その場合には、点A、Dを結ぶ枝e+-が他の枝と交差することがあるからである。拘束条件4は、車両の増減が2台以上でも付加される点A、Dは1つとしたことに対応するものである。拘束条件5は、付加された点A、Dについては、正しい距離が分からないからである。このように点A、Dの枝に重みを付けることにより、車両の抽出失敗の場合でも、実際には有り得ないような対応づけをすることを避けることができる。
【0041】
上記1から5の拘束条件を設定することにより、すべての組み合わせについて評価関数f(G)を計算する必要性がなくなり、最適化問題を高速に解くことが可能になる。また車両速度の急激な変化や低速走行の場合でも、前後車両の位置関係が急に逆転するなどの不自然な状態を除外でき、正確に車両追跡を行なうことが可能になる。
【0042】
図9は上記拘束手段1〜5を考慮して評価関数を算出する処理手順を表したフローチャートを示す。この手順によれば、まず点集合P、Qの各要素のうちから未だ枝によって結ばれていない点pi、qjを選択する(ステップS31)。ついで、初期値としてβij=0とした(ステップS32)後、枝eijが点A又は点Dを含む枝か(つまり、pi又はqjが点A又は点Dか)を判別する(ステップS33)。点Aも点Dも含まない枝の場合には、既に存在する任意の枝ekl=pk/qlに対してX(pi)−X(pk)<0かつX(ql)−X(qj)<0かどうか(ステップS34)、あるいはX(pk)−X(pi)<0かつX(qj)−X(ql)<0かどうか(ステップS35)を判定する。ステップS34とステップS35のうちいずれか一方がYESであれば(すなわち、枝eijと枝eklとが交差する。)、拘束条件2によってαij=βij=0であるから、この枝に関する重みの演算を中止し、別な点pi、qjを選択してステップS31以下の処理を実行する。
【0043】
これに対し、ステップS34でもステップS35でもNOであれば、d(eij)=X(qj)−X(pi)<0かどうか判定する(ステップS36)。ステップS36でNOであれば、当該枝eijで結ばれている車両は前進又は停止しているから、そのまま(βij=0)でf(G)に重みd(eij)を付加する(ステップS40)。ステップS36でYESであれば、当該枝eijで結ばれている車両は後退しているから、所定の定数βij(>0)を加えて重みd(eij)+βijをf(G)に付加する(ステップS37、S40)。
【0044】
また、枝の少なくとも一方が点A又は点Dを含む場合(ステップS33でYESの場合)には、点A又は点Dにつながっている枝の数を数え(ステップS38)、枝の数がmax(1,|m−n|)を越えていれば、この枝に関する重みの演算を中止し、別な点pi、qjを選択してステップS31以下の処理を実行する。枝の数がmax(1,|m−n|)以下であれば、この枝に一定の重みβijを与え(αij=0)、評価関数f(G)に付加する。
【0045】
このような処理を繰り返して(ステップS31〜S40)すべての要素どうしを枝で結び終えたら(ステップS41)、1つの有意な評価関数f(G)が完成し、処理が終了する。この処理を繰り返すことにより種々の枝の組み合わせに対応する評価関数f(G)が得られる。
【0046】
つぎに、グラフ組み合わせ算出手段8では、評価関数算出手段7により得られた評価関数f(G)のうちから最大値又は最小値(上記のように重みとして車両の移動距離を用いる場合には、最小値)を実現する2部グラフGを決定する。図10は図6の点集合P、Qから組合わせ最適化問題を解くことによって得られた2部グラフGである。最終的に決定された枝で結ばれている要素どうしは、同一車両として結論づけられたことを表している。特に、要素Aと結ばれている要素q3に対応する車両は、時刻t0において新たに追跡対象として加えられた車両である。
【0047】
こうして2点グラフGの組合わせが決定した後は、追跡車両テーブル記憶手段9に記録されている追跡車両テーブル13の更新を行なう。時刻t0における追跡車両テーブル13は、時刻tk(=t0−kΔt;Δtは撮像時間間隔)までの各追跡対象車両のラベル、点集合Qの要素{qj}、この要素に対応する車両位置X(qj)などの値、追跡回数などから構成される。このような追跡車両テーブル13の例を図11に示す。ただし、kは格納する過去のフレーム数を表す。
【0048】
2点グラフGの組み合わせから、時刻t1での点集合Pがそれぞれ追跡車両テーブル9に記憶させた点集合Qのいずれと一致するかを検出し、時刻t0における点集合Qの要素のうち、当該要素に対応する値を時刻t0における点集合Pに応じて更新し、追跡回数の値を1増加させるとともに、追跡フラグが0であるならば1に設定する。ただし、点集合Pの要素がAである場合は、新たな追跡車両のラベルを用意して追跡フラグを0にし、追跡車両テーブルに追加する。追跡車両テーブルを参照した際に、追跡フラグが1かつ追跡回数が一定値を超えており、さらに通過台数検知フラグが0であれば追跡フラグを0に設定する。
【0049】
通過台数・速度算出手段10では、追跡車両テーブル記憶手段9に記憶された追跡車両テーブル13から時刻、点集合Pの要素に対応する値などを読み込み、通過台数検知フラグが1であれば、通過台数および追跡対象の車両速度を算出し、その結果を出力装置11へ送る。
【0050】
このようにしてグラフ理論を利用して最適化問題を解くことにより車両を対応づけることができ、その結果を用いれば通行車両の平均速度や通過台数を算出することができる。特に、渋滞などによって車両が他の車両に隠れるような場合でも交通量を精度よく求められる。
【0051】
本発明の移動物体追跡装置は、移動物体をグラフ理論で追跡するものであり、全体の位置関係をみながら各移動物体を非独立に追跡しているが、移動物体の軌跡の推定という手法は用いていない。したがって、予測ミスによって車両の対応付けが誤る恐れがない。また、車両追跡を非独立に行なっているので、車両どうしが隣接している場合や、速度に急激な変化が起こった場合でも、正確な対応づけが可能である。さらに、この発明では、移動物体の追跡に必要な拘束条件を用いることにより、追跡精度の向上と計算コストの削減を図ることできる。
【図面の簡単な説明】
【図1】従来の車両追跡方法を説明する図である。
【図2】従来の車両追跡方法の問題点を説明する図である。
【図3】本発明の一実施形態による車両追跡装置の構成を示すブロック図である。
【図4】時刻t0とその1時点前の時刻t1における画像を示す図である。
【図5】車両情報記憶手段に記録されているデータテーブルを示す図である。
【図6】点集合P及びQを示す図である。
【図7】別な点集合P及びQを示す図である。
【図8】点集合P及びQの作成手順を示すフローチャートである。
【図9】評価関数の作成手順を示すフローチャートである。
【図10】図6の点集合P、Qから組合わせ最適化問題を解くことによって得られた2部グラフGを示す図である。
【図11】追跡車両情報記憶手段に記録されている追跡車両テーブルを示す図である。
【符号の説明】
1 入力装置
2 追跡処理装置
3 記憶装置
4 車両情報抽出手段
5 車両情報記憶手段
6 グラフ作成手段
7 評価関数値算出手段
8 算出手段
9 追跡車両情報記憶手段
10 通過台数・速度算出手段
11 出力装置
12 データテーブル
13 追跡車両テーブル
pi(1≦i≦m) 点集合Pの要素
qj(1≦j≦n) 点集合Qの要素
A 点集合Pに付加された要素
D 点集合Qに付加された要素
Claims (3)
- 異なる時刻における複数の画像から抽出された複数の移動物体の情報をグラフ理論におけるグラフと対応させる手段と、グラフから構成される組合わせ最適化問題の最適解を得る手段と、この最適解を移動物体の追跡状況に対応させる手段とを有する移動物体追跡装置において、
画像から抽出した移動物体と共に、処理対象時刻の1時点前の画像内に存在しないが処理対象時刻の画像内に存在する移動物体に対応する点を1時点前の移動物体情報としてグラフに追加し、あるいは処理対象時刻の1時点前の画像内には存在していたが処理対象時刻の画像内には存在しない移動物体に対応する点を処理対象時刻の移動物体情報としてグラフに付加する機能を有することを特徴とする移動物体追跡装置。 - 前記組合せ最適化問題の最適解を得る手段は、当該最適解を決定するための評価関数の生成において、処理対象時刻及びその1時点前の時刻における画像内全移動物体の相対的な位置関係を変数とすることを特徴とする、請求項1に記載の移動物体追跡装置。
- 前記評価関数の生成において、移動物体の特性ないし移動状況に応じた拘束条件を適用することを特徴とする、請求項1又は2に記載の移動物体追跡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34133999A JP3846135B2 (ja) | 1999-11-30 | 1999-11-30 | 移動物体追跡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34133999A JP3846135B2 (ja) | 1999-11-30 | 1999-11-30 | 移動物体追跡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001155165A JP2001155165A (ja) | 2001-06-08 |
JP3846135B2 true JP3846135B2 (ja) | 2006-11-15 |
Family
ID=18345306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34133999A Expired - Lifetime JP3846135B2 (ja) | 1999-11-30 | 1999-11-30 | 移動物体追跡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3846135B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11400935B2 (en) * | 2018-04-23 | 2022-08-02 | Renault S.A.S. | Method for a motor vehicle to select a preferred traffic lane to cross a toll area |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101071A (zh) * | 2019-06-18 | 2020-12-18 | 富士通株式会社 | 停车检测方法、停车检测装置和电子设备 |
-
1999
- 1999-11-30 JP JP34133999A patent/JP3846135B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11400935B2 (en) * | 2018-04-23 | 2022-08-02 | Renault S.A.S. | Method for a motor vehicle to select a preferred traffic lane to cross a toll area |
Also Published As
Publication number | Publication date |
---|---|
JP2001155165A (ja) | 2001-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829351B (zh) | 车道信息的检测方法、装置及计算机可读存储介质 | |
JP5276721B2 (ja) | 画像中の障害物を識別する方法および装置 | |
JP4919036B2 (ja) | 移動物体認識装置 | |
US11935250B2 (en) | Method, device and computer-readable storage medium with instructions for processing sensor data | |
JP2004037239A (ja) | 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置 | |
JP6707022B2 (ja) | ステレオカメラ | |
JP5164351B2 (ja) | 物体検出装置および物体検出方法 | |
JP2000357233A (ja) | 物体認識装置 | |
JP2010244194A (ja) | 物体識別装置 | |
WO2019208271A1 (ja) | 電子制御装置、演算方法 | |
US20080310678A1 (en) | Pedestrian Detecting Apparatus | |
JP2019530924A (ja) | カメラ画像からのオブジェクトの検出 | |
JP2016143364A (ja) | 位置同定装置、位置同定方法、及びプログラム | |
JP3846135B2 (ja) | 移動物体追跡装置 | |
JP2003085685A (ja) | 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法 | |
WO2023184197A1 (zh) | 目标跟踪方法、装置、系统及存储介质 | |
JPWO2020170301A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
CN115953751A (zh) | 车道线检测方法、装置及电子设备 | |
JP5903901B2 (ja) | 車両位置算出装置 | |
JP2000259997A (ja) | 先行車の高さおよび車間距離計測装置 | |
JP7525247B2 (ja) | 車種判定装置、車種判定方法、および車種判定プログラム | |
JP4584405B2 (ja) | 3次元物体検出装置と3次元物体検出方法及び記録媒体 | |
JP4661578B2 (ja) | 移動体認識装置 | |
US11195287B2 (en) | Method and device for checking the plausibility of a flow vector hypothesis | |
JP2624117B2 (ja) | 車両検出装置および車両追跡装置および車両監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060502 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3846135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |