JP3846135B2

JP3846135B2 - 移動物体追跡装置

Info

Publication number: JP3846135B2
Application number: JP34133999A
Authority: JP
Inventors: 正樹諏訪
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1999-11-30
Filing date: 1999-11-30
Publication date: 2006-11-15
Anticipated expiration: 2019-11-30
Also published as: JP2001155165A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動物体追跡装置に関し、特に撮像装置から取り込んだ画像内に存在する移動物体を抽出し、追跡することにより移動情報を計測する追跡手法に関するものである。
【０００２】
【従来の技術】
連続的に撮影される画像内に存在する車両を追跡するための従来方法を、図１に説明的に示す。現時点（時刻ｔ０）における画像が図１（ｂ）で、それよりも過去（時刻ｔ１）の画像が図１（ａ）であったとする。従来にあっては、図１に示すように時刻ｔ１における画像内の追跡対象車両の抽出結果（車両ｐ１、ｐ２…）と、時刻ｔ０における画像内の追跡車両の抽出結果（車両ｑ１、ｑ２…）を対応づける手法が一般的に用いられている。例えば図１においては、車両ｐ１と車両ｑ１が矢印で結ばれているが、これは時刻ｔ１における車両ｐ１が時刻ｔ０における車両ｑ１と同一車両であると結論して対応づけたことを意味する。
【０００３】
上記のようにして対応づける方法としては、時刻ｔ１までの入力画像における追跡対象車両から推定された個々の車両速度を用いて、時刻ｔ０におけるそれぞれの車両位置を予測することで対応づけを行なう手法、あるいは時刻ｔ１までの入力画像から得られた種々の車両の濃淡画像をテンプレートとして複数枚登録しておき、時刻ｔ０での入力画像との正規化相関演算によるテンプレートマッチングを行なうことにより、車両の対応づけをおこなう手法がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、速度と位置を予測して対応づけをおこなう場合には、１時点前すなわち時刻ｔ１での速度の計測誤差や速度の急激な変化により、時刻ｔ０での車両の予測位置にずれが生じ、対応づけに失敗することがある。対応づけに失敗した場合の例を図２に示す。図２（ａ）（ｂ）は、時刻ｔ２（＜ｔ１）における画像と時刻ｔ１における画像とから、車両ｐ２´と車両ｐ２とが同一車両であると対応づけると共に当該車両ｐ２（ｐ２´）の速度を推定するようすを示しており、図２（ｃ）における点線枠は車両ｐ２の推定速度に基づいて現時点ｔ０における車両ｐ２の予測位置を表している。この場合、実際には時刻ｔ１における車両ｐ２は現時点ｔ０の車両ｑ２であるにもかかわらず、予測位置の中心からもっとも近い位置にある車両は、時刻ｔ０では車両ｑ３であることから、車両ｐ２は時刻ｔ０における車両ｑ３と対応づけられるという誤った結果が導かれてしまう。
【０００５】
また、濃淡画像テンプレートを用いて対応づけを行なう場合では、精度よくテンプレートマッチングを行なうためには、車両の大きさ、形、輝度の違いに応じて多くのテンプレートを用意する必要がある。これに伴い正規化演算処理の計算コストはテンプレートの枚数に応じて増大し、処理の高速化が困難になる。
【０００６】
さらに、上記従来手法においては、個々の車両追跡を独立に行なっているため、車両どうしが隣接している場合や、速度に急激な変化が起こった場合には、正確な対応づけが困難になる問題があった。
【０００７】
本発明は、上記の従来例の問題点に鑑みてなされたものであり、その目的とするところは、１時点前および現時点における画像内の移動物体群の全体的な配置を参照することで、速度やテンプレートなどの余分な情報を用いることなく、安定して移動物体の追跡を行なうことができる移動物体追跡装置を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載の移動物体追跡装置は、異なる時刻における複数の画像から抽出された複数の移動物体の情報をグラフ理論におけるグラフと対応させる手段と、グラフから構成される組合わせ最適化問題の最適解を得る手段と、この最適解によって異なる時刻の移動物体どうしを対応させる手段とを有する移動物体追跡装置において、画像から抽出した移動物体と共に、処理対象時刻の１時点前の画像内に存在しないが処理対象時刻の画像内に存在する移動物体に対応する点を１時点前の移動物体情報としてグラフに追加し、あるいは処理対象時刻の１時点前の画像内には存在していたが処理対象時刻の画像内には存在しない移動物体に対応する点を処理対象時刻の移動物体情報としてグラフに付加する機能を有することを特徴としている。
【００１１】
請求項２に記載の移動物体追跡装置は、請求項１に記載した移動物体追跡装置における前記組合せ最適化問題の最適解を得る手段が、当該最適解を決定するための評価関数の生成において、処理対象時刻及びその１時点前の時刻における画像内全移動物体の相対的な位置関係を変数とすることを特徴としている。
【００１２】
請求項３に記載の移動物体追跡装置は、請求項１又は２に記載した移動物体追跡装置における前記評価関数の生成において、移動物体の特性ないし移動状況に応じた拘束条件を適用することを特徴としている。
【００１３】
【作用】
請求項１に記載の移動物体追跡装置にあっては、異なる時刻における複数の画像から抽出された複数の移動物体の情報をグラフ理論におけるグラフと対応させ、そのグラフに組合わせ最適化問題を適用し、その最適解によって異なる時刻の移動物体どうしを対応づけているので、渋滞等の位置予測誤差の影響を受けやすい状況においても、移動物体の安定した追跡を行なえる。
【００１５】
さらに、請求項１に記載の移動物体追跡装置にあっては、処理対象時刻の１時点前の画像内に存在しないが処理対象時刻の画像内に現れた場合や、処理対象時刻の１時点前の画像に存在していた移動物体が視野外に消えた場合には、対応する点をグラフに付加しているので、画像内の移動物体だけでなく画像のフレーム外の車両も仮想点としてグラフに組み込むことができ、車両が画像のフレームに出入りした場合においても、すべての移動物体の対応付けを漏れなく求めることができる。
【００１６】
請求項２に記載の移動物体追跡装置にあっては、処理対象時刻及びその１時点前の時刻における画像内全移動物体の相対的な位置関係を変数とした評価関数を用いているので、組み合わせ最適化問題の評価関数を全ての移動物体の相対的な位置関係で定義することができ、渋滞等における移動物体の重なりや位置誤差の影響をうけることなく安定した追跡を行うことができる。
【００１７】
請求項３に記載の移動物体追跡装置にあっては、評価関数の生成時に、移動物体の特性ないし移動状況に応じた拘束条件を適用しているから、移動物体の特性や移動状況に鑑みれば不自然な状況を追跡結果の候補から除外することができ、処理速度を向上させると共に、誤った追跡結果を検出することを抑制できる。
【００１８】
【発明の実施の形態】
（第１の実施形態）
図３は本発明の一実施形態による移動物体追跡装置の構成を示すブロック図、図４〜図１１は当該移動物体追跡装置によって車両の移動を追跡する様子を説明する図である。
【００１９】
移動物体追跡装置の構成を図３に示す。移動物体追跡処理装置は、入力装置１、追跡処理装置２、記憶装置３、出力装置１１からなる。入力装置１は、所定の空間を撮影して一定時間毎の画像を取り込むものであって、道路上に設置されたカメラなどの撮像装置からなる。例えば、車両の走行状況を表している図４（ａ）（ｂ）において、右側から走行してくる車両もしくは右側へ走行して行く車両を撮影している。
【００２０】
図４（ｂ）は処理対象時刻ｔ０（通常は、現在時刻）における画像を示し、図４（ａ）はそれよりも１時点前の時刻ｔ１における画像の一例を示している。なお、以下の説明では、時刻ｔ０においては、ｎ台の車両（図４（ｂ）では３台を示している）がとらえられ、時刻ｔ１においては、ｍ台の車両（図４（ａ）では２台を示している）がとらえられているものとする。
【００２１】
さらに追跡処理装置２は、車両情報抽出手段４、グラフ作成手段６、評価関数値算出手段７、グラフ組み合わせ算出手段８、通過台数・速度算出手段１０からなる。また、記憶装置３は、車両情報記憶手段５と追跡車両情報記憶手段９からなり、ＲＡＭやハードディスク装置などで構成されている。
【００２２】
車両情報抽出手段４は、入力装置１から取得した画像情報に基づき、例えば画像における車両部分の輝度平均や、車両部分の面積、車両の画素位置、あるいは入力装置１の中心直下を基準とした車両の奥行き距離などの車両情報を算出する。ここで得られた各車両の情報は、各撮影時刻における車両情報抽出結果として記憶装置３の車両情報記憶手段５に記憶される。車両情報は、画像から抽出された各車両毎のデータテーブル１２として車両情報記憶手段５に記憶される。例えば、時刻ｔ０に画像から抽出された車両ｑjの車両情報のデータテーブル１２の一例を図５に示す。処理時刻の欄ＴＢ（２）は、処理時刻（あるいは撮影時刻）を記録し、車両分類ラベルの欄ＴＢ（１）は、当該時刻の画像から抽出された車両に付した分類ラベル、例えばｐ１、ｐ２、…、ｑ１、ｑ２、…などを表している。距離欄ＴＢ（３）は入力装置１の設置位置（あるいは特定位置）から当該車両ｐ１、ｐ２、…、ｑ１、ｑ２、…までの距離Ｘ（ｐ１)、Ｘ（ｐ２)、…、Ｘ（ｑ１)、Ｘ（ｑ２)、…を記録し、輝度平均欄ＴＢ（４）は、当該車両に対応する画像部分の輝度平均値を表し、面積欄ＴＢ（５）は当該車両に対応する画像の面積（あるいは、入力装置１から一定距離における車両面積に換算したもの）を記録している。
【００２３】
グラフ作成手段６は、各車線ごとに、処理対象時刻ｔ０における輝度平均や位置などの車両情報と、その１時点前である時刻ｔ１における車両情報を車両情報記憶手段５から取り出し、グラフ理論における平面上の２部グラフＧ＝（Ｖ，Ｅ）における点集合Ｖを作成する。ただし、点集合Ｖは空でない２つの点集合Ｐ、Ｑに分けられるものとする。点集合Ｐ、Ｑの要素はそれぞれ、
Ｐ＝｛ｐｉ｜１≦ｉ≦ｍ｝
Ｑ＝｛ｑｊ｜１≦ｊ≦ｎ｝
で表され、車両情報と１対１に対応づけられるものとする。具体的に言うと、点集合Ｐ＝｛ｐｉ｝は時刻ｔ１における画像から抽出されたｍ台の車両ｐ１、ｐ２、…、ｐｍに対応し、点集合Ｑ＝｛ｑｊ｝は時刻ｔ０における画像から抽出されたｎ台の車両ｑ１、ｑ２、…、ｑｎに対応している。実際には、車両には大きさがあるから、これを点集合の要素と結びつけるためには、点集合Ｐ、Ｑの要素として車両情報を利用する。例えば、点集合Ｐ、Ｑの要素として、車両先頭の画像内座標（画素位置）や入力装置１の設置位置からの奥行き距離などが用いられる。また、Ｅ＝｛ｅij｜１≦ｉ≦ｍ、１≦ｊ≦ｎ｝は枝集合を表し、枝ｅij＝ｐi／ｑjは点ｐiと点ｑjをグラフ平面上で最短に結ぶ直線を表す。
【００２４】
なお、各車両の分類ラベルとしては、例えば画像内の車両に近いものから順に１、２、…というように整数を付与するだけでもよい。また、各車両ｐi、ｑｊとその距離（座標）Ｘ（ｐi)、Ｘ（ｑj)とは前記のように車両情報によって結びつけられているから、点集合Ｐ、Ｑの要素（分類ラベル）として各車両の位置Ｘ（ｐi)、Ｘ（ｑj)を用いてもよい。すなわち、
Ｐ＝｛Ｘ（ｐｉ)｜１≦ｉ≦ｍ｝
Ｑ＝｛Ｘ（ｑｊ)｜１≦ｊ≦ｎ｝
としてもよい。
【００２５】
２つの時刻の画像から２部グラフＧを作成する場合、実際には、時刻ｔ１と時刻ｔ０とで画像内の車両数が異なることもある。すなわち、図４に示すように、時刻ｔ１の画像内に存在していなかった車両が時刻ｔ０に視野内に入ってきている場合には、時刻ｔ０で車両数が増加し、逆に、時刻ｔ１の画像内に存在していた車両が時刻ｔ０に視野から外に出ている場合には、時刻ｔ０に車両数が減少する。また、時刻ｔ１と時刻ｔ０とで車両数が変わっていない場合でも、両方の出来事が同時に起こっている可能性もある。このような場合には、画像内にとらえられている車両から抽出した点集合要素だけでは正しい枝集合で点集合Ｐ、Ｑどうしを結ぶことができない。
【００２６】
これは視野外の要素（車両）も考慮してグラフを作成する必要のあることを示している。これを解決するため、グラフ作成時においては、点集合ＰとＱの要素数ｍ、ｎを比較し、要素数が増加した場合（ｍ＜ｎ）には視野に入ってきた車両が存在する（図４参照）と仮定し、この車両を追跡するため、図６に示すように点集合Ｐに視野外の要素Ａを追加する。逆に、要素数が減少した場合（ｍ＞ｎ）には視野から出た車両が存在すると仮定し、この車両を追跡するため、図７に示すように点集合Ｑに視野外の要素Ｄを追加する。また、要素数が等しいとき（ｍ＝ｎ）には、視野から出た車両と視野に入った車両とが存在する場合を考慮し、点集合Ｑに視野外の要素Ｄを追加すると共に、集合Ｐに視野外の要素Ａを追加する。ただし、１時点前の画像との比較で、２台以上の車両の増減があった場合でも、付加する要素Ａ、Ｄはそれぞれ１つだけとする。なお、このような要素Ａ、Ｄを用いれば、渋滞で車両が他の車両に隠れたり、他の車両の陰から現れたりするような場合にも対応可能となる。
【００２７】
視野外の要素Ａ、Ｄも、点集合Ｐ、Ｑの要素と同様、車両先頭の画像座標や撮像位置からの奥行き距離などの車両情報で定義されるが、視野外の車両は実際には計測することができないので、画像座標や奥行き距離の値は理論的には無限大となる。そこで追跡のための要素Ａ、Ｄには点集合Ｐ、Ｑの要素の距離平均値と比較して十分に大きな値を車両距離とする。例えば、要素Ａの車両情報には、視野範囲の最小値Ｌminよりも小さな適当な距離として、−１０,０００ｍ（入力装置１からの距離Ｘは、車両の進行方向を正の値とし、後方を負の値とする）を割り当てる。要素Ｄの車両情報には、視野範囲の最大値Ｌmaxよりも大きな適当な距離として、＋１０,０００ｍを割り当てる。
【００２８】
図８のフローチャートは、上記グラフ作成手段６のデータ処理手順を表したものである。すなわち、グラフ作成手段６は、車両情報抽出手段４で作成された時刻ｔ０の車両情報を読み込むと共に車両情報記憶手段５に記録されている時刻ｔ１の車両情報を読み込み（ステップＳ２１）、時刻ｔ０の車両情報から点集合Ｑを作成し、時刻ｔ１の車両情報から点集合Ｐを作成する（ステップＳ２２）。ついで、点集合ＰとＱの要素数ｍ、ｎを比較し（ステップＳ２３）、要素数が増加した場合（ｍ＜ｎ）には点集合Ｐに視野外の要素Ａを追加する（ステップＳ２４）。この要素Ａの車両情報には、視野範囲の後方距離（例えば、−１０,０００ｍ）を割り当てる。逆に、要素数が減少した場合（ｍ＞ｎ）には点集合Ｑに視野外の要素Ｄを追加する（ステップＳ２５）。この要素Ｄの車両情報には、視野範囲の前方距離（例えば、＋１０,０００ｍ）を割り当てる。また、要素数が等しい場合（ｍ＝ｎ）には、点集合Ｑに視野外の要素Ｄを追加すると共に集合Ｐに視野外の要素Ａを追加する（ステップＳ２６）。そして、要素Ｄの車両情報として、視野範囲の前方距離（例えば、＋１０,０００ｍ）を割り当て、要素Ａの車両情報として視野範囲の後方距離（例えば、−１０,０００ｍ）を割り当てる。
【００２９】
図６及び図７は、時刻ｔ１および時刻ｔ０の画像から得られた車両位置情報をもとに作成した、平面上における２部グラフＧの点集合Ｐ、Ｑを表している。時刻ｔ１における車両位置情報をグラフとして定義したのが点集合Ｐ、時刻ｔ０における車両位置情報をグラフとして定義したのが点集合Ｑである。図６では、時刻ｔ０における車両の数が、１時点前の時刻ｔ１における車両の数より１だけ多いので、時刻ｔ１における車両位置に対応する点集合Ｐに要素Ａが加えられている。図７では、時刻ｔ０における車両の数が、時刻ｔ１における車両の数より１だけ少ないので、時刻ｔ０における車両位置に対応する点集合Ｑに要素Ｄが加えられている。
【００３０】
評価関数値算出手段７は、グラフ作成手段６で作成された２部グラフＧの各枝の重みによって構成される評価関数ｆ(Ｇ)の最大値又は最小値を求める。評価関数ｆ(Ｇ)の重みは、１時点前の時刻ｔ１における車両ｐ１、ｐ２、…、ｐｍと現時点ｔ０における車両ｑ１、ｑ２、…、ｑｎとの対応づけの組み合わせの実現度合いに応じて設定する。このような評価関数ｆ(Ｇ)は局所的な車両位置のみで構成することもできるが、本発明では、１時点前および現時点における全ての車両情報（及び、追加された車両Ａ、Ｄに関する車両情報）を反映させた評価関数ｆ(Ｇ)を考える。車両情報を各車両について漏れなく用いることにより、例えば、画像内の車両のある１台が１時刻内に、実際の交通状況として起きえない程飛躍的に移動するような事態を排除でき、このような結果となるような対応づけを誤って出力することがなくなる。
【００３１】
評価関数ｆ(Ｇ)の一例を次の▲１▼式に示す。ただし、ｄ(ｅij)は２部グラフＧにおける枝ｅijの重みである。重みｄ(ｅij)の例としては、時刻ｔ１及び時刻ｔ０における車両輝度平均の差や車両位置の差が挙げられる。以下の説明においては、枝ｅijの重みとして時刻ｔ１における車両ｐiの距離Ｘ(ｐi)と時刻ｔ０における車両ｑjの距離Ｘ(ｑj)との差、すなわち移動距離ｄ(ｅij)＝Ｘ(ｑj)−Ｘ(ｐi)を用い、評価関数ｆ(Ｇ)の最小値を求めるものとする。
【００３２】
【数１】

【００３３】
ここで、総和は時刻ｔ０とｔ１の画像内に存在する車両（要素Ａ、Ｄが存在する場合には、点Ａ、Ｄを含む）に関する点集合Ｐと点集合Ｑを結ぶすべての枝に関するものであるが、走行する車両の追跡という特殊性に鑑み、上記評価関数ｆ(Ｇ)を次の▲２▼式のように改良すると共に下記のような拘束条件を適用する。
【００３４】
【数２】

【００３５】
ここで、αij、βijは下記の拘束条件１〜５で決まる定数であって、拘束条件による指定がない限り、αij＝１、βij＝０（つまり、▲１▼式）である。このように評価関数ｆ(Ｇ)の重みとして車両の移動距離を採用した場合、撮像時間の間隔が十分に短ければ車両の移動距離も車間距離に比べて十分に小さくなるから、実際の車両配置は評価関数ｆ(Ｇ)の最小値に対応すると考えることができる。
【００３６】
評価関数ｆ(Ｇ)として車両の移動距離の総和を用いれば、移動距離の総和として撮像時間間隔Δｔの間の実現値として起こり得ないような事象（例えば、撮像時間間隔Δｔの間での車両の移動限界を超えるような走行状態）をあらかじめ除去しておくことができ、車両対応づけの組み合わせとして起こり得る確率が高いものを高速に求めることができる。
【００３７】
また、上記▲２▼式の評価関数を用いるにあたっては、追跡対象である車両の挙動ないし特殊性を考慮し、以下のようないくつかの拘束条件を設定する。
拘束条件１：移動距離ｄ(ｅij)＝Ｘ(ｐi)−Ｘ(ｑj)＜０の場合（車両後退の場合）には、枝ｅijの重み関数に所定の正の定数βijを加える。
拘束条件２：点集合Ｐの要素をその距離Ｘによって座標軸上に配置し、点集合Ｑの要素をその距離Ｘによって向かい合う座標軸上に配置したとき、すべてのｉ、ｊ、ｋ、ｌ（１≦ｉ≦ｍ、１≦ｊ≦ｎ、１≦ｋ≦ｍ，１≦ｌ≦ｎ）について、ｐiとｑｊを結ぶ枝ｅijと枝ｅklは交差しない。
拘束条件３：要素Ａを負方向の最も端に配置し、要素Ｄを正方向の最も端に配置したとき、一端に要素Ａを持つ枝ｅ+jと一端に要素Ｄを持つ枝ｅi-のみ、他の枝との交差を認める。
拘束条件４：要素Ａ、要素Ｄから出る枝の最大数は、max（１，｜ｍ−ｎ｜）とする。
拘束条件５：一端に要素Ａ又は要素Ｄを持つ枝ｅijの重み関数は一定値とする。すなわち、この場合には、αij＝０、βij≠０となる。
【００３８】
上記拘束条件１は、車両が後退する状況については、重み関数の値を大きくして判定結果に反映されにくくするものである。このように進行方向に応じて重みを変えるようにすれば、画面の中のある車両が１時点Δｔの間に突然進行方向を変えるなどの不自然な状況を追跡結果の候補から除外することができ、処理コスト削減につながるとともに、誤った追跡結果を検出することを排除できる。
【００３９】
拘束条件２は短い撮像時間間隔Δｔでは車両の追い越しは起きないということである。この拘束条件は、別な表現によれば、
Ｘ(ｐi)＜Ｘ(ｐk)かつＸ(ｑl)＜Ｘ(ｑj)であれば、
αij＝αkl＝βij＝βkl＝０
Ｘ(ｐk)＜Ｘ(ｐi)かつＸ(ｑj)＜Ｘ(ｑl)であれば、
αij＝αkl＝βij＝βkl＝０
となる。このように、１時点Δｔの間の車両の前後関係の入れ替わりを排除することにより、最適解の探索回数が減り、処理コスト削減につながるとともに誤った追跡結果を検出することがなくなる。
【００４０】
また、拘束条件３、４、５を考慮することにより、時刻ｔ１で抽出された車両が時刻ｔ０で抽出されなかった場合、あるいはその逆に、時刻ｔ１で抽出されていない車両が時刻ｔ０で抽出された場合でも、他の車両の追跡結果に影響を及ぼすことがなくなる。拘束条件３は、車両の増減がなく（ｍ＝ｎ）点Ａ、Ｄが付加された場合には、点Ａ、Ｄを結んだ枝ｅ+-が最適解に含まれることがあり、その場合には、点Ａ、Ｄを結ぶ枝ｅ+-が他の枝と交差することがあるからである。拘束条件４は、車両の増減が２台以上でも付加される点Ａ、Ｄは１つとしたことに対応するものである。拘束条件５は、付加された点Ａ、Ｄについては、正しい距離が分からないからである。このように点Ａ、Ｄの枝に重みを付けることにより、車両の抽出失敗の場合でも、実際には有り得ないような対応づけをすることを避けることができる。
【００４１】
上記１から５の拘束条件を設定することにより、すべての組み合わせについて評価関数ｆ(Ｇ)を計算する必要性がなくなり、最適化問題を高速に解くことが可能になる。また車両速度の急激な変化や低速走行の場合でも、前後車両の位置関係が急に逆転するなどの不自然な状態を除外でき、正確に車両追跡を行なうことが可能になる。
【００４２】
図９は上記拘束手段１〜５を考慮して評価関数を算出する処理手順を表したフローチャートを示す。この手順によれば、まず点集合Ｐ、Ｑの各要素のうちから未だ枝によって結ばれていない点ｐi、ｑjを選択する（ステップＳ３１）。ついで、初期値としてβij＝０とした（ステップＳ３２）後、枝ｅijが点Ａ又は点Ｄを含む枝か（つまり、ｐi又はｑjが点Ａ又は点Ｄか）を判別する（ステップＳ３３）。点Ａも点Ｄも含まない枝の場合には、既に存在する任意の枝ｅkl＝ｐk／ｑlに対してＸ(ｐi)−Ｘ(ｐk)＜０かつＸ(ｑl)−Ｘ(ｑj)＜０かどうか（ステップＳ３４）、あるいはＸ(ｐk)−Ｘ(ｐi)＜０かつＸ(ｑj)−Ｘ(ｑl)＜０かどうか（ステップＳ３５）を判定する。ステップＳ３４とステップＳ３５のうちいずれか一方がYESであれば（すなわち、枝ｅijと枝ｅklとが交差する。）、拘束条件２によってαij＝βij＝０であるから、この枝に関する重みの演算を中止し、別な点ｐi、ｑjを選択してステップＳ３１以下の処理を実行する。
【００４３】
これに対し、ステップＳ３４でもステップＳ３５でもNOであれば、ｄ(ｅij)＝Ｘ(ｑj)−Ｘ(ｐi)＜０かどうか判定する（ステップＳ３６）。ステップＳ３６でNOであれば、当該枝ｅijで結ばれている車両は前進又は停止しているから、そのまま（βij＝０）でｆ(Ｇ)に重みｄ(ｅij)を付加する（ステップＳ４０）。ステップＳ３６でYESであれば、当該枝ｅijで結ばれている車両は後退しているから、所定の定数βij（＞０）を加えて重みｄ(ｅij)＋βijをｆ(Ｇ)に付加する（ステップＳ３７、Ｓ４０）。
【００４４】
また、枝の少なくとも一方が点Ａ又は点Ｄを含む場合（ステップＳ３３でYESの場合）には、点Ａ又は点Ｄにつながっている枝の数を数え（ステップＳ３８）、枝の数がmax（１，｜ｍ−ｎ｜）を越えていれば、この枝に関する重みの演算を中止し、別な点ｐi、ｑjを選択してステップＳ３１以下の処理を実行する。枝の数がmax（１，｜ｍ−ｎ｜）以下であれば、この枝に一定の重みβijを与え（αij＝０）、評価関数ｆ(Ｇ)に付加する。
【００４５】
このような処理を繰り返して（ステップＳ３１〜Ｓ４０）すべての要素どうしを枝で結び終えたら（ステップＳ４１）、１つの有意な評価関数ｆ(Ｇ)が完成し、処理が終了する。この処理を繰り返すことにより種々の枝の組み合わせに対応する評価関数ｆ(Ｇ)が得られる。
【００４６】
つぎに、グラフ組み合わせ算出手段８では、評価関数算出手段７により得られた評価関数ｆ(Ｇ)のうちから最大値又は最小値（上記のように重みとして車両の移動距離を用いる場合には、最小値）を実現する２部グラフＧを決定する。図１０は図６の点集合Ｐ、Ｑから組合わせ最適化問題を解くことによって得られた２部グラフＧである。最終的に決定された枝で結ばれている要素どうしは、同一車両として結論づけられたことを表している。特に、要素Ａと結ばれている要素ｑ３に対応する車両は、時刻ｔ０において新たに追跡対象として加えられた車両である。
【００４７】
こうして２点グラフＧの組合わせが決定した後は、追跡車両テーブル記憶手段９に記録されている追跡車両テーブル１３の更新を行なう。時刻ｔ０における追跡車両テーブル１３は、時刻ｔｋ（＝ｔ０−ｋΔｔ；Δｔは撮像時間間隔）までの各追跡対象車両のラベル、点集合Ｑの要素｛ｑj｝、この要素に対応する車両位置Ｘ(ｑj)などの値、追跡回数などから構成される。このような追跡車両テーブル１３の例を図１１に示す。ただし、ｋは格納する過去のフレーム数を表す。
【００４８】
２点グラフＧの組み合わせから、時刻ｔ１での点集合Ｐがそれぞれ追跡車両テーブル９に記憶させた点集合Ｑのいずれと一致するかを検出し、時刻ｔ０における点集合Ｑの要素のうち、当該要素に対応する値を時刻ｔ０における点集合Ｐに応じて更新し、追跡回数の値を１増加させるとともに、追跡フラグが０であるならば１に設定する。ただし、点集合Ｐの要素がＡである場合は、新たな追跡車両のラベルを用意して追跡フラグを０にし、追跡車両テーブルに追加する。追跡車両テーブルを参照した際に、追跡フラグが１かつ追跡回数が一定値を超えており、さらに通過台数検知フラグが０であれば追跡フラグを０に設定する。
【００４９】
通過台数・速度算出手段１０では、追跡車両テーブル記憶手段９に記憶された追跡車両テーブル１３から時刻、点集合Ｐの要素に対応する値などを読み込み、通過台数検知フラグが１であれば、通過台数および追跡対象の車両速度を算出し、その結果を出力装置１１へ送る。
【００５０】
このようにしてグラフ理論を利用して最適化問題を解くことにより車両を対応づけることができ、その結果を用いれば通行車両の平均速度や通過台数を算出することができる。特に、渋滞などによって車両が他の車両に隠れるような場合でも交通量を精度よく求められる。
【００５１】
本発明の移動物体追跡装置は、移動物体をグラフ理論で追跡するものであり、全体の位置関係をみながら各移動物体を非独立に追跡しているが、移動物体の軌跡の推定という手法は用いていない。したがって、予測ミスによって車両の対応付けが誤る恐れがない。また、車両追跡を非独立に行なっているので、車両どうしが隣接している場合や、速度に急激な変化が起こった場合でも、正確な対応づけが可能である。さらに、この発明では、移動物体の追跡に必要な拘束条件を用いることにより、追跡精度の向上と計算コストの削減を図ることできる。
【図面の簡単な説明】
【図１】従来の車両追跡方法を説明する図である。
【図２】従来の車両追跡方法の問題点を説明する図である。
【図３】本発明の一実施形態による車両追跡装置の構成を示すブロック図である。
【図４】時刻ｔ０とその１時点前の時刻ｔ１における画像を示す図である。
【図５】車両情報記憶手段に記録されているデータテーブルを示す図である。
【図６】点集合Ｐ及びＱを示す図である。
【図７】別な点集合Ｐ及びＱを示す図である。
【図８】点集合Ｐ及びＱの作成手順を示すフローチャートである。
【図９】評価関数の作成手順を示すフローチャートである。
【図１０】図６の点集合Ｐ、Ｑから組合わせ最適化問題を解くことによって得られた２部グラフＧを示す図である。
【図１１】追跡車両情報記憶手段に記録されている追跡車両テーブルを示す図である。
【符号の説明】
１入力装置
２追跡処理装置
３記憶装置
４車両情報抽出手段
５車両情報記憶手段
６グラフ作成手段
７評価関数値算出手段
８算出手段
９追跡車両情報記憶手段
１０通過台数・速度算出手段
１１出力装置
１２データテーブル
１３追跡車両テーブル
ｐi（１≦ｉ≦ｍ）点集合Ｐの要素
ｑj（１≦ｊ≦ｎ）点集合Ｑの要素
Ａ点集合Ｐに付加された要素
Ｄ点集合Ｑに付加された要素

Claims

異なる時刻における複数の画像から抽出された複数の移動物体の情報をグラフ理論におけるグラフと対応させる手段と、グラフから構成される組合わせ最適化問題の最適解を得る手段と、この最適解を移動物体の追跡状況に対応させる手段とを有する移動物体追跡装置において、
画像から抽出した移動物体と共に、処理対象時刻の１時点前の画像内に存在しないが処理対象時刻の画像内に存在する移動物体に対応する点を１時点前の移動物体情報としてグラフに追加し、あるいは処理対象時刻の１時点前の画像内には存在していたが処理対象時刻の画像内には存在しない移動物体に対応する点を処理対象時刻の移動物体情報としてグラフに付加する機能を有することを特徴とする移動物体追跡装置。
前記組合せ最適化問題の最適解を得る手段は、当該最適解を決定するための評価関数の生成において、処理対象時刻及びその１時点前の時刻における画像内全移動物体の相対的な位置関係を変数とすることを特徴とする、請求項１に記載の移動物体追跡装置。
前記評価関数の生成において、移動物体の特性ないし移動状況に応じた拘束条件を適用することを特徴とする、請求項１又は２に記載の移動物体追跡装置。