JP3906210B2 - 車両追跡装置およびプログラム - Google Patents

Description

本発明は、撮影した動画像中の検出対象車両を検出追跡する車両追跡装置およびプログラムに関するものである。

近年、検出対象物体の動き等を検出する物体検出技術の開発が行われている。例えば、走行している自動車等の車両にとって危険なものは、前方または後方等を走行している他の車両であり、このような危険な車両を検出する技術などの開発が行われている。このような車両検出技術としては、ミリ波レーダなどを用いるアクティブセンサ方式と、画像を用いるパッシブセンサ方式とが提案されている。

アクティブセンサ方式としては、ミリ波レーダやレーザレーダを用いて、前方や後方の障害物までの距離を測定し、その障害物の相対速度やレーダ反射強度の時間的変化などの情報から車両の位置を検出する方法が提案されている（例えば、特許文献１参照）。

また、パッシブセンサ方式としては、ステレオ視により前方や後方の障害物までの距離を測定し、車両の位置を検出する方法（例えば、特許文献２参照）や、パターン認識を用いて、車両の領域を認識し、車両の位置を検出する方法（例えば、非特許文献１参照）がある。

さらに、１つのカメラにより撮影された動画像中において対象物体を検出し追跡する技術として、画像上のエッジ強度が大きい点を特徴点として抽出し、これを追跡することにより検出対象の動きを検出する技術が提案されている（例えば、非特許文献２参照）。係る技術では、検出した動きの差によって移動車両を検出している。

また、撮影された画像中の前方車両に含まれる水平線分（バンパーの長手方向の部分等）を検出して追跡し、その運動が路面を仮定した場合の運動視差と進行方向に垂直面、つまり障害物を仮定した場合の運動視差とのどちらに類似しているかを調べることによって，前方車両を検出する技術も提案されている（例えば、非特許文献３参照）。

特許３３５２９２５号公報 特開２００２―３５３３３５号公報 "自己組織化マップを用いた先行車両認識手法", 電子情報通信学会技術研究報告,vol. 101, No. 302, pp. 23-28, PRMU2001-88 "変動背景における複数移動物体の検出及び同時追跡" 胡 振程 内村 圭一 電気学会論文誌, Vol.120-D,No.10 ,pp.1134-1142, 2000 "低速車間制御のための単眼画像処理システム" 岡田 隆三 小野口 一則 電子情報通信学会技術研究報告, Vol. 102, No. 531, pp.69-74

上記のようなアクティブセンサ方式とパッシブセンサ方式を比較すると、アクティブセンサ方式は、障害物までの距離をパッシブセンサ方式より精度が高く測定できる反面、複数事象を観測できない。パッシブセンサ方式は、障害物までの距離をアクティブセンサ方式より精度を高く測定することが困難であるが、車両を認識したり白線を認識したりと、複数事象を観測できる。

このようにアクティブセンサ方式とパッシブセンサ方式には、それぞれ長所と短所があるが、両方の特徴として、それぞれの方式のみでは、車両の接地位置を安定的に精度を高く検出することが困難である。なぜなら、アクティブセンサ方式では、車両に衝突する角度によってはレーダが車両を検出できないことがあり、また路面に凹凸が存在し車両がピッチング運動をしたとき、レーダの照射範囲が狭いために障害物にレーダが照射される範囲が大幅に変化してしまうことがあるからである。一方、パッシブセンサ方式では、道路の路面模様、車両など影、照明の変化などにより、誤検出する問題があるからである。

また、上述したような撮影画像中の検出対象物体の運動を追跡する手法では、コーナ点等の特徴点やエッジ線分の追跡を行う必要があるが、車両の接地位置付近では、影の影響によりコントラスが小さくなり、エッジ強度が小さくなるため、特徴点やエッジ線分を検出できないことや、追跡が困難になることにより、車両の接地位置といった特定部分の位置が正確に求まらないことがある。また、追跡対象を設定する際に、本来追跡すべき対象以外の物体を追跡対象として設定してしまうおそれもあり、この場合正確な物体検出を行うことができない。

本発明は、上記に鑑みてなされたものであって、撮影された時系列画像中で検出された車両領域を、DPマッチングを用いて追跡し、正確な車両の位置を検出する可能とする車両追跡装置およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる車両追跡装置は、車両に搭載されたカメラで撮影した動画像を入力する画像入力部と、撮影された動画像の各フレーム画像から、他車両を含む第０領域を検出する車両検出部と、前記車両検出部で検出された複数の第０領域の画像を用いて、第１フレーム画像中の他車両を含む第１領域を求め、この第１領域の画像をテンプレートとして設定するテンプレート設定部と、第２フレーム画像から、前記テンプレートとの類似度が所定の基準以上である、第２領域の画像を求める車両追跡部と、前記第２領域の画像と前記テンプレートとを用いて、前記他車両の前記第２フレーム画像中での接地位置を検出する接地位置検出部と、前記第２フレーム画像中の前記他車両の接地位置に基づいて前記第２フレーム画像中の他車両を含む第３領域を設定し、この第３領域の画像を用いて前記テンプレートを更新するテンプレート更新部とを具備することを特徴とする。

また、本発明の別の態様にかかるプログラムは、コンピュータを、車両に搭載されたカメラで撮影した動画像を入力する画像入力手段、撮影された動画像の各フレーム画像から、他車両を含む第０領域を検出する車両検出手段、前記車両検出部で検出された複数の第０領域の画像を用いて、第１フレーム画像中の他車両を含む第１領域を求め、この第１領域の画像をテンプレートとして設定するテンプレート設定手段、第２フレーム画像から、前記テンプレートとの類似度が所定の基準以上である、第２領域の画像を求める車両追跡手段、前記第２領域の画像と前記テンプレートとを用いて、前記他車両の前記第２フレーム画像中での接地位置を検出する接地位置検出手段、前記第２フレーム画像中の前記他車両の接地位置に基づいて前記第２フレーム画像中の他車両を含む第３領域を設定し、この第３領域の画像を用いて前記テンプレートを更新するテンプレート更新手段、として機能させるためのプログラム。

本発明によれば、基準フレーム画像で検出された車両領域と、他のフレーム画像から検出された車両領域をＤＰマッチングを行って基準フレーム画像に射影させたものを用いてテンプレートを設定するようにしたので、より正確なテンプレート設定が可能となり、撮影された動画像中の車両をより正確に追跡することで高精度の物体検出が可能となるという効果を奏する。また、テンプレートを用いて追跡した検出対象物体を含む領域の画像と、テンプレートとでＤＰマッチングを行うことで、追跡された領域の各部分とテンプレートの各部分との対応をとることができ、撮影された動画像中の検出物体の特定部分の位置をより正確に検出することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる車両追跡装置およびプログラムの好適な実施の形態を詳細に説明する。

（実施の形態）
図１は、本発明の一実施形態にかかる車両追跡装置の機能構成を示すブロック図である。同図に示すように、この車両追跡装置１００は、画像入力部１１０と、処理領域設定部１２０と、車両検出部１３０と、テンプレート設定部１４０と、車両追跡部１５０と、接地位置検出部１６０とを備える。

画像入力部１１０は、自動車等の当該車両追跡装置１００が搭載される車両の前方や後方等を撮影する装置であり、例えば１台のビデオカメラ等により構成される。かかる画像入力部１１０は、撮影された動画像、つまり所定周期毎に撮影されるフレーム画像を処理領域設定部１２０に供給する。

処理領域設定部１２０は、画像入力部１１０から供給されるフレーム画像中の処理対象領域を設定する。ここで、処理対象領域は、その領域内に映っている検出対象物体である車両（自動車やバイクなど）を検出すべき領域である。例えば、自車両にとって特に危険な他車両は、前方または後方の同じ走行レーンを走行しているものであり、自車両と同じ走行レーンの前方側または後方側を処理対象領域として設定する。

このように自車走行レーンの前方側（または後方側）を処理対象設定領域とする場合、処理領域設定部１２０は、画像中の道路上に描かれた白線を検出し、その結果を用いて、白線を走行レーンの境界線とする。また、検出された２本の白線の交点を消失点とする。この「消失点」とは、画像上における無限遠点のことである。そして、検出した２本の境界線に挟まれた領域を処理領域として設定する。なお、白線検出の方法としては、特開平７―８９３６７号公報に開示されている技術など種々の公知技術を用いることができる。また、走行レーンが検出できない場合においても、あらかじめ設定した領域を処理領域と設定しても良い。

車両検出部１３０は、処理領域設定部１２０によって設定された処理対象領域の画像中にいる検出対象物体、つまり障害物（自動車やバイク等）を含む車両領域（物体対象領域）をパターン認識により検出する。

ここで、車両検出部１３０は、あらかじめ検出対象となる車両後部面の画像を部分空間法により学習させることで、作成した車両、非車両の辞書を有している。車両検出部１３０は、各フレーム画像において、処理領域内で大きさと位置を変化させて設定した注目領域と辞書を比較して、辞書に登録された車両の部分空間と注目領域との類似度を求め、当該類似度が決められたしきい値よりも大きくなる場合、その注目領域を車両領域として検出する。例えば、図２に示すようなフレーム画像が車両検出部１３０に供給された場合、前方を走行する自動車を含む矩形状の車両領域２０１が検出される。

テンプレート設定部１４０は、車両検出部１３０によって検出された車両領域に基づいて、画像中の車両追跡に用いるテンプレートを設定する。テンプレートとは、動画像を構成する各フレーム画像中において、検出対象である車両を含む車両領域を追跡するために用いる画像であり、後述する車両追跡部１５０が設定されたテンプレート（画像）を用いて車両の動きを検出する。

ところで、車両検出部１３０により検出される車両領域の位置は、路面模様や影などが原因により、ある時刻において撮影されたフレーム画像においては間違っている場合がある。このように間違った位置でテンプレートを設定して、追跡を行うと、車両以外の路面模様や影を追跡してしまい、正確に車両を追跡することができない。そこで、本実施の形態におけるテンプレート設定部１４０は、以下のような処理を行うことで、より正確に検出対象を含む領域をテンプレートとして設定できるようにしている。

すなわち、テンプレート設定部１４０は、１つのフレーム画像のみではなく、複数フレーム画像において前記車両検出部１３０により検出された結果を用いて、テンプレートを設定する。例えば、複数のフレーム画像の各々で検出された車両領域における下端位置の中央値を求めたり、平均値を求めたりすることにより、車両の下端位置を決定し、追跡テンプレートを設定する。これによりある１つのフレーム画像において誤って影や路面模様が車両として誤検出された場合でも、それがテンプレートとして設定されることを防止することができる。

以上のようにテンプレートを設定する際に、複数のフレーム画像を用いる場合、そのまま画像中の車両領域の位置を単純に平均等しても正確なテンプレート設定を行うことができない。なぜなら、各フレーム画像中に映し出される車両は移動しているので、各フレーム画像中の車両の大きさは変化することになるからである。

そこで、テンプレート設定部１４０は、以下のような処理を行う。まず、ある基準フレーム画像ｔで検出された車両領域を、基準車両領域とし、その後の複数のフレーム画像で検出される車両領域とし、基準車両領域と車両領域との画像について、並進運動及びそれにともなうスケールの変化を考慮したＤＰマッチングを行うことにより、基準車両領域とあるフレームにおける車両領域との関係（具体的には拡大率と移動量）を求める。そして、基準フレーム以外のフレーム画像の車両検出結果を、基準車両領域を設定したある時刻ｔにおける基準フレーム画像に射影する。そして、射影した後の各車両領域における下端位置の中央値を求めたり、平均値を求めたりすることにより、車両の下端位置を決定し、追跡テンプレートを設定する。

ここで、本実施の形態では、異なる時間で撮影された画像間、つまり各フレーム画像間の車両領域を基準フレーム画像に射影させるためにＤＰマッチングを用いており、以下、ＤＰマッチングについて簡単に説明する。ここでは、マッチングすべき２つの波形の特徴ベクトルが、以下のＡ、Ｂで表されるものとする。

そして、ｋ番目に使用したデー馬場号を、ik、jkとすると、ｋ番目のデータ間の距離は、次式で与えられる。

また、ｋ−１番目のデータとの距離も考慮する必要があるので、重みｗ（k）を定義すると、パターン間の距離Ｄは、次のようになる。

このときのｃ［ｋ］は、ｉ、ｊ空間において、ｃ［ｋ］＝（ik、jk）とする。上記Ｄの導出式（ａ）を計算する上で、分母がｃ［ｋ］の選び方に依存しない量であれば、都合がよく、ｉ、ｊ空間でｃ［ｋ］がつねに右肩上がりに変化することを条件とすると、

を重みｗ「ｋ」とすることができる。したがって、上記（ａ）式の分母は、次のように表される。

とすれば、上記（ａ）式は、以下のように表される。

したがって、パターン間の距離が小さければ最適なマッチングを行えたことになるので、最小化の問題となる。上記（ｂ）式の最小化の問題は、ダイナミックプログラミングの手法によって解くことができる。

あるｋ＝ｍまでのｃ［ｋ］＝（ik、jk）に対する部分和を、次式で表されるとすると、

部分和配列関数Ｓは、次のようになる。

そして、Ｓ（０，０）＝２ｄ［０］を初期値として、終端（I-1、J-1）まで順次計算していくことで部分和配列関数Ｓが得られる。ここで、図３に部分和配列関数Ｓの一例を示す。

以上がＤＰマッチングの内容であり、本実施の形態におけるテンプレート設定部１４０は、ＤＰマッチングを用いて基準フレーム画像に、他のフレーム画像で検出された車両領域を射影させるようにしている。具体的には、図４に示すように、テンプレート設定部１４０は、検出した車両領域の水平方向の中央軸を設定し、そこから所定の幅の領域を注目領域とする。そして、この注目領域の各水平ラインごとに画像の輝度値の平均値を求める。つまり、ｙ０〜ｙｎの各水平ラインごとにそのラインに属する画像の輝度値の平均値を求めるのである。このようにして求めた１次元（ｙ方向）の輝度値の平均値を検出された車両領域の画像の特徴ベクトルとする。

そして、テンプレート設定部１４０は、基準車両領域の画像の特徴ベクトルＡと、他のフレーム画像で検出された車両領域の画像の特徴ベクトルＢとで上述したＤＰマッチングを行うのである。このような車両領域画像の特徴ベクトルについてＤＰマッチングを行うことで得られた伸縮関数Ｓの一例を図５に示す。

そして、この伸縮関数Ｓから、基準車両領域と他のフレームで検出された車両領域との関係、つまり拡大率などを求める。具体的には、検出対象たる自動車の後部は、路面に対してほぼ垂直であると近似することができるので、拡大率は一定と近似することができる。したがって、上記の伸縮関数Ｓから、ハフ変換などの直線あてはめの手法を用い、直線のパラメータを求め、次式を求める。

この式における直線の傾きａが拡大率である。このようにして求めた直線式により特徴ベクトルＢの両端が特徴ベクトルＡのどの部分に相当するかといった両者の関係を求めることができる。また、特徴ベクトルＢの領域が特徴ベクトルＡの領域内にないときであっても、上記直線式により領域外の部分も外挿により推定することができる。

テンプレート設定部１４０は、以上のようにして基準フレーム画像に、他のフレーム画像で検出された車両領域を射影させ、射影後の各車両領域の平均値等を求めることで、より正確なテンプレート設定を行うのである。例えば、車両領域の下端位置を決める際には、図６に示すように、現在フレーム画像で検出された車両領域の下端位置を、基準車両領域と現在フレーム画像で検出された車両領域とのＤＰマッチングで求まる関係式、（ｄ）式を用いて、基準車両領域を設定したフレーム画像に射影させる。この際、路面模様などが存在して、ＤＰマッチングにおいて特徴ベクトルの対応がとれない場合があるが、対応がとれない位置は除去する。これによりあるフレーム画像の車両領域が正確でなかった場合の不具合を回避できる。

そして、各フレーム画像で検出した車両領域を基準フレーム画像の射影させた後の下端位置の平均値を求めることにより、基準車両領域における車両の下端位置を求めることができる。車両領域の上端位置、車両領域の横幅、水平方向の中心位置も同様に求めることができる。このようにして車両領域を決定することができる。そして、基準車両領域を設定したフレーム画像は過去の情報であるので、決定した車両領域を現在のフレーム画像における位置に射影してその領域をテンプレートとして設定する。

なお、上記のテンプレート設定処理において、複数のフレーム画像から検出された車両領域がほぼ全て誤検出であったときは、上記のように平均値を求めたところで、正しい領域の位置を決定することができない。そこで、本実施の形態におけるテンプレート設定部１４０は、複数のフレーム画像の特徴ベクトルの垂直方向におけるエッジ値を、上記ＤＰマッチングで求まる拡大率と移動量を用いて車両の位置と大きさを正規化して、それを現在を基準として過去方向に時系列に並べる。その時系列画像の一例を図７に示す。

次に、テンプレート設定部１４０は、時系列画像中のエッジを追跡する。これにより図８に例示するようにエッジが白い線分として検出される。画像中のエッジを検出すると、車両部分のみならず、路面模様等も検出されることになるが、存在時間の長いエッジは車両に属するエッジの可能性が高いので、エッジの存在時間の大小により車両であるかそれ以外の路面模様等であるかを判別することができる。また、車両に属するエッジと路面模様に属するエッジでは、その軌跡の傾きが違う（図８参照）。したがって、時系列の画像についてエッジ検出を行い、上記のような存在時間、軌跡の傾きにより車両か路面模様等かを判別することで、車両領域か路面領域かを判定し、テンプレートの設定領域が路面領域を含んでいるときは、修正する。これにより複数のフレーム画像から検出された車両領域がほぼ全て誤検出であったときでも、車両領域をテンプレートとして設定することができる。

車両追跡部１５０は、テンプレート設定部１４０によって設定されたテンプレートを用いて、その後に撮影されたフレーム画像に対してテンプレートマッチングを行い、各フレーム画像中の車両領域を追跡する。

テンプレートマッチングは、２つの画像が与えられるとき、両者を重ね合わせてその差異を検出することで、両者が同じものか否かを判断する技術である。このとき、２つの画像間における差異を様々な尺度で表すことができるが、よく使われる尺度としては、輝度値の残差絶対値和(SAD)を用いる方法があり、本実施の形態でもこれを用いてテンプレートマッチングを行う。なお、テンプレートマッチングの手法として、この手法に限定されるわけではなく、装置や必要とされる精度に応じて、どのようなマッチング手法を用いてもよい。また、処理負担を低減するために、比較する両画像を１／４等に縮小してから重ね合わせるようにしてもよい。

車両追跡部１５０は、以上のようなテンプレートマッチングを行うことにより、各フレーム画像中においてテンプレートに対応する画像領域がどこに動いたかを検出し、画像上の座標値で出力する。

接地位置検出部１６０は、車両追跡部１５０によって追跡されたフレーム画像中の車両の特定部分の位置（本実施の形態では、車両と路面の接地位置）を検出する。ここで、テンプレート設定部１４０により設定されたテンプレートを用いて車両追跡部１５０が追跡した車両領域と、テンプレートとをそのまま比較すると、以下のような理由から、正確な接地位置の検出をなしえない。

すなわち、各フレーム画像に映る車両の大きさが変化することによりテンプレートのテクスチャが変化すること、テンプレートに車両以外の背景や路面が含まれていることなどに起因し、図９に示すようにマッチングされる位置がずれてしまうことがあるからである。このようにずれが生じると、テンプレート内の接地位置（タイヤの下端位置）から、追跡領域内における接地位置を正確に検出できない。テンプレートの更新を数フレーム毎に行うことで、かかる問題を回避しうるとも思えるが、その数フレームで位置がずれてしまうこともある。また、毎フレーム更新を行うことも考えられるが、テンプレートを更新すると、量子化誤差などが生じることがあり、頻繁に更新することは好ましくない。

したがって、本実施の形態における接地位置検出部１６０は、多少ずれた位置を追跡している車両を含む領域から、正しい位置を推定し、上記のような不具合を回避している。すなわち、テンプレート設定部１４０により設定されたテンプレートと、現在追跡されている車両を含む領域とでＤＰマッチングを行う。上述したテンプレート設定部１４０によるマッチングと同様、テンプレートの画像の一次元（ｙ方向）の特徴ベクトルと、車両追跡部１５０によって追跡された領域の画像の特徴ベクトルとでマッチングを行う。

このＤＰマッチングを行うことによって、現在フレーム画像において車両追跡部１５０によって追跡されている領域が、数フレーム前に設定したテンプレートのどの部分にマッチングしているかがわかる。例えば、図１０に示すように、追跡された領域（図中波線で示す）が画像上で位置が上にずれていたとしても、ＤＰマッチングにより求まる上記（ｄ）式を用いて、追跡領域を図中太線で示すように修正することができ、これにより車両領域の下端位置を推定することができる。接地位置検出部１６０は、ＤＰマッチングの結果から、推定された位置を車両領域の下端位置、つまり車両接地位置として検出する。

また、本実施の形態におけるテンプレート設定部１４０は、上述したように設定したテンプレートを更新する処理を所定の更新タイミングにおいて実行する。本実施の形態では、テンプレート設定部１４０は、次に示す２つ条件を両方満たしたときに更新を行う。
（１）テンプレートを更新してからある時間が経過した場合
（２）現在追跡されている位置と更新するために追跡テンプレート設定部で設定された位置の座標の差があるしきい値以下である場合

（１）の条件を満たすことを要求するのは、長時間テンプレートを保持して、マッチングを行うと、位置ずれやスケールの変化、照明変動などにより設定したテンプレートと現在画像ではテクスチャが一致しなくなり、誤差が大きくなるからである。（２）の条件を満たすことを要求するのは、更新の際にテンプレート設定部１４０により設定されるテンプレート位置が間違っている場合もあるからである。

つまり、上記のように更新のためにテンプレートを設定した時点で車両追跡部１５０により追跡されている車両領域（接地位置検出部１６０による修正後の領域）の位置とテンプレート設定部１４０により設定されたテンプレート位置の座標の差が大きくなる場合には、更新のために設定したテンプレート位置が誤りである可能性が高い。そこで、追跡領域の位置と更新のために設定したテンプレート位置との差があるしきい値より小さい場合にのみ更新し、しきい値よりも大きい場合はテンプレート設定部１４０により設定された位置が間違っているものと判定し、更新を行わない。なお、更新を行わないようにしてもよいが、現在追跡されている位置において、テンプレートのテクスチャを現在フレーム画像のテクスチャを用いてテンプレートを更新してもよい。

このようにテンプレート設定部１４０によりテンプレートが更新されると、車両追跡部１５０、接地位置検出部１６０は更新後のテンプレートを用いて上記のような追跡処理や接地位置検出処理を行う。

以上が本実施の形態における車両追跡装置１００の構成であり、次に当該車両追跡装置１００の処理動作について説明する。まず、図１１を参照しながら、テンプレート設定およびテンプレート更新を行う処理について説明する。

当該車両追跡装置１００が動作を開始すると、テンプレート設定部１４０は、撮影された数フレーム分（基準フレームを含む）の画像の各々からパターン認識により検出された車両領域の画像を取得する（ステップＳａ１）。かかる車両領域の検出処理は上述した車両検出部１３０によって各フレーム画像毎に行われており、テンプレート設定部１４０は車両検出部１３０が検出した車両領域の画像を取得するのである。

そして、テンプレート設定部１４０は、基準フレームの基準車両領域の画像の特徴ベクトルと、他のフレームの車両領域の画像の特徴ベクトルとで並進運動及びそれにともなうスケールの変化を考慮したＤＰマッチングを行い（ステップＳａ２）、基準車両領域とあるフレームにおける車両領域との相関関係（具体的には拡大率と移動量）を求める。

そして、テンプレート設定部１４０は、ＤＰマッチングの結果に基づいて、基準フレーム以外のフレーム画像の車両検出結果を、基準フレーム画像に射影させ、射影した後の各車両領域における下端位置の中央値を求めたり、平均値を求めたりすることにより、車両の下端位置を決定し、テンプレートを設定する（ステップＳａ３）。

このようにテンプレートの設定を行うと、上述した車両追跡部１５０や接地位置検出部１６０によって、当該テンプレートを用いた車両追跡処理や車両の接地位置を検出する処理等が行われる。このようにテンプレートを設定した後、テンプレート設定部１４０は、テンプレート設定時から所定の時間が経過したか否かを判別する（ステップＳａ４）。

そして、前回のテンプレート設定時から所定時間が経過した場合、テンプレート設定部１４０は、その時点から直近の数フレーム（基準フレームを含む）分の画像から検出された車両領域の画像を取得する（ステップＳａ５）。この後、ステップＳａ２、Ｓａ３と同様、基準フレームの基準車両領域の画像の特徴ベクトルと、他のフレームの車両領域の画像の特徴ベクトルとでＤＰマッチングを行い（ステップＳａ６）、その結果に基づいてテンプレートを決定する（ステップＳａ７）。

そして、テンプレート設定部１４０は、現在車両追跡部１５０によって追跡されている車両領域の位置と、ステップＳａ７で決定したテンプレートの位置の座標の差があるしきい値より大きいか否かを判別し（ステップＳａ８）、しきい値より大きい場合にはテンプレートの更新を行わず、その時点から所定時間経過のためのタイマーのカウントを開始し、ステップＳａ４に戻る。

一方、両者の位置の座標の差がしきい値より小さい場合には、テンプレート設定部１４０は、ステップＳａ７で決定したテンプレートを新たなテンプレートとしてテンプレート更新処理を行い（ステップＳａ９）、ステップＳａ４に戻る。以降、車両追跡部１５０や接地位置検出部１６０では、更新後のテンプレートを用いた車両追跡処理や車両の接地位置を検出する処理等が行われる。

次に、図１２を参照しながら撮影画像から検出対象である車両の接地位置を特定して検出する処理の動作について説明する。テンプレート設定部１４０によって設定されているテンプレートを用い、撮影されたフレーム画像中の車両を含む領域を追跡する（ステップＳｂ１）。かかる追跡処理は、上述したテンプレートマッチングによって行われる。

そして、テンプレートマッチングによってフレーム画像における車両を含む領域が追跡されると、かかる追跡された領域の画像の特徴ベクトルと、テンプレートの画像の特徴ベクトルとでＤＰマッチングを行い（ステップＳｂ２）、各々の領域の位置的な対応関係を求める。つまり、追跡領域の画像のどの部分がテンプレートのどの部分に対応するかを求める。

かかるＤＰマッチングの結果に基づいて、追跡領域の位置をテンプレートに対応するように修正し、車両領域の下端位置を推定する。そして、接地位置検出部１６０は、推定された位置を車両領域の下端位置、つまり車両接地位置として検出する（ステップＳｂ３）。

この後、テンプレートが更新されたか否かが判別され（ステップＳｂ４）、更新された場合には更新後（ステップＳｂ５）のテンプレートに基づいて上記ステップＳｂ１以降の処理が行われる。一方、テンプレートの更新が行われなかった場合には、設定されているテンプレートをそのまま用い、上記ステップＳｂ１以降の処理を繰り返す。以上のような処理を各フレーム画像について行うことにより、各フレーム画像における車両の接地位置を検出、つまり動画像中の車両の接地位置を追跡することができるのである。

以上説明したように本実施の形態では、車両を追跡するためのテンプレートを設定する際に、１つのフレーム画像からパターン認識により検出した車両領域を用いるのではなく、複数のフレーム画像から検出した車両領域を用いてテンプレートを設定しているので、あるフレーム画像からの車両領域の検出が誤りであった場合にもその誤りによって路面模様等にテンプレートを設定してしまうといった誤設定を抑制することができる。

また、複数のフレーム画像から検出された車両領域を用いてテンプレートを決定する際に、異なるフレーム画像から検出された車両領域のサイズ等の整合性をとるために、並進運動及びそれにともなうスケールの変化を考慮したＤＰマッチングを行い、基準フレームの画像に他のフレームで検出された車両領域を射影させた上で、平均等をとることで車両領域の位置を検出するようにしている。これにより複数のフレーム画像の検出結果を用いたより正確な車両領域の位置検出を行うことができ、より正確なテンプレート設定を行うことができる。また、ＤＰマッチングを行うことで、各フレーム画像における車両領域内の画像に軽微な変動が生じた場合にも、その影響をほとんど受けることなく、マッチングを行うことができる。

また、本実施の形態では、各フレーム画像中から車両の特定の位置（接地位置など）を検出する際に、上記のように設定したテンプレートマッチングの手法を用い、各フレーム中の車両が存在する領域を検出している。そして、単純にテンプレートマッチングを行うことでおおよその車両の位置は把握できることになるが、特定の位置を検出するにはその領域における車両の位置をより正確に把握する必要がある。本実施の形態では、追跡された車両の領域における車両の位置をより正確に把握するために、テンプレート画像と追跡された車両の領域画像とでＤＰマッチングを行っている。そして、テンプレート画像のどの部分と追跡領域画像のどの部分とが対応しているかという情報求め、この情報から追跡車両領域内（外もある）のどの部分に車両の特定位置があるかを検出することができる。

もちろん、上述したテンプレートマッチングにより検出された追跡領域画像と、テンプレート画像とを網羅的に比較して両者の対応関係を求める方法も考えられる。つまり、追跡領域の画像に対する拡大率を漸次変化させながら、テンプレート画像と合致するかを判別するといった処理を行い、両者の対応関係を求める方法もあるが、かかる方法では処理負担が大きくなってしまう。これに対し、本実施の形態では、ＤＰマッチングを行うことで両画像の位置的な対応関係を求めることができ、比較的容易な処理で行うことができる。

（変形例）
なお、本発明は、上述した実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。

（変形例１）
上述した実施の形態では、車両検出部１３０は、パターン認識によりフレーム画像中から車両領域を検出するようにしていたが、他の方法によりフレーム画像中の車両を含む領域を検出するようにしてもよい。例えば、特開平８−１４７４４７号公報に開示されているような技術を用いて車両領域を検出するようにしてもよいし、ミリ波レーダー等のアクティブセンサ方式により車両を検出し、その検出結果からフレーム画像中の車両領域を検出するようにしてもよい。

（変形例２）
また、上述した実施の形態では、本発明を自動車に搭載される車両追跡装置に適用された場合について説明したが、本発明はこれに限定されるものではなく、撮影される動画像中の車両以外の検出対象物体の動きを追跡等する物体検出装置に適用することができる。また、本実施の形態のように撮影手段であるビデオカメラが自動車という移動物体に搭載される態様であってもよいし、固定配置されたビデオカメラ、例えば監視用のビデオカメラによって撮影された動画像中の検出対象物体を追跡する装置等に適用することもできる。

（変形例３）
また、上述した実施の形態における車両追跡装置１００は、図１に示すような各部の機能を有するハードウェア回路によって構成するようにしてもよいが、ＣＰＵ等のコンピュータにプログラムを実行させることで上述したテンプレート設定更新処理（図１１参照）、車両接地位置検出処理（図１２参照）などの処理を行うように構成してもよい。また、このような処理をコンピュータに実行させるためのプログラムをインターネット等のネットワークを介してユーザに提供するようにしてもよいし、ＣＤ−ＲＯＭ等の記録媒体に記録させてユーザに提供するようにしてもよい。

以上のように、本発明にかかる車両追跡装置およびプログラムは、移動する車両の動き等を検出する装置に有用であり、特に、自動車等に搭載される車両追跡装置に適している。

本発明の一実施形態にかかる車両追跡装置の機能構成を示すブロック図である。 前記車両追跡装置の車両検出部によって検出された車両領域を説明するための図である。 前記車両追跡装置のテンプレート設定部によって行われるＤＰマッチングの結果の一例を示す図である。 前記車両追跡装置のテンプレート設定部が行う、異なるフレーム画像中から検出された車両領域画像の特徴ベクトルについてのＤＰマッチングを模式的に示す図である。 前記車両追跡装置のテンプレート設定部によって行われるＤＰマッチングの結果の一例を示す図である。 前記ＤＰマッチングによって基準フレーム画像に他のフレーム画像から検出された車両領域を射影させ、その結果に基づいてテンプレート設定を行う処理を模式的に示す図である。 前記車両検出部による車両領域検出処理に誤りがある場合に、数フレーム分の画像から得られるエッジの一例を示す図である。 前記数フレーム分の画像から得られたエッジと、そのエッジが対応する部分とを示す図である。 テンプレートを用いてテンプレートマッチングを行った際に、マッチングにより得られた追跡車両領域とテンプレートとのずれの一例を示す図である。 ＤＰマッチングを行って前記追跡車両領域とテンプレートとのずれを修正する様子を模式的に示す図である。 前記車両追跡装置によるテンプレート設定更新処理の手順を示すフローチャート図である。 前記車両追跡装置による車両接地位置検出処理の手順を示すフローチャートである。

符号の説明

１００ 車両追跡装置
１１０ 画像入力部
１２０ 処理領域設定部
１３０ 車両検出部
１４０ テンプレート設定部
１５０ 車両追跡部
１６０ 接地位置検出部

Claims (7)

1. 車両に搭載されたカメラで撮影した動画像を入力する画像入力部と、
   撮影された動画像の各フレーム画像から、他車両を含む第０領域を検出する車両検出部と、
   前記車両検出部で検出された複数の第０領域の画像を用いて、第１フレーム画像中の他車両を含む第１領域を求め、この第１領域の画像をテンプレートとして設定するテンプレート設定部と、
   第２フレーム画像から、前記テンプレートとの類似度が所定の基準以上である、第２領域の画像を求める車両追跡部と、
   前記第２領域の画像と前記テンプレートとを用いて、前記他車両の前記第２フレーム画像中での接地位置を検出する接地位置検出部と、
   前記第２フレーム画像中の前記他車両の接地位置に基づいて前記第２フレーム画像中の他車両を含む第３領域を設定し、この第３領域の画像を用いて前記テンプレートを更新するテンプレート更新部と
   を備える車両追跡装置。
2. 前記接地位置検出部は、
   前記車両追跡部で求められた前記第２フレーム画像中の前記第２領域の画像を基準領域として、前記テンプレートとこの基準領域との間で前記他車両の並進運動及びスケールの変化を考慮したマッチングを行うことにより、前記第２フレーム画像中での前記テンプレートに対応する対応領域を求めるテンプレート対応領域検出手段と、
   前記対応領域の所定方向の端を車両接地位置として検出する検出手段と、
   を備える請求項１に記載の車両追跡装置。
3. 前記テンプレート対応領域検出手段は、ＤＰマッチングにより、前記他車両の並進運動及びスケールの変化を考慮したマッチングを行う、
   請求項２に記載の車両追跡装置。
4. 前記テンプレート設定部は、
   前記車両検出部で検出された前記第１フレーム画像の前記第０領域を基準領域として、前記車両検出部で検出された複数の前記第０領域の画像の各々とこの基準領域の画像との間で前記他車両の並進運動及びスケールの変化を考慮したマッチングを行うことにより、前記車両検出部で検出された複数の前記第０領域の各々の前記第１フレーム画像中で対応する位置を求める対応位置検出手段と、
   この対応位置検出手段により得られた位置を用いて前記第１フレーム画像中の前記第１領域を求めて、この第１領域の画像をテンプレートとして設定する設定手段と、
   を備える請求項１から請求項３のいずれかに記載の車両追跡装置。
5. 前記対応位置検出手段は、ＤＰマッチングにより、前記他車両の並進運動及びスケールの変化を考慮したマッチングを行う、
   請求項４に記載の車両追跡装置。
6. 前記テンプレート設定部は、
   前記対応位置検出手段が複数の第０領域の画像間と前記基準領域とのＤＰマッチングで用いた特徴ベクトルのエッジ値を、ＤＰマッチングで求まる拡大率と移動量とを用いて正規化し、時系列に並べたエッジ画像を生成する画像生成手段と、
   前記エッジ画像中のエッジを検出してエッジの軌跡を追跡する軌跡追跡手段と、
   各軌跡の傾きを求める傾き算出手段と、
   傾きが所定の範囲外である軌跡が存在する場合に、第１領域の範囲を修正するテンプレート領域修正手段と、
   を備える請求項５に記載の車両追跡装置。
7. コンピュータを、
   車両に搭載されたカメラで撮影した動画像を入力する画像入力手段、
   撮影された動画像の各フレーム画像から、他車両を含む第０領域を検出する車両検出手段、
   前記車両検出部で検出された複数の第０領域の画像を用いて、第１フレーム画像中の他車両を含む第１領域を求め、この第１領域の画像をテンプレートとして設定するテンプレート設定手段、
   第２フレーム画像から、前記テンプレートとの類似度が所定の基準以上である、第２領域の画像を求める車両追跡手段、
   前記第２領域の画像と前記テンプレートとを用いて、前記他車両の前記第２フレーム画像中での接地位置を検出する接地位置検出手段、
   前記第２フレーム画像中の前記他車両の接地位置に基づいて前記第２フレーム画像中の他車両を含む第３領域を設定し、この第３領域の画像を用いて前記テンプレートを更新するテンプレート更新手段、
   として機能させるためのプログラム。

Images