JP5124592B2 - 車両を検出および追跡するためのシステムおよび方法 - Google Patents

Description

関連出願の相互参照
本出願は２００７年１月１８日提出の暫定出願第６０／８８５，４７９号に基づいており、この暫定出願の全内容は参照により開示に含まれる。

背景技術
１．技術分野
本開示は車両検出に、より詳しくは、移動単眼カメラから車両を検出および追跡するためのシステムおよび方法に関する。
２．関連技術の説明
車両の安全と利便性のための機能は重要であり、成長しつつある技術分野である。移動車両に取り付けられたビデオカメラの使用により、ビデオ信号をコンピュータビジョン技術により解析して、車両オペレータに、進歩した運転者支援、さらには、救命サポートさえも提供することが可能になる。例えば、ビデオ信号および／または他のセンサデータを解析することにより、車両オペレータに潜在的な障害物や危険を警告したり、あるケースでは、車両制御を自動アシストすることもできる。

移動中は、潜在的な障害物や危険として、歩行者や他車両のような路面上に現れる物体が含まれる。他車両は特有の危険を示すことが多いため、他車両の検出と追跡は、コンピュータビジョンに基づいた安全および利便性の機能の重要な一部分である。

したがって、例えば車両検出などの障害物検出は、移動車両内または移動車両上に配置されたビデオカメラからのビデオ信号を受け取り、走行シーンから先行車を認識し追跡する。この情報はその後、例えば適応型クルーズコントロール、前方衝突回避、および車線変更支援などの１つまたは複数の安全性および利便性機能によって使用される。

車両の追跡および検出に取り組むために、多くのアプローチが開発されてきた。障害物検出法の１つのカテゴリは動き分析を用いる。この種の方法では、ホスト車両内のビデオカメラの動きが把握されるので、動かない道路を基準として他の物体の動きベクトルを求める。静止した道路に対して動いていると判定された物体は、潜在的な障害物として識別され、相応に監視される。

動き分析を用いた障害物検出のアプローチは画像の雑音と照明の変化に特に敏感である。また、動き分析単独では検出された物体を分類することができない。

別のアプローチでは、３Ｄ多面体モデルを使用して、監視設定で車両の検出と追跡が行われる。目標車両は長さパラメータによって規定される辺から構成された２Ｄビュースケッチに描写される。このアプローチでは、監視されるゾーンは静止していなければならない。したがって、カメラと自車両は動いていない。カメラと自車両がともに動いていれば、背景差分と変化検出の技法を使用しても、変化する交通シーンから目標車両を分離することはできない。

さらに別の公知のアプローチでは、遠くの車両を、その車両の水平および垂直のエッジを検出し、アスペクト比をチェックし、この車両と所定のテンプレートとの相関をとることにより、検出および識別する。カメラパラメータが使えるならば、ホスト車両（すなわち自車両）から検出された車両までの距離を透視投影モデルを使用して推定することができる。いくつかのケースでは、検出は特徴の選択と追跡から始まる。追跡された特徴はシーン内の種々の物体におおよそ対応するクラスタに分けられる。車両はエッジの発見により識別され、確認される。車両の様々なカテゴリを区別するには、アスペクト比に基づいた単純な車両分類方式が用いられる。 別の複数のアプローチでは、確率モデルを用いて、車両境界の周りのエッジの強さがモデル化される。これらのアプローチでは、車両検出は、エッジからバウンディングボックスの位置を同定し、エッジモデルを用いて車両の存在を検証することにより実施される。検出された車両はその後、拡張カルマンフィルタを使用して追跡される。

車両検出アルゴリズムの第２のカテゴリは、車両クラスと非車両クラスを含む２クラスパターン分類問題として検出を取り扱う。車両クラスに関する経験的記述を用いる代わりに、これらのアルゴリズムは画像パッチが車両を含んでいるか否かを判別するために分類関数を使用する。オフラインでの訓練プロセスを通して、分類誤差が最小となる最適な分類関数が多数の車両および非車両の事例から学習される。訓練プロセスは訓練事例の中での車両外観の変動を考慮に入れている。エッジ、形状およびテンプレートを用いた経験的な車両モデルに比べて、訓練・分類アプローチはより信頼できる検出結果をもたらす。

あるアプローチでは、車両検出アルゴリズムが、マルチスケール仮説生成と、外観に基づく仮説検証の２つのステップで実施される。外観に基づく仮説検証は、ウェーブレット特徴抽出アプローチとサポートベクターマシーン（ＳＶＭ）を分類器として仮説を検証する。別のアプローチでは、ＳＶＭ分類器をオプティカルフローに基づく追跡器に組み込んだサポートベクター追跡（ＳＶＴ）法が導入される。連続フレーム間の輝度差の関数を最小化する代わりに、ＳＶＴは検出結果が相応するビデオフレーム内で最も高い信頼スコアを有するようにＳＶＭスコアを最大化する。

これらのアプローチでは、分類器の応答は前フレームから検出された車両位置の周りの近傍領域上で計算される。分類器の応答が最大となる場所が現フレームにおける車両の位置と見なされる。このような検出法の焦点は正確かつ効率的な車両検出器（分類器）を形成することにある。追跡は個々のフレームからの検出結果を時間的な走行軌跡に結び付けるデータ結合のプロセスと考えられる。

それゆえに、先行車の検出および追跡のための有効かつ効率的なシステムと方法への需要が存在する。

発明の概要
車両を検出および追跡するための方法が、複数のフレームを含むビデオデータを取得し、取得したビデオデータの第１フレームを１つまたは複数の車両検出器と対比して車両仮説を形成し、一連のcoarse-to-fine制約を用いて車両仮説を剪定および検証して車両を検出し、１つまたは複数の車両検出器との形状テンプレートマッチングを融合することにより、取得したビデオデータの１つまたは複数の後続フレーム内で、検出した車両を追跡することを含む。

ビデオデータは移動中のホスト車両に取り付けられたカメラを用いて取得される。上記車両検出器のうちには、クラス固有の検出器が少なくとも１つ含まれていてよい。上記車両検出器のうちには、乗用車両固有の検出器が少なくとも１つ含まれていてよい。上記車両検出器のうちには、トラック固有の検出器が少なくとも１つ含まれていてよい。上記車両検出器のうちには、Ｌ字形コーナ部とその鏡映形コーナ部のそれぞれの検出器が含まれていてよい。

一連のcoarse-to-fine制約には、車両左低部と車両右低部の事例から学習した車両部分検出器が含まれていてよい。車両部分検出器の後に方向ヒストグラム制約が続くようにしてよい。また、方向ヒストグラム制約の後にカスケード乗用車／トラック検出器が続くようにしてよい。

車両仮説は、車両仮説の形成に使用される１つまたは複数の車両検出器とは異なる第２の１つまたは複数の車両検出器によって剪定および検証してもよい。

車両検出器の応答は時系列的に蓄積される。検出された車両は後続フレーム内でカーネルに基づく確率的な形状追跡器によって追跡することができる。このカーネルベースの確率的な形状追跡器は、画像領域内の特徴点を前フレームの相応するターゲットから抽出した１つまたは複数の形状テンプレートとマッチングすることにより車両の動きを推定する。形状テンプレートは一連の零交差点から構成される。零交差点はその位置と勾配ベクトルにより記述される。

画像領域内の特徴点と形状テンプレートのマッチングは、零交差点上でカーネルに基づくノンパラメトリック密度推定を最適化することにより行うことができる。零交差点上でカーネルに基づくノンパラメトリック密度推定を最適化することにより、車両動きパラメータの複数のモードが生じる。車両動きパラメータの単一の最良モードは、カーネルに基づくノンパラメトリック密度推定の最大関数値を有するモードであって、しかも車両検出器からの応答が予め選ばれた値よりも高くなるようなモードとして決定される。ターゲット外観のフレーム間分散を反映させるために、形状テンプレートを更新してもよい。

この方法はさらに検証ステップと追跡ステップの結果をまとめて、追跡を維持するかまたは終了するかを決定することも含む。複数の車両を同時に追跡してもよい。第１ビデオフレームは複数の解像度からなる画像ピラミッドとして表すことができる。車両検出仮説を形成する際、比較的小さく見える車両の検出は比較的高い解像度で行い、比較的大きく見える車両の検出は比較的低い解像度で行うようにしてよい。追跡は複数の解像度で行ってもよい。

一連のcoarse-to-fine制約を用いて車両検出仮説を検証する際、１つまたは複数の要素検出器を使用してよい。検証された車両仮説はパノラマ車両検出器を使用してさらに検証してもよい。テンプレートに基づく追跡は検出された車両を１つまたは複数のフレーム内で追跡するために使用することができる。テンプレートに基づく追跡はカーネルに基づく確率的な形状追跡を使用するものであってよい。

車両検出および追跡のためのシステムは、複数のフレームを含むビデオデータを取得するために移動ホスト車両に取り付けられたカメラと、車両検出仮説を形成するために、取得したビデオデータの第１フレームを１つまたは複数の車両検出器と対比し、車両を検出するために車両検出仮説を検証し、検出した車両を取得したビデオデータの１つまたは複数の後続フレーム内で追跡するための中央追跡器を含む。

上記の複数の車両検出器は、乗用車向けまたはトラック向けの少なくとも１つの専用検出器を含んでいてよい。第１ビデオデータは複数の解像度からなる画像ピラミッドとして表すことができ、追跡は複数の解像度で行われる。テンプレートに基づく追跡は検出した車両を１つまたは複数のフレームの中で追跡するために使用することができ、カーネルに基づく確率的な形状追跡を使用するものであってよい。

コンピュータシステムが、コンピュータシステムにより可読であり、かつ車両検出および追跡のための方法ステップを実行するプロセッサにより実行可能な命令からなるプログラムを実体化したものであるプログラム記憶装置と、プロセッサとを含むものとしてもよい。上記方法は、複数のフレームを含むビデオデータを取得すること、車両検出仮説を形成するために、取得したビデオデータの第１のフレームを１つまたは複数の車両検出器とマッチングすること、および検出した車両を取得したビデオデータの１つまたは複数の後続フレーム内で追跡することを含んでいる。

車両検出仮説は車両検出のための一連のcoarse-to-fine制約を用いて検証することができる。上記の複数の車両検出器は、乗用車向けまたはトラック向けの少なくとも１つの専用検出器を含んでいてよい。第１ビデオデータは複数の解像度からなる画像ピラミッドとして表すことができ、追跡は複数の解像度で行ってよい。テンプレートに基づく追跡は検出した車両を１つまたは複数のフレームの中で追跡するために使用することができ、カーネルに基づく確率的な形状追跡を使用するものであってよい。

本発明の１つの実施例による検出および追跡フレームワークを説明するフローチャートである。 本発明の別の実施例による検出および追跡フレームワークを示すフローチャートである。 本発明の１つの実施例による小規模から大規模のさまざまな検出関心領域を示している。 本発明の１つの実施例による仮説生成（ＨＧ）、仮説剪定、および仮説検証（ＨＶ）のプロセスを示すフローチャートである。 仮説処理に対する代替的なアプローチを示すブロック図である。 本発明の１つの実施例によるコーナ部検出フィルタにより生成される先行車コーナ部の仮説を示している。 本発明の１つの実施例による部分検出器によって使用される画像領域を示している。 本発明の１つの実施例による画像勾配の向きのヒストグラムを計算するために使用されるＵ字形の画像領域を示している。 本発明の１つの実施例による車両追跡のプロセスを示すフローチャートである。 本発明の１つの実施例によるローカルターゲット動き推定のプロセスを示すフローチャートである。 本開示の実施形態による方法および装置を実施することのできるコンピュータシステムの一例を示している。 本発明の１つの実施例による検出および追跡フレームワークを示すフローチャートである。

図面の詳細な説明
図面に示されている本開示の実施例を説明するにあたり、明瞭性のために特殊な用語を用いる。しかし、本開示はこのようにして選ばれた特殊な用語に限定されるものではなく、個々の特定の要素は同様に動作するすべての技術的等価物を含むものと理解しなければならない。

本発明の実施例はビデオ車両検出および追跡のためのシステムと方法を提供する。検出および追跡は取得したビデオデータを一連の既知の車両検出器とマッチングすることにより行われる。車両検出器は車両の特定のクラスを示す一連の特徴であり、したがって車両の特定のクラスはビデオ画像の一局面を一連の既知の車両検出器とマッチングすることによりビデオ画像内で識別される。車両識別子はビデオ画像からの訓練データを用いてオフラインで訓練される。

勾配画像または対数勾配画像（すなわち、対数画像の勾配）のいずれかの勾配に基づいた特徴は、車両の輪郭および内部構造を特徴付けるために用いてもよく、積分画像を使用して効率的に実現することができる。部分／乗用車／トラック検出器では種々の特徴が使用されるので、車両検出器は検出精度を上げるために車両の特定のクラスに固有のものとしてよい。

部分／乗用車／トラック検出器は訓練データを用いてオフラインで訓練してもよい。強分類器は、部分／乗用車／トラック検出器を訓練するためにブースティングフレームワークに導入された複数の弱分類器から構成される。個々の特徴によって定義された弱分類器に加えて、補助的な弱分類器を定義するために、特徴のペアに関する弱決定の合成を用いてもよい。複合弱分類器を用いたブースト分類器は同レベルの分類正確度に達するのにより少ない特徴で済む。複合弱分類器に係わる訓練アルゴリズムは公知のものであってよい。

弱分類器を定義する際、複数の決定株を使用してよい。このアプローチは、弱分類器を定義するための単一閾値スキームにとって代わりうる。この新しいスキームは分類エラーを減らし、結果的に同じレベルの正確度を達成するのにより少ない弱分類器で済む。

車両検出器をオフラインで訓練した後、訓練された車両検出器は、オンライン車両検出として知られる他の先行車両の識別および追跡のためにホスト車両内で使用される車両検出および追跡システムに組み込まれるようにしてよい。

本発明のいくつかの実施例では、部分検出器を用いて、例えば地面に接した２つの低いコーナ部などの車両コーナ部の仮説を生成するよりも格段に速い単純なコーナ部検出アプローチが採用される。部分検出器は車両部分のクラスを非車両部分のクラスから別ける２値分類器としてよい。これら部分検出器は車両の事例と非車両の事例とから学習される。

本発明のいくつかの実施例では、一連のcoarse-to-fine制約を用いて仮説検証（ＨＶ）が行われる。このcoarse-to-fine制約には、幾何学制約、１クラス制約、非車両仮説を排除する分類器の連鎖、およびブースト車両検出器が含まれうる。左右の車両コーナ部の仮説をまとめて、車両サイズに関する制約を満たすペアにしてもよい。また、単純なコーナ部検出の後により計算コストのかかる部分検出器を適用して、非車両からの仮説を排除してもよい。また、部分検出器の後に、比較的コストの高い方向ヒストグラム制約の手続きを適用して、さらに非車両仮説を排除するようにしてもよい。最後に、方向ヒストグラムチェックの後に、カスケードされた乗用車／トラック検出器の任意選択的なステップを適用して、さらに非車両仮説を除去してもよい。

乗用車とトラックとでは、仮説検証（ＨＶ）に使用する検出器が異なっていてよい。厳格な車両分類が必要な場合には、さらなる分類アプローチを用いてもよい。

本発明のいくつかの実施例では、ビデオ画像内の物体の特徴点を、先行ビデオフレームで抽出された相応するターゲットから抽出される形状テンプレートとマッチングすることにより、車両が追跡される。形状テンプレートはターゲット外観のフレーム間分散を反映させるために更新される。テンプレート更新プロセスは外観に基づく検出によりガイドされる。この外観ベースの車両検出器はその後、追跡結果の検証にも使用しうる。

本発明のいくつかの実施例では、フレームごと車両検出とフレーム間車両追跡の融合を行う統合型の検出追跡アプローチが用いられる。統合型の検出追跡では、画像シーケンスの時間的な関連を利用して、フレームごと検出の整合性と正確度が高められる。ターゲット車両は複数のフレームを通して動くので、その外観は経時的に整合しており、連続する複数のフレームにわたって画像領域のマッチングに反映される。時間的関連はターゲットの検出および位置同定にとって必要な制約条件を課す。時間的関連の利用により、単一フレーム検出はフレームごとの証拠の蓄積を通して、連続する複数のフレームにおける車両走行軌跡の検出へと拡張される。

また、フレームごとの車両検出により、時間的追跡が車両ターゲットから逸脱せず（例えば、追跡法一般に付随するドリフト問題）、車両ターゲットが視野から消えないことが検証される。したがって、見失ったまたは無効な走行軌跡を終了するメカニズムで追跡を補うことができる。

本明細書で説明する基本的な検出および追跡機能は、適用要件に合わせて柔軟に複数の仕方で使用または組合せてよい。以下に、２つの例を適用例を示す。（１）交通渋滞アシスト用のカメラシステムでは、車載前方監視カメラシステムを用いて、自車両の前を行く単一車両が検出される。本発明のいくつかの実施例は、すぐ前を走る車両の時間的な走行軌跡を維持し、自車両からの距離と車線の割当てを決定するために使用する。（２）適応型クルーズコントロールおよびプリクラッシュ警告の用途のＬｉｃａｍシステムでは、ビデオ測定を提供するために、本発明のいくつかの実施例をビデオコンポーネントとして、例えばビデオ車両検出モジュール（ＶＶＤ）として使用する。視野内の他車両を検出および追跡し、ホスト車両に対する先行車両の位置を求めるために、中央検出追跡エンジンを導入して、ビデオ測定をライダー測定と融合する。ＶＶＤが中央検出追跡エンジンによって指定された関心領域（ＲＯＩ）のリスト内で単一または複数の車両検出を行う。検出結果に、車両の２Ｄ位置と信頼スコアを含ませる。また、検出結果を中央検出追跡装置に送る。

通過車両を検出するための特定のアルゴリズムは公知であるから、ここでは取り上げない。隣接車線を跨いで通過する車両の粗い追跡およびフラギングのためのさらなるアルゴリズム拡張は公知であるが、ここで取り上げる。このようなアルゴリズムを本明細書で論じる本発明の実施例に適用してよい。

夜間車両検出および追跡のための準備アルゴリズムは公知であるので、ここでは詳しく説明しない。しかし、このようなアルゴリズムを本明細書で論じる本発明の実施例に適用してもよい。

同様に、昼夜融合のためのアルゴリズムも公知であり、現在開発中である。このようなアルゴリズムの例は、D. Acunzo, Y. Zhu, B. Xie, G. Baratoff, "Context-Adaptive Approaches for Vehicle Detection Under Varying Lighting Conditions," IEEE ITSC 2007において論じられており、本明細書に参照として取り入れられている。

オフライン学習、夜間車両検出および追跡、通過車両の検出のアルゴリズムも同様に公知である。

図１は、本発明の１つの実施例による検出および追跡フレームワークを示すフローチャートである。先行車両の後を追う運転者を支援する場合には、単一車両の検出および追跡が行われる。車両の検出および追跡には、検出ステップ（Ｓ１２）、追跡ステップ（Ｓ１３）およびアセンブルステップ（Ｓ１４）の３つの主要機能が含まれている。検出ステップ（Ｓ１２）では、車両が検出されていない場合（ステップＳ１１のＮｏ）には、新たなターゲットを検出するための機能が実行される。車両が検出されている場合（ステップＳ１１のＹｅｓ）には、追跡ステップ（Ｓ１３）が実行され、車両追跡が新しいフレームへと延長される。検出ステップ（Ｓ１２）と追跡ステップ（Ｓ１３）の結果はアセンブルステップ（Ｓ１４）で処理される。アセンブルステップ（Ｓ１４）では、推論が行われて、単一車両の走行軌跡が開始、維持または終了される、および／または走行軌跡ステータスが更新される。

複数車両を検出および追跡するために、このフレームワークを、例えば図２に示されているように、変更してもよい。図２は、本発明の別の実施例による検出および追跡フレームワークを示すフローチャートである。入来フレームの各々について、既存の車両走行軌跡を新たなレームへと延長するために追跡ステップ（Ｓ２１）が実行され、次に、新たな車両を認識するために検出ステップ（Ｓ２２）が実行される。最後に、アセンブルステップ（Ｓ２３）が実行され、検出および追跡されているターゲットの履歴と空間的関係を調べることにより、検出と追跡の結果が融合される。

以下で論じる実施例では、ホスト車両の前方の単一車両が検出および追跡される。この例は図解の容易さのために為されたものであり、任意の数の車両をホスト車両のどの側から追跡してもよいことを理解されたい。

図３には、小規模から大規模のさまざまな検出ＲＯＩが示されている。以下に、図３を詳細に説明する。

車両検出のタスクは、例えば前フレームから識別されていない車両などの、新たな車両の外観を検出することである。図４は、本発明の１つの実施例による仮説生成（ＨＧ）、仮説剪定、および仮説検証（ＨＶ）のプロセスを示すフローチャートである。ここでは、車両仮説を素速く生成し、仮説を剪定し、より正確でありながら高価な分類器によって残りの仮説を検証するために、単純かつ柔軟なメカニズムを使用する。このアプローチの詳細については、図４を参照しつつ、以下で非常に詳しく説明する。

車両の観察されたサイズはその車両と自車両との間の距離に応じて大幅に変化しうるので、本発明のいくつかの実施例では、任意のサイズの車両を１つの画像フレーム内で検出する。任意のサイズの車両の検出を可能にするため、画像フレームを複数の解像度レベルからなる画像ピラピッドによって表してもよい。小さな車両外観（例えば、遠くの車両）の検出は元々の解像度で行い、大きな車両外観（例えば、近い車両）の検出は解像度を下げて行う。低解像度画像はガウシアンフィルタの使用により、および／または例えば２によるダウンサンプリングにより生成される。解像度の低減に複数のレベルがあって、後続の各画像の解像度がさらに低減されているようにしてもよい。したがって、各画像フレームについて、さまざまな解像度を有する画像のピラミッドが存在する。このピラミッドは大きな車両を低い解像度で追跡するのにも役立つ。

例えば、ピッチ角、ロール角、ヨー角、路面に対するカメラ位置および内部的カメラパラメータなどのカメラパラメータは、車両と路面との間に接触点があると仮定すれば、車両外観の２Ｄ幅と地面に接触する車両底部の２Ｄ画像位置（垂直）との間の粗いマッピングを得るために使用することができる。或るサイズの車両外観は画像の限られた領域の中にしか現れない。したがって、与えられた車両サイズに対して、そのサイズのための有効検出領域、例えば関心領域（ＲＯＩ）を定めることができる。

各フレームにおいてすべてのサイズについて検出を行った場合、計算が重くなり過ぎることがあるため、仮説生成（ＨＧ）の際にスケール次元に沿った交互スキャン方式を採用してもよい。ここで使用している「スケール」という用語は、例えば後から見た車両外観の２Ｄ幅などの、車両サイズを指す。各フレームについて１つのスケールで検出を行い、検出スケールは利用可能なすべてのスケールのうちから交互にとられるようにしてよい。例えば、本発明の１つの実施例では、部分検出器は３つのスケールで、例えば３２ピクセル、４０ピクセル、５０ピクセルの３つのスケールで訓練され、検出は以下のようにして実行される。すなわち、フレーム１では、およそ３２ピクセルのサイズの車両が検出され、フレーム２では、およそ４０ピクセルのサイズの車両が検出され、フレーム３では、およそ５０ピクセルのサイズの車両が検出される等々。しかし、特定の用途により良く合わせるために、複数のフレームにわたって最大限に道路をカバーするように交互スキャンを設計してもよい。検出器スケールよりも大きな車両外観を検出するために、同じ検出を解像度を低くした画像（例えば、表１に示されているような）において行ってもよい。

今の実施例では、３つの異なるスケールをもつ部分検出器が３つの異なる解像度スケールに適用され、３２，４０，５０，６４，８０，１００，１２８，１６０および２００ピクセルのスケールが効果的にカバーされる。

図３には、小規模から大規模のさまざまな検出ＲＯＩが示されている。ここでは、２８ピクセルを超える車両外観をカバーするために、９つのオーバーラップするＲＯＩがシステム内で画定されている。これらのスケールは部分検出器の定義からして離散ではあるが、部分検出器は車両サイズの連続区間をカバーすることができる。例えば、サイズが３２の部分検出器は２８〜３６ピクセル幅の車両コーナ部を検出し、サイズが４０の部分検出器は３５〜４５ピクセル幅の車両コーナ部を検出する等々。部分検出器が検出できる車両のサイズは部分検出器のスケールと正確に同じである必要はない。

図４は、本発明の１つの実施例による車両検出における仮説生成、仮説剪定、および仮説検証のプロセスを示すフローチャートである。図５は、仮説処理に対する代替的なアプローチを示すブロック図である。

図５のアプローチでは、仮説生成ステップ（ＨＧ）の一部として、主部分検出器５１を用いて主要車両部分が検出される。仮説検証ステップ（ＨＶ）の一部として、第２の部分検出器が使用される。第２の部分検出器が仮説を検証した後、パノラマ車両検出器を用いてさらに仮説が検証される。

本発明の１つの実施例に従って後から見た車両を検出するために、まず、選択されたスケールに合わせて検出ＲＯＩを前処理するようにしてよい（ステップＳ４１）。

車両検出のための前処理ステップ（Ｓ４１）では、現画像フレームについて、選択された検出ＲＯＩ内の（対数）勾配マップの積分画像が計算される。その際、水平勾配の積分画像と垂直勾配の積分画像の２つの積分画像が計算される。積分画像はスケール１〜３については元の解像度で計算され、スケール４〜６については解像度を（２だけ）下げて計算され、スケール７〜９については解像度を（４だけ）下げて計算される。積分画像は単純コーナ部検出のフィルタ応答と部分検出器の応答を計算するために使用される。パノラマ車両検出器も任意選択のカスケード検出器も積分画像上で計算する必要がなく、その代わり、以下で説明するように、固定サイズの小さなパッチ内で計算してよい。

単純コーナ部検出ステップ（Ｓ４２）は仮説生成（ＨＧ）ステップを含んでいてよい。単純コーナ部検出ステップ（Ｓ４２）では、Ｌ字形コーナ部を検出するために、Ｌ字形（およびその鏡映形）フィルタが定義される。Ｌ字形フィルタと鏡映Ｌ字形フィルタは垂直方向に対称としてよい。これらのフィルタは画像勾配上に定義されており、積分画像の使用により効率的に実現される。フィルタマスクは図６に示されている。左コーナ部検出の場合、位置（ｘ，ｙ）におけるフィルタ応答は次のように定義される。

右コーナ部検出の場合には、位置（ｘ，ｙ）におけるフィルタ応答は次のように定義される。

ここで、G_H(x,y)、G_V(x,y)は画像座標内の位置（ｘ，ｙ）における水平画像（対数）勾配、垂直画像（対数）勾配をそれぞれ表し、
G_H(x,y)=I(x+1,y)-I(x-1,y) (3)
G_V(x,y)=I(x,y+1)-I(x,y-1) (4)
I(x,y)は画像座標内の位置（ｘ，ｙ）におけるピクセル値を表し、重みw_H(m,n)、w_V(m,n)は次のように定められている。

Ｌ字形フィルタの適用により、２つの応答マップｒ（ｘ，ｙ）、すなわち、左コーナ部検出のために１つ、右コーナ部検出のために１つの応答マップが得られる。次に、応答マップ上で非極大点抑制が実行される。非極大点は捨てられ、応答値が予め選ばれた閾値を超えている局所極大点が車両コーナ部の仮説として選ばれる。なお、予め選ばれた閾値は、多数の車両事例上でフィルタ応答を評価し、下限を選ぶことにより得られる。

コーナ部検出の結果の例は図６に示されている。図６では、ボックス６１がおよそ３２ピクセルの車両の検出ＲＯＩを強調表示しており、点６２が左コーナ部検出の結果を、点６３が右コーナ部検出の結果を示している。

ステップＳ４３〜Ｓ４８は仮説検証プロセスを含んでいる。次のステップでは、初期コーナ部仮説が車両サイズ制約を使用して剪定される（ステップＳ４３）。地平線より下の各画像行（座標ｙ）については、可能な２Ｄ車両サイズ（例えば幅）の範囲は、さまざまな車両モデルの横測定値と路面に対するカメラアングルとに基づいて予め計算される。可能な２Ｄ車両サイズの範囲は区間として例えば次のように表される。

左コーナ部の各仮説に関して、距離がサイズ制約を満たすような右コーナ部仮説が存在するならば、仮説は維持される。そうでなければ、仮説は棄却される。剪定プロセスは右コーナ部の仮説にも適用される。

次のステップでは、コーナ部仮説が部分検出器によりさらに剪定される（ステップＳ４４）。部分検出器は、コーナ点周りの画像領域が車両に属しているか否かを識別する訓練された分類器である。図７には、本発明の１つの実施例による部分検出器により使用される、各コーナの周りの画像パッチが示されている。ボックス７１は左コーナ部周りの画像パッチを示しており、ボックス７２は右コーナ部周りの画像パッチを示している。

図５の単純コーナ部検出と比べて、部分検出器は車両事例上で訓練されており、車両コーナ部により関連している。訓練アルゴリズムも特徴設計も公知である。

次のステップでは、ステップＳ４３で定めた車両サイズ制約を満たす左コーナ部仮説と右コーナ部仮説が車両仮説のグループとして維持される（ステップＳ４５）。

次に、方向ヒストグラムが任意選択的に車両クラスに有効な制約を課す（ステップＳ４６）。車両仮説の画像パッチはまず固定された車両サイズにサイズ変更される。次に、Ｕ字形領域における勾配の向きのヒストグラムが計算され、ｄ次元特徴ベクトルＨとして扱われる。Ｕ字形領域８０は図８に示されている。次に、方向ヒストグラムの

と固有ベクトル｛Ｖ_i｝を得るために、車両事例の方向ヒストグラム上で主成分分析が行われる。制約は主成分への射影の範囲を限定することにより課される。

射影係数の上限および下限を車両事例から学習してもよい。

増加する弱分類器を含む一連の分類器｛Ｃ₁，Ｃ₂，．．．，Ｃ_n｝を使用することにより、多数の非物体候補は初期の段階で比較的少数の弱分類器を用いて効率的に除去される（ステップＳ４７）。この手続きの１つの例によれば、個々の分類器Ｃ₁〜Ｃ_nはパスするかまたは拒絶されるかである。どの分類器の拒絶も、テストなしに、後続のすべての分類器の拒絶をもたらす。

次のステップでは、パノラマ分類器（例えば、乗用車向けパノラマ分類器とトラック向けパノラマ分類器）が適用され、前のテストにパスしたすべての車両仮説上で最終的な検出スコアが求められる。仮説は、その検出スコアが予め決められた閾値よりも低ければ拒絶され、そうでなければ、潜在的な車両候補として維持され、追跡・時間融合モジュールに渡される。

単一のターゲットだけを検出および追跡すればいい適用事例については、検出を融合して単一最良仮説を見つけ出す後処理ステップを使用してもよい。

ベイジアンフィルタリングの枠組みはベイズの意味での視覚追跡を提供する。事後確率は反復手続きによって時間的に伝播させることができる。例えば、以下の式に従ってベイジアンフィルタリングを行う。

ガウシアンモデルと線形ダイナミクスの場合、ベイジアンフィルタは周知のカルマンフィルタに還元される。予測ステージでは、新しいフレームＩ_tでのターゲット状態（例えば位置）ｘ_tが前フレームＩ_t-1での位置ｘ_t-1から予測される。

非常に多くの場合、予測されたターゲット位置ｘ_tは、ターゲットがランダムウォークすると仮定すれば、ｘ_t-1の周りの信頼領域によって記述できる。ビデオ車両追跡の場合、３次元状態変数ｘ_tにより車両位置と車両サイズがコード化され、予測される車両位置およびサイズは、推定された車両進行方向と速度とを含むより詳細な動学モデルを介して解くことができる。更新ステップでは、現フレームからのさまざまな測定値が考慮され、事後確率密度関数が更新される。

ベイジアンフィルタリングを実施する際、或る画像キューに対しては正確な尤度関数ｐ（Ｉ_t｜ｘ_t）が得られない。例えば、車両と非車両の識別を最大化するよう訓練された車両分類器からの応答ｒ_tは解析的な尤度項ｐ（ｒ_t｜ｘ_t）に直接対応するものを持っていないかもしれないが、それでもキューは車両追跡にとって重要である。さらに、事後確率密度関数ｐ（ｘ_t｜Ｉ_t-1）は多モード的な性質を示すことが多く、事後確率を正確な形で維持するには、または追跡における多数の仮説を維持するには時間がかかり過ぎる。これらの問題に対処するために、有効なキューを融合する際にトレードオフや近似を行ってもよい。正確な事後確率を維持するのではなく、最も重要なモードを使用して事後確率を近似するために、単一の最尤仮説または事後確率の高い複数の仮説を維持するようにしてもよい。

ビデオ車両追跡の際に、２種類の測定値を、すなわち、車両分類器の応答と、車両テンプレートとのマッチングを使用してもよい。車両分類器は全車両クラスに外観に基づいた制約を課すが、異なる車両事例を区別できないこともありうる。テンプレートに基づくマッチングは車両追跡のための第２の測定値を提供する。さらに、視覚追跡に内在する時間的関連を利用するために、形状テンプレートを特定の車両事例のための専用モデルとして使用してもよい。このシステムの厳しい実行時要求を満たすためには、単一最良仮説が追跡される。分類器応答とマッチング結果を融合してターゲット位置を求めてもよい。テンプレートマッチングは状態推定の位置特定正確度をより良くし、分類子応答は背景に対する区別をよりはっきりさせるので、２つのタイプの測定を融合することにより、テンプレートマッチングが複数の位置およびサイズ仮説を生成し、分類器が単一最良仮説を決定するのを助けるようにすることができる。

車両検出器を使用してターゲットを追跡する代わりに、「本当の意味の」追跡方式をシステムに導入してもよい。このような方式では、時間マッチングを行うために、カーネルベース確率形状追跡（ＫＰＳ追跡器）と呼ばれる、テンプレートに基づく追跡アルゴリズムが導入される。その場合、車両検出器は追跡結果の検証に使用される。

図９は、本発明の１つの実施例による車両追跡のプロセスを示すフローチャートである。第１のステップは大域動き補償（ステップＳ９１）を含む。大域的な動きはカメラへの突然の衝撃および／または振動によって引き起こされ、垂直方向に画像の大きな動きを生じさせる。このような大域的な画像の動きを補償するために、オプティカルフローアルゴリズムを使用して、ターゲット車両周りの大きな画像パッチ上で２Ｄ動きベクトルが推定される。計算コストを下げるために、解像度を下げた画像でオプティカルフロー推定を行ってもよい。

大域動き補償の後は、局所ターゲット動き推定が行われる（ステップＳ９２）。このステップでは、物体追跡器を用いてターゲット車両の位置が新しいフレーム内でより精確に特定される。次に、カーネルベース確率形状追跡を使用して特徴点をマッチングすることにより物体が追跡される。追跡アルゴリズムがターゲット位置に関する複数の仮説を生成してもよい。各仮説は対応するマッチングスコアを有する。

次に、ターゲット検証が行われる（ステップＳ９３）。このステップはテンプレートマッチングと検出器応答の２つの測定値を融合する。外観に基づいた車両検出器は、追跡器が実際に車両をロックオンしており、背景パッチへと流されていないことを検証するための「ゲート」関数として使用される。ゲート関数は、外観に基づく車両検出器からの応答が所定の閾値を超えているような仮説を受け入れる。単一最良仮説は、例えば、局所ターゲット動き推定ステップ（Ｓ９２）からのすべての仮説のうち、車両検出器からの応答がゲート関数に受け入れられたものの中で最もテンプレートとマッチする仮説として決定される。ただし、このようにして決定された単一最良仮説は車両検出器からの応答が最も高い仮説ではないことに注意されたい。

それゆえ、時間融合と推論のステップ（ステップＳ９４）では、追跡の特定の事例を続けるべきか止めるべきかが決定される。

例えば、追跡を止めるべきであるとの決定が為された場合には、追跡器が車両をロックオンしないように決定され、被追跡車両が背景パッチへ流れていった場合には、追跡は中止される（ステップＳ９７）。追跡を続けるべきとの決定が下れば、追跡は続けられる（ステップＳ９５）。

新たな車両外観が車両検出器によって初めて検出された場合、このターゲットのために形状テンプレートが形成される。上で論じたように、形状テンプレートは複数の異なる解像度を含むマルチスケールであってよい。追跡が続く間、マルチスケール形状テンプレートは取得したさらなるデータに合わせて更新される（ステップＳ９６）。その後は、追跡が最終的に停止する（ステップＳ９７）までプロセスが繰り返される（ステップＳ９１）。

形状テンプレートを形成する際、ターゲットを含む画像パッチ内で強い水平勾配または垂直勾配を有する画像の２階微分の零交差が抽出される。零交差は1階微分（すなわち画像勾配）の局所極大値である。これらの特徴点は画像座標内での位置と勾配ベクトルにより表され、形状テンプレートを構成する。形状テンプレートに関連した信頼スコアは車両検出器を形状テンプレートに適用することにより生成される。このスコアは車両であることの尤度という観点で形状テンプレートの品質を表すものである。追跡中、形状テンプレートは、より高い検出器スコアがある時間インスタンスにおいて得られると、更新される。テンプレートマッチングにおいて適度な数の特徴点を維持するために、大きなターゲットの追跡は解像度を下げて行ってよい。したがって、マルチスケール形状テンプレートを形成し、複数の解像度において更新するようにしてよい。今の実施例では、形状テンプレートで使用される特徴点の数は車両外観の周りの画像パッチのおよそ１０％〜２０％である。

カーネルベース確率形状追跡（ＫＰＳ追跡器）では、形状テンプレート内の特徴点は｛Ｙ_i＝ｙ_i，Ｇ_i｝で表される。ここで、ｙ_iは特徴点の画像座標を表し、Ｇ_iは特徴点の正規化された勾配ベクトルを表している。画像フレーム内の特徴点は｛Ｚ_i＝ｚ_i，ｇ_i｝で表される。ここで、ｚ_iとｇ_iは特徴点の画像座標と勾配ベクトルをそれぞれ表している。画像データ内での特徴点の分布を記述する確率モデルはカーネルに基づいた表現で表される。

ここで、k(Z;Z_j,Λ)は平均Z_jおよび共分散行列

のガウス関数を表し、σ_zは特徴点の画像位置に関するガウシアンカーネルの帯域幅を表し、σ_gは特徴点の勾配ベクトルに関するガウシアンカーネルの帯域幅を表している。車両の後部はほぼ平面であり、車両は光軸に沿ってまたは横方向に動いており、例えば、大きな方向転換は考察されないと仮定してよい。車両後部の２次元的な動きは並進とスケーリングによって近似的にモデル化される。最良のターゲット位置およびターゲットサイズを見つけ出すために、３次元の問題が解かれ、例えば、最適の並進およびスケーリングのパラメータが求められる。並進パラメータはＴ＝（Ｔ_x，Ｔ_y）で表され、スケーリングパラメータはｓで表される。画像フレーム内の一連の特徴点と形状テンプレート内の一連の特徴点とのマッチングは以下の最適化問題として定式化される。

ここで、ｓ・ｚ_j＋Ｔは画像フレーム内の特徴点をテンプレート座標に写像する逆変換を定義している。変換（Ｔ，ｓ）により、画像フレームｚ_jの各特徴点はガウシアンカーネルを通して局所的な距離測度を形成する。

ここで、変換された特徴点ｓ・ｚ_j＋Ｔは局所カーネル

の中心を定義しており、正規化された勾配ベクトルｇ_jは正規化された勾配カーネル

の中心を定義している。この局所距離測度は、任意の特徴点Ｚが（形状テンプレート内の）変換された特徴点にどれだけ近いかを特徴点の位置および特定の変換（Ｔ，ｓ）の下で画像勾配の類似の観点から測るものである。したがって、分布した特徴点｛Ｚ_j：ｊ＝１，２，．．．｝上での局所距離測度の総和

は、任意の特徴点のグループ｛Ｙ_i：ｉ＝１，２，．．．｝が特定の変換（Ｔ，ｓ）の下でどれだけ特徴点のグループ｛Ｚ_j：ｊ＝１，２，．．．｝に近いかを測るものである。それゆえ、式（１０）は、このような変換の下で、形状テンプレート内の特徴点｛Ｙ_i：ｉ＝１，２，．．．｝がその位置および正規化された勾配という点で画像フレームから抽出された一連の特徴点に最も相似した変換となるような、最適な目的変換関数（Ｔ，ｓ）_optを見つけ出すために使用される。

統計的観点からすれば、目的関数（１０）は、テンプレート特徴点が画像特徴点からの特徴点と同じ分布で生成される尤度として解釈される。ガウシアンカーネルは費用関数を定義する際に使用される。ユークリッド距離のような他の距離測度に比べて、このアプローチは外れ値に対する大きな許容差を持っている。というのも、（影によって生じる特徴点などのような）外れ値の影響が限定されるからである。

変換パラメータを繰り返し最適化するためには、勾配上昇法が用いられる。勾配上昇法は、初期点から始めて、目的関数の勾配が上昇する方向に変換パラメータを繰り返し改善する。ＫＰＳ追跡器の数学的定式化については、以下で詳しく説明する。一般に、様々な並進値およびスケール値におけるマッチング関数の曲面は複数の局所極大値を有する。最大値の位置を特定してもよい。勾配上昇法が局所極大値を出す可能性を最小化するために、パラメータ空間内に複数の初期化を設け、勾配上昇アルゴリズムを複数回実行するようにしてもよい。

目的関数を最適化する反復手続きにより、サブピクセル精度が達成される。しかし、計算の観点からはコスト高であり、かつ低速である。マッチングプロセスを高速化するために、２つのレベルのマッチングを行うcoarse-to-fineアプローチを採用してもよい。

第1レベル（粗マッチング）では、目的関数が粗い近似で置き換えられる。ガウシアン関数を用いてペナルティ項を正規化された勾配ベクトル上で定義する代わりに、勾配ペナルティ項を離散にしてもよい。ここで、各画像ピクセルには、水平方向における零交差点、垂直方向における零交差点、両方向における零交差点、および非零交差点であるピクセルを表すラベル｛ｌ_H，ｌ_V，ｌ_HV，ｌ_N｝が割当てられている。形状テンプレート内のｉ番目の特徴点のラベルが現フレーム内のｊ番目の特徴点のラベルとマッチするならば、ｋ_i,j＝１と定義する。この粗マッチングはガウシアンアプローチよりも計算コストが低く、特徴位置から距離マップを事前に計算しておくことで、かなり効率的な実装が可能になる。

現フレーム内でターゲット車両を追跡するためには、３次元パラメータ空間（ｓ，ｔｘ，ｔｙ）が前フレームにおけるターゲット位置の周りで一様にサンプリングされ、離散サンプリンググリッド｛（ｓ_i，ｔｘ_i，tｙ_i）｝上のマッチング関数が計算される。各サンプル点（ｓ_i，ｔｘ_i，tｙ_i）について、局所極大値を見つけるために、マッチングスコアの値が隣接サンプル上でのマッチングスコアと比較される。局所極大値は目的関数（式１０）のモード点である。粗マッチングでは複数のモードが識別され、これら複数のモードは精マッチングのための初期化として用いられる。

第２レベル（精マッチング）では、第１レベルの粗マッチングで得られたモード位置が、式（１０）で定義される目的関数を最適化することにより精緻化される。ＫＰＳ追跡器との関連で以下に詳しく述べる勾配上昇法は、第１レベルのマッチングにおいてモードとして識別された離散サンプル点から出発して目的関数（１０）の局所極大値へと収束するように行われる。

目的関数をカーネル関数から計算するには、複数の指数関数が計算される。ここでは、この計算を単純化する３つのアプローチを示す。

第１のアプローチでは、各カーネル（例えば、Ｚ_j＝［ｚ_j，ｇ_j］を中心とする）が限られた台を有するので、Ｚ_jから遠く離れた特徴点（ｘ）は無視され、それらの関数値は計算しなくてよい。

第２のアプローチでは、オンライン計算を少なくするため、指数関数を事前に計算し、ルックアップテーブルに格納しておく。

第３のアプローチでは、形状テンプレートを複数の画像領域とマッチングさせる際に、カーネル密度関数のいくつかの計算を異なるマッチの間で共有する。例えば画像グリッド｛ｘ｝などの探索領域が既知ならば、関数値ｐ_D（Ｘ｜｛Ｚ_j｝）は一回で計算される。マスクはマッチング値を合計するために用いるだけでよい。

形状テンプレートマッチングの計算は２つの部分を含む。第１の部分では、量の事前計算が最適化において再利用される画像データ中の特徴点を形成する。事前計算の計算量は探索領域内の特徴点に対して線形である。

第２の部分（マッチング）は複数の初期化点からの反復最適化を含む。目的関数はまず３Ｄパラメータ空間（Ｔ，ｓ）内の粗グリッド上で計算される。パラメータコンフィギュレーションのうちのいくつかは幾何学的制約により除去される。初期化計算の後、少数のトップマッチ（例えば局所極大値）が初期位置として維持され、より正確な（例えばサブピクセル）マッチングのために勾配に基づいた反復最適化が行われる。形状テンプレートマッチングで得られた局所極大値、例えば目的関数におけるモードは、現画像フレームにおけるターゲット車両の位置の候補である。

図１０のフローチャートには、本発明の１つの実施例に従ったＫＰＳ追跡器のプロセスが示されている。まず、勾配の大きさが閾値を超えている零交差点の数が前フレームからの車両位置の周りの局所画像パッチのサイズに比例するように、適応的閾値が選ばれる。次に、勾配の大きさが適応的閾値を超える零交差が局所画像パッチから抽出され、特徴点を決定する（ステップＳ１０１）。次に、局所極大値を、すなわち、車両位置候補を見つけるために、カーネルベース確率形状追跡器が実行される（ステップＳ１０２）。最も蓋然性の高い車両位置を決定するため、車両検出器を適用する（ステップＳ１０３）。次に、最も蓋然性の高い車両位置で局所画像パッチ内の特徴点を抽出することにより、マルチスケール形状テンプレートが更新され（ステップＳ１０４）、またプロセスが繰り返される。

テンプレートに基づくマッチングは、例えば正確なターゲット位置およびサイズの推定などの、ターゲット位置特定のために設計されているので、車両検出器は物体識別のために設計されており、２つの測定が以下のように融合される。車両検出器の応答は、マッチング関数のモードにおいては、車両から離れて流されていることを示すように低い値をとるので、車両検出器の応答はマッチング関数のモードを除去する「ゲート」関数として用いられる。検出応答が十分に高く、マッチング窓がちょうど車両事例上にあることが示唆されるモードの中から、テンプレートとの最良の一致を示すマッチング関数の最高値を有する最良モードが選び出される。この融合戦略によれば、車両検出器応答を用いることでドリフトが検出される。

形状追跡器の正確度は、期間を延長して車両事例を記述するために「マルチプルテンプレート」を使用することで高められる。このアプローチによれば、照明の大きな変化による車両外観の大きな変化に対処するＫＰＳＴの能力が改善される。このアプローチによれば、ターゲット車両は、各々が複数のスケールに跨る複数の形状テンプレートに対応付けられる。さらに、最適なテンプレートスケールを選択する際に、実際に求められた車両サイズを利用してもよい。大型車両については、解像度スケールを下げて追跡することにより、解像度スケールを下げた場合のテンプレート特徴点の数が計算的に無理のない程度にすることができる。どのスケールの単一形状テンプレートも追跡ターゲットの１つの時間インスタンスに限定されているので、より多様な情報を取り入れるためにテンプレートを延長してもよい。マルチプルテンプレートアプローチの例はSimon Baker, "The Template Update Problem" IEEE PAMI 2004に見られる。この文献の内容は参照により本開示に含まれる。あるいは、複数事例間の分散を反映するように、テンプレートの統計的表現（例えば、重み付けされた特徴点という形での）を改めてもよい。また、複数事例間の対応関係を探ることにより、車両境界の周りのセグメンテーションをより正確にしてもよい。急な方向転換をする車両を追跡する場合には、３パラメータモデルをアフィン動きモデルへと拡張してもよい。

ビデオ車両検出・追跡モジュールを他のセンサモダリティと融合する際には、ビデオ測定のマルチモーダル性が考慮される。複数仮説分析は、単一仮説のみを追跡する場合であっても、外れ値と背景がカメラセンサによって相互観察されるという理由から実施される。

検出および追跡機能が実行された後、結果がまとめられ、時間に沿って追跡を開始、維持、更新および終了するために使用される。時間融合と推論は「結果をまとめる」の機能において行われる。

適応型クルーズコントロール（ＡＣＣ）または交通渋滞アシストに適用する場合には、単一の先行車両が時間を追って追尾される。本発明の１つの実施例によれば、「結果をまとめる」機能により以下のステップが実行される。
１．車両が初めて検出されたときに走行軌跡を開始する。
２．既存のターゲットについては、ターゲットを追跡し、信頼スコア（例えば、車両検出器からの応答）を蓄積し、ターゲットの経時的な履歴を維持する。
３．ターゲットが所定の期間を超えて追跡された、およびまたは所定のレベルを超える信頼スコアが得られたら、車両ターゲットであることが確認される。
４．既存ターゲットがホスト車両と同じ車線内を動いているのか否かを判定する。
５．ゲーゲットが車線を外れて動いている、または蓄積された信頼スコアが所定レベルに満たない場合には、走行軌跡を中断する決定を下す。
６．確認されたターゲットを出力する。

本発明の実施例では、複数のターゲットが検出および追跡される。このような実施形態では、「結果をまとめる」機能において以下のステップが行われる。
１．新たに検出された各車両の走行軌跡を開始する。
２．既存のターゲットについては、ターゲットを追跡し、信頼スコア（例えば、車両検出器からの応答）を蓄積し、ターゲットの経時的な履歴を維持する。
３．ターゲットが所定の期間追跡された、およびまたは所定のレベルを超える信頼スコアが得られたら、車両ターゲットであることが確認される。
４．蓄積された信頼スコアが低すぎる場合には、走行軌跡を中断する決定を下す。
５．確認されたターゲットを出力する。

上記のように、カーネルベース確率形状追跡（ＫＰＳ追跡器）は時間マッチングを行うために使用される。ＫＰＳ追跡を行う際には、以下の最適化問題が解かれる。

ここで、（Ｔ，ｓ）は並進パラメータとスケーリングパラメータを表し、（ｚ_j，ｇ_j）はテストフレーム内のｊ番目の特徴点の位置と勾配を表し、（ｙ_i，Ｇ_i）はテンプレート内のｉ番目の特徴点の位置と勾配を表している。尤度項（１１）を大きくするために、変換パラメータ（Ｔ，ｓ）は反復の度に少しずつ繰り返し調整される。

ベクトル形式で解を記述するために、変換パラメータに対して異なる表記法を用いてもよい。

ここで、（ｓ，ｔｘ，ｔｙ）は１つのスケーリングパラメータと２つの並進パラメータを表しており、（ｘ_j，ｙ_j）はテストフレーム内のｊ番目の特徴点の位置を表している。したがって、問題（１１）は次のように書ける。

各反復ステップにおいて、テイラー展開が行われる。このステップにおける変換パラメータはＴによって与えられると仮定してよい。

ここに示すように、

目的関数は次のように表される。

したがって、下記のような小さな増分δＴが見つかる。

図１１には、本開示の方法およびシステムを実施するコンピュータシステムの一例が示されている。本開示のシステムおよび方法は、例えばメインフレーム、パーソナルコンピュータ（ＰＣ）、ハンドヘルドコンピュータ、サーバなどのコンピュータシステム上で実行されるソフトウェアアプリケーションの形で実施される。このソフトウェアアプリケーションはコンピュータシステムによりローカルにアクセス可能な記録メディアに格納されており、有線または無線のコネクションを介して例えばローカルエリアネットワークやインターネットなどのネットワークへアクセスすることができる。

全体的にシステム１０００として参照されるコンピュータシステムは、例えば、中央処理ユニット（ＣＰＵ）１００１、ランダムアクセスメモリ（ＲＡＭ）１００４、プリンタインタフェース１０１０、ディスプレイユニット１０１１、ローカルエリアネットワーク（ＬＡＮ）データ転送コントローラ１００５、ＬＡＮインタフェース１００６、ネットワークコントローラ１００３、内部バス１００２、キーボードやマウスなどの１つまたは複数の入力デバイス１００９を含んでいる。図示の通り、システム１０００は、リンク１００７を介して、例えばハードディスク１００８のようなデータストレージデバイスに接続されている。

図１２は、本発明の１つの実施例による検出および追跡フレームワークを説明するフローチャートである。この実施例の詳細については、上で詳しく説明した。まず、複数のフレームを含むビデオデータを取得する（ステップＳ１２０１）。次に、取得したビデオデータの第１フレームを１つまたは複数の車両検出器と対比し、車両仮説を形成する（ステップＳ１２０２）。次に、車両検出のための一連のcoarse-to-fine制約を用いて、車両検出仮説を剪定および検証する（ステップＳ１２０３）。最後に、形状テンプレートマッチングと１つまたは複数の車両検出器を融合することにより、検出された車両を取得したビデオの１つまたは複数の後続フレーム内で追跡する（ステップＳ１２０４）。

上記した特定の実施例は説明のためのものであり、本開示の趣旨または添付した請求項の範囲を逸脱せずに様々な変更を加えることができる。例えば、異なる実施形態の要素および／または特徴を互いに組み合わせてもよいし、および／または本開示および添付した請求項の範囲内で互いに置換してもよい。

Claims (35)

1. 車両を検出および追跡する方法において、
   複数のフレームを含むビデオデータを取得し、
   取得したビデオデータの第１フレームを１つまたは複数の車両検出器と対比し、複数の車両仮説を形成し、
   車両検出のための一連のコースツーファイン（coarse-to-fine）制約を用いて前記複数の車両仮説を剪定および検証し、
   形状テンプレートマッチングと前記１つまたは複数の車両検出器のうちの１つまたは複数の車両検出器を組み合わせることにより、検出された車両を前記取得したビデオの１つまたは複数の後続フレーム内で追跡し、
   その際、前記検出された車両は後続フレーム内でカーネルに基づく確率的形状追跡器により追跡され、
   カーネルに基づく前記確率的形状追跡器は、画像領域内の特徴点を先行フレームの相応するターゲットから抽出した１つまたは複数の形状テンプレートとマッチングすることにより車両の動きを推定する
   ことを特徴とする方法。
2. 前記ビデオデータを移動するホスト車両に取り付けられたカメラを用いて取得する、請求項１記載の方法。
3. 前記１つまたは複数の車両検出器はクラス固有の検出器を少なくとも１つ含む、請求項１記載の方法。
4. 前記１つまたは複数の車両検出器は乗用車固有の検出器を少なくとも１つ含む、請求項３記載の方法。
5. 前記１つまたは複数の車両検出器はトラック固有の検出器を少なくとも１つ含む、請求項３記載の方法。
6. 前記１つまたは複数の車両検出器はＬ字形コーナ部検出器とその鏡映形コーナ部検出器を含む、請求項１記載の方法。
7. 前記一連のコースツーファイン（coarse-to-fine）制約は車両左底部および車両右底部の事例から学習した車両部分検出器を含む、請求項１記載の方法。
8. 前記車両部分検出器の後に勾配方向ヒストグラム制約が続く、請求項７記載の方法。
9. 前記勾配方向ヒストグラム制約の後に縦続した乗用車／トラック検出器が続く、請求項８記載の方法。
10. 前記複数の車両仮説を、前記複数の車両仮説を形成するのに用いた前記１つまたは複数の車両検出器とは異なる第２の１つまたは複数の車両検出器で剪定および検証する、請求項１記載の方法。
11. 前記車両検出器の応答を時間を追って蓄積する、請求項１記載の方法。
12. 前記形状テンプレートは一連の零交差点から構成されている、請求項１記載の方法。
13. 前記零交差点はそれらの位置と勾配ベクトルとにより記述される、請求項１２記載の方法。
14. 画像領域内の特徴点と形状テンプレートとのマッチングを、零交差点上でカーネルに基づくノンパラメトリック密度推定を最適化することにより行う、請求項１記載の方法。
15. 零交差点上でのカーネルに基づくノンパラメトリック密度推定の前記最適化は車両動きパラメータの複数のモードを生じさせる、請求項１４記載の方法。
16. 車両動きパラメータの単一の最良モードを、カーネルに基づくノンパラメトリック密度推定の最大の関数値を有するモードであって、しかも前記車両検出器からの応答が予め選ばれた値よりも高くなるモードとして決定する、請求項１５記載の方法。
17. 前記形状テンプレートを更新して、ターゲット外観のフレーム間分散を反映させる、請求項１記載の方法。
18. さらに、前記検証ステップと前記追跡ステップの結果をまとめて、追跡を維持するかまたは終了するかを決定する、請求項１記載の方法。
19. 複数の車両を同時に追跡する、請求項１記載の方法。
20. 前記第１ビデオフレームを複数の解像度からなる画像ピラミッドとして表す、請求項１記載の方法。
21. 前記車両検出仮説を形成する際、比較的小さく見える車両の検出は比較的高い解像度で行い、比較的大きく見える車両の検出は比較的低い解像度で行う、請求項２０記載の方法。
22. 複数の解像度で追跡を行う、請求項２０記載の方法。
23. 一連のコースツーファイン（coarse-to-fine）制約を用いて前記車両検出仮説を検証する際、１つまたは複数の要素検出器を使用する、請求項１記載の方法。
24. 検証された車両仮説をパノラマ車両検出器を用いてさらに検証する、請求項１記載の方法。
25. 検出された車両をテンプレートに基づく追跡により前記１つまたは複数のフレーム内で追跡する、請求項１記載の方法。
26. テンプレートに基づく前記追跡はカーネルに基づく確率的形状追跡を用いる、請求項２５記載の方法。
27. 車両を検出および追跡する方法において、
    複数のフレームを含むビデオデータを取得し、
    取得したビデオデータの第１フレームを１つまたは複数の車両検出器と対比し、複数の車両仮説を形成し、
    車両検出のための一連のコースツーファイン（coarse-to-fine）制約を用いて前記複数の車両仮説を剪定および検証し、
    形状テンプレートマッチングと前記１つまたは複数の車両検出器のうちの１つまたは複数の車両検出器を組み合わせることにより、検出された車両を前記取得したビデオの１つまたは複数の後続フレーム内で追跡し、
    前記一連のコースツーファイン（coarse-to-fine）制約は第１レベルと第２レベルとを含んでおり、第１レベルでは、目的関数が粗い近似で置き換えられ、第２レベルでは、第１レベルで得られたモード位置が、前記目的関数を最適化することにより精緻化される
    ことを特徴とする方法。
28. 車両を検出および追跡する方法において、
    複数のフレームを含むビデオデータを取得し、
    取得したビデオデータの第１フレームを１つまたは複数の車両検出器と対比し、複数の車両仮説を形成し、
    車両検出のための一連のコースツーファイン（coarse-to-fine）制約を用いて前記複数の車両仮説を剪定および検証し、
    検出された車両を前記取得したビデオの１つまたは複数の後続フレーム内で追跡し、
    前記一連のコースツーファイン（coarse-to-fine）制約は車両左底部および車両右底部の事例から学習した車両部分検出器を含み、
    前記車両部分検出器の後に勾配方向ヒストグラム制約が続く
    ことを特徴とする方法。
29. 車両を検出および追跡するためのシステムであって、
    複数のフレームを含むビデオデータを取得するために移動ホスト車両に取り付けられたカメラと、
    取得したビデオデータの第１フレームを１つまたは複数の車両検出器と対比して、車両検出仮説を形成し、車両を検出するために前記車両検出仮説を検証し、検出した車両を前記取得したビデオデータの１つまたは複数の後続フレーム内で追跡する中央追跡器と
    を含んでおり、
    前記検出された車両は後続フレーム内でカーネルに基づく確率的形状追跡器により追跡され、
    カーネルに基づく前記確率的形状追跡器は、画像領域内の特徴点を先行フレームの相応するターゲットから抽出した１つまたは複数の形状テンプレートとマッチングすることにより車両の動きを推定する
    ことを特徴とするシステム。
30. 前記１つまたは複数の車両検出器は乗用車またはトラックに固有の検出器を少なくとも１つ含む、請求項２９記載のシステム。
31. 前記第１ビデオフレームは複数の解像度からなる画像ピラミッドとして表され、追跡は複数の解像度で行われる、請求項２９記載のシステム。
32. プロセッサと、コンピュータシステムにより可読であり、かつ車両検出および追跡のための方法ステップを実行するプロセッサにより実行可能な命令からなるプログラムを実体化したものであるプログラム記憶装置とを含むコンピュータシステムにおいて、
    前記方法が
    複数のフレームを含むビデオデータを取得し、
    取得したビデオデータの第１フレームを１つまたは複数の車両検出器と対比し、車両検出仮説を形成し、
    検出された車両を前記取得したビデオデータの１つまたは複数のフレーム内で追跡し、
    その際、前記検出された車両は後続フレーム内でカーネルに基づく確率的形状追跡器により追跡され、
    カーネルに基づく前記確率的形状追跡器は、画像領域内の特徴点を先行フレームの相応するターゲットから抽出した１つまたは複数の形状テンプレートとマッチングすることにより車両の動きを推定する
    ことを特徴とするコンピュータシステム。
33. 前記車両検出仮説は車両を検出するための一連のコースツーファイン（coarse-to-fine）制約を用いて検証される、請求項３２記載のコンピュータシステム。
34. 前記１つまたは複数の車両検出器は乗用車またはトラックに固有の検出器を少なくとも１つ含む、請求項３２記載のコンピュータシステム。
35. 前記第１ビデオフレームは複数の解像度からなる画像ピラミッドとして表され、追跡は複数の解像度で行われる、請求項３２記載のコンピュータシステム。

Images