JP6416293B2 - 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 - Google Patents

Description

本発明は、自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法に関する。自動車の周囲領域の時系列画像が、カメラシステムの少なくとも１つのカメラによって提供される。対象車両の前部または後部の特徴に基づいてカメラシステムの画像処理装置によって時系列画像のうちのある画像に対象車両が検出されると、対象車両は、検出された特徴に基づいて時系列画像のうちの後続する画像にわたって追跡される。また、本発明は、上述したような方法を実行するように構成された自動車のカメラシステムおよび該カメラシステムを備える自動車に関する。

自動車に接近する対象車両を検出および追跡するカメラシステムが従来から知られている。例えば、カメラと画像処理装置とを備える自動車のカメラシステムが使用され、このようなシステムでは、画像処理装置によって、カメラにより撮影された時系列画像に対象車両が検出され、その時系列画像にわたって追跡される。上記方法は、対象車両の前部または後部の特徴の検出による追跡に基づいたものであり、例えばアダブースト（ＡｄａＢｏｏｓｔ）アルゴリズムを用いて訓練した検出器を用いる。

さらに、特許文献１から、自動車の死角領域にある対象車両を検出するために、自動車の前部および後部にカメラを装備したシステムが知られている。対象車両の検出は、オプティカルフローを利用して行われる。オプティカルフローは、時系列画像にわたって変化する画素を検出する。

また、特許文献２からさらなるシステムが知られている。上記システムでは、カメラは自動車の側面部に取り付けられ、死角領域における対象車両の検出にオブジェクト認識方法が適用されている。さらに、特許文献３から、死角領域における対象車両の検出システムが知られている。上記検出システムでは、死角領域の立体視を算出するとともに、オプティカルフローにより死角領域における危険物や対象車両を検出するために、２台のステレオカメラが使用されている。

米国特許第８００４４２５（Ｂ２）号明細書 米国特許第６４２４２７２（Ｂ１）号明細書 米国特許出願公開第２００３／００８５８０６（Ａ１）号明細書

しかしながら、上述した従来の技術では、対象車両について死角領域をモニタするためには複数台のカメラが必要になる場合が多いという欠点がある。このような欠点により生産やサービスに係るコストが増加する。さらに、死角領域のモニタシステムを後付けする作業は煩雑である。さらなる欠点として、オプティカルフローを利用する点が挙げられる。オプティカルフローを利用することで、一連の画像における変化についての情報が得られるが、その情報では物体を低精度でしか分類できないことがある。さらに、自動車の走行中は、例えば他のセンサのセンサデータに基づいて画像から除外する必要のある画像内の背景にも動きが生じる。ここで、対象車両の前部または後部の特徴をアダブーストアルゴリズムの検出法を用いて検出する方法が１つの改善策となる。しかし、対象車両がカメラに接近することで、対象車両の前部または後部が別の視野角で描写されると、この方法では不十分である。このように、対象車両の現行画像は、アダブーストアルゴリズムの下地となるものであって検出器の訓練に用いられる訓練画像とは異なる。したがって、対象車両がさらに接近してくると、検出の信頼度の程度を表す検出器の信頼値が低下する結果となる。現行画像と訓練画像との差が大きすぎる場合、検出は不能になる。以上のことから、ある限られた時間でしか対象車両を追跡することができず、特に対象車両が自動車を追い越すさいに死角領域に入った場合など、画像処理装置により対象車両はたちまち見失われてしまうことになる。

本発明の目的は、対象車両の追跡を特に高信頼性かつ長時間にわたって行うことができるとともに、対象車両の接近により視野角が変動しても、好ましくは自動車の死角領域においても対象車両の追跡を可能にする手段を講じた方法、カメラシステムおよび自動車を提供することである。

上記目的を達成するために、本発明によれば、独立請求項にそれぞれ記載された特徴を有する方法、カメラシステムおよび自動車が提供される。本発明の好ましい実施例は、従属請求項、本明細書および図面に係る発明の主題である。

本発明に係る方法は、自動車に接近する対象車両、特に自動車を追い越そうとしている対象車両を自動車のカメラシステムによって追跡するようにするためのものである。追跡が行われるのは、好ましくは、自動車の追い越し動作中、または自動車自体が対象車両によって追い越されている間である。好ましくは、対象車両は、自動車の死角領域においても追跡される。自動車の周囲領域の時系列画像が、カメラシステムの少なくとも１つのカメラによって提供される。対象車両の前部または後部の特徴に基づいてカメラシステムの電子画像処理装置（例えば、ＤＳＰ等）によって時系列画像のうちのある画像に対象車両が検出されると、対象車両は、検出された特徴に基づいて時系列画像のうちの複数の後続する画像にわたって追跡される。本発明によれば、対象車両の側面部の少なくとも所定の特徴が、画像処理装置によって時系列画像のうちの複数の後続する画像の１つの画像に検出され、すなわち、前部または後部の特徴に基づいて対象車両を追跡している間に検出される。側面部の特徴が検出された後、対象車両は、側面部の特徴に基づいて時系列画像のうちのさらなる画像にわたって追跡される。したがって、側面部の特徴が画像処理装置によって高信頼性に検出されるとすぐに、前部または後部に基づいた対象車両の追跡から側面部の特徴に基づいた対象車両の追跡へと実質的に移行することになる。

本発明に係る方法により、視野角が一定に変化していても自動車に接近する対象車両をさらに追跡することが可能になる。すなわち、追跡対象であった前部または後部の特徴の代わりにまたはその支援として、新しく追跡対象となる側面部の特徴が用いられる。上記により得られる利点は、特に対象車両が自動車を追い越し、カメラの画像に対象車両の側面部しか描写されていない場合であっても、対象車両を全体として比較的長時間にわたって追跡できることである。

好ましくは、カメラは前面カメラであり、特に自動車のフロントガラスの後方、例えば、自動車の車内のフロントガラスに直接設けられることが好ましい。前面カメラは、自動車の前方に位置する走行方向または車両長手方向の環境を撮影する。なお、カメラとして、自動車の後方に位置する走行方向または車両長手方向の環境を撮影する背面カメラが採用されてもよい。一般に、画像センサの平面に垂直に伸びるカメラ軸が車両長手軸に平行に向けられるようにされうる。

カメラは、毎秒複数画像（フレーム）を提供可能なビデオカメラであることが好ましい。カメラは、ＣＣＤカメラまたはＣＭＯＳカメラであってもよい。

一実施形態において、対象車両のホイールアーチ（すなわち、ホイールケース）が側面部の特徴として検出される。これは、ホイールアーチが、確実かつ明確な特徴であって、多くの対象車両の存在するものだからである。さらに、ホイールアーチは、多くの対象車両において非常に類似した形状を備える特徴である。上記の理由は、ホイールアーチが円形のホイールを取り囲むものであるため、それ自体がある一定の半径を有するからである。また、ホイールアーチは、対象車両が離れていても、および／または、視野角が急峻であっても非常に早い段階ではっきりと認識可能なものであり、すなわち、対象車両のホイール自体を認識するよりも著しく早く認識可能である。

追加的にまたは代わりとして、対象車両のホイールが、側面部の特徴として検出されてもよい。ホイールは、対象車両に必ず存在するものであるため、ホイールを確実に検出できることから、非常に頑健性のある特徴となる。対象車両と誤ってみなされうる可能性のある他の物体の構成部品や特徴にはあまり円形のものがないため、混同の可能性も少ない。

特に、側面部の特徴は、ハフ変換、特にハフ円変換で表される。ハフ変換の利点は、ハフ変換により円形の物体をパラメータ空間で表せることである。パラメータ空間によって、ホイールは例えば円として抽象的に表すことができるため、一方では頑健性が向上し、他方では一般化が高まる結果となる。

さらなる展開において、対象車両を追跡するさい対象車両の前部または後部の特徴の検出の信頼度を示す第１の信頼値が画像処理装置によって決定される。側面部の特徴の検出は、第１の信頼値が予め設定された第１のしきい値未満である場合にしか行われないようにしてもよい。この利点は、側面部の特徴の算出にかける不要な計算作業が回避されることであり、前部または後部に基づく対象車両の追跡の信頼が確保されなくなった場合にしか、側面部の特徴の探索は行われない。また、第１の信頼値を算出することにより、前部または後部に基づいた対象車両の追跡が終わる可能性が高まるときからのモニタリングを非常に十分に行うことができる。

対象車両の前部または後部の特徴の検出の信頼度を示す第１の信頼値が、画像処理装置によって決定され、側面部の特徴の検出の信頼度を示す第２の信頼値が、画像処理装置によって決定され、対象車両の前部または後部の少なくとも特徴による対象車両の追跡は、予め設定された第２のしきい値が第２の信頼値未満である場合に実行され、対象車両の側面部の少なくとも特徴による対象車両の追跡は、予め設定された第１のしきい値が第１の信頼値未満である場合に実行される。この利点は、いずれの場合も、最も信頼性の高い特徴および／または最も信頼性の高い信頼値を有する特徴が選択されうることである。また、信頼値によってそれぞれ加重された複数の特徴を使用することも可能である。

好ましくは、対象車両は、自動車と対象車両との間の所定の距離が予め設定されたしきい値未満であれば、側面部の特徴によって追跡される。これは、上記距離が、例えば、追加的にまたは代わりとして自動車の別のセンサによって決定されることがあるため好ましい。これにより、決定された距離の信頼性が高まり、および／または、距離の冗長的な決定により安全性も高まる。例えば、対象車両での特定の場所が、自動車に対する対象車両の位置の基準点として選択されうる。これは、検出された特徴が、前部の特徴か、後部の特徴かまたは側面部の特徴かにかかわらず起こりうる。この基準点は、例えば、自動車の中心または自動車の後車軸の中心からの所定の「ずれ」によって決定されうる。

特定の展開において、側面部の特徴として、車両長手方向における対象車両の自動車に対する相対位置に応じて、フロントホイールアーチまたはリヤホイールアーチおよび／またはフロントホイールまたはリヤホイールが検出される。例えば、対象車両が前部に基づいて追跡される場合、したがって、最初は、対象車両が自動車から比較的離れた位置にある場合、フロントホイールアーチおよび／またはフロントホイールを特徴として検出することができるが、これはこの特徴がカメラに近づいてくるため、より確実な検出が可能となるためである。同様に、対象車両が自動車と自動車の後部で対向する場合、リヤホイールアーチおよび／またはリヤホイールにも当てはまる。対象車両が自動車に近づく場合、対象車両は、前部（または後部）の特徴から後部（または前部）の特徴へ対応して変化しうる。対象車両の一部がカメラの領域にあれば、特徴の変化が起こりうることにより、カメラの特殊レンズによる深刻な歪みが生じる。

側面部の特徴は、一般化アルゴリズムによって一般化されることが好ましい。これは、言い換えれば、特徴は簡潔かつ一般化された方法で表され、特徴を特定するための主要情報を含む特徴部分のみが、特徴の検出に使用されるということである。一般化アルゴリズムにより、複数の異なる形状のホイールアーチまたはホイールを表す特徴が得られる。このように、異なる構造または異なる生産シリーズの対象車両も検出することができる。さらに、一般化された特徴のデータの大きさは小さいため、検出は高速に進む。特に、一般化アルゴリズムとしてダグラス・ポーカー（Ｄｏｕｇｌａｓ−Ｐｅｕｃｋｅｒ）が使用される。ダグラス・ポーカーのアルゴリズムとは、一連の点によって与えられる横断線の単純化を、個々の点を省いて粗い形状を保存することで行う曲線処理用のアルゴリズムである。現行の横断線は、画像の傾斜画像からホイールアーチのエッジである。ダグラス・ポーカーのアルゴリズムを用いることで、特徴を単純かつ高速に一般化することができる。

さらに、前部または後部の検出において、前部または後部が描写された境界枠が画像処理装置によって決定され、境界枠に応じて決定される着目領域のみが側面部の特徴を検出するための基礎となるものとしてみなされるようにされることが好ましい。前部または後部の特徴について、接近する対象車両が最初に検出された後、画像のある一定の範囲が境界枠によってすでに予め選択される。次に、上記境界枠を用いて側面部の特徴を検出するための着目領域が決定される。このようにして、側面部の特徴に対して画像全体を探索する必要がなく、演算能力や演算時間の軽減化が図られる。さらに、検出の誤り確率も低下する。

ある構成において、少なくとも、前部または後部に基づいた追跡から側面部に基づいた追跡へ移行するさいの対象車両の追跡は、予測アルゴリズム、特に、カルマン（Ｋａｌｍａｎ）フィルタによって支援される。予測アルゴリズムは、画像における対象車両の次の位置を外挿するためのものである。この予測アルゴリズムにカルマンフィルタを用いる方法では、高速化の実現や計算負荷の軽減が図られる。より複雑な状況、例えば、複数台の対象車両の曲線がある場合において、コンデンセーションアルゴリズムが使用されてもよく、このアルゴリズムは、計算負荷はより高くなるが、その代わり頑健性が増すと考えられる。予測アルゴリズムの利点は、特徴に変化があると新しい特徴を用いた追跡をすぐに開始できることである。

また、視野の開口角が１５０°より大きく、特に、１６０°より大きく、さらに好ましくは、１８０°よりも大きいカメラを用いて一連の画像が与えられる。この利点は、車両の後部または車両の前部に１つのカメラを設ければ、自動車の傍の左側および右側の死角領域をモニタできることである。これにより、あまり労力をかけることなくこの方法を既存のカメラシステムへ後付けで適用できる可能性が生じる。

さらなる構成モードにおいて、側面部の特徴を検出するさいに、カメラの外部標定および／またはカメラの位置および／またはカメラの歪みパラメータの較正データに応じて、この特徴の幾何学的形状が考慮される。外部標定は、撮影対象、ここでは、対象車両に対する画像撮影中のカメラの姿勢および位置を表す。較正データにより、画像における位置ごとに、特徴のある一定の形状を予測することができる。例えば、対象車両のホイールの輪郭は、対象車両がカメラに対してどこに位置しているかに応じてさまざまである。このように、例えば、画像におけるホイールの輪郭は、対象車両が自動車から離れていると、楕円形状のものになる。円形と認識できるのは、対象車両が自動車に近づいた場合のみであり、例えば、死角領域にいる場合である。この状況は、ホイールアーチの場合と同様である。

一実施形態において、対象車両は、自動車の死角領域において追跡される。自動車の死角領域とは、自動車の運転者がサイドミラーおよび／バックミラーでは視認できないか、または視認しにくい領域のことである。死角領域があると、運転者が車線変更や進路変更をしようとしても、自動車の近傍の視覚領域が空いているか運転者は確信をもつことができない場合は危険な事態となりうる。本願方法によって、この死角領域における危険性、別の交通参加者または対象車両を検出することができ、また任意に運転者に警告を発することもできる。警告は、例えば、聴覚的および／または視覚的および／または触覚的に発せられるものであってもよい。

本発明に係る自動車用カメラシステムは、少なくとも、自動車の周囲領域の一連の画像を提供するカメラと、本発明に係る方法を実行するように構成された画像処理装置とを備える。

本発明に係る自動車、特に、乗用自動車は、本発明に係るカメラシステムを備える。

本発明に係る方法に関して提示される好ましい実施形態およびそれらの利点は、本発明に係るカメラシステムおよび本発明に係る自動車にも同様に適用される。

本発明のさらなる特徴は、特許請求の範囲、図面および図面の説明から明らかである。本明細書における上述した特徴および特徴の組み合わせならびに図面の説明において以下に記載され、および／または図面にのみ示される特徴および特徴の組み合わせはすべて、それぞれ特定の組み合わせにおいてのみ使用されるものではなく、他の組み合わせなどだけでも使用可能である。

以下、添付の図面を参照しながら好ましい実施形態に基づいて本発明について詳述する。

カメラシステムを備えた自動車に後方から対象車両が接近している様子を示す概略平面図。 自動車の後部に取り付けられたカメラシステムのカメラによって与えられた画像であって、該画像に対象車両の前部が検出されている対象車両の画像の概略図。 対象車両のエッジを有する傾斜画像の概略図。 着目領域が決定され、一般化されたエッジが線分で示された対象車両のさらなる画像の概略図。 図４に示す画像であって、対象車両の側面部の特徴、特に、ホイールアーチおよび／またはホイールが検出された画像の概略図。 図１に類似した図であって、側面部の特徴が追跡される点まで対象車両が接近した状態を示す図１に類似した概略平面図。 図６に示す位置に対象車両が描写されたさらなる画像の概略図。 側面部の後部特徴が検出される点まで対象車両が接近した状態を示す図１に類似した概略平面図。 図８に示す位置に対象車両が描写されたさらなる画像の概略図。

図１には、本発明の一実施形態に係るカメラシステム２を備えた自動車１の平面図の概略が示されている。カメラシステム２は、視野４を有するカメラ３と、例えばカメラ３に一体化されうるものであってもよい画像処理装置５とを備える。しかしながら、この画像処理装置５は、カメラ３とは別個の構成部品であってもよく、自動車１の任意の場所に設けられてもよい。本実施形態において、カメラ３は、自動車１の後部に設けられ、自動車１の後方の周囲領域を撮影する。しかしながら、前面カメラを備えた応用も可能である。

視野４の角度は、特に自動車１の中央長手軸に対して対称的に、自動車１の後方に１８０°より大きく広がる。自動車１は、二車線道路６の左側車線７にあり、別の自動車、すなわち、対象車両９は右側車線８にある。対象車両９は、自動車１に後方から接近し、自動車１を追い越そうとしている。

カメラ３は、例えば１２０°〜２００°の値の範囲のものでありうる水平撮影角度αと、例えば自動車１のすぐ後方の道路６の路面から水平までおよび水平を越える垂直撮影角度（図示せず）とを有する。これらの特性は、例えば、魚眼レンズを用いて得られる。

カメラ３は、ＣＭＯＳカメラ、または他にもＣＣＤカメラや任意の画像撮影装置でありえ、これらにより対象車両９を検出可能である。

図１に示す実施形態において、カメラ３は、自動車１の後部領域に設けられ、自動車１の後方の周囲領域を撮影する。しかしながら、本発明は、カメラ３の上述したような構成に限定されるものではない。カメラ３の構成は、実施形態によって異なるものでありうる。例えば、カメラ３は、自動車１の前部領域に設けられえ、自動車１の前方の周囲領域を撮影する。このようなカメラ３は複数台用いられてもよく、各カメラは、物体または対象車両９を検出するために形成される。

図１および図２に示すような状況は、カメラ３の視野４が走行方向前方に向けられる場合や、前面カメラが用いられている場合にも同様に起こりうる。例えば、これは、自動車１が対象車両９を追い越す場合などである。

カメラ３は、一連の画像を継続して撮影するビデオカメラである。画像処理装置５は、実時間で一連の画像を処理し、この一連の画像に基づいて対象車両９を認識し追跡できる。これは、画像処理装置５が、対象車両９の自動車１に対する現在の位置および移動をそれぞれ決定できるということである。

カメラシステム２は、死角領域１３をモニタし、対応する警告信号の出力とともに、対象車両９と衝突する検出された危険性に自動車１の運転者に警告可能な死角警告システムである。死角領域とは、自動車１の周囲領域であって、自動車の運転者がサイドミラーおよび／またはバックミラーでは視認できないか、または視認しにくい領域のことである。死角領域の定義によれば、死角領域は、隣接する車線で後方に２台分の車長より長い長さだけ自動車１の後部から伸びる。

図２は、図１に示す状況においてカメラ３によって与えられた例示的な画像１０を示す。対象車両９は、画像処理装置５によって対象車両９の前部１１の特徴に基づいて画像１０に検出される。この検出は、図２の矩形状フレームまたは境界枠１２で特定される。この境界枠１２は、対象車両９を検出するために画像処理装置５によって実行される検出アルゴリズムによって出力される。

対象車両９の検出は、最初に、対象車両９の前部１１の特徴に基づいて実行される。しかしながら、対象車両９の表示は、対象車両９が自動車１に接近している間に変化する。これは、正面図における前部１１の特徴を用いて訓練を行ってきた検出器を、上記の検出に使用するのは困難である。その結果、検出の信頼度の品質の程度を表す信頼値が低下する。これは、対象車両９のエッジ１６を示す傾斜画像１７に基づいて、図３において認識可能である。図３から明らかなように、視野角は時間とともに変化するため、前部１１の特徴に基づいた対象車両９のさらなる検出を高信頼性に行えなくなる。

対象車両９をさらに確実に高信頼性で追跡することができるようにするために、次のステップにおいて、対象車両９の側面部１４の特徴が抽出される。しかしながら、この特徴は、画像１０全体において探索されるものではなく、図４の画像１０に示されているように、前部１１の検出によって与えられた境界枠１２に応じて決定される着目領域１５においてのみ探索されることが好ましい。このように、境界枠１２は、前部１１の特徴に基づいた検出に依存し、側面部１４の特徴の追跡をより高速に開始させることができる。

次のステップにおいて、傾斜画像１７は、図３に示されているように、着目領域１５から算出される。傾斜画像１７を算出するために、画像１０の着目領域１５は、グレースケール画像に変換され、ガウスフィルタで平滑化され、例えば、キャニー（Ｃａｎｎｙ）エッジ検出法で処理される。

側面部１４の特徴の抽出は、傾斜画像１７のエッジ１６に基づいて行われる。側面部１４の第１の特徴として、（ここではフロント）ホイールアーチ１９が選択される。ホイールアーチ１９のエッジ１６は、一般化アルゴリズム、特にダグラス・ポーカーのアルゴリズムを用いて一般化される。一般化されたエッジ１８は、図４に示すような結果となる。一般化アルゴリズムはデータ量の削減に影響するため、これにより演算速度が上がり、ホイールアーチ１９の検出が容易になる。なぜなら、さまざまなモデルのホイールアーチ１９がカバーされ、良好な比較が可能となるためである。

（一般化された）ホイールアーチ１９の検出は、図５の矩形部分２０で特定される。

対象車両９が自動車１に図６に示すような地点まで接近すると、さらなるステップにおいて、ホイールアーチ１９を追跡した後、対象車両９のホイール２１の追跡に切り換わる。ホイール２１の検出は、ハフ変換、特にハフ円変換による描写で行われる。ハフ円変換は、リムとタイヤとの強度差またはタイヤと背景との強度差により生じるエッジ１６によって生成された円に近似する。図７に示す画像１０の例示的な円２２は、ハフ円変換の結果を例示したものである。

側面部１４を追跡するさい、一時的に、対象車両９がホイール２１のみ、すなわち、フロントホイール２３および／またはリヤホイール２４の追跡に切り換えられるほど近くなるまで、ホイールアーチ１９およびホイール２１の両方の特徴が追跡される。対象車両９と自動車１との間の距離が短いほど、画像１０におけるホイール２１の円形形状は鮮明なものとなる。ハフ変換で要求される形態は、予め規定された幾何学的形状であり、ここでは、円である。しかしながら、基本的に、例えば、楕円などの他の形状も想定される。

フロントホイール２３の追跡からリヤホイール２４の追跡へは、図８に示すように、対象車両９が自動車１の隣に位置し、フロントホイール２３がカメラ３の視野４になくなる場合に自動的に変化する。ハフ円変換によるリヤホイール２４の描写は、図９に円２５で示される。

特徴のそれぞれの変化は、予測アルゴリズム、特にカルマンフィルタに応じて起こる。これにより、新しい特徴の追跡が早期に開始され、および／または、より高精度の検証がなされうる。特徴間の変化は、最初に、前部１１の特徴から側面部１４（最初は特にホイールアーチ１９）の特徴への変化が起こり、引き続き、ホイールアーチ１９からホイール２１、特に、最初はフロントホイール２３、そしてリヤホイール２４への変化が起きる。移行領域において、古い特徴と新しい特徴とをそれぞれ同時に追跡し、それぞれの信頼値に応じて特徴を変化させるようにしてもよい。

対象車両９が、図８に示すものよりもさらに自動車１を通過して走行した場合、自動車の側面部に取り付けられたカメラでの追跡を続け、および／または上述したような前面カメラに頼るようにしてもよい。

特徴の変化は、図を参照して記載したものと逆の順序で起こるものであってもよい。これは、自動車１が対象車両９を追い越す場合である。そして、最初に追跡される特徴は、対象車両９の後部である。次に、リヤホイールアーチ１９が、側面部１４の特徴として組み込まれ追跡される。その後、リヤホイールアーチ１９からリヤホイール２４、そしてフロントホイール２３へと追跡される特徴が変化する。

さらに、後の特徴検出を行うためのさらなる手段として自動車１と対象車両９との間の相対距離の予め設定されたしきい値より、接近する対象車両９の距離が小さければ、側面部１４の特徴の検出および／または追跡が始まる。

さらに、特徴の探索形状は、対象車両９の位置に依存する。カメラシステム２の較正および較正から得られる外部標定により、画像１０において視認可能な対象車両９の特徴の形状は、現行の位置に応じて予測可能である。このように、対象車両９が離れていると、画像１０におけるホイールアーチ１９およびホイール２１の形状は楕円状のものとなり、対象車両９が近づくと、ホイールアーチ１９およびホイール２１の形状は実質的に円形になる。

さらに、カメラシステム２のレンズ特性は、視野４における歪みを補償するために用いられる。これは、例えば、使用された魚眼レンズの場合に特に有用である。

さらに、対象車両９の検出は、車線認識システムを用いて車線７および８の認識に応じて行われる。車線を認識することで、道路の進路、特に、カーブについての情報が得られ、この情報は、対象車両９が死角領域１３に入る確率を算出するために使用される。それにより、対象車両９から生じる危険性が妨げられうる。

また、車線認識システムは、複数車線道路６の場合に用いられて、誤警報防止対策として、対象車両９が、自動車１から隣接する車線７、８よりさらに離れた死角領域１３にあるかどうかを判定する。そうでなければ、自動車１は、１車線変更すると、対象車両９と衝突するとみなされてしまう。

車線認識システムおよび／または車道マーキング認識システムにより、画像１０における静的物体、例えば、交通標識および／または別のインフラの移動率が求められる。これは、対象車両９の誤検出の認識およびその後の誤検出の排除に有用である。

さらなる発展として、対象車両９の軌道または走行進路が記録され、そして予測アルゴリズムを用いて外挿されるようにしてもよい。これを行う動機づけは、対象車両９が、車両の構造上、ある一定の方法で移動する必要があるためであり、例えば、側方方向への移動をするには長手方向への移動が必須である。軌道が使用されて、対象車両９をより高い頑健性および／またはより高い精度で追跡するとともに、低視認条件および／または部分的カバーで対象車両９の位置を一時的にさらに推定できるようにする。

また、ＣＡＮバスからのデータ、例えば、自動車１の速度および／またはステアリング角が使用されて、自動車１のその後の走行方向を予測し、対象車両９が死角領域１３に入るときを予測するようにされてもよい。

さらなる補足として、側面部１４の特徴に基づいた対象車両９の追跡は、追い越し動作をさらに安全なものとして体系化するために使用されうる。この場合、自動車１の運転者が対象車両９を完全に通過し、対象車両９の前方の車線に変更できるときが運転者に知らされる。

さらなる実施形態において、側面部１４の所定の特徴が、追加的にまたは代わりとして、サイドミラーまたは側面部１４の別の特徴であってもよい。

Claims (15)

1. 自動車（１）に接近する対象車両（９）を前記自動車（１）のカメラシステム（２）により追跡する方法であって、
   前記カメラシステム（２）の少なくとも１つのカメラ（３）によって前記自動車（１）の周囲領域の時系列画像（１０）を提供するステップと、
   前記対象車両（９）の前部（１１）または後部の特徴に基づいて前記カメラシステム（２）の画像処理装置（５）によって前記時系列画像のうちの画像（１０）に前記対象車両（９）を検出するステップと、
   前記検出された特徴に基づいて前記時系列画像のうちの複数の後続する画像（１０）にわたって前記対象車両（９）を追跡するステップと、
   前記画像処理装置（５）によって前記時系列画像のうちの前記複数の後続する画像（１０）の１つの画像に前記対象車両（９）の側面部（１４）の少なくとも所定の特徴（１９、２１）を検出するステップと、
   前記側面部（１４）の前記特徴（１９、２１）の検出後、前記側面部（１４）の前記特徴（１９、２１）に基づいて前記時系列画像のうちのさらなる複数の画像（１０）にわたって前記対象車両（９）を追跡するステップとを含み、
   前記対象車両（９）を追跡するさいに前記対象車両（９）の前記前部（１１）または前記後部の前記特徴の検出の信頼度を示す第１の信頼値は、前記画像処理装置（５）によって決定され、前記側面部（１４）の前記特徴（１９、２１）の検出は、前記第１の信頼値が予め設定された第１のしきい値未満である場合にのみ実行される、ことを特徴とする追跡方法。
2. 前記対象車両（９）のホイールアーチ（１９）は、前記側面部（１４）の前記特徴（１９、２１）として検出されることを特徴とする、請求項１に記載の方法。
3. 前記対象車両（９）のホイール（２１）は、前記側面部（１４）の前記特徴（１９、２１）として検出されることを特徴とする、請求項１または２に記載の方法。
4. 前記側面部（１４）の前記特徴（１９、２１）は、ハフ変換を用いて表されることを特徴とする、請求項１から３のいずれか一項に記載の方法。
5. 前記対象車両（９）の前記前部（１１）または前記後部の前記特徴の検出の信頼度を示す第１の信頼値が、前記画像処理装置（５）によって決定され、前記側面部（１４）の前記特徴の検出の信頼度を示す第２の信頼値が、前記画像処理装置（５）によって決定され、前記対象車両（９）の前記前部（１１）または前記後部の少なくとも前記特徴による前記対象車両（９）の追跡は、予め設定された第２のしきい値が前記第２の信頼値未満である場合に実行され、前記側面部（１４）の少なくとも前記特徴（１９、２１）による前記対象車両（９）の追跡は、予め設定された第１のしきい値が前記第１の信頼値未満である場合に実行されることを特徴とする、請求項１から４のいずれか一項に記載の方法。
6. 前記対象車両（９）は、前記自動車（１）と前記対象車両（９）との間の距離が予め設定されたしきい値未満であれば、前記側面部（１４）の前記特徴（１９、２１）により追跡されることを特徴とする、請求項１から５のいずれか一項に記載の方法。
7. 車両長手方向における前記対象車両（９）の前記自動車（１）に対する相対位置に応じて、
   フロントホイールアーチ（１９）またはリヤホイールアーチ、および／または、
   フロントホイール（２３）またはリヤホイール（２４）が前記側面部（１４）の前記特徴（１９、２１）として検出されることを特徴とする、請求項１から６のいずれか一項に記載の方法。
8. 前記側面部（１４）の前記特徴（１９、２１）は、一般化アルゴリズムによって一般化されることを特徴とする、請求項１から７のいずれか一項に記載の方法。
9. 前記前部（１１）または前記後部の検出は、前記前部（１１）または前記後部が描写された境界枠（１２）が前記画像処理装置（５）によって決定され、前記境界枠（１２）に応じて決定される着目領域（１５）のみが前記側面部（１４）の前記特徴（１９、２１）を検出するための基礎となるものとしてみなされることを含むことを特徴とする、請求項１から８のいずれか一項に記載の方法。
10. 少なくとも、前記前部（１１）または前記後部に基づく追跡から前記側面部（１４）に基づく追跡への移行時、前記対象車両（９）の追跡は、予測アルゴリズムによって支援されることを特徴とする、請求項１から９のいずれか一項に記載の方法。
11. 前記時系列画像（１０）は、視野（４）の開口角（α）が１５０°より大きいカメラ（３）によって提供されることを特徴とする、請求項１から１０のいずれか一項に記載の方法。
12. 前記側面部（１４）の前記特徴（１９、２１）を検出するさい、前記特徴（１９、２１）の幾何学的形状が、前記カメラ（３）の外部標定の較正データおよび／または前記カメラの位置および／または前記カメラの歪みパラメータに応じて考慮されることを特徴とする、請求項１から１１のいずれか一項に記載の方法。
13. 前記対象車両（９）は、前記自動車（１）の死角領域（１３）において追跡されることを特徴とする、請求項１から１２のいずれか一項に記載の方法。
14. 自動車（１）のカメラシステム（２）であって、前記自動車（１）の周囲領域の一連の画像（１０）を提供する少なくとも１つのカメラ（３）と、請求項１から１３のいずれか一項に記載の方法を実行するように構成された画像処理装置（５）とを備えるカメラシステム（２）。
15. 請求項１４に記載のカメラシステム（２）を備えた自動車（１）。

Images