JP6171593B2 - 視差図からの対象追跡方法及びシステム - Google Patents

Description

本発明は、画像処理領域に属し、特に、視差図からの対象追跡方法及びシステムに関する。

現在、立体画像技術は、コンピュータビジョンの１重要な部分となり、各種条件下、景物の立体視覚情報、特に、双眼視覚情報を円滑に取得することが可能になっている。また、単眼画像に比べて、比べものにならないほどの優勢があり、画像処理とコンピュータビジョン分野の最先端の研究方向になっている。具体的に、立体情報により、例えば、視差図により、対象（例えば、道路上の車、人等）の追跡を行うことができ、交通監視、補助運転、車輌検知・追跡、運転警告システム、マシンビジョンナビゲーション、工業製品検知、医療診断、仮想現実等の分野においても、非常に重要な実用価値と広範囲な発展の将来性がある。

立体視覚の基本原理は、２つ（或いは複数）の視点から同一の景物を観察して、異なる視覚下の感知画像を取得し、三角測定原理によって、画像画素間の位置ずれ（視差（disparity））を算出することで、景物の３次元立体情報を取得することである。このような工程は、人間の視覚の立体感知工程と類似している。通常、例えば、左右２つの撮像手段で環境中の任意の１点または１対象の３次元立体情報を測定することで、視差図を得ることが可能になる。

視差図とは、左右画像ペア（例えば、左撮像手段から撮像した画像と右撮像手段から撮像した画像）の対応点の横座標の差からなる画像をいう。もちろん、当該分野においては、他にも視差図を得るための多くの方法があるが、詳細の説明は割愛する。視差図には、シーンの距離情報が含まれていることから、視差図による一連の応用、特に、対象追跡は、一貫して双眼ビジョン研究における最も活発な分野となっている。

従来技術には、視差図による対象追跡の方法が提案されている。例えば、特許文献１（２０１１年９月２２日に開示された米国特許出願US 2011228100 A1（名称“Object Tracking Device and Method of Controlling Operation of the Same”））には、例えば、車両に搭載された２つの撮像手段で撮像された３次元対象画像から、該対象の各画素の視差を示す視差図を生成し、検知範囲を特定することで、生成された視差図から深度方向における追跡対象（例えば、通行人の前方の他の対象）を除去し、その後、特定した検知範囲内で追跡対象（例えば、通行人）の検知を行うことで、追跡対象（例えば、通行人）の前方の自転車乗りの人が検知されることが防止可能な対象追跡技術が提案されている。しかしながら、該技術においては、追跡対象の深度方向における検知範囲（即ち、対象の撮像装置との距離範囲）の特定方法のみ考慮されており、視差図を撮像する車輌の右折・左折や、車輌の上下揺れの追跡対象への影響は考慮されていない。

また、特許文献２（２０１１年７月５日公告の米国特許US7974442 B2（名称 “Vehicular Vision System”））には、車輌付近の対象（ターゲット）を識別・分類する車輌ビジョンシステムが提案されている。該システムは、車輌付近のシーンの深度図を生成する画像を生成可能なセンサーアレイを備え、該深度図の処理、及び該深度図と車輌付近に出現可能なターゲット対象の現れたテンプレートとの比較を行い、ターゲット対象が事前に現れたテンプレートと該深度図とのマッチングを行うことで、ターゲットリストを生成し、該システムによって該ターゲットリストが処理され、ターゲットサイズと分類評価が生成された後、当該ターゲットが該車輌に向かって移動した場合に、該ターゲットを追跡し、かつターゲットの位置、分類及び速度を特定している。該特許においては、予めターゲットの現れたテンプレートと深度図の比較のみで、視差図を撮像する車輌の右折・左折や、車輌の上下揺れの追跡対象への影響は考慮されていない。

しかしながら、視差図を撮像する車輌の運転中、視差図の撮像と対象の追跡に影響を与え得る問題が生じることがある。例えば、双眼カメラを搭載した車輌の方向変換（左右折）時や、路面凹凸による揺れ時に、該対象の該車両に対する位置に変化がなくとも、撮像された視差図における対象の画像位置には、大きな変化が生じてしまう可能性がある。この場合、従来技術の技術では、該対象へのより正確な追跡が不可能になる。

このため、視差図による正確な対象追跡方法及びシステムが求められている。

本発明は、上記問題点を鑑みてなされたものである。

前述の問題を解決するために、本発明の１局面においては、第１視差図における１つまたは複数の第１検知対象を検知するとともに、各第１検知対象の位置を取得するステップと、各第１検知対象の位置を、第１視差図における第１所定基準点の座標による各第１検知相対位置に変換する第１変換ステップと、各第１検知相対位置と各第１検知対象の所定移動方向と所定移動速度により、第２視差図における各第１検知対象に対応する各第１推定対象の推定位置を推定するステップと、第２視差図における１つまたは複数の第２検知対象を検知するとともに、各第２検知対象の位置を取得するステップと、各第２検知対象の位置を、第２視差図における第２所定基準点の座標による各第２検知相対位置に変換するステップと、各第１推定対象の推定位置と、各第２検知対象の第２検知相対位置により、各第１推定対象に対応する各第１検知対象の各第２検知対象との追跡マッチング関係を決定する、対象追跡方法を提供する。

好ましくは、前記第１所定基準点の座標が、第１視差図における道路の消失点の横座標と縦座標のうちの少なくともいずれかを有し、かつ前記第２所定基準点の座標が、第２視差図における同一の道路の消失点の横座標と縦座標のうちの少なくともいずれかを有する。

好ましくは、前記第１検知ステップにおいて、各第１推定対象のサイズとなる各第１検知対象のサイズを取得し、前記第２検知ステップにおいて、各第２検知対象のサイズを取得する。

好ましくは、前記決定ステップにおいて、各第１推定対象の推定位置とサイズ、及び各第２検知対象の第２検知相対位置とサイズにより、各第１検知対象の各第２検知対象との追跡マッチング関係を決定する。

好ましくは、前記決定ステップにおいて、各第１推定対象の推定位置とサイズ及び各第２検知対象の第２検知相対位置とサイズにより、各第１推定対象の各第２検知対象との水平面における重畳面積を算出し、１つの第１推定対象の１つの第２検知対象との前記水平面における重畳面積が最大になると、該第１推定対象に対応する第１検知対象と前記１つの第２検知対象とがマッチングするものと判定するステップを含む。

好ましくは、前記決定ステップにおいて、１つの第１推定対象の２つ以上の第２検知対象との前記水平面における重畳面積がいずれも最大になると、該第１推定対象の２つ以上の第２検知対象との深度面における重畳面積を算出し、該第１推定対象の前記２つ以上の第２検知対象のいずれかとの深度面における重畳面積が最大になると、該第１推定対象に対応する第１検知対象と前記２つ以上の第２検知対象のいずれかがマッチングするものと判定するステップを含む。

好ましくは、前記決定ステップにおいて、マッチングしていない前記各第１推定対象の推定位置と、マッチングしていない各第２検知対象の第２検知相対位置間の最小距離を算出し、該算出した最小距離が所定閾値未満になると、該第１推定対象に対応する第１検知対象と、最小距離を有する第２検知対象とがマッチングするものと判定する。

好ましくは、前記所定閾値は、前記第１推定対象に対応する第１検知対象の最大移動速度によって決められる。

好ましくは、前記決定ステップにおいて、１つの第１検知対象が第２検知対象のいずれかともマッチングしていない場合、該第１検知対象を第２視差図から消失したものと判定し、１つの第２検知対象が第１検知対象のいずれかともマッチングしていない場合、該第２検知対象を第２視差図における新規対象と判定する。

好ましくは、該方法において、第１検知対象の各第２検知対象との追跡マッチング関係の決定後、各第１検知対象の第１相対検知位置と、マッチングする各第２検知対象の第２相対検知位置により、各第１検知対象の所定移動方向と所定移動速度を補正し、マッチングする各第２検知対象の所定移動方向と所定移動速度とする。

本発明の他の局面においては、第１視差図における１つまたは複数の第１検知対象を検知するとともに、各第１検知対象の位置を取得する第１検知装置と、各第１検知対象の位置を、第１視差図における第１所定基準点の座標による各第１検知相対位置に変換する第１変換装置と、各第１検知相対位置と各第１検知対象の所定移動方向と所定移動速度により、第２視差図における各第１検知対象に対応する各第１推定対象の推定位置を推定する推定装置と、第２視差図における１つまたは複数の第２検知対象を検知するとともに、各第２検知対象の位置を取得する第２検知装置と、各第２検知対象の位置を、第２視差図における第２所定基準点の座標による各第２検知相対位置に変換する第２変換装置と、各第１推定対象の推定位置と前記各第２検知対象の第２検知相対位置により、各第１推定対象に対応する各第１検知対象の各第２検知対象との追跡マッチング関係を決定する決定装置と、を備える対象追跡システムを提供する。

本発明においては、視差図による、より正確な対象追跡が可能になる。

本発明の以上及び他の目的、特徴、長所がより明確になるように、以下、図面を参照して本発明の好適な実施例を説明する。
本発明における車輌システムの略図。 車輌の方向変換や、路面凹凸による揺れ時に撮像された視差図における対象の画像位置変化を示した略図。 本発明の１実施例による、視差図からの対象追跡方法のフローチャート。 本発明の他の実施例による、視差図からの対象追跡システムのブロック図。 図５（ａ）〜５（ｃ）は、双眼カメラにより、それぞれ第ｔ−１フレーム、第ｔフレーム、第ｔ+１フレームで撮像された視差図と階調図。 図６（ａ）は、第ｔ-１フレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図。 図６（ｂ）は、第ｔ-１フレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図。 図６（ｃ）は、第ｔ-１フレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図。 図６（ｄ）は、第ｔ-１フレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図。 第ｔ-１フレームにおける道路消失点による対象領域から推定した第ｔフレームにおける道路消失点による対象領域を示す図。 図８（ａ）は、第ｔフレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図。 図８（ｂ）は、第ｔフレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図。 図８（ｃ）は、第ｔフレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図。 図８（ｄ）は、第ｔフレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図。 図９（ａ）、９（ｂ）は、第ｔ−１フレームから検知された各対象の、第ｔフレームから検知された各対象との追跡マッチング関係の決定時に用いられる２つの方法の略図。 図１０（ａ）〜１０（ｃ）は、第ｔ−１フレームから検知された各対象の、第ｔフレームから検知された各対象との追跡マッチング関係の決定時に用いられる他の方法の略図。 図１１（ａ）、１１（ｂ）は、第ｔ−１フレームから検知された各対象の、第ｔフレームから検知された各対象との追跡マッチング関係の決定後に得られたマッチング対象の領域の略図。 は、第ｔ−１フレームから検知された各対象の所定移動距離を補正して、それとマッチングする第ｔフレームから検知された各対象の所定移動距離とする例を示した図。 図１３（ａ）は、補正後の所定距離を用いて、第ｔ+１フレームに対する追跡マッチング関係を決定する例を示した略図。 図１３（ｂ）は、補正後の所定距離を用いて、第ｔ+１フレームに対する追跡マッチング関係を決定する例を示した略図。 図１３（ｃ）は、補正後の所定距離を用いて、第ｔ+１フレームに対する追跡マッチング関係を決定する例を示した略図。 図１３（ｄ）は、補正後の所定距離を用いて、第ｔ+１フレームに対する追跡マッチング関係を決定する例を示した略図。 図１３（ｅ）は、補正後の所定距離を用いて、第ｔ+１フレームに対する追跡マッチング関係を決定する例を示した略図。

以下、図面を参照して、本発明の好適な実施形態について更に詳細に説明する。図面には本発明の好適な実施形態が示されているが、本発明は、各種形式にて実現可能であり、これらの実施形態に制限されるものではない。これらの実施形態は、本発明をより明確かつ完全に開示するために提供されたものであり、当業者は本発明を閲読後、本発明に開示されていない他の実施形態も本発明の範囲内のものとなることが明白に分かる。

図１は、本発明における車輌システムの略図である。

図１において、例えば、車輌には、車輌通行時に（例えば、図１に図示された）左画像と右画像を撮像するように、双眼カメラが搭載されている。撮像された左画像と右画像からは、視差図が生成される。ここで、撮像された左画像と右画像からの視差図の生成方法は、当業者に公知のものであるため、詳細の説明は割愛する。これにより、所定の時間間隔（例えば、２５フレーム/秒の場合は、１/２５の間隔）にてこのような撮像を行い、生成された２つまたはそれ以上の視差図が処理手段に入力されるようにし、道路上の通行人や車輌等の対象の、該所定時間(たとえば、１/２５秒)の間の追跡マッチング関係を判定し、換言すると、道路上の通行人や車輌等の対象の、該所定時間(たとえば、１/２５秒)後の追跡可否を判定する。

もちろん、車輌への本発明の対象追跡方法及びシステムの適用は、一例に過ぎない。例えば、交通監視、マシンビジョンのナビゲーション、工業製品検知、医療診断、仮想現実等の実際に需要に応じて、他の対象物に本発明の対象追跡方法及びシステムを適用し、対象追跡及び位置特定の目的を達成してもよい。

図２は、車輌の方向変換や、路面凹凸による揺れ時に撮像された視差図における対象の画像位置変化を示した図である。

背景技術に記載したように、現実には、車輌の方向変換や、路面凹凸による揺れ時に撮像された視差図における対象の画像位置に大きな変化が生じることがある。図２に示されたように、図２の上部には、現フレームの視差図が示され、上部左側の円で囲まれた部分を追跡対象と仮定する。図２の下部に示されたように、車輌の右折時、追跡の対象が左側に一定の距離分ずれていることが分かる。この場合、従来技術における対象の深度を用いた技術では、該対象の追跡を正確に行うことができない。

一方、本発明の実施例においては、前述の場合においても優れた対象追跡効果が得られる。

図３は、本発明の１実施例による、視差図における対象追跡方法のフローチャートである。

該対象追跡方法は、第１視差図における１つまたは複数の第１検知対象を検知するとともに、各第１検知対象の位置を取得する第１検知ステップＳ３０１と、各第１検知対象の位置を、第１視差図における第１所定基準点の座標による各第１検知相対位置に変換する第１変換ステップＳ３０２と、各第１検知相対位置と各第１検知対象の所定移動方向と所定移動速度により、第２視差図における各第１検知対象に対応する各第１推定対象の推定位置を推定する推定ステップＳ３０３と、第２視差図における１つまたは複数の第２検知対象を検知するとともに、各第２検知対象の位置を取得する第２検知ステップＳ３０４と、各第２検知対象の位置を、第２視差図における第２所定基準点の座標による各第２検知相対位置に変換する第２変換ステップＳ３０５と、各第１推定対象の推定位置と、前記各第２検知対象の第２検知相対位置により、各第１推定対象に対応する各第１検知対象の各第２検知対象との追跡マッチング関係を決定する決定ステップＳ３０６を有している。

１実施例においては、前記決定ステップが、マッチングしていない前記各第１推定対象の推定位置と、マッチングしていない各第２検知対象の第２検知相対位置間の最小距離を算出し、該算出した最小距離が所定閾値未満になると、該第１推定対象に対応する第１検知対象と、最小距離を有する第２検知対象とがマッチングするものと判定するステップをさらに有してもよい。

例えば、通常、追跡対象と、双眼カメラが搭載された車輌の相対通行速度が、最大で６０ｋｍ/ｈ（例えば、６０〜１２０ｋｍ/ｈとマークされた車道の場合）であると仮定すると、所定時間間隔（例えば、１/２５秒）内、最大速度と時間間隔の乗算により、追跡対象が該期間中に、車輌に対して行進した最大距離が約６ｍであることが得られる。この場合、前記所定閾値を６ｍに設定することができる。これにより、推定対象と検知対象との距離が６ｍを超えた場合は、推定対象と検知対象がマッチングする追跡対象となる確率が極めて小さくなり、両者はマッチングしていないものと見なすことができる。一方、推定対象と検知対象との距離が６ｍ未満になる場合は、マッチングするものと見なすことができる。

もちろん、前記所定閾値は、最大相対行進速度による設定に限らず、経験値により設定してもよく、データ統計により設定してもよいが、これらに限られるものではない。

前記第１視差図における第１所定基準点と第２視差図における第２所定基準点は、互いに関連するものであってもよく、かつ同一の物理的意味を示すものであってもよい。例えば、該第１所定基準点と第２所定基準点は、道路の消失点であってもよいが、これに限らず、例えば、太陽の点等、他の同一の物理的意味を有する点であってもよい。

１実施例において、前記第１所定基準点の座標は、第１視差図における道路の消失点の横座標と縦座標のうちの少なくともいずれかを含んでもよく、かつ前記第２所定基準点の座標は、第２視差図における同一道路の消失点の横座標と縦座標のうちの少なくともいずれかを含んでもよい。

換言すると、該第１所定基準点や第２所定基準点を考慮する場合は、単にこれらの完全な正確な位置を考慮するものではない。例えば、車輌の左右折をメインに考える場合は、これらの所定の基準点の位置の横座標がより重要なものとなり、これらの所定の基準点の位置の横座標のみ用いてもよく、同様の理由から、車輌の上下揺れをメインに考える場合は、これらの所定の基準点の位置の縦座標がより重要なものとなり、これらの所定の基準点の位置の縦座標のみ用いてもよく、同様の理由から、車輌の左右折及び車輌の上下揺れを同時に考える場合は、これらの所定の基準点の位置の横座標と縦座標を同時に用いることができる。

一定の時間間隔で、視差図を２回撮像した場合の２つの所定の基準点により、２回撮像した視差図をそれぞれ該２つの所定の基準点による視差図に変換することで、対象の追跡関係の判定時の、撮像した視差図に対する、車輌の左右折及び/または上下揺れによる、ずれの影響を解消することができる。

１実施例において、前記第１検知ステップでは、さらに、第１検知対象のサイズを得ることができ、各第１検知対象のサイズが各第１推定対象の第１推定サイズとなり、かつ、第２検知ステップでは、さらに、各第２検知対象のサイズを得ることができる。

例えば、このようなサイズは、対象の幅、高さ、深度を含むことで、立体サイズを表すことができる。

１実施例においては、前記決定ステップが、各第１推定対象の推定位置とサイズ及び各第２検知対象の第２検知相対位置とサイズにより、各第１推定対象の各第２検知対象の追跡マッチング関係を判定することができる。

対象のサイズをも、追跡マッチング関係の判定時の１条件とすると、対象のマッチング有無をより正確に判定することができる。

１実施例においては、前記決定ステップが、各第１推定対象の推定位置とサイズ及び各第２検知対象の第２検知相対位置とサイズにより、各第１推定対象の各第２検知対象との水平面における重畳面積を算出し、１つの第１推定対象の１つの第２検知対象との前記水平面における重畳面積が最大になると、該第１推定対象に対応する第１検知対象と前記１つの第２検知対象とがマッチングするものと判定するステップを含むことができる。

各第１推定対象の各第２検知対象との水平面における重畳面積の算出は、各対象の幅と深度のみ考慮し、高さは考慮しないことを意味するものであってもよい。

１実施例においては、前記決定ステップが、１つの第１推定対象の２つ以上の第２検知対象との前記水平面における重畳面積のいずれも最大になると、該第１推定対象の２つ以上の第２検知対象との深度面における重畳面積を算出し、該第１推定対象の前記２つ以上の第２検知対象のいずれかとの深度面における重畳面積が最大になると、該第１推定対象に対応する第１検知対象と前記２つ以上の第２検知対象のいずれかがマッチングするものと判定するステップを含むようにしてもよい。

各第１推定対象の各第２検知対象との深度面における重畳面積の算出は、各対象の幅と高さのみ考慮し、深度は考慮しないことを意味するものであってもよい。

１実施例において、前記決定ステップが、マッチングしていない前記各第１推定対象の推定位置と、マッチングしていない各第２検知対象の第２検知相対位置間の最小距離を算出し、該算出した最小距離が所定閾値未満になると、該第１推定対象に対応する第１検知対象と、最小距離を有する第２検知対象とがマッチングするものと判定するステップをさらに含むことができる。

この時、水平面と深度面における重畳面積による対象マッチングの判定ステップ後も、マッチング対象が検知されない場合は、以下のステップを実施する。

例えば、通常、例えば、追跡対象の、例えば双眼カメラが搭載された車輌との相対行進速度が最大で60 km/h（例えば、60-120km/h とマークされた車道において）であると、所定の時間間隔（例えば、1/25秒）内で、最大速度に時間間隔を乗算することにより、追跡対象の該期間における、車輌に対して行進した最大距離が略６ｍであることが得られる。この場合、前記所定の閾値は、６ｍに設定することができる。すると、推定対象の検知対象との距離が６ｍを超えた場合は、推定対象が検知対象とはマッチングする追跡対象である確率が極めて小さくなり、両者はマッチングしないものと認定することができる。

換言すると、１実施例において、前記所定の閾値は、前記第１推定対象に対応する第１検知対象の最大移動速度によって決められるものであってもよい。

ここで、本文における対象の移動速度、移動方向、移動距離等は、いずれも視差図を撮像するための物体（例えば、双眼カメラ）との相対移動速度、移動方法、移動距離となる。

１実施例において、前記決定ステップは、１つの第１検知対象がいずれかの第２検知対象とマッチングしていないと、該第１検知対象が第２視差図から消失したと判定し、１つの第２検知対象がいずれかの第１検知対象とマッチングしていないと、該第２検知対象が第２視差図では新規対象であると判定する。

このように、第２視差図における１対象が第１視差図における既存の対象とマッチングしていると、第２視差図において第１視差図に既存の対象を追跡したことになり、第２視差図における１対象が第１視差図に既存の対象にマッチングしていないと、これらの対象が第２視差図に新たに出現した対象となり、第１視差図に既存の１対象が第２視差図にマッチングするものがないと、これらの対象が第２視差図から消失したことになる。

１実施例において、本方法では、各第１検知対象と各第２検知対象間の追跡マッチング関係の判定後、各第１検知対象の第１相対検知位置と、該位置にマッチングする各第２検知対象の第２相対検知位置により、各第１検知対象の所定の移動方向と所定の移動速度を補正し、それにマッチングする各第２検知対象の所定の移動方向と所定の移動速度とする。

このように、第１視差図における各対象と第２視差図における各対象のマッチング関係が得られると、マッチングする対象の該所定時間間隔における、例えば双眼カメラが搭載された車輌に対する移動距離が得られ、マッチングする各対象の移動方向と移動速度を補正することで、次の所定の時間間隔の期間中に、補正された移動方向と移動速度に応じて各対象の該車両に対する移動距離を算出し、次の所定時間間隔後の各対象の車両に対する位置を推定できるようになる。このように、繰り返し次の所定時間間隔期間中の各対象の追跡を継続することができる。

このように、本発明の実施例においては、対象追跡を正確に行うことが可能になる。

図４は、本発明の他の実施例による、視差図における対象追跡システム４００のブロック図である。

該対象追跡システム４００は、第１視差図における１つまたは複数の第１検知対象を検知するとともに、各第１検知対象の位置を取得する第１検知装置４０１と、各第１検知対象の位置を、第１視差図における第１所定基準点の座標による各第１検知相対位置に変換する第１変換装置４０２と、各第１検知相対位置と各第１検知対象の所定移動方向と所定移動速度により、第２視差図における各第１検知対象に対応する各第１推定対象の推定位置を推定する推定装置４０３と、第２視差図における１つまたは複数の第２検知対象を検知するとともに、各第２検知対象の位置を取得する第２検知装置４０４と、各第２検知対象の位置を、第２視差図における第２所定基準点の座標による各第２検知相対位置に変換する第２変換装置４０５と、各第１推定対象の推定位置と前記各第２検知対象の第２検知相対位置により、各第１推定対象に対応する各第１検知対象の各第２検知対象との追跡マッチング関係を決定する決定装置と、を備えている。

もちろん、該対象追跡システム４００は、さらに、前記対象追跡方法の他の各ステップにそれぞれ対応する装置を有してよいが、ここでは、詳細説明は割愛する。

このように、本発明の実施例においては、正確な対象追跡を行うことが可能になる。

以下、具体的な例により、本発明の対象追跡方法の各ステップについて、さらに詳細に説明する。

図５（ａ）〜５（ｃ）は、双眼カメラにより、それぞれ第ｔ−１フレーム、第ｔフレーム、第ｔ+１フレームで撮像された（図の左側の）視差図と（図の右側の）階調図を示したものである。

車輌に搭載された双眼カメラが所定の時間間隔（例えば、１/２５秒）で、第ｔ-１フレーム、第ｔフレーム、第ｔ+１フレームの３つのフレームを連続撮像したと仮定する。もちろん、異なる時間間隔で撮像してもよく、本発明は、該所定の時間間隔に制限されるものではなく、該所定の時間間隔は変化可能なものであってもよいが、本公開においては、説明の便宜上、該所定の時間間隔は、固定のものと仮定し、これにより、対象の相対移動速度、方向から、対象の相対移動距離が求められ、次の時間間隔における対象の位置推定に用いられる。これについては、詳細に後述する。

次に、第ｔ-１フレーム、第ｔフレーム、第ｔ+１フレーム間の対象のマッチング及び追跡について、詳細に説明する。

図６（ａ）〜６（ｄ）は、第ｔ-１フレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図である。

先ず、図６（ａ）は、第ｔ-１フレームにおける、検知された対象領域を示し、該対象領域は、図６（ａ）において、四角フレームでマークされている。検知された１１の対象は、それぞれ図番１〜１０で記されている。

ここで、視差図からの対象領域の１検知方法としては、同一出願人が２０１１年１１月１８日に中国特許庁へ提出した出願番号201110369183.0、名称「道路対象検知方法及びシステム」の現在未公開の特許出願により得られる。ここで、該特許出願を引用することにする。もちろん、当業者は、他の、または将来出現し得る対象検知方法を用いて、第ｔ-１フレームからの対象検知を行ってもよい。

図６（ｂ）は、第ｔ-１フレームから検知された該１１の対象の領域の詳細位置とサイズ（x (pixel), y(pixel), z (mm), w (mm), h(mm), l(mm)）を示し、ここで、ｘ、ｙは、該対象の左上コーナーの頂点の撮像画像中の横座標及び縦座標を表し、ｚは、該対象の深度を表し、即ち、該対象と撮像用の例えば双眼カメラ間の距離を表し、ｗは、該対象の幅を表し、ｈは、該対象の高さを表し、ｌは、該対象自身の深度を表している。このように、該ｘ、ｙ、ｚは、該対象の詳細位置を表し、該ｗ、ｈ、ｌは、該対象のサイズを表すことができる。

ここで、本発明においては、対象の詳細位置のみによる追跡を行ってもよく、詳細位置とサイズの両方による追跡を行ってもよいが（詳細は後述）、図６（ｂ）においては、説明と理解の便宜上、これらの対象の領域の詳細位置とサイズの両方を示しているものの、本発明はこれに限られるものではない。

具体的に、例えば、対象０の領域が、（391, 494, 21455，495, 721, 609）であると、該対象０の左上コーナーの頂点の位置が、（ x=391 (pixel), y=494(pixel),z=21455(mm)）であり、かつ、該対象のサイズが、w=495(mm), h =721(mm), l=609(mm)）であることになる。もちろん、本公開の図面には、対象の左上コーナーの位置のみが対象の位置と示されているが、当業者であれば、対象の中心点、右下コーナー頂点等の他の点の位置を対象の位置としてもよいことが容易に想到できる。なお、対象１、対象２、対象３、対象４、対象５、対象６、対象７、対象８、対象９、対象１０のそれぞれの詳細位置及びサイズは、図６（ｂ）に示されており、これらの詳細の説明は割愛する。

図６（ｃ）は、第ｔ-１フレームにおける道路消失点を示した例である。

前述したように、本発明の方法に用いられる所定の基準点は、必ず道路消失点である必要はなく、例えば、太陽を基準点にする等、他の物理的意味を有する点を用いてもよい。

ここで、道路消失点の取得方法は、同一出願人が２０１１年１２月９日付にて中国特許庁へ提出した出願番号201110409269.1 、名称「視差情報による道路分割体検知方法」の現在未公開の特許出願、及び、2005年6月8日に発表されたZhencheng Hu、Francisco Lamosa、Keiichi Uchimura の、名称「U-V-disparity: an efficient algorithm for stereovision based scene analysis”（ISBN: 0-7695-2327-7）から得ることができ、ここで、これらの文献を引用することにする。もちろん、当業者は、他の、または将来出現し得る対象検知方法を用いて、第ｔ-１フレーム中の道路消失点の横座標及び縦座標を取得してもよい。

図６（ｄ）は、第ｔ-１フレームから検知された対象領域を該道路消失点による対象領域に変換する例を示した図である。

前述のように、車輌の左右折をメインに考える場合は、これらの所定の基準点の位置の横座標がより重要なものとなり、これらの所定の基準点の位置の横座標のみ用いてもよく、同様の理由から、車輌の上下揺れをメインに考える場合は、これらの所定の基準点の位置の縦座標がより重要なものとなり、これらの所定の基準点の位置の縦座標のみ用いてもよく、同様の理由から、車輌の左右折及び車輌の上下揺れを同時に考える場合は、これらの所定の基準点の位置の横座標と縦座標を同時に用いることができる。

このため、ここでは、車輌の左右折現象が比較的によく見られ、かつそれによる対象のずれ距離が比較的に大きいことから、例として、道路消失点の横座標のみ考慮する。ここで、引用した出願番号201110409269.1の特許出願により得られる道路消失点の横座標は、xv=450 (pixel)となる。（もちろん、Ｖ−視差図から、即ち、画像座標系中のＶ座標方向における道路消失点を表すｙ座標、即ち、Ｖ−視差図における道路線の視差値０時のｙの値を取得し、道路消失点の縦座標としてもよい。ここで、本公開においては、道路消失点の横座標の取得を例に説明したが、これに限られるものではない。）

図６（ｄ）から分かるように、図６（ｂ）から得られた、検知された各対象領域の横座標ｘから道路消失点の横座標xv=450 (pixel)を減算することで、該道路消失点による各対象領域(x’, y, z, w, h, l)= (x-xv, y, z, w, h, l)を得ることができる。具体的に、例えば、対象０において、（391, 494, 21455，495, 721, 609）からxv=450 (pixel)を減算することで、(-59 ,494, 21455, 495,721,609)が得られる。

もちろん、他の実施例として、本発明は、道路消失点の横座標のみによる双眼カメラの左右ずれの解消のみならず、道路消失点の縦座標のみによる双眼カメラの上下ずれの解消や、道路消失点の横座標と縦座標の両方による双眼カメラの左右ずれと上下ずれの解消も可能である。道路消失点の縦座標や、道路消失点の横座標と縦座標の両方を考慮する場合の、該道路消失点による各対象領域の取得方法は、当業者に明らかな方法であるため、詳細の説明は割愛する。

道路消失点による対象領域に変換することで、双眼カメラが搭載された車輌の左右折及び/または上下揺れ等による、撮像画像中の検知対象の位置への影響を解消し、より正確な対象追跡マッチング関係の判定を実現することができる。

図７は、第ｔ-１フレームにおける道路消失点による対象領域から推定した第ｔフレームにおける道路消失点による対象領域を示した図である。

第ｔ-１フレームにおける各対象の移動方向及び移動速度が予め決められていると、第ｔ-１フレームと第ｔフレーム間の時間間隔により、各対象のｘ、ｙ、ｚ方向における各自の移動距離（Δx, Δy, Δz）を推定することができる。該Δx, Δy, Δzのうちのいずれかの値、例えば、Δxが、プラス値であると、対象のｘ軸における移動方向が、ｘ軸のプラス方向であることが分かり、例えば、Δxが、マイナス値であると、対象のｘ軸における移動方向が、ｘ軸のマイナス方向であることが分かる。これらの各対象の移動方向及び移動速度は、予め設定されてもよく、公知の方式から算出、推定されてもよいが、詳細については割愛する。なお、ここでは、所定の移動方向と移動速度による移動距離の算出のみ説明したが、実施例で、直接、移動距離を予め決めてもよい。本公開においては、移動速度と移動方向は、（プラス値やマイナス値の）移動距離と代用されてもよい。

なお、第ｔ-１フレームにおける道路消失点の対象は、推定した第ｔフレームにおける道路消失点による対象と同サイズ、即ち、wp =w，hp =h，かつlp = lであると仮定する。

これにより、第ｔ-１フレーム中の道路消失点による対象領域から推定した第ｔフレーム中の道路消失点による対象領域は、(x’p, yp, zp, wp, hp, lp)=（x’+Δx, y+Δy, z+Δz, w, h,l）となる。

本公開においては、算出の簡略化と、本発明の原理の明確な記述のために、第ｔ-１フレームにおいて、各対象の所定の移動方向と移動速度を、（0, 0, 0）に初期化し、即ち、初期時の各対象は、双眼カメラに対して静止したものとする。

これにより、第ｔ-１フレームにおける道路消失点による対象領域から推定した第ｔフレーム中の道路消失点による対象領域は、(x’p, yp, zp, wp, hp, lp)=（x’+0, y+0, z+0, w, h,l）となる。図７から分かるように、推定した第ｔフレームにおける道路消失点による対象領域は、図６（ｄ）の対象領域と同一のものとなる。

図８（ａ）〜８（ｄ）は、第ｔフレームにおける、検知された対象領域の、道路消失点による対象領域への変換を示す図である。

図８（ａ）は、第ｔフレームから検知された対象領域を示し、該対象領域は、図８（ａ）の四角フレームでマークされている。検知された５つの対象は、それぞれ図番Ａ〜Ｅで記されている。

前述のように、ここで、視差図からの対象領域の１検知方法としては、同一出願人が２０１１年１１月１８日に中国特許庁へ提出した出願番号201110369183.0、名称「道路対象検知方法及びシステム」の現在未公開の特許出願により得られる。ここで、該特許出願を引用することにする。もちろん、当業者は、他の、または将来出現し得る対象検知方法を用いて、第ｔフレームからの対象検知を行ってもよい。

図８（ｂ）は、第ｔフレームから検知された該５つの対象の領域の詳細位置とサイズ（x (pixel), y(pixel), z (mm), w (mm), h(mm), l(mm)）を示し、ここで、前述のように、ｘ、ｙは、該対象の左上コーナーの頂点の撮像画像中の横座標及び縦座標を表し、ｚは、該対象の深度を表し、即ち、該対象と撮像用の例えば双眼カメラ間の距離を表し、ｗは、該対象の幅を表し、ｈは、該対象の高さを表し、ｌは、該対象自身の深度を表している。このように、該ｘ、ｙ、ｚは、該対象の詳細位置を表し、該ｗ、ｈ、ｌは、該対象のサイズを表すことができる。

ここで、本発明においては、対象の詳細位置のみによる追跡を行ってもよく、詳細位置とサイズの両方による追跡を行ってもよく、図８（ｂ）においては、説明と理解の便宜上、これらの対象の領域の詳細位置とサイズの両方を示しているが、本発明はこれに限られるものではない。

図８（ｃ）は、第ｔフレームにおける道路消失点を示した例である。

前述したように、本発明の方法に用いられる所定の基準点は、必ず道路消失点である必要はなく、例えば、太陽を基準点にする等、他の物理的意味を有する点を用いてもよい。

前述のように、道路消失点の取得方法は、同一出願人が２０１１年１２月９日付にて中国特許庁へ提出した出願番号201110409269.1 、名称「視差情報による道路分割体検知方法」の現在未公開の特許出願、及び、2005年6月8日に発表されたZhencheng Hu、Francisco Lamosa、Keiichi Uchimura の、名称「U-V-disparity: an efficient algorithm for stereovision based scene analysis”（ISBN: 0-7695-2327-7）から得ることができ、ここで、これらの文献を引用することにする。もちろん、当業者は、他の、または将来出現し得る対象検知方法を用いて、第ｔフレーム中の道路消失点の横座標及び縦座標を取得してもよい。

図８（ｄ）は、第ｔフレームから検知された対象領域を該道路消失点による対象領域に変換する例を示した図である。

前述のように、車輌の左右折をメインに考える場合は、これらの所定の基準点の位置の横座標がより重要なものとなり、これらの所定の基準点の位置の横座標のみ用いてもよく、同様の理由から、車輌の上下揺れをメインに考える場合は、これらの所定の基準点の位置の縦座標がより重要なものとなり、これらの所定の基準点の位置の縦座標のみ用いてもよく、同様の理由から、車輌の左右折及び車輌の上下揺れを同時に考える場合は、これらの所定の基準点の位置の横座標と縦座標を同時に用いることができる。

このため、ここでは、車輌の左右折現象が比較的よく見られ、かつそれによる対象のずれ距離が比較的に大きいことから、例として、道路消失点の横座標のみ考慮する。ここで、引用した出願番号201110409269.1の特許出願により得られる道路消失点の横座標は、xv=450(pixel)となる。（もちろん、Ｖ−視差図により、即ち、画像座標系中のＶ座標方向（縦座標方向）から、上下に走査し、同一視差値を有する画素点の数を累積して構築されたＶ−視差図により、道路消失点を表すｙ座標、即ち、Ｖ−視差図における道路線の視差値０時のｙの値を取得し、道路消失点の縦座標としてもよい。ここで、本公開においては、道路消失点の横座標の取得を例に説明したが、これに限られるものではない。）

図８（ｄ）から分かるように、図８（ｂ）から得られた、検知された各対象領域の横座標ｘから道路消失点の横座標xv=287(pixel)を減算することで、該道路消失点の各対象領域(x’,y,z,w,h,l)=(x-xv,y,z,w,h,l)を得ることができる。具体的に、例えば、対象Ｂにおいて、(340,347,16248,2988,2227,5816)から、xv=287(pixel)を減算することで、(53,347,16248,2988,2227,5816)が得られる。

もちろん、他の実施例としては、本発明は、道路消失点の横座標のみによる双眼カメラの左右ずれの解消に限らず、道路消失点の縦座標のみによる双眼カメラの上下ずれの解消や、道路消失点の横座標と縦座標の両方による双眼カメラの左右ずれと上下ずれの解消を考慮してもよい。道路消失点の縦座標や、道路消失点の横座標と縦座標の両方を考慮する場合の、該道路消失点による各対象領域の取得方法は、当業者に明らかな方法であるため、詳細の説明は割愛する。

図９（ａ）、９（ｂ）は、第ｔ−１フレームから検知された各対象の、第ｔフレームから検知された各対象との追跡マッチング関係の決定時に用いられる２つの方法の略図である。

先ず、図９（ａ）において、図８（ｄ）に示された実際検知された第ｔフレームの道路消失点による対象領域(x’,y,z,w,h,l)（例えば、対象領域１）から、図９（ａ）の左上の立方体が得られ、ここで、左上コーナーの頂点の座標が、(x’,y,z)であり、かつ、該対象の立方体の幅がw（mm）、高さがh（mm）、かつ深度がl（mm）となる。

図７に示された、第t-1フレームにより推定された第tフレームの道路消失点による対象領域(x’p,yp,zp,wp,hp,lp)（例えば、対象領域B）から、図９（ａ）の右下の立方体が得られ、ここで、左上コーナーの頂点の座標が(x’p,yp,zp)であり、かつ、該対象の立方体の幅がwp（mm）、高さがhp（mm）、かつ深度がlp（mm）となる。

対象のサイズを考慮しない場合、即ち、（w,h,l）及び（wp,hp,lp）を考慮せず、対象の位置のみ考慮する場合、即ち、対象の左上コーナーの頂点の位置(x’,y,z)と(x’p,yp,zp)のみ考慮する場合、該方法においては、各第ｔ-１フレームから推定した第ｔフレームの対象の位置(x’p,yp,zp)と、各ｔフレームから実際に検知された対象の位置(x’,y,z)との最小距離を算出し、該算出した最小距離が所定の閾値未満になる場合、第ｔ-１フレームから検知された該対象と、第ｔフレームから検知した該対象とはマッチングするものと判定することができる。

換言すると、具体的に、例えば、

により、第ｔ-１フレームから推定した第ｔフレームの対象１の１位置(x’p, yp, zp)と、各第ｔフレームから実際に検知された各対象Ｂ、Ｃ、Ｅ、Ａ、Ｄの位置(x’, y, z)との距離ｄを算出する。次に、これらの距離ｄにおける最小距離ｄｍｉｎ（例えば、対象１と対象Ｂの左上コーナー頂点の距離ｄが最小になると仮定する）を取得するとともに、これらの距離における最小距離ｄｍｉｎと所定の閾値との比較を行い、該最小距離ｄｍｉｎが所定の閾値未満になる場合、第ｔ-１フレームにおける該対象１と、該第ｔフレームにおける最小距離ｄｍｉｎを有する対象（例えば、対象Ｂ）とはマッチングするものと判定する。

もちろん、２対象間の距離を算出する方式は、これに限らず、左上コーナー頂点以外の他の点間の距離により算出してもよいが、ここでは詳細については割愛する。

換言すると、対象の位置のみ考慮した場合でも、本公開で実施される対象追跡方法を行うことができる。

図９（ｂ）は、対象の左上コーナー頂点の位置(x’, y, z)及び(x’p, yp, zp)のみならず、対象のサイズ（w, h, l）及び（wp, hp, lp）も考慮した場合の、２対象間の距離の算出を示した略図である。

図９（ｂ）において、図８（ｄ）に示された実際検知された第ｔフレームの道路消失点による対象領域(x’, y, z, w, h, l)（例えば、対象領域１）から、図９（ｂ）の左上の立方体が得られ、ここで、左上コーナーの頂点の座標が、(x’, y, z)であり，かつ、該対象の立方体の幅がw（mm）、高さがh（mm）、かつ深度がl（mm）となる。該実際検知された第ｔフレームの対象領域の中心点は、ｃとなる。

図７に示された、第t-1フレームにより推定された第tフレームの道路消失点による対象領域(x’p, yp, zp, wp, hp, lp)（例えば、対象領域B）から、図９（ｂ）の右下の立方体が得られ、ここで、左上コーナーの頂点の座標が(x’p, yp, zp)であり、かつ、該対象の立方体の幅がwp（mm）、高さがhp（mm）、かつ深度がlp（mm）となる。該推定された第ｔフレームの対象領域の中心点は、ｃpとなる。

例えば、ｃとｃp 間の距離を算出するために、次式

により、２つの立体対象（例えば、対象１と、各対象Ｂ、Ｃ、Ｅ、Ａ、Ｄ）の立体中心点間の距離ｄを算出する。次に、これらの距離ｄにおける最小距離ｄｍｉｎ（例えば、対象１と対象Ｂの中心点の距離ｄが最小になると仮定する）を取得するとともに、これらの距離における最小距離ｄｍｉｎと所定の閾値との比較を行い、該最小距離ｄｍｉｎが所定の閾値未満になる場合、第ｔ-１フレームにおける該対象１と、該第ｔフレームにおける最小距離ｄｍｉｎを有する対象（例えば、対象Ｂ）とはマッチングするものと判定する。

もちろん、２対象間の距離を算出する方式は、これに限らず、立体中心点以外の他の点間の距離による算出でもよいが、ここでは詳細については割愛する。

全推定対象1、2……10 と検知対象A、B……E 間のマッチング関係の判定後は、１推定対象がいずれの検知対象ともマッチングしない場合は、該推定対象に対応する検知対象が第ｔフレームから消失したと判定し、１検知対象がいずれの推定対象ともマッチングしない場合は、該検知対象が第ｔフレームでは新規対象であると判定する。

このように、図９（ａ）に示された方法に比べて、より正確に２つの対象の立体空間における距離を判定することができ、追跡マッチング関係を判定することができる。

以上、簡単な算出により、第ｔフレームから推定した対象と実際検知した対象の追跡マッチング関係を算出し、第ｔフレームから推定した対象に対応する第ｔ-１フレームから実際検知した対象の追跡マッチング関係とすることができる。

以下、多少複雑な算出により、第ｔ-１フレームにおける実際検知対象と、第ｔフレームにおける実際検知対象の追跡マッチング関係をより正確に得る他の方法を説明する。

図１０（ａ）〜１０（ｃ）は、第ｔ−１フレームから検知された各対象の、第ｔフレームから検知された各対象との追跡マッチング関係の決定時に用いられる他の方法の略図である。

図９（ｂ）に示された実際検知された第ｔフレームの道路消失点による対象領域(x’, y, z, w, h, l)（例えば、対象領域1）において、左上コーナーの頂点の座標が、(x’, y, z)であり、かつ、該対象の立方体の幅がw（mm）、高さがh（mm）、かつ深度がl（mm）となり、第t-1フレームにより推定された第tフレームの道路消失点による対象領域(x’p, yp, zp, wp, hp, lp)（例えば、対象領域B）において、左上コーナーの頂点の座標が(x’p, yp, zp)であり、かつ、該対象の立方体の幅がwp（mm）、高さがhp（mm）、かつ深度がlp（mm）となる。

実際検知された第ｔフレームの道路消失点による対象領域（例えば、対象１）と、第t-1フレームにより推定された第tフレームの道路消失点による対象領域（例えば、対象Ｂ）の追跡マッチング関係を判定するためには、それぞれ下記ステップを用いることができる（もちろん、下記ステップのいずれかのみ用いてもよい。また、これらのステップの順番に制約されるものでもない。）
各推定対象の推定位置（例えば、x’p, yp, zp）とサイズ（例えば、wp, hp, lp）、及び、前記各検知対象の相対位置（例えば、x’, y, z）とサイズ（例えば、w, h, l）により、各推定対象（例えば、対象0、1、2……10）の、各検知対象（例えば、対象B、C、E、A、D）とのU-視差図（即ち、水平面）における重畳面積を算出する。

ここで、U-視差図とは、水平面上の、上から下を見たときの各対象の状況を表し、図１０（ａ）に示したように、上から下を見たとき、水平面では対象の高さhとhpは見ることができないことから、考慮せず、対象の幅wとwp 、及び対象の深度lとlpのみ考慮可能なことが分かる。

次に、１推定対象（例えば、対象１）と検知対象（例えば、対象Ｂ、Ｃ、Ｅ、Ａ、Ｄ）のいずれか（例えば、対象Ｂ）のＵ−視差図における重畳面積が最大になると、該推定対象（例えば、対象１）に対応する第ｔ-１フレームにおける検知対象（例えば、依然として対象１）と、第ｔフレームにおける検知対象のいずれか（例えば、対象Ｂ）は、マッチングするものと判定する。

具体的に、図１０（ａ）において、例えば、対象１と対象ＢのＵ−視差図における重畳面積（例えば、図１０（ａ）における陰影部分の面積）を算出する場合は、次式のSu=(x’+w−x’p)×(zp+lp-z)により、算出する。対象１と対象Ｂ、対象１と対象Ｃ、対象１と対象Ｅ、対象１と対象Ａ、対象１と対象Ｄの全てのＵ−視差図における重畳面積が、それぞれ算出された後は、Ｕ−視差図における重畳面積が最大になる対象（例えば、対象Ｂ）が、対象１にマッチングする対象と判定される。

このように、Ｕ−視差図における重畳面積の算出のみで、これらの対象のマッチング有無を判定することができる。このようなＵ−視差図では、上から下を見たときの対象の状況のみ考慮することから、双眼カメラの上下ずれによる誤差を適切に解消することができる。また、該実施例では、前述の道路消失点による変換で双眼カメラの左右ずれによる誤差解消と組み合わせると、双眼カメラの上下ずれと左右ずれによる影響を同時に解消することができる。

しかしながら、このようなＵ−視差図における重畳面積は、必ずしも最大値が１つのみではないことがあり、１推定対象と２つ以上の検知対象の前記Ｕ−視差図における重畳面積のいずれも最大になる場合は、該推定対象と２つ以上の検知対象のＸ−Ｙ−視差図（即ち、深度面）における重畳面積を算出することができる。ここで、Ｘ−Ｙ−視差図とは、深度面における、前から奥を見たときの各対象の状況を表し、図１０（ｂ）に示されたように、前から奥を見たとき、深度面では対象の深度lとlpは見ることができないことから、考慮せず、対象の幅wとwp 、及び対象の高さhとhpのみ考慮可能なことが分かる。

該推定対象と前記２以上の検知対象のいずれかのＸ−Ｙ−視差図における重畳面積が最大になると、該推定対象に対応する第ｔ-１フレームにおける検知対象と、第ｔフレームにおける前記２以上の検知対象のいずれかは、マッチングするものと判定する。

具体的に、図１０（ｂ）において、例えば、推定対象と検知対象のＸ−Ｙ−視差図における重畳面積（例えば、図１０（ｂ）における陰影部分の面積）を算出する場合は、次式のSx-y=(x’+w−x’p)×(yp+hp-y)により、算出することができる。推定対象と該２つ以上の検知対象のＸ−Ｙ−視差図における重畳面積が、それぞれ算出された後は、Ｘ−Ｙ−視差図における重畳面積が最大になる１検知対象が、推定対象にマッチングする対象と判定される。即ち、該推定対象に対応する第ｔ-１フレーム中の検知対象と、第ｔフレームにおける該検知対象とは、マッチングするものと判定される。

例えば、Ｕ−視差図及びＸ−Ｙ−視差図における重畳面積の算出後は、本発明における各対象領域の詳細数値により、対象Ｂと対象１、対象Ｃと対象２のＵ−視差図及び/またはＸ−Ｙ−視差図における重畳面積が、いずれも０を超えたものであり、他の重畳面積は、いずれも０であることが得られ、これにより、対象１と対象Ｂがマッチングし、対象２と対象Ｃがマッチングするものであることが得られる。

もちろん、本公開においては、先ず、Ｕ−視差図の重畳面積を算出し、重畳面積に２つの最大面積が存在する場合に、Ｘ−Ｙ−視差図の重畳面積を用いているが、本公開は、これに限らず、Ｘ−Ｙ−視差図の重畳面積を単独に用いて、対象の追跡マッチングを行ってもよく、さらには、Ｖ−視差図（即ち、左から右を見たときの対象の状況）を単独に用いるか、組み合わせて用いて、対象の追跡マッチングを行ってもよい。

図１０（ａ）と図１０（ｂ）のＵ−視差図と、Ｘ−Ｙ−視差図の重畳面積による算出後、第ｔフレームの一部の推定対象(例えば、対象３、４、・・・１０)と、第ｔフレームの一部の検知対象（例えば、対象Ａ、Ｅ、Ｄ）が依然としてマッチングしていない場合、マッチングしていない前記各推定対象の推定位置と、マッチングしていない前記各検知対象の位置間の最小距離を算出し、該算出された最小距離が所定の閾値（例えば、前述の所定の６ｍ）未満になると、該所定対象に対応する第ｔ-１フレームの検知対象と、最小距離を有する第ｔフレームの検知対象とは、マッチングするものと判定することができる。

本公開における各対象領域の詳細数値により、対象３と、最小距離を有する対象Ｅ間の距離が２ｍであることが算出され、所定の閾値６ｍ未満になるため、対象３と対象Ｅは、マッチングするものである。

具体的な２つの対象間の距離の算出方法は、前述の図９（ａ）、９（ｂ）に示された方法を用いることができるため、ここでは、重複説明は割愛する。もちろん、本公開は、これに限られるものではない。

図１０（ｃ）には、例として、２つの対象の立体中心点間の距離の算出方式のみ示されているが、これは、単に、追跡マッチング関係の判定をより正確にするためのものであり、制限的なものではない。

最後に、１推定対象がいずれの検知対象ともマッチングしていないと、該推定対象に対応する検知対象が第ｔフレームから消失したと判定し、１検知対象が、いずれの推定対象ともマッチングしていないと、該検知対象が第ｔフレームでは新規対象であると判定する。

具体的に、該例において、対象４、５・・・・・・１０ともマッチングするものが存在しないと、これらの対象４、５・・・・・・１０は、第ｔフレームから消失したことになる。一方、第ｔフレームから検知された対象における２つの検知対象が、いずれの推定対象ともマッチングしていないと、第ｔフレームに、それぞれ対象１１と対象１２と記された２つの新規対象が出現したことになる。

図１１（ａ）、１１（ｂ）は、第ｔ−１フレームから検知された各対象の、第ｔフレームから検知された各対象との追跡マッチング関係の判定後に得られたマッチング対象の領域の略図である。

図１１（ａ）は、前述の算出から得られた、第ｔフレームで検知された対象Ｂ、Ｃ、Ｅ、Ａ、Ｄと、第ｔ−１フレームで検知された対象０、１、２、・・・・・・１０間の追跡マッチング関係を示している。対象Ｂと対象１とがマッチングし、対象Ｃと対象２とがマッチングし、対象Ｅと対象３とがマッチングする一方、対象１１と対象１２が第ｔフレームに新規出現した２つの対象となり、それぞれ新規図番１１、１２で示されていることが分かる。

図１１（ｂ）は、第ｔフレームの画像から最後に判定されたマッチング対象領域を具体的に示したブロック図である。

このように、単独或いは組み合わせてＵ−視差図、Ｘ−Ｙ−視差図における重畳面積及び距離を用いることで、図９（ａ）、図９（ｂ）に示された、距離のみ用いる方法に比べて、より正確に２つの対象の追跡マッチング関係を判定することができる。

このように、該１つまたは複数の実施例によると、第ｔフレームから推定された対象と、実際検知された対象の追跡マッチング関係をより正確に得ることができ、第ｔフレームから推定された対象に対応する第ｔ-１フレームにおける実際検知対象と、第ｔフレームから実際検知された対象の追跡マッチング関係とすることができる。

図１２は、第ｔ−１フレームから検知された各対象の所定移動方向と所定移動速度（或いは、移動距離）を補正して、それとマッチングする第ｔフレームから検知された各対象の所定移動方向と所定移動速度（或いは、所定移動距離）とする例を示した図である。

第ｔ-１フレームにおける各検知対象と、第ｔフレームにおける各検知対象間の追跡マッチング関係の判定後に、第ｔ-１フレームにおける各検知対象の道路消失点による位置及びそれとマッチングする第ｔフレームにおける各検知対象の道路消失点による位置に基づき、第ｔ-１フレームにおける各検知対象の所定移動方向及び所定移動速度を補正し、それとマッチングする第ｔフレームにおける各検知対象の所定移動方向と所定移動速度とする。

もちろん、本公開においては、計算の簡略化のために、各フレーム間の時間間隔を等間隔に仮定した場合は、移動距離のみにより、移動方向と移動速度の概念を表すことができる。Δx=x’_t−x’_t-1、Δy=y_t−y_t-1、Δz=z_t−z_t-1となる。新規対象11と12については、(Δx,Δy,Δz)=(0,0,0)となる。ここで、x’_tは、第tフレームにおける検知対象の道路消失点による位置の横座標を表す。また、x’_t-1は、第t-1フレームにおける検知対象の道路消失点による位置の横座標を表す。ｙ_tは、第tフレームにおける検知対象の道路消失点による位置の縦座標を表す。また、ｙ_t-1は、第t-1フレームにおける検知対象の道路消失点による位置の縦座標を表す。ｚ_t は、第tフレームにおける検知対象の道路消失点による位置の深度座標を表す。また、ｚ_t-1は、第t-1フレームにおける検知対象の道路消失点による位置の深度座標を表す。

(Δx,Δy,Δz)が算出されると、第ｔ-１フレームと第ｔフレーム間の時間間隔により、第ｔフレーム中の各検知対象の移動方向及び移動速度を予測することができる。ここで、該Δx,Δy,Δzのうちのいずれかの値、例えば、Δxが、プラス値であると、対象のｘ軸における移動方向が、ｘ軸のプラス方向であることが分かり、例えば、Δxが、マイナス値であると、対象のｘ軸における移動方向が、ｘ軸のマイナス方向であることが分かる。

図１２に示されたように、例えば、補正後、第ｔフレームにおける１とマークされた対象の移動距離は、（3,-18,-1730）となり、第ｔフレームに新たに出現した新規対象１１の移動距離は、（0,0,0）となる。ここで、本公開においては、（プラス値またはマイナス値の）移動距離は、移動速度と移動方向の代わりに用いることができる。

以下、補正後の第ｔフレームの各対象の移動距離による、第ｔ+１フレームで検知される各対象への追跡マッチング例について説明する。もちろん、当業者は、本公開における第ｔ-１フレーム及び第ｔフレームの対象の追跡マッチング方法への詳細な説明から、第ｔ+1で検知される各対象への追跡マッチング方式を予測することが可能であるが、本公開がより明確なものとなるように、以下、これらについて説明するものの、これらの説明は、制約的なものではない。

図１３（ａ）〜１３（ｅ）は、補正後の所定距離を用いて、第ｔ+１フレームに対する追跡マッチング関係を決定する例を示した略図である。

図１３（ａ）は、補正後の第ｔフレームの対象（例えば、対象１、２、３、１１、１２）の移動距離と、第ｔフレームの対象の道路消失点による対象領域（x’、y、z、w、5h、l）を用いた、第ｔ+１フレーム中の推定対象の道路消失点による対象領域（x’p、yp、zp、wp、hp、lp）の推定例を示したものである。ここで、x’p=x’+Δx、yp=yt+Δy、zp=zt+Δz、wp=w、hp=h、lp=lであり、即ち、(x’p、yp、zp、wp、hp、lp)=（x’+Δx、y+Δy、z+Δz、w、h、l）である。

次に、前述の出願番号201110369183.0 、名称「道路対象検知方法及びシステム」である、現在未公開の特許出願（或いは、他の従来技術に開示された、或いは将来出現し得る対象検知方法）を用いて、第ｔ+１フレームにおける実際検知された対象（例えば、対象Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ）の対象領域（位置及びサイズ）を検知する。図１３（ｂ）及び図１３（ｃ）に示された通りである。

次に、前述の出願番号201110409269.1、名称「視差情報による道路分割体検知方法」である、現在未公開の特許出願（或いは、他の従来技術に開示された、或いは将来出現し得る対象検知方法）を用いて、道路消失点の横座標xv=122(pixel)を得ることができる。

同様に、第ｔ+１フレームにおける検知された各対象（例えば、対象Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ）の対象領域の横座標ｘから、道路消失点の横座標xv=122(pixel)を減算することにより、第ｔ+１フレームの該道路消失点による各対象領域(x’,y,z,w,h,l)=(x-xv,y,z,w,h,l)が得られる。図１３（ｄ）に示した通りである。

次に、図９（ａ）または図９（ｂ）に示された方法、或いは、図１０（ａ）〜（ｃ）に示された方法により、対象１、２、３、１１、１２と、対象Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈの追跡マッチング関係を判定する。ここでは、詳細の説明は割愛する。

これにより、図１３（e）に示された、マッチング対象領域が得られる。

このため、第ｔ+１フレームの各マッチング対象の移動距離をさらに補正し、次フレーム（第ｔ+２フレーム）の追跡マッチングに用いることができる。このような工程を繰り返すことにより、連続した対象追跡を行うことができ、交通監視、補助運転、自動車検知及び追跡、運転警報システム、マシンビジョンナビゲーション、工業製品検知、医療診断、仮想現実等の各実際の分野に用いることができる。

本公開においては、主に対象追跡方法の各ステップ及び変形ステップについて説明したが、当業者であれば、これらのステップ及び変形ステップにそれぞれ対応する装置も、本公開範囲内のものであることが理解できるため、ここでは、詳細な説明は割愛する。

ここで引用している全ての特許、特許出願、文章、他の公開物、文書及び物事は、全体の目的のために、該引用によりここにその全文が統合されることになる。統合される公開物、文書や、物事と、本公開との間に、用語の不一致や矛盾が生じる場合は、本公開を基準とする。

もちろん、当業者は、本公開により、各用語の本質的意味を理解することができ、本公開の内容は、具体的な用語に表される狭い意味に限定されるものではなく、本公開の精神及び原理内の広い意味を示すものである。

以上、視差図による正確な対象追跡方法及びシステムの各実施例について説明したが、前述の説明は、例示的なものであり、限定的なものではなく、開示された各実施例に限られるものでもない。各実施例の範囲及び精神を逸脱しない範囲内の、多種多様な補正、変更が可能なことは、当業者に自明である。添付された特許請求範囲または同等物の範囲内で、設計需要や他の要素による、各種補正、組み合わせ、サブ組み合わせ、変更が可能なことは、当業者に理解できる。

米国特許出願公開ＵＳ２０１１２２８１００Ａ１号明細書 米国特許ＵＳ７９７４４４２Ｂ２号明細書

Claims (10)

1. 第１視差図における１つまたは複数の第１検知対象を検知するとともに、各第１検知対象の位置を取得するステップと、
   各第１検知対象の位置を、第１視差図における第１所定基準点の座標による各第１検知相対位置に変換する第１変換ステップと、
   各第１検知相対位置と各第１検知対象の所定移動方向と所定移動速度により、第２視差図における各第１検知対象に対応する各第１推定対象の推定位置を推定するステップと、
   第２視差図における１つまたは複数の第２検知対象を検知するとともに、各第２検知対象の位置を取得するステップと、
   各第２検知対象の位置を、第２視差図における第２所定基準点の座標による各第２検知相対位置に変換するステップと、
   各第１推定対象の推定位置と、前記各第２検知対象の第２検知相対位置により、各第１推定対象に対応する各第１検知対象の各第２検知対象との追跡マッチング関係を決定するステップを有する対象追跡方法。
2. 前記第１所定基準点の座標が、第１視差図における道路の消失点の横座標と縦座標のうちの少なくともいずれかを有し、かつ前記第２所定基準点の座標が、第２視差図における同一道路の消失点の横座標と縦座標のうちの少なくともいずれかを有する、請求項１に記載の対象追跡方法。
3. 前記第１検知ステップにおいて、各第１推定対象のサイズとなる各第１検知対象のサイズを取得し、前記第２検知ステップにおいて、各第２検知対象のサイズを取得し、
   前記決定ステップにおいて、各第１推定対象の推定位置とサイズ、及び各第２検知対象の第２検知相対位置とサイズにより、各第１検知対象の各第２検知対象との追跡マッチング関係を決定する請求項１に記載の対象追跡方法。
4. 前記決定ステップにおいて、
   各第１推定対象の推定位置とサイズ及び各第２検知対象の第２検知相対位置とサイズにより、各第１推定対象の各第２検知対象との水平面における重畳面積を算出し、
   １つの第１推定対象の１つの第２検知対象との前記水平面における重畳面積が最大になると、該第１推定対象に対応する第１検知対象と前記１つの第２検知対象とがマッチングするものと判定するステップを含む請求項１に記載の対象追跡方法。
5. 前記決定ステップにおいて、
   １つの第１推定対象の２つ以上の第２検知対象との前記水平面における重畳面積がいずれも最大になると、該第１推定対象の２つ以上の第２検知対象との深度面における重畳面積を算出し、
   該第１推定対象の前記２つ以上の第２検知対象のいずれかとの深度面における重畳面積が最大になると、該第１推定対象に対応する第１検知対象と前記２つ以上の第２検知対象のいずれかがマッチングするものと判定するステップを含む請求項４に記載の対象追跡方法。
6. 前記決定ステップにおいて、
   マッチングしていない前記各第１推定対象の推定位置と、マッチングしていない各第２検知対象の第２検知相対位置間の最小距離を算出し、
   該算出した最小距離が所定閾値未満になると、該第１推定対象に対応する第１検知対象と、最小距離を有する第２検知対象とがマッチングするものと判定する請求項１または５に記載の対象追跡方法。
7. 前記所定閾値は、前記第１推定対象に対応する第１検知対象の最大移動速度によって決められる請求項６に記載の対象追跡方法。
8. 前記決定ステップにおいて、
   １つの第１検知対象が第２検知対象のいずれかともマッチングしていない場合、該第１検知対象は第２視差図から消失したものと判定し、
   １つの第２検知対象が第１検知対象のいずれかともマッチングしていない場合、該第２検知対象は第２視差図における新規対象と判定する請求項６に記載の対象追跡方法。
9. 各第１検知対象の各第２検知対象との追跡マッチング関係の決定後、各第１検知対象の第１相対検知位置と、マッチングする各第２検知対象の第２相対検知位置により、各第１検知対象の所定移動方向と所定移動速度を補正し、マッチングする各第２検知対象の所定移動方向と所定移動速度とする請求項１に記載の対象追跡方法。
10. 第１視差図における１つまたは複数の第１検知対象を検知するとともに、各第１検知対象の位置を取得する第１検知装置と、
    各第１検知対象の位置を、第１視差図における第１所定基準点の座標による各第１検知相対位置に変換する第１変換装置と、
    各第１検知相対位置と各第１検知対象の所定移動方向と所定移動速度により、第２視差図における各第１検知対象に対応する各第１推定対象の推定位置を推定する推定装置と、
    第２視差図における１つまたは複数の第２検知対象を検知するとともに、各第２検知対象の位置を取得する第２検知装置と、
    各第２検知対象の位置を、第２視差図における第２所定基準点の座標による各第２検知相対位置に変換する第２変換装置と、
    各第１推定対象の推定位置と前記各第２検知対象の第２検知相対位置により、各第１推定対象に対応する各第１検知対象と各第２検知対象との追跡マッチング関係を決定する決定装置と、を備える対象追跡システム。

Images