JP5468108B2 - ドライバ支援システムのための、道路地形を検出する方法及びシステム - Google Patents

Description

本発明は、ドライバ支援システムのための、道路地形を検出する方法及び道路地形を検出するシステムに関する。このようなドライバ支援システムは、自動車、バイク、スクータ、その他の路上走行自動車の一部を構成することができる。

本発明は、コンピュータビジョンと機械学習とに基づくドライバ支援システムの分野に関連する。本発明は、特に、自動車、モーターバイク、その他の陸上走行自動車の一部を構成することのできる、センサを用いて動作するコンピュータモジュールにより実施することができる。本発明は、例えば、拘束条件のない市街地走行において遭遇するような、現実的な実世界環境に適用することができる。

最近の乗り物では、人間であるドライバは、しばしば“能動的安全装置（active safety systems）”による支援を受ける。このような能動的安全装置（以下では、「ドライバ支援システム」ともいう）は、例えば特許文献１に記載されているような車線維持支援システム（lane keeping assistance system）として使用されるものであり、車両の環境を物理的に検出して、ドライバ支援機能を実行するのに必要な情報を抽出する。この検出信号の処理に基づいて、ドライバ支援システムは、視覚的あるいは音響的表示手段に供給することのできる信号を出力する。また、この信号は、何らかの作動装置（操舵輪（ハンドル）、ブレーキ、安全ベルトのプリテンショニング、エアバッグ）に供給され、当該作動装置は、その動作により車両の状態を変化させる。

車両環境に関する情報のうち、ドライバ支援システムに深く関連する第１のタイプの情報は、「道路地形」である。本発明の文脈における道路地形は、車両が走行する又は走行する可能性のある道路の表面を表すものとして把握される。すなわち道路地形は、ドライバ支援タスクの遂行のために重要な、環境の一部である。広義には、歩道や交通島（traffic island）も道路地形に含まれる。

ドライバ支援システムにとり重要な車両環境に関連する第２のタイプの情報は、周囲に存在する物体（周囲物体、surrounding objects）である。通常の道路走行において遭遇する周囲物体は、その上を通り過ぎていくことができない程度に高く隆起して（elevate）いることが多い。そのような隆起物体（elevated objects）として、例えば他の車両や、乗用車や、建造物があり、これらは、本発明においては「非道路地形」として把握される。

上述したタイプの情報により特定の道路地形を識別するため、一般的には種々のセンサ、例えばカメラ画像や距離情報やGPS／地図情報を出力するセンサを用いることができる。

〔従来技術〕
既存のドライバ支援システムは、主に高速道路で動作し、レーンマークに基づいて、自車走行レーン（ego-lane）、すなわち自車両が現在走行しているレーンを特定する（例えば、特許文献２、３、４）。

高速道路上の建設現場における高度な支援動作では、ステレオカメラやレーダにより隆起物体（例えば、料金所、信号板）を捉えて、走行可能な空き空間を特定することができる（特許文献５）。

さらに最近では、例えば縁石などの、より背の低い隆起物も考慮される（特許文献６）。しかしながら、そのような検出方法では、距離センサを必要とし、例えば短い距離範囲内に存在するはっきり目に見える縁石、といったように極めて特殊な設定の範囲に限られる。

レーンマークや隆起物のような境界構造のほか、路側（ろそく）にある物体も走行空間を区切るのに用いることができる。路側物体の利用は、特に市街地において有用である（特許文献７）。

遠方にある道路形状を推定する場合、静止物体を利用することも提案されている（特許文献８）。

しかしながら、レーンマークや縁石は検出が困難な場合があることから、そのようなレーンや道路の境界要素のみに基づいて行う検出は、誤りを生じやすい。このため、いくつかのアプローチでは、検出が困難な境界物をも捕捉できるように、多段階の判断処理を組み込むことによりこの問題の解消を図っている（特許文献９）。

さらに、カメラや、レーダや地図情報などの、異なるセンサから得られたレーンや道路の情報を統合すれば、検知特性は相補的であることから、検知結果の信頼度が向上する（特許文献１０）。

このような境界要素（delimiting elements）を用いる上述の最先端アプローチはすべて、道路やレーンについてのいくつかのパラメータ表現（parameterized description）、例えば、前方にある明確な道路部分の曲率、幅、あるいは長さを抽出することを狙いとしている。これを目的として、（例えば特許文献１１では）道路モデルを用い、パラメータ表現を抽出して、走行可能空間の現在の形状に適合するように当該パラメータ表現を処理する。

上述した境界要素のほか、縁石やレーンマークなどの視覚的あるいは物理的な道路表面の構成物も、道路地形についての更なる情報を提供することができる。

たとえば、地面からの隆起を３Ｄデータにより取得し、これを用いて、その環境の平坦性と高さとを考慮して、道路表面を分類することができる（特許文献１２）。

模様がないというアスファルト道路の特性のように、視覚的な側面を用いて走行可能エリアを推定することもできる（例えば、特許文献１０、または、非特許文献１）。得られた表面情報は、パラメータ化された道路表現（parameterized road description）に変換され、モデルベースの道路検出手法において使用される（例えば、特許文献１１）。

パラメータ化された道路表現の代わりに、道路表面に関する情報を、空間表現として直接的に使用することもできる。このようにして、たとえば車両前方の自由空間を表現することができる（特許文献１３）

パラメータ化された道路表現は、主に、例えば車線維持支援に有用であるが、空間表現を用いれば、さらに進んだ機能を実現することができる。例えば、隣のレーンを走行する車両が自車両の走行レーンのレーンマークを遮っているときでも、前方の走行帯の幅を予測することができる（特許文献１３）。この例の場合、境界要素の検出のみに依存する最新のアプローチを用いたのでは不十分である。

本発明の目的は、既存のドライバ支援システムを向上させる道路地形情報を検出するための、方法及びシステムを提供することである。

一つには、上述した既存のドライバ支援システムは、レーンマークのような極めて特殊なシーン要素（scene elements）に基づいて、自車両の走行レーンを特定する。道路形状は、一定以下の曲率を持つ単純な形状モデルに従うものと仮定する。複数のシーン要素の検出は、ほぼ独立に実行される。すなわち、検出処理においては、複数の環境物の極めて特殊な空間的関連性のみが考慮される。たとえば、２つのレーンマークは、約３．５ｍの水平距離を持っていなければならない。

したがって、本発明の目的の一つは、環境物の空間的配列についてのより進んだ抽出手法を用いて、種々の道路地形カテゴリを検出することのできる道路地形検出システムを実現することである。

これらの欠点を解決するため、本発明は以下を提案する：

・価値連続な（value-continuous）空間表現における車両環境の局所的特徴物（properties）を把握すること。当該局所的特徴物には、以下が含まれる。
・隆起物のような物理的特徴物
・色や模様などの視覚的特徴物

・空間的配列を考慮に入れて、環境内の位置を分類すること。例えば、或る位置を、その周囲に存在する物理的及び視覚的な特徴物に対する相対的な距離及び又は方向により分類する。

本発明の他の目的は、従来のドライバ支援を行うシステムや方法では用いられていない以下のような側面を扱うことにより、上述した従来のドライバ支援システムを改善することである。
・例えば市街地において遭遇する任意の道路形状やレーン形状
・例えば以下のような、道路様領域（road-like area）を区分する任意の道路境界やレーン境界
・レーンマーク
・品質の悪いレーンマーク
・（レーンマークの無い場所の）縁石
・芝生、ぐり石などの、立入禁止地形（off-limits terrain）への遷移部
・駐車中の車両、建造物などの、非道路地形への遷移部

上記従来技術の他の欠点は、センサデータに関する判断処理を用いて境界要素及び又は道路表面における特徴物の存在を直接的に推測することである。

本発明は、改善点として、困難な判断を行うことなく、価値連続な空間表現における道路表面の特徴物と境界要素の両者を表現する道路地形検出システムを提案する。そのような価値連続な表現上において、空間的環境の特徴物（properties）を包含した空間的特徴（spatial features。以下、「空間特徴」ともいう）を算出する。この２段階の特徴抽出処理を行った後にのみ、上記空間特徴に基づいて上記空間的環境の特徴物とそれらの空間的配置を反映する道路地形を決定することができる。

分類を実行する前に特徴物抽出と空間特徴生成という統合化された２段階処理を用いる手法は、情報の損失を低減することができ、既存の従来技術よりも優れている。本発明の２段階アプローチでは、すべての物理的及び又は視覚的特徴物が、より表現力の豊かな価値連続なフォーマットで表現され、これにより最終的な決定処理では信頼度の高い検出結果が出力されることとなる。これに対し、従来技術においては、決定は特徴物にのみ基づいて行われ（すなわち、空間的配列とは独立に行われ）、当該決定が他の処理ステップにおいて分析される。すなわち、情報は最初の処理ステップの後に失われる。これに対し本発明では、情報は価値連続なフォーマットの中に保存され、空間特徴生成を行う第２のステップの後の決定処理においても使用することができる。

特徴物の空間的配置は、分類処理において有用となる。この分類処理では、特定の空間位置における複数の特徴物の明確な構造的関連性を扱う。

たとえば、大きさの変化しない特徴等を用いて（特許文献１４）、上記のような構造的関連性を捕捉することについての多くの研究が行われている分野として、画像における物体検出の分野がある。人間に独特な身体部位（腕、脚、あるいは頭）を形造る、エッジ方位の空間的配置を使用すれば、空間的配置を用いずにエッジ方位を用いる場合に比べて、人間をより良好に検出することが可能となる（特許文献１５）。

同様に、道路地形の或る要素（例えば、レーンマークやアスファルト領域）は空間的構造を構成する。このため、本発明は、道路地形のカテゴリを検出する際に、道路地形の視覚的及び物理的特徴物の空間的配置を捕捉することを提案する。

特許文献１５では、グリッドを定義し、隣接するグリッド位置の特徴物を解析して空間的配置を把握する。隣接するグリッド位置を分析するだけでなく、或る種の光線に沿って更に離れた位置も解析することができる。

非特許文献２では、プロトタイプ形状と合致する生物細胞を検出するため、２値画像において、物体を中心とする光線特徴検出を適用している。

この点に関し従来技術を改善するため、本発明のシステムは、空間特徴抽出のため、価値連続な空間表現における光線抽出を行うことを提案する。また、特徴抽出の手法を修正している。すなわち、上述した非特許文献２では、物体形状検出に用いる特徴検出は、生物細胞内の或る位置から開始して、単に、物体の中心に存在する特徴物を捕捉する。一方、本発明において提案する道路地形分類においては、全体的な空間的配置を捕捉する。すなわち、光線を局所環境に制限しない。

上述した最新システムの更なる欠点は、道路検出のためのパラメータが、通常、ハンドコードされる点にある。ハンドコーディングは時間がかかり、かつ、誤りを発生しやすい作業である。また、広範な多様性をハンドコードすることは困難であり、ハンドコーディングは、より複雑なシナリオを扱う場合の妨げとなる。上述した既存の最新アプローチ（例えば、特許文献７）では、手作業で設計された道路モデルが、依然として使用されている。

このため、本発明の他の目的は、機械学習の概念を用いるシステムにおいて、分類器モジュール（classifier module）の個々のパラメータを自動取得することである。機械学習の場合、このようなパラメータの自動決定は、「訓練」と称される。空間的特徴（spatial feature）に基づく、道路の空間的特徴物（spatial road properties）の機械学習は、今まで行われたことがなく、以下のような利点を有している。

・システムは、より複雑な分類決定を学習することができるようになる。これにより、当該システムは、例えば市街地での車両との遭遇などの、多くの複雑な場面を扱うことができるようになる。

・ローカルな特徴物だけでなくグローバルな空間的配置にも基づいて決定を行うことにより、エラー補償の能力が大幅に改善される。例えば、道路に窪み（pot hole）がある場合、局所的な特徴物に基づく処理では、その道路領域は走行不可能な部分として誤った決定が行われることとなる。本システムは、道路の全体的な配置を把握する能力を持ち、したがって、非道路特徴物が存在する孤立した小領域を補正することができる。これにより、本システムは、道路上に矩形の修繕跡（repaired road patch）や側溝用カバー（gully cover）などの不均質性を持つ道路地形を扱うことができる。

特に、本発明は、ドライバ支援システムに用いる道路地形検出の方法に関するものであり、当該道路地形検出方法は、少なくとも一つのセンサを用いて車両の環境を検知するステップと、前記少なくとも一つのセンサからのセンサ信号を、少なくとも一つの基本分類器を用いて、環境内の局所的な特徴物についての少なくとも一つの信頼度マップ（confidence map）に変換するステップと、前記少なくとも一つの信頼度マップに基づいて、前記局所的な特徴物についての空間特徴を生成するステップと、前記生成した空間特徴に基づいて、前記車両環境における位置を、道路地形の或るカテゴリに分類するステップと、を有している。

上述したように、分類処理の実行前に行うこのような特徴物抽出と空間特徴生成の２段階処理は、情報の損失を低減することができることから、既存の従来技術に対して利点を有している。

望ましくは、前記少なくとも一つのセンサは、一つ又は複数のカメラ、レーダ、レーザスキャナ、若しくはＧＰＳ航行システムである。異なる複数のセンサからの異なる複数のセンサ信号を融合することにより、検出結果の信頼度を向上することができる。

望ましくは、分類された環境内の位置に基づいて、視覚的又は音響的信号を生成し、若しくは、操舵輪（ハンドル）、アクセル、又はブレーキなどの、車両のエフェクタを動作させる。これにより、改良されたドライバ支援システムを実現することができる。

望ましくは、「道路様領域」、「自車走行レーン」、「非自車走行レーン」、「非走行可能道路」、「歩道」、「交通島」、又は「立入禁止地形」などの特定の道路地形が、多角形（ポリゴン）等の訓練用領域として与えられるポジティブサンプル（正しいサンプル）（positive sample）とネガティブサンプル（誤りサンプル）（negative sample）により自動的にパラメータ化される。

望ましくは、本方法は、すべてのセンサ信号について知覚処理を行って環境についての共通表現を取得するステップを有し、当該知覚処理は、望ましくは、距離画像表現（metric image representation）を得るための、カメラ画像の逆透視マッピング（inverse perspective mapping）である。上記処理により、検出の効率と信頼度が向上する。

望ましくは、車両環境内の特定の位置についての空間特徴を生成するステップは、光線を抽出するステップであって、当該光線は環境内の当該位置から始まる或る角度方向を持つ有向線分として定義されるステップと、前記光線に沿って信頼度値を分析して空間特徴を抽出するステップと、を有する。この特殊な生成処理は、非常に効率的に空間特徴を算出する。

望ましくは、前記光線に沿う信頼度値の分析は、前記光線に沿って信頼度値を積分するステップと、その積分値が、或る数値で表わされた吸収しきい値を超える位置において、前記光線の長さを抽出するステップと、により実行される。

望ましくは、環境内の特定位置に関し、少なくとも一つの光線と少なくとも一つの吸収しきい値を用いて、信頼度マップにより与えられた局所的な特徴物に対する相対位置を符号化する特徴ベクトルを生成する。

望ましくは、本方法は、道路様領域から縁石等の道路境界を区別する視覚的特徴を見出すための、視覚的境界を分類する基本分類器を備え、本方法は、ポリゴン状の訓練用領域で与えられる、前記道路境界についてのポジティブ訓練セット（正解を示す訓練セット）と、ポリゴン状の訓練用領域で与えられる、レーンマークを除いた道路様領域についてのネガティブ訓練セット（誤りを示す訓練セット）とを用いて、色、模様、外観、流れ、深さなどの特徴を生成するステップを含む。

望ましくは、本方法は、道路分類のための基本分類器（base classifier）を備え、当該基本分類器は、道路様領域に対応する環境内の位置が高い信頼度値を持つ信頼度マップを生成する。

望ましくは、本方法は、レーンマーク検出用の基本分類器を備え、当該基本分類器は、レーンマークに対応する前記環境内の位置が高い信頼度値を持つ信頼度マップを生成する。

本発明は、さらに、ドライバ支援システムのための道路地形検出システムであって、当該道路地形検出システムは、上述したいずれかの実施形態に係る方法を実行するように構成されている。

本発明は、さらに、ドライバ支援システムのための道路地形検出システムであって、当該道路地形検出システムは、少なくとも一つのセンサを用いて車両の環境を検知し、少なくとも一つのセンサからの少なくとも一つのセンサ信号を、少なくとも一つの基本分類器を用いて、前記環境内の局所的な特徴物についての信頼度マップに変換し、前記少なくとも一つの信頼度マップに基づいて局所的な特徴物についての空間特徴を生成し、前記生成した空間特徴に基づいて、前記車両の環境内の各位置を、道路地形の或るカテゴリに分類するよう構成されている。

望ましくは、本道路地形検出システムは、内部的には、異なる視覚的特徴物を与える種々の気候条件と、異なる物理的及び視覚的特徴物を与える種々の道路種別とを扱うための、異なる複数のサブシステムを有し、複数の道路地形分類出力の中から一つの出力をシステム出力として選択する。

以下に、本発明の重要な項目を要約する。

・低階層に基本分類器と空間特徴生成とを備える階層的な２段階アプローチと、最終的な道路地形分類。
・空間情報を取得するための空間特徴生成の基礎としての、環境内における種々の局所的特徴物の使用。
・例えば或る角度方向及び距離にある特徴物などの、よりグローバルな環境内の特定の空間情報の取得を可能とする光線特徴検出の使用。
・実世界での広範な走行環境の把握を可能とする、自動パラメータ決定と機械学習原理の適用。

自動車におけるドライバ支援に用いられる、本発明の一実施形態の構成を示すブロック図である。 道路地形の階層構成と依存関係を示す分類ツリーである。 本発明の主要な処理モジュールを概略的に示したブロック図である。 モジュール構成を用いた本発明の一実施形態における、処理の一例を示すブロック図である。 本発明の一部である、道路地形分類の訓練についてのアプリケーションフローの一例を示すブロック図である。 本発明の一部である、基本分類器の構成を示すアプリケーションフローの一例を示すブロック図である。 道路様領域検出の場面を表わす３つの道路シーンの一例を、その上面図により示す図である。 自車走行レーン検出の場面を表わす３つの道路シーンの一例を、その上面図で示す図である。 空間特徴生成のアプリケーションフローの一例を示すブロック図である。 中央部にレーンマークを有する２車線道路と、その左右両側部の縁石とを反映した信頼度マップの一例からの空間特徴生成の手順を示す図である。 図１０に示す第３の光線についての積分を模式的に示した図である。 一つの光線と一つのしきい値が与えられた場合の、空間特徴生成のための抽出アルゴリズムの一例を示すフロー図である。 本発明において基本分類器として用いられる視覚的境界分類器を訓練するための、アプリケーションフローの一例を示すブロック図である。 ポリゴンで示された画像アノテーションの一例を示す図である。

以下、図面を参照して、本発明をより詳細に説明する。

本発明に係る道路地形検出を行う方法は、ドライバ支援のための能動的安全システムにおけるコンテキスト情報（文脈情報）や、自動走行のためのモータコマンド生成に用いる制御情報を出力するのに用いることができる。

図２は、道路地形（Ｔ０）についての、道路様領域（road-like area）（Ｔ１１）、歩道（Ｔ１２）、交通島（Ｔ１３）、及び、立入禁止地形（Ｔ１４）への分類を示す図である。道路様領域は、走行可能道路（Ｔ２１）と非走行可能道路（Ｔ２２）とで構成され、走行可能道路は、自車走行レーン（Ｔ３１、自車両が走行しているレーン）と非自車走行レーン（Ｔ３２、自車両は走行していないが他の車両が走行しているかも知れないレーン）に細分される。非道路地形（ＮＴ）は、車両が道路場面（road scenario）において遭遇し、かつ、おそらくはその上を通過できない、より大きく隆起した物体を表わしている。そのような物体として、例えば他の車両や建物がある。図２の下部に示された画像例は、図２の上部に示す分類ツリーの葉に相当する道路地形を、非道路地形と共にその上面図により示した図である。

道路地形の分類処理は、特定の位置に着目して行われる（location centric）。この着目位置は、「ベースポイント」と称され、車両環境における特定の位置（例えば、計測グリッド上の位置）である。第１のステップでは、基本分類器を用いて、少なくとも一つのセンサからの知覚入力情報を、環境の局所的特徴物を包含する価値連続な空間表現に変換する。上記少なくとも一つのセンサは、カメラ、レーダ、ＧＰＳシステム等とすることができる。価値連続な信頼度値により表わされる局所的特徴物は、物理的特徴物（例えば、隆起）あるいは視覚的特徴物（例えば、色、模様）とすることができる。

より上位の処理階層では、それぞれのベースポイントに関して空間特徴生成が実行される。この空間特徴は、価値連続な空間表現における、車両環境内の各位置の、ベースポイントに対する相対的な位置及び又は方向に関するものである。

道路地形分類はすべてのベースポイントについて適用され、これにより空間領域を構成する道路地形要素が推定され、例えば車両前方の道路様領域が検出される。

本発明に係る道路地形検出システムのアプリケーションフローは、上述した３つのシステム部分である基本分類部（Ｍ１１）、空間特徴生成部（Ｍ１２）、及び道路地形分類部（Ｍ１３）を表している（図３に示すブロック図の左側部分を参照）。

本検出システムは、少なくとも一つのセンサから少なくとも一つのセンサ入力を得ると、少なくとも一つの基本分類処理を実行する。図３の右側部分は、本道路地形検出システムをより詳細に示している。望ましくは、一つ又は複数のセンサ入力を処理し（Ｍ１１−１）、複数の異なるセンサに対し共通的な空間表現を生成する。基本分類器（Ｍ１１−２）の数Ｎは、Ｋ個のセンサ入力の数以上でなければならない。各基本分類器の出力に対し、空間配置計算（Ｍ１２−１）が適用される。Ｎ個の異なる基本分類器上で算出された個々の特徴はすべて統合されて（Ｍ１２−２）、道路地形分類処理（左部分のＭ１３）を実行する前に、各ベースポイントについての空間特徴ベクトル（Ｉ１３）が取得される。

基本分類器（例えば、図６のＭ１１−２．１参照）は、与えられた信号セットの各メンバを、そのメンバが何らかの特徴物を含むものか否かという基準に基づいて、２つのグループに分類する。この分類器は、一つの入力サンプルが与えられると、クラスのメンバであることの信頼度（クラスメンバシップ）を表わす出力値、例えば或る連続値範囲（例えば−１〜１の範囲）内の一つの出力値を生成する。分類の標準的な方法は、例えば、ｋ近傍法（k-nearest neighbor）や混合正規分布モデル（Gaussian Mixture Model）とすることができる。基本的には、分類器は、与えられた入力と参照信号との類似性を評価して、クラスメンバシップを算出する。入力信号と参照信号との差は、何らかのオフセット尺度を用いて取得することができる。このオフセットを用いて、（例えば、そのオフセット尺度についてのしきい値を用いて）クラスメンバシップに関する直接的な推定を行うことができる（この推定は、本発明においては明確な形では行われない）。あるいは、このオフセット尺度（それ自身が連続値であるものとする）における大きさを、信頼度値として用いることができる（あるいは、簡単に信頼度値に変換することができる）。入力信号が物の大きさを表す寸法のように値のブロックを持つ場合（例えば、入力信号が画像の場合には、その画像はサンプル値のセットとして解釈することができる）、出力信号は信頼度マップとなる。

図４に示すブロック図は、モジュール（Ｍ１１）内に、Ｋ個の知覚入力とＮ個の基本分類器を有する基本分類部を示している。各基本分類器（Ｍ１１−２）は、特定の特徴物の信頼度値のマップを生成する。各位置は、処理の基礎を成す表現（例えば、透視図（perspective image）表現や距離空間表現（metric space representation））に従って表される。この信頼度マップには、対応する位置（例えば、ピクセル位置や距離空間におけるセル）が或る特徴物を持つか否かについての信頼度情報が含まれる。したがって、信頼度マップは、例えば空間表現における各位置について、当該位置に特徴物が存在する信頼度を表わしている。すべての信頼度マップを組み合わせて、価値連続な空間表現が構成される。特定の、望ましくは前処理された知覚入力（Ｍ１１−１．１）に対し、複数の基本分類器（Ｍ１１−２．１及びＭ１１−２．２）を適用することができ、この場合には、複数の信頼度マップが生成される。各信頼度マップに対し、空間配置計算（Ｍ１２−１）が適用され、この信頼度マップの特徴物の空間的側面が把握される。全ての信頼度マップについて空間特徴を算出した後、これらの特徴は一つの表現に統合される（Ｍ１２−２）。この表現（Ｉ１３）における各位置は、或る地形カテゴリについて訓練された道路地形分類器（Ｍ１３）によって使用される空間特徴ベクトルを含んでいる。

道路地形分類器を特定の地形カテゴリについて訓練するため（図５のＭ１３Ｔ参照）、空間特徴からポジティブサンプル（正しいサンプル）とネガティブサンプル（誤りのサンプル）とを抽出して、正しいデータと誤りデータとで構成される訓練用データセットを構築しなければならない。これらのサンプルの位置は、既に述べた本システムのベースポイントに対応する位置である。例えばカメラ画像の場合、サンプルの選択は、或る地形タイプに対し、ポリゴンによるアノテーション（polygonal annotation）を用いて行うことができる（例えば、自車走行レーンと非自車走行レーンの領域にアノテーションを付して行う）。そのようなアノテーションの内部にあるピクセル領域は、ベースポイントを抽出できる領域であり、かつ、訓練用データセットの構築に用いることができる領域に対応する。

図６には、（カテゴリＴ１１「道路様領域」及びそのサブカテゴリについての）道路地形検出のための知覚入力を提供する少なくとも一つのセンサとしてカメラを用いた場合の、基本分類処理の一例を示す図である。逆透視マッピング（Inverse Perspective Mapping）（例えば、非特許文献３参照）を用いて、カメラが撮影した透視画像を距離画像表現に変換することができる。局所的な特徴物を抽出する場合、３つの基本分類器が用いられる：基本境界分類器（Ｍ１１−２．１）と、基本レーンマーク分類器（Ｍ１１−２．２）と、基本道路分類器（Ｍ１１−２．３）である。

基本境界分類器（Ｍ１１−２．１）は、距離画像表現に基づいて、道路様領域と、縁石、交通島、立入禁止地形、あるいは非道路地形などの、隣接領域との間の境界を検出するように専用化されている。この基本境界分類器は、道路様領域では低い信頼度値を生成し、縁石のような境界に相当する位置では高い信頼度値を生成する。

基本レーンマーク分類器（Ｍ１１−２．２）は、例えば特許文献２に記載されているような技術を適用して、レーンマークに対応する位置で高い信頼度を持ち、道路地形（すなわち、道路様領域、歩道、交通島、立入禁止地形）において低い信頼度値を持つ信頼度マップを生成することができる。

基本道路分類器（Ｍ１１−２．３）は、道路様領域で高い信頼度値を生成し、非道路地形について低い信頼度値を生成するように、専用化されている。

この基本分類部からの価値連続な空間表現について、空間特徴生成処理（Ｍ１２）と、専用化された道路地形分類処理（Ｍ１３）とを実行すれば、どの種類の訓練用データが使用されていたかに応じて、道路様領域又は自車走行レーンを抽出することができる。

上述した本発明に基づいて「道路様領域」検出を行った場合の処理結果の一例を、図７に示す。シナリオ１は、自車走行レーンが自車両の左右側方にあるレーンマークにより分離されている場合に、当該自車両が遭遇する場面を示している。シナリオ２は、自車走行レーンが左側のレーンマークと右側の縁石により分離されている場合に、当該自車両が遭遇する場面を示している。シナリオ３は、自車走行レーンがその左側において他のレーンと分離されておらず、縁石が自車走行レーンの右側を制限している場合に、当該自車両が遭遇する場面を示している。

図７に示したシナリオにおいて、上述した本発明に基づき「自車走行レーン」検出を行った場合の処理結果の一例を、図８に示す。

空間特徴生成部（Ｍ１２）の実施形態の一例を、図９〜１２に示す。この例では、カメラ画像の距離表現（上述した非特許文献３を再度参照されたい）に対し、一つの基本分類器だけが適用されて、図１０（右部分）に示す信頼度マップが生成されるものと仮定している。例示した基本分類器は、縁石とレーンマークについて高い信頼度値を生成し、道路地形について低い信頼度値を生成する能力を有している。

図９の左部分は、特徴生成の一般的な処理ステップを示している。すなわち、基本分類器からの信頼度マップを入力とし（Ｉ１２）、距離表現における与えられた数のベースポイント（ＢＰ）について、特徴ベクトルを抽出して、それらを統合することができる。このベースポイントの分布は、この例では、図１０（左部分）に示すグリッドにより定義されている。信頼度マップに関する空間配置は、異なる複数のベースポイントにおいて、光線と称されるベクトルにより把握される。

光線は、特定のベースポイントから始まり距離表現の境界で終わる、或る角度方向を持った有向線分で表わされ、すべての信頼度値を含んでいる。この情報を、指定された数の特徴値（feature values）に変換するため、光線に沿った信頼度値の積分値を算出する。この積分値は、光線に沿った信頼度の吸収（absorption）と解釈することができる。吸収しきい値（absorption threshold）を或る数値Ｔで定義することにより、吸収距離（absorption distances）AD(t_i)、すなわち上記積分値が或るしきい値t_iに達する位置を、空間特徴として取得する。そして、各ベースポイントについて、Ｒ個の光線方向についての空間特徴を生成する。

詳細な空間特徴の計算ステップを、図９の右部分に示す。この図には、特定のベースポイントについて、複数の光線からＲ＊Ｔ個の吸収距離が得られる様子が示されている。吸収距離は、特徴物についての信頼度マップから把握される、所定のベースポイントに対する相対的な環境の空間配置を表わしていることから、道路地形分類のための空間特徴として機能する。

図１０（右部分）は、その中央部にレーンマークを持ち左右側部に縁石を持つ２車線道路についての、単純化された信頼度マップ（Ｉ１２の一例であり、黒い部分は、境界部について信頼度の高い箇所を示している）における、一つのベースポイントについての空間配置計算の一例を示している。空間特徴は、時計方向回りに番号が付された６個の光線について抽出されている。３番目の光線（３）については、さらに、２つのしきい値に対する吸収距離AD₃(t₁)とAD₃(t₂)とが示されている

図１１のグラフは、上述の信頼度マップに与えられた光線（３）に沿う積分値の略図である。しきい値t1及びt2は、ベースポイントからレーンマークまでの距離に相当する吸収距離AD₃(t₁)と、ベースポイントから左縁石部までの距離に相当する吸収距離AD₃(t₂)とを決定付けている。

図１２に示すフロー図は、一つの光線と或るしきい値t_iが与えられたときに吸収距離を算出するための、上述したアルゴリズムの実現可能な一実施例を示している。

図９〜１２に示した積分計算に基づく吸収距離の代わりに、他の技術を用いて空間特徴を算出することもできる。例えば、しきい値に基づいて距離を算出する代わりに、積分値の形などの他の特徴について、当該積分値を分析することができる。光線抽出のアイデアに従う他の例として、生の信頼度値の、光線に沿った傾きを特徴値として用いることができる。

図１３は、道路境界に関する専用の基本境界分類器を訓練するシステムの全体を示している。訓練された分類器は、図６に概要を示した道路地形検出システムの基本分類器（M１１−２．１）として機能することができる。例えばカメラセンサから開始し、まず、入力画像に対し逆透視マッピングを適用して距離画像表現を得る。この表現に基づき、特徴（例えば、色や模様）を算出し、算出した特徴を統合して特徴ベクトルを形成する。基本分類器を訓練するためのデータセットを構築するポジティブ訓練サンプルとネガティブ訓練サンプルとを抽出するため、特徴ベクトルのクラスメンバシップについての情報が必要となる。例えば、この情報は、入力画像に対するポリゴン領域のアノテーションにより、道路境界をポジティブな（正しい）クラスとして、道路様領域をネガティブな（誤りの）クラスとして示すことにより、与えることができる（図１４）。

本システムでは、訓練用データからレーンマークを含む訓練用サンプルを排除するため、レーンマーク検出を行う。この訓練アーキテクチャにより、標準的な技術を用いた場合には検出されてしまう訓練セット内のレーンマークを基本分類器の処理対象から除外し、当該基本分類器の処理を縁石などの重要な境界部分に集中させることができる。訓練により、基本分類器は、道路境界、すなわち、道路様領域から歩道、交通島、立入禁止地形又は非道路地形への遷移部分の存在を示す外観を持つ位置については、高い信頼度値を出力するようになる。本発明のユーザにとり、基本分類器が道路様領域について低い信頼度値を生成することが重要である。このようにして、上述した訓練により、最新の訓練手法に比べてより快適に動作する基本境界分類器を実現することができる。これにより、道路地形検出システム全体としての、道路地形検出の動作品質を向上させることができる。

図１４は、ポリゴンによる画像アノテーションの一例を示す図である。白い枠で囲まれたポリゴンが、道路境界を含む領域の輪郭を示し、黒い枠で囲まれたポリゴンが道路様領域を含む領域の輪郭を示している。

〔本発明の適用分野〕
本発明は、次のようなドライバ支援システム及び自動運転用途に用いることを意図したものである。
・任意の（マークのない）道路における車線維持支援。
・横方向支援及び縦方向支援を目的とする先行車両までの距離推定と、車線維持支援とを組み合わせた交通渋滞支援。
・前方道路が塞がっている場合、すなわち、前方道路に他の車両や何等かの物体が存在する場合の、緊急ブレーキ操作。
・抽出された自車走行レーンに基づいて複数の候補車両から前方車両を特定して行う、改良された自動走行制御（ＡＣＣ）。
・上述の道路地形検出との連携により、検出された歩行者（あるいは他の物体）の関連性を判定して警報を発する、改良された衝突警報システム。
・検出された道路地形の知識に基づいて物体検出処理を修正する、ドライバ支援システム用の改良された物体検出。

米国特許第６２１２４５３（Ｂ１）号明細書 米国特許出願公開第２００７／０１９８１４６（Ａ１）号明細書 特開２００７−００４６６９（Ａ）号公報 米国特許出願公開第２０１１／０４４５０３（Ａ１）号明細書 米国特許出願公開第２０１１／１８７８６３（Ａ１）号明細書 米国特許出願公開第２０１１／００６３０９７（Ａ１）号明細書 米国特許出願公開第２０１０／０２９５６６８（Ａ１）号明細書 国際公開第２０１０／０３２５３２号 特開２００８−２６２３３３（Ａ）号公報 米国特許出願公開第２００９／２９５９１７（Ａ１）号明細書 米国特許第７１５１９９６（Ｂ２）号明細書 国際公開第２０１０／０８３９７１（Ａ１）号 欧州特許出願公開第２３３９３７５（Ａ２）号明細書 米国特許第６７１１２９３（Ｂ１）号明細書 欧州特許出願公開第２３４８４８５（Ａ１）号明細書

T. Kuehnl, F. Kummert, J. Fritsch, "Monocular Road Segmentation using Slow Feature Analysis", in Proc. IEEE Intelligent Vehicles Symp., 2011 K. Smith, A. Carleton, and V. Lepetit "Fast Ray Features for Learning Irregular Shapes", ICCV, 2009 H. Mallot, H. Bulthoff, J. Little, "Inverse perspective mapping simplifies optical flow computation and obstacle detection", Biological cybernetics, 1991

Claims (15)

1. ドライバ支援システムのための道路地形を検出する方法であって、
   少なくとも一つのセンサにより車両の環境を検知するステップと、
   少なくとも一つの基本分類器により、前記少なくとも一つのセンサからのセンサ信号を、前記環境の局所的な特徴物についての少なくとも一つの信頼度マップに変換するステップであって、前記信頼度マップは、前記センサにより検知された前記車両の環境の各位置と当該各位置に前記局所的な特徴物が存在する確からしさを示す信頼度値とを関連付けたものであるステップと、
   前記少なくとも一つの信頼度マップに基づいて、前記信頼度値が所定の値を超える位置を特定して、前記局所的な特徴物についての空間特徴を生成するステップと、
   前記生成された空間特徴に基づいて、前記車両の環境における位置を、道路地形の或るカテゴリに分類するステップと、
   を備え、
   前記生成するステップは、
   前記環境における各位置から始まる、或る角度方向を持った有向線分として定義される光線を抽出するステップと、
   前記光線に沿って前記信頼度値を分析して空間特徴を抽出するステップと、
   を有する、
   方法。
2. 請求項１に記載された方法において、
   前記少なくとも一つのセンサは、一つ又は複数の、カメラ、レーダ、又はレーザスキャナである、方法。
3. 請求項１又は２に記載された方法において、
   前記環境内の分類された位置に基づいて、視覚的又は音響的信号を生成するか、又は、前記車両の動きに影響を与えるエフェクタを動作させる、方法。
4. 請求項１ないし３のいずれかに記載された方法において、
   前記道路地形の前記カテゴリは、「道路様領域」、「走行可能道路」、「自車走行レーン」、「非自車走行レーン」、「歩道」、「交通島」、又は「立入禁止地形」を含むものであり、
   前記道路地形の前記カテゴリは、前記センサにより検知された前記環境内の訓練領域について与えられた、当該道路地形のカテゴリについての肯定サンプルと否定サンプルとにより、自動的にパラメータ化される、方法。
5. 請求項１ないし４のいずれかに記載された方法において、
   前記検知するステップは、すべてのセンサ信号を処理して、前記環境の共通表現を取得する知覚処理ステップを有し、
   前記知覚処理ステップでは、距離画像表現を得るための、カメラ画像の逆透視マッピングが行われる、
   方法。
6. 請求項１に記載された方法において、
   前記光線に沿った信頼度値の分析は、
   前記光線に沿って前記信頼度値を積分し、
   その積分値が或る数値で表わされた或る吸収しきい値を超える位置において、前記光線の長さを抽出することにより行われる、
   方法。
7. 請求項６に記載された方法において、
   前記環境内の特定の位置に関し、少なくとも一つの光線と少なくとも一つの吸収しきい値を用いて、信頼度マップにより与えられる局所的な特徴物までの相対的な位置をコード化する特徴ベクトルを生成する、
   方法。
8. 請求項１ないし７のいずれかに記載された方法において、
   前記基本分類器は、道路境界を道路様領域から区別する視覚的特徴を見出すための視覚的境界を分類する基本分類器を含み、
   前記視覚的境界を分類する基本分類器は、
   当該環境内の訓練領域についての当該道路境界を表す肯定サンプルと前記道路様領域を示す否定サンプルとが与えられることにより訓練される、
   方法。
9. 請求項１ないし８のいずれかに記載された方法において、
   道路分類のための基本分類器を備え、
   当該基本分類器は、道路様領域に対応する前記環境内の位置が高い信頼度値を有する信頼度マップを生成する、
   方法。
10. 請求項１ないし９のいずれかに記載された方法において、
    レーンマーク検出のための基本分類器を備え、
    当該基本分類器は、レーンマークに対応する前記環境内の位置が高い信頼度値を有する信頼度マップを生成する、
    方法。
11. 陸上輸送機関に搭載されたコンピュータで実行されることにより、請求項１ないし１０のいずれかに記載の方法を実施する、コンピュータプログラム。
12. 請求項１ないし１０のいずれかに記載の方法を実行するように構成されている、ドライバ支援システム用の道路地形検出システム。
13. ドライバ支援システム用の道路地形検出システムであって、
    少なくとも一つのセンサを用いて車両の環境を検知し、
    少なくとも一つのセンサからの少なくとも一つのセンサ信号を、少なくとも一つの基本分類器を用いて前記環境内の局所的な特徴物についての信頼度マップに変換し、
    前記少なくとも一つの信頼度マップに基づいて局所的な特徴物についての空間特徴を生成し、
    前記生成した空間特徴に基づいて、前記車両の環境内の位置を、道路地形の或るカテゴリに分類するよう構成されており、
    前記信頼度マップは、前記センサにより検知された前記車両の環境の各位置と当該各位置に前記局所的な特徴物が存在する確からしさを示す信頼度値とを関連付けたものであり、
    前記空間特徴の前記生成は、前記少なくとも一つの信頼度マップに基づいて、前記信頼度値が所定の値を超える位置を特定することにより行われ、
    前記空間特徴の前記生成は、前記環境における各位置から始まる、或る角度方向を持った有向線分として定義される光線を抽出し、前記光線に沿って前記信頼度値を分析して空間特徴を抽出することにより行われる、
    道路地形検出システム。
14. 請求項１２又は１３に記載されたシステムにおいて、
    前記道路地形検出システムは、異なる視覚的特徴物を与える種々の気候条件と、異なる物理的及び視覚的特徴物を与える種々の道路種別とを扱うための、異なる複数のサブシステムを内部に有し、複数の道路地形分類出力の中から一つの出力をシステム出力として選択する、
    システム。
15. 請求項１２ないし１４のいずれか一項に記載されたシステムを備える、陸上輸送機関。