JP7115910B2

JP7115910B2 - 道路境界検出装置

Info

Publication number: JP7115910B2
Application number: JP2018109347A
Authority: JP
Inventors: 咲子西野; 智之大石; 修木下
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2018-06-07
Filing date: 2018-06-07
Publication date: 2022-08-09
Anticipated expiration: 2038-06-07
Also published as: JP2019212154A

Description

本発明は、道路境界を検出する道路境界検出装置に関する。

特許文献１には、縁石などの路側物を検出する路側物検出装置が開示されている。この路側物検出装置では、自車両の近傍領域における撮影対象の高さを検出し、その高さの変化から道路モデルを推定し、道路モデルを遠方まで外挿して仮想線を設定し、その仮想線を中心とした一定範囲においてエッジを探索し、探索されたエッジから路側物を検出する。この従来技術では、遠方において測距精度が低下することを考慮して、近傍領域における高さの変化を利用して路側物の境界を検出している。路側物の境界は、道路境界としても利用可能である。

特開２０１４－２６０８号公報

しかしながら、本願の発明者は、従来技術では道路境界における高さの変化が小さいとき（例えば歩道と路面がほぼ同じ高さのとき）に、道路境界を正しく検出できない場合があるという問題があることを見出した。そこで、上述した従来技術とは異なる方法で道路境界を検出する技術が望まれる。

本発明の一形態によれば、道路境界を検出する道路境界検出装置（２３０，２３０ａ，２３０ｂ，２３０ｃ）が提供される。この道路境界検出装置は、ステレオカメラ（４１２）で撮影された左右の画像を基準画像及び比較画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（２３１）と；前記距離画像内で隣接する画素の間の距離の差が予め定めた距離閾値以上となる画素から、複数の境界候補点（ＣＰ）を抽出する境界候補点抽出部（２３２）と；前記複数の境界候補点から複数の道路境界候補を推定する推定処理を実行する道路境界候補推定部（２３３）と；前記複数の道路境界候補の中から道路境界を選択する選択処理を実行する境界選択部（２３４）と；を備える。前記境界選択部は、各道路境界候補に関して、予め定められた複数の特徴量を算出する特徴量算出部（２４１）と；各特徴量と境界線尤度との予め定められた関係を用いて、前記複数の特徴量に対応する複数の境界線尤度を算出する尤度算出部（２４２）と；各道路境界候補に関して、前記複数の境界線尤度を統合して統合尤度を算出する統合尤度算出部（２４３）と；前記複数の道路境界候補の中で前記統合尤度が最も大きな道路境界候補を前記道路境界として選択する選択実行部（２４４）と；を備える。各道路境界候補に関する前記複数の特徴量は、前記基準画像の基準点から当該道路境界候補までの距離である第１特徴量と、前記基準画像内における当該道路境界候補の傾きである第２特徴量と、当該道路境界候補を構成する境界候補点の数である第３特徴量と、当該道路境界候補の線分長である第４特徴量と、を含む。前記第１特徴量と前記第２特徴量と前記第４特徴量のそれぞれに対応する境界線尤度は、当該特徴量の増大に伴って当該境界線尤度が一旦上昇した後に下降する曲線となり、前記第３特徴量に対応する境界線尤度は、前記第３特徴量が増大するほど増大する。

この道路境界検出装置によれば、複数の境界候補点から得られる複数の道路境界候補のなかで、特徴量から算出される統合尤度が最も大きなものを道路境界として選択するので、道路境界を精度良く推定できる。

第１実施形態としての自動運転制御システムの構成を示すブロック図。第１実施形態における道路境界検出部の機能ブロック図。第１実施形態における道路境界検出処理のフローチャート。ステレオカメラの画像から視差画像を生成する処理の説明図。視差画像から高さ変化画素を求める処理の説明図。高さ変化画素から境界候補点を抽出する処理の説明図。境界候補点から推定される道路境界候補を示す図。道路境界候補の特徴量の説明図。画像内の道路面を求める処理の説明図。境界候補点数と境界線尤度の関係を示すグラフ。第１実施形態における道路境界検出処理の一例を示す説明図。第２実施形態における道路境界検出部の機能ブロック図。第２実施形態における道路境界検出処理のフローチャート。第２実施形態における道路境界検出処理の一例を示す説明図。第２実施形態における道路境界検出処理の一例を示す説明図。第３実施形態における道路境界検出部の機能ブロック図。第３実施形態における道路境界検出処理のフローチャート。道路区画線上に検出された境界候補点の説明図。移動体上に検出された境界候補点の説明図。道路境界候補から消失点までの距離の説明図。第４実施形態における道路境界検出部の機能ブロック図。第４実施形態における道路境界検出処理のフローチャート。

A. 第１実施形態：
図１に示すように、第１実施形態の車両５０は、自動運転制御システム１００を備える。自動運転制御システム１００は、自動運転ＥＣＵ２００（Electronic Control Unit）と、車両制御部３００と、前方検出装置４１０と、後方検出装置４２０と、支援情報取得部５００と、を備える。なお、本明細書において、車両５０を「自車両５０」とも呼ぶ。

自動運転ＥＣＵ２００は、ＣＰＵとメモリとを含む回路である。自動運転ＥＣＵ２００は、不揮発性記憶媒体に格納されたコンピュータプログラムを実行することによって、自動運転制御部２１０と、状況認知部２２０と、の機能をそれぞれ実現する。なお、自動運転ＥＣＵ２００の機能の一部をハードウェア回路で実現するようにしてもよい。

状況認知部２２０は、前方検出装置４１０と、後方検出装置４２０と、支援情報取得部５００と、一般センサ類３４０から提供される各種の情報や検出値を利用して、自車両５０及び他車両６０の走行状況や、周囲の環境を認知する。第１実施形態において、状況認知部２２０は、ステレオカメラ４１２で撮影された２つの画像から道路境界線を検出する道路境界検出部２３０を有する。この道路境界検出部２３０は、道路境界検出装置に相当する。道路境界検出部２３０の機能については後述する。

車両制御部３００は、車両５０の運転のための各種の制御を実行する部分であり、自動運転と手動運転のいずれの場合にも利用される。車両制御部３００は、駆動部制御装置３１０と、ブレーキ制御装置３２０と、操舵角制御装置３３０と、一般センサ類３４０とを含む。駆動部制御装置３１０は、車両５０の車輪を駆動する駆動部（図示せず）を制御する機能を有する。車輪の駆動部としては、内燃機関と電動モータのうちの１つ以上の原動機を使用可能である。ブレーキ制御装置３２０は、車両５０のブレーキ制御を実行する。ブレーキ制御装置３２０は、例えば電子制御ブレーキシステム（ＥＣＢ）として構成される。操舵角制御装置３３０は、車両５０の車輪の操舵角を制御する。「操舵角」とは、車両５０の２つの前輪の平均操舵角を意味する。操舵角制御装置３３０は、例えば電動パワーステアリングシステム（ＥＰＳ）として構成される。一般センサ類３４０は、車速センサ３４２と操舵角センサ３４４とヨーレートセンサ３４６を含んでおり、車両５０の運転に必要とされる一般的なセンサ類である。一般センサ類３４０は、自動運転と手動運転のいずれの場合にも利用されるセンサを含んでいる。

前方検出装置４１０は、車載センサを使用して、自車両５０の前方に存在する物体や道路設備（車線、交差点、信号機等）等の各種の対象物に関する情報を取得する。本実施形態において、前方検出装置４１０は、ステレオカメラ４１２と、レーダー４１４とを含んでいる。ステレオカメラ４１２は、対象物の色（例えば白線の走路区画線と黄線の走路区画線）を区別するために、カラーカメラであることが好ましい。レーダー４１４としては、光を放射するＬＩＤＡＲ（Light Detection and Ranging）や、電波を放射するレーダー（例えばミリ波レーダー）など、電磁波を放射する各種のレーダーを使用可能である。後方検出装置４２０は、自車両５０の後方に存在する物体や道路設備等の各種の対象物に関する情報を取得する。後方検出装置４２０も、前方検出装置４１０と同様な車載センサを含むように構成可能である。

支援情報取得部５００は、自動運転のための各種の支援情報を取得する。支援情報取得部５００は、ＧＮＳＳ受信機５１０と、ナビゲーション装置５２０と、無線通信装置５３０とを含んでいる。ＧＮＳＳ受信機５１０は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から受信した航法信号に基づいて、自車両５０の現在位置（経度・緯度）を測位する。ナビゲーション装置５２０は、目的地とＧＮＳＳ受信機５１０で検出される自車位置とに基づいて、自動運転における予定ルートを決定する機能を有する。予定ルートの決定や修正のために、ＧＮＳＳ受信機５１０に加えて、ジャイロ等の他のセンサを利用してもよい。無線通信装置５３０は、高度道路交通システム７０（Intelligent Transport System）との無線通信によって自車両５０の状況や周囲の状況に関する状況情報を交換することが可能であり、また、他車両６０との車車間通信や、道路設備に設置された路側無線機との路車間通信を行って状況情報を交換することも可能である。支援情報取得部５００は、このような無線通信を介して得られる状況情報を利用して、自車の走行状況に関する情報の一部を取得するようにしてもよい。支援情報取得部５００によって取得された各種の支援情報は、自動運転ＥＣＵ２００に送信される。

本明細書において「自動運転」とは、ドライバ（運転者）が運転操作を行うことなく、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する運転を意味する。従って、自動運転では、駆動部の動作状態と、ブレーキ機構の動作状態と、車輪の操舵角が、自動的に決定される。「手動運転」とは、駆動部制御のための操作（アクセルペダルの踏込）と、ブレーキ制御のための操作（ブレーキベダルの踏込）と、操舵角制御のための操作（ステアリングホイールの回転）を、ドライバが実行する運転を意味する。

自動運転制御部２１０は、状況認知部２２０で認知される各種の状況を使用して、自車両５０の自動運転の制御を実行する。具体的には、自動運転制御部２１０は、駆動部（エンジンやモータ）の駆動力を示す駆動力指令値を駆動部制御装置３１０に送信し、ブレーキ機構の動作状態を示すブレーキ指令値をブレーキ制御装置３２０に送信し、車輪の操舵角を示す操舵角指令値を操舵角制御装置３３０に送信する。各制御装置３１０，３２０，３３０は、与えられた指令値に従ってそれぞれの制御対象機構の制御を実行する。なお、自動運転制御部２１０の各種の機能は、例えばディープラーニングなどの機械学習を利用した人工知能により実現可能である。

自動運転制御システム１００は、自動運転ＥＣＵ２００を含む多数の電子機器を有している。これらの複数の電子機器は、ＣＡＮ（Controller Area Network）などの車載ネットワークを介して互いに接続されている。

図２に示すように、道路境界検出部２３０は、距離画像生成部２３１と、境界候補点抽出部２３２と、道路境界候補推定部２３３と、境界選択部２３４とを含んでいる。距離画像生成部２３１は、ステレオカメラ４１２で撮影された左右の画像を基準画像及び比較画像として用いて、視差画像を生成する。視差画像は、基準画像に存在する物体までの距離を表す画像なので、「距離画像」とも呼ぶ。境界候補点抽出部２３２は、距離画像を用いて、道路境界上にあると推定される複数の境界候補点を抽出する。道路境界候補推定部２３３は、複数の境界候補点を用いて複数の道路境界候補を推定する。境界選択部２３４は、複数の道路境界候補の中から道路境界を選択する選択処理を実行する。

境界選択部２３４は、特徴量算出部２４１と、尤度算出部２４２と、統合尤度算出部２４３と、選択実行部２４４と、を有する。特徴量算出部２４１は、各道路境界候補に関して、予め定められた複数の特徴量を算出する。尤度算出部２４２は、各特徴量と境界線尤度との予め定められた関係を用いて、複数の特徴量に対応する複数の境界線尤度を算出する。統合尤度算出部２４３は、各道路境界候補に関して、複数の境界線尤度を統合して統合尤度を算出する。選択実行部２４４は、複数の道路境界候補の中で統合尤度が最も大きな道路境界候補を道路境界として選択する。

図３に示すように、道路境界検出処理では、まず、ステップＳ１１０において、道路境界検出部２３０が、ステレオカメラ４１２によって撮影された左画像と右画像を取得する。本実施形態では、右画像を基準画像として使用し、左画像を比較画像として使用する。

図４に示すように、図３のステップＳ１２０では、距離画像生成部２３１が、基準画像と比較画像から、距離画像としての視差画像を作成する。視差画像の作成処理としては、例えばＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）を類似度の指標として用いたブロックマッチング等の既知の方法を使用可能である。視差画像において、遠い物体ほど視差が小さく、近い物体ほど視差が大きい。従って、視差画像は、基準画像に存在する物体までの距離を表す画像として使用できる。なお、視差Ｄと距離Ｚとの間には次式の関係が成立する。
Ｚ＝ｋ／Ｄ …（１）
ここで、ｋはカメラの特性に応じて決まる係数である。

（１）式に従って求めた距離Ｚを画素値とした距離画像（狭義の距離画像）を視差画像の代わりに用いることも可能である。本実施形態では、視差画像を距離画像（広義の距離画像）として使用する。また、以下の説明では、「視差」と「距離」を同義語として使用する。図４から理解できるように、視差画像では、路面から段差のある部分において距離の差が現れる。

図５に示すように、図３のステップＳ１３０では、境界候補点抽出部２３２が、距離画像内を予め定めた走査方向に沿って順次走査し、走査方向に隣接する画素の間の距離の差を計算する。ステップＳ１４０では、境界候補点抽出部２３２が、距離の差が予め定めた距離閾値以上となる画素を「高さ変化画素」に設定する。なお、「高さ変化画素」という語句を使用した理由は、図５から理解できるように、隣接する画素同士の距離の差が大きい場合には、それらの画素で表される地点の高さが異なるからである。本実施形態では、走査方向を画像の横方向に設定しているが、他の走査方向（例えば画像の上下方向）に設定してもよい。但し、自車両５０が走行している道路の境界は画像内の消失線の方向を向いているので、走査方向を画像の横方向に設定した方が、高さ変化画素をより正確に検出できるという利点がある。なお、距離の差を求める際に、１つの走査方向を決めずに、各画素に隣接する複数の隣接画素との間の距離の差を求めて、そのうちの最大値をその画素に関する「距離の差」として使用してもよい。

図６に示すように、図３のステップＳ１５０では、境界候補点抽出部２３２が、高さ変化画像から複数の境界候補点ＣＰを抽出する。図６の上部の図では、高さ変化画素を黒で塗りつぶした画素として示している。この例から分かるように、画像内では複数の高さ変化画素が隣接してクラスタを構成する。そこで、境界候補点抽出部２３２は、予め定められた抽出規則に従って、各クラスタから境界候補点ＣＰを抽出する。例えば、図６の例では、各クラスタにおいて、画像内の最も下にある画素のうちで、画像の左右方向の中心に最も近い１つの画素を境界候補点ＣＰとして抽出している。但し、抽出規則としては、これ以外の他の規則を使用してもよい。例えば、各クラスタの中心に最も近い１つの画素を境界候補点ＣＰとして抽出してもよい。また、各クラスタから複数の画素を境界候補点ＣＰとして抽出してもよい。

図７に示すように、図３のステップＳ１６０では、道路境界候補推定部２３３が、複数の境界候補点ＣＰから複数の道路境界候補ＲＢＬ１～ＲＢＬ３を推定する。この推定処理としては、ハフ変換や、ＲＡＮＳＡＣ（Random Sampling Consensus）、ＬＭｅｄＳ（最小メジアン法）のような各種の推定処理を使用可能である。本実施形態では、ハフ変換を使用する。

図７の例では、基準画像ＲＭＧ内に以下の要素が符号付きで示されている。
・建物ＢＬ
・境界候補点ＣＰ
・縁石ＥＳ
・道路境界候補ＲＢＬ１～ＲＢＬ３
・道路面ＲＳ
・・自車の走行車線ＲＬ１
・・対向車線ＲＬ２
・歩道ＷＫ
・道路区画線（白線）ＷＬ
・・車両通行帯最外側線ＷＬ１
・・車道中央線ＷＬ２

一般に、道路境界は、基準画像ＲＭＧの左側と右側に存在する。図７の例では、左側の縁石ＥＳと道路面ＲＳとの境界が左側の道路境界であり、右側の縁石ＥＳと道路面ＲＳとの境界が右側の道路境界である。本実施形態では、左側の道路境界を検出する場合の処理について説明するが、右側の道路境界の検出にも同様の処理を適用可能である。左側の道路境界を検出する場合には、基準画像ＲＭＧの左半分に存在する境界候補点ＣＰを用いて道路境界の検出が実行される。

図７に示す３つの道路境界候補ＲＢＬ１～ＲＢＬ３のうち、道路境界として検出したい線は、縁石ＥＳと道路面ＲＳの境界にある道路境界候補ＲＢＬ１である。しかし、建物ＢＬの壁のように歩道ＷＫとの境界が明瞭な物体が存在する場合には、その境界に多数の境界候補点ＣＰが抽出されるので、それらの境界候補点ＣＰから推定された道路境界候補ＲＢＬ２を道路境界として誤認識してしまう可能性がある。そこで、本実施形態では、以下に詳述するように、道路境界候補ＲＢＬ１～ＲＢＬ３のそれぞれに関して複数の特徴量を算出し、各特徴量に対応する境界線尤度を算出し、それらを統合した統合した統合尤度を用いて道路境界を決定する。この結果、歩道境界等を道路境界と誤検出する可能性を低減できる。

図８に示すように、図３のステップＳ１７０では、特徴量算出部２４１が、道路境界候補ＲＢＬ１～ＲＢＬ３のそれぞれに関して、予め定められた複数の特徴量を算出する。特徴量としては、例えば以下の６つの特徴量（１）～（６）のうちの２つ以上を使用可能である。
（１）境界候補点数Ｎｃｐ
（２）道路境界候補の線分長さＬＬ
（３）道路境界候補の傾きθ
（４）画像基準点ＭＲＰからの道路境界候補の距離ＤＬ
（５）道路境界候補の道路面ＲＳからの高さの平均又は分散
（６）道路境界候補の基準画像ＲＭＧにおける輝度の平均又は分散
図８では、２番目の道路境界候補ＲＢＬ２に関して、上記の４つの特徴量（１）～（４）が示されている。

第１の特徴点である「境界候補点数Ｎｃｐ」は、道路境界候補ＲＢＬ２を構成する境界候補点ＣＰの数である。道路境界候補の推定処理にハフ変換を使用した場合には、境界候補点数Ｎｃｐは、ハフ変換において道路境界候補ＲＢＬ２の直線に投票された投票数に等しい。ハフ変換以外の直線推定処理を使用した場合には、道路境界候補ＲＢＬ２からの距離が所定の許容誤差以下である境界候補点ＣＰの数を、境界候補点数Ｎｃｐとして使用できる。なお、いずれの直線推定処理を使用した場合にも、道路境界候補ＲＢＬ２からの距離が所定の許容誤差以下である境界候補点ＣＰを、その道路境界候補ＲＢＬ２を構成する境界候補点ＣＰとして保持しておくことが好ましい。なお、ここでの「距離」という語句は、画像上における距離を意味する。

第２の特徴点である「道路境界候補ＲＢＬ２の線分長さＬＬ」は、道路境界候補ＲＢＬ２を構成する複数の境界候補点ＣＰのうち、その道路境界候補ＲＢＬ２の両端に存在する境界候補点ＣＰの間の距離を意味する。この距離も、画像上の距離である。

第３の特徴点である「道路境界候補ＲＢＬ２の傾きθ」は、基準画像ＲＭＧの下端の辺と、道路境界候補ＲＢＬ２とが成す角度である。図８には、基準画像ＲＭＧの画像座標系としてＸ軸とＹ軸が示されており、基準画像ＲＭＧの下端の辺はＸ軸に平行な直線である。

第４の特徴点である「画像基準点ＭＲＰからの道路境界候補ＲＢＬ２の距離ＤＬ」は、画像基準点ＭＲＰから道路境界候補ＲＢＬ２に下ろした垂線の長さである。図８の例では、画像基準点ＭＲＰが下辺の中央に設定されているが、画像基準点ＭＲＰは基準画像ＲＭＧ内の任意の位置に設定可能である。

第５の特徴点である「道路境界候補の道路面ＲＳからの高さの平均又は分散」は、例えば図９に示す処理を利用して道路面ＲＳを求めることによって算出できる。この処理では、まず、視差画像から視差ヒストグラム画像を生成する。ここで、図９の上部に示すように、視差画像の横軸をＵ，縦軸をＶとする。視差ヒストグラム画像は、視差値Ｄと視差画像のＶ座標値とを２つの座標軸とした画像であり、視差画像においてＶ座標値毎に視差値Ｄの出現度数を算出し、その出現度数を座標（Ｄ，Ｖ）における画素の画素値とした画像である。図９の例では、視差ヒストグラム画像において、そのＶ座標値毎に出現度数がピークとなっている画素を求め、それらのピーク画素から推定された直線であるピーク度数直線ＰＬが描かれている。このピーク度数直線ＰＬは、以下の式で表される。
Ｖ＝ａ・Ｄ＋ｂ …（２）
ここで、ａ，ｂは係数、Ｖは視差画像におけるＶ座標値、Ｄは視差値である。

図９の上部に示した視差画像から理解できるように、視差画像において、Ｖ座標値毎に視差値Ｄの出現度数を求めると、出現度数がピークとなる視差値Ｄは道路面ＲＳに相当する位置の視差である。従って、ピーク度数直線ＰＬ上の視差値Ｄを有する画素は、視差画像において道路面ＲＳに相当する画素であると判定することができる。具体的には、まず、視差画像におけるＶ座標値を上記（２）式に代入することによって、そのＶ座標値におけるピーク度数の視差値Ｄｐを求め、その視差値Ｄｐに許容誤差δを考慮した許容範囲（Ｄｐ±δ）を求める。そして、Ｖ座標値が同一の走査線上の画素のうちで、その画素値Ｄが許容範囲（Ｄｐ±δ）内にある画素は道路面ＲＳ上の画素であると判定し、この許容範囲（Ｄｐ±δ）外にある画素は道路面ＲＳ上に無い画素であると判定することができる。道路境界候補ＲＢＬ２の道路面ＲＳからの高さは、この道路面ＲＳと道路境界候補ＲＢＬ２上の各点の高さの差である。このとき、高さの差を求める道路境界候補ＲＢＬ２上の点としては、道路境界候補ＲＢＬ２上のすべての点を使用してもよく、或いは、道路境界候補ＲＢＬ２を構成する境界候補点ＣＰのみを使用してもよい。

第６の特徴点である「道路境界候補の基準画像ＲＭＧにおける輝度の平均又は分散」の「輝度」は、画素値と同義語である。この場合にも、輝度を求める道路境界候補ＲＢＬ２上の点として、道路境界候補ＲＢＬ２上のすべての点を使用してもよく、或いは、道路境界候補ＲＢＬ２を構成する境界候補点ＣＰのみを使用してもよい。

以下では、上述した４つの特徴量（１）～（４）を使用した場合の例を説明する。

図１０に示すように、図３のステップＳ１８０では、尤度算出部２４２が、各特徴量と境界線尤度Ｌｉとの予め定められた関係を用いて、各特徴量に対応する境界線尤度Ｌｉを算出する。境界線尤度Ｌｉは、道路境界候補のもっともらしさを示す値である。以下では、境界線尤度Ｌｉを単に「尤度Ｌｉ」と呼ぶ。

図１０に示すように、境界候補点数Ｎｃｐが増加するほど尤度Ｌｉは増大する。図示は省略するが、道路境界候補の線分長さＬＬが増大すると、尤度Ｌｉは一旦上昇した後に下降する凸状又は山状の曲線となる。この理由は、正しい道路境界は、図７に示した第１の道路境界候補ＲＢＬ１のように、基準画像ＲＭＧ内の手前の一端部（例えば左端部）から中央に向かう直線なので、道路境界候補が短すぎても長すぎても正しい道路境界でない可能性が高いからである。道路境界候補の傾きθと尤度Ｌｉの関係、及び、画像基準点ＭＲＰからの道路境界候補の距離ＤＬと尤度Ｌｉの関係も、同様の理由により、凸状又は山状の曲線となる。これらの関係は一例であり、これら以外の関係を設定してもよい。

なお、上述した特徴量（５）は、「境界候補点ＣＰの道路面ＲＳからの高さ」が大きくなるほど尤度が上昇した後に、尤度がほぼ一定となる形状となる。また、上記特徴量（６）は、凸状又は山状の曲線となる。

図３のステップＳ１９０では、統合尤度算出部２４３が、各道路境界候補ＲＢＬ１～ＲＢＬ３に関して、複数の境界線尤度Ｌｉを統合して統合尤度Ｌｔを算出する。各道路境界候補の統合尤度Ｌｔは、その道路境界候補の複数の特徴量の尤度Ｌｉを変数とする予め定められた関数ｆ（Ｌｉ）を用いて算出することができる。統合尤度Ｌｔを求める関数ｆ（Ｌｉ）としては、個々の尤度Ｌｉが大きくなるほど統合尤度Ｌｔが大きくなるような任意の関数を使用可能である。例えば、関数ｆ（Ｌｉ）として、以下の式の右辺で与えられるような各種の関数のいずれか１つを使用可能である。
Ｌｔ＝ΠＬｉ／｛ΠＬｉ＋Π（１－Ｌｉ)｝ …（３ａ）
Ｌｔ＝ΣＬｉ／Ｎ …（３ｂ）
Ｌｔ＝（ΠＬｉ）^1/N …（３ｃ）
Ｌｔ＝｛ΣＬｉ²／Ｎ｝^1/2 …（３ｄ）
ここで、Ｎ（２≦Ｎ）は尤度Ｌｉの個数、Πは乗算の演算子,Σは加算の演算子、である。（３ｂ）式は相加平均であり、（３ｃ）式は相乗平均、（３ｄ）式は二乗平均平方根（Root Mean Square）である。

Ｎ＝２の場合には、上記（３ａ）～（３ｄ）は以下の（４ａ）～（４ｄ）式となる。
Ｌｔ＝（Ｌ_１・Ｌ_２）／｛Ｌ_１・Ｌ_２＋（１－Ｌ_１)（１－Ｌ_２)｝ …（４ａ）
Ｌｔ＝（Ｌ_１＋Ｌ_２）／２ …（４ｂ）
Ｌｔ＝（Ｌ_１・Ｌ_２）^1/2 …（４ｃ）
Ｌｔ＝｛（Ｌ_１ ²＋Ｌ_２ ²）／２｝^1/2 …（４ｄ）

図３のステップＳ２００では、選択実行部２４４が、複数の道路境界候補ＲＢＬ１～ＲＢＬ３の中で統合尤度Ｌｔが最も大きな道路境界候補を道路境界として選択する。

図１１に示す例では、３つの道路境界候補ＲＢＬ１～ＲＢＬ３に対する統合尤度Ｌｔ１，Ｌｔ２，Ｌｔ３がそれぞれ示されている。Ｌｔ１＝０．７，Ｌｔ２＝０．５，Ｌｔ３＝０．２なので、統合尤度Ｌｔが最も大きな第１の道路境界候補ＲＢＬ１が道路境界として選択されている。

以上のように、第１実施形態では、複数の境界候補点ＣＰから得られる複数の道路境界候補ＲＢＬ１～ＲＢＬ３のなかで、特徴量から算出される統合尤度Ｌｔが最も大きなものを道路境界として選択するので、道路境界を精度良く推定できる。

B. 第２実施形態：
図１２に示すように、第２実施形態の道路境界検出部２３０ａは、図２に示した第１実施形態の道路境界検出部２３０に境界選択再実行部２３５を追加したものであり、他の構成は第１実施形態と同じである。境界選択再実行部２３５は、選択実行部２４４によって道路境界が一度選択された後に、（ａ）その道路境界からの距離が許容範囲内にある複数の境界候補点ＣＰを再抽出し、（ｂ）再抽出された複数の境界候補点ＣＰを用いて道路境界候補推定部２３３による推定処理を実行させ、（ｃ）境界選択部２３４による選択処理を実行させる。

図１３に示すように、第２実施形態の道路境界検出処理は、図３に示した第１実施形態の処理のステップＳ２００の後にステップＳ２１０，Ｓ２２０を追加したものであり、他の処理は第１実施形態と同じである。

図１４Ａには、第２実施形態において図１３のステップＳ１１０～Ｓ２００を一度実行した場合の例を示している。この例では、４つの道路境界候補ＲＢＬ１～ＲＢＬ４が推定され、それらの統合尤度Ｌｔ１～Ｌｔ４が算出されて、統合尤度Ｌｔが最大となる道路境界候補ＲＢＬ４が選択されている。

図１４Ｂに示すように、ステップＳ２１０では、図１４Ａで選択された道路境界候補ＲＢＬ４からの距離が許容範囲内にある複数の境界候補点ＣＰが再抽出される。その後、ステップＳ１６０が再度実行されて、複数の道路境界候補が再推定される。図１４Ｂの例では、２つの道路境界候補ＲＢＬ１１，ＲＢＬ１２が推定されている。その次に、ステップＳ１６０～２００が再度実行され、これらの道路境界候補ＲＢＬ１１，ＲＢＬ１２の中から統合尤度Ｌｔが最も大きな道路境界候補ＲＢＬ１１が最終的な道路境界として選択されている。

以上のように、第２実施形態では、境界選択再実行部２３５が、選択実行部２４４によって道路境界が一度選択された後に、その道路境界からの距離が許容範囲内にある複数の境界候補点ＣＰを再抽出し、再抽出された複数の境界候補点ＣＰを用いて、道路境界候補推定部２３３による推定処理と、境界選択部２３４による選択処理とを再実行させる。一度選択された道路境界から所定範囲内にある境界候補点ＣＰはノイズである可能性が非常に低いので、それらの境界候補点ＣＰを用いることによって、より確からしい道路境界を推定できる。

C. 第３実施形態：
図１５に示すように、第３実施形態の道路境界検出部２３０ｂは、図１３に示した第２実施形態の道路境界検出部２３０ａに、道路区画線検出部２５１と、移動体検出部２５２と、消失点検出部２５３とを追加したものであり、他の構成は第２実施形態と同じである。道路区画線検出部２５１は、基準画像内の道路区画線を検出する。移動体検出部２５２は、基準画像内の移動体を検出する。消失点検出部２５３は、基準画像ＲＭＧの消失点を検出する。なお、道路区画線検出部２５１と移動体検出部２５２と消失点検出部２５３とをすべて設ける必要はなく、そのうちの一部を省略してもよい。また、第３実施形態において、境界選択再実行部２３５を省略してもよい。

図１６に示すように、第３実施形態の道路境界検出処理は、図１３に示した第２実施形態の処理にステップＳ３１０，Ｓ３２０，３２０を追加したものであり、他の処理は第２実施形態と同じである。

図１７に示すように、ステップＳ３１０において、道路区画線検出部２５１は基準画像ＲＭＧ内の道路区画線ＷＬを検出する。図１７の例では道路区画線ＷＬとして、２本の車両通行帯最外側線ＷＬ１と、車道中央線ＷＬ２とが検出されている。なお、道路区画線ＷＬは通常は白線である。検出された道路区画線ＷＬの情報は、道路区画線検出部２５１から境界候補点抽出部２３２に通知され、ステップＳ１５０における境界候補点ＣＰの抽出の際に利用される。すなわち、境界候補点抽出部２３２は、距離画像から抽出した各境界候補点ＣＰが道路区画線ＷＬ上に存在するか否かを調べ、道路区画線ＷＬ上に存在する場合にはその境界候補点ＣＰを除外する。図１７の例では、３つの境界候補点ＣＰｗが道路区画線ＷＬ上に存在するので、これらの境界候補点ＣＰｗが除外される。白線などの道路境界線ＷＬ上にある境界候補点ＣＰｗはノイズである可能性が高いので、それらの境界候補点ＣＰｗを除外することによって、道路境界をより精度良く推定できる。

図１８に示すように、ステップＳ３２０において、移動体検出部２５２は、基準画像ＲＭＧ内の移動体ＭＢを検出する。本明細書において、「移動体」とは、移動し得る物体を意味しており、四輪車や二輪車を含む車両と、人とを含んでいる。検出された移動体ＭＢの情報は、移動体検出部２５２から境界候補点抽出部２３２に通知され、ステップＳ１５０における境界候補点ＣＰの抽出の際に利用される。すなわち、境界候補点抽出部２３２は、距離画像から抽出した各境界候補点ＣＰが移動体ＭＢ上に存在するか否かを調べ、移動体ＭＢ上に存在する場合にはその境界候補点ＣＰを除外する。図１８の例では、３つの境界候補点ＣＰｍが移動体ＭＢ上に存在するので、これらの境界候補点ＣＰｍが除外される。車両や人などの移動体ＭＢ上にある境界候補点ＣＰｍはノイズである可能性が高いので、それらの境界候補点ＣＰｍを除外することによって、道路境界をより精度良く推定できる。

図１９に示すように、ステップＳ３３０において、消失点検出部２５３は、基準画像ＲＭＧの消失点ＶＰを検出する。消失点ＶＰは、道路区画線ＷＬ等のように、現実には平行な線同士が基準画像ＲＭＧにおいて交わる点である。検出された消失点ＶＰの情報は、消失点検出部２５３から道路境界候補推定部２３３に通知され、ステップＳ１６０における道路境界候補の推定の際に利用される。すなわち、道路境界候補推定部２３３は、各道路境界候補ＲＢＬ１～ＲＢＬ３について、その道路境界候補の延長線と消失点ＶＰとの距離を求める。図１９の例では、道路境界候補ＲＢＬ３と消失点ＶＰとの距離Ｄ３が示されている。この距離Ｄ３が予め定められた閾値以上の場合には、その道路境界候補ＲＢＬ３を除外する。一般に、道路境界は消失点ＶＰに向かっていると仮定できるので、消失点ＶＰからの距離が閾値以上である場合は道路境界である確度は極めて低い。従って、そのような道路境界候補を除外すれば、道路境界をより精度良く推定できる。

以上のように、第３実施形態では、基準画像ＲＭＧ内の道路区画線や移動体を利用して境界候補点ＣＰのノイズを除去し、また、消失点ＶＰを利用して道路境界候補のノイズを除去するので、道路境界をより精度良く推定することが可能である。なお、前述したように、道路区画線検出部２５１と移動体検出部２５２と消失点検出部２５３のうちの一部を省略してもよく、これに併せてステップＳ３１０，Ｓ３２０，Ｓ３３０のうちの一部も省略してよい。

D. 第４実施形態：
図２０に示すように、第４実施形態の道路境界検出部２３０ｃは、図２に示した第１実施形態の道路境界検出部２３０に候補点記憶部２６１と現在位置推定部２６２とを追加したものであり、他の構成は第１実施形態と同じである。候補点記憶部２６１は、境界選択部２３４によって過去に選択された道路境界を構成する複数の境界候補点ＣＰを、複数の過去境界候補点ＣＰｒとして記憶する。現在位置推定部２６２は、複数の過去境界候補点ＣＰｒから、現在の基準画像ＲＭＧ内における複数の過去境界候補点ＣＰｒの位置を推定する。

図２１に示すように、第４実施形態の道路境界検出処理は、図３に示した第１実施形態の処理にステップ４１０，Ｓ４２０を追加したものであり、他の処理は第１実施形態と同じである。

ステップＳ４１０では、候補点記憶部２６１は、境界選択部２３４によって選択された道路境界を構成する複数の境界候補点ＣＰを、複数の過去境界候補点ＣＰｒとして記憶する。複数の過去境界候補点ＣＰｒは、次回以降の道路境界検出処理において利用される。

ステップＳ４２０では、現在位置推定部２６２が、複数の過去境界候補点ＣＰｒから、現在の基準画像ＲＭＧ内における複数の過去境界候補点ＣＰｒの位置を推定する。この推定は、過去と現在における基準画像ＲＭＧの撮影時刻の差分と、その間の車両５０の車速の履歴と、ヨーレートの履歴とを用いて行うことが可能である。推定後の複数の過去境界候補点ＣＰｒ^＊は、現在位置推定部２６２から道路境界候補推定部２３３に通知され、ステップＳ１６０における道路境界候補の推定の際に利用される。すなわち、道路境界候補推定部２３３は、境界候補点抽出部２３２で抽出された複数の境界候補点ＣＰに加えて、現在位置推定部２６２によって推定された位置での複数の過去境界候補点ＣＰｒ^＊を使用して、複数の道路境界候補を推定する。このように、過去境界候補点ＣＰｒを利用して複数の道路境界候補を推定すれば、境界線候補を推定する際の情報量を増やせるので、道路境界をより精度良く推定できる。

なお、第４実施形態で追加された構成や処理は、第２実施形態や第３実施形態にも適用可能である。

本発明は上述した実施形態やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

２３０，２３０ａ，２３０ｂ，２３０ｃ…道路境界検出部、２３１…距離画像生成部、２３２…境界候補点抽出部、２３３…道路境界候補推定部、２３４…境界選択部、２３５…境界選択再実行部、２４１…特徴量算出部、２４２…尤度算出部、２４３…統合尤度算出部、２４４…選択実行部、２５１…道路区画線検出部、２５２…移動体検出部、２５３…消失点検出部、２６１…候補点記憶部、２６２…現在位置推定部

Claims

道路境界を検出する道路境界検出装置（２３０）であって、
ステレオカメラ（４１２）で撮影された左右の画像を基準画像及び比較画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（２３１）と、
前記距離画像内で隣接する画素の間の距離の差が予め定めた距離閾値以上となる画素から、複数の境界候補点（ＣＰ）を抽出する境界候補点抽出部（２３２）と、
前記複数の境界候補点から複数の直線状の道路境界候補を推定する推定処理を実行する道路境界候補推定部（２３３）と、
前記複数の道路境界候補の中から道路境界を選択する選択処理を実行する境界選択部（２３４）と、
を備え、
前記境界選択部は、
各道路境界候補に関して、予め定められた複数の特徴量を算出する特徴量算出部（２４１）と、
各特徴量と境界線尤度との予め定められた関係を用いて、前記複数の特徴量に対応する複数の境界線尤度を算出する尤度算出部（２４２）と、
各道路境界候補に関して、前記複数の境界線尤度を統合して統合尤度を算出する統合尤度算出部（２４３）と、
前記複数の道路境界候補の中で前記統合尤度が最も大きな道路境界候補を前記道路境界として選択する選択実行部（２４４）と、
を備え、
各道路境界候補に関する前記複数の特徴量は、
前記基準画像の基準点から当該道路境界候補までの距離である第１特徴量と、
前記基準画像内における当該道路境界候補の傾きである第２特徴量と、
当該道路境界候補を構成する境界候補点の数である第３特徴量と、
当該道路境界候補の線分長である第４特徴量と、
を含み、
前記第１特徴量と前記第２特徴量と前記第４特徴量のそれぞれに対応する境界線尤度は、当該特徴量の増大に伴って当該境界線尤度が一旦上昇した後に下降する曲線となり、
前記第３特徴量に対応する境界線尤度は、前記第３特徴量が増大するほど増大する、
道路境界検出装置。
請求項１に記載の道路境界検出装置であって、更に、
前記選択実行部によって前記道路境界が選択された後に、当該道路境界からの距離が許容範囲内にある複数の境界候補点を再抽出し、当該複数の境界候補点を用いて、前記道路境界候補推定部による前記推定処理と、前記境界選択部による前記選択処理とを再実行させる境界選択再実行部（２３５）を備える、道路境界検出装置。
請求項１又は２に記載の道路境界検出装置であって、更に、
前記基準画像の消失点を検出する消失点検出部（２５３）を備え、
前記道路境界候補推定部は、各道路境界候補について、当該道路境界候補の延長線と前記消失点との距離が閾値以上の場合に、当該道路境界候補を前記複数の道路境界候補から除外する、道路境界検出装置。
請求項１～３のいずれか一項に記載の道路境界検出装置であって、更に、
前記基準画像内の道路区画線を検出する道路区画線検出部（２５１）を備え、
前記境界候補点抽出部は、各境界候補点について、当該境界候補点が前記道路区画線上に存在する場合に、当該境界候補点を前記複数の境界候補点から除外する、道路境界検出装置。
請求項１～４のいずれか一項に記載の道路境界検出装置であって、更に、
前記基準画像内の移動体を検出する移動体検出部（２５２）を備え、
前記境界候補点抽出部は、各境界候補点について、当該境界候補点が前記移動体上に存在する場合に、当該境界候補点を前記複数の境界候補点から除外する、道路境界検出装置。
請求項１～５のいずれか一項に記載の道路境界検出装置であって、更に、
前記境界選択部によって過去に選択された道路境界を構成する複数の境界候補点を、複数の過去境界候補点として記憶する候補点記憶部（２６１）と、
前記複数の過去境界候補点から、現在の前記基準画像内における当該複数の過去境界候補点の位置を推定する現在位置推定部（２６２）と、
を備え、
前記道路境界候補推定部は、前記境界候補点抽出部で抽出された前記複数の境界候補点に加えて、前記推定された位置での前記複数の過去境界候補点を使用して、前記複数の道路境界候補を推定する、道路境界検出装置。