JP7071154B2

JP7071154B2 - 道路境界検出装置

Info

Publication number: JP7071154B2
Application number: JP2018032040A
Authority: JP
Inventors: 咲子西野; 智之大石
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2018-02-26
Filing date: 2018-02-26
Publication date: 2022-05-18
Anticipated expiration: 2038-02-26
Also published as: JP2019148889A

Description

本発明は、道路境界を検出する道路境界検出装置に関する。

特許文献１には、縁石などの路側物を検出する路側物検出装置が開示されている。この路側物検出装置では、自車両の近傍領域における撮影対象の高さを検出し、その高さの変化から道路モデルを推定し、道路モデルを遠方まで外挿して仮想線を設定し、その仮想線を中心とした一定範囲においてエッジを探索し、探索されたエッジから路側物を検出する。この従来技術では、遠方において測距精度が低下することを考慮して、近傍領域における高さの変化を利用して路側物の境界を検出している。路側物の境界は、道路境界としても利用可能である。

特開２０１４－２６０８号公報

しかしながら、本願の発明者は、従来技術では高さの変化が少ない物体については測距精度が低下してしまい、道路境界を正しく検出できない場合があるという問題があることを見出した。そこで、上述した従来技術とは異なる方法で道路境界を検出する技術が望まれる。

本発明の一形態によれば、道路境界を検出する道路境界検出装置（２３０）が提供される。この道路境界検出装置は、ステレオカメラ（４１２）で撮影された左右の画像を基準画像及び比較画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（２３１）と；前記距離画像内で隣接する画素の間の距離の差が予め定めた距離閾値以上となる画素から、複数の境界候補点（ＣＰ）を抽出する境界候補点抽出部（２３３）と；前記基準画像内のエッジを検出するエッジ検出部（２３２）と；前記複数の境界候補点の各境界候補点について、当該境界候補点が前記エッジの近傍にあることを示す予め定めた近傍条件を満たさない場合に、当該境界候補点を前記複数の境界候補点から除外する除外処理を含む調整処理を実行する候補点調整部（２３４）と；前記調整処理後の複数の境界候補点を用いて道路境界を推定する境界推定部（２３５）と；を備える。前記除外処理における前記近傍条件は、前記境界候補点から予め定めた第１判定範囲（ＦＲ１）内にある前記エッジに相当する画素の個数が予め定めた個数閾値以上であることを含む。

この道路境界検出装置によれば、境界候補点がエッジの近傍にない場合にその境界候補点を複数の境界候補点から除外する除外処理と、境界候補点の近傍にあるエッジ画素を新たな境界候補点として追加する追加処理の少なくとも一方が実行されるので、道路境界である確率が低い境界候補点を除外することや、道路境界である確率が高いエッジを境界候補点として追加することができ、道路境界を精度良く推定できる。

第１実施形態としての自動運転制御システムの構成を示すブロック図。道路境界検出部の機能ブロック図。第１実施形態における道路境界検出処理のフローチャート。ステレオカメラの画像から視差画像を生成する処理の説明図。視差画像から高さ変化画素を求める処理の説明図。高さ変化画素から境界候補点を抽出する処理の説明図。第１次境界候補点から推定される道路境界線を示す図。エッジ検出処理の説明図。エッジの近傍に無い境界候補点を除外する除外処理の説明図。除外処理後の第２次境界候補点から推定される道路境界線を示す図。第２実施形態における道路境界検出処理のフローチャート。境界候補点の近傍にあるエッジ画素を追加する追加処理の説明図。第３実施形態における道路境界検出処理のフローチャート。視差画像から路面を示す視差ヒストグラム画像を求める処理の説明図。路面上に無い境界候補点を除外する処理の説明図。

A. 第１実施形態：
図１に示すように、第１実施形態の車両５０は、自動運転制御システム１００を備える。自動運転制御システム１００は、自動運転ＥＣＵ２００（Electronic Control Unit）と、車両制御部３００と、前方検出装置４１０と、後方検出装置４２０と、支援情報取得部５００と、を備える。なお、本明細書において、車両５０を「自車両５０」とも呼ぶ。

自動運転ＥＣＵ２００は、ＣＰＵとメモリとを含む回路である。自動運転ＥＣＵ２００は、不揮発性記憶媒体に格納されたコンピュータプログラムを実行することによって、自動運転制御部２１０と、状況認知部２２０と、の機能をそれぞれ実現する。なお、自動運転ＥＣＵ２００の機能の一部をハードウェア回路で実現するようにしてもよい。

状況認知部２２０は、前方検出装置４１０と、後方検出装置４２０と、支援情報取得部５００と、一般センサ類３４０から提供される各種の情報や検出値を利用して、自車両５０及び他車両６０の走行状況や、周囲の環境を認知する。第１実施形態において、状況認知部２２０は、ステレオカメラ４１２で撮影された２つの画像から道路境界線を検出する道路境界検出部２３０を有する。この道路境界検出部２３０は、道路境界検出装置に相当する。道路境界検出部２３０の機能については後述する。

車両制御部３００は、車両５０の運転のための各種の制御を実行する部分であり、自動運転と手動運転のいずれの場合にも利用される。車両制御部３００は、駆動部制御装置３１０と、ブレーキ制御装置３２０と、操舵角制御装置３３０と、一般センサ類３４０とを含む。駆動部制御装置３１０は、車両５０の車輪を駆動する駆動部（図示せず）を制御する機能を有する。車輪の駆動部としては、内燃機関と電動モータのうちの１つ以上の原動機を使用可能である。ブレーキ制御装置３２０は、車両５０のブレーキ制御を実行する。ブレーキ制御装置３２０は、例えば電子制御ブレーキシステム（ＥＣＢ）として構成される。操舵角制御装置３３０は、車両５０の車輪の操舵角を制御する。「操舵角」とは、車両５０の２つの前輪の平均操舵角を意味する。操舵角制御装置３３０は、例えば電動パワーステアリングシステム（ＥＰＳ）として構成される。一般センサ類３４０は、車速センサ３４２と操舵角センサ３４４とヨーレートセンサ３４６を含んでおり、車両５０の運転に必要とされる一般的なセンサ類である。一般センサ類３４０は、自動運転と手動運転のいずれの場合にも利用されるセンサを含んでいる。

前方検出装置４１０は、車載センサを使用して、自車両５０の前方に存在する物体や道路設備（車線、交差点、信号機等）等の各種の対象物に関する情報を取得する。本実施形態において、前方検出装置４１０は、ステレオカメラ４１２と、レーダー４１４とを含んでいる。ステレオカメラ４１２は、対象物の色（例えば白線の走路区画線と黄線の走路区画線）を区別するために、カラーカメラであることが好ましい。レーダー４１４としては、光を放射するＬＩＤＡＲ（Light Detection and Ranging）や、電波を放射するレーダー（例えばミリ波レーダー）など、電磁波を放射する各種のレーダーを使用可能である。後方検出装置４２０は、自車両５０の後方に存在する物体や道路設備等の各種の対象物に関する情報を取得する。後方検出装置４２０も、前方検出装置４１０と同様な車載センサを含むように構成可能である。

支援情報取得部５００は、自動運転のための各種の支援情報を取得する。支援情報取得部５００は、ＧＮＳＳ受信機５１０と、ナビゲーション装置５２０と、無線通信装置５３０とを含んでいる。ＧＮＳＳ受信機５１０は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から受信した航法信号に基づいて、自車両５０の現在位置（経度・緯度）を測位する。ナビゲーション装置５２０は、目的地とＧＮＳＳ受信機５１０で検出される自車位置とに基づいて、自動運転における予定ルートを決定する機能を有する。予定ルートの決定や修正のために、ＧＮＳＳ受信機５１０に加えて、ジャイロ等の他のセンサを利用してもよい。無線通信装置５３０は、高度道路交通システム７０（Intelligent Transport System）との無線通信によって自車両５０の状況や周囲の状況に関する状況情報を交換することが可能であり、また、他車両６０との車車間通信や、道路設備に設置された路側無線機との路車間通信を行って状況情報を交換することも可能である。支援情報取得部５００は、このような無線通信を介して得られる状況情報を利用して、自車の走行状況に関する情報の一部を取得するようにしてもよい。支援情報取得部５００によって取得された各種の支援情報は、自動運転ＥＣＵ２００に送信される。

本明細書において「自動運転」とは、ドライバ（運転者）が運転操作を行うことなく、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する運転を意味する。従って、自動運転では、駆動部の動作状態と、ブレーキ機構の動作状態と、車輪の操舵角が、自動的に決定される。「手動運転」とは、駆動部制御のための操作（アクセルペダルの踏込）と、ブレーキ制御のための操作（ブレーキベダルの踏込）と、操舵角制御のための操作（ステアリングホイールの回転）を、ドライバが実行する運転を意味する。

自動運転制御部２１０は、状況認知部２２０で認知される各種の状況を使用して、自車両５０の自動運転の制御を実行する。具体的には、自動運転制御部２１０は、駆動部（エンジンやモータ）の駆動力を示す駆動力指令値を駆動部制御装置３１０に送信し、ブレーキ機構の動作状態を示すブレーキ指令値をブレーキ制御装置３２０に送信し、車輪の操舵角を示す操舵角指令値を操舵角制御装置３３０に送信する。各制御装置３１０，３２０，３３０は、与えられた指令値に従ってそれぞれの制御対象機構の制御を実行する。なお、自動運転制御部２１０の各種の機能は、例えばディープラーニングなどの機械学習を利用した人工知能により実現可能である。

自動運転制御システム１００は、自動運転ＥＣＵ２００を含む多数の電子機器を有している。これらの複数の電子機器は、ＣＡＮ（Controller Area Network）などの車載ネットワークを介して互いに接続されている。

図２に示すように、道路境界検出部２３０は、距離画像生成部２３１と、エッジ検出部２３２と境界候補点抽出部２３３と、候補点調整部２３４と、境界推定部２３５とを含んでいる。距離画像生成部２３１は、ステレオカメラ４１２で撮影された左右の画像を基準画像及び比較画像として用いて、視差画像を生成する。視差画像は、基準画像に存在する物体までの距離を表す画像なので、「距離画像」とも呼ぶ。エッジ検出部２３２は、ステレオカメラ４１２で撮影された基準画像内のエッジを検出してエッジ画像を生成する。境界候補点抽出部２３３は、距離画像を用いて、道路境界上にあると推定される複数の境界候補点を抽出する。ここで抽出された境界候補点を「第１次境界候補点」と呼ぶ。候補点調整部２３４は、第１次境界候補点に対して後述する除外処理などを含む調整処理を実行する。第１実施形態では、候補点調整部２３４は、エッジ画像を用いて、エッジの近傍に無い第１次境界候補点を除外する除外処理を調整処理として実行する。境界推定部２３５は、調整処理後の複数の境界候補点を用いて道路境界線を推定する。

図３に示すように、道路境界検出処理では、まず、ステップＳ１１０において、道路境界検出部２３０が、ステレオカメラ４１２によって撮影された左画像と右画像を取得する。本実施形態では、右画像を基準画像として使用し、左画像を比較画像として使用する。

図４に示すように、図３のステップＳ１２０では、距離画像生成部２３１が、基準画像と比較画像から、距離画像としての視差画像を作成する。視差画像の作成処理としては、例えばＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）を類似度の指標として用いたブロックマッチング等の既知の方法を使用可能である。視差画像において、遠い物体ほど視差が小さく、近い物体ほど視差が大きい。従って、視差画像は、基準画像に存在する物体までの距離を表す画像として使用できる。なお、視差Ｄと距離Ｚとの間には次式の関係が成立する。
Ｚ＝ｋ／Ｄ …（１）
ここで、ｋはカメラの特性に応じて決まる係数である。

（１）式に従って求めた距離Ｚを画素値とした距離画像（狭義の距離画像）を視差画像の代わりに用いることも可能である。本実施形態では、視差画像を距離画像（広義の距離画像）として使用する。また、以下の説明では、「視差」と「距離」を同義語として使用する。図４から理解できるように、視差画像では、路面から段差のある部分において距離の差が現れる。

図５に示すように、図３のステップＳ１３０では、境界候補点抽出部２３３が、距離画像内を予め定めた走査方向に沿って順次走査し、走査方向に隣接する画素の間の距離の差を計算する。ステップＳ１４０では、境界候補点抽出部２３３が、距離の差が予め定めた距離閾値以上となる画素を「高さ変化画素」に設定する。なお、「高さ変化画素」という語句を使用した理由は、図５から理解できるように、隣接する画素同士の距離の差が大きい場合には、それらの画素で表される地点の高さが異なるからである。本実施形態では、走査方向を画像の横方向に設定しているが、他の走査方向（例えば画像の上下方向）に設定してもよい。但し、自車両５０が走行している道路の境界は画像内の消失線の方向を向いているので、走査方向を画像の横方向に設定した方が、高さ変化画素をより正確に検出できるという利点がある。なお、距離の差を求める際に、１つの走査方向を決めずに、各画素に隣接する複数の隣接画素との間の距離の差を求めて、そのうちの最大値をその画素に関する「距離の差」として使用してもよい。

図６に示すように、図３のステップＳ１５０では、境界候補点抽出部２３３が、高さ変化画像から複数の境界候補点ＣＰを抽出する。図６の上部の図では、高さ変化画素を黒で塗りつぶした画素として示している。この例から分かるように、画像内では複数の高さ変化画素が隣接してクラスタを構成する。そこで、境界候補点抽出部２３３は、予め定められた抽出規則に従って、各クラスタから境界候補点ＣＰを抽出する。例えば、図６の例では、各クラスタにおいて、画像内の最も下にある画素のうちで、画像の左右方向の中心に最も近い１つの画素を境界候補点ＣＰとして抽出している。但し、抽出規則としては、これ以外の他の規則を使用してもよい。例えば、各クラスタの中心に最も近い１つの画素を境界候補点ＣＰとして抽出してもよい。また、各クラスタから複数の画素を境界候補点ＣＰとして抽出してもよい。こうして、ステップＳ１５０で抽出された境界候補点ＣＰを「第１次境界候補点」と呼ぶ。

図７に示すように、第１次境界候補点ＣＰを用いて道路境界を推定すると、境界候補点ＣＰの中に、実際の道路境界とは異なるノイズ（外れ値）が含まれている場合に、推定される道路境界線が実際の境界線と大きく異なってしまう場合がある。そこで、候補点調整部２３４は、第１次境界候補点ＣＰに対して以下に説明する除外処理を実行することによってノイズを除外する。この除外処理は、基準画像のエッジの近傍に無い境界候補点を除外する処理である。

図８に示すように、図３のステップＳ２００では、エッジ検出部２３２が、基準画像内のエッジを検出し、エッジを表すエッジ画像を生成する。エッジ検出処理としては、周知のエッジフィルタを用いた各種の処理を利用可能である。但し、エッジ検出処理として、基準画像内を横方向に沿った明るさの変化からエッジを検出する処理を使用することが好ましい。この理由は、通常の道路境界は画像内の消失線の方向を向いているので、画像の横方向に沿った明るさの変化からエッジを検出すると、道路境界におけるエッジを精度良く検出できるからである。

図９に示すように、図３のステップＳ１６０では、候補点調整部２３４が、第１次境界候補点ＣＰのうちで、エッジの近傍に無いものを除外する除外処理を実行する。図９の例では、各境界候補点ＣＰに対して予め定めた判定範囲ＦＲ１を設定し、その判定範囲ＦＲ１内にあるエッジ画素の個数が予め定めた個数閾値以上である場合にはその境界候補点ＣＰを維持し、個数閾値未満である場合にはその境界候補点ＣＰを除外する。図９に示す２つの境界候補点ＣＰａ，ＣＰｂは、その周囲に設定された判定範囲ＦＲ１内にエッジ画素がほとんど無いので、第１次境界候補点から除外される。この除外処理後の境界候補点を「第２次境界候補点」と呼ぶ。

除外処理の判定範囲ＦＲ１としては、四辺形や円形等の予め定めた任意の形状を使用することが可能である。但し、判定範囲ＦＲ１として、基準画像において消失点に向かう消失線に並行な対向辺を有する四辺形形状を使用することが好ましい。通常の道路境界は消失線の方向を向いているので、このような形状の判定範囲ＦＲ１内に存在するエッジ画素の個数が少ない場合には、その境界候補点は道路境界でない可能性が高い。従って、このような形状の判定範囲ＦＲ１を使用すれば、道路境界をより精度良く推定できるという利点がある。

判定範囲ＦＲ１は、更に、距離画像における境界候補点の距離が近いほど、すなわち、視差が大きいほど判定範囲ＦＲ１のサイズが大きくなるように設定されることが好ましい。一般に、ステレオカメラは距離が遠いほど測距分解能が低く、距離が近いほど測距分解能が高い。従って、距離が近いほどを判定範囲ＦＲ１を大きくすれば、分解能の高い画像部分において境界候補点ＣＰをより正確に決定することができ、道路境界をより精度良く推定できるという利点がある。

なお、除外処理における判定基準としては、上述の判定範囲ＦＲ１を用いた判定基準以外の基準を使用してもよい。すなわち、除外処理は、各境界候補点ＣＰについて、その境界候補点ＣＰがエッジの近傍にあることを示す予め定めた近傍条件を満たさない場合に、当該境界候補点を前記複数の境界候補点から除外する処理とすることができる。図９に示した例では、近傍条件は、境界候補点ＣＰから予め定めた判定範囲ＦＲ１内にあるエッジ画素の個数が予め定めた個数閾値以上であること、に設定されている。但し、これ以外の近傍条件を使用してもよい。他の近傍条件としては、例えば、境界候補点ＣＰに最も近いエッジ画素とその境界候補点ＣＰとの間の画素間距離（画像内の距離）が予め定めた閾値以下であること、という条件を使用可能である。

図１０に示すように、図３のステップＳ１７０では、境界推定部２３５が、複数の第２次境界候補点から道路境界を推定する。この推定処理としては、ＲＡＮＳＡＣ（Random Sampling Consensus）やＬｍｅｄＳ（最小メジアン法）のようなノイズ（外れ値）に強い既知のロバスト推定処理を使用可能である。このようなロバスト推定処理を使用すれば、境界候補点に少数のノイズが含まれていても、正しい道路境界を推定することが可能である。

以上のように、第１実施形態では、候補点調整部２３４が、複数の第１次境界候補点ＣＰのそれぞれについて、境界候補点ＣＰがエッジの近傍にあることを示す予め定めた近傍条件を満たさない場合に、その境界候補点ＣＰを第１次境界候補点から除外する除外処理を含む調整処理を実行するので、道路境界である確率が低い境界候補点を除外することができ、道路境界を精度良く推定できる。

B. 第２実施形態：
図１１に示すように、第２実施形態の道路境界検出処理は、図３に示した第１実施形態の処理のステップＳ１６０の後にステップＳ２１０を追加したものであり、他の処理は第１実施形態と同じである。また、第２実施形態の装置構成は第１実施形態と同じなので説明を省略する。

図１２に示すように、図１１のステップＳ２１０では、候補点調整部２３４は、第２次境界候補点ＣＰのそれぞれについて、その境界候補点ＣＰの近傍にあるエッジ画素ＥＰを新たな境界候補点として追加する追加処理を実行する。図１２の例では、各境界候補点ＣＰに対して予め定めた第２判定範囲ＦＲ２を設定し、第２判定範囲ＦＲ２内に存在するエッジ画素ＥＰを新たな境界候補点として追加している。この追加処理後の境界候補点を「第３次境界候補点」と呼ぶ。

なお、第２判定範囲ＦＲ２は、図９で説明した除外処理における判定範囲ＦＲ１（「第１判定範囲ＦＲ１」と呼ぶ）と同じ形状に設定してもよく、また、異なる形状に設定しても良い。第２判定範囲ＦＲ２も、第１判定範囲ＦＲ１と同様に、基準画像において消失点に向かう消失線に並行な対向辺を有する四辺形形状を使用することが好ましい。また、第２判定範囲ＦＲ２も、距離画像における境界候補点の距離が近いほど、すなわち、視差が大きいほど第２判定範囲ＦＲ２のサイズが大きくなるように設定されることが好ましい。

図１１のステップＳ１７０ａでは、境界推定部２３５が、複数の第３次境界候補点から道路境界を推定する。この推定処理は、第１実施形態のステップＳ１７０の処理と同じである。

以上のように、第２実施形態では、候補点調整部２３４が、調整処理として、除外処理後の第２次境界候補点のそれぞれについて、各境界候補点から予め定めた第２判定範囲ＦＲ２内に存在するエッジ画素を新たな境界候補点として追加する追加処理を実行するので、より多くの境界候補点を用いて道路境界をより精度良く推定できる。

なお、第２実施形態において、ステップＳ１６０の除外処理を省略してもよい。換言すれば、調整処理は、ステップＳ１６０の除外処理とステップＳ２１０の追加処理の少なくとも一方を含むものとしてもよい。少なくとも追加処理を含むように調整処理を構成すれば、縁石などの高さの低い物体に関してステレオカメラの測距精度が低く、その高さ変化を捉えにくい場合にも、道路境界である確率が高いエッジを境界候補点として追加することができるので、道路境界を精度良く推定できるという利点がある。また、除外処理と追加処理の両方を含むよう調整処理を構成すれば、道路境界を更に精度良く推定できるという利点がある。この場合には、追加処理は除外処理後の各境界候補点について実行されることが好ましい。

C. 第３実施形態：
図１３に示すように、第３実施形態の道路境界検出処理は、図３に示した第１実施形態の処理のステップＳ１５０の後にステップＳ３１０を追加したものであり、他の処理は第１実施形態と同じである。また、第３実施形態の装置構成は第１実施形態と同じなので説明を省略する。

ステップＳ３１０では、候補点調整部２３４は、路面に無い第１次境界候補点を除外する処理を実行する。本実施形態において、境界候補点が路面にあるか否かを判定するために、距離画像としての視差画像を使用して図１４に示す処理を実行する。

図１４に示すように、候補点調整部２３４は、まず、視差画像から視差ヒストグラム画像を生成する。ここで、図１４の上部に示すように、視差画像の横軸をＵ，縦軸をＶとする。視差ヒストグラム画像は、視差値Ｄと視差画像のＶ座標値とを２つの座標軸とした画像であり、視差画像においてＶ座標値毎に視差値Ｄの出現度数を算出し、その出現度数を座標（Ｄ，Ｖ）における画素の画素値とした画像である。図１４の例では、視差ヒストグラム画像において、そのＶ座標値毎に出現度数がピークとなっている画素を求め、それらのピーク画素から推定された直線であるピーク度数直線ＰＬが描かれている。このピーク度数直線ＰＬは、以下の式で表される。
Ｖ＝ａ・Ｄ＋ｂ …（２）
ここで、ａ，ｂは係数、Ｖは視差画像におけるＶ座標値、Ｄは視差値である。

図１４の上部に示した視差画像から理解できるように、視差画像において、Ｖ座標値毎に視差値Ｄの出現度数を求めると、出現度数がピークとなる視差値Ｄは路面に相当する位置の視差である。従って、ピーク度数直線ＰＬ上の視差値Ｄを有する画素は、視差画像において路面に相当する画素であると判定することができる。具体的には、まず、視差画像におけるＶ座標値を上記（２）式に代入することによって、そのＶ座標値におけるピーク度数の視差値Ｄｐを求め、その視差値Ｄｐに許容誤差δを考慮した許容範囲（Ｄｐ±δ）を求める。そして、Ｖ座標値が同一の走査線上の画素のうちで、その画素値Ｄが許容範囲（Ｄｐ±δ）内にある画素は路面上の画素であると判定し、この許容範囲（Ｄｐ±δ）外にある画素は路面上に無い画素であると判定することができる。

図１５に示すように、候補点調整部２３４は、このような視差ヒストグラム画像のピーク度数直線ＰＬを用いて個々の境界候補点ＣＰが路面上にあるか否かを判定し、路面上に無い境界候補点ＣＰを除外する。図１５の例では、道路脇の構造物において抽出された境界候補点ＣＰｃが路面上に無いものとして除外されている。図１３のステップＳ１６０以降は第１実施形態と同じなので説明を省略する。

なお、ステップＳ３１０の処理は、ステップＳ１５０の除外処理の後に実行してもよい。また、ステップＳ３１０の処理は、上述した第２実施形態にも適用可能である。また、ステップＳ３１０の処理は、視差画像の代わりに狭義の距離画像（視差Ｄから求めた距離Ｚを画素値とする画像）を用いて実行することも可能である。

以上のように、第３実施形態では、候補点調整部２３４が、ステップＳ１６０における除外処理前又は除外処理後の各境界候補点ＣＰについて、距離画像を用いてその境界候補点ＣＰが路面上にあるか否かを判定し、路面上に無い境界候補点ＣＰを除外する処理を調整処理として実行する。こうすれば、道路境界である確率が低い境界候補点を更に除外することができ、道路境界をより精度良く推定できる。

本発明は上述した実施形態やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

２３０…道路境界検出部，２３１…距離画像生成部，２３２…エッジ検出部，２３３…境界候補点抽出部，２３４…候補点調整部，２３５…境界推定部，４１２…ステレオカメラ

Claims

道路境界を検出する道路境界検出装置（２３０）であって、
ステレオカメラ（４１２）で撮影された左右の画像を基準画像及び比較画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（２３１）と、
前記距離画像内で隣接する画素の間の距離の差が予め定めた距離閾値以上となる画素から、複数の境界候補点（ＣＰ）を抽出する境界候補点抽出部（２３３）と、
前記基準画像内のエッジを検出するエッジ検出部（２３２）と、
前記複数の境界候補点の各境界候補点について、当該境界候補点が前記エッジの近傍にあることを示す予め定めた近傍条件を満たさない場合に、当該境界候補点を前記複数の境界候補点から除外する除外処理を含む調整処理を実行する候補点調整部（２３４）と、
前記調整処理後の複数の境界候補点を用いて道路境界を推定する境界推定部（２３５）と、
を備え、
前記除外処理における前記近傍条件は、前記境界候補点から予め定めた第１判定範囲（ＦＲ１）内にある前記エッジに相当する画素の個数が予め定めた個数閾値以上であることを含む、道路境界検出装置。
請求項１に記載の道路境界検出装置であって、
前記調整処理は、前記除外処理と、前記複数の境界候補点の各境界候補点について、当該境界候補点から予め定めた第２判定範囲（ＦＲ２）内に存在する前記エッジの画素を、新たな境界候補点として追加する追加処理とを含み、
前記追加処理は前記除外処理後の各境界候補点について実行される、道路境界検出装置。
請求項１又は２に記載の道路境界検出装置であって、
前記第１判定範囲は、前記基準画像において消失点に向かう消失線に並行な対向辺を有する四辺形形状に設定される、道路境界検出装置。
請求項１～３のいずれか一項に記載の道路境界検出装置であって、
前記第１判定範囲は、前記距離画像における前記境界候補点の前記距離が近いほど大きく設定される、道路境界検出装置。
請求項１～４のいずれか一項に記載の道路境界検出装置であって、
前記調整処理は、更に、前記除外処理前又は前記除外処理後の各境界候補点について、前記距離画像を用いて当該境界候補点が路面上にあるか否かを判定し、前記路面上に無い境界候補点を除外する処理を含む、道路境界検出装置。