JP6326791B2 - 路面検知方法及び路面検知装置 - Google Patents

Description

本発明は、画像処理に関し、特に、路面検知方法及び路面検知装置に関する。

運転支援システムの応用が日増しに普及されつつある。道路や車道警告システム（Lane/Road detection warning、LDW/RDW）は、運転支援システムのサブシステムであるが、該システムによると、衝突防止や、より正確な運転方向の決定等が可能になる。LDW/RDWシステムにおいて、道路検知は、非常に肝心なものとなっており、道路情報を把握してはじめて、例えば警告のような更なる処理が可能になる。また、道路路面検知も、３D運転環境認識技術の非常に重要な部分であり、３D運転環境認識技術における路辺ガードレール検知、消失点検知、車両識別等に対して甚大な影響を及ぼしている。

ステレオカメラは、高精度の視差図及び距離画像が得られるメリットがあることから、幅広く用いられている。３D道路シーンの認識における１ジョブは、道路路面の平面検知である。しかしながら、従来の方法は、複雑な環境に適しておらず、ノイズ干渉を受け易い。

非特許文献の「U-V-Disparity based Obstacle Detection with ３D Camera and Steerable Filter」, Y.Gao, X.Ai, Y.Wang, J.Rarity and N.Dahnoun, ２０１１ IEEE Intelligent Vehicles Symposium（非特許文献１）には、３Dカメラにより奥行情報を取得することで、UV視差図が得られ、ハフ変換により直線特徴を抽出することで、路面検知が可能になる路面検知方法が提案されている。

発明の名称「Object Detecting Apparatus in Which the Position of a Planar Object Is Estimated by Using Hough Transform」の特許文献EP７６２３２６B１（特許文献１）には、ハフ変換を用いた元視差データへの直接処理による、平面物体の推定方法が提案されている。

本発明の発明者は、分析及び実験分析により、従来の路面検知アルゴリズムにおいては、１）最小二乗法は、僅かなノイズが存在しても、推定された路面と真の路面位置間にずれが生じる等、ノイズに敏感であり、２）従来のハフ変換は、直線を通る点の数のみ考慮するため、路面が比較的に弱い場合は、ガードレールや、用水路等の影響を受け易く、誤検知のおそれがある等、複雑な環境における路面検知には適していないことを見出した。

本発明は、従来技術における前述の問題を鑑みてなされたものである。

本発明は、複雑環境における路面検知に適するように、路面検知のロバスト性を向上することを目的とする。

本発明の一の態様においては、路面を含むV視差図を取得し、V視差図から線分を路面として抽出する路面検知方法において、V視差図から線分を路面として抽出する工程は、限定されたハフ変換により、路面線分を推定することを含む、路面検知方法を提供する。

本発明の他の面においては、路面を含むV視差図を取得するV視差図取得部と、V視差図から線分を路面して抽出する路面線分抽出部と、を備えた路面検知装置において、前記路面線分抽出部は、限定されたハフ変換により、路面線分を推定することを含む、路面検知装置を提供する。

本発明の実施例における、限定されたハフ変換による路面検知方法及び装置によれば、ノイズ除去、演算量の低減が可能になるとともに、より適切な路面点の処理、路面の強調が可能になり、より正確に路面検知を行うことができる。

本発明への理解を容易にするための、本発明の適用環境の例となる、車載システムの略図である。 本発明の第１の実施例における路面検知方法の全体フローチャートである。 図３（ａ）は、車載ステレオカメラで撮像された道路領域の視差図を例示し、図３（ｂ）は、図３（ａ）に示された視差図から変換されたＶ視差図を例示した図である。 本発明の１実施例における近視野、中視野、遠視野の３つの線形線分から構築された路面モデルの略図である。 ハフ変換の累積空間が、１小領域内に限定された例を示した略図である。 図６（ａ）、（ｂ）は、路面上の点の、ハフ空間における理想のハフ直線群と、実際のハフ直線群をそれぞれ示した図である。 群分け及び簡素化処理前後のハフ直線群の比較図であり、図７（ａ）は、群分け及び簡素化処理前の元ハフ直線群を表し、図７（ｂ）は、群分け及び簡素化処理後のハフ直線群を表した図である。 図８（ａ）、（ｂ）は、本発明の１実施例における抽出したハフ変換線分と、水平面の対応線間の距離算出図、及び最後に選択した路面線分の略図である。 本発明の１実施例における路面検知方法２０００の全体フローチャートである。 本発明の１実施例におけるＶ視差図のフィルタによる、路面候補点の選択方法のフローチャートを例示した図である。 フィルタ前後のＶ視差図を示し、図１１（ａ）は、フィルタ前のＶ視差図、図１１（ｂ）は、フィルタ後のＶ視差図である。 本発明の第３実施例における路面検知方法のフローチャートである。 図１３（ａ）、（ｂ）は、Ｖ視差図から検知された路面線分、及び元視差図に逆写像された対応路面を示した図である。 図１４（ａ）、（ｂ）は、本発明の実施例における限定されたハフ変換路面検知と、従来の最小二乗法検知及び従来のハフ変換検知を、２つの路面シーンに適用した場合の路面検知実験結果の比較図である。 図１５（ａ１）、（ｂ１）、（ｃ１）、（ａ２）、（ｂ２）、（ｃ２）は、元白黒階調画像、従来の検知方法による検知路面の元視差図における表れ、本発明の実施例における限定されたハフ変換方法による検知路面の元視差図における表れの比較図である。ここで、図１５（ａ１）が、元白黒階調画像、（ｂ１）が、従来の検知方法による検知路面の元視差図における表れ、（ｃ１）が、本発明の実施例における限定されたハフ変換方法による検知路面の元視差図における表れを示し、図１５（ａ２）が、元白黒階調画像、（ｂ２）が、従来の検知方法による検知路面の元視差図における表れ、（ｃ２）が、本発明の実施例における限定されたハフ変換方法による検知路面の元視差図における表れを示している。 本発明の１実施例における路面検知装置のブロック図である。 本発明の実施例における路面検知システムのハードウェア配置の概念図である。

当業者の本発明へのより容易な理解のために、以下、図面と具体的な実施形態により、本発明をさらに詳細に説明する。なお、本発明の要点との混同を避けるために、当該分野に公知の技術については、詳細な説明を割愛する。

以下の順で説明を行う。

１、基本概念の紹介
２、路面検知方法の第１の実施例
２．１、路面検知方法の全体フロー
２．２、例１：ハフ変換の累積空間の限定
２．３、例２：ハフ変換の変換範囲の限定
２．４、例３：ハフ変換の累積重みの設定
２．５、例４：ハフ直線群の群分け
２．６、例５：ハフ直線群の簡素化
２．７、例６：水平距離に基づくハフ直線の抽出
３、路面検知方法の第２の実施例
４、路面検知方法の第３の実施例
５、路面検知装置
６、システムのハードウェア配置
７、まとめ
＜１、基本概念の紹介＞
以下、理解の便宜上、基本概念について説明する。

視差は、実際に、１基線の両端から同一の遠隔物体へそれぞれ直線を引いた場合に２直線間の夾角を指している。通常は、一定間隔の２つの点から同一のターゲットを観察したときに生じる方向差を指している。ターゲットからみて、２つの点の間の夾角が、該２点の視差角となり、２点間の距離が、基線となる。視差角と基線の長さが分かれば、ターゲットと観察者間の距離が求められる。

視差図（disparity map）は、任意の１画像を基準画像に、サイズが該基準画像のサイズで、要素値が視差値となる画像である。視差値は、シーンの距離情報が含まれている。視差図は、双眼カメラで撮像された左画像と右画像から算出されてもよく、或いは、立体図における奥行図から算出されてもよい。

通常の２次元視差図における１点の座標は、（u、v）で表すことができ、ここで、uは、横座標、vは、縦座標であり、点（u、v）における画素の画素値は、ｄ（u、v）で表され、該点（u、v）における視差を表している。

理解の便宜上、イメージ的に、Ｖ視差図は、視差図の側面図と見なすことができ、Ｕ視差図は、視差図の俯瞰図と見なすことができる。Ｖ視差図における任意の１点（ｄ、ｖ）の階調値は、対応視差図の縦座標がｖの行における視差値ｄとなる点の数である。

ハフ変換：極座標形式において、１データ点を通る１直線は、角度θと距離ρにより、ρ＝ｘｃｏｓθ+ｙｓｉｎθと表され、ハフ変換の目的は、点の通過が最多となる１直線のパラメータρ、θを見つけることである。画像中の１点がパラメータ空間中の１曲線に対応し、画像中の１直線が、パラメータ空間中の１点に対応している。画像上の全点に対してハフ変換を行い、パラメータ空間中の曲線交差が最多となる点が、最終の検知対象の直線に対応するものとなる。このため、本発明においては、ハフパラメータ空間における、空間中の各点を通る曲線数を累積していることから、ハフパラメータ空間を累積空間と称することもある。なお、ハフパラメータ空間における曲線の交差が最も多い点を検索する必要があることから、ハフパラメータ空間を検索空間と称することもある。本文においては、特別な区分がない限り、ハフパラメータ空間と、累積空間と、検索空間は、互換的な使用が可能である。

＜２、路面検知方法の第１の実施例＞
図１は、本発明への理解を容易にするための、本発明の適用環境の例となる、車載システムの略図である。本発明のソフトウェアまたはハードウェアは、車載システムにおける道路検知部として実現することができる。

２．１、路面検知方法の全体フロー
図２は、本発明の第１の実施例における路面検知方法１０００の全体フローチャートである。

ステップＳ１１００においては、路面を含むV視差図を取得する。双眼カメラ、多眼カメラ、ステレオカメラによる撮像から、路面を含む視差図が算出され、視差図からＶ視差図に変換されてもよく、或いは、立体図から奥行図が得られ、奥行図から視差図が得られ、視差図からＶ視差図に変換されてもよい。

図３（ａ）は、車載ステレオカメラで撮像された道路領域の視差図を例示し、図３（ｂ）は、図３（ａ）に示された視差図から変換されたＶ視差図を例示した図である。

前述の場合は、視差図を取得してから、視差図からＶ視差図を取得しているが、これは１例に過ぎず、例えば、双眼カメラで撮像された画像への処理や算出により、Ｖ視差図を直接取得してもよい。

なお、１実施例においては、視差図やＶ視差図に対して、ノイズ除去処理を施してもよい。

ステップＳ１２００において、Ｖ視差図から線分を路面として取得し、ここでは限定されたハフ変換による路面線分の推定を行う。

１実施例においては、Ｖ視差図から線分を路面として抽出することにおいて、視差の大小順に、即ち、（車両に搭載されたカメラに対して）近距離から遠距離順に、Ｖ視差図から路面となる線分を抽出し、ここで、該線分は、限定されたハフ変換による推定から得られ、前線分で推定された直線パラメータにより、次線分の初期直線パラメータを限定することを含んでもよい。

Ｖ視差図からの線分抽出による路面のシミュレーションについては、発明者のユ ガンメイらによる出願番号ＣＮ２０１１１０４３４８７３.Ｘの中国特許出願における技術内容を参照することができる。ここでは、引用によりその全文をここに盛り込むことにする。

図４は、本発明の１実施例における近視野、中視野、遠視野の３つの線形線分から構築された路面モデルの略図である。ここで、該図及び該図に類似した本発明の他のＶ視差図においては、座標原点が左上コーナーに位置し、横軸が視差を表し、左右方向に延伸しており、縦軸が高さＶを表し、上下方向に延伸している。

本発明の１実施例においては、該線分型路面モデルは、近、中、遠の３つの部分に分けられ、それぞれ近距離（或いは、近視野）、中距離（或いは、中視野）、遠距離（或いは、遠視野）にある路面形状を表している。該実施例のモデルにおいては、各路面線分の長さは適応的なものであり、例えば、ある区間における該線分上の点の数を検出することにより、路面線分の長さを決定し、これにより、より一層検知精度が向上するとともに、それぞれの道路タイプへの適応性が強くなる。

ここで、本発明の実施例における路面検知アルゴリズムは、線分型路面モデルに基づくものであるが、これは、路面モデルが必ずしも線分型であることを示すものではなく、例えば、場合によっては、２次曲線モデルを構築してもよく、このときは、画像から２次曲線を検出することになる。路面は、上り坂や、下り坂が存在するなど、常に平坦とは限らないことから、路面の側面の外形は、曲線形式となるのである。しかし、曲線モデルを直接用いて路面を記述すると、算出量が膨大で、かつノイズの影響を受け易いため、本発明の実施例においては、線分型道路モデルを用いることにより、より迅速でかつロバストな路面検知が可能になる。

前述のように、従来技術には、ハフ変換を用いたＶ視差図からの線分抽出による平面推定の技術が提案されているが、前述のように、発明者は、簡単なハフ変換の直接利用によるＶ視差図からの線分抽出は、一つ目の問題として、ハフ変換空間全体で変換及び累積を行う必要があるため、計算量が膨大で、実行速度が遅くなること、二つ目の問題として、路辺のガードレール、用水路等のノイズ影響を受け易いこと等、多くの問題が存在していることを見出した。本発明は、少なくともある程度、このような問題や不十分さを解決するために、各種限定されたハフ変換による複雑環境中の路面推定方法を提供している。簡単なハフ変換による路面推定方法は、同一の発明者の陳超らの出願番号ＣＮ２０１２１０１９４０７４.４の発明特許出願から得ることができ、ここでは、引用により、その全文をここに盛り込むことにする。

以下、制限されたハフ変換による路面線分の推定の各例を説明する。

＜２．２、例１：ハフ変換の累積空間の限定＞
１実施例においては、先験知識により、ハフ変換の累積空間（検索空間）を限定することができる。

１実施例において、路面のＶ視差図は、車両上に固定したステレオカメラから撮像された立体画像から得られる。例えば、双眼カメラが車両の上部に装着され、左右画像が撮像されて視差図が得られる。このような視差図から変換されＶ視差図が得られる。

このため、撮像手段のパラメータにより、実際の３Ｄ環境中の路面の、Ｖ視差図に写像された領域範囲及び傾斜角範囲を決定することができる。

撮像手段のパラメータは、内パラメータと外パラメータを有する。撮像手段の外パラメータは、たとえば、撮像手段から路面までの高さ、双眼カメラの場合の左右カメラ中心点の距離、画像面の路面との夾角等がある。撮像手段の内パラメータは、例えば、カメラの焦点距離等がある。このような先験知識を用いて、当業者は数学演算により、路面のＶ視差図中の検知領域及び路面直線の傾斜角範囲を決定することができる。即ち、Ｖ視差図中の路面線分の極座標形式ρ＝ｘｃｏｓθ+ｙｓｉｎθにおけるρとθの値範囲を決定することができる。これにより、前記パラメータの値範囲により、ハフ変換の累積空間（即ち、検索空間）を限定することができる。

図５は、ハフ変換の累積空間が、１つの小領域内に限定された例を示した略図であり、ここで、ハフ変換の累積空間は、点線の矩形で示されたような領域内に限定されている。

なお、本発明の他の実施例においては、追跡情報により、ハフ変換の累積空間を限定することができる。理由としては、車両の連続走行中、路面の突然変化は生じないことから、該アルゴリズムは、履歴情報（例えば、前の１つのフレームないし前の複数のフレーム）を、追跡情報として用いて、次のフレームの検知パラメータ（角度及び距離）の推定を行うことができる。

前述の本発明の実施例における先験情報、及び/または履歴情報による、ハフ変換の検索空間の有効な縮小が可能になり、ノイズ干渉の除去とともに、処理時間の低減が可能になる。

＜２．３、例２：ハフ変換の変換範囲の限定＞
１実施例においては、限定ハフ変換の変換範囲により、変換工程を加速させることができる。

前述のように、実際の路面のＶ視差図における対応線分の、ハフ変換による極座標関数は、下記の式のようになる。

ρ＝ｘ・ｃｏｓ（θ）+ｙ・ｓｉｎ（θ）
式中、ｘは、V視差図中の対応線分上の１点の横座標値であり、視差値を表し、ｙは、V視差図中の対応線分上の１点の縦座標値であり、画像座標中の高さを表し、路面に対し、V視差図中の対応線分のパラメータ値が、
を満たし、これにより、
が導き出され、
即ち、実際の路面のV視差図中の極座標関数は、前記パラメータ値範囲内においては、単調減少関数である。これにより、ρ、θの値範囲に基づき、画像中の１画素点のハフ変換時、下記の動作により、変換範囲を制御することができる。

即ち、既知のθにより、ρを検索する形式でハフ変換を行うと仮定すると、θの昇順に、該画素点に対するハフ変換による変換を行う際に、ρが所定のρ値範囲の下限未満であることが分かった場合は、該画素点に対する変換を停止し、次に、V視差図中の次画素点に対し、画像空間からハフ空間への変換を行い、或いは、θの降順に、ハフ変換による変換を行う際に、ρが所定のρ値範囲の上限を超えていることが判明した場合は、該画素点に対する変換を停止し、次に、V視差図中の次画素点に対し、画像空間からハフ空間への変換を行う。

或いは、既知のρにより、θを検索する形式でハフ変換を行うと仮定すると、ρの昇順に、１画素点に対するハフ変換による変換を行う際に、θが所定のθ値範囲の下限未満であることが判明した場合は、該画素点に対する変換を停止し、次に、V視差図中の次画素点に対し、画像空間からハフ空間への変換を行い、或いは、ρの降順に、ハフ変換による変換を行う際に、θが所定のθ値範囲の上限を超えていることが判明した場合は、該画素点に対する変換を停止し、次に、V視差図中の次画素点に対し、画像空間からハフ空間への変換を行うようにする。

以上から分かるように、本発明の該実施例においては、実際の路面のＶ視差図中の極座標関数が前述のパラメータ値範囲内では単調減少関数である特性を用いることで、写像工程の加速化、及び処理時間の低減が可能になる。

＜２．４、例３：ハフ変換の累積重みの設定＞
１実施例においては、Ｖ視差図における画素点の強度値により、ハフ変換のパラメータ空間における該画素点に対応する曲線の累積重み値を設定することができる。

前述のように、Ｖ視差図における画素点の強度値は、元視差図における同一のｙ座標と視差値を有する点の累積数を表している。本発明の実施例による路面検知においては、ノイズ点が比較的に分散していることから、その累積値が比較的に小さく、即ち、Ｖ視差図に現れる強度が比較的に低くなる一方、路面点は集中していることから、その累積値が比較的に大きく、即ち、Ｖ視差図に現れる強度強度値が比較的に高くなっている。このため、本発明の実施例においては、強度値をハフ変換の累積重みとして設定することにより、有効な路面点の変換における重要性を強調し、検知精度を向上することができる。

＜２．５、例４：ハフ直線群の群分け＞
図６（ａ）、（ｂ）は、路面上の点の、ハフ空間における理想のハフ直線群と、実際のハフ直線群をそれぞれ示した図である。

理想の場合、３次元世界中の平坦路面は、図６（ａ）に示されたように、Ｖ視差図で厳格な１つの直線として現れるが、実際の場合、３次元世界中の平坦路面は、Ｖ視差図で厳格な１つの直線として現れることなく、略１つの直線に位置することとなる。また、ノイズ干渉の要素を考慮すると、路面のＶ視差図における点で写像されるハフ直線群は、厳格にハフパラメータ空間中の１点を通るものではなく、図６（ｂ）に示されたように、１つの小領域を通るものである。

この場合、通常のハフ変換におけるハフパラメータ空間中の重み曲線の交差の累積値が最大となる幾つかの点を統計すると、下記の問題が生じるおそれがある。即ち、ハフパラメータ空間に比較的に重み値の大きい孤立した曲線や、交差した若干のまばらな曲線（例えば、路面環境中の用水路に当たる）が存在すると、該孤立した曲線や、若干のまばらな曲線の累積値が比較的に大きく、路面のハフパラメータ空間における対応直線群は、厳格に１点で交差するのではなく、図６（ｂ）中の点線の矩形フレーム内の集合として表されるため、実際の路面を表すハフパラメータ空間中の点（図６（ｂ）中の点線矩形フレーム内）の累積値が、該孤立した曲線や、若干のまばらな曲線を超える、十分に高い累積値でない可能性があり、これにより、実際の路面を表すハフパラメータ空間中の点（図６（ｂ）中の点線矩形フレーム内）が選択されないおそれがある。

前記問題を解決するために、本発明の１実施例においては、限定されたハフ変換による、路面線分の推定において、第１のウィンドーにより、ハフパラメータ空間を走査し、第１のウィンドー内のハフ曲線の重み値を累積し、累積値をウィンドーの中心にセットし、第２のウィンドーにより、ハフパラメータ空間を走査し、ウィンドー内の累積重み値が最大となる点を検出し、該点を保留するとともに、ウィンドー内の該点以外の他の点は、０にセットする、工程により、ハフパラメータ空間中の１点を略通る直線を収集し、ノイズ低減を実現している。前記第１のウィンドーと第２のウィンドーのサイズは、要求される精度及び路面の実状況に応じて設定されてもよく、学習によって設定されてもよい。

本発明の実施例における前記工程においては、１つの小領域内に集合するハフ直線群が累積（或いは、集合）され、１点として表されることで、選択漏れを防ぐことができる。

＜２．６、例５：ハフ直線群の簡素化＞
ハフパラメータ空間においては、多くのハフ直線群が存在し、ハフ直線群の選出工程が必要となる。

本発明の１実施例においては、全てのハフ累積空間を検索して累積値中の全体の最大値を検出し、該全体の最大値の所定比を動的閾値とする。次に、該動的閾値を用いて、該動的閾値を超えた累積値の直線のみ保留するように、候補のハフ直線群を選出している。

前述の本発明の実施例によるハフ直線群の群分け及び簡素化処理により、大半のノイズ及び弱小体のエッジ（例えば、用水路に該当する部分）は、除去されることになる。

図７は、群分け及び簡素化処理前後のハフ直線群の比較図である。ここで、図７（ａ）は、群分け及び簡素化処理前の元ハフ直線群を表し、図７（ｂ）は、群分け及び簡素化処理後のハフ直線群を表している。

＜２．７、例６：水平距離に基づくハフ直線の抽出＞
実際の３Ｄシーンにおいて、路面は通常、比較的に低い位置にある。写像から得られたＣ視差図において、路面の側面輪郭線は、依然として画像底部に位置することになる。通常、路面より低い位置にある物体（例えば、用水路等）は、比較的に弱いことから、例えば、ハフ直線群の群分け及び簡素化等の処理によって除去することができる。

このため、路面の高さ特徴により、ハフ変換で抽出された線分から、比較的にＶ視差図の最下部に位置する線分を路面直線として選択する必要がある。

図８（ａ）、（ｂ）は、本発明の１実施例における抽出したハフ変換線分と、水平面の対応線間の距離算出図、及び最後に選択した路面線分の略図である。

本発明の１実施例においては、路面線分のこのような高さを測定するために、車両上の固定された双眼カメラと同一高さの水平面を取り入れている。投影後、３Ｄ空間中の水平面は、Ｖ視差図中の１直線（以下、水平面の対応線と称される）として写像される。具体的に、双眼カメラの光軸と水平面が平行している（或いは、双眼カメラの水平面に対するアングルが０である）場合は、３Ｄ空間中の水平面は、Ｖ視差図に水平線として表れ、それ以外の場合は、水平線ではなく、アングルによって、上向きに偏るか、下向きに偏るものとなる。

図８（ａ）に示されたように、路面線分と水平面の対応線の２線間の距離を測定するために、水平距離Ｄを取り入れ、例えば、下記式により、水平距離Ｄが定義される。
式中、Ａ、Ｂ、Ｃは、水平面の対応線のパラメータであり、（ｘ１、ｙ１）、（ｘ２、ｙ２）は、ハフ変換から抽出された線分の２端点の座標値であり、λは、重み係数である。

１実施例においては、各ハフ変換から抽出された線分と水平面の対応線間の距離の算出後は、ハフ変換から抽出された線分における、該水平面の対応線の下方で、かつ該水平面の対応線との距離が最大となる線分を、路面として選択することができる。図８（ｂ）は、距離によって選出した路面線分を表している。

前述の２．２〜２．７節で、路面検知応用による、ハフ変換検知路面線分への各種限定例を示したが、各種限定手段は、単独に用いてもよく、複数または全部を組み合わせて用いてもよい。

＜３、路面検知方法の第２の実施例＞
図９は、本発明の１実施例における路面検知方法２０００の全体フローチャートである。

第２実施例の路面検知方法２０００と、第１実施例の路面検知方法１０００との相違点は、ステップＳ２１１０が追加されたことになる。ステップＳ２１００及びステップＳ２２００に関しては、図１を参照して説明したステップＳ１１００及びステップＳ１２００を参考することができ、ここでは重複説明は割愛する。

図９に示されたように、ステップＳ２１１０において、Ｖ視差図をフィルタして路面候補点を選出する。

処理なしにＶ視差図に対してハフ変換による線分抽出を行うと、ノイズが非常に多くなり、検知結果が不正確になるとともに、計算量も膨大となる。

本発明の１実施例においては、Ｖ視差図をフィルタして路面候補点を選出することにより、無効点の除去、計算効率の向上、及びノイズ干渉の防止を可能にする。

図１０は、本発明の１実施例におけるＶ視差図のフィルタによる、路面候補点の選択方法２１１０のフローチャートを例示した図である。

以下、図１０を参照して、本発明の１実施例におけるＶ視差図のフィルタによる、路面候補点の選択方法２１１０について説明する。

図１０に示されたように、ステップＳ２１１１において、Ｖ視差図を入力として受信する。

ステップＳ２１１２において、下方から上方へ各列を走査し、路面候補点を選択する。理由としては、車両、建築物、通行人等は、いずれも路面より高い位置にあり、路面点は通常、写像後に、下部に位置することから、下方から上方の順は、路面の実際の位置特性と一致している。

ステップＳ２１１３において、分類条件に応じて、全画素点が路面点や背景点に分類され、各画素点Ｐｉに関しては、（１）強度値が所定の閾値Ｔ１を超えること；（２）その隣接域内の画素点の数が閾値ＴＮを超えることの、２つの判別基準がある。

該２つの条件に基づき、各列に関し、路面点を保留し、その保留基準としては、各例において、以下の状況に応じて、０個、１個、２個の路面候補点を保留する。

具体的な保留基準としては、
１）１列におけるいずれの点も、判別基準におけるいずれかの条件を満足しない場合は、該列から画素点を選択せず（ステップＳ２１１６）、
２）１列において、下方から上方へ走査した一つ目の点が、判別基準におけるいずれかの条件を満たすとともに、判別基準における２つの条件とも満たす場合は、該列における該点のみ保留し（ステップＳ２１１５）、
３）１列において、下方から上方へ走査した一つ目の点が、判別基準におけるいずれかの条件を満たし、判別基準におけるいずれか１つの条件のみを満足する場合は、該点を保留する以外に、走査を継続し、判別基準におけるいずれかの条件を満たす第２の点を検索し保留する（ステップＳ２１１４）。

ステップＳ２１１７において、保留した全ての路面点を出力或いは保存する。

図１１は、フィルタ前後のＶ視差図を示し、ここで、図１１（ａ）は、フィルタ前のＶ視差図、図１１（ｂ）は、フィルタ後のＶ視差図である。以上から、Ｖ視差図のフィルタ後は、大量の無効点が除去され、少量の有効な路面点のみ保留されることで、計算量を大幅に低減することができる。

＜４、路面検知方法の第３の実施例＞
図１２は、本発明の第３実施例における路面検知方法３０００のフローチャートである。

図１２に示された路面検知方法においては、得られたＶ視差図にフィルタを施し、各種限定されたハフ変換を施すとともに、選択的に、履歴情報による次フレームのＶ視差図中の路面検知の導きも可能である。第３実施例における路面検知方法３０００は、第１実施例の路面検知方法１０００と第２実施例の路面検知方法２０００の最適な組み合わせ例とみなすことができる。

具体的に、ステップＳ３１００において、路面を含むＶ視差図を取得し、該ステップの動作は、第１実施例におけるステップＳ１１００を参考することができる。

ステップＳ３１１０において、得られたＶ視差図へのフィルタ処理により、路面候補点を選択し、該ステップの動作は、第２実施例中のステップＳ２１１０を参考することができる。

ステップＳ３２１０において、前述の第２．２節で説明したように、ハフ変換の累積空間を限定する。

ステップＳ３２２０において、前述の第２．３節で説明したように、ハフ変換の変換範囲を制限する。

ステップＳ３２３０において、前述の第２．４節で説明したように、ハフ変換の検索空間中の曲線の累積重みを設定する。

ステップＳ３２４０において、前述の第２．５節で説明したように、ハフ直線群の群分けを行い、ハフパラメータ空間中の１点を略通る直線を集合し、ノイズを低減する。

ステップＳ３２５０において、前述の第２．６節で説明したように、ハフ直線群の簡素化、もしくは選出を行う。

ステップＳ３２６０において、前述の第２．７節で説明したように、各簡素化されたハフ直線の水平面対応線との距離により、底部に位置する直線を判断するとともに、判定した底部に位置する直線を路面直線として選択する。

ステップＳ３２７０において、検出した路面線分を出力する。該ステップの出力動作においては、簡単にＶ視差図に出力及び表示することができる。或いは、Ｖ視差図から視差図に逆変換し、視差図に表示することができ、ひいては階調画像に対応付け、階調画像により直観的な路面表示を行うことができる。図１３は、Ｖ視差図から検知された路面線分、及び元視差図に逆写像された対応路面を示した略図であり、図１３（ａ）が、Ｖ視差図から検知された路面線分の略図を示し、図１３（ｂ）が、該Ｖ視差図における路面線分が元視差図に逆写像された対応路面を示した略図である。なお、図１３（ａ）における３つの縦線は、近視野、中視野、遠視野を表す３つの線形線分（以降の図１４（ａ）、（ｂ）における３つの縦線も同様である）を分割するためのものである。

なお、図１２の破線で表されたフロー方向に示されたように、本発明の限定されたハフ変換路面線分の抽出による、次フレームの路面検知の追跡を選択的に行ってもよい。具体的に、例えば、現フレームのＶ視差図から路面線分を検知後は、ステップＳ３３００において、次フレームのＶ視差図を取得し、ステップＳ３１１０に戻る。異なる点としては、以降の各ハフ変換の制限が、ステップＳ３２１０〜Ｓ３２６０に追加されることであり、関連パラメータは、前フレーム処理結果として得られたパラメータを参考することができる。例えば、第ｎフレームにおいて、路面線分のパラメータρｎ、θｎが得られた場合は、車両走行中に路面の突然変化が生じないことを考えて、ステップＳ３２１０において、ハフ変換の累積空間を、ρｎ±Δρ、θｎ±Δθで定められた範囲に限定することができる。

図１４は、本発明の実施例における限定されたハフ変換路面検知と、従来の最小二乗法検知及び従来のハフ変換検知を、２つの路面シーンに適用した場合の路面検知実験結果の比較図である。図１４（ａ）においては、紙面方向に、上方から下方の３つの線分が、それぞれ、最小二乗法、従来のハフ変換、本発明の限定されたハフ変換で検知された路面直線である。図１４（ｂ）においては、紙面方向に、上方から下方の３つの線分が、それぞれ、従来のハフ変換、最小二乗法、本発明の限定されたハフ変換で検知された路面直線である。本発明の実施例における限定されたハフ変換による路面直線検知方法は、最小二乗法と従来のハフ変換に比べて、より正確な路面検知が可能になり、最下部の点に対応する直線（本例においては、用水路に対応）を路面直線とすることも、上部の点に対応する直線（本例においては、ガードレールに対応）を路面直線とすることもなく、比較的に下部に位置する路面の適切な検出が可能である。

直観的な比較のために、Ｖ視差図から検知した路面線分により、Ｖ視差図における路面点を決定し、これらの点を元視差図に逆写像（還元）してもよい。具体的に、検知したＶ視差図における路面線分（例えば、ｙ＝ｋｄ+ｂ）により、任意の距離（或いは、視差）ｄに対し、対応する路面高さ（画像座標中の）を算出することにより、元視差図における、該高さと距離の箇所に位置する全ての路面点を決定することができる。図１５は、元白黒階調画像、従来の検知方法による検知路面の元視差図における表れ、本発明の実施例における限定されたハフ変換方法による検知路面の元視差図における表れの比較図である。ここで、図１５（ａ１）が、元白黒階調画像、（ｂ１）が、従来の検知方法による検知路面の元視差図における表れ、（ｃ１）が、本発明の実施例における限定されたハフ変換方法による検知路面の元視差図における表れを示している。同様に、図１５（ａ２）が、元白黒階調画像、（ｂ２）が、従来の検知方法による検知路面の元視差図における表れ、（ｃ２）が、本発明の実施例における限定されたハフ変換方法による検知路面の元視差図における表れを示している。図１５（ｂ１）から、従来のハフ変換路面検知では、車両（矩形フレーム内の部分で示されたように）が除去されていないことが分かり、図１５（ｃ１）から、本発明の実施例における限定されたハフ変換による路面検知結果では、車両が除去されていることが分かる。同様に、図１５（ｂ２）から、従来のハフ変換路面検知では、ガードレール（矩形フレーム内の部分で示されたように）が除去されていないことが分かり、図１５（ｃ２）から、本発明の実施例における限定されたハフ変換による路面検知結果では、ガードレールが除去されていることが分かる。なお、図１５（ｃ１）に示されたように、本発明の実施例における限定されたハフ変換による路面検知結果では、道路標識ラインが保留されている。また、図１５（ｃ２）に示されたように、本発明の実施例における限定されたハフ変換による路面検知結果では、路面が強調されている。

前述の第１、第２、第３実施例の、限定されたハフ変換路面検知方法によれば、ノイズ除去、算出量の低減、より適切な路面点の処理、及び路面の強調が可能になり、より正確な路面検知が可能になる。

本発明の実施例における、路面検知方法は、正確な路面の検知が可能になることから、以降の検知及び識別において、路面の高さによる、非対象の物体と非道路の領域の除去が可能になる。

より具体的には、１実施例においては、追跡情報及び/または先験知識から、ハフ変換の累積空間を限定し、ノイズの除去、データ量の低減を可能にする。

他の実施例によれば、ハフ変換の変換範囲を限定することで、変換工程を加速させることができる。

他の実施例によれば、アルゴリズムの精度を向上することができる。

他の実施例によれば、ハフ直線群の群分けと簡素化により、検知の適応性とロバスト性を向上することができる。

さらに他の実施例によれば、水平面距離による路面直線の選出により、ガードレール、用水路等のノイズの影響を減らすことができる。

さらに他の実施例によれば、Ｖ視差図をフィルタして、路面候補点を選出することにより、ノイズの影響を減らし、算出量を大幅に低減することができる。

＜５、路面検知装置＞
図１６は、本発明の１実施例における路面検知装置４０００のブロック図である。

図１６に示されたように、路面検知装置４０００は、路面を含むV視差図を取得するV視差図取得部４１００と、V視差図から線分を路面として抽出する路面線分抽出部４２００と、を備え、路面線分抽出部４２００は、限定されたハフ変換により、路面線分を推定する。

＜６、システムのハードウェア配置＞
本発明は、さらに、路面検知システムとして実施されてもよい。図１７は、本発明の実施例における路面検知システムのハードウェア配置の概念図である。図１７に示されたように、路面検知システム６０００は、外部から、例えば双眼カメラで撮像された左右画像、ステレオカメラで撮像された立体映像等のような処理すべき画像を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等の入力装置６１００と、前述の本発明の実施例による路面検知方法を実施するための、或いは、路面知装置として実施される、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等の、例えば、インターネットのネットワーク（未図示）に接続可能な、処理工程のニーズに応じたネットワークからの左右画像等のデータ取得が可能な処理装置６２００と、外部へ前述の路面検知工程から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置６３００と、揮発或いは不揮発形式にて、前記検知工程における画像、得られた結果、命令、中間データ等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスクや、半導体メモリ等の各種揮発または不揮発性メモリ等の記憶装置６４００を有する。

＜７、まとめ＞
以上、本発明の実施例による路面検知方法及び路面検知装置について説明した。

本発明の一の態様においては、該路面検知方法が、路面を含むV視差図を取得し、V視差図から線分を路面として抽出する路面検知方法であって、V視差図から線分を路面として抽出する工程は、限定されたハフ変換により、路面線分を推定することを含んでもよい。

前記路面を含むV視差図は、車両上に固設されたステレオカメラで撮像された立体画像から得られ、実際の３D環境中の路面がV視差図に写像された領域範囲及び傾斜角の範囲は、撮像手段のパラメータにより決められる。ここで、限定されたハフ変換により、路面線分を推定する工程においては、３D環境中の路面がV視差図に写像された領域範囲及び傾斜角の範囲により、実際の路面のV視差図中の対応線分の、ハフ変換のパラメータ空間におけるパラメータ値範囲が決められるようにしてもよい。これにより、先験知識からハフ変換の累積空間を限定し、ノイズの除去、データ量及び算出量の低減を可能にする。

他の実施例においては、現フレームの路面線分への検知結果から、次フレームの路面線分の検知のための予測を提供し、例えば、次フレームに関するハフ変換の累積空間を限定することにより、ノイズの除去、データ量及び算出量の低減を可能にする。

さらに他の実施例においては、実際の路面のV視差図中の対応線分の、ハフ変換による極座標関数が、以下の式で表され、
式中、ｘは、V視差図中の対応線分上の１点の横座標値であり、視差値を表し、ｙは、V視差図中の対応線分上の１点の縦座標値であり、画像座標中の高さを表し、路面に対し、V視差図中の対応線分のパラメータ値が、
を満たし、これにより、
が導き出され、
前記パラメータ値範囲内における、V視差図中の実際の路面の極座標関数は、単調減少関数であることから、ρ、θの値範囲に依存し、
θの昇順に、１画素点に対してハフ変換による変換を行う際に、ρが所定のρ値範囲の下限未満である場合は、該画素点に対する変換を停止し、その後、V視差図中の次画素点に対し、画像空間からハフ空間への変換を行い、或いは、θの降順に、１画素点に対してハフ変換による変換を行う際に、ρが所定のρ値範囲の上限を超えた場合は、該画素点に対する変換を停止し、その後、V視差図中の次画素点に対し、画像空間からハフ空間への変換を行い、或いは、
ρの昇順に、１画素点に対してハフ変換による変換を行う際に、θが所定のθ値範囲の下限未満である場合は、該画素点に対する変換を停止し、その後、V視差図中の次画素点に対し、画像空間からハフ空間への変換を行い、或いは、ρの降順に、１画素点に対してハフ変換による変換を行う際に、θが所定のθ値範囲の上限を超えた場合は、該画素点に対する変換を停止し、その後、V視差図中の次画素点に対し、画像空間からハフ空間への変換を行ってもよい。

前記実施例によれば、ハフ変換の変換範囲を限定することで、変換工程を加速させることができる。

さらに他の実施例においては、限定されたハフ変換により、路面線分を推定する工程において、V視差図中の画素点の強度値により、ハフ変換のパラメータ空間中の該画素点に応じた曲線の累積重みが設定されるようにしてもよい。これにより、アルゴリズムの精度を向上することができる。

さらに他の実施例においては、限定されたハフ変換により、路面線分を推定する工程において、第１のウィンドーにより、ハフパラメータ空間を走査し、第１のウィンドー内のハフ曲線の重み値を累積し、累積値を第１のウィンドーの中心にセットし、第２のウィンドーにより、ハフパラメータ空間を走査し、第２のウィンドー内の累積重み値が最大となる点を検出して該点のみを保留し、第２のウィンドー内の該点以外の他の点を０にセットする、工程により、ハフパラメータ空間中の１点を略通る直線を収集し、ノイズを低減するようにしてもよい。前述の動作により、ハフ直線群と称される群分けを直観することができ、検知の適応性とロバスト性を向上し、ガードレール、用水路等のノイズの影響を減らすことができる。

限定されたハフ変換により、路面線分を推定する工程において、さらに、全てのハフ累積空間を検索して累積値中の全体の最大値を検出し、該全体の最大値の所定比を動的閾値として、該動的閾値を超えた累積値の直線のみ保留するように、候補のハフ直線群を選出するようにしてもよい。これにより、検知の適応性とロバスト性を向上し、ガードレール、用水路等のノイズの影響を減らすことができる。

１つの実施例において、路面検知方法は、ハフ変換により抽出された線分から、Ｖ視差図の最下部の位置にある線分を路面として選択する工程をさらに含んでもよく、該工程は、Ｖ視差図における実際の３Ｄ環境中の双眼カメラの高さと同一の水平面に対応する水平面の対応線を取得し、下記式により、ハフ変換から抽出した線分と該水平面の対応線との間の距離を測定し、
（式中、Ａ、Ｂ、Ｃは、水平面の対応線のパラメータであり、（ｘ１、ｙ１）、（ｘ２、ｙ２）は、ハフ変換により抽出された線分の２端点の座標値であり、λは、重み係数である）

ハフ変換により抽出された線分における、該水平面の対応線の下方にあり、かつ該水平面の対応線との距離が最大となる線分を、路面として選択する、ことにより行われる。これによって、ガードレール等のノイズの影響を減らすことができる。

さらに、限定されたハフ変換により路面線分を推定する前に、Ｖ視差図をフィルタして路面候補点を選出する工程が、１）下方から上方へ各列を走査し、各画素点が、条件１としての、画素点の強度値が所定の強度閾値を超えることと、条件２としての、画素点の隣接域内の画素点の数が所定の数閾値を超えることの、少なくとも２つの条件を満足した否かを判断し、２）１列に条件１又は条件２を満足する画素点が存在しない場合は、該列から画素点を選択せず、３）１列において、下方から上方へ走査した一つ目の画素点が、前記２つの条件のうちの１つの条件を満たすとともに、該２つの条件のうちのもう１つの条件も満たす場合は、該列の走査を中止するとともに、該列における該画素点のみ保留し、４）１列において、下方から上方へ走査した一つ目の画素点が、前記２つの条件のうちの１つの条件を満たし、該２つの条件のうちのもう１つの条件は満たさない場合は、該画素点を保留するとともに、走査を継続し、前記２つの条件のうちの任意の１つの条件を満たす所定数の画素点を検索し保留する、工程により行われるようにしてもよい。該Ｖ視差図をフィルタして、路面候補点を選出する工程により、ノイズの大幅な除去が可能になり、算出量を低減することができる。

本発明の他の態様においては、路面を含むV視差図を取得するV視差図取得部と、V視差図から線分を路面として抽出する路面線分抽出部と、を備えた路面検知装置であって、前記路面線分抽出部は、限定されたハフ変換により、路面線分を推定することを含むようにしてもよい。

本発明の実施例の説明は、例示的なものに過ぎず、当業者は、ニーズに応じた変化、代替や、組合せが可能である。

前述では、視差図からＶ視差図を算出しているが、Ｖ視差図は、例えば、双眼カメラ、多眼カメラ、ステレオカメラのような特殊カメラで撮像された左右画像から直接求められるか、或いは、立体図における奥行図から直接求められてもよいことがわかる。

なお、前述の実施例においては、車が前方行進し、双眼カメラにより車の前方シーンを撮像する場合を示したが、本発明は、同様に、車が後進し、双眼カメラにより車の後方シーンを撮像する場合にも適用することができる。ただし、この場合に検知されるのは、車の後方の路面となる。

以上、具体的な実施例により、本発明の基本原理を説明したが、本発明の方法及び装置の全て、或いは任意のステップや部材は、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せにより実現可能であり、本発明の説明のもと、基本プログラミング技能を用いて実現可能であることは、当業者が理解できる。

このため、本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行して実現できる。前記演算装置は、公知の汎用装置でもよい。このため、本発明の目的は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。換言すると、このようなプログラム製品も本発明をなし、このようなプログラム製品を記録した記録媒体も本発明をなすことになる。もちろん、前記記録媒体は、任意の公知の記録媒体や、将来開発し得る任意の記録媒体でもよい。

ここで、本発明の装置及び方法において、各部材や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と等価の発明と見なされるべきである。なお、前記系列処理の実行ステップは、自然に説明順、時間順に行うことができるが、必ずしも一定の時間順に行われる必要はなく、あるステップは、並行して、或いは互いに独立して行われてもよい。

本発明の保護範囲は、前述の具体的な実施形態に制限されるものではなく、当業者が、設計要求や他の要素に応じて、多種多様な補正、組み合わせ、サブ組み合わせや、代替が可能であることは言うまでもない。本発明の精神と原則を逸脱しない範囲内のいずれの修正、同等の代替や、改善等は、すべて本発明の保護範囲内のものとなるべきである。

ＥＰ７６２３２６Ｂ１

「U-V-Disparity based Obstacle Detection with ３D Camera and Steerable Filter」, Y.Gao, X.Ai, Y.Wang, J.Rarity and N.Dahnoun, ２０１１ IEEE Intelligent Vehicles Symposium

Claims (4)

1. 路面を含むV視差図を取得し、
   V視差図から線分を路面として抽出する路面検知方法において、
   V視差図から線分を路面として抽出する工程は、限定されたハフ変換により、路面線分を推定することを含み、
   前記路面検知方法は、ハフ変換により抽出された線分から、Ｖ視差図の最下部の位置にある線分を路面として選択する工程をさらに含み、該工程は、
   Ｖ視差図における実際の３Ｄ環境中の双眼カメラの高さと同一の水平面に対応する水平面の対応線を取得し、
   下記式により、ハフ変換から抽出した線分と該水平面の対応線との間の距離を測定し、
   （式中、Ａ、Ｂ、Ｃは、水平面の対応線のパラメータであり、（ｘ１、ｙ１）、（ｘ２、ｙ２）は、ハフ変換により抽出された線分の２端点の座標値であり、λは、重み係数である）
   ハフ変換により抽出された線分における、該水平面の対応線の下方にあり、かつ該水平面の対応線との距離が最大となる線分を、路面として選択する、ことにより行われる、路面検知方法。
2. 路面を含むV視差図を取得し、
   V視差図から線分を路面として抽出する路面検知方法において、
   V視差図から線分を路面として抽出する工程は、限定されたハフ変換により、路面線分を推定することを含み、
   前記路面検知方法は、限定されたハフ変換により路面線分を推定する前に、Ｖ視差図をフィルタして路面候補点を選出する工程をさらに含み、該工程は、
   １）下方から上方へ各列を走査し、各画素点が、条件１としての、画素点の強度値が所定の強度閾値を超えることと、条件２としての、画素点の隣接域内の画素点の数が所定の数閾値を超えることの、少なくとも２つの条件を満足した否かを判断し、
   ２）１列に条件１又は条件２を満足する画素点が存在しない場合は、該列から画素点を選択せず、
   ３）１列において、下方から上方へ走査した一つ目の画素点が、前記２つの条件のうちの１つの条件を満たすとともに、該２つの条件のうちのもう１つの条件も満たす場合は、該列の走査を中止するとともに、該列における該画素点のみを保留し、
   ４）１列において、下方から上方へ走査した一つ目の画素点が、前記２つの条件のうちの１つの条件を満たし、該２つの条件のうちのもう１つの条件は満たさない場合は、該画素点を保留するとともに、走査を継続し、前記２つの条件のうちの任意の１つの条件を満たす所定数の画素点を検索し保留する、工程により行われる、路面検知方法。
3. 路面を含むV視差図を取得するV視差図取得部と、
   V視差図から線分を路面として抽出する路面線分抽出部と、を備えた路面検知装置において、
   前記路面線分抽出部は、限定されたハフ変換により、路面線分を推定し、
   前記路面検知装置は、ハフ変換により抽出された線分から、Ｖ視差図の最下部の位置にある線分を路面として選択する手段をさらに含み、該手段は、
   Ｖ視差図における実際の３Ｄ環境中の双眼カメラの高さと同一の水平面に対応する水平面の対応線を取得し、
   下記式により、ハフ変換から抽出した線分と該水平面の対応線との間の距離を測定し、
   （式中、Ａ、Ｂ、Ｃは、水平面の対応線のパラメータであり、（ｘ１、ｙ１）、（ｘ２、ｙ２）は、ハフ変換により抽出された線分の２端点の座標値であり、λは、重み係数である）
   ハフ変換により抽出された線分における、該水平面の対応線の下方にあり、かつ該水平面の対応線との距離が最大となる線分を、路面として選択する、路面検知装置。
4. 路面を含むV視差図を取得するV視差図取得部と、
   V視差図から線分を路面として抽出する路面線分抽出部と、を備えた路面検知装置において、
   前記路面線分抽出部は、限定されたハフ変換により、路面線分を推定し、
   前記路面検知装置は、限定されたハフ変換により路面線分を推定する前に、Ｖ視差図をフィルタして路面候補点を選出する手段をさらに含み、該手段は、
   １）下方から上方へ各列を走査し、各画素点が、条件１としての、画素点の強度値が所定の強度閾値を超えることと、条件２としての、画素点の隣接域内の画素点の数が所定の数閾値を超えることの、少なくとも２つの条件を満足した否かを判断し、
   ２）１列に条件１又は条件２を満足する画素点が存在しない場合は、該列から画素点を選択せず、
   ３）１列において、下方から上方へ走査した一つ目の画素点が、前記２つの条件のうちの１つの条件を満たすとともに、該２つの条件のうちのもう１つの条件も満たす場合は、該列の走査を中止するとともに、該列における該画素点のみを保留し、
   ４）１列において、下方から上方へ走査した一つ目の画素点が、前記２つの条件のうちの１つの条件を満たし、該２つの条件のうちのもう１つの条件は満たさない場合は、該画素点を保留するとともに、走査を継続し、前記２つの条件のうちの任意の１つの条件を満たす所定数の画素点を検索し保留する、路面検知装置。