JP6221371B2 - 路面検知方法及び路面検知装置 - Google Patents

Description

本発明は、画像処理に関し、特に、路面検知方法及び装置に関する。

運転支援システムの応用が普及してきている。道路や車道検知警告システム(Lane/Road detection warning, LDW/RDW)は、運転支援システムのサブシステムであり、このようなシステムにより、衝突を防ぎ、より正確な運転方向等の特定が可能になる。道路検知は、LDW/RDWシステムにおいて、極めて重要なポイントとなるもので、道路情報を把握してはじめて、例えば、警告などの更なる処理が可能になる。

ステレオカメラは、高精度の視差図及び距離画像の取得が可能という長所から、幅広く応用されている。３Ｄ道路シーンを把握する上での１ジョブとして、道路路面の平面検知がある。しかしながら、従来の方法は、複雑な環境に適しておらず、ノイズの干渉を受け易いという問題がある。

非特許文献１（U-V-Disparity based Obstacle Detection with 3D Camera and Steerable Filter, Y.Gao, X.Ai, Y.Wang, J.Rarity and N.Dahnoun, 2011 IEEE Intelligent Vehicles Symposium）には、３Ｄステレオカメラを用いた深度情報の取得により、ＵＶ視差図が得られ、ハフ変換を用いた直線特徴の抽出により、路面検知を行う、路面検知方法が提案されている。

従来の視差図による路面検知方法は、通常、簡単なハフ変換と、簡単な位置特徴や形状特徴のみが用いられるため、複雑な環境へのロバスト性に劣っている。

本発明は、従来技術における前述の問題に鑑みてなされたものであり、複雑な環境における路面検知に適するように、路面検知のロバスト性を向上できる路面検知方法及び路面検知装置を提供することを目的とする。

本発明の１局面においては、路面を含むＶ視差図を取得し、Ｖ視差図から直線を路面として抽出する路面検知方法であって、該Ｖ視差図から直線を路面として抽出する工程において、ハフ変換を用いて、第１直線を第１路面近似として抽出し、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる、路面検知方法が提供される。

本発明の他の局面においては、路面を含むＶ視差図を取得するＶ視差図取得部と、Ｖ視差図から直線を路面として抽出する路面抽出部と、を有する路面検知装置であって、該路面抽出部が、ハフ変換を用いて、第１直線を第１路面近似として抽出する第１直線抽出部と、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第２直線抽出部と、を有する、路面検知装置が提供される。

本発明の路面検知方法及び装置によると、Ｖ視差図における路面が直線形式に近似する特性に基づき、ハフ変換の直線抽出方法と最小二乗法の直線抽出方法を結合することで、ハフ変換における通過点の最多の直線の取得を考慮したことによる路面領域の外れの問題や、通常の最小二乗法のノイズに対して敏感である問題を解消し、より正確な路面検知が可能になる。

本発明の理解に役立つ、本発明の応用環境としての車載システム例の略図である。 本発明の１実施例による、路面検知方法の全体フローチャートである。 車載ステレオカメラにより撮像された路面領域の視差図である。 図３で示された視差図から変換されたＶ視差図である。 本発明の実施例による、Ｖ視差図から直線を路面として抽出する方法のフローチャートである。 ハフ変換原理の略図である。 最小二乗法による直線の当てはめ原理の略図である。 本発明の１実施例における、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第１方法のフローチャートである。 本発明の１実施例における、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第２方法のフローチャートである。 Ｖ視差図における路面検知の結果例を示した比較略図である。 視差図における路面検知結果例の比較図である。 本発明の第２実施例における路面検知方法の全体工程のフローチャートである。 フィルタに用いられる形態学条件の略図である。 図４で示された元Ｖ視差図に対し、本発明の実施例における形態学条件によるフィルタ処理後の結果例である。 本発明の第３実施例における路面検知方法の全体工程のフローチャートである。 図１４で示された視差図における、各列の底部の若干の画素のみの保留により得られる結果例である。 本発明の第４実施例における路面検知方法の全体工程のフローチャートである。 本発明の実施例による路面検知装置のブロック図である。 本発明の実施例による路面検知システムシステムのハードウェア配置の概念図である。

当業者の本発明への理解を容易とするために、以下、図面及び具体的な実施形態を組み合わせて、本発明を更に詳細に説明する。

以下、下記の順で、説明する。

１．発明の思想の略述及び基本概念の説明
２． 第１実施例
３．第２実施例
４．第３実施例
５．第４実施例
６．路面検知装置
７．システムのハードウェア配置
８．まとめ
１．発明の思想の略述及び基本概念の説明
具体的な説明の前に、先ず、当業者の本発明への容易な理解のために、本発明の思想について説明する。

Ｖ視差図は、当業者により路面検知に用いられている。視差図とＶ視差図の概念については、後述する。具体的に、Ｖ視差図は、視差図の横向き投影（即ち、側面図）と見なすことができる。１区間の平坦路面は、Ｖ視差図において、直線の特性を表す。該特性に基づき、前述のように、当業者による、ハフ変換を用いた、Ｖ視差図からの直線検知による路面検知が行われている。しかしながら、路面自身の特性、及びハフ変換自身の特性により、ハフ変換による路面抽出時、例えば、路面自身の特性から、実際に路面が平坦なものではなく、両辺が低く中間が高いアーチ状のものでる場合、Ｖ視差図における路面は絶対的な直線ではなく、帯状の領域や矩形の長尺領域として表され、この場合、例えば、該帯状領域の対角線、底部の直線や上部の直線に対し、通常、帯状領域における近似中心の直線がより良好に路面を表すことになるが、ハフ変換においては、通過点の最多の直線の本質のみ考慮することで、帯状領域の対角線を路面として抽出してしまうおそれがある。また、一般的な直線抽出方法としては、最小二乗法（線形回帰法とも称される）があるが、最小二乗法は、ノイズに対して敏感であることから、ノイズである、例えば、車輌、フェンスのような非路面上の点から推測された道路路面が、真の路面からはずれるおそれがある。ここで、発明者は、ハフ変換により、先ず、直線を抽出し、該直線により、概ねの路面範囲が決められ、該概ねの路面範囲から、さらに最小二乗法による直線抽出を行うことで、ノイズの影響を低減し、より正確な路面検知が可能になることを見出した。

以下、理解の便宜上、基本概念について説明する。

視差とは、実際に、あるベースラインの両端から同一の遠隔物体までそれぞれ直線を引いた場合の、該２つの直線からなる夾角を指している。通常は、一定距離にある２つの点から同一の目標を観察する場合に生じる方向差を指している。目標から見たときの２つの点間の夾角を、該２つの点の視差角と称し、２点間の距離を、ベースラインと称する。視差角とベースラインの長さが分かれば、目標と観察者間の距離が求められる。

視差図（disparity map）は、任意の１画像を基準としたとき、サイズが該基準画像のサイズとなり、要素値が視差値となる画像を指している。視差図は、シーンの距離情報が含まれている。視差図は、例えば、双眼カメラで撮像された左画像と右画像から算出されてもよく、或いは、立体図における深度図から算出されてもよい。

通常の２次元視差図における１点座標は、（ｕ、ｖ）で表され、ここで、ｕは、横座標、ｖは、縦座標であり、点（ｕ、ｖ）における画素の画素値は、ｄ（ｕ、ｖ）で表され、該点（ｕ、ｖ）における視差を表している。

理解の便宜上、具体的に、Ｖ視差図は、視差図の側面図と見なし、Ｕ視差図は、視差図の俯瞰図と見なすことができる。Ｖ視差図は、視差図から求められる。Ｖ視差図における任意の１点（ｕ、ｖ）の階調値は、視差図の縦座標がｖの行における視差値がｄとなる点の数に対応している。

１.第１実施例
図１は、本発明の理解に役立つ、本発明の応用環境としての車載システム例の略図である。本発明のソフトウェアやハードウェアは、道路検知部として実施可能である。

図２は、本発明の１実施例による、路面検知方法の全体フローチャートである。

ステップS１１００において、路面を含むＶ視差図を取得する。前述のように、双眼カメラ、多眼カメラ、ステレオカメラで撮像し、道路領域を含む視差図を算出することができ、視差図から変換されてＶ視差図が得られるか、立体図から、深度図が得られ、深度図から視差図が得られ、視差図から変換されてＶ視差図が得られる。

図３は、車載ステレオカメラにより撮像された路面領域の視差図である。図４は、図３で示された視差図から変換されたＶ視差図である。

前述の場合は、先に視差図を取得し、その後、視差図からＶ視差図を取得しているが、これは１例に過ぎず、例えば、双眼カメラで得られた画像への処理や計算から、直接Ｖ視差図を取得してもよい。

ステップＳ１２００において、Ｖ視差図から直線を路面として抽出する。

図５は、本発明の実施例による、Ｖ視差図から直線を路面として抽出する方法のフローチャートであり、該方法は、図２に示されたステップＳ１２００に適用することができる。

図５に示されたように、ステップＳ１２１０において、ハフ変換を用いて、第１直線を第１路面近似として抽出する。

ハフ変換による直線抽出は、当業者に熟知されたものである。ハフ変換の凡その原理は、極座標形式において、１データ点を通過する１直線は、角度qと距離rにより、r=xcosq+ysinqに表すことができ、ハフ変換は、点を最も多く通る直線のパラメータrとqを見つけ出すことが望まれる。画像中の１点は、パラメータ平面における１曲線に対応し、画像中の１直線は、パラメータ平面における１点に対応している。画像上の全点に対し、ハフ変換を行い、最終に検知される直線に対応するものが、パラメータ平面における曲線の交差が最多となる点である。図６は、ハフ変換原理の略図であり、曲線の交点により、点を最も多く通る直線の角度と距離パラメータが示されている。

具体的に、本発明の実施例においては、ハフ変換により、Ｖ視差図における直線を検知することができる。

例えば、視差図における、視差が最も大きく、かつＶ値が最も大きくなる箇所からの第１の斜線分を道路面とすることができ、ここで、視差が最も大きくなることは、距離が最も近くなることを表し、Ｖ値が最も大きくなることは、高さが最も低くなることを表し、換言すると、近遠低高の順に、ハフ変換を用いた直線検知を行うことができる。これは、当業者に公知されているように、視差と距離は、逆数関係をなしているからである。ここで、距離は、撮像するカメラに対するものである。双眼カメラが自動車に搭載された場合、視差画像における自動車との距離が最も近くなる路面は、自動車の水平面に平行していると見なすことができ、該区間の路面が先に検知されることが望ましい。Ｖ値は、高さを表し、通常の座標系とは異なり、Ｖ視差図におけるＶ座標軸は、座標原点から下方へ延伸し、Ｖ値の降順に、下方から上方に検索を行っている。これは、通常、路面は最も低い位置にあり、このような検索順により、迅速かつ正確な路面検知が可能になり、高層ビルの頂点を路面として検知することを低減可能になるからである。

なお、代替的に、ハフ変換から検知された直線において、点を最も多く通る斜線分と、視差が最も大きくなる斜線分と、長さが最も長くなる斜線分のうちのいずれかを斜線分として、即ち、路面として選択してもよい。

本例においては、ハフ変換により、第１の直線を路面近似として抽出しているが、代替的に、例えば、連続点を結ぶ方法で第１直線を取得する等の他の方法を用いてもよい。

ステップＳ１２２０において、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる。

ハフ変換や他の直線抽出方法から得られた第１直線は、１路面区域の範囲情報を提供し、このような情報から、最小二乗法を用いて第２直線を路面として当てはめることができる。以下、説明の便宜上、本発明における最小二乗法は、ハフ変換による最小二乗法と称されることもある。

最小二乗法とは、全ての点から該直線までの距離の平方和が最小となるように、所定のサンプル点に対して１直線を当てはめるものである。該直線をy=a+bxで表す場合、パラメータa、bの算出が必要になる。

選択した画素点がP1(x1,y1)，P2(x2,y2)…，Pn（xn，yn）であり、nが２より大きい整数であるとすると、最小二乗法におけるパラメータa、bの算出式は、式（１）で表すことができる。

即ち、全ての選択された画素点から直線までの距離が最小となるパラメータa、bを求める。図７は、最小二乗法による直線の当てはめ原理を示した略図である。

例えば、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第１方法としては、第１直線により画素点を選出し、選出された画素点により、最小二乗法による直線の当てはめを行う。図８は、本発明の１実施例における、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第１方法のフローチャートである。該第１方法は、図５に示されたステップＳ１２２０に適用することができる。

図８に示されたように、ステップＳ１２２１において、Ｖ視差図における各画素点から第１直線までの距離を算出する。該距離は、ユークリッド距離でもよいが、例えば、ノルム（norm）等の他の距離算出方法を用いてもよい。

ステップＳ１２２２において、各画素点から第１直線までの距離と所定の閾値との比較を行うとともに、第１直線までの距離が所定の閾値以下となる画素点を選出する。ここで、所定の閾値は、経験から決められてもよく、データ訓練による学習から得られてもよい。

ステップＳ１２２３において、選出された画素点により、最小二乗法を用いて第２直線を路面として当てはめる。

また、例えば、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第２方法としては、各画素点の第１直線までの距離に基づき、各画素への重み付けを行い、該重みは、該画素が路面点となる可能性への評価、或いは、信用度と見なすことができ、重み付けの最小二乗法による直線の当てはめを行うことができる。図９は、本発明の１実施例における、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第２方法のフローチャートであり、該第２方法は、図５に示されたステップＳ１２２０に適用することができる。

図９に示されたように、ステップＳ１２２１’において、Ｖ視差図における各画素点から第１直線までの距離を算出する。図８のステップＳ１２２１と同様に、該距離は、ユークリッド距離でもよいが、例えば、ノルム（norm）等の他の距離算出方法を用いてもよい。

ステップＳ１２２２’において、各画素点の第１直線までの距離に応じた重みを決定する。

重み付けの第１方法としては、指数関数形式を用いることができ、例えば、画素点Pi(xi,yi)から第１直線までの距離がdiである場合は、式（２）により、重みwiが求められる。

該式（２）で示される重み付け方法は、一例に過ぎず、第１直線までの距離が近いほど重みが高くなることを満足すれば、任意の重み算出方法が用いられる。

ステップＳ１２２３において、このように決められた重みにより、重み付けの最小二乗法を用いて第２直線を路面として当てはめる。前記式（２）で重みが算出される場合、最小二乗法におけるパラメータa、bの算出式は、式（３）で表すことができる。

以上、図８と図９を参照してハフ変換から抽出された第１直線による、最小二乗法を用いて第２直線を路面として当てはめる２つの例について説明したが、これらは例に過ぎず、本発明はこれらに限られるものではない。例えば、前記第１の方法と第２の方法を組み合わせる等、即ち、距離によるサンプル点の選出、及び選出されたサンプル点への異なる重み付けを組み合わせる等、ハフ変換で抽出された第１直線の情報により、最小二乗法を用いた第２直線の当てはめが可能な他の方法も用いられる。

なお、前記例におけるサンプル点の重み付け方法では、サンプルの第１直線までの距離情報のみが考慮されているが、本発明はこれに限られず、設計要求に応じて、サンプル点への重み付け時に、例えば、サンプル点の値が大きくなるほど、ノイズの可能性が低くなることから、より大きな重みを与え、サンプル点が底部に近づくほど、路面点の可能性が高くなることから、より大きな重みを付与し、サンプル点が対角線上や対角線近似方向上の他のサンプル点に隣接するほど、路面点である可能性が高くなることから、より大きな重みを付与し、一方、孤立したサンプル点であると、路面点の可能性が低くなることから、より小さな重みを付与する等、サンプル点の値や、サンプル点の位置や、サンプル点の周辺サンプル点との接続関係等の他の要素も同時に考慮してよい。

本発明のハフ変換による最小二乗法によると、ハフ変換における点を最も多く通る直線の取得に考慮することに起因する路面領域のはずれの問題や、通常の最小二乗法のノイズへの敏感の問題を解消し、より正確な路面検知が可能になる。

図１０は、Ｖ視差図における路面検知の結果例を示した比較略図であり、三角で示された直線が、ハフ変換から抽出された第１直線であり、円で示された直線が、本発明の実施例におけるハフ変換による最小二乗法から抽出された第２直線である。該ハフ変換から抽出される第１直線は、高目であり、基本的にアーチ状路面の上部を抽出したことになる一方、本発明の実施例におけるハフ変換による最小二乗法から抽出された直線は、より良好に路面を示している。

図１１は、視差図における路面検知結果例の比較図である。図１１における１１（ａ）は、ハフ変換から抽出された路面を示し、環状曲線で囲まれたように、１自動車が含まれている。図１１における（ｂ）は、本発明の実施例におけるハフ変換による最小二乗法から抽出された路面を示し、路面より高い位置にある自動車は含まれていないことが分かる。

３．第２実施例
図１２は、本発明の第２実施例における路面検知方法の全体工程のフローチャートである。

図１２に示された第２実施例の路面検知方法の、図２に示された路面検知方法との相違点は、Ｖ視差図のステップＳ２１００と、Ｖ視差図から直線が路面として抽出されるステップＳ２２００の間に、形態学条件による画素フィルタステップＳ２１１０が追加されたことにある。以下、ステップＳ２１１０について詳細に説明する。ステップＳ２１００とＳ２２００については、図２における同様のステップ及び説明を参照することができ、ここでは、重複説明は割愛する。

ステップＳ２１１０において、Ｖ視差図における各画素点について、所定の形態学条件を満たしているかを判定し、満たしている場合は、該画素点を保留し、満たしていない場合は、該画素点を除去する。

通常、画像は、車輌前のカメラからのもので、かつ車輌は路上にあるため、視差図における路面の勾配は、所定範囲内にあるべきであることから、Ｖ視差図における路面点は、近似４５度方向にあるべきであり、１画素の左上と右下のいずれにも隣接画素が存在し、かつ画素点の階調値が所定の閾値を超えるべきである。

図１３は、フィルタに用いられる形態学条件の略図である。ここで、中間位置のブラックフレームが分析される画素を表し、該画素と周辺の隣接画素から３*３の行列が構成される。該形態学条件により、対角線方向のいずれに画素点が存在すべきであり、分析される画素点の左上と右下の隣接画素点の階調値は、所定の閾値を超えるものでなければならないことが求められる。該所定の閾値については、例えば、１に設定する（対応視差図における１行に同一視差値に対応する点が１のみ存在し、このようなＶ視差図における画素点はノイズである可能性があることを表す）等、経験から設定してもよく、また、該所定の閾値は、データベースの訓練による学習から得られてもよい。

図１３に示された形態学においては、分析される画素点の左上と右下方向のそれぞれの１隣接画素の考慮のみや、或いは、対角線方向上の３つの隣接画素とも所定の階調値を超えたものかの分析のみ行われているが、これは１例に過ぎず、分析される画素の左上及び右下方向の複数の隣接画素を考慮してもよく、例えば、分析される画素の左上方向の隣接した２画素及び右下方向の２隣接画素を観察し、対角線方向上の５つの隣接画素とも所定の階調値を超えたものかを分析することができる。

このような形態学によるフィルタは、実施が簡単であるとともに、非常に有効であり、線形構成の明らかな強調が可能で、ノイズの干渉を低減することができる。

図１４は、図４で示された元Ｖ視差図に対し、本発明の実施例における形態学条件に基づくフィルタ処理後の結果例である。本発明の実施例における形態学条件に基づくフィルタ処理により、ノイズが効果的に除去され、線形構成が強調されたことが分かる。

フィルタ処理によると、Ｖ視差図における路面の直線勾配は所定の範囲内となるべき性質から、分析される画素の勾配方向及び隣接画素の連続性を観察することで、該画素が路面上の点であるかを判断し、これにより、形態学条件によるフィルタ処理が可能になり、簡単かつ有効な線形構成の強調が可能になり、ノイズ干渉を低減することができる。

４．第３実施例
図１５は、本発明の第３実施例における路面検知方法の全体工程のフローチャートである。

図１５に示された第３実施例の路面検知方法の、図２に示された第１実施例における路面検知方法との相違点は、ステップＳ３１２０が追加されたことにある。以下、ステップＳ３１２０について詳細に説明する。ステップＳ３１００とＳ３１１０とＳ３２００については、図１２における同様のステップ及び説明を参照することができ、ここでは、重複説明は割愛する。

前述のように、路面は、比較的に低いことから、Ｖ視差図における路面も底部に位置することになる。該特性に応じたフィルタを行うことができる。

ステップＳ３１２０において、Ｖ視差図から、直線を路面として抽出する前に、Ｖ視差図における各列について、列の底部からの所定数の画素点のみを保留する。所定数については、例えば、４つに設定するなど、経験により設定してもよく、データ訓練による学習から該所定数を取得してもよい。

図１６は、図１４で示された視差図における、各列の底部の若干の画素のみの保留により得られる結果例である。該処理により、車輌、建築物、通行人等の路面より高いノイズが効果的に除去されたことが分かる。

５．第４実施例
図１７は、本発明の第４実施例における路面検知方法の全体工程のフローチャートである。

図１７に示された第４実施例の路面検知方法の、図２に示された第１実施例における路面検知方法との相違点は、ステップＳ４３００が追加されたことにある。以下、ステップＳ４３００について詳細に説明する。ステップＳ４１００とＳ４２００については、図２における同様のステップ及び説明を参照することができ、ここでは、重複説明は割愛する。

ステップＳ４３００において、カルマンフィルタを用いて、検知された現在の路面情報と前の路面情報を結合する。

カルマンフィルタは、カルマン（Kalman）により提案された時変線形システムに用いられる反復フィルタである。カルマンフィルタは、過去の観測推定誤差を新たな観測誤差に統合することで将来の誤差を推定するものである。カルマンフィルタは、反復推定型であり、前の時刻の状態推定値及び現在の状態観測値が分かれば、現在の状態推定値が求められることから、観察や推定の履歴情報の記録が不要となる。カルマンフィルタの多くのフィルタとの相違点は、純粋な時間領域フィルタであり、ローパスフィルタなどの周波数領域のフィルタのように、周波数領域で設計されてから、時間領域へ変換されて実現される必要がないことにある。カルマンフィルタの具体的に実現方法については、多くの参考書から得ることができ、本発明の重点ではないため、ここでは、説明を省略する。

本発明の実施例によると、実際の運転支援環境において、路面の検知は、リアルタイムに連続的なもので、路面位置の追跡と見なすことができる。カルマンフィルタを用いた、例えば、前述の第１、第２或いは第３実施例における路面検知方法から得られた現在の路面情報（現在フレームの検知）と、システムの動的モデルから得られた路面情報（現在フレームの予測）を結合することで、路面検知方法から得られた現在路面情報やカルマンフィルタの動的モデルを単独に用いられた場合に比べて、より優れた路面検知結果を予測することができる。

６．路面検知装置
図１８は、本発明の１実施例による路面検知装置５０００のブロック図である。

図１８に示されたように、該路面検知装置５０００は、路面を含むＶ視差図を取得するＶ視差図取得部５１００と、Ｖ視差図から直線を路面として抽出する路面抽出部５２００と、を有する。該路面抽出部５２００は、ハフ変換を用いて、第１直線を第１路面近似として抽出する第１直線抽出部５２１０と、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第２直線抽出部５２２０と、を有する。路面検知装置５０００の各部の動作は、図２で示されたフローチャートによる説明を参照することができ、ここでは重複説明は割愛する。

７．システムのハードウェア配置
本発明は、さらに、路面検知のハードウェアシステムとして実施されてもよい。図１９は、本発明の実施例による、路面検知システム６０００のハードウェア配置の概念図である。図１９に示されたように、路面検知システム６０００は、外部から、ステレオカメラで撮像された左右画像や、ステレオカメラで撮像された立体映像等を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等の入力装置６１００と、前述の本発明の実施例による路面検知方法及び/または路面画素点フィルタ方法を実施するための、或いは、前述の本発明の実施例による路面検知装置として実現するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等であり、インターネットのようなネットワーク（未図示）に接続可能であり、処理工程の需要に応じたネットワークからの左右画像等のデータ取得が可能な、処理装置６２００と、外部へ前述の路面検知の実施工程から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置６３００と、揮発或いは不揮発形式にて、前記路面検知工程における画像、結果、コマンド、中間データ等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、半導体メモリ等の各種揮発または不揮発性メモリを含む記憶装置６４００を有する。

８．まとめ
以上、本発明の実施例における路面検知方法について説明した。該路面検知方法は、路面を含むＶ視差図を取得し、Ｖ視差図から直線を路面として抽出する路面検知方法であって、該Ｖ視差図から直線を路面として抽出する工程において、ハフ変換を用いて、第１直線を第１路面近似として抽出し、第１直線により、最小二乗法を用いて第２直線を路面として当てはめるようにしてもよい。

また、前記第１直線により、最小二乗法を用いて第２直線を路面として当てはめる工程において、Ｖ視差図における各画素点の第１直線との距離を算出し、各画素点の第１直線との距離と、所定の閾値を比較し、第１直線との距離が所定の閾値以下になる画素点を選出し、選出した画素点により、最小二乗法を用いて第２直線を路面として当てはめるようにしてもよい。

代替的に、前記第１直線により、最小二乗法を用いて第２直線を路面として当てはめる工程において、Ｖ視差図における各画素点の第１直線との距離を算出し、各画素点の第１直線との距離に応じた重みを決定し、このように決められた重みにより、重み付けの最小二乗法を用いて第２直線を路面として当てはめるようにしてもよい。

さらに、該路面検知方法は、Ｖ視差図から直線を路面として抽出する前に、Ｖ視差図における各画素点について、所定の形態学条件を満たしているかを判定し、満たしている場合は、該画素点を保留し、満たしていない場合は、該画素点を除去するようにしてもよい。

前記形態学条件としては、判断される画素について、該画素を中心に、所定サイズの正方形領域を取得し、対角線上の画素点が、所定の閾値を超えた階調値を有することにしてもよい。

さらに、該路面検知方法は、Ｖ視差図から直線を路面として抽出する前に、Ｖ視差図における各列について、列の底部からの所定数の画素点のみを保留するようにしてもよい。

さらに、該路面検知方法は、カルマンフィルタを用いて、検知された現在の路面情報と前の路面情報を結合することで、該検知された現在の路面情報を更新するようにしてもよい。

さらに、本発明の実施例においては、路面を含むＶ視差図を取得し、Ｖ視差図における各画素点が、所定の形態学条件を満たしているかを判定し、満たしている場合は、該画素点を保留し、満たしていない場合は、該画素点を除去し、前記形態学条件として、判断される画素について、該画素を中心に、所定サイズの正方形領域を取得し、対角線上の画素点が、所定の閾値を超えた階調値を有することにしてもよい路面画素点フィルタ方法を提供している。

さらに、本発明の実施例においては、路面を含むＶ視差図を取得するＶ視差図取得部と、Ｖ視差図から直線を路面として抽出する路面抽出部と、を有する路面検知装置であって、該路面抽出部が、ハフ変換を用いて、第１直線を第１路面近似として抽出する第１直線抽出部と、第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第２直線抽出部と、を有する、路面検知装置を提供している。

また、前記第２直線抽出部が、第１直線により、最小二乗法を用いて第２直線を路面として当てはめることにおいて、Ｖ視差図における各画素点の第１直線との距離を算出し、各画素点の第１直線との距離に応じた重みを決定し、このように決められた重みにより、重み付けの最小二乗法を用いて第２直線を路面として当てはめるようにしてもよい。

本発明の路面検知方法及び装置によると、ハフ変換における、通過点の最多の直線取得を考慮したことによる路面領域の外れの問題や、通常の最小二乗法の、ノイズに対して敏感である問題を解消し、より正確な路面検知が可能になる。

本発明の実施例の説明は、１例に過ぎず、当業者は、需要に応じた変化、代替や、組合せが可能である。

前述の説明では、視差図からＶ視差図が求められているが、Ｖ視差図は、例えば、双眼カメラ、多眼カメラ、ステレオカメラで撮像された左右画像から直接算出されてもよく、或いは、立体図における深度図から求められてもよい。

なお、前述の実施例においては、車が前方に走り、双眼カメラにより車輌の前景を撮像する場合が示されているが、本発明は、同様に車を後退させる際に、双眼カメラで後景を撮像する場合にも適用することができる。ただ、この場合に検知されるのは、車の後方の路面となる。

以上、具体的な実施例により、本発明の基本原理を説明したが、当業者が本発明の方法及び装置の全て、または任意のステップや各部を理解したうえ、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せで実現することが可能であり、当業者が、本発明の説明のもと、基本プログラミング技能を用いて実現可能であることは言うまでもない。

このため、本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行して実現できる。前記演算装置は、公知の汎用装置でよい。このため、本発明の目的は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。もちろん、前記記録媒体は、任意の公知の記録媒体や、将来開発し得る任意の記録媒体でもよい。

また、本発明の装置及び方法において、各部や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と同等の発明と見なされるべきである。なお、前記系列処理の実行ステップは、自然に説明順、時間順で行うことができるが、必ずしも一定の時間順で行われる必要はなく、あるステップは、並行に、或いは独立に行われてもよい。例えば、図１５により説明した路面検知方法においては、形態学条件による画素フィルタ処理（ステップＳ３１１０）後に、各列における最低位置の画素の保留処理（ステップＳ３１２０）が行われているが、もちろん、ステップＳ３１２０を実行してから、ステップＳ３１１０を実行してもよい。

本発明は、前述の具体的な実施例で保護範囲が制限されるものではなく、当業者は、設計要求や他の要素に応じて、多種多様な補正、組み合わせ、サブ組み合わせ、代替が可能であることが理解できる。本発明の精神と原則を逸脱しない範囲内のいずれの補正、同等代替、改善等は、すべて本発明の保護範囲内のものとなる。

U-V-Disparity based Obstacle Detection with 3D Camera and Steerable Filter, Y.Gao, X.Ai, Y.Wang, J.Rarity and N.Dahnoun, 2011 IEEE Intelligent Vehicles Symposium

Claims (4)

1. 路面を含むＶ視差図を取得し、
   Ｖ視差図から直線を路面として抽出する路面検知方法であって、
   該Ｖ視差図から直線を路面として抽出する工程において、
   ハフ変換を用いて、第１直線を第１路面近似として抽出し、
   第１直線により、最小二乗法を用いて第２直線を路面として当てはめ、
   Ｖ視差図から直線を路面として抽出する前に、Ｖ視差図における各画素点について、所定の形態学条件を満たしているかを判定し、満たしている場合は、該画素点を保留し、満たしていない場合は、該画素点を除去し、
   前記形態学条件としては、判断される画素について、該画素を中心に、所定サイズの正方形領域を取得し、対角線上の画素点が、所定の閾値を超えた階調値を有することにした、路面検知方法。
2. 路面を含むＶ視差図を取得するＶ視差図取得部と、
   Ｖ視差図から直線を路面として抽出する路面抽出部と、を有する路面検知装置であって、
   該路面抽出部が、
   ハフ変換を用いて、第１直線を第１路面近似として抽出する第１直線抽出部と、
   第１直線により、最小二乗法を用いて第２直線を路面として当てはめる第２直線抽出部と、を有し、
   Ｖ視差図から直線を路面として抽出する前に、Ｖ視差図における各画素点について、所定の形態学条件を満たしているかを判定し、満たしている場合は、該画素点を保留し、満たしていない場合は、該画素点を除去し、
   前記形態学条件としては、判断される画素について、該画素を中心に、所定サイズの正方形領域を取得し、対角線上の画素点が、所定の閾値を超えた階調値を有することにした、路面検知装置。
3. 路面を含むＶ視差図を取得する工程と、
   Ｖ視差図から直線を路面として抽出する工程と、をコンピュータに実行させるための路面検知プログラムであって、
   該Ｖ視差図から直線を路面として抽出する工程において、
   ハフ変換を用いて、第１直線を第１路面近似として抽出し、
   第１直線により、最小二乗法を用いて第２直線を路面として当てはめ、
   Ｖ視差図から直線を路面として抽出する前に、Ｖ視差図における各画素点について、所定の形態学条件を満たしているかを判定し、満たしている場合は、該画素点を保留し、満たしていない場合は、該画素点を除去し、
   前記形態学条件としては、判断される画素について、該画素を中心に、所定サイズの正方形領域を取得し、対角線上の画素点が、所定の閾値を超えた階調値を有することにした、路面検知プログラム。
4. 路面を含むＶ視差図を取得する工程と、
   Ｖ視差図から直線を路面として抽出する工程と、をコンピュータに実行させるための路面検知プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   該Ｖ視差図から直線を路面として抽出する工程において、
   ハフ変換を用いて、第１直線を第１路面近似として抽出し、
   第１直線により、最小二乗法を用いて第２直線を路面として当てはめ、
   Ｖ視差図から直線を路面として抽出する前に、Ｖ視差図における各画素点について、所定の形態学条件を満たしているかを判定し、満たしている場合は、該画素点を保留し、満たしていない場合は、該画素点を除去し、
   前記形態学条件としては、判断される画素について、該画素を中心に、所定サイズの正方形領域を取得し、対角線上の画素点が、所定の閾値を超えた階調値を有することにした、記録媒体。