JP6131704B2 - 連続型道路分割体の検知方法及び連続型道路分割体の検知装置 - Google Patents

Description

本発明は、画像処理領域に関し、特に、連続型道路分割体の検知方法及び装置に関する。

運転補助システムの応用が益々普及されてきている。道路や車道警告システム（Lane/Road detection warning, LDW/RDW）は、運転補助システムのサブシステムであるが、該システムによると、衝突防止や、より正確な運転方向の決定等が可能になる。LDW/RDWシステムにおいて、道路や車道検知は、非常に肝心なものであり、道路情報を把握してこそはじめて、例えば警告等の更なる処理が可能になる。通常、道路や車道の検知は、道路分割体の検知により行われる。

道路分割体は、路肩石、白線、ガードレールや、他の道路領域及び車道を表す標識物がある。

道路分割体には、一定の高さのある連続型道路分割体が存在し、例えば、ガードレール、植え込みや、路肩石等がある。

一定の高さのある連続型道路分割体への従来の検知方法は、処理される画像種類によって、概ね２種類に大別される。

第１類の検知方法は、階調図でエッジ、カラー、テクスチャや、他の階調画像特徴によって行われ、一部の方法では、他のセンサーによる物体情報の取得が可能になり、階調画像と組み合わせて物体検知を行うことができる。

例えば、非特許文献１には、レーダを用いた関心領域の位置決め及び階調画像による検知が可能な、レーダイメージとビージョンイメージの融合による車輌及びガードレール検知方法が提案されている。

該第１類の検知方法は、階調画像による検知が行われるが、照度の強度や、色変化のような環境条件と、視覚の幾何歪みの影響が大きく、実際の応用では不安定になるおそれがある。例えば、図１には、ガードレール部分を含む階調画像の例が示されているが、楕円形の丸でガードレール部分が表示されている。図２には、照度、背景、視覚幾何歪み等の各種要素変化における異なる階調画像の例が示されている。これから、環境と幾何歪み等の階調画像の形式に対する影響が大きく、これにより、検知結果への影響も大きくなっていることが分かる。

第２類の方法としては、ステレオカメラからの視差マップによる物体の検知である。

例えば、非特許文献２には、Ｕ視差マップとＶ視差マップによる物体分割の方法が提案されている。該方法では、先ず、Ｕ視差マップとＶ視差マップの計算を行い、次に、Ｕ視差マップとＶ視差マップで線の検知を行い、検知された線分が、物体の表面である可能性があり、最後に、Ｕ視差マップとＶ視差マップでそれぞれ同一の視差値を有する線分が、同一の物体と判断されることで、物体の分割が可能になる。

第２類の方法では、遮蔽が解決できないという問題がある。Ｕ視差マップとＶ視差マップは、それぞれ視差マップがｘとｙ座標方向の視差累計図であることから、水平と垂直方向上の遮蔽は、固有の問題として存在する。図３は、ガードレール部分を有する視差マップと、対応するＵ視差マップとＶ視差マップを示した図である。図４は、このときの各部分のＵ視差マップとＶ視差マップにおけるガードレール部分への遮蔽状況を示した図である。

このため、環境変化と幾何歪みの課題のみならず、水平と垂直方向上の遮蔽の課題も解決可能な技術が求められている。

本発明は、上記問題点を鑑みてなされたものである。

本発明の一の局面においては、連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得し、地面に平行する切片に対応するＵ視差マップから、前記連続型道路分割体を検知する、高さのある連続型道路分割体の検知方法が提供される。

該連続型道路分割体の検知方法においては、さらに、Ｕ視差マップから連続型道路分割体として検知された直線の位置で、視差マップから地面に垂直な切片を取得した場合は、該切片に対応するＶ視差マップにおいて、前記連続型道路分割体のＶ視差マップにおける属性に基づいて検証を行うようにしてもよい。

該連続型道路分割体の検知方法においては、さらに、地面に平行する切片に対応するＵ視差マップから、接続し、且つ傾斜度が異なる複数の線分を検知することにより、湾曲した連続型道路分割体を検知するようにしてもよい。

本発明の他の局面においては、以下のステップ（１）〜（９）を含む、高さのある連続型道路分割体の検知方法が提供される。

（１）該連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得し、
（２）Ｖ視差マップから、地面となる斜線と、該地面となる斜線の垂直軸との交点(0,v0)を取得し、
（３）Ｖ視差マップから、該交点(0,v0)を通過する斜線を取得して、地面に平行する切片とし、
（４）該切片に対応する視差マップとＵ視差マップを取得し、
（５）該Ｕ視差マップから直線を検知して、候補の連続型道路分割体とし、
（６）地面からの低い順に、即ち、Ｖ視差マップにおける交点(0,v0)を通過する斜線の低い順に、他の斜線を取得して、地面に平行する他の切片とし、
（７）他の切片に対応する他のＵ視差マップから直線を検知して、候補の連続型道路分割体とし、
（８）最後の切片に対応する最後のＵ視差マップから、前のＵ視差マップで検知した直線が検知できなくなるまで、ステップ（６）と（７）を繰り返し、
（９）各Ｕ視差マップから検知された直線のうち重複出現回数が最も多い直線を連続型道路分割体とし、検知した地面と最後の切片に基づいて該連続型道路分割体の高さを決定する。

本発明の他の局面においては、連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得する視差マップ・Ｕ視差マップ・Ｖ視差マップ取得部と、地面に平行する切片に対応するＵ視差マップから、前記連続型道路分割体を検知するＵ視差マップに基づく検知部と、を備えた、高さのある連続型道路分割体の検知装置が提供される。

本発明のさらに他の局面においては、連続型物体を含む視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得し、横向き切片に対応するＵ視差マップ、または縦向き切片に対応するＶ視差マップにより、前記連続型物体を検知する、高さのある連続型物体の検知方法が提供される。

本発明のさらに他の局面においては、連続型物体を含む視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得する手段と、横向き切片に対応するＵ視差マップ、または縦向き切片に対応するＶ視差マップにより、前記連続型物体部分を検知する手段を有する、高さのある連続型物体の検知装置が提供される。

本発明の実施例における高さのある連続型物体検知方法及び装置によれば、視差マップとＵ視差マップとＶ視差マップを用いることから、環境変化と幾何歪みの課題を良好に解決することができる。

また、本発明の実施例における高さのある連続型物体検知方法及び装置によれば、切片を用いた３次元物体の切断を行い、切片のＵ視差マップまたはＶ視差マップで物体検知を行うことにより、例えば、垂直方向や水平方向の物体遮蔽の課題を解決することができる。例えば、ガードレール検知の場合は、地面に平行する水平切片図が、白線、道端、樹木や、ビル等のサブ情報から離脱していることから、横向きや縦向きの遮蔽が免れる。

また、本発明の実施例における高さのある連続型物体検知方法及び装置によれば、第１の方向の切片のＵ視差マップやＶ視差マップにおける位置決めや検知後に、さらに、第１の方向に垂直な第２の方向で切片を取得し、Ｖ視差マップやＵ視差マップで更なる検証や検知を行うことにより、遮蔽問題をより一層解決し、より正確な物体検知が可能になる。

また、本発明の実施例における高さのある連続型物体検知方法及び装置によれば、直線適合により、対応する切片図における曲線の検知を行うことができ、連続した、または延伸した方向に湾曲した物体の検知に適用することが可能になる。

ガードレール部分を有する階調画像の例を示した図である。 照度、背景や、視覚幾何歪み等の各種要素変化による異なる階調画像の例を示した図である。 ガードレール部分を有する視差マップと、対応するＵ視差マップ及びＶ視差マップを示した図である。 図３における各部のＵ視差マップとＶ視差マップにおけるガードレール部分への遮蔽状況を示した図である。 本発明の１実施例における高さのある連続型道路分割体の検知方法の全体フローチャートである。 左上図が、視差マップにおける地面に平行する切片を示し、右上図が、視差マップの切片に対応するＶ視差マップを示し、左下図が、それに対応するＵ視差マップを示した図である。 Ｖ視差マップにおける地面となる斜線と、地面に平行する切片の部分を示した図である。 １実施例における、地面に平行する複数の切片と視差マップとを交差することにより、高さのある連続型道路分割体を検知する方法のフローチャートである。 Ｖ視差マップにおける地面に平行する第１の切片と第２の切片を各々示す第１の斜線と第２の斜線の例を示した図である。 本発明の第２実施例における高さのある連続型道路分割体検知方法のフローチャートである。 左上図が、視差マップにおける地面に垂直な切片の形式を示し、左下図が、図１０のステップＳ３１０とＳ３２０の処理後にＵ視差マップで検知された、例えばガードレールの位置を示し、右上図が、地面に垂直な切断面のＶ視差マップを示した図である。 Ｕ視差マップで２つのガードレールが検知された場合の図である。 本発明の１実施例による高さのある連続型物体検知装置の全体配置図である。 本発明の実施例による高さのある連続型物体検知システム１０００の全体ハードウェアブロック図である。

本発明へのより容易な理解のために、以下、図面及び具体的な実施例を組み合わせながら、本発明をさらに詳細に説明する。

以下の順で説明を行うことになる。

１．語彙の解釈及び基本概念の説明
２．第１実施例
２．１ 高さのある連続型道路分割体検知方法の第１の例
２．２ 高さのある連続型道路分割体検知方法の第２の例
２．３ 高さのある連続型道路分割体検知方法の第３の例
３．第２の実施例
４．第３の実施例
５．第４の実施例
６．高さのある連続型物体検知装置の全体配置
７．システムハードウェア配置
８．まとめ
＜１．語彙の解釈及び基本概念の説明＞
詳細な説明の前に、先ず、本明細書の一部の語彙を解釈する。

特別な明示がない限り、本明細書中の「地面に平行する切片」、「地面からの低い順」等は、リアル３次元世界の視点からみて、該切片が地面に平行すること、地面からの高さが低いものから高いものへとなることを指している。

本明細書において、「切片」は、リアル３次元世界の平面を切り分けるためのもの（この場合は、「切断面」としてもよい）であり、得られたものが、３次元世界の各物体の断面であるが、該断面は、一定の厚みを有してよい。切片の方向は、横向きでも縦向きでもよく、需要に応じた任意の方向でもよい。

「高さのある連続型道路分割体」とは、地面を基準に、一定の高さを有し、かつ道路方向に延伸した道路分離機能を有する物体を指し、例えば、ガードレール、植え込み、壁等がある。ここで、物体の高さは、一定になる必要がなく、同等の高さになる必要もない。

「切片と視差マップが交差する」とは、仮想の切片と視差マップで表す３次元世界との交差を指している。

以下、理解し易くなるように、基本概念について説明する。

視差は、実際にある基線の両端から同一の遠隔物体までそれぞれ直線を引いたときに、該２つの直線からなる夾角を指している。通常は、一定間隔の２つの点から同一の目標を観察した場合に発生する方向差を指している。目標から見たときの２つの点間の夾角を、該２つの点の視差角と称し、２点間の間隔を、基線と称する。視差角と基線の長さが分かれば、目標と観測者間の距離が求められる。

視差マップ（disparity map）は、任意の１画像を基準に、サイズが該基準画像のサイズで、要素値が視差値となる画像である。視差マップは、シーンの距離情報が含まれている。視差マップは、双眼カメラで撮像された左画像と右画像から算出されてもよく、或いは、立体図における深度図から算出されてもよい。

通常の視差マップにおける点座標は、（ｘ、ｙ、ｄ）で表され、ここで、ｘは、横座標、ｙは、縦座標であり、ｄは、該点（ｘ、ｙ）における視差を表している。

視差俯瞰図や、Ｕ―視差マップは、視差マップから求められる。Ｕ−視差マップにおける任意の１点（ｕ、ｄ）の階調値は、対応視差マップの座標ｕとなる列における視差値ｄとなる点の数である。

容易な理解のために、具体的に言えば、Ｖ−視差マップは、視差マップの側面図と見なし、Ｕ−視差マップは、視差マップの俯瞰図と見ななすことができる。Ｖ−視差マップやＵ−視差マップは、視差マップから求められる。Ｖ−視差マップにおける任意の１点（ｄ、ｙ）の階調値は、対応する視差マップの縦座標ｙの行における視差値ｄとなる点の数である。Ｕ−視差マップにおける任意の１点（ｘ、ｄ）の階調値は、対応する視差マップの横座標ｘの列における視差値ｄとなる点の数である。

以下、ガードレールを例に、本発明の実施例による高さのある連続型道路分割体の検知方法を説明する。

＜２．第１の実施例＞
２．１ 高さのある連続型道路分割体検知方法の第１の例
以下、本発明の１実施例による、高さのある連続型道路分割体検知方法の第１の例の全体工程について説明する。

図５は、本発明の１実施例における高さのある連続型道路分割体の検知方法１００の全体フローチャートである。

図５に示されたように、ステップＳ１１０において、連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得する。

本発明においては、従来の任意の視差マップ取得方法が用いられる。例えば、双眼カメラ、多眼カメラ、ステレオカメラ等による撮像から、該連続型道路分割体を含む部分の視差マップを算出し、具体的に、例えば、双眼カメラで左画像と右画像を撮像し、左画像と右画像から、視差マップを算出してもよい。或いは、立体図から深度図を取得し、深度図から視差マップを算出してもよい。視差マップの取得後は、視差マップから、対応するＵ視差マップと対応するＶ視差マップが得られる。

ステップＳ１２０において、地面に平行する切片に対応するＵ視差マップにより、該連続型道路分割体を検知する。

ここで、視差マップに対応する３次元世界では、地面に平行する切片により、該３次元世界におけるあらゆる物体の切断が可能になり、このとき、切片と交差する物体の点は、いずれも地面に平行する同一面上に位置することになり、切片の高さを適切に選択することで、切片が、ある範囲内の高さの物体のみと交差することになり、例えば、ガードレールを検知する場合は、通常のガードレールの高さ範囲内に切片を位置させると、このような切片が白線、路肩石や、高所の建築物と交わることなく、処理すべき切片上の情報が大幅に低減され、垂直方向上の遮蔽問題が解決可能になる。

Ｖ視差マップは、視差マップの側面図と見なされる特性から、このような地面に平行する切片はＶ視差マップにおいて１つの直線と表される。また、視差マップにおける各平行面のＶ視差マップに対応する各直線は、無限の遠方（即ち、視差が０になる点）に交差することになる。Ｖ視差マップのような特性により、地面に平行する切片の数学式表現を得ることができる。

図６は、左上図が、視差マップにおける地面に平行する切片（中間グレー部分）を示し、右上図が、視差マップの切片に対応するＶ視差マップの部分を示し、ここで、直線が視差マップにおける水平切片に対応し、左下図が、それに対応するＵ視差マップを示し、ここで、ガードレールは、外見上、直線に近似している。

地面に平行する切片に対応するＵ視差マップを取得するために、各種方法が用いられる。１つの方法としては、
（１）Ｖ視差マップから、先ず、地面となる斜線を取得する。通常、地面となる斜線は、図６の図面方向の、図６のＶ視差マップにおける最低部の斜線である。換言すると、座標軸が前の図３に示されたようにもうけられた場合、即ち、ｙ軸が座標原点から下方へ延伸した場合、地面となる斜線は、Ｖ視差マップにおけるｙ値が最大となる直線である。このため、例えば、ハフ変換や点検出による線形適合等の方法により、該最低部の斜線を検知し、地面としてもよい。Ｖ視差マップにおける座標を(di,yi)とすると、地面を表す斜線は、下記式（１）で表される。
式中、k_rは、傾斜度を表し、b_rは、インターセプトを表す。
（２）Ｖ視差マップにおける地面となる斜線のｙ軸との交点（即ち、視差値が０となる点）を取得し、該点は、(0,b_r)で表すことができる。これにより、地面に平行する全ての切片のＶ視差マップにおける斜線は、下記式（２）で表すことができる。
式中、k_pは、傾斜度を表し、かつk_p∈(0,k_r)となる。
（３）地面に平行する１切片を選択し、即ち、Ｖ視差マップにおける１直線ｉを選択し、該直線の傾斜度をk_piで表すと、下記のように表される。
（４）Ｖ視差マップにおける該直線ｉの取得後は、視差マップにおける該直線を満たす全ての座標点(xi,yi,di)を取得することができ、このような視差マップにおける座標点をＵ視差マップに投影すると、該地面に平行する切片に対応するＵ視差マップが得られる。

例えば、図６における左下図に示されたような、該地面に平行する切片に対応するＵ視差マップの取得後は、前述のように、通常、ガードレールは、直線形式で延伸することから、Ｕ視差マップでは直線で表され、Ｕ視差マップから直線を検知することで、ガードレールを検知することができる。具体的に、例えば、先ず、フィルタを用いて、ノイズ除去と直線強調を行い、次に、線検知方法を用いて、例えば、ハフ変換により、直線を検知することで、ガードレールの位置決めが可能になる。なお、例えば、一定サイズと位置のフィルタを用いて、検知された線のフィルタを行うことで、正確な検知結果が得られる。

前述の本発明の第１の実施例における一定の高さの連続型道路分割体の検知方法によれば、一定高さの水平面を選択し、元ＵＶ視差マップの累積画像ではなく、視差切断面図を用いて、３次元世界の原視差マップで操作することにより、垂直方向の物体遮蔽問題を解決することができる。

前述の方法は、一例に過ぎず、需要に応じて各種変更が可能である。

例えば、前述では、切片が地面に平行する面となっているが、該切片は、一定の厚さを有してもよい。一定の厚さを有する切片とすることで、例えばガードレールにおけるより多くの点がＵ視差マップに投影されるようにし、より良好にノイズ影響を抑制することができる。具体的な実施において、前述の切片が地面に平行する面である場合、該切片は、Ｖ視差マップにおいて地面となる斜線とｙ軸で交差する１斜線と表され、選択した切片が地面と平行し、かつ一定の厚みを有する場合、該切片は、Ｖ視差マップにおいて２つの斜線間（該２つの斜線を含む）の部分と表され、該２斜線は、地面となる斜線とｙ軸の同一点で交わることになる。図７は、Ｖ視差マップにおける地面となる斜線と、地面に平行する切片の部分を示した図である。

以上の例においては、地面を基準に、全ての切片が地面と平行するようにしているが、これは一例に過ぎず、例えば、植え込みの上面が既知の場合は、植え込みの上面を基準に、全ての切片が植え込みの上面と平行するようにしてもよい。

２．２ 高さのある連続型道路分割体検知方法の第２の例
前述の高さのある連続型道路分割体検知方法の第１の例においては、地面に平行する１つの切片を用いて、視差マップと交差するようにしているが、以下では、地面に平行する複数の切片を用いて、視差マップと交差するようにすることで、高さのある連続型道路分割体を検知する実施例について説明する。

図８は、１実施例における、地面に平行する複数の切片と視差マップとを交差することにより、高さのある連続型道路分割体を検知する方法のフローチャートである。

図８に示されたように、ステップＳ２１０において、連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得する。ステップＳ２１０の操作の具体的な実施は、前述の図５によるステップＳ１１０の説明を参照することができる。

ステップＳ２２０において、Ｖ視差マップから、地面となる斜線と垂直軸で交わる第１の斜線を、地面に平行する第１の切片として取得する。

ステップＳ２３０において、該第１の切片に対応するＵ視差マップで、第１の直線を検知することにより、該連続型道路分割体を検知する。

ステップＳ２４０において、Ｖ視差マップから、地面となる斜線と垂直軸で交わり、かつ第１の斜線よりも高くなる第２の斜線を、地面に平行するより一層高い切片として取得する。

ステップＳ２５０において、該より一層高い切片に対応するＵ視差マップで、第２の直線を検知することにより、該連続型道路分割体を検知する。

図９は、Ｖ視差マップにおける地面に平行する第１の切片と第２の切片を各々示す第１の斜線と第２の斜線の例を示した図である。地面に対して言えば、第２の切片は、第１の切片よりも高く、即ち、図９の図面方向からみて、第２の斜線は、第１の斜線よりも高くなる。ｄ軸に垂直な直線を一つ引いた場合、該直線が、地面となる斜線と、地面に平行する第１の切片と第２の切片を表す第１の斜線と第２の斜線と交差すると、交点のｙ座標に関しては、地面となる斜線＞第１の斜線＞第２の斜線となる。

第１の切片と第１の切片よりも高くなる切片のＵ視差マップで、直線（それぞれに応じて第１の直線と第２の直線と称される）検知により検知された連続型道路分割体結果（それぞれに応じて第１の結果と第２の結果と称される）を各々取得後は、第１の結果と第２の結果の組み合わせにより、連続型道路分割体検知結果をさらにフィルタすることができ、例えば、第１の結果と第２の結果における重畳直線を、連続型道路分割体とすることができる。ここで、「第１の直線」（「第２の直線」）は、１つの直線のみを表すものではなく、１つ或いは複数の直線を表すことができる。

２．３ 高さのある連続型道路分割体検知方法の第３の例
以上では、高さのある連続型道路分割体検知方法の第１の例と第２の例を説明した。さらに、各視差切片図が３次元世界における具体的な高さに対応付けられていることから、ガードレールの高さ範囲内では、視差切片図とガードレールが交差することになり、一連の視差切片図を用いて切断を行うと、対応するＵ視差マップにおけるガードレールの位置決めが可能になり、ガードレールの高さも決定することができる。

具体的に、地面からの低い順で、切片に対応するＵ視差マップから連続型道路分割体となる直線を検知できなくなるまで、地面に平行する切片を取得し、且つ切片に対応するＵ視差マップから直線検知により連続型道路分割体を検知する操作を繰り返し行うことにより、各Ｕ視差マップから検知された直線のうち重複出現回数が最も多い直線を連続型道路分割体とすることができ、地面と最後の切片に基づいて該連続型道路分割体の高さを決定することができる。

地面に平行する切片の配置に関しては、需要に応じて、地面に平行する切片を等間隔に配置してもよく、異なる間隔に配置してもよい。また、当業者に公知のように、視差マップにおける平行面間の間隔がＶ視差マップでは歪まない性質から、Ｖ視差マップ上のｄ軸に垂直な１つの直線において、地面に平行する切片が等間隔になっていると、各斜線も等間隔になり、地面に平行する切片が等間隔ではないと、各斜線も等間隔ではない。

連続型道路分割体の検知に関しては、切片検知操作を１回行う度に、該切片検知操作の結果が前の検知結果と一致している（検知した直線に重複の直線がある）か否かを確認してもよく、複数回（例えば、３回）の切片検知操作が完了する度に、該３回の検知結果における重複の検知結果をまとめて確認してもよい。

同様に、該切片については、毎回の操作用の切片は、いずれも平面であることが好ましく、或いは、同一の厚さを有することが好ましい。これにより、毎回の切片操作の検知結果の間の優れた比較性を保証することができる。しかし、需要に応じて、例えば、処理速度の要求に対しては、異なる厚さを有する切片を設計してもよい。

該第３の例の方法によると、切片及び検知動作を繰り返し行うことで、高さのある連続型道路分割体のローバスな検知が可能になる。

３．第２の実施例
図１０は、本発明の第２実施例における高さのある連続型道路分割体検知方法のフローチャートである。

第２の実施例の方法は、第１の実施例における、単に地面に平行する切片と視差マップとを交差させた後に、切片に対応するＵ視差マップで検知を行う方法に比べて、ステップＳ３３０とＳ３４０が追加されており、ステップＳ３１０とＳ３２０の動作は、図５に示されたステップＳ１１０とＳ１２０と基本的に同一であるため、ここでは、ステップＳ３１０とＳ３２０の説明は省略する。

図１０に示されたように、ステップＳ３３０において、Ｕ視差マップによる、例えばガードレールの位置決め後、該位置により、視差マップから地面に垂直な切片を取得する。

図１１の左下図には、ステップＳ３１０とＳ３２０の処理後にＵ視差マップから検知された、例えばガードレールの位置（楕円形で図示）が示され、また、前述のように、ガードレールの概ねの高さも得られる。

該位置で、視差マップから地面に垂直な切片を取得する。図１１の左上図は、視差マップにおける地面に垂直な切片の形式を示している。図１１の左下図に示されたように、このような切片は、Ｕ視差マップにおいて直線形式で表される。

該直線は、下記式（４）で表される。
式中、
は、線の傾斜度であり、
は、線のインターセプトである。

ステップＳ３４０において、該切片に対応するＶ視差マップにおいて、該連続型道路分割体のＶ視差マップにおける属性に基づいて検証を行う。例えば、ガードレール検知の場合、Ｖ視差マップにおけるガードレールは、上下に２つの横線と、中間に複数の縦線が位置するものに表され、かつ、上下２つの横線は、平行に近似していることから、無限の遠隔地での交差に近似している（即ち、視差値が０の点であり、ｙ軸上の点でもある）。

前述のステップＳ３１０とステップＳ３２０の動作後に、Ｕ視差マップにおける式（４）の形式の直線が得られる。その後、視差マップにおける該直線を満足する全ての座標点(xi,yi,di)が得られ、これらの視差マップにおける座標点がＶ視差マップに投影されると、該地面に垂直な切片に対応するＶ視差マップが得られる。図１１の右上図は、地面に垂直な切断面のＶ視差マップを示した図である。

該切片に対応するＶ視差マップに対しては、先ず、基本的なフィルタ方法によるノイズ低減と、線とガードレールのテクスチャの強調を行うことができ、次に、例えば、連通域分析等の検知・分割方法によるガードレール検知を行うことができる。次に、検出した結果には、サイズ・位置フィルタによるフィルタリングを施すことができる。しかし、これらのフィルタと検知方法は、一例に過ぎず、Ｖ視差マップからの対象検知が可能な方法であれば、いずれも本発明に用いられる。

ガードレール検知方法は、単なる１つのガードレールの検知に限らず、１つまたは複数のガードレールの検知も可能である。複数のガードレールを検知し、かつ複数のガードレールが平行している(これは大半の場合である)場合は、当業者に公知のように、複数の平行するガードレールが、Ｕ視差マップのｘ−ｄ座標系において、複数の直線で表され、また、このような平行面が無限遠隔地で交差することになり、換言すると、視差値が０の消失点でかつｘ軸上の点で交差することになる。図１２は、Ｕ視差マップから２つのガードレールが検知された場合を示し、ガードレール部分が楕円計で示されている。

この場合は、各候補ガードレールに関して、地面に垂直な切片を取得してから、対応するＶ視差マップで更なる検知を行ってもよい。

４．第３の実施例
前述の第１と第２実施例においては、いずれも検知した連続型道路分割体が直線型の場合について説明したが、本発明は、これに限らず、湾曲した連続型道路分割体の検知に拡張することができる。例えば、道路の走行方向が湾曲している場合は、連続型道路分割体である、例えば、ガードレールも曲線方向の形式に変わる。

具体的に、本発明の第３の実施例による湾曲した連続型道路分割体の検知方法においては、地面に平行する切片に対応するＵ視差マップから、接続し、且つ傾斜度が異なる複数の線分を検知することにより、曲線適合を行い、湾曲した連続型道路分割体の検知が可能になる。

５．第４の実施例
本発明の第４の実施例における、高さのある連続型道路分割体の検知方法は、以下のステップを含まれている。
（１）該連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得し、
（２）Ｖ視差マップから、地面となる斜線と、該地面となる斜線の垂直軸との交点(0,v0)を取得し、
（３）Ｖ視差マップから、該交点(0,v0)を通過する斜線を取得して、地面に平行する切片とし、
（４）該切片に対応する視差マップとＵ視差マップを取得し、
（５）該Ｕ視差マップから直線を検知して、候補の連続型道路分割体とし、
（６）地面からの低い順に、即ち、Ｖ視差マップにおける交点(0,v0)を通過する斜線の低い順に、他の斜線を取得して、地面に平行する他の切片とし、
（７）他の切片に対応する他のＵ視差マップから直線を検知して、候補の連続型道路分割体とし、
（８）最後の切片に対応する最後のＵ視差マップから、前のＵ視差マップで検知した直線が検知できなくなるまで、ステップ（６）と（７）を繰り返し、
（９）各Ｕ視差マップで検知された直線のうち重複出現回数が最多となる直線を連続型道路分割体とし、検知した地面と最後の切片により、該連続型道路分割体の高さを決定する。

好ましくは、本発明の第４の実施例における連続型道路分割体検知方法においては、さらに、Ｕ視差マップから検知された連続型道路分割体及びその高さ情報により、連続型道路分割体のＶ視差マップを取得し、該Ｖ視差マップで、連続型道路分割体の有する属性に基づき、該連続型道路分割体の検証を行うようにしてもよい。

第１〜第４の実施例の方法においては、検知した対象が、高さのある連続型道路分割体であるが、本発明はこれに限られるものではなく、高さ方向に垂直な平面型切片が得られれば、任意の高さのある連続型物体の検知に用いられる。例えば、１つの壁を検知する場合、通常壁は道路分割体ではないため、この場合は、該壁の横向き切片や縦向き切片に対応するＵ視差マップやＶ視差マップにより、検知を行うことができる。このような連続型物体検知方法においては、該連続型物体を含む視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得し、横向き切片に対応するＵ視差マップや縦向き切片に対応するＶ視差マップから、該連続型物体を検知する。

６．高さのある連続型物体検知装置の全体配置
図１３は、本発明の１実施例による高さのある連続型物体検知装置の全体配置８０００を示した全体ブロック図である。

図１３に示されたように、該連続型物体検知装置８０００は、連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得する視差マップ・Ｕ視差マップ・Ｖ視差マップ取得部８１００と、地面に平行する切片に対応するＵ視差マップにより、該連続型道路分割体を検知するＵ視差マップベースの検知部８２００と、を備えている。

図示はしていないが、該連続型物体検知装置８０００は、Ｖ視差マップから地面となる斜線を取得する部分をさらに有してもよい。

Ｕ視差マップベースの検知部８２００による、地面に平行する切片に対応するＵ視差マップから、該連続型道路分割体を検知するステップにおいて、Ｖ視差マップから、地面となる斜線と垂直軸で交わる第１の斜線を、地面に平行する第１の切片として取得し、該第１の切片に対応するＵ視差マップで、第１の直線を検知することにより、該連続型道路分割体を検知するようにしてもよい。

Ｕ視差マップベースの検知部８２００による、地面に平行する切片に対応するＵ視差マップから、該連続型道路分割体を検知するステップにおいて、Ｖ視差マップから、地面となる斜線と垂直軸で交わり、かつ第１の斜線よりも高くなる第２の斜線を、地面に平行するより一層高い切片として取得し、該より一層高い切片に対応するＵ視差マップで、第２の直線を検知することにより、該連続型道路分割体を検知するようにしてもよい。

Ｕ視差マップベースの検知部８２００による、地面に平行する切片に対応するＵ視差マップから、該連続型道路分割体を検知するステップにおいて、地面からの低い順で、切片に対応するＵ視差マップから連続型道路分割体となる直線を検知できなくなるまで、地面に平行する切片を取得し、且つ切片に対応するＵ視差マップから直線検知により連続型道路分割体を検知する操作を繰り返し行うことにより、各Ｕ視差マップから検知された直線のうち重複出現回数が最も多い直線を連続型道路分割体とし、地面と最後の切片に基づいて該連続型道路分割体の高さを決定するようにしてもよい。

図示はしていないが、該連続型物体検知装置８０００は、さらに、Ｕ視差マップから検知した連続型道路分割体となる直線の位置で、視差マップから地面に垂直な切片を取得した場合は、該切片に対応するＶ視差マップで、該連続型道路分割体のＶ視差マップにおける属性に応じた検証を行うＶ視差マップ検証部を有するようにしてもよい。

地面に平行する切片が、所定の厚さを有するものでもよい。

Ｕ視差マップベースの検知部８２００は、地面に平行する切片に対応するＵ視差マップから、接続し、且つ傾斜度が異なる複数の線分を検知することにより、湾曲した連続型道路分割体を検知するようにしてもよい。

７．システムハードウェア配置
本発明は、さらに、高さのある連続型物体検知のハードウェアシステムとして実施されてもよい。図１４は、本発明の実施例による高さのある連続型物体検知システム１０００の全体ハードウェアブロック図である。 図１４に示されたように、高さのある連続型物体検知システム１０００は、外部から、ステレオカメラで撮像された左右画像や深度情報、或いは連続型道路分割体部分の視差マップ等のような、関連画像や情報を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等の入力装置１１００と、前述の本発明の実施例による高さのある連続型物体検知方法や、高さのある連続型物体検知装置を実現するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等であり、インターネットのようなネットワーク（未図示）に接続可能であり、処理工程の需要に応じて処理後の画像等を遠隔配信可能な処理装置１２００と、外部へ連続型道路分割体検知の実施工程から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置１３００と、揮発或いは不揮発形式にて、該連続型道路分割体検知工程における画像と、視差マップと、Ｕ視差マップと、Ｖ視差マップの座標情報、得られた斜線の傾斜度とインターセプト等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、半導体メモリ等の各種揮発または不揮発性メモリを含む記憶装置１４００を有する。
８．まとめ
本発明の実施例によれば、連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得し、地面に平行する切片に対応するＵ視差マップにより、該連続型道路分割体を検知する、高さのある連続型道路分割体の検知方法が提供される。

該連続型道路分割体の検知方法においては、Ｖ視差マップから地面となる斜線を取得するようにしてもよい。

該連続型道路分割体の検知方法においては、地面に平行する切片に対応するＵ視差マップから、該連続型道路分割体を検知するステップにおいて、Ｖ視差マップから、地面となる斜線と垂直軸で交わる第１の斜線を、地面に平行する第１の切片として取得し、該第１の切片に対応するＵ視差マップで、第１の直線を検知することにより、該連続型道路分割体を検知するようにしてもよい。

地面に平行する切片に対応するＵ視差マップから、該連続型道路分割体を検知するステップにおいて、Ｖ視差マップから、地面となる斜線と垂直軸で交わり、かつ第１の斜線よりも高くなる第２の斜線を、地面に平行するより一層高い切片として取得し、該より一層高い切片に対応するＵ視差マップで、第２の直線を検知することにより、該連続型道路分割体を検知するようにしてもよい。

該連続型道路分割体見地方法においては、さらに、地面からの低い順で、切片に対応するＵ視差マップから連続型道路分割体となる直線を検知できなくなるまで、地面に平行する切片を取得し、且つ切片に対応するＵ視差マップから直線検知により連続型道路分割体を検知する操作を繰り返し行うことにより、各Ｕ視差マップから検知された直線のうち重複出現回数が最も多い直線を連続型道路分割体とし、地面と最後の切片に基づいて該連続型道路分割体の高さを決定するようにしてもよい。

該連続型道路分割体の検知方法においては、さらに、Ｕ視差マップから検知した連続型道路分割体となる直線の位置で、視差マップから地面に垂直な切片を取得した場合は、該切片に対応するＶ視差マップで、該連続型道路分割体のＶ視差マップにおける属性に応じた検証を行うようにしてもよい。

該地面に平行する切片が、所定の厚さを有するようにしてもよい。

該連続型道路分割体の検知方法においては、地面に平行する切片に対応するＵ視差マップから、接続し、且つ傾斜度が異なる複数の線分を検知することにより、湾曲した連続型道路分割体を検知するようにしてもよい。

本発明の他の実施例においては、以下のステップ（１）〜（９）を含む、高さのある連続型道路分割体の検知方法が提供される。
（１）該連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得し、
（２）Ｖ視差マップから、地面となる斜線と、該地面となる斜線の垂直軸との交点(0,v0)を取得し、
（３）Ｖ視差マップから、該交点(0,v0)を通過する斜線を取得して、地面に平行する切片とし、
（４）該切片に対応する視差マップとＵ視差マップを取得し、
（５）該Ｕ視差マップから直線を検知して、候補の連続型道路分割体とし、
（６）地面からの低い順に、即ち、Ｖ視差マップにおける交点(0,v0)を通過する斜線の低い順に、他の斜線を取得して、地面に平行する他の切片とし、
（７）他の切片に対応する他のＵ視差マップから直線を検知して、候補の連続型道路分割体とし、
（８）最後の切片に対応する最後のＵ視差マップから、前のＵ視差マップで検知した直線が検知できなくなるまで、ステップ（６）と（７）を繰り返し、
（９）各Ｕ視差マップで検知された直線のうち重複出現回数が最多となる直線を連続型道路分割体とし、検知した地面と最後の切片により、該連続型道路分割体の高さを決定する。

該他の実施例における連続型道路分割体検知方法においては、さらに、Ｕ視差マップから検知された連続型道路分割体及びその高さ情報により、連続型道路分割体のＶ視差マップを取得し、該Ｖ視差マップで、連続型道路分割体の有する属性に基づき、該連続型道路分割体の検証を行うようにしてもよい。

本発明のさらに他の実施例においては、連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得する視差マップ・Ｕ視差マップ・Ｖ視差マップ取得部と、地面に平行する切片に対応するＵ視差マップにより、該連続型道路分割体を検知するＵ視差マップベースの検知部と、を備えた、高さのある連続型道路分割体の検知装置が提供される。

本発明のさらに他の実施例においては、連続型物体を含む視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得し、横向き切片に対応するＵ視差マップ、または縦向き切片に対応するＶ視差マップにより、該連続型物体部分を検知する、高さのある連続型物体の検知方法が提供される。

本発明のさらに他の実施例においては、連続型物体を含む視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得する部材と、横向き切片に対応するＵ視差マップ、または縦向き切片に対応するＶ視差マップにより、該連続型物体部分を検知する部材と、を備えた、高さのある連続型物体の検知装置が提供される。

本発明の実施例における高さのある連続型物体検知方法及び装置によれば、切片を用いた３次元物体の切断を行い、切片のＵ視差マップまたはＶ視差マップで物体検知を行うことにより、例えば、垂直方向や水平方向の物体遮蔽の課題を解決することができる。例えば、ガードレール検知の場合は、地面に平行する水平切片図が、白線、道端、樹木や、ビル等のサブ情報から離脱していることから、横向きや縦向きの遮蔽が免れる。

また、本発明の実施例における高さのある連続型物体検知方法及び装置によれば、第１の方向の切片のＵ視差マップやＶ視差マップにおける位置決めや検知後に、さらに、第１の方向に垂直な第２の方向で切片を取得し、Ｖ視差マップやＵ視差マップで更なる検証や検知を行うことにより、遮蔽問題をより一層解決し、より正確な物体検知が可能になる。

また、本発明の実施例における高さのある連続型物体検知方法及び装置によれば、直線適合により、対応する切片図における曲線の検知を行うことができ、連続した、または延伸した方向に湾曲した物体の検知に適用することが可能になる。

上記各実施例への説明は、単なる説明的なものであり、当業者は、需要に応じて各種修正や代替が可能であり、これらの修正や代替は、本発明の原理を逸脱しない範囲内のものであり、本発明の保護範囲内のものと見なされるべきである。

例えば、前述のように、Ｕ視差マップとＶ視差マップは、通常、視差マップから算出されたものであるが、例えば、双眼カメラ、多眼カメラ、ステレオカメラ等の特殊カメラで撮像された左右画像から、直接算出されてもよく、立体図における深度図から算出されてもよい。

なお、本明細書におけるＵ視差マップとＶ視差マップは、広い意味で理解されるべきであり、Ｕ視差マップやＶ視差マップの特性を用いた関連算出操作が存在する場合は、Ｕ視差マップとＶ視差マップが得られたものと判断することができ、一般意味上の、完全な画像が得られてはじめてＵ視差マップとＶ視差マップが得られるものではない。

また、例えば、上記実施例では、ガードレールを例に本発明の技術を説明したが、本発明はこれに限らず、例えば、灌木、路肩石等の、任意の高さのある連続型道路分割体の検知に適用用いられる。さらに、本発明は、実際に、高さのある連続型道路分割体の検知に限らず、任意の高さのある（ここで、高さは必ずしも地面に対するものではない）連続型物体の検知に用いられてもよく、或いは、より正確に言えば、ある方向の重複切片のＵ視差マップやＶ視差マップに類似性さえあれば、これらの切片に類似性を有する任意の物体の検知に用いられてもよい。

また、前述の実施例においては、通常、地面を基準に、全ての切片が地面に平行するようにしているが、これは一例に過ぎず、基準面は地面に限らず、例えば、既知の車のトップ面のように、適切な基準面が得られれば、該トップ面を基準面に、全ての切片が該トップ面に平行するようにしてもよい。一方、例えば、地面に垂直な方向のような、他の方向で切片を選択する場合は、該方向上のある決定面を基準に、該面に平行する切片を選択することができる。

以上、具体的な実施例により、本発明の基本原理を説明したが、当業者が本発明の方法及び装置の全て、または任意のステップや各部を理解したうえ、任意の演算装置（プロセッサ、記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェアや、これらの組合せで実現することが可能であることは、言うまでもなく、当業者が、本発明の説明のもと、基本プログラミング技能を用いて実現可能なものである。

このため、本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セットのプログラムを実行して実現できる。上記演算装置は、公知の汎用装置でよい。このため、本発明の目的は、単に上記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。もちろん、上記記録媒体は、任意の公知の記録媒体や、将来開発し得る任意の記録媒体でもよい。

また、本発明の装置及び方法において、各部や、各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/または再組み合わせも、本発明と同等の発明と見なされるべきである。なお、上記系列処理の実行ステップは、自然に説明順で時間順で行ってもよいが、必ずしも一定の時間順で行われる必要はなく、あるステップは、並行に、或いは独立に行われてもよい。

本発明は、前述の具体的な実施例で保護範囲が制限されるものではなく、当業者は、設計要求や他の要素に応じて、多種多様な補正、組み合わせ、サブ組み合わせ、代替が可能であることが理解できる。本発明の精神と原則を逸脱しない範囲内のいずれの補正、同等の代替、改善等は、すべて本発明の保護範囲内のものとなる。

Giancarlo Alessandretti, Alberto Broggi, and Pietro Cerri等の人による文章Vehicle and Guard Rail Detection Using Radar and Vision Data Fusion，IEEE 2007 TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS Zhencheng Hu, Francisco Lamosa and Keiichi Uchimuraの文章のA Complete U-V-Disparity Study for Stereovision Based 3D Driving Environment Analysis，Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling 2005

Claims (6)

1. 高さのある連続型道路分割体の検知方法であって、
   連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得するステップと、
   地面に平行する切片に対応するＵ視差マップから、前記連続型道路分割体を検知するステップと、を含み、
   地面に平行する切片に対応するＵ視差マップから前記連続型道路分割体を検知するステップにおいて、
   地面からの高さの低い順で、切片に対応するＵ視差マップから連続型道路分割体となる直線を検知できなくなるまで、（イ）Ｖ視差マップから、地面となる斜線と垂直軸で交わる斜線を、地面に平行する切片として取得するステップ、及び（ロ）該切片に対応するＵ視差マップから、直線を検知することにより、前記連続型道路分割体を検知するステップを繰り返し行い、
   各Ｕ視差マップから検知された直線のうち重複出現回数が最も多い直線を連続型道路分割体とし、地面と最後の切片に基づいて前記連続型道路分割体の高さを決定する、連続型道路分割体の検知方法。
2. 前記地面に平行する切片が、所定の厚さを有する、請求項１に記載の連続型道路分割体の検知方法。
3. 地面に平行する切片に対応するＵ視差マップから、連続し、且つ傾斜度が異なる複数の線分を検知することにより、湾曲した連続型道路分割体を検知する、請求項１又は２に記載の連続型道路分割体の検知方法。
4. 高さのある連続型道路分割体の検知装置であって、
   連続型道路分割体を含む部分の視差マップと、対応するＵ視差マップと、対応するＶ視差マップを取得する取得部と、
   地面に平行する切片に対応するＵ視差マップから、前記連続型道路分割体を検知する検知部と、を含み、
   前記検知部は、
   地面からの高さの低い順で、切片に対応するＵ視差マップから連続型道路分割体となる直線を検知できなくなるまで、（イ）Ｖ視差マップから、地面となる斜線と垂直軸で交わる斜線を、地面に平行する切片として取得するステップ、及び（ロ）該切片に対応するＵ視差マップから、直線を検知することにより、前記連続型道路分割体を検知するステップを繰り返し行い、
   各Ｕ視差マップから検知された直線のうち重複出現回数が最も多い直線を連続型道路分割体とし、地面と最後の切片に基づいて前記連続型道路分割体の高さを決定する、連続型道路分割体の検知装置。
5. 前記地面に平行する切片が、所定の厚さを有する、請求項４に記載の連続型道路分割体の検知装置。
6. 地面に平行する切片に対応するＵ視差マップから、連続し、且つ傾斜度が異なる複数の線分を検知することにより、湾曲した連続型道路分割体を検知する、請求項４又は５に記載の連続型道路分割体の検知装置。