JP6179639B2 - 道路境界物の検出方法及び検出装置 - Google Patents

Description

本発明はオブジェクト検出分野に関するものであり、より具体的には道路境界物の検出方法及び装置に関するものである。

運転支援システムの応用はますます普及している。道路あるいは車道警告システム（Lane/Road detection warning：LDW/RDW）は運転支援システムのサブシステムであり、衝突を回避し、更に正確に運転方向を決定することができる。道路あるいは車道の検出はLDW/RDWシステムにとって非常に重要であり、例えば警告など、道路情報をさえ知った上で、更なる処理を行うことができる。一般的には道路境界物の検出を通して道路あるいは車道を検出する。

道路境界物には、車線境界線、縁石、フェンス及びその他道のエリア及び車道を識別できる物体を含み、車線境界線には白線や黄色線を含むこともできる。

従来の方法においては、視差画像を用いて車線境界線の検出を行うことができる。例えば、図1は道路エリアを含む目標情景を例示した視差画像である。しかしながら、ある状況下においては、図1の楕円形フレームで示すように、スパース（sparse）視差画像上の道路境界または道路境界物を表す視差画素点がほとんど無く、よって直接視差画像上で道路検出を行うのは恐らく比較的困難である。しかも、実際の道路状況において、道路は必ずしも常に直線ではなく、様々なカーブや曲がった道もよく見られるが、現在の検出方法のほとんどは直線道路を対象に検出を行うものであるので、図1に示す曲がった道のような非直線道路は通常処理することができない。

以上の問題を考慮して、正確に道路境界物を検出でき、さらに非直線道路及びその道路境界物を検出できる方法及び装置を提供する。

本発明の一つの態様では、道路エリアの視差画像及び道路消失点を取得するステップと、道路消失点に基づき前記視差画像中の視差点に対して座標変換を行うステップと、座標変換後の視差点に基づいて道路境界物を検出するステップと、を含む、道路境界物の検出方法を提供する。

一つの実施例では、前記座標変換後の視差点に基づいて道路境界物を検出するステップは、座標変換後の視差点に対応する3次元空間の中で、道路境界物に属する点を検出するステップと、前記座標変換の逆変換により、3次元空間の中で検出された道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得して、前記道路境界物を取得するステップと、を含んでもよい。

別の実施例において、前記道路消失点を取得するステップは、前記視差画像の距離情報に基づいて、前記視差画像中の道路エリアを複数のブロックに分割するステップと、各ブロックの道路消失点を取得するステップと、を含んでもよい。

別の実施例において、前記道路消失点に基づき視差画像中の視差点に対して座標変換を行うステップは、前記複数のブロック中の第一ブロックを除いて他のブロックの消失点を前記第一ブロックの道路消失点に移動させるステップであって、前記第一ブロックは前記複数のブロックのうち、前記視差画像中の距離が最も近いブロックである、ステップと、変換前のブロック中の視差点から変換前の該ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点から変換後の該ブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるように、前記他のブロックの各ブロック中の視差点に対して座標変換を行うことを含んでもよい。

別の実施例において、前記座標変換後の視差点に対応する3次元空間の中で、道路境界物に属する点を検出するステップは、変換後の視差点と道路消失点との間の相対的位置関係に基づき、3次元空間に分布する変換後の視差点を取得するステップと、3次元空間中の視差点をZ＝dの平面上に投影するステップであって、dはすべての視差点のうち最大の視差値を有する視差点に対応する現実3次元空間距離を表す、ステップと、視差点の投影により、3次元空間中の道路境界物に属する点を検出するステップと、を含んでもよい。

別の実施例において、前記座標変換の逆変換により、3次元空間の中で検出された道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得して、前記道路境界物を取得するステップは、変換後の視差点と道路消失点との間の相対的位置関係に基づき、検出された3次元空間中の道路境界物に属する点に対応する、変換後の視差点を、目標視差点として取得するステップと、前記座標変換の逆変換により、前記目標視差点に対応する、前記視差画像中の変換前の視差点を取得するステップと、前記変換前の視差点に対してフィッティングを行って、前記道路境界物を取得するステップと、を含んでもよい。

別の実施例において、前記視差点の投影により、3次元空間中の道路境界物に属する点を検出するステップは、前記Z＝dの平面上の投影点のうち投影した視差点の数が最も多い投影点を選択するステップと、選択された投影点上に投影したすべての3次元空間の視差点を、前記3次元空間中の道路境界物に属する点として取得するステップと、を含んでもよい。

好ましくは、前記Z＝dの平面上の所定の垂直距離以下の投影点の中で、3次元空間中の道路境界物に属する点を検出してもよい。

好ましくは、前記Z＝dの平面上の投影点のうち投影した視差点の数が所定の閾値より大きい投影点を選択するステップと、選択された投影点を用いて直線フィッティングを行い、直線の両端の二つの投影点を取得するステップと、前記二つの投影点に基づいて、道路エリアの境界を決定するステップと、をさらに含んでもよい。

本発明の別の態様では、道路エリアの視差画像及び道路消失点を取得する取得手段と、道路消失点に基づき前記視差画像中の視差点に対して座標変換を行う変換手段と、座標変換後の視差点に基づいて道路境界物を検出する検出手段と、を含む、道路境界物の検出装置を提供する。

本発明によれば、道路消失点に基づき元の視差画像中の視差点に対して座標変換を行い、変換後の視差点に基づき道路境界物を検出できる。これにより、検出待ちの道路が直線道路でなくても、座標変換を通して直線道路の検出に転換することもでき、これにより、当該直線道路の検出結果に対応する、元の視差画像中の道路及びその道路の境界物を取得することができる。よって、本発明の検出対象は直線道路に限ることはない。さらに、視差画像中の全ての視差点を用いて検出を行うので、正確な検出結果を取得できる。

道路エリアを含む目標情景例の視差画像である。 本発明の応用環境を例示する車載システムの概略図である。 本発明の実施例に基づく道路境界物検出方法の全体フローチャートである。 視差画像中の道路エリアに行う分割を示す概略図である。 視差画像中の道路エリアの複数の道路消失点を示す簡易概略図である。 実施例に係る視差画像座標変換方法のフローチャートである。 視差画像の座標変換の簡易概略図である。 実施例に係る、座標変換後の視差点に対応する3次元空間中で道路境界物を検出する方法を示すフローチャートである。 変換後の視差画像から3次元視差点に分布する転換を示す概略図である。 3次元空間中の視差点がZ=dの平面に投影することを示す概略図である。 投影点に基づきフィッティングした道路エリア断面の概略図である。 取得した3次元空間中に投影された境界線に属する点に基づく概略図である。 3次元空間中で検出された道路境界物から元の視差画像中の道路境界物を検出する方法を示すフローチャートである。 同一道路方向を有する視差画像中の目標視差点に基づき元の視差画像中の道路境界物を取得することを示す概略図である。 本発明の別の実施例に基づく道路境界物検出装置の機能ブロック図である。 本発明の実施例に基づく道路境界物検出を実現する検出システムのハードウェア構成を示す。

当業者が本発明をより良く理解するために、以下は図面及び具体的な実施方式を合わせて本発明について更に詳細な説明を行うものとする。

以下の順序で説明を行う。

1、発明思想の概要
2、実施例
2.1、道路境界物検出の全体過程
2.2、視差画像の座標変換
2.3、道路境界物の検出
2.4、道路境界物検出装置
2.5、道路境界物検出システム
3、まとめ
＜1、発明思想概要＞
上述のように、スパース（sparse）視差画像上で曲がった道路の検出を行うのは困難である。そのため、本発明は視差画像中の道路消失点を用いて検出を行い、当該現実世界の3次元画像中で同一方向を有する道路及び道路境界物を検出するために、道路消失点に基づいて道路エリアの視差画像をその道路が有する同一方向の現実世界の3次元画像に転換し、さらにバックトレースを通して、検出された現実世界の3次元画像中の道路及び道路境界物に対応する、視差画像中の道路及びその道路境界物を取得する。

本発明によれば、道路消失点を用いて視差画像中の同一方向を有する道路、すなわち直線道路に変換し、同一道路方向を有する3次元世界の中で道路境界物を検出する。これにより、同一方向を有する道路及び道路境界物を正確に検出でき、その後当該変換関係に基づいて、元の視差画像中の道路境界物に逆変換することができる。よって本発明の方法は道路及び道路境界物を正確に検出でき、さらに、本発明の方法は直線道路であろうと曲がった道路であろうと、一般的な道路に適応することができる。

図2は本発明を理解する助けとなる、本発明の応用環境を例示した車載システムの概略図である。本発明の道路境界物の検出方法はその中のチップ（集積回路）中で実現できる。

＜2、実施例＞
＜2.1、道路境界物検出の全体過程＞
図3は本発明の実施例に基づく道路境界物検出方法の全体フローチャートである。図3に示すように、この実施例の道路境界物検出方法には、道路エリアの視差画像及び道路消失点を取得するステップS310、道路消失点に基づき当該視差画像中の視差点の座標変換を行うステップS320、及び座標変換後の視差点を基に道路境界物を検出するステップS330を含むことができる。

ステップS310では、カメラの撮影した目標情景の画像から目標情景中に含まれる道路エリアの元の画像を取得することができる。たとえば、両眼カメラを用いてオブジェクトの左右画像を撮影し、かつ左画像及び右画像のうち任意の一つを参考画像として、ステレオ・マッチングアルゴリズムなどを用いて道路エリアの目標情景を含む視差画像を取得する。当然、目標情景の視差画像を取得する方法はこれに限らない。

また、当該の元の視差画像中の道路消失点をさらに取得する。理論上、平行の直線は全て無限遠点で消失する。しかしながら、実際の撮影画像では、平行の直線が画像平面上に形成する画像には交点が一つだけあり、それは消失点と呼ばれる。よって、同一方向を有する直線について言えば、その画像中には消失点が一つだけあることになる。

消失点の検出は当業者の熟知しているところである。例えば、一般的な消失点検出アルゴリズムは三種類に分類できる。第一類はガウス変換、ハフ変換など、空間変換技術を用いて、画像上の情報を有限の空間上に変換する。第二類は直接直線情報を利用して画像平面上で消失点の検出を行う。第三類は統計推定の方法を用いて、画像上のエッジ特徴点を基に直線パラメータを推定し、これらのパラメータが算出した消失点によって、あるいは消失点及びエッジ特徴点の構造代価関数を用いて、直線及び消失点を同時に推定する。当然、これ以外のその他どんな消失点検出技術も本発明に応用できる。

上述のように、平行直線道路は一つの消失点を有するという基礎を基に、非直線道路、すなわち曲がった道路は、それを幾つもの直線道路のブロックに分けることにより、各直線道路ブロックは一つの消失点に対応しているので、画像中で多くの消失点を取得することができる。よって、本発明の実施例において、ステップS310で道路消失点を取得するために、その取得した道路エリアの視差画像中の距離情報を基に、当該視差画像中の道路エリアを複数のブロックにセグメント化し、各ブロックの消失点を取得することができる。

図4は視差画像中の道路エリアに行う分割を示す概略図である。当該図に示すように、道路距離を基に平面の距離を撮影し、道路を手前から奥まで複数に分割する。分割する際、視差画像中の代表的な距離情報に基づき、距離平均に従って区分できる。或いはその他のセグメント方式を用いてもよく、ただブロックに区切られた後の各道路が直線に近似するものであればよい。これにより、分割後の各道路には道路消失点が一つだけあることになる。こうして非直線道路に対して、多くの道路消失点を取得することができる。

分割の具体的な数について特別な制限はなく、分割の数が多くなれば、後続の検出結果がより正確になるが、同時に計算量も多くなるのは明らかである。よって、実際に応用する際、当業者は状況を見て相応しいセグメント方法を選択できる。

図5は視差画像中の道路エリアの複数の道路消失点を示す簡易概略図である。図5に示す道路エリアはカーブであり、当該カーブを手前から奥まで3つのセグメントに分割することで、各セグメントが一つの道路消失点に対応するので、ここから三つの道路消失点P1、P2とP3を得られる。

ステップS310で道路エリアの元の視差画像及び道路消失点を取得した後、ステップS320 で、道路消失点を基に当該の元の視差画像中の視差点の座標変換を行う。視差画像の座標変換を行う目的は、次のような変換後の視差画像を取得することにある。正確に道路及び道路境界物を検出できるように、当該視差画像中で、変換を通して道路エリアを直線道路に近似するもの、すなわち同一の道路方向を有するものとする。

ステップS310で取得したすべての道路消失点を一つの点に移動し、かつ対応して当該の元の画像中のその他のすべての視差点を移動することで、このような視差画像変換を実現できる。本文の少し後の部分でこの変換処理の具体的な実施例を詳細に説明する。ステップS320を通して、同一方向を有する道路の変換後の視差画像を取得する。そのうえ、変換後の視差画像中では、道路が同一方向なので、道路境界物も直線に近似している。

ステップS330で、変換後の視差画像中の視差点を基に道路境界物を検出する。直線に近似する道路境界物に対しての検出は通常、比較的容易かつ正確に行える。例えば、座標変換後の視差点に対応する3次元空間中で道路境界物に属する点の検出、つまり直線の道路境界物を検出し、かつその座標変換の逆変換に基づいて、3次元空間中で検出した道路境界物に属する点に対応する、当該の元の視差画像中の道路境界物の点を取得し、元の視差画像中の道路境界物を取得することができる。

こうして、本発明の実施例の道路境界物の検出方法は、変換後の視差点に基づいて道路境界物を検出するために、道路消失点を基に元の視差画像中の視差点に座標変換を行う。従って、検出する道路が直線道路でなくても、座標変換によって直線道路の検出に転換でき、これによってその直線道路の検出結果に対応する、元の視差画像中の道路及び道路境界物を取得できる。よって本発明の検出対象は直線道路に限らない。そのうえ、視差画像中のすべての視差点を用いて検出を行うので、正確な検出結果を取得できる。

＜2.2、視差画像の座標変換＞
以下は図6〜7を参考に視差画像の座標変換の具体的な実施例を説明する。図6は実施例に基づいた視差画像座標変換方法のフローチャートである。上述のように、道路消失点に基づき当該の元の視差画像中の視差点に座標変換を行い、変換後の道路エリアの視差画像を取得する。具体的には、図6に示すように、当該座標変換方法には、複数ブロック中の第一ブロックを除いて他のブロックの消失点をその第一ブロックの道路消失点に移動するが、当該第一ブロックは前記視差画像中で距離が最も近いブロックである、というステップS610、及び変換前の該当ブロック中の視差点から変換前の該当ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点か変換後のそのブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるようにその他のブロックのうちの各ブロック中の視差点の座標変換を行う、というステップS620 を含むことができる。

例えば、やはり図5で示した道路消失点P1(x₁,y₁)、P2(x₂,y₂)及びP3(x₃,y₃)を例にすると、最も距離が近い第一セグメント道路の消失点はP1(x₁,y₁)である。ステップS610で、消失点P2(x₂,y₂)及びP3(x₃,y₃)を第一セグメント道路の消失点P1(x₁,y₁)に移動する。仮に路面が平面であるとすると、消失点P1、P2及びP3は同じ高さに位置するので、これらのy座標は同等のy₁=y₂=y₃となる。

それに対応して、ステップS620で、消失点P2(x₂,y₂)の移動に基づいて、消失点P2に対応する道路ブロック（以下第二セグメント道路と称する）中の各視差点P(x,y)の座標変換を行い、変換後の第二セグメント道路中のその視差点P'(x',y')から変換後の消失点P2'(x₂',y₂')（すなわちP1(x₁,y₁)）までの水平距離と、変換前のその視差点P(x,y)から変換前の消失点P2(x₂,y₂)までの水平距離を等しくさせる。垂直距離は変換前後で変わらないので、上述のようにy座標は変化せず、y'=yとなる。

変換前、視差点P(x,y)から消失点P2(x₂,y₂)の水平距離D_P-P2は以下の公式（1）で表す。
D_P-P2=(x₂-x)・lz (1)

式中のlzは深度Z方向における各視差点の実際の長さであり、これはカメラにより決定されるものであり、また既知のものである。

座標変換後の視差点P'(x',y')から変換後の消失点P2'(x₂',y₂')（すなわちP1(x₁,y₁)）までの水平距離は以下の公式（2）で表す。
D_P'-P2'=(x₁-x')・lz (2)

座標変換後のその水平距離D_P'-P2'は変換前の水平距離D_P-P2と等しくなければならないので、以下の公式（3）が成り立つ。
(x₁-x')・lz=(x₂-x)・lz (3)

これによって、以下の公式（4）を取得できる。
x'=x₁-(x₂-x) (4)

よって第二セグメント道路中の視差点P(x,y)の変換後の視差画像中の視差点座標はP'(x₁-(x₂-x),y)となる。

同様に、第三セグメント道路の対応する消失点P3(x₃,y₃)の消失点P1(x₁,y₁)までの移動に基づき、第三セグメント道路中の各視差点の座標変換を行い、変換後の第三セグメント道路中の各視差点から変換後の消失点P3'(x₃',y₃')（すなわちP1(x₁,y₁)）までの水平距離と、変換前のその視差点から変換前の消失点P3(x₃,y₃)までの水平距離を等しくさせる。

これによって、当該座標変換方法600に基づいて、道路消失点を基に道路エリアを含む視差画像中の各視差点の座標変換を行い、変換後の視差画像を取得する。

図7は視差画像の座標変換の簡易概略図であり、左図は元の視差画像、右図は変換後の視差画像である。図7に示すように、変換後の視差画像において、第一セグメント道路を除く各セグメントの道路の消失点が第一セグメント道路の消失点に移動する、つまり変換後の各セグメント道路が同じ消失点を有するので、変換後の視差画像において道路エリアは同一道路方向を有するように、すなわち直線道路に変換される。

注意すべき点として、上述の例では道路が平坦であると仮定しているので、各消失点のy座標は変わらないが、本発明は道路が平坦でない状況にも応用でき、その際は視差画像中の各視差点のy座標に同じ座標変換を行い、変換後の当該視差点から変換後の消失点までの垂直距離と、変換前のその視差点から変換前の消失点までの垂直距離を等しくさせる。当該y座標の変換と上述のx座標の変換は同じ原理なので、ここでは説明しない。

＜2.3、道路境界物の検出＞
変換後の視差画像を取得した後、座標変換後の視差画像中の視差点を基に道路境界物を検出することができる。具体的には、座標変換後の視差点に対応する3次元空間の中で道路境界物に属する点を検出し、かつ前記座標変換の逆変換に基づいて、3次元空間の中で検出した道路境界物に属する点に対応する、元の視差画像中の道路境界物の点を取得することにより、上述の道路境界物を取得できる。以下は、変換後の視差点に対応して3次元空間中で道路境界物を検出する具体的な実施例、及び、3次元空間中で検出した道路境界物の点に基づき元の視差画像中の道路境界物を取得する具体的な実施例を詳細に説明する。

図8は実施例に基づく、座標変換後の視差点に対応する3次元空間の中で道路境界物を検出する方法を示すフローチャートである。図8に示すように、当該方法には、変換後の視差点と道路消失点との間の相対的位置関係に基づき、3次元空間に分布する変換後の視差点を取得するステップS810、3次元空間中の視差点をZ＝dの平面上に投影するが、式中のdはすべての視差点の中で最大の視差値を有する視差点に対応する現実3次元空間距離を表す、というステップS820、及び視差点の投影に基づき、3次元空間中の道路境界物に属する点を検出することを含むステップS830を含むことができる。

ステップS810で、道路消失点の位置座標は既知であるので、変換後の視差画像中の各視差点と道路消失点間の相対位置関係を基に、3次元空間中の各視差点の分布、すなわち空間位置座標を決定する。

例えば、変換後の任意の視差点P'(x',y')について、以下の公式（5）及び（6）を基に消失点P1(x₁,y₁)の現実世界の水平距離D_xと垂直距離D_yを計算できる。
D_x=(x'-x₁)・lz （5）
D_y=(y'-y₁)・lz （6）

また、各視差点の視差値を基に各視差点の深度情報、すなわちz軸座標を得ることができるので、変換後の視差点と道路消失点の間の相対的位置関係を基に現実世界の3次元空間中の変換後の視差点の分布を取得できる。

図9は変換後の視差画像から3次元視差点に分布する転換を示す概略図であり、左図は座標変換した同一道路方向を有する視差画像であり、右図は対応する3次元視差画像の平面図である。図9の右図に示すように、現実3次元空間中の座標変換後の道路は直線道路である。

3次元空間中の変換後の視差点の分布を取得した後、ステップS820で、3次元空間中の視差点をZ＝dの平面上に投影するが、式中のdはすべての視差点の中で最大の視差値を有する視差点に対応する実の3次元空間距離を表す。視差値と距離は反比例の関係にあるので、最大視差値を有する視差点は最も短い平面距離を有する。これによって、すべての視差点を用いて道路境界物の検出を行うことで正確な検出結果を取得するために、可能な限りすべての視差点をZ＝dの平面上に投影することができる。

図10は3次元空間中の視差点がZ=dの平面に投影することを示す概略図であり、左図は3次元視差分布図の平面図であり、右図は視差点をZ=dの平面上への投影を示す。図10からわかるように、同一車線境界線に属する視差点はZ=dの平面上の同一点に投影するので、Z=dの平面上のすべての投影点のうち、投影する視差点の数が最も多い投影点（すなわち投影図上最も強く光る投影点）が車線境界線と対応している。Z方向に沿って、当該の最も強く光る投影点の、同一道路方向の現実世界の画像中に投影したすべての点を探すことができる。

よってステップS830で、視差点の投影に基づいて、3次元空間中の道路境界物に属する点を検出する。具体的には、上述のZ=dの平面上の投影点のうち投影の視差点が最も多い投影点を選択し、選択した投影点上に投影したすべての3次元空間中の視差点を取得して、前記3次元空間中の道路境界物に属する点とすることができる。

以上の実施例では、すべての視差点をZ=dの平面上に投影する。しかしながら、通常画像中の道路エリアの高度は一定の垂直距離を超えないため、選択的に、別の実施例では、ノイズ点をフィルタ・アウトし、検出速度および検出の正確性を高めるために、そのZ=dの平面上の所定の垂直距離以下の投影点だけの中から3次元空間中の道路境界物に属する点を検出することもできる。当該所定の垂直距離は当業者が経験や実験に基づき具体的に設定できる。

ステップS830で、道路境界物を検出できる以外に、視差点の投影に基づいて3次元空間中の道路境界も検出できる。図10の右図に示すように、すべての投影点のうち、両端の二つの投影点は恐らく道路の境界に対応している。ノイズなどの要素を考慮して、通常はZ=dの平面上の投影点のうち、投影の視差点の数が所定の閾値より大きい投影点を道路エリアの有効な投影点とみなす。当該所定の数は当業者が経験や実験に基づき具体的に設置できる。

よって、前記Z=dの平面上の投影点中で、投影の視差点の数が所定の閾値より大きい投影点を選択し、選択した投影点を用いて直線のフィッティングを行い、当該Z=dの平面上の道路エリアの断面図とし、当該直線の両端の二つの投影点を取り出し、前記二つの投影点を基に3次元空間中の道路エリアの境界を決定できる。

図11は投影点に基づきフィッティングした道路エリア断面の概略図であり、左図はZ=dの平面上の視差点の投影を表し、右図は視差点の投影を基にフィッティングして得た道路投影を表す。図12は取得した3次元空間中に投影された境界線に属する点に基づく概略図であり、左図は境界線及び道路投影を表し、右図はその境界線と道路投影に対応する3次元空間中の境界線及び道路の平面図である。

これによって、該方法によれば、座標変換後の視差点に対応する3次元空間中で道路境界物及び/または道路境界に属する点を検出できる。

3次元空間中において道路境界物に属する点を取得した後、上述の座標変換の逆変換に基づいて3次元空間中で検出した道路境界物に対応する、元の視差画像中の道路境界物を取得できる。

図13は実施例に基づく、3次元空間中で検出された道路境界物に基づき、元の視差画像中の道路境界物を検出する方法のフローチャートである。図13に示すように、当該方法には、変換後の視差点と道路消失点の間の相対位置関係に基づき、3次元空間中で検出された道路境界物に属する点に対応する、変換後の視差点を取得し、目標視差点とするステップS1310、前記座標変換の逆変換に基づき、前記目標視差点に対応する、前記視差画像中の変換前の視差点を取得するステップS1320、前記変換前の視差点に対してフィッティングを行うことにより、前記道路境界物を取得するステップS1330を含むことができる。

以上の方法で述べたように、変換後の視差点と道路消失点の間の相対的位置関係に基づき、3次元空間中に分布する変換後の視差点を取得し、同様に、ステップS1310で、変換後の視差点と道路消失点の間の相対的位置関係に基づき、3次元空間中の視差点に対応する、変換後の視差画像（同一道路方向を有する視差画像）中の視差点の位置座標を取得できる。

つまり、3次元空間中で検出した距離z0に位置する道路境界物に属する点P"(x",y")から道路消失点P1"(x₁",y₁")までの水平距離及び垂直距離は、当該変換後の視差画像中でその点P"(x",y")に対応する視差点P'(x',y')から道路消失点P1'(x₁',y₁')までの水平距離及び垂直距離に等しい。

3次元空間中の点P"(x",y")から道路消失点P1"(x₁",y₁")までの水平距離がD_x"であり、垂直距離が0であることが既知である場合、以下の公式（7）及び（8）が得られる。
D_x"=(x'-x₁')・lz (7)
O=(y'-y₁')・lz (8)

式中のlzは深度Z方向における各視差点の実際の長さであり、これはカメラにより決定されるものであり、また既知であるのは上述した通りである。

これによって、以下の公式（9）及び（10）が得られる。
x'=x₁'+D_x"/lz (9)
y'=y₁' (10)

よってz0にある視差点P'の座標P'(x₁'+D_x"/lz,y₁')を取得する。この方式によって、その3次元空間中の道路境界物に属するすべての点に対応する、同一道路方向を有する視差画像中の視差点の座標を取得できる。

よってステップS1310で、変換後の視差点と道路消失点の間の相対位置関係に基づいて、検出された3次元空間中の道路境界物の点に対応する、変換後の視差点を取得し、目標視差点とすることができる。その後、ステップS1320で、上述の座標変換の逆変換に基づいて、目標視差点に対応する、元の視差画像の変換前の視差点を取得することができる。

以上の方法で述べたように、道路消失点を基に元の視差画像の座標変換を行う際、複数の道路ブロック中の第一ブロックを除いてその他のブロックの消失点を第一ブロックの道路消失点に移動し、変換前の当該ブロック中の視差点から変換前の当該ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点から変換後の当該ブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるようにその他のブロック中の各ブロック中の視差点の座標変換を行う。

それに対応して、ステップS1320で、その座標変換の逆変換により、目標視差点に対応する元の視差画像中の変換前の視差点を取得できる。具体的には、同一道路方向を有する視差画像中の同一道路の消失点P（第一セグメント道路の消失点P1）を図7に示すような第二道路消失点P2及び第三道路消失点P3へそれぞれ移動させ、対応して、第二道路消失点に対応する道路ブロックに対し、当該道路ブロック中の各視差点の座標変換を行い、再度座標変換を経た視差点（すなわち元の視差画像中の視差点）から変換後の当該ブロックの道路消失点までの水平距離及び垂直距離と、再度変換前の当該ブロック中の視差点（同一道路方向を有する視差画像中の視差点）から再度変換前のそのブロック中の道路消失点（同一道路方向を有する視差画像中の同一道路消失点）までの水平距離及び垂直距離とをそれぞれ等しくさせることができる。

例を挙げると、同一道路方向を有する視差画像中の距離z0に位置する視差点P'(x',y')については、その同一道路方向を有する視差画像中の道路消失点P₁'(x₁',y₁')の水平及び垂直距離は、当該点P'(x',y')に対応する元の視差画像中の視差点P(x,y)からその元の視差画像中の視差点P₀(x₀,y₀)の水平および垂直距離とをそれぞれ等しくしてもよい。先に述べたようにz軸の距離に基づいて道路エリアを分割し、各ブロックは一つの道路消失点P1、P2あるいはP3に対応するので、視差点P'(x',y')の距離z0に基づいてその視差点P'(x',y')がある道路ブロックに対応する元の視差画像中の視差点を決定できる。つまり、z0を決める、当該点P'(x',y')に対応する元の視差画像中の道路消失点P₀(x₀,y₀)はP1(x₁,y₁)、P2(x₂,y₂)とP3(x₃,y₃)のうちの一つでよい。

道路はやはり平坦であると仮定すると、視差点y座標は変わらない。よって、以下の公式（11）及び（12）が得られる。
x=x'-x₁'+x₀ （11)
y=y' (12)

これによって、目標視差点P'(x',y')に対応する変換前の視差点Pの位置座標P(x'-x₁'+x₀,y')を取得できる。よって、元の視差画像中で目標視差点に対応するすべての変換前視差点を見つけ、かつステップS1330で変換前視差点全てに対してフィッティングを行うことにより、前記道路境界物を取得できる。ここでは最小二乗法など、任意の曲線フィッティング方法を用いることができる。

図14は同一道路方向を有する視差画像中の目標視差点に基づき元の視差画像中の道路境界物を取得することを示す概略図であり、左図は同一道路方向を有する視差画像を表し、右図は取得した元の視差画像の道路境界物を表す。

上述のステップS830で述べたように、道路境界物を検出できること以外に、視差点の投影に基づいて、3次元空間中の道路境界も検出できる。それに対応して、ステップS1310で、3次元空間中の道路境界に対応する、同一道路方向を有する視差画像中の視差点を取得し、さらにステップS1320で、同様に座標変換の逆変換に基づいて、これら視差点に対応する、元の視差画像中の視差点を取得し、さらにステップS1330で、取得した元の視差画像中の視差点に基づきフィッティングを行い、それにより元の視差画像中の道路境界曲線を取得することができる。

よって、上記方法によれば、3次元空間中で検出した道路境界物を基に元の視差画像中の道路境界物を検出できる。

従って上述の道路境界物の検出方法を、ステップS320及びステップS330中で応用することができる。これにより、本発明の道路境界物検出方法は、道路消失点に基づいて元の視差画像中の視差点の座標変換を行い、変換後の視差点を基に道路境界物を検出できる。これにより、検出待ちの道路が直線道路でなくても、当該直線道路の検出結果に対応する、元の視差画像中の道路及び道路境界物を取得するために、座標変換によって直線道路の検出に転換することができる。よって、本発明の検出対象は直線道路に限ることがない。そのうえ視差画像中の視差点すべてを用いて検出を行うので、正確な検出結果を取得できる。

説明すべき点として、検出待ちの目標エリアは道路エリアなので、上記の視差画像変換の説明において、道路エリアに属する視差点のみの座標変換を行い、さらに道路境界物を検出する際も道路エリアの視差点を基に検出を行う。当該道路エリアは既にあるどんな画像処理方法によってでも元の視差画像から検出できる。しかしながら、本発明はこれに限らず、元の視差画像全体に対し座標変換を行い、かつすべての視差点を基に道路境界物の検出を行うこともできる。

そのうえ、以上の具体例において、車線境界線を道路境界物の具体例として説明を行ったが、当業者であれば、以上で説明した方法が車線境界線以外のその他どんな道路境界物にも適用できることは明らかである。

＜2.4、道路境界物検出装置＞
以下は図15を参考に本発明の別の実施例に基づく道路境界物検出装置を説明する。図15は当該道路境界物検出装置の機能ブロック図である。図15に示すように、当該検出装置1500には、道路エリアの視差画像及び道路消失点を取得する取得部1510、道路消失点を基にその視差画像中の視差点に対して座標変換を行う変換部1520、及び座標変換後の視差点に基づいて道路境界物を検出する検出部1530を含むことができる。

当該取得部1510は、視差画像の距離情報に基づき、当該視差画像中の道路エリアを複数のブロックに分割し、かつ各ブロックの道路消失点を取得するよう構成できる。

一つの具体例で、当該変換部1520は、前記複数ブロック中の第一ブロックを除いて他のブロックの消失点を前記第一ブロックの道路消失点に移動させ、変換前の当該ブロック中の視差点から変換前の当該ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点から変換後の当該ブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるようにその他のブロックの各ブロック中の視差点の座標変換を行ってもよい。該第一ブロックは複数ブロックの中の前記視差画像中で距離が最も近いブロックである。

別の具体例で、当該検出部1530は、座標変換後の視差点に対応する3次元空間中で道路境界物に属する点を検出する3次元空間検出部（図示しない）、及び前記座標変換の逆変換に基づいて、その3次元空間検出部が検出した道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得しそれにより前記道路境界物を取得する視差画像検出部（図示しない）を含むことができる。

別の具体例で、当該3次元空間検出部は、変換後の視差点と道路消失点の間の相対的位置関係に基づき、3次元空間に分布する変換後の視差点を取得し、3次元空間中の視差点をZ＝dの平面上に投影し、視差点の投影に基づき、3次元空間中の道路境界物に属する点を検出してもよい。式中のdはすべての視差点の中で最大の視差値を有する視差点に対応する現実3次元空間距離を表す。

別の具体例において、当該視差画像検出部は、変換後の視差点と道路消失点の間の相対位置関係に基づき、当該3次元空間検出部が検出した3次元空間中の道路境界物に属する点に対応する、変換後の視差点を取得し、目標視差点とし、前記座標変換の逆変換を基に、前記目標視差点に対応する、前記視差画像中の変換前視差点を取得し、前記変換前視差点に対してフィッティングを行って前述道路境界物を取得してもよい。

別の具体例で、当該3次元空間検出部はさらに、Z＝dの平面上の投影点のうち、投影した視差点の数が最も多い投影点を選択し、選択した投影点上に投影したすべての3次元空間の視差点を取得し、前記3次元空間中の道路境界物に属する点としてもよい。

好ましくは、当該3次元空間検出部は、前記Z＝dの平面上の所定の垂直距離以下の投影点中で3次元空間中の道路境界物に属する点を検出してもよい。

好ましくは、当該3次元空間検出部はさらに、前記Z＝dの平面上の投影点の中で投影した視差点の数が所定の閾値より大きい投影点を選択し、選択した投影点を用いて直線のフィッティングを行い、当該直線の両端の二つの投影点を取り出すこと、前記二つの投影点に基づいて道路エリアの境界を決定してもよい。

当該検出装置1500の取得部1510、変換部1520及び検出部1530の具体的な操作過程は、上述の道路境界物の検出方法の説明を参考にできるので、ここでは説明しない。

当該実施例の道路境界物検出装置1500は、変換後の視差点に基づき道路境界物を検出するために、元の道路消失点に基づき視差画像中の視差点に対して座標変換を行うことができる。これにより、検出待ち道路が直線道路でなくても、座標変換を通して直線道路の検出に転換することもでき、これにより、当該直線道路の検出結果に対応する、元の視差画像中の道路及びその道路境界物を取得することができる。よって本発明の検出対象は直線道路に限ることはない。そのうえ、視差画像中の視差点すべてを用いて検出を行うので、正確な検出結果を取得できる。

＜2.5、道路境界物検出システム＞
次に、図16を参考に本発明の実施例に基づく道路境界物の検出を実現する検出システムのシステム構成について説明する。図16に示すように、検出システム1600には、例えば、道路エリアの目標情景の当該視差画像などを含むことのできる、処理すべき画像を外部から取り込むために用いる入力装置1610であって、キーボード、マウス及び通信ネットワーク及びそれと接続する遠隔入力装置などを含むことのできる入力装置1610と、上述の本発明の実施例に基づく道路境界物検出方法を実施し、あるいは、例えばインターネットのネットワーク（不図示）などに接続できて、処理過程の需要によってネットワークから必要なデータを取得できる、例えばコンピュータの中央処理ユニットあるいはその他の処理能力を有するチップなどを含むことのできる、上述の本発明の実施例に基づく道路境界物装置を実施するために用いられる、処理装置1620と、例えば検出した画像中の車線境界線、道路境界など上述の道路境界物の検出結果を外部に出力できる、出力装置1630であって、例えばディスプレイ、プリンター、及び通信ネットワークとそれに接続する遠隔出力設備などを含むことのできる、出力装置1630と、及び揮発性または非揮発性の方式で上述の処理過程に関する画像、データ、取得結果、オーダー及び中間データなどを記憶する記憶装置1640であって、例えばランダムアクセスメモリ（RAM）、読み込み専用メモリ（ROM）、ハードディスク、或いは半導体メモリなど各種揮発性或いは非揮発性メモリを含むことのできる、当該記憶装置1640と、を含む。

当然、簡略化のため、図16では当該システム中で本発明と関係する構成要素の一部のみを示しており、バスや入力/出力インターフェイスなどの構成要素は省略した。それ以外に、具体的な応用状況に基づいて、システム1600はその他の構成要素をも含むことができる。

＜3.まとめ＞
本発明に基づいて、道路境界物の検出方法、検出装置及び検出システムを提供する。道路エリアの視差画像及び道路消失点を取得し、その道路消失点に基づき視差画像中の視差点に対して座標変換を行い、かつ座標変換後の視差点を基に道路境界物を検出する。

上述の道路境界物の検出方法、検出装置及び検出システムに基づき、変換後の視差点に基づき道路境界物を検出するために、道路消失点に基づき元の視差画像中の視差点に対して座標変換を行うことができる。これにより、検出すべき道路が直線道路でなくても、座標変換を通して直線道路の検出に転換することができ、これにより、当該直線道路の検出結果に対応する、元の視差画像中の道路及びその道路の境界物を取得することができる。よって、本発明の検出対象は直線道路に限ることはない。さらに、視差画像中の全ての視差点を用いて検出を行うので、正確な検出結果を取得できる。

以上図面を参考に本発明の実施例に基づく道路境界物検出方法及び装置を詳細に説明した。上述においては車線境界線を検出対象として説明を行ったが、当業者であれば本発明が応用できる対象はこれに限らず、例えば縁石、フェンス及びその他の道路エリア及び車線を識別できる物体でも可能であることは明らかである。

本公開に関わる装置、設備、システムのブロック図は単に例を示すものであり、必ずブロック図の示す方法で接続、配置、構成を行うよう要求または暗示することを意図するものではない。当業者であれば知っているように、任意の方法でこれらの装置、設備、システムを接続、配置、構成できる。例えば、「含む」、「包含する」、「備える」等の単語は自由な語彙であり、「含むが限らない」ことを指し、かつ互換使用できる。ここで用いている語彙「または」及び「及び」は、文脈上で明確な指示がないかぎり、「及び／または」を指しており、かつ互換使用できる。ここで用いている語彙「例えば」は「例えるが限定しない」ことを指し、かつ互換使用できる。

本公開中のステップのフローチャート及び上述の方法についての記載はあくまで例に過ぎず、必ずその順序に沿って各実施例のステップを実行するよう要求あるいは暗示するものではない。当業者であれば、任意の順序で上述の実施例中のステップの順序を実行できることを知っている。「その後」、「それから」、「次に」等の単語はステップの順序を限定することを意図してはいない。これらの単語はあくまでそれら方法の記載に対する読者の理解を助けるためのものである。その他、単数の要素に「一つの」「一つ」あるいは「当該」といった冠詞を用いたいずれの引用も、単数に限ると解釈されるものではない。

公開した分野の以上の説明により、いかなる当業者であれ本公開を実行または使用することができる。これらの分野に対する様々な修正は当業者にとってはきわめて容易に見て取れるものであり、かつここで定義した一般原理は他方面に応用でき、本発明の範囲を外れるものではない。したがって、本発明はここに示した方面だけに限定されず、それはここで開示した原理及び斬新な特徴が一致する最大範囲にまで及ぶものである。

Claims (9)

1. 取得手段が、道路エリアの視差画像及び道路消失点を取得するステップと、
   変換手段が、道路消失点に基づき前記視差画像中の視差点に対して座標変換を行うステップと、
   検出手段が、座標変換後の視差点に基づいて道路境界物を検出するステップと、を含み、
   前記座標変換後の視差点に基づいて道路境界物を検出するステップは、
   座標変換後の視差点に対応する3次元空間の中で、道路境界物に属する点を検出するステップと、
   前記座標変換の逆変換により、3次元空間の中で検出された道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得して、前記道路境界物を取得するステップと、を含む、道路境界物の検出方法。
2. 前記道路消失点を取得するステップは、
   前記視差画像の距離情報に基づいて、前記視差画像中の道路エリアを複数のブロックに分割するステップと、
   各ブロックの道路消失点を取得するステップと、を含む、請求項１に記載の道路境界物の検出方法。
3. 前記道路消失点に基づき視差画像中の視差点に対して座標変換を行うステップは、
   前記複数のブロック中の第一ブロックを除いて他のブロックの消失点を前記第一ブロックの道路消失点に移動させるステップであって、前記第一ブロックは前記複数のブロックのうち、前記視差画像中の距離が最も近いブロックである、ステップと、
   変換前のブロック中の視差点から変換前の該ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点から変換後の該ブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるように、前記他のブロックの各ブロック中の視差点に対して座標変換を行うことを含む、請求項２に記載の道路境界物の検出方法。
4. 前記座標変換後の視差点に対応する3次元空間の中で、道路境界物に属する点を検出するステップは、
   変換後の視差点と道路消失点との間の相対的位置関係に基づき、3次元空間に分布する変換後の視差点を取得するステップと、
   3次元空間中の視差点をZ＝dの平面上に投影するステップであって、dはすべての視差点のうち最大の視差値を有する視差点に対応する現実3次元空間距離を表す、ステップと、
   視差点の投影により、3次元空間中の道路境界物に属する点を検出するステップと、を含む、請求項１に記載の道路境界物の検出方法。
5. 前記座標変換の逆変換により、3次元空間の中で検出された道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得して、前記道路境界物を取得するステップは、
   変換後の視差点と道路消失点との間の相対的位置関係に基づき、検出された3次元空間中の道路境界物に属する点に対応する、変換後の視差点を、目標視差点として取得するステップと、
   前記座標変換の逆変換により、前記目標視差点に対応する、前記視差画像中の変換前の視差点を取得するステップと、
   前記変換前の視差点に対してフィッティングを行って、前記道路境界物を取得するステップと、を含む、請求項１に記載の道路境界物の検出方法。
6. 前記視差点の投影により、3次元空間中の道路境界物に属する点を検出するステップは、
   前記Z＝dの平面上の投影点のうち投影した視差点の数が最も多い投影点を選択するステップと、
   選択された投影点上に投影したすべての3次元空間の視差点を、前記3次元空間中の道路境界物に属する点として取得するステップと、を含む、請求項４に記載の道路境界物の検出方法。
7. 前記Z＝dの平面上の所定の垂直距離以下の投影点の中で、3次元空間中の道路境界物に属する点を検出する、請求項６に記載の道路境界物の検出方法。
8. 前記Z＝dの平面上の投影点のうち投影した視差点の数が所定の閾値より大きい投影点を選択するステップと、
   選択された投影点を用いて直線フィッティングを行い、直線の両端の二つの投影点を取得するステップと、
   前記二つの投影点に基づいて、道路エリアの境界を決定するステップと、をさらに含む、請求項６に記載の道路境界物の検出方法。
9. 道路エリアの視差画像及び道路消失点を取得する取得手段と、
   道路消失点に基づき前記視差画像中の視差点に対して座標変換を行う変換手段と、
   座標変換後の視差点に基づいて道路境界物を検出する検出手段と、を含み、
   前記検出手段は、
   座標変換後の視差点に対応する3次元空間の中で、道路境界物に属する点を検出し、
   前記座標変換の逆変換により、3次元空間の中で検出された道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得して、前記道路境界物を取得する、道路境界物の検出装置。

Images