JP4635746B2 - 画像認識装置 - Google Patents

Description

本発明は、画像から２つの互いに平行でない面を認識する画像認識装置に関する。本発明は車両に搭載される画像認識装置として有用であり、特に車線維持制御装置又は車線逸脱警報装置と連動させるために、路側帯に設けられた縁石の路面に垂直な面を認識する装置として有用である。

後退方向を含む車両の進行方向の障害物を認識する画像認識装置としては、複数のカメラにより撮像した複数の画像から距離画像を生成する技術が知られている。これにより路側帯に設けられた縁石の路面に垂直な面を認識する（特許文献１、非特許文献１）。その他、レーザーを用いて段差自体を検出し、画像中のどの部分が段差を示しているのか認識する技術も知られいてる（非特許文献２）。
特開２０００−３３１１４８ "Detection and Localization of Curbs and Stairways Using Stereo Vision," Xiaoye Lu and Roberto Manduchi, The 2005 International Conference on Robotics and Automation, April, 2005 "Multiple Sensor Fusion for Detecting Location of Curbs, Walls, and Barriers," Romuald Aufrere, Christoph Mertz, and Charles Thorpe, Proceedings of the IEEE Inteligent Vehicles Symposium, June, 2003

一般に、路面を走行する車両においては、路面と撮像装置の投影中心である視点との間隔はほぼ一定であり、撮像装置の視点は進行方向（水平方向）に移動するものと考えて良い。また、路面を走行する車両においては、前方を走行する車両との接触の他は、一般的には路側帯、特に縁石への乗り上げや、ガードレール等への接触を避けることが重要であり、この点で「縁石」等は垂直面までの距離が算出できればそれ以上の画像処理は実は重要ではない。この意味では、「縁石」等を検出するために上記３つの文献が行う演算処理は過多であると言え、そのための装置のコストも高いものとなっていた。

そこで本発明者らは、「縁石」等の水平面に垂直な面を検出可能な簡易な手法を着想し、本願発明を完成させた。即ち、本発明の目的は簡易な手法により垂直な面等を検出とすることである。

請求項１に係る発明は、実空間において、互いに平行な第１のエッジ線と第２のエッジ線とに挟まれた第１の平面と、第１の平面とは平行でない平面であって、互いに平行な第３のエッジ線と第４の２つのエッジ線とに挟まれた第２の平面とを撮像画像から検出する画像認識装置であって、実空間における撮像装置の投影中心である第１の視点を通る第１仮想平面と、第１のエッジ線及び第２のエッジ線とのそれぞれの交点を結ぶ線分である第１の線分と、第１仮想平面と、第３のエッジ線及び第４のエッジ線とのそれぞれの交点を結ぶ線分である第２の線分と、第１仮想平面に対して平行であって、第１の視点とは異なる位置の第２の視点を通る第２仮想平面と、第１のエッジ線及び第２のエッジ線とのそれぞれの交点を結ぶ線分である第３の線分と、第２仮想平面と、第３のエッジ線及び第４のエッジ線とのそれぞれの交点を結ぶ線分である第４の線分とを検出し、第１の視点から第１の線分を望む角度に依存する撮像画像中の第１の線分の長さに対する、第２の視点から第３の線分を望む角度に依存する撮像画像中の第３の線分の長さの差分の符号と、第１の視点から第２の線分を望む角度に依存する撮像画像中の第２の線分の長さに対する、第２の視点から第４の線分を望む角度に依存する撮像画像中の第４の線分の長さの差分の符号とが、異符号である場合に、前記第１の平面と第２の平面とを互いに平行ではない平面と認識することを特徴とする画像認識装置である。

ここで、第１の平面を形成する第１及び第２のエッジ線の一方は、第２の平面を形成する第３及び第４のエッジ線の一方と同一でも良い。また、「視点」とは、撮像装置による投影中心である。また、「第１の視点」と「第２の視点」とは、２つの撮像装置による同時又は異なる時刻の視点でも良く、１つの撮像装置の異なる時刻の視点でも良い。また、第１仮想平面と第２仮想平面とが同一である場合は「平行」に含まれるものとする。第１仮想平面と第２仮想平面とが平行又は同一であるように撮像装置や視点を調整することは極めて容易である。各視点での撮像画像上での第１乃至第４の線分の長さと、実空間でのそれら線分を各視点から望む角度とは増減の方向が同一である。

また、請求項２に係る発明は、視点は車両に備えられた撮像装置の焦点であって、第１の平面と第２の平面の少なくとも一方は、路面に垂直な面であることを特徴とする。更に請求項３に係る発明は、路面に垂直な面は、車線に平行に設置された縁石の面であることを特徴とする。

本発明の技術的特徴を明らかにするため、まず、実空間における関係図である図１を用いて、線分を望む角度を最大とする位置について説明する。

図１．Ａのように、原点Ｏと、水平方向にＸ軸をとり、Ｘ軸上を移動可能な視点Ｃを取り、視点Ｃと原点Ｏとの距離をＸ（Ｘ≧０）とする。また、原点Ｏから視点Ｃの移動方向とは垂直に距離１の位置に点Ｐをとる。更に、点Ｐと微小な距離λ離れた点Ｐ’をとる。尚、４つの点Ｏ、Ｃ、Ｐ及びＰ’は同一平面上にある。ここで、∠ＯＣＰをθ（≧０）、∠ＰＣＰ’をφ（≧０）、ＯＰとＰＰ’の成す角をψとおく。点Ｐ’はＸ軸との距離が１以上であり、図１．Ａのように点Ｐ’のＸ座標が正である場合に角ψを正とする。また、角ψの範囲は−π／２≦ψ≦π／２である。また、λ≪１であって、φ≪１とする。

直線ＣＰ’上に、点Ｐ”を、ＰＰ”⊥ＣＰとなるようにとる。すると、φ≪１だからｔａｎφ≒φとおけるので、次の式（１）が成り立つ。

Ｘを用いてθを消去すれば、φはλ、ψ、Ｘを用いて次の式（２）として表される。

λとψを一定とすれば、φを極大（且つ最大）とするＸは式（３）のように求められる。

式（３）にある通り、２つの余割が等しいので、その角度も等しい。即ち、φを極大とするθはψを用いて式（４）のように表される。

一方、φを０、即ち最小とするＸは、式（５）となるのは明らかである。

次に長さｗを有する線分ＰＱを想定し、それを望む角度φを最大とする視点Ｃの位置について、式（３）及び（４）を用いて、図１．Ｂ、図１．Ｃのように説明する。尚、図１．Ｂ及び図１．Ｃでは、線分ＰＱの中点が原点Ｏから距離ｄだけ離れているものとする。

図１．Ｂのように、線分ＰＱが、Ｘ軸（視点Ｃの移動方向）に平行である場合は、線分ＰＱを望む角度φを最大とする視点Ｃの位置は、線分ＰＱの垂直二等分線上にある場合であって、原点Ｏに一致し、この時、Ｘ＝０となる。これは、点Ｐに位置する「微小な線分」を望む角度を最大とするＸ軸上の点（Ｘ座標は−ｗ／２）と、点Ｑに位置する「微小な線分」を望む角度を最大とするＸ軸上の点（Ｘ座標はｗ／２）の中点でもある。

一方、図１．Ｃのように、線分ＰＱが、Ｘ軸（視点Ｃの移動方向）に垂直である場合は、線分ＰＱを望む角度φを最大とする視点ＣのＸ座標は次の通りである。まず、点Ｐに位置する「微小な線分」を望む角度を最大とするＸ軸上の点（Ｘ座標はｄ−ｗ／２）と、点Ｑに位置する「微小な線分」を望む角度を最大とするＸ軸上の点（Ｘ座標はｄ＋ｗ／２）の間に位置することは明らかである。下記に示す通り、図１．Ｃの場合、線分ＰＱを望む角度φを最大とする視点ＣのＸ座標は、これら２つの点のＸ座標の幾何平均であるｄ²−（ｗ²／４）となる。

図１．Ｂは２つの点Ｐ及びＱについて、図１．Ａの角度ψがπ／２の場合として、線分ＰＱの両端Ｐ及びＱに各々位置する、微小な長さの線分を望む角度を最大とする各々の点（Ｘ座標は±ｗ／２）の間に、線分ＰＱを望む角度を最大とする点が位置することを意味している。同様に図１．Ｃは２つの点Ｐ及びＱについて、図１．Ａの角度ψが０の場合として、線分ＰＱの両端Ｐ及びＱに各々位置する、微小な長さの線分を望む角度を最大とする各々の点（Ｘ座標はｄ±ｗ／２）の間に、線分ＰＱを望む角度を最大とする点が位置することを意味している。このように、水平な直線（Ｘ軸）上を移動可能な視点Ｃから、より低い高さに位置する２つの点Ｐ及びＱを結ぶ線分ＰＱを望む角度φを最大とする位置が存在する。

いま、同一平面上に、視点Ｃが移動可能な直線と、互いに近い位置にある線分１及び線分２を仮定し、視点Ｃから線分１及び線分２を望む角度を各々φ₁及びφ₂とする。当該直線に原点と正の方向を定義し、視点ＣにＸ座標を与えれば、φ₁及びφ₂を最大とする視点ＣのＸ座標がそれぞれ存在する。ここで、φ₁を最大とする視点ＣのＸ座標がφ₂を最大とする視点ＣのＸ座標よりも小さいとして、それら２つのＸ座標の間で視点Ｃが移動することを考える。

当該範囲で、φ₁もφ₂も０にはならないものとすれば、視点ＣのＸ座標が小さくなる場合、それはφ₁を最大とする視点ＣのＸ座標に近づくことであり、φ₂を最大とする視点ＣのＸ座標から遠ざかることであるので、当該移動の間にφ₁は増加し、φ₂は減少する。逆に視点ＣのＸ座標が大きくなる場合、それはφ₁を最大とする視点ＣのＸ座標から遠ざかることであり、φ₂を最大とする視点ＣのＸ座標に近づくことであるので、当該移動の間にφ₁は減少し、φ₂は増加する。

φ₁及びφ₂を最大とする視点Ｃの各々のＸ座標の間で、φ₁又はφ₂の一方が０になる場合は次の通りに考える。例えば、φ₁が０となる場合、当該０になるＸ座標よりも、φ₁が最大値をとる側のみで考えれば、上記と同様のことが言える。

結局、このような２つの線分の、２箇所の視点において望む角度の増減を検出すると、それらが平行でない可能性が高いことが理解できる。特に、２つの互いに垂直な面を形成する面内の２つの線分を検出する頻度が高い場合、このように２つの線分の、２箇所の視点において望む角度の増減を検出することで、それらの組み合わせが検出できる。

今、２組の平行線を想定し、各々が互いに平行でない面を形成するものとする。当該２組の平行線に対し、水平方向に移動する視点Ｃについて、第１の視点を通る第１仮想平面と、２組の平行線の４つの交点による第１及び第２線分を第１の視点から望む角度を算出する。同様に、第１の視点を通る第１仮想平面と平行（同一な場合を含む）な、第１の視点とは異なる第２の視点を通る第２仮想平面と、２組の平行線の４つの交点による第３及び第４線分を第２の視点から望む角度を算出する。実空間においては、それぞれ、平行四辺形の向き合う辺を形成しているので、第１の線分と第３の線分の長さは等しく、第２の線分と第４の線分の長さは等しい。また、第１の視点から第１の線分を望む角度と、第２の視点から第３の線分を望む角度とが同じ場合、第１の視点から第２の線分を望む角度と、第２の視点から第４の線分を望む角度とは同じでなければならない。この逆も言える。

しかし、第１の視点から第１の線分を望む角度が、第２の視点から第３の線分を望む角度より大きい場合に、第１の視点から第２の線分を望む角度と、第２の視点から第４の線分を望む角度との大小は２通り存在する。この逆に、第１の視点から第１の線分を望む角度が、第２の視点から第３の線分を望む角度より小さい場合に、第１の視点から第２の線分を望む角度と、第２の視点から第４の線分を望む角度との大小は２通り存在する。

そこで、上述の通り、第１の視点から第１の線分を望む角度が、第２の視点から第３の線分を望む角度より大きく、第１の視点から第２の線分を望む角度が、第２の視点から第４の線分を望む角度より小さいと検出された場合と、第１の視点から第１の線分を望む角度が、第２の視点から第３の線分を望む角度より小さく、第１の視点から第２の線分を望む角度が、第２の視点から第４の線分を望む角度より大きいと検出された場合に、２組の平行線が平行でない可能性が高いと判断できる。逆に、第１の視点から第１の線分を望む角度が、第２の視点から第３の線分を望む角度より大きく、第１の視点から第２の線分を望む角度が、第２の視点から第４の線分を望む角度より大きいと検出された場合と、第１の視点から第１の線分を望む角度が、第２の視点から第３の線分を望む角度より小さく、第１の視点から第２の線分を望む角度が、第２の視点から第４の線分を望む角度より小さいと検出された場合には、なんらかの断定を行わないことが望ましい。（以上請求項１）。本発明は実質的には、２つの画像における２つの線分の長さの変化の符号を追跡することのみでそれらの線分を含む面が互いに平行ではないと判定するものである。よって従来の技術に比較して大幅に演算量を減少させることができ、装置のコストも低く押さえることが可能となる。

視点が車両に備えられた撮像装置の焦点である場合、路面に平行な面と、それに垂直な面が撮像される可能性が高い（請求項２）。特に、車両が走行する車線に平行に設置された縁石の面を検出可能であれば、車線維持制御装置や車線逸脱警報装置として使用することが可能である（請求項３）。

本発明は、上記の図１に端的に示された通り、一定面内の移動に制約された視点から、一定距離内において、当該視点の移動面の一方側に存在し、各々２つの平行線をエッジ線として検出可能な２つの面を、互いに平行でない可能性が高いと認識することができるところに特徴がある。撮像装置の視点から、各々２つの平行線をエッジ線として検出可能な２つの面が、即ち当該エッジ線の全てが、カメラ中心線を基準に、撮像画像の左側又は右側のいずれか、又は地平線を基準に上側又は下側のいずれかに存在する場合には、互いに平行な２つの面が平行でないと誤認識されることはない。この点で、例えば前進時／後退時に視点の移動面よりも低い位置に２つのエッジ線が存在する縁石その他の垂直面であっても、水平面を認識すると同時であれば検出可能である。全く同様に、地下駐車場やトンネル内で、水平面である天井を認識可能なときに、天井から突出する垂直面を有する物体をも認識可能である。

以下、車両の進行方向左側の、車線外側に設けられた縁石を検出する手法について、図を参照しながら説明する。尚、前述の通り、本願発明の本質は図１の位置関係に有り、視点Ｃの移動平面の一方側にある、各々平行線で区切られた２つの面の関係を判別するものであり、当該２つの面は視点Ｃの移動平面の上側にあっても良い。

図２は実空間上でのカメラ視点Ｃ、縁石の水平上面を形成する直線ｅ₁及びｅ₂、縁石の垂直車線側面を形成する直線ｅ₂（共通）及びｅ₃の関係を示した斜視図である。今、車両のカメラ視点Ｃから路面に下ろした垂線の足を原点Ｏとし、図２のように、車両の進行方向にＺ軸、鉛直下向きにＹ軸、車両右方向にＸ軸をとる。カメラ視点Ｃの座標を（０，−Ｈ，０）とし、縁石の水平面及び垂直面を形成する３本の直線を、ｅ₁：Ｘ＝−Ｗ−ｗ，Ｙ＝−ｈ；ｅ₂：Ｘ＝−Ｗ，Ｙ＝−ｈ；ｅ₃：Ｘ＝−Ｗ，Ｙ＝０とおく。尚、Ｈ、ｈ、ｗはいずれも正であり、Ｈ＞ｈである。

次に視点Ｃ（０，−Ｈ，０）を通る、Ｘ軸に平行な平面として（Ｚ−Ｌ）（Ｈ−ｈ）＝Ｌ（Ｙ＋ｈ）、Ｌは正をとる。この面と直線ｅ₁、ｅ₂、ｅ₃との交点の座標は各々Ｐ₁（−Ｗ−ｗ，−ｈ，Ｌ），Ｐ₂（−Ｗ，−ｈ，Ｌ），Ｐ₃（−Ｗ，０，ＨＬ／（Ｈ−ｈ））である。また、直線ｅ₂及びｅ₃により決定される面Ｘ＝−Ｗに、視点Ｃから下ろした垂線の足をＣ’とすると、その座標は（−Ｗ，−Ｈ，０）である。視点Ｃから２つの線分Ｐ₁Ｐ₂及びＰ₂Ｐ₃を望む∠Ｐ₁ＣＰ₂及び∠Ｐ₂ＣＰ₃をφ₁、φ₂（いずれも負でない）とおく。

今、Ｗ（線分ＣＣ’の長さで正又は０）のみを可変とする。Ｗが負とならない（Ｙ軸が直線ｅ₁とｅ₂の間とならない）ので、φ₁（＝∠Ｐ₁ＣＰ₂）はＷ＝０で最大値となることは明らかである。今、φ₂（＝∠Ｐ₂ＣＰ₃）の最大値をとるＷを求める。

φ₂の余弦の平方を求めると次の式（６）の通りとなる。

これを変形すると次の式（７）のようになる。但し、変数はｘ（正又は０）のみであり、ａ，ｘ，Ｄ（線分Ｃ’Ｐ₂の長さ）の定義は以下の通り。

ｘの関数である式（７）の極小（最小値）は、式（７）をｘで微分してｘ＝ａのときであることが導かれる。よって、φ₂の余弦もこのとき最小値で、φ₂はこのとき最大値をとる。また、ｘ＝０でφ₂＝０であって、範囲０≦ｘ≦ａにおいて、φ₂は単調増加。φ₂を最大とするＷは、次の式（８）のようになる。

式（８）から、図２で、ＸＹ平面と点Ｐ₁又は点Ｐ₂までの距離ＬよりもＷが小さいのならば、φ₂（＝∠Ｐ₂ＣＰ₃）はその範囲で極大値をとることが無く、カメラ視点Ｃと縁石の垂直面との距離Ｗが大きくなればφ₂（＝∠Ｐ₂ＣＰ₃）は大きく、カメラ視点Ｃと縁石の垂直面との距離Ｗが小さくなればφ₂（＝∠Ｐ₂ＣＰ₃）は小さくなることがわかる。

一方、当該範囲でφ₁（＝∠Ｐ₁ＣＰ₂）は極大値をとることが無く、カメラ視点Ｃと縁石の垂直面との距離Ｗが大きくなればφ₁（＝∠Ｐ₁ＣＰ₂）は小さく、カメラ視点Ｃと縁石の垂直面との距離Ｗが小さくなればφ₁（＝∠Ｐ₁ＣＰ₂）は大きくなることはあきらかである。

さて、２つの線分Ｐ₁Ｐ₂及びＰ₂Ｐ₃は、カメラ視点Ｃにおける撮像画像で一直線上に並び、当該撮像画像中の線分Ｐ₁Ｐ₂の像の長さの増減の方向はφ₁（＝∠Ｐ₁ＣＰ₂）の増減の方向と一致し、当該撮像画像中の線分Ｐ₂Ｐ₃の像の長さの増減の方向はφ₂（＝∠Ｐ₂ＣＰ₃）の増減の方向と一致する。よって、撮像画像中、線分Ｐ₁Ｐ₂の像の長さの増減と線分Ｐ₂Ｐ₃の像の長さの増減を検出すると、当該増減の符号（長さ増で正）は、常に一致しない。

本願発明はここに着目して、縁石の候補について、撮像画像中の２つの線分の長さの増減を、２つの視点で検知することで、当該２つの線分を各々含む実空間上での２つの面が、平行でないことを認識する。尚、図２及び式（８）で、Ｌ＞Ｗ即ちφ₂を極大値とするＷよりもＷを小さくすることは、例えば最も左側の車線を車両が走行することを想定する場合、１車線の幅よりもＬを大きくすれば十分である。他の車線を走行する場合も、想定される縁石までの水平距離Ｗの範囲に応じて、仮想平面が縁石と交わる点までのＺ方向の距離Ｌを設定すれば良い。Ｌ即ちＸＹ平面と直線Ｐ₁Ｐ₂との距離は、撮像画像中で「検出する」画素のＹ座標として調整することが可能である。この場合、撮像画像中の検出すべき２線分は横方向（水平方向）となっている。また、後退時に後ろ側縁石を検出する場合としては、図２及び式（６）〜（８）で、Ｌ＝０とおく、或いは図２のＸ軸、Ｙ軸、Ｚ軸を、−Ｙ軸、Ｚ軸（後退方向に正）、−Ｘ軸に置き換え、Ｌを撮像画像中で「検出する」画素のＸ座標として調整することで可能である。この場合、撮像画像中の検出すべき２線分は縦方向（進行方向又は鉛直方向）となっている。

本発明の具体的な実施例の構成を図３に示す。本発明に係る画像処理装置は、図３のＣＰＵ２００にあたるものである。図３に示す通り、本発明に係る画像処理装置の前段に撮像装置１００を必要とする。撮像装置１００は以下の通り１個でも良く、また複数個でも良い。また図３に示す通り、本発明に係る画像処理装置の後段には、運転手に対する警報装置として、スピーカ３００、標示装置４００を付加すると良い。スピーカ３００からは、例えば「左側路側帯等に乗り上げる可能性があります」等の警告を発し、また、標示装置４００においては、撮像装置の画像中、路側帯等の垂直面（段差部分）を強調表示するなどの警告表示をすると良い。

図４に、本発明の構成をフローチャート様に示す。例えば図４．Ａのように、撮像部１００により取り込まれた画像について、ＣＰＵ２００において、エッジ点を検出し（ステップ２１０）、段差候補となる点を例えば３点検出し（ステップ２２０）、視点の異なる２つの画像での当該３点による２つの線分の長さの増減を確認して段差か否かを判定する（ステップ２３０）。

或いは図４．Ｂのように、エッジ点からノイズを減らすため、１の視点での画像を処理してエッジ線を検出するステップ２１５をエッジ点の検出（ステップ２１０）の後段に設け、ステップ２２０にて当該エッジ線上に無いエッジ点を段差候補から外すとよい。

或いは図４．Ｃのように、別途白線を検出するステップ２１８を設け、ステップ２２０にて、エッジ線、として検出された当該白線と実空間で平行なもののみに絞ると良い。

図５は車両に２つのカメラを搭載した場合の本願発明の適用を示す模式図である。図２とは異なり、２つのカメラ視点の中点から路面に下ろした垂線の足を原点とする（図５．Ａ）。実空間上に、２つのカメラ視点Ｃ_LとＣ_R（カメラ視点Ｃ_LはＸ座標が負、カメラ視点Ｃ_RはＸ座標が正）から車両進行方向に平行に左側（Ｘ座標が負）に設けられた縁石の、Ｘ軸からＬの距離の位置を見た関係図は図５．Ｂのようになる。ここにおいて、図２と同様に、エッジ線ｅ₁、ｅ₂、ｅ₃、点Ｐ₁、Ｐ₂、Ｐ₃を定義すると、カメラ視点Ｃ_LとＣ_Rでの撮像画像は、図５．Ｃ及び５．Ｄの様になる。即ち、縁石の水平上面上の線分Ｐ₁Ｐ₂は、縁石により近いカメラ視点Ｃ_Lの撮像画像で長く、縁石により遠いカメラ視点Ｃ_Rの撮像画像で短く撮像される。一方縁石の車線側垂直面上の線分Ｐ₂Ｐ₃は、縁石により近いカメラ視点Ｃ_Lの撮像画像で短く、縁石により遠いカメラ視点Ｃ_Rの撮像画像で長く撮像される。

このように、本発明によれば撮像装置を２台有することで、同時刻のそれらの撮像画像中のエッジ候補の距離を２箇所比較することで、それらをそれぞれ有する２つの面が平行でないことを検出することが可能となる。この際、一方は路面に平行であって、他方は垂直である可能性が高く、段差を有する路側帯や縁石を検出することができる。

さて、撮像装置を１個とし車両と共にカメラ視点Ｃ_tが移動する場合を考える。今、時刻ｔとｔ＋１とで車両がＺ軸方向に移動したとすると、時刻ｔとｔ＋１とでのカメラ視点Ｃ_t及びＣ_t+1は図６のようになり、縁石上、検出に用いる位置も、同じ距離だけ移動する。するとカメラ視点Ｃ_tとＣ_t+1での撮像画像は、図６．Ｂの様になる。即ち、縁石の水平上面上の線分Ｐ₁Ｐ₂も縁石の車線側垂直面上の線分Ｐ₂Ｐ₃も、カメラ視点Ｃ_tとＣ_t+1とで縁石までの距離が等しいので、いずれの画像でも線分の長さに変化は無い。

一方、時刻ｔとｔ＋１とで車両がＺ軸の正方向及びＸ軸の負方向に移動したとすると、時刻ｔとｔ＋１とでのカメラ視点Ｃ_t及びＣ_t+1は図７のようになる。撮像画像中の縁石の位置も、車両のＺ軸方向の移動分と同じ距離だけ移動する。するとカメラ視点Ｃ_tとＣ_t+1での撮像画像は、図７．Ｂの様になる。即ち、縁石の水平上面上の線分Ｐ₁Ｐ₂は、縁石により近いカメラ視点Ｃ_t+1の撮像画像で長く、縁石により遠いカメラ視点Ｃ_tの撮像画像で短く撮像される。一方縁石の車線側垂直面上の線分Ｐ₂Ｐ₃は、縁石により近いカメラ視点Ｃ_t+1の撮像画像で短く、縁石により遠いカメラ視点Ｃ_tの撮像画像で長く撮像される。特に、車両が車線から逸脱する時など大きな横変位が生じる場合には、段差の垂直面の検出が容易になる。

１個の撮像装置により、車線左側縁石を撮像し、その３つのエッジ線上の、一定距離を示す撮像画像中の同一Ｙ座標の、３点の位置を異なる時刻で追った場合の実験結果を表１に示す。表１で３点の撮像画像中のＸ座標をそれぞれＸ０、Ｘ１、Ｘ２とした。単位はピクセルである。Ｎｏ．は撮像画像Ｎｏ．を示し、連続する撮像画像の間隔は０．１秒である。また、実験に際しては、市街地、片道１車線、右折待ちの先行車両を前方に捉えた際の左側追い越しの状況であった。Ｘ０、Ｘ１、Ｘ２、Ｘ０−Ｘ１及びＸ１−Ｘ２欄のΔは、１つ前（表１の１段上）の画像との差を示す。また、「ΔΔ」はΔ（Ｘ０−Ｘ１）とΔ（Ｘ１−Ｘ２）の積を示す。

表１の「ΔΔ」の欄から明らかなように、１０の撮像画像の隣り合う９つの比較中、７回「ΔΔ」が負となり、３つのエッジ線で表される２つの面が互いに平行でないと結論づけることができた。即ち、一方は路面に水平であって、他方は垂直な面、即ち縁石の垂直面が存在する可能性が高いと判定することができる（表１で判定欄が「！」と記載されたもの）。

表１の結果は、片道１車線、右折待ちの先行車両を前方に捉えた際の左側追い越しの状況と、特殊に見える状況ではあるが、車線逸脱を警報する装置としては、車線から大きく逸脱する、又は逸脱する可能性のあるような針路変更が生じた際に特に威力を発揮するので、この点で本発明は有用である。尚、通常の走行時でも、微妙な蛇行が生じているので、本発明により段差を有する路側帯や縁石を検出することが可能となる。

本発明の原理を示すための説明図。 本発明を縁石に適用するための説明図。 本発明を適用した車線逸脱警報装置の構成図。 本発明の画像処理装置の構成例を示す３つのフローチャート。 本発明を左右２個の撮像装置を用いて適用する場合の効果を示す説明図。 本発明を１個の撮像装置を用いて適用する場合の効果を示す第１の説明図。 本発明を１個の撮像装置を用いて適用する場合の効果を示す第２の説明図。

符号の説明

Ｘ、Ｙ、Ｚ：移動可能な視点に付随する原点を有する実空間上の立体座標
ｅ₁、ｅ₂、ｅ₃：実空間において、ｅ₂を共通として水平面と垂直面を形成する２組のエッジ線。

Claims (3)

1. 実空間において、互いに平行な第１のエッジ線と第２のエッジ線とに挟まれた第１の平面と、前記第１の平面とは平行でない平面であって、互いに平行な第３のエッジ線と第４の２つのエッジ線とに挟まれた第２の平面とを撮像画像から検出する画像認識装置であって、
   実空間における撮像装置の投影中心である第１の視点を通る第１仮想平面と、第１のエッジ線及び第２のエッジ線とのそれぞれの交点を結ぶ線分である第１の線分と、
   前記第１仮想平面と、第３のエッジ線及び第４のエッジ線とのそれぞれの交点を結ぶ線分である第２の線分と、
   前記第１仮想平面に対して平行であって、前記第１の視点とは異なる位置の第２の視点を通る第２仮想平面と、第１のエッジ線及び第２のエッジ線とのそれぞれの交点を結ぶ線分である第３の線分と、
   前記第２仮想平面と、第３のエッジ線及び第４のエッジ線とのそれぞれの交点を結ぶ線分である第４の線分とを検出し、
   第１の視点から第１の線分を望む角度に依存する撮像画像中の第１の線分の長さに対する、第２の視点から第３の線分を望む角度に依存する撮像画像中の第３の線分の長さの差分の符号と、第１の視点から第２の線分を望む角度に依存する撮像画像中の第２の線分の長さに対する、第２の視点から第４の線分を望む角度に依存する撮像画像中の第４の線分の長さの差分の符号とが、異符号である場合に、前記第１の平面と第２の平面とを互いに平行ではない平面と認識する
   ことを特徴とする画像認識装置。
2. 前記視点は車両に備えられた撮像装置の焦点であって、
   前記第１の平面と第２の平面の少なくとも一方は、路面に垂直な面であることを特徴とする請求項１に記載の画像認識装置。
3. 前記路面に垂直な面は、車線に平行に設置された縁石の面であることを特徴とする請求項２に記載の画像認識装置。

Images