JP6266340B2 - 車線識別装置および車線識別方法 - Google Patents
車線識別装置および車線識別方法 Download PDFInfo
- Publication number
- JP6266340B2 JP6266340B2 JP2013271386A JP2013271386A JP6266340B2 JP 6266340 B2 JP6266340 B2 JP 6266340B2 JP 2013271386 A JP2013271386 A JP 2013271386A JP 2013271386 A JP2013271386 A JP 2013271386A JP 6266340 B2 JP6266340 B2 JP 6266340B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- image
- lines
- intersection
- approximate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車載カメラで撮像した画像に基づいて道路の車線を識別する技術に関する。
従来より、車載カメラで撮像した画像に基づいて道路の車線を識別する技術が開発されており、その1つとして古典的なアルゴリズムであるハフ(Hough)変換を用いて直線検出を行う方法が挙げられる。
この方法では、車線として路面に描かれた白線のエッジ検出を行、検出されたエッジに対して、ハフ変換を行い直線を検出する。しかし、白線のエッジ検出が正確にできない場合、1つの白線に対して複数の直線が近似されることとなる。
このような問題に対して、例えば、特許文献1には、車載カメラで撮影した画像中から白線エッジの候補点を抽出し、抽出した候補点からハフ変換により白線エッジの近似直線を得る際に、角度分解能を上げながら、それぞれ所定回数ずつ近似直線を検出することで、直線検出の精度を高める技術が開示されている。
上述したようにハフ変換を用いて直線検出を行う場合に、直線検出の精度を高めることが従来から求められていた。
本発明は上記のような問題を解決するためになされたものであり、直線検出の精度を高めた車線識別装置を提供することを目的とする。
本発明に係る車線識別装置の第1の態様は、車両に搭載されたカメラで撮像した画像に基づいて道路の車線を識別する車線識別装置であって、前記画像から前記道路の車線を規定する複数のラインを抽出し、それぞれに対してハフ変換を施す直線検出部と、前記ハフ変換により得られるハフ空間を所定の角度ごとに分割し、前記所定の角度ごとに分割されたハフ空間におけるハフ曲線の複数の交点に対して、それぞれの投票数を検出し、投票数が最上位となる交点を特定する第1トーナメント処理部と、前記投票数が最上位となる交点のうち、投票数の多い順に所定数を選択することで、前記複数のラインのそれぞれに近似する複数の近似直線を特定する第2トーナメント処理部と、を備え、特定された前記複数の近似直線を前記車線として識別する。
本発明に係る車線識別装置の第2の態様は、前記車載カメラで撮像された前記画像のうち、直線の検出範囲を水平方向において複数に分割する画像分割処理部をさらに備え、水平方向において複数に分割された前記直線の検出範囲のそれぞれについて、前記複数の近似直線を特定する。
本発明に係る車線識別装置の第3の態様は、前記複数の近似直線の特定は、前記画像の所定のフレーム単位で実行され、1フレーム以上前の画像において特定された前記複数の近似直線をそれぞれ延長した延長線の交点を特定する交点特定部をさらに備え、前記画像分割処理部は、前記交点特定部で特定された前記交点に基づいて前記画像の水平方向における前記直線の検出範囲の分割位置を決定する。
本発明に係る車線識別装置の第4の態様は、前記複数の近似直線をそれぞれ延長して得られる延長線の前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する車線状況判別部をさらに備える。
本発明に係る車線識別装置の第5の態様は、前記車線状況判別部が、前記画像において、前記交点の位置が前記無限遠点に対して水平方向にずれている場合に、前記車両の進行方向の車線はカーブしていると判別する。
本発明に係る車線識別装置の第6の態様は、前記画像分割処理部が、前記車線状況判別部において、前記車両の進行方向の車線がカーブしていると判別された場合に、前記直線の検出範囲を水平方向において複数に分割する。
本発明に係る車線識別方法は、車両に搭載されたカメラで撮像した画像に基づいて道路の車線を識別する車線識別方法であって、前記画像から前記道路の車線を規定する複数のラインを抽出し、それぞれに対してハフ変換を施すステップ(a)と、前記ハフ変換により得られるハフ空間を所定の角度ごとに分割し、前記所定の角度ごとに分割されたハフ空間におけるハフ曲線の複数の交点に対して、それぞれの投票数を検出し、投票数が最上位となる交点を特定するステップ(b)と、前記投票数が最上位となる交点のうち、投票数の多い順に所定数を選択することで、前記複数のラインのそれぞれに近似する複数の近似直線を特定するステップ(c)と、を備え、特定された前記複数の近似直線を前記車線として識別する。
本発明に係る車線識別装置によれば、道路の車線を規定する複数のラインのうち、一部のラインだけが検出されるという現象が解消され、直線検出の精度を高めて、正確な車線識別が可能となる。
<はじめに>
発明の実施の形態の説明に先立って、ハフ(Hough)変換を用いた直線検出について説明する。
発明の実施の形態の説明に先立って、ハフ(Hough)変換を用いた直線検出について説明する。
図1は、直線を極座標表現により表すことを説明する図であり、x-y平面上の直線SLに対して、原点からの垂線の長さをr、垂線とx軸のなす角をθとすると、垂線の長さrは、θの範囲を0≦θ<πとすると以下の数式(1)で表される。
r=xcosθ+ysinθ・・・(1)
この数式に基づいて直線SLを極座標(θ-r座標)で表すと、ハフ曲線と呼称される曲線となる。
この数式に基づいて直線SLを極座標(θ-r座標)で表すと、ハフ曲線と呼称される曲線となる。
ハフ変換は、画像上の画素が有意な情報を保つ場合に「この点(画素)を通ることができる幾何構造(ここでは直線)」全てに投票を行い、得票数が多いものを「実際に存在する幾何構造」と判断する。
図2は、ハフ変換の概念を説明する図である。図2に示すように、有意な情報を保つ点P1、P2、P3、P4およびP5がある場合、ハフ変換では、点P1〜P5のそれぞれを中心として0度から180度まで所定角度で変化するように直線を発生させる(投票する)。このように、平面上の複数の点のそれぞれに対して複数の直線を発生させ、投票数の最も多い直線を決定することで、1つの直線を規定する。
図2では、ハフ変換により点P1〜P5に共通する直線として直線SL1が規定されている。
また、図3には、点P1〜P5を通る直線をハフ曲線により表す図であり、点P1〜P5を通る直線群をそれぞれ表すハフ曲線に、P1〜P5の符号を付した図である。図3において、点P1〜P5に共通する直線である直線SL1は、ハフ曲線にP1〜P5の全てが交差する交点SL1で規定されることとなる。
このようにハフ変換は投票により幾何構造を検出する手法であることからロバスト性が高く、また全体的に画像のコントラストが低い場合でも検出性能が劣化しないという特性がある。
一方、ある直線に対して複数の直線を検出してしまうことがある。これは、現実に存在する直線、例えば路面上の車線を規定するライン(以後、便宜的に白線と呼称するが、白線に限定されるものではない)は、画像平面においてきれいに関数で表現されるものではなく、誤差や幅を持つために生じる問題である。
図4は、車両に搭載されたカメラ(車載カメラ)によって取得された画像の一例を示している。図4において、自車両の前方には車両OB1が走行している。そして、自車両の走行車線(左側車線)は、路肩に引かれた白線WL1、中央の白線WL2および白線WL3によって規定され、反対側の走行車線(右側車線)は、白線WL3に平行する白線WL4、中央の白線WL5および路肩に引かれた白線WL6によって規定されている。
このような取得画像に基づいて白線WL1〜WL6を検出する場合、画像を複数のブロックに分割し、まず、ブロックごとにエッジ検出処理を施し、検出されたエッジに対して、ハフ変換による直線検出処理を施す。エッジ検出処理により、白線WL1〜WL6が検出され、直線検出処理により、白線WL1〜WL6のそれぞれに沿った複数の直線が近似的に検出されるはずである。
しかし、先に説明したように車線を規定するライン(白線)は幅を有すると共に、エッジ検出に際してカメラの撮像レンズの歪みや、車両の揺れなどで直線ではなく曲線として検出されると、1本の白線に対して複数の直線が近似される可能性がある。
この結果、図5に示されるように、例えば白線WL1に沿って複数の近似直線ALが規定され、他の白線には近似直線が規定されないこととなる。これは、ハフ変換においては、一般的に投票数の多い順に上位N本の近似直線を選択するようにアルゴリズムを設定するため、白線WL1に対して上位N本の近似直線が割り当てられてしまうと、他の白線には近似直線が割り当てられなくなるためである。この結果、取得画像上の複数の白線のうち、一部の白線しか検出できず、直線検出の精度が低くなってしまう。
<実施の形態>
<装置構成>
図6は、本発明に係る実施の形態の車線識別装置10の構成を示すブロック図である。図6に示されるように、車線識別装置10は、CCD(電荷結合素子)等の撮像素子で撮影した画像をデジタル処理するカメラ11と、画像処理部12と、フレームメモリ13と、情報処理部14と、中間メモリ15と、を備えている。
<装置構成>
図6は、本発明に係る実施の形態の車線識別装置10の構成を示すブロック図である。図6に示されるように、車線識別装置10は、CCD(電荷結合素子)等の撮像素子で撮影した画像をデジタル処理するカメラ11と、画像処理部12と、フレームメモリ13と、情報処理部14と、中間メモリ15と、を備えている。
カメラ11は、車両のフロント部(例えば、ルームミラー(車両室内のバックミラー)近傍)に備えられ、車両の進行方向前方を中心とした周辺の道路を撮影可能となっている。
画像処理部12は、カメラ11によって取得された画像の画像データに各種画像処理を施す部位であり、画像処理部12で実行される画像処理としては、例えば、不足している色成分を補間により求める画素補間処理(ベイヤ補間)、画像データの色空間を変換する色空間変換処理等がある。
フレームメモリ13は、画像処理部12から出力される画像処理後の画像データをフレーム単位で一時的に記憶するためのメモリである。
情報処理部14は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)等で構成され、ROM内に格納されたプログラムを読み出し、当該プログラムをCPUで実行することによって、直線検出部16、第1トーナメント処理部17、第2トーナメント処理部18および後処理部19を機能的に実現する。なお、当該情報処理部14において実現される各機能を、ハードウエア回路で実現しても良い。
直線検出部16は、画像処理後の画像データに対してエッジ検出処理を施し、検出されたエッジにより規定される複数のライン(例えば、白線)を抽出する。そして、抽出された複数の白線に対してハフ変換を施すことで、複数の白線のそれぞれに近似する近似直線を検出する。
なお、本発明においては、このハフ変換による直線検出処理に1つの特徴を有しており、詳細については後に説明する。
直線検出部16における各処理は、処理中のデータを中間メモリ15内の第1中間メモリ151に記憶しつつ行われる。また、第1トーナメント処理部17における各処理は、処理中のデータを中間メモリ15内の第2中間メモリ152に記憶しつつ行われるが、第1中間メモリ151と第2中間メモリ152とを備えることで、フレームごとに中間メモリを切り替えることで、パイプライン処理が可能となり、直線検出処理の処理速度を高めることができる。
なお、第1トーナメント処理部17および第2トーナメント処理部18での処理は、直線検出部16の処理と密接に関係するので、詳細については後に説明する。
第2トーナメント処理部18での処理の結果、得られた複数の近似直線は、後処理部19で、白線情報を元にした処理を行う。ここでは入力画像と重ね合わせて出力する処理を行っても良いし、車線逸脱の検出など別の処理を行っても良い。
<動作>
次に、図6を参照しつつ、図7に示すフローチャートを用いて、車線識別装置10における車線識別動作を説明する。車線識別動作が始まると、図7に示されるように、ステップSP1において、まず、カメラ11によって、車両の進行方向の道路を被写体とした画像データが取得される。取得された画像データには、画像処理部12によって1フレームもしくは使用者の所望のフレーム単位で所定の画像処理が施される。
次に、図6を参照しつつ、図7に示すフローチャートを用いて、車線識別装置10における車線識別動作を説明する。車線識別動作が始まると、図7に示されるように、ステップSP1において、まず、カメラ11によって、車両の進行方向の道路を被写体とした画像データが取得される。取得された画像データには、画像処理部12によって1フレームもしくは使用者の所望のフレーム単位で所定の画像処理が施される。
画像処理済みの画像データは、一旦、フレームメモリ12に保存された後、直線検出部16においてエッジ検出処理が施され(ステップSP2)、車線を規定する複数の白線が抽出される。なお、エッジ検出処理による白線の検出は従来的な技術である。
次に、検出された白線に対してハフ変換を施す(ステップSP3)。そして、ステップSP3で得られた0≦θ<πの範囲のハフ空間を所定の角度dごとに分割する(ステップSP4)。この角度dとしては、5度から10度程度が現実的な値であるが、これに限定されるものではない。
図3を用いて先に説明したように、ハフ空間においては複数のハフ曲線の交点の座標で近似直線が規定されるので、類似する直線であれば角度θ(図1)の値も近くなり、分割角度dの範囲内で複数の交点が出現することとなる。
このように、所定の角度dごとに分割されたハフ空間における複数の交点に対して、第1トーナメント処理部17において、それぞれの投票数、すなわち交差するハフ曲線の本数を検出し、投票数が最上位となる交点(直線)を特定する(ステップSP5)。
その後、第2トーナメント処理部18において、所定の角度dごとに分割されたハフ空間のそれぞれで得られた投票数が最上位となる直線(最大で180/d本となる)のうち、投票数の多い順に上位N本の近似直線を特定する(ステップSP6)。ここで、本数Nとしては、3本〜6本が現実的な値であるが、これに限定されるものではない。
その後、後処理部19において、ステップSP6で特定された上位N本の近似直線と画像との重ね合わせ処理を行う(ステップSP7)。
図8は、以上説明したステップSP5およびSP6のトーナメント処理を模式的に示す図であり、この例では、分割角度dを5度としている。
図8に示すように、分割角度5度で分割されたハフ空間のそれぞれにおいて、第1回目のトーナメントを行って、投票数が最上位となる直線を特定し(ステップSP5に対応)、これらの直線の中かから、さらに、第2回目のトーナメントを行って、投票数の多い順に上位N本の近似直線を特定する(ステップSP6に対応)。
このような処理を行うことで、角度θが類似する複数の近似直線が特定されることが抑制され、取得画像上の複数の白線のうち、一部の白線だけが検出されるという現象が解消される。
図9には、上記ステップSP5およびSP6のトーナメント処理を採用して直線検出を行った場合の結果を示している。図9に示されるように、白線WL1〜WL6のそれぞれに近似直線ALが規定され、一部の白線だけに近似直線が規定されるということが防止されており、直線検出の精度が高められ、正確な車線識別がなされていることが判る。
<直線検出の範囲の分割>
検出すべき白線が直線である場合は、ステップSP5およびSP6のトーナメント処理を採用することで、図9に示したように白線に近似した直線を得ることができるが、カーブなどの場合には、カメラ視点であっても、自車両から見た左側の白線と右側の白線とが平行線として検出される可能性がある。
検出すべき白線が直線である場合は、ステップSP5およびSP6のトーナメント処理を採用することで、図9に示したように白線に近似した直線を得ることができるが、カーブなどの場合には、カメラ視点であっても、自車両から見た左側の白線と右側の白線とが平行線として検出される可能性がある。
図10には、カーブにさしかかった場面で取得された画像の一例を示す図であり、二車線の道路において右曲がりのカーブを見た場合、左側の車線の路肩の白線WL11と、中央線WL12と、右側の車線の路肩の白線WL13とが見えるが、白線WL11および中央の白線WL12に沿ってそれぞれ検出された近似直線AL11およびAL122は、互いに、ほぼ平行な直線となっている。これは、白線WL11の角度と、白線WL12の車両の進行方向奥側の角度とが近いためである。
また、同様に、中央の白線WL12および白線WL13に沿ってそれぞれ検出された近似直線AL121およびAL13は、互いに、ほぼ平行な直線となっている。これは、白線WL12の車両の進行方向手前側の角度と、白線WL13の車両の進行方向奥側の角度とが近いためである。
このように、カーブにおいては、車線は複数の直線で規定されることになるので、カメラによって撮影された状況次第では、複数の平行な直線が規定されることがある。このような場合、得られた画像に対してステップSP5およびSP6のトーナメント処理を施すと、複数の平行な直線のうち、何れかがトーナメントに勝ち残れず、近似直線が規定されない白線が出現する可能性が高くなる。
そこで、カーブにおいては、直線の検出範囲を左右で分割し、左右それぞれの範囲でステップSP5およびSP6の処理を行うようにする。なお、分割の範囲は互いに重なっていても良いし、また、分割の範囲の大きさは左右で異なっていても良い。また、分割数も左右の2つに限定されない。要するに、複数の平行な直線が規定されにくいように直線の検出範囲を分割すれば良い。
なお、基本的には、路面上の白線が検出対象であるので、垂直方向における検出範囲の上端は、画像上の水平線に設定すれば良く、画像上の水平線は、カメラ11(図6)の取り付け角度で静的に決めることができる。例えば、平坦な道路では、画像の下半分が水平線以下となるように静的に決めることができる。
また、水平方向における検出範囲の分割位置は、画像上の複数の直線をそれぞれ延長して得られる延長線の交点に基づいて決定することができる。
図11は、上記交点に基づいて水平方向における検出範囲を分割した例を示している。図11に示すように、カメラ11で取得された画像において、垂直方向の下半分が、左側領域FL1と、右側領域FL2とに分割され、その境界は白線WL12の手前側を規定する近似直線AL121と白線WL13の手前側を規定する近似直線AL131との交点CPに基づいて設定されている。なお、交点CPには白線WL11を規定する近似直線AL11も交差している。
このように、水平方向における直線の検出範囲を分割することで、左側領域FL1には、近似直線AL11およびAL121が含まれることになるが、両者は互いに平行ではない。また、右側領域FL2には、近似直線AL13、AL131およびAL122が含まれることになるが、それらは何れも平行な関係にはない。
従って、左側領域FL1および右側領域FL2のそれぞれに対して、ステップSP5およびSP6のトーナメント処理を施しても、近似直線が規定されない白線が出現する可能性が低減することとなる。
以下、水平方向における検出範囲の分割位置の決定方法について図12〜図15を用いて説明する。
実世界で互いに平行な直線が、撮像された画像上で交差する点は、「無限遠点」または「消失点」と呼称される。この「無限遠点」は、カメラを取り付けた車両が平坦な場所に位置したときに一義的に決まるので、実動作前に設定しておく。
図12は、交点を特定し、当該交点に基づいて、水平方向における直線の検出範囲を分割する構成を備えた車線識別装置10Aの構成を示すブロック図であり、図6を用いて説明した車線識別装置10と同一の構成については同一の符号を付し、重複する説明は省略する。
図12に示されるように、車線識別装置10Aは、情報処理部14Aにおいて、直線検出部16、第1トーナメント処理部17、第2トーナメント処理部18および後処理部19に加えて、交点特定部20、車線状況判別部21および画像分割処理部22を有している。
情報処理部14Aは、CPU、RAMおよびROM等で構成され、ROM内に格納されたプログラムを読み出し、当該プログラムをCPUで実行することによって、直線検出部16、第1トーナメント処理部17、第2トーナメント処理部18、後処理部19、交点特定部20、車線状況判別部21および画像分割処理部22を機能的に実現する。
交点特定部20は、複数の直線をそれぞれ延長して得られる、2つの延長線の画像上の交点を特定し、車線状況判別部21は、交点特定部20で特定された交点と、画像において予め設定された無限遠点との位置を比較することによって、車線の状況を判別する。また、画像分割処理部22は、交点特定部20で特定された交点に基づいて、画像の水平方向における直線の検出範囲を分割する。
図13は、車線識別装置10Aにおける車線識別動作を説明するフローチャートであり、図7を用いて説明したステップSP1〜SP7に加えてステップSP8〜SP12を有している。
図7を用いて説明したように、ステップSP1〜SP7を経ることで、道路の車線を規定する複数の白線のそれぞれに近似する複数の近似直線が検出される。図14には、複数の白線(図示せず)のそれぞれに近似する近似直線SL1およびSL2が検出された状態が示されている。なお、図14では平坦面での直線道路を示しており、この後にカーブにさしかかるものとする。
ステップSP8では、交点特定部20によって、近似直線SL1およびSL2のそれぞれを延長した交点CP1を特定する。なお、平坦面であるので交点CP1と無限遠点VPとは水平線BL上の同じ位置にある。
その後、ステップSP9〜ステップSP12では、車線状況判別部21によって、各延長線の交点と無限遠点との位置が比較され、画像上での無限遠点に対する交点の位置に応じて、前方の車線の状況が判別される。
具体的には、ステップSP9では、交点が無限遠点を基準にして左右にずれているか否か(水平方向にずれているか否か)が判定される。交点が無限遠点に対して左右にずれているか否かの判定は、例えば、ずれ量が閾値(左右用の第1閾値)を超えるか否かに基づいて行われる。
交点が無限遠点に対して左右どちらかにずれていると判定された場合、ステップSP10において、車両の進行方向の車線は、曲線である(カーブである)と判別される。なお、カーブの方向は、無限遠点に対する交点のずれ方向(左方向か右方向か)により特定できる。
一方、交点が無限遠点に対して左右にずれていないと判定された場合、ステップSP12において、車両の進行方向の車線は直線であると判別される。例えば、図14の例では直線であると判別され、その後は、新たに取得される1フレーム分の画像に対してステップSP1以下の処理を繰り返す。
図15は、車両がカーブにさしかかった場面で取得された画像の一例を示す図であるが、カーブの入り口での画像であるので、車線(破線で示す)は曲線よりも直線の要素が多く、ステップSP1〜SP7を経ることで、複数の直線SL11およびSL12が検出され、両者の交点CP2が、無限遠点VPに対して右にずれている状況が示されている。交点CP2と無限遠点VPとが図15のような位置関係となった場合、車両の進行方向の車線は、右方向に曲がる曲線であると判別されることになる(ステップSP10)。
この場合、ステップSP11に進み、画像分割処理部22において、特定された交点CP2に基づいて画像の水平方向における直線の検出範囲を分割する。
カーブへ進入した車両のカメラ11は、より曲線の要素が大きな車線の画像を取得するようになり、図10に示したような画像が得られるが、図15の画像を得てから図10の画像を得るまでに、ステップSP1以下の処理を複数回繰り返すことになる。
すなわち、近似直線の検出は、フレーム単位で行われ、フレームレートに応じて1秒間に複数の画像が取得される。従って、図15の画像を得た後、図15の画像が得られるまでに1秒かかったとしても、その間に複数の画像が得られ、それぞれの画像に対してステップSP1以下の処理を繰り返すことになる。
従って、図15のような画像から交点を特定し、フレームが進むごとに少しずつ交点が更新され、その交点に基づいて、図11に示すように、画像の水平方向における直線の検出範囲を分割することになる。
一旦、カーブにおいて交点を特定できれば、その後は、近似直線を正確に規定できるので、当該近似直線に基づいて交点を次々と更新でき、交点位置の特定も正確となり、それに基づいた、画像の水平方向における直線の検出範囲の分割も正確に行うことができるようになる。
なお、ステップSP12において、車両の進行方向の車線が直線であると判別された場合は、画像の水平方向における直線の検出範囲の分割は行わないものとして説明したが、車両の進行方向の車線が直線である場合の交点、すなわち無限遠点に基づいて直線の検出範囲を分割しても良い。
この場合、図16に示すように、画像の水平方向のほぼ中央で左側領域FL1と右側領域FL2とに分割されることになるが、道路幅が広く、車線数が多い場合には、複数の平行な直線が規定される可能性を低くして、直線検出の精度を高めるために有効である。
また、交点特定部20および車線状況判別部21を備えず、車線がカーブしているか、直線であるかに関わらず、画像分割処理部22において、予め設定された無限遠点に基づいて直線の検出範囲を分割しても良い。この場合、車線がカーブしている場合には、直線検出の精度は若干低くなるが、直線の検出範囲の分割を行わない場合よりは精度の向上を図ることができる。
なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
16 直線検出部、
17 第1トーナメント処理部
18 第2トーナメント処理部
20 交点特定部
21 車線状況判別部
22 画像分割処理部
17 第1トーナメント処理部
18 第2トーナメント処理部
20 交点特定部
21 車線状況判別部
22 画像分割処理部
Claims (7)
- 車両に搭載されたカメラで撮像した画像に基づいて道路の車線を識別する車線識別装置であって、
前記画像から前記道路の車線を規定する複数のラインを抽出し、それぞれに対してハフ変換を施す直線検出部と、
前記ハフ変換により得られるハフ空間を所定の角度ごとに分割し、前記所定の角度ごとに分割されたハフ空間におけるハフ曲線の複数の交点に対して、それぞれの投票数を検出し、投票数が最上位となる交点を特定する第1トーナメント処理部と、
前記投票数が最上位となる交点のうち、投票数の多い順に所定数を選択することで、前記複数のラインのそれぞれに近似する複数の近似直線を特定する第2トーナメント処理部と、を備え、
特定された前記複数の近似直線を前記車線として識別する車線識別装置。 - 前記車載カメラで撮像された前記画像のうち、直線の検出範囲を水平方向において複数に分割する画像分割処理部をさらに備え、
水平方向において複数に分割された前記直線の検出範囲のそれぞれについて、前記複数の近似直線を特定する、請求項1記載の車線識別装置。 - 前記複数の近似直線の特定は、前記画像の所定のフレーム単位で実行され、
1フレーム以上前の画像において特定された前記複数の近似直線をそれぞれ延長した延長線の交点を特定する交点特定部をさらに備え、
前記画像分割処理部は、
前記交点特定部で特定された前記交点に基づいて前記画像の水平方向における前記直線の検出範囲の分割位置を決定する、請求項2記載の車線識別装置。 - 前記複数の近似直線をそれぞれ延長して得られる延長線の前記交点と、
前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する車線状況判別部をさらに備える、請求項3記載の車線識別装置。 - 前記車線状況判別部は、
前記画像において、前記交点の位置が前記無限遠点に対して水平方向にずれている場合に、前記車両の進行方向の車線はカーブしていると判別する、請求項4記載の車線識別装置。 - 前記画像分割処理部は、
前記車線状況判別部において、前記車両の進行方向の車線がカーブしていると判別された場合に、前記直線の検出範囲を水平方向において複数に分割する、請求項5記載の車線識別装置。 - 車両に搭載されたカメラで撮像した画像に基づいて道路の車線を識別する車線識別方法であって、
(a)前記画像から前記道路の車線を規定する複数のラインを抽出し、それぞれに対してハフ変換を施すステップと、
(b)前記ハフ変換により得られるハフ空間を所定の角度ごとに分割し、前記所定の角度ごとに分割されたハフ空間におけるハフ曲線の複数の交点に対して、それぞれの投票数を検出し、投票数が最上位となる交点を特定するステップと、
(c)前記投票数が最上位となる交点のうち、投票数の多い順に所定数を選択することで、前記複数のラインのそれぞれに近似する複数の近似直線を特定するステップと、を備え、
特定された前記複数の近似直線を前記車線として識別する車線識別方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013271386A JP6266340B2 (ja) | 2013-12-27 | 2013-12-27 | 車線識別装置および車線識別方法 |
PCT/JP2014/082710 WO2015098526A1 (ja) | 2013-12-27 | 2014-12-10 | 車線識別装置および車線識別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013271386A JP6266340B2 (ja) | 2013-12-27 | 2013-12-27 | 車線識別装置および車線識別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015125695A JP2015125695A (ja) | 2015-07-06 |
JP6266340B2 true JP6266340B2 (ja) | 2018-01-24 |
Family
ID=53478390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013271386A Expired - Fee Related JP6266340B2 (ja) | 2013-12-27 | 2013-12-27 | 車線識別装置および車線識別方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6266340B2 (ja) |
WO (1) | WO2015098526A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101847836B1 (ko) | 2015-12-24 | 2018-04-11 | 현대자동차주식회사 | 도로 경계 검출 시스템 및 방법과 이를 이용한 차량 |
WO2020090250A1 (ja) * | 2018-10-31 | 2020-05-07 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007256101A (ja) * | 2006-03-23 | 2007-10-04 | Toyota Central Res & Dev Lab Inc | 凹凸判定装置及び凹凸判定方法 |
JP4704310B2 (ja) * | 2006-10-11 | 2011-06-15 | シャープ株式会社 | 画像処理方法、画像処理装置、画像処理プログラムおよび画像処理プログラムを記録する記録媒体 |
JP2008306402A (ja) * | 2007-06-06 | 2008-12-18 | Auto Network Gijutsu Kenkyusho:Kk | 車載撮像表示装置 |
JP5091897B2 (ja) * | 2009-03-24 | 2012-12-05 | 富士重工業株式会社 | 停止線検出装置 |
-
2013
- 2013-12-27 JP JP2013271386A patent/JP6266340B2/ja not_active Expired - Fee Related
-
2014
- 2014-12-10 WO PCT/JP2014/082710 patent/WO2015098526A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2015125695A (ja) | 2015-07-06 |
WO2015098526A1 (ja) | 2015-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11393126B2 (en) | Method and apparatus for calibrating the extrinsic parameter of an image sensor | |
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
US9569673B2 (en) | Method and device for detecting a position of a vehicle on a lane | |
CN105205459B (zh) | 一种图像特征点类型的识别方法和装置 | |
CN107895375B (zh) | 基于视觉多特征的复杂道路线提取方法 | |
CN109543493B (zh) | 一种车道线的检测方法、装置及电子设备 | |
CN108256445B (zh) | 车道线检测方法及系统 | |
CN110088766B (zh) | 车道线识别方法、车道线识别装置以及非易失性存储介质 | |
Youjin et al. | A robust lane detection method based on vanishing point estimation | |
CN111178150A (zh) | 车道线检测方法、系统及存储介质 | |
CN101436300B (zh) | 障碍物分割方法及装置 | |
CN104282010A (zh) | 车辆多鱼眼摄像机360度俯视图像拼接曲线标定方法 | |
JP6266340B2 (ja) | 車線識別装置および車線識別方法 | |
CN111488762A (zh) | 一种车道级定位方法、装置及定位设备 | |
WO2014054124A1 (ja) | 路面標示検出装置及び路面標示検出方法 | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
CN111881878A (zh) | 一种环视复用的车道线识别方法 | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
CN111460854A (zh) | 一种远距离目标检测方法、装置及系统 | |
CN115507815A (zh) | 一种目标测距方法、装置及车辆 | |
CN113147746A (zh) | 坡道车位的探测方法及装置 | |
CN115131273A (zh) | 信息处理方法、测距方法及装置 | |
CN113255405A (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
CN113033253A (zh) | 相机标定方法及装置 | |
KR102681321B1 (ko) | 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6266340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |