JP3997885B2 - レーンマーカ認識装置 - Google Patents
レーンマーカ認識装置 Download PDFInfo
- Publication number
- JP3997885B2 JP3997885B2 JP2002303270A JP2002303270A JP3997885B2 JP 3997885 B2 JP3997885 B2 JP 3997885B2 JP 2002303270 A JP2002303270 A JP 2002303270A JP 2002303270 A JP2002303270 A JP 2002303270A JP 3997885 B2 JP3997885 B2 JP 3997885B2
- Authority
- JP
- Japan
- Prior art keywords
- lane marker
- signal
- marker recognition
- amount
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、道路上の白線等の区分線であるレーンマーカを認識する装置に関する。
【０００２】
【従来の技術】
車載カメラにより車両前方を撮像し、得られた画像の輝度変化に基づいて道路の車線区分を表すレーンマーカを検出する車線認識装置（特許文献１参照）が知られている。また、車載カメラにより撮像した画像とテンプレートとのパターンマッチングにより、レーンマーカを検出する車線認識装置（特許文献２参照）も知られている。
【０００３】
【特許文献１】
特開平７−３０２３４６号公報
【特許文献２】
特開平６−１１９５９３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、前者の車線認識装置では、北米で用いられているBotts Dotsのように、画像に輝度変化がほとんど現れないレーンマーカを検出することができない。また、後者の車線認識装置では、テンプレートをBotts Dotsの形状に合わせることによりBotts Dotsを検出することができるが、白線の形態は実線、破線、二重線と様々な種類があるので、全てのパターンをメモリに記憶しておく必要があり、メモリの容量の増大を招くという問題があった。
【０００５】
本発明の目的は、撮像画像の輝度変化に基づいてレーンマーカを認識する方法と、撮像画像とテンプレートとのパターンマッチングによりレーンマーカを認識する方法を適切に使い分けて、様々な種類のレーンマーカを認識するレーンマーカ認識装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明によるレーンマーカ認識装置は、車両前方を撮影する撮像手段と、撮像画像の輝度変化に基づいて、レーンマーカ認識処理を行う第１のレーンマーカ認識手段と、撮像画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第２のレーンマーカ認識手段と、車両前方に光信号を送出する信号送出手段と、信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、受信した反射信号の受信量に基づいて、第１および第２のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることにより、上記目的を達成する。
【０００７】
【発明の効果】
本発明によるレーンマーカ認識装置によれば、信号送出手段から送出された光信号の反射信号の受信量に基づいて、輝度変化による認識方法とパターンマッチングによる認識方法とを適切に選択してレーンマーカ認識処理を行うので、様々な種類のレーンマーカを少ない演算量にて確実に検出することができる。
【０００８】
【発明の実施の形態】
図１は、本発明によるレーンマーカ認識装置の一実施の形態の構成を示す図である。一実施の形態におけるレーンマーカ認識装置は、ＣＣＤカメラ１と、レーザレーダ２と、レーンマーカ認識処理装置３と、自動操舵制御ユニット４と、操舵アクチュエータ５と、車速センサ６とを備える。ＣＣＤカメラ１は、車両の前方に取り付けられて車両前方を撮像し、映像信号をレーンマーカ認識処理装置３に出力する。レーザレーダ２は、車両前方にレーザ光を送出し、反射光を受光することにより車両前方に存在する障害物等を検出する。受信した反射光の受光量情報は、レーンマーカ認識処理装置３に出力する。
【０００９】
レーンマーカ認識処理装置３は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＣＣＤカメラ１から送られてくる映像信号と、レーザレーダ２から送られてくる反射受光量情報とに基づいて、レーンマーカの種類を判別し、後述するように、最適なレーンマーカ認識処理方法を選択する。また、レーンマーカ認識処理装置３は、認識したレーンマーカに対する自車両の横位置を算出して自動操舵制御ユニット４に出力する。自動操舵制御ユニット４は、レーンマーカ認識処理装置３から送られてくる自車両の横位置情報に基づいて、ハンドル操舵量を算出し、操舵アクチュエータ５を制御する。車速センサ６は、車両の速度に対応する車速信号をレーザレーダ２、レーンマーカ認識処理装置３、自動操舵制御ユニット４に送信する。
【００１０】
図２（ａ）〜（ｆ）は、一般的に使用されているレーンマーカの種類を示した図である。図２（ａ）には、日本で最も一般的である白線７のみで構成されるレーンマーカである。白線のみで構成されるレーンマーカは、北米や欧州でも一般的であり、世界的に使用されている。図２（ｂ）は、Botts Dots８のみから構成されるレーンマーカである。Botts Dots８は、主に北米で用いられているレーンマーカであり、セラミックスで構成される直径１００mm程度の円盤を路面に埋め込んだものである。
【００１１】
図２（ｃ）は、キャッツアイ９と呼ばれる反射体のみから構成されるレーンマーカである。キャッツアイ９は、入射光を同じ方向に反射させるという特性を有する。図２（ｃ）のように、キャッツアイ９のみから構成されるレーンマーカは、日本では高速道路以外のカーブ路などで使用されており、北米ではカーブ路だけではなく、直線路でも使用されている。
【００１２】
図２（ｄ）は、白線７とキャッツアイ９とから構成されるレーンマーカを示し、図２（ｅ）は、Botts Dots８とキャッツアイ９とから構成されるレーンマーカを示している。図２（ｆ）は、白線７とBotts Dots８とから構成されるレーンマーカを示している。
【００１３】
本発明によるレーンマーカ認識装置は、ＣＣＤカメラ１を用いて撮像した画像中の輝度変化を利用してレーンマーカを認識する方法と、パターンマッチングによりレーンマーカを認識する方法とを適切に使い分けて用いる。ここで、輝度変化を利用する方法、および、パターンマッチングを用いる方法は、いずれも既に利用されている方法であるので、以下で簡単に説明しておく。初めに、輝度変化を利用する方法について、図３および図４を用いて説明する。
【００１４】
図３は、輝度変化を利用してレーンマーカを認識する処理手順を示す一実施の形態のフローチャートである。図４（ａ）〜（ｅ）は、図３に示すフローチャートによる処理を説明するための図である。以下、図３に示すフローチャートのステップＳ１００から順に説明する。
【００１５】
ステップＳ１００では、レーンマーカ認識処理に用いる各パラメータを初期化してステップＳ１０１に進む。ステップＳ１０１では、ＣＣＤカメラ１を用いて、車両前方の画像を取得する。取得した画像を図４（ａ）に示す。図４（ａ）に示すように、撮影された画像には通常、路面上の白線７以外にガードレール１０等が表示されている。一般に、路面はアスファルトで舗装されていることが多く、この場合の路面は黒色となる。従って、白線と路面との間で輝度差が存在するので、この輝度差を利用して白線を認識する。
【００１６】
次のステップＳ１０２では、ステップＳ１０１で取得した画像から、輝度変化の大きい部分を抽出することにより、輝度変化イメージを作成する。図４（ａ）に示す画像に基づいて作成した輝度変化イメージを図４（ｂ）に示す。輝度変化イメージを作成すると、ステップＳ１０３に進む。ステップＳ１０３では、ステップＳ１０２で作成した輝度変化イメージに対して、白線が存在すると推測される部分にウインドウを設定する。図４（ｂ）に示す輝度変化イメージに対して、ウインドウ１１を設定した図を図４（ｃ）に示す。このウインドウ１１は、レーンマーカ認識処理を施す領域を示すものであり、このようにウインドウ１１を設定することにより、撮像画像全体に対して処理を施す必要が無くなるので、処理時間の短縮を図ることができる。
【００１７】
ウインドウ１１を設定するとステップＳ１０４に進む。ステップＳ１０４では、ステップＳ１０３で設定された各ウインドウ１１内において、レーンマーカ候補点を１つ抽出する。レーンマーカ候補点１２を抽出した図を図４（ｄ）に示す。レーンマーカ候補点１２を抽出する方法は様々あるが、ここではウインドウ１１の上辺と、輝度が大きく変化するラインとの交差点をレーンマーカ候補点１２として抽出している。
【００１８】
ステップＳ１０４に続くステップＳ１０５では、ステップＳ１０４で抽出された各ウインドウ１１ごとのレーンマーカ候補点１２を結ぶことにより、レーンマーカを検出する。図４（ｄ）に示すレーンマーカ候補点１２を結ぶことにより認識されるレーンマーカ１３を図４（ｅ）に示す。
【００１９】
次に、パターンマッチングによりレーンマーカを認識する方法について、図５および図６を用いて説明する。図５は、パターンマッチングによりレーンマーカを認識する処理手順を示す一実施の形態のフローチャートである。図６（ａ）〜（ｅ）は、図５に示すフローチャートによる処理を説明するための図である。以下、図５に示すフローチャートのステップＳ２００から順に説明する。
【００２０】
ステップＳ２００では、レーンマーカ認識処理に用いる各パラメータを初期化してステップＳ２０１に進む。ステップＳ２０１では、ＣＣＤカメラ１を用いて、車両前方の画像を取得する。取得した画像を図６（ａ）に示す。図６（ａ）には、複数のBotts Dots８が表示されている。次のステップＳ２０２では、ステップＳ２０１で取得した画像に対して、パターンマッチング処理を行う領域として、ウインドウを設定する。図６（ａ）に示す画像に対してウインドウ１４を設定した図を図６（ｂ）に示す。ウインドウ１４を設定するとステップＳ２０３に進む。
【００２１】
ステップＳ２０３では、ステップＳ２０２で設定したウインドウ１４の中の領域において、予め用意したBotts Dots８のテンプレートとの相関を求める。ステップＳ２０３に続くステップＳ２０４では、ステップＳ２０３で求めたBotts Dots８のテンプレートとの相関に基づいて、相関の高い領域をBotts Dots８として抽出する。図６（ｂ）に示すウインドウ１４内で抽出されたBotts Dots８を図６（ｃ）に示す。Botts Dots８を抽出するとステップＳ２０５に進む。
【００２２】
ステップＳ２０５では、ステップＳ２０４で抽出したBotts Dots８からレーンマーカ候補点を抽出する。レーンマーカ候補点１５を抽出した図を図６（ｄ）に示す。レーンマーカ候補点１５を抽出する方法は様々あるが、ここでは抽出したBotts Dots８において、画面中央側のある１点をレーンマーカ候補点１５として抽出する。ステップＳ２０５に続くステップＳ２０６では、ステップＳ２０５で抽出した複数のレーンマーカ候補点１５を結ぶことにより、レーンマーカを検出する。図６（ｄ）に示すレーンマーカ候補点１５を結ぶことにより認識されるレーンマーカ１６を図６（ｅ）に示す。
【００２３】
上述したように、Botts Dotsとアスファルト路面との間のコントラストは小さいので、輝度変化を利用した方法によりBotts Dotsを検出するのは、困難である。また、パターンマッチングにより白線を検出する場合には、破線、二重線などの様々なテンプレートを用意する必要がある。この場合、現存する全ての白線パターンのテンプレートを用意しても、新たなパターンの白線が登場する可能性もある。従って、パターンマッチング処理は、白線を検出する方法としてはあまり適していないといえる。
【００２４】
従って、白線およびBotts Dotsの双方を精度よく認識するためには、輝度変化を利用する方法とパターンマッチング処理を利用する方法とを適正に選択する必要がある。本発明によるレーンマーカ認識装置は、レーザレーダ２を用いてレーンマーカの種別を判断し、判断したレーンマーカの種類に基づいて、輝度変化を利用する方法とパターンマッチング処理を利用する方法とを適正に選択する。
【００２５】
本発明によるレーンマーカ認識装置により行われるレーンマーカ認識処理について説明する前に、図２（ａ）〜（ｆ）に示すレーンマーカに対して、レーザレーダ２からレーザ光を出射した場合に、レーザ光がレーンマーカで反射した時の受光量について図７（ａ）〜（ｆ）を用いて説明する。図７（ａ）〜（ｆ）において、横軸はレーザレーダ２からの距離であり、縦軸は反射したレーザ光の受光量である。
【００２６】
図７（ａ）は、図２（ａ）に示す白線のみから構成されるレーンマーカに対する結果である。白線はアスファルトよりも光を反射しやすく、また、円盤形状のBotts Dots等と異なり奥行きがあるので、レーザ光が照射されているエリア全体から反射光が得られる。従って、反射受光量は、ある位置でピークになって、その後少しずつ減少していく波形を示す。
【００２７】
図７（ｂ）は、図２（ｂ）に示すBotts Dotsのみから構成されるレーンマーカに対する結果である。Botts Dotsからの反射受光量とアスファルトからの反射受光量とはあまり差がないので、図７（ｂ）に示すように、反射受光量にはピークが現れない。
【００２８】
図７（ｃ）は、図２（ｃ）に示すキャッツアイのみから構成されるレーンマーカに対する結果である。キャッツアイは、光を入射してきた方向に反射させる特性を有するので、キャッツアイからは非常に強い反射光が得られる。また、図２（ｃ）に示すように、キャッツアイは通常、四角形であり白線のような奥行きがない。従って、反射受光量は、非常に大きいピークを有し、図７（ｃ）に示すように、急峻な波形となる。
【００２９】
図７（ｄ）は、図２（ｄ）に示す白線とキャッツアイから構成されるレーンマーカに対する結果である。この場合、白線の反射特性とキャッツアイの反射特性の双方を備えた反射特性を有する。すなわち、反射受光量は非常に大きなピークを有し、その後少しずつ減少していく波形を示す。
【００３０】
図７（ｅ）は、図２（ｅ）に示すBotts Dotsとキャッツアイから構成されるレーンマーカに対する結果である。この場合、Botts Dotsの反射特性とキャッツアイの反射特性の双方を備えた反射特性を有する。上述したように、Botts Dotsからの反射受光量は少ないので、反射受光量特性は、キャッツアイのみから構成されるレーンマーカの反射受光量特性（図７（ｃ））と同じような波形を示す。
【００３１】
図７（ｆ）は、図２（ｆ）に示す白線とBotts Dotsから構成されるレーンマーカに対する結果である。この場合、白線の反射特性とBotts Dotsの反射特性の双方を備えた反射特性を有するが、Botts Dotsからの反射受光量は少ないので、白線の反射特性が支配的となる。従って、反射受光量特性は、図７（ａ）に示す白線のみから構成されるレーンマーカに対する反射受光量特性と同じような波形を示す。
【００３２】
本実施の形態におけるレーンマーカ認識装置では、レーンマーカに白線が含まれている場合、すなわち、図２（ａ），（ｄ），（ｆ）に示すレーンマーカの場合には、輝度変化を利用する方法を用いてレーンマーカの認識処理を行う。図７を参照して、以下の▲１▼，▲２▼の場合に、レーンマーカに白線が含まれていると判断する。
▲１▼反射波形のピークが、第１のしきい値Ｔh1と第２のしきい値Ｔh2との間にある場合
▲２▼反射波形のピークが第２のしきい値Ｔh2を越えており、かつ、波形が非対称の場合
【００３３】
上記▲１▼に該当するのは、図２（ａ）と図２（ｆ）に示すレーンマーカの場合である。白線からの反射受光量は、キャッツアイからの反射受光量よりも少ないので、反射受光量のピーク値と２つのしきい値Ｔh1，Ｔh2とに基づいて、図２（ａ）と図２（ｆ）に示すレーンマーカを検出する。上記▲２▼に該当するのは、図２（ｄ）に示すレーンマーカの場合である。レーンマーカにキャッツアイが含まれている場合には、反射受光量のピーク値が第２のしきい値Ｔh2よりも大きくなる。しかし、白線が含まれている場合には、反射受光量の波形が図７（ｃ），（ｅ）に示す場合と異なり、対称とならないので、図２（ｄ）に示すレーンマーカと図２（ｃ），（ｅ）に示すレーンマーカとを区別することができる。
【００３４】
レーザレーダ２で受光される反射光の中には、レーンマーカからの反射光以外に、自車両の周囲の車両や、路側にある看板などからの反射光が含まれている。
従って、レーンマーカからの反射光と、レーンマーカ以外からの反射光とを区別する必要がある。この区別の方法を図８（ａ），（ｂ）を用いて説明する。
【００３５】
図８（ａ）は、レーザレーダ２からレーザ光を出射する様子を車両２０の側面から見た図、図８（ｂ）は、レーザレーダ２からレーザ光を出射する様子を車両２０の上面から見た図である。レーンマーカからの反射光を得るためには、レーザレーダ２から出射されたレーザ光が路面に到達していることが必要である。図８（ａ）に示すように、レーザレーダ２は、地上からＨsの高さの位置に取り付けられており、出射されるレーザ光の光軸Ｌ１は路面と水平であるとする。レーザ光の光軸Ｌ１と、上下方向に広がりのあるレーザ光の下端との角度をθvとすると、レーザ光の下端が路面に到達する距離Ｄgは、次式（１）にて表せる。
Ｄg＝Ｈs／tanθv …（１）
【００３６】
従って、レーンマーカの種別判定を行うのは、式（１）で算出される距離Ｄg以遠である必要がある。例えば、Ｈs＝0.35(m)、角度θv＝1.5(deg)の場合には、距離Ｄgは13.4(m)となる。
【００３７】
レーザレーダ２は、広い検知エリアを確保するために、車両の左右方向にスキャンを行っている。レーザレーダ２とレーンマーカとの横方向の距離をＷ、レーザ光軸Ｌ１と車体軸Ｌ２との水平方向角度をθh、レーザ光の左右方向のビーム幅をθwとすると、レーザ光がレーンマーカに当たる距離の下限値Ｄn、上限値Ｄfは、それぞれ次式（２），（３）にて表せる。
Ｄn＝Ｗ／tan(θh＋θw／２) …（２）
Ｄf＝Ｗ／tan(θh−θw／２) …（３）
【００３８】
例えば、Ｗ＝1.8(m)、角度θh＝５(deg)、θw＝１(deg)の場合には、Ｄn＝18.7(m)、Ｄf＝22.9(m)となる。ここで、レーザ光がレーンマーカに当たる距離の下限値Ｄnは、式（１）で算出される距離Ｄgよりも大きくする必要がある。従って、距離Ｄgを考慮して、レーザレーダ２とレーンマーカとの横方向の距離Ｗに基づいて、レーザ光のスキャン角度θhを決定して、式（２），（３）より距離Ｄn，Ｄfを算出する。この場合、レーザ光のスキャン角度がθhの時に、式（２），（３）から算出される距離Ｄnから距離Ｄfまでの間に現れる反射受光量の波形に基づいて、レーンマーカの種別判定を行う。すなわち、距離Ｄn以下の位置に現れる反射受光量の波形や、距離Ｄf以上の位置に現れる反射受光量の波形は無視することができる。
【００３９】
図９は、本実施の形態におけるレーンマーカ認識装置により行われるレーンマーカ認識処理の手順を示すフローチャートである。この処理は、レーンマーカ認識処理装置３により行われる。ステップＳ３００では、レーンマーカ認識処理に用いられるパラメータを初期化して、ステップＳ３０１に進む。レーンマーカ認識処理の開始時には、レーザレーダ２とレーンマーカとの横方向の距離Ｗが分からないので、レーンマーカからの反射光を検出するために必要な距離ＤnおよびＤfを算出することができない。従って、ステップＳ３０１では、輝度変化を利用したレーンマーカ認識処理を行う。
【００４０】
ステップＳ３０１に続くステップＳ３０２では、ステップＳ３０１で行ったレーンマーカ認識処理により、レーンマーカを認識することができたか否かを判定する。レーンマーカを認識することができたと判定するとステップＳ３０６に進み、認識することができなかったと判定するとステップＳ３０４に進む。ステップＳ３０４では、パターンマッチングによる認識処理を行う。次のステップＳ３０５では、ステップＳ３０４で行ったパターンマッチングによる認識処理により、レーンマーカを認識することができたか否かを判定する。レーンマーカを認識することができたと判定するとステップＳ３０６に進み、認識することができなかったと判定するとステップＳ３００に戻って、再度レーンマーカ認識処理を行う。
【００４１】
ステップＳ３０６では、ステップＳ３０１またはステップＳ３０４で行った認識処理結果に基づいて、レーザレーダ２とレーンマーカとの横方向の距離Ｗを算出する。距離Ｗを算出するとステップＳ３０７に進む。ステップＳ３０７では、ステップＳ３０６で算出した距離Ｗに基づいて、レーンマーカからの反射波形を評価するために必要なスキャン角度θh、および、距離Ｄn，Ｄfを決定する。スキャン角度θh、距離Ｄn，Ｄfを決定すると、ステップＳ３０８に進む。
【００４２】
ステップＳ３０８では、スキャン角度θhの時の反射受光量の波形を取得して、ステップＳ３０９に進む。ステップＳ３０９では、ステップＳ３０８で取得した反射受光量のうち、距離Ｄn〜Ｄfの位置にある反射受光量の波形のピーク値が第１のしきい値Ｔh1以下であるか否かを判定する。反射受光量の波形のピーク値が第１のしきい値Ｔh1以下であると判定するとステップＳ３１０に進み、第１のしきい値Ｔh1より大きいと判定すると、ステップＳ３１１に進む。ステップＳ３１１では、反射受光量の波形のピーク値が第２のしきい値Ｔh2以上であるか否かを判定する。反射受光量の波形のピーク値が第２のしきい値Ｔh2以上であると判定するとステップＳ３１２に進み、第２のしきい値Ｔh2より小さいと判定すると、ステップＳ３１３に進む。
【００４３】
ステップＳ３１２では、ステップＳ３０８で取得した反射受光量の波形が対称であるか否かを判定する。反射受光量の波形が対称であると判定するとステップＳ３１０に進み、対称ではないと判定するとステップＳ３１３に進む。ステップＳ３１３では、上記▲１▼の条件の場合、すなわち、反射波形のピーク値が、第１のしきい値Ｔh1と第２のしきい値Ｔh2との間にある場合、または、条件▲２▼の場合、すなわち、反射波形のピーク値が第２のしきい値Ｔh2を越えており、かつ、波形が非対称の場合であるので、輝度変化を利用したレーンマーカ認識処理を行う。レーンマーカ認識処理を行うとステップＳ３１４に進む。
【００４４】
一方、ステップＳ３１０では、パターンマッチングによるレーンマーカ認識処理を行う。レーンマーカ認識処理を行うとステップＳ３１４に進む。ステップＳ３１４では、ステップＳ３１０またはステップＳ３１３で行ったレーンマーカ認識処理により、レーンマーカを認識したか否かを判定する。レーンマーカを認識したと判定するとステップＳ３０６に戻って、上述したステップＳ３０６以降の処理を行い、レーンマーカを認識していないと判定するとステップＳ３００に戻る。
【００４５】
本実施の形態におけるレーンマーカ認識装置により行われるレーンマーカ認識処理の内容をまとめておく。最初に輝度変化を利用したレーンマーカ認識処理、または、パターンマッチングによるレーンマーカ認識処理を行い、レーンマーカを認識すると、レーザレーダ２とレーンマーカとの横方向の距離Ｗを算出して、スキャン角度θh、距離Ｄn，Ｄfを決定する（ステップＳ３００〜Ｓ３０７）。その後、決定したスキャン角度θhの時の反射受光量の波形を取得する。距離Ｄn〜Ｄfの位置にある反射受光量の波形のピーク値が第１のしきい値Ｔh1以下であり、かつ、第２のしきい値Ｔh2より小さい場合、または、反射受光量の波形のピーク値が第２のしきい値Ｔh2以上であり、かつ、反射受光量の波形が非対称である場合には、輝度変化を利用したレーンマーカ認識処理を行い、それ以外の場合にはパターンマッチングによるレーンマーカ認識処理を行う（ステップＳ３０９〜Ｓ３１３）。
【００４６】
本実施の形態におけるレーンマーカ認識装置によれば、レーザレーダ２から出射したレーザ光の反射受光量に基づいて、撮像画像の輝度変化によりレーンマーカ認識処理を行う方法と、パターンマッチングによりレーンマーカ認識処理を行う方法とを適切に選択して、レーンマーカ認識処理を行うので、様々な種類のレーンマーカを確実に検出することができる。この場合、輝度変化による認識処理方法とパターンマッチングによる認識処理方法の両方を用いる方法、例えば、画像の輝度変化に基づいてレーンマーカ認識処理を行い、レーンマーカを検出できなかった場合に、パターンマッチングによるレーンマーカ認識処理を行う方法も考えられる。しかし、このような方法では、レーンマーカ認識処理の処理演算量が増加し、レーンマーカの検出速度が低下する。これに対して、本実施の形態におけるレーンマーカ認識装置では、２つのレーンマーカ認識処理方法のうちの一方を適切に選択して認識処理を行うので、少ない演算量で確実にレーンマーカを検出することができる。
【００４７】
２つのレーンマーカ認識処理方法の選択に際し、レーザ光の反射受光量が第１のしきい値Ｔh1以下の場合には、パターンマッチングによるレーンマーカ認識処理を選択するので、Botts Dotsのように反射率の低いレーンマーカを確実に検出することができる。また、レーザ光の反射受光量が第１のしきい値Ｔh1より多く、第２のしきい値Ｔh2未満の場合には、輝度変化によるレーンマーカ認識処理を選択するので、白線を含むレーンマーカを確実に検出することができる。
【００４８】
また、レーザ光の反射受光量が第２のしきい値Ｔh2以上であり、かつ、反射受光量の波形が所定のパターン、すなわち、非対称である場合には、輝度変化によるレーンマーカ認識処理を選択するので、キャッツアイと白線とを含んだレーンマーカを確実に検出することができる。この場合、レーザ光の反射受光量が第２のしきい値Ｔh2以上であり、かつ、反射受光量の波形が対称の場合には、パターンマッチングによるレーンマーカ認識処理を選択するので、白線より反射率の高いキャッツアイのみからなるレーンマーカや、キャッツアイとBotts Dotsからなるレーンマーカを確実に検出することができる。
【００４９】
本実施の形態におけるレーンマーカ認識装置では、輝度変化によるレーンマーカ認識方法、および、パターンマッチングによる認識方法の少なくとも一方の方法を用いてレーンマーカを検出し、検出したレーンマーカとレーザレーダ２との距離Ｗを算出して、距離Ｗに基づいてスキャン角度θhを求めてレーザ光を出射するので、レーンマーカに向けて確実にレーザ光を出射することができる。また、算出した距離Ｗに基づいて、レーザ光のエッジとレーンマーカとが交わる距離Ｄn，Ｄfを算出し、距離ＤnからＤfまでの距離範囲からの反射受光量に基づいて、２つのレーンマーカ認識方法を選択するので、レーンマーカ以外の物体からの反射受光量に基づいてレーンマーカ認識方法を選択するという誤選択を防ぐことができる。
【００５０】
本発明は、上述した一実施の形態に限定されることはない。例えば、上述した一実施の形態では、レーンマーカを構成する要素として、白線、Botts Dots、キャッツアイの３種類を例に挙げたが、これら以外の物によりレーンマーカが構成されている場合にも本実施の形態におけるレーンマーカ認識装置を用いることができる。この場合には、図７（ａ）〜（ｆ）に示すように、予め反射受光量の特性を把握しておき、その特性に応じて、輝度変化による方法またはパターンマッチングによる方法を適切に選択するようにすればよい。
【００５１】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、ＣＣＤカメラ１が撮影手段を、レーンマーカ認識処理装置３が第１のレーンマーカ認識手段、第２のレーンマーカ認識手段、および、選択手段を、レーザレーダ２が信号送出手段および信号受信手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本発明によるレーンマーカ認識装置の一実施の形態の構成を示す図
【図２】図２（ａ）〜（ｆ）は、様々なレーンマーカの種類を示す図
【図３】輝度変化を利用したレーンマーカ認識処理の処理手順を示すフローチャート
【図４】図４（ａ）〜（ｅ）は、輝度変化を利用したレーンマーカ認識処理について説明するための図
【図５】パターンマッチングによるレーンマーカ認識処理の処理手順を示すフローチャート
【図６】図６（ａ）〜（ｅ）は、パターンマッチングによるレーンマーカ認識処理について説明するための図
【図７】図７（ａ）〜（ｆ）は、図２（ａ）〜（ｆ）に示すレーンマーカにレーザ光を照射した時の反射受光量を示す図
【図８】図８（ａ）は、レーザレーダからレーザ光を出射する様子を車両側面から見た図、図８（ｂ）は、車両上面から見た図
【図９】本実施の形態におけるレーンマーカ認識装置により行われるレーンマーカ認識処理の手順を示すフローチャート
【符号の説明】
１…ＣＣＤカメラ、２…レーザレーダ、３…レーンマーカ認識処理装置、４…自動操舵制御ユニット、５…操舵アクチュエータ、６…車速センサ、７…白線、８…Botts Dots、９…キャッツアイ、１０…ガードレール、１１，１４…ウインドウ、１２，１５…レーンマーカ候補点、１３，１６…検出レーンマーカ、２０…車両、Ｌ１…レーザ光の光軸、Ｌ２…車軸
【発明の属する技術分野】
本発明は、道路上の白線等の区分線であるレーンマーカを認識する装置に関する。
【０００２】
【従来の技術】
車載カメラにより車両前方を撮像し、得られた画像の輝度変化に基づいて道路の車線区分を表すレーンマーカを検出する車線認識装置（特許文献１参照）が知られている。また、車載カメラにより撮像した画像とテンプレートとのパターンマッチングにより、レーンマーカを検出する車線認識装置（特許文献２参照）も知られている。
【０００３】
【特許文献１】
特開平７−３０２３４６号公報
【特許文献２】
特開平６−１１９５９３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、前者の車線認識装置では、北米で用いられているBotts Dotsのように、画像に輝度変化がほとんど現れないレーンマーカを検出することができない。また、後者の車線認識装置では、テンプレートをBotts Dotsの形状に合わせることによりBotts Dotsを検出することができるが、白線の形態は実線、破線、二重線と様々な種類があるので、全てのパターンをメモリに記憶しておく必要があり、メモリの容量の増大を招くという問題があった。
【０００５】
本発明の目的は、撮像画像の輝度変化に基づいてレーンマーカを認識する方法と、撮像画像とテンプレートとのパターンマッチングによりレーンマーカを認識する方法を適切に使い分けて、様々な種類のレーンマーカを認識するレーンマーカ認識装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明によるレーンマーカ認識装置は、車両前方を撮影する撮像手段と、撮像画像の輝度変化に基づいて、レーンマーカ認識処理を行う第１のレーンマーカ認識手段と、撮像画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第２のレーンマーカ認識手段と、車両前方に光信号を送出する信号送出手段と、信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、受信した反射信号の受信量に基づいて、第１および第２のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることにより、上記目的を達成する。
【０００７】
【発明の効果】
本発明によるレーンマーカ認識装置によれば、信号送出手段から送出された光信号の反射信号の受信量に基づいて、輝度変化による認識方法とパターンマッチングによる認識方法とを適切に選択してレーンマーカ認識処理を行うので、様々な種類のレーンマーカを少ない演算量にて確実に検出することができる。
【０００８】
【発明の実施の形態】
図１は、本発明によるレーンマーカ認識装置の一実施の形態の構成を示す図である。一実施の形態におけるレーンマーカ認識装置は、ＣＣＤカメラ１と、レーザレーダ２と、レーンマーカ認識処理装置３と、自動操舵制御ユニット４と、操舵アクチュエータ５と、車速センサ６とを備える。ＣＣＤカメラ１は、車両の前方に取り付けられて車両前方を撮像し、映像信号をレーンマーカ認識処理装置３に出力する。レーザレーダ２は、車両前方にレーザ光を送出し、反射光を受光することにより車両前方に存在する障害物等を検出する。受信した反射光の受光量情報は、レーンマーカ認識処理装置３に出力する。
【０００９】
レーンマーカ認識処理装置３は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＣＣＤカメラ１から送られてくる映像信号と、レーザレーダ２から送られてくる反射受光量情報とに基づいて、レーンマーカの種類を判別し、後述するように、最適なレーンマーカ認識処理方法を選択する。また、レーンマーカ認識処理装置３は、認識したレーンマーカに対する自車両の横位置を算出して自動操舵制御ユニット４に出力する。自動操舵制御ユニット４は、レーンマーカ認識処理装置３から送られてくる自車両の横位置情報に基づいて、ハンドル操舵量を算出し、操舵アクチュエータ５を制御する。車速センサ６は、車両の速度に対応する車速信号をレーザレーダ２、レーンマーカ認識処理装置３、自動操舵制御ユニット４に送信する。
【００１０】
図２（ａ）〜（ｆ）は、一般的に使用されているレーンマーカの種類を示した図である。図２（ａ）には、日本で最も一般的である白線７のみで構成されるレーンマーカである。白線のみで構成されるレーンマーカは、北米や欧州でも一般的であり、世界的に使用されている。図２（ｂ）は、Botts Dots８のみから構成されるレーンマーカである。Botts Dots８は、主に北米で用いられているレーンマーカであり、セラミックスで構成される直径１００mm程度の円盤を路面に埋め込んだものである。
【００１１】
図２（ｃ）は、キャッツアイ９と呼ばれる反射体のみから構成されるレーンマーカである。キャッツアイ９は、入射光を同じ方向に反射させるという特性を有する。図２（ｃ）のように、キャッツアイ９のみから構成されるレーンマーカは、日本では高速道路以外のカーブ路などで使用されており、北米ではカーブ路だけではなく、直線路でも使用されている。
【００１２】
図２（ｄ）は、白線７とキャッツアイ９とから構成されるレーンマーカを示し、図２（ｅ）は、Botts Dots８とキャッツアイ９とから構成されるレーンマーカを示している。図２（ｆ）は、白線７とBotts Dots８とから構成されるレーンマーカを示している。
【００１３】
本発明によるレーンマーカ認識装置は、ＣＣＤカメラ１を用いて撮像した画像中の輝度変化を利用してレーンマーカを認識する方法と、パターンマッチングによりレーンマーカを認識する方法とを適切に使い分けて用いる。ここで、輝度変化を利用する方法、および、パターンマッチングを用いる方法は、いずれも既に利用されている方法であるので、以下で簡単に説明しておく。初めに、輝度変化を利用する方法について、図３および図４を用いて説明する。
【００１４】
図３は、輝度変化を利用してレーンマーカを認識する処理手順を示す一実施の形態のフローチャートである。図４（ａ）〜（ｅ）は、図３に示すフローチャートによる処理を説明するための図である。以下、図３に示すフローチャートのステップＳ１００から順に説明する。
【００１５】
ステップＳ１００では、レーンマーカ認識処理に用いる各パラメータを初期化してステップＳ１０１に進む。ステップＳ１０１では、ＣＣＤカメラ１を用いて、車両前方の画像を取得する。取得した画像を図４（ａ）に示す。図４（ａ）に示すように、撮影された画像には通常、路面上の白線７以外にガードレール１０等が表示されている。一般に、路面はアスファルトで舗装されていることが多く、この場合の路面は黒色となる。従って、白線と路面との間で輝度差が存在するので、この輝度差を利用して白線を認識する。
【００１６】
次のステップＳ１０２では、ステップＳ１０１で取得した画像から、輝度変化の大きい部分を抽出することにより、輝度変化イメージを作成する。図４（ａ）に示す画像に基づいて作成した輝度変化イメージを図４（ｂ）に示す。輝度変化イメージを作成すると、ステップＳ１０３に進む。ステップＳ１０３では、ステップＳ１０２で作成した輝度変化イメージに対して、白線が存在すると推測される部分にウインドウを設定する。図４（ｂ）に示す輝度変化イメージに対して、ウインドウ１１を設定した図を図４（ｃ）に示す。このウインドウ１１は、レーンマーカ認識処理を施す領域を示すものであり、このようにウインドウ１１を設定することにより、撮像画像全体に対して処理を施す必要が無くなるので、処理時間の短縮を図ることができる。
【００１７】
ウインドウ１１を設定するとステップＳ１０４に進む。ステップＳ１０４では、ステップＳ１０３で設定された各ウインドウ１１内において、レーンマーカ候補点を１つ抽出する。レーンマーカ候補点１２を抽出した図を図４（ｄ）に示す。レーンマーカ候補点１２を抽出する方法は様々あるが、ここではウインドウ１１の上辺と、輝度が大きく変化するラインとの交差点をレーンマーカ候補点１２として抽出している。
【００１８】
ステップＳ１０４に続くステップＳ１０５では、ステップＳ１０４で抽出された各ウインドウ１１ごとのレーンマーカ候補点１２を結ぶことにより、レーンマーカを検出する。図４（ｄ）に示すレーンマーカ候補点１２を結ぶことにより認識されるレーンマーカ１３を図４（ｅ）に示す。
【００１９】
次に、パターンマッチングによりレーンマーカを認識する方法について、図５および図６を用いて説明する。図５は、パターンマッチングによりレーンマーカを認識する処理手順を示す一実施の形態のフローチャートである。図６（ａ）〜（ｅ）は、図５に示すフローチャートによる処理を説明するための図である。以下、図５に示すフローチャートのステップＳ２００から順に説明する。
【００２０】
ステップＳ２００では、レーンマーカ認識処理に用いる各パラメータを初期化してステップＳ２０１に進む。ステップＳ２０１では、ＣＣＤカメラ１を用いて、車両前方の画像を取得する。取得した画像を図６（ａ）に示す。図６（ａ）には、複数のBotts Dots８が表示されている。次のステップＳ２０２では、ステップＳ２０１で取得した画像に対して、パターンマッチング処理を行う領域として、ウインドウを設定する。図６（ａ）に示す画像に対してウインドウ１４を設定した図を図６（ｂ）に示す。ウインドウ１４を設定するとステップＳ２０３に進む。
【００２１】
ステップＳ２０３では、ステップＳ２０２で設定したウインドウ１４の中の領域において、予め用意したBotts Dots８のテンプレートとの相関を求める。ステップＳ２０３に続くステップＳ２０４では、ステップＳ２０３で求めたBotts Dots８のテンプレートとの相関に基づいて、相関の高い領域をBotts Dots８として抽出する。図６（ｂ）に示すウインドウ１４内で抽出されたBotts Dots８を図６（ｃ）に示す。Botts Dots８を抽出するとステップＳ２０５に進む。
【００２２】
ステップＳ２０５では、ステップＳ２０４で抽出したBotts Dots８からレーンマーカ候補点を抽出する。レーンマーカ候補点１５を抽出した図を図６（ｄ）に示す。レーンマーカ候補点１５を抽出する方法は様々あるが、ここでは抽出したBotts Dots８において、画面中央側のある１点をレーンマーカ候補点１５として抽出する。ステップＳ２０５に続くステップＳ２０６では、ステップＳ２０５で抽出した複数のレーンマーカ候補点１５を結ぶことにより、レーンマーカを検出する。図６（ｄ）に示すレーンマーカ候補点１５を結ぶことにより認識されるレーンマーカ１６を図６（ｅ）に示す。
【００２３】
上述したように、Botts Dotsとアスファルト路面との間のコントラストは小さいので、輝度変化を利用した方法によりBotts Dotsを検出するのは、困難である。また、パターンマッチングにより白線を検出する場合には、破線、二重線などの様々なテンプレートを用意する必要がある。この場合、現存する全ての白線パターンのテンプレートを用意しても、新たなパターンの白線が登場する可能性もある。従って、パターンマッチング処理は、白線を検出する方法としてはあまり適していないといえる。
【００２４】
従って、白線およびBotts Dotsの双方を精度よく認識するためには、輝度変化を利用する方法とパターンマッチング処理を利用する方法とを適正に選択する必要がある。本発明によるレーンマーカ認識装置は、レーザレーダ２を用いてレーンマーカの種別を判断し、判断したレーンマーカの種類に基づいて、輝度変化を利用する方法とパターンマッチング処理を利用する方法とを適正に選択する。
【００２５】
本発明によるレーンマーカ認識装置により行われるレーンマーカ認識処理について説明する前に、図２（ａ）〜（ｆ）に示すレーンマーカに対して、レーザレーダ２からレーザ光を出射した場合に、レーザ光がレーンマーカで反射した時の受光量について図７（ａ）〜（ｆ）を用いて説明する。図７（ａ）〜（ｆ）において、横軸はレーザレーダ２からの距離であり、縦軸は反射したレーザ光の受光量である。
【００２６】
図７（ａ）は、図２（ａ）に示す白線のみから構成されるレーンマーカに対する結果である。白線はアスファルトよりも光を反射しやすく、また、円盤形状のBotts Dots等と異なり奥行きがあるので、レーザ光が照射されているエリア全体から反射光が得られる。従って、反射受光量は、ある位置でピークになって、その後少しずつ減少していく波形を示す。
【００２７】
図７（ｂ）は、図２（ｂ）に示すBotts Dotsのみから構成されるレーンマーカに対する結果である。Botts Dotsからの反射受光量とアスファルトからの反射受光量とはあまり差がないので、図７（ｂ）に示すように、反射受光量にはピークが現れない。
【００２８】
図７（ｃ）は、図２（ｃ）に示すキャッツアイのみから構成されるレーンマーカに対する結果である。キャッツアイは、光を入射してきた方向に反射させる特性を有するので、キャッツアイからは非常に強い反射光が得られる。また、図２（ｃ）に示すように、キャッツアイは通常、四角形であり白線のような奥行きがない。従って、反射受光量は、非常に大きいピークを有し、図７（ｃ）に示すように、急峻な波形となる。
【００２９】
図７（ｄ）は、図２（ｄ）に示す白線とキャッツアイから構成されるレーンマーカに対する結果である。この場合、白線の反射特性とキャッツアイの反射特性の双方を備えた反射特性を有する。すなわち、反射受光量は非常に大きなピークを有し、その後少しずつ減少していく波形を示す。
【００３０】
図７（ｅ）は、図２（ｅ）に示すBotts Dotsとキャッツアイから構成されるレーンマーカに対する結果である。この場合、Botts Dotsの反射特性とキャッツアイの反射特性の双方を備えた反射特性を有する。上述したように、Botts Dotsからの反射受光量は少ないので、反射受光量特性は、キャッツアイのみから構成されるレーンマーカの反射受光量特性（図７（ｃ））と同じような波形を示す。
【００３１】
図７（ｆ）は、図２（ｆ）に示す白線とBotts Dotsから構成されるレーンマーカに対する結果である。この場合、白線の反射特性とBotts Dotsの反射特性の双方を備えた反射特性を有するが、Botts Dotsからの反射受光量は少ないので、白線の反射特性が支配的となる。従って、反射受光量特性は、図７（ａ）に示す白線のみから構成されるレーンマーカに対する反射受光量特性と同じような波形を示す。
【００３２】
本実施の形態におけるレーンマーカ認識装置では、レーンマーカに白線が含まれている場合、すなわち、図２（ａ），（ｄ），（ｆ）に示すレーンマーカの場合には、輝度変化を利用する方法を用いてレーンマーカの認識処理を行う。図７を参照して、以下の▲１▼，▲２▼の場合に、レーンマーカに白線が含まれていると判断する。
▲１▼反射波形のピークが、第１のしきい値Ｔh1と第２のしきい値Ｔh2との間にある場合
▲２▼反射波形のピークが第２のしきい値Ｔh2を越えており、かつ、波形が非対称の場合
【００３３】
上記▲１▼に該当するのは、図２（ａ）と図２（ｆ）に示すレーンマーカの場合である。白線からの反射受光量は、キャッツアイからの反射受光量よりも少ないので、反射受光量のピーク値と２つのしきい値Ｔh1，Ｔh2とに基づいて、図２（ａ）と図２（ｆ）に示すレーンマーカを検出する。上記▲２▼に該当するのは、図２（ｄ）に示すレーンマーカの場合である。レーンマーカにキャッツアイが含まれている場合には、反射受光量のピーク値が第２のしきい値Ｔh2よりも大きくなる。しかし、白線が含まれている場合には、反射受光量の波形が図７（ｃ），（ｅ）に示す場合と異なり、対称とならないので、図２（ｄ）に示すレーンマーカと図２（ｃ），（ｅ）に示すレーンマーカとを区別することができる。
【００３４】
レーザレーダ２で受光される反射光の中には、レーンマーカからの反射光以外に、自車両の周囲の車両や、路側にある看板などからの反射光が含まれている。
従って、レーンマーカからの反射光と、レーンマーカ以外からの反射光とを区別する必要がある。この区別の方法を図８（ａ），（ｂ）を用いて説明する。
【００３５】
図８（ａ）は、レーザレーダ２からレーザ光を出射する様子を車両２０の側面から見た図、図８（ｂ）は、レーザレーダ２からレーザ光を出射する様子を車両２０の上面から見た図である。レーンマーカからの反射光を得るためには、レーザレーダ２から出射されたレーザ光が路面に到達していることが必要である。図８（ａ）に示すように、レーザレーダ２は、地上からＨsの高さの位置に取り付けられており、出射されるレーザ光の光軸Ｌ１は路面と水平であるとする。レーザ光の光軸Ｌ１と、上下方向に広がりのあるレーザ光の下端との角度をθvとすると、レーザ光の下端が路面に到達する距離Ｄgは、次式（１）にて表せる。
Ｄg＝Ｈs／tanθv …（１）
【００３６】
従って、レーンマーカの種別判定を行うのは、式（１）で算出される距離Ｄg以遠である必要がある。例えば、Ｈs＝0.35(m)、角度θv＝1.5(deg)の場合には、距離Ｄgは13.4(m)となる。
【００３７】
レーザレーダ２は、広い検知エリアを確保するために、車両の左右方向にスキャンを行っている。レーザレーダ２とレーンマーカとの横方向の距離をＷ、レーザ光軸Ｌ１と車体軸Ｌ２との水平方向角度をθh、レーザ光の左右方向のビーム幅をθwとすると、レーザ光がレーンマーカに当たる距離の下限値Ｄn、上限値Ｄfは、それぞれ次式（２），（３）にて表せる。
Ｄn＝Ｗ／tan(θh＋θw／２) …（２）
Ｄf＝Ｗ／tan(θh−θw／２) …（３）
【００３８】
例えば、Ｗ＝1.8(m)、角度θh＝５(deg)、θw＝１(deg)の場合には、Ｄn＝18.7(m)、Ｄf＝22.9(m)となる。ここで、レーザ光がレーンマーカに当たる距離の下限値Ｄnは、式（１）で算出される距離Ｄgよりも大きくする必要がある。従って、距離Ｄgを考慮して、レーザレーダ２とレーンマーカとの横方向の距離Ｗに基づいて、レーザ光のスキャン角度θhを決定して、式（２），（３）より距離Ｄn，Ｄfを算出する。この場合、レーザ光のスキャン角度がθhの時に、式（２），（３）から算出される距離Ｄnから距離Ｄfまでの間に現れる反射受光量の波形に基づいて、レーンマーカの種別判定を行う。すなわち、距離Ｄn以下の位置に現れる反射受光量の波形や、距離Ｄf以上の位置に現れる反射受光量の波形は無視することができる。
【００３９】
図９は、本実施の形態におけるレーンマーカ認識装置により行われるレーンマーカ認識処理の手順を示すフローチャートである。この処理は、レーンマーカ認識処理装置３により行われる。ステップＳ３００では、レーンマーカ認識処理に用いられるパラメータを初期化して、ステップＳ３０１に進む。レーンマーカ認識処理の開始時には、レーザレーダ２とレーンマーカとの横方向の距離Ｗが分からないので、レーンマーカからの反射光を検出するために必要な距離ＤnおよびＤfを算出することができない。従って、ステップＳ３０１では、輝度変化を利用したレーンマーカ認識処理を行う。
【００４０】
ステップＳ３０１に続くステップＳ３０２では、ステップＳ３０１で行ったレーンマーカ認識処理により、レーンマーカを認識することができたか否かを判定する。レーンマーカを認識することができたと判定するとステップＳ３０６に進み、認識することができなかったと判定するとステップＳ３０４に進む。ステップＳ３０４では、パターンマッチングによる認識処理を行う。次のステップＳ３０５では、ステップＳ３０４で行ったパターンマッチングによる認識処理により、レーンマーカを認識することができたか否かを判定する。レーンマーカを認識することができたと判定するとステップＳ３０６に進み、認識することができなかったと判定するとステップＳ３００に戻って、再度レーンマーカ認識処理を行う。
【００４１】
ステップＳ３０６では、ステップＳ３０１またはステップＳ３０４で行った認識処理結果に基づいて、レーザレーダ２とレーンマーカとの横方向の距離Ｗを算出する。距離Ｗを算出するとステップＳ３０７に進む。ステップＳ３０７では、ステップＳ３０６で算出した距離Ｗに基づいて、レーンマーカからの反射波形を評価するために必要なスキャン角度θh、および、距離Ｄn，Ｄfを決定する。スキャン角度θh、距離Ｄn，Ｄfを決定すると、ステップＳ３０８に進む。
【００４２】
ステップＳ３０８では、スキャン角度θhの時の反射受光量の波形を取得して、ステップＳ３０９に進む。ステップＳ３０９では、ステップＳ３０８で取得した反射受光量のうち、距離Ｄn〜Ｄfの位置にある反射受光量の波形のピーク値が第１のしきい値Ｔh1以下であるか否かを判定する。反射受光量の波形のピーク値が第１のしきい値Ｔh1以下であると判定するとステップＳ３１０に進み、第１のしきい値Ｔh1より大きいと判定すると、ステップＳ３１１に進む。ステップＳ３１１では、反射受光量の波形のピーク値が第２のしきい値Ｔh2以上であるか否かを判定する。反射受光量の波形のピーク値が第２のしきい値Ｔh2以上であると判定するとステップＳ３１２に進み、第２のしきい値Ｔh2より小さいと判定すると、ステップＳ３１３に進む。
【００４３】
ステップＳ３１２では、ステップＳ３０８で取得した反射受光量の波形が対称であるか否かを判定する。反射受光量の波形が対称であると判定するとステップＳ３１０に進み、対称ではないと判定するとステップＳ３１３に進む。ステップＳ３１３では、上記▲１▼の条件の場合、すなわち、反射波形のピーク値が、第１のしきい値Ｔh1と第２のしきい値Ｔh2との間にある場合、または、条件▲２▼の場合、すなわち、反射波形のピーク値が第２のしきい値Ｔh2を越えており、かつ、波形が非対称の場合であるので、輝度変化を利用したレーンマーカ認識処理を行う。レーンマーカ認識処理を行うとステップＳ３１４に進む。
【００４４】
一方、ステップＳ３１０では、パターンマッチングによるレーンマーカ認識処理を行う。レーンマーカ認識処理を行うとステップＳ３１４に進む。ステップＳ３１４では、ステップＳ３１０またはステップＳ３１３で行ったレーンマーカ認識処理により、レーンマーカを認識したか否かを判定する。レーンマーカを認識したと判定するとステップＳ３０６に戻って、上述したステップＳ３０６以降の処理を行い、レーンマーカを認識していないと判定するとステップＳ３００に戻る。
【００４５】
本実施の形態におけるレーンマーカ認識装置により行われるレーンマーカ認識処理の内容をまとめておく。最初に輝度変化を利用したレーンマーカ認識処理、または、パターンマッチングによるレーンマーカ認識処理を行い、レーンマーカを認識すると、レーザレーダ２とレーンマーカとの横方向の距離Ｗを算出して、スキャン角度θh、距離Ｄn，Ｄfを決定する（ステップＳ３００〜Ｓ３０７）。その後、決定したスキャン角度θhの時の反射受光量の波形を取得する。距離Ｄn〜Ｄfの位置にある反射受光量の波形のピーク値が第１のしきい値Ｔh1以下であり、かつ、第２のしきい値Ｔh2より小さい場合、または、反射受光量の波形のピーク値が第２のしきい値Ｔh2以上であり、かつ、反射受光量の波形が非対称である場合には、輝度変化を利用したレーンマーカ認識処理を行い、それ以外の場合にはパターンマッチングによるレーンマーカ認識処理を行う（ステップＳ３０９〜Ｓ３１３）。
【００４６】
本実施の形態におけるレーンマーカ認識装置によれば、レーザレーダ２から出射したレーザ光の反射受光量に基づいて、撮像画像の輝度変化によりレーンマーカ認識処理を行う方法と、パターンマッチングによりレーンマーカ認識処理を行う方法とを適切に選択して、レーンマーカ認識処理を行うので、様々な種類のレーンマーカを確実に検出することができる。この場合、輝度変化による認識処理方法とパターンマッチングによる認識処理方法の両方を用いる方法、例えば、画像の輝度変化に基づいてレーンマーカ認識処理を行い、レーンマーカを検出できなかった場合に、パターンマッチングによるレーンマーカ認識処理を行う方法も考えられる。しかし、このような方法では、レーンマーカ認識処理の処理演算量が増加し、レーンマーカの検出速度が低下する。これに対して、本実施の形態におけるレーンマーカ認識装置では、２つのレーンマーカ認識処理方法のうちの一方を適切に選択して認識処理を行うので、少ない演算量で確実にレーンマーカを検出することができる。
【００４７】
２つのレーンマーカ認識処理方法の選択に際し、レーザ光の反射受光量が第１のしきい値Ｔh1以下の場合には、パターンマッチングによるレーンマーカ認識処理を選択するので、Botts Dotsのように反射率の低いレーンマーカを確実に検出することができる。また、レーザ光の反射受光量が第１のしきい値Ｔh1より多く、第２のしきい値Ｔh2未満の場合には、輝度変化によるレーンマーカ認識処理を選択するので、白線を含むレーンマーカを確実に検出することができる。
【００４８】
また、レーザ光の反射受光量が第２のしきい値Ｔh2以上であり、かつ、反射受光量の波形が所定のパターン、すなわち、非対称である場合には、輝度変化によるレーンマーカ認識処理を選択するので、キャッツアイと白線とを含んだレーンマーカを確実に検出することができる。この場合、レーザ光の反射受光量が第２のしきい値Ｔh2以上であり、かつ、反射受光量の波形が対称の場合には、パターンマッチングによるレーンマーカ認識処理を選択するので、白線より反射率の高いキャッツアイのみからなるレーンマーカや、キャッツアイとBotts Dotsからなるレーンマーカを確実に検出することができる。
【００４９】
本実施の形態におけるレーンマーカ認識装置では、輝度変化によるレーンマーカ認識方法、および、パターンマッチングによる認識方法の少なくとも一方の方法を用いてレーンマーカを検出し、検出したレーンマーカとレーザレーダ２との距離Ｗを算出して、距離Ｗに基づいてスキャン角度θhを求めてレーザ光を出射するので、レーンマーカに向けて確実にレーザ光を出射することができる。また、算出した距離Ｗに基づいて、レーザ光のエッジとレーンマーカとが交わる距離Ｄn，Ｄfを算出し、距離ＤnからＤfまでの距離範囲からの反射受光量に基づいて、２つのレーンマーカ認識方法を選択するので、レーンマーカ以外の物体からの反射受光量に基づいてレーンマーカ認識方法を選択するという誤選択を防ぐことができる。
【００５０】
本発明は、上述した一実施の形態に限定されることはない。例えば、上述した一実施の形態では、レーンマーカを構成する要素として、白線、Botts Dots、キャッツアイの３種類を例に挙げたが、これら以外の物によりレーンマーカが構成されている場合にも本実施の形態におけるレーンマーカ認識装置を用いることができる。この場合には、図７（ａ）〜（ｆ）に示すように、予め反射受光量の特性を把握しておき、その特性に応じて、輝度変化による方法またはパターンマッチングによる方法を適切に選択するようにすればよい。
【００５１】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、ＣＣＤカメラ１が撮影手段を、レーンマーカ認識処理装置３が第１のレーンマーカ認識手段、第２のレーンマーカ認識手段、および、選択手段を、レーザレーダ２が信号送出手段および信号受信手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本発明によるレーンマーカ認識装置の一実施の形態の構成を示す図
【図２】図２（ａ）〜（ｆ）は、様々なレーンマーカの種類を示す図
【図３】輝度変化を利用したレーンマーカ認識処理の処理手順を示すフローチャート
【図４】図４（ａ）〜（ｅ）は、輝度変化を利用したレーンマーカ認識処理について説明するための図
【図５】パターンマッチングによるレーンマーカ認識処理の処理手順を示すフローチャート
【図６】図６（ａ）〜（ｅ）は、パターンマッチングによるレーンマーカ認識処理について説明するための図
【図７】図７（ａ）〜（ｆ）は、図２（ａ）〜（ｆ）に示すレーンマーカにレーザ光を照射した時の反射受光量を示す図
【図８】図８（ａ）は、レーザレーダからレーザ光を出射する様子を車両側面から見た図、図８（ｂ）は、車両上面から見た図
【図９】本実施の形態におけるレーンマーカ認識装置により行われるレーンマーカ認識処理の手順を示すフローチャート
【符号の説明】
１…ＣＣＤカメラ、２…レーザレーダ、３…レーンマーカ認識処理装置、４…自動操舵制御ユニット、５…操舵アクチュエータ、６…車速センサ、７…白線、８…Botts Dots、９…キャッツアイ、１０…ガードレール、１１，１４…ウインドウ、１２，１５…レーンマーカ候補点、１３，１６…検出レーンマーカ、２０…車両、Ｌ１…レーザ光の光軸、Ｌ２…車軸
Claims (6)
- 車両に搭載されて車両前方を撮影する撮像手段と、
前記撮像手段により撮像された画像の輝度変化に基づいて、レーンマーカ認識処理を行う第１のレーンマーカ認識手段と、
前記撮像手段により撮像された画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第２のレーンマーカ認識手段と、
車両前方に光信号を送出する信号送出手段と、
前記信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、
前記信号受信手段により受信した反射信号の受信量に基づいて、前記第１のレーンマーカ認識手段および前記第２のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることを特徴とするレーンマーカ認識装置。 - 請求項１に記載のレーンマーカ認識装置において、
前記選択手段は、前記反射信号の受信量が第１の受信量以下の場合には、前記第２のレーンマーカ認識手段を選択することを特徴とするレーンマーカ認識装置。 - 請求項１または２に記載のレーンマーカ認識装置において、
前記選択手段は、前記反射信号の受信量が第１の受信量より多く、かつ、第２の受信量未満の場合には、前記第１のレーンマーカ認識手段を選択することを特徴とするレーンマーカ認識装置。 - 請求項１〜３のいずれかに記載のレーンマーカ認識装置において、
前記選択手段は、前記反射信号の受信量が第２の受信量以上であり、かつ、前記反射信号の受信量のパターンが所定のパターンである場合には、前記第１のレーンマーカ認識手段を選択し、前記反射信号の受信量が第２の受信量以上であり、かつ、前記反射信号の受信量のパターンが前記所定のパターンでない場合には、前記第２のレーンマーカ認識手段を選択することを特徴とするレーンマーカ認識装置。 - 請求項１〜４のいずれかに記載のレーンマーカ認識装置において、
前記第１のレーンマーカ認識手段および前記第２のレーンマーカ認識手段の少なくとも一方によりレーンマーカを検出し、検出結果に基づいて前記検出したレーンマーカと前記信号送出手段との距離を検出する距離検出手段をさらに備え、前記信号送出手段は、前記距離検出手段により検出されたレーンマーカからの距離に基づいて定められる方向に前記光信号を送出することを特徴とするレーンマーカ認識装置。 - 請求項５に記載のレーンマーカ認識装置において、
前記選択手段は、前記信号受信手段により受信した反射信号のうち、前記距離検出手段により検出されたレーンマーカと前記信号送出手段との距離に基づいて定められる距離範囲からの反射信号の受信量に基づいて、前記第１のレーンマーカ認識手段および前記第２のレーンマーカ認識手段のうちのいずれか一方を選択することを特徴とするレーンマーカ認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002303270A JP3997885B2 (ja) | 2002-10-17 | 2002-10-17 | レーンマーカ認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002303270A JP3997885B2 (ja) | 2002-10-17 | 2002-10-17 | レーンマーカ認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004139338A JP2004139338A (ja) | 2004-05-13 |
| JP3997885B2 true JP3997885B2 (ja) | 2007-10-24 |
Family
ID=32451108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002303270A Expired - Fee Related JP3997885B2 (ja) | 2002-10-17 | 2002-10-17 | レーンマーカ認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3997885B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110843673A (zh) * | 2019-11-20 | 2020-02-28 | 斑马网络技术有限公司 | 车载防眩晕视图形成方法、生成装置及防眩晕装置 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100370226C (zh) * | 2004-07-23 | 2008-02-20 | 东北大学 | 人工路标视觉导航方法 |
| JP4365350B2 (ja) | 2005-06-27 | 2009-11-18 | 本田技研工業株式会社 | 車両及び車線認識装置 |
| DE102005044979A1 (de) * | 2005-09-20 | 2007-03-22 | Adc Automotive Distance Control Systems Gmbh | Verfahren zur Erkennung von Fahrspurmarkierungen |
| JP4821348B2 (ja) * | 2006-02-07 | 2011-11-24 | トヨタ自動車株式会社 | 道路区間線検出装置及び方法並びにプログラム |
| JP4769594B2 (ja) * | 2006-02-20 | 2011-09-07 | トヨタ自動車株式会社 | 道路区間線検出装置及び方法並びにプログラム |
| JP4735530B2 (ja) * | 2006-12-21 | 2011-07-27 | トヨタ自動車株式会社 | 道路区画線認識装置 |
| JP5027748B2 (ja) * | 2008-07-18 | 2012-09-19 | 本田技研工業株式会社 | 車両の走行安全装置 |
| JP5267588B2 (ja) | 2010-03-26 | 2013-08-21 | 株式会社デンソー | 区画線検出装置および区画線検出方法 |
| JP5677900B2 (ja) * | 2011-06-29 | 2015-02-25 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
| DE102011109569A1 (de) * | 2011-08-05 | 2013-02-07 | Conti Temic Microelectronic Gmbh | Verfahren zur Fahrspurerkennung mittels einer Kamera |
| US20130253753A1 (en) * | 2012-03-23 | 2013-09-26 | Google Inc. | Detecting lane markings |
| US8755967B1 (en) | 2012-03-23 | 2014-06-17 | Google Inc. | Estimating road lane geometry using lane marker observations |
| US10246030B2 (en) | 2012-08-09 | 2019-04-02 | Toyota Jidosha Kabushiki Kaisha | Object detection apparatus and driving assistance apparatus |
| KR101694347B1 (ko) | 2015-08-31 | 2017-01-09 | 현대자동차주식회사 | 차량 및 차선인지방법 |
| US20180211119A1 (en) * | 2017-01-23 | 2018-07-26 | Ford Global Technologies, Llc | Sign Recognition for Autonomous Vehicles |
| JP2023046108A (ja) | 2021-09-22 | 2023-04-03 | 株式会社Subaru | 車両の運転支援装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3288566B2 (ja) * | 1994-11-10 | 2002-06-04 | 株式会社豊田中央研究所 | 走行レーン認識装置 |
| JP3151372B2 (ja) * | 1995-04-19 | 2001-04-03 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | 移動物体速度検出装置及び方法 |
| JPH09207809A (ja) * | 1996-02-06 | 1997-08-12 | Mitsubishi Electric Corp | 車両の自動走行装置 |
| JPH1011585A (ja) * | 1996-06-20 | 1998-01-16 | Toyota Motor Corp | 物体検出装置 |
| JPH1031799A (ja) * | 1996-07-15 | 1998-02-03 | Toyota Motor Corp | 自動走行制御装置 |
| JP2000338225A (ja) * | 1999-05-26 | 2000-12-08 | Toyota Motor Corp | 物体検出装置及び物体検出システム |
| JP4327389B2 (ja) * | 2001-10-17 | 2009-09-09 | 株式会社日立製作所 | 走行レーン認識装置 |
-
2002
- 2002-10-17 JP JP2002303270A patent/JP3997885B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110843673A (zh) * | 2019-11-20 | 2020-02-28 | 斑马网络技术有限公司 | 车载防眩晕视图形成方法、生成装置及防眩晕装置 |
| CN110843673B (zh) * | 2019-11-20 | 2021-05-18 | 斑马网络技术有限公司 | 车载防眩晕视图形成方法、生成装置及防眩晕装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004139338A (ja) | 2004-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3997885B2 (ja) | レーンマーカ認識装置 | |
| JP4659631B2 (ja) | 車線認識装置 | |
| TWI417207B (zh) | Image - based obstacle detection reversing warning system and method | |
| US9713983B2 (en) | Lane boundary line recognition apparatus and program for recognizing lane boundary line on roadway | |
| JP6471528B2 (ja) | 物体認識装置、物体認識方法 | |
| US7049945B2 (en) | Vehicular blind spot identification and monitoring system | |
| Lindner et al. | Multi-channel lidar processing for lane detection and estimation | |
| US6911642B2 (en) | Object presence detection method and device | |
| US9248777B2 (en) | Automatic signaling system for vehicles | |
| JP3393192B2 (ja) | 物体検出装置を持つ車両 | |
| JP3822515B2 (ja) | 障害物検知装置及びその方法 | |
| JP4568637B2 (ja) | 道路認識装置 | |
| WO2019140792A1 (zh) | 一种探测设备及其参数调整方法 | |
| KR910003532B1 (ko) | 시각센서시스템 | |
| JP2001134769A (ja) | 対象物認識装置 | |
| US20120163671A1 (en) | Context-aware method and apparatus based on fusion of data of image sensor and distance sensor | |
| KR20130051681A (ko) | 노면 표식물 인식 시스템 및 방법 | |
| JPH08313632A (ja) | 警報発生装置および方法，ならびにこの警報発生装置を搭載した車両 | |
| KR101180621B1 (ko) | 차량 검출 방법 및 장치 | |
| JP2001134771A (ja) | 対象物認識装置 | |
| JP2007114831A (ja) | 物体検出装置 | |
| JP2007264712A (ja) | 車線検出装置 | |
| JP2001195698A (ja) | 歩行者検知装置 | |
| JP4321142B2 (ja) | 標識認識装置 | |
| JP2005202787A (ja) | 車両用表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070730 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |