JP3854143B2 - 車線境界検出装置 - Google Patents
車線境界検出装置 Download PDFInfo
- Publication number
- JP3854143B2 JP3854143B2 JP2001385262A JP2001385262A JP3854143B2 JP 3854143 B2 JP3854143 B2 JP 3854143B2 JP 2001385262 A JP2001385262 A JP 2001385262A JP 2001385262 A JP2001385262 A JP 2001385262A JP 3854143 B2 JP3854143 B2 JP 3854143B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- contour
- contour information
- white line
- lane boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は撮像装置にて得た画像データから区画線の車線境界位置を検出する車線境界検出装置に関するものである。
【０００２】
【従来の技術】
従来、自動車等の移動体の走行を制御する装置に、走路形状を認識して操舵制御も自動的に行う自動運転装置がある。この自動運転を実現するためには、走路を認識する必要があり、画像処理により走路、例えば区画線により車線境界位置を検出する検出装置が必要となる。この種の検出装置として、例えば特開昭６３−１４２４７８号公報、特開平６−２０１８９号公報、特開平６−１１９５９４号公報に記載されたものが知られている。
【０００３】
これら検出装置は、白線は道路面より明るいという特性を利用するものであり、撮影した画像の中から、画像データに微分等の処理を施して高輝度部分の輪郭データを抽出する。その後、道路に沿った方向に延びる輪郭データの内、所定間隔（例えば設計基準値）に対応する間隔のデータを白線の輪郭と見なすという手法をとっていた。
【０００４】
【発明が解決しようとする課題】
ところで、区画線は、走路の状態により形状が異なっている。図１０（ａ）〜（ｄ）はその例を示す図である。図１０（ａ）に示すように、一般的な区間には、一方（左側）に実線の区画線６１が設けられ、他方（右側）に破線の区画線６２が設けられている。これに対し、図１０（ｂ）に示すように、高速道路等の入口、出口、分岐点、登坂車線等の区間には、一方（左側）に設けられた破線の区画線６３は、他方（右側）の区画線６２に比べて幅広く形成されている。この場合、従来の手法では、図１０（ｂ）の区画線６３を認識できないことがある。
【０００５】
また、図１０（ｃ）に示すように、カーブ等の注意喚起が必要な区間には、実線又は破線の左右一方又は左右両側に幅広な破線よりなる標示を併設した区画線（複合白線と呼ぶ）６４，６５が設けられている。また、対向車線区間には、複数の実線を併設した区画線（多重白線と呼ぶ）６６が設けられている。これらの場合、区画線の輪郭を安定して検出することができないことがある。それは、以下の理由による。
【０００６】
・撮像装置には広角レンズを用いているため、複合白線６４，６５や多重白線６６が画面の周辺部に映るとき、小さく縮退しているために、白線と白線の隙間が見えたり見えなかったりする。また、白線自体の汚れや剥がれにより、それらの隙間が見えたり見えなかったりする。
【０００７】
・カメラの露出不適正により白線部分が飽和して隙間が見えない。例えば、画面内に自車影が大きな面積を占めているとき、白線部は露出オーバーとなり、境界位置を判別することが難しく、隙間が判別しにくくなる。
【０００８】
・現実の白線が汚れ／剥がれ等により薄くなってコントラストが低下しているため、隙間が判別困難である。
これら要因により、隙間の見え方が常に一定ではないため区画線の輪郭が安定せず、車線境界位置を安定に検出することができないという問題があった。
【０００９】
本発明の目的は、車線境界を安定に検出することのできる車線境界検出装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に記載の発明は、撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報と前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報の合計値を、それぞれ対応する画素毎に実施し、その実施結果を前記白線群の最外輪郭情報とする輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定するようにした。
【００１１】
請求項２に記載の発明は、撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報、及び前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報の排他的論理和演算結果を生成し、前記第一の輪郭線情報においてこの演算結果の集合の補集合を抽出することで前記白線群の最外輪郭情報を抽出する輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定するようにした。
【００１２】
請求項３に記載の発明は、撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報、及び前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を論理積演算して前記白線群の最外輪郭情報を抽出する輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定するようにした。
【００１４】
請求項４に記載の発明のように、前記輪郭抽出手段は、前記第一の輪郭線情報とノイズレベル以上に設定された第一のしきい値を比較してノイズレベル以上の振幅を有する成分を抽出した第一のエッジ情報を生成するものである。
請求項５に記載の発明のように、前記白線群は、複合白線または多重白線である。
【００１５】
（作用）
各請求項に記載の発明によれば、濃度変化に対する感度が高く設定されることで一方には白線間の隙間に対応するエッジの情報が含まれ、他方にはそれが含まれないので、その隙間に対応するエッジの情報の削除が容易になる。
【００１６】
また、第一及び第二の輪郭情報検出手段はそれぞれ感度に応じてサイズが異なるオペレータにより同一の画像データから第一及び第二の輪郭線情報が抽出される。従って、白線間の隙間に対応するエッジの情報を含まない輪郭線情報の抽出が容易になる。
【００２０】
【発明の実施の形態】
（第１実施形態）
以下、本発明を具体化した第１実施形態を図１〜図５に従って説明する。
【００２１】
図１は、車線境界検出装置１０の概略構成を示すブロック図である。
車線境界検出装置１０は移動体上に設置され、該移動体が走行する走路を撮影した画像を処理してレーン境界位置（車線境界位置）を判断する。
【００２２】
車線境界検出装置（以下、検出装置）１０は、撮像部１１、Ａ／Ｄ変換器１２、フレームバッファ(Frame Buffer)部１３、輪郭情報検出手段としての第一エッジ検出部１４及び第二エッジ検出部１５、最外輪郭抽出手段としての最外輪郭抽出部１６、オフセット設定部１７、レーン境界設定部１８、出力部１９を備える。検出装置１０は例えばＣＰＵよりなる制御部２０に接続され、該制御部２０は上記の各部１１〜１９を制御する。
【００２３】
撮像部１１は、道路を撮影した画像データを出力する。Ａ／Ｄ変換器１２は、撮像部１１から入力される画像データをアナログ−デジタル変換し、その変換データを出力する。フレームバッファ部１３は、Ａ／Ｄ変換器１２の出力信号を原画像データとして記憶する。
【００２４】
第一エッジ検出部１４は、フレームバッファ部１３に記憶された原画像データに対して第一のエッジ検出処理を施して輪郭線（エッジ）の情報を含む第一の輪郭線情報を抽出する。第一のエッジ検出処理は、第一のオペレータを原画像データに作用させ、該原画像データから第一の輪郭線情報（微分画像データ）を抽出する処理である。
【００２５】
第二エッジ検出部１５は、フレームバッファ部１３に記憶された原画像データに対して第二のエッジ検出処理を施して輪郭線（エッジ）の情報を含む第二の輪郭線情報を抽出する。第二のエッジ検出処理は、第二のオペレータを原画像データに作用させ、該原画像データから第二の輪郭線情報（微分画像データ）を抽出する処理である。
【００２６】
第一のオペレータは、第二のオペレータに比べてマトリクスサイズの小さなものが使用される。例えば、第二のオペレータには図３に示す１次元オペレータ２１を用い、第二のオペレータには１次元オペレータ２２を用いる。図４には、第一のオペレータ２１と第二のオペレータ２２の各要素の値を示す。
【００２７】
第一及び第二エッジ検出部１４，１５は、それぞれ使用する第一，第二のオペレータ２１，２２により各画素における第一及び第二の輪郭線情報を得る。例えば、第一エッジ検出部１４は、第一のオペレータ２１を使用し、着目する画素の前後（走査方向における前後）の画素の濃度値の差を算出し、その算出値を着目する画素における輪郭線情報とする。尚、図４に示すようにオペレータの要素値を設定した場合、第一エッジ検出部１４は、前後の画素の濃度値にマトリックス要素の値を乗算し、両画素の演算結果を合計して第一の輪郭線情報を得る。
【００２８】
第二エッジ検出部１５は、第二のオペレータ２２を使用し、着目する画素の前２画素の濃度値の平均値と後２画素の濃度値の平均値との差を算出し、その算出値を着目する画素における輪郭線情報とする。尚、図４に示すようにオペレータの要素値を設定した場合、第二エッジ検出部１５は第一エッジ検出部１４と同様に各画素の演算結果を合計して輪郭線情報を得る。
【００２９】
第一のオペレータ２１と第二のオペレータ２２のサイズは、白線群に含まれる隙間に基づいて、予め実験等の結果に基づいて設定される。詳しくは、第一のオペレータ２１と第二のオペレータ２２は、第一及び第二の輪郭線情報の強度に差が生じるように設定される。具体的には、第一のオペレータ２１は、着目する画素の両側それぞれのマトリックス要素のサイズが白線の隙間よりも小さく設定され、第二のオペレータ２２は、それのサイズが白線の隙間よりも大きく設定される。
【００３０】
図５及び図６の（ａ）原画像は、原画像データにおける一つの走査線に沿った画素の濃度値を表す波形である。尚、説明を解りやすくするために、濃度値を２値（０，１）とする。
【００３１】
この（ａ）原画像は、白線の隙間が１画素分（図の上部中央にて丸で囲む部分）である。この隙間に対して、図５に示す第一のオペレータ２１は、着目する画素に対応する要素ｂと、その両側にそれぞれ１画素分の要素ａ，ｃを持つ。この第一のオペレータ２１を（ｂ）に示す各位置に移動させて得た第一の輪郭線情報（微分出力）を（ｃ）に示す。白線の隙間に対応するエッジの近傍では、その微分出力が「０，−１，０，１，０」のように得られ、白線のエッジ近傍（図において上部右側の丸で囲む部分）では「−１，−１，０」のように得られる。このように、第一の輪郭線情報は、エッジの位置に関わらず同様な振幅（強度）を持つ。
【００３２】
これに対して、図６に示す第二のオペレータ２２は、着目する画素に対応する要素ｃと、その両側にそれぞれ２画素分の要素ａ，ｂと要素ｄ，ｅを持つ。この第二のオペレータ２２を（ｂ）に示す各位置に移動させて得た第一の輪郭線情報（微分出力）を（ｃ）に示す。白線の隙間に対応するエッジの近傍では、その微分出力が「-0.5，-0.5，０， 0.5， 0.5，０，０」のように得られ、白線のエッジ近傍（図において上部右側の丸で囲む部分）では「−１，−１，-0.5」のように得られる。このように、第二の輪郭線情報は、エッジの位置に応じた振幅（強度）を持つ。
【００３３】
上記のように、第一の輪郭線情報は、エッジ近傍における微分出力の変化率が、第二の輪郭線情報に比べて大きい。換言すれば、第一のオペレータ２１は、原画像データの空間的な濃度変化に対して微分出力（第一の輪郭線情報）の振幅、即ち感度が、第二のオペレータ２２と比べて高くなるようにそのサイズが設定されている。即ち、第一エッジ検出部１４は、原画像データの空間的な濃度変化に対する感度が比較的高く設定され、第二エッジ検出部１５は、濃度変化に対する感度が比較的低く設定されているといえる。そして、車線境界検出装置１０は、サイズの異なる第一，第二のオペレータ２１，２２を使用することで、白線の間隔（隙間）に応じた強度を有する第一及び第二の輪郭線情報（微分画像データ）を得る。
【００３４】
尚、第一のオペレータに図３の２次元オペレータ２３を用い、第二のオペレータに２次元オペレータ２４を用いても良い（図４にその２次元オペレータの各要素の値を示す）。
【００３５】
最外輪郭抽出部（以下、抽出部）１６は、第一の輪郭線情報と第二の輪郭線情報とを照合し、白線、白線群の最も外側の輪郭の位置情報を求める。白線群は複数（複数種類）の白線にて構成され、図１０（ｃ）の複合白線６４，６５、図１０（ｄ）に示す多重白線６６を含む。
【００３６】
抽出部１６は、第一エッジ検出部１４の出力（第一の輪郭線情報）と第二エッジ検出部１５の出力（第二の輪郭線情報）とを照合し、複数の白線が接近しているときに、最も外側の輪郭線である最外輪郭情報を抽出する。
【００３７】
詳しくは、抽出部１６は、第一の輪郭線情報とノイズレベル以上に設定した第一のしきい値を比較し、ノイズレベル以上の振幅を有する成分だけを抽出した第一のエッジ情報を生成する。
【００３８】
また、抽出部１６は、第二の輪郭線情報から第二のしきい値以上の振幅を有する成分だけを抽出した第二のエッジ情報を生成する。第二のしきい値は、白線の隙間に対応するエッジを抽出しないように、予め実験等の結果により設定されている。例えば、図６（ｃ）の微分出力の場合、０．５より大きな値がしきい値に設定される。
【００３９】
そして、抽出部１６は、第一のエッジ情報と、第二のエッジ情報を合成処理して最外輪郭情報を生成する。合成処理は、本実施形態では和処理であり、抽出部１６は第一のエッジ情報と第二のエッジ情報の合計値（微分値の合計値）を、それぞれ対応する画素毎に実施し、その実施結果を最外輪郭情報とする。
【００４０】
第一のエッジ情報は、図５（ｄ）の微分出力として示すように、ノイズレベル以上のデータ（エッジの情報）を含む。第二のエッジ情報は、図６（ｄ）の微分出力として示すように、第二のしきい値以上のレベルを持つエッジの情報を含む。従って、白線群の最外輪郭を形成するエッジの位置における合計値は、第一及び第二のエッジ情報の微分値が合計され、その値は一方のほぼ２倍になる。一方、最外輪郭を形成するエッジ以外の位置における合計値は、一方の微分値と等しくなる。そして、第一のエッジ情報において、複数の白線が接近している場所におけるエッジの微分値は、輪郭部分のエッジの微分値に比べて小さい。従って、白線群の最外輪郭に対応するエッジの微分値と、それ以外のエッジの微分値との差が極めて大きくなる。このため、抽出部１６は、論理積演算を実施することで、確実に輪郭を形成するエッジの情報（最外輪郭情報）を抽出する。
【００４１】
尚、輪郭線情報がその進行方向に沿って破線状に離間している場合、抽出部１６は輪郭線情報をその進行方向に沿って補完し、最大幅の輪郭線情報（白線群の輪郭線情報）のうち、広い幅を持つ２つの輪郭線情報を輪郭位置情報として出力する。
【００４２】
オフセット設定部１７は、レーン境界設定部１８で用いられる最外レーン境界位置からのオフセット値を記憶している。このオフセット値は、制御部２０により予め設定される。
【００４３】
レーン境界設定部１８は、抽出部１６からの輪郭位置情報（輪郭線情報）に基づいて、該輪郭線情報の両エッジの中間位置である第１レーン境界位置データを生成する。また、レーン境界設定部１８は、最外輪郭線情報とオフセット値に基づいて、該輪郭線情報の一方のエッジを他方のエッジへ第１オフセット値だけオフセットした位置である第２レーン境界位置データと、他方のエッジを一方のエッジへ第２オフセット値だけオフセットした位置である第３レーン境界位置データを生成する。そして、レーン境界設定部１８は、生成した第１〜第３レーン境界位置データを出力する。
【００４４】
出力部１９は、制御部２０の指示に従って、レーン境界設定部１８が出力する第１〜第３レーン境界位置データのうちの一つを選択し、その選択データを出力する。この選択データは、警報装置や速度制御装置等のシステム制御コンピュータに送られ、それに基づいて移動体が制御される。
【００４５】
図２は、抽出部１６の構成を示すブロック図である。
抽出部１６は、第一しきい値処理部３１、第二しきい値処理部３２、演算処理部３３を備えている。
【００４６】
第一しきい値処理部３１は、第一エッジ検出部１４の出力（第一の輪郭線情報）とノイズレベル以上に設定した第一のしきい値を比較し、ノイズレベル以上の振幅を有する成分だけを抽出した第一エッジ情報を出力する。
【００４７】
第二しきい値処理部３２は、第二の輪郭線情報から第二のしきい値以上の振幅を有する成分だけを抽出した第二エッジ情報を出力する。
演算処理部３３は、第一のエッジ情報と第二のエッジ情報とを論理合成して最外輪郭情報を生成する。
【００４８】
次に、上記のように構成された車線境界検出装置の作用を図７及び図８を用いて説明する。尚、図７及び図８は各処理における画像データを可視化したものである。
【００４９】
今、図７に示す原画像データ４１がフレームバッファ部１３に記録されている。
第一エッジ検出部１４は、走査線４２に沿って原画像データをフレームバッファ部１３から読出す。そして、第一エッジ検出部１４は、該原画像データに対して第一のオペレータ２１を作用させて第一の輪郭線情報を生成する。
【００５０】
第二エッジ検出部１５は、走査線４２に沿って原画像データをフレームバッファ部１３から読出す。そして、第二エッジ検出部１５は、該原画像データに対して第二のオペレータ２２を作用させて第二の輪郭線情報４３を生成する。この時、白線間の隙間に対応するエッジの情報は、白線の汚れ／剥がれ等により値が場所によって異なるため、図８（ａ）に示すように、現れたり現れなかったりする。
【００５１】
次に、抽出部１６は、第一の輪郭線情報と第二の輪郭線情報を照合し、最も外側の輪郭線である最外輪郭情報４４を抽出する。図８（ｂ）は、抽出された最外輪郭情報（画像）である。
【００５２】
次に、抽出部１６は、輪郭位置情報（図８（ｂ）において左側の白線群によるエッジデータと、左側の白線群によるエッジデータ）を進行方向に沿って補完して図８（ｃ）に実線で示す最外輪郭線情報（輪郭位置情報）４５，４６を生成する。
【００５３】
これら最外輪郭線情報４５，４６に基づき、図１のレーン境界設定部１８は、最外輪郭線情報４５，４６の中間位置を算出し、図８（ｃ）に一点鎖線で示す第１レーン境界位置データ４７，４８を生成する。
【００５４】
尚、図示しないが、レーン境界設定部１８は、図５（ｃ）に示す最外輪郭線情報に基づき、第２及び第３レーン境界位置データを生成する。
以上詳述したように、本実施形態によれば、以下に示す効果が得られる。
【００５５】
（１）本実施形態では、第一エッジ検出部１４は、原画像データの空間的な濃度変化に対して感度が比較的高く設定され第一の輪郭線情報を抽出する。第二エッジ検出部１５は、原画像データの空間的な濃度変化に対して感度が比較的低く設定され第二の輪郭線情報を抽出する。この第一の輪郭線情報は白線間の隙間に対応するエッジの情報を含み、第二の輪郭線情報はそれを含まない。そして、最外輪郭抽出部１６は、第一及び第二の輪郭線情報から白線群の最外輪郭情報を抽出する。その結果、その隙間に対応するエッジの情報の削除が容易であるため、白線群の輪郭（最外輪郭情報）が安定し、車線境界位置を安定して検出することができる。
【００５６】
（２）本実施形態では、第一，第二エッジ検出部１４は、それぞれ感度に応じたサイズを持つ第一，第二のオペレータ２１，２２によりフレームバッファ部１３に格納された原画像データから第一，第二の輪郭線情報を抽出する。その結果、白線間の隙間に対応するエッジの情報を含む第一の輪郭線情報の抽出と、それを含まない第二の輪郭線情報の抽出を容易に行うことができる。
【００５７】
（３）本実施形態では、最外輪郭抽出部１６は、第一の輪郭線情報とノイズレベル以上に設定した第一のしきい値を比較してノイズレベル以上の振幅を有する成分を抽出した第一のエッジ情報と、第二の輪郭線情報から第二のしきい値以上の振幅を有する成分だけを抽出した第二のエッジ情報とを生成する。次に、最外輪郭抽出部１６は、該第一及び第二のエッジ情報を合成処理して最外輪郭情報を抽出する。その結果、第二のしきい値を設定することで、白線の隙間に対応するエッジの情報含まない第二の輪郭線情報を容易に作成でき、白線間の隙間に対応するエッジの情報を含まない輪郭線情報を抽出することができる。
【００５８】
（第２実施形態）
以下、本発明を第２実施形態を図９に従って説明する。なお、説明の便宜上、前記第１実施形態と同様の構成については同一の符号を付してその説明を一部省略する。
【００５９】
図９は、車線境界検出装置５０の概略構成を示すブロック図である。
車線境界検出装置（以下、検出装置）５０は、撮像部１１、第一及び第二Ａ／Ｄ変換器５１，５２、第一及び第二フレームバッファ(Frame Buffer)部５３，５４、第一及び第二エッジ検出部５５，５６、最外輪郭抽出部１６、オフセット設定部１７、レーン境界設定部１８、出力部１９を備える。
【００６０】
第一Ａ／Ｄ変換器５１は、撮像部１１から入力される画像データを第一のサンプリング間隔でサンプリングし、そのサンプリング値をアナログ−デジタル変換して生成した変換データを出力する。第一フレームバッファ部５３は、第一Ａ／Ｄ変換器５１の出力信号を第一の原画像データとして記憶する。
【００６１】
第二Ａ／Ｄ変換器５２は、撮像部１１から入力される画像データを第二のサンプリング間隔でサンプリングし、そのサンプリング値をアナログ−デジタル変換して生成した変換データを出力する。第二フレームバッファ部５４は、第二Ａ／Ｄ変換器５２の出力信号を第二の原画像データとして記憶する。
【００６２】
第一のサンプリング間隔と第二のサンプリング間隔は、必要とする原画像データの解像度に応じて設定される。尚、本実施形態では、第一のサンプリング間隔は第二のサンプリング間隔よりも狭く設定されている。従って、第一フレームバッファ部５３に格納された第一の原画像データの解像度は、第二フレームバッファ部５４に格納された第二の原画像データのそれよりも高い。
【００６３】
第一エッジ検出部１４は、第一フレームバッファ部５３に記憶された原画像データに対して第一のエッジ検出処理を施して輪郭線（エッジ）の情報を含む第一の輪郭線情報を抽出する。第一のエッジ検出処理は、第一のオペレータ２１（図３参照）を原画像データに作用させ、該原画像データから第一の輪郭線情報（微分画像データ）を抽出する処理である。
【００６４】
第二エッジ検出部５５は、第二フレームバッファ部５４に記憶された原画像データに対して第一エッジ検出部１４と同様に第一のオペレータ２１を用いた第一のエッジ検出処理を施して輪郭線（エッジ）の情報を含む第二の輪郭線情報を抽出する。
【００６５】
即ち、本実施形態の車線境界検出装置５０は、解像度が異なる２つの画像データを記憶し、それらに対して同一のオペレータを使用して第一及び第二の輪郭線情報を抽出する。
【００６６】
解像度が高い第一の輪郭線情報には白線間の隙間に対応するエッジの情報が含まれ、解像度が低い第二の輪郭線情報にはそれが含まれない。従って、第一実施形態と同様の効果を得ることができる。
【００６７】
尚、上記各実施形態に限定されるものではなく、次のように変更してもよい。
・第１実施形態において、撮像部１１、Ａ／Ｄ変換器１２、フレームバッファ部１３のうちの少なくとも一つを別に構成した車線境界検出装置に具体化する。第２実施形態において、撮像部１１、第一及び第二Ａ／Ｄ変換器５１，５２、第一及び第二フレームバッファ部５３，５４のうちの少なくとも一つを別に構成した車線境界検出装置に具体化する。
【００６８】
・各第一，第二エッジ検出部において、使用するオペレータとして、Sobel,Roberts,Kirsch,Robinson,単純３レベルオペレータ等を用いてエッジ検出を行う。また、単純ラプラシアンフィルター、ノイズ抑制型ラプラシアンフィルター、ブリッジフィルター、サーフボードフィルター等を用いてエッジ検出を行う。
【００６９】
・出力部１９が予め制御部２０の指示を記憶し、その指示に基づいて選択した第１〜第３レーン境界位置データのうちの一つを出力する。
・レーン境界設定部１８が制御部２０の指示に従って第１〜第３レーン境界位置データのうちの一つを生成する。
【００７０】
・第１実施形態において、１次元オペレータと２次元オペレータを組み合わせて使用する、即ち１次元オペレータ２１と２次元オペレータ２４を第一及び第二のオペレータとして使用する、２次元オペレータ２３と１次元オペレータ２２を第一及び第二のオペレータとして使用しても良い。更に、各オペレータのマトリクスサイズを適宜変更しても良い。
【００７１】
・第２実施形態において、第一及び第二エッジ検出部５５，５６において図３に示す二次元オペレータ２３を含む他のオペレータを使用しても良い。また、第１実施形態と同様にサイズの異なるオペレータを使用しても良い。
【００７２】
・白線がデータ上において平行となるように原画像データを空間変換した画像データを各フレームバッファ部１３，５３，５４に格納し処理すること。
・上記各実施形態において、抽出部１６は第一の輪郭線情報と第二の輪郭線情報を論理合成（合計）して最外輪郭情報を抽出したが、それ以外の手法を用いて最外輪郭情報を抽出しても良い。例えば、第一及び第二の輪郭線情報の排他的論理和演算結果を生成する。この演算結果は白線の間隔に対応するエッジの情報を含む集合である。従って、第一の輪郭線情報においてこの演算結果の集合の補集合を抽出することで第一の輪郭線情報から隙間に対応するエッジの情報を削除し、上記実施形態と同様の最外輪郭情報を抽出することができる。また、第一及び第二の輪郭線情報を照合して輪郭を確認した後、第一の輪郭線情報と実質的に同一の最外輪郭情報を生成するようにしてもよい。更に、第一及び第二の輪郭線情報を論理積演算して最外輪郭情報を生成するようにしてもよい。
【００７３】
・上記各実施形態は機能的にブロックに分割した例を示したものであり、複数のブロックの機能を１つのブロックにて提供する、又は１つのブロックの機能を複数のブロックにて提供するよう変更してもよい。また、各ブロックに含む機能を適宜変更して実施しても良い。
【００７４】
次に、以上の実施形態から把握される技術的思想をその効果とともに以下に記載する。
（イ） 前記輪郭抽出手段は、前記第一の輪郭線情報とノイズレベル以上に設定した第一のしきい値を比較してノイズレベル以上の振幅を有する成分を抽出した第一のエッジ情報を生成する第一しきい値処理部と、前記第二の輪郭線情報から第二のしきい値以上の振幅を有する成分だけを抽出した第二のエッジ情報とを生成する第二しきい値処理部と、前記第一及び第二のエッジ情報を合成処理して前記最外輪郭情報を抽出する演算処理部とを備えた。
【００７５】
（ロ） オフセット情報を記憶するオフセット設定手段と、前記オフセット設定手段に記憶されたオフセット情報に基づいて車線境界位置を設定する境界設定手段とを備えた。従って、白線群の最外輪郭情報に対して車線境界位置を任意の位置に設定することができる。
【００７６】
（ハ） 前記境界設定手段は、前記輪郭位置情報の白線群に対応する２つのエッジの位置を示す最外輪郭データに基づく第１車線境界位置を算出し、前記オフセット情報に基づいて前記２つの最外輪郭データのうちの一方の位置をオフセットした第２の車線境界位置と、前記オフセット情報に基づいて前記２つの最外輪郭データのうちの他方の位置をオフセットした第３の車線境界位置とを算出し、選択指示に従って前記第１〜第３車線境界位置のうちの１つを出力する出力手段を備えたことを特徴とする上記（ロ）記載の車線境界検出装置。従って、要求（選択指示）に対応する車線境界位置を容易に得ることができる。
【００７７】
【発明の効果】
以上詳述したように、本発明では、車線境界を安定に検出することのできる車線境界検出装置を提供することができる。
【図面の簡単な説明】
【図１】 車線境界検出装置の概略構成を示すブロック図である。
【図２】 最外輪郭抽出部のブロック図である。
【図３】 微分オペレータの説明図である。
【図４】 微分オペレータの説明図である。
【図５】 輪郭情報検出処理の説明図である。
【図６】 輪郭情報検出処理の説明図である。
【図７】 白線の説明図である。
【図８】 白線の説明図である。
【図９】 車線境界検出装置の概略構成を示すブロック図である。
【図１０】 白線の説明図である。
【符号の説明】
１４，５５…第一エッジ検出部（第一の輪郭情報検出手段）、１５，５６…第二エッジ検出部（第二の輪郭情報検出手段）、１６…最外輪郭抽出部（輪郭抽出手段）、２１…第一オペレータ、２２…第二オペレータ
【発明の属する技術分野】
本発明は撮像装置にて得た画像データから区画線の車線境界位置を検出する車線境界検出装置に関するものである。
【０００２】
【従来の技術】
従来、自動車等の移動体の走行を制御する装置に、走路形状を認識して操舵制御も自動的に行う自動運転装置がある。この自動運転を実現するためには、走路を認識する必要があり、画像処理により走路、例えば区画線により車線境界位置を検出する検出装置が必要となる。この種の検出装置として、例えば特開昭６３−１４２４７８号公報、特開平６−２０１８９号公報、特開平６−１１９５９４号公報に記載されたものが知られている。
【０００３】
これら検出装置は、白線は道路面より明るいという特性を利用するものであり、撮影した画像の中から、画像データに微分等の処理を施して高輝度部分の輪郭データを抽出する。その後、道路に沿った方向に延びる輪郭データの内、所定間隔（例えば設計基準値）に対応する間隔のデータを白線の輪郭と見なすという手法をとっていた。
【０００４】
【発明が解決しようとする課題】
ところで、区画線は、走路の状態により形状が異なっている。図１０（ａ）〜（ｄ）はその例を示す図である。図１０（ａ）に示すように、一般的な区間には、一方（左側）に実線の区画線６１が設けられ、他方（右側）に破線の区画線６２が設けられている。これに対し、図１０（ｂ）に示すように、高速道路等の入口、出口、分岐点、登坂車線等の区間には、一方（左側）に設けられた破線の区画線６３は、他方（右側）の区画線６２に比べて幅広く形成されている。この場合、従来の手法では、図１０（ｂ）の区画線６３を認識できないことがある。
【０００５】
また、図１０（ｃ）に示すように、カーブ等の注意喚起が必要な区間には、実線又は破線の左右一方又は左右両側に幅広な破線よりなる標示を併設した区画線（複合白線と呼ぶ）６４，６５が設けられている。また、対向車線区間には、複数の実線を併設した区画線（多重白線と呼ぶ）６６が設けられている。これらの場合、区画線の輪郭を安定して検出することができないことがある。それは、以下の理由による。
【０００６】
・撮像装置には広角レンズを用いているため、複合白線６４，６５や多重白線６６が画面の周辺部に映るとき、小さく縮退しているために、白線と白線の隙間が見えたり見えなかったりする。また、白線自体の汚れや剥がれにより、それらの隙間が見えたり見えなかったりする。
【０００７】
・カメラの露出不適正により白線部分が飽和して隙間が見えない。例えば、画面内に自車影が大きな面積を占めているとき、白線部は露出オーバーとなり、境界位置を判別することが難しく、隙間が判別しにくくなる。
【０００８】
・現実の白線が汚れ／剥がれ等により薄くなってコントラストが低下しているため、隙間が判別困難である。
これら要因により、隙間の見え方が常に一定ではないため区画線の輪郭が安定せず、車線境界位置を安定に検出することができないという問題があった。
【０００９】
本発明の目的は、車線境界を安定に検出することのできる車線境界検出装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に記載の発明は、撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報と前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報の合計値を、それぞれ対応する画素毎に実施し、その実施結果を前記白線群の最外輪郭情報とする輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定するようにした。
【００１１】
請求項２に記載の発明は、撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報、及び前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報の排他的論理和演算結果を生成し、前記第一の輪郭線情報においてこの演算結果の集合の補集合を抽出することで前記白線群の最外輪郭情報を抽出する輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定するようにした。
【００１２】
請求項３に記載の発明は、撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報、及び前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を論理積演算して前記白線群の最外輪郭情報を抽出する輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定するようにした。
【００１４】
請求項４に記載の発明のように、前記輪郭抽出手段は、前記第一の輪郭線情報とノイズレベル以上に設定された第一のしきい値を比較してノイズレベル以上の振幅を有する成分を抽出した第一のエッジ情報を生成するものである。
請求項５に記載の発明のように、前記白線群は、複合白線または多重白線である。
【００１５】
（作用）
各請求項に記載の発明によれば、濃度変化に対する感度が高く設定されることで一方には白線間の隙間に対応するエッジの情報が含まれ、他方にはそれが含まれないので、その隙間に対応するエッジの情報の削除が容易になる。
【００１６】
また、第一及び第二の輪郭情報検出手段はそれぞれ感度に応じてサイズが異なるオペレータにより同一の画像データから第一及び第二の輪郭線情報が抽出される。従って、白線間の隙間に対応するエッジの情報を含まない輪郭線情報の抽出が容易になる。
【００２０】
【発明の実施の形態】
（第１実施形態）
以下、本発明を具体化した第１実施形態を図１〜図５に従って説明する。
【００２１】
図１は、車線境界検出装置１０の概略構成を示すブロック図である。
車線境界検出装置１０は移動体上に設置され、該移動体が走行する走路を撮影した画像を処理してレーン境界位置（車線境界位置）を判断する。
【００２２】
車線境界検出装置（以下、検出装置）１０は、撮像部１１、Ａ／Ｄ変換器１２、フレームバッファ(Frame Buffer)部１３、輪郭情報検出手段としての第一エッジ検出部１４及び第二エッジ検出部１５、最外輪郭抽出手段としての最外輪郭抽出部１６、オフセット設定部１７、レーン境界設定部１８、出力部１９を備える。検出装置１０は例えばＣＰＵよりなる制御部２０に接続され、該制御部２０は上記の各部１１〜１９を制御する。
【００２３】
撮像部１１は、道路を撮影した画像データを出力する。Ａ／Ｄ変換器１２は、撮像部１１から入力される画像データをアナログ−デジタル変換し、その変換データを出力する。フレームバッファ部１３は、Ａ／Ｄ変換器１２の出力信号を原画像データとして記憶する。
【００２４】
第一エッジ検出部１４は、フレームバッファ部１３に記憶された原画像データに対して第一のエッジ検出処理を施して輪郭線（エッジ）の情報を含む第一の輪郭線情報を抽出する。第一のエッジ検出処理は、第一のオペレータを原画像データに作用させ、該原画像データから第一の輪郭線情報（微分画像データ）を抽出する処理である。
【００２５】
第二エッジ検出部１５は、フレームバッファ部１３に記憶された原画像データに対して第二のエッジ検出処理を施して輪郭線（エッジ）の情報を含む第二の輪郭線情報を抽出する。第二のエッジ検出処理は、第二のオペレータを原画像データに作用させ、該原画像データから第二の輪郭線情報（微分画像データ）を抽出する処理である。
【００２６】
第一のオペレータは、第二のオペレータに比べてマトリクスサイズの小さなものが使用される。例えば、第二のオペレータには図３に示す１次元オペレータ２１を用い、第二のオペレータには１次元オペレータ２２を用いる。図４には、第一のオペレータ２１と第二のオペレータ２２の各要素の値を示す。
【００２７】
第一及び第二エッジ検出部１４，１５は、それぞれ使用する第一，第二のオペレータ２１，２２により各画素における第一及び第二の輪郭線情報を得る。例えば、第一エッジ検出部１４は、第一のオペレータ２１を使用し、着目する画素の前後（走査方向における前後）の画素の濃度値の差を算出し、その算出値を着目する画素における輪郭線情報とする。尚、図４に示すようにオペレータの要素値を設定した場合、第一エッジ検出部１４は、前後の画素の濃度値にマトリックス要素の値を乗算し、両画素の演算結果を合計して第一の輪郭線情報を得る。
【００２８】
第二エッジ検出部１５は、第二のオペレータ２２を使用し、着目する画素の前２画素の濃度値の平均値と後２画素の濃度値の平均値との差を算出し、その算出値を着目する画素における輪郭線情報とする。尚、図４に示すようにオペレータの要素値を設定した場合、第二エッジ検出部１５は第一エッジ検出部１４と同様に各画素の演算結果を合計して輪郭線情報を得る。
【００２９】
第一のオペレータ２１と第二のオペレータ２２のサイズは、白線群に含まれる隙間に基づいて、予め実験等の結果に基づいて設定される。詳しくは、第一のオペレータ２１と第二のオペレータ２２は、第一及び第二の輪郭線情報の強度に差が生じるように設定される。具体的には、第一のオペレータ２１は、着目する画素の両側それぞれのマトリックス要素のサイズが白線の隙間よりも小さく設定され、第二のオペレータ２２は、それのサイズが白線の隙間よりも大きく設定される。
【００３０】
図５及び図６の（ａ）原画像は、原画像データにおける一つの走査線に沿った画素の濃度値を表す波形である。尚、説明を解りやすくするために、濃度値を２値（０，１）とする。
【００３１】
この（ａ）原画像は、白線の隙間が１画素分（図の上部中央にて丸で囲む部分）である。この隙間に対して、図５に示す第一のオペレータ２１は、着目する画素に対応する要素ｂと、その両側にそれぞれ１画素分の要素ａ，ｃを持つ。この第一のオペレータ２１を（ｂ）に示す各位置に移動させて得た第一の輪郭線情報（微分出力）を（ｃ）に示す。白線の隙間に対応するエッジの近傍では、その微分出力が「０，−１，０，１，０」のように得られ、白線のエッジ近傍（図において上部右側の丸で囲む部分）では「−１，−１，０」のように得られる。このように、第一の輪郭線情報は、エッジの位置に関わらず同様な振幅（強度）を持つ。
【００３２】
これに対して、図６に示す第二のオペレータ２２は、着目する画素に対応する要素ｃと、その両側にそれぞれ２画素分の要素ａ，ｂと要素ｄ，ｅを持つ。この第二のオペレータ２２を（ｂ）に示す各位置に移動させて得た第一の輪郭線情報（微分出力）を（ｃ）に示す。白線の隙間に対応するエッジの近傍では、その微分出力が「-0.5，-0.5，０， 0.5， 0.5，０，０」のように得られ、白線のエッジ近傍（図において上部右側の丸で囲む部分）では「−１，−１，-0.5」のように得られる。このように、第二の輪郭線情報は、エッジの位置に応じた振幅（強度）を持つ。
【００３３】
上記のように、第一の輪郭線情報は、エッジ近傍における微分出力の変化率が、第二の輪郭線情報に比べて大きい。換言すれば、第一のオペレータ２１は、原画像データの空間的な濃度変化に対して微分出力（第一の輪郭線情報）の振幅、即ち感度が、第二のオペレータ２２と比べて高くなるようにそのサイズが設定されている。即ち、第一エッジ検出部１４は、原画像データの空間的な濃度変化に対する感度が比較的高く設定され、第二エッジ検出部１５は、濃度変化に対する感度が比較的低く設定されているといえる。そして、車線境界検出装置１０は、サイズの異なる第一，第二のオペレータ２１，２２を使用することで、白線の間隔（隙間）に応じた強度を有する第一及び第二の輪郭線情報（微分画像データ）を得る。
【００３４】
尚、第一のオペレータに図３の２次元オペレータ２３を用い、第二のオペレータに２次元オペレータ２４を用いても良い（図４にその２次元オペレータの各要素の値を示す）。
【００３５】
最外輪郭抽出部（以下、抽出部）１６は、第一の輪郭線情報と第二の輪郭線情報とを照合し、白線、白線群の最も外側の輪郭の位置情報を求める。白線群は複数（複数種類）の白線にて構成され、図１０（ｃ）の複合白線６４，６５、図１０（ｄ）に示す多重白線６６を含む。
【００３６】
抽出部１６は、第一エッジ検出部１４の出力（第一の輪郭線情報）と第二エッジ検出部１５の出力（第二の輪郭線情報）とを照合し、複数の白線が接近しているときに、最も外側の輪郭線である最外輪郭情報を抽出する。
【００３７】
詳しくは、抽出部１６は、第一の輪郭線情報とノイズレベル以上に設定した第一のしきい値を比較し、ノイズレベル以上の振幅を有する成分だけを抽出した第一のエッジ情報を生成する。
【００３８】
また、抽出部１６は、第二の輪郭線情報から第二のしきい値以上の振幅を有する成分だけを抽出した第二のエッジ情報を生成する。第二のしきい値は、白線の隙間に対応するエッジを抽出しないように、予め実験等の結果により設定されている。例えば、図６（ｃ）の微分出力の場合、０．５より大きな値がしきい値に設定される。
【００３９】
そして、抽出部１６は、第一のエッジ情報と、第二のエッジ情報を合成処理して最外輪郭情報を生成する。合成処理は、本実施形態では和処理であり、抽出部１６は第一のエッジ情報と第二のエッジ情報の合計値（微分値の合計値）を、それぞれ対応する画素毎に実施し、その実施結果を最外輪郭情報とする。
【００４０】
第一のエッジ情報は、図５（ｄ）の微分出力として示すように、ノイズレベル以上のデータ（エッジの情報）を含む。第二のエッジ情報は、図６（ｄ）の微分出力として示すように、第二のしきい値以上のレベルを持つエッジの情報を含む。従って、白線群の最外輪郭を形成するエッジの位置における合計値は、第一及び第二のエッジ情報の微分値が合計され、その値は一方のほぼ２倍になる。一方、最外輪郭を形成するエッジ以外の位置における合計値は、一方の微分値と等しくなる。そして、第一のエッジ情報において、複数の白線が接近している場所におけるエッジの微分値は、輪郭部分のエッジの微分値に比べて小さい。従って、白線群の最外輪郭に対応するエッジの微分値と、それ以外のエッジの微分値との差が極めて大きくなる。このため、抽出部１６は、論理積演算を実施することで、確実に輪郭を形成するエッジの情報（最外輪郭情報）を抽出する。
【００４１】
尚、輪郭線情報がその進行方向に沿って破線状に離間している場合、抽出部１６は輪郭線情報をその進行方向に沿って補完し、最大幅の輪郭線情報（白線群の輪郭線情報）のうち、広い幅を持つ２つの輪郭線情報を輪郭位置情報として出力する。
【００４２】
オフセット設定部１７は、レーン境界設定部１８で用いられる最外レーン境界位置からのオフセット値を記憶している。このオフセット値は、制御部２０により予め設定される。
【００４３】
レーン境界設定部１８は、抽出部１６からの輪郭位置情報（輪郭線情報）に基づいて、該輪郭線情報の両エッジの中間位置である第１レーン境界位置データを生成する。また、レーン境界設定部１８は、最外輪郭線情報とオフセット値に基づいて、該輪郭線情報の一方のエッジを他方のエッジへ第１オフセット値だけオフセットした位置である第２レーン境界位置データと、他方のエッジを一方のエッジへ第２オフセット値だけオフセットした位置である第３レーン境界位置データを生成する。そして、レーン境界設定部１８は、生成した第１〜第３レーン境界位置データを出力する。
【００４４】
出力部１９は、制御部２０の指示に従って、レーン境界設定部１８が出力する第１〜第３レーン境界位置データのうちの一つを選択し、その選択データを出力する。この選択データは、警報装置や速度制御装置等のシステム制御コンピュータに送られ、それに基づいて移動体が制御される。
【００４５】
図２は、抽出部１６の構成を示すブロック図である。
抽出部１６は、第一しきい値処理部３１、第二しきい値処理部３２、演算処理部３３を備えている。
【００４６】
第一しきい値処理部３１は、第一エッジ検出部１４の出力（第一の輪郭線情報）とノイズレベル以上に設定した第一のしきい値を比較し、ノイズレベル以上の振幅を有する成分だけを抽出した第一エッジ情報を出力する。
【００４７】
第二しきい値処理部３２は、第二の輪郭線情報から第二のしきい値以上の振幅を有する成分だけを抽出した第二エッジ情報を出力する。
演算処理部３３は、第一のエッジ情報と第二のエッジ情報とを論理合成して最外輪郭情報を生成する。
【００４８】
次に、上記のように構成された車線境界検出装置の作用を図７及び図８を用いて説明する。尚、図７及び図８は各処理における画像データを可視化したものである。
【００４９】
今、図７に示す原画像データ４１がフレームバッファ部１３に記録されている。
第一エッジ検出部１４は、走査線４２に沿って原画像データをフレームバッファ部１３から読出す。そして、第一エッジ検出部１４は、該原画像データに対して第一のオペレータ２１を作用させて第一の輪郭線情報を生成する。
【００５０】
第二エッジ検出部１５は、走査線４２に沿って原画像データをフレームバッファ部１３から読出す。そして、第二エッジ検出部１５は、該原画像データに対して第二のオペレータ２２を作用させて第二の輪郭線情報４３を生成する。この時、白線間の隙間に対応するエッジの情報は、白線の汚れ／剥がれ等により値が場所によって異なるため、図８（ａ）に示すように、現れたり現れなかったりする。
【００５１】
次に、抽出部１６は、第一の輪郭線情報と第二の輪郭線情報を照合し、最も外側の輪郭線である最外輪郭情報４４を抽出する。図８（ｂ）は、抽出された最外輪郭情報（画像）である。
【００５２】
次に、抽出部１６は、輪郭位置情報（図８（ｂ）において左側の白線群によるエッジデータと、左側の白線群によるエッジデータ）を進行方向に沿って補完して図８（ｃ）に実線で示す最外輪郭線情報（輪郭位置情報）４５，４６を生成する。
【００５３】
これら最外輪郭線情報４５，４６に基づき、図１のレーン境界設定部１８は、最外輪郭線情報４５，４６の中間位置を算出し、図８（ｃ）に一点鎖線で示す第１レーン境界位置データ４７，４８を生成する。
【００５４】
尚、図示しないが、レーン境界設定部１８は、図５（ｃ）に示す最外輪郭線情報に基づき、第２及び第３レーン境界位置データを生成する。
以上詳述したように、本実施形態によれば、以下に示す効果が得られる。
【００５５】
（１）本実施形態では、第一エッジ検出部１４は、原画像データの空間的な濃度変化に対して感度が比較的高く設定され第一の輪郭線情報を抽出する。第二エッジ検出部１５は、原画像データの空間的な濃度変化に対して感度が比較的低く設定され第二の輪郭線情報を抽出する。この第一の輪郭線情報は白線間の隙間に対応するエッジの情報を含み、第二の輪郭線情報はそれを含まない。そして、最外輪郭抽出部１６は、第一及び第二の輪郭線情報から白線群の最外輪郭情報を抽出する。その結果、その隙間に対応するエッジの情報の削除が容易であるため、白線群の輪郭（最外輪郭情報）が安定し、車線境界位置を安定して検出することができる。
【００５６】
（２）本実施形態では、第一，第二エッジ検出部１４は、それぞれ感度に応じたサイズを持つ第一，第二のオペレータ２１，２２によりフレームバッファ部１３に格納された原画像データから第一，第二の輪郭線情報を抽出する。その結果、白線間の隙間に対応するエッジの情報を含む第一の輪郭線情報の抽出と、それを含まない第二の輪郭線情報の抽出を容易に行うことができる。
【００５７】
（３）本実施形態では、最外輪郭抽出部１６は、第一の輪郭線情報とノイズレベル以上に設定した第一のしきい値を比較してノイズレベル以上の振幅を有する成分を抽出した第一のエッジ情報と、第二の輪郭線情報から第二のしきい値以上の振幅を有する成分だけを抽出した第二のエッジ情報とを生成する。次に、最外輪郭抽出部１６は、該第一及び第二のエッジ情報を合成処理して最外輪郭情報を抽出する。その結果、第二のしきい値を設定することで、白線の隙間に対応するエッジの情報含まない第二の輪郭線情報を容易に作成でき、白線間の隙間に対応するエッジの情報を含まない輪郭線情報を抽出することができる。
【００５８】
（第２実施形態）
以下、本発明を第２実施形態を図９に従って説明する。なお、説明の便宜上、前記第１実施形態と同様の構成については同一の符号を付してその説明を一部省略する。
【００５９】
図９は、車線境界検出装置５０の概略構成を示すブロック図である。
車線境界検出装置（以下、検出装置）５０は、撮像部１１、第一及び第二Ａ／Ｄ変換器５１，５２、第一及び第二フレームバッファ(Frame Buffer)部５３，５４、第一及び第二エッジ検出部５５，５６、最外輪郭抽出部１６、オフセット設定部１７、レーン境界設定部１８、出力部１９を備える。
【００６０】
第一Ａ／Ｄ変換器５１は、撮像部１１から入力される画像データを第一のサンプリング間隔でサンプリングし、そのサンプリング値をアナログ−デジタル変換して生成した変換データを出力する。第一フレームバッファ部５３は、第一Ａ／Ｄ変換器５１の出力信号を第一の原画像データとして記憶する。
【００６１】
第二Ａ／Ｄ変換器５２は、撮像部１１から入力される画像データを第二のサンプリング間隔でサンプリングし、そのサンプリング値をアナログ−デジタル変換して生成した変換データを出力する。第二フレームバッファ部５４は、第二Ａ／Ｄ変換器５２の出力信号を第二の原画像データとして記憶する。
【００６２】
第一のサンプリング間隔と第二のサンプリング間隔は、必要とする原画像データの解像度に応じて設定される。尚、本実施形態では、第一のサンプリング間隔は第二のサンプリング間隔よりも狭く設定されている。従って、第一フレームバッファ部５３に格納された第一の原画像データの解像度は、第二フレームバッファ部５４に格納された第二の原画像データのそれよりも高い。
【００６３】
第一エッジ検出部１４は、第一フレームバッファ部５３に記憶された原画像データに対して第一のエッジ検出処理を施して輪郭線（エッジ）の情報を含む第一の輪郭線情報を抽出する。第一のエッジ検出処理は、第一のオペレータ２１（図３参照）を原画像データに作用させ、該原画像データから第一の輪郭線情報（微分画像データ）を抽出する処理である。
【００６４】
第二エッジ検出部５５は、第二フレームバッファ部５４に記憶された原画像データに対して第一エッジ検出部１４と同様に第一のオペレータ２１を用いた第一のエッジ検出処理を施して輪郭線（エッジ）の情報を含む第二の輪郭線情報を抽出する。
【００６５】
即ち、本実施形態の車線境界検出装置５０は、解像度が異なる２つの画像データを記憶し、それらに対して同一のオペレータを使用して第一及び第二の輪郭線情報を抽出する。
【００６６】
解像度が高い第一の輪郭線情報には白線間の隙間に対応するエッジの情報が含まれ、解像度が低い第二の輪郭線情報にはそれが含まれない。従って、第一実施形態と同様の効果を得ることができる。
【００６７】
尚、上記各実施形態に限定されるものではなく、次のように変更してもよい。
・第１実施形態において、撮像部１１、Ａ／Ｄ変換器１２、フレームバッファ部１３のうちの少なくとも一つを別に構成した車線境界検出装置に具体化する。第２実施形態において、撮像部１１、第一及び第二Ａ／Ｄ変換器５１，５２、第一及び第二フレームバッファ部５３，５４のうちの少なくとも一つを別に構成した車線境界検出装置に具体化する。
【００６８】
・各第一，第二エッジ検出部において、使用するオペレータとして、Sobel,Roberts,Kirsch,Robinson,単純３レベルオペレータ等を用いてエッジ検出を行う。また、単純ラプラシアンフィルター、ノイズ抑制型ラプラシアンフィルター、ブリッジフィルター、サーフボードフィルター等を用いてエッジ検出を行う。
【００６９】
・出力部１９が予め制御部２０の指示を記憶し、その指示に基づいて選択した第１〜第３レーン境界位置データのうちの一つを出力する。
・レーン境界設定部１８が制御部２０の指示に従って第１〜第３レーン境界位置データのうちの一つを生成する。
【００７０】
・第１実施形態において、１次元オペレータと２次元オペレータを組み合わせて使用する、即ち１次元オペレータ２１と２次元オペレータ２４を第一及び第二のオペレータとして使用する、２次元オペレータ２３と１次元オペレータ２２を第一及び第二のオペレータとして使用しても良い。更に、各オペレータのマトリクスサイズを適宜変更しても良い。
【００７１】
・第２実施形態において、第一及び第二エッジ検出部５５，５６において図３に示す二次元オペレータ２３を含む他のオペレータを使用しても良い。また、第１実施形態と同様にサイズの異なるオペレータを使用しても良い。
【００７２】
・白線がデータ上において平行となるように原画像データを空間変換した画像データを各フレームバッファ部１３，５３，５４に格納し処理すること。
・上記各実施形態において、抽出部１６は第一の輪郭線情報と第二の輪郭線情報を論理合成（合計）して最外輪郭情報を抽出したが、それ以外の手法を用いて最外輪郭情報を抽出しても良い。例えば、第一及び第二の輪郭線情報の排他的論理和演算結果を生成する。この演算結果は白線の間隔に対応するエッジの情報を含む集合である。従って、第一の輪郭線情報においてこの演算結果の集合の補集合を抽出することで第一の輪郭線情報から隙間に対応するエッジの情報を削除し、上記実施形態と同様の最外輪郭情報を抽出することができる。また、第一及び第二の輪郭線情報を照合して輪郭を確認した後、第一の輪郭線情報と実質的に同一の最外輪郭情報を生成するようにしてもよい。更に、第一及び第二の輪郭線情報を論理積演算して最外輪郭情報を生成するようにしてもよい。
【００７３】
・上記各実施形態は機能的にブロックに分割した例を示したものであり、複数のブロックの機能を１つのブロックにて提供する、又は１つのブロックの機能を複数のブロックにて提供するよう変更してもよい。また、各ブロックに含む機能を適宜変更して実施しても良い。
【００７４】
次に、以上の実施形態から把握される技術的思想をその効果とともに以下に記載する。
（イ） 前記輪郭抽出手段は、前記第一の輪郭線情報とノイズレベル以上に設定した第一のしきい値を比較してノイズレベル以上の振幅を有する成分を抽出した第一のエッジ情報を生成する第一しきい値処理部と、前記第二の輪郭線情報から第二のしきい値以上の振幅を有する成分だけを抽出した第二のエッジ情報とを生成する第二しきい値処理部と、前記第一及び第二のエッジ情報を合成処理して前記最外輪郭情報を抽出する演算処理部とを備えた。
【００７５】
（ロ） オフセット情報を記憶するオフセット設定手段と、前記オフセット設定手段に記憶されたオフセット情報に基づいて車線境界位置を設定する境界設定手段とを備えた。従って、白線群の最外輪郭情報に対して車線境界位置を任意の位置に設定することができる。
【００７６】
（ハ） 前記境界設定手段は、前記輪郭位置情報の白線群に対応する２つのエッジの位置を示す最外輪郭データに基づく第１車線境界位置を算出し、前記オフセット情報に基づいて前記２つの最外輪郭データのうちの一方の位置をオフセットした第２の車線境界位置と、前記オフセット情報に基づいて前記２つの最外輪郭データのうちの他方の位置をオフセットした第３の車線境界位置とを算出し、選択指示に従って前記第１〜第３車線境界位置のうちの１つを出力する出力手段を備えたことを特徴とする上記（ロ）記載の車線境界検出装置。従って、要求（選択指示）に対応する車線境界位置を容易に得ることができる。
【００７７】
【発明の効果】
以上詳述したように、本発明では、車線境界を安定に検出することのできる車線境界検出装置を提供することができる。
【図面の簡単な説明】
【図１】 車線境界検出装置の概略構成を示すブロック図である。
【図２】 最外輪郭抽出部のブロック図である。
【図３】 微分オペレータの説明図である。
【図４】 微分オペレータの説明図である。
【図５】 輪郭情報検出処理の説明図である。
【図６】 輪郭情報検出処理の説明図である。
【図７】 白線の説明図である。
【図８】 白線の説明図である。
【図９】 車線境界検出装置の概略構成を示すブロック図である。
【図１０】 白線の説明図である。
【符号の説明】
１４，５５…第一エッジ検出部（第一の輪郭情報検出手段）、１５，５６…第二エッジ検出部（第二の輪郭情報検出手段）、１６…最外輪郭抽出部（輪郭抽出手段）、２１…第一オペレータ、２２…第二オペレータ
Claims (5)
- 撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、
それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、
前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報と前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報の合計値を、それぞれ対応する画素毎に実施し、その実施結果を前記白線群の最外輪郭情報とする輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定することを特徴とする車線境界検出装置。 - 撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、
それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、
前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報、及び前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報の排他的論理和演算結果を生成し、前記第一の輪郭線情報においてこの演算結果の集合の補集合を抽出することで前記白線群の最外輪郭情報を抽出する輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定することを特徴とする車線境界検出装置。 - 撮像装置により撮影されその視野に白線群を有する区画線を含む走行路の画像データから道路面の車線境界位置を検出する車線境界検出装置において、
それぞれ異なるオペレータにより同一の前記画像データから第一及び第二の輪郭線情報を抽出する第一及び第二の輪郭情報検出手段を備え、前記第一の輪郭情報検出手段は、着目する画素の両側それぞれのマトリックス要素のサイズが白線群の隙間よりも小さく設定される第一のオペレータにより前記第一の輪郭線情報を抽出するとともに、前記第二の輪郭情報検出手段は、前記サイズが白線群の隙間より大きく設定される第二のオペレータにより前記第二の輪郭線情報を抽出するように構成され、
前記第二の輪郭線情報中に含まれる白線群の隙間に対応するエッジ情報を抽出しないように設定された第二のしきい値を用いて、該第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を生成し、前記第一の輪郭線情報、及び前記第二のしきい値以上の振幅を有する成分だけを抽出した第二の輪郭線情報を論理積演算して前記白線群の最外輪郭情報を抽出する輪郭抽出手段をさらに備え、該最外輪郭情報に基づいて車線境界位置を設定することを特徴とする車線境界検出装置。 - 前記輪郭抽出手段は、前記第一の輪郭線情報とノイズレベル以上に設定された第一のしきい値を比較してノイズレベル以上の振幅を有する成分を抽出した第一のエッジ情報を生成するものであることを特徴とする請求項１〜３のうちの何れか一項記載の車線境界検出装置。
- 前記白線群は、複合白線または多重白線であることを特徴とする請求項１〜４のうちの何れか一項記載の車線境界検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001385262A JP3854143B2 (ja) | 2001-12-18 | 2001-12-18 | 車線境界検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001385262A JP3854143B2 (ja) | 2001-12-18 | 2001-12-18 | 車線境界検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003187227A JP2003187227A (ja) | 2003-07-04 |
| JP3854143B2 true JP3854143B2 (ja) | 2006-12-06 |
Family
ID=27594765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001385262A Expired - Fee Related JP3854143B2 (ja) | 2001-12-18 | 2001-12-18 | 車線境界検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3854143B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015203992A (ja) * | 2014-04-14 | 2015-11-16 | 本田技研工業株式会社 | レーンマーク認識装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3864945B2 (ja) | 2003-09-24 | 2007-01-10 | アイシン精機株式会社 | 路面走行レーン検出装置 |
| GB2420404B (en) * | 2004-11-23 | 2010-06-16 | Chi-Jui Huang | Alerting system of a vehicle deviating from its traffic lane |
-
2001
- 2001-12-18 JP JP2001385262A patent/JP3854143B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015203992A (ja) * | 2014-04-14 | 2015-11-16 | 本田技研工業株式会社 | レーンマーク認識装置 |
| US9489585B2 (en) | 2014-04-14 | 2016-11-08 | Honda Motor Co., Ltd. | Lane mark recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003187227A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101717613B1 (ko) | 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법 | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| JP5975598B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JPH11306283A (ja) | ナンバープレート情報読取装置 | |
| JP2012038318A (ja) | ターゲット検出方法及び装置 | |
| JP2994170B2 (ja) | 車両周辺監視装置 | |
| JP3800785B2 (ja) | 白線認識装置 | |
| KR100965800B1 (ko) | 차량 영상 검지 및 속도 산출방법 | |
| Kazmi et al. | Traffic Monitoring System in Smart Cities Using Image Processing | |
| JP3854143B2 (ja) | 車線境界検出装置 | |
| JP3662218B2 (ja) | 車線境界検出装置 | |
| WO2023276564A1 (ja) | 動き情報撮像装置 | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| JP2003248895A (ja) | 画像式車両感知システム及び画像式車両感知方法 | |
| JP3364771B2 (ja) | 移動物体検出装置 | |
| JP2020109594A (ja) | 付着物検出装置および付着物検出方法 | |
| JP3638028B2 (ja) | 車両ナンバー認識装置 | |
| JPH11231069A (ja) | 降雨雪状況の評価方法およびその装置 | |
| JP6348020B2 (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
| JP3886573B2 (ja) | 降雨雪検出方法およびその装置 | |
| JPH0824350B2 (ja) | 背景画像抽出方法 | |
| JP3118484B2 (ja) | 画像の領域分割方式 | |
| JP3509620B2 (ja) | 画像前処理装置、レーンマーク認識装置、車両走行制御装置および記録媒体 | |
| Wimalaratna et al. | Estimation of the speeds of moving vehicles from video sequences | |
| JPH11110564A (ja) | 移動体計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040402 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040421 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040421 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060907 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |