JP3830748B2

JP3830748B2 - レーンマーク強調装置

Info

Publication number: JP3830748B2
Application number: JP2000313639A
Authority: JP
Inventors: 祥子小島; 芳樹二宮; 久志里中; 誠西田; 俊明柿並
Original assignee: Aisin Seiki Co Ltd; Toyota Motor Corp; Toyota Central R&D Labs Inc; Aisin Corp
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc; Aisin Corp
Priority date: 2000-10-13
Filing date: 2000-10-13
Publication date: 2006-10-11
Anticipated expiration: 2020-10-13
Also published as: JP2002123819A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載され、撮像装置により取得された車両周辺の走行路面の画像のカラー信号を変換することにより、自車両周辺のレーンマークを強調して出力することを可能にした装置に関するものである。
【０００２】
【従来の技術】
従来のカラー信号を用いたレーンマーク検出装置においては、路面色を抽出色条件として抽出色条件を満たす画素から、抽出色条件を満たさない画素への変化を検出し白色車線及び、黄色車線も検出していた。さらに、明るさ成分が、カメラ近傍と、遠方で、異なることに着目し、レーンマーク検出時にカメラ近傍と、遠方とで、検出の閾値を切り替えることによって、画面全体で、安定して、車線の検出を行おうとしていた。
【０００３】
【発明が解決しようとする課題】
しかし、路面色を抽出色条件として抽出色条件を満たす画素から、抽出色条件を満たさない画素への変化を検出しているため、白色車線も、黄色車線も検出可能である。例えば、黄色レーンマークはカラー成分のうち赤色成分が強く現れるがレーンマーク以外の分布において、赤色成分は輝度成分に比較し強い方へ推移する。そのため、白色レーンマークを抽出する閾値では、黄色レーンマークが欠落する可能性があり、黄色レーンマークを欠落させないようにする閾値とすると雑音が大きくなる可能性がある。雑音を抑制しようとすると、抽出色条件の変化分に、閾値などを設ける必要があり、雑音を抑えて、白色車線を検出しようとすると、結果的に黄色車線が欠落する可能性がある。
【０００４】
さらに、路面の状態は、刻一刻と異なり、予め決めた路面区画以外では、対応できないときも多く、安定して抽出できないときも多かった。
【０００５】
さらに、輝度信号と、色差信号を車線判別信号としているため判別に必要な信号成分が複数あり、処理が煩雑になる。また、抽出条件を随時更新する手法を用いているため、計算負荷が大きかった。
【０００６】
【課題を解決するための手段】
本発明によるレーンマーク強調装置は、車両周辺の路面の画像を取得し、路面画像を構成するカラー信号を出力する撮像装置と、取得したカラー画像をレーンマーク部分を強調した濃淡画像となるように、カラー信号を濃淡信号へ変換するレーンマーク強調変換手段を備える。
【０００７】
さらに、レーンマーク強調変換手段は、所定の変換係数により、カラー信号を濃淡信号へ変換する色信号変換手段を有する。
【０００８】
さらに、変換係数は、路面画像を構成するカラー信号の、色空間における白色又は黄色のレーンマークと、レーンマーク以外の分布状況を調査し、レーンマークと、それ以外の分布色空間において最も分離される軸を統計的に求めることにより決定された変換係数である。
【０００９】
さらに、レーンマーク強調変換手段は、カラー信号の明るさ成分強度を判定する明るさ成分強度判定手段と、判定された明るさ成分強度が、設定された設定閾値以上であれば、変換係数として第１の変換係数を設定し、設定された閾値未満であれば、変換係数として第２の変換係数を設定する変換係数設定手段とをさらに有することを特徴とする。
【００１０】
さらに第２の発明によるレーンマーク強調装置の明るさ成分強度判定手段は、複数の設定閾値により、複数の明るさ成分強度に判定し、変換係数設定手段は、変換係数として、判定された明るさ成分強度に対応した変換係数を設定することを特徴とする。
【００１１】
【発明の作用、効果】
上記の構成により、第１の発明によれば、撮像装置により、車両周辺の路面の画像を取得し、路面画像を構成するカラー信号を得ることができるようになり、得られたカラー信号をレーンマーク強調変換手段により、レーンマーク部分を強調した濃淡画像へ変換し、レーンマーク部分が強調された濃淡画像を得ることができるようになる。したがって、白色、黄色双方のレーンマークが強調された画像を得ることができるようになる。これにより、得られた濃淡画像から、レーンマークを抽出する際、単一色成分を用いてレーンマークを抽出する場合と比べて、レーンマーク抽出時の欠落を低減し雑音も同時に低減することができるようになる。さらに、濃淡画像であるため、レーンマークを抽出する際、閾値の設定が平易になり、レーンマークを安定して抽出することができるようになる。
【００１２】
さらに、レーンマーク強調変換手段は、所定の変換係数により、カラー信号を濃淡信号へ変換する色信号変換手段を有するので、濃淡信号は、線形変換によって求められ、変換処理のハード化が容易である。
【００１３】
さらに、変換係数は、路面画像を構成するカラー信号の、色空間における白色又は黄色のレーンマークと、レーンマーク以外の分布状況を調査し、レーンマークと、それ以外の分布色空間において最も分離される軸を統計的に求めることにより決定された変換係数であるので、この変換係数を用いて変換を行うことによりレーンマーク部分の信号強度が強調され、レーンマーク以外の信号強度が抑えられるようになる。
【００１４】
さらに、レーンマーク強調変換手段は、カラー信号の明るさ成分強度を判定し、判定された明るさ成分強度が、設定された閾値以上であれば、変換係数として第１の変換係数を設定し、閾値未満であれば、変換係数として第２の変換係数を設定する。これにより、レーンマークと、レーンマーク以外の分布特性を詳細に調査した結果得られた、明るさ強度に応じた色分布特性による個別の軸による変換係数を設定することができるようになり、設定した変換係数により、カラー信号を変換するため、よりよくレーンマークを強調し、レーンマーク以外の信号強度を抑えることができるようになる。また、ここで、用いる閾値、変換係数は、白色レーンマークと、黄色レーンマークが混在するような路面を撮像し、画像を構成する個々の画素の輝度成分と、カラー信号におけるレーンマーク部分と、それ以外の分布特性を詳細に調査することのより明らかになった閾値、及び変換係数を用いているので、よりよくレーンマークを強調し、レーンマーク以外の信号強度を抑えることができるようになる。
【００１５】
例えば、レーンマークと、レーンマーク以外の分布特性を詳細に調査すると、明るさ強度が低いときは、各カラー成分の偏りが減少し、一定の明るさ強度を有するときは、レーンマーク部分は、赤色成分が強く、青色成分が弱い。明るさによるカラー成分の分布の推移を利用し、明るさに応じた、個別の軸を設定することにより、レーンマークと、それ以外の部分についての分離度が向上する。つまり、入力信号の明るさ成分の強度が、設定した閾値より低い場合は、色成分の寄与が低くなるような変換定数を設定し、明るさ成分の強度が強い場合は、赤色成分の重みを大きくし、青色成分を現ずるような変換定数を設定することにより、任意の明るさにおいて、安定して、レーンマークを強調することができるようになる。
【００１６】
さらに、第２の発明によれば、明るさ成分強度判定手段は、複数の設定閾値により、複数の明るさ成分強度に判定し、変換係数として判定された明るさ成分強度に対応した変換係数を設定するので、各明るさ成分の強度に応じたレーンマーク信号の強調を行い、レーンマーク信号以外の信号強度を抑えることができるようになる。
【００１７】
【発明の実施の形態】
本発明のレーンマーク強調装置の具体例について図面を用いて説明する。
図１は、本発明の実施例であるレーンマーク強調装置のハードウエア構成の説明図である。撮像装置１０により車両周辺の路面を含めた状況をカラー画像として取得し、出力されるカラー信号（Comp1,Comp2,Comp3）は、制御装置５０の入出力インターフェイス５３を介して、一旦記憶手段５２に記憶され、ＣＰＵ５１により、画像を構成する１画素毎にＣＰＵ５１の色信号変換手段２１により、濃淡信号へ変換される。変換された濃淡信号は、一旦記憶手段５２に記憶され、取得画像の全ての画素について変換を行い、濃淡画像とする。カラー画像は、レーンマークを強調した濃淡画像に変換され、濃淡信号として、入出力インターフェイス５３を介して、出力装置５６へ出力される。又、必要に応じて、表示装置５７へ、画像として表示することができる。この表示画像は、操作入力装置５５により、カラー画像、濃淡画像の切り替えが可能である。
【００１８】
さらに、操作入力装置５５からの操作入力指令により、外部記憶装置５４から必要に応じて、本レーンマーク強調装置のプログラム、変換係数、閾値等が、制御装置５０へロードされる。撮像装置１０は、ＣＣＤカメラ等が一般的には用いられるが、カラー画像を取得でき、カラー信号の出力できる装置であればこれに限らない。制御装置５０、外部記憶装置５４、操作入力装置５５、出力装置５６、表示装置５７により構成されるモーフィングできるのであれば、パーソナルコンピュータなどのコンピュータ装置であっても良い。出力装置５６としては、レーンマーク検出装置等を接続してもよい。
【００１９】
図２は、本発明の構成要素の概略を示す説明図である。図２のレーンマーク強調装置は、車両周辺の路面を含めた状況を取得する撮像装置１０と、撮像装置１０から出力されるカラー信号（Comp1,Comp2,Comp3）からレーンマーク部分を強調した一つの濃淡信号Trs を出力するレーンマーク強調変換手段２０からなる。レーンマーク強調変換手段２０は、色信号変換手段２１により構成される。撮像装置１０から出力されるカラー信号はＲＧＢ形式でも、ＹＩＱ形式でもよくカラー信号を表すものであれば、他の形式でも良い。
【００２０】
レーンマーク強調変換手段２０は、カラー信号を濃淡信号Trsへ変換することによって、白色レーンマークと、黄色レーンマーク部分の信号強度を強くする。色信号変換手段２１の入力信号は、撮像装置１０により出力されるカラー信号（Comp1，Comp2，Comp3）であり、出力信号は単一の濃淡信号Trsである。後で、詳細に説明するが、本実施例における変換は、線形変換である。予め入力信号における白色と、黄色のレーンマークの分布状況を調査し、統計的に処理することによりレーンマーク部分を強調するような、変換行列を得る。
【００２１】
変換行列を、Ｗ＝（Ｗ_C1，Ｗ_C2，Ｗ_C3）とし、カラー信号を（Comp1，Comp2，Comp3）
としたとき、濃淡信号Trsは、
【数１】
Trs＝（Ｗ_C1，Ｗ_C2，Ｗ_C3）＊（Comp1，Comp2，Comp3）^t
＝Ｗ_C1・Comp1＋Ｗ_C2・Comp2＋Ｗ_C3・Comp3 …（１）
により、定義し１画素毎の変換を行う。
【００２２】
実際に分布状況を調査した際のグラフを図４、図５に示す。
図４は、白色レーンマークと、黄色レーンマークが混在するような路面を撮像したときの輝度成分（Ｙ成分）と、赤色成分（Ｒ成分）の濃淡値、分布特性の例を示す。黄色レーンマークの輝度は、白色レーンマークよりも低くなる傾向がある。また、黄色レーンマークは、Ｒ成分が強く現れるがレーンマーク以外の分布においても、Ｒ成分は輝度成分に比較し強い方へ推移する。そのため、輝度成分を、レーンマークの検出に用いると、白色レーンマークを抽出する場合に用いる閾値では、黄色レーンマークが欠落する可能性があり、黄色レーンマークを欠落させないような閾値とすると、雑音が大きくなる可能性がある。同様に、Ｒ成分のみに着目した閾値では、白色レーンマークも、黄色レーンマークも、同程度の強度で出現するが、レーンマーク以外の信号も出現し、レーンマーク以外の雑音が大きくなる可能性が出てくる。
【００２３】
次に図５にComp1-Comp2平面におけるレーンマークとレーンマーク以外の分布例を示す。Comp1軸と、Comp2軸では、共にレーンマークとレーンマーク以外の分布が重なっている。しかし、Trs軸では、レーンマークとレーンマーク以外の分布が重ならず分離度合いが高くなる。色空間において、レーンマークとレーンマーク以外の分布の距離ができるだけ離れるような、Trs軸を発見し、Trs軸での座標値を求めることにより、レーンマーク部分の信号強度を強調する効果が得られる。ここでは、Trsはカラー信号の線形変換
【数２】
Trs＝Ｗ＊（Comp1，Comp2，Comp3）^t…（２）
で得られるとし、変換行列を、Ｗ＝（Ｗ_C1，Ｗ_C2，Ｗ_C3）とする。
Trs軸は、「主成分分析」、「フィッシャーの線形判別」、「K-L展開」などを用いて、統計的な処理によって求めることができ、変換行列Ｗを得ることができる。
【００２４】
実際に、昼夜、晴雨などを含めた、さまざまなシーンから抽出した複数のサンプル分布を元に算出した結果変換式は、
【数３】
Trs＝（0.23，0.85，-0.47）＊（Ｒ，Ｇ，Ｂ）^t …（３）
の形で表された。この式を検証すると、明るさ成分に影響を与えるＧ成分（緑成分）の寄与が大きく、さらに、黄色レーンマークを構成するＲ成分が加えられている。また、舗装された路面の成分を構成するＢ成分（青成分）は、減ぜられ、レーンマークとレーンマーク以外の分離の度合いを強めることができるようになっている。
【００２５】
次に、他の発明によるレーンマーク強調変換手段の構成要素の概略を図３に示す。レーンマーク強調変換手段は、明るさ成分強度判定手段２３、変換係数設定手段２２、明るさ判定部と，色信号変換部から構成される。図２と同様に、カラー信号を入力とし、レーンマーク部分の信号を強調した単一の濃淡値を出力する。レーンマーク強調変換手段２０は、取得された画像を構成する画素の明るさ成分の強度に応じて変換係数を選択し、より、レーンマーク部分を強調するように変換できるようにした。ここで、画素の明るさ成分は、輝度信号（Ｙ＝0.3＊Ｒ＋0.59＊Ｇ＋0.11＊Ｂ）でもよいし、明度信号（Ｖ＝（Ｒ＋Ｇ＋Ｂ）／３）でもよい。また、他の明るさに相当する成分を用いても良い。カラー信号より算出しても良いし、予め、撮像装置１０より明るさ成分が得られる場合は、それをそのまま用いても良い。
【００２６】
この他の発明においては、レーンマークとレーンマーク以外の分布特性を詳細に調査した結果を用いている。例えば、明度信号（Ｒ＋Ｇ＋Ｂ）／３が、２５６階調で１５０以下では、色信号のバランスがほとんど変化ない。しかし、１５０以上になると、Ｒ成分に、色信号のバランスが変化する。この色成分の分布の偏りに着目し分布特性を詳細に調査し、変換係数を求めることにより、安定してレーンマークを強調できるようにした。本実施例では、明るさ成分を明度とし、閾値をＴＨｙ＝１５０とした場合閾値ＴＨｙ未満の場合の求められた変換式は、
【数４】
Trs＝（0.05，0.99，-0.02）＊（Ｒ，Ｇ，Ｂ）^t …（４）
の形で表される。この式を検証すると、明るさ成分に影響を与えるＧ成分の寄与が極端に大きい。
【００２７】
さらに、明るさ成分の強度が閾値ＴＨｙ以上の場合変換式は、
【数５】
Trs＝（0.39，0.79，-0.48）＊（Ｒ，Ｇ，Ｂ）^t …（５）
の形で表される。この式を検証すると、Ｒ成分を強くし，Ｂ成分を減ずる変換式となる。
【００２８】
このように、変換式を定めることにより、カラー信号を用いて、レーンマークを強調した単一の濃淡信号に変換することができるようになる。さらに、黄色レーンマークも白色レーンマークも同程度の信号強度に変換されると共に、道路面からの雑音を抑えることができるようになるので、レーンマーク抽出時における欠落を減ずることができ、レーンマーク抽出等における閾値設定も単一色濃淡信号であるため容易になる。
【００２９】
次に、レーンマーク強調変換装置における処理の手順を、図６のフローチャートに従い説明する。撮像装置１０において、取得されたカラー信号（Comp1，Comp2，Comp3）は、信号線３０を介して、色信号変換手段２１に送られる。色信号変換手段２１においては、ステップ１００において、一旦、記憶手段５２に、画像が取り込まれる。次に、ステップ１０２において、画像を構成する第１番目の画素を注目画素とする。ステップ１０４において注目画素について式（３）により、カラー信号を、濃淡信号Trsに変換する。ステップ１０６において、取得画像の全ての画素についての変換が終了したか判断する。すべての画素について変換が終了していない場合は、ステップ１０８において、次の画素を注目画素とする。ステップ１０４から、ステップ１０８を繰り返すことにより、取得した画像に付いて、すべての画素を濃淡信号Trsに変換する。ステップ１１０において、濃淡画像として、信号線４０を介して出力装置５６へ出力する。上述した処理は、取得した１枚の画像についての処理であり、実際には連続して、画像を得ているので上述した処理を繰り返し行うことになる。
【００３０】
次に、他の発明についての処理の手順について、第１の発明と異なる部分について図７のフローチャートにより詳細に説明する。先ず、取得された画像の注目画素について、ステップ２０４において、明るさ成分強度判定手段２３において、注目画素の明るさ成分の強度を明度信号を演算し、ステップ２０６において、明るさ成分の強度が、一定の閾値THy１５０以上であるかどうか判定する。次に、ステップ２０８において、変換係数設定手段２２において、閾値THy以上である場合は、変換行列Ｗへ第１の変換係数Ｗ1を設定し、閾値THy未満である場合は、変換行列Ｗへ第２の変換係数Ｗ2を設定する。次に、ステップ２１０において、式（４）、式（５）によりカラー信号の変換を行う。ステップ２１２にいて、取得画像の全ての画素について変換が終了したか判定し、終了していない場合は、ステップ２１４において、次の画素を注目画素として、取得した画像の全ての画素について変換を行う。第１の発明と同様に、ステップ２１６により、濃淡画像を出力する。また、この処理は、取得した１枚の画像についての処理であり、実際には連続して、画像を得ているので上述した処理を繰り返し行うことになる。
【００３１】
さらに、他の発明では、カラー信号を詳細に調査することにより、明度信号の閾値を複数にし、変換係数も対応したものにすることにより、より良くレーンマークの強調を、行うことができるようになる。
【図面の簡単な説明】
【図１】本発明の装置の構成例のブッロク図。
【図２】本発明の、構成を示すブロック図。
【図３】他の発明の構成を示すブロック図。
【図４】信号強度の分布特性をあらわすグラフ。
【図５】入力信号のComp1-Comp2平面におけるレーンマークとレーンマーク以外の分布例の説明図。
【図６】本発明の処理手順を示したフローチャート。
【図７】他の発明の処理手順を示したフローチャート。
【符号の説明】
１０…撮像装置
２０…レーンマーク強調変換手段
２１…色信号変換手段
２２…変換係数設定手段
２３…明るさ成分強度判定手段
３０、４０…信号線
５０…制御装置
５１…ＣＰＵ
５２…記憶手段
５３…入出力インターフェイス
５４…外部記憶装置
５５…操作入力装置
５６…出力装置
５７…表示装置

Claims

車両周辺の路面の画像を取得し、前記路面画像を構成するカラー信号を出力する撮像装置と、
前記カラー画像をレーンマーク部分を強調した濃淡画像となるように、前記カラー信号を濃淡信号へ変換するレーンマーク強調変換手段を備え、
前記レーンマーク強調変換手段は、
所定の変換係数により、前記カラー信号を濃淡信号へ変換する色信号変換手段と、
前記カラー信号の明るさ成分強度を判定する明るさ成分強度判定手段と、
判定された明るさ成分強度が、設定された設定閾値以上であれば、前記変換係数として第１の変換係数を設定し、前記設定された閾値未満であれば、前記変換係数として第２の変換係数を設定する変換係数設定手段と
を有し、
前記変換係数は、
前記路面画像を構成するカラー信号の、色空間における白色又は黄色のレーンマークと、前記レーンマーク以外の分布状況を調査し、前記レーンマークと、それ以外の分布色空間において最も分離される軸を統計的に求めることにより決定された変換係数である
ことを特徴とするレーンマーク強調装置。
前記明るさ成分強度判定手段は、複数の設定閾値により、複数の明るさ成分強度に判定し、
前記変換係数設定手段は、前記変換係数として、判定された前記明るさ成分強度に対応した変換係数を設定することを特徴とする請求項１に記載のレーンマーク強調装置。