JP4556133B2

JP4556133B2 - 車両

Info

Publication number: JP4556133B2
Application number: JP2005208523A
Authority: JP
Inventors: 卓馬中森; 幸男小林; 友好青木; 直樹森
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-07-19
Filing date: 2005-07-19
Publication date: 2010-10-06
Anticipated expiration: 2025-07-19
Also published as: JP2007028279A

Description

本発明は、カメラ等の撮像手段を介して取得された道路の画像を処理して、道路のレーンマーク等の路面標示を検出する車両及び路面標示認識装置に関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して、走行している高速道路等の路面を撮像し、得られた画像を処理して道路上の白線等のレーンマークを検出する技術が提案されている（例えば特許文献１参照）。

特許文献１の車両用白線検出装置においては、車両に搭載したカメラで取得した走行路のモノクロ画像（白黒２値画像）を用いて、画像全領域にわたって２値データが明（白）から暗（黒）に変化するエッジ点（正エッジ点）と、２値データが暗（黒）から明（白）に変化するエッジ点（負エッジ点）とを抽出する。そして、正エッジ点と負エッジ点とを別々にハフ変換して、それぞれのハフ変換の結果を組み合わせて、白線を検出する。

さらに、路面標示（レーンマークや道路標示）には、白線以外に、例えば黄線が用いられる場合もある。このような場合には、モノクロ画像から路面標示を精度良く検出することは困難である。このため、カラー画像を用いて路面標示を検出する技術が提案されている（例えば特許文献２参照）。

ここで、路面の照射状態は、路面を照射する光源や道路周辺の環境により、様々に変化する。そして、このように照射状態が異なっている路面を同じ露出量によりカメラで撮像すると、照射状態によっては、画像処理によって路面標示を検出することが困難になる場合がある。例えば、路面が全体的に暗く、撮像した画像のコントラストが低くなったときには、撮像した画像における道路の白線部分と白線の周囲部分との明暗の差が小さくなるため、画像処理によって白線を検出することが困難になる。このため、道路を撮像する際に、カメラの露出量を、路面の全体的な明るさに応じて、画像のコントラストが所定レベルとなるように調整して、照射状態の変化による路面の明るさの変動の影響を低減することが考えられる。

この場合、例えば、道路の白線部分と白線の周囲部分とは明るいがそれ以外の部分は暗いときにも、画像の全体的なコントラストが所定レベルとなるように露出量の調整が行われる。そして、画像全体に占める白線部分の割合は極めて小さいため、露出量の調整は、主として白線部分以外の暗い部分についてのコントラストが所定レベルとなるように行われる。その結果、元々明るかった白線部分と白線の周囲部分とについては露出量が過剰となり、画像における白線部分と白線の周囲部分とのいずれもの信号が飽和する。このため、白線部分と白線の周囲部分との区別が困難になり、画像処理によって白線を適切に検出することが困難になるという不都合がある。

さらに、カラー画像を用いて路面の黄線を検出する際に、例えば、黒い路面に白線と黄線とが配置されているときには、白線部分と黄線部分とはいずれも明るく、それ以外の路面部分は暗い状態にある。このような状態で、画像の全体的なコントラストが所定レベルとなるように露出量の調整を行うと、露出量の調整は、主として暗い路面部分についてのコントラストが所定レベルとなるように行われる。その結果、黄線部分の信号が飽和して色情報が失われ、画像処理によって黄線を白線と区別して検出することが困難になるという不都合がある。
特開平１１−８５９９９号公報特許第３３３３４６８号公報

本発明は、かかる不都合を解消し、道路の照射状態が項となる場合でも、カメラ等の撮像手段を介して取得された道路の画像から、レーンマーク等の路面標示を精度良く検出することができる車両を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の第１態様の車両は、露出量を調整可能であって、カラー画像を取得する撮像手段と、前記撮像手段を介して道路の画像を取得する画像取得手段と、所定の制御サイクル毎に前記画像取得手段により道路の画像を取得し、該画像から該道路の路面標示を検出する路面標示検出手段と、前記画像内で前記路面標示が含まれる領域である路面標示領域を特定する領域特定手段と、前記画像の前記路面標示領域の信号が、該信号の出力範囲内で設定された所定レベル以上であるときには、該信号が飽和していると判定する飽和判定手段と、所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されたときには、次の制御サイクルにおける前記撮像手段の露出量を、前記所定露出量よりも減少させる露出量制御手段とを有し、前記路面標示検出手段は、路面標示を検出して、該路面標示の位置情報と、該路面標示の白、黄、その他のいずれかに分類される色情報と、該路面表示の線形又は反射型に分類される種別情報とを特定するものであり、前記領域特定手段は、所定時点の制御サイクルにおいて、前記路面標示検出手段により路面標示が検出されたときに、該検出された路面標示の位置情報に基づいて、該制御サイクルで前記画像取得手段により取得された画像の前記路面標示領域を特定すると共に、該検出された路面標示に反射型の路面標示が含まれているときには、該反射型の路面標示が占める領域を除いて、該制御サイクルで前記画像取得手段により取得された画像の前記路面標示領域を特定することを特徴とする。

前記本発明の第１態様の車両によれば、前記領域特定手段は、前記画像内で前記路面標示が含まれる領域である路面標示領域を特定し、前記飽和判定手段は、前記画像の前記路面標示領域の信号が、該信号の出力範囲内で設定された所定レベル以上であるときには、該信号が飽和していると判定する。ここで、路面の照射状態によっては、所定露出量で撮像した画像内の路面標示領域の信号が飽和する場合がある。そして、路面標示領域の信号が飽和しているときには、画像の路面標示とその周囲部分との信号のレベル差がなくなるため、路面標示を検出することが困難となる。そこで、前記露出量制御手段は、所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定された場合には、次の制御サイクルにおける前記撮像手段の露出量を、該所定露出量よりも減少させる。

このように、所定時点の制御サイクルにおいて路面標示領域の信号が飽和していると判定されたときに、次の制御サイクルにおける露出量を減少させることで、次の制御サイクルで再び路面標示領域の信号の飽和が生じることを回避することができる。よって、例えば、画像における路面標示領域に含まれる白線部分と白線の周囲部分とのいずれもの信号が飽和することを回避することができる。このため、次の制御サイクルにおいては、飽和が生じていない路面標示領域内の画像のデータから、前記路面標示検出手段により、道路の路面標示を検出することができる。よって、道路の照射状態が異なる場合でも、路面標示を精度良く検出することができる。

さらに、カラー画像を用いて所定色（黄色等）の路面標示を検出する際に、例えば、路面標示（白線及び黄線）部分の信号が飽和しているため、路面標示領域の信号が飽和しているときには、画像の白線部分と黄線部分との信号のレベル差がなくなるため、黄線を白線と区別して検出することが困難となる。このとき、前記露出量制御手段により、所定時点の制御サイクルにおける路面標示領域の信号の飽和を判定し、次の制御サイクルにおける露出量を減少させることで、次の制御サイクルで再び白線部分と黄線部分との信号が飽和することを回避することができる。このため、次の制御サイクルにおいては、飽和が生じていない路面標示領域内の画像のデータから、前記路面標示検出手段により、所定色の路面標示を適切に検出することができる。
また、前記領域特定手段は、前記検出された路面標示の位置情報に基づいて、前記画像内の前記路面標示領域を特定するので、路面標示の検出結果から特定される、実際の路面における路面標示の位置に基づいて、適切に前記路面標示領域を特定することができる。
さらに、前記路面標示検出手段は、前記路面表示の位置情報に加えて、該路面標示の種別を特定する。ここで、路面標示の種別には、白線や黄線の他に、リフレクター等の反射率の高い種別のものがある。そして、白線や黄線と共に、リフレクター等の種別の路面標示が配置された路面を撮像すると、画像内のリフレクター等の反射部分が飽和していることが考えられる。このとき、反射部分を含めて飽和の有無を判定し、露出量を調整すると、路面標示領域における反射部分の影響により露出量が大幅に減少して、反射部分以外の部分が全体的に暗くなり、白線や黄線といった他の種別の路面表示の検出が困難になる場合がある。そこで、前記領域特定手段は、前記検出された路面標示が所定の種別の路面標示であるときには、該所定の種別の路面標示が占める領域を除いて、前記画像の前記路面標示領域を特定する。これにより、飽和の判定や目標露出量の算出を行う際に、前記所定の種別の路面標示（リフレクター等）の影響を排除することができる。

次に、本発明の第２態様の車両は、露出量を調整可能であって、カラー画像を取得する撮像手段と、前記撮像手段を介して道路の画像を取得する画像取得手段と、所定の制御サイクル毎に前記画像取得手段により道路の画像を取得し、該画像から該道路の路面標示を検出する路面標示検出手段と、前記画像内で前記路面標示が含まれる領域である路面標示領域を特定する領域特定手段と、前記画像の前記路面標示領域の信号が、該信号の出力範囲内で設定された所定レベル以上であるときには、該信号が飽和していると判定する飽和判定手段と、所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、該所定露出量と、該画像の前記路面標示領域内の各画素データの輝度値のうちの最大値と最小値との差との対応関係に基づいて、次の制御サイクルにおいて前記画像取得手段により取得される画像の前記路面標示領域内の各画素データの輝度値のうちの最大値と最小値との差を、所定の目標値とするための前記撮像手段の露出量である目標露出量を算出する露出量算出手段と、所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されたときは、次の制御サイクルにおける前記撮像手段の露出量を前記所定露出量よりも減少させ、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されなかったときには、次の制御サイクルにおける前記撮像手段の露出量を該所定時点の制御サイクルで前記露出量算出手段により算出された前記目標露出量とする露出量制御手段とを有し、前記路面標示検出手段は、路面標示を検出して、該路面標示の位置情報と、該路面標示の白、黄、その他のいずれかに分類される色情報と、該路面表示の線形又は反射型に分類される種別情報とを特定するものであり、前記領域特定手段は、所定時点の制御サイクルにおいて、前記路面標示検出手段により路面標示が検出されたときに、該検出された路面標示の位置情報に基づいて、該制御サイクルで前記画像取得手段により取得された画像の前記路面標示領域を特定すると共に、該検出された路面標示に反射型の路面標示が含まれているときには、該反射型の路面標示が占める領域を除いて、該制御サイクルで前記画像取得手段により取得された画像の前記路面標示領域を特定することを特徴とする。

前記本発明の第２態様の車両によれば、前記第１態様の車両と同様に、前記領域特定手段は、前記画像内で前記路面標示が含まれる領域である路面標示領域を特定し、前記飽和判定手段は、前記画像の前記路面標示領域の信号が、該信号の出力範囲内で設定された所定レベル以上であるときには、該信号が飽和していると判定する。ここで、路面の照射状態によっては、所定露出量で撮像した画像内の路面標示領域の信号が飽和する場合がある。そして、路面標示領域の信号が飽和しているときには、画像の路面標示とその周囲部分との信号のレベル差がなくなるため、路面標示を検出することが困難となる。そこで、前記露出量制御手段は、所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定された場合には、次の制御サイクルにおける前記撮像手段の露出量を、前記所定露出量よりも減少させる。

さらに、カラー画像を用いて所定色（黄色等）の路面標示を検出する際に、例えば、路面標示（白線及び黄線）部分の信号が飽和しているため、路面標示領域の信号が飽和しているときには、画像の白線部分と黄線部分との信号のレベル差がなくなるため、黄線を白線と区別して検出することが困難となる。このとき、前記露出量制御手段により、所定時点の制御サイクルにおける路面標示領域の信号の飽和を判定し、次の制御サイクルにおける露出量を減少させることで、次の制御サイクルで再び白線部分と黄線部分との信号が飽和することを回避することができる。このため、次の制御サイクルにおいては、飽和が生じていない路面標示領域内の画像のデータから、前記路面標示検出手段により、所定色の路面標示を適切に検出することができる。

さらに、第２態様の車両では、前記露出量算出手段は、所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、該所定露出量と、該画像の前記路面標示領域内の各画素データの輝度値のうちの最大値と最小値との差との対応関係に基づいて、次の制御サイクルにおいて前記画像取得手段により取得される画像の前記路面標示領域内の各画素データの輝度値のうちの最大値と最小値との差を、所定の目標値とするための前記撮像手段の露出量である目標露出量を算出する。そして、前記露出量制御手段は、所定時点の制御サイクルにおいて、該制御サイクルで露出量を所定露出量として取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されなかった場合には、次の制御サイクルにおける前記撮像手段の露出量を該所定時点の制御サイクルで前記露出量算出手段により算出された前記目標露出量とする。

これにより、次の制御サイクルにおいて道路を撮像する際の露出量を、路面標示領域における画像のコントラストが所定レベルとなるように調整して、路面の照射状態の変化による明るさの変動の影響を低減することができる。そして、次の制御サイクルにおいて、このように調整された前記撮像手段を介して取得した道路の画像から前記道路の路面標示を検出することで、道路の照射状態が異なる場合でも、路面標示をより精度良く検出することができる。
また、前記領域特定手段は、前記検出された路面標示の位置情報に基づいて、前記画像内の前記路面標示領域を特定するので、路面標示の検出結果から特定される、実際の路面における路面標示の位置に基づいて、適切に前記路面標示領域を特定することができる。
さらに、前記路面標示検出手段は、前記路面表示の位置情報に加えて、該路面標示の種別を特定する。ここで、路面標示の種別には、白線や黄線の他に、リフレクター等の反射率の高い種別のものがある。そして、白線や黄線と共に、リフレクター等の種別の路面標示が配置された路面を撮像すると、画像内のリフレクター等の反射部分が飽和していることが考えられる。このとき、反射部分を含めて飽和の有無を判定し、露出量を調整すると、路面標示領域における反射部分の影響により露出量が大幅に減少して、反射部分以外の部分が全体的に暗くなり、白線や黄線といった他の種別の路面表示の検出が困難になる場合がある。そこで、前記領域特定手段は、前記検出された路面標示が所定の種別の路面標示であるときには、該所定の種別の路面標示が占める領域を除いて、前記画像の前記路面標示領域を特定する。これにより、飽和の判定や目標露出量の算出を行う際に、前記所定の種別の路面標示（リフレクター等）の影響を排除することができる。

また、前記第１態様及び第２態様の車両において、前記撮像手段は、シャッタースピードを変更して露出量を調整するものであり、前記露出量制御手段は、所定時点の制御サイクルにおいて、所定露出量に応じたシャッタースピードで取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されたときに、次の制御サイクルにおける前記撮像手段のシャッタースピードを、該所定露出量に応じたシャッタースピードよりも減少させて、該撮像手段の露出量を減少させることを特徴とする。

これによれば、前記露出量制御手段は、所定時点の制御サイクルにおいて、所定露出量に応じたシャッタースピードで取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されたときに、次の制御サイクルにおける前記撮像手段のシャッタースピードを、該所定露出量に応じたシャッタースピードよりも減少させて、該撮像手段の露出量を減少させる。ここで、撮像手段の露出量は、一般的に、シャッタースピードや絞りの調整によって調整されるものである。特に、シャッタースピードは、絞りのように調整するための機構を必要としないので、露出量の調整を簡単に行うことができる。

また、前記本発明の車両において、前記飽和判定手段は、前記画像の路面標示領域の信号が飽和しているか否かを判定する際に、該路面標示領域における各画素データの輝度値の全体的なレベルが、所定の閾値以上であるときには、該信号が前記所定レベル以上であると判断することを特徴とする。

これによれば、前記路面標示領域における各画素データの輝度値の全体的なレベルが、所定の閾値以上であるときには、前記画像の路面標示領域の信号が飽和していると判定される。このとき、前記輝度値の全体的なレベルは、前記路面標示領域における輝度値の傾向を代表する値であるので、画素データのノイズ等の影響を排除して、前記路面表示領域が飽和していることを明確に把握することができる。なお、前記画像はカラー画像であってもよい。この場合には、画像の各画素データの輝度値は、例えば、該画像の各画素データのカラー成分から算出することができる。

または、前記本発明の車両において、前記カラー画像の各画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値からなり、前記飽和判定手段は、前記画像の路面標示領域の信号が飽和しているか否かを判定する際に、該路面標示領域における全体的なＲ値のレベルと、該路面標示領域における全体的なＧ値のレベルと、該路面標示領域における全体的なＢ値のレベルとのうちの少なくとも１つが、所定の閾値以上であるときには、該信号が前記所定レベル以上であると判断することを特徴とする。

これによれば、前記路面標示領域における全体的なＲ値のレベルと、前記路面標示領域における全体的なＧ値のレベルと、前記路面標示領域における全体的なＢ値のレベルとのうちの少なくとも１つが、所定の閾値以上であるときには、飽和していると判定される。このとき、前記路面標示領域における輝度値が飽和しているときには、前記路面標示領域におけるＲ値、Ｇ値、Ｂ値のうちの少なくとも１つは飽和していると考えられるので、前記輝度値を用いる場合と同様に、前記Ｒ値、Ｇ値、Ｂ値の全体的なレベルを用いて、前記路面標示領域の信号が飽和していることを明確に把握することができる。

本発明の一実施形態を添付の図面を参照して説明する。図１は、本実施形態による路面標示認識装置の機能ブロック図であり、図２は、図１の路面標示認識装置における路面標示認識処理のフローチャートであり、図３（ａ），（ｂ）は、図１の路面標示認識装置における路面標示認識処理の処理画像の例示図であり、図４（ａ），（ｂ）は図１の路面標示認識装置における路面標示認識処理の処理画像の路面標示領域の例示図である。なお、本実施形態は、本発明の第２態様に対応する実施形態である。

図１を参照して、路面標示認識装置１は、マイクロコンピュータ等により構成された電子ユニットであり、シャッタースピードを調整可能なカラービデオカメラ２を介して道路のカラー画像を取得する画像取得手段３と、取得したカラー画像から道路のレーンマークを検出する路面標示検出手段４とを備える。さらに、路面標示認識装置１は、カラー画像内の路面標示領域を特定する領域特定手段５と、カラー画像内の路面標示領域の信号が飽和しているか否かを判定する飽和判定手段６と、カラービデオカメラ２の目標シャッタースピードを算出する露出量算出手段７と、飽和の判定の結果及び算出された目標シャッタースピードに基づいて、カラービデオカメラ２のシャッタースピードを調整する露出量制御手段８とを備えて、車両９に搭載される。

カラービデオカメラ２（ＣＣＤカメラ等、本発明の撮像手段）は、車両のフロント部分に取り付けられて車両の前方の画像を撮像し、映像信号を出力する。また、カラービデオカメラ２は、シャッタースピードが調整可能であり、シャッタースピードを変更することにより露出量が調整される。なお、カラービデオカメラ２と路面標示認識装置1とを備えることにより、本発明の車両９が構成される。

画像取得手段３は、カラービデオカメラ２から出力される映像信号から、画素データにより構成されるカラー画像を取得する。このとき、画素データのカラー成分は、Ｒ値，Ｇ値，Ｂ値で構成されている。

路面標示検出手段４は、所定の制御サイクル毎に画像取得手段３により道路のカラー画像を取得し、該カラー画像から該道路のレーンマーク（本発明の路面標示に相当する）を検出する。レーンマークを検出する手法としては、特許文献１又は特許文献２に記載されているような一般的な手法を用いることができる。そして、路面標示検出手段４は、レーンマークが検出されたときには、検出結果として、レーンマークの位置情報と、色情報と、種別情報とを出力する。なお、本実施形態では、道路上に設けられているレーンマークは、白線、黄線、リフレクターのいずれかであるとする。そして、レーンマークの色情報は、「白」「黄」「その他」のいずれかに分類され、レーンマークの種別情報は、「線型」「反射型」に分類される。また、レーンマークの位置情報は、レーンマークを示す点の点列の座標データである。

領域特定手段５は、画像取得手段３により取得された道路のカラー画像内の、レーンマークが含まれる領域である路面標示領域を特定する。このとき、領域特定手段５は、各制御サイクルにおいて、該制御サイクルで画像取得手段３により取得されたカラー画像について、路面標示検出手段４によりレーンマークが検出されたときは、検出されたレーンマークの位置情報と種別情報とに基づいて、該制御サイクルで画像取得手段３により取得されたカラー画像の路面標示領域を特定する。

また、領域特定手段５は、画像取得手段３により取得されたカラー画像について、路面標示検出手段４によりレーンマークが検出されないときは、カラー画像内でレーンマークが含まれると想定して予め定められた領域を路面標示領域として特定する。前記予め定められた領域は、例えば、道路規格で定められている車線幅やカラービデオカメラ２の取り付け位置等に基づいて、車両がレーンマークで規定された車線の中心付近を走行していると想定して定められる。

飽和判定手段６は、領域特定手段５により特定された路面標示領域内の各画素データから、路面標示領域におけるＲ値の最大値と、該路面標示領域におけるＧ値の最大値と、該路面標示領域におけるＢ値の最大値とを求める。そして、飽和判定手段６は、Ｒ値の最大値と、Ｇ値の最大値と、Ｂ値の最大値とのうちの少なくとも１つが、Ｒ値，Ｇ値，Ｂ値の出力範囲内で設定された所定の閾値以上であるときは、路面標示領域における信号が飽和していると判定し、それ以外のときには、該信号が飽和していないと判定する。

露出量算出手段７は、各制御サイクルにおいて、所定シャッタースピードと、領域特定手段４により特定された路面標示領域とを入力する。そして、露出量算出手段７は、前記路面標示領域における信号が、飽和判定手段６により飽和していると判定されなかったときには、予め設定されたシャッタースピードと、路面標示領域内の各画素データの輝度値Ｙのうちの最大値と最小値との差との対応関係に基づいて、次の制御サイクルにおける目標シャッタースピードを算出する。

露出量制御手段８は、各制御サイクルにおいて、飽和判定手段６による飽和の判定の結果と、露出量算出手段７により算出される前記目標シャッタースピードとに基づいて、次の制御サイクルにおけるカラービデオカメラ２のシャッタースピードを調整する。

次に、本実施形態の路面標示認識装置１の作動（路面標示認識処理）を、図２に示したフローチャートに従って説明する。なお、以下では、図３（ａ）に示したように、道路のカラー画像内に、車両が走行している車線の左側を規定する破断した白線Ａ０と、車線の右側を規定する黄線Ａ１が存在する場合と、図３（ｂ）に示したように、車両が走行している車線の左側を規定する破断した白線Ａ０と、車線の右側を規定する黄線Ａ１が存在し、白線Ａ０の破断した端部にリフレクターＡ２が設けられている場合とについて説明する。

図２を参照して、路面標示認識装置１は、所定の制御サイクル毎に、ＳＴＥＰ００１〜ＳＴＥＰ００７の処理を繰り返して、路面標示認識処理を実行する。まず、所定時点の制御サイクルCycle０において、画像取得手段３は、カラービデオカメラ２から出力される、所定シャッタースピードＶ０で撮像された道路の画像の映像信号から、各画素データがＲ値，Ｇ値，Ｂ値で構成されたカラー画像Ｉ０を取得する（ＳＴＥＰ００１）。

次に、ＳＴＥＰ００２で、路面標示検出手段４は、画像取得手段３により取得されたカラー画像Ｉ０に対して、レーンマークを検出する処理を行う。そして、路面標示検出手段４は、検出されたレーンマークの位置情報と、色情報と、種別情報とを特定する。

例えば、図３（ａ）の場合は、レーンマークＡ０，Ａ１がそれぞれ検出される。このとき、レーンマークＡ０，Ａ１の部分の信号が飽和しており、レーンマークＡ０，Ａ１の位置及び種別は特定できているが、レーンマークＡ０，Ａ１の色の区別ができず、両方とも白線と検出されている。よって、レーンマークＡ０，Ａ１の位置情報には、それぞれの点列の座標データが設定され、レーンマークＡ０，Ａ１の種別情報には「線型」が設定され、レーンマークＡ０，Ａ１の色情報には「白」が設定される。

また、例えば、図３（ｂ）の場合は、レーンマークＡ０，Ａ１，Ａ２がそれぞれ検出される。このとき、レーンマークＡ０，Ａ１の部分の信号は飽和せず、レーンマークＡ２（リフレクター）の信号は、反射部分が飽和している。レーンマークＡ０，Ａ１，Ａ２の位置情報には、それぞれの点列の座標データが設定される。レーンマークＡ０，Ａ１の種別情報には「線型」が設定され、レーンマークＡ２の種別情報には「反射型」が設定される。また、レーンマークＡ０の色情報には「白」が設定され、レーンマークＡ１の色情報には「黄」が設定され、レーンマークＡ２の色情報には「その他」が設定される。

次に、ＳＴＥＰ００３で、領域特定手段５は、カラー画像Ｉ０中のレーンマークが含まれている領域である路面標示領域を特定する。まず、領域特定手段５は、路面標示検出手段４によってレーンマークが検出されたか否かを確認する。レーンマークが検出されていた場合には、検出されたレーンマークの位置情報と種別情報とに基づいて、路面標示領域を特定する。このとき、領域特定手段５は、種別情報が「反射型」以外の各レーンマークの位置情報に基づいて、各レーンマークが含まれている領域（各レーンマークの占める領域及びその周囲領域）をそれぞれ特定する。また、領域特定手段５は、種別情報が「反射型」の各レーンマークの位置情報に基づいて、各レーンマークの占める領域をそれぞれ特定する。そして、領域特定手段５は、「反射型」以外の各レーンマークが含まれている領域を全て合わせた領域から、「反射型」の各レーンマークの占める領域を全て除いた領域を、路面標示領域として特定する。

例えば、図３（ａ）の場合は、図４（ａ）に示したように、レーンマークＡ０が含まれている領域（実線αで囲まれる領域）と、レーンマークＡ１が含まれている領域（実線βで囲まれる領域）とを合わせた領域が、路面標示領域Ａ３として特定される。

また、例えば、図３（ｂ）の場合は、図４（ｂ）に示したように、レーンマークＡ０が含まれている領域（実線αで囲まれる領域）からレーンマークＡ２の占める領域を除いた領域と、レーンマークＡ１が含まれている領域（実線βで囲まれる領域）とを合わせた領域が、路面標示領域Ａ４として特定される。これにより、飽和の判定や目標露出量の算出を行う際に、反射部分が飽和しており、他の種別の路面標示の検出を困難にさせるリフレクターＡ２の影響を排除することができる。

次に、ＳＴＥＰ００４で、飽和判定手段６は、領域特定手段５により特定された路面標示領域の信号が飽和しているか否かを判定する。まず、飽和判定手段６は、路面標示領域内の各画素データのＲ値，Ｇ値，Ｂ値の最大値Ｒmax，Ｇmax，Ｂmaxを求める。ここで、最大値Ｒmax，Ｇmax，Ｂmaxは、路面標示領域内のＲ値、Ｇ値、Ｂ値の全体的なレベルを示す値である。次に、飽和判定手段６は、最大値Ｒmax，Ｇmax，Ｂmaxが、それぞれ、所定の閾値以上であるかを判定する。所定の閾値は、例えば、信号が８ｂｉｔ（Ｒ値、Ｇ値、Ｂ値の出力範囲が０〜２５５）の場合、信号の最大値２５５の９５％の２４３とする。そして、飽和判定手段６は、最大値Ｒmax，Ｇmax，Ｂmaxの少なくともいずれかが前記閾値以上である場合には、路面標示領域の信号が飽和していると判定する。

例えば、図４（ａ）に示したように、レーンマークＡ０，Ａ１の部分の信号が飽和している場合には、レーンマークＡ０，Ａ１内の画素データに、前記閾値以上となる最大値Ｒmax，Ｇmax，Ｂmaxの少なくともいずれかが含まれることになるので、路面標示領域Ａ３の信号は飽和していると判定される。また、図４（ｂ）に示したような場合には、リフレクターＡ２の占める領域の画素データのＲ値，Ｇ値，Ｂ値のいずれかが前記閾値以上となる場合がある。しかし、路面標示領域Ａ４は、リフレクターＡ２の領域を除いて特定されており、レーンマークＡ０，Ａ１及びその周囲領域の画素データの最大値Ｒmax，Ｇmax，Ｂmaxはいずれも前記閾値より小さいので、路面標示領域Ａ４の信号は飽和していないと判定される。

ＳＴＥＰ００４の判定の結果、路面標示領域の信号が飽和していると判定された場合、ＳＴＥＰ００５に進み、露出量制御手段８は、次の制御サイクルCycle１におけるカラービデオカメラ２のシャッタースピードＶ０（次回シャッタースピード）を、今回の制御サイクルCycle０におけるシャッタースピードＶ０からａだけ減少させた値に設定する。前記ａは、例えば、Cycle０におけるシャッタースピードＶ０の所定の割合とする。これにより、次の制御サイクルCycle１において道路を撮像する際のカラービデオカメラ２の露出量が減少され、次の制御サイクルCycle１で再び路面標示領域の信号の飽和が生じることを回避することができる。例えば、図４（ａ）に示したような場合には、路面標示領域Ａ３は飽和していると判定されているので、次回シャッタースピードには、所定シャッタースピードＶ０からａだけ減少させた値が設定される。そして、制御サイクルCycle０の処理が終了され、ＳＴＥＰ００１に戻る。

ＳＴＥＰ００４の判定の結果、路面標示領域の信号が飽和していないと判定された場合は、ＳＴＥＰ００６に進み、露出量算出手段７は、カラービデオカメラ２の目標シャッタースピードＶ１を算出する。まず、露出量算出手段７は、所定シャッタースピードＶ０と、領域特定手段４により特定された路面標示領域を入力する。そして、露出量算出手段７は、前記路面標示領域内の各画素データの輝度値Ｙのうちの最大値Ｙmaxと最小値Ｙminを算出する。輝度値Ｙは、Ｙ＝α×Ｒ＋β×Ｇ＋γ×Ｂにより算出される。ここで、α、β、γは、α＋β＋γ＝１となるような所定の係数である。

そして、露出量算出手段７は、所定シャッタースピードＶ０と、最大値Ｙmaxと最小値Ｙminとの差との対応関係に基づいて、次の制御サイクルCycle１における目標シャッタースピードＶ１を算出する。目標シャッタースピードＶ１は、次の制御サイクルCycle１における画像取得手段２により取得されるカラー画像Ｉ０の路面標示領域内の各画素データの輝度値Ｙのうちの最大値Ｙmaxと最小値Ｙminとの差を、所定の目標値とするための値である。また、前記対応関係は、例えば、目標シャッタースピードＶ１を、最大値Ｙmaxと最小値Ｙminとの差が小さいほど所定シャッタースピードＶ０より大きくするように、予め与えられている。

そして、ＳＴＥＰ００７で、露出量制御手段５は、次の制御サイクルCycle１におけるカラービデオカメラ２のシャッタースピードＶ０（次回シャッタースピード）を、算出した目標シャッタースピードＶ１に設定する。例えば、図４（ｂ）に示したような場合には、路面標示領域Ａ４は飽和していないと判定されているので、次回シャッタースピードに目標シャッタースピードＶ１が設定される。これにより、次の制御サイクルにおいて道路を撮像する際のカラービデオカメラ２の露出量を、路面標示領域における画像のコントラストが所定レベルとなるように調整して、路面の照射状態の変化による明るさの変動の影響を低減することができる。そして、制御サイクルCycle０の処理が終了され、ＳＴＥＰ００１に戻る。

次の制御サイクルCycle１においては、ＳＴＥＰ００１で、シャッタースピードＶ０でカラービデオカメラ２により、車両の前方の道路が撮像され、画像取得手段３により、道路のカラー画像Ｉ０が取得される。そして、ＳＴＥＰ００２で、路面標示検出手段４は、レーンマークＡ１，Ａ２，Ａ３を検出する処理を実行する。

このとき、制御サイクルCycle０とCycle１との時間の差は短く、Cycle１における路面の照射状態は、Cycle０における路面の照射状態と大きな変化はないと想定できる。そのため、制御サイクルCycle０で路面標示領域が飽和していたときは、制御サイクルCycle０のＳＴＥＰ００５で設定したシャッタースピードＶ０で路面を撮像することで、制御サイクルCycle１で再び路面標示領域の信号の飽和が生じることを回避することができる。また、制御サイクルCycle０で路面標示領域が飽和していなかったときは、制御サイクルCycle０のＳＴＥＰ００７で設定したシャッタースピードＶ０で路面を撮像することで、制御サイクルCycle１で取得する画像における、路面の照射状態の変化による明るさの変動の影響を低減することができる。

例えば、図３（ａ）の場合には、制御サイクルCycle１においては、制御サイクルCycle０のシャッタースピードＶ０よりもａだけ減少させたシャッタースピードで撮像されているので、制御サイクルCycle１で取得されたカラー画像Ｉ０では、レーンマークＡ０，Ａ１の部分の信号が飽和しないものとなる。よって、路面標示検出手段４により、白線Ａ０及び黄線Ａ１の色情報を適切に特定することができる。

また、図３（ｂ）の場合には、制御サイクルCycle１においては、路面標示領域における画像のコントラストを所定レベルとするようなシャッタースピードで撮像されているので、制御サイクルCycle１で取得されたカラー画像Ｉ０では、レーンマークＡ０，Ａ１とその周囲領域との明暗の差が適切になる。よって、白線Ａ０及び黄線Ａ１の位置情報をより精度良く特定することができる。

以上の処理により、道路の照射状態が異なる場合でも、カラービデオカメラ２により取得された道路のカラー画像から、レーンマークＡ０，Ａ１，Ａ２を精度良く検出することができる。

なお、本実施形態では、露出量算出手段７を備え、予め設定されたシャッタースピードＶ０と、路面標示領域内の各画素データの輝度値Ｙのうちの最大値と最小値との差との対応関係に基づいて、次の制御サイクルにおける目標シャッタースピードを算出しているが、露出量算出手段７の代わりに、路面標示領域の信号が飽和していない場合のシャッタースピードを、他の手法により与える手段を備えるものとすることも可能である（これは本発明の第１態様に対応する）。

また、本実施形態において、露出量制御手段８は、カラービデオカメラ２のシャッタースピードを変更することにより露出量を調整しているが、絞りを調整する機能を有したカメラを用いて、シャッタースピードの代わりに、絞りを変更することにより露出量を調整してもよい。

また、本実施形態において、飽和判定手段６は、信号が飽和しているか否かを判定する際に、路面標示領域内のＲ値，Ｇ値，Ｂ値を用いる代わりに、輝度値Ｙを用いてもよい。

また、本実施形態において、飽和の判定及び目標シャッタースピードの算出を行う際に、輝度値Ｙを、Ｒ値，Ｇ値，Ｂ値のうちの最大値Ｍａｘ、最小値Ｍｉｎを用いて、Ｙ＝（Ｍａｘ＋Ｍｉｎ）／２により算出してもよい。または、輝度値ＹとしてＧ値を用いてもよい。また、画像取得手段３は、画素データのカラー成分と共に、カラービデオカメラ２からのモノクロ信号の出力を画素データのモノクロ成分として取得するものとし、輝度値Ｙとして該モノクロ成分を用いるものとしてもよい。

また、本実施形態において、画像取得手段３は、画素データのカラー成分がＲ値，Ｇ値，Ｂ値で構成されるものとしているが、画素データのカラー成分として、ＣＭＹ出力を用いるものとしてもよい。この場合、Ｃ値，Ｍ値，Ｙ値に基づいて、飽和の判定及び目標シャッタースピードの算出が行われる。

また、本実施形態においては、路面標示として、白線，黄線，リフレクターを検出したが、Botts Dots（Nonretroreflective Raised Pavement Marker）等の他の種類のレーンマーク、道路標示等を検出対象とする場合にも、本発明の効果を得ることができる。

本実施形態による路面標示認識装置の機能ブロック図。図１の路面標示認識装置の路面標示認識処理を示すフローチャート。図１の路面標示認識装置の路面標示認識処理における処理画像の例示図。図１の路面標示認識装置の路面標示認識処理における処理画像の路面標示領域の例示図。

符号の説明

１…路面標示認識装置、２…カラービデオカメラ（撮像手段）、３…画像取得手段、４…路面標示検出手段、５…領域特定手段、６…飽和判定手段、７…露出量算出手段、８…露出量制御手段、９…車両。

Claims

露出量を調整可能であって、カラー画像を取得する撮像手段と、
前記撮像手段を介して道路の画像を取得する画像取得手段と、
所定の制御サイクル毎に前記画像取得手段により道路の画像を取得し、該画像から該道路の路面標示を検出する路面標示検出手段と、
前記画像内で前記路面標示が含まれる領域である路面標示領域を特定する領域特定手段と、
前記画像の前記路面標示領域の信号が、該信号の出力範囲内で設定された所定レベル以上であるときには、該信号が飽和していると判定する飽和判定手段と、
所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されたときには、次の制御サイクルにおける前記撮像手段の露出量を、前記所定露出量よりも減少させる露出量制御手段とを有し、
前記路面標示検出手段は、路面標示を検出して、該路面標示の位置情報と、該路面標示の白、黄、その他のいずれかに分類される色情報と、該路面表示の線形又は反射型に分類される種別情報とを特定するものであり、
前記領域特定手段は、所定時点の制御サイクルにおいて、前記路面標示検出手段により路面標示が検出されたときに、該検出された路面標示の位置情報に基づいて、該制御サイクルで前記画像取得手段により取得された画像の前記路面標示領域を特定すると共に、該検出された路面標示に反射型の路面標示が含まれているときには、該反射型の路面標示が占める領域を除いて、該制御サイクルで前記画像取得手段により取得された画像の前記路面標示領域を特定することを特徴とする車両。
露出量を調整可能であって、カラー画像を取得する撮像手段と、
前記撮像手段を介して道路の画像を取得する画像取得手段と、
所定の制御サイクル毎に前記画像取得手段により道路の画像を取得し、該画像から該道路の路面標示を検出する路面標示検出手段と、
前記画像内で前記路面標示が含まれる領域である路面標示領域を特定する領域特定手段と、
前記画像の前記路面標示領域の信号が、該信号の出力範囲内で設定された所定レベル以上であるときには、該信号が飽和していると判定する飽和判定手段と、
所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、該所定露出量と、該画像の前記路面標示領域内の各画素データの輝度値のうちの最大値と最小値との差との対応関係に基づいて、次の制御サイクルにおいて前記画像取得手段により取得される画像の前記路面標示領域内の各画素データの輝度値のうちの最大値と最小値との差を、所定の目標値とするための前記撮像手段の露出量である目標露出量を算出する露出量算出手段と、
所定時点の制御サイクルにおいて、該制御サイクルで前記撮像手段の露出量を所定露出量として取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されたときは、次の制御サイクルにおける前記撮像手段の露出量を前記所定露出量よりも減少させ、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されなかったときには、次の制御サイクルにおける前記撮像手段の露出量を該所定時点の制御サイクルで前記露出量算出手段により算出された前記目標露出量とする露出量制御手段とを有し、
前記路面標示検出手段は、路面標示を検出して、該路面標示の位置情報と、該路面標示の白、黄、その他のいずれかに分類される色情報と、該路面表示の線形又は反射型に分類される種別情報とを特定するものであり、
前記領域特定手段は、所定時点の制御サイクルにおいて、前記路面標示検出手段により路面標示が検出されたときに、該検出された路面標示の位置情報に基づいて、該制御サイクルで前記画像取得手段により取得された画像の前記路面標示領域を特定すると共に、該検出された路面標示に反射型の路面標示が含まれているときには、該反射型の路面標示が占める領域を除いて、該制御サイクルで前記画像取得手段により取得された画像の前記路面標示領域を特定することを特徴とする車両。
前記撮像手段は、シャッタースピードを変更して露出量を調整するものであり、
前記露出量制御手段は、所定時点の制御サイクルにおいて、所定露出量に応じたシャッタースピードで取得された画像について、前記飽和判定手段により該画像の前記路面標示領域の信号が飽和していると判定されたときに、次の制御サイクルにおける前記撮像手段のシャッタースピードを、該所定露出量に応じたシャッタースピードよりも減少させて、該撮像手段の露出量を減少させることを特徴とする請求項１又は請求項２記載の車両。
前記飽和判定手段は、前記画像の路面標示領域の信号が飽和しているか否かを判定する際に、該路面標示領域における各画素データの輝度値の全体的なレベルが、所定の閾値以上であるときには、該信号が前記所定レベル以上であると判断することを特徴とする請求項１から請求項３のうちいずれか１項記載の車両。
前記カラー画像の各画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値からなり、
前記飽和判定手段は、前記画像の路面標示領域の信号が飽和しているか否かを判定する際に、該路面標示領域における全体的なＲ値のレベルと、該路面標示領域における全体的なＧ値のレベルと、該路面標示領域における全体的なＢ値のレベルとのうちの少なくとも１つが、所定の閾値以上であるときには、該信号が前記所定レベル以上であると判断することを特徴とする請求項１から請求項４のうちいずれか１項記載の車両。