JP4525812B2 - 露出設定装置、露出設定プログラム、および画像処理装置 - Google Patents

Description

本発明は、撮像手段が撮像する際の露出を設定する露出設定装置、露出設定プログラム、および画像処理装置に関する。

従来、撮像画像を画像処理することによってエッジ成分（輝度や色彩が異なる領域の境界線）を検出する画像処理装置が広く知られている。このような画像処理装置には、撮像手段が撮像する際の露出を変更しながら、撮像手段に多数回（３回以上）撮像させるものがある（例えば、特許文献１参照）。

この画像処理装置では、撮像手段に多数回撮像させることによって撮像手段のダイナミックレンジを拡大することができるので、日向や日陰等、撮像画像中に明るさが異なる領域がある場合であっても良好にエッジ成分を検出することができる。
特開２００１−００５９６６号公報

しかしながら、上記画像処理装置では、撮像画像中の明るさが異なる領域エッジ成分を検出するために多数の撮像画像に対して画像処理を実施する必要があるため、画像処理の際の処理負荷が大きくなるという問題点があった。

そこで、このような問題点を鑑み、画像処理の際の処理負荷を極力軽減しつつ、良好にエッジ成分を検出するための技術を提供することを本発明の目的とする。

かかる目的を達成するために成された請求項１に記載の露出設定装置において、輝度検出手段は画像取得手段により取得された撮像画像内から複数の領域を抽出し、該抽出した各領域の輝度を検出する。そして、不適合エリア判定手段は、各領域の輝度に基づいて、各領域が不適合エリアであるか否かをそれぞれ判定する。

さらに、適応露出設定手段は、各領域の何れかが不適合エリアであると判定された場合、撮像手段が撮像する際の露出を不適合エリアの輝度に応じた露出である適応露出に設定する。なお、不適合エリアとは、露光の過不足を原因としてエッジ成分を検出できないと推定される領域を表す。

ここで、道路上に描画された白線や歩行者等のエッジ成分（輝度や色彩が異なる領域の境界線）を撮像画像から検出する場合、日向の領域と日陰の領域、トンネル内部の領域と外部の領域、といったように、概ね、明領域および暗領域の２種類の明るさを有する各領域からエッジ成分が検出できればよい。そして、撮像手段は既存の機能として、明領域および暗領域のうちの一方の領域を撮像するのに適した露出で撮像する機能を有する。よって、本発明のように、１回目の撮像の際に露出が合わなかった明領域または暗領域（つまり不適合エリア）を撮像するのに適した露出で再度撮像すれば、２回分の撮像画像のどちらかで全ての領域についてエッジ成分を検出できるように露出を合わせられることになる。

従って、このような露出設定装置によれば、２回分の撮像画像を画像処理するだけで撮像画像の全領域からエッジ成分を検出することができるように、撮像手段に撮像させることができる。よって、エッジ成分を検出する画像処理装置では、画像処理の際の処理負荷を極力軽減しつつ、良好にエッジ成分を検出することができる。

ところで、請求項１に記載の露出設定装置において、輝度検出手段が検出する各領域の輝度としては、例えば、各領域における中央部分の輝度、各領域において相対的に輝度が高い部位の輝度等を採用することができるが、請求項２に記載のように、各領域を構成する各画素の輝度平均値に基づく値を各領域の輝度として検出するようにしてもよい。

このような露出設定装置によれば、各領域の輝度として輝度平均値を用いるので、各領域内の輝度値のばらつきを平均化することができる。
また、請求項１または請求項２に記載の露出設定装置において、適応露出設定手段は、請求項３に記載のように、不適合エリア判定手段によって複数の領域が不適合エリアであると判定された場合、撮像手段が撮像する際の露出を、初回露出との差が最も大きくなる不適合エリアの輝度に応じた適応露出に設定するようにしてもよい。

このような露出設定装置によれば、最も露出が不適切だった領域を確実に撮像するための露出に適応露出を設定することができる。
さらに、請求項１〜請求項３の何れかに記載の露出設定装置において、撮像手段が初回露出による撮像と適応露出による撮像とを１周期とする作動を実施するよう構成されている場合には、請求項４に記載のように、輝度検出手段による各領域の輝度に応じて初回露出を設定する初回露出設定手段を備えていてもよい。

このような露出設定装置によれば、次の周期の際の初回露出を撮像画像の輝度に応じて適切に設定し直すことができる。具体的には例えば、各領域のうちの最も明るい領域に合わせて初回露出を設定することが考えられる。この場合、次周期の初回露出による撮像画像において、他の領域の輝度が撮像手段のダイナミックレンジを外れることがなくなるので、適応露出を設定し易くすることができる。

次に、上記目的を達成するための請求項５に記載のプログラムは、請求項１〜請求項４の何れかに記載の露出設定装置を構成する各手段をコンピュータにて実施するための露出設定プログラムであることを特徴としている。

このような露出設定プログラムによれば、少なくとも請求項１の露出設定装置と同様の効果を享受することができる。
また、上記目的を達成するために成された請求項６に記載の画像処理装置においては、第１撮像制御手段が予め設定された初回露出で撮像手段に撮像させ、露出設定手段が初回露出での撮像画像に基づいて次に前記撮像手段が撮像を行う際の露出である適応露出を設定する。そして、第２撮像制御手段が適応露出で撮像手段に撮像させ、エッジ検出手段が初回露出での撮像画像、および適応露出での撮像画像からエッジ成分を検出する。さらに、露出設定手段は、請求項１〜請求項４の何れかに記載の露出設定装置として構成されている。

このような画像処理装置によれば、露出設定手段が請求項１〜請求項４の何れかに記載の露出設定装置として構成されているので、適切にエッジ成分を検出可能な撮像画像を提供することができる。また、この撮像画像からエッジ成分を良好に検出することができる。

さらに、請求項６に記載の画像処理装置においては、請求項７に記載のように、エッジ成分の形状に基づいて道路上の白線または通行人を認識する認識手段を備えていてもよい。

このような画像処理装置によれば、エッジ成分を白線または通行人として認識することができる。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
図１は、本発明が適用された白線検出システム１（画像処理装置）の概略構成を示すブロック図である。白線検出システム１は、図１に示すように、制御部１０（露出設定装置）と、制御部１０に接続された前方カメラ１５（撮像手段）と、制御部１０に接続された他の制御装置２０と、を備えて構成されている。

制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のマイクロコンピュータとして構成されており、ＲＯＭに格納されたプログラム（露出設定プログラム）に基づいて、前方カメラ１５の露出を制御したり、前方カメラ１５による撮像画像からエッジ成分である白線（撮像画像中の白線の座標）を検出したりする。なお、制御部１０は、白線検出結果を他の制御装置２０に送信する。

前方カメラ１５は、自車両の前方が撮像範囲内に含まれるように自車両の前方に配置されている。前方カメラ１５は、撮像画像に適切なコントラストが得られるように、周囲の明るさ（例えば撮像画像全体の平均輝度）に応じて自身で露出を制御する機能、および制御部１０からの指示を受けて露出を制御する機能を有する。

ここで、露出とは、１枚の撮像画像を生成する際に前方カメラ１５を構成する撮像素子に照射される光の量を決定するパラメータであって、具体的には、前方カメラ１５の絞り、シャッタ開放時間（撮像素子への光の照射時間）、受光感度等に依存する。本実施形態において前方カメラ１５は、周囲の明るさに応じて露出を設定し、制御部１０からの指令を受けると、特にシャッタ開放時間を変更することによって指示通りに露出を制御するものとする。

次に、他の制御装置２０としては、例えば白線検出結果を利用して、自動的に車両を操舵する自動操舵装置や、車線逸脱を警告する警報装置等が該当する。なお、他の制御装置２０の構成は、白線等のエッジ成分の検出結果に応じてアクチュエータ等の他の制御対象を制御する制御装置であれば、実施の形態を問わない。

［本実施形態による処理］
このような白線検出システム１においては、前方カメラ１５による撮像画像から白線を検出する処理を実施する。この処理について図２を用いて説明する。図２は制御部１０が実行する白線検出処理を示すフローチャートである。

白線検出処理は、例えば図示しない車両の電源（イグニッションスイッチやアクセサリ電源等）がＯＮ状態にされると開始され、その後、車両の電源がＯＦＦ状態にされるまで繰り返し実施される処理である。なお、Ｓ１３０〜Ｓ１８０の処理は、本発明でいう露出設定手段に相当する。

白線検出処理は、図２に示すように、まず、前方カメラ１５に対して１回目の露出制御を指示する（Ｓ１２０：第１撮像制御手段）。なお、この指示を受けた前方カメラ１５は、周囲の明るさに応じて自ら露出を設定し、この露出（初回露出）で撮像を行う。続いて、制御部１０は、前方カメラ１５が初回露出で撮像した撮像画像を取得する（Ｓ１３０：画像取得手段）。

そして、撮像画像内から予め設定された複数の領域を抽出し、抽出した各領域内の路面の輝度を検出する（Ｓ１４０：輝度検出手段）。各領域を設定する際の具体例については、図３を用いて説明する。図３は撮像画像中のレーン認識エリアを示す説明図である。

本実施形態の白線認識処理では、図３（ａ）に示すように、撮像画像の上下方向における中央領域を、白線を認識する対象となる領域であるレーン認識エリアとして設定し、このレーン認識エリア内において上下方向および左右方向にそれぞれ２つずつマトリクス状に、複数の領域としてエリア１〜エリア４を設定している。

そして、Ｓ１４０の処理では、エリア１〜エリア４の各エリアの平均輝度を、それぞれ各エリアにおける路面の輝度として推定する。なお、各エリア内に路面および白線のみが存在する場合には路面の輝度が平均輝度よりも若干低くなることが予想されるため、白線によって平均輝度が上昇すると予想される分だけ平均輝度よりも低い輝度値を路面の輝度としてもよい。

また、図３（ｂ）に示すように、各エリア（エリア１〜エリア４）を、白線が存在しないと予想される領域のみに設定してもよい。この場合、各エリアの平均輝度をそのまま路面の輝度として採用する際の精度を向上させることができる。

次に、各エリアを撮像するための露出がどの程度不適合なものであるかのレベル付けを実施する（Ｓ１５０：不適合エリア判定手段）。具体的には、路面の輝度に基づいて各エリアを撮像する際に適切な露出（適切露出）をエリア毎に検出し、それぞれの適切露出と前方カメラ１５による初回露出とを比較し、これらの各露出の差分が大きくなるに従ってより大きな不適合レベル値を設定する。

例えば、不適合レベル値をレベル０〜レベル４の５段階に設定する場合、適切露出と初回露出とがほぼ一致していれば、不適合レベル値に最小値のレベル０を設定し、これらの差分が大きくなるに従って順次レベル１〜レベル４（最大値はレベル４）を設定する。

そして、初回露出ではエッジ成分を検出することができないと推定される不適合エリアの有無を判定する（Ｓ１６０：不適合エリア判定手段）。この処理では、不適合レベル値（適切露出と初回露出との差分）が予め設定された露出閾値以上のエリアがあるか否かによって判定する。ここで露出閾値は、前方カメラ１５のダイナミックレンジの広さ（つまり解像能）に応じて設定されていればよい。

具体的には、前方カメラ１５が初回露出で撮像した際にエッジ検出可能な路面輝度の範囲がレベル０〜レベル２の露出に対応する路面輝度であれば、レベル３以上のエリアが不適合エリアになるように露出閾値を設定する。また、前方カメラ１５が初回露出で撮像した際にエッジ検出可能な路面輝度の範囲がレベル０〜レベル３の露出に対応する路面輝度であれば、レベル４のエリアが不適合エリアになるように露出閾値を設定する。なお、前方カメラ１５が撮像可能な輝度の範囲やこれに対応する露出閾値については、実験的に定められていればよい。

ここで例えば、図３（ａ）に示す例において、初回露出が「日向」部分に対応して設定している場合、「日向」部分であるエリア１およびエリア２については、不適合レベルが比較的低い数値であるレベル０またはレベル１程度に設定される可能性が高く、「日陰」部分であるエリア３およびエリア４については、不適合レベルが比較的高い数値であるレベル３またはレベル４程度に設定される可能性が高い。よって、図３（ａ）に示す例では、以後の処理にて、「日陰」部分に対応した露出に設定する処理が実施されることになる。

Ｓ１６０の処理にて、不適合エリアがなければ（Ｓ１６０：ＮＯ）、初回露出による撮像画像で全てのエリアにおけるエッジ成分が検出できるものとして、この撮像画像のみからエッジ成分を検出し（Ｓ１７０）、後述するＳ２３０の処理に移行する。また、不適合エリアがあれば（Ｓ１６０：ＹＥＳ）、初回露出による撮像画像ではエッジ成分を検出できないエリアがあるものとして、２回目の撮像作動を実施する。

即ち、２回目の露出制御パラメータを設定し（Ｓ１８０：適応露出設定手段）、前方カメラ１５に対してこのパラメータに基づく２回目の露出制御を指示する（Ｓ１９０：第２撮像制御手段）。ここで、露出制御パラメータは、不適合エリアが複数検出された場合、最も大きな不適合レベル値が付されたエリア（初回露出と適応露出との差が最大になるエリア）を撮像する際に最も適した露出になるように、シャッタ開放時間が設定されればよい。なお、全ての不適合エリアを撮像しやすくするために、不適合エリアに付された不適合レベルの平均値に基づいて露出制御パラメータを設定するようにしてもよい。

ここで、この指示を受けた前方カメラ１５は、露出制御パラメータに基づいた露出を設定し、この露出（適応露出）で撮像を行う。続いて、制御部１０は、前方カメラ１５が撮像した撮像画像を取得する（Ｓ２００：エッジ検出手段）。

そして、初回露出による撮像画像および適応露出による撮像画像のそれぞれからエッジ成分を検出し（Ｓ２１０：エッジ検出手段）、それぞれの撮像画像で検出されたエッジ成分を統合する（Ｓ２２０）。続いて、エッジ成分のうち広範囲に渡る直線または滑らかな曲線を白線であると推定し、このエッジ成分の座標をＲＡＭ等のメモリに記録する（Ｓ２３０：認識手段）。この処理が終了すると白線検出処理を終了する。

［本実施形態による効果］
以上のように詳述した白線検出システム１において、制御部１０は、白線検出処理にて、予め設定された初回露出で前方カメラ１５に撮像させ、初回露出での撮像画像に基づいて次に前方カメラ１５が撮像を行う際の露出である適応露出を設定する。そして、適応露出で前方カメラ１５に撮像させ、初回露出での撮像画像、および適応露出での撮像画像からエッジ成分を検出する。

ここで、適応露出を設定する際には、制御部１０は、初回露出による撮像画像内から複数の領域を抽出し、該抽出した各領域の輝度を検出する。そして、各領域の輝度に基づいて、各領域が不適合エリアであるか否かをそれぞれ判定する。さらに、各領域の何れかが不適合エリアであると判定された場合、前方カメラ１５が撮像する際の露出を不適合エリアの輝度に応じた露出である適応露出に設定する。なお、不適合エリアとは、露光の過不足を原因としてエッジ成分を検出できないと推定される領域を表す。

このような白線検出システム１によれば、２回分の撮像画像を画像処理するだけで撮像画像の全領域からエッジ成分を検出することができるように、前方カメラ１５に撮像させることができる。よって、エッジ成分を検出する白線検出システム１では、画像処理の際の処理負荷を極力軽減しつつ、良好にエッジ成分を検出することができる。

また、白線検出システム１においては、エッジ成分の形状に基づいて道路上の白線を認識することができる。
さらに、制御部１０は、各領域の輝度として、各領域を構成する各画素の輝度平均値に基づく値を各領域の輝度として検出する。

このような白線検出システム１によれば、各領域の輝度として輝度平均値を用いるので、各領域内の輝度値のばらつきを平均化することができる。
また、制御部１０は、複数の領域が不適合エリアであると判定された場合、前方カメラ１５が撮像する際の露出を、初回露出との差が最も大きくなる不適合エリアの輝度に応じた適応露出に設定する。

このような白線検出システム１によれば、最も露出が不適切だった領域を確実に撮像するための露出に適応露出を設定することができる。
［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

例えば、上記実施形態において、前方カメラ１５の初回露出については、前方カメラ１５自身が周囲の明るさに応じて設定するようにしたが、Ｓ１２０の処理の前に、図２のＳ１１０に示すように、１回目の露出制御パラメータを設定し、制御部１０がこの露出制御パラメータを前方カメラ１５に指示するようにしてもよい（初回露出設定手段）。この場合、１回目の露出制御パラメータは前回の周期における初回露出または適応露出での撮像画像に基づいて検出された各領域の輝度に応じて設定されればよい。

このような白線検出システム１によれば、次の周期の際の初回露出を撮像画像の輝度に応じて適切に設定し直すことができる。具体的には例えば、各領域のうちの最も明るい領域に合わせて初回露出を設定することが考えられる。この場合、次周期の初回露出による撮像画像において、他の領域の輝度が前方カメラ１５のダイナミックレンジを外れることがなくなるので、適応露出を設定し易くすることができる。

特に本実施形態の白線検出システム１においては、適切に白線が検出できるように構成しているが、制御部１０は、白線以外にも歩行者や自転車等を通行人や、標識や信号機等の路側物を検出するようにしてもよい。この際の処理については、予めＲＯＭ等のメモリに格納された形状パターンと検出したエッジ成分の形状とを比較するパターンマッチングによる手法を採用すればよい。なお、このような構成の場合には、制御部１０は標識の種別や信号機の点灯状態等を認識するようにしてもよい。

本発明が適用された白線検出システム１の概略構成を示すブロック図である。 白線検出処理を示すフローチャートである。 撮像画像中のレーン認識エリアを示す説明図である。

符号の説明

１…白線検出システム、１０…制御部、１５…前方カメラ、２０…制御装置。

Claims (7)

1. 撮像手段が撮像を行う際の露出を設定する露出設定装置であって、
   予め設定された露出である初回露出で前記撮像手段が撮像した撮像画像を取得する画像取得手段と、
   該画像取得手段により取得された撮像画像内から複数の領域を抽出し、該抽出した各領域の輝度を検出する輝度検出手段と、
   該輝度検出手段により検出された各領域の輝度に基づいて、前記各領域が露光の過不足を原因としてエッジ成分を検出できないと推定される不適合エリアであるか否かをそれぞれ判定する不適合エリア判定手段と、
   前記不適合エリア判定手段によって前記各領域の何れかが不適合エリアであると判定された場合、前記撮像手段が撮像する際の露出を該不適合エリアの輝度に応じた露出である適応露出に設定する適応露出設定手段と、
   を備えたことを特徴とする露出設定装置。
2. 請求項１に記載の露出設定装置において、
   前記輝度検出手段は、前記各領域を構成する各画素の輝度平均値に基づく値を前記各領域の輝度として検出すること
   を特徴とする露出設定装置
3. 請求項１または請求項２に記載の露出設定装置において、
   前記適応露出設定手段は、前記不適合エリア判定手段によって複数の領域が不適合エリアであると判定された場合、前記撮像手段が撮像する際の露出を、前記初回露出との差が最も大きくなる不適合エリアの輝度に応じた適応露出に設定すること
   を特徴とする露出設定装置。
4. 請求項１〜請求項３の何れかに記載の露出設定装置において、
   前記撮像手段は前記初回露出による撮像と前記適応露出による撮像とを１周期とする作動を実施するよう構成されており、
   前記輝度検出手段が検出した各領域の輝度に応じて前記初回露出を設定する初回露出設定手段を備えたこと
   を特徴とする露出設定装置。
5. 請求項１〜請求項４の何れかに記載の露出設定装置を構成する各手段をコンピュータにて実施するための露出設定プログラム。
6. 撮像画像中のエッジ成分を抽出する機能を有する画像処理装置であって、
   予め設定された初回露出で撮像手段に撮像させる第１撮像制御手段と、
   前記初回露出での撮像画像に基づいて次に前記撮像手段が撮像を行う際の露出である適応露出を設定する露出設定手段と、
   前記適応露出で前記撮像手段に撮像させる第２撮像制御手段と、
   前記初回露出での撮像画像、および前記適応露出での撮像画像からエッジ成分を検出するエッジ検出手段と、
   を備え、
   前記露出設定手段は、請求項１〜請求項４の何れかに記載の露出設定装置として構成されていること
   を特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記エッジ成分の形状に基づいて道路上の白線または通行人を認識する認識手段を備えたこと
   を特徴とする画像処理装置。