JP4400512B2 - 車載カメラ制御装置 - Google Patents

Description

本発明は、車載カメラ制御装置に関するものである。

従来、例えば特許文献１に記載された技術によれば、ＴＶカメラからの画像信号を画像データに変換して車線検出するとともに、現在の車速から次回車線検出を行なう画像データの所定範囲の座標を抽出する。そして、この座標の路面部分の輝度（明るさ）を算出することにより、次回の受光量を決定してＴＶカメラの絞り（露出量）を制御する。
特開平６−２５３２０８号公報

図５（ａ）は、画像の明るさ（輝度）のレベルと、カメラの画素に入射された光の強さに応じた画素値との関係を示す画素値・明るさ特性を示している。同図（ａ）に示すように、通常の撮影時においては、画像の微妙なコントラストが検出できるよう、画素値と明るさとが線形、もしくは、明るさに対する画素値の変化の感度が高い特性をカメラにもたせている。

ところで、車両に搭載されたカメラ（車載カメラ）を用いて車両の前方を撮影する場合、その撮影画像には、対向車のヘッドライト、先行車のテールランプやブレーキランプ等の高輝度部分が存在することがある。このように高輝度部分が存在する場合、図５（ｂ）に示すように、車載カメラのシャッタースピードや画像信号のゲインを低くすることで、明るさに対する画素値の変化の感度が低い特性に変更して、画像全体の明るさを抑えることができる。

しかしながら、同図（ｂ）に示す画素値・明るさ特性をもたせるために、単に、シャッタースピードや画像信号のゲインを低くするだけでは、画像の微妙なコントラストを検出することができなくなる。

本発明は、上記の問題を鑑みてなされたもので、高輝度部分が存在する場合であっても、画像の微妙なコントラストの検出を可能とする車載カメラ制御装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の車載カメラ制御装置は、
車両に搭載され、車両の周囲の画像を撮影するものであって、イメージセンサを構成する各画素に入射される光の強さに応じた画素値を画像信号として繰り返し出力する車載カメラと、
画像信号において、所定の閾値以上の画素値を示す画素が所定画素数以上隣接して、もしくは近接して存在するか否かを判定する判定手段と、
判定手段によって、画素が所定画素数以上隣接して、もしくは近接して存在すると判定された場合、車載カメラの有する、車載カメラの撮像範囲の明るさのレベルと画素値との関係を示す画素値・明るさ特性として、明るさに対する画素値の変化の感度が低く、かつ、明るさのレベルが高いほど画素値の変化の割合が小さい画素値・明るさ特性に変更する画素値・明るさ特性変更手段と、を備えており、
画素値・明るさ特性変更手段は、所定画素数以上隣接して、もしくは近接して存在する画素の画素数が多いほど、明るさのレベルが高いほど画素値の明るさに対する変化の割合がさらに小さくなる画素値・明るさ特性に変更することを特徴とする。

このように、判断手段によって、対向車のヘッドライト、先行車のテールランプやブレーキランプ等の高輝度部分が存在するか否かを判定し、この高輝度部分が存在する場合には、車載カメラの有する画素値・明るさ特性として、明るさに対する画素値の変化の感度を低くするとともに、明るさのレベルが高いほど画素値の変化の割合が小さい画素値・明るさ特性に変更する。

これにより、図３（ａ）に示すように、元々の線形特性から対数特性を加味した画素値・明るさ特性に変更されるため、この変更された画素値・明るさ特性を有する車載カメラは、画像全体の明るさを抑えつつ、微妙なコントラストを検出することができる画像信号を出力することができる。
また、これにより、上述した高輝度部分の範囲の広さに応じて、明るさのレベルに対する画素値の変化の程度を変更することができる。

請求項２に記載の車載カメラ制御装置は、画像信号に適用されるゲイン、及び車載カメラのシャッタースピードの少なくとも一方を制御する制御手段を備え、
画素値・明るさ特性変更手段は、制御手段によって画像信号に適用されるゲインを低下させる制御、及びシャッタースピードを速める制御の少なくとも一方の制御を行うことで、明るさに対する画素値の変化の感度が低い画素値・明るさ特性に変更することを特徴とする。

このように、画像信号に適用されるゲインやシャッタースピードを制御することができる車載カメラを用いる場合、図３（ｂ）に示すように、画素値・明るさ特性変更手段は、元々の画素値・明るさ特性に対して、明るさのレベルが高いほど画素値の変化の割合が小さくなる特性に変更（トーンカーブ補正）し、これとともに、画像信号に適用されるゲインを低下させたり、シャッタースピードを速めたりすることで、明るさに対する画素値の変化の感度が低い画素値・明るさ特性に変更することができる。

以下、図面に基づいて本発明の好ましい実施形態について説明する。図１は、実施形態による画像信号処理装置の構成を示すブロック図である。図１に示すように、画像信号処理装置は、カメラ１と制御部２から構成されている。カメラ１は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方を撮像するものである。

このカメラ１は、公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサに加え、増幅部及びＡ／Ｄ変換部を内蔵している。これら増幅部及びＡ／Ｄ変換部は、イメージセンサによって画像を撮像した時、その画像の各画素の明るさを示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。そして、カメラ１は、このデジタル値に変換した信号（画素値）を画像信号として、画像の各ライン毎に制御部２へ出力する。

なお、カメラ１は、図３（ａ）に示すように、車載カメラの撮像範囲の明るさのレベルと画素値との関係を示す画素値・明るさ特性を有し、この画素値・明るさ特性は、制御部２からのカメラ制御値に基づいて、その特性が変更可能に構成されている。

制御部２は、カメラ１から出力された画像信号に対して所定の処理を施し、その処理を施した画像信号を各種の車載アプリケーションシステム（前方障害物検出、白線検出等）に出力する。

また、制御部２は、その処理の施された画像のコントラストが適正になるように、カメラ１の露出を制御する。つまり、制御部２は、カメラ１のシャータースピードやフレームレート、さらに増幅部のゲインを調整するため、これらの調整指示値を含むカメラ制御値をカメラ１に出力する。なお、制御部２は、カメラ１にもたせる画素値・明るさ特性を変更するために、明るさのレベル（ａ１、ａ２、・・・、ａｎ）と、その各々の明るさのレベルに対応する画素値（ｂ１、ｂ２、・・・、ｂｎ）を含むカメラ制御値をカメラ１に出力する。

制御部２は、画像インターフェース（Ｉ／Ｆ）３、ＣＰＵ４、メモリ５、及び通信Ｉ／Ｆ６を有する。画像Ｉ／Ｆ３は、カメラ１から出力される画素値及び水平・垂直同期信号が入力される。

ＣＰＵ４は、画像Ｉ／Ｆ３に入力された水平・垂直同期信号に基づいて、画像の水平ラインごとに出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ１から出力される画素値をメモリ５に記憶する。このようにして、メモリ５に、カメラ１から出力される画像信号が保存される。通信Ｉ／Ｆ６は、ＣＰＵ４と各種の車載アプリケーションシステムとの間の通信を調整するものである。

図２は、制御部２において実行される画像信号処理を示すフローチャートである。図２において、まずステップＳ１１０では、カメラ１から出力された画像信号を取り込む。すなわち、上述したように、カメラ１から出力される水平・垂直同期信号に基づいて、画像信号を構成する各画素値をメモリ５に保存する。

ステップＳ１２０では、メモリ５に保存された各画素の画素値を順次抽出する。ステップＳ１３０では、飽和状態の画素（飽和レベルに達している画素）を判別する。上述したように、カメラ１は、増幅部及びＡ／Ｄ変換部を内蔵しており、この増幅部によって増幅された各画素の明るさを示すアナログ値は、Ａ／Ｄ変換部によって例えば０〜２５５段階のデジタル値に変換されて出力される。このステップＳ１３０では、所定の画素閾値（画像を使用する車載アプリケーションシステムによって異なるが、例えば、２００程度。）以上の画素値を示す画素を飽和状態の画素として判別する。

ステップＳ１４０では、ステップＳ１３０で判別した飽和状態の画素が所定画素数以上隣接して（隣り合って）存在するかどうか、もしくは、飽和状態の画素が所定画素数以上近接して（数画素隔てて）存在するかどうかを判定する。すなわち、画像に高輝度部分が存在するかどうかを判定する。ここで、肯定判定される場合には、ステップＳ１５０へ処理を進め、否定判定される場合には、ステップＳ１７０へ処理を移行する。

ステップＳ１５０では、図３（ａ）に示すように、次回にカメラ１が撮像する際のカメラ１の画素値・明るさ特性を高輝度部分が抑え込まれる方向に変更する。すなわち、カメラ１の有する元々の線形の画素値・明るさ特性に対して、対数特性を加味した画素値・明るさ特性に変更する。

具体的には、同図（ａ）に示すように、カメラ１の有する画素値・明るさ特性として、明るさに対する画素値の変化の感度を低くするとともに、明るさのレベルが高いほど画素値の変化の割合が小さい画素値・明るさ特性に変更する。このように、画素値・明るさ特性を変更することで、カメラ１は、次回に撮影する画像の全体の明るさを抑えつつ、微妙なコントラストを検出することができる画像信号を出力することができる。

なお、カメラ１は、シャータースピードやフレームレート、増幅部のゲインを調整することが可能であるため、図３（ｂ）に示すように、元々の画素値・明るさ特性に対して、明るさのレベルが高いほど画素値の変化の割合が小さくなる特性に変更（トーンカーブ補正）し、これとともに、画像信号に適用されるゲインを低下させたり、シャッタースピードを速めたりすることで、明るさに対する画素値の変化の感度が低い画素値・明るさ特性に変更するようにしてもよい。

また、ステップＳ１５０においては、図３（ａ）に示すように、所定画素数以上隣接して、もしくは近接して存在する画素の画素数が多いほど（高輝度部分の範囲が広いほど）、明るさのレベルが高いほど画素値の明るさに対する変化の割合がさらに小さくなる画素値・明るさ特性に変更することが好ましい。これにより、高輝度部分の範囲の広さに応じて、明るさのレベルに対する画素値の変化の程度を変更することができる。

そして、ステップＳ１５０では、変更すべき画素値・明るさ特性を示す、明るさのレベル（ａ１、ａ２、・・・、ａｎ）と、その各々の明るさのレベルに対応する画素値（ｂ１、ｂ２、・・・、ｂｎ）を含むカメラ制御値をカメラ１に出力する。

ステップＳ１６０では、画像に高輝度部分が存在しないため、図３（ａ）に示すように、次回にカメラ１が撮像する際のカメラ１の画素値・明るさ特性を元々の線形の画素値・明るさ特性に戻す方向に変更する。すなわち、図３（ａ）に示す対数特性を加味した画素値・明るさ特性は、高輝度部分を抑え込むことができるものの、明るさのレベルが高いほど画素値の明るさに対する変化の割合が小さいため、高輝度部分の微妙なコントラストが検出できない。従って、高輝度部分が存在しない場合には、元々の線形特性へ戻す方向に画素値・明るさ特性を変更することで、カメラ１は、次回に撮影する画像の明るい部分のコントラストを検出することができる画像信号を出力することができる。

そして、ステップＳ１６０は、ステップＳ１５０と同様に、変更すべき画素値・明るさ特性を示す、明るさのレベル（ａ１、ａ２、・・・、ａｎ）と、その各々の明るさのレベルに対応する画素値（ｂ１、ｂ２、・・・、ｂｎ）を含むカメラ制御値をカメラ１に出力する。

ステップＳ１７０では、カメラ１から出力された画像信号に対して、各種の車載アプリケーションシステムで用いるための画像信号処理を行う。最後に、ステップＳ１８０では、画像信号処理を施した画像の画像信号を各種の車載アプリケーションシステムへ出力する。

以後、ステップＳ１１０からステップＳ１８０の処理を繰り返して行う。なお、ステップＳ１５０、及びステップＳ１６０における画素値・明るさ特性の変更については、前回に変更した特性に対してその特性の変更を行う。つまり、ステップＳ１５０では、１回の処理で変更した特性を用いて高輝度部分の明るさを抑え込むことができなくとも、次回の処理において、前回変更した特性に対してその特性を変更し、この処理を数回程度繰り返し行うことで、最終的に高輝度部分の明るさを抑え込むことが可能となる。

また、ステップＳ１６０においても、１回の処理で元々の線形の画素値・明るさ特性に変更すると、その次の処理において、カメラ１が高輝度部分の存在する画像を撮像する可能性が高くなる。従って、数回の処理を繰り返し行うことで、線形の特性に徐々に近づくように、明るさに対する画素値の変化の感度を徐々に高くするとともに、明るさのレベルが高いほど画素値の明るさに対する変化の割合を徐々に大きくするとよい。

このように、本実施形態の画像信号処理装置は、カメラ１の撮影した画像に対向車のヘッドライト、先行車のテールランプやブレーキランプ等の高輝度部分が存在する場合、カメラ１の有する画素値・明るさ特性として、明るさに対する画素値の変化の感度を低くするとともに、明るさのレベルが高いほど画素値の変化の割合が小さい画素値・明るさ特性に変更する。

これにより、図３（ａ）に示すように、元々の線形特性から対数特性を加味した画素値・明るさ特性に変更されるため、この変更された画素値・明るさ特性を有するカメラ１は、画像全体の明るさを抑えつつ、微妙なコントラストを検出することができる画像信号を出力することができる。

（変形例）
本実施形態におけるカメラ１の露出を制御する露出制御では、カメラ１の増幅部のゲインを調整する際、カメラ１から出力する全ての画像信号が全て同じゲインとなるように調整するものであるが、画像信号のゲインが画素毎に調整可能なカメラ１を採用した場合には、上述した高輝度部分の各画素の画像信号のゲインのみを調整して、高輝度部分の明るさを抑え込むようにしてもよい。

すなわち、例えば、図４（ａ）に示すように、対向車のヘッドライトや先行車のテールランプやブレーキランプ等の高輝度部分が存在する場合、この高輝度部分の明るさが飽和し、この飽和によって滲んで映し出される光源以外のコントラストが検出されなくなる。

そこで、画像信号のゲインが画素毎に調整可能なカメラ１を採用した場合には、図２のステップＳ１５０において、高輝度部分の各画素の画像信号のゲインを低下させるカメラ制御値をカメラ１に出力する。このように、高輝度部分の各画素の画像信号のゲインを低下させることで、高輝度部分の画像の明るさを抑え込むことができる。その結果、図４（ｂ）に示す画像が得られるため、光源の背景のコントラストが検出可能となる。

実施形態における画像信号処理装置の構成を示すブロック図である。 制御部２において実行される画像信号処理を示すフローチャートである。 （ａ）、（ｂ）は、画素値・明るさ特性の変更を説明するための図である。 実施形態の変形例１を説明するための図である。 （ａ）は、通常時における画素値・明るさ特性を示した図ものであり、（ｂ）は、画像における微妙なコントラストを検出することができなくなる場合の画素値・明るさ特性を示した図である。

符号の説明

１ カメラ
２ 制御部
３ 画像Ｉ／Ｆ
４ ＣＰＵ
５ メモリ
６ 通信Ｉ／Ｆ

Claims (2)

1. 車両に搭載され、前記車両の周囲の画像を撮影するものであって、イメージセンサを構成する各画素に入射される光の強さに応じた画素値を画像信号として繰り返し出力する車載カメラと、
   前記画像信号において、所定の閾値以上の画素値を示す画素が所定画素数以上隣接して、もしくは近接して存在するか否かを判定する判定手段と、
   前記判定手段によって、前記画素が所定画素数以上隣接して、もしくは近接して存在すると判定された場合、前記車載カメラの有する、前記車載カメラの撮像範囲の明るさのレベルと前記画素値との関係を示す画素値・明るさ特性として、前記明るさに対する前記画素値の変化の感度が低く、かつ、前記明るさのレベルが高いほど前記画素値の変化の割合が小さい画素値・明るさ特性に変更する画素値・明るさ特性変更手段と、を備えており、
   前記画素値・明るさ特性変更手段は、前記所定画素数以上隣接して、もしくは近接して存在する画素の画素数が多いほど、前記明るさのレベルが高いほど前記画素値の明るさに対する変化の割合がさらに小さくなる画素値・明るさ特性に変更することを特徴とする車載カメラ制御装置。
2. 前記画像信号に適用されるゲイン、及び前記車載カメラのシャッタースピードの少なくとも一方を制御する制御手段を備え、
   前記画素値・明るさ特性変更手段は、前記制御手段によって前記画像信号に適用されるゲインを低下させる制御、及び前記シャッタースピードを速める制御の少なくとも一方の制御を行うことで、前記明るさに対する前記画素値の変化の感度が低い画素値・明るさ特性に変更することを特徴とする請求項１記載の車載カメラ制御装置。

Images