JP4179247B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関するものである。

従来、ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）等を用いたイメージセンサを備える撮像装置において、イメージセンサの一部分の領域を遮光するための遮光部を設けた撮像装置がある。

このような撮像装置では、遮光部によって遮光される遮光領域に属する画素の画素値に基づいて黒レベルの補正（以下、黒レベル制御）を行う。すなわち、この遮光領域は、遮光部によって外部からの光線が遮られるため、遮光領域に属する画素の画素値は黒レベルに対応する値を示す。

従って、黒レベル制御では、遮光領域に属する画素の平均的な画素値を示すノイズ平均値を求め、このノイズ平均値が予め設定される黒レベルの目標値を示すノイズ目標値となるような補正値を演算し、この補正値に基づいてイメージセンサからの出力信号を補正する。これにより、イメージセンサの出力信号の黒レベルが補正される。

一般に、イメージセンサに用いられるフォトダイオード（ＰＤ）等の受光素子の特性にはバラツキがあり、この特性上のバラツキは、画素毎の画素値のバラツキとして現れる。図６（ａ）は、横軸を画素位置、縦軸を画素値とした場合の画素値のバラツキの程度を示したものである。

この画素値のバラツキの程度を示すノイズ標準偏差（√Ｓ）は、イメージセンサの周囲の温度やイメージセンサから出力される出力信号の出力ゲインによって変動することが知られている。従って、黒レベル制御を実行する際には、ノイズ標準偏差（√Ｓ）の大きさを考慮する必要がある。

しかしながら、従来の黒レベル制御は、このノイズ標準偏差（√Ｓ）の大きさを考慮していない。従って、ノイズ標準偏差（√Ｓ）が大きい場合、図６（ｂ）に示すように、領域ＶＬの画素位置の画素値の情報が失われ、その結果、その画素位置の画像が黒く潰れてしまう。

本発明は、上記の問題を鑑みてなされたもので、黒レベルを補正する際、画像が黒く潰れないようにすることができる撮像装置を提供することを目的とする。

上記の目的を達成するためになされた請求項１に記載の撮像装置は、イメージセンサの受光面の一部分に遮光部が設けられ、遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値が予め設定される黒レベルの目標値となるような補正値を演算し、この補正値に基づいてイメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、
遮光領域に属する画素の画素値のバラツキの程度を示すノイズ標準偏差を推定するノイズ推定手段を備え、
補正手段は、黒レベルの目標値を少なくともノイズ標準偏差以上となるように変更する目標値変更手段を備えることを特徴とする。

本発明の撮像装置は、単に、遮光領域に属する画素の平均的な画素値を示すノイズ平均値が予め設定される黒レベルの目標値を示すノイズ目標値となるような補正値を演算し、この補正値に基づいてイメージセンサからの出力信号を補正するのではなく、黒レベルの目標値を少なくともノイズ標準偏差以上となるように変更する変更手段を備えている。

このように、黒レベルの目標値を少なくともノイズ標準偏差以上に変更することで、イメージセンサから出力される出力信号を補正しても、補正後の画像が黒く潰れないようにすることができる。

さらに、画素値の情報を失う画素位置を少なくすることができる。

上記の目的を達成するためになされた請求項２に記載の撮像装置は、イメージセンサの受光面の一部分に遮光部が設けられ、この遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値が予め設定される黒レベルの目標値となるような補正値を演算し、この補正値に基づいてイメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、
遮光領域に属する画素の画素値のバラツキの程度を示すノイズ標準偏差を推定するノイズ推定手段を備え、
補正手段は、黒レベルの目標値にノイズ標準偏差を加算した値を最終的な黒レベルの目標値として変更する目標値変更手段を備えることを特徴とする。
すなわち、図５に示すように、予め設定されるノイズ目標値（Ｔ１）にノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。
このように、黒レベルの目標値にノイズ標準偏差を加算した値を最終的な黒レベルの目標値に変更することで、イメージセンサから出力される出力信号を補正しても、補正後の画像が黒く潰れないようにすることができる。さらに、画素値の情報を失う画素位置が減少する。

請求項３に記載の撮像装置によれば、ノイズ推定手段は、イメージセンサから出力される出力信号の出力ゲイン、及び、イメージセンサの周囲の温度の少なくとも一方に基づいてノイズ標準偏差を推定することを特徴とする。

図３は、イメージセンサの周囲の温度、イメージセンサから出力される出力信号の出力ゲインに対する遮光領域に属する画素のノイズ分散値（Ｓ）との関係を示す図である。同図に示すように、一般に、イメージセンサの周囲の温度が低温である場合には、ノイズ分散値（Ｓ）は小さくなるもの、温度が上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。また、イメージセンサから出力される出力信号の出力ゲインが０[db]から上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。

このような傾向から、図３に示す温度や出力ゲインに対応するノイズ分散値（Ｓ）との関係を予め実験等によって求めておき、さらに、イメージセンサの周囲の温度を検出する温度検出手段（例えば、サーミスタ等）を設けて温度を検出するとともに、出力ゲインを検出し、この検出した温度と出力ゲインとを図３の関係に当てはめることで、遮光領域に属する画素のノイズ分散値（Ｓ）を推定することができる。

以下、図面に基づいて本発明の好ましい実施形態について説明する。なお、本実施形態では、撮像装置は、車両の走行する車線を区画する白線を認識するために用いられる。そして、撮像装置は、認識した白線の位置に基づいて、車両が車線を逸脱しそうと判定した場合に警報を発する車線逸脱警報装置に適用される。

図１は、本実施形態における車線逸脱警報装置の構成を示すブロック図である。図１に示すように、車線逸脱警報装置は、カメラ１００、制御部２００、車線逸脱警報ＥＣＵ３００、及び警報部３１０から構成されている。

カメラ１００は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像するものである。なお、カメラ１００は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整される。

カメラ１００は、イメージセンサ、増幅部、Ａ／Ｄ変換部、及び制御部を内蔵しており、シャッタースピードやフレームレートを調整して画像を撮像した時、その画像の各画素の明るさを示すアナログ信号値がイメージセンサから出力され、このイメージセンサから出力される出力信号を所定のゲインで増幅し、Ａ／Ｄ変換部でデジタル値に変換して保持する。そして、カメラ１００は、その保持しているデジタル値(画素値)を、画像信号として、画像の各ラインごとに出力する。

制御部２００は、カメラ１００から出力された画像信号を処理することにより、白線の位置の認識を行うとともに、その認識した白線位置を車線逸脱警報ＥＣＵ３００に出力する。また、制御部２００は、上述したように、画像信号におけるターゲットの位置に基づいて、白線の認識処理を施すための画像処理エリアを設定する。さらに、制御部２００は、カメラ１００の露出制御を行う。

具体的には、制御部２００は、カメラ１００のシャータースピード及びフレームレート、さらに増幅部のゲインを調整することによってカメラ１００の露出量を制御する。制御部２００は、シャッタースピード、フレームレート及びゲインを調整するため、これらの調整指示値であるカメラ制御値をカメラ１００に出力する。

制御部２００は、画像インターフェース（Ｉ／Ｆ）２１０、ＣＰＵ２２０、通信Ｉ／Ｆ２３０、及びメモリ２４０を有する。画像Ｉ／Ｆ２３０は、カメラ１００から出力される画素値の位置情報等が入力され、その位置情報等をＣＰＵ２２０に伝達する。ＣＰＵ２２０は、画像Ｉ／Ｆ２３０によって伝達される位置情報に基づいて、画像の各ライン毎に出力される画素値が、いずれの画素位置に対応するものかを認識する。

そして、認識した画素位置に対応するように、カメラ１００から出力される画素値をメモリ２４０に記憶する。このようにして、メモリ２４０に、カメラ１００から出力される画像信号が保存される。

通信Ｉ／Ｆ２３０は、ＣＰＵ２２０と車線逸脱警報ＥＣＵ３００との間の通信を調整するものである。本実施形態では、ＣＰＵ２２０は、画像信号における白線の位置を認識して、この認識した白線位置を車線逸脱警報ＥＣＵ３００に送信する。

車線逸脱警報ＥＣＵ３００は、ＣＰＵ２２０から送信された白線位置に基づいて、自車が車線内から逸脱した（しそう）か否かを判定し、逸脱した（しそう）と判定した場合には、警報部３１０に対して、警報を発するように指示する。警報部３１０は、この指示を受けた場合に警報を発する。これにより、車両の乗員は、車線内から逸脱した（しそう）な状況を把握することができる。

なお、本実施形態で用いられるカメラ１００は、図２に示すイメージセンサ１０を備えている。このイメージセンサ１０の受光面の左右の端部には、遮光部が設けられており、この遮光部によって遮光領域１０ｂが形成される。同図に示すように、この遮光領域１０ｂは、画像として使用する画像領域１０ａを挟んで対向して形成される。

ここで、カメラ１００において実行される従来の黒レベル制御は、この左右の遮光領域１０ｂに属する画素の平均的な画素値を示すノイズ平均値（Ｍ）を求め、このノイズ平均値（Ｍ）が予め設定される黒レベルの目標値を示すノイズ目標値（Ｔ１）（例えば、２５６階調の場合には、通常８階調程度）となるような補正値を演算し、この補正値に基づいてイメージセンサ１０の出力信号の黒レベルを補正するものであった。

しかしながら、一般に、イメージセンサに用いられるフォトダイオード（ＰＤ）等の受光素子の特性にはバラツキがあり、この特性上のバラツキ及び温度によるノイズはゲインによって増幅され、画素毎の画素値のバラツキとして現れ、黒レベル制御に影響を及ぼすことがある。

図６（ａ）は、横軸を画素位置、縦軸を画素値とした場合の画素値のバラツキの程度を示したものである。この画素値のバラツキの程度を示すノイズ標準偏差（√Ｓ）は、イメージセンサの周囲の温度やイメージセンサから出力される出力信号の出力ゲインによって変動することが知られている。従って、黒レベル制御を実行する際には、ノイズ標準偏差（√Ｓ）の大きさを考慮する必要がある。

従来の黒レベル制御は、このノイズ標準偏差（√Ｓ）の大きさを考慮していないため、ノイズ標準偏差（√Ｓ）が大きい場合、図６（ｂ）に示すように、領域ＶＬの画素位置の画素値の情報を失うことになり、失われ、その結果、その画素位置の画像が黒く潰れてしまう。

そこで、本実施形態では、この黒レベル制御によって画像が黒く潰れないようにするため、遮光領域１０ｂに属する画素のノイズ標準偏差を推定し、この推定したノイズ標準偏差に応じてノイズ目標値を変更する。

すなわち、ノイズ目標値（Ｔ１）を少なくともノイズ標準偏差（√Ｓ）以上となるように変更することで、画素値の情報を失う画素位置を少なくすることができる。具体的には、図５に示すように、予め設定されるノイズ目標値（Ｔ１）にノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。これにより、画素値の情報を失う画素位置が減少する。その結果、イメージセンサから出力される出力信号を補正しても、補正後の画像が黒く潰れないようにすることができる。

なお、ノイズ標準偏差（√Ｓ）を導くためのノイズ分散値（Ｓ）は、イメージセンサから出力される出力信号の出力ゲイン、及び、イメージセンサの周囲の温度の少なくとも一方に基づいて推定することができる。

図３は、イメージセンサの周囲の温度、イメージセンサから出力される出力信号の出力ゲインに対する遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）との関係を示す図である。同図に示すように、一般に、イメージセンサの周囲の温度が低温である場合には、ノイズ分散値（Ｓ）は小さくなるもの、温度が上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。また、イメージセンサから出力される出力信号の出力ゲインが０[db]から上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。

このような傾向から、図３に示す温度や出力ゲインに対応するノイズ分散値（Ｓ）との関係を予め実験等によって求めておき、さらに、イメージセンサの周囲の温度を検出する温度検出手段（例えば、サーミスタ等）を設けて温度を検出するとともに、出力ゲインを検出し、この検出した温度と出力ゲインとを図３の関係に当てはめることで、遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）の推定が可能となる。

次に、カメラ１００における黒レベル制御の処理について、図４に示すフローチャートを用いて説明する。先ず、ステップ（以下、Ｓと記す）１０では、イメージセンサ１０の周囲の温度、及び出力信号の出力ゲインを取得する。

Ｓ２０では、Ｓ１０にて取得した温度と出力ゲインから、ノイズ分散値（Ｓ）を図３に示した関係に当てはめて推定する。Ｓ３０では、予め設定されるノイズ目標値（Ｔ１）に推定したノイズ分散値（Ｓ）から導かれるノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。

Ｓ４０では、ノイズ平均値（Ｍ）がＳ３０にて求めたノイズ目標値（Ｔ２）となるような補正値を演算する。Ｓ５０では、Ｓ４０にて演算した補正値に対応する補正信号を用いてイメージセンサ１０の出力信号を補正する。

このように、本実施形態のカメラ１０では、遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）を推定し、予め設定されるノイズ目標値（Ｔ１）にノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。そして、ノイズ平均値（Ｍ）がノイズ目標値（Ｔ２）となるような補正値を演算し、この補正値に対応する補正信号を用いてイメージセンサ１０の出力信号を補正する。

これにより、遮光領域１０ｂにおいて画素値の情報を失う画素位置が減少する。その結果、イメージセンサ１０から出力される出力信号を補正しても、補正後の画像が黒く潰れないようにすることができる。

本発明の実施形態に係る、撮像装置の全体構成を示すブロック図である。 イメージセンサ１０における画像領域１０ａと遮光領域１０ｂを示した図である。 イメージセンサ１０の周囲の温度、イメージセンサ１０から出力される出力信号の出力ゲインに対する遮光領域１０ｂにおける画素の画素値に含まれるノイズ分散値（Ｓ）との関係を示す図である。 本発明の実施形態に係る、黒レベル制御の処理の流れを示すフローチャートである。 ノイズ標準偏差（√Ｓ）を考慮して最終的なノイズ目標値（Ｔ２）を設定した場合の例を示す図である。 （ａ）は、横軸を画素位置、縦軸を画素値とした場合のノイズ標準偏差（√Ｓ）を示した図であり、（ｂ）は、ノイズ標準偏差（√Ｓ）が大きい場合に領域ＶＬの画素位置の画素値の情報が失われる場合を示した図である。

符号の説明

１０ イメージセンサ
１０ａ 画像領域
１０ｂ 遮光領域
１００ カメラ
２００ 制御装置
３００ 車線逸脱警報ＥＣＵ
３１０ 警報部

Claims (3)

1. イメージセンサの受光面の一部分に遮光部が設けられ、この遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値が予め設定される黒レベルの目標値となるような補正値を演算し、この補正値に基づいて前記イメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、
   前記遮光領域に属する画素の画素値のバラツキの程度を示すノイズ標準偏差を推定するノイズ推定手段を備え、
   前記補正手段は、前記黒レベルの目標値を少なくともノイズ標準偏差以上となるように変更する目標値変更手段を備えることを特徴とする撮像装置。
2. イメージセンサの受光面の一部分に遮光部が設けられ、この遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値が予め設定される黒レベルの目標値となるような補正値を演算し、この補正値に基づいて前記イメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、
   前記遮光領域に属する画素の画素値のバラツキの程度を示すノイズ標準偏差を推定するノイズ推定手段を備え、
   前記補正手段は、前記黒レベルの目標値にノイズ標準偏差を加算した値を最終的な黒レベルの目標値として変更する目標値変更手段を備えることを特徴とする撮像装置。
3. 前記ノイズ推定手段は、前記イメージセンサから出力される出力信号の出力ゲイン、及び、前記イメージセンサの周囲の温度の少なくとも一方に基づいてノイズ標準偏差を推定することを特徴とする請求項１又は２記載の撮像装置。

Images