JP6393573B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。
具体的には、ＯＢ画素を基準に撮像素子から読出した画像の黒レベルを補正するあたり、ＯＢ画素と有効画素出力の誤差に基づく黒ずれを低減するようにした撮像装置に関する。

近年、撮像デバイスとして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いた撮像装置が開発されている。該装置の撮像素子においては、ＯＢ（ＯｐｔｉｃａｌＢｌａｃｋ）エリアと呼ばれるアルミニウム膜等によって遮光された画素領域を備えている。このＯＢエリアの出力値を撮像装置の黒レベルとするＯＢクランプを行う撮像装置が多い。

しかし、ＯＢクランプによる黒レベル調整においては、ＯＢエリアと有効画素部で出力レベルが異なる、いわゆるＯＢ段差が発生する問題がある。このＯＢ段差は、撮像素子の温度変化等により発生することが多い。ＯＢ段差が発生した状態でＯＢクランプすると出力信号値に誤りが生じる。例えば、画像の黒レベルが適切でない、輝度が低く見える、色相がずれて見える等の現象が生じる。

図１は、上段より、左端を基準に段々と明るくなるようなリニアリティを有する被写体、ＯＢ段差がない場合におけるＯＢクランプ前の出力特性図、ＯＢ段差がない場合におけるＯＢクランプ後の出力特性図を示している。

ＯＢ段差がない場合において、中段の出力特性図においてＯＢクランプを行うと、最下段の出力特性図のように出力特性図はリニアリティを保ったままとなる。

一方、図２は、上段より、左端を基準に段々と明るくなるようなリニアリティを有する被写体、ＯＢ段差がある場合におけるＯＢクランプ前の出力特性図、ＯＢ段差がある場合におけるＯＢクランプ後の出力特性図を示している。

ＯＢ段差ありの場合には、中段の出力特性図においてＯＢクランプを行うと、最下段の出力特性図のようになる。最下段の出力特性図からも明らかなように、ＯＢクランプ後の出力特性図はリニアリティを保たれず、本来再現されるべき階調が欠落してしまう。

上述のようなＯＢ段差がある場合におけるＯＢクランプの問題を回避するための背景技術として、特開２００５−１７６０６２号公報（特許文献１）がある。この公報には、「露光した光信号を電気信号へと変換する複数画素を備え、複数の画素は有効画素部と光学的黒領域部（ＯＢ部）とからなる撮像素子と、撮像素子の有効画素部内の全範囲もしくは一部範囲の出力値の最小レベルを検出する最小出力検出手段と、ＯＢ部の全範囲もしくは一部範囲の出力信号の平均値を算出するＯＢ積分手段と、を備え、有効画素部範囲内のダークレベルがＯＢ部の出力よりも小さいときには、有効画素部内のダークレベルをもって撮影画像のダークレベルのクランプを行う。」と記載されている。

特開２００５−１７６０６２号

しかしながら、このようなＯＢ段差の対処においては、ＯＢ画素出力値以下の信号レベルとなる画素の有無により黒レベルの基準を調整するが、画面全体におけるＯＢ画素出力値以下の信号レベルとなる画素数を考慮していない。ゆえに、ＯＢ画素出力値以下となる画素数が極少数であっても、ダークレベルでのクランプを実行してしまい黒浮き等の弊害を起こすことが懸念される。具体的な事例を図３に示す。図３は、図１のようなＯＢ段差がない状態に局所的なシェーディングを発生させた状態を示す図である。このとき、黒潰れにおける信号レベルに基づいて黒レベル補正を行うと、最下段の出力特性図のようになり、映像全体としてみた場合、補正することで黒浮き等の誤補正が発生する。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、ＯＢクランプを行う撮像装置において、局所的な信号レベル変動やシェーディングの影響を受けず、精度良く黒レベル補正することにある。

上記目的を達成するために、本発明は、被写体からの入射光を電気信号に光電変換する画素を備え、画素は有効画素部とＯＢエリアとからなる撮像素子を含む撮像部と、有効画素部から出力される電気信号の黒レベルを補正する黒レベル補正部と、有効画素部における画素のうち、画素出力値が前記ＯＢエリアから出力される電気信号よりも小さい画素の数を検出するヒストグラム検出部と、画素の数に基づいて黒潰れ判定を行う黒潰れ判定部と、判定結果に基づいて、黒レベル補正部において黒レベルを補正するために用いられる黒レベル補正値を決定するシステム制御部と、を有することを特徴とする。

本発明によれば、局所的な信号レベル変動やシェーディングの影響を受けず、精度良く黒レベル補正することができる。

ＯＢ段差がない時にＯＢ画素出力値により黒レベル補正した場合の効果を説明する図である。 ＯＢ段差発生時にＯＢ画素出力値により黒レベル補正した場合の弊害を説明する図である。 局所的な黒潰れがある環境下において、ＯＢ画素出力値以下の出力レベルに基づき黒レベル補正した場合の弊害を説明する図である。 実施例１を実現する撮像装置のブロック図である。 ＯＢ段差検出部４０５が黒潰れを検出する方法の一例を説明する図である。 黒潰れ画素数信号５０４の出力特性及び黒潰れ大きさ閾値及び黒潰れ継続時間閾値の定め方を説明する図である。 黒レベル補正部４０３の制御方法について説明したフローチャートである。 黒潰れが検出されない場合における黒レベル補正値の変化を説明する図である。 黒潰れ検出時の黒レベル補正値の変化を説明する図である。 有効画素部における黒潰れ検出エリアを複数に分割した様子を説明する図である。 実施例２を実現する撮像装置のブロック図である。

以下、実施例を図面を用いて説明する。

本実施例では、撮像素子の全有効画素部を対象として黒レベル補正値の算出を行う場合の例を説明する。

図４は、本発明における撮像装置の構成の一例を説明する図である。

撮像装置は、撮像部４０１、利得調整部４０２、黒レベル補正部４０３、画像信号処理部４０４、ＯＢ段差検出部４０５、システム制御部４０６を有する。

撮像部４０１は、ズームレンズ及びフォーカスレンズを含むレンズ群や、ＣＣＤまたはＣＭＯＳなどの撮像素子から構成され、撮像素子で受光した光学像を光電変換し、撮像信号として出力する。

利得調整部４０２は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）やＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）や、ＡＤ（Ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ）コンバータ等から構成され、撮像部４０１からの出力信号を増幅する。

黒レベル補正部４０３は、撮像部４０１において出力される信号の黒レベルを補正するものであり、初期状態はＯＢ画素の出力を黒レベルとして処理（ＯＢクランプ）し、処理した撮像信号４０７は画像信号処理部４０４およびＯＢ段差検出部４０５に出力される。本実施例における詳細な補正方法は後述する。

画像信号処理部４０４は、撮像信号４０７に所定の処理を行い映像信号４０８を出力する。なお、所定の処理とは、黒レベル補正部４０３からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどへの入力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ（登録商標）信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。

ＯＢ段差検出部４０５は、撮像信号４０７に基づいて黒潰れの有無を検出する。本実施例における詳細な黒潰れの判定方法については、後述する。

システム制御部４０６は、ＯＢ段差検出部４０５から得た黒潰れ判定信号４０９、ＯＢ画素平均値信号４１０、黒潰れ画素平均値信号４１１に基づいて、黒レベル補正部４０３において黒レベル補正を行うための黒レベル補正信号４１２を求める。また、撮影シーンに応じて露光状態が最適になるように、撮像部４０１の露光時間を制御するシャッタ速度制御信号４１３、利得調整部４０２の信号利得を制御する利得調整信号４１４を出力する。

図５は、ＯＢ段差検出部４０５がＯＢ段差を検出する方法の一例を説明する図である。

ＯＢ段差検出部４０５は、ＯＢ画素出力値平均部５０１、ヒストグラム検出部５０２および黒潰れ判定部５０３を有する。

ＯＢ段差検出部４０５には、黒レベル補正部４０３から出力された撮像信号４０７が入力され、ＯＢ画素出力値平均部５０１およびヒストグラム検出部５０２に入力される。

ＯＢ画素出力値平均部５０１は、黒レベル補正部４０３から出力された撮像信号４０７のうち、ＯＢ部から出力される信号レベルの平均値を算出する。求められた平均値は、ＯＢ画素平均値信号４１０としてヒストグラム検出部５０２に出力されるとともに、不図示のシステム制御部４０６に出力される。

次に、ヒストグラム検出部５０２では、撮像信号４０７における有効画素部の出力値のヒストグラムを取得し、ＯＢ画素平均値信号４１０以下の信号レベルとなる画素数を求め、この画素数を黒潰れ画素数信号５０４として出力する。併せて、ＯＢ画素平均値信号４１０以下の画素における信号レベルの平均値を算出し、黒潰れ画素平均値信号４１１として出力する。

黒潰れ判定部５０３は、ヒストグラム検出部５０２から入力された黒潰れ画素数信号５０４に基づいて、黒潰れの有無を判定する。該判定結果を黒潰れ判定信号４０９として、不図示のシステム制御部４０６に出力する。以下、図６を用いて黒潰れの判定方法を説明する。

図６は、黒潰れ画素数信号５０４の時間経過に応じた出力特性を示す図である。横軸は黒潰れの時間変化を表し、縦軸は黒潰れ画素数を表している。

黒潰れ画素は、撮像素子の周囲温度、露光時間によって変化するため、黒潰れ画素数信号５０４も時間的に変化する。また、ＯＢ段差は撮像装置で使用するゲインでも強調されるため、撮像装置が動作する間、常に変化する。
本実施例においては黒潰れ判定部５０３における判定には、黒潰れの大きさに加えて、黒潰れが継続する時間も考慮する。

黒潰れの大きさに基づく判定は、具体的には、黒潰れ大きさ閾値δＸを設定し、黒潰れ画素数信号５０４の閾値δＸに対する大小関係より判定を行う。尚、黒潰れ画素数信号５０４を判定に用いる代わりに、黒潰れ画素数信号５０４を撮像素子の有効画素で除算した値に基づいて判定を行ってもよい。

黒潰れの継続時間に基づく判定は、具体的には、黒潰れ継続時間閾値δｔを設定する。そして、黒潰れ画素数信号５０４が黒潰れ大きさ閾値δＸを超える時間が黒潰れ継続時間閾値δｔより連続的に長く継続されるようであれば、黒潰れ継続時間が長いと判断される。

以上の２つの判定閾値を満たした場合、黒潰れ判定部５０３は画面内に黒潰れが有りと判定し、黒潰れ判定信号４０９をシステム制御部４０６に出力する。

次に、システム制御部４０６による、黒レベル補正部４０３の制御方法について、図７に示すフローチャートを参照し説明する。

本フローチャートにおいては、撮像装置の電源が挿入され、システム制御部４０６により黒レベル補正信号４１２はＯＢ画素平均値信号４１０に基づき初期化され、固定値制御されていると仮定する。また、黒潰れ判定信号４０９はＬｏｗレベル出力時を黒潰れ無し、Ｈｉｇｈレベル出力時を黒潰れ有りとして取り扱う。

まず、黒潰れ判定部５０３から出力される黒潰れ画素数信号５０４を監視し、黒潰れの大きさを判定する（ステップ７０１）。

このとき、黒潰れ画素数信号５０４が所定の閾値（図６のδＸ）よりも小さい場合は、黒潰れが小さいと判断され、システム制御部４０６に黒潰れ判定信号４０９をＬｏｗレベルで出力する（ステップ７０５）。

システム制御部４０６は、これを受けＯＢ画素平均値信号４１０に基づき黒レベル補正信号４１２を出力する（ステップ７０６）。そして黒レベル補正信号４１２に基づいて黒レベル補正部４０３は、黒レベル補正を行う。そして黒レベル補正の処理を終了する。

一方、黒潰れ画素数信号５０４が所定の閾値（図６のδＸ）よりも大きい場合は、黒潰れが大きいと判断し、黒潰れの継続時間判定に進む（ステップ７０２）。

黒潰れ継続時間判定では、黒潰れが継続する時間を計測し、所定の時間（図６のδｔ）より短い場合は、黒潰れは無しと判断し、システム制御部４０６に黒潰れ判定信号４０９をＬｏｗレベルで出力する（ステップ７０５）。

システム制御部４０６は、これを受けＯＢ画素平均値信号４１０に基づき黒レベル補正信号４１２を出力する（ステップ７０６）。そして黒レベル補正信号４１２に基づいて黒レベル補正部４０３は、黒レベル補正を行う。そして黒レベル補正の処理を終了する。

一方、所定の時間（図６のδｔ）より長い場合は、黒潰れが有りと判断し、黒潰れ判定信号４０９をＨｉｇｈレベルで出力する（ステップ７０３）。システム制御部４０６は、黒潰れ画素平均値信号４１１に基づき黒レベル補正信号４１２を出力する。（ステップ７０４）。そして黒レベル補正信号４１２に基づいて黒レベル補正部４０３は、黒レベル補正を行う。そして黒レベル補正の処理を終了する。

以上のように、黒潰れの有無を黒潰れ画素数から判定し、該判定結果に応じて黒レベル補正信号４１２の基準を制御することで、黒潰れが目立つシーンでは黒潰れを改善し、黒潰れが目立たないシーンでは、誤補正による黒浮き等が発生しないように黒レベルを補正することが可能となる。

図８Ａおよび図８Ｂは、黒潰れが有りと判断された場合における黒レベル補正信号４１２の変化を説明する図である。ここでは、撮像装置の初期状態として、ＯＢ画素平均値４１０で黒レベル補正していたと仮定する。図８Ａは、時間経過に伴う黒潰れ画素数の変化、図８Ｂは、図８Ａに示した黒潰れ画素数の変化に伴う黒レベル補正値を示したものである。

図８Ａに示すように、ＯＢ段差検出部４０５において黒潰れが検出されない場合には（時間０〜ｔ１）、システム制御部４０６は、図８Ｂに示すようにＯＢ画素平均値信号４１０に基づき黒レベル補正信号41２を生成する。

一方、図８Ａに示すように、ＯＢ段差検出部４０５において時間ｔ１で黒潰れが検出されると、システム制御部４０６は、図８Ｂに示すように黒潰れ画素平均値信号４１１に基づき黒レベル補正信号４１２を生成する。

以上に示す実施例１により、黒潰れの画素数または有効画素数に対する黒潰れの画素数の割合に応じて黒レベル補正値を制御することにより、誤補正により生じる黒浮き等を抑制でき、良好な画質を得ることが可能となる。

以上、実施例１では、ヒストグラム検出部５０２の検出範囲として全有効画素を対象とし説明した。本実施例では、ヒストグラム検出部５０２の検出範囲を図９に示すように、任意の数に分割してもよい。このような構成にすることにより、各エリアの黒潰れ画素数が求まり、各エリアごとに黒潰れ判定結果を求めることが可能となる。黒潰れの有無を検出エリアの数を考慮し判定することで、局所的な信号レベル変動の影響をより低減することが可能となる。

図１０は、本実施例２における基本構成の一例を説明する図である。

本図は、図５におけるヒストグラム検出部５０２と黒潰れ判定部５０３間の黒潰れ画素数信号５０４の入出力数が変更となったのみであり、変更のない各制御部、各制御信号の動作は実施例１と同じである。第１の実施例と同一の部分には同一の符号を付与し、重複説明を適宜省略する。尚、本実施例では、図９に示した検出エリアを想定し、ヒストグラム検出部１００１、黒潰れ判定部１００２間の黒潰れ画素数信号１００３の出力数は９本として説明する。

上記構成において、ヒストグラム検出部１００１は、図９に示すような検出エリア１〜９に対し、ＯＢ画素平均値信号４１０以下の信号レベルとなる画素数を各エリアにおいて求め、黒潰れ判定部１００２に黒潰れ画素数信号１００３（９本分）を出力する。黒潰れ判定部１００２では、各エリアの黒潰れ画素数信号１００３を元に各エリアの黒潰れの有無を判定する。尚、判定方法は、各エリアごとに実施し、実施例１と同様に黒潰れの大きさ及び黒潰れが継続する時間を監視し判定を行う。各エリアの黒潰れ判定が終了した後、黒潰れを検出したエリア数に応じて、黒潰れ判定信号４０９を出力する。このとき、黒潰れ判定信号４０９は、黒潰れ検出エリア数に予め閾値を設けておき、黒潰れ検出エリア数が閾値以下であった場合は、黒潰れはないと判断し、黒潰れ判定信号４０９をＬｏｗレベルとして出力する。一方で、黒潰れ検出数が閾値以上であった場合は、黒潰れは有りと判定し、黒潰れ判定信号４０９をＨｉｇｈレベルとして出力する。

以上の実施例２により、黒潰れの割合のみならず、黒潰れが生じたエリアの数も考慮して黒レベル補正の有無を判定するため、実施例１に比べより局所的な信号レベルの変化の影響を受けず補正することが可能となる。

実施例１では、黒潰れ画素数信号５０４が、黒潰れ検出閾値δＸ、黒潰れ継続時間閾値δｔを越えた場合のみ黒潰れが有ると判定し、黒レベル補正信号４１２を黒潰れ判定信号４０９に基づき補正するとした。本実施例ではこれに限らず、黒レベル補正信号４１２を、例えば、（数２）に示される全有効画素に対する黒潰れ画素数信号５０４の割合αを考慮して、（数１）に基づいて変化させても良い。
黒レベル補正信号＝ＯＢ画素平均値信号×（１−α）+黒潰れ画素平均値信号×α 〔数１〕
α ＝ 黒潰れ画素数信号／撮像素子全有効画素数 〔数２〕
すなわち、黒潰れが大きいほど、黒レベル補正信号４１２は、黒潰れ画素平均値信号４１１に基づき算出される。一方、黒潰れが少ないときは、黒レベル補正信号４１２は大凡ＯＢ画素平均値信号４１０に基づき算出される。以上のような特性式に基づき黒レベル補正信号４１２を変化させることにより、黒潰れ補正による誤補正を抑制することが可能となる。

以上、本発明の幾つかの実施例を説明したが、本発明はこれらの実施例に限定されるものではなく、様々な変形例が含まれる。例えば、本実施例では、黒潰れの検出に黒潰れの大きさと黒潰れ継続時間を要しているが、どちらか一方のみで黒潰れを検出しても本発明が有効であることは言うまでもない。また、上記した実施例は本発明を分かりやすく説明するために提案したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

本発明は、静止画や動画を撮像、記録するビデオカメラ、デジタルカメラ、監視カメラ等の撮像装置に用いることができる。

４０１…撮像部
４０２…利得調整部
４０３…黒レベル補正部
４０４…画像信号処理部
４０５…ＯＢ段差検出部
４０６…システム制御部
４０７…撮像信号
４０８…映像信号
４０９…黒潰れ判定信号
４１０…ＯＢ画素平均値信号
４１１…黒潰れ画素平均値信号
４１２…黒レベル補正信号
４１３…シャッタ速度制御信号
４１４…利得調整信号
５０１…ＯＢ画素出力値平均部
５０２…ヒストグラム検出部
５０３…黒潰れ判定部
５０４…黒潰れ画素数信号
９０１…有効画素部
１００１…ヒストグラム検出部
１００２…黒潰れ判定部
１００３…黒潰れ画素数信号１〜９

Claims (6)

1. 被写体からの入射光を電気信号に光電変換する画素を備え、前記画素は有効画素部とＯＢエリアとからなる撮像素子を含む撮像部と、
   前記有効画素部から出力される電気信号の黒レベルを補正する黒レベル補正部と、
   前記有効画素部における画素のうち、画素出力値が前記ＯＢエリアから出力される電気信号よりも小さい画素の数を検出するヒストグラム検出部と、
   前記画素の数に基づいて黒潰れ判定を行う黒潰れ判定部と、
   前記判定結果に基づいて、前記黒レベル補正部において黒レベルを補正するために用いられる黒レベル補正値を決定するシステム制御部と、
   を有する撮像装置。
2. 請求項１に記載の撮像装置において、
   前記システム制御部は、前記画素の数が第１の閾値よりも小さい場合には、前記黒レベル補正値はＯＢ画素平均値であり、前記画素数が第１の閾値よりも大きい場合には、前記黒レベル補正値は黒潰れ画素平均値である撮像装置。
3. 請求項１に記載の撮像装置において、
   前記システム制御部は、前記黒レベル補正値は、ＯＢ画素平均値および黒潰れ画素平均値の間の値をとり、前記画素の数が大きいほど黒レベル補正のための信号は前記黒潰れ画素平均値の信号に基づいて算出される撮像装置。
4. 請求項３に記載の撮像装置において、
   前記黒レベル補正値は、前記画素の数を前記撮像素子の全有効画素数で除算した割合αを式（１）に当てはめて求める撮像装置。
   黒レベル補正信号＝ＯＢ画素平均値信号×（１−α）+黒潰れ画素平均値信号×α・・（式１）
5. 請求項１に記載の撮像装置において、
   前記ヒストグラム検出部は、前記有効画素部を複数のエリアに分割し、前記エリア毎において、画素出力値が前記ＯＢエリアから出力される電気信号よりも小さい画素の画素数を求め、
   前記黒潰れ判定部は、前記画素数が第２の閾値よりも大きい値をとるエリア数を求め、
   前記システム制御部は、前記エリア数に基づいて、前記黒レベル補正部において黒レベルを補正するために用いられる黒レベル補正値を決定する撮像装置。
6. 被写体からの入射光を電気信号に光電変換する有効画素部とＯＢエリアとからなる撮像素子において、前記有効画素部における画素のうち、画素出力値が前記ＯＢエリアから出力される電気信号よりも小さい画素の画素数を求め、
   前記画素数に基づいて、黒レベルを補正するために用いられる黒レベル補正値を決定する撮像方法。