JP6319140B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像装置で撮像された画像の黒レベルを補正する画像処理装置に関する。

従来、この種の技術としては、例えば特許文献１に記載されたものが知られている。同文献１には、ＯＢ（オプティカルブラック）データに基づいて、有効画素領域で得られた画像信号の黒レベルを補正する黒バランス調整装置が記載されている。

この黒バランス調整装置は、撮像素子に設けられた暗電流補正用の画素領域となるＯＢ領域（光学的黒領域）の光電変換素子から出力される出力信号（ＯＢデータ）を任意の数取得する。黒バランス調整装置は、取得した任意の数のＯＢデータの平均値を算出し、算出したＯＢデータの平均値を黒レベル補正値とし、この黒レベル補正値に基づいて黒レベルを補正している。

特開２００６−２８７４１２号公報

上記従来の技術において、ＯＢデータを単に平均化するだけでは、雑音や温度変化などの外的要因に起因するＯＢデータの変動を抑制することは困難であった。

また、従来の技術では、光電変換素子の異常などの内的要因に起因するＯＢデータの変動を抑制することは困難であった。

したがって、変動を抑制することが困難なＯＢデータに基づいて算出される黒レベル補正値は、精度が悪かった。この結果、従来の技術では、撮像された画像の黒レベルを補正する精度が低下していた。

本発明の目的は、撮像された画像の黒レベルを補正する精度を向上した画像処理装置を提供することである。

本発明は、撮像装置の撮像部に設けられた光学的黒領域に配置された複数の光電変換素子で得られた黒レベル基準信号の内、周囲の前記光電変換素子で得られた黒レベル基準信号の信号レベルに対して異常な信号レベルの黒レベル基準信号を、周囲の正常な黒レベル基準信号の信号レベルに補正する黒レベル基準信号補正部と、前記黒レベル基準信号補正部で補正された黒レベル基準信号を含む、前記光学的黒領域に配置された前記光電変換素子で得られたすべての黒レベル基準信号の信号レベルの平均値を、前記撮像装置で撮像された画像を構成するフレーム毎に算出し、フレーム毎に算出した黒レベル基準信号の信号レベルの平均値を第１平均黒レベル基準信号として出力する第１平均値算出部と、所定のフレーム数分の第１抑制黒レベル基準信号の信号レベルの平均値を算出し、算出した平均値を第２平均黒レベル基準信号として出力する第２平均値算出部と、前記第２平均値算出部から出力された第２平均黒レベル基準信号の信号レベル及び予め設定されたしきい値に基づいて決定される第１抑制範囲内に、前記第１平均値算出部で算出された第１平均黒レベル基準信号の信号レベルを抑制し、信号レベルを抑制した第１平均黒レベル基準信号を第１抑制黒レベル基準信号として出力する第１抑制部と、前記第１抑制部から出力された第１抑制黒レベル基準信号の信号レベルまたは第２抑制黒レベル基準信号の信号レベルと予め設定されたしきい値とに基づいて決定される第２抑制範囲内に、第１抑制黒レベル基準信号の信号レベルを抑制し、信号レベルを抑制した第１抑制黒レベル基準信号を第２抑制黒レベル基準信号として出力する第２抑制部と、前記第２抑制部から出力された第２抑制黒レベル基準信号に基づいて、前記撮像部に設けられた有効画素領域の光電変換素子で得られた画像信号の黒レベルを補正する黒レベル補正部とを有することを特徴とする画像処理装置を提供する。

本発明の画像処理装置によれば、撮像された画像の黒レベルを補正する際に用いる信号の精度を高めることができる。これにより、本発明の画像処理装置は、撮像された画像の黒レベルを補正する精度を向上することができる。

本発明の実施形態に係る画像処理装置を備えた撮像装置の構成を示すブロック図である。 撮像素子の概略構成を示す図である。 黒レベル基準信号補正部の構成を示すブロック図である。 黒レベル基準信号の補正を説明するための図である。 平均値算出部の構成を示すブロック図である。 第２平均値算出部の構成を示すブロック図である。 第１抑制部の構成を示すブロック図である。 第２抑制部の構成を示すブロック図である。

以下、図面を用いて本発明を実施するための実施形態を説明する。

（実施形態）
実施形態の画像処理装置は、動画像を撮像する機能を備えた様々な機器に搭載することができる。動画像を撮像する機能を備えた機器としては、例えばビデオカメラやスチルカメラなどの撮像装置、撮像機能を備えた携帯電話、携帯情報端末などが挙げられる。

以下の説明では、画像処理装置がビデオカメラなどの撮像装置に搭載された場合を一例として説明する。

まず、実施形態の画像処理装置を説明する前に、画像処理装置が搭載された撮像装置の全体の概略構成を説明する。

図１は撮像装置１の構成を示すブロック図である。図１において、撮像装置１は、被写体を撮像して、被写体のアナログ画像信号を得る撮像部１００を備えている。

撮像部１００は、ズームレンズ１００１、フォーカスレンズ１００２、絞り１００３、及びイメージセンサなどで構成される撮像素子１００４を備えている。

ズームレンズ１００１は図示しないズームアクチュエータによって光軸に沿って移動する。同様に、フォーカスレンズ１００２は、図示しないフォーカスアクチュエータによって光軸に沿って移動する。絞り１００３は、図示しない絞りアクチュエータに駆動されて動作する。

撮像部１００を用いた撮像は以下の手順で行われる。撮像素子１００４はズームレンズ１００１、フォーカスレンズ１００２、及び絞り１００３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。生成されたアナログ画像信号は、アナログ画像信号処理部１０１に与えられる。

アナログ画像信号処理部１０１は、撮像部１００から与えられたアナログ画像信号を例えば相関二重サンプリングなどのサンプリング処理を行うことにより増幅する。増幅する際のゲインは、後述する撮像制御部１１３によって調整制御される。アナログ画像信号処理部１０１は、増幅したアナログ画像信号をＡ／Ｄ変換部１０２に出力する。

Ａ／Ｄ変換部１０２は、増幅されたアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換部１０２は、変換によって得られたデジタル画像信号を画像入力コントローラ１０３に出力する。

画像入力コントローラ１０３は、Ａ／Ｄ変換部１０２から与えられたデジタル画像信号を取り込んで、取り込んだデジタル画像信号をバス１０４を介してバス１０４に接続されたＲＡＭ１０５に記憶する。

バス１０４には、デジタル信号処理部１０６及びＲＯＭ１０７が接続されている。

デジタル信号処理部１０６は、バス１０４を介してＲＡＭ１０５に格納されたデジタル画像信号を読み込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。

デジタル信号処理部１０６は、撮像素子１００４から出力される撮像時の感度情報、例えばＡＧＣゲインまたはＩＳＯ感度に基づき、デジタル画像信号の各種デジタル補正処理を行う。各種デジタル補正処理は、例えばオフセット処理、ガンマ補正処理、ゲイン処理、ＲＧＢ補間処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等である。

ＡＧＣは、Automatic Gain Control：自動利得制御の略称であり、ＩＳＯは、International Organization for Standardization：国際標準化機構の略称である。

ＲＯＭ１０７は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納する。ＲＯＭ１０７は、後述する撮像制御部１１３で実行される制御プログラムを格納する。

バス１０４には、入出力Ｉ／Ｆ（インターフェイス）１０８を介して液晶モニタ１０９、スピーカ１１０、操作部１１１及び入出力端子１１２が接続されている。

液晶モニタ１０９は、例えばＲＡＭ１０５に一時記録された画像信号や各種メニュー画像等、各種画像を表示する。スピーカ１１０は、例えばＲＡＭ１０５に一時記録された音声を出力する。操作部１１１は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ１０９上に重畳されたタッチパネル等から構成されている。操作部１１１は、ユーザの撮像装置１への操作入力を受け付ける。

入出力端子１１２は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

撮像制御部１１３は、バス１０４を介してＲＯＭ１０７に記憶された撮像装置１の全体の動作を制御する制御プログラムを読み出し、読み出した制御プログラムに基づいて撮像装置１の全体の動作を統括制御する。撮像制御部１１３は、ＣＰＵを有するマイクロコンピュータによって構成することができる。

撮像制御部１１３は、アナログ画像信号処理部１０１がアナログ画像信号を増幅する際の増幅ゲインを制御する。撮像制御部１１３は、絞り１００３や入射光を光電変換する時間だけでは調整しきれない撮像素子１００４に入射する光量の変化を補償するように、増幅ゲインを制御する。すなわち、撮像制御部１１３は、撮像素子１００４に入射する光量が少なくなるほど増幅ゲインを大きくする。

撮像装置１は、実施形態の画像処理装置１０を備えている。

画像処理装置１０は、バス１０４に接続され、バス１０４を介して以下に説明する画像処理装置１０で行われる各種処理に必要な信号を入出力する。画像処理装置１０は、黒レベル基準信号補正部２０、平均値算出部３０、第１抑制部４０、第２抑制部５０及び黒レベル補正部６０を備えている。

なお、以下の説明において、画像処理装置１０で処理される各種信号は、画像処理装置１０の上記構成要件により補正、演算、比較、平均値算出などの各種処理が行われる。この各種処理では、特に断らない限り各種信号の信号レベルが補正、比較、演算されたり、信号レベルの平均値が算出される。例えば、２つの所定の信号が比較されると記載されている場合には、所定の信号の信号レベルが比較されることを意味する。

黒レベル基準信号補正部２０は、撮像素子１００４に設けられたＯＢ領域の各画素を構成する各光電変換素子から出力され、画像入力コントローラ１０３からバス１０４を介して出力されるデジタル画像信号を黒レベル基準信号として入力する。黒レベル基準信号補正部２０は、入力した黒レベル基準信号から信号レベルが異常な黒レベル基準信号を補正する。ここで、信号レベルが異常であるとは、光電変換素子に欠陥などの不具合が発生し、周囲の正常な光電変換素子で得られた黒レベル基準信号の信号レベルとの差が極端に大きい場合をいうものとする。

図２は撮像素子１００４の模式図である。

図２において、撮像素子１００４は、各画素を構成する光電変換素子（図示せず）が複数行列状に配列された画素領域１００５を備えている。画素領域１００５は、画像の画素信号を出力する有効画素領域１００６と、黒レベル基準信号を出力するＯＢ領域（光学的黒領域）１００７とで構成されている。

ＯＢ領域１００７は、図２に示す一例では、画素領域１００５の内、左端部の画素領域１００５と下端部の画素領域１００５とが割り当てられている。ＯＢ領域１００７の配置位置や大きさは、図２に示す一例に限ることはなく、画素領域のいずれの箇所に設けることができ、例えば画素領域の四隅に設けることができる。

ＯＢ領域１００７に配列された光電変換素子は、遮光膜が形成され、遮光膜により入射光が遮断されている。ＯＢ領域１００７に配列された各光電変換素子は、遮光状態における出力信号として黒レベル基準信号を出力する。

黒レベル基準信号補正部２０は、図３に示すように、記憶部２１、記憶制御部２２、配列部２３及び選択部２４を備えている。

記憶部２１は、記憶制御部２２の制御の下に、ＯＢ領域１００７の光電変換素子で得られた黒レベル基準信号を記憶する。記憶部２１は、記憶制御部２２の制御の下に、記憶された黒レベル基準信号を配列部２３に読み出す。

記憶制御部２２は、ＯＢ領域１００７の光電変換素子で得られた黒レベル基準信号を入力する。記憶制御部２２は、入力した黒レベル基準信号を記憶部２１に記憶する動作、及び配列部２３に読み出す動作を制御する。

配列部２３は、記憶部２１から読み出された黒レベル基準信号が入力される。配列部２３は、補正しようとする黒レベル基準信号を出力する光電変換素子と、この光電変換素子の周囲の複数の光電変換素子の黒レベル基準信号の大きさを比較し、大きい順に黒レベル基準信号を配列する。ここでは配列部２３は、大きい順に黒レベル基準信号を配列するとしたが、小さい順に黒レベル基準信号を配列しても良い。選択部２４は、配列した黒レベル基準信号を選択部２４に出力する。

選択部２４は、配列部２３から出力された黒レベル基準信号を入力し、配列された黒レベル基準信号の配列順序における中央の黒レベル基準信号を選択する。ここで、配列された黒レベル基準信号の配列順序における中央とは、配列された黒レベル基準信号が奇数個の例えば９個であれば、大きい方から５番目の黒レベル基準信号を指す。一方、配列された黒レベル基準信号が偶数個の例えば６個であれば、配列された黒レベル基準信号の中央とは、信号レベルが大きい方から３番目もしくは４番目の黒レベル基準信号を指す。

選択部２４は、補正前の黒レベル基準信号に代えて、選択した黒レベル基準信号を補正後の補正黒レベル基準信号として平均値算出部３０に出力する。

黒レベル基準信号補正部２０の補正動作は、以下に示すようにして行われる。

ここで、ＯＢ領域１００７の光電変換素子１００８は、例えば図４（ａ）に示すように、３行１２列に配列され、ＯＢ領域１００７は、３６個のそれぞれ独立した光電変換素子１００８を備えているものとする。

図４（ａ）において、ＯＢ領域１００７の各光電変換素子１００８で得られた黒レベル基準信号は、信号レベルの大きさが例えば１２ビットの数値で表されている。ここで、図４（ａ）に示すように、例えば画素Ｘと画素Ｙとの光電変換素子１００８は、欠陥が生じているものとする。

画素Ｘの黒レベル基準信号は、信号レベルの値が「０１０」となり、周囲の画素の黒レベル基準信号の信号レベル「０７Ｆ」、「０８０」、「０８１」に比べて極端に小さな値となり、異常な信号レベルを示している。同様に、画素Ｙの黒レベル基準信号は、信号レベルの値が「Ｆ００」となり、周囲の画素の黒レベル基準信号の信号レベル「０７Ｆ」、「０８０」、「０８１」に比べて極端に大きな値となり、異常な信号レベルを示している。

ここでは、特に黒レベル基準信号の信号レベルが異常な画素Ｘと画素Ｙに着目して、画素Ｘと画素Ｙとの黒レベル基準信号が補正される動作を説明する。

まず、ＯＢ領域１００７のすべての光電変換素子１００８で得られた黒レベル基準信号が記憶部２１に読み込まれる。

画素Ｘの黒レベル基準信号が補正される際には、画素Ｘの黒レベル基準信号とその周囲の８個の画素の黒レベル基準信号とが記憶部２１から配列部２３に与えられる。すなわち、図４（ａ）の破線Ｘ１で囲まれた９個の画素の黒レベル基準信号が配列部２３に与えられる。

配列部２３に与えられた９個の黒レベル基準信号は、信号レベルが大きい順に配列される。すなわち、９個の黒レベル基準信号は、信号レベルが大きい順に「０８１、０８１、０８０、０８０、０８０、０７Ｆ、０７Ｆ、０７Ｆ、０１０」というように配列される。

このように配列された９個の黒レベル基準信号は、中央となる黒レベル基準信号が選択部２４により選択される。すなわち、信号レベルが大きい方から５番目の信号レベル「０８０」の黒レベル基準信号が選択される。選択された信号レベル「０８０」の黒レベル基準信号は、図４（ｂ）に示すように、異常な信号レベル「０１０」の黒レベル基準信号に置き換えられ、画素Ｘの補正黒レベル基準信号として出力される。

画素Ｙの黒レベル基準信号が補正される際には、画素Ｙの黒レベル基準信号とその周囲の８個の画素の黒レベル基準信号とが記憶部２１から配列部２３に与えられる。すなわち、図４（ａ）の破線Ｙ１で囲まれた９個の画素の黒レベル基準信号が配列部２３に与えられる。

配列部２３に与えられた９個の黒レベル基準信号は、信号レベルが大きい順に配列される。すなわち、９個の黒レベル基準信号は、信号レベルが大きい順に「Ｆ００、０８１、０８１、０８０、０８０、０７Ｆ、０７Ｆ、０７Ｆ、０７Ｆ」というように配列される。

このように配列された９個の黒レベル基準信号は、中央となる黒レベル基準信号が選択部２４により選択される。すなわち、信号レベルが大きい方から５番目の信号レベル「０８０」の黒レベル基準信号が選択される。選択された信号レベル「０８０」の黒レベル基準信号は、図４（ｂ）に示すように、異常な信号レベル「Ｆ００」の黒レベル基準信号と置き換えられ、画素Ｙの補正黒レベル基準信号として出力される。

なお、ＯＢ領域１００７の四隅を除く左右上下端の画素の黒レベル基準信号を補正する際には、配列部２３は、補正する画素とその周囲の５個の画素の計６個の画素の黒レベル基準信号の信号レベルを大きい順に配列する。選択部２４は、配列された６個の画素の黒レベル基準信号の中央の信号として大きい方から３番目もしくは４番目の黒レベル基準信号を選択する。

ＯＢ領域１００７の四隅の画素の黒レベル基準信号を補正する際には、配列部２３は、補正する画素とその周囲の３個の画素の計４個の画素の黒レベル基準信号の信号レベルを大きい順に配列する。選択部２４は、配列された４個の画素の黒レベル基準信号の中央の信号として大きい方から２番目もしくは３番目の黒レベル基準信号を選択する。

黒レベル基準信号補正部２０は、上述したように、ＯＢ領域１００７のすべての画素に対して補正動作を行う。このとき、周囲の黒レベル基準信号との差が極僅かな正常な信号レベルの黒レベル基準信号は、周囲との信号レベルとの差が極僅かであるので、補正動作が行われても、概ね補正前の信号レベルと変わることはない。

平均値算出部３０は、図５に示すように、第１平均値算出部３１と第２平均値算出部３２とを備えている。

第１平均値算出部３１は、黒レベル基準信号補正部２０から出力されるＯＢ領域１００７のすべての画素の補正黒レベル基準信号を入力し、入力した補正黒レベル基準信号の平均値を算出する。第１平均値算出部３１は、入力したＯＢ領域１００７のすべての画素の補正黒レベル基準信号を加算し、加算した総和を加算した信号数で除算して平均値を算出する。第１平均値算出部３１は、撮像装置１で撮像された動画像のフレーム毎に平均値を算出する。第１平均値算出部３１は、算出した平均値を第１平均黒レベル基準信号として第１抑制部４０に出力する。

第２平均値算出部３２は、後述する第１抑制部４０から出力された第１抑制黒レベル基準信号を入力し、撮像装置１で撮像された画像の複数フレーム例えば１６フレームに渡る第１抑制黒レベル基準信号の平均値を算出する。

第２平均値算出部３２は、図６に示すように、バッファ部３２１と算出部３２２を備えている。

バッファ部３２１は、現フレームの第１抑制黒レベル基準信号を入力する。バッファ部３２１は、平均値を算出しようするとする現フレームの直前の１５フレーム分の第１抑制黒レベル基準信号を保持する。バッファ部３２１は、平均値を算出する毎に、１５フレーム前に入力されて保持された最も古い第１抑制黒レベル基準信号に代えて、現フレームの第１抑制黒レベル基準信号を保持する。バッファ部３２１は、保持した１５フレーム分の第１抑制黒レベル基準信号を算出部３２２に出力する。

算出部３２２は、現フレームの第１抑制黒レベル基準信号と、バッファ部３２１に保持された現フレームの直前の１５フレーム分の第１抑制黒レベル基準信号との平均値を算出する。算出部３２２は、現フレームと１５フレーム分の第１抑制黒レベル基準信号を加算し、加算した総和を信号数の１６で除算して平均値を算出する。算出部３２２は、算出した平均値を第２平均黒レベル基準信号として第１抑制部４０に出力する。

第１抑制部４０は、図７に示すように、加算部４１（第１加算部）、減算部４２（第１減算部）、しきい値保持部４３、４４、算出部４５を備えている。

加算部４１は、第２平均値算出部３２から出力された第２平均黒レベル基準信号を入力し、入力した第２平均黒レベル基準信号としきい値ｔｈ１（第１しきい値）とを加算する。加算部４１は、加算結果を算出部４５に出力する。

減算部４２は、第２平均値算出部３２から出力された第２平均黒レベル基準信号を入力し、入力した第２平均黒レベル基準信号からしきい値ｔｈ２（第２しきい値）を減算する。減算部４２は、減算結果を算出部４５に出力する。

しきい値保持部４３は、予め設定されたしきい値ｔｈ１を保持し、保持したしきい値ｔｈ１を加算部４１に与える。

しきい値保持部４４は、予め設定されたしきい値ｔｈ２を保持し、保持したしきい値ｔｈ２を減算部４２に与える。

算出部４５は、第１平均値算出部３１から出力された第１平均黒レベル基準信号、加算部４１の加算結果及び減算部４２の減算結果を入力し、第１抑制黒レベル基準信号を算出する。

算出部４５は、第１平均黒レベル基準信号と加算結果及び減算結果とを比較し、比較結果に基づいて第１抑制黒レベル基準信号を算出する。

算出部４５は、比較結果において、第１平均黒レベル基準信号が加算結果よりも大きい場合には、加算結果を信号レベルとする第１抑制黒レベル基準信号を算出する。算出部４５は、比較結果において、第１平均黒レベル基準信号が加算結果よりも小さいかもしくは同じ場合には、第１平均黒レベル基準信号を第１抑制黒レベル基準信号として算出する。

算出部４５は、比較結果において、第１平均黒レベル基準信号が減算結果よりも小さい場合には、減算結果を信号レベルとする第１抑制黒レベル基準信号を算出する。算出部４５は、比較結果において、第１平均黒レベル基準信号が減算結果よりも大きいかもしくは同じ場合には、第１平均黒レベル基準信号を第１抑制黒レベル基準信号として算出する。

第１平均黒レベル基準信号が、第１抑制範囲外にある場合には、第１平均黒レベル基準信号は、実証的な観点から何らかの雑音の影響により信号レベルが変動しているものと推測される。ここで、第１抑制範囲とは、加算部４１の加算結果以下かつ減算部４２の減算結果以上の範囲である。

そこで、第１抑制部４０は、第１平均黒レベル基準信号が、第１抑制範囲外にある場合には、上述した演算処理を実行することにより、第１平均黒レベル基準信号を第１抑制範囲内に抑制する。これにより、第１抑制部４０は、雑音の影響による第１平均黒レベル基準信号の信号レベルの変動を抑制して第１抑制黒レベル基準信号を生成する。第１抑制部４０は、算出した第１抑制黒レベル基準信号を平均値算出部３０の第２平均値算出部３２及び第２抑制部５０に出力する。

第２抑制部５０は、図８に示すように、加算部５１ａ，５１ｂ、減算部５２ａ，５２ｂ、しきい値保持部５３、クリップ部５４ａ，５４ｂ、バッファ部５５、比較部５６、選択部５７を備えている。

加算部５１ａは、第１抑制部４０から出力された第１抑制黒レベル基準信号を入力し、入力した第１抑制黒レベル基準信号としきい値ｔｈ３（第３しきい値）とを加算する。加算部５１ａは、加算結果をクリップ部５４ａに出力する。

加算部５１ｂ（第２加算部）は、後述するバッファ部５５に保持された第１抑制黒レベル基準信号または第２抑制黒レベル基準信号としきい値ｔｈ３とを加算する。加算部５１ｂは、加算結果を比較部５６に出力する。

減算部５２ａ（第２減算部）は、第１抑制部４０から出力された第１抑制黒レベル基準信号を入力し、入力した第１抑制黒レベル基準信号からしきい値ｔｈ３を減算する。減算部５２ａは、減算結果をクリップ部５４ａに出力する。

減算部５２ｂは、バッファ部５５に保持された第１抑制黒レベル基準信号または第２抑制黒レベル基準信号からしきい値ｔｈ３を減算する。減算部５２ｂは、減算結果を比較部５６に出力する。

しきい値保持部５３は、予め設定されたしきい値ｔｈ３を保持し、保持したしきい値ｔｈ３を加算部５１ａ、５１ｂ、及び減算部５２ａ，５２ｂに与える。

クリップ部５４ａは、加算部５１ａから出力された加算結果を入力し、入力した加算結果の上限を予め任意に設定された上限値に制限する。クリップ部５４ａは、上限が制限された加算結果を選択部５７に出力する。なお、加算部５１ａの加算結果は、クリップ部５４ａを介さずに上限を制限されることなく直接選択部５７に与えられるようにしてもよい。

クリップ部５４ｂは、減算部５２ａから出力された減算結果を入力し、入力した減算結果の下限を予め任意に設定された下限値に制限する。クリップ部５４ｂは、下限が制限された減算結果を選択部５７に出力する。なお、減算部５２ａの減算結果は、クリップ部５４ｂを介さずに下限が制限されることなく直接選択部５７に与えられるようにしてもよい。

バッファ部５５は、動作開始時に撮像装置１で撮像された画像の最初の１フレームでは、後述する選択部５７から出力される第１抑制黒レベル基準信号を入力し、入力した第１抑制黒レベル基準信号を１フレームの期間保持する。

バッファ部５５は、動作開始時に撮像装置１で撮像された画像の最初の１フレーム以降のフレームでは、選択部５７から出力される第２抑制黒レベル基準信号を入力し、入力した第２抑制黒レベル基準信号を１フレームの期間保持する。バッファ部５５は、第２抑制部５０で第２抑制黒レベル基準信号が１フレーム毎に生成されると、それまで保持していた第１抑制黒レベル基準信号もしくは第２抑制黒レベル基準信号を新たに生成された第２抑制黒レベル基準信号に置き換える。これにより、バッファ部５５は、それまで保持していた信号を新たに生成された信号に更新する。

バッファ部５５は、保持した第１抑制黒レベル基準信号または第２抑制黒レベル基準信号を加算部５１ｂ及び減算部５２ｂに出力する。

比較部５６は、第１抑制部４０から出力される第１抑制黒レベル基準信号と、加算部５１ｂから出力される加算結果と、減算部５２ｂから出力される減算結果とを入力する。

比較部５６は、動作開始時に撮像装置１で撮像された画像の最初の１フレームでは、入力した第１抑制黒レベル基準信号、加算結果及び減算結果によらず、第１選択信号を選択部５７に出力する。

比較部５６は、動作開始時に撮像装置１で撮像された画像の最初の１フレーム以降のフレームでは、入力した第１抑制黒レベル基準信号、加算結果及び減算結果の比較結果にしたがって、選択信号を選択部５７に出力する。

比較部５６は、第１抑制黒レベル基準信号と加算結果とを比較し、第１抑制黒レベル基準信号が加算結果よりも大きい場合には、第２選択信号を選択部５７に出力する。比較部５６は、第１抑制黒レベル基準信号が加算結果よりも大きくない場合には、第３選択信号を選択部５７に出力する。

比較部５６は、第１抑制黒レベル基準信号と減算結果とを比較し、第１抑制黒レベル基準信号が減算結果よりも小さい場合には、第４選択信号を選択部５７に出力する。比較部５６は、第１抑制黒レベル基準信号が減算結果よりも小さくない場合には、第３選択信号を選択部５７に出力する。

選択部５７は、第１抑制部４０から出力された第１抑制黒レベル基準信号、クリップ部５４ａから出力された加算結果、クリップ部５４ｂから出力された減算結果、比較部５６から出力された第１選択信号〜第４選択信号を入力する。選択部５７は、第１選択信号〜第４選択信号に基づいて、第１抑制黒レベル基準信号、加算結果、減算結果のいずれか１つを選択する。

選択部５７は、第１選択信号が比較部５６から与えられると、第１抑制黒レベル基準信号を選択する。選択部５７は、選択した第１抑制黒レベル基準信号をバッファ部５５に出力し、かつ第２抑制黒レベル基準信号として黒レベル補正部６０に出力する。

選択部５７は、第２選択信号が比較部５６から与えられると、減算結果を選択する。選択部５７は、減算結果を選択すると、選択した減算結果を信号レベルとする第２抑制黒レベル基準信号を黒レベル補正部６０に出力する。

選択部５７は、第３選択信号が比較部５６から与えられると、第１抑制黒レベル基準信号を選択する。選択部５７は、第１抑制黒レベル基準信号を選択すると、選択した第１抑制黒レベル基準信号を第２抑制黒レベル基準信号として黒レベル補正部６０に出力する。

選択部５７は、第４選択信号が比較部５６から与えられると、加算結果を選択する。選択部５７は、加算結果を選択すると、選択した加算結果を信号レベルとする第２抑制黒レベル基準信号を黒レベル補正部６０に出力する。

第２抑制黒レベル基準信号は、前フレームに生成された第１抑制黒レベル基準信号が第２抑制範囲内にある場合には、前フレームに生成された第１抑制黒レベル基準信号となる。ここで、第２抑制範囲とは、加算部５１ｂの加算結果以下かつ減算部５２の減算結果以上の範囲である。これにより、しきい値ｔｈ３以下の微少変動が第１抑制黒レベル基準信号にある場合でも、この微少変動は第２抑制黒レベル基準信号の生成に影響を与えることはない。

一方、第１抑制黒レベル基準信号が、第２抑制範囲外にある場合には、第１抑制黒レベル基準信号は、実証的な観点から温度変化などに起因する雑音の影響により信号レベルが微少変動しているものと推測される。

そこで、第２抑制部５０は、第１抑制黒レベル基準信号が第２抑制範囲外にある場合には、上述した演算処理を実行することにより、第１抑制黒レベル基準信号を第２抑制範囲内に抑制する。第２抑制部５０は、第２抑制範囲内に抑制した第１抑制黒レベル基準信号を第２抑制黒レベル基準信号として生成する。

これにより、第２抑制部５０は、雑音の影響による第１抑制黒レベル基準信号の信号レベルの微少変動を抑制して、第２抑制黒レベル基準信号を生成する。第２抑制部５０は、フレーム毎に生成した第２抑制黒レベル基準信号を、撮像装置１で撮像された画像の黒レベルを補正するための黒レベル基準信号として黒レベル補正部６０に出力する。

黒レベル補正部６０は、図２に示す撮像素子１００４の有効画素領域１００６の各画素で得られたデジタル画像信号と、第２抑制部５０から出力された黒レベル基準信号とを入力する。黒レベル補正部６０は、入力したデジタル画像信号から黒レベル基準信号を減算する。この演算により、黒レベル補正部６０は、有効画素領域１００６の各画素で得られたデジタル画像信号の黒レベルを補正する。黒レベル補正部６０は、バス１０４を介して黒レベルを補正したデジタル画像信号をデジタル信号処理部１０６に出力する。

上記構成において、画像処理装置１０は、デジタル画像信号の黒レベルを以下に示すようにして補正する。

撮像素子１００４に設けられたＯＢ領域１００７の各画素に対応した各光電変換素子で得られたアナログ画像信号は、デジタル画像信号に変換された後、黒レベル基準信号としてバス１０４を介して黒レベル基準信号補正部２０に入力される。

黒レベル基準信号補正部２０に入力された黒レベル基準信号は、異常な黒レベル基準信号が黒レベル基準信号補正部２０により補正される。補正された黒レベル基準信号は、補正黒レベル基準信号として平均値算出部３０の第１平均値算出部３１に入力される。

第１平均値算出部３１に入力されたＯＢ領域１００７のすべての画素の補正黒レベル基準信号は、撮像装置１で撮像された画像のフレーム毎に第１平均値算出部３１により平均値が算出される。算出された平均値は、第１平均黒レベル基準信号として第１抑制部４０に入力される。

第１抑制部４０に入力された第１平均黒レベル基準信号は、加算部４１の加算結果及び減算部４２の減算結果と比較され、比較結果に基づいて、第１抑制黒レベル基準信号が算出される。

第１平均黒レベル基準信号が加算結果よりも大きい場合には、加算結果を信号レベルとする第１抑制黒レベル基準信号が算出される。第１平均黒レベル基準信号が減算結果よりも小さい場合には、減算結果を信号レベルとする第１抑制黒レベル基準信号が算出される。

第１平均黒レベル基準信号が加算結果よりも小さいかもしくは同じ場合には、第１平均黒レベル基準信号が第１抑制黒レベル基準信号として算出される。第１平均黒レベル基準信号が減算結果よりも大きいかもしくは同じ場合には、第１平均黒レベル基準信号が第１抑制黒レベル基準信号として算出される。

算出された第１抑制黒レベル基準信号は、平均値算出部３０の第２平均値算出部３２及び第２抑制部５０に入力される。

第２平均値算出部３２に入力された第１抑制黒レベル基準信号は、撮像装置１で撮像された画像の１６フレーム分の平均値が算出される。算出された平均値は、第２平均黒レベル基準信号として第１抑制部４０に入力される。

第１抑制部４０に入力された第２平均黒レベル基準信号は、加算部４１でしきい値保持部４３に保持されたしきい値ｔｈ１と加算される。加算結果は、算出部４５に入力される。また、第１抑制部４０に入力された第２平均黒レベル基準信号は、減算部４２でしきい値保持部４３に保持されたしきい値ｔｈ２が減算される。減算結果は、算出部４５に入力される。

第２抑制部５０に入力された第１抑制黒レベル基準信号は、比較部５６で加算部５１ｂの加算結果及び減算部５２ｂの減算結果と比較される。

バッファ部５５に保持された第２抑制黒レベル基準信号としきい値保持部５３に保持されたしきい値ｔｈ３とは、加算部５１ｂで加算される。加算結果は、比較部５６に入力される。バッファ部５５に保持された第２抑制黒レベル基準信号は、しきい値保持部５３に保持されたしきい値ｔｈ３が減算部５２ｂで減算される。減算結果は、比較部５６に入力される。

動作開始時に撮像装置１で撮像された画像の最初のフレームでは、加算部５１ｂの加算結果及び減算部５２ｂの減算結果によらず、第１選択信号が選択部５７に入力される。

動作開始時に撮像装置１で撮像された画像の最初のフレーム以降のフレームでは、第１抑制黒レベル基準信号、加算結果及び減算結果の比較結果にしたがって、第２〜第４の選択信号が選択部５７に入力される。

すなわち、第１抑制黒レベル基準信号が加算結果よりも大きい場合には、第２選択信号が選択部５７に入力される。第１抑制黒レベル基準信号が加算結果よりも大きくない場合、及び第１抑制黒レベル基準信号が減算結果よりも小さくない場合には、第３選択信号が選択部５７に入力される。第１抑制黒レベル基準信号が減算結果よりも小さい場合には、第４選択信号が選択部５７に入力される。

第１選択信号または第３選択信号が選択部５７に入力されると、第１抑制黒レベル基準信号が選択される。第２選択信号が選択部５７に入力されると、クリップ部５４ｂで下限値が制限された減算部５２ａの減算結果が選択される。第４選択信号が選択部５７に入力されると、クリップ部５４ａで上限値が制限された加算部５１ａの加算結果が選択される。

選択された第１抑制黒レベル基準信号、減算結果または加算結果は、第２抑制黒レベル基準信号としてバッファ部５５及び黒レベル補正部６０に入力される。

バッファ部５５に入力された第１抑制黒レベル基準信号または第２抑制黒レベル基準信号は、１フレームの期間保持され、第２抑制黒レベル基準信号が新たに生成される毎に、新たに生成された第２抑制黒レベル基準信号に更新される。バッファ部５５に保持された第１抑制黒レベル基準信号または第２抑制黒レベル基準信号は、加算部５１ｂ及び減算部５２ｂに入力される。

黒レベル補正部６０に入力された第２抑制黒レベル基準信号は、撮像素子１００４の有効画素領域１００６の各画素で得られたデジタル画像信号から減算される。この演算により、デジタル画像信号の黒レベルが補正される。

実施形態において、しきい値保持部４３、４４、５３は、ユーザにより入力された任意の値をしきい値ｔｈ１、ｔｈ２、ｔｈ３として保持することができる。これらのしきい値ｔｈ１、ｔｈ２、ｔｈ３は、実験や机上検討等に基づいて設定することができる。すなわち、しきい値ｔｈ１、ｔｈ２、ｔｈ３は、これらのしきい値を用いて実行される演算の処理内容に応じて予め適宜設定することができる。

一方、しきい値保持部５３は、撮像制御部１１３の制御の下に、保持するしきい値ｔｈ３を変更することができる。

前述したように、撮像制御部１１３は、撮像素子１００４に入射する光量が少なくなるほどアナログ画像信号処理部１０１の増幅ゲインを大きくしている。増幅ゲインが大きくなるほど、撮像素子１００４で行われる光電変換動作にともなうノイズは大きく増幅される。このため、第２抑制黒レベル基準信号は、ノイズが大きく増幅された信号に基づいて生成されるので、ノイズによる信号レベルの変動が大きくなってしまう。

そこで、撮像制御部１１３は、増幅ゲインが大きくなるほどしきい値保持部５３に保持されるしきい値ｔｈ３を大きくする。これにより、第１抑制黒レベル基準信号の信号レベルにしきい値ｔｈ３以上の変動がある場合には、この変動分は第２抑制黒レベル基準信号の生成には影響を与えることはない。したがって、増幅ゲインが大きくなるほどしきい値ｔｈ３を大きくすることは、光電変換動作にともなうノイズが第２抑制黒レベル基準信号の生成に与える影響を低減することができる。

以上説明したように、実施形態の画像処理装置１０は、以下に示す技術的特徴を備えることにより以下に示す効果を得ることができる。

画像処理装置１０は、黒レベル基準信号補正部２０を備えている。黒レベル基準信号補正部２０は、周囲の光電変換素子で得られた黒レベル基準信号の信号レベルに対して異常な信号レベルの黒レベル基準信号を、周囲の正常な黒レベル基準信号の信号レベルに補正する。

画像処理装置１０は、第１平均値算出部３１を備えている。第１平均値算出部３１は、黒レベル基準信号補正部２０で補正された黒レベル基準信号を含む、すべての黒レベル基準信号の信号レベルの平均値をフレーム毎に算出する。第１平均値算出部３１は、算出した黒レベル基準信号の信号レベルの平均値を第１平均黒レベル基準信号として出力する。

画像処理装置１０は、第２平均値算出部３２を備えている。第２平均値算出部３２は、所定のフレーム数分の第１抑制黒レベル基準信号の信号レベルの平均値を算出する。第２平均値算出部３２は、算出した平均値を第２平均黒レベル基準信号として出力する。

画像処理装置１０は、第１抑制部４０を備えている。第１抑制部４０は、第２平均黒レベル基準信号の信号レベル及び予め設定されたしきい値ｔｈ１、ｔｈ２に基づいて決定される第１抑制範囲内に、第１平均黒レベル基準信号の信号レベルを抑制する。第１抑制部４０は、信号レベルを抑制した第１平均黒レベル基準信号を第１抑制黒レベル基準信号として出力する。

画像処理装置１０は、第２抑制部５０を備えている。第２抑制部５０は、第１抑制黒レベル基準信号の信号レベルまたは第２抑制黒レベル基準信号の信号レベルと予め設定されたしきい値とに基づいて決定される第２抑制範囲内に、第１抑制黒レベル基準信号の信号レベルを抑制する。第２抑制部５０は、信号レベルを抑制した第１抑制黒レベル基準信号を第２抑制黒レベル基準信号として出力する。

画像処理装置１０は、黒レベル補正部６０を備えている。黒レベル補正部６０は、第２抑制黒レベル基準信号に基づいて、有効画素領域１００６の光電変換素子で得られた画像信号の黒レベルを補正する。

上記技術的特徴を採用することにより、画像処理装置１０は、黒レベル基準信号の異常な信号レベルを補正することができる。これにより、画像処理装置１０は、光電変換素子の欠陥などの不具合による黒レベル基準信号の精度の低下を抑制することができる。また、画像処理装置１０は、補正されたすべての黒レベル基準信号の平均値を算出することにより、黒レベル基準信号のばらつきを抑えることができる。この結果、画像処理装置１０は、従来に比べて、黒レベル基準信号の精度を高めることができる。

画像処理装置１０は、第１平均黒レベル基準信号の信号レベルを第１抑制範囲内に抑制して第１抑制黒レベル基準信号を算出する。これにより、画像処理装置１０は、第１抑制黒レベル基準信号を算出する際に、画像信号の黒レベルを補正する動作に悪影響を及ぼし信号レベルの変動を招く雑音の影響を抑えることができる。この結果、第１抑制黒レベル基準信号の精度を高めることができる。

画像処理装置１０は、第１抑制黒レベル基準信号の信号レベルを第２抑制範囲内に抑制して第２抑制黒レベル基準信号を算出する。これにより、画像処理装置１０は、第２抑制黒レベル基準信号を算出する際に、画像信号の黒レベルを補正する動作に悪影響を及ぼし信号レベルの変動を招く温度変化の影響を抑えることができる。この結果、精度の良い第２抑制黒レベル基準信号を生成することができる。

画像処理装置１０は、精度の良い第２抑制黒レベル基準信号に基づいて、画像信号の黒レベルを補正するので、画像の黒レベルを補正する精度を向上することができる。この結果、画像処理装置１０は、黒レベルが良好な画像を提供することができる。

黒レベル基準信号補正部２０は、配列部２３と選択部２４とを備えている。

配列部２３は、ＯＢ領域１００７に配置された補正しようとする１つの光電変換素子で得られた黒レベル基準信号と、この黒レベル基準信号を得た光電変換素子の周囲の光電変換素子で得られた複数の黒レベル基準信号とを信号レベルの大きい順に配列する。

選択部２４は、配列部２３で配列された複数の黒レベル基準信号の配列順序における中央の黒レベル基準信号を選択する。

黒レベル基準信号補正部２０は、補正しようとする１つの光電変換素子で得られた黒レベル基準信号の信号レベルを、選択部２４で選択された黒レベル基準信号の信号レベルに補正する。

上記技術的特徴を採用することにより、画像処理装置１０は、簡易な構成により、光電変換素子の欠陥などの不具合による黒レベル基準信号の精度の低下を抑制することができる。

第１抑制部４０は、第２平均黒レベル基準信号の信号レベルとしきい値ｔｈ１とを加算する加算部４１と、第２平均黒レベル基準信号の信号レベルからしきい値ｔｈ２を減算する減算部４２とを備えている。第１抑制範囲は、加算部４１の加算結果以下かつ減算部４２の減算結果以上である。

上記技術的特徴を採用することにより、画像処理装置１０は、第２平均黒レベル基準信号としきい値ｔｈ１、ｔｈ２とを用いて第１抑制範囲を規定することができる。

第２抑制部５０は、加算部５１ｂと減算部５２ｂとを備えている。

加算部５１ｂは、第１抑制黒レベル基準信号の信号レベルまたは第２抑制黒レベル基準信号の信号レベルとしきい値ｔｈ３とを加算する。減算部５２ｂは、第１抑制黒レベル基準信号の信号レベルまたは第２抑制黒レベル基準信号の信号レベルからしきい値ｔｈ３を減算する。第２抑制範囲は、加算部５１ｂの加算結果以下かつ減算部５２ｂの減算結果以上である。

上記技術的特徴を採用することにより、画像処理装置１０は、第１抑制黒レベル基準信号または第２抑制黒レベル基準信号としきい値ｔｈ３とを用いて第２抑制範囲を規定することができる。

しきい値ｔｈ３は、有効画素領域１００６に配置された光電変換素子で得られた画像信号を増幅する際の増幅ゲインが大きくなるほど大きくする。

上記技術的特徴を採用することにより、画像処理装置１０は、第２抑制黒レベル基準信号を生成する際に、撮像素子１００４で行われる光電変換動作にともなうノイズの影響を低減することができる。

１ 撮像装置
１０ 画像処理装置
２０ 黒レベル基準信号補正部
２３ 配列部
２４，５７ 選択部
３０ 平均値算出部
３１ 第１平均値算出部
３２ 第２平均値算出部
４０ 第１抑制部
４１，５１ａ、５１ｂ 加算部
４２，５２ａ，５２ｂ 減算部
４３，４４，５３ しきい値保持部
５０ 第２抑制部
５６ 比較部
６０ 黒レベル補正部
１００ 撮像部
１００６ 有効画素領域
１００７ ＯＢ領域（光学的黒領域）

Claims (5)

1. 撮像装置の撮像部に設けられた光学的黒領域に配置された複数の光電変換素子で得られた黒レベル基準信号の内、周囲の光電変換素子で得られた黒レベル基準信号の信号レベルに対して異常な信号レベルの黒レベル基準信号を、周囲の正常な黒レベル基準信号の信号レベルに補正する黒レベル基準信号補正部と、
   前記黒レベル基準信号補正部で補正された黒レベル基準信号を含む、前記光学的黒領域に配置された前記光電変換素子で得られたすべての黒レベル基準信号の信号レベルの平均値を、前記撮像装置で撮像された画像を構成するフレーム毎に算出し、フレーム毎に算出した黒レベル基準信号の信号レベルの平均値を第１平均黒レベル基準信号として出力する第１平均値算出部と、
   所定のフレーム数分の第１抑制黒レベル基準信号の信号レベルの平均値を算出し、算出した平均値を第２平均黒レベル基準信号として出力する第２平均値算出部と、
   前記第２平均値算出部から出力された第２平均黒レベル基準信号の信号レベル及び予め設定されたしきい値に基づいて決定される第１抑制範囲内に、前記第１平均値算出部で算出された第１平均黒レベル基準信号の信号レベルを抑制し、信号レベルを抑制した第１平均黒レベル基準信号を第１抑制黒レベル基準信号として出力する第１抑制部と、
   前記第１抑制部から出力された第１抑制黒レベル基準信号の信号レベルまたは第２抑制黒レベル基準信号の信号レベルと予め設定されたしきい値とに基づいて決定される第２抑制範囲内に、第１抑制黒レベル基準信号の信号レベルを抑制し、信号レベルを抑制した第１抑制黒レベル基準信号を第２抑制黒レベル基準信号として出力する第２抑制部と、
   前記第２抑制部から出力された第２抑制黒レベル基準信号に基づいて、前記撮像部に設けられた有効画素領域の光電変換素子で得られた画像信号の黒レベルを補正する黒レベル補正部と、
   を有することを特徴とする画像処理装置。
2. 前記黒レベル基準信号補正部は、
   前記光学的黒領域に配置された補正しようとする１つの光電変換素子で得られた黒レベル基準信号と、前記黒レベル基準信号を得た光電変換素子の周囲の複数の光電変換素子で得られた複数の黒レベル基準信号とを、信号レベルの大きい順又は小さい順に配列する配列部と、
   前記配列部で配列された複数の黒レベル基準信号の配列順序における中央の黒レベル基準信号を選択する選択部とを備え、
   前記補正しようとする１つの光電変換素子で得られた黒レベル基準信号の信号レベルを、前記選択部で選択された黒レベル基準信号の信号レベルに補正する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１抑制部は、
   第２平均黒レベル基準信号の信号レベルと第１しきい値とを加算する第１加算部と、
   第２平均黒レベル基準信号の信号レベルから第２しきい値を減算する第１減算部と、
   を備え、
   前記第１抑制範囲は、前記第１加算部の加算結果以下かつ前記第１減算部の減算結果以上である
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２抑制部は、
   第１抑制黒レベル基準信号の信号レベルまたは第２抑制黒レベル基準信号の信号レベルと第３しきい値とを加算する第２加算部と、
   第１抑制黒レベル基準信号の信号レベルまたは第２抑制黒レベル基準信号の信号レベルから第３しきい値を減算する第２減算部と、
   を備え、
   前記第２抑制範囲は、前記第２加算部の加算結果以下かつ前記第２減算部の減算結果以上である
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記第３しきい値は、前記有効画素領域に配置された前記光電変換素子で得られた画像信号を増幅する際の増幅ゲインが大きくなるほど大きくする
   ことを特徴とする請求項４に記載の画像処理装置。

Images