JP4364867B2 - 撮像装置 - Google Patents

Description

この発明は、デジタルスチルカメラやデジタルビデオカメラなどのデジタルカラー撮像機器に関し、特に蛍光灯照明下において発生するフリッカを抑圧して良好な画像を得る撮像装置に関するものである。

世界的に電源周波数には５０Ｈｚと６０Ｈｚが適用されており、したがって電源周波数の異なる国や地域が存在している。特に、日本国においては、２つの地域に分けられている。照明器具にインバータ機能の無い蛍光灯を使用した場合、蛍光灯は、電源周波数５０Ｈｚの地域では１秒間に１００回の間隔、また電源周波数６０Ｈｚの地域では１秒間に１２０回の間隔で明暗を繰り返している。
上記蛍光灯の照明下でＣＣＤやＣＭＯＳセンサなどの固体撮像素子を搭載したデジタルビデオカメラやデジタルスチルカメラを使用する場合、固体撮像素子の画像読み出しのタイミング（シャッタ速度）と蛍光灯の点滅周期の関係により固体撮像素子を常に同等の露光時間に設定した場合、固体撮像素子に蓄積される電荷量が画像読み出しのタイミング毎に異なる場合がある。固体撮像素子に蓄積される電荷量に異なりが生じると、画像の明るさが変化し、映像画面が点滅するようなフリッカ現象が起こる。
このようなフリッカを抑圧する方法として、例えば特開平１０−２５７３８１号公報に示された技術がある。この従来技術では、ＣＣＤから出力された１フィールドの入力映像信号に対して、画像を水平方向に複数のブロックに分割し、ブロック毎に輝度の平均値を算出する。次に、これら算出された輝度の平均値から最大値および最小値となる平均値が検出され、その輝度の最大値および最小値から、フィールド毎の諧調を補正するための補正係数が算出される。入力映像信号に生じた輝度変化、すなわちフリッカの周期に基づき、１周期前に得られた補正係数を用いて入力映像信号の諧調（輝度値）が補正される。
上記文献に示された従来の技術では、輝度の平均値を算出する方法を用いているが、これは輝度のみを算出対象としたデジタルゲイン積算方法である。しかし、画像を構成する各色成分に対してフリッカが原因で変化する画素値幅はそれぞれ異なっており、そのため、上記方法ではフリッカの抑圧を正確に行うことはできない。
実際のところ、電源周波数は微小な誤差を含み、５０Ｈｚまたは６０Ｈｚの正確な値を示さない場合がある。したがって、電源周波数に微小な誤差が含まれる場合には、フリッカの１周期前のデータを用いて補正する上記文献に示された方法では、必ずしも１周期前の画素信号が次の周期と同じ画素信号にはならないから、フリッカの抑圧を正確に行うことができない。
また、撮像対象の変動などの外的要因により画素値が変動した場合、その画素値を基にデジタルゲインを積算すると、フリッカが増幅してしまうという問題がある。
さらに、デジタルゲインを用いたフリッカ除去では、画素全体にデジタルゲインをかけることから、Ｓ／Ｎ比が低下し、画質が劣化するという問題がある。
この発明は、上記のような課題を解決するためになされたもので、デジタルビデオカメラやデジタルスチルカメラなどのデジタルカラー撮像機器に適用して、常にフリッカを正確に抑圧可能とする撮像装置を得ることを目的とする。

この発明に係る撮像装置は、結像された光画像を光電変換して画像信号を得る固体撮像素子と、この固体撮像素子から得られる画像信号について、与えられる各色成分のゲインに基づいて画像の色成分の全画素の増幅を行う信号増幅手段と、この信号増幅器で生成されるフレーム毎の画像を構成する各色成分に対して画素値の平均値を算出する平均値算出手段と、フリッカ発生の１周期分のフレーム数について、前記平均値算出手段で算出された画像の各色成分の画素値の平均値の中からそれぞれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するゲインを算出して前記信号増幅手段に与える各色成分のゲインとして出力するゲイン算出手段とを備えたものである。
このことによって、画像を構成する各色成分の画素値の平均値を用いてデジタルゲインを積算し、微小な誤差を含む電源周波数での蛍光灯の影響による誤差修正を行ってフリッカを抑圧する効果がある。

第１図はこの発明の実施の形態１による撮像装置の構成を示すブロック回路図である。
第２図はこの発明の実施の形態２による撮像装置の構成を示すブロック回路図である。
第３図は電源周波数５０．００Ｈｚの蛍光灯照明下で撮影した画素値の平均値の変動を示した説明図である。
第４図は電源周波数５０．０４Ｈｚの蛍光灯照明下で撮影した画素値の平均値の変動を示した説明図である。
第５図はこの発明の実施の形態３に係る電源周波数の微小な誤差を推測する方法を示す説明図である。
第６図は誤差のある電源周波数の蛍光灯照明下で撮影した画素値の平均値の変動例を示した説明図である。
第７図はこの発明の実施の形態４による撮像装置の構成を示すブロック回路図である。
第８図はこの発明の実施の形態４に係る正弦波データテーブルの作成方法について例示する説明図である。
第９図はこの発明の実施の形態４に係るフレーム毎の画素値の平均値のずれの波形の最大値と最小値の求め方を示す説明図である。
第１０図はこの発明の実施の形態６による撮像装置の構成を示すブロック回路図である。
第１１図はこの発明の実施の形態７による撮像装置の構成を示すブロック回路図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
第１図はこの発明の実施の形態１による撮像装置の構成を示すブロック回路図である。
図において、固体撮像素子１２は、撮像レンズ１１により受光面に結像された光画像を光電変換して画像信号を得る手段である。この固体撮像素子１２は、ＣＣＤ、ＣＭＯＳセンサ等で構成されており、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光にそれぞれ感応する３種の画素を交互にマトリクス状に数十万配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。そのため、固体撮像素子１２は信号電荷の蓄積時間を制御する電子シャッタ機能を有している。アナログ信号処理部１３は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇｃｉｒｃｕｉｔ：相関２重サンプリング回路）およびＡＧＣ等の回路を有し、固体撮像素子１２で変換された画像信号に対して、含まれるノイズを除去し、ゲイン制御を行う手段である。信号増幅器１４は、アナログ信号処理部１３から入力された画像信号について、与えられるＲＧＢ各色成分のゲインに基づいて画像のＲＧＢ色成分の全画素に対する増幅処理を行う手段である。平均値算出器１５は、信号増幅器１４で生成されるフレーム毎の画像を構成するＲＧＢ各色成分に対して画素値の平均値を算出する手段である。ゲイン算出器１６は、算出されたフレーム毎のＲＧＢ各色成分の画素値の平均値から、後述するように最適なゲインを算出する手段である。
次に、動作について説明する。
撮像レンズ１１は、被写体側から入射される光画像を固体撮像素子１２の受光面に結像させる。固体撮像素子１２は、結像された光画像を光電変換して画像信号を得る。固体撮像素子１２で変換された画像信号はアナログ信号処理部１３に入力される。アナログ信号処理部１３は、画像信号に含まれるノイズを除去し、ゲイン制御を行う。アナログ信号処理部１３から出力された画像信号は信号増幅器１４で増幅され、平均値算出器１５に与えられる。この場合、信号増幅器１４には、ゲイン算出器１６からＲＧＢ各色成分のゲインが与えられており、これらのゲインに基づいて画像のＲＧＢ色成分の全画素に対する増幅処理が行われる。平均値算出器１５では、信号増幅器１４で生成されるフレーム毎の画像のＲＧＢ各色成分に対して画素値の平均値が算出され、ゲイン算出器１６に与えられる、ゲイン算出器１６では、フリッカ発生の１周期分のフレーム数について、フレーム毎の画像の各色成分の画素値の平均値から最大値が算出される。そして、この最大値に基づいて、他の画像を構成する各色成分の画素値の平均値を最大幅に調整するゲインが算出される。
ここで、信号増幅器１４はゲイン算出器１６で算出されたゲインを用いてＲＧＢ色成分の全画素の増幅を行うようにしているが、このことによって、固体撮像素子１２に蓄積される電荷量の違いに因って起きるフレーム毎の明るさの違いを減少させることができる。すなわち、フリッカが抑圧される。
次に、平均値算出器１５において行われる画素値の平均値の算出方法について詳細に説明する。
ＲＧＢ各色成分の画素値の平均値μ_{（Ｒ，Ｇ，Ｂ）}は、信号増幅器１４で生成された画像のＲＧＢ各色成分に対して、式（１）を用いて算出される。

ここで、Ｐ_{（Ｒ，Ｇ，Ｂ）}（ｊ，ｋ）は信号増幅器１４により増幅処理を施して平均値算出器１５に格納された画像の座標（ｊ，ｋ）のＲＧＢ各色成分の画素値、Ｐ_Ｈは水平方向の最大画素数、Ｐ_Ｖは垂直方向の最大画素数を表す。
フリッカ１周期のフレーム数に対応する算出されたＲＧＢ各色成分の画素値の平均値は、ゲイン算出器１６のメモリに格納される。なお、フリッカ１周期のフレーム数Ｆ_{Ｃａｍｅｒａ}／Ｔ_{Ｆｌｉｃｋｅｒ}は、予め求めておくもので、式（２）を用いて算出される。

ここで、Ｆ_{Ｃａｍｅｒａ}は撮像装置のフレームレート、Ｆ_Ｅｌｅｃは電源周波数、ＧＣＤ（Ａ，Ｂ）はＡとＢの最大公約数を表している。
次に、ゲイン算出器１６によるゲイン算出方法について詳細に説明する。
格納されたフリッカ１周期分のＲＧＢ各色成分の画素値の平均値それぞれが比較され、その中から最大値が算出される。式（３）を用いて、算出した最大値に他の画素値の平均値を調整したゲインＧ_{［２］（Ｒ，Ｇ，Ｂ）}（ｉ）が求められる。

ここで、μ_{（Ｒ，Ｇ，Ｂ）}（ＭａｘＮｕｍｂｅｒ）は格納された１周期の画素値の平均値の最大値、μ_{（Ｒ，Ｇ，Ｂ）}（ｉ）は格納された１周期のｉ番目の画素値の平均値、Ｇ_{［１］（ Ｒ，Ｇ，Ｂ）}（ｉ）はＲＧＢ各色成分の画素値の平均値μ_{（Ｒ，Ｇ，Ｂ）}（ｉ）に使用されたゲインを表す。
また、式（３）で得られたゲインＧ_{［２］（Ｒ，Ｇ，Ｂ）}（ｉ）をそれぞれ比較する。Ｇ_{［２］（Ｒ，Ｇ，Ｂ）}（ｉ）の最小値をＧ_{［２］（Ｒ，Ｇ，Ｂ）}（ＭｉｎＮｕｍｂｅｒ）とすると、ＭｉｎＮｕｍｂｅｒ番目の信号増幅処理が施されていないＲＧＢ各色成分の画素値の平均値［μ_{（Ｒ，Ｇ，Ｂ）}（ＭｉｎＮｕｍｂｅｒ）／Ｇ_{［１］（Ｒ，Ｇ，Ｂ）}（ＭｉｎＮｕｍｂｅｒ）］は最大値となる。
式（３）で求めたゲインＧ_{［２］（Ｒ，Ｇ，Ｂ）}（ｉ）の最小値Ｇ_{［２］（Ｒ，Ｇ，Ｂ）}（ＭｉｎＮｕｍｂｅｒ）が１．０倍になるように次式（４）を用いて他のゲインＧ_{［２］（Ｒ，Ｇ，Ｂ）}（ｉ）を調整する。

式（４）で算出したゲインＧ_{［３］（Ｒ，Ｇ，Ｂ）}（ｉ）より、１周期すべての画素値の平均値を、信号増幅処理を施していない画素値の平均値の最大値［μ_{（Ｒ，Ｇ，Ｂ）}（ＭｉｎＮｕｍｂｅｒ）／Ｇ_{［１］（Ｒ，Ｇ，Ｂ）}（ＭｉｎＮｕｍｂｅｒ）］に調整することができる。
ゲイン算出器１６で算出されたゲインＧ_{［３］（Ｒ，Ｇ，Ｂ）}（ｉ）を信号増幅器１４に格納し、次式（５）を用いて画像のＲＧＢ各色成分の全画素に対して信号増幅処理を行う。

ここで、Ｐ_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｊ，ｋ）は信号増幅処理後の次周期の撮像画像の座標（ｊ，ｋ）におけるＲＧＢ各色成分の画素値、ｐ_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｊ，ｋ）は信号増幅処理を施していない次周期の撮像画像の座標（ｊ，ｋ）におけるＲＧＢ各色成分の画素値を表す。つまり、信号増幅器１４で増幅されたＰ_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｊ，ｋ）を基に平均値算出器１５で算出されたフリッカ１周期の平均値が、

となればフリッカは抑圧されたことになる。
以上のように、この実施の形態１によれば、画像のＲＧＢ各色成分の画素値の平均値を用いて最適なゲインを算出するようにしているので、フリッカを正確に抑圧可能にする効果がある。
実施の形態２．
固体撮像素子から得られる画像信号はアナログ信号であるが、各種画像処理に用いるためデジタル信号に変換される。このときＡ／Ｄ変換された信号（デジタル画像信号）に対してかけるゲインをデジタルゲインという。ここでは、デジタルゲインを用いた場合において、上記実施の形態１と同様な方法でフリッカを抑圧することを提案する。
第２図はこの発明の実施の形態２による撮像装置の構成を示すブロック回路図である。図において、第１図に相当する部分には同一符号を付し、その説明は原則として省略する。撮像装置は、撮像レンズ１１、固体撮像素子１２、アナログ信号処理部１３、ＡＤコンバータ２４、デジタル信号増幅器２５、平均値算出器２６およびデジタルゲイン算出器２７を備えている。
次に、動作について説明する。
アナログ信号処理部１３から出力される画像信号は、ＡＤコンバータ２４によりＡ／Ｄ変換され、デジタル画像信号となる。デジタル信号増幅器２５では、デジタルゲイン算出器２７で算出したＲＧＢ各色成分のデジタルゲインを用いて、デジタル画像のＲＧＢ各色成分の全画素に対して増幅処理が行われる。平均値算出器２６では、第１図の平均値算出器１５と同様な機能により、デジタル信号増幅器２５で生成された画像のＲＧＢ各色成分に対して画素値の平均値が算出される。デジタルゲイン算出器２７では、平均値算出器２６で算出されたＲＧＢ各色成分の画素値の平均値から最適なデジタルゲインが算出される。なお、デジタルゲイン算出器２７は、第１図のゲイン算出器１６とほぼ同等な機能にデジタルゲイン変換機能が追加されたものである。
次に、デジタルゲインを用いたフリッカ抑圧方法について説明する。
デジタルゲイン算出器２７は、実施の形態１と同様の手順の処理を行い、式（４）から最適なデジタルゲインを得る。算出された最適なゲインに対し、次式（６）を用いてデジタルゲイン変換処理を行う。

ここで、ＤＧ_{［３］（Ｒ，Ｇ，Ｂ）}は式（４）で求めた最適なゲインＧ_{［３］（Ｒ，Ｇ，Ｂ）}（ｉ）をデジタルゲインに変換したもの、ｋ_{ＤＧ（Ｒ，Ｇ，Ｂ）}はゲインＧ_{［３］（Ｒ，Ｇ，Ｂ）}（ｉ）をデジタルゲインに変換するための変換係数である。なお、この変換係数ｋ_{ＤＧ（Ｒ，Ｇ，Ｂ）}は、実測値からデジタルゲインＤＧ_{［３］（Ｒ，Ｇ，Ｂ）}の変化に対する画素値の変化率を算出して予め決定されるものである。
デジタルゲイン算出器２７で算出されたデジタルゲインＤＧ_{［３］（Ｒ，Ｇ，Ｂ）}（ｉ）はデジタル信号増幅器２５に一旦格納される。デジタル信号増幅器２５は、このデータを用いて次式（７）により撮像画像のＲＧＢ各色成分の全画素に対して増幅処理を行う。

以上のように、この実施の形態２よれば、画像のＲＧＢ各色成分の画素値の平均値を用いて最適なデジタルゲインを算出するようにしたので、フリッカを正確に抑圧可能にする効果がある。
実施の形態３．
上記実施の形態２は、現周期のＲＧＢ各色成分の画素値の平均値と次周期のＲＧＢ各色成分の画素値の平均値がほぼ同じ値をとることを前提とした場合にフリッカの抑圧の処理を行うようにしたものである。ところで、電源周波数は、安定化が図られてはいるが、実際には６０Ｈｚまたは５０Ｈｚの正確な値になるとは限らず、微小の誤差を含む場合がある。電源周波数の誤差はフリッカの変動パターンの誤差となって現れる。
第３図は電源周波数を５０．００Ｈｚに固定した蛍光灯照明下で、フレームレート２４ｆｐｓで撮影した場合における画素値の平均値の変動を示したものである。また、第４図は電源周波数を５０．０４Ｈｚに固定した蛍光灯照明下で、フレームレート２４ｆｐｓで撮影した場合における画素値の平均値の変動を示したものである。いずれの図の場合にも、縦軸は画素値の平均値、横軸はフレーム数を示す。第４図から明らかなように、画素値の平均値はフレーム数が増加すると共にずれが生じている。したがって、電源周波数が正確に６０Ｈｚまたは５０Ｈｚであると仮定し、現周期の画素値の平均値と次周期の画素値の平均値がほぼ同じ値をとるものと想定してデジタルゲインを決定すると、フリッカを確実に抑圧することができなくなるケースが起こる。
そこで、電源周波数が微小な誤差を含む場合の上述した問題を解決するために、その誤差を推測し、最適なデジタルゲインを決定することについて説明する。この実施の形態３における撮像装置の構成は、概略的には第２図と同様であるが、以下に述べるように、デジタルゲイン算出器２７内で行われる処理が異なっている。
第５図はこの実施の形態３に係り、微小な誤差を含む電源周波数の場合において誤差を推測する方法を示した説明図である。図において、縦軸は画素値の平均値、横軸はフレーム数を表す。また、グラフ上で実線はフレーム毎の画素値の平均値、黒丸印は過去周期の画素値の平均値から推測される次周期の理想値、白丸印は電源周波教の微小な誤差によってずれを生じた実際の画素値の平均値（実際値）を表している。
デジタルゲイン算出器２７では、まず、平均値算出器１５で算出されたフレーム毎の画像を構成する各色成分の画素値の平均値から、電源周波数の誤差に起因するフリッカ発生周期のずれが算出される。具体的には、画素値の平均値について、過去数周期の理想値と実際値の誤差を計算した値の平均が求められる。画素値の平均値を規則的に変化させると仮定すると、電源周波数の微小な誤差は、次周期では過去数周期とほぼ同じ理想値と実際値の誤差を持つことになる。したがって、この誤差を算出する。
次に、フリッカ発生周期のずれを補正する。これは、過去数周期で求めた誤差を考慮して、次式（８）を用いて、次周期の実際値により近い次周期の理想値μ’_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｉ）を算出することである。

ここで、μ_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｉ）は次周期の理想値、μ_{Ｒｅａｌ（Ｒ，Ｇ，Ｂ）}（ｉ）は過去数周期の実際値、μ_{Ｉｄｅａｌ（Ｒ，Ｇ，Ｂ）}（ｉ）は過去数周期の理想値、Ａｖｅ（Ｘ）はＸの平均値を表す。
このあと、算出されたフリッカ発生周期のずれを補正した画素値の平均値、すなわち上記次周期の理想値μ’_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｉ）に対して、実施の形態２で述べたと同様な方法を用いてデジタルゲインを算出し、デジタル信号増幅器２５へ与えてフリッカの抑圧を行う。
以上のように、この実施の形態３によれば、電源周波数の誤差に起因するフリッカ発生周期のずれを、画素値の平均値の誤差として推測し、実際値により近い次周期の理想値としての画素値の平均値を算出し、その理想値から上記実施の形態２の方法を用いてデジタルゲインを調整するようにしたので、微小な誤差を含む電源周波数の蛍光灯照明下において発生するフリッカの抑圧を正確に行うことを可能にする効果がある。
実施の形態４．
上記実施の形態３では、過去数周期の理想値と実際値の誤差の平均から次周期の画素値の平均値を推測していた。これは直線で誤差を推測することとほぼ同等である。
ところで、電源周波数が微小の誤差を含む場合、周期毎の画素値の平均値のずれは一定の波形に従うことになる。第６図は誤差のある電源周波数の蛍光灯照明下で撮影した画素値の平均値の変動例を示した説明図である。縦軸は画素値の平均値、横軸はフレーム数である。この例は、フレーム数を２５０、電源周波数を５０．０４Ｈｚに固定した蛍光灯照明下で、フレームレート２４ｆｐｓで撮影した状況で、垂直方向に伸びる線は、フレーム毎の画素値の平均値を表したものである。この図より、周期毎の画素値の平均値のずれが一定の波形に従っていることが確認できる。
上述したように、周期毎の画素値の平均値のずれが一定の波形に従っている場合、画素値の平均値のずれ幅が微小であれば実施の形態３のように直線で推測しても問題ない。しかし、ずれ幅が大きい場合、波形の最大値付近と最小値付近の誤差を直線で推測すると、必然的に理想値と実際値の誤差が大きくなる。そこで、この実施の形態４では、直線で誤差を推測する替りに、正弦波テーブルを用いて誤差を推測する方法について説明する。
第７図はこの発明の実施の形態４による撮像装置の構成を示すブロック回路図である。図において、第２図に相当する部分には同一符号を付す。この実施の形態４では、デジタルゲイン算出器２７に対して新たに正弦波データ算出器２８が追加されており、また、デジタルゲイン算出器２７の処理内容が実施の形態２の場合と異なっている。
正弦波データ算出器２８は、予め準備した正弦波データテーブルを使用して、デジタルゲイン算出器２７から入力される正弦波データテーブル番号に基づいてフリッカ発生の次周期のずれを予測する手段である。その処理で使用する正弦波データテーブルの作成方法については第８図に例示する。横軸をＸ、縦軸をＳｉｎ（Ｘ）として、ｘ＝０からｘ＝π／２までの範囲をｎ分割することにより、正弦波データテーブルＳｉｎＱｕａｔｅｒＢｕｆｆｅｒ［ｉ］を次式（９）に従い作成する。

式（９）で得られる正弦波データテーブルは正弦波データ算出器２８に格納される。正弦波データ算出器２８において、正弦波データテーブルＳｉｎＱｕａｔｅｒＢｕｆｆｅｒ［ｉ］を次式（１０）の場合わけにより、最大値２、最小値０で、ｘ＝πからｘ＝２πまでの半周期の拡張版正弦波データテーブルＳｉｎＢｕｆｆｅｒ［ｉ］を擬似的に作成する。なお、ｉは正弦波データテーブル番号を示す。

したがって、正弦波データ算出器２８は、入力ｉに対して出力ＳｉｎＢｕｆｆｅｒ［ｉ］を返すことになる。
デジタルゲイン算出器２７では、平均値算出器２６で算出されたフリッカ１周期の画像を構成する各色成分の画素値の平均値から、電源周波数の誤差に起因するフリッカ発生周期のずれを算出し、算出されたずれに基づいて正弦波データテーブル番号を推定する。次に、推定した正弦波データテーブル番号に基づいて正弦波データ算出器２８から次周期の正弦波データを入手し、当該次周期の正弦波データに基づいてフリッカ発生の次周期のずれを補正した画素値の平均値をそれぞれ算出し、フリッカ発生の１周期分のフレーム数について、フレーム毎の画像の各色成分の前記ずれを補正した画素値の平均値の中からそれぞれの最大値を算出する。さらに、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出する。
このデジタルゲイン算出器２７の処理の詳細な次のようになる。
平均値算出器２６で算出されたフリッカ１周期のＲＧＢ各色成分の画素値の平均値から、フリッカ１周期のｉ番目のデジタル信号増幅処理が行われていない画素値の平均値μ_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ）を、次式（１１）を用いて算出する。

ここで、μ_{（Ｒ，Ｇ，Ｂ）}（ｉ）は平均値算出器２６で計算されたフリッカ１周期のｉ番目の画素値の平均値、ＤＧ_［１］（ｉ）はμ_{（Ｒ，Ｇ，Ｂ）}（ｉ）に使用されたデジタルゲインを示す。
次式（１２）を用いてフリッカ１周期のｉ番目のデジタル信号増幅処理が行われていない画素値の平均値μ_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ）を最大値２、最小値０のサイズに正規化する。

ここで、Ｎ_{（Ｒ，Ｇ，Ｂ）}はμ_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ）を最大値２、最小値０のサイズに正規化したもの、Ｍｉｎ（μ_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ））はフレーム毎の画素値の平均値のずれの波形の最小値、Ｍａｘ（μ_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ））はフレーム毎の画素値の平均値のずれの波形の最大値を示す。
フレーム毎の画素値の平均値のずれの波形の最大値Ｍａｘ（μ_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ））と最小値Ｍｉｎ（_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ））の求め方を第９図により説明する。
縦軸は画素値の平均値、横軸はフレーム数を表す。丸印は最大値のフレーム番号が入れ替わるまでの波形の最大値を示し、四角印は最小値のフレーム番号が入れ替わるまでの波形の最小値を示している。フレーム毎の画素値の平均値のずれは波形に従うことから、フリッカ１周期の中で最大値をとるフレーム番号、最小値をとるフレーム番号が周期的に入れ代わる。そこで、最大値のフレーム番号もしくは最小値のフレーム番号が入れ替わるまでの波形の最大値と最小値を検出して、フレーム番号が替わったときにＭｉｎ（_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ））とＭａｘ（μ_{ＮｏＧａｉｎ（Ｒ，Ｇ，Ｂ）}（ｉ））を更新する。
得られたＮ_{（Ｒ，Ｇ，Ｂ）}（ｉ）に対し、入力を０から（２ｎ−１）まで与えた正弦波データ算出器２８の出力と比較して最適な正弦波データテーブル番号Ｎ_{（Ｒ，Ｇ，Ｂ）}ＴａｂｌｅＮｕｍｂｅｒ（ｉ）を算出する。ここで算出された正弦波データテーブル番号の数周期分をデジタルゲイン算出器２７に格納しておき、その数周期分の正弦波データテーブル番号の平均変化数を計算する。ここで計算した平均変化数をＡｖｅＭｏｖｅ（ｉ）とすると、次周期で予想される正弦波データテーブル番号はＮ_{（Ｒ，Ｇ，Ｂ）}ＴａｂｌｅＮｕｍｂｅｒ（ｉ）＋ＡｖｅＭｏｖｅ（ｉ）と予想される。この予想された正弦波データテーブル番号を入力として、正弦波データ算出器２８から出力Ｎ_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｉ）を得ることができる。また、Ｎ_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｉ）から式（１２）を逆算して次周期に推測される画素値の平均値を算出する。
以上より、次式（１３）により、正弦波テーブルを用いて推測された次周期に最適なデジタルゲインＤＧ_［５］（ｉ）を算出する。

ここで、μ_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｉ）はＮ_{Ｎｅｘｔ（Ｒ，Ｇ，Ｂ）}（ｉ）から式（１２）を逆算して次周期に推測される画素値の平均値を算出した値を示す。
以上のように、この実施の形態４によれば、電源周波数が微小の誤差を含む場合にフリッカ発生の周期毎の画素値の平均値のずれは一定の波形に従うが、その波形のずれを正弦波テーブルを用いて推測するようにしたので、実施の形態３のように波形のずれを直線で推測するよりも、最大値、最小値付近の推測においてより精度の高い推測ができ、より効果的なフリッカの抑圧を可能にする。
実施の形態５．
上記実施の形態２から実施の形態４で想定されてきた状態は、デジタルビデオカメラあるいはデジタルスチルカメラの画面がほぼ一定、つまり静止している状態である。しかし、特にデジタルビデオカメラを実際に使用する状態を考えると、人物などの動きのある被写体を撮影する場合がほとんどである。そのため、被写体の動き（外的要因）による画素値の変動が、フリッカによる画素値の変動に加わることになる。この外的要因による画素値の変動は、フリッカには影響を及ぼしてはいない。したがって、フリッカによる画素値の変動と外的要因による画素値の変動が混合している場合には、フリッカによる画素値の変動のみを考慮してデジタルゲインを決定しなければならない。
外的要因が加わると、ＲＧＢ各色成分の画素値の平均値は急激に変化する筈であり、この急激な変化を外的要因が加わったものとすることができる。そこで、第２図の構成において、平均値算出器２６により算出された画素値の平均値から、デジタルゲイン算出器２７が、算出した画素値の平均値の変動量を抽出し、その変動量が所定の値（フリッカによる画素値の平均値の変動量に基づいて設定される。）を超えた場合には、外的要因が加わったものと判断して、ＲＧＢ色成分の画素値の平均値を使用したデジタルゲインの更新をやめ、替りに画素値の平均値が急激に変化するまでのデジタルゲインを使用する。さらに、誤差修正をしていたものに関しては、画素値の平均値の急激な変化までに行っていたと同様の誤差修正を行う。
したがって、デジタル信号増幅器２５に対して与えるデジタルゲインは、外的要因による画素値の変動が小さい場合には更新され、一方、外的要因による画素値の変動が大きい場合には更新されないように処理される。
以上のように、この実施の形態５によれば、外的要因による画素値の変動が起った場合に対して、上記処理を施すことにより、外的要因による誤動作が少ない効果的なフリッカの抑圧を可能にする。
実施の形態６．
フリッカは、固体撮像素子に蓄積される電荷量が画像読み出しのタイミング毎に異なり、画像の明るさが異なるために起きる現象である。したがって、フリッカを抑圧するためには画像読み出しのタイミング毎に発生する明るさの違いをなくせばよいことになる。そこで、この実施の形態６では、画像読み出しのタイミング毎に固体撮像素子の露光時間を制御して明るさの違いを軽減させるフリッカの抑圧方法について述べる。
第１０図はこの発明の実施の形態６による撮像装置の構成を示すブロック回路図で、第２図の構成に対して、露光時間算出器２９を追加したものである。露光時間算出器２９は、平均値算出器２６で得られる画素値の平均値に基づいて固体撮像素子１２の最適な露光時間を算出する手段である。
露光時間算出器２９における固体撮像素子１２の最適な露光時間の決定方法は、上記実施の形態１から実施の形態３で述べたデジタルゲインを算出する方法とほぼ同様である。つまり、予め露光時間の変化とＲＧＢ各色成分の画素値の平均値の変化率の関係のデータテーブルを作成しておく。また、デジタルゲインを固体撮像素子１２の露光時間に変換するための変換係数ｋ_{ＣＣＤ（Ｒ，Ｇ，Ｂ）}を決定しておき、式（６）と同様な変換を行うことで、露光時間をデジタルゲインと同様に扱うことができる。
すなわち、露光時間算出器２９では、フリッカ発生の１周期分のフレーム数について、平均値算出器２６で算出されたフレーム毎の画像の特定の色成分の画素値の平均値の中からそれぞれの最大値を算出する。次に、この最大値に基づいて特定の色成分の画素値の平均値を最大幅に調整して固体撮像素子１２に蓄積される電荷量を一定とするように固体撮像素子１２の露光時間の調整を行う。したがって、デジタルゲインを算出する方法と同様にして、次周期の固体撮像素子１２の露光時間を決定すればよい。
ここで、フリッカを抑圧する方法として、デジタルゲインを算出する方法と固体撮像素子の露光時間を算出する方法を独立させ、両者の相違点について考えてみる。前者は画素全体にデジタルゲインをかけるためＳ／Ｎ比が低下するおそれがあるが、後者はＳ／Ｎ比を一定に保てるため画質面においては優れていると言える。また、後者は前者と異なり、１．０倍以下の補正を行っても画素値の飽和レベルが低下することがなく、補正の自由度が高いという利点もある。しかし、後者では、例えばＧ色成分に対してフリッカを抑圧すべく固体撮像素子の露光時間を設定した場合、ＲＢ色成分に対しても同様な露光時間が設定されるため、ＲＧＢ各色成分に対し独立した処理を施せないという問題がある。
そこで、この実施の形態６では、上記のように露光時間算出器２９により、まず１つの色成分に対しての露光時間を調整してフリッカを抑圧する。次に、露光時間算出器２９で使用しない残りの色成分に対して発生する誤差についてはデジタルゲインを調整する方法を用いてフリッカの抑圧を行うようにしている。すなわち、デジタルゲイン算出器２７では、フリッカ発生の１周期分のフレーム数について、平均値算出器２６で算出された画像の各色成分の画素値の平均値の中から露光時間算出器２９で使用しない他の色成分についてそれぞれの最大値を算出する。そして、これらの最大値に基づいて他の色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出し、このデジタルゲインをデジタル信号増幅器２５に出力する。デジタル信号増幅器２５では、デジタル画像信号の対応する他の色成分の画素についてのゲイン調整を行ってフリッカの抑圧を行う。
ここでは、光の３原色のＲ（赤）、Ｇ（緑）、Ｂ（青）を３色成分の例として述べてきたが、他にＹ（黄色）、Ｍ（マゼンタ）、Ｃ（シアン）、Ｋ（黒）の４色成分の構成あり、これに対しても同様に適用できるものである。
以上のように、この実施の形態６では、固体撮像素子の露光時間を調整する方法とデジタルゲインを調整する方法を併用するようにしたので、デジタルゲインのみの調整を行うフリッカ抑圧方法よりも、デジタルゲインを使用する頻度を減少させることができ、より精度の高いフリッカの抑圧が可能とする効果がある。
実施の形態７．
固体撮像素子からの画像信号はアナログ信号であり、この信号はＡ／Ｄ変換されてデジタル画像信号となり、デジタルで画像処理が行われる。この場合、アナログ信号にかけられるゲインをアナログゲインと称することにする。この実施の形態７では、デジタルゲインとアナログゲインを併用したフリッカの抑圧方法について説明する。
第１１図はこの発明の実施の形態７による撮像装置の構成を示すブロック回路図で、第２図の構成に対し、平均値算出器２６とアナログ信号処理部１３の間にアナログゲイン算出器２１０を追加したものである。アナログゲイン算出器２１０は、平均値算出器２６から得られた画素値の平均値から最適なアナログゲインを算出する手段である。またこの実施の形態７では、ＡＤコンバータ２４の前段に設けられたアナログ信号処理部１３は、アナログゲイン算出器２１０から与えられる各色成分のアナログゲインに基づいて、固体撮像素子より得られたアナログ画像信号を増幅するアナログ信号増幅手段として機能する。
アナログゲイン算出器２１０は、フリッカ発生の１周期分のフレーム数について、平均値算出器２６で算出された画像の特定の色成分の画素値の平均値の中から最大値を算出し、この最大値に基づいて特定の色成分の画素値の平均値を最大幅に調整するアナログゲインを算出する。この場合、式（６）と同様な変換を行うが、変換係数ｋ_{ＤＧ（Ｒ，Ｇ，Ｂ）}の替りに、ゲインをアナログゲインに変換するための変換係数ｋ_{ＡＧ（Ｒ，Ｇ，Ｂ）}を用いる。この変換係数ｋ_{ＡＧ（Ｒ，Ｇ，Ｂ）}は、実測データからアナログゲインの変化に対する画素値の変化率を算出することで予め決定される。アナログゲイン算出器２１０で、算出されたアナログゲインはアナログ信号処理部１３に与えられ、アナログ画像信号について画像の色成分の全画素のゲインを調整し、フリッカを抑圧する。
ここで、アナログゲインを算出してフリッカを抑圧する方法の利点について考えると、Ａ／Ｄ変換を行う前の情報が劣化していない状態でゲインをかける方がノイズが防げるという点にある。しかし、固体撮像素子から出力する画像信号はアナログ信号であるため、出力信号をＲＧＢ各色成分で区別して画像全体のＲＧＢ成分に対し、個別にアナログゲインをかけることは困難である。
そこで、まずＲＧＢ成分のうち特定した１つの色成分を目標にして上記のようにアナログゲイン算出器２１０によりアナログゲインを調整してフリッカを抑圧する。次に、残りの他の２色成分に対して発生する誤差については、デジタルゲイン算出器２７により、実施の形態２で述べたようにデジタルゲインを調整してフリッカを抑圧するようにする。すなわち、デジタルゲイン算出器２７では、フリッカ発生の１周期分のフレーム数について、平均値算出器２６で算出された画像の各色成分の画素値の平均値の中からアナログゲイン算出器２１０で使用しない他の色成分についてそれぞれの最大値を算出する。そして、これらの最大値に基づいて他の色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出し、このデジタルゲインをデジタル信号増幅器２５に出力する。デジタル信号増幅器２５では、デジタル画像信号の対応する２色成分の画素についてのゲイン調整を行ってフリッカの抑圧を行う。
以上のように、この実施の形態７によれば、アナログゲインを調整する方法とデジタルゲインを調整する方法を併用することによりフリッカの抑圧を行っているので、デジタルゲインのみので調整を行うフリッカ抑圧方法に比べ、デジタルゲインを使用する頻度を減少させることができ、より精度の高いフリッカの抑圧を可能にする効果がある。

今日、デジタルスチルカメラやデジタルビデオカメラの普及は著しい。これらのカメラを持ったユーザが電源周波数の異なる国や地域間を移動することは頻繁になると考えられる。これらのカメラに、この発明を適用することで、ユーザはフリッカを意識せずに対応でき、常に良好な画像を取得できるようになる。

Claims (7)

1. 結像された光画像を光電変換して画像信号を得る固体撮像素子と、
   この固体撮像素子から得られる画像信号について、与えられる各色成分のゲインに基づいて画像の色成分の全画素の増幅を行う信号増幅手段と、
   この信号増幅器で生成されるフレーム毎の画像を構成する各色成分に対して画素値の平均値を算出する平均値算出手段と、
   フリッカ発生の１周期分のフレーム数について、前記平均値算出手段で算出された画像の各色成分の画素値の平均値の中からそれぞれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するゲインを算出して前記信号増幅手段に与える各色成分のゲインとして出力するゲイン算出手段とを備えた撮像装置。
2. 結像された光画像を光電変換して画像信号を得る固体撮像素子と、
   この固体撮像素子から得られる画像信号をデジタル信号に変換するＡＤコンバータと、
   ＡＤコンバータから得られるデジタル画像信号について、与えられる各色成分のデジタルゲインに基づいて画像の色成分の全画素の増幅を行うデジタル信号増幅手段と、
   このデジタル信号増幅手段で生成されるフレーム毎の画像を構成する各色成分に対して画素値の平均値を算出する平均値算出手段と、
   フリッカ発生の１周期分のフレーム数について、前記平均値算出手段で算出されたフレーム毎の画像の各色成分の画素値の平均値の中からそれぞれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出して前記デジタル信号増幅手段に与える各色成分のデジタルゲインとして出力するデジタルゲイン算出手段とを備えた撮像装置。
3. デジタルゲイン算出手段は、平均値算出手段で算出されたフレーム毎の画像を構成する各色成分の画素値の平均値から、電源周波数の誤差に起因するフリッカ発生周期のずれを算出し、算出されたフリッカ発生周期のずれを補正した画素値の平均値を算出し、フリッカ発生の１周期分のフレーム数について、フレーム毎の画像の各色成分の前記ずれを補正した画素値の平均値の中からそれぞれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出することを特徴とする請求の範囲第２項記載の撮像装置。
4. 予め準備した正弦波データテーブルを使用して、入力される正弦波データテーブル番号に基づいてフリッカ発生の次周期のずれを予測する正弦波データを算出する正弦波データ算出手段を備え、
   デジタルゲイン算出手段は、平均値算出手段で算出されたフリッカ１周期の画像を構成する各色成分の画素値の平均値から、電源周波数の誤差に起因するフリッカ発生周期のずれを算出し、算出されたずれに基づいて正弦波データテーブル番号を推定し、推定した正弦波データテーブル番号に基づいて前記正弦波データ算出手段から次周期の正弦波データを入手し、当該次周期の正弦波データに基づいてフリッカ発生の次周期のずれを補正した画素値の平均値をそれぞれ算出し、フリッカ発生の１周期分のフレーム数について、フレーム毎の画像の各色成分の前記ずれを補正した画素値の平均値の中からそれぞれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出することを特徴とする請求の範囲第２項記載の撮像装置。
5. デジタルゲイン算出手段は、平均値算出手段で算出されたフレーム毎の画像を構成する各色成分の画素値の平均値の変動量が所定の値を超えた場合には、デジタル信号増幅手段に与えるデジタルゲインの更新をやめ、替りに前記所定の値を超える以前の画素値の平均値に基づくデジタルゲインを使用することを特徴とする請求の範囲第２項記載の撮像装置。
6. フリッカ発生の１周期分のフレーム数について、平均値算出手段で算出されたフレーム毎の画像の特定の色成分の画素値の平均値の中から最大値を算出し、この最大値に基づいて前記特定の色成分の画素値の平均値を最大幅に調整して前記固体撮像素子に蓄積される電荷量を一定とするように前記固体撮像素子の露光時間を調整する露光時間算出手段を備え、
   デジタルゲイン算出手段は、フリッカ発生の１周期分のフレーム数について、前記平均値算出手段で算出された画像の各色成分の画素値の平均値の中から前記露光時間算出手段で使用しない他の色成分についてそれぞれの最大値を算出し、これらの最大値に基づいて前記他の色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出してデジタル信号増幅手段に出力することを特徴とする請求の範囲第２項記載の撮像装置。
7. ＡＤコンバータの前段に設けられ、与えられる各色成分のアナログゲインに基づいて、固体撮像素子より得られたアナログ画像信号を増幅するアナログ信号増幅手段と、
   フリッカ発生の１周期分のフレーム数について、平均値算出手段で算出されたフレーム毎の画像の特定の色成分の画素値の平均値の中から最大値を算出し、この最大値に基づいて前記特定の色成分の画素値の平均値を最大幅に調整するアナログゲインを算出して前記アナログ信号増幅手段に与える各色成分のアナログゲインとして出力するアナログゲイン算出手段とを備え、
   デジタルゲイン算出器は、フリッカ発生の１周期分のフレーム数について、前記平均値算出手段で算出された画像の各色成分の画素値の平均値の中から前記アナログゲイン算出手段で使用しない他の色成分についてそれぞれの最大値を算出し、これらの最大値に基づいて前記他の色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出してデジタル信号増幅手段に出力することを特徴とする請求の範囲第２項記載の撮像装置。

Images