WO2005043924A1

WO2005043924A1 - 撮像装置

Info

Publication number: WO2005043924A1
Application number: PCT/JP2003/014036
Authority: WO
Inventors: Masumi Dakemoto; Narihiro Matoba; Takeo Fujita
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2003-10-31
Filing date: 2003-10-31
Publication date: 2005-05-12
Also published as: US7683941B2; CN100559884C; JP4364867B2; CN1860797A; EP1679906A4; US20080225147A1; EP1679906B1; JPWO2005043924A1; EP1679906A1

Abstract

固体撮像素子の画像信号について、フレーム毎の画像を構成する各色成分に対して画素値の平均値を平均値算出手段で算出し、ゲイン算出手段において、フリッカ発生の１周期分のフレーム数について、平均値算出手段で算出された画像の各色成分の画素値の平均値の中からそれぞれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するゲインを算出して信号増幅手段に与える各色成分のゲインとして出力し、信号増幅手段は、この与えられた各色成分のゲインに基づいて画像の色成分の全画素の増幅を行う。

Description

技術分野

この発明は、デジタルスチルカメラやデジタルビデオカメラなどのデ明

ジ夕ルカラ一撮像機器に関し、特に蛍光灯照明下において発生するフリ細

ッ力を抑圧して良好な画像を得る撮像装置に関するものである。

背景技術

世界的に電源周波数には 5 0 H zと 6 0 H zが適用されており、したがって電源周波数の異なる国や地域が存在している。特に、日本国においては、 2つの地域に分けられている。照明器具にインバー夕機能の無い蛍光灯を使用した場合、蛍光灯は、電源周波数 5 0 H zの地域では 1 秒間に 1 0 0回の間隔、また電源周波数 6 0 H zの地域では 1秒間に 1 2 0回の間隔で明喑を繰り返している。

上記蛍光灯の照明下で C C Dや CMO Sセンサなどの固体撮像素子を搭載したデジタルビデオカメラやデジタルスチルカメラを使用する場合、固体撮像素子の画像読み出しのタイミング（シャツ夕速度）と蛍光灯の点滅周期の関係により固体撮像素子を常に同等の露光時間に設定した場合、固体撮像素子に蓄積される電荷量が画像読み出しのタイミング毎に異なる場合がある。固体撮像素子に蓄積される電荷量に異なりが生じると、画像の明るさが変化し、映像画面が点滅するようなフリツ力現象が起こる。

このようなフリツ力を抑圧する方法として、例えば特開平 1 0— 2 5 7 3 8 1号公報に示された技術がある。この従来技術では、 C C Dから出力された 1フィールドの入力映像信号に対して、画像を水平方向に複数のブロックに分割し、ブロック毎に輝度の平均値を算出する。次に、これら算出された輝度の平均値から最大値および最小値となる平均値が検出され、その輝度の最大値および最小値から、フィールド毎の諧調を補正するための補正係数が算出される。入力映像信号に生じた輝度変化

、すなわちフリツ力の周期に基づき、 1周期前に得られた補正係数を用いて入力映像信号の諧調（輝度値）が補正される。

上記文献に示された従来の技術では、輝度の平均値を算出する方法を用いているが、これは輝度のみを算出対象としたデジタルゲイン積算方法である。しかし、画像を構成する各色成分に対してフリツ力が原因で変化する画素値幅はそれぞれ異なっており、そのため、上記方法ではフリッ力の抑圧を正確に行うことはできない。

実際のところ、電源周波数は微小な誤差を含み、 5 0 H zまたは 6 0 H zの正確な値を示さない場合がある。したがって、電源周波数に微小な誤差が含まれる場合にぽ、フリツ力の 1周期前のデ一夕を用いて補正する上記文献に示された方法では、必ずしも 1周期前の画素信号が次の周期と同じ画素信号にはならないから、' フリッ力の抑圧を正確に行うことができない。

また、撮像対象の変動などの外的要因により画素値が変動した場合、その画素値を基にデジ夕ノレゲインを積算すると、フリツ力が増幅してしまうという問題がある。

さらに、デジタルゲインを用いたフリツ力除去では、画素全体にデジタルゲインをかけることから、 S / N比が低下し、画質が劣化するという問題がある。

この発明は、上記のような課題を解決するためになされたもので、デジ夕ルビデオカメラやデジ夕ルスチルカメラ.などのデジタルカラ一撮像機器に適用して、常にフリッカを正確に抑圧可能とする撮像装置を得ることを目的とする。発明の開示

この発明に係る撮像装置は、結像された光画像を光電変換して画像信号を得る固体撮像素子と、この固体撮像素子から得られる画像信号について、与えられる各色成分のゲインに基づいて画像の色成分の全画素の増幅を行う信号増幅手段と、この信号増幅器で生成されるフレーム毎の画像を構成する各色成分に対して画素値の平均値を算出する平均値算出手段と、フリヅ力発生の 1周期分のフレーム数について、前記平均値算出手段で算出された画像の各色成分の画素値の平均値の中からそれそれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するゲインを算出して前記信号増幅手段に与える各色成分のゲインとして出力するゲイン算出手段とを備えたものである。

このことによって、画像を構成する各色成分の画素値の平均値を用いてデジタルゲインを積算し、微小な誤差を含む電源周波数での蛍光灯の影響による誤差修正を行ってフリッカを抑圧する効果がある。図面の簡単な説明

第 1図はこの発明の実施の形態 1による撮像装置の構成を示すプロック回路図である。

第 2図はこの発明の実施の形態 2による撮像装置の構成を示すプロック回路図である。

第 3図は電源周波数 5 0 . 0 0 H zの蛍光灯照明下で撮影した画素値の平均値の変動を示した説明図である。第 4図は電源周波数 5 0 . 0 4 H zの蛍光灯照明下で撮影した画素値の平均値の変動を示した説明図である。

第 5図はこの発明の実施の形態 3に係る電源周波数の微小な誤差を推測する方法を示す説明図である。

第 6図は誤差のある電、源周波数の蛍光灯照明下で撮影した画素値の平均値の変動例を示した説明図である。

第 Ί図はこの発明の実施の形態 4による ί最像装置の構成を示すプロヅク回路図である。

第 8図はこの発明の実施の形態 4に係る正弦波データテーブルの作成方法について例示する説明図である。

第 9図はこの発明の実施の形態 4に係るフレーム毎の画素値の平均値のずれの波形の最大値と最小値の求め方を示す説明図である。

第 1 0図はこの発明の実施の形態 6による撮像装置の構成を示すプロック回路図である。

第 1 1図はこの発明の実施の形態 7による撮像装置の構成を示すプロック回路図である。発明を実施するための最良の形態

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。

実施の形態 1 .

図において、固体撮像素子 1 2は、撮像レンズ 1 1 により受光面に結像された光画像を光電変換して画像信号を得る手段である。この固体撮像素子 1 2は、 C C D、 C M O Sセンサ等で構成されており、赤（ R ) 、緑（ G ) 、青（B ) の光にそれそれ感応する 3種の画素を交互にマトリクス状に数十万配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。そのため、固体撮像素子 1 2は信号電荷の蓄積時間を制御する電子シャッ夕機能を有している。アナログ信号処理部 1 3は、 C D S - ( Correlated doubl e Sampl ing circuit：相関 2重サンプリング回路）および A G C等の回路を有し、固体撮像素子 1 2で変換された画像信号に対して、含まれるノイズを除去し、ゲイン制御を行う手段である。信号増幅器 1 4は、アナログ信号処理部 1 3から入力された画像信号について、与えられる R G B各色成分のゲインに基づいて画像の R G B色成分の全画素に対する増幅処理を行う手段である。平均値算出器 1 5は、信号増幅器 1 4で生成されるフレーム毎の画像を構成する R G B各色成分に対して画素値の平均値を算出する手段である。ゲイン算出器 1 6は、算出されたフレーム毎の R G B各色成分の画素値の平均値から、後述するように最適なゲインを算出する手段である。

次に、動作について説明する。

撮像レンズ 1 1は、被写体側から入射される光画像を固体撮像素子 1 2の受光面に結像させる。固体撮像素子 1 2は、結像された光画像を光電変換して画像信号を得る。固体撮像素子 1 2で変換された画像信号はアナ口グ信号処理部 1 3に入力される。アナログ信号処理部 1 3は、画像信号に含まれるノイズを除去し、ゲイン制御を行う。アナログ信号処理部 1 3から出力された画像信号は信号増幅器 1 4で増幅され、平均値算出器 1 5 に与えられる。この場合、信号増幅器 1 4には、ゲイン算出器 1 6から R G B各色成分のゲインが与えられており、これらのゲインに基づいて画像の R G B色成分の全画素に対する増幅処理が行われる。平均値算出器 1 5では、信号増幅器 1 4で生成されるフレーム毎の画像の RGB各色成分に対して画素値の平均値が算出され、ゲイン算出器 1 6に与えられる、ゲイン算出器 1 6では、フリツ力発生の 1周期分のフレーム数について、フレーム毎の画像の各色成分の画素値の平均値から最大値が算出される。そして、この最大値に基づいて、他の画像を構成する各色成分の画素値の平均値を最大幅に調整するゲインが算出される

ここで、信号増幅器 1 4はゲイン算出器 1 6で算出されたゲインを用いて R GB色成分の全画素の増幅を行うようにしているが、このことによって、固体撮像素子 1 2に蓄積される電荷量の違いに因って起きるフレーム毎の明るさの違いを減少させることができる。すなわち、フリヅ力が抑圧される。

次に、平均値算出器 1 5において行われる画素値の平均値の算出方法について詳細に説明する。

R GB各色成分の画素値の平均値/ Ζ

は、信号増幅器 1 4で生成された画像の R G Β各色成分に対して、式（ 1 ) を用いて算出される。

… (1)

ここで、？₍₁^，₈)(;!，] は信号増幅器 1 4により増幅処理を施して平均値算出器 1 5に格納された画像の座標（ j， k) の R GB各色成分の画素値、 P_Hは水平方向の最大画素数、 P_vは垂直方向の最大画素数を表す。

フリヅカ 1周期のフレーム数に対応する算出された R GB各色成分の画素値の平均値は、ゲイン算出器 1 6のメモリに格納される。なお、フリヅカ 1周期のフレーム数 F_CaBera/T_Flickerは、予め求めておくもので、式（ 2 ) を用いて算出される。 F

P IT Camera ... フ、

¹ Camera ^{1 X} Flic ker 一ハ (n, _r ^ \ ^ )

^GCD (^2X ， — J ここで、 F_Camera は撮像装置のフレ.一ムレ一ト、 F_Elee は電源周波数、 G C D (A, B ) は Aと Bの最大公約数を表している。

次に、ゲイン算出器 1 6によるゲイン算出方法について詳細に説明する。

格納されたフリツ力 1周期分の R G B各色成分の画素値の平均値それそれが比較され、その中から最大値が算出される。式（ 3 ) を用いて、算出した最大値に他の画素値の平均値を調整したゲイン G_{m (R;GiB)} (i) が求められる。

r_m _ _Γ

₍ 「 ΤΛ , 、

[2】 ( リ― V—丄，，i^r Camera ^/ Flicker V · · · ^Jノここで、〃（_B,_G,_B)(MaxNumber)は格納された 1周期の画素値の平均値の最大値、 _(a,_G，_B)(i)は格納された 1周期の i番目の画素値の平均値、 G_m ( _R(G)B) (i)は R G B各色成分の画素値の平均値〃（_R,_G，_B)(i)に使用されたゲインを表す。

また、式（ 3 ) で得られたゲイン G _(a， _G，_B) (i)をそれそれ比較する o G_{[z] (R)G>B)} (i)の最小値を G_[2] _(B，_G,_B) (MinNumber)とすると、 MinNumber 番目の信号増幅処理が施されていない R G B各色成分の画素値の平均値

)/G_[ ( _R, _G,B) (MinNumber) ]は最大値となる。

式（ 3 ) で求めたゲイン G_[2] ( _B， _G,B ) (i)の最小値 G_[2] ( _{R)G>B )} (MinNumber)が 1 . 0倍になるように次式（ 4 ) を用いて他のゲイン

G[₂] (R, G,B) ）を調整する。 ^υ[3]( ,(? (0 ⁼ _{S f}. _Ar Γ~ ⁼丄，…，レ Camera ^Flicker D " ' (^)

' ^[2](R,G,B) (MinNumber) 式（ 4 ) で算出したゲイン G_[3] ， _G，_B) (i)より、 1周期すベての画素値の平均値を、信号増幅処理を施していない画素値の平均値の最大値 [ /_(R)G)B)(MinNumber)/G_n] , _G,_B) (MinNumber) ]に調整することができる。ゲイン算出器 1 6で算出されたゲイン G_{[3] (R)G(B)} (i)を信号増幅器 1 4に格納し、次式（ 5 ) を用いて画像の RGB各色成分の全画素に対して信号増幅処理を行う。

Next(R,G,B) (ム ) = [3](/?，£?, ). iVert ( , 、ゾ ,··(5)

ここで、 P_Next(a,_G,_B)(j，k)は信号増幅処理後の次周期の撮像画像の座標（ j , k ) における R GB各色成分の画素値、 P_Next(Il,_G，_B)(j，k)は信号増幅処理を施していない次周期の撮像画像の座標（ j， k) における R G B各色成分の画素値を表す。つまり、信号増幅器 1 4で増幅された P_Next(n，_G，_B)(j，k)を基に平均値算出器 1 5で算出されたフリッカ 1周期の平均値が、

- Next(R,G,B) Next(R₍G,B) (2) = = PL Next(E,G,B)( [F Camera/''- F 1 i eker ] ) となればフリッカは抑圧されたことになる。

以上のように、この実施の形態 1によれば、画像の R GB各色成分の画素値の平均値を用いて最適なゲインを算出するようにしているので、フリッカを正確に抑圧可能にする効果がある。実施の形態 2 .

固体撮像素子から得られる画像信号はアナ口グ信号であるが、各種画像処理に用いるためデジタル信号に変換される。このとき A / D変換された信号（デジタル画像信号）に対してかけるゲインをデジタルゲインという。ここでは、デジタルゲインを用いた場合において、上記実施の形態 1 と同様な方法でフリツ力を抑圧することを提案する。第 2図 y:この発明の実施の形態 2による撮像装置の構成を示すプロック回路図である。図において、第 1図に相当する部分には同一符号を付し、その説明は原則として省略する。撮像装置は、撮像レンズ 1 1、固体撮像素子 1 2、アナ口グ信号処理部 1 3、 ADコンバータ 24、デジタル信号 ί曽幅器 2 5、平均値算出器 2 6およびデジタルゲイン算出器 2 7を備えている。

次に、動作について説明する。

'アナ口ク言号処理部 1 3から出力される画像信号は、 ADコンバ一夕 24により A/D変換され、デジタル画像信号となる。デジタル信号増幅器 2 5では、デジタルゲイン算出器 2 7で算出した RGB各色成分のデジタルゲインを用いて、デジタル画像の RGB各色成分の全画素に対して増幅処理が行われる。平均値算出器 2 6では、第 1図の平均値算出器 1 5と同様な機能により、デジタル信号増幅器 2 5で生成された画像の R GB各色成分に対して画素値の平均値が算出される。デジタルゲイン算出器 2 7では、平均値算出器 2 6で算出された RGB各色成分の画素値の平均値から最適なデジタルゲインが算出される。なお、デジタルゲイン算出器 2 7は、第 1図のゲイン算出器 1 6とほぼ同等な機能にデジ夕ルゲイン変換機能が追加されたものである。

次に、デジタルゲインを用いたフリッ力抑圧方法について説明する。デジタクレゲイン算出器 2 7は、実施の形態 1 と同様の手順の処理を行い、.式（ 4 ) から最適なデジタルゲインを得る。算出された最適なゲインに対し、次式（ 6 ) を用いてデジタルゲイン変換処理を行う。 (凡(?， ) ) = ^DG^Rfi- B) ' ^U[3](i?,G^) CO i^-X" ·， ί CamerJ ¾<ker]) · .

ここで、 DG_[3] , _G,_B)は式（ 4 ) で求めた最適なゲイン G_{[3] (R B)} (i)をデジタルゲインに変換したもの、 k_DG(a,_G,_B)はゲイン G_{m (a},_G,_B) (i)をデジ夕ルゲインに変換するための変換係数である。なお、この変換係数 k_DG(_R，_G,_B)は、実測値からデジタルゲイン DG_[3](R,_G,_B)の変化に対する画素値の変化率を算出して予め決定されるものである。

デジタルゲイン算出器 2 7で算出されたデジタルゲイン DG_{[3] (R(G)B)} (i)はデジタル信号増幅器 2 5に一旦格納される。デジタル信号増幅器 2 5は、このデ一夕を用いて次式（ 7 ) により撮像画像の R G B各色成分の全画素に対して増幅処理を行う。

·'·(⁷)

以上のように、この実施の形態 2よれば、画像の R GB各色成分の画素値の平均値を用いて最適なデジタルゲインを算出するようにしたので、フリツ力を正確に抑圧可能にする効果がある。実施の形態 3.

上記実施の形態 2は、現周期の R G B各色成分の画素値の平均値と次周期の R G B各色成分の画素値の平均値がほぼ同じ値をとることを前提とした場合にフリツ力の抑圧の処理を行うようにしたものである。ところで、電源周波数は、安定化が図られてはいるが、実際には 6 0 U zまたは 5 0 H zの正確な値になるとは限らず、微小の誤差を含む場合がある。電源周波数の誤差はフリツ力の変動パターンの誤差となって現れる第 3図は電源周波数を 5 0. 0 0 H zに固定した蛍光灯照明下で、フレームレート 24 f p sで撮影した場合における画素値の平均値の変動を示したものである。また、第 4図は電源周波数を 5 0. 04 H zに固定した蛍光灯照明下で、フレームレート 2 4 f p sで撮影した場合における画素値の平均値の変動を示したものである。いずれの図の場合にも

、縦軸は画素値の平均値、横軸はフレーム数を示す。第 4図から明らかなように、画素値の平均値はフレーム数が増加すると共にずれが生じている。したがって、電源周波数が正確に 6 0 H zまたは 5 0 H zであると仮定し、現周期の画素値の平均値と次周期の画素値の平均値がほぼ同じ値をとるものと想定してデジタルゲインを決定すると、フリッカを確実に抑圧することができなくなるケースが起こる。

そこで、電源周波数が微小な誤差を含む場合の上述した問題を解決するために、その誤差を推測し、最適なデジタルゲインを決定することについて説明する。この実施の形態 3における撮像装置の構成は、概略的には第 2図と同様であるが、以下に述べるように、デジタルゲイン算出器 2 7内で行われる処理が異なっている。

第 5図はこの実施の形態 3に係り、微小な誤差を含む電源周波数の場合において誤差を推測する方法を示した説明図である。図において、縦軸は画素値の平均値、横軸はフレーム数を表す。また、グラフ上で実線はフレーム毎の画素値の平均値、黒丸印は過去周期の画素値の平均値から推測される次周期の理想値、白丸印は電源周波教の微小な誤差によつてずれを生じた実際の画素値の平均値（実際値）を表している。

デジタルゲイン算出器 2 7では、まず、平均値算出器 1 5で算出されたフレーム毎の画像を構成する各色成分の画素値の平均値から、電源周波数の誤差に起因するフリッカ発生周期のずれが算出される。具体的には、画素値の平均値について、過去数周期の理想値と実際値の誤差を計算した値の平均が求められる。画素値の平均値を規則的に変化させると仮定すると、電源周波数の微小な誤差は、次周期では過去数周期とほぼ同じ理想値と実際値の誤差を持つことになる。したがって、この誤差を算出する。次に、フリツ力発生周期のずれを補正する。これは、過去数周期で求めた誤差を考慮して、次式（ 8 ) を用いて、次周期の実際値により近い次周期の理想値/ T_Next(fl，(； ,_B)(i)を算出することである。。 (？ (リ

(0 = ½ (i = 0,-,[F_Camera/T_FUck 〜(8) ここで、〃_Next(R,_G，_B)(i)は次周期の理想値、〃^ ）は過去数周期の実際値、

は過去数周期の理想値、 Ave(X)は X の平均値を表す。

このあと、算出されたフリッカ発生周期のずれを補正した画素値の平均値、すなわち上記次周期の理想値〃' _Next(_K,_G，jo(i)に対して、実施の形態 2で述べたと同様な方法を用いてデジタルゲインを算出し、デジタル信号増幅器 2 5へ与えてフリッ力の抑圧を行う。

以上のように、この実施の形態 3によれば、電源周波数の誤差に起因するフリツ力発生周期のずれを、画素値の平均値の誤差として推測し、実際値により近い次周期の理想値としての画素値の平均値を算出し、その理想値から上記実施の形態 2の方法を用いてデジタルゲインを調整するようにしたので、微小な誤差を含む電源周波数の蛍光灯照明下において発生するフリッ力の抑圧を正確に行うことを可能にする効果がある。実施の形態 4.

上記実施の形態 3では、過去数周期の理想値と実際値の誤差の平均から次周期の画素値の平均値を推測していた。これは直線で誤差を推測することとほぼ同等である。

ところで、電源周波数が微小の誤差を含む場合、周^毎の画素値の平均値のずれは一定の波形に従うことになる。第 6図は誤差のある電源周波数の蛍光灯照明下で撮影した画素値の平均値の変動例を示した説明図である。縦軸は画素値の平均値、横軸はフレーム数である。この例は、フレーム数を 2 5 0、電源周波数を 5 0 . 0 4 H zに固定した蛍光灯照明下で、フレームレート 2 4 f p sで撮影した状況で、垂直方向に伸びる線は、フレーム毎の画素値の平均値を表したものである。この図より、周期毎の画素値の平均値のずれが一定の波形に従っていることが確認できる。

上述したように、周期毎の画素値の平均値のずれが一定の波形に従つている場合、画素値の平均値のずれ幅が微小であれば実施の形態 3のように直線で推測しても問題ない。しかし、ずれ幅が大きい場合、波形の最大値付近と最小値付近の誤差を直線で推測すると、必然的に理想値と実際値の誤差が大きくなる。そこで、この実施の形態 4では、直線で誤差を推測する替りに、正弦波テーブルを用いて誤差を推測する方法について説明する。

第 7図はこの発明の実施の形態 4による撮像装置の構成を示すプロック回路図である。図において、第 2図に相当する部分には同一符号を付す。この実施の形態 4では、デジタルゲイン算出器 2 7に対して新たに正弦波データ算出器 2 8が追加されており、また、デジタルゲイン算出器 2 7の処理内容が実施の形態 2の場合と異なっている。

正弦波デ一夕算出器 2 8は、予め準備した正弦波デ一夕テーブルを使用して、デジタルゲイン算出器 2 7から入力される正弦波デ一夕テープル番号に基づいてフリツ力発生の次周期のずれを予測する手段である。その処理で使用する正弦波デ一夕テーブルの作成方法については第 8図に例示する。横軸を X、縦軸を S i n ( X ) として、 X = 0から X = Z 2 までの範囲を n分割することにより、正弦波デ一夕テーブル SinQuaterBuffer [ i ]を次式（ 9 ) に従い作成する。ー(9>

ブルは正弦波データ算出器 2 8 に格納される。正弦波デ一夕-算出器 2 8において、正弦波デ一夕テープル SinQuaterBuffer[i]を次式（ 1 0 ) の場合わけにより、最大値 2、最小値 0で、 Χ = 7Γから x = 2 7Tまでの半周期の拡張版正弦波デ一夕テ一ブル SinBuffer[i]を擬似的に作成する。なお、 iは正弦波デ一夕テ一ブル番号を示す。 c. _{Ό Γ}._Ί ί SinQuaterBufer[n-i] if(o≤i≤n-l)

SinBujferh] = J / 、 - - - (1U)

II + Sin QuaterB ujfer [(i - n)] ifyn≤i≤2n-l) したがって、正弦波データ算出器 2 8 は、入力 i に対して出力 SinBuffer[i]を返すことになる。

デジタルゲイン算出器 2 7では、平均値算出器 2 6で算出されたフリッカ 1周期の画像を構成する各色成分の画素値の平均値から、電源周波数の誤差に起因するフリ：ソ力発生周期のずれを算出し、算出されたずれに基づいて正弦波データテーブル番号を推定する。次に、推定した正弦波データテーブル番号に基づいて正弦波デ一夕算出器 2 8から次周期の正弦波データを入手し、当該次周期の正弦波データに基づいてフリッ力発生の次周期のずれを補正した画素値の平均値をそれそれ算出し、フリッカ発生の 1周期分のフレーム数について、フレーム毎の画像の各色成分の前記ずれを補正した画素値の平均値の中からそれそれの最大値を算出する。さらに、これらの最大値に基づいて他の画像を構成する各色成分め画素値の平均値を最大幅に調整するデジタルゲインを算出する。

このデジタルゲイン算出器 2 7の処理の詳細な次のようになる。

平均値算出器 2 6で算出されたフリツ力 1周期の R G B各色成分の画素値の平均値から、フリツ力 1周期の i番目のデジタル信号増幅処理が行われていない画素値の平均値〃 _N。_Gain ,_G,_B)(i)を、次式（ 1 1 ) を用いて算出する。 NoGain R,G,B) (i)

·'·(11) ここで、〃（！ i,_G,_Bバ i)は平均値算出器 2 6で計算されたフリツ力 1周期の i番目の画素値の平均値、 DG_m(i)は/ /(_a,_G,_B)(i)に使用されたデジタルゲインを示す。

次式（ 1 2 ) を用いてフリツ力 1周期の i番目のデジタル信号増幅処理が行われていない画素値の平均値 ^ υ,Β) )を最大値 2、最小値 0のサイズに正規化する。

ここで、は〃 _N。_Gain(Il,_G,_B)(i)を最大値 2、最小値 0のサイズに正規化したもの、 Min(〃_N。_Gain(R,_G,_B)(i))はフレーム毎の画素値の平均値のずれの波形の最小値、 Max( z_N。_Gain(a,_G,_B)(i))はフレーム毎の画素値の平均値のずれの波形の最大値を示す。

フレーム毎の画素値の平均値のずれの波形の最大値 Max( μ.

) )と最小値 Min(_N。_Gain(a,_G,_B)(i))の求め方を第 9図により説明する。 .

縦軸は画素値の平均値、横軸はフレーム数を表す。丸印は最大値のフレーム番号が入れ替わるまでの波形の最大値を示し、四角印は最小値のフレーム番号が入れ替わるまでの波形の最小値を示している。フレーム毎の画素値の平均値のずれは波形に従うことから、フリツ力 1周期の中で最大値をとるフレーム番号、最小値をとるフレーム番号が周期的に入れ代わる。そこで、最大値のフレーム番号もしくは最小値のフレーム番号が入れ替わるまでの波形の最大値と最小値を検出して、フレーム番号が替わったときに Min _Gain(I (，ひ ,_B)(i))と Max(〃_N。_Gain(R,_G,_B)(i))を更新する

得られた N . _G，_B)(i)に対し、入力を 0から（ 2 n— 1 ) まで与えた正弦波データ算出器 2 8の出力と比較して最適な正弦波データテーブル番号

を算出する。ここで算出された正弦波データテーブル番号の数周期分をデジタルゲイン算出器 2 7に格納しておき、その数周期分の正弦波データテーブル番号の平均変化数を計算する。ここで計算した平均変化数を AveMove(i)とすると、次周期で予想される正弦波デ一夕テーブル番号は N(_R._G,_B)TableNumber(i)+AveMove(i)と予想される。この予想された正弦波データテーブル番号を入力として、正弦波デ一夕算出器 2 8から出力

を得ることができる。また、

N_Nextu._G,io(i)から式（ 1 2 ) を逆算して次周期に推測される画素値の平均値を算出する。

以上より、次式（ 1 3 ) により、正弦波テーブルを用いて推測された次周期に最適なデジタルゲイン D G ₁₅ ] ( i )を算出する。

DG_[5] () = ~~亇 .■ · (13) ここで、〃_Next(n,_G,_B)(i)は N_Next(u,_B)(i)から式（ 1 2 ) を逆算して次周期に推測される画素値の平均値を算出した値を示す。

以上のように、この実施の形態 4によれば、電源周波数が微小の誤差を含む場合にフリッカ発生の周期毎の画素値の平均値のずれは一定の波形に従うが、その波形のずれを正弦波テーブルを用いて推測するようにしたので、実施の形態 3のように波形のずれを直線で推測するよりも、最大値、最小値付近の推測においてより精度の高い推測ができ、より効果的なフリツ力の抑圧を可能にする。実施の形態 5 .

上記実施の形態 2から実施の形態 4で想定されてきた状態は、デジ夕ルビデオカメラあるいはデジ夕ルスチルカメラの画面がほぼ一定、つまり静止している状態である。しかし、特にデジタルビデオカメラを実際に使用する状態を考えると、人物などの動きのある被写体を撮影する場合がほとんどである。そのため、被写体の動き（外的要因）による画素値の変動が、フリツ力による画素値の変動に加わることになる。この外的要因による画素値の変動は、フリツ力には影響を及ぼしてはいない。したがって、フリッカによる画素値の変動と外的要因による画素値の変動が混合している場合には、フリヅ力による画素値の変動のみを考慮してデジタルゲインを決定しなければならない。

外的要因が加わると、 R G B各色成分の画素値の平均値は急激に変化する喾であり、この急激な変化を外的要因が加わったものとすることができる。そこで、第 2図の構成において、平均値算出器 2 6 により算出された画素値の平均値から、デジタルゲイン算出器 2 7が、算出した画素値の平均値の変動量を抽出し、その変動量が所定の値（フリツ力による画素値の平均値の変動量に基づいて設定される。）を超えた場合には、外的要因が加わったものと判断して、 R G B色成分の画素値の平均値を使用したデジタルゲインの更新をやめ、替りに画素値の平均値が急激に変化するまでのデジタルゲインを使用する。さらに、誤差修正をしていたものに関しては、画素値の平均値の急激な変化までに行っていたと同様の誤差修正を行う。したがって、デジタル信号増幅器 2 5に対して与えるデジタルゲインは、外的要因による画素値の変動が小さい場合には更新され、一方、外的要因による画素値の変動が大きい場合には更新されないように処理される。

以上のように、この実施の形態 5によれば、外的要因による画素値の変動が起った場合に対して、上記処理を施すことにより、外的要因による誤動作が少ない効果的なフリッ力の抑圧を可能にする。実施の形態 6 .

フリツ力は、固体撮像素子に蓄積される電荷量が画像読み出しのタイミング毎に異なり、画像の明るさが異なるために起きる現象である。したがって、フリツ力を抑圧するためには画像読み出しのタイミング毎に発生する明るさの違いをなくせばよいことになる。そこで、この実施の形態 6では、.画像読み出しのタイミング毎に固体撮像素子の露光時間を制御して明るさの違いを軽減させるフリヅ力の抑圧方法について述べる第 1 0図はこの発明の実施の形態 6による撮像装置の構成を示すプロック回路図で、第 2図の構成に対して、露光時間算出器 2 9を追加したものである。露光時間算出器 2 9は、平均値算出器 2 6で得られる画素値の平均値に基づいて固体撮像素子 1 2の最適な露光時間を算出する手段である。

露光時間算出器 2 9における固体撮像素子 1 2の最適な露光時間の決定方法は、上記実施の形態 1から実施の形態 3で述べたデジタルゲインを算出する方法とほぼ同様である。つまり、予め露光時間の変化と R G B各色成分の画素値の平均値の変化率の関係のデータテーブルを作成しておく。また、デジタルゲインを固体撮像素子 1 2の露光時間に変換するための変換係数 k_{CCD U}, _G, _B )を決定しておき、式（ 6 ) と同様変換を行うことで、露光時間をデジタルゲインと同様に扱うことができる。

すなわち、露光時間算出器 2 9では、フリヅ力発生の 1周期分のフレーム数について、平均値算出器 2 6で算出されたフレーム毎の画像の特定の色成分の画素値の平均値の中からそれそれの最大値を算出する。次に、この最大値に基づいて特定の色成分の画素値の平均値を最大幅に調整して固体撮像素子 1 2に蓄積される電荷量を一定とするように固体撮像素子 1 2の露光時間の調整を.行う。したがって、デジタルゲインを算出する方法と同様にして、次周期の固体撮像素子 1 2の露光時間を決定すればよい。

ここで、フリツ力を抑圧する方法として、デジタルゲインを算出する方法と固体撮像素子の露光時間を算出する方法を独立させ、両者の相違点について考えてみる。前者は画素全体にデジタルゲインをかけるため

S / N比が低下するおそれがあるが、後者は S / N比を一定に保てるため画質面においては優れていると言える。また、後者は前者と異なり、

1 . 0倍以下の補正を行っても画素値の飽和レベルが低下することがなく、補正の自由度が高いという利点もある。しかし、後者では、例えば

G 色成分に対してフリッカを抑圧すべく固体撮像素子の露光時間を設定した場合、 R B色成分に対しても同様な露光時間が設定されるため、 R G B各色成分に対し独立した処理を施せないという問題がある。

そこで、この実施の形態 6では、上記のように露光時間算出器 2 9 により、まず 1つの色成分に対しての露光時間を調整してフリツ力を抑圧する。次に、露光時間算出器 2 9で使用しない残りの色成分に対して発生する誤差についてはデジタルゲインを調整する方法を用いてフリツ力の抑圧を行うようにし.ている。すなわち、デジタルゲイン算出器 2 7では、フリッカ発生の 1周期分のフレーム数について、平均値算出器 2 6 で算出された画像の各色成分の画素値の平均値の中から露光時間算出器

2 9で使用しない他の色成分についてそれぞれの最大値を算出する。そして、これらの最大値に基づいて他の色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出し、このデジタルゲインをデジタル信号増幅器 2 5 に出力する。デジタル信号増幅器 2 5では、デジタル画像信号の対応する他の色成分の画素についてのゲイン調整を行ってフリッ力の抑圧を行う。

ここでは、光の 3原色の R (赤）、 G (緑）、 B (青）を 3色成分の例として述べてきたが、他に Y (黄色）、 M (マゼン夕）、 C (シアン ) 、 K (黒）の 4色成分の構成あり、これに対しても同様に適用できるものである。

以上のように、この実施の形態 6では、固体撮像素子の露光時間を調整する方法とデジタルゲインを調整する方法を併用するようにしたので、デジタルゲインのみの調整を行うフリツ力抑圧方法よりも、デジタルゲインを使用する頻度を減少させることができ、より精度の高いフリッ力の抑圧が可能とする効果がある。実施の形態 Ί .

固体撮像素子からの画像信号はアナログ信号であり、この信号は A / D変換されてデジタル画像信号となり、デジタルで画像処理が行われる o この場合、アナログ信号にかけられるゲインをアナログゲインと称することにする。この実施の形態 7では、デジタルゲインとアナログゲインを併用したフリヅ力の抑圧方法について説明する。

第 1 1図はこの発明の実施の形態 7による撮像装置の構成を示すプロック回路図で、第 2図の構成に対し、平均値算出器 2 6 とアナログ信号処理部 1 3の間にアナログゲイン算出器 2 1 0を追加したものである。アナログゲイン算出器 2 1 0は、平均値算出器 2 6から得られた画素値の平均値から最適なアナログゲインを算出する手段である。またこの実施の形態 7では、 A Dコンバータ 2 4の前段に設けられたアナログ信号処理部 1 3は、アナログゲイン算出器 2 1 0から与えられる各色成分のアナログゲインに基づいて、固体撮像素子より得られたアナログ画像信号を増幅するアナログ信号増幅手段として機能する。

アナログゲイン算出器 2 1 0は、フリヅ力発生の 1周期分のフレーム数について、平均値算出器 2 6で算出された画像の特定の色成分の画素値の平均値の中から最大値を算出し、この最大値に基づいて特定の色成分の画素値の平均値を最大幅に調整するアナログゲインを算出する。この場合、式（ 6 ) と同様な変換を行うが、変換係数 k_DG , _G, _B)の替りに、ゲインをアナログゲインに変換するための変換係数 k_AG(R,_G,_B)を用いる。この変換係数 k_A(5 (！ ^, Β )は、実測デ一夕からアナログゲインの変化に対する画素値の変化率を算出することで予め決定される。アナログゲイン算出器 2 1 0で、算出されたアナログゲインはアナログ信号処理部 1 3 に与えられ、アナ口グ画像信号について画像の色成分の全画素のゲインを調整し、フリッ力を抑圧する。

ここで、アナログゲインを算出してフリツ力を抑圧する方法の利点について考えると、 A / D変換を行う前の情報が劣化していない状態でゲインをかける方がノイズが防げるという点にある。しかし、固体撮像素子から出力する画像信号はアナログ信号であるため、出力信号を R G Β 各色成分で区別して画像全体の R G Β成分に対し、個別にアナ口グゲィンをかけることは困難である。

そこで、まず R G Β成分のうち特定した 1つの色成分を目標にして上記のようにアナログゲイン算出器 2 1 0によりアナログゲインを調整してフリツ力を抑圧する。次に、残りの他の 2色成分に対して発生する誤差については、デジタルゲイン算出器 2 7 により、実施の形態 ·2で述べたようにデジタルゲインを調整してフリツ力を抑圧するようにする。すなわち、デジタルゲイン算出器 2 7では、フリヅ力発生の 1周期分のフレーム数について、平均値算出器 2 6で算出された画像の各色成分の画素値の平均値の中からアナログゲイン算出器 2 1 0で使用しない他の色成分についてそれそれの最大値を算出する。そして、これらの最大値に基づいて他の色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出し、このデジタルゲインをデジタル信号増幅器 2 5 に出力する。デジタル信号増幅器 2 5では、デジタル画像信号の対応する 2色成分の画素についてのゲイン調整を行ってフリッ力の抑圧を行う。

以上のように、この実施の形態 7 によれば、アナログゲインを調整する方法とデジタルゲインを調整する方法を併用することによりフリツ力の抑圧を行っているので、デジタルゲインのみので調整を行うフリッカ抑圧方法に比べ、デジタルゲインを使用する頻度を減少させることができ、より精度の高いフリツ力の抑圧を可能にする効果がある。産業上の利用可能性

今日、デジ夕ルスチルカメラやデジタルビデオカメラの普及は著しい。これらのカメラを持ったユーザが電源周波数の異なる国や地域間を移動することは頻繁になると考えられる。これらのカメラに、この発明を適用することで、ユーザはフリツ力を意識せずに対応でき、常に良好な画像を取得できるようになる。

Claims

請求の範囲 1 . 結像された光画像を光電変換して画像信号を得る固体撮像素子と、この固体撮像素子から得られる画像信号について、与えられる各色成分のゲインに基づいて画像の色成分の全画素の増幅を行う信号増幅手段と、

この信号増幅器で生成されるフレーム毎の画像を構成する各色成分に対して画素値の平均値を算出する平均値算出手段と、

フリツ力発生の 1周期分のフレーム数について、前記平均値算出手段で算出された画像の各色成分の画素値の平均値の中からそれぞれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するゲインを算出して前記信号増幅手段に与える各色成分のゲインとして出力するゲイン算出手段とを備えた撮像装置。

2 . 結像された光画像を光電変換して画像信号を得る固体撮像素子と、この固体撮像素子から得られる画像信号をデジタル信号に変換する A Dコンバータと、

A Dコンバータから得られるデジタル画像信号について、与えられる各色成分のデジタルゲインに基づいて画像の色成分の全画素の増幅を行うデジタル信号増幅手段と、

このデジタル信号増幅手段で生成されるフレーム毎の画像を構成する各色成分に対して画素値の平均値を算出する平均値算出手段と、

フリツ力発生の 1周期分のフレーム数について、前記平均値算出手段で算出されたフレーム毎の画像の各色成分の画素値の平均値の中からそれそれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出して前記デジタル信号増幅手段に与える各色成分のデジタルゲインとして出力するデジタルゲイン算出手段とを備えた撮像装置。

3 . デジタルゲイン算出手段は、平均値算出手段で算出されたフレーム毎の画像を構成する各色成分の画素値の平均値から、電源周波数の誤差に起因するフリッカ発生周期のずれを算出し、算出されたフリツ力発生周期のずれを補正した画素値の平均値を算出し、フリツ力発生の 1周期分のフレーム数について、フレーム毎の画像の各色成分の前記ずれを補正した画素値の平均値の中からそれそれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整.するデジタルゲインを算出することを特徴とする請求の範囲第 2項記載の撮像装置。

4 . 予め準備した正弦波デ一夕テーブルを使用して、入力される正弦波データテーブル番号に基づいてフリッ力発生の次周期のずれを予測する正弦波データを算出する正弦波データ算出手段を備え、

デジタルゲイン算出手段は、平均値算出手段で算出されたフリツ力 1 周期の画像を構成する各色成分の画素値の平均値から、電源周波数の誤差に起因するフリッカ発生周期のずれを算出し、算出されたずれに基づいて正弦波デ一夕テーブル番号を推定し、推定した正弦波デ一夕テープル番号に基づいて前記正弦波デ一夕算出手段から次周期の正弦波データを入手し、当該次周期の正弦波デ一夕に基づいてフリッカ発生の次周期のずれを補正した画素値の平均値をそれそれ算出し、フリツ力発生の 1 周期分のフレーム数について、フレーム毎の画像の各色成分の前記ずれを補正した画素値の平均値の中からそれそれの最大値を算出し、これらの最大値に基づいて他の画像を構成する各色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出することを特徴とする請求の範囲第 2項記載の撮像装置。

5 . デジタルゲイン算出手段は、平均値算出手段で算出されたフレーム毎の画像を構成する各色成分の画素値の平均値の変動量が所定の値を超えた場合には、デジ夕ル信号増幅手段に与えるデジタルゲインの更新をやめ、替りに前記所定の値を超える以前の画素値の平均値に基づくデジタルゲインを使用することを特徴とする請求の範囲第 2項記載の撮像装

6 . フリツ力発生の 1周期分のフレーム数について、平均値算出手段で算出されたフレーム毎の画像の特定の色成分の画素値の平均値の中から最大値を算出し、この最大値に基づいて前記特定の色成分の画素値の平均値を最大幅に調整して前記固体撮像素子に蓄積される電荷量を一定とするように前記固体撮像素子の露光時間を調整する露光時間算出手段を備え、

デジタルゲイン算出手段は、フリッカ発生の 1周期分のフレーム数について、前記平均値算出手段で算出された画像の各色成分の画素値の平均値の中から前記露光時間算出手段で使用しない他の色成分についてそれそれの最大値を算出し、これらの最大値に基づいて前記他の色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出してデジタル信号増幅手段に出力することを特徴とする請求の範囲第 2項記載の撮像

7 . A Dコンパ'一夕の前段に設けられ、与えられる各色成分のアナログゲインに基づいて、固体撮像素子より得られたアナログ画像信号を増幅するアナログ信号増幅手段と、

フリツ力発生の 1周期分のフレーム数について、平均値算出手段で算出されたフレーム毎の画像の特定の色成分の画素値の平均値の中から最大値を算出し、この最大値に基づいて前記特定の色成分の画素値の平均値を最大幅に調整するアナログゲインを算出して前記アナログ信号増幅手段に与える各色成分のアナ口グゲインとして出力するアナログゲイン算出手段とを備え、

デジタルゲイン算出器は、フリッカ発生の 1周期分のフレーム数について、前記平均値算出手段で算出された画像の各色成分の画素値の平均値の中から前記アナ口グゲイン算出手段で使用しない他の色成分についてそれそれの最大値を算出し、これらの最大値に基づいて前記他の色成分の画素値の平均値を最大幅に調整するデジタルゲインを算出してデジタル信号増幅手段に出力することを特徴とする請求の範囲第 2項記載の