JP4904749B2

JP4904749B2 - フリッカ低減方法、フリッカ低減回路及び撮像装置

Info

Publication number: JP4904749B2
Application number: JP2005261095A
Authority: JP
Inventors: 博文野村; 真博伊東
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-09-08
Filing date: 2005-09-08
Publication date: 2012-03-28
Anticipated expiration: 2025-09-08
Also published as: US7639285B2; EP1763228A2; US20070052816A1; KR20070029071A; CN1929562A; CN1929562B; JP2007074555A; EP1763228B1; EP1763228A3

Description

本発明は、蛍光灯の照明下で相補型金属酸化物半導体（ＣＭＯＳ）撮像素子などのＸＹアドレス走査型の撮像素子を用いたビデオカメラやデジタルスチルカメラなどの撮像装置におけるフリッカ低減方法、フリッカ低減回路及び撮像装置に関する。

商用交流電源によって直接点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の輝度変化（光量変化）の周波数（商用交流電源周波数の２倍）とカメラの垂直同期周波数との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。

例えば、商用交流電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯の照明下で、ＮＴＳＣ方式（垂直同期周波数は６０Ｈｚ）のＣＣＤカメラによって被写体を撮影する場合、１フィールド周期が１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに変化する。

蛍光灯の輝度変化に対する露光タイミングは、３フィールドごとに元のタイミングに戻るため、フリッカによる明暗変化は、３フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比（フリッカの見え方）は、露光期間によって変わるが、フリッカの周期は変わらない。

ただし、デジタルカメラなど、プログレッシブ方式のカメラで、垂直同期周波数が３０Ｈｚの場合には、３フレームごとに明暗変化が繰り返される。

しかしながら、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子では、画素ごとの露光タイミングが画面水平方向において読み出しクロック（画素クロック）の１周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、１フレーム内にフリッカが現れ、画面上で黒い縞模様として認識されることになり、画質劣化を引き起こす。

このようなＸＹアドレス走査型の撮像素子から得られる映像信号に生じる蛍光灯フリッカを低減する方法として、従来より、動き被写体の存在しない静止部分の抽出と、その抽出された領域からフリッカの検出を行い、フリッカ補正を行う方法が提案されている（例えば特許文献１参照）。

特開２００１−１１９７０８号公報

しかしながら、撮像面の全領域を覆い尽くすような動き被写体が侵入した場合、静止状態が存在しないためフリッカの検出を行うことができない。また、複数の分割された領域を使用するため回路規模が大きくなるデメリットがある。

そこで、本発明の目的は、複数の領域を用いることなく、動き被写体が存在する場合でも、過去の検波値を用いることで誤補正することなくフリッカの補正を行い、フリッカによる画質劣化を防止することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明は、蛍光灯照明下でＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減するフリッカ低減方法であって、上記映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に亘って積分する積分工程と、上記積分工程において得られた積分値又は隣接するフィールドまたはフレームにおける積分値の差分値を正規化する正規化工程と、上記正規化工程において正規化された積分値又は差分値のスペクトルを抽出する抽出工程と、上記抽出工程において抽出したスペクトルからフリッカ成分を推定する推定工程と、上記入力画像信号を１水平周期以上の時間に亘って積分した現在の積分値と数フィールド前の積分値を取得し、現在の積分値と数フィールド前の積分値から差分積分値を求める減算工程と、上記減算工程において算出した差分積分値を絶対値化し、外乱により過剰に変動することを低減させるフィルタ処理を施した絶対値化した差分積分値を算出する絶対値化処理工程と、上記絶対値化処理工程において算出した絶対値化した差分積分値に応じて、上記推定工程において推定したフリッカ成分を打ち消すフリッカ低減信号を生成するフリッカ低減信号生成工程と、上記フリッカ低減信号生成工程において生成されたフリッカ低減信号と上記入力画像信号を演算する演算工程とを備えることを特徴とする。

また、本発明は、蛍光灯照明下でＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減するフリッカ低減回路であって、上記映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に亘って積分する積分手段と、上記積分手段により得られた積分値又は隣接するフィールドまたはフレームにおける積分値の差分値を正規化する正規化手段と、上記正規化手段により正規化された積分値又は差分値のスペクトルを抽出する抽出手段と、上記抽出手段により抽出したスペクトルからフリッカ成分を推定する推定手段と、上記入力画像信号を１水平周期以上の時間に亘って積分した現在の積分値と数フィールド前の積分値を取得し、現在の積分値と数フィールド前の積分値から差分積分値を求める減算手段と、上記減算手段により算出した差分積分値を絶対値化し、外乱により過剰に変動することを低減させるフィルタ処理を施した絶対値化した差分積分値を算出する絶対値化処理手段と、上記絶対値化処理手段により算出した絶対値化した差分積分値に応じて、上記推定手段において推定したフリッカ成分を打ち消すフリッカ低減信号を生成するフリッカ低減信号生成手段と、上記フリッカ低減信号生成手段により生成されたフリッカ低減信号と上記入力画像信号を演算する演算手段とを備えることを特徴とする。

さらに、本発明は、ＸＹアドレス走査型の撮像素子と、蛍光灯照明下で上記撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減するフリッカ低減回路を備える撮像装置であって、上記フリッカ低減回路は、上記映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に亘って積分する積分手段と、上記積分手段により得られた積分値又は隣接するフィールドまたはフレームにおける積分値の差分値を正規化する正規化手段と、上記正規化手段により正規化された積分値又は差分値のスペクトルを抽出する抽出手段と、上記抽出手段により抽出したスペクトルからフリッカ成分を推定する推定手段と、上記入力画像信号を１水平周期以上の時間に亘って積分した現在の積分値と数フィールド前の積分値を取得し、現在の積分値と数フィールド前の積分値から差分積分値を求める減算手段と、上記減算手段により算出した差分積分値を絶対値化し、外乱により過剰に変動することを低減させるフィルタ処理を施した絶対値化した差分積分値を算出する絶対値化処理手段と、上記絶対値化処理手段により算出した絶対値化した差分積分値に応じて、上記推定手段において推定したフリッカ成分を打ち消すフリッカ低減信号を生成するフリッカ低減信号生成手段と、上記フリッカ低減信号生成手段により生成されたフリッカ低減信号と上記入力画像信号を演算する演算手段とを備えることを特徴とする。

本発明では、受光素子などを用いることなく、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカを、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず検出補正し、被写体の動きによる誤補正を低減させることができ、複数の領域を用いることなく、動き被写体が存在する場合でも、過去の検波値を用いることで誤補正することなくフリッカの補正を行い、フリッカによる画質劣化を防止することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１０に適用される。

この撮像装置１０は、ＸＹアドレス走査型の撮像素子としてＣＭＯＳ撮像素子１２を用いたビデオカメラに本発明を適用したものであって、撮像光学系１１、ＣＭＯＳ撮像素子１２、アナログ信号処理部１３、システムコントローラ１４、レンズ駆動用ドライバ１５、タイミングジェネレータ１６やデジタル信号処理部１７などからなる。

この撮像装置１０では、被写体からの光が、撮像光学系１１を介してＣＭＯＳ撮像素子１２に入射され、ＣＭＯＳ撮像素子１２で光電変換され、ＣＭＯＳ撮像素子１２からアナログ映像信号が得られる。

ＣＭＯＳ撮像素子１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。

ＣＭＯＳ撮像素子１２は、原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子１２から得られるアナログ映像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。

ＣＭＯＳ撮像素子１２からのアナログ映像信号は、集積回路（ＩＣ：ｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）として構成されたアナログ信号処理部１３において、色信号ごとに、サンプルホールドされ、ＡＧＣ（自動利得制御）によってゲインが制御され、Ａ／Ｄ変換によってデジタル信号に変換される。

アナログ信号処理部１３からのデジタル映像信号は、ＩＣとして構成されたデジタル信号処理部１７において処理され、デジタル信号処理部１７内のフリッカ低減部１８において、信号成分ごとに、この発明の方法によってフリッカ成分が低減された上で、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換されて、デジタル信号処理部１７から出力される。

システムコントローラ１４は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。

具体的には、システムコントローラ１４から、ＩＣによって構成されたレンズ駆動用ドライバ１５にレンズ駆動制御信号が供給され、レンズ駆動用ドライバ１５によって撮像光学系１１のレンズが駆動される。

また、システムコントローラ１４からタイミングジェネレータ１６に、タイミング制御信号が供給され、タイミングジェネレータ１６からＣＭＯＳ撮像素子１２に各種タイミング信号が供給されて、ＣＭＯＳ撮像素子１２が駆動される。

さらに、デジタル信号処理部１７からシステムコントローラ１４に各信号成分の検波信号が取り込まれ、システムコントローラ１４からのＡＧＣ信号によってアナログ信号処理部１３において上述のように各色信号のゲインが制御されるとともに、システムコントローラ１４によってデジタル信号処理部１７における信号処理が制御される。

上記デジタル信号処理部１７に設けられているフリッカ低減部１８は、図２に示すように、上記アナログ信号処理部１３からのデジタル映像信号が供給される正規化処理ブロック２０及び演算ブロック３０、上記正規化処理ブロック２０に接続されたＤＦＴブロック４０、上記演算ブロック３０に接続されたフリッカ生成ブロック４１などからなる。

上記正規化処理ブロック２０は、入力画像信号Ｉｎ’（ｘ，ｙ）すなわち上記アナログ信号処理部１３からのデジタル映像信号が供給される積分ブロック２１と、この積分ブロック２１に接続された積分値保持ブロック２２、平均値計算ブロック２３及び差分計算ブロック２４と正規化ブロック２５からなる。

ここで、被写体が均一なパターンの場合の画面内フリッカの様子を図３に示すように、一般にフリッカ成分は被写体の信号強度に比例する。

そこで、一般の被写体についての任意のフィールドｎおよび任意の画素（ｘ，ｙ）における入力画像信号（フリッカ低減前のＲＧＢ原色信号または輝度信号）をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、次の式（１）で表される。

Ｉｎ（ｘ，ｙ）は、信号成分であり、Γｎ（ｙ）×Ｉｎ（ｘ，ｙ）は、フリッカ成分であり、Γｎ（ｙ）は、フリッカ係数である。蛍光灯の発光周期に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。

Γｎ（ｙ）を一般化するために、次の式（２）に示すように、フーリエ級数に展開した形式で記述する。

これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。

式（２）中のλｏは、図３に示した画面内フリッカの波長であり、１フィールド当たりの読み出しライン数をＭとすると、Ｌ（＝Ｍ／λｏ）ラインに相当する。ωｏは、λｏで正規化された規格化角周波数である。

γｍは、各次（ｍ＝１，２，３・・・）のフリッカ成分の振幅である。Φｍｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期と露光タイミングによって決まる。ただし、Φｍｎは垂直同期周波数と蛍光灯周波数により決まり、直前のフィールドとの間のΦｍｎの差ΔΦｍ，ｎは、次の式（３）で表される。

このフリッカ低減部１８において、入力画像信号Ｉｎ’（ｘ，ｙ）は、フリッカ検出用に絵柄の影響を少なくするために、積分ブロック２１で、次の式（４）に示すように、画面水平方向に１ライン分に渡って積分され、積分値Ｆｎ（ｙ）が算出される。

ここで、式（４）中のαｎ（ｙ）は、次の式（５）で表されるように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分に渡る積分値である。

算出された積分値Ｆｎ（ｙ）は、以後のフィールドでのフリッカ検出用に、積分値保持ブロック２２に記憶保持される。積分値保持ブロック２２は、少なくともＫフィールド分の積分値を保持できる構成とされる。ただし、Ｋはフリッカ成分を打ち消すために必要なフィールド数であり、垂直同期周波数ｆｖと蛍光灯周波数ｆｌから次の式（６）によって得られる。ＧＣＤは引数の最大公約数を求める関数である。

被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）の積分値αｎ（ｙ）が一定値となるので、入力画像信号Ｉｎ’（ｘ，ｙ）の積分値Ｆｎ（ｙ）からフリッカ成分αｎ（ｙ）×Γｎ（ｙ）を抽出することは容易である。

しかし、一般的な被写体では、αｎ（ｙ）にもｍ×ωｏ成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（４）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまう。

また、このフリッカ低減部１８では、積分値Ｆｎ（ｙ）からαｎ（ｙ）の影響を取り除くために、連続するＫフィールドにおける積分値を用いる。

すなわち、この例では、積分値Ｆｎ（ｙ）の算出時、積分値保持ブロック２２から、１フィールド前の同じラインの積分値Ｆｎ＿１（ｙ）から（Ｋ−１）フィールド前の同じラインの積分値Ｆｎ−（Ｋ−１）（ｙ）が読み出され、平均値計算ブロック２３で、Ｋ個の積分値Ｆｎ（ｙ），・・・，Ｆｎ−（Ｋ−１）（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。

連続するＫフィールドの期間中の被写体をほぼ同一と見なすことができれば、αｎ（ｙ）は同じ値と見なすことができる。被写体の動きがＫフィールドの間で十分小さければ、実用上、この仮定は問題ない。さらに、連続するＫフィールドにおける積分値の平均値を演算することは、式（３）の関係から、フリッカ成分の位相が−λ０×ｍ×２πずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。したがって、平均値ＡＶＥ［Ｆｎ（ｙ）］は、次の式（７）で表される。

ただし、以上は、次の式（８）の近似が成り立つものとして、連続するＫフィールドにおける積分値の平均値を算出する場合であるが、被写体の動きが大きい場合には、式（８）の近似が成り立たなくなる。

そのため、被写体の動きが大きい場合を想定したフリッカ低減部１８としては、積分値保持ブロック２２に３フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Ｆｎ（ｙ）を合わせて（Ｋ＋１）フィールド以上に渡る積分値の平均値を算出すればよい。これによって、時間軸方向のローパスフィルタ作用により、被写体が動いたことによる影響が小さくなる。

また、このフリッカ低減部１８では、正規化ブロック２５において、差分計算ブロック２４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値計算ブロック２３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによって正規化され、正規化後の差分値ｇｎ（ｙ）が算出される。

正規化後の差分値ｇｎ（ｙ）は、上述の式（７）、次の式（９）および三角関数の和積公式によって、次の式（１０）のように展開され、さらに上述の式（３）の関係から、次の式（１１）で表される。

ここで、式（１１）中の｜Ａｍ｜，θｍは、次の式（１２），（１３）で表される。

差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）は、被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、上記のように正規化することによって、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。

また、上述の式（１２），（１３）で表される｜Ａｍ｜，θｍは、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して、各次のスペクトルの振幅｜Ａｍ｜および初期位相θｍを検出すれば、次の式（１４），（１５）によって、上述の式（２）に示した各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。

そこで、図２に示したフリッカ低減部１８では、ＤＦＴブロック４０において、正規化ブロック２５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。

ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は、次の式（１６）で表される。

この式（１６）中のＷは、次の式（１４）で表される。

また、ＤＦＴの定義によって、上述の式（１２），（１３）と式（１６）との関係は、次の式（１８），（１９）で表される。

したがって、式（１４），（１５），（１８），（１９）から、次の式（２０），（２１）によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。

ここで、ＤＦＴ演算のデータ長を、フリッカの１波長分（Ｌライン分）とするのは、これによって、ちょうどωｏの整数倍の離散スペクトル群を直接、得ることができるからである。

一般に、デジタル信号処理のフーリエ変換としては、ＦＦＴ（高速フーリエ変換）が用いられるが、この発明の実施形態では、あえてＤＦＴを用いる。その理由は、フーリエ変換のデータ長が２のべき乗になっていないので、ＦＦＴよりＤＦＴの方が都合よいためである。ただし、入出力データを加工してＦＦＴを用いることもできる。

実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、ＤＦＴ演算もデータを全て出力する必要はなく、この発明の用途ではＦＦＴに比べて演算効率の点でデメリットはない。

ＤＦＴブロック４０では、まず、式（１６）で定義されるＤＦＴ演算によって、スペクトルが抽出され、その後、式（２１），（２２）の演算によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。

図２に示したフリッカ低減部１８では、さらに、フリッカ生成ブロック４１で、ＤＦＴブロック４０からのγｍ，Φｍｎの推定値から、上述の式（２）で表されるフリッカ係数Γｎ（ｙ）が算出される。

ただし、上述したように、実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、式（２）によるフリッカ係数Γｎ（ｙ）の算出に当たっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば２次までに限定することができる。

また、上述の式（１）から、フリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）は次の式（２２）で表される。

そこで、この図２に示したフリッカ低減部１８では、演算ブロック３０で、フリッカ生成ブロック４１からのフリッカ係数Γｎ（ｙ）に１が加えられ、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ’（ｘ，ｙ）が除算される。

これによって、入力画像信号Ｉｎ’（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック３０からは、出力画像信号（フリッカ低減後のＲＧＢ原色信号または輝度信号）として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。

この撮像装置１０におけるシステムコントローラ１４は、上記フリッカ低減部１８のＤＦＴブロック４０からフリッカ成分の振幅γｍおよび初期位相Φｍｎが入力されるとともに、積分値保持ブロック２２から積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の積分値Ｙ（ｎ−Ｋ）が供給されるパラメータ制御部１４＊を備える。

このパラメータ制御部１４＊としては、例えば図４に示すような構成のパラメータ制御部１４Ａが用いられる。

このパラメータ制御部１４Ａは、振幅ゲイン演算部５０と乗算器５５からなる。

このパラメータ制御部１４Ａには、ＤＦＴブロック４０で求められた各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが入力される。

振幅ゲイン演算部５０は、現在のフリッカ検出領域の全積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）よりフリッカ成分の振幅γｍの抑圧ゲインを出力するもので、積分値保持ブロック２２から積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の積分値Ｙ（ｎ−Ｋ）が供給される減算器５１と、この減算器５１に接続された絶対値（ＡＢＳ）回路５２、このＡＢＳ回路５２に接続されたローパスフィルタ（ＬＰＦ）５３と、このＬＰＦ５３に接続されたゲイン演算部５４からなる。

減算器５１は、現在の積分値Ｙ（ｎ）から、Ｋフィールド前の積分値Ｙ（ｎ−Ｋ）との差分積分値ΔＹ（ｎ）を演算する。

ＡＢＳ回路５２は、減算器５１の出力値を絶対値化する。減算器５１の出力値が小さい場合は、動き被写体が存在しないとみなすことができるため、振幅γｍの信頼性が高いものとする。逆に、減算器５１の出力値が大きい場合は、動き被写体が存在するとみなすことができるため、振幅γｍの信頼性が低いものとする。

ＬＰＦ５３は、ＡＢＳ回路５２から出力される差分積分値｜ΔＹ（ｎ）｜が外乱により過剰に変動することを低減させるためのフィルタである。ＬＰＦの設定は蛍光灯下と非蛍光灯下の安定した判別期間や、外乱に対して敏感に反応しない程度の時定数が望ましい。

ゲイン演算部５４は、図５のようにＬＰＦ５３の出力値に応じて０から１の値を出力する。ＬＰＦ５３の出力値が閾値ｔｈｒＢより大きい場合は０、逆に閾値ｔｈｒＡより小さい場合は１、閾値ｔｈｒＡから閾値ｔｈｒＢの間の場合は線形補間された値を出力する。つまり、信頼性が高い場合は１、信頼性が低い場合は０とする。

そして、乗算器５５は、各次のフリッカ成分の振幅γｍとゲイン演算部５４の出力値を乗算する。

なお、このゲイン演算処理は各ＤＦＴ次数毎に行われる。基本的にはＤＦＴ１次が主となる成分であるが、高速シャッター時など高次の成分が発生する状況下では高い次数まで演算することが望ましい。また、常に高次項まで演算しても蛍光灯以外のスペクトルは蛍光灯の位相成分からずれているため結果的にゲインは抑圧されるので問題ない。

これらの制御手順を図６のフローチャートに示す。

最初のステップＳ１０では、現在の積分値Ｙ（ｎ）とＫフィールド前の積分値Ｙ（ｎ−Ｋ）の差分を差分積分値ΔＹ（ｎ）に設定する。

次のステップＳ１１では、差分積分値ΔＹ（ｎ）の絶対値をΔＹ_ＡＢＳ（ｎ）に設定する。

さらに、ステップＳ１２では、ΔＹ_ＡＢＳ（ｎ）にＬＰＦ処理を適応した値をΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）に設定する。

そして、ステップＳ１３では、ΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）から、上記図５に示す関数に従って抑圧ゲインを演算する。

また、本発明は、例えば図７に示すような構成の撮像装置１００に適用される。

この撮像装置１００は、ＸＹアドレス走査型の撮像素子としてＣＭＯＳ撮像素子１１２を用いたビデオカメラに本発明を適用したものであって、撮像光学系１１１、ＣＭＯＳ撮像素子１１２、アナログ信号処理部１１３、システムコントローラ１１４、レンズ駆動用ドライバ１１５、タイミングジェネレータ１１６、デジタル信号処理部１１７及び輝度検出部１１９などからなる。

この撮像装置１００は、被写体からの光が、撮像光学系１１１を介してＣＭＯＳ撮像素子１１２に入射して、ＣＭＯＳ撮像素子１１２で光電変換され、ＣＭＯＳ撮像素子１１２からアナログ映像信号が得られる。

ＣＭＯＳ撮像素子１１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。

ＣＭＯＳ撮像素子１１２は、原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子１１２から得られるアナログ映像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。

ＣＭＯＳ撮像素子１１２からのアナログ映像信号は、ＩＣとして構成されたアナログ信号処理部１１３において、色信号ごとに、サンプルホールドされ、ＡＧＣによってゲインが制御され、Ａ／Ｄ変換によってデジタル信号に変換される。

アナログ信号処理部１１３からのデジタル映像信号は、ＩＣとして構成されたデジタル信号処理部１１７において処理され、デジタル信号処理部１１７内のフリッカ低減部１１８において、信号成分ごとに、この発明の方法によってフリッカ成分が低減された上で、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換されて、デジタル信号処理部１１７から出力される。

また、アナログ信号処理部１１３からのデジタル映像信号は、輝度検出部１１９に供給され、この輝度検出部１１９から現在の輝度レベルＹ（ｎ）とＫフィールド前の輝度レベルＹ（ｎ−Ｋ）をシステムコントローラ１１４に出力する。

システムコントローラ１１４は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。

具体的に、システムコントローラ１１４から、ＩＣによって構成されたレンズ駆動用ドライバ１１５に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ１１５によって、撮像光学系１１１のレンズが駆動される。

また、システムコントローラ１１４からタイミングジェネレータ１１６に、タイミング制御信号が供給され、タイミングジェネレータ１１６からＣＭＯＳ撮像素子１１２に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子１１２が駆動される。

さらに、デジタル信号処理部１１７からシステムコントローラ１１４に、各信号成分の検波信号が取り込まれ、システムコントローラ１１４からのＡＧＣ信号によって、アナログ信号処理部１１３において、上記のように各色信号のゲインが制御されるとともに、システムコントローラ１１４によって、デジタル信号処理部１２０における信号処理が制御される。

上記デジタル信号処理部１１７に設けられているフリッカ低減部１１８は、図８に示すように、上記アナログ信号処理部１１３からのデジタル映像信号が供給される正規化処理ブロック１２０及び演算ブロック１３０、上記正規化処理ブロック１２０に接続されたＤＦＴブロック１４０、上記演算ブロック１３０に接続されたフリッカ生成ブロック１４１などからなる。

上記正規化処理ブロック１２０は、入力画像信号Ｉｎ’（ｘ，ｙ）すなわち上記アナログ信号処理部１１３からのデジタル映像信号が供給される積分ブロック１２１と、この積分ブロック１２１に接続された積分値保持ブロック１２２、平均値計算ブロック１２３及び差分計算ブロック１２４と正規化ブロック１２５からなる。

このフリッカ低減部１１８において、入力画像信号Ｉｎ’（ｘ，ｙ）は、フリッカ検出用に絵柄の影響を少なくするために、積分ブロック１２１で、上述の式（４）に示すように、画面水平方向に１ライン分に渡って積分され、積分値Ｆｎ（ｙ）が算出される。

この積分ブロック１２１で算出された積分値Ｆｎ（ｙ）は、以後のフィールドでのフリッカ検出用に、積分値保持ブロック１２２に記憶保持される。積分値保持ブロック１２２は、少なくともＫフィールド分の積分値を保持できる構成とされる。ただし、Ｋはフリッカ成分を打ち消すために必要なフィールド数であり、垂直同期周波数ｆｖと蛍光灯周波数ｆｌから上述の式（６）によって得られる。ＧＣＤは引数の最大公約数を求める関数である。

被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）の積分値αｎ（ｙ）が一定値となるので、入力画像信号Ｉｎ’（ｘ，ｙ）の積分値Ｆｎ（ｙ）からフリッカ成分αｎ（ｙ）＊Γｎ（ｙ）を抽出することは容易である。

しかし、一般的な被写体では、αｎ（ｙ）にもｍ＊ωｏ成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（４）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまう。

また、このフリッカ低減部１１８においても、積分値Ｆｎ（ｙ）からαｎ（ｙ）の影響を取り除くために、連続するＫフィールドにおける積分値を用いる。

すなわち、この例では、積分値Ｆｎ（ｙ）の算出時、積分値保持ブロック１２２から、１フィールド前の同じラインの積分値Ｆｎ＿１（ｙ）から（Ｋ−１）フィールド前の同じラインの積分値Ｆｎ−（Ｋ−１）（ｙ）が読み出され、平均値計算ブロック１２３で、Ｋ個の積分値Ｆｎ（ｙ），・・・，Ｆｎ−（Ｋ−１）（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。

連続するＫフィールドの期間中の被写体をほぼ同一と見なすことができれば、αｎ（ｙ）は同じ値と見なすことができる。被写体の動きがＫフィールドの間で十分小さければ、実用上、この仮定は問題ない。さらに、連続するＫフィールドにおける積分値の平均値を演算することは、上述の式（３）の関係から、フリッカ成分の位相が−λ０×ｍ×２πずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。したがって、平均値ＡＶＥ［Ｆｎ（ｙ）］は、上述の式（７）で表される。

ただし、以上は、上述の式（８）の近似が成り立つものとして、連続するＫフィールドにおける積分値の平均値を算出する場合であるが、被写体の動きが大きい場合には、式（８）の近似が成り立たなくなる。

そのため、被写体の動きが大きい場合を想定したフリッカ低減部１８としては、積分値保持ブロック１２２に３フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Ｆｎ（ｙ）を合わせて（Ｋ＋１）フィールド以上に渡る積分値の平均値を算出すればよい。これによって、時間軸方向のローパスフィルタ作用により、被写体が動いたことによる影響が小さくなる。

また、このフリッカ低減部１１８では、正規化ブロック１２５において、差分計算ブロック１２４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値計算ブロック１２３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによって正規化され、正規化後の差分値ｇｎ（ｙ）が算出される。

正規化後の差分値ｇｎ（ｙ）は、上述の式（１１）で表される。

また、上述の式（１２），（１３）で表される｜Ａｍ｜，θｍは、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して、各次のスペクトルの振幅｜Ａｍ｜および初期位相θｍを検出すれば、上述の式（１４），（１５）によって、上述の式（２）に示した各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。

そこで、図８に示したフリッカ低減部１１８では、ＤＦＴブロック１４０において、正規化ブロック１２５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。

ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は、上述の式（１６）で表される。

そして、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎは、上述の式（２０），（２１）により求めることができる。

ＤＦＴ演算のデータ長を、フリッカの１波長分（Ｌライン分）とするのは、これによって、ちょうどωｏの整数倍の離散スペクトル群を直接、得ることができるからである。

ＤＦＴブロック１４０では、まず、上述の式（１６）で定義されるＤＦＴ演算によって、スペクトルが抽出され、その後、上述の式（２１），（２２）の演算によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。

図８に示したフリッカ低減部１１８では、さらに、フリッカ生成ブロック１４１で、ＤＦＴブロック１４０からのγｍ，Φｍｎの推定値から、上述の式（２）で表されるフリッカ係数Γｎ（ｙ）が算出される。

ただし、上述したように、実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、上述の式（２）によるフリッカ係数Γｎ（ｙ）の算出に当たっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば２次までに限定することができる。

そこで、この図８に示したフリッカ低減部１１８では、演算ブロック１３０で、フリッカ生成ブロック１４１からのフリッカ係数Γｎ（ｙ）に１が加えられ、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ’（ｘ，ｙ）が除算される。

これによって、入力画像信号Ｉｎ’（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック１３０からは、出力画像信号（フリッカ低減後のＲＧＢ原色信号または輝度信号）として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。

そして、この撮像装置１１０におけるシステムコントローラ１１４は、上記フリッカ低減部１１８のＤＦＴブロック１４０からフリッカ成分の振幅γｍおよび初期位相Φｍｎが入力されるとともに、輝度検出部１１９から現在の積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の積分値Ｙ（ｎ−Ｋ）が供給されるパラメータ制御部１４＊を備える。

このパラメータ制御部１４＊としては、例えば上述の図４に示した構成のパラメータ制御部１４Ａが用いられ、上述の図６のフローチャートに示した手順に従って、各ＤＦＴ次数毎にゲイン演算処理を行い、振幅ゲイン演算部５０から現在のフリッカ検出領域の全積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）よりフリッカ成分の振幅γｍの抑圧ゲインを出力する。

ここで、上記撮像装置１０，１００におけるシステムコントローラ１４，１１４に備えられるパラメータ制御部１４＊は、上述の図４に示した構成のパラメータ制御部１４Ａでなくてもよく、例えば、図９に示すような構成のパラメータ制御部１４Ｂを用いることもできる。

この図９に示すパラメータ制御部１４Ｂは、フィルタ係数演算部６０とフィルタ特性が可変制御自在な２つのローパスフィルタ（ＬＰＦ）６５ａ，６５ｂからなる。

このパラメータ制御部１４Ｂでは、上述のＤＦＴブロック４０又はＤＦＴブロック１４０で求められた各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが上記２つのＬＰＦ６５ａ，６５ｂに入力され、上述の正規化処理ブロック２０又は輝度検出部１１９から現在のフリッカ検出領域の全積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）が上記フィルタ係数演算部６０に入力される。

上記フィルタ係数演算部６０は、現在のフリッカ検出領域の全積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）が供給される減算器６１と、この減算器６１に接続された絶対値（ＡＢＳ）回路６２、このＡＢＳ回路６２に接続されたローパスフィルタ（ＬＰＦ）６３と、このＬＰＦ６３に接続された２つの係数演算部６４ａ，６４ｂからなる。

このフィルタ係数演算部６０において、減算器６１は、現在の積分値Ｙ（ｎ）から、Ｋフィールド前の積分値Ｙ（ｎ−Ｋ）との差分積分値ΔＹ（ｎ）を演算する。

ＡＢＳ回路６２は、減算器６１の出力値を絶対値化する。減算器６１の出力値が小さい場合は、動き被写体が存在しないとみなすことができるため、振幅γｍおよび初期位相Φｍｎの信頼性が高いものとする。逆に、減算器６１の出力値が大きい場合は、動き被写体が存在するとみなすことができるため、振幅γｍおよび初期位相Φｍｎの信頼性が低いものとする。

ＬＰＦ６３は、ＡＢＳ６２から出力される差分積分値｜ΔＹ（ｎ）｜が外乱により過剰に変動することを低減させるためのフィルタである。ＬＰＦの設定は蛍光灯下と非蛍光灯下の安定した判別期間や、外乱に対して敏感に反応しない程度の時定数が望ましい。

係数演算部６４ａ，６４ｂは、図１０のようにＬＰＦ６３の出力値に応じて０から１の値をフィルタ係数として出力する。ＬＰＦ６３の出力値が閾値ｔｈｒＢより大きい場合は０、逆に閾値ｔｈｒＡより小さい場合は１、閾値ｔｈｒＡから閾値ｔｈｒＢの間の場合は線形補間された値を出力する。つまり、信頼性が最も高い場合は１、信頼性が最も低い場合は０とする。

ＬＰＦ６５ａは、各次のフリッカ成分の位相Φｍｎを係数演算部６４ａが指示したフィルタ係数でＬＰＦ処理を行う。

ＬＰＦ６５ｂは、各次のフリッカ成分の振幅γｍを係数演算部６４ｂが指示したフィルタ係数でＬＰＦ処理を行う。

ここで、ＬＰＦ６５ａ，６５ｂは、その構成例を例えば図１１に示すように、重みａの重み付け回路６５１、加算器６５２、遅延量Ｚ^−１の遅延回路６５３及び重み１−ａの重み付け回路６５４からなる。係数ａが大きい場合は現在の検波値の重み付けを高くし、係数ａが小さい場合は現在の検波値の重み付けを低くし、過去の検波値の重み付けを高くする。これにより、動き被写体が侵入した場合でも、過去の検波値を使用することで、誤補正をすることなく正しく補正することが可能となる。

なお、この係数演算処理は各ＤＦＴ次数毎に行われる。基本的にはＤＦＴ１次が主となる成分であるが、高速シャッター時など高次の成分が発生する状況下では高い次数まで演算することが望ましい。また、常に高次項まで演算しても蛍光灯以外のスペクトルは蛍光灯の位相成分からずれているため結果的にゲインは抑圧されるので問題ない。

また、位相用のＬＰＦ６５ａはＹ（ｎ）によらず長い時定数に設定し、ＬＰＦ６５ｂのみをＹ（ｎ）に応じて変化させることでも、被写体による誤補正を低減することができる。ただし、ノンインバータ蛍光灯の有無の遷移時は追従が遅くなる。

これらの制御手順を図１２のフローチャートに示す。

最初のステップＳ２０では現在の積分値Ｙ（ｎ）とＫフィールド前の積分値Ｙ（ｎ−Ｋ）の差分を差分積分値ΔＹ（ｎ）に設定する。

次のステップＳ２１では、差分積分値ΔＹ（ｎ）の絶対値をΔＹ_ＡＢＳ（ｎ）に設定する。

さらにステップＳ２２では、ΔＹ_ＡＢＳ（ｎ）にＬＰＦ処理を適応した値をΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）に設定する。

そして、ステップＳ２３では、ΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）から、上記図１０に示した関数に従ってフィルタ係数を演算する。上記図１０に示した関数は振幅と位相ごとに閾値を保持しており、フィルタ係数演算は振幅と位相ごとに行うものとする。

また、上記撮像装置１０，１００におけるシステムコントローラ１４，１１４に備えられるパラメータ制御部１４＊としては、例えば、図１３に示すような構成のパラメータ制御部１４Ｃを用いることもできる。

この図１３に示すパラメータ制御部１４Ｃは、演算部７０とフィルタ特性が可変制御自在なローパスフィルタ（ＬＰＦ）７５ａと乗算器７５ｂからなる。

このパラメータ制御部１４Ｃでは、上述のＤＦＴブロック４０又はＤＦＴブロック１４０で求められた各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが上記ＬＰＦ７５ａと乗算器７５ｂに入力され、上述の正規化処理ブロック２０又は輝度検出部１１９から現在のフリッカ検出領域の全積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）が上記演算部７０に入力される。

上記演算部７０は、現在の積分値Ｙ（ｎ）とＫフィールド前の積分値Ｙ（ｎ−Ｋ）よりフリッカ成分の振幅γｍのゲインとφｍｎのＬＰＦ係数を出力するものであって、現在のフリッカ検出領域の全積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）が供給される減算器７１と、この減算器７１に接続された絶対値（ＡＢＳ）回路７２、このＡＢＳ回路７２に接続されたローパスフィルタ（ＬＰＦ）７３と、このＬＰＦ７３に接続された係数演算部７４ａ及びゲイン演算部７４ｂからなる。

この演算部７０おいて、減算器７１は、現在のフリッカ検出領域の全積分値Ｙ（ｎ）から、Ｋフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）との差分積分値ΔＹ（ｎ）を演算する。

ＡＢＳ回路７２は、減算器７１の出力値を絶対値化する。減算器７１の出力値が小さい場合は、動き被写体が存在しないとみなすことができるため、振幅γｍおよび初期位相Φｍｎの信頼性が高いものとする。逆に、減算器７１の出力値が大きい場合は、動き被写体が存在するとみなすことができるため、振幅γｍおよび初期位相Φｍｎの信頼性が低いものとする。

ＬＰＦ７３は、ＡＢＳ回路７２から出力される差分積分値｜ΔＹ（ｎ）｜が外乱により過剰に変動することを低減させるためのフィルタである。ＬＰＦの設定は蛍光灯下と非蛍光灯下の安定した判別期間や、外乱に対して敏感に反応しない程度の時定数が望ましい。

係数演算部７４ａは、上記図１０のようにＬＰＦ７３の出力値に応じて０から１の値を出力する。ＬＰＦ７３の出力値が閾値ｔｈｒＢより大きい場合は０、逆に閾値ｔｈｒＡより小さい場合は１、閾値ｔｈｒＡから閾値ｔｈｒＢの間の場合は線形補間された値を出力する。つまり、信頼性が最も高い場合は１、信頼性が最も低い場合は０とする。

ゲイン演算部７４ｂは、上記図５のようにＬＰＦ７３の出力値に応じて０から１の値を出力する。ＬＰＦ７３の出力値が閾値ｔｈｒＢより大きい場合は０、逆に閾値ｔｈｒＡより小さい場合は１、閾値ｔｈｒＡから閾値ｔｈｒＢの間の場合は線形補間された値を出力する。つまり、信頼性が高い場合は１、信頼性が低い場合は０とする。

ＬＰＦ７５ａは、各次のフリッカ成分の位相Φｍｎを係数演算部７４ａが指示したフィルタ係数でＬＰＦを行う。

乗算器７５ｂは、各次のフリッカ成分の振幅γｍとゲイン演算部７４ｂの出力値を乗算する。

ここで、ＬＰＦ７５ａには上述の図１１に示した構成例のものが用いられる。係数ａが大きい場合は現在の検波値の重み付けを高くし、係数ａが小さい場合は現在の検波値の重み付けを低くし、過去の検波値の重み付けを高くする。これにより、動き被写体が侵入した場合でも、過去の検波値を使用することで、誤補正をすることなく正しく補正することが可能となる。

また、位相用のＬＰＦ７５ａはＹ（ｎ）によらず長い時定数に設定し、乗算器７５ｂのみをＹ（ｎ）に応じて変化させることでも、被写体による誤補正を低減することができる。ただし、ノンインバータ蛍光灯の有無の遷移時は追従が遅くなる。

これらの制御手順を図１４のフローチャートに示す。

最初のステップＳ３０では、現在の積分値Ｙ（ｎ）とＫフィールド前の積分値Ｙ（ｎ−Ｋ）の差分を差分積分値ΔＹ（ｎ）に設定する。

次のステップＳ３１では、差分積分値ΔＹ（ｎ）の絶対値をΔＹ_ＡＢＳ（ｎ）に設定する。

また、ステップＳ３２では、ΔＹ_ＡＢＳ（ｎ）にＬＰＦ処理を適応した値をΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）に設定する。

さらに、ステップＳ３３ではΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）から、上述の図１０に示す関数に従ってフィルタ係数を演算する。

そして、ステップＳ３４では、ΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）から、上述の図５に示す関数に従って抑圧ゲインを演算する。

さらに、上記撮像装置１０，１００におけるシステムコントローラ１４，１１４に備えられるパラメータ制御部１４＊としては、例えば、図１５に示すような構成のパラメータ制御部１４Ｄを用いることもできる。

この図１５に示すパラメータ制御部１４Ｄは、遅延量切替部８０とそれぞれ遅延量の切り替え自在な２つの遅延回路８５ａ，８５ｂからなる。

このパラメータ制御部１４Ｄでは、上述のＤＦＴブロック４０又はＤＦＴブロック１４０で求められた各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが上記ＬＰＦ７５ａと乗算器７５ｂに入力され、上述の正規化処理ブロック２０又は輝度検出部１１９から現在のフリッカ検出領域の全積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）が上記遅延切替部８０に入力される。

上記遅延量切替部８０は、現在の積分値Ｙ（ｎ）とＫフィールド前の積分値Ｙ（ｎ−Ｋ）よりフリッカ成分の振幅γｍとφｍｎの遅延切替をコントロールするものであって、現在のフリッカ検出領域の全積分値Ｙ（ｎ）とＫフィールド前のフリッカ検出領域の全積分値Ｙ（ｎ−Ｋ）が供給される減算器８１と、この減算器８１に接続された絶対値（ＡＢＳ）回路８２、このＡＢＳ回路８２に接続されたローパスフィルタ（ＬＰＦ）８３と、このＬＰＦ８３に接続された切替制御部８４からなる。

この遅延量切替部８０において、減算器８１は、現在の積分値Ｙ（ｎ）から、Ｋフィールド前の積分値Ｙ（ｎ−Ｋ）との差分積分値ΔＹ（ｎ）を演算する。

ＡＢＳ回路８２は、減算器８１の出力値を絶対値化する。減算器８１の出力値が小さい場合は、動き被写体が存在しないとみなすことができるため、振幅γｍおよび初期位相Φｍｎの信頼性が高いものとする。逆に、減算器８１の出力値が大きい場合は、動き被写体が存在するとみなすことができるため、振幅γｍおよび初期位相Φｍｎの信頼性が低いものとする。

ＬＰＦ８３は、ＡＢＳ回路８２から出力される差分積分値｜ΔＹ（ｎ）｜が外乱により過剰に変動することを低減させるためのフィルタである。ＬＰＦの設定は蛍光灯下と非蛍光灯下の安定した判別期間や、外乱に対して敏感に反応しない程度の時定数が望ましい。

切替制御部８４は、図１６のようにＬＰＦ８３の出力値に応じて０または１の値を出力する。ＬＰＦ８３の出力値が閾値ｔｈｒより大きい場合は０、逆に閾値ｔｈｒより小さい場合は０を出力する。つまり、信頼性が高い場合は１、信頼性が低い場合は０とする。

遅延回路８５ａは、各次のフリッカ成分の振幅γｍを切替制御部８４が指示した値を遅延回路８５ｂに設定する。

遅延回路８５ｂは、各次のフリッカ成分の位相Φｍｎを切替制御部８４が指示した値を遅延回路８５ｂに設定する。

ここで、遅延回路８５ａ，８５ｂが、その構成例を図１７に示すように、遅延量がＺ^−Ｋの遅延素子８５１と切替スイッチ８５２からなる。切替スイッチ８５２は、切替制御信号ｃｔｒｌが１の場合は信号Ａ、０の場合は信号Ｂを選択する。信頼性が高い場合は現在の信号Ａを選択し、逆に信頼性が低い場合はＫフィールド前の信号Ｂを選択することで過去の信頼性がある検出値を補正に使用する。

これらの制御手順を図１８のフローチャートに示す。

最初のステップＳ４０では、現在の積分値Ｙ（ｎ）とＫフィールド前の積分値Ｙ（ｎ−Ｋ）の差分を差分積分値ΔＹ（ｎ）に設定する。

次のステップＳ４１では差分積分値ΔＹ（ｎ）の絶対値をΔＹ_ＡＢＳ（ｎ）に設定する。

また、ステップＳ４２では、ΔＹ_ＡＢＳ（ｎ）にＬＰＦ処理を適応した値をΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）に設定する。

そして、ステップＳ４３では、ΔＹ_{ＬＰＦ＿ＡＢＳ}（ｎ）から、上述の図１６に示す関数に従って遅延回路８５ａ，８５ｂの遅延量を切替える。

本発明を適用した撮像装置の構成例を示すブロック図である。上記撮像装置のデジタル信号処理部に設けられているフリッカ低減部の構成を示すブロック図である。被写体が均一なパターンの場合の画面内フリッカの様子を示す図である。上記撮像装置におけるシステムコントローラに備えられるパラメータ制御部の構成例を示すブロック図である。上記パラメータ制御部におけるゲイン演算部の関数を示す図である。上記パラメータ制御部の制御手順を示すフローチャートである。本発明を適用した撮像装置の他の構成例を示すブロック図である。上記撮像装置のデジタル信号処理部に設けられているフリッカ低減部の構成を示すブロック図である。上記撮像装置におけるシステムコントローラに備えられるパラメータ制御部の他の構成例を示すブロック図である。上記パラメータ制御部における係数演算部の関数を示す図である。上記パラメータ制御部に備えられたＬＰＦの構成を示すブロック図である。上記パラメータ制御部の制御手順を示すフローチャートである。上記撮像装置におけるシステムコントローラに備えられるパラメータ制御部の他の構成例を示すブロック図である。上記パラメータ制御部の制御手順を示すフローチャートである。上記撮像装置におけるシステムコントローラに備えられるパラメータ制御部の他の構成例を示すブロック図である。上記パラメータ制御部における切替制御部の関数を示す図である。上記パラメータ制御部に備えられた遅延回路の構成を示すブロック図である。上記パラメータ制御部の制御手順を示すフローチャートである。

符号の説明

１０，１００撮像装置、１１，１１１撮像光学系、１２，１１２ＣＭＯＳ撮像素子、１３，１１３アナログ信号処理部、１４，１１４システムコントローラ、１４Ａ，１４Ｂ，１４Ｃ，１４Ｄパラメータ制御部、１５，１１５レンズ駆動用ドライバ、１６，１１６タイミングジェネレータ、１７，１１７デジタル信号処理部、１８，１１８フリッカ低減部、２０，１２０正規化処理ブロック、２１，１２１積分ブロック、２２，１２２積分値保持ブロック、２３，１２３平均値計算ブロック、２４，１２４差分計算ブロック、２５，１２５正規化ブロック、３０，１３０演算ブロック、４０，１４０ＤＦＴブロック、４１，１４１フリッカ生成ブロック、５０振幅ゲイン演算部、５１，６１，７１，８１減算器、５２，６２，７２，８２絶対値（ＡＢＳ）回路、５３，６３，６５ａ，６５ｂ，７３，７５ａ，８３ローパスフィルタ（ＬＰＦ）、５４ゲイン演算部、５５乗算器、６０フィルタ係数演算部、６４ａ，６４ｂ係数演算部、７０演算部、７４ａ係数演算部、７４ｂゲイン演算部、７５ｂ乗算器、８０遅延量切替部、８４切替制御部、８５ａ，８５ｂ遅延回路、１１９輝度検出部、６５１，６５４重み付け回路、６５２加算器、６５３遅延回路、８５１遅延素子、８５２切替スイッチ

Claims

蛍光灯照明下でＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減するフリッカ低減方法であって、
上記映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に亘って積分する積分工程と、
上記積分工程において得られた積分値又は隣接するフィールドまたはフレームにおける積分値の差分値を正規化する正規化工程と、
上記正規化工程において正規化された積分値又は差分値のスペクトルを抽出する抽出工程と、
上記抽出工程において抽出したスペクトルからフリッカ成分を推定する推定工程と、
上記入力画像信号を１水平周期以上の時間に亘って積分した現在の積分値と数フィールド前の積分値を取得し、現在の積分値と数フィールド前の積分値から差分積分値を求める減算工程と、
上記減算工程において算出した差分積分値を絶対値化し、外乱により過剰に変動することを低減させるフィルタ処理を施した絶対値化した差分積分値を算出する絶対値化処理工程と、
上記絶対値化処理工程において算出した絶対値化した差分積分値に応じて、上記推定工程において推定したフリッカ成分を打ち消すフリッカ低減信号を生成するフリッカ低減信号生成工程と、
上記フリッカ低減信号生成工程において生成されたフリッカ低減信号と上記入力画像信号を演算する演算工程と
を備えることを特徴とするフリッカ低減方法。
上記推定工程では、上記抽出工程において抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成工程は、上記絶対値化した差分積分値から抑圧係数を算出する抑圧係数算出工程と、上記抑圧係数算出工程において算出した抑圧係数と上記推定工程において算出した振幅成分を乗ずる乗算工程とを備えることを特徴とする請求項１記載のフリッカ低減方法。
上記推定工程では、上記抽出工程において抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成工程は、上記絶対値化した差分積分値からフィルタ係数を算出するフィルタ係数算出工程と、上記フィルタ係数算出工程において算出したフィルタ係数を上記推定工程において算出した振幅成分と位相成分に対して適応する工程とを備えることを特徴とする請求項１記載のフリッカ低減方法。
上記推定工程では、上記抽出工程において抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成工程は、上記絶対値化した差分積分値から抑圧係数を算出する抑圧係数算出工程と、上記絶対値化した差分積分値からフィルタ係数を算出するフィルタ係数算出工程と、上記抑圧係数算出工程において算出した抑圧係数と上記推定工程において算出した振幅成分を乗ずる乗算工程と、上記フィルタ係数算出工程において算出したフィルタ係数を上記推定工程において算出した位相成分に対して適応する工程とを備えることを特徴とする請求項１記載のフリッカ低減方法。
上記推定工程では、上記抽出工程において抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成工程は、上記推定工程において算出した上記フリッカ成分の振幅と位相のデータを保持する工程と、上記絶対値化した差分積分値から現在または過去の振幅と位相の切替信号を算出する切替信号算出工程と、上記切替信号算出工程において算出した切替信号により振幅成分と位相成分を現在または過去のデータに切替える切替工程と
を備えることを特徴とする請求項１記載のフリッカ低減方法。
蛍光灯照明下でＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減するフリッカ低減回路であって、
上記映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に亘って積分する積分手段と、
上記積分手段により得られた積分値又は隣接するフィールドまたはフレームにおける積分値の差分値を正規化する正規化手段と、
上記正規化手段により正規化された積分値又は差分値のスペクトルを抽出する抽出手段と、
上記抽出手段により抽出したスペクトルからフリッカ成分を推定する推定手段と、
上記入力画像信号を１水平周期以上の時間に亘って積分した現在の積分値と数フィールド前の積分値を取得し、現在の積分値と数フィールド前の積分値から差分積分値を求める減算手段と、
上記減算手段により算出した差分積分値を絶対値化し、外乱により過剰に変動することを低減させるフィルタ処理を施した絶対値化した差分積分値を算出する絶対値化処理手段と、
上記絶対値化処理手段により算出した絶対値化した差分積分値に応じて、上記推定手段において推定したフリッカ成分を打ち消すフリッカ低減信号を生成するフリッカ低減信号生成手段と、
上記フリッカ低減信号生成手段により生成されたフリッカ低減信号と上記入力画像信号を演算する演算手段と
を備えることを特徴とするフリッカ低減回路。
上記推定手段では、上記抽出手段により抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成手段は、上記絶対値化した差分積分値から抑圧係数を算出する抑圧係数算出手段と、上記抑圧係数算出手段により算出した抑圧係数と上記推定手段により算出した振幅成分を乗ずる乗算手段とを備えることを特徴とする請求項６記載のフリッカ低減回路。
上記推定手段では、上記抽出手段により抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成手段は、上記絶対値化した差分積分値からフィルタ係数を算出するフィルタ係数算出手段と、上記フィルタ係数算出手段により算出したフィルタ係数を上記推定手段により算出した振幅成分と位相成分に対して適応するフィルタ手段とを備えることを特徴とする請求項６記載のフリッカ低減回路。
上記推定手段では、上記抽出手段により抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成手段は、上記絶対値化した差分積分値から抑圧係数を算出する抑圧係数算出手段と、上記絶対値化した差分積分値からフィルタ係数を算出するフィルタ係数算出手段と、上記抑圧係数算出手段により算出した抑圧係数と上記推定手段により算出した振幅成分を乗ずる乗算手段と、上記フィルタ係数算出手段により算出したフィルタ係数を上記推定手段により算出した位相成分に対して適応するフィルタ手段とを備えることを特徴とする請求項６記載のフリッカ低減回路。
上記推定手段では、上記抽出手段により抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成手段は、上記抽出手段により算出した上記フリッカ成分の振幅と位相のデータを保持する遅延手段と、上記絶対値化した差分積分値から現在または過去の振幅と位相の切替信号を算出する切替信号算出手段と、上記切替信号により振幅成分と位相成分を現在または過去のデータに切替える切替手段とを備えることを特徴とする請求項６記載のフリッカ低減回路。
ＸＹアドレス走査型の撮像素子と、蛍光灯照明下で上記撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減するフリッカ低減回路を備える撮像装置であって、
上記フリッカ低減回路は、上記映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に亘って積分する積分手段と、上記積分手段により得られた積分値又は隣接するフィールドまたはフレームにおける積分値の差分値を正規化する正規化手段と、上記正規化手段により正規化された積分値又は差分値のスペクトルを抽出する抽出手段と、上記抽出手段により抽出したスペクトルからフリッカ成分を推定する推定手段と、上記入力画像信号を１水平周期以上の時間に亘って積分した現在の積分値と数フィールド前の積分値を取得し、現在の積分値と数フィールド前の積分値から差分積分値を求める減算手段と、上記減算手段により算出した差分積分値を絶対値化し、外乱により過剰に変動することを低減させるフィルタ処理を施した絶対値化した差分積分値を算出する絶対値化処理手段と、上記絶対値化処理手段により算出した絶対値化した差分積分値に応じて、上記推定手段において推定したフリッカ成分を打ち消すフリッカ低減信号を生成するフリッカ低減信号生成手段と、上記フリッカ低減信号生成手段により生成されたフリッカ低減信号と上記入力画像信号を演算する演算手段とを備えることを特徴とする撮像装置。
上記推定手段では、上記抽出手段により抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成手段は、上記絶対値化した差分積分値から抑圧係数を算出する抑圧係数算出手段と、上記抑圧係数算出手段により算出した抑圧係数と上記推定手段により算出した振幅成分を乗ずる乗算手段とを備えることを特徴とする請求項１１記載の撮像装置。
上記推定手段では、上記抽出手段により抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成手段は、上記絶対値化した差分積分値からフィルタ係数を算出するフィルタ係数算出手段と、上記フィルタ係数算出手段により算出したフィルタ係数を上記推定手段により算出した振幅成分と位相成分に対して適応するフィルタ手段とを備えることを特徴とする請求項１１記載の撮像装置。
上記推定手段では、上記抽出手段により抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成手段は、上記絶対値化した差分積分値から抑圧係数を算出する抑圧係数算出手段と、上記絶対値化した差分積分値からフィルタ係数を算出するフィルタ係数算出手段と、上記抑圧係数算出手段により算出した抑圧係数と上記推定手段により算出した振幅成分を乗ずる乗算手段と、上記フィルタ係数算出手段により算出したフィルタ係数を上記推定手段により算出した位相成分に対して適応するフィルタ手段とを備えることを特徴とする請求項１１記載の撮像装置。
上記推定手段では、上記抽出手段により抽出したスペクトルからフリッカ成分の振幅成分と位相成分を算出し、
上記フリッカ低減信号生成手段は、上記抽出手段により算出した上記フリッカ成分の振幅と位相のデータを保持する遅延手段と、上記絶対値化した差分積分値から現在または過去の振幅と位相の切替信号を算出する切替信号算出手段と、上記切替信号により振幅成分と位相成分を現在または過去のデータに切替える切替手段とを備えることを特徴とする請求項１１記載の撮像装置。