JP5035025B2 - 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム - Google Patents

Description

この発明は、蛍光灯の照明下でＣＭＯＳ（相補型金属酸化物半導体）撮像素子などのＸＹアドレス走査型の撮像素子（イメージャ、イメージセンサ）によって被写体を撮影した場合に撮像素子から得られる映像信号に生じる蛍光灯フリッカを低減する装置、方法及びプログラムに関する。

商用交流電源によって直接点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の輝度変化（光量変化）の周波数（商用交流電源周波数の２倍）とカメラの垂直同期周波数との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。

例えば、商用交流電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯の照明下で、ＮＴＳＣ方式（垂直同期周波数は６０Ｈｚ）のＣＣＤカメラによって被写体を撮影する場合、図２２に示すように、１フィールド周期が１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに変化する。

そのため、例えば、露光時間が１／６０秒であるときには、期間ａ１，ａ２，ａ３では、同じ露光時間でも露光量が異なり、露光時間が１／６０秒より短いとき（ただし、後述のように１／１００秒ではないとき）には、期間ｂ１，ｂ２，ｂ３では、同じ露光時間でも露光量が異なる。

蛍光灯の輝度変化に対する露光タイミングは、３フィールドごとに元のタイミングに戻るため、フリッカによる明暗変化は、３フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比（フリッカの見え方）は、露光期間によって変わるが、フリッカの周期は変わらない。

ただし、デジタルカメラなど、プログレッシブ方式のカメラで、垂直同期周波数が３０Ｈｚの場合には、３フレームごとに明暗変化が繰り返される。

さらに、蛍光灯は、白色光を発光するために、通常、複数の蛍光体、例えば、赤、緑、青の蛍光体が用いられている。しかし、これら蛍光体は、それぞれが固有の残光特性を有し、輝度変化の周期中に存在する放電停止から次の放電開始までの期間は、それぞれの残光特性で減衰発光する。そのため、この期間では、始めは白色であった光が、次第に色相を変えながら減衰することになるので、上記のように露光タイミングがずれると、明暗変化だけでなく、色相変化を生じる。また、蛍光灯は、特定の波長に強いピークが存在するという特有の分光特性を持っているため、色によって信号の変動成分が異なる。

そして、このような色相変化、および色ごとの変動成分の差によって、いわゆる色フリッカが発生する。

これに対して、図２２の最下段に示すように、露光時間を蛍光灯の輝度変化の周期（１／１００秒）の整数倍に設定すれば、露光タイミングにかかわらず露光量が一定となって、フリッカを生じない。

実際、ユーザの操作によって、またはカメラでの信号処理により蛍光灯照明下であることを検出することによって、蛍光灯照明下である場合には露光時間を１／１００秒の整数倍に設定する方式が考えられている。この方式によれば、単純な方法で、フリッカの発生を完全に防止することができる。

しかし、この方式では、任意の露光時間に設定することができないため、適切な露出を得るための露光量調整手段の自由度が減ってしまう。そのため、任意のシャッタ速度（露光時間）のもとで蛍光灯フリッカを低減することができる方法が要求される。

これについては、ＣＣＤ撮像装置のように１画面内の全ての画素が同一の露光タイミングで露光される撮像装置の場合には、フリッカによる明暗変化および色変化がフィールド間でのみ現れるため、比較的容易に実現することができる。

例えば、図２２の場合、露光時間が１／１００秒の整数倍でなければ、フリッカは３フィールドの繰り返し周期となるので、各フィールドの映像信号の平均値が一定となるように３フィールド前の映像信号から現在の輝度および色の変化を予測し、その予測結果に応じて各フィールドの映像信号のゲインを調整することによって、フリッカを実用上問題のないレベルまで抑圧することができる。

しかしながら、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子では、画素ごとの露光タイミングが画面水平方向において読み出しクロック（画素クロック）の１周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、上記の方法ではフリッカを十分抑圧することはできない。

図２３に、その様子を示す。上記のように画面水平方向でも各画素の露光タイミングが順次ずれるが、蛍光灯の輝度変化の周期に比べて１水平周期は十分短いので、同一ライン上の画素は露光タイミングが同時であると仮定し、画面垂直方向における各ラインの露光タイミングを示す。実際上、このように仮定しても問題はない。

図２３に示すように、ＸＹアドレス走査型の撮像素子、例えばＣＭＯＳ撮像素子では、ラインごとに露光タイミングが異なり（Ｆ１は、あるフィールドでの、その様子を示す）、各ラインで露光量に差を生じるため、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では縞模様（縞自体の方向は水平方向、縞の変化の方向は垂直方向）として現れる。

図２４に、被写体が均一なパターンの場合の、この画面内フリッカの様子を示す。縞模様の１周期（１波長）が１／１００秒であるので、１画面中には１．６６６周期分の縞模様が発生することになり、１フィールド当たりの読み出しライン数をＭとすると、縞模様の１周期は読み出しライン数ではＬ＝Ｍ＊６０／１００に相当する。なお、明細書および図面では、アスタリスク（＊）を乗算の記号として用いる。

図２５に示すように、この縞模様は、３フィールド（３画面）で５周期（５波長）分となり、連続的に見ると垂直方向に流れるように見える。

図２４および図２５には、フリッカによる明暗変化のみを示すが、実際には上述した色変化も加わり、画質が著しく劣化する。特に色フリッカは、シャッタ速度が速くなると顕著になるとともに、ＸＹアドレス走査型の撮像素子では、その影響が画面内に現れるため、画質劣化がより目立つようになる。

このようなＸＹアドレス走査型の撮像素子の場合にも、露光時間を蛍光灯の輝度変化の周期（１／１００秒）の整数倍に設定することができれば、露光タイミングにかかわらず露光量が一定となって、画面内フリッカを含む蛍光灯フリッカを生じない。

しかしながら、ＣＭＯＳ撮像素子などで、電子シャッタ速度を可変にすると、撮像装置が複雑になる。しかも、電子シャッタを自由に切れる撮像装置であっても、フリッカ防止のために露光時間を１／１００秒の整数倍にしか設定できないとすると、適切な露出を得るための露光量調整手段の自由度が減ってしまう。

そこで、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカを低減するための種々の方法が提案されている。例えば、後述する特許文献１には、受光素子などを用いてフリッカ成分を検出するなどの複雑な処理を行うことなく、簡単な信号処理のみによって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカを、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず、高精度で検出し、確実かつ十分に低減することができるようにする発明が開示されている。

なお、上述した特許文献１は、以下に示す通りである。
特開２００４−２２２２２８号公報

ところで、上述した特許文献１に記載の技術の場合、通常の撮影時においては、簡単な信号処理のみによって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカを、高精度に検出し、確実かつ十分に低減することができる。しかしながら、上述した特許文献１に記載の技術の場合、入力画像信号のフレーム間の差分をフリッカ成分の検出に用いている。

このため、特許文献１に記載の発明が適用された撮像装置の場合には、撮影方向を上下方向に変えるチルト（チルティング）動作や撮影方向を左右方向に変えるパン（パンニング）動作によって、あるいは、被写体の動きによって、フレーム間で画像に差分が生じるとき、正しくフリッカ成分を検出できない場合が発生する可能性がある。

以上のことに鑑み、この発明は、入力画像信号のフレーム間の差分をフリッカ成分の検出に用いることにより、簡単な信号処理のみによって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカを、高精度に検出して低減させる方式において、フレーム間で被写体画像成分が変化する場合にも、適切にフリッカ成分を検出し、フリッカを、常時、確実かつ十分に低減させることができるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
フィールド周期あるいはフレーム周期に同期した変化パターンのフリッカ成分を含む可能性のある映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に渡って積分する積分手段と、
前記積分手段により得られる積分値、あるいは、前記積分手段により得られる積分値の隣接するフィールドあるいはフレームにおける差分値を正規化する正規化手段と、
前記正規化手段により正規化された前記積分値あるいは前記差分値のスペクトルを抽出する抽出手段と、
前記抽出手段により抽出された前記スペクトルからフィールド単位あるいはフレーム単位のフリッカ成分を、複素平面上において推定する推定手段と、
前記推定手段により推定された最新の前記フリッカ成分と、前記推定手段により過去に推定された１つ以上のフリッカ成分とから、フィールド周期あるいはフレーム周期に同期した前記変化パターン中の各フィールドのフリッカ成分、あるいは、各フレームのフリッカ成分の虚数軸方向の平均値と実数軸方向の平均値とにより示される、当該複素平面上の原点に対するずれ量を、最新の前記フリッカ成分のずれ量として検出する検出手段と、
前記検出手段により検出されたフリッカ成分のずれ量に基づいて、最新の前記フリッカ成分を補正する補正手段と、
前記補正手段により補正された前記フリッカ成分を打ち消すように、補正されたフリッカ成分と前記入力画像信号とを演算する演算手段と
を備えることを特徴とする。

この請求項１に記載の発明の画像処理装置によれば、積分手段、正規化手段、抽出手段を通じて、正規化後の積分値または差分値として、フリッカ成分以外の信号成分が除去されて、被写体にかかわらず、かつフリッカ成分が微小な黒の背景部分や低照度の部分などでも、フリッカ成分が容易に、かつ、高精度に推定される。

この推定されたフリッカ成分に含まれる、チルド動作やパターン動作等の影響によるずれ量が、検出手段により検出される。そして、検出手段により検出されたずれ量に応じた補正が、補正手段により補正対象である最新のフリッカ成分に対して行われる。この後、補正されたフリッカ成分が用いられて、演算手段により、入力画像信号からフリッカ成分が除去するようにされる。

これにより、例えばチルト動作やパン動作等により、被写体成分が大きく変化することにより、フリッカ成分にずれ量が含まれた場合であっても、これを適切に補正し、高精度にフリッカの低減処理を行うことができるようにされる。

この発明によれば、フィールド間やフレーム間で画像が変化する場合にも、適切にフリッカ成分を検出し、簡単な信号処理のみによって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカを、常時、高精度に検出して確実かつ十分に低減させることができる。

〔撮像装置の実施形態：図１〜図３〕
（システム構成：図１）
図１は、この発明の撮像装置の一実施形態のシステム構成を示し、ＸＹアドレス走査型の撮像素子としてＣＭＯＳ撮像素子を用いたビデオカメラの場合である。

この実施形態の撮像装置、すなわちビデオカメラでは、被写体からの光が、撮像光学系１１を介してＣＭＯＳ撮像素子１２に入射して、ＣＭＯＳ撮像素子１２で光電変換され、ＣＭＯＳ撮像素子１２からアナログ映像信号が得られる。

ＣＭＯＳ撮像素子１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。

ＣＭＯＳ撮像素子１２は、後述のように原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子１２から得られるアナログ映像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。

そのＣＭＯＳ撮像素子１２からのアナログ映像信号は、ＩＣ（集積回路）として構成されたアナログ信号処理部１３において、色信号ごとに、サンプルホールドされ、ＡＧＣ（自動利得制御）によってゲインが制御され、Ａ／Ｄ変換によってデジタル信号に変換される。

そのアナログ信号処理部１３からのデジタル映像信号は、ＩＣとして構成されたデジタル信号処理部２０に供給される。デジタル信号処理部２０は、後述するように、デジタル映像信号に対して、種々の補正や調整を施すと共に、デジタル信号処理部２０内のフリッカ低減部２５がシステムコントローラ１４と協働することにより、後述するように信号成分ごとに、この発明の方法によってフリッカ成分を低減した上で、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換して出力する。

システムコントローラ１４は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。システムコントローラ１４は、上述したように、デジタル信号処理部２０のフリッカ低減部２５と協働することにより、処理対象のデジタル映像信号からフリッカ成分を除去する処理を行う以外にも、種々の処理を行う。

具体的に、システムコントローラ１４から、ＩＣによって構成されたレンズ駆動用ドライバ１５に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ１５によって、撮像光学系１１のレンズが駆動される。

また、システムコントローラ１４からタイミングジェネレータ１６に、タイミング制御信号が供給され、タイミングジェネレータ１６からＣＭＯＳ撮像素子１２に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子１２が駆動される。

さらに、デジタル信号処理部２０からシステムコントローラ１４に、各信号成分の検波信号が取り込まれ、システムコントローラ１４からのＡＧＣ信号によって、アナログ信号処理部１３において、上記のように各色信号のゲインが制御されるとともに、システムコントローラ１４によって、デジタル信号処理部２０における信号処理が制御される。

また、システムコントローラ１４には、手ぶれセンサ１７が接続され、当該手振れセンサ１７の検出出力に基づいて、手振れ補正を行うこともできるようにされる。

また、システムコントローラ１４には、マイクロコンピュータなどによって構成されたインタフェース１９を介して、ユーザインタフェース１８を構成する操作部１８ａおよび表示部１８ｂが接続され、操作部１８ａでの設定操作や選択操作などが、システムコントローラ１４によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ１４によって表示部１８ｂに表示される。

また、後述のようなフリッカ低減処理が不要な場合には、そのことが、システムコントローラ１４によって検出され、後述のようにフリッカ低減部２５が制御される。

（原色系システムの場合：図２）
図２に、原色系システムの場合のデジタル信号処理部２０の一例を示す。

原色系システムは、図１の撮像光学系１１が被写体からの光をＲＧＢ各色の色光に分離する分解光学系を有し、ＣＭＯＳ撮像素子１２としてＲＧＢ各色用のＣＭＯＳ撮像素子を有する３板システム、または、ＣＭＯＳ撮像素子１２として、光入射面にＲＧＢ各色の色フィルタが画面水平方向に１画素ごとに順次、繰り返し配列された一つのＣＭＯＳ撮像素子を有する１板システムである。この場合、ＣＭＯＳ撮像素子１２からは、ＲＧＢ各色の原色信号がパラレルに読み出される。

図２のデジタル信号処理部２０では、クランプ回路２１で、入力のＲＧＢ原色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路２２で、露出量に応じてクランプ後のＲＧＢ原色信号のゲインが調整され、フリッカ低減部２５Ｒ，２５Ｇ，２５Ｂのそれぞれで、後述もするようにシステムコントローラ１４と協働することにより実現されるこの発明の方法によって、ゲイン調整後のＲＧＢ原色信号中のフリッカ成分が低減される。

さらに、図２のデジタル信号処理部２０では、ホワイトバランス調整回路２７で、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ガンマ補正回路２８で、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、合成マトリクス回路２９で、ガンマ補正後のＲＧＢ原色信号から、出力の輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。

原色系システムでは、一般に図２のようにＲＧＢ原色信号の処理が全て終了した後に輝度信号Ｙが生成されるので、図２のようにＲＧＢ原色信号の処理過程でＲＧＢ原色信号中のフリッカ成分を低減することによって、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。

なお、フリッカ低減部２５Ｒ，２５Ｇ，２５Ｂは、図２のように配置することが望ましいが、必ずしも、これに限定されるものではない。

（補色系システムの場合：図３）
図３に、補色系システムの場合のデジタル信号処理部２０の一例を示す。

補色系システムは、図１のＣＭＯＳ撮像素子１２として、光入射面に補色系の色フィルタが形成された一つのＣＭＯＳ撮像素子を有する１板システムである。補色系の色フィルタは、例えば、図３に色フィルタ１として示すように、ある一つおきの水平ライン位置Ｌｏでは、緑の色フィルタ部１Ｇとマゼンタの色フィルタ部１Ｍｇが水平方向に１画素ごとに順次、繰り返し配列され、他の一つおきの水平ライン位置Ｌｅでは、シアンの色フィルタ部１Ｃｙとイエローの色フィルタ部１Ｙｅが水平方向に１画素ごとに順次、繰り返し配列されたものである。

この場合、図１のＣＭＯＳ撮像素子１２からは、隣接する２水平ライン位置の映像信号が合成されて読み出される。したがって、ＣＭＯＳ撮像素子１２からは、各水平期間において、図３の例では、緑の色信号とシアンの色信号との合成信号と、マゼンタの色信号とイエローの色信号との合成信号とが、１画素クロックごとに交互に得られる。

図３のデジタル信号処理部２０では、クランプ回路２１で、その補色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路２２で、露出量に応じてクランプ後の補色信号のゲインが調整され、輝度合成回路２３で、ゲイン調整後の補色信号から輝度信号Ｙが生成されるとともに、原色分離回路２４で、ゲイン調整後の補色信号からＲＧＢ原色信号が生成される。

さらに、図３のデジタル信号処理部２０では、フリッカ低減部２５Ｙで、後述もするようにシステムコントローラ１４と協働することにより実現されるこの発明の方法によって、輝度合成回路２３からの輝度信号Ｙ中のフリッカ成分が低減されるとともに、フリッカ低減部２５Ｒ，２５Ｇ，２５Ｂのそれぞれで、後述もするようにシステムコントローラ１４と協働することにより実現されるこの発明の方法によって、原色分離回路２４からのＲＧＢ原色信号中のフリッカ成分が低減される。

さらに、図３のデジタル信号処理部２０では、ガンマ補正回路２６で、フリッカ低減後の輝度信号の階調が補正されて、出力の輝度信号Ｙが得られ、ホワイトバランス調整回路２７で、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ガンマ補正回路２８で、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、合成マトリクス回路２９で、ガンマ補正後のＲＧＢ原色信号から色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。

補色系システムでは、図３のようにデジタル信号処理部２０の比較的前段で輝度信号およびＲＧＢ原色信号が生成される。これは、輝度信号は、上記の合成信号から単純な加算処理によって容易に生成できるとともに、上記の合成信号から差分処理によってＲＧＢ原色信号を生成し、そのＲＧＢ原色信号から輝度信号を生成すると、輝度信号のＳ／Ｎが劣化するからである。

しかし、このように輝度信号と色信号の処理系統を別にする場合には、各色成分のフリッカ成分を低減するだけでは、輝度成分のフリッカ成分を低減するのに十分でなく、図３のように別に輝度成分のフリッカ成分を低減することによって初めて、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。

なお、フリッカ低減部２５Ｙおよび２５Ｒ，２５Ｇ，２５Ｂは、図３のように配置することが望ましいが、必ずしも、これに限定されるものではない。

〔フリッカ低減方法の実施形態：図４〜図２１〕
図２のフリッカ低減部２５Ｒ，２５Ｇ，２５Ｂ、および図３のフリッカ低減部２５Ｙ，２５Ｒ，２５Ｇ，２５Ｂのそれぞれは、処理対象の信号が異なるが、同様に構成されるものである。したがって、以下では、フリッカ低減部２５Ｒ，２５Ｇ，２５Ｂ，２５Ｙを、フリッカ低減部２５と総称する。

また、以下において、入力画像信号とは、それぞれ、フリッカ低減部２５に入力されるフリッカ低減前のＲＧＢ原色信号または輝度信号であり、出力画像信号とは、それぞれ、フリッカ低減部２５から出力されるフリッカ低減後のＲＧＢ原色信号または輝度信号である。

また、以下の例は、商用交流電源周波数が５０Ｈｚの地域において、蛍光灯の照明下で、ＮＴＳＣ（National Television System Committee）方式（垂直同期周波数は６０Ｈｚ）のＣＭＯＳカメラによって被写体を撮影する場合、したがって、蛍光灯フリッカを低減しないときには、図２３〜図２５に示したように、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では３フィールド（３画面）で５周期（５波長）分の縞模様として現れる場合である。

蛍光灯が非インバータ方式の場合は勿論、インバータ方式の場合も、整流が十分でない場合にはフリッカを生じるので、蛍光灯が非インバータ方式の場合に限らない。

そして、上述もしたように、フリッカ低減部２５は、システムコントローラ１４と協働することによって、画像信号に混入しているフリッカ成分を低減させるようにしている。図４は、協働してフリッカの低減処理を行うフリッカ低減部２５と、システムコントローラ１４とについて説明するためのブロック図である。

図４に示すように、デジタル信号処理部２０のフリッカ低減部２５と、システムコントローラ１４によって実現されるフリッカずれ量補正部の機能によって、画像信号に混入しているフリッカ成分を高精度に低減させることができるようにしている。そして、フリッカを低減させる処理を行うフリッカ低減部２５と、システムコントローラ１４により実現されるフリッカずれ量補正部との機能の概要は、以下のようになる。

フリッカ低減部２５においては、まず、これに供給された画像信号に含まれるフリッカ成分を推定（検出）し、これを複素平面上に表現して得られるデータＩｍ（虚部）、Ｒｅ（実部）を、システムコントローラ１４が実現するフリッカずれ量補正部に供給する。

この実施の形態のビデオカメラがチルト動作やパン動作によって、あるいは、被写体が大きく動くなどすることによって、隣接するフィールド（画面）間において被写体成分に差分が生じる場合がある。このように被写体成分に差分が生じてしまうと、フリッカ低減部２５においてフリッカ成分が適切に検出できなくなる場合があると考えられる。

そこで、この実施の形態のビデオカメラにおいて、システムコントローラ１４が実現するフリッカずれ量補正部では、隣接するフィールド間において、被写体成分に差分が生じることにより発生するフリッカ成分自体についてのずれ量を検出する。そして、システムコントローラ１４は、検出したフリッカ成分自体のずれ量に基づいてフリッカ成分のずれを補正し、この補正したフリッカ成分に基づいて、フリッカ係数Γｎ（ｙ）を形成して、これをフリッカ低減部２５に戻すようにしている。

フリッカ低減部２５においては、システムコントローラ１４が実現するフリッカずれ量補正部からのフリッカ係数Γｎ（ｙ）に基づいて、フリッカ低減部２５に供給された画像信号に対してフリッカ低減処理を施すようにしている。

このように、この実施の形態のビデオカメラにおいては、フリッカ低減部２５において検出したフリッカ成分を直接に用いてフリッカ成分の低減処理を行うのではない。検出したフリッカ成分に含まれる、チルト動作やパン動作、あるいは、被写体の急激な移動に伴うずれ量を補正した後に、当該補正後のフリッカ成分に基づいて、フリッカの低減処理を高精度に行うことができるようにしている。

（フリッカ低減方法の具体例：図５〜図８）
次に、図４に示したフリッカ低減部２５と、システムコントローラ１４が実現するフリッカずれ量補正部とのそれぞれについて、その構成と動作について具体的に説明する。

（フリッカ低減部２５について）
図５は、フリッカ低減部２５の第１の例を示す。
図２４および図２５は、被写体が一様な場合であるが、一般にフリッカ成分は被写体の信号強度に比例する。

そこで、一般の被写体についての任意のフィールドｎおよび任意の画素（ｘ，ｙ）における入力画像信号（フリッカ低減前のＲＧＢ原色信号または輝度信号）をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、図１１の式（１）で表される。

Ｉｎ（ｘ，ｙ）は、信号成分であり、Γｎ（ｙ）＊Ｉｎ（ｘ，ｙ）は、フリッカ成分であり、Γｎ（ｙ）は、フリッカ係数である。蛍光灯の発光周期（１／１００秒）に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。

Γｎ（ｙ）を一般化するために、図１１の式（２）に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。

式（２）中のλｏは、図２４に示した画面内フリッカの波長であり、１フィールド当たりの読み出しライン数をＭとすると、Ｌ（＝Ｍ＊６０／１００）ラインに相当する。ωｏは、λｏで正規化された規格化角周波数である。

γｍは、各次（ｍ＝１，２，３‥）のフリッカ成分の振幅である。Φｍｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期（１／１００秒）と露光タイミングによって決まる。ただし、Φｍｎは３フィールドごとに同じ値になるので、直前のフィールドとの間のΦｍｎの差は、図１１の式（３）で表される。

＜積分値の算出および保存＞
図５の例では、まず、入力画像信号Ｉｎ’（ｘ，ｙ）が、フリッカ検出用に絵柄の影響を少なくするために、積分ブロック３１で、図１１の式（４）に示すように、画面水平方向に１ライン分に渡って積分され、積分値Ｆｎ（ｙ）が算出される。式（４）中のαｎ（ｙ）は、図１１の式（５）で表されるように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分に渡る積分値である。

算出された積分値Ｆｎ（ｙ）は、以後のフィールドでのフリッカ検出用に、積分値保持ブロック３２に記憶保持される。積分値保持ブロック３２は、少なくとも２フィールド分の積分値を保持できる構成とされる。

被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）の積分値αｎ（ｙ）が一定値となるので、入力画像信号Ｉｎ’（ｘ，ｙ）の積分値Ｆｎ（ｙ）からフリッカ成分αｎ（ｙ）＊Γｎ（ｙ）を抽出することは容易である。

しかし、一般的な被写体では、αｎ（ｙ）にもｍ＊ωｏ成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（４）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまう。

参考として、図１７に示す被写体（実際はカラー画像）についての、連続する３フィールドにおける積分値Ｆｎ（ｙ）を、図１８に示す。これは、赤色信号についてのもので、Ｆｉｅｌｄ：Ｎ＋０（実線）、Ｆｉｅｌｄ：Ｎ＋１（破線）、Ｆｉｅｌｄ：Ｎ＋２（点線）は、連続する３フィールドにおける第１、第２、第３フィールドである。図１８からも分かるように、積分値Ｆｎ（ｙ）から直接、フリッカ成分を抽出するのは不可能と言える。

＜平均値計算および差分計算＞
そこで、図５の例では、積分値Ｆｎ（ｙ）からαｎ（ｙ）の影響を取り除くために、連続する３フィールドにおける積分値を用いる。

すなわち、この例では、積分値Ｆｎ（ｙ）の算出時、積分値保持ブロック３２から、１フィールド前の同じラインの積分値Ｆｎ＿１（ｙ）、および２フィールド前の同じラインの積分値Ｆｎ＿２（ｙ）が読み出され、平均値計算ブロック３３で、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。

連続する３フィールドの期間中の被写体をほぼ同一と見なすことができれば、αｎ（ｙ）は同じ値と見なすことができる。被写体の動きが３フィールドの間で十分小さければ、実用上、この仮定は問題ない。さらに、連続する３フィールドにおける積分値の平均値を演算することは、式（３）の関係から、フリッカ成分の位相が（−２π／３）＊ｍずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。したがって、平均値ＡＶＥ［Ｆｎ（ｙ）］は、図１２の式（６）で表される。

ただし、以上は、図１２の式（７）の近似が成り立つものとして、連続する３フィールドにおける積分値の平均値を算出する場合であるが、被写体の動きが大きい場合には、式（７）の近似が成り立たなくなる。

そのため、被写体の動きが大きい場合を想定したフリッカ低減部２５としては、積分値保持ブロック３２に３フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Ｆｎ（ｙ）を合わせて４フィールド以上に渡る積分値の平均値を算出すればよい。これによって、時間軸方向のローパスフィルタ作用により、被写体が動いたことによる影響が小さくなる。

ただし、フリッカは３フィールドごとの繰り返しとなるので、フリッカ成分を打ち消すには、連続するｊ（３の、２倍以上の整数倍、すなわち、６，９‥）フィールドにおける積分値の平均値を算出する必要があり、積分値保持ブロック３２は、少なくとも（ｊ−１）フィールド分の積分値を保持できる構成とする。なお、後述もするが、被写体の動きが大きい場合を想定したフリッカ低減部２５によっても打ち消せないほどのずれがフリッカ成分に混入する場合もあると考えられる。しかし、このような場合であっても、後述するこの発明に用いられるフリッカずれ量補正部の機能によって、フリッカ成分に混入する大きなずれを効果的に取り除くことができるようにしている。

図５の例は、図１２の式（７）の近似が成り立つものとした場合である。この例では、さらに、差分計算ブロック３４で、積分ブロック３１からの当該フィールドの積分値Ｆｎ（ｙ）と、積分値保持ブロック３２からの１フィールド前の積分値Ｆｎ＿１（ｙ）との差分が計算され、図１２の式（８）で表される差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が算出される。式（８）も、式（７）の近似が成り立つことを前提としている。

図１９に、図１７に示した被写体についての、連続する３フィールドにおける差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を示す。これから分かるように、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）では、被写体の影響が十分除去されるため、図１８に示した積分値Ｆｎ（ｙ）に比べてフリッカ成分（フリッカ係数）の様子が明確に現れる。

＜差分値の正規化＞
図５の例では、さらに、正規化ブロック３５で、差分計算ブロック３４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値計算ブロック３３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによって正規化され、正規化後の差分値ｇｎ（ｙ）が算出される。

正規化後の差分値ｇｎ（ｙ）は、図１２の式（６）（８）および三角関数の和積公式によって、図１３の式（９）のように展開され、さらに図１１の式（３）の関係から、図１３の式（１０）で表される。式（１０）中の｜Ａｍ｜，θｍは、式（１１ａ）（１１ｂ）で表される。

差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）は、被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、上記のように正規化することによって、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。

図２０に、図１７に示した被写体についての、連続する３フィールドにおける正規化後の差分値ｇｎ（ｙ）を示す。

＜スペクトル抽出によるフリッカ成分の推定＞
図１３の式（１１ａ）（１１ｂ）で表される｜Ａｍ｜，θｍは、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して、各次のスペクトルの振幅｜Ａｍ｜および初期位相θｍを検出すれば、図１４の式（１２ａ）（１２ｂ）によって、図１１の式（２）に示した各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。

そこで、図５の例では、ＤＦＴブロック５１において、正規化ブロック３５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。

ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は、図１４の式（１３）で表される。式（１３）中のＷは、式（１４）で表される。また、ＤＦＴの定義によって、式（１１ａ）（１１ｂ）と式（１３）との関係は、図１４の式（１５ａ）（１５ｂ）で表される。

したがって、式（１２ａ）（１２ｂ）（１５ａ）（１５ｂ）から、図１４の式（１６ａ）（１６ｂ）によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。

ＤＦＴ演算のデータ長を、フリッカの１波長分（Ｌライン分）とするのは、これによって、ちょうどωｏの整数倍の離散スペクトル群を直接、得ることができるからである。

一般に、デジタル信号処理のフーリエ変換としては、ＦＦＴ（高速フーリエ変換）が用いられるが、この発明の実施形態では、あえてＤＦＴを用いる。その理由は、フーリエ変換のデータ長が２のべき乗になっていないので、ＦＦＴよりＤＦＴの方が都合よいためである。ただし、入出力データを加工してＦＦＴを用いることもできる。

実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、ＤＦＴ演算もデータを全て出力する必要はなく、この発明の用途ではＦＦＴに比べて演算効率の点でデメリットはない。

そして、ＤＦＴブロック５１では、式（１３）で定義されるＤＦＴ演算によって、スペクトルを抽出し、その後、式（１６ａ）（１６ｂ）の演算によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定することも可能である。

しかし、この実施の形態のビデオカメラにおいては、上述もしたよう、当該ビデオカメラのチルト動作やパン動作などによって、フリッカ成分にずれが生じている場合も考慮し、ＤＴＦブロック５１においては、図１４の（１５ｂ）に基づいて、フリッカ成分を複素平面上に表現し、フリッカ成分を虚部Ｉｍ、実部Ｒｅによって示し、これをシステムコントローラ１４が実現するフリッカずれ量補正部に供給するようにしている。

そして、システムコントローラ１４が実現するフリッカずれ量補正部では、詳しくは後述するが、重心計算ブロック１４２がメモリ１４３の過去のフリッカ成分を考慮してフリッカずれ量を検出し、これをずれ量補正ブロック１４１に供給する。ずれ量補正ブロック１４１は、供給されたずれ量に応じてフリッカ成分を補正した後に、補正後のフリッカ成分を位相・振幅抽出ブロック１４４に供給する。

位相・振幅抽出ブロック１４４では、これに供給された複素平面上に表現されたフリッカ成分から、式（１６ａ）（１６ｂ）の演算によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定する。この後、フリッカ生成ブロック１４５において、位相・振幅抽出ブロック１４４からのγｍ，Φｍｎの推定値から、図１１の式（２）で表されるフリッカ係数Γｎ（ｙ）が算出され、これが図５に示すように、フリッカ低減部２５の演算ブロック４０に供給される。

ただし、上述したように、実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、式（２）によるフリッカ係数Γｎ（ｙ）の算出に当たっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば２次までに限定することができる。

図２１に、図１７に示した被写体についての、連続する３フィールドにおけるフリッカ係数Γｎ（ｙ）を示す。

上記の方法によれば、積分値Ｆｎ（ｙ）ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微小な黒の背景部分や低照度の部分などの領域でも、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出し、これを平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することによって、フリッカ成分を高精度で検出することができる。

また、適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値ｇｎ（ｙ）を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値ｇｎ（ｙ）に不連続な部分を生じても、その部分のフリッカ成分を精度良く推定できることになる。

＜フリッカ低減のための演算＞
図１１の式（１）から、フリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）は、図１４の式（１７）で表される。

そこで、図５の例では、演算ブロック４０で、後述もするフリッカ生成ブロック１４５からのフリッカ係数Γｎ（ｙ）に１が加えられ、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ’（ｘ，ｙ）が除算される。

これによって、入力画像信号Ｉｎ’（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック４０からは、出力画像信号（フリッカ低減後のＲＧＢ原色信号または輝度信号）として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。

（飽和領域を考慮した場合の例：図６）
図５の例で、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域にある場合、演算ブロック４０で式（１７）の演算を行うと、逆に信号成分（色成分または輝度成分）が変化してしまう。そこで、演算ブロック４０は、図６の例のように構成することが望ましい。

図６の例の演算ブロック４０は、フリッカ生成ブロック１４５からのフリッカ係数Γｎ（ｙ）に１を加える加算回路４１、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ’（ｘ，ｙ）を除算する除算回路４２、入力側のスイッチ４３，出力側のスイッチ４４、および飽和レベル判定回路４５によって構成され、飽和レベル判定回路４５で、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベル以上であるか否かが、画素ごとに判断される。

そして、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベルに満たないときには、その画素では、飽和レベル判定回路４５によってスイッチ４３および４４が除算回路４２側に切り替えられて、上述したように、式（１７）の演算結果が出力画像信号として、演算ブロック４０から出力される。

これに対して、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベル以上であるときには、その画素では、飽和レベル判定回路４５によってスイッチ４３および４４が反対側に切り替えられて、入力画像信号Ｉｎ’（ｘ，ｙ）が、そのまま出力画像信号として、演算ブロック４０から出力される。

したがって、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域にある場合に、信号成分（色成分または輝度成分）が変化してしまうことがなく、高画質の出力画像信号が得られる。

（フリッカずれ量補正部について：図４、図７〜図８）
図４に示したように、システムコントローラ１４が実現するフリッカずれ量補正部は、ずれ量補正ブロック１４１、重心計算ブロック１４２、メモリ１４３、位相・振幅抽出ブロック１４４、フリッカ生成ブロック１４５を備える構成とされたものである。図４に示したように、システムコントローラ１４が実現するフリッカずれ量補正部のずれ量補正ブロック１４１とメモリ１４３とに対して、フリッカ低減部２５において検出されるフリッカ成分が、複素平面上に表現された値（Ｉｍ，Ｒｅ）として供給するようにされている。

メモリ１４３は、少なくとも３フィールド分のフリッカ成分を記憶保持することができるものである。図７Ａは、隣接する３フィールド分のフリッカ成分を複素平面上に示すようにした場合の一例を示す図であり、図７Ｂは、虚部Ｉｍと実部Ｒｅとの関係を説明するための図である。

複素平面上に表現されるフリッカ成分は、上述もしたように、虚部Ｉｍと実部Ｒｅとによって表現され、図７Ｂに示すように、その振幅Ｇと位相θとは、虚部の値ｉｍと実部の値ｒｅとによって表現可能なものである。

そして、撮影対象の被写体に動きが少ないときには、隣接するフィールド間において被写体成分に大きな差分は生じないので、各フィールドのフリッカ成分を正確に求めることができる。この場合、隣接する３フィールド（Ｎ＋０，Ｎ＋１，Ｎ＋２）のそれぞれのフリッカ成分を複素平面上にプロットすると、図７Ａに示すようになる。

すなわち、この実施の形態のビデオカメラの場合には、上述もしたように、３フィールドで１周期としているので、隣接するフィールド間のフリッカ成分の位相差は、２／３π（３分の２π＝１２０度）と言うことになる。したがって、図７Ａに示すように、隣接するフィールドのフリッカ成分を複素平面上にプロットすると、各フリッカ成分は、複素平面上の原点Ｏを中心とする正三角形の頂点となる。

しかし、上述もしたように、この実施の形態のビデオカメラがユーザによってチルト動作やパン動作等がなされ、被写体の画像が急激に大きく変化した場合には、隣接するフィールド間において、被写体成分の差分が大きくなり、抽出されるフリッカ成分にもずれ量が含まれてしまう。

図８は、ずれが生じているフリッカ成分を複素平面上にプロットした場合の例を説明するための図である。図８の例は、例えばチルト動作やパン動作等が行われることにより、隣接する３フィールドのそれぞれで、フリッカ成分に同様のずれが生じている場合を示している。

図８Ａは、本来、点線で示したように、原点Ｏを中心とする正三角形の各頂点に位置すべき各フィールドのフリッカ成分が、矢印で示したようにずれている場合を示している。この場合には、虚数軸方向と、実数軸方向とのそれぞれにおいて、各フリッカ成分の平均を求めることにより、虚数軸方向と実数軸方向とのずれ量を求める。

すなわち、ずれが生じていなければ、隣接する３つのフィールドの各フリッカ成分は、図８Ａにおいて点線で示したように、原点Ｏを中心とする正三角形の頂点になるので、虚数軸方向と実数軸方向の平均値を求めるとそれぞれが０（ゼロ）になる。しかし、ずれが生じている場合には、平均値を求めても０（ゼロ）にはならず、求めた平均値が本来のフリッカ成分からのずれ量に相当する。

そこで、システムコントローラ１４が実現するフリッカずれ量補正部においては、重心計算ブロック１４２が、最新のフィールドから過去３フィールド分のフリッカ成分をメモリ１４３から読み出し、虚数軸方向と実数軸方向の平均値を求める。具体的は、図８Ａに示すように、虚数軸方向の平均値は、値ｉｍ１，ｉｍ２，ｉｍ３の合計を３で割り算することにより求めることができる。同様に、実数軸方向の平均値は、値ｒｅ１，ｒｅ２，ｒｅ３の合計を３で割り算することにより求めることができる。

そして、重心計算ブロックで求められた虚数軸方向の平均値が、図８Ｂにおいて虚数軸方向の矢印で示される虚数軸方向のずれ量であり、実数軸方向の平均値が、図８Ｂにおいて実数軸方向の矢印で示される実数軸方向のずれ量である。このようにして、重心計算ブロック１４２で求められたずれ量がずれ量補正ブロック１４１に供給される。

ずれ量補正ブロック１４１では、最新のフィールドのフリッカ成分（重心計算ブロック１４２で用いた最新のフィールドのフリッカ成分）に対して、ずれ量を差し引くことにより、目的とする適正なフリッカ成分（補正後のフリッカ成分）Ｉｍ，Ｒｅを形成し、これを位相・振幅抽出ブロック１４４に供給する。

そして、位相・振幅抽出ブロック１４４では、上述もしたように、ずれ量補正ブロック１４１からの補正後のフリッカ成分Ｉｍ，Ｒｅから、図１４に示した式（１６ａ）（１６ｂ）の演算によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定する。ここで推定された各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎは、フリッカ生成ブロック１４５に供給される。

フリッカ生成ブロック１４５は、上述もしたように、位相・振幅抽出ブロック１４４からのγｍ，Φｍｎの推定値から、図１１の式（２）で表されるフリッカ係数Γｎ（ｙ）を算出し、これを図４に示したように、フリッカ低減部２５の演算ブロック４０に供給する。

演算ブロック４０においては、上述もしたように、図１１の式（１）から、フリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）は、図１４の式（１７）で表されるので、フリッカ生成ブロック１４５からのフリッカ係数Γｎ（ｙ）に１を加え、この和成分［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ’（ｘ，ｙ）を除算することにより、フリッカ成分を除去した入力画像信号Ｉｎ（ｘ，ｙ）を得て、これを出力する。

このように、ビデオカメラにおいては、チルト動作やパン動作、その他被写体の急激な移動などにより、隣接するフィールド間において被写体成分に差分が生じることにより、フィールド毎に検出されるフリッカ成分にずれが生じた場合がある。しかし、この実施の形態のビデオカメラの場合には、フリッカ成分に生じているずれを適切に検出し、これを補正することができる。したがって、画像信号から高精度にフリッカ成分を除去することができる。

また、上述もしたように、被写体の動きが大きい場合を想定したフリッカ低減部２５としては、積分値保持ブロック３２に３フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Ｆｎ（ｙ）を合わせて４フィールド以上に渡る積分値の平均値を算出すればよい。しかし、このようにしても打ち消すことができないほどの大きなずれがフリッカ成分に混入してしまっている場合であっても、システムコントローラ１４が実現するフリッカずれ量補正部の機能によって効果的に取り除くことができる。

なお、フリッカ成分は、図５を用いて説明したように、連続する３フィールドの積分値が用いられて、フィールド毎に求められるものである。したがって、隣接するフィールド間でのフリッカ成分のずれ量が必ずしも一定になるとは限らない。しかし、上述もしたように、隣接する３フィールドでの平均値を求めることにより、補正対象のフィールドのフリッカ成分についてのずれ量（補正量）を適切に検出し、補正することができるようにされる。

すなわち、チルト動作やパン動作等により、隣接するフィールド間で被写体成分に差分が生じることにより、フィールド毎に求めるフリッカ成分にずれが生じた場合であっても、そのずれ量を適切に検出し、これに応じて各フィールドのフリッカ成分を適切に補正することができる。

また、システムが有する演算能力の制約から、上記の全ての処理を１フィールドの時間内で完結できない場合には、フリッカが３フィールドごとの繰り返しとなることを利用して、演算ブロック４０内にフリッカ係数Γｎ（ｙ）を３フィールドに渡って保持する機能を設け、３フィールド後の入力画像信号Ｉｎ’（ｘ，ｙ）に対して、その保持したフリッカ係数Γｎ（ｙ）を演算する構成とすればよい。

（フリッカ低減部２５の正規化積分値算出ブロック３０の他の構成例について）
（正規化積分値算出ブロックの第２の構成例：図９）
図５に示した正規化積分値算出ブロック３０のように、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化すれば、有限の計算精度を効果的に確保することができる。しかし、要求される計算精度を満足できる場合には、積分値Ｆｎ（ｙ）を直接、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化してもよい。

図９は、この場合の例の正規化積分値算出ブロック３０Ａを示し、正規化ブロック３５で、積分ブロック３１からの積分値Ｆｎ（ｙ）が、平均値計算ブロック３３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによって正規化され、正規化後の差分値ｇｎ（ｙ）が算出される。

ただし、この場合の正規化後の差分値ｇｎ（ｙ）は、図１５の式（１８）で表されるものとなるので、後段の処理を図５の例と同様にするため、減算回路３６で、図１５の式（１９）に示すように、式（１８）で表される正規化後の差分値ｇｎ（ｙ）から１を減算し、その結果をＤＦＴブロック５１に送出する。

この場合、｜Ａｍ｜＝γｍ，θｍ＝Φｍｎであるので、図１４の式（１５ａ）（１５ｂ）から、γｍ，Φｍｎは、図１５の式（２０ａ）（２０ｂ）によって求めることができる。

したがって、図５の例では、式（１３）で定義されるＤＦＴ演算によってスペクトルを抽出した後、式（１６ａ）（１６ｂ）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定するのに対して、図９の例では、式（１３）で定義されるＤＦＴ演算によってスペクトルを抽出した後、式（２０ａ）（２０ｂ）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定することになる。なお、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎの推定後の処理、すなわち、フリッカ生成ブロック１４５、演算ブロック４０における処理は、図４、図５を用いて説明した場合と同様である。

図９の例では、差分計算ブロック３４が不要となるので、その分、正規化積分値算出ブロックを簡略化することができる。なお、この例でも、演算ブロック４０は、図６の例のように構成することが望ましい。

（正規化積分値算出ブロックの第３の構成例：図１０）
図５の例で正規化に用いる平均値ＡＶＥ［Ｆｎ（ｙ）］は、図１２の式（７）の近似が成り立つ場合には、式（６）で表されるようにαｎ（ｙ）に等しいとともに、図１１の式（４）の第２項［αｎ（ｙ）＊Γｎ（ｙ）］は、第１項のαｎ（ｙ）に比べて十分小さいので、正規化に及ぼす第２項の影響は非常に小さい。

したがって、正規化については、平均値ＡＶＥ［Ｆｎ（ｙ）］の代わりに積分値Ｆｎ（ｙ）を用いても、ほとんど問題がなく、平均値ＡＶＥ［Ｆｎ（ｙ）］を用いる場合と同様に、効果的にフリッカ成分を検出することができる。

そこで、図１０に示す第３の例の正規化積分値算出ブロック３０Ｂの例では、正規化ブロック３５で、差分計算ブロック３４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を、積分ブロック３１からの積分値Ｆｎ（ｙ）で除算することによって正規化する。以後の処理は、図５の例と同じである。

図１０の例では、積分値保持ブロック３２は１フィールド分の積分値を保持できればよいとともに、平均値計算ブロック３３を必要としないので、フリッカ低減部２５を簡略化することができる。なお、この例でも、演算ブロック４０は、図６の例のように構成することが望ましい。

（その他）
非蛍光灯照明下（蛍光灯ではない照明環境）で撮影する場合、上述したフリッカ低減処理を行っても、特別の不具合を生じないが、この場合、本来不要な処理を行うことになるので、たとえフリッカ成分が十分小さくても、画質への影響が懸念される。

そのため、非蛍光灯照明下で撮影する場合には、フリッカ低減処理が実行されず、入力画像信号Ｉｎ’（ｘ，ｙ）が、そのまま出力画像信号としてフリッカ低減部２５から出力されるように、フリッカ低減部２５やシステムコントローラ１４が実現するフリッカずれ量補正部を構成することが望ましい。

例えば、図４に示したシステムコントローラ１４が実現するフリッカずれ量補正部の位相・振幅抽出ブロック１４４と、フリッカ生成ブロック１４５との間に、蛍光灯照明下判定ブロックを設けるようにする。

位相・振幅抽出ブロック１４４で推定され、算出される各次の成分のレベル（振幅）γｍは、蛍光灯照明下では、図１６（Ａ）に示すように、ｍ＝１の成分のレベルが、ある閾値Ｔｈより十分大きく、ｍが大きくなるにつれて急激にレベルが小さくなるのに対して、非蛍光灯照明下では、図１６（Ｂ）に示すように、各次の成分のレベルが閾値Ｔｈ以下となる。

非蛍光灯照明下では、スペクトルがゼロになるのが理想であるが、実際上は、被写体が動くために、連続する複数フィールドの信号から生成される正規化後の差分値ｇｎ（ｙ）または積分値ｇｎ（ｙ）−１に、周波数成分を僅かに含むことは避けられない。

そこで、位相・振幅抽出ブロック１４４とフリッカ生成ブロック１４５との間に配置する蛍光灯照明下判定ブロックでは、例えば、ｍ＝１の成分のレベルが閾値Ｔｈを超えるか否かを判断し、閾値Ｔｈを超える場合には、蛍光灯照明下であると判定して、位相・振幅抽出ブロック１４４からのγｍ，Φｍｎの推定値を、そのままフリッカ生成ブロック１４５に出力する。したがって、この場合には、上述したようにフリッカ低減処理が実行される。

一方、ｍ＝１の成分のレベルが閾値Ｔｈ以下である場合には、蛍光灯照明下判定ブロックは、非蛍光灯照明下であると判定して、次数ｍの全てにつき、γｍの推定値をゼロにする。したがって、この場合には、フリッカ係数Γｎ（ｙ）もゼロとなり、入力画像信号Ｉｎ’（ｘ，ｙ）が、そのまま出力画像信号として演算ブロック４０から出力される。

また、他の例として、蛍光灯照明下判定ブロックにおいて、蛍光灯照明下であるか否かを判定するが、非蛍光灯照明下であると判定した場合には、検出フラグＣＯＭＰ＿ＯＦＦをセットして、フリッカ生成ブロック１４５および演算ブロック４０での処理を停止させ、入力画像信号Ｉｎ’（ｘ，ｙ）を、そのまま出力画像信号として演算ブロック４０から出力させる。蛍光灯照明下である場合には、検出フラグＣＯＭＰ＿ＯＦＦがリセットされ、上述したようにフリッカ低減処理が実行されるように構成してもよい。

このように、蛍光灯照明下判定ブロックの判定結果に応じて、フリッカ生成ブロック１４５および演算ブロック４０のオン／オフを制御することができるように構成した場合には、非蛍光灯照明下で撮影する場合、画質への影響を無くすことができるだけでなく、消費電力を削減することができる。

（撮影状況によっては別の処理を行う場合の例）
以下に示すように、撮影状況によってはフリッカ低減処理が不要となる場合がある。この場合、画質への影響を考慮すると、上述した非蛍光灯照明下で撮影する場合と同様に、本来不要なフリッカ低減処理は行わない方が望ましい。

フリッカ低減処理が不要な撮影状況としては、第１に、動画と静止画の両方を撮影できるビデオカメラやデジタルスチルカメラで静止画を撮影する場合が挙げられる。

この場合、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子を用いたカメラでも、１画面内の全ての画素の露光タイミング（露光開始および露光終了のタイミング）を同一にすることができ、蛍光灯フリッカの発生を回避することができる。撮像素子からの読み出しは、動画を撮影する場合のようなフレームレートの制約がないので、機械的なシャッタを閉じて遮光した状態で、ゆっくり行うことができる。

そして、このように１画面内の全ての画素の露光タイミングを同一にして静止画を撮影する場合であるか否かについては、図１の実施形態では、操作部１８ａでのカメラ操作に基づいて、システムコントローラ１４において検出することができる。

フリッカ低減処理が不要な撮影状況としては、第２に、屋外の太陽光のもとなどで撮影する場合や、露光量の調整などによって露光時間（電子シャッタ時間）を蛍光灯の輝度変化の周期（１／１００秒）の整数倍に設定する場合が挙げられる。

蛍光灯照明下であるか否かは、ＤＦＴブロック５１で抽出されたスペクトルのレベルから検出することができるが、ここで、屋外の太陽光のもとなどで撮影する場合というのは、同じ非蛍光灯照明下でも、被写体の光量などからシステムコントローラ１４において、非蛍光灯照明下であることを直接検出できる場合である。

また、上述したように、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子を用いたカメラでも、露光時間を蛍光灯の輝度変化の周期（１／１００秒）の整数倍に設定したときには、画面内フリッカを含む蛍光灯フリッカを生じない。そして、露光量の調整などによって露光時間が蛍光灯の輝度変化の周期の整数倍に設定されたか否かは、システムコントローラ１４において直接検出することができる。

そこで、このようにシステムコントローラ１４によってフリッカ低減処理が不要な撮影状況であると判断された場合には、フリッカ低減処理が実行されず、入力画像信号Ｉｎ’（ｘ，ｙ）が、そのまま出力画像信号としてフリッカ低減部２５から出力されるように、システムを構成する。このようにすれば、フリッカ低減処理が不要な場合にまで、フリッカ低減処理を行うことがないようにすることができる。

〔他の実施形態〕
（積分について）
上述した各例は、入力画像信号Ｉｎ’（ｘ，ｙ）を１ライン分に渡って積分する場合であるが、入力画像信号Ｉｎ’（ｘ，ｙ）の積分は、絵柄の影響を少なくしてフリッカ成分のサンプリング値を得るためであるので、１ラインに限らず、複数ラインの時間に渡って行ってもよい。上述したように画面上では縞模様として現れる蛍光灯フリッカ（画面内フリッカ）の１周期はＬ（＝Ｍ＊６０／１００）ラインに相当するので、その１周期、すなわちＬラインで、少なくとも２つのサンプリング値を得るようにすれば、いわゆるサンプリングの定理から、フリッカ成分を検出することができる。

実際上は、画面内フリッカの１周期、すなわちＬラインで、数個以上ないし１０個以上のサンプリング値を得ることが望ましいが、その場合でも、入力画像信号Ｉｎ’（ｘ，ｙ）を水平周期の数倍以上ないし１０倍以上の時間に渡って積分することができる。また、積分時間は、２．５水平周期などというように、水平周期のちょうど整数倍でなくてもよい。

そして、このように積分時間を長くし、単位時間当たりのサンプリング数を減らす場合には、ＤＦＴブロック５１におけるＤＦＴ演算の負担を軽くすることができるとともに、被写体が画面垂直方向に動いた場合に、その影響を少なくすることができる。

（その他について）
図２のような原色系システムの場合、図２のようにフリッカ低減部２５Ｒ，２５Ｇ，２５ＢによってＲＧＢ各色の原色信号ごとにフリッカ成分を検出し、低減する代わりに、例えば、合成マトリクス回路２９の輝度信号Ｙの出力側に、上述した例のようなフリッカ低減部２５を設けて、輝度信号Ｙ中のフリッカ成分を検出し、低減するように構成してもよい。

また、上述した実施形態は、フリッカ低減部２５を含むデジタル信号処理部２０をハードウェアによって構成する場合であるが、フリッカ低減部２５またはデジタル信号処理部２０の一部または全部、さらには、システムコントローラ１４が実現するフリッカずれ量補正部の各ブロックの機能をソフトウェアによって構成してもよい。

すなわち、図４に示したフリッカ低減部２５、システムコントローラ１４が実現するフリッカずれ量補正部の各ブロックの機能をソフトウェアによって実現することができる。なお、図４、図５に示した構成例は、あくまでも構成例であり、他の構成をとることももちろんできる。例えば、ＤＦＴブロック５１の機能をフリッカずれ量補正部の機能として実現したり、フリッカ生成ブロック１４５をフリッカ低減部２５に設けるようにしたりするなど、その構成を柔軟に変更することもできる。

また、上述した実施形態は、垂直同期周波数が６０Ｈｚ（１フィールド周期が１／６０秒）の場合であるが、この発明は、例えば、デジタルカメラなど、プログレッシブ方式のカメラで、垂直同期周波数が３０Ｈｚ（１フレーム周期が１／３０秒）の場合にも適用することができる。この場合は、３フレーム周期（１／１０秒）が蛍光灯の発光周期（１／１００秒）の整数倍となる（フリッカの縞模様は３フレームで１０波長分となる）ので、上述した実施形態のフィールドをフレームに置き換えればよい。

また、上述した実施の形態は、垂直同期周波数が６０Ｈｚ（１フィールド周期が１／６０秒）のＮＴＳＣ方式の撮像装置を用い、商用交流電源周波数が５０Ｈｚの地域において、蛍光灯の照明下で撮影を行った場合である。この場合には、１フィールド中に１００÷６０＝約１．６７周期の明暗変化（フリッカ）が生じる。このフリッカの見え方（変化パターン）は３フレーム周期になる。したがって、この場合には、３フィールドの各フィールドにおける複素平面上で表現したフリッカ成分を保持しておき、その平均を求めることにより、フリッカ成分のずれ量を算出することができた。

これと同様に、ＰＡＬ（Phase Alternation by Line）方式（垂直同期周波数は５０Ｈｚ）の撮像装置を用い、商用交流電源周波数が６０Ｈｚの地域において、蛍光灯の照明下で撮影を行った場合においては、フリッカパターンは、５フレーム周期となる。このような場合にもこの発明を適用することができる。

具体的には、フリッカ成分のずれ量を求める場合に、複素平面上に表現される５フレーム分のフリッカ成分の平均を求めるようにすればよい。すなわち、５フレーム分の各フレームのフリッカ成分を複素平面上にプロットすると、ずれ量が無い場合には、原点を中心とし、５フレーム分の各フレームのフリッカ成分を頂点とする正５角形が形成されるので、この正５角形の原点からのずれ量を算出することになる。

したがって、撮像周期や照明周波数に応じて、フリッカの変化パターンを特定し、これに応じて、フリッカ成分の平均を求めるフィールド数やフレーム数を特定することにより、撮像周期や照明周波数の組み合わせがどのような場合であっても、この発明を適用することができる。

また、上述した実施の形態では、撮像装置にこの発明を適用した場合を例にして説明した。この場合には、フリッカ成分を低減させた画像信号を記録媒体に記録することができる。しかし、これに限るものではない。この発明が適用されていない撮像装置を用いて撮影したために、フリッカ成分が含まれる画像信号が記録媒体に記録されてしまう場合もある。

このような場合には、当該画像信号を再生する段階で、図４〜図６を用いて説明したように、再生対象の画像信号を入力画像信号として用い、これに対してこの発明によるフリッカ低減処理を行うようにしてももちろんよい。この場合には、撮影することにより得られた画像信号について、その再生時においてフリッカ成分を低減させ、良好な再生画像を提供することが可能になる。この場合には、輝度信号に対して、フリッカ成分の低減処理を行うようにしてもよいし、再生対象の画像信号から３原色信号を形成して、そのそれぞれに対して、フリッカ成分の低減処理を行うようにすることもできる。

なお、上述した実施の形態においては、フリッカ低減処理を、図２に示したように、３原色信号（Ｒ，Ｇ，Ｂ）のそれぞれに対して行ったり、図３に示したように、輝度信号Ｙと３原色信号（Ｒ，Ｇ，Ｂ）のそれぞれとに対して行うようにしたりすることができることについて説明した。しかしこれに限るものではない。

図１に示したように、映像信号ＳＶを構成する輝度信号、色差信号毎に、この発明が適用された図４に示した構成のフリッカ低減部によりフリッカ低減処理を行うようにしてもよい。また、少なくとも輝度信号Ｙについて図４に示した構成のフリッカ低減部によりフリッカ低減処理を行うようにしてもよい。そして、必要に応じて色差信号、各色信号についても、この発明のフリッカ低減処理を行うようにしてもよい。

さらに、この発明は、ＣＭＯＳ撮像素子以外のＸＹアドレス走査型の撮像素子を用いる場合にも適用することができる。

なお、上述した実施の形態において、積分手段は、積分ブロック３１が実現し、正規化手段は、正規化ブロック３５が実現し、抽出手段及び推定手段は、ＤＦＴブロック５１が実現し、検出手段は、メモリ１４３及び重心計算ブロック１４２が実現し、補正手段は、ずれ量補正ブロック１４１が実現し、演算手段は、演算ブロック４０が実現している。また、撮像素子は、図１に示したＣＭＯＳ撮像素子１２が実現している。

この発明の撮像装置の一実施形態のシステム構成を示す図である。 原色系システムのデジタル信号処理部の一例を示す図である。 補色系システムのデジタル信号処理部の一例を示す図である。 協働してフリッカの低減処理を行うフリッカ低減部２５とシステムコントローラ１４とについて説明するためのブロック図である。 フリッカ低減部２５を説明するための図である。 飽和領域を考慮した場合の演算ブロック４０の一例を示す図である。 フリッカ成分を複素平面上に表現した場合について説明するための図である。 ずれが生じているフリッカ成分を複素平面上にプロットした場合の例を説明するための図である。 フリッカ低減部２５の正規化積分値算出ブロックの他の構成例を説明するための図である。 フリッカ低減部２５の正規化積分値算出ブロックの他の構成例を説明するための図である。 各例の説明に供する式を示す図である。 各例の説明に供する式を示す図である。 各例の説明に供する式を示す図である。 各例の説明に供する式を示す図である。 各例の説明に供する式を示す図である。 各例の説明に供する図である。 試験で用いた被写体を示す図である。 図１７の被写体の場合の積分値を示す図である。 図１７の被写体の場合の差分値を示す図である。 図１７の被写体の場合の正規化後の差分値を示す図である。 図１７の被写体の場合の推定されたフリッカ係数を示す図である。 ＣＣＤ撮像素子の場合の蛍光灯フリッカの説明に供する図である。 ＸＹアドレス走査型の撮像素子の場合の蛍光灯フリッカの説明に供する図である。 ＸＹアドレス走査型の撮像素子の場合の蛍光灯フリッカの１画面内の縞模様を示す図である。 ＸＹアドレス走査型の撮像素子の場合の蛍光灯フリッカの連続する３画面に渡る縞模様を示す図である。

符号の説明

１１…撮像光学系、１２…撮像素子、１３…アナログ信号処理部、１４…システムコントローラ、１５…レンズ駆動用ドライバ、１６…タイミングジェネレータ、１７…手ぶれセンサ、１８ａ…操作部、１８ｂ…表示部、１９…Ｉ／Ｆ、２０…デジタル信号処理部、２１…クランプ回路、２２…ゲイン調整回路、２３…輝度合成回路、２４…原色分離回路、２５…フリッカ低減部、２６…ガンマ補正回路、２７…ホワイトバランス調整回路、２８…ガンマ補正回路、２９…合成マトリックス回路、３０…正規化積分値算出ブロック、３１…積分ブロック、３２…積分値保持ブロック、３３…平均値計算ブロック、３４…差分計算ブロック、３５…正規化ブロック、４０…演算ブロック、４１…加算回路、４２…除算回路、４３、４４…スイッチ回路、４５…飽和レベル判定回路、１４１…ずれ量補正ブロック、１４２…重心計算ブロック、１４３…メモリ、１４４…位相・振幅抽出ブロック、１４５…フリッカ生成ブロック

Claims (5)

1. フィールド周期あるいはフレーム周期に同期した変化パターンのフリッカ成分を含む可能性のある映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に渡って積分する積分手段と、
   前記積分手段により得られる積分値、あるいは、前記積分手段により得られる積分値の隣接するフィールドあるいはフレームにおける差分値を正規化する正規化手段と、
   前記正規化手段により正規化された前記積分値あるいは前記差分値のスペクトルを抽出する抽出手段と、
   前記抽出手段により抽出された前記スペクトルからフィールド単位あるいはフレーム単位のフリッカ成分を、複素平面上において推定する推定手段と、
   前記推定手段により推定された最新の前記フリッカ成分と、前記推定手段により過去に推定された１つ以上のフリッカ成分とから、フィールド周期あるいはフレーム周期に同期した前記変化パターン中の各フィールドのフリッカ成分、あるいは、各フレームのフリッカ成分の虚数軸方向の平均値と実数軸方向の平均値とにより示される、当該複素平面上の原点に対するずれ量を、最新の前記フリッカ成分のずれ量として検出する検出手段と、
   前記検出手段により検出されたフリッカ成分のずれ量に基づいて、最新の前記フリッカ成分を補正する補正手段と、
   前記補正手段により補正された前記フリッカ成分を打ち消すように、補正されたフリッカ成分と前記入力画像信号とを演算する演算手段と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記入力画像信号として、Ｒ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の３原色信号のそれぞれを用いるようにすることを特徴とする画像処理装置。
3. フィールド周期あるいはフレーム周期に同期した変化パターンのフリッカ成分を含む可能性のある映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に渡って積分する積分工程と、
   前記積分工程において得られる積分値、あるいは、前記積分工程において得られる積分値の隣接するフィールドあるいはフレームにおける差分値を正規化する正規化工程と、
   前記正規化工程において正規化した前記積分値あるいは前記差分値のスペクトルを抽出する抽出工程と、
   前記抽出工程において抽出した前記スペクトルからフィールド単位あるいはフレーム単位のフリッカ成分を、複素平面上において推定する推定工程と、
   前記推定工程において推定した最新の前記フリッカ成分と、前記推定工程において過去に推定した１つ以上のフリッカ成分とから、フィールド周期あるいはフレーム周期に同期した前記変化パターン中の各フィールドのフリッカ成分、あるいは、各フレームのフリッカ成分の虚数軸方向の平均値と実数軸方向の平均値とにより示される、当該複素平面上の原点に対するずれ量を、最新の前記フリッカ成分のずれ量として検出する検出工程と、
   前記検出工程において検出したフリッカ成分のずれ量に基づいて、最新の前記フリッカ成分を補正する補正工程と、
   前記補正工程において補正した前記フリッカ成分を打ち消すように、推定されたフリッカ成分と前記入力画像信号とを演算する演算工程と
   を有することを特徴とするフリッカ低減方法。
4. ＸＹアドレス走査型の撮像素子と、
   この撮像素子により被写体を撮影することによって得られる映像信号を入力画像信号として、その入力画像信号を１水平周期以上の時間に渡って積分する積分手段と、
   前記積分手段により得られる積分値、あるいは、前記積分手段により得られる積分値の隣接するフィールドあるいはフレームにおける差分値を正規化する正規化手段と、
   前記正規化手段により正規化された前記積分値あるいは前記差分値のスペクトルを抽出する抽出手段と、
   前記抽出手段により抽出された前記スペクトルからフィールド単位あるいはフレーム単位のフリッカ成分を、複素平面上において推定する推定手段と、
   前記推定手段により推定された最新の前記フリッカ成分と、前記推定手段により過去に推定された１つ以上のフリッカ成分とから、フィールド周期あるいはフレーム周期に同期した前記変化パターン中の各フィールドのフリッカ成分、あるいは、各フレームのフリッカ成分の虚数軸方向の平均値と実数軸方向の平均値とにより示される、当該複素平面上の原点に対するずれ量を、最新の前記フリッカ成分のずれ量として検出する検出手段と、
   前記検出手段により検出されたフリッカ成分のずれ量に基づいて、最新の前記フリッカ成分を補正する補正手段と、
   前記補正手段により補正された前記フリッカ成分を打ち消すように、推定されたフリッカ成分と前記入力画像信号とを演算する演算手段と
   を備えることを特徴とする撮像装置。
5. フィールド周期あるいはフレーム周期に同期した変化パターンのフリッカ成分を含む可能性のある映像信号を入力画像信号として処理する画像処理装置に搭載されたコンピュータが実行するプログラムであって、
   積分手段が、前記入力画像信号を１水平周期以上の時間に渡って積分する積分ステップと、
   正規化手段が、前記積分ステップにより得られる積分値、あるいは、前記積分ステップにより得られる積分値の隣接するフィールドあるいはフレームにおける差分値を正規化する正規化ステップと、
   抽出手段が、前記正規化ステップにおいて正規化した前記積分値あるいは前記差分値のスペクトルを抽出する抽出ステップと、
   推定手段が、前記抽出ステップにおいて抽出した前記スペクトルからフィールド単位あるいはフレーム単位のフリッカ成分を、複素平面上において推定する推定ステップと、
   検出手段が、前記推定ステップにおいて推定した最新の前記フリッカ成分と、前記推定ステップにおいて過去に推定した１つ以上のフリッカ成分とから、フィールド周期あるいはフレーム周期に同期した前記変化パターン中の各フィールドのフリッカ成分、あるいは、各フレームのフリッカ成分の虚数軸方向の平均値と実数軸方向の平均値とにより示される、当該複素平面上の原点に対するずれ量を、最新の前記フリッカ成分のずれ量として検出する検出ステップと、
   補正手段が、前記検出ステップにおいて検出したフリッカ成分のずれ量に基づいて、最新の前記フリッカ成分を補正する補正ステップと、
   演算手段が、前記補正ステップにおいて補正した前記フリッカ成分を打ち消すように、補正した前記フリッカ成分と前記入力画像信号とを減算する演算ステップと
   を前記コンピュータが実行することを特徴とするフリッカ低減プログラム。

Images