JP6060824B2 - 撮像装置、及びフリッカ低減方法 - Google Patents

Description

本発明は、撮像装置、及びフリッカ低減方法に関する。

特許文献１、２には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）フリッカの低減方法が開示されている。特許文献１のフリッカ低減方法では、連続する３フィールドにおける積分値の平均値を算出して、平均値で正規化している。そして、正規化された積分値に対して、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）を施している。そして、離散フーリエ変換により抽出されたスペクトルからフリッカ係数を推定して、フリッカを低減している。

特許文献２では、取得部が１フレームを構成する水平ラインのうちの一部の水平ラインについて、ライン積分値を取得している。そして、メモリがライン積算値を複数の画面分格納している。複数の画面分のライン積分値列に対して、離散フーリエ変換を施して、フリッカ成分の情報を抽出している。

特開２００４−２２２２２８号公報 国際公開ＷＯ２０１０／０５８５６７号

しかしながら、特許文献１では、１フレーム分の信号に対してＤＦＴ処理を行っている。被写体に動物体がある場合には補正ゲインが急激に変化するために適切な補正とならず、映像を破綻させるおそれがある。また、フレーム内ＤＦＴ処理を行うので、1周期分のフリッカ成分が1フレーム内に存在しない場合、例えば高速撮像モード時にはフリッカを検出することができないおそれがある。

特許文献２では、特許文献１のように、正規化を行っていないため、映像のＤＣ成分を除去できていない。したがって、同じフリッカ環境下であっても被写体の輝度によって検出されるフリッカ成分が異なってしまい、最適な補正ができないおそれがある。また、被写体に動物体がある場合には、フレーム間ＤＦＴ処理により得られるフリッカ成分は急激に変化してしまう。したがって適切な補正とならず、映像を破綻させるおそれがある。

本発明は上記の点に鑑みなされたもので、適切にフリッカを低減することができる撮像装置、及びフリッカ低減方法を提供することを目的とする。

本発明の一態様にかかる撮像装置は、画素の水平ラインに応じて露光タイミングが異なる撮像素子と、補正ゲインを用いて、前記撮像素子から出力される映像信号に含まれるフリッカ成分を補正するフリッカ補正部と、前記フリッカ補正部が、１垂直同期期間での１水平ラインにおける映像信号をライン積算することで、ライン積算値を算出する積算部と、複数の垂直同期期間での前記ライン積算値に基づいて、前記ライン積算値を正規化した正規化ライン積算値を算出する正規化部と、複数の垂直同期期間に渡る前記正規化ライン積算値を離散フーリエ変換するフーリエ変換処理部と、前記フーリエ変換処理部での処理結果に基づいて、フリッカ成分の情報を算出するフリッカ成分算出部と、２以上の前記水平ラインにおける前記フリッカ成分の情報に基づいて、前記補正ゲインを算出する補正ゲイン計算部と、を備えたものである。

本発明の一態様にかかるフリッカ低減方法は、画素の水平ラインに応じて露光タイミングが異なる撮像素子から出力された映像信号のフリッカを低減するフリッカ低減方法であって、１垂直同期期間での１水平ラインにおける映像信号をライン積算することで、ライン積算値を算出するステップと、複数の垂直同期期間での前記ライン積算値に基づいて、前記ライン積算値を正規化した正規化ライン積算値を算出するステップと、複数の垂直同期期間に渡る前記正規化ライン積算値を離散フーリエ変換するステップと、前記離散フーリエ変換の処理結果に基づいて、フリッカ成分の情報を算出するステップと、２以上の前記水平ラインにおける前記フリッカ成分の情報に基づいて、前記補正ゲインを算出するステップと、前記補正ゲインを用いて、前記映像信号を補正するステップと、を備えたものである。

本発明によれば、適切にフリッカを低減することができる撮像装置、及びフリッカ低減方法を提供することを目的とする。

本実施形態に係る撮像装置の全体構成を示す図である。 撮像装置の制御系を模式的に示すブロック図である。 ＣＭＯＳフリッカ成分のイメージ図である。 実施の形態１にかかる撮像装置のフリッカ補正部の構成を示すブロック図である。 フリッカ低減方法におけるＤＦＴ処理ラインを説明するための図である。 実施の形態２にかかる撮像装置の主要部分の構成を示すブロック図である。 実施の形態２にかかる撮像装置の環境判定部の構成を示すブロック図である。 フリッカ補正前の画像と、フリッカ補正後の画像を模式的に示す図である。 ６０ｆｐｓの通常撮像時と、１２０ｆｐｓの高速撮像時の動作比較例を示す表である。 実施の形態３にかかる撮像装置の主要部分の構成を示すブロック図である。 垂直同期信号ＶＤとフリッカ成分の関係を説明するための図である。

実施の形態１．
（全体構成）
以下、図面を参照して、本発明の実施の形態に係る撮像装置、及びフリッカ低減方法について説明する。図１は、本実施の形態にかかる撮像装置の全体構成を示す斜視図である。撮像装置１は、モニタ３、筐体５、及び撮像部１００を備えている。

筐体５は、ＣＭＯＳ撮像素子及びレンズなどを備えた撮像部１００を内蔵している。撮像部１００は、被写体から光を受光して、動画、及び静止画を撮像する。さらに、筐体５は、図示しない、バッテリ、内蔵メモリ、メモリカードスロット、ＣＰＵ(Central Processing Unit)等を内蔵している。撮像部１００が取得した画像データは、所定の処理が施されて、メモリに格納される。筐体５の側面には、開閉可能に設けられたモニタ３が取り付けられている。モニタ３は、撮像部１００が取得した動画又は静止画を表示する。

次に、図２を参照して、撮像装置１の制御系について説明する。図２は、撮像装置１の制御系を模式的に示すブロック図である。撮像部１００は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４を備えている。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＭＯＳイメージセンサ等で構成される。

撮像素子１０４は、マトリクス状に配列された複数の画素を備えている。複数の画素は、垂直同期信号ＶＤ、及び水平同期信号ＨＤにしたがって動作する。なお、垂直同期信号ＶＤは、撮像素子１０４の１フィールド、又は１フレームのスタートを決めるパルス信号である。例えば、垂直同期信号ＶＤに同期して、１番目の水平ライン、即ち、先頭ラインの画像データの読み出しが行われる。垂直同期信号ＶＤの１周期である垂直同期期間が、１フレーム又は１フィールドに対応する期間となる。水平同期信号ＨＤは、各走査線、すなわち、各水平ラインのスタートを決めるパルス信号である。水平同期信号ＨＤに同期して、複数の水平ラインから画像データが順番に読み出されていく。さらに、撮像素子１０４がＣＭＯＳセンサである場合、画素の水平ラインに応じて露光タイミングが異なっているため、ＣＭＯＳフリッカが発生する。もちろん、撮像素子１０４はフリッカが発生するものであれば、ＣＭＯＳセンサに限られるものではない。

撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。そして、画像Ａ／Ｄ変換部１０６は、デジタル画像データを、映像信号として、フリッカ補正部１０７に出力する。

フリッカ補正部１０７は、映像信号に対してフリッカ補正を行って、フリッカを低減する。すなわち、フリッカ補正部１０７は、補正ゲインを用いて、デジタル画像データのフリッカ補正を行う。そして、フリッカ補正部１０７がフリッカ補正を施した映像信号を出力部１０８に出力する。出力部１０８は、メモリを有しており、フリッカが低減された映像信号をメモリに記憶させる。あるいは、出力部１０８は、モニタ３を有しており、フリッカが低減された映像信号をモニタ３に表示させる。

さらに、フリッカ補正部１０７は、画像Ａ／Ｄ変換部１０６からの映像信号に基づいて、フリッカ補正のための補正ゲインを算出する。フリッカ補正部１０７は、算出した補正ゲインに基づいて、フリッカ補正を行う。なお、補正ゲインは、フレーム、及び水平ラインに応じて、異なる値となっている。

（フリッカ成分）
ここで、ＮＴＳＣシステムで発生する蛍光灯フリッカをフリッカの一例として説明する。ここでは、フレームレートを６０ｆｐｓ、商用電源周波数を５０Ｈｚとした場合について説明する。この場合のＣＭＯＳフリッカの特徴は以下である。
（１）１画面中には、５／３周期分発生する。
（２）１ラインごとに位相が変化する。
（３）振幅は、蛍光灯の輝度に比例して変化する。
（４）商用電源周波数（５０Ｈｚ）の２倍の周波数（１００Ｈｚ）を持つ正弦波として扱うことができる。

上記の特徴から、ＣＭＯＳフリッカ現象が起きている際には、図３のようなフリッカ成分が発生している。なお、図３では、上側（画面上部）から下側（画面下部）に向かって走査が行われているものとする。撮像素子１０４では、水平ラインごとに露光タイミングが異なるため、水平ラインに応じて受光量が変化してしまう。よって、蛍光灯が空間的に均一に照明していたとしても、図３のように、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも小さい水平ラインが存在してしまう。例えば、図３のフレームでは、画像中の最も上の水平ライン、すなわち、先頭ラインでフリッカ成分が最も高くなっている。さらに、先頭ラインから、１画面に含まれる総ライン数の３／５に相当するラインずれた水平ラインで、フリッカ成分も最も高くなる。このように、フリッカ成分は、図３に示すような、振幅、周期、及び初期位相を持つ、ｓｉｎ関数で表される。なお、初期位相は先頭ラインでの位相としている。

また、フレームに応じて、各水平ラインの位相が変化する。すなわち、フレーム毎に、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも低い水平ラインが変化する。次のフレームでは、初期位相が異なる正弦波となる。例えば、蛍光灯フリッカが１００Ｈｚで発生し、撮像素子、フレームレート６０ｆｐｓであるとすると、蛍光灯フリッカの５周期分が、３フレームに相当する時間となる。よって、３フレーム毎に初期位相が同じ位相となる。このように、水平ライン、及びフレームに応じて、フリッカ成分が変動する。

従って、フリッカ成分によるゲインが映像信号に乗じられて映像を劣化させていると考えることができる。フリッカ成分の周期、振幅、各ラインでの位相を得られれば、その逆相のゲインを映像信号に乗じることでＣＭＯＳフリッカを補正することできる。１フレームにおけるフリッカ低減用の補正ゲインは、正弦波にしたがって水平ラインごとに異なる値となる。さらに、同一ラインにおける補正ゲインは、フレームに応じて異なる値となり、３フレーム毎に同じ値となる。もちろん、上記したフレームレート、及び蛍光灯フリッカの周波数は、一例であり、上記の値に限定されるものではない。

（フリッカ補正部１０７）
以下、図４を参照して、フリッカ補正部１０７について説明する。図４は、フリッカ補正部１０７の構成を示すブロック図である。フリッカ補正部１０７は、積算部１１１、積算値保持部１１２、平均値計算部１１３、正規化部１１４、正規化値保持部１１５、フレーム間ＤＦＴ処理部１１６、フリッカ成分算出部１１７、振幅／初期位相計算部１１８、振幅／初期位相保持部１１９、平均値計算部１２０、補正ゲイン計算部１２１、補正部１２２を備えている。フリッカ補正部１０７は、上記のように補正ゲインを算出する。

積算部１１１には、画像Ａ／Ｄ変換部１０６からの映像信号が入力される。積算部１１１は、１フレーム（１垂直同期期間）における映像信号の値をライン積算する。すなわち、積算部１１１は１水平ラインでの映像信号の合計値をライン積算値として算出する。なお、積算部１１１が、１水平ラインの全ての画素に対してライン積算してもよく、あるいは、１水平ラインの一部の画素に対してライン積算してもよい。積算部１１１は、ライン積算値を積算値保持部１１２に出力する。積算値保持部１１２は、メモリ等を備え、積算部１１１が算出したライン積算値を保持する。積算値保持部１１２は、ライン積算値を水平ラインごとに記憶する。従って、積算値保持部１１２には、複数のライン積算値が格納される。さらに、積算値保持部１１２は、複数フレーム分のライン積算値を記憶する。

例えば、フレームレートが６０ｆｐｓ、商用電源周波数が５０Ｈｚの場合、３フレーム毎にフリッカ成分の位相が同じとなる。したがって３フレーム分の映像信号を用いると、フリッカ成分の無い信号を得られる。積算値保持部１１２は、３フレーム分のライン積算値を格納する。

平均値計算部１１３は、３フレーム（３垂直同期期間）分のライン積算値の平均値を水平ラインごとに算出する。平均値計算部１１３は、計算した平均値を正規化部１１４に出力する。正規化部１１４は、３フレームでのライン積算値の平均値と、現フレームでのライン積算値とに基づいて、正規化を行う。すなわち、正規化部１１４は、現フレームでのライン積算値を、平均値で除することによって、正規化を行う。こうすることで、映像信号を正規化することができ、フリッカ成分を含む映像から被写体そのものの輝度（ＤＣ成分）を除去できる。

正規化されたライン積算値は、正規化ライン積算値として、正規化値保持部１１５に保持される。すなわち、正規化値保持部１１５は、メモリ等を備えており、正規化ライン積算値を格納する。正規化部１１４、及び正規化値保持部１１５は、正規化ライン積算値をフレーム間ＤＦＴ処理部１１６に出力する。

フレーム間ＤＦＴ処理部１１６は、正規化ライン積算値に対して、フレーム間で離散フーリエ変換（ＤＦＴ）処理を行う。すなわち、フレーム間ＤＦＴ処理部１１６は、１ラインでの正規化ライン積算値に基づいて、フレーム間ＤＦＴ処理を行う。具体的には、１ラインでの正規化ライン積算値をｍ（ｍは２以上の整数）フレーム分用意する。ある特定の水平ラインの映像信号は、１フレーム期間、すなわち、１垂直周期期間ごとに、繰り返し取得されるので、ライン積算値、及び正規化ライン積算値は、時系列に沿った時間領域のデータとなる。そして、ｍ個の正規化ライン積算値に基づいて、フレーム間ＤＦＴ処理を行う。

これにより、その水平ラインでの振幅スペクトルと位相スペクトルが算出される。すなわち、複数フレーム（複数の垂直同期期間）に渡る時間領域の正規化ライン積算値を、離散フーリエ変換することで、周波数領域のデータに変化する。フレーム間ＤＦＴ処理部１１６は、ＤＣ成分を除去した同一ラインでの正規化ライン積算値を複数フレームに渡って、フレーム間ＤＦＴ処理する。フレーム間ＤＦＴ処理部１１６は、振幅スペクトルと位相スペクトルをフリッカ成分算出部１１７に出力する。このように、フレーム間ＤＦＴ処理部１１６は、１ラインの正規化ライン積算値に対してフレーム間ＤＦＴ処理を施し、振幅スペクトル及び位相スペクトルを算出する。なお、フレーム間ＤＦＴ処理を行うフレーム数を増やすことで、ＤＦＴ点数を増やすことができる。これにより、周波差分解能を高くすることができるため、より適切にフリッカ補正することができる。もちろん、ＤＦＴ処理を行うフレーム数（ＤＦＴ点数）は、ＬＳＩ（Large Scale Integration）の回路規模等に応じて決定すればよい。

フリッカ成分算出部１１７は、振幅スペクトル、及び位相スペクトルのうちの、フリッカ成分の周波数（ここでは、１００Ｈｚ）に着目して、フリッカ成分の情報を算出する。例えば、フリッカ成分算出部１１７は、フリッカ成分の周波数での、振幅と位相を算出する。これにより、フリッカ成分の振幅Ａと、そのフレームでのその水平ラインにおける位相θを算出することができる。フリッカ成分算出部１１７は、振幅Ａと位相θを振幅／初期位相計算部１１８に出力する。

振幅／初期位相計算部１１８は、ある１ラインの位相θに基づいて、初期位相θｉｎｉを算出する。フリッカ成分の周期をライン数に換算したライン数換算値が分かっているので、ＤＦＴ処理を行った水平ラインでの位相θを基に、１ライン目（先頭ライン）での位相、すなわち、そのフレームでの初期位相θｉｎｉを求めることができる。具体的には、ＤＦＴ処理を行ったＤＦＴ処理ラインと、先頭ラインとの間のライン数に応じた位相値だけ、位相θを加算、又は減算することで、初期位相θｉｎｉを求めることができる。振幅／初期位相保持部１１９は、メモリを有しており、振幅／初期位相計算部１１８が算出した初期位相θｉｎｉ及び振幅Ａを保持する。

これにより、フリッカ成分の初期位相、振幅、及び周期を求めることができるため、各ラインでの補正ゲインを求めることができる。各水平ラインの補正ゲインＧは、以下の（１）式のようになる。

Ｇ＝１−Ａｓｉｎ（（２πＬｎ）／Ｌ＋θｉｎｉ）・・・（１）

なお、Ａはフリッカ成分の振幅、Ｌｎは各ラインのライン番号、Ｌはフリッカ成分１周期分のライン数換算値、θｉｎｉは当該フレームの初期位相である。１画面中に、フリッカが５／３周期分発生するため、ライン数換算値Ｌは、１画面のライン数の３／５に相当する値である。

（１）式の右辺第二項の各値はフリッカ成分より求めたものであり、補正ゲインはフリッカ成分の逆相でなければならないので符号がマイナスとなっている。正弦波の値は、正弦波のＲＯＭテーブルを用意しておき、当該ラインの画素が読み出される際にその値を係数として用いる構成とすることが好ましい。ＲＯＭテーブルを用意しておくことで、初期位相θｉｎｉから、全水平ラインの位相を容易に求めることができる。なお、正弦波のＲＯＭテーブルは１／４周期分を持てばよく、1周期分を持つよりも回路規模を削減できるのは言うまでもない。

上記のようなフリッカ成分の逆相の補正ゲインを映像信号に乗じることにより、フリッカ補正が可能となる。被写体が静止している場合には十分な補正効果が得られるが、被写体に動物体がある場合には補正精度が落ちてしまう。被写体に動物体が存在すると映像信号がフレーム間で急激に変化するので、当該ラインのライン積算値が大きく変化してしまうためである。上記ＤＦＴ処理は過去の複数フレームのライン積算値を用いるので、映像信号の急激な変化が起きると、本来３フレームであるはずのライン積算値の周期性が瞬間的に崩れる。したがって適切なフリッカ成分が得られないので、補正ゲインが最適値とならず、結果として誤補正となって画質を悪化させる。

そこで、本実施の形態では、１フレーム中においてＤＦＴ処理するＤＦＴ処理ラインを１ラインだけではなく複数の水平ラインとしている。すなわち、複数のＤＦＴ処理ラインに対して、それぞれフリッカ成分の情報（振幅、及び位相）を抽出する。具体的には、複数のＤＦＴ処理ラインの正規化ライン積算値をフレーム間ＤＦＴ処理することで得られた振幅Ａ、及び初期位相θｉｎｉの平均値を平均値計算部１２０が求めている。

従って、積算部１１１、積算値保持部１１２、正規化部１１４は、１フレームから抽出された複数の水平ラインのそれぞれに対して、上記した処理を行う。そして、積算値保持部１１２、及び正規化値保持部１１５は、複数の水平ラインのそれぞれに対して、ライン積算値、及び正規化ライン積算値を保持する。

フレーム間ＤＦＴ処理部１１６がｎ個（ｎは２以上の整数）の水平ラインでの正規化ライン積算値に対して、それぞれフレーム間ＤＦＴ処理を行っている。例えば、図５に示すように、１フレームからＤＦＴ処理が施される水平ラインをｎ個抽出する。ＤＦＴ処理が施されるＤＦＴラインをＤＦＴ処理ラインＬ_ＤＦＴ１〜Ｌ＿ＤＦＴｎのｎラインとする。

フレーム間ＤＴＦ処理部１１６は、ｍフレーム分のＤＦＴ処理ラインＬ_ＤＦＴ１の正規化ライン積算値に対して、フレーム間ＤＦＴ処理を実行する。さらに、フレーム間ＤＴＦ処理部１１６は、ｍフレーム分のＤＦＴ処理ラインＬ_ＤＦＴ２の正規化ライン積算値に対してフレーム間ＤＦＴ処理を実行する。そして、フレーム間ＤＦＴ処理部１１６は、ＤＦＴ処理ラインＬ_ＤＦＴｎまで、ｎ回のフレーム間ＤＦＴ処理を実行する。この結果、ｎ個の振幅スペクトルとｎ個の位相スペクトルが算出される。

そして、フリッカ成分算出部１１７は、それぞれのフレーム間ＤＦＴ処理結果に対して、フリッカ成分の情報を算出する。すなわち、フリッカ成分算出部１１７は、フリッカ成分の周波数に着目して、ｎ個の振幅、ｎ個の位相を算出する。なお、各ＤＦＴ処理ラインでの算出結果を識別するため、ＤＦＴ処理ラインＬ_ＤＦＴ１のＤＦＴ結果より得られた振幅、及び位相を、それぞれＡ１、及びθ１とする。同様にＤＦＴ処理ラインＬ_ＤＦＴｎのＤＦＴ結果より得られた振幅、及び位相を、それぞれＡｎ、及びθｎとして識別する。

振幅／初期位相計算部１１８は、位相θ１〜θｎのそれぞれに基づいて、初期位相θｉｎｉを算出する。例えば、振幅／初期位相計算部１１８は、先頭ラインとＤＦＴ処理ラインＬ_ＤＦＴ１との間の水平ライン数に応じた位相値だけ、位相θ１を加算、又は減算することで、初期位相θｉｎｉ−１を求める。同様に、振幅／初期位相計算部１１８は、先頭ラインとＤＦＴ処理ラインＬ_ＤＦＴ２との間の水平ライン数に応じた位相値だけ、位相θ２を加算、又は減算することで、初期位相θｉｎｉ−２を求める。振幅／初期位相計算部１１８が、この処理を、全てのＤＦＴ処理ラインＬ_ＤＦＴ１〜Ｌ_ＤＦＴｎに対して行うことで、初期位相θｉｎｉ−１〜初期位相θｉｎｉ−ｎを算出する。そして、振幅／初期位相保持部１１９が、初期位相θｉｎｉ−１〜初期位相θｉｎｉ−ｎ、及び振幅Ａ１〜Ａｎを記憶する。

平均値計算部１２０は、振幅Ａ１〜Ａｎの平均値と、初期位相θｉｎｉ−１〜初期位相θｉｎｉ−ｎの平均値を算出する。そして、平均値計算部１２０は、算出した振幅の平均値を振幅Ａ＿ａｖｅとして、補正ゲイン計算部１２１に出力する。同様に、平均値計算部１２０は、算出した初期位相の平均値を初期位相θｉｎｉ＿ａｖｅとして補正ゲイン計算部１２１に出力する。そして、補正ゲイン計算部１２１は、振幅Ａ＿ａｖｅ、及び初期位相θｉｎｉ＿ａｖｅから、補正ゲインＧを算出する。補正ゲインＧは、式（１）のＡをＡ＿ａｖｅとし、θｉｎｉをθｉｎｉ＿ａｖｅとすることで、算出することができる。このように、補正ゲイン計算部１２１は複数ラインでの振幅の平均値、及び初期位相の平均値から、補正ゲインＧを算出する。

補正ゲイン計算部１２１は、算出した補正ゲインＧを補正部１２２に出力する。補正部１２２は、補正ゲインＧを用いて、フリッカ補正を行う。すなわち、補正部１２２は、対応する水平ラインの補正ゲインＧを映像信号に乗じて、出力する。補正ゲインＧは、フリッカ成分と逆相になっているため、補正ゲインＧを映像信号に乗じることで、フリッカ補正が可能となる。そして、撮像素子１０４で撮像された動画像の各フレームの画像に対して、フリッカ補正部１０７が上記の処理を繰り返し行うことで、補正ゲインＧを更新していく。

このように、本実施形態では、複数の水平ラインに対して、フレーム間ＤＦＴ処理を施している。そして、複数の水平ラインのフレーム間ＤＦＴ処理結果に基づいて、補正ゲインＧを算出している。各水平ラインのフレーム間ＤＦＴ処理によって得られた振幅及び初期位相を平均化している。これにより、被写体に動物体がある場合にもその影響を受けず、ＣＭＯＳフリッカを精度良く補正することが可能となる。

また、映像信号からＤＣ成分を除去してからフリッカ成分を求めている。すなわち、正規化部１１４が複数フレーム間の映像信号の平均値によって、映像信号を正規化している。そして、フレーム間ＤＦＴ処理部１１６は、正規化ライン積算値に基づいて、ＤＦＴ処理を行っている。これにより、被写体の輝度によらず精度良く補正することが可能になる。よって、特許文献２に比して、適切にフリッカを低減することができる。

また、フレーム間ＤＦＴ処理部１１６が、複数フレームに渡る映像信号を用いて、フレーム間ＤＦＴ処理を行っている。すなわち、複数フレームに渡る正規化ライン積算値に基づいて、フレーム間ＤＦＴ処理を行っている。これにより、１フレーム内にフリッカ成分が１周期分無い場合でも、精度の良い補正が可能である。１フレーム内にフリッカ成分が１周期分無い高速撮像モードの場合であっても、特許文献１に比して、精度よくフリッカ補正することができる。

さらに、補正ゲイン計算部１２１が、補正ゲイン用の正弦波テーブルを持っていてもよい。そして、補正ゲイン計算部１２１がそのテーブルを参照して、補正ゲインＧを算出してもよい。フリッカ環境であれば正弦波状のフリッカ成分が重畳していることになるので、補正ゲイン計算部１２１が振幅と初期位相が算出できれば補正ゲインＧを容易に生成することができる。また、複数ライン間での初期位相情報にバラツキがあっても補正ゲインの正弦波の形が確保できるので、フリッカ成分と補正ゲインの形状のミスマッチが起こるのを防ぐことができる。

正弦波ではない周期性を持ったフリッカ成分について、フリッカ成分の波形に応じたテーブルを用意するようにしてもよい。正弦波ではないフリッカ成分に対しても、ＲＯＭテーブルを変更するだけで容易に対応することができる。すなわち、フリッカ成分の波形に応じたテーブルを予め用意して、使用環境に応じてテーブルを切り替えて、用いることが可能である。

なお、ＤＦＴ処理するライン数は特に限定されるものではなく、回路規模と性能に応じて決定することができる。図５では、ＤＦＴ処理ラインＬ_ＤＦＴ１〜Ｌ＿ＤＦＴｎを４ライン毎に等間隔で配置しているが、１フレームから抽出されるＤＦＴ処理ラインの数は、２以上であれば、その数及び配置は特に限定されるものではない。

実施の形態２．
本実施の形態にかかる撮像装置、及びフリッカ低減方法について、図６を用いて説明する。図６は、撮像装置１の制御系の一部を示すブロック図である。本実施の形態では、実施の形態１の構成に加えて、フリッカ補正を行うか否かを判定する環境判定部１３０が設けられている。なお、実施の形態１と重複する構成について、適宜省略して説明する。例えば、フリッカ補正部１０７におけるフリッカ成分算出処理は、実施の形態１と同様であるため説明を省略する。

環境判定部１３０は、撮像装置１が使用されている使用環境において、フリッカが発生しているか否かを判定する。すなわち、環境判定部１３０は、使用環境が、フリッカが発生しているフリッカ環境であるか、フリッカが発生していない非フリッカ環境であるかを判定する。環境判定部１３０は、判定結果に応じた補正制御信号をフリッカ補正部１０７に出力する。

フリッカ補正部１０７は、補正制御信号に基づいて、フリッカ補正を行うか否かを決定する。フリッカ環境の場合は、フリッカ補正部１０７がフリッカ補正を行う。フリッカ環境では、フリッカ補正部１０７がフリッカ補正を行った映像信号を出力する。一方、非フリッカ環境の場合は、フリッカ補正部１０７がフリッカ補正を行わない。非フリッカ環境では、フリッカ補正部１０７がフリッカ補正を行っていない映像信号をそのまま出力する。

以下、環境判定部１３０の構成について、図７を用いて説明する。図７は、フリッカ補正部１０７、及び環境判定部１３０の構成を示すブロック図である。なお、フリッカ補正部１０７については、実施の形態１と同様であるため、説明を省略する。環境判定部１３０は、積算部１３１、積算値保持部１３２、平均値計算部１３３、正規化部１３４、正規化値保持部１３５、フレーム間ＤＦＴ処理部１３６、フリッカ成分算出部１３７、常時補正部１４１、比較部１４２、及び補正制御信号生成部１４３を備えている。

常時補正部１４１には、補正ゲイン計算部１２１からの補正ゲインＧが入力される。さらに、常時補正部１４１には、映像信号が入力される。常時補正部１４１は、補正ゲインＧを用いて、常時、映像信号をフリッカ補正する。すなわち、常時補正部１４１は、無条件で、映像信号に補正ゲインＧを乗じた値を算出する。そして、常時補正部１４１は、フリッカ補正した映像信号を積算部１３１に出力する。

積算部１３１、積算値保持部１３２、平均値計算部１３３、正規化部１３４、正規化値保持部１３５、フレーム間ＤＦＴ処理部１３６、フリッカ成分算出部１３７は、それぞれ積算部１１１、積算値保持部１１２、平均値計算部１１３、正規化部１１４、正規化値保持部１１５、フレーム間ＤＦＴ処理部１１６、フリッカ成分算出部１１７に対応している。したがって、積算部１３１、積算値保持部１３２、平均値計算部１３３、正規化部１３４、正規化値保持部１３５、フレーム間ＤＦＴ処理部１３６、フリッカ成分算出部１３７は、それぞれ積算部１１１、積算値保持部１１２、平均値計算部１１３、正規化部１１４、正規化値保持部１１５、フレーム間ＤＦＴ処理部１１６、フリッカ成分算出部１１７と同様の処理を行う。フリッカ成分算出部１３７は、フリッカ補正された映像信号に対して、フリッカ成分の振幅、及び位相を算出する。フリッカ成分算出部１３７は、算出した振幅、及び位相を比較部１４２に出力する。

さらに、フリッカ成分算出部１１７は、フリッカ成分の振幅、及び位相を比較部１４２に出力する。すなわち、フリッカ成分算出部１１７は、フリッカ補正していない映像信号のフリッカ成分の情報を比較部１４２に出力する。比較部１４２は、フリッカ成分算出部１３７からの補正有りフリッカ成分と、フリッカ成分算出部１１７からの補正なしフリッカ成分を比較する。そして、比較部１４２は、比較結果に応じた比較信号を補正制御信号生成部１４３に出力する。

フリッカが発生しているフリッカ環境であれば、常時補正部１４１での常時補正が適切な補正となる。したがって、常時補正後の映像信号のフリッカ成分が、補正なしでのフリッカ成分よりも小さくなる。反対に、フリッカが発生していない非フリッカ環境であれば、常時補正は、不適切な補正となる。したがって、常時補正後の映像信号のフリッカ成分が、補正なしでのフリッカ成分よりも大きくなる。

図８に、フリッカ環境と非フリッカ環境とにおけるフリッカ補正の有無のイメージ図を示す。図８の左上に示すように、フリッカ環境ではフリッカ成分が大きくなっている。フリッカ環境で取得された映像信号に対して常時補正を行うと、図８の右上に示すように、フリッカ成分が小さくなる。すなわち、補正部１２２の補正による効果があり、フリッカが低減される。
一方、非フリッカ環境では、図８の左下に示すように、フリッカ成分が小さくなっている。したがって、非フリッカ環境で取得された映像信号に対して常時補正を行うと、図８の右下に示すように、フリッカ成分が大きくなってしまう。非フリッカ環境では、常時補正部１４１による常時補正が誤補正となってしまう。すなわち、非フリッカ環境では、補正ゲインＧを用いた補正が逆効果となり、フリッカ成分を強調してしまう。

フリッカ補正部１０７にて生成される補正ゲインＧはフリッカ成分の周期に合わせたものなので、不適切な補正も３ＶＤ周期の位相となる。その結果、常時補正部１４１が不適切な補正をすると、フリッカ環境と同様の信号が発生することになる。不適切な補正が行われた映像信号に対して、フレーム間ＤＦＴ処理部１３６がフレーム間ＤＦＴ処理を行うと、フリッカ成分算出部１３７が大きなフリッカ成分を検出する。例えば、フリッカ成分算出部１３７で算出される振幅が大きくなる。

したがって、比較部１４２が補正有りの映像信号のフリッカ成分と、補正なしの映像信号のフリッカ成分の大小を比較することで、適切な補正かどうかを判断することができる。具体的には、フリッカ成分算出部１１７で算出された振幅と、フリッカ成分算出部１３７で算出された振幅を比較する。そして、フリッカ成分算出部１１７で算出された振幅がフリッカ成分算出部１３７で算出された振幅より小さい場合、比較部１４２は、非フリッカ環境と判定する。フリッカ成分算出部１１７で算出された振幅がフリッカ成分算出部１３７で算出された振幅より大きい場合、比較部１４２は、フリッカ環境と判定する。このように、フリッカ補正なしでの振幅と、フリッカ補正後の振幅を比較することで、撮像装置１がフリッカ環境で使用されているか、非フリッカ環境で使用されているかを適切に判定することができる。

比較部１４２での比較結果を実映像に対しての補正制御に用いる。例えば、比較部１４２は、比較結果を補正制御信号生成部１４３に出力する。補正制御信号生成部１４３は、補正を行うか否かを示す補正制御信号を補正部１２２に出力する。具体的には、補正制御信号生成部１４３は、ある一定回数以上、同じ比較結果が連続した場合、補正制御を切り替える補正制御信号を出力する。そして、補正部１２２は、補正制御信号に基づいて、フリッカ補正を行うか否かを制御する。補正を行う場合、補正部１２２は、補正ゲインＧを乗じた映像信号を出力する。補正を行わない場合、補正部１２２は、補正ゲインＧを乗じずに、映像信号をそのまま出力する。

なお、非フリッカ環境の場合には、常時補正に用いる補正ゲインＧの振幅はゼロ付近の小さな値となる。その場合、上記のような、不適切な常時補正ができなくなってしまう。すなわち、常時補正部１４１で常時補正された映像信号のフリッカ成分と、補正されていない映像信号のフリッカ成分の差が小さくなってしまう。この場合、比較部１４２での比較を適切に行えなくなってしまうおそれがある。したがって、常時補正用の最小振幅値を定めておき、補正ゲイン計算部１２１からの補正ゲインＧの振幅がそれを下回った際には最小振幅値で置き換える構成とすることが好ましい。これにより、環境判定を適切に行うことができる。

環境判定部１３０にて常時フリッカ補正を行い、その結果からフリッカ環境かどうかの判定を行う。よって、撮像装置１の使用環境が、フリッカ環境か否かを精度良く判定することができる。これによって、偶然、蛍光灯フリッカと同じ周波数成分を持つ動物体が被写体にあったとしても、誤ってフリッカ補正をしてしまうことがない。これにより、更に適切なフリッカ補正が可能となる。

環境判定部１３０にて映像信号に対して内部で常時フリッカ補正を行う。比較部１４２が、常時補正の結果から得られるフリッカ成分を補正前の映像信号のフリッカ成分と比較する。補正制御信号生成部１４３が、比較結果に基づいて、補正制御信号を出力する。そして、補正部１２２は、補正制御信号生成部１４３からの補正制御信号を、実映像に対する補正制御に用いる。これにより、環境に応じてフリッカ補正のＯＮ／ＯＦＦを行うことができるので、非フリッカ環境において誤って補正してしまうことがない。さらに、実施の形態１と同様に、適切にフリッカを低減することができる。

実施の形態３．
本実施の形態では、フレームレートによって異なるフリッカ成分に応じたＤＦＴ処理を行うことにより、高速撮像モードでのフリッカ補正を実現する。すなわち、本実施の形態では、実施の形態１、又は２に対して、高速撮像モードでのフリッカ補正を行う機能を追加している。

例えば、撮像素子１０４のフレームレートが可変になっているとする。撮像素子１０４のフレームレートが変化すると、１フレーム内における映像信号のフリッカ成分が変化する。フレームレートが６０ｆｐｓの場合、上記したように１フレーム内に５／３周期分のフリッカ成分が含まれているが、フレームレートが１２０ｆｐｓとなると、１フレーム内に、５／６周期分のフリッカ成分が含まれることになる。

６０ｆｐｓを通常撮像モードとし、２倍速の１２０ｆｐｓを高速撮像モードとした場合のフレームレートとフリッカ成分についての比較を図９に示す。高速撮像モードではフレームレートが２倍になることで、フリッカ成分の周期が変わっている。例えば、通常撮像モードでは、初期位相が３Ｖ（３フレーム）毎に同じになるのに対して、高速撮像モードでは、初期位相が６Ｖ毎に同じになる。

従って、フリッカ補正部１０７で検出されるフリッカ成分がフレームレートによって異なるので、ＤＣ成分を除去するための正規化処理における積算フレーム数が変わる。例えば６０ｆｐｓの場合は３フレーム分、１２０ｆｐｓの場合は６フレーム分のライン積算値が必要となる。

このように、映像信号からＤＣ成分を除去するためのライン積算値の正規化処理に必要な積算フレーム数が通常撮像モードの３Ｖ分から６Ｖ分に増加する。これはメモリの増加となるため、回路規模への影響が大きく、製造コストの増加を招いてしまう。また、ＤＦＴ処理でフリッカ成分を検出するためのＤＦＴ点数も変わるので、ＤＦＴ処理回路もそれぞれに適したものが必要となる。例えば、どちらも１次の係数で検出するとした場合、通常撮像モードではＤＦＴ点数が３点となり、高速撮像モードでは、ＤＦＴ点数が６点となる。フレーム間ＤＦＴ処理でのＤＦＴ点数が変わった場合、回路規模への影響が大きく、製造コストの増加を招いてしまう。また、ＬＳＩに搭載するという観点からは、予め設計対応したフレームレート以外でのフリッカ補正ができないおそれもある。

そこで、本実施の形態では、図１０に示すように、撮像装置１にＶＤ間引き部１５０を追加した構成としている。ＶＤ間引き部１５０が、撮像素子１０４の垂直同期信号ＶＤを間引いて、フリッカ補正用の垂直同期信号を生成している。ＶＤ間引き部１５０は間引いた後の垂直同期信号ＶＤをフリッカ補正部１０７、及び環境判定部１３０に出力している。フリッカ補正部１０７、及び環境判定部１３０は、間引いた後の垂直同期信号ＶＤに基づいて、動作する。

例えば、ＶＤ間引き部１５０は、例えば、６０ｆｐｓの通常撮像モードを基準として、１２０ｆｐｓの高速撮像モード時には２つに１つの垂直同期信号に間引く。この場合、フリッカ補正部１０７は、撮像素子１０４の２フレーム分の映像信号が１フレームの映像信号として認識する。ＶＤ間引き部１５０は、２４０ｆｐｓの高速撮像モード時には４つに１つの垂直同期信号となるように垂直同期信号ＶＤを間引く。間引かれた垂直同期信号ＶＤ（以下、間引き信号）はフリッカ補正部１０７、環境判定部１３０に送られ、フリッカ処理に用いられる。

こうすることで、フリッカ処理内部では高速撮像モード時でも通常撮像モードと同様のフレームレートで処理することができる。なお、フリッカ処理ブロックの後段ブロックに送られる垂直同期信号ＶＤは間引かれないので後段ブロックへの影響は無い。ただし、フリッカ処理分と同等の遅延調整はされる。

図１１に、６０ｆｐｓでの通常撮像モード時、垂直同期信号ＶＤを間引かない場合（以下、非間引き処理）の１２０ｆｐｓの高速撮像モード時、垂直同期信号ＶＤを間引いた場合（以下、間引き処理）の１２０ｆｐｓの高速撮像モード時の３つの動作比較例を示す。図１１では、通常撮像モード時を（ａ）、非間引き処理での高速撮像モード時を（ｂ）、間引き処理での高速撮像モード時を（ｃ）に示している。

通常撮像モード時は３Ｖ毎のフリッカ成分周期なので、ＤＣ成分を除去するためには３フレーム分のライン積算値が必要になる。一方、非間引き処理での高速撮像モード時では６Ｖ毎のフリッカ成分周期なので、６フレーム分のライン積算値が必要になる。この場合、回路の最適化が必要になってしまう。しかしながら、間引き処理での高速撮像モード時では、通常撮像モードと同じ３Ｖ毎のフリッカ成分周期なので、通常撮像モードと同じ３フレーム分のライン積算値があればよい。高速撮像モード時であっても、回路規模を増大させることなく通常撮像モードと共通の処理が可能となる。

フリッカ補正部１０７は、間引かれた信号に基づいて、補正ゲインＧを更新して、フリッカ補正を行う。なお、垂直同期信号ＶＤを間引いた場合と、間引かない場合とで、ＤＦＴ処理ライン数が同じであれば、フレーム内におけるＤＦＴ処理ラインの位置を同じにしてもよく、変更してもよい。例えば、６０ｆｐｓにおいて、４ラインおきにＤＦＴ処理ラインを抽出した場合、１２０ｆｐｓでは、撮像素子１０４の第１フレームにおいて、４ラインおきにＤＦＴラインを抽出することができる。この場合、撮像素子１０４の奇数フレームの映像信号に基づいて、補正ゲインＧが算出される。あるいは、撮像素子１０４の連続する２フレームにおいて、８ラインおきにＤＦＴ処理ラインを抽出することができる。これにより、ＤＦＴ処理ライン数を変えずに、補正ゲインＧを求めることができる。

上記の１２０ｆｐｓ以外の高速撮像時でも、フレームレートに合わせて垂直同期信号ＶＤを間引けば、同様の動作が可能である。したがって、回路設計時に補正可能なフレームレートが決定されてしまうことがなく、任意のフレームレートに対応できるのでフリッカ補正の性能向上が図れる。すなわち、ＶＤ間引き部１５０での間引き数を変えることで、１２０ｆｐｓ以外のフレームレートについても、６０ｆｐｓの場合と共通の回路で処理することができる。具体的には、基準処理（通常撮像モード時）となる６０ｆｐｓの整数倍のフレームレートについても、共通の回路で処理することができる。

高速撮像モード時の、通常撮像モードとは異なるフレームレートにおいても回路規模を増加させることなく通常撮像モードと同様のフリッカ補正を実現することを目的とする。また、任意のフレームレートにおいても適用できるようにすることを目的とする。さらに、実施の形態１、又は２と同様の効果を得ることができる。

ＶＤ間引き部１５０は、フリッカ補正用の垂直同期信号ＶＤを間引いている。そして、フリッカ補正部１０７が、間引かれた内部垂直同期信号に基づいて動作している。これにより、通常のフレームレートとは異なる高速撮像時においても、回路規模を増加させることなく通常撮像モード時と同様のＤＦＴ処理でフリッカ補正をすることができる。垂直同期信号の間引き数を可変設定するだけで基準処理の整数倍のフレームレートに対応できる。これにより、回路設計時の想定外のフレームレートにも対応できる。フレームレートに応じた間引き設定をするだけで任意のフレームレートに対応することができる。基準処理の整数倍のフレームレートに対応するために、最もフレームレートが遅い場合を通常撮像モードとすればよい。

なお、本実施の形態では、実施の形態２の環境判定部１３０を有する撮像装置１において、ＶＤ間引き部１５０を設けたが、環境判定部１３０を用いない撮像装置１において、ＶＤ間引き部１５０を設けるようにしてもよい。

実施の形態１〜３の説明では、フリッカ成分の情報として、周波数、振幅、及び位相を用いたが、周波数、パワー、及び位相等を用いてもよい。もちろん、フレームレートや、蛍光灯フリッカの周期は、上記した値に限られるものではない。

上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されても良い。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、ＣＤ−ＲＯＭ(Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ(例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM）、ＥＰＲＯＭ(Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１ 撮像装置、 １００ 撮像部、
１０４ 撮像素子、 １０７ フリッカ補正部、 １１１ 積算部
１１２ 積算値保持部、 １１３ 平均値計算部、 １１４ 正規化部
１１５ 正規化値保持部、 １１６ フレーム間ＤＦＴ処理部、
１１７ フリッカ成分算出部、 １１８ 振幅／初期位相計算部、
１１９ 振幅／初期位相保持部、 １２０ 平均値計算部
１２１ 補正ゲイン計算部、 １３０ 環境判定部、
１３７ フリッカ成分算出部、 １４１ 常時補正部、 １４２ 比較部
１４３ 補正制御信号生成部、 １５０ ＶＤ間引き部

Claims (8)

1. 画素の水平ラインに応じて露光タイミングが異なる撮像素子と、
   補正ゲインを用いて、前記撮像素子から出力される映像信号に含まれるフリッカ成分を補正するフリッカ補正部と、
   前記フリッカ補正部が、
   １垂直同期期間での１水平ラインにおける映像信号をライン積算することで、ライン積算値を算出する積算部と、
   複数の垂直同期期間での前記ライン積算値に基づいて、前記ライン積算値を正規化した正規化ライン積算値を算出する正規化部と、
   複数の垂直同期期間に渡る前記正規化ライン積算値を離散フーリエ変換するフーリエ変換処理部と、
   前記フーリエ変換処理部での処理結果に基づいて、フリッカ成分の情報を算出するフリッカ成分算出部と、
   ２以上の前記水平ラインにおける前記フリッカ成分の情報に基づいて、前記補正ゲインを算出する補正ゲイン計算部と、
   前記フリッカ補正部で補正された映像信号に対して、前記フリッカ成分の情報を算出し、前記フリッカ補正部でフリッカ成分が補正された映像信号のフリッカ成分と、前記フリッカ成分が補正されていない映像信号のフリッカ成分と、を比較することで、前記撮像素子の使用環境がフリッカ環境にあるか否かを判定する環境判定部と、を備え、
   前記環境判定部で前記フリッカ環境にないと判定された場合に、前記フリッカ補正部がフリッカ成分を補正していない映像信号を出力する撮像装置。
2. 前記補正ゲイン計算部が、前記２以上の水平ラインにおける前記フリッカ成分の情報の平均値に基づいて、前記補正ゲインを算出している請求項１に記載の撮像装置。
3. 前記撮像素子の垂直同期信号の周波数が変化した場合に、前記垂直同期信号を間引く間引き部をさらに備え、
   前記間引き部で間引かれた信号に応じて、前記フリッカ補正部が動作する請求項１、又は２に記載の撮像装置。
4. 前記補正ゲイン計算部が、前記フリッカ成分の波形に応じたテーブルの値を参照することで、前記補正ゲインを算出する請求項１〜３のいずれか１項に記載の撮像装置。
5. 画素の水平ラインに応じて露光タイミングが異なる撮像素子から出力された映像信号のフリッカを低減するフリッカ低減方法であって、
   １垂直同期期間での１水平ラインにおける映像信号をライン積算することで、ライン積算値を算出するステップと、
   複数の垂直同期期間での前記ライン積算値に基づいて、前記ライン積算値を正規化した正規化ライン積算値を算出するステップと、
   複数の垂直同期期間に渡る前記正規化ライン積算値を離散フーリエ変換するステップと、
   前記離散フーリエ変換の処理結果に基づいて、フリッカ成分の情報を算出するステップと、
   ２以上の前記水平ラインにおける前記フリッカ成分の情報に基づいて、補正ゲインを算出するステップと、
   前記補正ゲインを用いて、前記映像信号を補正するステップと、
   補正された映像信号に対して、前記フリッカ成分の情報を算出するステップと、
   前記フリッカ成分が補正された映像信号のフリッカ成分と、前記フリッカ成分が補正されていない映像信号のフリッカ成分と、を比較することで、前記撮像素子の使用環境がフリッカ環境にあるか否かを判定するステップと、
   前記フリッカ環境にないと判定された場合に、前記フリッカ成分を補正していない映像信号を出力するステップと、を備えたフリッカ低減方法。
6. 前記２以上の水平ラインにおける前記フリッカ成分の情報の平均値に基づいて、前記補正ゲインが算出されている請求項５に記載のフリッカ低減方法。
7. 前記撮像素子の垂直同期信号の周波数が変化した場合に、前記垂直同期信号を間引き、
   間引かれた信号に応じて、前記補正を行う請求項５、又は６に記載のフリッカ低減方法。
8. 前記フリッカ成分の波形に応じたテーブルの値を参照することで、前記補正ゲインを算出する請求項５〜７のいずれか１項に記載のフリッカ低減方法。