JP5628684B2 - フリッカ低減装置、集積回路及びフリッカ低減方法 - Google Patents

Description

本発明は、照明の明滅によって撮影画像に明暗となって生じるフリッカの成分を当該撮影画像に係る画像信号から低減する技術に関する。

従来のフリッカ低減手段を有する撮像装置としては、例えば、特許文献１記載のものがある。この技術では、水平ライン毎に画素値の積分を取ったライン積分値を、フリッカ周期とフレーム周期との最大公約数に相当するフレーム数だけ格納する。そのフレーム数に渡る対応水平ラインの、ライン積分値の平均値を求め、それをフリッカが除かれたライン積分値とする。上記平均値によって規格化されたライン積分値からフリッカ成分の解析を行う。

図８は、上述の特許文献１に記載された撮像装置にも共通する、フリッカ低減手段を有する、従来の一般的な、撮像装置の主要な構成を示すブロック図である。
図８の撮像装置１０００において、撮像光学系部品１００１は、レンズ及び絞りなどから構成される。撮像素子１００２は、エリアイメージセンサであり、撮像面に結像された光を電気的な信号に変換する。撮像光学系部品１００１は、被写体からの光を絞りにより光量を調整すると共に、撮像素子１００２の撮像面上に被写体の像を結像する役割を持つ。

システムコントローラ１００３は、マイクロプロセッサなどで構成され、撮像装置１０００全体の制御を行う。光学系ドライバ１００４は、システムコントローラ１００３の指示により、撮像光学系部品１００１のズーム、焦点、絞りなどを調整する。撮像素子制御部（ＩＳ制御部）１００５は、システムコントローラ１００３の指示により、撮像素子１００２を制御する。

アナログフロントエンド部（ＡＦＥ部）１００６は、システムコントローラ１００３の制御を受けて、撮像素子１００２からのアナログ画像信号に対してアナログ信号処理を施し、デジタル信号に変換したデジタル画像信号を出力する。デジタル信号処理部１００７は、ＡＦＥ部１００６からのデジタル画像信号に対してデジタル信号処理を施し、撮像装置１０００の出力となる出力画像信号を生成して出力する。デジタル信号処理部１００７は、フリッカ低減を行うフリッカ低減部１０２１及びデジタル画像信号のホワイトバランス調整、ガンマ補正、出力画像形式に従った画像フォーマット変換などを行う信号処理部１０２２などから構成されている。

図９は、図８のフリッカ低減部１０２１の構成を示すブロック図である。
図９のフリッカ低減部１０２１において、ライン積分部１０３１は、ＡＦＥ部１００６からのデジタル画像信号について、１水平ライン分のデジタル画像信号の積分を水平ライン毎に求める。メモリ１０３２は、ライン積分部１０３１によって水平ライン毎に生成されるライン積分値を数フレーム或いは数フィールド分格納する。ここでは、フレームを用いて説明する。

差分計算部１０３３は、ライン積分部１０３１からの第１のライン積分値と、メモリ１０３２から読み出した第２のライン積分値と、の差分を求め、求めた差分値を正規化部１０３５へ出力する。ここで、第２のライン積分値は、メモリ１０３２に格納された、一つ前のフレームにおける第１のライン積分値とフレーム上で同一の位置、即ち、同じ垂直座標に位置するライン積分値である。平均値算出部１０３４は、ライン積分部１０３１からの第１のライン積分値と、メモリ１０３２から読み出した複数の第２のライン積分値とからライン積分値の平均値を求める。正規化部１０３５は、差分計算部１０３３からの差分値を、平均値算出部１０３４からの平均値により除算することによって、正規化された差分値を求める。

ＤＦＴ（Discrete Fourier Transform）部１０３６は、正規化部１０３５からの正規化された差分値に対して離散フーリエ変換を施す。フリッカ係数算定部１０３７は、ＤＦＴ部１０３６からのフーリエ係数からフリッカ成分の各次数の振幅、位相を特定し、それらから現在のフリッカ低減部１０２１の入力画素値に対応するフリッカ係数を生成する。補正演算部１０３８は、フリッカ係数算定部１０３７からのフリッカ係数に基づいて、フリッカ低減部１０２１の入力画像に対してフリッカ補正演算を施す。具体的には、補正演算部１０３８は、入力画素値を、フリッカ係数に１を加えた値で除算することでフリッカを低減した補正値を求める。

以上の通り構成された、従来の撮像装置１０００のフリッカ低減部１０２１における動作の概略を以下に説明する。
ライン積分部１０３１にて求められたライン積分値は、平均値算出部１０３４にて平均値算出に必要なフレーム数より１少ないフレーム数に渡ってメモリ１０３２に格納される。ここで、平均値算出に必要なフレーム数とは、求めた平均値がフリッカの影響を除いたライン積分値となるように、照明のフリッカ周波数とフレームレートの最大公約数となる周波数の周期に応じた期間となる。例えば、フリッカ周波数１００Ｈｚ、フレームレート６０ｆｐｓ（frame per second）の場合、最大公約数は２０Ｈｚとなり、上記の期間は３フレーム分となる。

差分計算部１０３３は、ライン積分部１０３１からのライン積分値と、メモリ１０３２から読み出した１フレーム前の同一垂直位置に当たるライン積分値との差を計算し、フレーム間のライン積分値の差分を求める。次に、正規化部１０３５は、フレーム間のライン積分値の差分を平均値算出部１０３４にて求められたフリッカの影響を除いたライン積分値となる平均値で除することによって、フレーム間のライン積分値の差分を正規化する。これにより、撮影画像の信号強度と分離された、振幅一定の正規化されたフリッカ成分が求められ、フリッカ成分の解析が容易となる。

正規化部１０３５にて算出した、正規化されたライン積分値の差分は、ＤＦＴ部１０３６により、フリッカの１周期区間のライン数について離散フーリエ変換される。例えば、フリッカ周波数１００Ｈｚ、フレームレート６０ｆｐｓ、フレーム当たりのライン数Ｎの場合、フリッカの１周期区間のライン数はＮ・６０／１００ラインとなる。
求められたフーリエ係数は、フリッカ成分の各次数での振幅と位相を与えており、フリッカ係数算定部１０３７において、その情報を基に入力画素値に対するフリッカ係数を求める。最後に、補正演算部１０３８は、フリッカ係数算定部１０３７からのフリッカ係数を用いて、フリッカ低減部１０２１の入力画素値に対してフリッカ補正演算を行う。

特開２００４−２２２２２８号公報

上述した撮像装置１０００のフリッカ低減部１０２１には、以下の課題が存在する。
平均値算出部１０３４は、上述の通り、フリッカの影響が除かれたライン積分値となるように平均処理を行う必要があり、フリッカ成分とフレームレートとの位相が符合するフレーム数の平均を取らなければならない。このフレーム数は、フリッカの周波数とフレームレートとの最大公約数となる周波数に基づくフレーム数である。例えば、フリッカ成分の周波数が１００Ｈｚであり、フレームレートが６０ｆｐｓである場合、最大公約数となる周波数は２０Ｈｚであり、このときのフレーム数は３である。

しかし、高いフレームレートの撮影において考えると、例えば、フリッカ周波数が１００Ｈｚであり、フレームレートが２４０ｆｐｓである場合、最大公約数となる周波数は２０Ｈｚであるが、平均値計算に必要なフレーム数は１２フレームと大きくなる。このように、高フレームレート撮影において、そのフレームレートによっては、多数のフレームに渡るライン積分値の格納が必要となり、メモリ１０３２の容量の増大を招くことになる。

更に、近年の撮像装置における撮像画素数の増大により、フレームの水平ライン数は増加しており、保持が必要となるライン積分値の数が一層増大する傾向にあり、メモリ１０３２の容量の増大を招く。
平均処理のためのフレーム数が増大するフレームレートを除外し、１００ｆｐｓの整数倍のようなフレームレートに限定することで、上記の問題を回避できるが、フレームレートの選択肢を狭めることになる。

また、適当なフレーム数で打ち切って平均を求めることは可能である。しかし、これが有効となるのは、ライン積分値に対して、フリッカ成分の振幅が十分小さい場合であり、露光時間が短くなる高フレームレート撮影においては、フリッカ成分の振幅が増大する傾向となるため、適当なフレーム数で打ち切って平均を求める手法は適切でない。
そこで、本発明は、少ない容量のメモリで、画像信号からそれに含まれるフリッカ成分を効果的に低減することが可能なフリッカ低減装置、集積回路、及びフリッカ低減方法を提供することを目的とする。

本発明のフリッカ低減装置は、撮像素子にて撮影された画像信号中に含まれ、照明に起因するフリッカ成分を当該画像信号から低減するフリッカ低減装置であって、画面毎に、画面を構成する一部の水平ラインについて、前記画像信号に基づいて標本のライン積分値を取得する取得部と、前記取得部にて取得された前記標本のライン積分値を、複数の画面分格納するメモリと、前記取得部により直近に取得された一の画面の前記標本のライン積分値と、前記メモリに格納された当該一の画面より前の複数の画面分の標本のライン積分値と、からなる標本ライン積分値列に対して離散フーリエ変換を施す画面間離散フーリエ変換部と、前記画面間離散フーリエ変換部による離散フーリエ変換の結果に基づいてフリッカ成分の情報を抽出するフリッカ抽出部と、前記フリッカ成分の情報に基づいて前記画像信号に対するフリッカ係数を算定するフリッカ係数算定部と、前記フリッカ係数に基づいて前記画像信号に対してフリッカ成分の低減演算を実行する補正演算部と、を備える。

また、本発明の集積回路は、撮像素子にて撮影された画像信号中に含まれ、照明に起因するフリッカ成分を当該画像信号から低減する集積回路であって、画面毎に、画面を構成する一部の水平ラインについて、前記画像信号に基づいて標本のライン積分値を取得する取得部と、前記取得部にて取得された前記標本のライン積分値を、複数の画面分格納するメモリと、前記取得部により直近に取得された一の画面の前記標本のライン積分値と、前記メモリに格納された当該一の画面より前の複数の画面分の標本のライン積分値と、からなる標本ライン積分値列に対して離散フーリエ変換を施す画面間離散フーリエ変換部と、前記画面間離散フーリエ変換部による離散フーリエ変換の結果に基づいてフリッカ成分の情報を抽出するフリッカ抽出部と、前記フリッカ成分の情報に基づいて前記画像信号に対するフリッカ係数を算定するフリッカ係数算定部と、前記フリッカ係数に基づいて前記画像信号に対してフリッカ成分の低減演算を実行する補正演算部と、を備える。

更に、本発明のフリッカ低減方法は、撮像素子にて撮影された画像信号中に含まれ、照明に起因するフリッカ成分を当該画像信号から低減するフリッカ低減方法であって、画面毎に、画面を構成する一部の水平ラインについて、前記画像信号に基づいて標本のライン積分値を取得する取得ステップと、前記取得ステップにて取得された前記標本のライン積分値を、メモリに複数の画面分格納する格納ステップと、前記取得ステップにおいて直近に取得された一の画面の前記標本のライン積分値と、前記メモリに格納された当該一の画面より前の複数の画面分の標本のライン積分値と、からなる標本ライン積分値列に対して離散フーリエ変換を施す画面間離散フーリエ変換ステップと、前記画面間離散フーリエ変換ステップにおける離散フーリエ変換の結果に基づいてフリッカ成分の情報を抽出するフリッカ抽出ステップと、前記フリッカ成分の情報に基づいて前記画像信号に対するフリッカ係数を算定するフリッカ係数算定ステップと、前記フリッカ係数に基づいて前記画像信号に対してフリッカ成分の低減演算を実行する補正演算ステップと、を有する。

上記のフリッカ低減装置、集積回路、及びフリッカ低減方法の夫々によれば、メモリ容量は、画面を構成する全ての水平ラインに対して標本のライン積分値を格納するための大きさがなくても、画面を構成する一部の水平ラインに対して標本のライン積分値を格納する大きさがあれば足りる。従って、少ない容量のメモリで、画像信号からそれに含まれるフリッカ成分を効果的に低減することが可能になる。

上記のフリッカ低減装置において、前記取得部は、画面毎に、画面を構成する複数の水平ラインについて、１水平ラインの全て又は所定の条件を満たす一部の画像信号を積分し、積分値又は当該積分値を正規化した値を第１のライン積分値とするライン積分部と、画面毎に、前記画面を構成する複数の水平ラインの第１のライン積分値の中から、前記一部の水平ラインの第１のライン積分値を前記標本のライン積分値として採取するサンプリング部と、を備え、前記フリッカ低減装置は、前記フリッカ成分の情報に含まれるフリッカ成分の周波数に基づく期間で、同一画面上の前記第１のライン積分値からなる第１のライン積分値列に対して離散フーリエ変換を施すライン間離散フーリエ変換部と、前記ライン間離散フーリエ変換部による離散フーリエ変換の結果に基づいてフリッカ成分の第１情報を抽出する第１フリッカ抽出部と、を更に備え、前記フリッカ係数算定部は、前記画像信号に対するフリッカ係数の算定を、前記フリッカ成分の第１情報に基づいて行うようにしてもよい。

これによれば、フリッカ抽出部で抽出されたフリッカ成分の周波数を利用し、ライン間離散フーリエ変換部及び第１フリッカ抽出部によって、水平ライン間で更にフリッカ成分の解析が行われる。このため、より詳細なフリッカ成分の第１情報が求められ、フリッカ成分の低減をより的確に行うことが可能になる。
上記のフリッカ低減装置において、前記サンプリング部は、標本対象の水平ラインの第１のライン積分値が所定の範囲外の場合、標本対象の水平ラインを前記第１のライン積分値が前記所定の範囲内にある別の水平ラインに変更するようにしてもよい。

これによれば、第１のライン積分値が所定の範囲内にある水平ラインを利用して、画面間離散フーリエ変換部及びフリッカ抽出部の処理が行われる。このため、画像信号からフリッカ成分を低減する処理において画像信号に誤差を混入させてしまうことを回避でき、より高い精度でフリッカ成分を低減することができる。
上記のフリッカ低減装置において、前記サンプリング部は、画像ブロックの画面間での動きベクトルに基づいて、標本対象の水平ラインを決定するようにしてもよい。

これによれば、標本対象の水平ラインを画面ブロックの画面間の動きを考慮して決定することによって、より高い精度でフリッカ成分を低減することが可能になる。
上記のフリッカ低減装置において、前記画面間離散フーリエ変換部は、商用電源の周波数と前記画像信号に関するフレームレートとに基づいてフリッカ成分が現れる候補の周波数を推定し、推定した当該フリッカ成分が現れる候補の周波数に基づいて、前記標本ライン積分値列に対して離散フーリエ変換を施すようにしてもよい。

これによれば、商用電源の周波数とフレームレートとに基づいてフリッカ成分が現れる候補の周波数を推定することによって、画面間離散フーリエ変換部はその推定した周波数を含む近傍の周波数に相当する位置のフーリエ係数だけを求めればよくなり、画面間離散フーリエ変換部による離散フーリエ変換の演算量を削減できる。

第１の実施の形態のフリッカ低減部を含む撮像装置の一構成例を示すブロック図。 図１のフリッカ低減部の一構成例を示すブロック図。 図２のサンプリング部の動作を示す動作概要図。 図２のフリッカ低減部によるフリッカ低減処理の処理フローを示すフローチャート。 第２の実施の形態のフリッカ低減部の一構成例を示すブロック図。 図５のフリッカ低減部によるフリッカ低減処理の処理フローを示すフローチャート。 第３の実施の形態のデジタル信号処理部の一構成例を示すブロック図。 従来の撮像装置の構成を示すブロック図。 従来の撮像装置におけるフリッカ低減部の構成を示すブロック図。

以下、本発明の実施の形態について、図面を参照しつつ説明する。但し、「画面」として、例えば、フレームとフィールドとを挙げることができ、以下の各フリッカ低減部はフレームを基準として処理を実行するものとして説明するが、フィールドを基準として処理を実行するようにしてもよい。
≪第１の実施の形態≫
以下、本発明の第１の実施の形態について、図面を参照しつつ説明する。

＜撮像装置１０の構成及び動作＞
図１は、第１の実施の形態に係るフリッカ低減部２１を含む撮像装置１０の一構成例を示すブロック図である。撮影装置１０は、エリアイメージセンサにより被写体を撮像し、撮像した画像をデジタル信号処理して出力し、或いは、記録するものであり、例えば、デジタルビデオカメラ、デジタルスチルカメラなどである。

図１に示すように、撮像装置１０は、撮像光学系部品１１と、撮像素子１２と、システムコントローラ１３と、光学系ドライバ１４と、撮像素子制御部（ＩＳ制御部）１５と、アナログフロントエンド部（ＡＦＥ部）１６と、デジタル信号処理部１７とを備える。
撮像光学系部品１１は、レンズ及び絞りなどから構成される。撮像素子１２は、エリアイメージセンサであり、撮像面に結像された光を電気的な信号に変換し、アナログ画像信号をＡＦＥ部１６へ出力する。但し、撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどのライン露光による撮像を行う撮像素子であるとする。なお、ライン露光はローリングシャッターとも呼ばれる。撮像光学系部品１１は、被写体からの光を絞りにより光量を調整すると共に、撮像素子１２の撮像面上に被写体の像を結像する役割を持つ。

システムコントローラ１３は、マイクロプロセッサなどで構成され、撮像装置１０全体の制御を行う。光学系ドライバ１４は、システムコントローラ１３の指示により、撮像光学系部品１１のズーム、焦点、絞りなどを調整する。ＩＳ制御部１５は、システムコントローラ１３の指示により、撮像素子１２を制御する。
ＡＦＥ部１６は、システムコントローラ１３の制御を受けて、撮像素子１２からのアナログ画像信号に対してアナログ信号処理を施し、デジタル信号に変換したデジタル画像信号を出力する。ＡＦＥ部１６は、サンプルホールド回路、自動利得制御増幅器（Automatic Gain Controller：ＡＧＣ）、及びアナログ−デジタル変換器（Analog to Digital Converter：ＡＤＣ）などから構成される。サンプルホールド回路は、システムコントローラ１３の制御を受けてアナログ画像信号をサンプリングし、一定時間ホールドする。自動利得制御増幅器は、システムコントローラ１３の制御を受けてサンプルホールド回路からのアナログ画像信号のゲイン調整を行う。アナログ−デジタル変換器は、自動利得制御増幅器からのゲイン調整されたアナログ画像信号をデジタル信号に変換して、デジタル画像信号を出力する。

デジタル信号処理部１７は、ＡＦＥ１６部からのデジタル画像信号に対してデジタル信号処理を施し、撮像装置１０の出力となる出力画像信号を生成する。デジタル信号処理部１７は、図１に示すように、フリッカ低減部２１と、信号処理部２２と、圧縮符号化部２３と、から構成されている。フリッカ低減部２１は、蛍光灯などの交流点灯により明滅を有する照明下において撮影を行った際に、照明の明滅によって撮影画像に明暗となって生じる、ＡＦＥ部１６からのデジタル画像信号に含まれるフリッカ成分を当該デジタル画像信号から低減するものであり、その詳細については後述する。信号処理部２２は、フリッカ低減部２１からのフリッカ成分が低減されたデジタル画像信号のホワイトバランス調整、ガンマ補正、出力画像形式に従った画像フォーマット変換などを行う。圧縮符号化部２３は、信号処理部２２からの上記の処理が施されたデジタル画像信号をＪＰＥＧ（Joint Photographic Experts Group）、またはＭＰＥＧ（Moving Picture Experts Group）などの画像圧縮符号化規格に従って符号化する。

上述のように構成された撮像装置１０において、上述の各ブロックの役割に従い、撮像光学系部品１１は、被写体からの光を撮像素子１２の撮像面に結像し、撮像素子１２は、結像した被写体像を光電変換してアナログ画像信号を生成する。次に、ＡＦＥ部１６は、撮像素子１２からのアナログ画像信号に対してアナログ信号処理を施してデジタル画像信号を生成する。デジタル信号処理部１７は、ＡＦＥ部１６からのデジタル画像信号に対してフリッカ低減処理、ホワイトバランス調整、ガンマ補正、画像フォーマット変換、圧縮符号化などのデジタル信号処理を施す。デジタル信号処理部１７でデジタル信号処理が施された信号は、撮像装置１０の出力画像信号として出力される。デジタル信号処理部１７から出力された出力画像信号は、例えば、メモリ１８に記憶される。

＜フリッカ低減部２１の構成＞
図２は、図１のフリッカ低減部２１の一構成例を示すブロック図である。図２に示すように、フリッカ低減部２１は、ライン積分部３１及びサンプリング部３２からなる取得部３０と、メモリ３３と、画面間ＤＦＴ（Discrete Fourier Transform）部３４と、フリッカ抽出部３５と、フリッカ係数算定部３６と、補正演算部３７とを備える。

ライン積分部３１は、ＡＦＥ部１６から出力されるデジタル画像信号（図２及びここでは、「入力画像Ｉ_ｉ」と表記）を入力とする。ライン積分部３１は、フレーム毎に、フレームを構成する全ての水平ラインの夫々について、すなわち、複数本の水平ラインの夫々について、１水平ラインの全てのデジタル画像信号の積分を求め、求めた積分値（以下、「ライン積分値」と言う。）を第１のライン積分値としてサンプリング部３２へ出力する。

サンプリング部３２は、フレーム毎に、ライン積分部３１から入力される前記複数本の水平ラインのうちの一部の複数の水平ラインの第１のライン積分値を、標本対象の水平ラインを表す複数の選択ライン番号（垂直座標）に従って、第２のライン積分値（これが標本のライン積分値に該当する。）として採取し、採取した第２のライン積分値を画面間ＤＦＴ部３４へ出力するとともに、メモリ３３に格納する。

メモリ３３は、サンプリング部３２により採取された第２のライン積分値を複数のフレーム分格納する。なお、フリッカ低減部２１がフィールドを基準として処理を実行する場合には、メモリ３３は、サンプリング部３２により採取された第２のライン積分値を複数フィールド分格納することになる。
画面間ＤＦＴ部３４は、サンプリング部３２が第２のライン積分値を採取した複数の水平ラインから最も条件の良い１つの水平ラインを選択する。そして、画面間ＤＦＴ部３４は、選択した水平ラインにおいて、サンプリング部３２によって採取された直近のフレームの第２のライン積分値と、その第２のライン積分値と同一の選択ライン番号（同一の垂直座標）に属する、メモリ３３から読み出した、当該直近のフレームより前の複数フレーム分の第２のライン積分値とからなる第２のライン積分値列（これが標本ライン積分値列に該当する。）に対して離散フーリエ変換を施す。ここでの第２のライン積分値列は時系列に第２のライン積分値を並べたものである。

フリッカ抽出部３５は、画面間ＤＦＴ部３４による離散フーリエ変換の結果得られたフーリエ係数からフリッカ成分の情報（周波数、位相、振幅比）を抽出し、抽出したフリッカ成分の情報（周波数、位相、振幅比）をフリッカ係数算定部３６へ出力する。
フリッカ係数算定部３６は、フリッカ抽出部３５からのフリッカ成分の情報（周波数、位相、振幅比）に基づいて、現在のフリッカ低減部２１に入力されている入力画像Ｉ_ｉに対応するフリッカ係数を求める。

補正演算部３７は、フリッカ係数算定部３６からのフリッカ係数に基づいて、ＡＦＥ部１６からの入力画像Ｉ_ｉに対してフリッカ成分の低減演算を実行することによって入力画像Ｉ_ｉからフリッカ成分を低減し、この結果得られたデジタル画像信号（図２においては「出力画像Ｉ_ＦＲ」と表記）を信号処理部２２へ出力する。具体的には、補正演算部３７は、入力画像Ｉ_ｉをフリッカ係数に１を加えた値で除算することによって、入力画像Ｉ_ｉからフリッカ成分を低減する。

＜サンプリング部３２及び画面間ＤＦＴ部３４の動作＞
以下において、図２のサンプリング部３２及び画面間ＤＦＴ部３４の動作について説明する。
図３は、図２のサンプリング部３２の動作を示す動作概要図である。図３において、Ｆ（１），Ｆ（２），Ｆ（３），・・・，Ｆ（Ｎ）は、夫々フレームを示す。なお、Ｆ（ｎ）のｎはフレーム番号を表す。ｎ＝１，２，３，・・・，Ｎの場合に、Ｌ（ｎ，１），Ｌ（ｎ，２），・・・，Ｌ（ｎ，Ｓ）は、フレームＦ（ｎ）において、サンプリング部３２が第２のライン積分値を採取する標本対象のＳ本の水平ラインを示す。なお、Ｌ（ｎ，ｓ）のｎはフレーム番号を表し、ｓは標本対象の水平ラインの選択ライン番号を表す。ここで、標本対象の水平ラインの数を示すＳは、フレームを構成する水平ラインの総数よりも小さい値である。同じ選択ライン番号を持つ水平ライン、例えば、Ｌ（１，１），Ｌ（２，１），Ｌ（３，１），・・・，Ｌ（Ｎ，１）は、フレーム上で同一の垂直座標に位置した水平ラインを示している。

ここでは、画面間ＤＦＴ部３４がＮ本の第２のライン積分値に対して離散フーリエ変換を施すものとし、フレームＦ（Ｎ）がフリッカ低減部２１に入力されたときのサンプリング部３２及び画面間ＤＦＴ部３４の動作を説明する。
フレームＦ（Ｎ）がフリッカ低減部２１に入力された時点では、メモリ３３には、フレームＦ（１）〜Ｆ（Ｎ−１）の夫々の、選択ライン番号０，１，２，・・・，Ｓに対応する水平ラインの第２のライン積分値が格納されている。

サンプリング部３２は、フレームＦ（Ｎ）に関して、ライン積分部３１から入力される複数本の水平ラインのうちの、選択ライン番号１，２，３，・・・，Ｓに対応する水平ラインの第１のライン積分値を、第２のライン積分値として採取する。
画面間ＤＦＴ部３４は、サンプリング部３２が第２のライン積分値を採取した複数の水平ラインから最も条件の良い１つの水平ラインを選択する。そして、画面間ＤＦＴ部３４は、選択した水平ラインにおいて、フレームＦ（Ｎ）に関してサンプリング部３２が採取した第２のライン積分値と、メモリ３３に格納されているフレームＦ（１）〜Ｆ（Ｎ−１）の第２のライン積分値とからなる第２のライン積分値列に対して離散フーリエ変換を施す。但し、最も条件の良い水平ラインとして、例えば、第２のライン積分値が所定の範囲（例えば、上限値以下の範囲）内にあるもののうち最大の水平ラインなどが考えられる。なお、最も条件の良い水平ラインは、これに限られるものではない。

サンプリング部３２は、フレームＦ（Ｎ）に関して、採取した選択ライン番号１，２，３，・・・，Ｓに対応する水平ラインの第２のライン積分値をメモリ３３に格納する。メモリ３３に格納される第２のライン積分値のフレーム数は、メモリ３３の容量から所定の格納フレーム数が定められており、最も古いフレームの第２のライン積分値から削除されるようになっている。

ここで、標本対象の水平ラインの数Ｓについて記載する。被写体像の変化がなく十分な輝度値が得られている状況においては、標本対象の水平ラインは１本でも（Ｓ＝１）、フリッカ成分の抽出は可能である。しかし、実際の撮影環境下では、被写体像が変動する場合、デジタル画像信号の輝度値が低くＳＮ比（Signal-to Noise Ratio）が低い状況が生じる場合、デジタル画像信号の輝度値が大きすぎて飽和が起こり、波形に歪みが生じる場合など、フリッカ成分の抽出にとって適切でない水平ラインが発生する恐れがある。このため、サンプリング部３２はフレーム上の複数の水平ラインについて第２のライン積分値を採取し、画面間ＤＦＴ部３４は条件のより良い水平ラインを選択して離散フーリエ変換を行っている。

但し、標本対象の水平ラインの数Ｓを１とし、サンプリング部３２はフレーム上の例えば予め定められた１本の水平ラインの第１のライン積分値を第２のライン積分値として採取し、画面間ＤＦＴ部３４は、当該水平ラインの数フレーム分の第２のライン積分値からなる第２のライン積分値列に対して離散フーリエ変換を施すようにしてもよい。
＜フリッカ抽出部３５及びフリッカ係数算定部３６の動作＞
以下において、図２のフリッカ抽出部３５及びフリッカ係数算定部３６の動作について説明する。

フレームレートが２４０ｆｐｓ（frame per second）の場合、フリッカ成分の周波数１００Ｈｚは、フレームレートの１／２以下、即ち、ナイキスト周波数以内である。この時、画面間ＤＦＴ部３４による離散フーリエ変換の結果求められる、周波数１００Ｈｚに相当する位置のフーリエ係数の大きさに、フリッカ成分によるピークが検出される。なお、ＤＣ（Direct Current：周波数０）に出現するフーリエ係数は本来の画像成分によるものである。

上記ピークの検出は、この本来の画像成分によるＤＣに相当する位置のフーリエ係数との大きさの比較によりピークの有無を判定することによって行うことができる。具体的には、本来の画像成分の強度に対してフリッカが認知され始めるフリッカ成分の割合から所定の比率を定めておく。フリッカ抽出部３５は、画面間ＤＦＴ部３４からのフーリエ係数に基づいて、フリッカ成分が存在し得る周波数に相当する位置のフーリエ係数の中から、ＤＣに相当する位置のフーリエ係数に対して前記所定の比率を越えるものを探し、見つかれば、その周波数にフリッカ成分が存在すると判定する。

なお、離散フーリエ変換の対象の水平ラインのフレーム間での画像変化が極めて小さい場合は、フーリエ係数にはＤＣ位置に鋭いピークが表れるが、被写体の動き、撮像装置のブレなどにより、画像変化が存在する場合は、その度合いによりＤＣ位置のピークが低くなり、その幅が広がっていく。このことから、画面間ＤＦＴ部３４は、第２のライン積分値が所定の範囲に入る（画像の白とび、黒つぶれ部分を避ける）複数の水平ラインの夫々について、離散フーリエ変換を施し、フリッカ抽出部３５はフリッカ成分の抽出のためにＤＣ位置のピークが鋭い水平ラインのフーリエ係数を優先的に採用するようにしてもよい。このようにすれば、被写体の動き、撮像装置のブレなどによる画像変化を有する場合でも、より安定してフリッカ成分の抽出が可能になる。

フリッカ抽出部３５は、上記の処理を行うことによって、フリッカ成分が存在する周波数を特定する。続いて、フリッカ抽出部３５は、フリッカ成分が存在すると特定された周波数に相当する位置の、複素数であるフーリエ係数の大きさと偏角とから、フリッカ成分の振幅と位相を算出し、ＤＣに相当する位置のフーリエ係数の振幅に対する算出したフリッカ成分の振幅の振幅比を求める。そして、フリッカ抽出部３５は、フリッカ成分の情報（周波数、位相、振幅比）をフリッカ係数算定部３６へ出力する。

フリッカ係数算定部３６は、波の式、一例として、Ａｅｘｐ｛ｊ（２πｆｔ＋θ）｝の周波数ｆ、位相θ、振幅Ａに対して、フリッカ抽出部３５からのフリッカ成分の周波数、位相、振幅比を設定し、現時点での波の値を求め、これをフリッカ係数とする。フリッカ係数は、本来のデジタル画像信号に対して、フリッカ成分によるデジタル画像信号の増減の割合を表している。なお、上記の波の式中のｔは対象のラインが撮影された時刻を表し、ｊは虚数を表す。

また、フレームレートが１２０ｆｐｓの場合、フレームレートが２４０ｆｐｓの場合と異なり、フリッカ成分の周波数１００Ｈｚが、フレームレートの１／２より大きく、ナイキスト周波数を超えている。このため、画面間ＤＦＴ部３４による離散フーリエ変換の結果には、ナイキスト周波数での折り返しの結果、周波数２０Ｈｚに相当する位置のフーリエ係数に、フリッカ成分によるピークが検出される。この時、フリッカ成分の周波数が２０Ｈｚ，１００Ｈｚ，１４０Ｈｚ，・・・の何れの周波数であるか区別が付かないことになるが、実際の照明では、６０Ｈｚ以下の明滅は照明として不適切なためフリッカ成分が２０Ｈｚであることはない。よって、フリッカ抽出部３５は、周波数１００Ｈｚ以上について解析することになる。なお、この点を除けが、商用電源の周波数が５０Ｈｚ、フレームレートが２４０ｆｐｓ（frame per second）の場合と実質的に同様である。

なお、上記のフリッカ成分の周波数及びフレームレートは例示であって、これに限られるものではない。
＜フリッカ低減部２１の動作＞
図４は図２のフリッカ低減部２１によるフリッカ低減処理の処理フローを示すフローチャートである。

ライン積分部３１は、フリッカ低減部２１にデジタル画像信号が入力されているフレームについて、当該フレームの全ての水平ライン（複数本の水平ライン）の夫々について、第１のライン積分値を算出する（ステップＳ１１）。サンプリング部３２は、ライン積分部３１から入力される第１のライン積分値から第２のライン積分値を採取する（ステップＳ１２）。

画面間ＤＦＴ部３４は、画面間ＤＦＴ部３４が離散フーリエ変換を行うのに必要な所定数のフレームがフリッカ低減部２１に入力されたかを判定する（ステップＳ１３）。ステップＳ１３において否定的な判定がされれば（Ｓ１３：ＮＯ）、画面間ＤＦＴ部３４は離散フーリエ変換を施すことなく、サンプリング部３２は、ステップＳ１２で採取した第２のライン積分値をメモリ３３に格納する（ステップＳ１４）。

一方、ステップＳ１３において肯定的な判定がされれば（Ｓ１３：ＹＥＳ）、画面間ＤＦＴ部３４は、ステップＳ１２で採取した第２のライン積分値と、その第２のライン積分値と同一の選択ライン番号（垂直座標）に属する、メモリ３３から読み出した、複数フレーム分の第２のライン積分値とからなる第２のライン積分値列に対して離散フーリエ変換を施す（ステップＳ１５）。サンプリング部３２は、ステップＳ１２で採取した第２のライン積分値をメモリ３３に格納する（ステップＳ１６）。

フリッカ抽出部３５は、画面間ＤＦＴ部３４による離散フーリエ変換の結果得られたフーリエ係数からフリッカ成分の情報（周波数、位相、振幅比）を抽出する（ステップＳ１７）。フリッカ係数算定部３６は、フリッカ抽出部３５からのフリッカ成分の情報（周波数、位相、振幅比）に基づいて、現在フリッカ低減部２１に入力されているフレームのデジタル画像信号に対応するフリッカ係数を求める（ステップＳ１８）。補正演算部３７は、ステップＳ１８で求められたフリッカ係数に基づいて、デジタル画像信号に対してフリッカ成分の低減演算を実行する（ステップＳ１９）。

上述の通り、第１の実施の形態の撮像装置１０内のフリッカ低減部２１によれば、例えば、高フレームレート撮影の場合のような、多数のフレーム間のライン積分値を必要とする状況においても、フレーム上の全ての水平ラインに対して第２のライン積分値をメモリ３３に格納する必要はないことから、メモリ３３の容量を少なくすることができる。よって、フリッカ低減部２１は、比較的少容量のメモリ３３でも、適切な精度でフリッカ成分の低減を図ることが可能になる。

≪第２の実施の形態≫
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。但し、第２の実施の形態のフリッカ低減部２１ａは、第１の実施の形態のフリッカ低減部２１より高いサンプリング周波数でフリッカ成分の解析を行うものである。
本実施の形態の撮影装置は、フリッカ低減部２１ａ以外の各構成要素については第１の実施の形態の撮影装置１０の対応する各構成要素と実質的に同じであるため、本実施の形態では、フリッカ低減部２１ａについて説明する。なお、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略し、或いは、簡単な記載に留める。

＜フリッカ低減部２１ａの構成＞
図５は本実施の形態のフリッカ低減部２１ａの一構成例を示すブロック図である。
フリッカ低減部２１ａは、ライン積分部３１及びサンプリング部３２からなる取得部３０と、メモリ３３と、画面間ＤＦＴ部３４と、フリッカ抽出部３５と、ライン間ＤＦＴ部５１と、フリッカ抽出部５２と、フリッカ係数算定部３６と、補正演算部３７とを備える。但し、ライン積分部３１は、第１のライン積分値をサンプリング部３２へ出力するとともに、ライン間ＤＦＴ部５１へ出力する。また、フリッカ抽出部３５は、フリッカ成分の情報（周波数、位相、振幅比）をフリッカ係数算定部３６へ出力する代わりにライン間ＤＦＴ部５１及びフリッカ抽出部５２へ出力する。

ライン間ＤＦＴ部５１は、フリッカ抽出部３５からフリッカ成分の情報（周波数、位相、振幅比）を受け取る。ライン間ＤＦＴ部５１は、受け取ったフリッカ成分の周波数に基づく周期に関し、少なくとも１周期の期間について、ライン積分部３１からの同一フレーム上の第１のライン積分値からなる第１のライン積分値列に対して離散フーリエ変換を施す。ここでの第１のライン積分値列は時系列に第１のライン積分値を並べたものである。なお、ライン間ＤＦＴ部５１が離散フーリエ変換を施す第１のライン積分値間の時間間隔よりも画面間ＤＦＴ部３４が離散フーリエ変換を施す第２のライン積分値間の時間間隔よりも、短くなっている。

フリッカ抽出部５２は、ライン間ＤＦＴ部５１による離散フーリエ変換の結果得られたフーリエ係数からフリッカ成分のより正確な第１情報（周波数、位相、振幅比）を抽出し、抽出したフリッカ成分の第１情報（周波数、位相、振幅比）をフリッカ係数算定部３６へ出力する。但し、フリッカ抽出部５２は、ライン間ＤＦＴ部５１による離散フーリエ変換の結果得られたフーリエ係数からフリッカ成分を検出できなかった場合には、フリッカ抽出部３５から入力されるフリッカ成分の情報（周波数、位相、振幅比）をフリッカ成分の第１情報（周波数、位相、振幅比）としてフリッカ係数算定部３６へ出力する。なお、フリッカ抽出部５２は、画面間ＤＦＴ部３４からのフーリエ係数の代わりにライン間ＤＦＴ部５１からのフーリエ係数を用いる点を除けばフリッカ抽出部３５が行うフリッカ抽出処理と実質的に同じフリッカ抽出処理を行って、ライン間ＤＦＴ部５１からのフーリエ係数からフリッカ成分の第１情報（周波数、位相、振幅比）を抽出する。

なお、第１の実施の形態のフリッカ係数算定部３６は、フリッカ抽出部３５からのフリッカ成分の情報（周波数、位相、振幅比）を用いてフリッカ係数の算定を行うのに対して、第２の実施の形態のフリッカ係数算定部３６は、フリッカ抽出部５２からのフリッカ成分の第１情報（周波数、位相、振幅比）を用いてフリッカ係数の算定を行う。
＜ライン間ＤＦＴ部５１及びフリッカ抽出部５２の動作＞
以下において、図５のライン間ＤＦＴ部５１及びフリッカ抽出部５２の動作について説明する。なお、ここでは、必要に応じて他の構成要素が行う動作についても簡単に触れる。

例えば、フレームレートが２４０ｆｐｓの場合、フリッカ成分の周波数１００Ｈｚは、フレームレートの１／２以下、即ち、ナイキスト周波数以内である。この時、画面間ＤＦＴ部３４による離散フーリエ変換の結果求められる、周波数１００Ｈｚに相当する位置のフーリエ係数の大きさに、フリッカ成分によるピークが検出される。なお、ＤＣ（Direct Current：周波数０）に出現するフーリエ係数は本来の画像成分によるものである。

フリッカ抽出部３５は、第１の実施の形態で説明したようにして、画面間ＤＦＴ部３４による離散フーリエ変換の結果得られたフーリエ係数から、フリッカ成分の情報（周波数、位相、振幅比）を抽出する。
ここで、周波数１００Ｈｚの位置でのピークは、エイリアシングを考慮するとフリッカ成分が１４０Ｈｚである場合も想定される。この点を識別するための、より高いサンプリング周波数での解析のため、ライン単位の波形解析を行う役割をライン間ＤＦＴ部５１が担っている。

ライン間ＤＦＴ部５１は、フリッカ抽出部３５で抽出されたフリッカ成分の周波数に基づく期間について、同一フレーム上の第１のライン積分値からなる第１のライン積分値列に対して離散フーリエ変換を施す。ここでのライン間ＤＦＴ部５１は、第１のライン積分値列に対するフーリエ係数の算出において、フリッカ抽出部３５で抽出されたフリッカ成分の情報に基づく、フリッカ成分の想定周波数を含むその近隣の周波数に相当するフーリエ係数のみを算出する。これにより、ライン間ＤＦＴ部５１は全ての周波数に対してフーリエ係数を求める必要はないため、ライン間ＤＦＴ部５１での演算量が抑えられ、これによって電力消費が抑えられる。

フリッカ抽出部５２は、ライン間ＤＦＴ部５１の離散フーリエ変換の結果得られたフーリエ係数を用いて、フリッカ抽出処理を行い、最終的なフリッカ成分の第１情報（周波数、位相、振幅比）をフリッカ係数算定部３６へ出力する。具体的には、本来の画像成分の強度に対してフリッカが認知され始めるフリッカ成分の割合から所定の比率を定めておく。フリッカ抽出部５２は、ライン間ＤＦＴ部５１からのフーリエ係数の中から、ＤＣに相当する位置のフーリエ係数に対して前記所定の比率を越えるものを探し、見つかれば、その周波数にフリッカ成分が存在すると判定する。

フリッカ抽出部５２は、このようにして、フリッカ成分が存在する周波数を特定する。続いて、フリッカ抽出部５２は、フリッカ成分が存在すると特定された周波数に相当する位置の、複素数であるフーリエ係数の大きさと偏角とから、フリッカ成分の振幅と位相を算出し、ＤＣに相当する位置のフーリエ係数の振幅に対する算出したフリッカ成分の振幅の振幅比を求める。そして、フリッカ抽出部５２は、フリッカ成分の第１情報（周波数、位相、振幅比）をフリッカ係数算定部３６へ出力する。

なお、上記のフリッカ成分の周波数及びフレームレートは例示であって、これに限られるものではない。
＜フリッカ低減部２１ａの動作＞
図６は図５のフリッカ低減部２１ａによるフリッカ低減処理の処理フローを示すフローチャートである。

ライン積分部３１、サンプリング部３２、画面間ＤＦＴ部３４及びフリッカ抽出部３５は、第１の実施の形態で説明したステップ１１からステップＳ１７の処理を行う。
ライン間ＤＦＴ部５１は、フリッカ抽出部３５で抽出されたフリッカ成分の周波数に基づく周期に関し、少なくとも１周期の期間について、ライン積分部３１からの第１のライン積分値からなる第１のライン積分値列に対して離散フーリエ変換を施す（ステップＳ３１）。フリッカ抽出部５２は、ライン間ＤＦＴ部５１による離散フーリエ変換の結果得られたフーリエ係数からフリッカ成分のより正確な第１情報（周波数、位相、振幅比）を抽出する（ステップＳ３２）。フリッカ係数算定部３６は、フリッカ抽出部５２からのフリッカ成分の第１情報（周波数、位相、振幅比）に基づいて、現在フリッカ低減部２１ａに入力されているフレームのデジタル画像信号に対応するフリッカ係数を求める（ステップＳ１８Ａ）。補正演算部３７は、ステップＳ１８Ａで求められたフリッカ係数に基づいて、デジタル画像信号に対してフリッカ成分の低減演算を実行する（ステップＳ１９）。

第２の実施の形態による撮像装置内のフリッカ低減部２１ａによれば、第１の実施の形態のフリッカ低減部２１による効果に加え、ライン間ＤＦＴ部５１及びフリッカ抽出部５２を設けることによってフリッカ成分の周波数、位相及び振幅比をより正確に求めることができ、デジタル画像信号からより的確にフリッカ成分を低減することが可能になる。
≪第３の実施の形態≫
以下、本発明の第３の実施の形態について図面を参照しつつ説明する。但し、第３の実施の形態フリッカ低減部２１ｂは、第２の実施の形態のフリッカ低減部２１ａに、圧縮符号化部２２ｂ内の動き検出部（ＭＶ部）７１での動き検出の結果を利用してサンプリング部３２ｂが第２のライン積分値を採取する水平ラインを決定する機能を付加したものである。

本実施の形態の撮影装置は、デジタル信号処理部１７ｂ以外の各構成要素については第１又は第２の実施の形態の撮影装置の対応する各構成要素と実質的に同じであるため、本実施の形態では、デジタル信号処理部１７ｂについて説明する。なお、本実施の形態において、第１又は第２の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略し、或いは、簡単な記載に留める。

＜デジタル信号処理部＞
図７は本実施の形態のデジタル信号処理部１７ｂの一構成例を示すブロック図である。
デジタル信号処理部１７ｂ内の圧縮符号化部２３ｂは、動画像の圧縮符号化を行う際に、その内部でフレーム間予測を行い、画像ブロックのフレーム間での動きを検出する動き検出部（ＭＶ部）７１を備えている。圧縮符号化部２３ｂ内の動き検出部７１は、画像ブロックのフレーム間での動きを検出し、検出結果に基づく動きベクトルをフリッカ低減部２１ｂ内のサンプリング部３２ｂへ出力する。なお、圧縮符号化部２３ｂは、一般的な圧縮符号化部の構成に、外部のフリッカ低減部２１ｂ内のサンプリング部３２ｂへ動きベクトルを出力する部分を付加したものである。

フリッカ低減部２１ｂは、ライン積分部３１及びサンプリング部３２ｂからなる取得部３０ｂと、メモリ３３と、画面間ＤＦＴ部３４と、フリッカ抽出部３５と、ライン間ＤＦＴ部５１と、フリッカ抽出部５２と、フリッカ係数算定部３６と、補正演算部３７とを備える。サンプリング部３２ｂは、圧縮符号化部２３ｂ内のＭＶ部７１から動きベクトルを受け取り、受け取った動きベクトルに基づいて標本対象の水平ラインの決定を行い、決定した水平ラインの第１のライン積分値を第２のライン積分値として採取する。

例えば、サンプリング部３２ｂは、前フレーム上で、標本対象とした水平ラインが、現フレーム上のどの水平ラインに対応するかを、ＭＶ部７１からの動きベクトルにより予測する。そして、サンプリング部３２ｂは、現フレーム上の対応する水平ラインを標本対象の水平ラインに決定し、標本対象に決定した水平ラインの第１のライン積分値を第２のライン積分値として採取する。なお、サンプリング部３２ｂは、例えば、前フレームの標本対象とした水平ラインに対して、受け取った動きベクトルに相当する水平ライン数分、或いは、過去の複数のフレーム間分の動きベクトルに相当する水平ライン数を近似曲線で結んで前フレームから現フレームまでの動きに相当する水平ライン数を推定して推定した水平ライン数分、を加算或いは減算し、現フレーム上の対応する水平ラインを予測する。但し、動きベクトルを用いた現フレーム上の対応する水平ラインの予測方法はこれに限られるものではない。

但し、本実施の形態では、第１及び第２の実施の形態と異なり、画面間ＤＦＴ部３４は離散フーリエ変換に際して、同じ垂直座標の水平ラインの第２のライン積分値を用いるとは限らない。このため、画面間ＤＦＴ部３４が離散フーリエ変換を施す第２のライン積分値列を構成する第２のライン積分値を識別できるように、例えば、サンプリング部３２ｂは対応する水平ラインの第２のライン積分値に同じ識別情報を付加して出力するなどの処理を行う。なお、画面間ＤＦＴ部３４は、サンプリング部３２ｂによって採取された直近のフレームの第２のライン積分値と、その第２のライン積分値の水平ラインに関連する、メモリ３３から読み出した、当該直近のフレームより前の複数フレーム分の第２のライン積分値とからなる第２のライン積分値列に対して離散フーリエ変換を施すことになる。

第３の実施の形態による撮像装置内のフリッカ低減部２１ｂによれば、第２の実施の形態のフリッカ低減部２１による効果に加え、サンプリング部２１ｂがＭＶ部７１からの動きベクトルに基づいて標本対象の水平ラインを決定することによって、フリッカ成分の抽出が被写体の動き、撮像装置のブレなどに追随できるため、デジタル画像信号からより的確にフリッカ成分を低減することが可能になる。

≪補足≫
本発明は上記の実施の形態で説明した内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するためのいかなる形態においても実施可能であり、例えば、以下であってもよい。
（１）上記の各実施の形態では、フリッカ低減部を有する機器が撮影装置であるとしたが、これに限られるものではなく、フリッカ低減部を有する機器は、例えば、レコーダなどの機器であってもよい。

（２）上記の第１の実施の形態では、ライン積分部３１及びサンプリング部３２によって取得部３０を構成するとしたが、これに限られるものではなく、取得部は例えば次のようなものであってもよい。取得部は、１フレームを構成する全ての水平ラインの中から、つまり、複数の水平ラインの中から、一部の水平ラインを選択し、選択した一部の水平ラインについてのみ１水平ラインのデジタル画像信号の積分を行い、積分値を第２のライン積分値として出力するようにしてもよい。このようにすることによって、取得部での演算量の削減が図られ、取得部による消費電力が抑えられる。

（３）上記の各実施の形態では、ライン積分部３１は、ライン積分値をそのまま第１のライン積分値として出力するとしたが、これに限らず、例えば、次のようなものであってもよい。ライン積分部３１はライン積分値を例えば１水平ラインの画素の数で除算することによって当該ライン積分値を正規化した値を第１のライン積分値として出力するようにしてもよい。

（４）上記の各実施の形態では、ライン積分部３１は、１水平ラインの全てのデジタル画像信号の積分を求め、求めたライン積分値を第１のライン積分値として出力するとしたが、これに限られるものではなく、例えば次のようなものであってもよい。ライン積分部３１は、１水平ラインの所定の条件を満たす一部のデジタル画像信号の積分を求め、求めたライン積分値を積分したデジタル画像信号の数で除算することによって当該ライン積分値の正規化を行い、正規化したライン積分値を第１のライン積分値として出力するようにしてもよい。例えば、所定の条件は、１水平ラインのうちの予め定められた複数の画素のデジタル画像信号である。なお、この場合には、ライン積分部３１はライン積分値をそのまま第１のライン積分値として出力してもよい。また、所定の条件は、１水平ラインのうちのデジタル画像信号の値が所定の範囲（例えば、所定の下限値以上、所定の上限値以下）内にあるデジタル画像信号である。下限値以上とすることによってＳＮ比（Signal-to Noise Ratio）が悪い恐れがあるデジタル画像信号が除かれ、上限値以下にすることによって飽和が行っている恐れがあるデジタル画像信号が除かれるため、フリッカ成分の周波数、位相、振幅比の算出精度の向上が期待できる。

（５）上記の各実施の形態のサンプリング部３２，３２ｂに、第２のライン積分値の標本対象の水平ライン位置を、第１のライン積分値が所定の範囲（所定の下限値以上、所定の上限値以下）外の場合は不適切な水平ラインと判断し、例えば、第１のライン積分値が当該所定の範囲内にある水平ライン、又は、第１のライン積分値が当該所定の範囲内で最大の第１のライン積分値をもつ水平ラインに変更する機能を付加してもよい。これによって、フリッカ成分の抽出の信頼性をより高めることが期待できる。

（６）上記の各実施の形態では、画面間ＤＦＴ部３４は、サンプリング部３２が第２のライン積分値を採取した複数の水平ラインから最も条件の良い１つの水平ラインを選択して離散フーリエ変換を行うとしたが、これに限られるものではなく、例えば、次のようなものであってもよい。画面間ＤＦＴ部３４は、第２のライン積分値が所定の範囲（所定の下限値以上、所定の上限値以下）内にある標本対象の水平ラインの何れか１つを選択して離散フーリエ変換を行うようにしてもよい。また、画面間ＤＦＴ部３４は、２本以上の少数の水平ラインの夫々について、離散フーリエ変換を行い、各水平ライン間のフーリエ係数の相関を評価し、高い正の相関を有するフーリエ係数を採用するようにしてもよく、この場合、フリッカ成分のより高い抽出精度が期待できる。

（７）上記の第１の実施の形態のフリッカ低減部２１に、フリッカ抽出部３５が抽出したフリッカ成分の振幅或いは振幅比が所定の値以下である場合に、補正演算部３７でのフリッカ成分の低減演算を停止する機能を付加してもよい。また、上記の第２から第３の実施の形態のフリッカ低減部２１ａ，２１ｂに、フリッカ抽出部５２が抽出したフリッカ成分の振幅或いは振幅比が所定の値以下である場合に、補正演算部３７でのフリッカ成分の低減演算を停止する機能を付加してもよい。こうすることによって、画素毎に処理される除算を含んだ演算処理を行わないため、補正演算部３７での消費電力を低減する効果が得られる。

（８）上記の第１の実施の形態では、ライン露光（ローリングシャッタ）式のイメージセンサに起因したフレームの垂直座標方向で発生するフリッカの低減を対象として説明したが、これに限定されるものではない。例えば、ＣＣＤ（Charge Coupled Device）イメージセンサなどのグローバルシャッター式のイメージセンサに起因したフレーム間で生じるフリッカの低減を対象にしてもよい。

（９）上記の第１の実施の形態の圧縮符号化部２３及びサンプリング部３２を、上記の第３の実施の形態で説明したＭＶ部７１を有する圧縮符号化部２３ｂ及びサンプリング部３２ｂに置き換えても良い。
（１０）上記の第２及び第３の実施の形態において、フリッカ抽出部３５は画面間ＤＦＴ部３４からのフーリエ係数からフリッカ成分の周波数、位相及び振幅比を抽出するとしたが、これに限られるものではなく、例えば、画面間ＤＦＴ部３４からのフーリエ係数からフリッカ成分の周波数のみを抽出し、ライン間ＤＦＴ部５１へ出力するようにしてもよい。なお、この場合、フリッカ抽出部５２がライン間ＤＦＴ部５１からのフーリエ係数からフリッカ成分の第１情報を抽出できなかった場合にはデジタル画像信号からフリッカ成分を低減することができなくなるが、フリッカ抽出部３５での処理負荷が軽減され、低消費電力化につながる。

（１１）上記の第３の実施の形態では、サンプリング部３２ｂは、ＭＶ部７１からの動きベクトルを利用して、前フレーム上で選択した水平ラインが、現フレーム上のどの水平ラインに対応するかを予測して、現フレーム上の対応する水平ラインの第１のライン積分値を第２のライン積分値として採取しているが、これに限らず、例えば次のようなものであってもよい。サンプリング部３２ｂは、フレーム上の同じ垂直位置にある動きベクトルの分散を評価し、分散が小さい垂直位置の水平ラインを、サンプリング対象の水平ラインに決定する。このようにすることによって、画像変化の少ない水平ラインについてフリッカ成分の抽出が行えるため、デジタル画像信号からより的確にフリッカ成分を低減することが可能になる。

ここで、一例を記載する。動きベクトルの水平成分の平均が０に近く、分散小、かつ、垂直成分の分散が小さいことが望ましい。即ち、画像が垂直方向に等速で移動している条件を示している。更に、垂直成分の平均が０に近い条件を加えると静止条件となり、上記のようなサンプリング部３２ｂが動きに追随する処理を行わない場合は、静止条件に適合するラインを選択する。

（１２）上記の各実施の形態では、画面間ＤＦＴ部３４は商用電源の周波数とフレームレートとを考慮することなく第２のライン積分値列に対して離散フーリエ変換を行うものとしたが、これに限らず、例えば商用電源の周波数とフレームレートとを考慮して第２のライン積分値列に対して離散フーリエ変換を施すようにしてもよい。
例えば、商用電源の周波数が５０Ｈｚ及び６０Ｈｚによる蛍光灯フリッカに限定した場合、商用電源の周波数５０Ｈｚ及び６０Ｈｚの夫々による蛍光灯のフリッカは、それぞれ１００Ｈｚ及び１２０Ｈｚとなる。これに限定したフリッカ低減を行う場合、撮像のフレームレートが定まれば、離散フーリエ変換後のどの周波数位置にフリッカ成分によるフーリエ係数の大きさのピークが表れるかが分かる。このため、画面間ＤＦＴ部３４は、商用電源の周波数とフレームレートとからフリッカ成分が現れる候補の周波数を推定し、推定したフリッカ成分が現れる候補の周波数を含む近隣の周波数に相当する位置のフーリエ係数を求める。このように、画面間ＤＦＴ部３４は、フリッカ成分が現れる候補の周波数を含む近隣の周波数に相当する位置のフーリエ係数のみを算出すればよく、全ての周波数に相当する位置のフーリエ係数を算出する必要はなくなり、画面間ＤＦＴ部３４の演算量を大幅に削減できる。

例えば、フレームレート１８０ｆｐｓのとき、エイリアシングにより１００Ｈｚのフリッは８０Ｈｚの位置に、１２０Ｈｚのフリッカは６０Ｈｚの位置に、フリッカ成分によるピークが表れる。そのため、この８０Ｈｚ、６０Ｈｚの近隣に位置する１〜数箇所のフーリエ係数をそれぞれ求めて、その大きさを評価すればよい。
なお、上記において、商用電源の周波数を５０Ｈｚ、６０Ｈｚとしたが、これに限られるものではなく、商用電源の周波数を適宜使用される可能性がある商用電源の周波数に置き換えればよい。また、上記において、フレームレートを１８０ｆｐｓとしたが適宜使用されるフレームレート値に置き換えればよい。

（１３）上記の各実施の形態の撮像装置、当該撮像装置内のフリッカ低減部は、例えば集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、全てまたは一部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（１４）上記の各実施の形態で説明したフリッカ低減部の動作の手順の少なくとも一部をプログラムに記載し、例えばＣＰＵ（Central Processing Unit）がメモリに記憶された当該プログラムを読み出して実行するようにしてもよい。また、上記のプログラムを記録媒体に保存して頒布等するようにしてもよい。
（１５）上記の各実施の形態で説明したフリッカ低減部の構成の一部を装置又は集積回路で実現し、その一部を除く構成が行う動作の手順をプログラムに記載し、例えばＣＰＵ（Central Processing Unit）がメモリに記憶された当該プログラムを読み出して実行することによって実現してもよい。

（１６）上記の各実施の形態で説明した内容、及び上記の補足において説明した内容を適宜組み合わせることができる。

本発明は、照明の明滅によって撮影画像に明暗となって生じるフリッカの成分を当該撮影画像に係る画像信号から低減する手段において有用である。

１０ 撮像装置
１１ 撮像光学系部品
１２ 撮像素子
１３ システムコントローラ
１４ 光学系ドライバ
１５ 撮像素子制御部（ＩＳ制御部）
１６ アナログフロントエンド部（ＡＦＥ部）
１７，１７ｂ デジタル信号処理部
２１，２１ｂ，２１ｃ フリッカ低減部
２２ 信号処理部
２３，２３ｂ 圧縮符号化部
３０ 取得部
３１ ライン積分部
３２，３２ｂ サンプリング部
３３ メモリ
３４ 画面間ＤＦＴ部
３５ フリッカ抽出部
３６ フリッカ係数算定部
３７ 補正演算部
５１ ライン間ＤＦＴ部
５２ フリッカ抽出部
７１ 動き検出部（ＭＶ部）

Claims (7)

1. 撮像素子にて撮影された画像信号中に含まれ、照明に起因するフリッカ成分を当該画像信号から低減するフリッカ低減装置であって、
   画面毎に、画面を構成する一部の水平ラインについて、前記画像信号に基づいて標本のライン積分値を取得する取得部と、
   前記取得部にて取得された前記標本のライン積分値を、複数の画面分格納するメモリと、
   前記取得部により直近に取得された一の画面の前記標本のライン積分値と、この標本のライン積分値と画面の同一位置のラインに属する前記メモリに格納された当該一の画面より前の複数の画面分の標本のライン積分値と、からなる標本ライン積分値列に対して離散フーリエ変換を施す画面間離散フーリエ変換部と、
   前記画面間離散フーリエ変換部による離散フーリエ変換の結果に基づいてフリッカ成分の情報を抽出するフリッカ抽出部と、
   前記フリッカ成分の情報に基づいて前記画像信号に対するフリッカ係数を算定するフリッカ係数算定部と、
   前記フリッカ係数に基づいて前記画像信号に対してフリッカ成分の低減演算を実行する補正演算部と、
   を備え、
   前記フリッカ抽出部は、フリッカ成分の周波数が撮影フレームレートの１／２の周波数より高い場合には、撮影フレームレートの１／２の周波数で折り返した周波数の成分に対してフリッカ成分の情報を抽出する
   ことを特徴とするフリッカ低減装置。
2. 前記取得部は、
   画面毎に、画面を構成する複数の水平ラインについて、１水平ラインの全て又は所定の条件を満たす一部の画像信号を積分し、積分値又は当該積分値を正規化した値を第１のライン積分値とするライン積分部と、
   画面毎に、前記画面を構成する複数の水平ラインの第１のライン積分値の中から、前記一部の水平ラインの第１のライン積分値を前記標本のライン積分値として採取するサンプリング部と、
   を備え、
   前記フリッカ低減装置は、
   前記フリッカ成分の情報に含まれるフリッカ成分の周波数に基づく期間で、同一画面上の前記第１のライン積分値からなる第１のライン積分値列に対して離散フーリエ変換を施すライン間離散フーリエ変換部と、
   前記ライン間離散フーリエ変換部による離散フーリエ変換の結果に基づいてフリッカ成分の第１情報を抽出する第１フリッカ抽出部と、
   を更に備え、
   前記フリッカ係数算定部は、前記画像信号に対するフリッカ係数の算定を、前記フリッカ成分の第１情報に基づいて行う
   請求項１記載のフリッカ低減装置。
3. 前記サンプリング部は、標本対象の水平ラインの第１のライン積分値が所定の範囲外の場合、標本対象の水平ラインを前記第１のライン積分値が前記所定の範囲内にある別の水平ラインに変更する
   請求項２記載のフリッカ低減装置。
4. 前記サンプリング部は、画像ブロックの画面間での動きベクトルに基づいて、標本対象の水平ラインを決定する
   請求項２記載のフリッカ低減装置。
5. 前記画面間離散フーリエ変換部は、
   商用電源の周波数と前記画像信号に関するフレームレートとに基づいてフリッカ成分が現れる候補の周波数を推定し、
   推定した当該フリッカ成分が現れる候補の周波数に基づいて、前記標本ライン積分値列に対して離散フーリエ変換を施す
   請求項２記載のフリッカ低減装置。
6. 撮像素子にて撮影された画像信号中に含まれ、照明に起因するフリッカ成分を当該画像信号から低減する集積回路であって、
   画面毎に、画面を構成する一部の水平ラインについて、前記画像信号に基づいて標本のライン積分値を取得する取得部と、
   前記取得部にて取得された前記標本のライン積分値を、複数の画面分格納するメモリと、
   前記取得部により直近に取得された一の画面の前記標本のライン積分値と、この標本のライン積分値と画面の同一位置のラインに属する前記メモリに格納された当該一の画面より前の複数の画面分の標本のライン積分値と、からなる標本ライン積分値列に対して離散フーリエ変換を施す画面間離散フーリエ変換部と、
   前記画面間離散フーリエ変換部による離散フーリエ変換の結果に基づいてフリッカ成分の情報を抽出するフリッカ抽出部と、
   前記フリッカ成分の情報に基づいて前記画像信号に対するフリッカ係数を算定するフリッカ係数算定部と、
   前記フリッカ係数に基づいて前記画像信号に対してフリッカ成分の低減演算を実行する補正演算部と、
   を備え、
   前記フリッカ抽出部は、フリッカ成分の周波数が撮影フレームレートの１／２の周波数より高い場合には、撮影フレームレートの１／２の周波数で折り返した周波数の成分に対してフリッカ成分の情報を抽出する
   ことを特徴とする集積回路。
7. 撮像素子にて撮影された画像信号中に含まれ、照明に起因するフリッカ成分を当該画像信号から低減するフリッカ低減方法であって、
   画面毎に、画面を構成する一部の水平ラインについて、前記画像信号に基づいて標本のライン積分値を取得する取得ステップと、
   前記取得ステップにて取得された前記標本のライン積分値を、メモリに複数の画面分格納する格納ステップと、
   前記取得ステップにおいて直近に取得された一の画面の前記標本のライン積分値と、この標本のライン積分値と画面の同一位置のラインに属する前記メモリに格納された当該一の画面より前の複数の画面分の標本のライン積分値と、からなる標本ライン積分値列に対して離散フーリエ変換を施す画面間離散フーリエ変換ステップと、
   前記画面間離散フーリエ変換ステップにおける離散フーリエ変換の結果に基づいてフリッカ成分の情報を抽出するフリッカ抽出ステップと、
   前記フリッカ成分の情報に基づいて前記画像信号に対するフリッカ係数を算定するフリッカ係数算定ステップと、
   前記フリッカ係数に基づいて前記画像信号に対してフリッカ成分の低減演算を実行する補正演算ステップと、
   を有し、
   前記フリッカ抽出ステップは、フリッカ成分の周波数が撮影フレームレートの１／２の周波数より高い場合には、撮影フレームレートの１／２の周波数で折り返した周波数の成分に対してフリッカ成分の情報を抽出する
   ことを特徴とするフリッカ低減方法。

Images