JP6013667B1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

効率的にフリッカを抑制することを目的として、画像処理装置（１）は、入力画像信号からフリッカ成分をフレーム毎に検出し、第１フリッカ補正信号を生成するフリッカ検出部（２）と、生成された第１フリッカ補正信号を直近の連続する複数フレーム分保持するフリッカ補正信号保持部（１０）と、保持された過去の第１フリッカ補正信号から、略同一の位相を有する第１フリッカ補正信号を選択して、最新の第１フリッカ補正信号との位相ズレ量を検出する位相ズレ検出部（１１）と、検出された位相ズレ量に基づいて、選択された過去の第１フリッカ補正信号を補正する位相ズレ補正部（１２）と、補正された過去の第１フリッカ補正信号と、最新の第１フリッカ補正信号とを所定の比率で合成し、第２フリッカ補正信号を生成する巡回型の補正信号合成部（１３）と、生成された第２フリッカ補正信号に基づいて、入力画像信号を補正するフリッカ補正部（４）とを備える。

Description

本発明は、画像処理装置および画像処理方法に関するものである。

例えば、ＣＭＯＳイメージセンサなどのＸＹアドレス方式の撮像素子を用いる撮像装置では、蛍光灯などの電源周波数に対応して明るさが変動する照明下で動画撮影を行うと、フレーム画像の垂直方向に周期的な明暗が現れる横縞模様のフリッカが発生する。そして、このようにして画像中に発生したフリッカ成分を画像処理により軽減する種々の方法が知られている（例えば、特許文献１から３参照。）。

特許文献１に開示されている画像処理方法は、撮像素子における光電荷の蓄積時間が各ラインで異なる撮像装置において、連続する３ｎ（ｎは正の整数）フレーム内の各画素の出力信号レベルを、当該連続する３ｎフレーム内の各画素の出力信号レベルの平均値で除算する。そして、除算した値の逆数に比例するように、当該連続する３ｎフレーム内の各画素の出力信号レベルを増幅する利得を制御している。これにより、放電による照明光を使用した際に発生するフリッカ成分を軽減している。

あるいは、連続した３ｎフレーム内のそれぞれ複数の画素からなる各画素群の出力総信号レベルを、当該連続した３ｎフレーム内の複数の画素群の出力総信号レベルの平均値で除算し、その除算した値の逆数に比例するように、当該連続した３ｎフレーム内の各画素の出力信号レベルを増幅する利得を制御している。

また、特許文献２に開示されている画像処理方法は、特許文献１に開示されている基本構成に加えて、算出したフリッカ成分に対して巡回型のローパスフィルタで時間的に安定させる方法と、フレーム間の動き情報に基づいて前記巡回型のローパスフィルタの巡回係数を制御する方法が開示されている。特許文献１の手法では、連続した３ｎフレーム内に大きな動きがあった場合に算出したフリッカ成分が大きく乱れることがあるが、特許文献２の手法では、動き情報に連動した巡回型のローパスフィルタを用いることでフリッカ成分の誤検出や過補正を抑制できるとしている。

さらに、特許文献３では、特許文献１に開示されている基本構成に加えて、連続する３ｎフレーム間で撮像画像中の動きが極めて大きい場合、もしくは電源周波数や撮像フレームレートの変動によりフリッカ成分の位相が変化する場合でも、過去フレームで算出したフリッカ成分の位相を適宜調整して現フレームに適用することにより良好にフリッカを抑制できるとしている。

特開平１０−９３８６６号公報 特開２０１２−２２２７３９号公報 特開２０１４−２７４９６号公報

近年のデジタルスチルカメラは動画撮影が可能となっているものが多く、動画画質もデジタルスチルカメラの性能の中で重要な位置を占めるようになってきている。しかし、最初から動画撮影専用として設計されるデジタルビデオカメラ等と比較してデジタルスチルカメラの動画機能は様々な問題がある。その中の一つとして、撮像素子を駆動するクロック周波数が、幾つかの映像規格に基づく所定のフレームレートに合わせて、高精度に合わせこまれていないという点がある。例えば、目標フレームレートが６０ｆｐｓであった場合でも、実際に撮像素子を駆動する信号は６０．０５ｆｐｓとなる場合がある。

このような撮像フレームレートの誤差は、通常の撮影においては特に問題となるようなものではないが、前述のようなフリッカ補正を同時に行う場合においては以下の問題がある。
例えば、かかる状況下で特許文献２に開示されるようにフリッカ成分に巡回型のローパスフィルタを掛けると、撮像フレームレートの変動によりフリッカ成分の位相も微動しているため、本来のフリッカ成分に対してピーク値の低下や位相のズレが発生し、結果としてフリッカ補正効果が低減することとなる。

また、特許文献３に開示される手法では、算出されたフリッカ成分に対してＤＦＴを用いて位相変動量を直接算出し、変動が大きい場合には過去に算出したフリッカ成分の位相を調整して現フレームに適用することで撮像フレームレートの誤差による影響を低減しているが、ＤＦＴで上記のような微小な位相変動を精度良く測定するにはより多くのサンプリング点が必要であり、かつ、ＤＦＴ演算部自体の実装コストも大きいという課題がある。

本発明は上述した事情に鑑みてなされたものであって、電源周波数または撮像フレームレートに誤差を含む場合であっても、画像からフリッカ成分を精度よくかつ安定的に抽出し、効率的にフリッカの抑制を行うことができる画像処理装置を提供することを目的とする。

本発明の一態様は、入力画像信号からフリッカ成分をフレーム毎に検出し、第１フリッカ補正信号を生成するフリッカ検出部と、該フリッカ検出部により生成された前記第１フリッカ補正信号を直近の連続する複数フレーム分保持するフリッカ補正信号保持部と、前記フリッカ検出部により最新の前記第１フリッカ補正信号が検出されたときに該フリッカ補正信号保持部に保持された過去の前記第１フリッカ補正信号の中から、略同一の位相を有する過去の前記第１フリッカ補正信号を選択して、最新の第１フリッカ補正信号との位相ズレ量を検出する位相ズレ検出部と、該位相ズレ検出部により検出された前記位相ズレ量に基づいて、選択された過去の前記第１フリッカ補正信号の位相ズレを補正する位相ズレ補正部と、該位相ズレ補正部により位相ズレが補正された過去の前記第１フリッカ補正信号と、最新の前記第１フリッカ補正信号とを所定の比率で合成し、第２フリッカ補正信号を生成する巡回型の補正信号合成部と、該補正信号合成部により生成された前記第２フリッカ補正信号に基づいて、入力画像信号を補正するフリッカ補正部とを備える画像処理装置である。

本態様によれば、フリッカ検出部により検出されたフリッカ成分から生成された第１フリッカ補正信号が、複数フレーム分、フリッカ補正信号保持部に保持され、位相ズレ検出部において、最新の第１フリッカ補正信号と略同一の位相を有する過去の第１フリッカ補正信号が選択され、２つの第１フリッカ補正信号間の位相ズレ量が検出される。位相ズレ補正部において、検出された位相ズレ量に基づいて、位相ズレ検出部において選択された過去の第１フリッカ補正信号の位相ズレが補正された後に、巡回型の補正信号合成部において２つの第１フリッカ補正信号が所定の比率で合成されることにより、第２フリッカ補正信号が生成される。そして、フリッカ補正部において、生成された第２フリッカ補正信号を用いて入力画像信号が補正され、フリッカが除去される。

すなわち、撮像フレームレートに誤差がある場合において、フリッカ補正を行う際に、過去に算出された第１フリッカ補正信号の位相ズレを予め補正することにより、巡回型の補正信号合成部において生成される第２フリッカ補正信号の精度低下を防止し、入力画像信号のフリッカを精度よく除去することができる。

上記態様においては、前記位相ズレ検出部が、前記入力画像信号を取得する際における周囲環境における電源周波数と、該入力画像信号を取得する際の撮像フレームレートとに基づいて決定されるフリッカの発生周期に一致するフレーム数分過去の前記第１のフリッカ補正信号を選択してもよい。
このようにすることで、位相が最も近い過去フレームの第１フリッカ補正信号を簡易に選択することができる。例えば、電源周波数が５０Ｈｚ、撮像フレームレートが６０ｆｐｓの場合には、３フレーム前の第１フリッカ補正信号の位相が最新の第１フリッカ補正信号の位相と略同一になるので、位相ズレ検出部においては、３フレーム前の第１フリッカ補正信号が選択され、位相ズレ量が検出される。

また、上記態様においては、前記入力画像信号を所定の比率で縮小して前記フリッカ検出部に入力する縮小画像生成部と、前記第２フリッカ補正信号を前記比率で拡大して前記フリッカ補正部に入力する補正信号拡大部とを備えていてもよい。
このようにすることで、第１フリッカ補正信号および第２フリッカ補正信号の算出過程における演算量を大幅に削減し、リアルタイムにフリッカ補正を行うことができる。

また、上記態様においては、前記位相ズレ検出部が、２つの前記第１フリッカ補正信号に対してパターンマッチングを行うことにより位相ズレを検出してもよい。
このようにすることで、ＤＦＴ（離散フーリエ変換）等の比較的コストの高い処理を行うことなく、過去フレームで検出した第１フリッカ補正信号との位相ズレ量を簡易に検出することができる。

また、本発明の他の態様は、入力画像信号からフリッカ成分をフレーム毎に検出し、第１フリッカ補正信号を生成するフリッカ検出ステップと、該フリッカ検出ステップにより生成された前記第１フリッカ補正信号を直近の連続する複数フレーム分保持するフリッカ補正信号保持ステップと、前記フリッカ検出ステップにより最新の前記第１フリッカ補正信号が検出されたときに該フリッカ補正信号保持ステップにおいて保持された過去の前記第１フリッカ補正信号の中から、略同一の位相を有する過去の前記第１フリッカ補正信号を選択して、最新の第１フリッカ補正信号との位相ズレ量を検出する位相ズレ検出ステップと、該位相ズレ検出ステップにより検出された前記位相ズレ量に基づいて、選択された過去の前記第１フリッカ補正信号の位相ズレを補正する位相ズレ補正ステップと、該位相ズレ補正ステップにより位相ズレが補正された過去の前記第１フリッカ補正信号と、最新の前記第１フリッカ補正信号とを所定の比率で合成し、第２フリッカ補正信号を生成する補正信号合成ステップと、該補正信号合成ステップにより生成された前記第２フリッカ補正信号に基づいて、入力画像信号のフリッカを補正するフリッカ補正ステップとを含む画像処理方法である。

上記態様においては、前記入力画像信号を所定の比率で縮小する縮小画像生成ステップと、前記第２フリッカ補正信号を前記比率で拡大する補正信号拡大ステップとを含み、前記フリッカ検出ステップが、前記縮小画像生成ステップにおいて縮小された入力画像信号から第１フリッカ補正信号を生成し、前記フリッカ補正ステップが、前記補正信号拡大ステップにおいて拡大された第２フリッカ補正信号に基づいてフリッカを補正してもよい。

本発明によれば、電源周波数または撮像フレームレートに誤差を含む場合であっても、画像からフリッカ成分を精度よくかつ安定的に抽出し、効率的にフリッカの抑制を行うことができるという効果を奏する。

本発明の一実施形態に係る画像処理装置を示すブロック図である。 図１の画像処理装置のフリッカ検出部の動作を説明するための連続する３フレーム分の画像例およびそれらの加算画像例を示す図である。 図２Ａの最新の入力画像および加算画像におけるライン積算データを示す図である。 図２Ｂの２つの画像から抽出されたフリッカ補正信号例を示す図である。 図１の画像処理装置のフリッカ補正信号保持部により検出される複数フレーム分のフリッカ補正信号の位相関係を示す図である。 図１の画像処理装置を用いた画像処理方法を説明するフローチャートである。 図１の画像処理装置の変形例を示すブロック図である。 図５の画像処理装置におけるフリッカ補正信号整形部を示すブロック図である。 図６のフリッカ補正信号整形部による補間を説明する図である。

本発明の一実施形態に係る画像処理装置１および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置１は、図１に示されるように、カメラにより取得された入力画像信号から第１フリッカ補正信号を算出するフリッカ検出部２と、該フリッカ検出部２により検出された第１フリッカ補正信号を整形して第２フリッカ補正信号を生成するフリッカ補正信号整形部３と、該フリッカ補正信号整形部３により生成された第２フリッカ補正信号を用いて入力画像信号を補正するフリッカ補正部４とを備えている。

本実施形態の説明においては、カメラにより撮影する際の照明の電源周波数が５０Ｈｚ、カメラの撮像フレームレートが６０ｆｐｓ（フレーム／秒）である場合について説明する。

フリッカ検出部２は、カメラから送られてきた入力画像信号を保持するフレームメモリ５を備えている。フレームメモリ５は、最新のフレーム（以下、現フレームという。）の入力画像信号Ｉ（ｎ）および現フレームに対する直近の過去２フレーム（以下、過去フレームという。）分の入力画像信号Ｉ（ｎ−１），Ｉ（ｎ−２）の３フレーム分の入力画像信号を保持するようになっている。

また、フリッカ検出部２は、フレームメモリ５に記憶されている３フレーム分の入力画像信号Ｉ（ｎ−２），Ｉ（ｎ−１），Ｉ（ｎ）を加算平均するフレーム加算部６を備えている。フレーム加算部６においては以下の演算が行われ、加算平均された平均画像信号Ｓ（ｎ）が出力されるようになっている。
Ｓ（ｎ）＝（Ｉ（ｎ）＋Ｉ（ｎ−１）＋Ｉ（ｎ−２））／３

ここで、入力画像信号Ｉ（ｎ−２），Ｉ（ｎ−１），Ｉ（ｎ）および加算平均された画像信号Ｓ（ｎ）は、それぞれ、図２Ａに例示されるような関係となる。すなわち、入力画像信号Ｉ（ｎ−２），Ｉ（ｎ−１），Ｉ（ｎ）には、それぞれ位相が２π／３ずつずれたフリッカ縞が発生している。また、平均画像信号Ｓ（ｎ）は、加算平均によってフリッカ縞が打ち消され、縞のない画像信号となっている。一般的に人の視覚は１００Ｈｚを越える時間分解能を持たないため肉眼で見た場合には平均画像信号Ｓ（ｎ）に近い像が認識される。

また、フリッカ検出部２は、現フレームの入力画像信号Ｉ（ｎ）の左上隅を原点として、入力画像信号Ｉ（ｎ）の縦方向（ラインの配列方向）の各位置ｙにおいて、入力画像信号Ｉ（ｎ）を横方向（ラインに沿う方向）ｘに積算するライン方向積算部７と、平均画像信号Ｓ（ｎ）の左上隅を原点として、平均画像信号Ｓ（ｎ）の縦方向の各位置ｙにおいて、平均画像信号Ｓ（ｎ）を横方向ｘに積算するライン方向積算部８とを備えている。

各ライン方向積算部７，８においては、以下の演算が行われる。

ここで、ｗｉｄｔｈは画像信号の水平サイズを示している。

各ライン方向積算部７，８において算出された積算値Ｉｘ（ｎ），Ｓｘ（ｎ）は、図２Ｂに示される関係となる。例示の入力画像信号Ｉ（ｎ−２），Ｉ（ｎ−１），Ｉ（ｎ）、および平均画像信号Ｓ（ｎ）は画面中央下部に周囲よりも高輝度となる矩形の領域Ａが存在するため、両積算値ともに該当座標ｙ１から値が高くなっている。図中、矩形領域のない場合の積算値を破線で示している。

また、フリッカ検出部２は、現フレームの入力画像信号Ｉ（ｎ）の積算値Ｉｘ（ｎ）と、平均画像信号Ｓ（ｎ）の積算値Ｓｘ（ｎ）とから第１フリッカ補正信号Ｃ（ｎ）を抽出するフリッカ補正信号抽出部９を備えている。
フリッカ補正信号抽出部９においては、数２に示される演算によって、第１フリッカ補正信号Ｃ（ｎ）が算出されるようになっている。

ここで、ｅは零除算防止のための定数である。

第１フリッカ補正信号Ｃ（ｎ）も縦方向（ｙ方向）に対応する１次元のデータとなり、図２Ｃに示されるように、現フレームの入力画像信号Ｉ（ｎ）のフリッカ縞を打ち消すような特性を有する波形となっている。

次に、フリッカ補正信号整形部３について説明する。
フリッカ補正信号整形部３は、フリッカ検出部２において検出された第１フリッカ補正信号を現フレームについて検出された第１フリッカ補正信号Ｃ（ｎ）の他、直近の連続する過去３フレームについて検出された第１フリッカ補正信号Ｃ（ｎ−３），Ｃ（ｎ−２），Ｃ（ｎ−１）について保持するフリッカ補正信号保持部１０を備えている。

フリッカ補正信号整形部３は、現フレームの第１フリッカ補正信号Ｃ（ｎ）が入力されてきたときには、３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）として保持していた信号を廃棄し、第１フリッカ補正信号Ｃ（ｎ），Ｃ（ｎ−１），Ｃ（ｎ−２）を１つずつ繰り下げて、過去フレームの第１フリッカ補正信号Ｃ（ｎ−１），Ｃ（ｎ−２），Ｃ（ｎ−３）として保持するようになっている。

図３に示されるように、通常は元の入力画像信号Ｉ（ｎ−２），Ｉ（ｎ−１），Ｉ（ｎ）に含まれているフリッカ縞はそれぞれ２π／３ずつ位相がずれているので、第１フリッカ補正信号Ｃ（ｎ−３），Ｃ（ｎ−２），Ｃ（ｎ−１），Ｃ（ｎ）もまた位相がそれぞれ２π／３ずつずれている。そして、位相３フレームで１周するため、現フレームの第１フリッカ補正信号Ｃ（ｎ）と３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）とは、理想的には位相が一致する。しかし、撮像フレームレートに誤差があると位相ズレΔｓが発生する。

フリッカ補正信号整形部３は、フリッカ検出部２から出力されてきた現フレームの第１フリッカ補正信号Ｃ（ｎ）と、フリッカ補正信号保持部１０に記憶されている３フレーム前の過去フレームの第１フリッカ補正信号Ｃ（ｎ−３）とが入力されて、これら２つの第１フリッカ補正信号Ｃ（ｎ），Ｃ（ｎ−３）間の位相ズレ量Δｓを検出する位相ズレ検出部１１を備えている。

位相ズレ検出部１１は、現フレームの第１フリッカ補正信号Ｃ（ｎ）と、３フレーム前に検出した第１フリッカ補正信号Ｃ（ｎ−３）との間の位相差Δｓを１次元のパターンマッチングによって検出することとしている。マッチング評価値としては、数３に示される１次元の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いている。

ここで、ｈｅｉｇｈｔは入力画像信号の垂直サイズを示し、ｓｍａｘは想定される撮像フレームレートの誤差の大きさに応じて適宜変更する位相ズレ量である。例えば、撮像フレームレートの誤差によりＣ（ｎ）とＣ（ｎ−３）との間で最大ｓｍａｘの位相ズレが生じることが見込まれる場合には、
−ｓｍａｘ≦Δｓ≦ｓｍａｘ
の範囲でＳＡＤ（ｓ）を算出する。

ＳＡＤ（ｓ）は、３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）を位相ズレ量Δｓだけシフトしたときの現フレームの第１フリッカ補正信号Ｃ（ｎ）との差分絶対値和を示し、２つの第１フリッカ補正信号Ｃ（ｎ），Ｃ（ｎ−３）の差が最小となるΔｓで最小値となる。すなわち、位相ズレ量Δｓは、下式により求められる。
Δｓ＝ａｒｇｍｉｎＳＡＤ（ｓ）

また、フリッカ補正信号整形部３は、位相ズレ検出部１１において検出された位相ズレ量Δｓを用いて、３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）の位相を位相ズレ量Δｓだけシフトした、シフト第１フリッカ補正信号Ｃ′（ｎ−３）を生成する位相ズレ補正部１２を備えている。

また、フリッカ補正信号整形部は３、位相ズレ補正部１２において生成されたシフト第１フリッカ補正信号Ｃ′（ｎ−３）と現フレームの第１フリッカ補正信号Ｃ（ｎ）とが入力されて、下式により、所定の合成比率で合成して、第２フリッカ補正信号Ｃ′（ｎ）を生成する補正信号合成部を備えている。補正信号合成部は、巡回型のローパスフィルタ（巡回型ＬＰＦ）１３により構成されている。

Ｃ′（ｎ）＝αＣ′（ｎ−３）＋（１−α）Ｃ（ｎ）
ここで、αは帰還係数であり、０≦α＜１の範囲で定義されており、適切な値に設定することで第２フリッカ補正信号Ｃ′（ｎ）の時間的安定性を高めることができる。例えば、α＝０．８と設定することが好ましい。
これにより、フリッカ補正信号整形部３からは、第２フリッカ補正信号Ｃ′（ｎ）が出力される。

フリッカ補正部４は、現フレームの入力画像信号Ｉ（ｎ）に、フリッカ補正信号整形部３から出力された第２フリッカ補正信号Ｃ′（ｎ）を乗算することにより入力画像信号Ｉ（ｎ）を補正するようになっている。また、図中のＩ′（ｎ）は、フリッカ補正部４によって補正された画像信号である。

このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について、以下に説明する。
本実施形態に係る画像処理方法は、図４に示されるように、まず、フリッカ検出部２において、入力画像信号Ｉ（ｎ）からフリッカ成分をフレーム毎に検出し、第１フリッカ補正信号を生成する（フリッカ検出ステップＳ１）。

次いで、フリッカ検出ステップＳ１において生成された第１フリッカ補正信号を、現フレームを含め直近の連続する４フレーム分、フリッカ補正信号保持部１０に保持する（フリッカ補正信号保持ステップＳ２）。
この状態で、位相ズレ検出部１１において、フリッカ補正信号保持部１０に保持されていた過去フレームの第１フリッカ補正信号Ｃ（ｎ−１），Ｃ（ｎ−２），Ｃ（ｎ−３）の中から、３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）を選択して、現フレームの第１フリッカ補正信号Ｃ（ｎ）との位相ズレ量を検出する（位相ズレ検出ステップＳ３）。位相ズレ量の検出は、例えば、パターンマッチングにより行われる。

そして、位相ズレ検出ステップＳ３において検出された位相ズレ量に基づいて、位相ズレ補正部１２において、選択された３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）の位相ズレを補正する（位相ズレ補正ステップＳ４）。
このようにして位相ズレが補正された３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）と、現フレームの第１フリッカ補正信号Ｃ（ｎ）とを所定の比率で合成し、第２フリッカ補正信号Ｃ′（ｎ）を生成する（補正信号合成ステップＳ５）。
最後に、補正信号合成ステップＳ５において生成された第２フリッカ補正信号Ｃ′（ｎ）に基づいて、入力画像信号Ｉ（ｎ）を補正する（フリッカ補正ステップＳ６）。

このように本実施形態に係る画像処理装置１および画像処理方法によれば、撮像フレームレートの誤差等により、フレーム毎の第１フリッカ補正信号Ｃ（ｎ），Ｃ（ｎ−１），Ｃ（ｎ−２），Ｃ（ｎ−３）に微細な位相ズレが発生していても、これを補正した状態で巡回型のローパスフィルタ１３に入力する。そして、巡回型のローパスフィルタ１３によって、現フレームの第１フリッカ補正信号Ｃ（ｎ）と３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）とを所定の比率で合成した第２フリッカ補正信号Ｃ′（ｎ）を生成するので、時間的に安定した第２フリッカ補正信号Ｃ′（ｎ）を生成することができ、これを用いて、現フレームの入力画像信号Ｉ（ｎ）に含まれるフリッカを効果的に除去することができるという利点がある。

また、位相ズレ検出ステップＳ３において、２つの第１フリッカ補正信号Ｃ（ｎ），Ｃ（ｎ−３）の位相ズレ量をパターンマッチングにより検出することとしたので、ＤＦＴ等の比較的コストの高い処理を行う必要がなく、過去フレームの第１フリッカ補正信号Ｃ（ｎ−１），Ｃ（ｎ−２），Ｃ（ｎ−３）の位相ズレ量を簡易に検出することができるという利点がある。

なお、本実施形態においては、電源周波数５０Ｈｚ、撮像フレームレート６０ｆｐｓの場合を例示しているので、現フレームの第１フリッカ補正信号Ｃ（ｎ）と３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）との位相ズレ量を検出しているが、電源周波数および／または撮像フレームレートが異なる場合には、これらに応じて決定される周期によって、フリッカ補正信号保持部１０に保持する第１フリッカ補正信号の数を設定し、位相ズレ量を検出する過去フレームを選択することにすればよい。

また、本実施形態においては、位相ズレ補正部１２において、位相ズレ検出部１１において検出された位相ズレ量Δｓを用いて３フレーム前の第１フリッカ補正信号Ｃ（ｎ−３）の位相を位相ズレ量Δｓだけシフトしたが、これに代えて、単純なシフトのみであるため、位相ズレ補正部１２の機能を、巡回型のローパスフィルタ１３のアドレッシング時のシフトにより実施することにしてもよい。

また、本実施形態においては、カメラにより取得された入力画像信号Ｉ（ｎ）をそのままのサイズでフリッカ検出部２に入力することとしたが、これに代えて、図５に示されるように、カメラにより取得された入力画像信号Ｉ（ｎ）を縮小する縮小画像生成部１４と、フリッカ補正信号整形部３から出力される第２フリッカ補正信号ｃ′（ｎ）を拡大するフリッカ補正信号拡大補間部（補正信号拡大部）１５とを備えていてもよい。また、図５において、ｉ（ｎ）は画像信号Ｉ（ｎ）を縮小、Ｃ′（ｎ）は第２フリッカ補正信号ｃ′（ｎ）を拡大した信号である。

縮小画像生成部１４における縮小率は任意である。一般的なフリッカ成分は高周波成分を含まないので、垂直方向の画素数、つまり、フリッカ補正信号のサンプル点数が３０から５０個程度で十分なフリッカ補正効果を得ることができる。そこで、例えば、フルＨＤ規格の入力画像信号であれば、縦横１／２０から１／３０程度の縮小率が好ましい。

このような画像縮小を行うことで、フリッカ検出部２内のフレームメモリ５およびフリッカ補正信号整形部３内のフリッカ補正信号保持部１０に必要なメモリ容量を大幅に削減し、また、各ブロックにおける演算量も大幅に削減することができるという利点がある。
この場合のフリッカ検出部２における第１フリッカ補正信号の生成処理は、上記実施形態と同じである。

フリッカ補正信号整形部３においては、図６に示されるように、位相ズレ検出部１１において、整数単位の位相ズレ量Δｓのみならず、小数単位の位相ズレ量Δｓｓｕｂをも算出するようになっている。これにより、画像縮小によって大幅に減少した垂直方向のサンプル数でも十分な精度の位相ズレ量の検出を確保することができる。

小数単位の位相ズレ量Δｓｓｕｂは、上記において説明したＳＡＤ（ｓ）および位相ズレ量Δｓを用いて、数４により算出することができる。

位相ズレ補正部１２においては、位相ズレ検出部１１により算出された位相ズレ量Δｓ，Δｓｓｕｂを用いて、３フレーム前の第１フリッカ補正信号ｃ（ｎ−３）の位相をΔｓ＋Δｓｓｕｂだけシフトしたシフト第１フリッカ補正信号ｃ′（ｎ−３）が算出される。この演算は、図７に示されるように、近接２点補間により実施することができる。

このようにして算出されたシフト第１フリッカ補正信号ｃ′（ｎ−３）および現フレームの第１フリッカ補正信号ｃ（ｎ）を用いて、巡回型のローパスフィルタ１３では、縮小座標系において、現フレームの第２フリッカ補正信号ｃ′（ｎ）が算出される。
そして、算出された第２フリッカ補正信号ｃ′（ｎ）はフリッカ補正信号拡大補間部１５において拡大されて元の座標系に戻された状態で、フリッカ補正部４に入力され、元の座標系の現フレームの入力画像信号にライン単位で乗算されることにより、フリッカ成分を抑制することができる。

１ 画像処理装置
２ フリッカ検出部
４ フリッカ補正部
１０ フリッカ補正信号保持部
１１ 位相ズレ検出部
１２ 位相ズレ補正部
１３ ローパスフィルタ（補正信号合成部）
１４ 縮小画像生成部
１５ フリッカ補正信号拡大補間部（補正信号拡大部）
Ｓ１ フリッカ検出ステップ
Ｓ２ フリッカ補正信号保持ステップ
Ｓ３ 位相ズレ検出ステップ
Ｓ４ 位相ズレ補正ステップ
Ｓ５ 補正信号合成ステップ
Ｓ６ フリッカ補正ステップ

Claims (6)

1. 入力画像信号からフリッカ成分をフレーム毎に検出し、第１フリッカ補正信号を生成するフリッカ検出部と、
   該フリッカ検出部により生成された前記第１フリッカ補正信号を直近の連続する複数フレーム分保持するフリッカ補正信号保持部と、
   前記フリッカ検出部により最新の前記第１フリッカ補正信号が検出されたときに該フリッカ補正信号保持部に保持された過去の前記第１フリッカ補正信号の中から、略同一の位相を有する過去の前記第１フリッカ補正信号を選択して、最新の第１フリッカ補正信号との位相ズレ量を検出する位相ズレ検出部と、
   該位相ズレ検出部により検出された前記位相ズレ量に基づいて、選択された過去の前記第１フリッカ補正信号の位相ズレを補正する位相ズレ補正部と、
   該位相ズレ補正部により位相ズレが補正された過去の前記第１フリッカ補正信号と、最新の前記第１フリッカ補正信号とを所定の比率で合成し、第２フリッカ補正信号を生成する巡回型の補正信号合成部と、
   該補正信号合成部により生成された前記第２フリッカ補正信号に基づいて、入力画像信号を補正するフリッカ補正部とを備える画像処理装置。
2. 前記位相ズレ検出部が、前記入力画像信号を取得する際における周囲環境における電源周波数と、該入力画像信号を取得する際の撮像フレームレートとに基づいて決定されるフリッカの発生周期に一致するフレーム数分過去の前記第１のフリッカ補正信号を選択する請求項１に記載の画像処理装置。
3. 前記入力画像信号を所定の比率で縮小して前記フリッカ検出部に入力する縮小画像生成部と、
   前記第２フリッカ補正信号を前記比率で拡大して前記フリッカ補正部に入力する補正信号拡大部とを備える請求項１または請求項２に記載の画像処理装置。
4. 前記位相ズレ検出部が、２つの前記第１フリッカ補正信号に対してパターンマッチングを行うことにより位相ズレを検出する請求項１から請求項３のいずれかに記載の画像処理装置。
5. 入力画像信号からフリッカ成分をフレーム毎に検出し、第１フリッカ補正信号を生成するフリッカ検出ステップと、
   該フリッカ検出ステップにより生成された前記第１フリッカ補正信号を直近の連続する複数フレーム分保持するフリッカ補正信号保持ステップと、
   前記フリッカ検出ステップにより最新の前記第１フリッカ補正信号が検出されたときに該フリッカ補正信号保持ステップにおいて保持された過去の前記第１フリッカ補正信号の中から、略同一の位相を有する過去の前記第１フリッカ補正信号を選択して、最新の第１フリッカ補正信号との位相ズレ量を検出する位相ズレ検出ステップと、
   該位相ズレ検出ステップにより検出された前記位相ズレ量に基づいて、選択された過去の前記第１フリッカ補正信号の位相ズレを補正する位相ズレ補正ステップと、
   該位相ズレ補正ステップにより位相ズレが補正された過去の前記第１フリッカ補正信号と、最新の前記第１フリッカ補正信号とを所定の比率で合成し、第２フリッカ補正信号を生成する補正信号合成ステップと、
   該補正信号合成ステップにより生成された前記第２フリッカ補正信号に基づいて、入力画像信号のフリッカを補正するフリッカ補正ステップとを含む画像処理方法。
6. 前記入力画像信号を所定の比率で縮小する縮小画像生成ステップと、
   前記第２フリッカ補正信号を前記比率で拡大する補正信号拡大ステップとを含み、
   前記フリッカ検出ステップが、前記縮小画像生成ステップにおいて縮小された入力画像信号から第１フリッカ補正信号を生成し、
   前記フリッカ補正ステップが、前記補正信号拡大ステップにおいて拡大された第２フリッカ補正信号に基づいてフリッカを補正する請求項５に記載の画像処理方法。

Images