JP4875564B2 - フリッカ補正装置及びフリッカ補正方法 - Google Patents

Description

本発明はフリッカ補正装置及びフリッカ補正方法に関し、特には、撮像素子を用いて撮像された画像中のフリッカ成分を補正するフリッカ補正装置及びフリッカ補正方法に関する。

ＣＭＯＳイメージセンサに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を動画撮影する場合、撮像画像に例えば図１６に示すように垂直方向の周期的な明暗が現れることがある。この現象は蛍光灯フリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。

そこで、従来、垂直方向の周期的な信号レベルの変動成分（以下フリッカ成分と呼ぶ）を検出し、その逆ゲインを乗算することでフリッカ成分の検出と補正を行う技術がある（特許文献１参照）。

特開平１１−１２２５１３号公報

しかしながら、特許文献１記載の方法は、現在及び過去のフレーム（またはフィールド）の画像信号を水平方向に積分して生成した垂直方向の強度分布を用いてフリッカ成分を検出する方法である。

図１７は、被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示している。
そして、図１７（ａ）は被写体が静止している場合を、（ｂ）は、被写体が３フレーム目（現フレーム）で動いた場合をそれぞれ示している。

特許文献１記載の技術では、図１７の（ａ）に示すように被写体が静止している場合は、正確にフリッカ成分を検出することができる。しかし、図１７の（ｂ）のように被写体が動いて現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合には、被写体の動き成分によって、画像信号の垂直方向の強度分布が乱れ、正確にフリッカ成分を検出できない。

本発明はこのような従来技術の問題点に鑑みなされたものである。本発明は、現フレームまたは現フィールドの垂直方向の強度分布に、被写体の動き等、フリッカ以外の変動成分が含まれる場合でも、精度良くフリッカ成分を補正可能なフリッカ補正装置及びフリッカ補正方法を提供することを目的する。

上述の目的は、ＸＹアドレス方式の撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、画像信号を、複数のフリッカ検出枠に分割する分割手段と、複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出手段と、フリッカ検出手段が検出したフリッカ成分を記憶する記憶手段と、フリッカ検出手段が検出したフリッカ成分と、予め定めたフリッカ成分を表すフリッカモデルとから、画像信号に対するフリッカモデルを決定する決定手段と、複数のフリッカ検出枠を、それぞれのフリッカ検出枠から検出されたフリッカ成分とフリッカモデルが表すフリッカ成分との差分に応じて分類する分類手段と、記憶手段に記憶された、分類手段により差分が予め定めた値以上であると分類されたフリッカ検出枠のフリッカ成分を、分類手段により差分が予め定めた値よりも小さいと分類されたフリッカ検出枠のフリッカ成分を用いて生成した新たなフリッカ成分で置き換える制御手段と、制御手段による置き換えが終了した後、記憶手段に記憶されたフリッカ成分から生成した補正値を用いて、画像信号のフリッカ成分を補正する補正手段とを有し、分類手段は差分が予め定めた値以上であると分類されたフリッカ検出枠のフリッカ成分に対する判定処理を行い、制御手段は判定処理の結果に応じて、複数の補間方法から１つを選択し、選択した補間方法にて新たなフリッカ成分を生成することを特徴とするフリッカ補正装置によって達成される。

また、上述の目的は、ＸＹアドレス方式の撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、分割手段が画像信号を、複数のフリッカ検出枠に分割する工程と、フリッカ検出手段が複数のフリッカ検出枠の各々で、フリッカ成分を検出する工程と、記憶手段がフリッカ検出手段が検出したフリッカ成分を記憶手段に記憶する工程と、決定手段がフリッカ検出手段が検出したフリッカ成分と、予め定めたフリッカ成分を表すフリッカモデルとから、画像信号に対するフリッカモデルを決定する工程と、分類手段がそれぞれのフリッカ検出枠から検出されたフリッカ成分とフリッカモデルとの差分を求め、複数のフリッカ検出枠を差分が予め定めた値以上であるフリッカ検出枠と、差分が予め定めた値よりも小さいフリッカ検出枠に分類するとともに、差分が予め定めた値以上であると分類されたフリッカ検出枠のフリッカ成分に対する判定処理を行う工程と、制御手段が判定処理の結果に応じて複数の補間方法から１つを選択し、記憶手段に記憶された差分が予め定めた値以上であると分類されたフリッカ検出枠のフリッカ成分を、差分が予め定めた値よりも小さいと分類されたフリッカ検出枠のフリッカ成分を用いて、選択された補間方法により生成した新たなフリッカ成分で置き換える工程と、
また、本発明の別の要旨は、前記制御手段による置き換えが終了した後、補正手段が、記憶手段に記憶されたフリッカ成分から生成した補正値を用いて、画像信号のフリッカ成分を補正する工程とを有することを特徴とするフリッカ補正方法によっても達成される。

このような構成により、本発明によれば、現フレームまたは現フィールドの垂直方向の強度分布に、被写体の動き等、フリッカ以外の変動成分が含まれる場合でも、精度良くフリッカ成分を補正可能となる。

また、本発明のフリッカ補正装置では、現フレームにおいて、信頼性の低いフリッカ成分が支配的に分布している場合に、フリッカ補正を停止することで、過補正や、補正残り等、誤った補正による画質への悪影響を低減することができる。

以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。

（構成）
フリッカ成分検出部１は、ＣＭＯＳイメージセンサのような、ＸＹアドレス方式の撮像素子によって撮像された画像信号の１画面分に、水平方向にＮ個、垂直方向にＭ個のフリッカ検出枠を設定し、フリッカ検出枠ごとにフリッカ成分を検出する。

第１の記憶部９は、フリッカ成分検出部１が検出したフリッカ検出枠ごとのフリッカ成分を記憶する。
フリッカ成分評価部２は、フリッカ成分検出部１で検出されたフリッカ検出枠ごとのフリッカ成分を評価し、評価結果をフリッカ分布解析部３へ出力する。フリッカ分布解析部３は、フリッカ成分評価部２から出力されるフリッカ成分の信頼性評価結果を参照して、画面内に発生するフリッカ成分の分布を解析する。

補正値生成制御部４は、フリッカ分布解析部３の出力と、記憶部９の出力を参照して、フリッカ補正値生成部５及び補正部７を制御する。
フリッカ補正値生成部５は、記憶部９から読み出したフリッカ成分から、補正値生成制御部４の制御に基づいてフリッカ補正値を生成する。

第２の記憶部６は、現フレームの画像信号を記憶する。補正部７は、補正値生成制御部４の制御に基づき、フリッカ補正値生成部５で得られたフリッカ補正値を記憶部６から出力される画像信号に対して適用してフリッカ成分の補正を行う。システム制御部８は、本実施形態のフリッカ補正装置全体を制御する。

（フリッカ成分検出部１）
図２は、図１におけるフリッカ成分検出部１の構成例を示すブロック図である。
図２において、ブロック分割部１００は、フリッカ成分の検出を行う領域（フリッカ検出枠）を、１画面（１フレーム）分の画像信号に対して水平方向および垂直方向に設定する。本実施形態において、ブロック分割部１００は、図３に示すように、水平方向にＭ個、垂直方向にＮ個のＭ×Ｍ個のフリッカ検出枠を設定するものとする。

加算平均部１０１は、現フレームについてブロック分割部１００が設定したフリッカ検出枠の各々について、画素の輝度レベルの平均値を算出する。また、引算器１０２、乗算器１０３、加算器１０４およびメモリ１０５は、以下に示す演算を行うことで、いわゆる巡回型ローパスフィルタ１１０を形成している。

ここで、aveは加算平均部１０１の出力を示し、moutはメモリ１０５からの出力を示す。memは加算器１０４からの出力を示し、メモリ１０５に新しく記憶される値を示す。また、kは巡回型ローパスフィルタ１１０のフィルタ係数である。巡回型ローパスフィルタ１１０により、フリッカ検出枠ごとに、過去の数フレーム分の入力画像を参照し、時間方向の定常的な信号成分を抽出する。

除算器１０６は、メモリ１０５から出力される、入力画像の時間方向の定常的な信号成分を、加算平均部１０１から出力される現フレームの平均レベルで除算することによってフリッカ検出枠ごとのフリッカ成分（入力画像信号のレベル変動成分）を算出する。
以上の処理を、ブロック分割部１００で設定された全てのフリッカ検出枠について行うことにより、現フレームに対してＭ×Ｎ個のフリッカ成分を検出する。

図９（ａ）は、フリッカ成分を含む入力画像の例を示す図であり、９１及び９２は動いている被写体の領域を示している。
図９（ｂ）は、フリッカ成分検出部１により、図９（ａ）の入力画像についてフリッカ成分の検出を行った結果を模式的に示した図である。

図９（ａ）のように、入力画像に動いている被写体９１，９２が含まれている場合、図９（ｂ）に示すように、検出されたフリッカ成分に、被写体の動き成分９１’，９２’が混入してしまい、フリッカ成分の信頼性が低下する。

そこで、フリッカ成分評価部２では、現フレームについて検出されたＭ×Ｎ個のフリッカ成分に対し、それぞれ、フリッカによる変動成分がどの程度含まれているかを評価し、フリッカ検出枠ごとのフリッカ成分の信頼性を求める。

（フリッカ成分評価部２）
次に、図４を参照して、本実施形態におけるフリッカ成分評価部２の構成および動作を説明する。
フリッカ成分評価部２は、フリッカ特性抽出部２００、フリッカモデル選択部２０１及び差分抽出部２０２を含んでいる。

フリッカ特性抽出部２００は、フリッカ成分検出部１から出力されたＭ×Ｎ個のフリッカ成分について、水平方向に平均して、現フレームを代表する垂直方向の変動特性（垂直方向のフリッカ成分）を抽出する。

次に、フリッカモデル選択部２０１は、システム制御部８から出力される複数のフリッカモデルの各々と、フリッカ特性抽出部２００で抽出された、現フレームを代表する垂直方向の変動特性とを順次比較する。そして、フリッカモデル選択部２０１は、複数のフリッカモデルの中から、現フレームを代表する垂直方向の変動特性に最も近いフリッカモデルを選択する。

ここで、フリッカモデルとは、ある特定のフリッカ状態の時のフリッカ成分を示すデータであり、例えば、垂直方向に、ある特定の振幅、周波数、位相を持つsin波で近似されたフリッカ成分を示すデータである。
図９（ｃ）は、図９（ｂ）に示すフリッカ成分から抽出された代表的な垂直方向の変動特性に対して選択されるフリッカモデルの例を示している。

差分抽出部２０２は、フリッカ検出枠ごとに、そのフリッカ検出枠で検出されたフリッカ成分の信頼性を求め、出力する。具体的には、フリッカ成分検出部１で検出されたフリッカ成分と、フリッカモデル選択部２０１で選択されたフリッカモデルとの差分を、信頼性を示す情報として算出する。差分が小さい場合、そのフリッカ検出枠には、フリッカモデルとの相関が高く、フリッカ成分としての信頼性が高いことを表す。一方、差分が大きい場合、フリッカモデルとの相関が低く、フリッカ以外の要因による変動成分が多く含まれていて、フリッカ成分としての信頼性が低いことを表す。

（フリッカ分布解析部３）
次に、図５を参照して、本実施形態におけるフリッカ分布解析部３の構成および動作を説明する。
フリッカ分布解析部３は、分類部３００と、低信頼性領域抽出部３０１と、面積測定部３０２と、位置測定部３０３と、第３の記憶部３０４を含む。

分類部３００は、フリッカ成分評価部２の出力する評価結果を参照し、現フレームに設定されたＭ×Ｎ個のフリッカ検出枠の各々に対し、フリッカ成分検出部１が検出したフリッカ成分の信頼性の度合いを示す信頼性フラグｆｇを設定する。

例えば、フリッカ分布解析部３は、フリッカ成分評価部２から出力される差分が所定の値よりも小さく、信頼性が高いと判定されるフリッカ検出枠には、信頼性フラグｆｇ＝０を設定する。一方、フリッカ成分評価部２から出力されるフリッカモデルとの差分が所定の値以上であり、フリッカ成分の信頼性が低いと判定されるフリッカ検出枠には、信頼性フラグｆｇ＝１を設定する。

図１０（ａ）は、図９（ｂ）に示すフリッカ成分と、図９（ｃ）に示すフリッカモデルとの差分をフリッカ成分評価部２で算出した結果に基づき、フリッカ分布解析部３がフリッカ検出枠を分類した結果を示す図である。図１０（ａ）において黒色で示されるフリッカ検出枠は、差分が所定値以上であり、そこで検出されたフリッカ成分の信頼性が低いと判定される領域である。一方、白色で示されるフリッカ検出枠は、差分が所定値より小さく、フリッカ成分の信頼性が高いと判定される領域である。

低信頼性領域抽出部３０１は、現フレーム内で、信頼性フラグｆｇ＝１のフリッカ検出枠が、１つ以上連続した領域を、フリッカ成分の信頼性が低い領域（以下、低信頼性領域という）として抽出する。尚、低信頼性領域に含まれるフリッカ検出枠は、それぞれ、フリッカ成分の信頼性が低く、前記フリッカ検出枠と隣接するフリッカ検出枠と、辺を共有しているものとする。

また、低信頼性領域抽出部３０１は、現フレーム内に分布する低信頼性領域の個数ｎ（ｎは１以上の自然数とする）を求め、各低信頼性領域に対して、それぞれ、識別番号ｎを設定する。さらに、各低信頼性領域に含まれるフリッカ検出枠の信頼性フラグｆｇとして、当該低信頼性領域の識別番号ｎを再設定する。従って、図１０（ａ）の例では、２つの低信頼性領域に含まれるフリッカ検出枠に対し、信頼性フラグｆｇ＝１，２が最終的に設定される。

面積測定部３０２は、低信頼性領域抽出部３０１で抽出された、各低信頼性領域の面積情報Ｓ（ｎ）として、領域に含まれるフリッカ検出枠の数を算出する。
位置測定部３０３では、低信頼性領域抽出部３０１で抽出された、各低信頼性領域の位置情報ａｄｒ（ｎ）として、領域の中心に位置するフリッカ検出枠のアドレス（ｘ，ｙ）（１≦ｘ≦Ｍ，１≦ｙ≦Ｎ）を検出する。なお、領域の中心に位置するフリッカ検出枠は、例えば領域の重心を含むフリッカ検出枠として求めてもよい。

第３の記憶部３０４には、現フレームの入力画像信号について、
・分類部３００及び低信頼性領域抽出部３０１から出力される、各フリッカ検出枠の信頼性フラグｆｇ、
・低信頼性領域抽出部３０１から出力される、低信頼性領域の個数ｎ、
・面積測定部３０２から出力される各低信頼性領域の面積情報Ｓ（ｎ）、
・位置測定部３０３から出力される各低信頼性領域の位置情報ａｄｒ（ｎ）、
が記憶される。このうち、低信頼性領域の個数ｎ、面積情報Ｓ（ｎ）、位置情報ａｄｒ（ｎ）をまとめて低信頼性領域情報と呼ぶ。

フリッカ分布解析部３の処理結果、具体的には信頼性フラグｆｇの値から、現フレームの各フリッカ検出枠がフリッカ成分の信頼性によって分類されたどの領域に含まれているかを特定することができる。

（補正値生成制御部４の構成）
次に、図６を参照して、本実施形態における補正値生成制御部４の構成を説明する。
補正値生成制御部４は、フリッカ分布解析部３の出力に基づいて、低信頼性領域で検出されたフリッカ成分をより信頼性の高いフリッカ成分のデータと置換する。また、補正値生成制御部４は、後段のフリッカ補正値生成部５および補正部７を制御するための制御信号Ｓを生成する。

補正値生成制御部４は、判定処理部４００と、低信頼性領域のフリッカ成分を互いに異なる方法で補間する第１〜第３の補間処理部４０１〜４０３と、選択部４０４とを含む。
判定処理部４００は、フリッカ分布解析部３から出力される低信頼性領域情報（低信頼性領域の個数ｎ、各低信頼性領域の面積情報Ｓ（ｎ）および位置情報ａｄｒ（ｎ））を用いた判定処理を行う。

選択部４０４は、判定処理部４００での判定結果に基づいて、第１の補間処理部４０１、第２の補間処理部４０２および第３の補間処理部４０３の出力のうち、どれか１つを選択して出力する。

選択部４０４の出力は、第２の記憶部９において、対応するフリッカ検出枠のフリッカ成分を更新する。これにより、各低信頼性領域に含まれるフリッカ検出枠のフリッカ成分が、より信頼性の高いフリッカ成分で置換される。
また、判定処理部４００では、後段のフリッカ補正値生成部５、および、補正部７を停止するため制御信号Ｓを生成する。

（補正値生成制御部４の動作）
次に、図７に示すフローチャートを参照して、本実施形態における補正値生成制御部４の動作について説明する。なお、図７に示す動作は、入力画像信号の各フレームについて行う。

Ｓ４０１では、判定処理部４００において、フリッカ分布解析部３の第３の記憶部３０４から、現フレームについての低信頼性領域情報と信頼性フラグを取得する。
Ｓ４０２において、判定処理部４００は、例えば低信頼性領域情報のうち、個数ｎを参照して、現フレーム内に低信頼性領域があるか否かを判定する。個数ｎが１以上で、現フレームに低信頼性領域がある場合にはＳ４０３に進み、個数ｎが０で、低信頼性領域がない場合にはＳ４１５に進む。

Ｓ４０３では、判定処理部４００が、低信頼性領域の個数ｎが、所定の個数ＴＨ＿Ｎよりも少ないか否かを判定する。現フレーム内に分布する低信頼性領域の個数ｎが、所定の個数ＴＨ＿Ｎよりも少ない場合には、Ｓ４０４に進み、個数ｎが所定の数ＴＨ＿Ｎ以上の場合は、Ｓ４１１に進む。

Ｓ４０４では、判定処理部４００が、フリッカ分布解析部３から取得した低信頼性領域情報の面積情報Ｓ（ｎ）を参照し、現フレームに存在する低信頼領域のうち、最も面積が大きいものを選択する。

Ｓ４０５では、判定処理部４００が、Ｓ４０４で選択された低信頼性領域の最大面積が、所定の大きさＴＨ＿Ａよりも小さいか否かを判定する。現フレームに存在する低信頼性領域の最大面積が所定の大きさＴＨ＿Ａよりも小さい場合には、Ｓ４０６に進み、最大面積が所定の大きさＴＨ＿Ａ以上の場合には、Ｓ４０７に進む。

Ｓ４０６では、判定処理部４００において、低信頼性領域情報に加えて信頼性フラグを参照し、Ｓ４０４で選択した、最大面積を有する低信頼性領域に隣接する全てのフリッカ検出枠が、信頼性の高いフリッカ検出枠であるか否かを判定する。ここで、判定対象の低信頼性領域に隣接する全てのフリッカ検出枠とは、図１０（ｂ）に示すように、低信頼性領域を囲むフリッカ検出枠の集合である。例えば、フリッカ検出枠１つからなる低信頼性領域に対しては、上下、左右に隣接する４つのフリッカ検出枠に加え、斜め方向に隣接する４つのフリッカ検出枠を加えた８つについて、信頼性を判定する。

Ｓ４０４で選択された低信頼性領域、に隣接する全てのフリッカ検出枠の信頼性が高い場合には、Ｓ４０８に進み、この条件を満たさない場合には、Ｓ４０９に進む。

Ｓ４０７では、判定処理部４００が信頼性フラグを参照し、現フレーム内で、基準列と基準行を抽出可能か否かを判定する。
ここで、基準行は、信頼性の高いフリッカ検出枠が、水平方向に所定の個数以上連続し、その行内の１個のフリッカ検出枠が、基準列に含まれるものとする。また、基準列は、信頼性の高いフリッカ検出枠が、垂直方向に所定の個数以上連続し、その列内の１個のフリッカ検出枠が、基準行に含まれるものとする。

また、基準行に含まれるフリッカ検出枠の個数が、画面内の水平方向のフリッカ検出枠の個数よりも少ない場合には、基準行のフリッカ成分を用いて、水平方向に外挿補間を行う。同様に、基準列に含まれるフリッカ検出枠の個数が、画面内の垂直方向のフリッカ検出枠の個数よりも少ない場合には、基準列のフリッカ成分を用いて、垂直方向に外挿補間を行う。

さらに、基準列と基準行が複数抽出可能である場合には、Ｓ４０４において選択された低信頼性領域に最も近い位置の基準列又は基準行を抽出する。基準列と基準行を現フレーム内で抽出できる場合には、Ｓ４１０に進み、条件を満たさない場合には、Ｓ４１１に進む。

ここで、第１〜第３の補間処理部４０１〜４０３の動作について説明する。
第１の補間処理部４０１は、フリッカ分布解析部３の第３の記憶部３０４に記憶された、現フレームのフリッカ検出枠ごとの信頼性フラグｆｇと、第２の記憶部９に記憶された、現フレームのフリッカ検出枠ごとに検出されたフリッカ成分とを参照する。そして、Ｓ４０４で選択された低信頼性領域を構成するフリッカ検出枠についてのフリッカ成分を、補間により生成する。

第１の補間処理部４０１が生成したフリッカ成分を用いるのは、Ｓ４０５及びＳ４０６における判定条件をいずれを満たした低信頼性領域である。これは、言い換えれば、例えば図１０（ａ）に示すように、低信頼性領域の面積が小さく、かつ、低信頼性領域の全周囲に、信頼性の高いフリッカ検出枠が分布している場合である。

第１の補間処理部４０１は、低信頼性領域を構成するフリッカ検出枠のフリッカ成分を、その周囲の信頼性の高いフリッカ検出枠のフリッカ成分を補間して生成する。
図１０（ａ）の例であれば、図１０（ｂ）に示すように、低信頼性領域（信頼性フラグｆｇ＝１、ｆｇ＝２のフリッカ検出枠からなる領域）のフリッカ成分を、領域の周囲に存在する、信頼性の高いフリッカ検出枠（ｆｇ＝０）のフリッカ成分を補間して生成する。図１０（ｂ）において、斜線が付されたフリッカ検出枠で検出されたフリッカ成分を補間して、低信頼性領域を構成するフリッカ検出枠のフリッカ成分を生成する。

図１０（ｃ）は、低信頼性領域のフリッカ成分が補間された状態を模式的に示す図である。図１０（ｃ）に示すように、低信頼性領域においても、動き成分の悪影響を排除して、補正に必要なフリッカ成分を生成することができる。

第２の補間処理部４０２は、フリッカ分布解析部３の第３の記憶部３０４に記憶された、現フレームのフリッカ検出枠ごとの信頼性フラグｆｇと、第２の記憶部９に記憶された、現フレームのフリッカ検出枠ごとに検出されたフリッカ成分とを参照する。そして、Ｓ４０４で選択された低信頼性領域を構成するフリッカ検出枠についてのフリッカ成分を、当該領域外に存在する、信頼性の高いフリッカ検出枠のフリッカ成分から推定することによって生成する。

第２の補間処理部４０２が生成したフリッカ成分を用いるのは、Ｓ４０５における判定条件を満たすが、Ｓ４０６における判定条件を満たさない低信頼性領域である。これは、言い換えれば、面積は小さいが、信頼性の高いフリッカ検出枠で囲まれていない部分を有する低信頼性領域である。

これは、例えば、図１１（ａ）、図１２（ａ）に示すように、低信頼性領域の面積が小さく、画面の上下端、または、左右端に偏って分布しており、かつ、低信頼性領域の周囲に、信頼性の高いフリッカ検出枠が十分に分布している場合である。

第２の補間処理部４０２は、低信頼性領域を構成するフリッカ検出枠のフリッカ成分を、フリッカ成分が水平方向に連続で、垂直方向にｓｉｎ波の特性で分布することを考慮した、外挿補間によって生成する。

例えば、図１１（ａ）に示すような場合には、フリッカ成分の水平方向における変動は連続性を有すると考えられるので、図１１（ｂ）に示すように、信頼性が高いフリッカ検出枠のフリッカ成分を水平方向に参照する。そして、左端からの水平方向の変動特性が右端まで連続しているものと推定し、低信頼性領域と同じ行の高信頼性フリッカ検出枠のフリッカ成分を用いて外挿補間する。なお、ここでは低信頼性領域が右端にある場合を例示したが、左端にある場合にも、同様にして同行の右側に連続する信頼性の高いフリッカ検出枠のフリッカ成分から外挿すればよい。

また、図１２（ａ）の場合には、フリッカ成分の垂直方向における変動はｓｉｎ波で近似できるものと考えられるので、図１２（ｂ）に示すように、信頼性の高いフリッカ検出枠のフリッカ成分を垂直方向に参照する。そして、上端から下端まで垂直方向にｓｉｎ波に近似した特性で変動するものと推定し、低信頼性領域と同じ列の高信頼性フリッカ検出枠のフリッカ成分を用いて外挿補間する。なお、画面上端に低信頼性領域が存在する場合にも、同様にして同列の下側に連続する信頼性の高いフリッカ検出枠のフリッカ成分から外挿すればよい。

なお、第２の補間処理部４０２は、Ｓ４０４において選択された低信頼性領域の位置情報を参照して、水平方向もしくは垂直方向のいずれにおいて外挿するかを判別することができる。
以上のように、第２の補間処理部４０２においても、低信頼性領域での動き成分の悪影響を排除して、補正に必要なフリッカ成分を生成することができる。

第３の補間処理部４０３は、フリッカ分布解析部３の第３の記憶部３０４に記憶された、現フレームのフリッカ検出枠ごとの信頼性フラグｆｇと、第２の記憶部９に記憶された、現フレームのフリッカ検出枠ごとに検出されたフリッカ成分とを参照する。そして、Ｓ４０４で選択された低信頼性領域を構成するフリッカ検出枠についてのフリッカ成分を、Ｓ４０７で判定処理部４００が抽出した基準列と基準行を構成するフリッカ検出枠のフリッカ成分を用いて推定することによって生成する。

第３の補間処理部４０３が生成したフリッカ成分を用いるのは、Ｓ４０５における判定条件を満たさないが、Ｓ４０７における判定条件を満たす場合である。これは、言い換えれば、Ｓ４０４において選択された低信頼性領域の面積が大きく、基準列及び基準行が抽出できる場合である。

このような場合の信頼性分布の例を、図１３（ａ）に示す。また、図１３（ｂ）に、Ｓ４０７において、判定処理部４００が抽出した基準行と基準列を示す。この例では、抽出可能な複数の基準行及び基準列のうち、低信頼性領域に最も近いものとして、低信頼性領域に隣接する基準行及び基準列が抽出できた場合を示している。

第３の補間処理部４０３は、具体的には例えば図１３（ｃ）に示すようにして低信頼性領域のフリッカ検出枠のフリッカ成分を推定する。

すなわち、
・基準行と基準列の交点となるフリッカ検出枠のフリッカ成分をＰｍｎ、
・基準行に含まれる各フリッカ検出枠のフリッカ成分をＬｎ（ｘ）、
・基準列に含まれる各フリッカ検出枠のフリッカ成分Ｃｍ（ｙ）とすると、
第ｘ列のフリッカ成分を、
Ｃｍ（ｙ）＊Ｌｎ（ｘ）／Ｐｍｎ
として推定し、推定結果の中から、Ｓ４０４で選択された低信頼性領域のフリッカ検出枠に該当するフリッカ成分を選択して出力する。

第３の補間処理部４０３が用いる基準列のフリッカ成分を垂直方向にプロットすると、例えば、図１４（ａ）に示すような特性を有しており、このような特性が、低信頼性領域のフリッカ成分を生成する際の基準の特性となる。

また、第３の補間処理部４０３が用いる基準行のフリッカ成分を水平方向にプロットすると、例えば、図１４（ｂ）に示すような特性を有している。そして、このような特性に基づいて、基準列のフリッカ特性Ｃｍ（ｙ）を変倍することにより、図１４（ｃ）に示すような特性の信号が、低信頼性領域のフリッカ成分として生成される。
以上のように、第３の補間処理部４０３においても、低信頼性領域での動き成分の悪影響を排除して、補正に必要なフリッカ成分を生成することができる。

Ｓ４０８では、判定処理部４００が、選択部４０４に対し、第１の補間処理部４０１が生成したフリッカ成分のデータを選択するように指示する。
Ｓ４０９では、判定処理部４００が、選択部４０４に対し、第２の補間処理部４０２が生成したフリッカ成分のデータを選択するように指示する。
Ｓ４１０では、判定処理部４００が、選択部４０４に対し、第３の補間処理部４０３が生成したフリッカ成分のデータを選択するように指示する。

Ｓ４１２では、選択部４０４が、判定処理部４００からの指示に従い、第１〜第３の補間処理部４０１〜４０３のいずれか１つの出力を選択する。そして、選択した出力を、処理の対象となった、Ｓ４０４で選択された低信頼性領域のフリッカ成分として、第２の記憶部９に書き戻して更新する。

Ｓ４１３で、判定処理部４００は、フリッカ分布解析部３の第３の記憶部３０４に記憶された信頼フラグｆｇのうち、Ｓ４０４で選択した低信頼性領域に含まれる各フリッカ検出枠の信頼性フラグｆｇを０に設定する。

システム制御部８は、Ｓ４０１からＳ４１３までの処理を、現フレームについて何回行ったかをカウントする。そして、Ｓ４１４において、処理回数が予め定めた打ち切り回数に達しているか否かを判定する。

打ち切り回数に等しい回数処理を行なった場合には、Ｓ４１６に移行して、現フレームでの処理を終了する。一方、処理回数が打ち切り回数に達していない場合には、システム制御部８は、Ｓ４０１からの処理を継続させる。尚、打ち切り回数は、単位映像期間中に、１フレームに対するフリッカ補正処理が終了するように設定する。

Ｓ４１１で、判定処理部４００は、後段のフリッカ補正値生成部５および、補正部７を制御するための制御信号Ｓ（値＝０）を出力する。制御信号Ｓに値＝０が設定されるのは、例えば図１５のように、低信頼性領域（図１５において黒く塗られた領域）が、画面内で多数分布している場合に相当する。

このように、本実施形態において判定処理部４００は、
・低信頼性領域がフレームに占める割合が予め定めた値を超える場合、
・信頼性の低いフリッカ検出枠の数又は割合が予め定めた値を超える場合、
・低信頼性領域の個数ｎが、予め定めた値を超える場合、
・低信頼性領域の面積が、予め定めた値を超える場合、
低信頼性領域の周囲に信頼性が高いフリッカ検出枠があっても、フリッカ成分の補間又は推定の精度が低くなるため、現フレームに対するフリッカ補正処理を行わない。

Ｓ４１５では、判定処理部４００において、後段のフリッカ補正値生成部５および、補正部７を制御するための制御信号Ｓ（値＝１）を出力する。制御信号Ｓに値＝１が設定されるのは、現フレーム内の全てのフリッカ検出枠の信頼性フラグｆｇがｆｇ＝０である場合である。これは、現フレーム内にフリッカ成分の信頼性の低いフリッカ検出枠がもともと存在しないか、または、Ｓ４０１乃至Ｓ４１４の処理を繰り返し行い、全ての低信頼性領域において、フリッカ成分の補間が終了した状態に相当する。

以上、補正値生成制御部４における、Ｓ４００からＳ４１６までの一連の処理により、画面内の全ての領域において、信頼性の高いフリッカ成分を用いて補正値生成が行われるよう、フリッカ成分が制御される。さらに、後段のフリッカ補正値生成部５、および、補正部７での補正処理を制御する制御信号が出力される。

（フリッカ補正値生成部５）
次に、図８を参照して、本実施形態におけるフリッカ補正値生成部５の構成および動作を説明する。
フリッカ補正値生成部５は、逆ゲイン生成処理部５００と、補正値平滑化処理部５０１とを含む。

逆ゲイン生成処理部５００は、第２の記憶部９から、現フレームにおけるフリッカ検出枠ごとのフリッカ成分を参照し、フリッカ成分によって表される画面垂直方向の変動成分の逆特性を求め、フリッカ検出枠単位のフリッカ補正値として出力する。

補正値平滑化処理部５０１では、逆ゲイン生成処理部５００の出力を参照し、フリッカ検出枠単位でのフリッカ補正値を内挿補間することにより、画素単位でのフリッカ補正値を生成する。

逆ゲイン生成処理部５００、および、補正値平滑化処理部５０１は、補正値生成制御部４から出力された制御信号Ｓによって制御されており、制御信号Ｓ＝１のときのみ、処理を行い、制御信号Ｓ＝０のときには、処理を停止する。

（補正部７）
最後に、補正部７の処理について説明する。
補正部７では、フリッカ補正値生成部５から出力される、入力画像信号の画素単位のフリッカ補正値を、第１の記憶部６から読み出した、現フレームの入力画像信号のうち、対応する画素に乗じて、入力画像信号に含まれるフリッカ成分を補正する。

また、補正部７は、補正値生成制御部４から出力される制御信号Ｓを参照し、制御信号Ｓ＝１のときのみ補正処理を行い、制御信号Ｓ＝０のときには補正を行わず、入力画像信号をそのまま出力する。

以上、説明したように、本実施形態によれば、入力された画像信号を、複数個のフリッカ検出枠に分割し、フリッカ検出枠毎にフリッカ成分を検出する。そのため、現フレームの垂直方向の強度分布において、被写体の動き等、フリッカ以外の変動成分が含まれている場合でも、精度良くフリッカ成分を検出することができる。

また、フリッカ検出枠ごとに、検出されたフリッカ成分の信頼性を評価し、信頼性の低いフリッカ成分については、信頼性の高いフリッカ成分を用いて生成したフリッカ成分と置き換える。そのため、現フレームの垂直方向の強度分布において、被写体の動き等、フリッカ以外の変動成分が含まれている場合でも、精度良くフリッカ成分を補正することができる。

また、フリッカ成分の信頼性の低いフリッカ検出枠からなる領域の面積や数に応じて、そのフリッカ成分を置き換えるためのフリッカ成分を生成する方法を制御するので、精度の高いフリッカ成分を生成することができる。その結果、フリッカ成分を精度良く補正することが可能になる。

また、フリッカ成分の信頼性の低いフリッカ検出枠が多数存在する場合など、画面全体におけるフリッカ成分の信頼性が低いと判定される場合には、該当フレームに対するフリッカ成分の補正を行わないようにする。そのため、過補正や、補正残り等、誤った補正による画質への悪影響を低減することができる。

（他の実施形態）
なお、上述の実施形態においては、第１〜第３の補間処理部４０１〜４０３がそれぞれ並行して補間処理を行ない、３つの処理結果の１つを、判定処理部４００の判定結果に従って選択部４０４が選択していた。しかし、判定処理部４００の判定結果（Ｓ４０６およびＳ４０７における判定結果）に従って、第１〜第３の補間処理部４０１〜４０３のうち該当する１つによって補間処理を行なっても良い。この場合、選択部４０４は入力されたフリッカ成分を第２の記憶部９に書き戻して更新する更新機能のみを実現すればよい。

上述の実施形態で説明したフリッカ補正装置は、ＸＹアドレス方式の撮像素子を用いる撮像装置に好適に使用することができる。すなわち、撮像素子から得られる画像信号に対し、本発明の実施形態に係るフリッカ補正装置を適用することにより、フリッカ成分を精度良く補正できる。そして、フリッカ補正後の画像信号を用いて、周知の画像処理や符号化処理を行ない、記録媒体に記録したり、外部機器へ出力したりすればよい。

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。 本発明の実施形態に係るフリッカ補正装置におけるフリッカ検出部１の構成例を示すブロック図である。 本発明の実施形態に係るフリッカ補正装置におけるフリッカ検出部１のブロック分割部１０１が入力画像に設定するフリッカ検出枠の例を示す図である。 本発明の実施形態に係るフリッカ補正装置におけるフリッカ成分評価部２の構成例を示すブロック図である。 本発明の実施形態に係るフリッカ補正装置におけるフリッカ分布解析部３の構成例を示すブロック図である。 本発明の実施形態に係るフリッカ補正装置における補正値生成制御部４の構成例を示すブロック図である。 本発明の実施形態に係るフリッカ補正装置における補正値生成制御部４の動作を説明するフローチャートである。 本発明の実施形態に係るフリッカ補正装置におけるフリッカ補正値生成部５の構成例を示すブロック図である。 （ａ）は動いている被写体を含むフレームとそのフリッカ成分の例を模式的に示す図、（ｂ）は、図９（ａ）に示すフレームに対してフリッカ成分の検出を行った結果を模式的に示す図、（ｃ）は図９（ｂ）に示すフリッカ成分に基づいて選択されたフリッカモデルの例を模式的に示す図である。 （ａ）は、図９（ｂ）に示すフリッカ成分と、図９（ｃ）に示すフリッカモデルとの差分をフリッカ成分評価部２で算出した結果に基づき、フリッカ分布解析部３がフリッカ検出枠を分類した結果を模式的に示す図、（ｂ）は、本発明の実施形態に係るフリッカ補正装置における第１補間処理部４０１において、図１０（ａ）の低信頼性領域を補間する際に用いるフリッカ検出枠の例を示す図、（ｃ）は、補間処理後のフリッカ成分の状態を模式的に示す図である。 （ａ）は、低信頼性領域が、画面の右端に偏っている状態の例を模式的に示す図、（ｂ）は、図１１（ａ）に示す低信頼性領域のフリッカ成分を生成するために本発明の実施形態に係るフリッカ補正装置における第２の補間処理部４０２が行う補間処理を説明するための図である。 （ａ）は、低信頼性領域が、画面の下端に偏っている状態の例を模式的に示す図、（ｂ）は、図１２（ａ）に示す低信頼性領域のフリッカ成分を生成するために本発明の実施形態に係るフリッカ補正装置における第２の補間処理部４０２が行う補間処理を説明するための図である。 （ａ）は、面積の大きな低信頼性領域が存在する状態の例を模式的に示す図、（ｂ）は、図１２（ａ）に示す低信頼性領域のフリッカ成分を生成するために本発明の実施形態に係るフリッカ補正装置における第３の補間処理部４０３が行う補間処理を説明するための図である。 本発明の実施形態に係るフリッカ補正装置における第３の補間補間処理部４０３が行う補間処理を説明するための図である。 低信頼性領域が多数分布している状態を示す模式図である。 ＸＹアドレス方式の固体撮像素子を用いた場合に発生するフリッカ現象を表す図である。 被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示す図である。

Claims (9)

1. ＸＹアドレス方式の撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、
   前記画像信号を、複数のフリッカ検出枠に分割する分割手段と、
   前記複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出手段と、
   前記フリッカ検出手段が検出したフリッカ成分を記憶する記憶手段と、
   前記フリッカ検出手段が検出したフリッカ成分と、予め定めたフリッカ成分を表すフリッカモデルとから、前記画像信号に対するフリッカモデルを決定する決定手段と、
   前記複数のフリッカ検出枠を、それぞれのフリッカ検出枠から検出されたフリッカ成分と前記フリッカモデルが表すフリッカ成分との差分に応じて分類する分類手段と、
   前記記憶手段に記憶された、前記分類手段により前記差分が予め定めた値以上であると分類されたフリッカ検出枠のフリッカ成分を、前記分類手段により前記差分が前記予め定めた値よりも小さいと分類されたフリッカ検出枠のフリッカ成分を用いて生成した新たなフリッカ成分で置き換える制御手段と、
   前記制御手段による置き換えが終了した後、前記記憶手段に記憶されたフリッカ成分から生成した補正値を用いて、前記画像信号のフリッカ成分を補正する補正手段とを有し、
   前記分類手段は前記差分が前記予め定めた値以上であると分類されたフリッカ検出枠のフリッカ成分に対する判定処理を行い、
   前記制御手段は前記判定処理の結果に応じて、複数の補間方法から１つを選択し、選択した補間方法にて前記新たなフリッカ成分を生成することを特徴とするフリッカ補正装置。
2. 前記補正手段は、前記分類手段により前記差分が前記予め定めた値以上であると分類されたフリッカ検出枠の割合が予め定められた閾値を超える画像信号については、フリッカ成分の補正を行わないことを特徴とする請求項１記載のフリッカ補正装置。
3. 前記分類手段は、前記差分が前記予め定めた値以上であると分類されたフリッカ検出枠のうち連続するフリッカ検出枠からなる１つの領域を低信頼性領域として設定し、前記低信頼性領域の全周囲に前記差分が前記予め定めた値よりも小さいと分類されたフリッカ検出枠があるかを判定することを特徴とする請求項１又は請求項２記載のフリッカ補正装置。
4. 前記制御手段が、前記分類手段により全周囲に前記差分が前記予め定めた値よりも小さいと分類されたフリッカ検出枠があると判定された前記低信頼性領域に含まれるフリッカ検出枠のフリッカ成分を、当該低信頼性領域の周囲に存在する、前記分類手段により前記差分が前記予め定めた値よりも小さいと分類されたフリッカ検出枠のフリッカ成分で補間することによって生成することを特徴とする請求項３記載のフリッカ補正装置。
5. 前記制御手段が、前記分類手段により全周囲に前記差分が前記予め定めた値よりも小さいと分類されたフリッカ検出枠があると判定されなかった前記低信頼性領域に含まれるフリッカ検出枠のフリッカ成分を、前記分類手段により前記差分が前記予め定めた値よりも小さいと分類されたフリッカ検出枠のフリッカ成分を外挿補間することによって生成することを特徴とする請求項３又は４に記載のフリッカ補正装置。
6. 前記分類手段は、前記差分が前記予め定めた値以上であると分類されたフリッカ検出枠のうち連続するフリッカ検出枠からなる１つの領域を低信頼性領域として設定し、前記画像信号における前記低信頼性領域のうち最大面積となる領域の大きさが予め定めた所定値よりも小さいか否かを判定することを特徴とする請求項１乃至５のいずれか１項に記載のフリッカ補正装置。
7. 前記分類手段により前記画像信号における前記低信頼性領域のうち最大面積となる領域の大きさが前記予め定めた所定値よりも小さいと判定されなかった場合に、前記制御手段が、前記低信頼性領域に含まれるフリッカ検出枠のフリッカ成分を、前記分類手段により前記差分が前記予め定めた値よりも小さいと分類されたフリッカ検出枠が所定の個数以上連続している列及び行に含まれるフリッカ検出枠のフリッカ成分で補間することによって生成することを特徴とする請求項６記載のフリッカ補正装置。
8. ＸＹアドレス方式の撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、
   分割手段が前記画像信号を、複数のフリッカ検出枠に分割する工程と、
   フリッカ検出手段が前記複数のフリッカ検出枠の各々で、フリッカ成分を検出する工程と、
   記憶手段が前記フリッカ検出手段が検出したフリッカ成分を記憶手段に記憶する工程と、
   決定手段が前記フリッカ検出手段が検出したフリッカ成分と、予め定めたフリッカ成分を表すフリッカモデルとから、前記画像信号に対するフリッカモデルを決定する工程と、
   分類手段がそれぞれのフリッカ検出枠から検出されたフリッカ成分と前記フリッカモデルとの差分を求め、前記複数のフリッカ検出枠を前記差分が予め定めた値以上であるフリッカ検出枠と、前記差分が前記予め定めた値よりも小さいフリッカ検出枠に分類するとともに、前記差分が前記予め定めた値以上であると分類されたフリッカ検出枠のフリッカ成分に対する判定処理を行う工程と、
   制御手段が前記判定処理の結果に応じて複数の補間方法から１つを選択し、前記記憶手段に記憶された前記差分が前記予め定めた値以上であると分類されたフリッカ検出枠のフリッカ成分を、前記差分が前記予め定めた値よりも小さいと分類されたフリッカ検出枠のフリッカ成分を用いて、選択された補間方法により生成した新たなフリッカ成分で置き換える工程と、
   前記制御手段による置き換えが終了した後、補正手段が、前記記憶手段に記憶されたフリッカ成分から生成した補正値を用いて、前記画像信号のフリッカ成分を補正する工程とを有することを特徴とするフリッカ補正方法。
9. コンピュータを、請求項１乃至請求項７のいずれか１項に記載のフリッカ補正装置の各手段として機能させるためのプログラム。