JP4867822B2 - 画像処理装置及び画像処理方法、並びに撮像装置 - Google Patents

Description

本発明は、商用交流電源により点灯される蛍光灯などの点滅する光源の照明下でビデオカメラにより被写体を撮影した際に撮像画像上に生じる蛍光灯フリッカを検出し補正する画像処理装置及び画像処理方法、並びに撮像装置に係り、特に、蛍光灯照明下においてＣＭＯＳイメージ・センサなどのＸＹアドレス走査型固体撮像装置で撮影した場合に発生する横縞状の蛍光灯フリッカを検出し補正する画像処理装置及び画像処理方法、並びに撮像装置に関する。

さらに詳しくは、本発明は、標準テレビ信号よりも高速なフレームレートで被写体を撮像する高速撮影時に生じる、１画面内に１周期分が入りきらないフリッカ縞を検出し補正する画像処理装置及び画像処理方法、並びに撮像装置に係り、特に、通常撮影時に固定フリッカ縞が発生するような撮影環境下で高速撮影モードに入れたときに、画像信号からフリッカを検出し補正する画像処理装置及び画像処理方法、並びに撮像装置に関する。

最近、フィルムや感光板を使って撮影する銀塩カメラに代わって、光電変換及び蓄積を行なう画素配列の受光部をフォトダイオードにより構成した固体撮像素子で画像をキャプチャしデジタル符号処理して保存するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。

固体撮像素子として、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｒｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化物半導体）などを挙げることができる。このうちＣＭＯＳイメージ・センサは、信号の順次読み出し転送をＭＯＳトランジスタ・スイッチのマトリクスにより構成し、垂直及び水平シフトレジスタにより順次走査を行なうように構成されるが、ＣＣＤと比べて製造コストが低く低消費電力であるという利点がある。

ところで、商用交流電源により点灯される蛍光灯などの点滅する光源の照明下で、ビデオカメラにより被写体を撮影すると、光源の輝度変化（光量変化）の周波数とカメラの垂直同期周波数との違いのために撮像画像上に生じる時間的な明暗の変化、すなわち蛍光灯フリッカが生じることが知られている。特に、上述したＣＭＯＳ型イメージ・センサなどのＸＹアドレス走査型の撮像素子を用いた場合には、水平ライン毎の露光タイミングが異なるため、撮像画像上のフリッカは、垂直方向の周期的な輝度レベルあるいは色相の変動による縞模様として観察される。このようなフリッカの成分を撮像画像信号から除去するための手法としては、主に、シャッタ速度とフリッカ・レベルとの関連性に基づいて補正する「シャッタ補正方式」と、フリッカ波形を検出してその逆波形を補正ゲインとして画像信号に適用する「ゲイン補正方式」が知られている。

他方、デジタルビデオカメラなどに対する高機能化の要求に伴い、最近では、標準テレビ信号よりも高速な画面レートで被写体を撮像する機能を持ったカメラの開発が進んでいる。以下では、このような高速撮像機能を持つカメラにおけるフリッカの低減手法について考察する。

図１５には、ＸＹアドレス走査型の撮像素子を持つカメラにより蛍光灯照明下で撮影したときのフリッカ・レベルとシャッタ速度との関係についてのコンピュータ・シミュレーション結果を示している。図示のグラフは、横軸にシャッタ・速度をとるとともに縦軸にフリッカ・レベルをとり、商用交流電源周波数が５０Ｈｚの地域における非インバータ方式の蛍光灯照明下で撮影したときのシャッタ速度に応じたフリッカ・レベルの変化を示している。同図から、シャッタ速度とフリッカ・レベルには関連性があり、特に、シャッタ速度がＮ／１００（但し、Ｎは正の整数）のときにフリッカを完全に抑制することができる。蛍光灯の電源周波数をｆ［Ｈｚ］とおくと、フリッカ・レスとなるシャッタ速度Ｓ＿ｆｋｌｅｓｓは一般に以下の式（１）で表すことができる。

シャッタ補正方式では、このような性質に基づき、何らかの方法でフリッカが発生していることを検出した場合に、シャッタ速度を上式（ １ ） のＳ ＿ ｆ ｋ ｌ ｅ ｓ ｓ に設定することでフリッカの発生を回避することができる。しかしながら、この手法はシャッタ速度に制限が生じるため、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）制御の自由度が低下するという問題がある。

例えばフレームレートがＮＴＳＣの４倍（２４０ｆｐｓ）となる高速撮影時に、カメラに設定できるシャッタ速度は、少なくとも １／２４０秒よりも高速側に制限されることは容易に想像がつく。さらにフレームレートが高速になっていくと、カメラに設定できるシャッタ速度はフレームレート以上の高速側のシャッタスピードしか選択することができない。つまり、高速撮影を行なうカメラにとって、そもそもシャッタ補正方式によるフリッカの回避という選択肢はないのである。

これに対し、ゲイン補正方式では、フリッカ波形を検出してその逆波形を補正ゲインとして画像信号に適用することから、シャッタ補正方式におけるシャッタ速度の制約から解放されるが、一般にフリッカ波形を正確に検出することは非常に困難である。

ゲイン補正方式の一例として、入力画像信号を１水平周期以上の時間にわたって積分する工程と、その積分値又は隣接するフィールド又はフレームにおける積分値の差分値を正規化する工程と、その正規化後の積分値又は差分値のスペクトルを抽出する工程と、その抽出したスペクトルからフリッカ成分を推定する工程と、その推定したフリッカ成分を打ち消すように、推定したフリッカ成分と前記入力画像信号を演算する工程を備え、蛍光灯照明下でＸ Ｙ アドレス走査型の撮像素子により撮影された画像信号に含まれる蛍光灯フリッカ成分を低減する方法について提案がなされている（例えば、特許文献１を参照のこと）。この方法におけるフリッカ縞の検波系は、要するに、入力信号を適当な形に加工しながらフリッカ縞１周期分をサンプリングし、このサンプリング・データからＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）周期を基本波とするフリッカの周波数スペクトルを計算し、低次項のみを利用してフリッカ波形を推定するというステップからなる。

上記のフリッカ低減方法によれば、正規化後の積分値又は差分値として、フリッカ成分以外の信号成分を除去してフリッカ成分を容易に高精度で推定できる信号を得て、その正規化後の積分値又は差分値の適当な次数までのスペクトルを抽出することによってフリッカ成分を高精度で推定することができ、その推定したフリッカ成分と入力画像信号を演算することによって、入力画像信号からフリッカ成分を確実且つ十分に低減することができる。しかしながら、フリッカの検波系では１画面内からフリッカ１周期分のサンプリングを行なうことを前提としていることから、高速撮影時においてフリッカ１周期が１画面内に収まりきらないときには有効なフリッカ補正アルゴリズムではなくなる。

垂直同期期間内のライン数をＭとし、フリッカ縞の１周期分に相当するライン数をＴ＿ｆｋとし、フレームレートをＦＰＳとすると、一般に下式（２）に示す関係が成り立つ。

フレームレートが下式（３）に示す条件を満足するような高速撮影時には、上式（２）よりフリッカ縞の周期とライン数の関係が下式（４）のようになってしまう。

上式（４）は、フリッカ１周期がもはや１画面内に収まりきらなくなってしまうことを意味する。

図１６には、通常撮像時及び高速撮像時における垂直同期周波数とフリッカ波形との関係をそれぞれ示している。

図１６Ａには、ＮＴＳＣ方式（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）のフレームレートである６０ｆｐｓの垂直同期信号ＶＤとフリッカ波形との関係を示している（同図中、フリッカ縞の１周期分に相当するライン数Ｔ＿ｆｋは上式（２）により決定される）。この場合、垂直同期期間が１／６０秒であるのに対し、フリッカ縞の１周期は１／１００秒であり、１画面内にフリッカ縞１周期が収まることから、上述のフリッカ低減方法によってフリッカ波形を検波することができ、有効にフリッカ補正を行なうことができる。同図中、破線で囲った範囲がフリッカ縞１周期分からなる検波枠単位であり、この単位でフリッカと背景を区別して、フリッカの推定処理を行なう。

一方、図１６Ｂには、高速撮影の例として標準の４倍のフレームレートである２４０ｆｐｓで撮像を行なったときの垂直同期信号とフリッカ波形との関係を示している（同図中、フリッカ縞の１周期分に相当するライン数Ｔ＿ｆｋは上式（２）により決定される）。この場合、フリッカ縞の１周期は図１６Ａと同様に１／１００秒であるが、垂直同期期間は１／２４０秒となることから、上式（３）に示したように１画面内にフリッカ縞１周期分が収まりきらないので、上述のフリッカ低減方法ではフリッカ波形を検波することができず、有効にフリッカ補正を行なうことができなくなる。同図中、破線で囲った範囲がフリッカ縞１周期分からなる検波枠単位であるが、複数画面を使ってフリッカ縞１周期分にして扱い、この単位でフリッカと背景を区別して、フリッカの推定処理を行なう。

なお、上記のフリッカ低減方法に限らず、多くのフリッカ補正アルゴリズムでは、フリッカ現象がフィールド繰り返し性を持つこと（例えば、ＮＴＳＣの５０Ｈｚ電源地域のフリッカは３フィールド後に同じフリッカ波形となる）を利用し、例えば３枚分の画面のフリッカ波形の平均値から背景成分のみの抽出を行なうようなことを必要としているが、高速撮像時にはその繰り返しフィールド数がフレームレートＦＰＳに応じて異なるため、この種のフリッカ補正アルゴリズムを高速撮像時に適用することはできない。

また、ゲイン補正方式の他の例として、フリッカ縞が１画面にもはや１周期分含まれなくなるような条件下では、フリッカ縞が１周期分以上含まれる時間に相当する複数フィールド分の画像情報を集め、常時フリッカ縞の情報が１周期以上含まれるような形に前処理した上で、フリッカの繰り返し性を利用したフリッカ検出及び補正アルゴリズムを適用する画像処理装置について提案がなされている（例えば、特許文献２を参照のこと）。この画像処理装置によれば、画像信号の画面レートに関係なく、１周期分のフリッカ成分を含む連続的な画像信号が確実にフリッカの解析対象となり、フリッカの検出精度が向上する。

ここで、別の撮影条件下で高速撮像を行なう場合についてさらに考察する。例えば、電源周波数が６０Ｈｚの地域の蛍光灯下で撮影した場合、カメラに設定できるシャッタ速度は基本的に１／２４０秒より高速側に限られる（同上）。すなわち、この撮影条件下でも、シャッタ補正によるフリッカの回避という選択肢はない。そこで、フリッカ縞が１周期分以上含まれる時間に相当する複数フィールド分の画像情報を集め、常時フリッカ縞の情報が１周期以上含まれるような形に前処理してからフリッカ補正を行なうという上記のフリッカ検出及び補正アルゴリズムの適用を検討してみる。

図１７には、電源周波数が６０Ｈｚの地域の蛍光灯下で通常撮像及び高速撮像したときの垂直同期周波数とフリッカ波形との関係をそれぞれ示している。

図１７Ａには、ＮＴＳＣ方式のフレームレートである６０ｆｐｓの垂直同期信号ＶＤとフリッカ波形との関係を示している（同図中、フリッカ縞の１周期分に相当するライン数Ｔ＿ｆｋは上式（２）により決定される）。この場合、垂直同期期間が１／６０秒であるのに対し、フリッカ縞の１周期は１／１２０秒であり、１画面内にフリッカ縞１周期が収まる。しかしながら、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係にあることから、検波枠単位で見たときに、各検波枠単位のフリッカ縞が垂直同期期間に対して全く同じ位置になるという固定フリッカ縞が発生する同図中、破線で囲った範囲がフリッカ縞１周期分からなる検波枠単位であるが、図示のように検波枠単位毎にフリッカ位相が全く同じになるから、フリッカと背景との区別がつけられない。但し、通常撮影モード下では、シャッタ補正方式によりフリッカを回避することができる。

一方、図１７Ｂには、高速撮影の例として標準の４倍のフレームレートである２４０ｆｐｓで撮像を行なったときの垂直同期信号とフリッカ波形との関係を示しているが、フリッカ縞の１周期が１／１２０秒であるのに対し、垂直同期期間は１２０秒となる（同図中、フリッカ縞の１周期分に相当するライン数Ｔ＿ｆｋは上式（２）により決定される）。同図中、破線で囲った範囲がフリッカ縞１周期分からなる検波枠単位であるが、複数画面を使ってフリッカ縞１周期分にして扱う。実はこの撮影条件下では１画面にフリッカ縞１周期分がちょうど入っており、１周期分のフリッカ情報を含むことになるから、一見何の問題も無いように見える（固定フリッカ条件であるが、画面毎で考えると固定フリッカではない）。確かに各画面に１周期分の情報は入っている。しかしながら、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係にあることから、図１７Ｂを見て分かる通り、検波枠単位で見たときに、各検波枠単位のフリッカ縞が垂直同期期間に対して全く同じ位置になるという固定フリッカ縞が発生する。このような場合、正規化処理を行なう際にフィールド間の差分を取った時点で、背景とともにフリッカ縞の情報もなくなってしまうことになる。すなわち、垂直同期とフリッカ縞が同期してしまうような上記条件では、たとえフリッカに繰り返し性があっても背景と区別することができないので、フリッカ現象の繰り返し性を使って背景とフリッカ縞の区別を行なう上記のフリッカ検出アルゴリズムを適用することはできない。

勿論、通常撮像時においても、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係となる撮影条件下では、上述したように固定フリッカ縞は発生する（図１７Ａを参照のこと）。但し、通常撮像時にはシャッタ補正方式（前述）による回避方法が存在するので、何らかの手法で固定フリッカが発生する撮影条件であることが分かればフリッカを消すことはできる。

あるいは、あらかじめ固定フリッカ問題が発生しないようなシャッタ速度制約を設ける方法も提案されているが（例えば、特許文献３を参照のこと）、高速撮像モードではシャッタ補正方式によるフリッカの回避は不可能である。また、図１７Ｂを見ると分かるように、画面単位でみればもはや固定フリッカ縞ではなく、フリッカ縞が垂直方向に流れていくという映像として非常に醜いものになってしまう。

特開２００４−２２２２２８号公報 特開２００６−３４５３６８号公報 特許３８２６６０４号公報

本発明の目的は、商用交流電源による蛍光灯照明下においてＣＭＯＳイメージ・センサなどのＸＹアドレス走査型固体撮像装置で撮影した場合に発生する横縞状の蛍光灯フリッカを好適に検出して画像信号からフリッカを取り除くことができる、優れた画像処理装置及び画像処理方法、並びに撮像装置を提供することにある。

本発明のさらなる目的は、標準テレビ信号よりも高速なフレームレートで被写体を撮像する高速撮影時に生じる、１画面内に１周期分が入りきらないフリッカ縞を好適に検出して画像信号からフリッカを取り除くことができる、優れた画像処理装置及び画像処理方法、並びに撮像装置を提供することにある。

本発明のさらなる目的は、通常撮影時に固定フリッカ縞が発生するような撮影環境下で高速撮影モードに入れたときに、画像信号からフリッカを好適に検出し取り除くことができる、優れた画像処理装置及び画像処理方法、並びに撮像装置を提供することにある。

本発明は、上記課題を参酌してなされたものであり、フリッカ成分を含んだ画像信号を処理する画像処理装置であって、
フリッカ１周期分以上の長さを持つサンプリング期間にわたってライン毎に画像信号を積分する積分処理部と、
過去のサンプリング期間における前記積分処理部による積分値を保持する積分値保持部と、
連続する２以上のサンプリング期間における積分値を平均化する平均値演算部と、
前記の連続する２以上のサンプリング期間における積分値の差分をとる差分演算部と、
前記平均値演算部で得られた平均値を用いて、前記差分演算部により算出された差分値を正規化する正規化演算部と、
前記の正規化された積分値の差分値を周波数解析する周波数解析手段と、
前記周波数解析手段による周波数解析した結果に基づいて画像信号に含まれるフリッカ成分を検出するフリッカ検出手段と、
前記フリッカ検出手段により検出されたフリッカ成分を画像信号から除去するための演算を行なう演算部と、
を備え、
フレームレートとフリッカ波形の１周期に相当する時間がちょうど整数倍の関係にあり、若しくはフリッカ波形が垂直同期期間に対して毎回同じ位相になる撮影環境下において、
前記平均値演算部は、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化し、
前記差分演算部は、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして差分をとる、
ことを特徴とする画像処理装置である。

近年、固体撮像素子を用いて画像をキャプチャするデジタルカメラが普及しているが、商用交流電源により点灯される蛍光灯照明下で被写体を撮影すると、光源の輝度変化（光量変化）の周波数とカメラの垂直同期周波数との違いのために撮像画像上に生じる時間的な明暗が変化するフリッカ現象が生じることが知られている。特に、ＣＭＯＳ型イメージ・センサなどのＸＹアドレス走査型の撮像素子を用いた場合には、水平ライン毎の露光タイミングが異なるため、撮像画像上のフリッカは、垂直方向の周期的な輝度レベルあるいは色相の変動による縞模様として観察される。

画像信号からフリッカ波形を検出してその逆波形を補正ゲインとして画像信号に適用するゲイン補正方式によって、フリッカ成分を除去することができる。例えば、画像信号を１水平周期以上の時間にわたって積分し、その積分値又は隣接するフィールド又はフレームにおける積分値の差分値を正規化し、その正規化後の積分値又は差分値から抽出されるスペクトルを基にフリッカ成分を推定する方法が知られており、フリッカ縞１周期分のサンプリング・データからＤＦＴ周期を基本波とするフリッカの周波数スペクトルを計算し、低次項のみを利用してフリッカ波形を高精度に推定することができる（特許文献１を参照のこと）。

また、高速撮影時にはフリッカ１周期が１画面内に収まりきらないが、フリッカ縞が１周期分以上含まれる時間に相当する複数フィールド分の画像情報を集め、常時フリッカ縞の情報が１周期以上含まれるような形に前処理した上で、上述のように、正規化後の積分値又は差分値として、フリッカ成分以外の信号成分を除去してフリッカ成分を高精度で推定できる信号を得て、その正規化後の積分値又は差分値の適当な次数までのスペクトルを抽出することによってフリッカ成分を高精度で推定することができる（特許文献２を参照のこと）。

しかしながら、例えば電源周波数が６０Ｈｚの地域の蛍光灯下でフレームレートが２４０ｆｐｓとなる高速撮影を行なう場合には、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係にあることから、各検波枠単位のフリッカ縞が垂直同期期間に対して全く同じ位置になる「固定フリッカ縞」が発生する。このような場合、正規化処理を行なう際にフィールド間の差分を取った時点で、背景とともにフリッカ縞の情報もなくなってしまい、たとえフリッカに繰り返し性があっても背景と区別することができない。すなわち、フリッカ現象の繰り返し性を使って背景とフリッカ縞の区別を行なう上記のフリッカ検出アルゴリズムを適用することはできない。

他方、シャッタ速度とフリッカ・レベルには関連性があることが知られ、シャッタ速度がＮ／１００（但し、Ｎは正の整数）のときにフリッカを完全に抑制できるという特性を利用して、フリッカ・レスとなるシャッタ速度Ｓ＿ｆｋｌｅｓｓを用いてフリッカを回避するシャッタ補正方式も知られている。しかしながら、シャッタ速度に制限が生じ、ＡＥ制御の自由度が低下するため、高速撮影を行なうカメラにとってシャッタ補正方式によるフリッカの回避という選択肢はない。言い換えれば、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係となることに起因する固定フリッカ縞は、高速撮影時において不可避の問題である。

これに対し、本発明に係る画像処理装置は、基本的には、フリッカ現象の繰り返し性を使って背景とフリッカ縞の区別を行なう上記のフリッカ検出アルゴリズムを適用するものであり、フリッカ１周期分以上の長さを持つサンプリング期間にわたってライン毎に画像信号を積分する積分処理部と、連続する２以上のサンプリング期間における積分値を平均化する平均値演算部と、前記の連続する２以上のサンプリング期間における積分値の差分をとる差分演算部と、前記平均値演算部で得られた平均値を用いて前記差分演算部により算出された差分値を正規化する正規化演算部と、前記の正規化された積分値の差分値を周波数解析する周波数解析手段と、前記周波数解析手段による周波数解析した結果に基づいて画像信号に含まれるフリッカ成分を検出するフリッカ検出手段と、前記フリッカ検出手段により検出されたフリッカ成分を画像信号から除去するための演算を行なう演算部で構成される。

ここで、フレームレートとフリッカ波形の１周期に相当する時間がちょうど整数倍の関係にあり、フリッカ波形が垂直同期期間に対して毎回同じ位相になって固定フリッカが発生するような撮影環境下では、平均値演算部は、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化することによって、フリッカ及び背景ともに同じとなる信号の加重平均をとることを回避するようになっている。また、差分演算部は、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして差分をとることによって、フリッカ及び背景ともに同じとなる信号の差分をとることを回避するようになっている。

このように、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして平均化及び差分処理を行なうことによって、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係にあるため固定フリッカが発生する撮影条件下でも、入力された画像信号から背景成分及びフリッカ成分のみを抽出することができるようになる。

勿論、フリッカ波形が垂直同期期間に対して同じ位相にならず、固定フリッカが発生しないような撮影環境下では、加算するサンプリング位相の組み合わせを変えた状態で平均化処理を行なったり、差分をとるサンプリング位相の組み合わせを変えた状態で差分処理を行なったりする必要はない。このような場合には、前記平均値演算部は、連続する２以上のサンプリング期間における積分値をサンプリング位相の順に加算平均し、前記差分演算部は、連続する２つのサンプリング期間における積分値の差分をサンプリング位相の順にとるようにすればよい。

要するに、本発明に係る画像処理装置は、前記平均値演算部が連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化するとともに、前記差分演算部が連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして差分をとる第１の正規化積分値算出モードと、前記平均値演算部が連続する２以上のサンプリング期間における積分値をサンプリング位相の順に加算平均するとともに、前記差分演算部が連続する２つのサンプリング期間における積分値の差分をサンプリング位相の順にとる第２の正規化積分値算出モードを備えている。そして、被写体を行なう場所が５０Ｈｚ地域と６０Ｈｚ地域のいずれであるか、すなわち、前記商用交流電源の周波数に基づくフリッカ波形の１周期とフレームレートが整数倍の関係となるときに前記第１の正規化積分値算出モードに設定し、それ以外のときは前記第２の正規化積分値算出モードに設定するようにすればよいことになる。

また、現在使用している商用交流電源に応じた前記第１の正規化積分値算出モードと前記第２の正規化積分値算出モードのモード切替を自動で行なうことができる。例えば、まず前記第２の正規化積分値算出モードに設定し、画像信号に含まれるフリッカ成分の検出を試みる。このとき、画像信号に含まれるフリッカ成分に相当する周波数スペクトルが前記周波数解析手段によって定常的に発生したときには、５０Ｈｚ地域であると推定されることから、前記第２の正規化積分値算出モードに設定したままとする。他方、画像信号に含まれるフリッカ成分に相当する周波数スペクトルが前記周波数解析手段によって定常的に発生しなかったときには、６０Ｈｚ地域であると推定されることから、前記第１の正規化積分値算出モードに切り替えるようにする。

続いて、前記第２の正規化積分値算出モードでは定常的な周波数スペクトルが発生せず、６０Ｈｚ地域であると推定したために前記第１の正規化積分値算出モードに切り替えたとき、画像信号に含まれるフリッカ成分に相当する周波数スペクトルが前記周波数解析手段によって定常的に発生したならば、６０Ｈｚ地域であることが断定的となるので、前記第１の正規化積分値算出モードに設定したままとする。これに対し、画像信号に含まれるフリッカ成分に相当する周波数スペクトルが前記周波数解析手段によって定常的に発生しなかったときには、電源周波数に基づくフリッカ成分の周期の問題ではなく、そもそもフリッカが発声していない状態であることが推定される。このような場合には、いずれの算出モードであっても、フリッカ検出値が出力されず、その結果として入力画像信号に対し不要な補正がかかることもない。

なお、本発明の要旨は、６０Ｈｚ地域で２４０ｆｐｓというように高速撮影を行なう場合に限定されるものではない。通常撮影時において垂直同期とフリッカ縞が同期してしまう条件下でも同様に本発明を適用することができ、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化及び差分を演算することによって、ゲイン補正方式による高精度なフリッカ検出及び補正処理を実現することができる。

本発明によれば、商用交流電源による蛍光灯照明下においてＣＭＯＳイメージ・センサなどのＸＹアドレス走査型固体撮像装置で撮影した場合に発生する横縞状の蛍光灯フリッカを好適に検出して画像信号からフリッカを取り除くことができる、優れた画像処理装置及び画像処理方法、並びに撮像装置を提供することができる。

また、本発明によれば、標準テレビ信号よりも高速なフレームレートで被写体を撮像する高速撮影時に生じる、１画面内に１周期分が入りきらないフリッカ縞を好適に検出して画像信号からフリッカを取り除くことができる、優れた画像処理装置及び画像処理方法、並びに撮像装置を提供することができる。

また、本発明によれば、通常撮影時に固定フリッカ縞が発生するような撮影環境下で高速撮影モードに入れたときに、画像信号からフリッカを好適に検出し取り除くことができる、優れた画像処理装置及び画像処理方法、並びに撮像装置を提供することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用するのに適した撮像装置の構成を模式的に示している。図示の撮像装置は、光学ブロック１１と、ドライバ１１ａと、ＣＭＯＳ型イメージ・センサ１２と、タイミング・ジェネレータ（ＴＧ）１２ａと、アナログ・フロント・エンド（ＡＦＥ）回路１３と、カメラ処理回路１４と、システム・コントローラ１５と、入力部１６と、グラフィックＩ／Ｆ（インターフェース）１７と 、ディスプレイ１７ａを備えている。以下、各部について説明する。

光学ブロック１１は、被写体からの光をＣＭＯＳセンサ１２に集光するためのレンズと、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構と、シャッタ機構と、アイリス機構などで構成される。ドライバ１１ａは、システム・コントローラ１５からの制御信号に基づいて、光学ブロック１１内の各機構を駆動する。

ＣＭＯＳセンサ１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタ・トランジスタ）、スイッチング・トランジスタ（アドレスト・ランジスタ）、増幅トランジスタ、リセット・トランジスタ（リセット・ゲート）などからなる複数の画素を２次元状に配列して形成され、垂直走査回路、水平走査回路、画像信号の出力回路なども同一のＣＭＯＳ基板上に形成される。ＣＭＯＳセンサ１２は、タイミング・ジェネレータ１２ａから出力されるタイミング信号に基づいて駆動し、被写体からの入射光を電気信号に変換する。タイミング・ジェネレータ１２ａは、システム・コントローラ１５の制御の下でタイミング信号を出力する。

ＣＭＯＳセンサ１２は、例えば、１ライン分の画素信号を出力するときに、撮像素子上の隣接している同色の画素の信号を加算して同時に出力することによって、画素信号を読み出す際の同期周波数を高めることなく、画面の切り替えレートを高めている。またこれにより、画角を変えることなく画像サイズ（ 解像度） が低下する。本実施形態では、ＣＭＯＳセンサ１２は、ＮＴＳＣ方式の仕様である６ ０ｆｐｓによる通常速度での通常撮像モードとともに、６０ｆｐｓより高いフレームレート（例えば２４０ｆｐｓ）で高速に撮像する高速撮像モードを備えているものとする。

ＡＦＥ回路１３は、ＣＭＯＳセンサ１２から出力された画像信号に対して、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関多重サンプリング）処理によりＳ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）比を良好に保つようにサンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御）処理により利得を制御し、Ａ／Ｄ 変換を行なってデジタル画像信号を出力する。なお、ＡＦＥ回路１３は、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成されるが、あるいはＣＤＳ処理を行なう回路をＣＭＯＳセンサ１２と同一のＣＭＯＳ基板上に形成されてもよい。

カメラ処理回路１４は、例えば１つのＩＣとして構成され、ＡＦＥ回路１３からの画像信号に対するＡＦ（Ａｕｔｏ Ｆｏｃｕｓ：自動焦点合わせ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：自動露光調整）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ：ホワイトバランス調整）などの各種カメラ信号処理、又はその処理の一部を実行する。本実施形態では、カメラ処理回路１４は蛍光灯下の撮像時に画面に生じるフリッカの信号成分を画像信号から低減するフリッカ低減部２０を備えている。

システム・コントローラ１５ は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などからなるマイクロプロセッサで構成され、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。

入力部１６は、例えばシャッタ・レリーズ・ボタンなどの各種操作キーやレバー、ダイヤルなどにより構成され、ユーザによる入力操作に応じた制御信号をシステム・コントローラ１５に出力する。

グラフィックＩ／Ｆ１７は、カメラ処理回路１４からシステム・コントローラ１５を介して供給された画像信号から、ディスプレイ１７ａに表示させるための画像信号を生成して、この信号をディスプレイ１７ａに供給し、画像を表示させる。ディスプレイ１７ａは、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）からなり、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像などを表示する。また、ディスプレイ１７ａ上には、システム・コントローラ１５からの要求に応じて、メニュー画面や各種設定画面や、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）として表示出力される。

図示の撮像装置では、ＣＭＯＳセンサ１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。カメラ処理回路１４は、ＡＦＥ回路１３から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に変換して出力する。

カメラ処理回路１４から出力された画像データは、システム・コントローラ１５を介してグラフィックＩ／Ｆ１７に供給されて表示用の画像信号に変換され、これによりディスプレイ１７ａにカメラスルー画像が表示される。また、入力部１６からのユーザの入力操作などによりシステム・コントローラ１５に対して画像の記録が指示されると、カメラ処理回路１４からの画像データはエンコーダ（図示しない）に供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ処理回路１４からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、ＡＦ、ＡＥ、ＡＷＢなどカメラ信号処理が施された画像データがエンコーダに連続的に供給される。

図２には、カメラ処理回路１４の内部構成を示している。図示のカメラ処理回路１４は、当該回路全体に対する基準信号を生成する基準信号生成部３０と、基準信号生成部３０から基準信号の供給を受けて動作する、各種カメラ信号処理のための複数の処理ブロック３１、３２、３３…を備えている。また、本実施形態では、処理ブロックの１つとしてフリッカ低減部２０が配設されている。

基準信号生成部３０は、源発振器（図示しない）からカメラ処理回路１４に供給される基準信号に同期して、処理ブロック３１、３２、３３…をそれぞれ動作させるための基準信号ＳＩＧ＿ＲＥＦ＿１、ＳＩＧ＿ＲＥＦ＿２、ＳＩＧ＿ＲＥＦ＿３…を生成して出力する。各基準信号ＳＩＧ＿ＲＥＦ＿１、ＳＩＧ＿ＲＥＦ＿２、ＳＩＧ＿ＲＥＦ＿３…は、画像信号の流れなどに応じて各処理ブロック３１、３２、３３…間で生じる遅延を考慮して出力される。また、処理ブロック３１、３２、３３…には、供給された基準信号ＳＩＧ＿ＲＥＦ＿１、ＳＩＧ＿ＲＥＦ＿２、ＳＩＧ＿ＲＥＦ＿３…を基にそれらの内部での動作タイミングを詳細に司る基準信号を生成するブロック（いずれも図示しない）がそれぞれ設けられている。

処理ブロックの１つであるフリッカ低減部２０も同様に、基準信号生成部３０からの基準信号ＳＩＧ＿ＲＥＦ＿ＦＫを基にフリッカ低減部２０の内部での動作タイミングを司る基準信号を生成する内部基準信号生成部２１と、生成された基準信号を用いて動作する検出・低減処理部２２とを備えている。

基準信号生成部３０は、フリッカ低減部２０に対する基準信号ＳＩＧ＿ＲＥＦ＿ＦＫとして、垂直同期信号ＶＤ、水平同期信号ＨＤ、垂直方向に対する画像信号の有効期間を示す２種類のイネーブル信号ＶＥＮ１及びＶＥＮ２（後述）、水平方向に対する画像信号の有効期間を示すイネーブル信号ＨＥＮなどを出力する。内部基準信号生成部２１は、これらの信号を基に、検出・低減処理部２２に対する各種基準信号やカウント値などを生成する。

内部基準信号生成部２１はカウンタ２１ａを備え、このカウンタ２１ａにより、１垂直期間中の有効期間におけるライン数を示すカウント値ＶＣＯＵＮＴを出力する。カウンタ２１ａは、システム・コントローラ１５から撮像モードの設定を受け取ると、その設定に対応したフレームレートに従ってイネーブル信号ＶＥＮ１又はＶＥＮ２のいずれかを選択する。そして、内部基準信号生成部２１は、選択したイネーブル信号がハイ・レベルの期間における水平同期信号ＨＤのカウント数をＶＣＯＵＮＴとして出力し、イネーブル信号がロー・レベルに転じたときにカウント値ＶＣＯＵＮＴをリセットする。

検出・低減処理部２２内の各部は、画像信号の垂直方向に対する動作タイミングはすべてカウント値ＶＣＯＵＮＴを基準に制御される。内部基準信号生成部２１は、例えば、カウント値ＶＣＯＵＮＴと所定の値とを比較することで、ある期間のみハイ・レベルとなるイネーブル信号、ある期間で所定の間隔でハイ・レベルとなるパルス信号などといった信号を自在に生成し、検出・低減処理部２２の動作タイミングを制御することができる。

本実施形態では、内部基準信号生成部２１は、システム・コントローラ１５から設定された撮像モードに応じて、フリッカ縞の１周期分に相当するカウント数（後述するＴ＿ｆｋ）を算出し、イネーブル信号ＶＥＮ１又はＶＥＮ２がハイ・レベルで且つカウント値ＶＣＯＵＮＴがそのカウント数（Ｔ＿ｆｋ：フリッカ縞の１周期分に相当するライン数）に達するまでの間にハイ・レベルとするイネーブル信号ＤＥＴＥＣＴ＿ＥＮを生成して、検出・低減処理部２２に供給する。イネーブル信号ＤＥＴＥＣＴ＿ＥＮは、検出・低減処理部２２での画像信号のサンプリング期間を示し、検出・低減処理部２２内の検波系ブロック（後述）は、このサンプリング期間を基準として動作する。

なお、内部基準信号生成部２１がシステム・コントローラ１から通知される撮影モードに応じてイネーブル信号ＤＥＴＥＣＴ＿ＥＮがハイ・レベルとなる期間を決めるカウント数（Ｔ＿ｆｋ）を設定するのではなく、システム・コントローラ１５がカウント数（Ｔ＿ｆｋ）を直接設定するようにしてもよい。

検出・低減処理部２２は、イネーブル信号ＤＥＴＥＣＴ＿ＥＮでアサートされるサンプリング期間において、入力画像信号をサンプリングし、そのサンプリング・データからフリッカ波形を推定して、画像信号のゲインを調整して、フリッカ成分を低減もしくは除去する処理を実行する。フリッカ成分の検出と低減に関する一連の処理は、イネーブル信号ＤＥＴＥＣＴ＿ＥＮ及びカウント値ＶＣＯＵＮＴなど、内部基準信号生成部２１からの各種基準信号に基づいて実行される。

図３には、検出・低減処理部２０の内部構成を示している。以下では、どう図を参照しながら、検出・低減処理部２０内の各部の構成と画像信号のサンプリング動作について説明する。

図示の検出・低減処理部２２は、画像信号を検波し、その検波値を正規化して出力する正規化積分値算出部１１０と、正規化された検波値にＤＦＴ処理を施すＤＦＴ処理部１２０と、ＤＦＴによるスペクトル解析の結果からフリッカ成分を推定するフリッカ生成部１３０と、フリッカ成分の推定値を一時的に記憶するバッファ１４０と、推定されたフリッカ成分を画像信号から除去する演算部１５０を備えている。

正規化積分値算出部１１０は、積分処理部１１１と、積分値保持部１１２と、平均値演算部１１３と、差分演算部１１４と、正規化処理部１１５で構成される。

積分処理部１１１は、フリッカ成分を含んだ入力画像信号Ｉｎ´（ｘ，ｙ）を、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがハイ・レベルとなるサンプリング期間（前述）にわたってライン毎に積分する。積分値保持部１１２は、２つのサンプリング期間に算出された積分値Ｆｎ＿１（ｙ）及びＦｎ＿２（ｙ）を一時的に保持する。

平均値演算部１１３は、直近のサンプリング期間に算出された積分値を平均化する機能ブロックであり、積分処理部１１１からの出力に、フリッカ縞の繰り返し周期に相当する過去の積分処理部１１１からの出力分（積分値保持部１１２から与えられる）を加算して、その平均値を出力する。

差分演算部１１４は、直近の２つのサンプリング期間に算出された積分値の差分を算出する機能ブロックであり、積分処理部１１１からの出力から、積分処理部１１１からの１フィールド前の出力（積分値保持部１１２から与えられる）を差し引くことで背景成分を取り除く、純粋にフリッカ成分だけを抽出する。

正規化処理部１１５は、平均値演算部１１３で得られた平均値を用いて、差分演算部１１４により算出された差分値を正規化する。

ＤＦＴ処理部１２０は、正規化された差分値にＤＦＴを施して周波数解析し、フリッカ成分の振幅γｍ及び初期位相φｍｎを推定する。フリッカ生成部１３０は、周波数解析による推定値から、画像信号に含まれるフリッカ成分の割合を示す補正係数を算出する。演算部１５０は、算出された補正係数に基づいて、入力画像信号Ｉｎ´（ｘ，ｙ）からフリッカ成分を除去するための演算を行ない、フリッカ成分が低減され若しくは除去された画像信号Ｉｎ（ｘ，ｙ）を出力する。

図４には、平均値演算部１１３の内部構成を示している。平均値演算部１１３は、入力画像信号から背景成分のみを抽出するために、積分処理部１１１からの出力に、フリッカ縞の繰り返し周期に相当する過去の積分処理部１１１からの出力分（積分値保持部１１２から与えられる）を加算して、その平均値を出力する。本実施形態では、現サンプリング期間における各ラインｙの入力画像信号の積分値Ｆｎ（ｙ）とこれに直近する過去２つのサンプリング期間における同一ラインｙの積分値Ｆｎ＿１（ｙ）及びＦｎ＿２（ｙ）との３Ｖ平均に相当する平均化処理Ａと並列して、現サンプリング期間とその１つ前のサンプリング期間におけるライン毎の積分値の２Ｖ平均に相当する平均化処理Ｂを設け、選択部（ＳＥＬ）が外部からの指示によりそれぞれの平均化処理Ａ又はＢのいずれかの出力を平均値演算部１１３の出力Ａｖｅ［Ｆｎ（ｙ）］として選ぶことができる構成になっている。

平均化処理Ａでは、サンプリング位相の順に３つの波形Ｆｎ（ｙ）、Ｆｎ＿１（ｙ）、及びＦｎ＿２（ｙ）を加算平均するだけである（図５Ａを参照のこと）。すなわち平均化処理Ａは下式（５）で表される。

一方、平均化処理Ｂでは、単純にサンプリング位相の順に２つの波形Ｆｎ（ｙ）及びＦｎ＿１（ｙ）を加算平均するのではなく、サンプリング位相をフリッカ周期の半周期分ずらして加算平均化する。すなわち、平均化処理Ｂでは、ラインｙのサンプリング位相に応じて計算式が異なり、フリッカ位相０〜πに相当する０≦ｙ＜Ｔ＿ｆｋ／２の領域では下式（６）によって１つ前のサンプリング期間の半周期だけ先の波形Ｆｎ＿１（ｙ＋Ｔ＿ｆｋ／２）との平均化を行なうが（図５Ｂを参照のこと）、フリッカ位相π〜２πに相当するＴ＿ｆｋ／２≦ｙ＜Ｔ＿ｆｋの領域では下式（７）により１つ前のサンプリング期間の半周期だけ後の波形Ｆｎ＿１（ｙ−Ｔ＿ｆｋ／２）との平均化を行なう（図５Ｃを参照のこと）。平均化処理Ｂは、フリッカ及び背景ともに同じとなる信号の加重平均をとることを回避することを目的とする。言い換えると背景が同じでちょうどフリッカ信号が逆相となる信号の加算平均をとることに相当する（後述）。

このように加算するサンプリング位相の組み合わせを変えた状態で平均化処理を行なう。なお、位相をずらすべき側は本質的には現サンプリング期間における積分値Ｆｎ（ｙ）であっても構わないが、以下では上式（６）並びに（７）に示したように１つ前のサンプリング期間の積分値Ｆｎ＿１（ｙ）の位相をずらすものとして説明する。

図６には、差分演算部１１４の内部構成を示している。差分演算部１１４はフリッカ成分のみを抽出するために、積分処理部１１１からの出力から、１つ前の積分処理部１１１からの出力（積分値保持部１１２から与えられる）を差し引くことで背景成分を取り除いて、純粋にフリッカ成分だけを抽出する。本実施形態では、サンプリング期間における各ラインｙの入力画像信号の積分値Ｆｎ（ｙ）からその１つ前の前のサンプリング期間における同一ラインｙの積分値Ｆｎ＿１（ｙ）を差し引く差分処理Ａと並列して、現サンプリング期間とその１つ前のサンプリング期間におけるライン毎の差分を行なう差分処理Ｂを設け、選択部（ＳＥＬ）が外部からの指示によりそれぞれの差分処理Ａ又はＢのいずれかの出力を差分演算部１１４の出力［Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）］として選ぶことができる構成になっている。

差分処理Ａでは、サンプリング位相の順に２つの波形Ｆｎ（ｙ）とＦｎ＿１（ｙ）の差分をとるだけである（図５Ａを参照のこと）。すなわち、差分処理Ａは下式（８）で表される。

一方、差分処理Ｂでは、単純にサンプリング位相の順に２つの波形Ｆｎ（ｙ）及びＦｎ＿１（ｙ）の差分をとるのではなく、サンプリング位相をフリッカ周期の半周期分ずらして差分をとる。すなわち、差分処理Ｂでは、ラインｙのサンプリング位相に応じて計算式が異なり、フリッカ位相０〜πに相当する０≦ｙ＜Ｔ＿ｆｋ／２の領域では下式（９）によって１つ前のサンプリング期間の半周期だけ先の波形Ｆｎ＿１（ｙ＋Ｔ＿ｆｋ／２）との差分をとるが（図５Ｂを参照のこと）、フリッカ位相π〜２πに相当するＴ＿ｆｋ／２≦ｙ＜Ｔ＿ｆｋの領域では下式（１０）により１つ前のサンプリング期間の半周期だけ後の波形Ｆｎ＿１（ｙ−Ｔ＿ｆｋ／２）との差分をとる（図５Ｃを参照のこと）。差分処理Ｂは、フリッカ及び背景ともに同じとなる信号の差分をとることを回避することを目的とする。言い換えると背景が同じでちょうどフリッカ信号が逆相となる信号の差分をとることに相当する（後述）。

このように差分をとるサンプリング位相の組み合わせを変えた状態で差分処理を行なう。なお、位相をずらすべき側は本質的には現サンプリング期間における積分値Ｆｎ（ｙ）であっても構わないが、以下では上式（９）並びに（１０）に示したように１つ前のサンプリング期間の積分値Ｆｎ＿１（ｙ）の位相をずらすものとして説明する。

なお、図３に示した各機能ブロックによる処理の少なくとも一部は、システム・コントローラ１５におけるソフトウェア処理という形態でも実現することができる。また、図１に示した撮像装置では、画像信号を構成する輝度信号、色差信号毎に、図３に示した各機能ブロックによる処理が実行される。あるいは、少なくとも輝度信号について図３に示した各機能ブロックによる処理を実行し、必要に応じて色差信号や各色信号について実行するようにしてもよい。また、輝度信号については、輝度信号に合成する前の色信号の段階で図３に示した各機能ブロックによる処理を実行してもよい。また、この色信号の段階における処理では、原色による色信号、補色による色信号のいずれの段階で図３に示した各機能ブロックによる処理を実行してもよい。これらの色信号について図３に示した各機能ブロックによる処理を実行する場合には、色信号毎に当該処理が実行される。

続いて、図３に示した検出・低減処理部２２によって高速撮影時のフリッカ検出を行なう動作について説明する。以下では、周波数５０Ｈｚ並びに６０Ｈｚそれぞれの商用交流電源による蛍光灯の照明下で２４０ｆｐｓ撮像を行なった場合の各例を挙げる。

まず、電源周波数５０Ｈｚ地域における高速撮像モードの例として２４０ｆｐｓで撮像した場合のサンプリング動作について、図７及び図８を参照しながら説明する。

図７には、高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するための第１のタイミングチャートを示している。図示の例では、フレームレートの高速化に伴って、イネーブル信号ＶＥＮ１で示される垂直方向に対する画像信号の有効データ領域の長さも短くなっている。ここで、内部基準信号生成部２１のカウンタ２１ａにおいて、イネーブル信号としてＶＥＮ１を選択し、このイネーブル信号ＶＥＮ１がハイ・レベルとなる期間内に水平同期信号ＨＤをカウントした場合について検討してみる。カウント値ＶＣＯＵＮＴは、通常撮像モードのときと同様に、有効データ領域の期間毎にライン数Ｍまでのカウントアップが繰り返される。

しかしながら、図１６Ｂに示したように、ＦＰＳ＞２×ｆなる関係が成立している場合には（但し、蛍光灯の電源周波数をｆとし、フレームレートをＦＰＳとする）、フリッカ１周期分より１フィールドの有効データ領域の期間の方が短くなってしまう。このため、カウント値ＶＣＯＵＮＴは、フリッカ１周期に対応するＴ＿ｆｋまでカウントされる前にリセットされるので、フリッカ１周期分のサンプリング・タイミングを生成することができなくなる。すなわち、検出・低減処理部２２の検波系ブロックは、画像信号をフリッカ１周期分毎に処理することができない。

また、図８には、高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するための第２のタイミングチャートを示している。図示の例では、フレームレートに応じた有効データ領域を示すイネーブル信号ＶＥＮ１の他に、６０ｆｐｓの通常撮像モードでの有効データ領域を示すイネーブル信号ＶＥＮ２を、基準信号生成部３０からフリッカ低減部２０に供給させる。そして、内部基準信号生成部２１のカウンタ２１ａは、ＦＰＳ＞２×ｆが成立する高速撮像モードに設定されたときには、入力されるイネーブル信号としてＶＥＮ２を選択し、このイネーブル信号ＶＥＮ２がハイ・レベルとなる期間に水平同期信号ＨＤをカウントしてカウント値ＶＣＯＵＮＴを出力する。

したがって、検出・低減処理部２２は、イネーブル信号ＶＥＮ２がハイ・レベルとなるフリッカ１周期分以上の長さを持つサンプリング期間にわたってサンプリング動作を行なうので、図７で説明したような、フリッカ１周期分より１フィールドの有効データ領域の期間の方が短いために画像信号をフリッカ１周期分毎に処理することができないという問題点を解決することができる。

図８に示した例では、イネーブル信号ＶＥＮ２は、イネーブル信号ＶＥＮ１を基準に、例えば同期タイミングをカウントするなどして生成されたものなどである。但し、イネーブル信号ＶＥＮ２は、常に通常撮像モードでの同期信号を基に生成される、通常撮像モードでの有効データ領域を正確に示す信号であってもよい。言い換えれば、高速撮影モード下での有効データ領域を規定するイネーブル信号ＶＥＮ２としては、あるフィールドでの有効データ領域の開始時を起点に、フリッカ１周期以上の期間だけハイ・レベルとなる信号であればよい。また、内部基準信号生成部２１のカウンタ２１ａは、イネーブル信号を選択するのではなく、常時イネーブル信号ＶＥＮ２を基にカウント値ＶＣＯＵＮＴを生成する構成としてもよい。

このようなイネーブル信号ＶＥＮ２を利用することにより、カウント値ＶＣＯＵＮＴの上限値はフリッカ１周期に対応するＴ＿ｆｋ以上となる。そして、カウント値ＶＣＯＵＮＴのカウントアップが開始されてから、そのカウント値がＴ＿ｆｋに達するまでの間、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがハイ・レベルとなる。したがって、検出・低減処理部２２では、このようなイネーブル信号ＤＥＴＥＣＴ＿ＥＮを用いることで、常に１周期分以上のフリッカ成分を含む画像信号を各検波系の機能ブロックで取り込んで、フリッカ成分の検出処理を行なうことが可能となる。

但し、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがハイ・レベルとなる期間には、画像データが無効となる垂直ブランキング期間が存在するため、この期間では画像信号のサンプリング値が不確定となる。このため、本実施形態では、サンプリング（積分）処理ブロックの最終段において、当該無効期間における画像信号をその前後の信号から補間して、１周期分のフリッカ成分が滑らかにつながるようにしている。この補間処理の詳細については後述に譲る。

続いて、電源周波数６０Ｈｚ地域における高速撮像モードの例として２４０ｆｐｓで撮像した場合のサンプリング動作について、図９及び図１０を参照しながら説明する。

図９には、高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するための第１のタイミングチャートを示している。図７に示したタイミングチャートと同様に、フレームレートの高速化に伴って、イネーブル信号ＶＥＮ１で示される垂直方向に対する画像信号の有効データ領域の長さも短くなっている。ここで、内部基準信号生成部２１のカウンタ２１ａにおいて、イネーブル信号としてＶＥＮ１を選択し、このイネーブル信号ＶＥＮ１がハイ・レベルとなる期間内に水平同期信号ＨＤをカウントした場合について検討してみる。カウント値ＶＣＯＵＮＴは、通常撮像モードのときと同様に、有効データ領域の期間毎にライン数Ｍまでのカウントアップが繰り返される。

しかしながら、図１６Ｂに示したように、ＦＰＳ＞２×ｆなる関係が成立しているので、フリッカ１周期分より１フィールドの有効データ領域の期間の方が短くなってしまう。このため、カウント値ＶＣＯＵＮＴは、フリッカ１周期に対応するＴ＿ｆｋまでカウントされる前にリセットされるので、フリッカ１周期分のサンプリング・タイミングを生成することができなくなる。すなわち、検出・低減処理部２２の検波系ブロックは、画像信号をフリッカ１周期分毎に処理することができない（同上）。

また、図１０には、高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するための第２のタイミングチャートを示している。図示の例では、フレームレートに応じた有効データ領域を示すイネーブル信号ＶＥＮ１の他に、６０ｆｐｓの通常撮像モードでの有効データ領域を示すイネーブル信号ＶＥＮ２を、基準信号生成部３０からフリッカ低減部２０に供給させる。そして、内部基準信号生成部２１のカウンタ２１ａは、ＦＰＳ＞２×ｆが成立する高速撮像モードに設定されたときには、入力されるイネーブル信号としてＶＥＮ２を選択し、このイネーブル信号ＶＥＮ２がハイ・レベルとなる期間に水平同期信号ＨＤをカウントしてカウント値ＶＣＯＵＮＴを出力する。

したがって、検出・低減処理部２２は、イネーブル信号ＶＥＮ２がハイ・レベルとなるフリッカ１周期分以上の長さを持つサンプリング期間にわたってサンプリング動作を行なうので、図９で説明したような、フリッカ１周期分より１フィールドの有効データ領域の期間の方が短いために画像信号をフリッカ１周期分毎に処理することができないという問題点を解決することができる。

図１０に示した例では、イネーブル信号ＶＥＮ２は、イネーブル信号ＶＥＮ１を基準に、例えば同期タイミングをカウントするなどして生成されたものなどである。但し、イネーブル信号ＶＥＮ２は、常に通常撮像モードでの同期信号を基に生成される、通常撮像モードでの有効データ領域を正確に示す信号であってもよい。言い換えれば、高速撮影モード下での有効データ領域を規定するイネーブル信号ＶＥＮ２としては、あるフィールドでの有効データ領域の開始時を起点に、フリッカ１周期以上の期間だけハイ・レベルとなる信号であればよい。また、内部基準信号生成部２１のカウンタ２１ａは、イネーブル信号を選択するのではなく、常時イネーブル信号ＶＥＮ２を基にカウント値ＶＣＯＵＮＴを生成する構成としてもよい（同上）。

このようなイネーブル信号ＶＥＮ２を利用することにより、カウント値ＶＣＯＵＮＴの上限値はフリッカ１周期に対応するＴ＿ｆｋ以上となる。そして、カウント値ＶＣＯＵＮＴのカウントアップが開始されてから、そのカウント値がＴ＿ｆｋに達するまでの間、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがハイ・レベルとなる。したがって、検出・低減処理部２２では、このようなイネーブル信号ＤＥＴＥＣＴ＿ＥＮを用いることで、常に１周期分以上のフリッカ成分を含む画像信号を各検波系の機能ブロックで取り込んで、フリッカ成分の検出処理を行なうことが可能となる（同上）。

但し、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがハイ・レベルとなる期間には、画像データが無効となる垂直ブランキング期間が存在するため、サンプリング（積分）処理ブロックの最終段において、当該無効期間における画像信号をその前後の信号から補間するようにしている（同上）。

ところで、図８に示した電源周波数５０Ｈｚ地域における高速撮影モード下でのサンプリング動作と、図１０に示した電源周波数６０Ｈｚ地域における高速撮影モード下でのサンプリング動作とを比較すると、６０Ｈｚ地域におけるフリッカの場合、ＤＥＴＥＣＴ＿ＥＮ期間にサンプリングされる波形は、垂直同期期間に対して毎回同じ位相になってしまう「固定フリッカ縞」であることが分かる。これはフレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係にあるためである。すなわち、フリッカに繰り返し性はあるもの、検波単位で考えると毎回同じ位相でフリッカが発生するため、正規化処理を行なう際にフィールド間の差分を取った時点で、背景とともにフリッカ縞の情報もなくなってしまう（前述）。

具体的には、上式（５）に従って平均化処理Ａを行なうと、フリッカ及び背景ともに同じ信号となる３つの波形Ｆｎ（ｙ）、Ｆｎ＿１（ｙ）、及びＦｎ＿２（ｙ）を加算平均するので、目的とする背景成分を抽出することができない。また、上式（８）に従って差分処理Ａを行なうと、フリッカ及び背景ともに同じ信号となる２つの波形Ｆｎ（ｙ）及びＦｎ＿１（ｙ）の差分をとるので、目的とするフリッカ成分の抽出（若しくは背景成分の除去）を行なうことができない。すなわち、フリッカ現象の繰り返し性を使って背景とフリッカ縞の区別を行なうアルゴリズムに対し、垂直同期とフリッカ縞が同期してしまうような上記条件では、たとえ繰り返し性があっても背景と区別することができず、所望の検出動作を行なうことができない。

そこで、本実施形態では、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係にあり、垂直同期とフリッカ縞が同期してしまう撮影条件下では、平均値演算部１１３では平均化処理Ｂを実施するとともに、差分演算部１１４では差分処理Ｂを実施するようにする。

図４を参照しながら既に説明したように、平均化処理Ｂでは、フリッカ及び背景ともに同じとなる信号の加重平均をとることを回避している。ラインｙのサンプリング位相に応じて計算式が異なり、フリッカ位相０〜πに相当する０≦ｙ＜Ｔ＿ｆｋ／２の領域では下式（１１）によって１つ前のサンプリング期間の半周期だけ先の波形Ｆｎ＿１（ｙ＋Ｔ＿ｆｋ／２）との平均化を行なうが（図５Ｂを参照のこと）、フリッカ位相π〜２πに相当するＴ＿ｆｋ／２≦ｙ＜Ｔ＿ｆｋの領域では下式（１２）により１つ前のサンプリング期間の半周期だけ後の波形Ｆｎ＿１（ｙ−Ｔ＿ｆｋ／２）との平均化を行なう（図５Ｃを参照のこと）。

また、図６を参照しながら既に説明したように、差分処理Ｂでは、位相をフリッカ周期の半周期分ずらして差分をとることで、フリッカ及び背景ともに同じとなる信号の差分をとることを回避している。ラインｙのサンプリング位相に応じて計算式が異なり、フリッカ位相０〜πに相当する０≦ｙ＜Ｔ＿ｆｋ／２の領域では下式（１３）によって１つ前のサンプリング期間の半周期だけ先の波形Ｆｎ＿１（ｙ＋Ｔ＿ｆｋ／２）との差分をとるが（図５Ｂを参照のこと）、フリッカ位相π〜２πに相当するＴ＿ｆｋ／２≦ｙ＜Ｔ＿ｆｋの領域では下式（１４）により１つ前のサンプリング期間の半周期だけ後の波形Ｆｎ＿１（ｙ−Ｔ＿ｆｋ／２）との差分をとる（図５Ｃを参照のこと）。

図１１には、電源周波数６０Ｈｚ地域における高速撮像モード（２４０ｆｐｓ）で平均化処理Ｂ及び差分処理Ｂを行なうことで得られる検出波形の様子を示している。但し、フリッカ波形のサンプリング動作は図１０に示したタイミングチャートと同様である。また、説明の便宜上、図１１では垂直ブランキング期間を省略して描いている。

平均化処理Ｂでは、フリッカ位相０〜πに相当する０≦ｙ＜Ｔ＿ｆｋ／２の領域では下式（１５）によって１つ前のサンプリング期間の半周期だけ先の波形Ｆｎ＿１（ｙ＋Ｔ＿ｆｋ／２）との加重平均を行ない、フリッカ位相π〜２πに相当するＴ＿ｆｋ／２≦ｙ＜Ｔ＿ｆｋの領域では下式（１６）により１つ前のサンプリング期間の半周期だけ後の波形Ｆｎ＿１（ｙ−Ｔ＿ｆｋ／２）との加重平均を行なう。

したがって、平均化処理Ｂでは、フリッカ位相の０〜πに相当する部分は図１１中の「（Ｃ）＋（Ｂ）」になり、フリッカ位相のπ〜２πに相当する部分は図１１中の「（Ｄ）＋（Ａ）」となる。

また、差分処理Ｂでは、フリッカ位相０〜πに相当する０≦ｙ＜Ｔ＿ｆｋ／２の領域では下式（１７）によって１つ前のサンプリング期間の半周期だけ先の波形Ｆｎ＿１（ｙ＋Ｔ＿ｆｋ／２）との差分をとり、フリッカ位相π〜２πに相当するＴ＿ｆｋ／２≦ｙ＜Ｔ＿ｆｋの領域では下式（１８）により１つ前のサンプリング期間の半周期だけ後の波形Ｆｎ＿１（ｙ−Ｔ＿ｆｋ／２）との差分をとる。

したがって、差分処理Ｂでは、フリッカ位相の０〜πに相当する部分は図１１中の「（Ｃ）−（Ｂ）」になり、フリッカ位相のπ〜２πに相当する部分は図１１中の「（Ｄ）−（Ａ）」となる。

図１１から分かるように、（Ａ）と（Ｄ）、及び（Ｂ）と（Ｃ）の組み合わせは、背景が同じでフリッカ位相が逆方向となる。したがって、（Ａ）と（Ｄ）、及び（Ｂ）と（Ｃ）の組み合わせで平均化及び差分の演算を行なうと、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係にあるため固定フリッカが発生する撮影条件下でも、入力された画像信号から背景成分及びフリッカ成分のみを抽出することができるようになる。

図１１では、説明の便宜上、背景がフラットな例について示している。実際には背景が映りこむため、図１１のようなフラットな背景成分及び綺麗なフリッカ波形とはならないが、後段の正規化処理及びＤＦＴ処理によって高精度なフリッカ検出、及びフリッカ補正を実現することができることを理解されたい。また、図１１からも分かるように、差分処理Ｂにより得られるフリッカ成分は振幅が２倍になってしまうので、補正係数を算出する際にはその分を考慮した形で補正係数を求める点に注意が必要である。

上述したように、本実施形態によれば、フレームレートとフリッカの１周期に相当する時間がちょうど整数倍の関係にあるため固定フリッカが発生する撮影条件下でも、平均化演算及び差分演算を適切に実施することができる。それ以降の正規化処理、ＤＦＴ処理、フリッカ生成処理、フリッカ補正処理の詳細については、例えば本出願人に既に譲渡されている特開２００４−２２２２２８号公報（特許文献１）の段落００９２〜０１１１を参照されたい。

なお、あらかじめ５０Ｈｚ地域と６０Ｈｚ地域のいずれかが分かっている状態で高速撮像モードに入れた場合には、平均化処理ＡとＢあるいは差分処理ＡとＢのどちらを使えばよいかは上記の通りである。また、どちらの電源周波数であるのかが分からない状態においても、例えば高速撮像に入れた後に、以下の手順を踏めば自動的に適切な補正をかけることもできる。

（１）まず、平均化処理Ａ、差分処理Ａという設定でフリッカ検出を行なう。被写体の撮影を行なっている場所が５０Ｈｚ地域であれば、この設定でフリッカ成分を検出することが可能である。
（２）この時点で、フリッカ成分に相当するＤＦＴスペクトルが定常的に発生しないときには、６０Ｈｚ地域のフリッカあるいはフリッカ非発生状態のいずれかであることが推定される。そこで、平均化処理Ｂ及び差分処理Ｂという設定に切り替え、６０Ｈｚ地域であればフリッカ成分を検出可能な装置状態にする。
（３）この時点で、フリッカ成分に相当するＤＦＴスペクトルが定常的に発生しないときには、フリッカ非発生状態であることが断定的となる。したがって、フリッカ検出値が出力されず、その結果として入力画像信号に対し不要な補正がかかることもない。

図２に示したカメラ処理回路１４構成の場合、図１０に示したタイミングチャートからも分かるように、６０ｆｐｓの通常撮像モードでの有効データ領域を示すイネーブル信号ＶＥＮ２を使ってサンプリング期間を規定するＤＥＴＥＣＴ＿ＥＮを発生させている。このような場合、ＤＥＴＥＣＴ＿ＥＮの発生間隔はＶＥＮ２の発生間隔である１／６０秒間隔に制限されてしまうが、６０Ｈｚ地域で発生するフリッカの場合はＤＥＴＥＣＴ＿ＥＮを１／６０秒間隔にする必要は無い。何故なら、図１０あるいは図１１を見て分かるように、１／１２０秒間隔で全く同じフリッカ位相になるからであり、わざわざ１／６０秒間隔でサンプリング処理を行わなくても、１／１２０秒間隔で同等の処理を行なうようにしてもよい。

図１２には、カメラ処理回路１４の変形例を示している。図示のカメラ処理回路１４では、ＶＥＮ１並びにＶＥＮ２に加えて基準信号生成部３０よりＶＥＮ３（ＶＥＮ２のちょうど半分に相当する時間だけハイ・レベルになるになるような信号）をカウンタ２１aに供給する。内部基準信号生成部２１のカウンタ２１ａは、ＦＰＳ＞２×ｆが成立する高速撮像モードに設定された場合に、入力されるイネーブル信号としてＶＥＮ２の代わりにＶＥＮ３を選択し、このイネーブル信号ＶＥＮ３がハイ・レベルの期間に水平同期信号ＨＤをカウントしてカウント値ＶＣＯＵＮＴを出力するようになっている。

また、図１３には、図１２に示したカメラ処理回路１４を用いた場合において、電源周波数６０Ｈｚ地域における高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を示している。図示の例では、ＶＥＮ２のちょうど半分に相当する時間だけハイ・レベルになるになるＶＥＮ３を、基準信号生成部３０からフリッカ低減部２０に供給させる。そして、内部基準信号生成部２１のカウンタ２１ａは、ＦＰＳ＞２×ｆが成立する高速撮像モードに設定されたときには、入力されるイネーブル信号としてＶＥＮ３を選択し、このイネーブル信号ＶＥＮ３がハイ・レベルとなる期間に水平同期信号ＨＤをカウントしてカウント値ＶＣＯＵＮＴを出力する。この場合、検出・低減処理部２２は、イネーブル信号ＶＥＮ３がハイ・レベルとなるフリッカ１周期分以上の長さを持つサンプリング期間にわたってサンプリング動作を行なうことができる。

図１０に示したタイミングチャートでは１周期だけ隔たったフリッカ波形同士での平均化・差分の演算となる。これに対し、図１３に示したタイミングチャートでは、直近のフリッカ波形同士での平均化・差分の演算となることから、検出精度が高まる（背景動きにも強くなる方向）。

また、図１０並びに図１３に示した実施形態ではいずれも、６０Ｈｚ地域で２４０ｆｐｓにより撮影するようになっているが、本発明の要旨は、高速撮影時に限定されるものではない。

例えば、６０Ｈｚ地域において６０ｆｐｓの撮影を行なうなど通常撮影においても、フリッカ波形は検波枠単位で見たときに、各検波枠単位のフリッカ縞が同期に対して全く同じ位置となる固定フリッカ縞が発生するため、サンプリング期間毎の積分値をサンプリング位相の順に単純に差分をとって正規化処理を行なうと、フィールド間の差分を取った時点で背景と共にフリッカ縞の情報もなくなってしまうことになる。すなわち繰り返し性を使って背景とフリッカ縞の区別を行うアルゴリズムに対し、垂直同期とフリッカ縞が同期してしまう条件では、たとえフリッカ波形に繰り返し性があっても背景と区別することができない。

これに対し、本発明では、通常撮影時において垂直同期とフリッカ縞が同期してしまう条件下でも同様に、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化及び差分を演算することによって、ゲイン補正方式による高精度なフリッカ検出及び補正処理を実現することができる。

図１４には、電源周波数６０Ｈｚ地域における通常撮像モード（６０ｆｐｓ）でのサンプリング動作例を示している。但し、同図に示すサンプリング動作は、均一被写体に対して適用することはできるが、自然画に対しては適用が困難である（異なる背景部分で演算することになってしまうことが直接の原因である）。

図示の例では、フレームレートに応じた有効データ領域を示すイネーブル信号ＶＥＮ１の他に、６０ｆｐｓの通常撮像モードでの有効データ領域を示すイネーブル信号ＶＥＮ２を、基準信号生成部３０からフリッカ低減部２０に供給させる。内部基準信号生成部２１のカウンタ２１ａは、ＦＰＳ＞２×ｆが成立しない通常撮影モードに設定されているときには、入力されるイネーブル信号としてＶＥＮ１を選択し、このイネーブル信号ＶＥＮ１がハイ・レベルとなる期間に水平同期信号ＨＤをカウントしてカウント値ＶＣＯＵＮＴを出力する。そして、検出・低減処理部２２は、ＤＥＴＥＣＴ＿ＥＮがハイ・レベルとなるサンプリング期間にわたってフリッカ１周期分のサンプリング動作を行なうことができる。

ここで、図１４中のフリッカ波形Ｆｎ（ｙ）、及びＦｎ_１(ｙ)を見れば、図１０に示したフリッカ波形Ｆｎ（ｙ）及びＦｎ_１（ｙ）の関係と全く同じであることが分かる。つまり、固定フリッカ発生条件において、加算平均化処理及び差分処理において背景とフリッカの分離ができないという問題に対し、サンプリング位相をフリッカ周期の半周期分ずらして加算平均化及び差分を演算する方法を適用することによって、画像信号を背景とフリッカに分離することが可能となる。したがって、正規化後の積分値又は差分値から抽出されるスペクトルを基にフリッカ成分を推定する方法（特許文献１を参照のこと）によって、高精度なフリッカ検出・補正が使えるようになる。

なお、図１４に示した実施形態においても、図１０に示した実施形態と同様に、あらかじめ５０Ｈｚ地域と６０Ｈｚ地域のいずれかが分かっている状態で高速撮像モードに入れた場合には、平均化処理ＡとＢあるいは差分処理ＡとＢのどちらを使えばよいかは上記の通りである。また、どちらの電源周波数であるのかが分からない状態においても、例えば高速撮像に入れた後に、以下の手順を踏めば自動的に適切な補正をかけることもできる。

（１）まず、平均化処理Ａ、差分処理Ａという設定でフリッカ検出を行なう。被写体の撮影を行なっている場所が５０Ｈｚ地域であれば、この設定でフリッカ成分を検出することが可能である。
（２）この時点で、フリッカ成分に相当するＤＦＴスペクトルが定常的に発生しないときには、６０Ｈｚ地域のフリッカあるいはフリッカ非発生状態のいずれかであることが推定される。そこで、平均化処理Ｂ及び差分処理Ｂという設定に切り替え、６０Ｈｚ地域であればフリッカ成分を検出可能な装置状態にする。
（３）この時点で、フリッカ成分に相当するＤＦＴスペクトルが定常的に発生しないときには、フリッカ非発生状態であることが断定的となる。したがって、フリッカ検出値が出力されず、その結果として入力画像信号に対し不要な補正がかかることもない。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、デジタルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、あるいはその他のカメラ機能を備えたさまざまな情報機器に対して本発明を同様に適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明を適用するのに適した撮像装置の構成を模式的に示した図である。 図２は、カメラ処理回路１４の内部構成を示した図である。 図３は、検出・低減処理部２０の内部構成を示した図である。 図４は、平均値演算部１１３の内部構成を示した図である。 図５Ａは、平均化処理並びに差分処理の仕組みを説明するための図である。 図５Ｂは、平均化処理並びに差分処理の仕組みを説明するための図である。 図５Ｃは、平均化処理並びに差分処理の仕組みを説明するための図である。 図６は、差分演算部１１４の内部構成を示した図である。 図７は、電源周波数５０Ｈｚ地域における高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するための第１のタイミングチャートを示した図である。 図８は、電源周波数５０Ｈｚ地域における高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するための第２のタイミングチャートを示した図である。 図９は、電源周波数６０Ｈｚ地域における高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するための第１のタイミングチャートを示した図である。 図１０は、電源周波数６０Ｈｚ地域における高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するための第２のタイミングチャートを示した図である。 図１１は、電源周波数６０Ｈｚ地域における高速撮像モード（２４０ｆｐｓ）で平均化処理Ｂ及び差分処理Ｂを行なうことで得られる検出波形の様子を示した図である。 図１２は、カメラ処理回路１４の変形例を示した図である。 図１３は、図１２に示したカメラ処理回路１４を用いた場合に、電源周波数６０Ｈｚ地域における高速撮像モード（２４０ｆｐｓ）でのサンプリング動作を説明するためのタイミングチャートを示した図である。 図１４は、電源周波数６０Ｈｚ地域における通常撮像モード（６０ｆｐｓ）でのサンプリング動作を説明するための図である。 図１５は、ＸＹアドレス走査型の撮像素子を持つカメラにより蛍光灯照明下で撮影したときのフリッカ・レベルとシャッタ速度との関係についてのコンピュータ・シミュレーション結果を示した図である。 図１６Ａは、ＮＴＳＣ方式のフレームレートである６０ｆｐｓの垂直同期信号ＶＤとフリッカ波形との関係を示した図である。 図１６Ｂは、高速撮影の例として標準の４倍のフレームレートである２４０ｆｐｓで撮像を行なったときの垂直同期信号とフリッカ波形との関係を示した図である。 図１７Ａは、ＮＴＳＣ方式のフレームレートである６０ｆｐｓの垂直同期信号ＶＤとフリッカ波形との関係を示した図である。 図１７Ｂは、高速撮影の例として標準の４倍のフレームレートである２４０ｆｐｓで撮像を行なったときの垂直同期信号とフリッカ波形との関係を示した図である。

符号の説明

１１…光学ブロック
１１ａ…ドライバ
１２…ＣＭＯＳ型イメージ・センサ
１２ａ…タイミング・ジェネレータ
１３…アナログ・フロント・エンド（ＡＦＥ）回路
１４…カメラ処理回路
１５…システム・コントローラ
１６…入力部
１７…グラフィックＩ／Ｆ（インターフェース）
１７ａ…ディスプレイ
２０…フリッカ低減部
２１…内部基準信号生成部
２１ａ…カウンタ
２２…検出・低減処理部
１１０…正規化積分値算出部
１１１…積分処理部
１１２…積分値保持部
１１３…平均値演算部
１１４…差分演算部
１１５…正規化処理部
１２０…ＤＦＴ処理部
１３０…フリッカ生成部
１４０…バッファ
１５０…演算部

Claims (13)

1. フリッカ成分を含んだ画像信号を処理する画像処理装置であって、
   フリッカ１周期分以上の長さを持つサンプリング期間にわたってライン毎に画像信号を積分する積分処理部と、
   過去のサンプリング期間における前記積分処理部による積分値を保持する積分値保持部と、
   連続する２以上のサンプリング期間における積分値を平均化する平均値演算部と、
   前記の連続する２以上のサンプリング期間における積分値の差分をとる差分演算部と、
   前記平均値演算部で得られた平均値を用いて、前記差分演算部により算出された差分値を正規化する正規化演算部と、
   前記の正規化された積分値の差分値を周波数解析する周波数解析手段と、
   前記周波数解析手段による周波数解析した結果に基づいて画像信号に含まれるフリッカ成分を検出するフリッカ検出手段と、
   前記フリッカ検出手段により検出されたフリッカ成分を画像信号から除去するための演算を行なう演算部と、
   を備え、
   画像信号のフレームレートとフリッカ波形の１周期に相当する時間がちょうど整数倍の関係にあり、若しくはフリッカ波形が垂直同期期間に対して毎回同じ位相になる撮影環境下において、
   前記平均値演算部は、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化し、
   前記差分演算部は、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして差分をとる、
   ことを特徴とする画像処理装置。
2. 商用交流電源により点灯される蛍光灯などの点滅する光源の照明下でＸＹアドレス走査型撮像素子によって撮影して得られる画像信号を処理する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. フリッカ波形が垂直同期期間に対して同じ位相にならない撮影環境下において、
   前記平均値演算部は、連続する２以上のサンプリング期間における積分値をサンプリング位相の順に加算平均し、
   前記差分演算部は、連続する２つのサンプリング期間における積分値の差分をサンプリング位相の順にとる、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記平均値演算部が連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化するとともに、前記差分演算部が連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして差分をとる第１の正規化積分値算出モードと、前記平均値演算部が連続する２以上のサンプリング期間における積分値をサンプリング位相の順に加算平均するとともに、前記差分演算部が連続する２つのサンプリング期間における積分値の差分をサンプリング位相の順にとる第２の正規化積分値算出モードを切り替えるモード切替手段をさらに備える、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 商用交流電源により点灯される蛍光灯などの点滅する光源の照明下でＸＹアドレス走査型撮像素子によって撮影して得られる画像信号の処理を行ない、
   前記モード切替手段は、前記商用交流電源の周波数に基づくフリッカ波形の１周期とフレームレートが整数倍の関係となるときに前記第１の正規化積分値算出モードに設定し、それ以外のときは前記第２の正規化積分値算出モードに設定する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記モード切替手段は、まず前記第２の正規化積分値算出モードに設定し、画像信号に含まれるフリッカ成分の検出を試み、画像信号に含まれるフリッカ成分に相当する周波数スペクトルが前記周波数解析手段によって定常的に発生したときには前記第２の正規化積分値算出モードに設定したままとするが、画像信号に含まれるフリッカ成分に相当する周波数スペクトルが前記周波数解析手段によって定常的に発生しなかったときには前記第１の正規化積分値算出モードに切り替える、
   ことを特徴とする請求項４に記載の画像処理装置。
7. フリッカ成分を含んだ画像信号を処理する画像処理方法であって、
   フリッカ１周期分以上の長さを持つサンプリング期間にわたってライン毎に画像信号を積分する積分処理ステップと、
   連続する２以上のサンプリング期間における積分値を平均化する平均値演算ステップと、
   前記の連続する２以上のサンプリング期間における積分値の差分をとる差分演算ステップと、
   前記平均値演算ステップで得られた平均値を用いて、前記差分演算ステップにより算出された差分値を正規化する正規化演算ステップと、
   前記の正規化された積分値の差分値を周波数解析する周波数解析ステップと、
   前記周波数解析ステップによる周波数解析した結果に基づいて画像信号に含まれるフリッカ成分を検出するフリッカ検出ステップと、
   前記フリッカ検出ステップにより検出されたフリッカ成分を画像信号から除去するための演算を行なう演算ステップと、
   を備え、
   画像信号のフレームレートとフリッカ波形の１周期に相当する時間がちょうど整数倍の関係にあり、若しくはフリッカ波形が垂直同期期間に対して毎回同じ位相になる撮影環境下において、
   前記平均値演算ステップでは、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化し、
   前記差分演算ステップでは、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして差分をとる、
   ことを特徴とする画像処理方法。
8. 商用交流電源により点灯される蛍光灯などの点滅する光源の照明下でＸＹアドレス走査型撮像素子によって撮影して得られる画像信号を処理する、
   ことを特徴とする請求項７に記載の画像処理方法。
9. フリッカ波形が垂直同期期間に対して同じ位相にならない撮影環境下において、
   前記平均値演算ステップでは、連続する２以上のサンプリング期間における積分値をサンプリング位相の順に加算平均し、
   前記差分演算ステップでは、連続する２つのサンプリング期間における積分値の差分をサンプリング位相の順にとる、
   ことを特徴とする請求項７に記載の画像処理方法。
10. 前記平均値演算ステップにおいて連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化するとともに、前記差分演算ステップにおいて連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして差分をとる第１の正規化積分値算出モードと、前記平均値演算ステップにおいて連続する２以上のサンプリング期間における積分値をサンプリング位相の順に加算平均するとともに、前記差分演算ステップにおいて連続する２つのサンプリング期間における積分値の差分をサンプリング位相の順にとる第２の正規化積分値算出モードを切り替えるモード切替ステップをさらに備える、
    ことを特徴とする請求項９に記載の画像処理方法。
11. 商用交流電源により点灯される蛍光灯などの点滅する光源の照明下でＸＹアドレス走査型撮像素子によって撮影して得られる画像信号の処理を行ない、
    前記モード切替手ステップでは、前記商用交流電源の周波数に基づくフリッカ波形の１周期とフレームレートが整数倍の関係となるときに前記第１の正規化積分値算出モードに設定し、それ以外のときは前記第２の正規化積分値算出モードに設定する、
    ことを特徴とする請求項１０に記載の画像処理方法。
12. 前記モード切替ステップでは、まず前記第２の正規化積分値算出モードに設定し、画像信号に含まれるフリッカ成分の検出を試み、画像信号に含まれるフリッカ成分に相当する周波数スペクトルが前記周波数解析ステップによって定常的に発生したときには前記第２の正規化積分値算出モードに設定したままとするが、画像信号に含まれるフリッカ成分に相当する周波数スペクトルが前記周波数解析ステップによって定常的に発生しなかったときには前記第１の正規化積分値算出モードに切り替える、
    ことを特徴とする請求項１０に記載の画像処理方法。
13. ＸＹアドレス走査型の撮像素子と、
    前記撮像素子を用いて被写体を撮影することによって得られた画像信号を、該画像信号に含まれるフリッカ波形の１周期分以上の長さを持つサンプリング期間にわたってライン毎に画像信号を積分する積分処理部と、
    過去のサンプリング期間における前記積分処理部による積分値を保持する積分値保持部と、
    連続する２以上のサンプリング期間における積分値を平均化する平均値演算部と、
    前記の連続する２以上のサンプリング期間における積分値の差分をとる差分演算部と、
    前記平均値演算部で得られた平均値を用いて、前記差分演算部により算出された差分値を正規化する正規化演算部と、
    前記の正規化された積分値の差分値を周波数解析する周波数解析手段と、
    前記周波数解析手段による周波数解析した結果に基づいて画像信号に含まれるフリッカ成分を検出するフリッカ検出手段と、
    前記フリッカ検出手段により検出されたフリッカ成分を画像信号から除去するための演算を行なう演算部と、
    を備え、
    画像信号のフレームレートとフリッカ波形の１周期に相当する時間がちょうど整数倍の関係にあり、若しくはフリッカ波形が垂直同期期間に対して毎回同じ位相になる撮影環境下において、
    前記平均値演算部は、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして加算平均化し、
    前記差分演算部は、連続する２つのサンプリング期間における積分値の片方のサンプリング位相をフリッカ周期の半周期分ずらして差分をとる、
    ことを特徴とする撮像装置。
    

Images