JP4207926B2

JP4207926B2 - フリッカ補正方法、フリッカ補正装置及び撮像装置

Info

Publication number: JP4207926B2
Application number: JP2005141614A
Authority: JP
Inventors: 哲之大野; 元宏中筋; 義章西出; 裕政池山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-05-13
Filing date: 2005-05-13
Publication date: 2009-01-14
Anticipated expiration: 2025-05-13
Also published as: EP1722553A2; US20060256208A1; JP2006319785A; KR20060117253A; CN100452839C; US7764312B2; KR101180618B1; CN1863277A; EP1722553A3

Description

本発明は、画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正方法、フリッカ補正装置及び撮像装置に関する。

従来、イメージセンサは面単位、もしくはライン単位で電荷の蓄積タイミングが異なる。一般的に、面単位で電荷の蓄積タイミングを合わせる方式をグローバルシャッタ方式と呼び、ライン単位で電荷の蓄積タイミングを合わせる方式をローリングシャッタ方式と呼ぶ。これまでイメージセンサではグローバルシャッタ方式を採用したＣＣＤが主流であったが、近年、ＣＣＤセンサより消費電力が小さく、部品点数も少なく安価に生産できるＣＭＯＳセンサが注目されている。このＣＭＯＳセンサは構造的な問題によりローリングシャッタ方式を採用している場合が多い。どちらの方式でも、点滅を繰り返す光源の下で撮影した場合は、センサでの電荷蓄積タイミングの違いにより、面全体に明暗の違い（面フリッカ）やライン毎による明暗の違い（面内フリッカ）が現れる。

図８にグローバルシャッタ方式を採用したセンサでの電荷蓄積量の違いを示し、図９にはグローバルシャッタ方式によって現れる面フリッカの画像の例を示す。図１０にはローリングシャッタ方式による電荷蓄積量の違いを示し、図１１には面内フリッカの画像の例を示す。また、周期的に点滅する光源下で撮影された映像に含まれるフリッカ成分は正弦波によって近似でき、正弦波の性質を利用してフリッカを除去し補正画像を作る方法が主流となっている。

フリッカを補正するために、入力画像よりフリッカ成分を検出し、検出されたフリッカ成分をもとにゲインを調整する方法が提案されている（例えば、特許文献１参照）。

特開２００４−２２２２２８号公報

従来より、蛍光灯などの周期的に点滅を繰り返す光源の下でデジタルカメラなどによって撮影をした場合、取得される画像には周期的な縞の明暗が現れ、結果的には映像には縞の明暗が流れて見える現象が起きる。もしくはフレーム間で画像全体に周期的な明暗の違いが現れる。これはフリッカと呼ばれ、点滅する光源の下で電荷の蓄積タイミングをずらして撮像するイメージセンサを備えたデジタルカメラで撮影した場合には避けることのできない問題となっている。

フリッカ補正をする場合、フリッカ成分が正弦波で近似できるという特徴を用いて入力信号からフリッカ成分を検出する。同様に正弦波の特徴と検出されたフリッカ成分から補正値を算出し、入力信号に補正値を加算もしくは乗算することで補正をする。フリッカ成分を正弦派で近似する場合、特徴量は「周期」、「位相」、「振幅」の３つがある。

周期に関しては電源周波数とフレームレートから検出することができる。

ここで、本件出願人は、特定期間分が連なって構成されてフリッカ成分を含んだ映像信号における上記特定期間分の夫々について、各特定期間分についての補正誤差信号に応答したもとで、上記各特定期間分に含まれるフリッカ成分に対応するフリッカ補正信号を得、該フリッカ補正信号と上記各特定期間分との演算処理を行うことにより、フリッカ成分についての補正が行われた１特定期間分の補正映像信号を形成し、上記補正誤差信号を、上記各特定期間分に先立つ１特定期間分について得られた１特定期間分の補正映像信号と上記各特定期間分とからフリッカ成分についての補正誤差を検出し、検出された補正誤差に応じたものとして得るとともに、上記フリッカ補正信号を、上記補正誤差信号に応じて上記補正誤差を低減させるものとして得るフリッカ補正方法を特願２００４−３３０２９９として、先に提案している。

しかし、この方法では、振幅の検出はせずに固定した値で動作させていたので、光源が変化しない場合では振幅を固定していても問題はないのだが、光源が変化した場合には適宜、振幅を変更させなくてはならなくなり汎用性に欠けるところがある。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、光源の強度が変わった場合でも柔軟にフリッカ補正を行うことができるフリッカ補正方法、フリッカ補正装置及び撮像装置を提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では入力画像信号よりフリッカ成分を検出し、検出されたフリッカ成分をもとに入力画像信号に補正値を加算することでフリッカ補正を行う。

すなわち、本発明に係るフリッカ補正方法は、フリッカ補正された現フレームの画像から次フレームの画像のフリッカを予測してレベルの異なるフリッカを加算した２種類のフリッカ画像を生成し、生成した２種類のフリッカ画像と入力された次フレームの画像とを比較することによりフリッカ成分を検出し、検出したフリッカ成分に基づいてフリッカ補正値を生成し、生成したフリッカ補正値を１フレーム毎に入力画像に加算することでフリッカ補正を行うことを特徴とする。

また、本発明に係るフリッカ補正装置は、入力画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号のフリッカを予測してレベルの異なるフリッカを加算した２種類のフリッカ画像信号を生成し、生成した２種類のフリッカ画像信号と入力された次フレームの画像信号とを比較することによりフリッカ成分を検出し、検出したフリッカ成分に基づいてフリッカ補正信号を生成するフリッカ補正信号生成手段とを備え、上記フリッカ補正信号生成手段により１フレーム毎に生成されるフリッカ補正信号を上記フリッカ補正手段により入力画像信号に加算することによりフリッカ補正を行うことを特徴とする。

さらに、本発明は、撮像手段により得られた画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正装置を備える撮像装置であって、上記フリッカ補正装置は、上記撮像手段から入力される画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号のフリッカを予測してレベルの異なるフリッカを加算した２種類のフリッカ画像信号を生成し、生成した２種類のフリッカ画像信号と入力された次フレームの画像信号とを比較することによりフリッカ成分を検出し、検出したフリッカ成分に基づいてフリッカ補正信号を生成するフリッカ補正信号生成手段とを備え、上記フリッカ補正信号生成手段により１フレーム毎に生成されるフリッカ補正信号を上記フリッカ補正手段により入力画像信号に加算することによりフリッカ補正を行うことを特徴とする。

本発明では、予測したフリッカ画像と撮像素子より得られる画像とを比較することで逐次フリッカの振幅を予測していくことができる。また、光源の強度に変化が起きた場合でも柔軟にフリッカの振幅を自動で調整をすることができ、随時フリッカの補正をすることができる。また、フリッカのある場所からフリッカのない場所へと移動しながら撮影した場合でも、自動でフリッカの振幅を変化させ、フリッカ補正を止めることができる。さらに、逆にフリッカのない場所からフリッカのある場所へと移動しながら撮影した場合でも、自動でフリッカの振幅を変化させ、フリッカの補正をすることができる。

したがって、本発明によれば、光源の強度が変わった場合でも柔軟にフリッカ補正を実現することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１００に適用される。

この撮像装置１００は、赤色画像撮像用の撮像素子１０Ｒ、緑色画像撮像用の撮像素子１０Ｇ、青色画像撮像用の撮像素子１０Ｂ、各撮像素子１０Ｒ，１０Ｇ，１０Ｂにより得られた各色画像の撮像信号ＳＩ＿Ｒ，ＳＩ＿Ｇ，ＳＩ＿Ｂをデジタル化するＡ／Ｄ変換器２０Ｒ，２０Ｇ，２０Ｂ、各Ａ／Ｄ変換器２０Ｒ，２０Ｇ，２０Ｂによりデジタル化された撮像信号ＤＶ＿Ｒ，ＤＶ＿Ｇ，ＤＶ＿Ｂが供給されるフリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂ、補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂ及び補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂ、各補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂにより検出された補正振幅誤差信号Ｃ＿Ｒ，Ｃ＿Ｇ，Ｃ＿Ｂが供給されるフリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂ、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂによりフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂが供給されるカメラ用信号処理回路７０などからなる。

各補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂは、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂによりフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂ及びフリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂにより調整されたフリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂが供給されており、上記デジタル化された撮像信号ＤＶ＿Ｒ，ＤＶ＿Ｇ，ＤＶ＿Ｂとフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂ、フリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂから各撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂの補正位相誤差を検出して補正位相誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂを生成し、生成した補正位相誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂを各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂ及び各補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂに供給する。

また、各補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂは、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂによりフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂ及びフリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂにより調整されたフリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂが供給されており、上記デジタル化された撮像信号ＤＶ＿Ｒ，ＤＶ＿Ｇ，ＤＶ＿Ｂとフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂ、フリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂ、補正位相誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂから各撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂの補正振幅誤差を検出して補正振幅誤差信号Ｃ＿Ｒ，Ｃ＿Ｇ，Ｃ＿Ｂを生成し、生成した補正振幅誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂをフリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂに供給する。

フリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂは、補正振幅誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂからフリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂを生成し、生成したフリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂをフリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂ、補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂ及び補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂに供給する。

この撮像装置１００において、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂには、図２に示すような構成のフリッカ補正回路３０＊が用いられている。ここで、＊はＲ，Ｇ，Ｂを代表して標記したものである。

フリッカ補正回路３０＊は、補正誤差検出器４０＊から補正誤差信号Ｅ＿＊が供給されるアドレス算出器３１＊、このアドレス算出器３１＊により算出されたアドレスＡＤが供給される補正値算出器３２＊、この補正値算出器３２＊により算出されたフリッカ補正データＦＤと上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給される乗算器３３＊、この乗算器３３＊によりフリッカ振幅信号Ａ＿＊が乗算されたフリッカ補正データＦＤＡが供給されるレベル調整器３４＊、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるローパスフィルタ（ＬＰＦ）３５＊及び演算器３６＊を備え、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が上記ローパスフィルタ（ＬＰＦ）３５＊を介して上記レベル調整器３４＊に供給され、このレベル調整器３４＊により生成されるフリッカ補正値ＣＦＤが上記演算器３６＊に供給されるようになっている。

このような構成のフリッカ補正回路３０＊において、アドレス算出器３１＊では、補正誤差検出器４０＊から入力される補正誤差信号Ｅ＿＊をもとに、補正値算出器３２＊に備えられたＲＯＭ（後述するフリッカメモリ３２１，３２２）のアドレスＡＤを計算する。

このアドレス算出器３１＊では、注目するフレームの先頭ラインのアドレスを電源周波数とフレームレートから計算し、そのアドレスに１ライン進むごとのアドレス増加量を加算することで現在のラインでのアドレスを算出する。具体的には電源周波数が５０Ｈｚ、フレームレートが３０Ｈｚ、撮像素子１０＊の垂直方向のクロック数が１１２５ｃｌｋである場合（以後、具体例では電源周波数、フレームレート、撮像素子１０＊のクロック数は同じ）に、フリッカの１回の明暗の周期Ｔは、次の式１に示すように、
Ｔ＝３０Ｈｚｘ１１２５ｃｌｋ／（５０Ｈｚｘ２）
＝３３７．５［ｃｌｋ］）・・・式１
３３７．５ラインとなる。また、システム内部のＲＯＭには１周期を５１２分割したフリッカデータが保持されており、１ライン進むごとにＲＯＭのアドレスは、次の式２に示すように、
５１２／３３７．５＝１．５１７０３・・・式２
約１．５１７０３だけ増えることになる。つまり、先頭ラインでの補正波アドレスが０のとき、１００ライン進むとそのラインでのアドレスは、次の式３に示すように、
０＋１．５１７０３ｘ１００≒１５２・・・式３
１５２となる。

ここで、補正値算出器３２＊は、図３に示すように、フリッカメモリ３２１，３２２、上記フリッカメモリ３２１，３２２から読み出される２種類のフリッカデータＦＤ１，ＦＤ２に係数α，α−１を乗算する乗算器３２３，３２４、上記乗算器３２３，３２４により係数α，α−１を乗算されたフリッカデータＦＤ１＿Ａ，ＦＤ２＿Ａが供給される加算器３２５を備え、上記アドレス算出器３１＊により算出されたアドレスＡＤによって上記フリッカメモリ３２１，３２２から２種類のフリッカデータＦＤ１，ＦＤ２が読み出されるようになっている。

この補正値算出器３２＊では、上記アドレス算出器３１＊で計算されたアドレスＡＤをもとに上記フリッカメモリ３２１，３２２から２種類のフリッカデータＦＤ１，ＦＤ２を読み出し、フレームレートとシャッタスピードに応じて乗算器３２３，３２４で係数α，α−１を乗算して加算器３２５で加算合成することによって、１つのフリッカ補正データＦＤを算出して出力する。

なお、補正値算出器３２＊にて保持するフリッカデータＦＤ１，ＦＤ２は周期性を利用するため、波形の一部を保持することになる。また、ＲＯＭでなくても適宜フリッカデータを計算することも可能である。この場合では２つのフリッカデータＦＤ１，ＦＤ２から１つのフリッカ補正データＦＤを合成しているが、３つ以上のフリッカデータを用いることで様々なフリッカ補正データＦＤを合成することも可能である。このフリッカ補正データＦＤはライン単位で決まる値で１ラインにつき１回更新される。

ここで、フリッカのレベルは各画素の輝度値に応じて変化するので入力される撮像信号ＤＶ＿＊を用いて画素毎にレベル調整を行うが、撮像信号ＤＶ＿＊にはノイズ成分も含まれており、このレベル調整にノイズの影響が出てしまう。

そこで、この撮像装置１００におけるフリッカ補正回路３０＊では、ローパスフィルタ（ＬＰＦ）３５＊を通すことで撮像信号ＤＶ＿＊からノイズを除去し、ノイズを除去した撮像信号ＤＶ＿＊’をレベル調整器３４＊に供給する。レベル調整器３４３＊では、ノイズのない撮像信号ＤＶ＿＊’と補正値算出器３２＊で算出したフリッカ補正データＦＤから、ノイズの影響を受けていない各画素の補正値ＣＦＤを算出することができる。

なお、この実施の形態では画素値に応じて補正値も単調増加するものとなっている。これは、画素値に応じてフリッカのレベルも線形に増加する傾向が観測されたためである。また、画素値が非常に小さい場合と非常に高い場合ではフリッカが測定されないのでその特徴も備えた計算を実行しているがこの特性に限定するものではない。

そして、このフリッカ補正器回路３０＊では、演算器３５＊において撮像信号ＤＶ＿＊に各画素の補正値ＣＦＤを加算することで補正済みの撮像信号ＣＶ＿＊を得る。

この撮像装置１００における補正誤差の検出のアルゴリズムについて、図４を参照して説明する。

あるフレーム画像（ここではｎフレーム目の画像）のフリッカが正しいレベルで補正できたとする。フレーム間でフリッカは連続しているので次フレームのフリッカを予測することができ、予測した次フレームのフリッカのレベルをｎフレーム目と同じレベルで、補正画像にｎ＋１フレーム目のフリッカを付加する。このようにしてできたフリッカ画像を画像Ａとする。同時にレベルをｎフレーム目より強くして、補正画像にｎ＋１フレーム目のフリッカを付加する。このようにしてできたフリッカ画像を画像Ｂとする。画像Ａはｎフレーム目の被写体でｎ＋１フレーム目のフリッカ成分が付加された画像で、画像Ｂはｎフレーム目の被写体で画像Ａよりもフリッカレベルを強めたｎ＋１フレーム目のフリッカ成分が付加された画像である。実際にｎ＋１フレーム目の画像が入力されたら、画像Ａと画像Ｂのそれぞれと差分を取ると、画像Ａでは次フレームのフリッカが忠実に再現されているために、差分として被写体の動き成分のみが出てくる。しかし、画像Ｂでは次フレームのフリッカよりもレベルが強くなっているため、差分として被写体の動きとフリッカ成分の２つの成分が含まれる．つまり、予測するフリッカ成分が次フレームのフリッカに近いほうが差分値として小さい値をとることとなる。さらに、ｎフレーム目のフリッカのレベルより、強いレベルのｎ＋１フレーム目のフリッカ成分を付加した画像と弱いレベルのｎ＋１フレーム目のフリッカ成分を付加した画像の２つの画像を生成し、それぞれの画像とｎ＋１フレーム目の画像との差分を取ると、ｎ＋１フレーム目のフリッカレベルに近いほうの差分値のほうが小さい値を取ることとなる。よって、毎フレームで差分値を比較することで任意のフリッカのレベルの初期値に対して、時間とともに自動で適当なフリッカレベルに収束させることができる。

補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂ及び補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂは、上記アルゴリズムに従って構成されている。

この撮像装置１００において、補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂには、上記アルゴリズムに従って構成された図５に示すような構成の補正位相誤差検出器４０＊が用いられている。ここで、＊はＲ，Ｇ，Ｂを代表して標記したものである。

補正位相誤差検出器４０＊は、上記フリッカ補正回路３０＊によりフリッカ補正された撮像信号ＣＶ＿＊及び上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給されるフリッカ付加信号生成部４１Ａ，４１Ｂ、各フリッカ付加信号生成部４１Ａ，４１Ｂにより生成されたフリッカ付加信号ＦＤＶ１，ＦＤＶ２が供給されるライン積分器４２Ａ，４２Ｂ、各ライン積分器４２Ａ，４２Ｂにより積分されたラインデータＬＤ１１，ＬＤ２１が供給されるメモリ４３Ａ，４３Ｂ、各メモリ４３Ａ，４３Ｂから読み出されたラインデータＬＤ１２，ＬＤ２２が供給される差分検出器４４Ａ，４４Ｂ、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるライン積分器４５、各差分検出器４４Ａ，４４Ｂによる検出された差分データＤＤ１，ＤＤ２が供給される積分器４６Ａ，４６Ｂ、各積分器４６Ａ，４６Ｂにより得られた積分データＩＤ１，ＩＤ２が供給される比較器４７などを備え、ライン積分器４５により得られるラインデータＬＤ３が各差分検出器４４Ａ，４４Ｂに供給され、比較器４７による比較出力として得られる補正誤差信号Ｅ＿＊が各フリッカ付加信号生成部４１Ａ，４１Ｂに供給されるようになっている。

各フリッカ付加信号生成部４１Ａ，４１Ｂは、比較器４７による比較出力として得られる補正誤差信号Ｅ＿＊が供給されるアドレス算出器４１１Ａ，４１１Ｂ、各アドレス算出器４１１Ａ，４１１Ｂにより算出されたアドレスＡＤ１１，ＡＤ２１が供給されるアドレス変換器４１２Ａ，４１２Ｂ、各アドレス変換器４１２Ａ，４１２Ｂにより算出されたアドレスＡＤ１２，ＡＤ２２が供給される補正値算出器４１３Ａ，４１３Ｂ、上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給される乗算器４１４Ａ，４１４Ｂ、この乗算器４１４Ａ，４１４Ｂによりフリッカ振幅信号Ａ＿＊が乗算されたフリッカデータＦＤ１，ＦＤ２が供給されるレベル調整器４１５Ａ，４１５Ｂ、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるローパスフィルタ（ＬＰＦ）４１６Ａ，４１６Ｂ及び演算器４１７Ａ，４１７Ｂを備え、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が上記ローパスフィルタ（ＬＰＦ）４１６Ａ，４１６Ｂを介して上記レベル調整器４１５Ａ，４１５Ｂに供給され、このレベル調整器４１５Ａ，４１５Ｂにより生成される補正値ＣＦＤ１，ＣＦＤ２が上記演算器４１７Ａ，４１７Ｂに供給されるようになっている。

このような構成の補正誤差検出器４０＊では、補正誤差信号Ｅ＿＊をもとにアドレス算出器４１１Ａ，４１１ＢでＲＯＭのアドレスＡＤ１１，ＡＤ２１を計算する。ここで計算するアドレスは次フレームのフリッカの先頭のアドレスをプラス方向とマイナス方向へずらしたアドレスである。これらのアドレスはフリッカ補正回路３０＊でのアドレス算出器３１＊と同様の計算によって算出する。また、補正誤差検出器４０＊に備えられるＲＯＭはフリッカ補正回路３０＊に備えられたＲＯＭと同じものである。

アドレス変換器４１２Ａ，４１２Ｂでは、アドレス算出器４１１Ａ，４１１Ｂで算出されたアドレスＡＤ１１，ＡＤ２１から次フレームのフリッカを再現できるアドレスＡＤ１２，ＡＤ２２へ変換する。つまり、位相が逆転するアドレスへと変換する。このアドレス変換器４１２Ａ，４１２Ｂで変換されるアドレスＡＤ１２，ＡＤ２２は次フレームのフリッカを予測したものでフリッカを補正するためのものではない。

補正値算出器４１３Ａ，４１３Ｂでは、アドレス変換器４１２Ａ，４１２Ｂにより変換されたアドレスＡＤ１２，ＡＤ２２をもとにフリッカデータＦＤ１，ＦＤ２を算出する。このフリッカデータＦＤ１，ＦＤ２もフリッカ補正回路３０＊と同様にライン単位で決まる値である。この補正値算出器４１３Ａ，４１３Ｂもフリッカ補正回路３０＊に備えられ補正値算出器３２＊と同様の構成のものが用いられる。

補正振幅誤差検出器４０＊でもフリッカ補正回路３０＊と同様に、フリッカ付加信号生成部４１Ａ，４１Ｂにおいて、ローパスフィルタローパスフィルタ（ＬＰＦ）４１６Ａ，４１６Ｂを通すことで撮像信号ＤＶ＿＊からノイズを除去し、ノイズを除去した撮像信号ＤＶ＿＊’をレベル調整器４１５Ａ，４１５Ｂに供給する。レベル調整器４１５Ａ，４１５Ｂでは、ノイズのない撮像信号ＤＶ＿＊’と乗算器４１４Ａ，４１４Ｂで算出したフリッカデータＦＤ１，ＦＤ２から、ノイズの影響を受けていない各画素の補正値ＣＦＤ１，ＣＦＤ２を算出する。

このレベル調整器４１５Ａ，４１５Ｂもフリッカ補正回路３０＊に備えられたレベル調整器３４＊と同様の構成のものが用いられる。

演算器４１７Ａ，４１７Ｂでは、フリッカ補正された撮像信号ＣＶ＿＊に各画素の補正値ＣＦＤ１，ＣＦＤ２を加算して、次フレームのフリッカ付加信号ＦＤＶ１，ＦＤＶ２を生成する。この演算器４１７Ａ，４１７Ｂもフリッカ補正回路３０＊に備えられた演算器３６と同様の構成のものが用いられる。

そして、ライン積分器４２Ａ，４２Ｂでは、次フレームのフリッカ付加信号ＦＤＶ１，ＦＤＶ２のある領域をそれぞれ積分しラインデータＬＤ１１，ＬＤ２１を算出する。ここでの領域とは水平方向には取得される画像の範囲であれば任意の値を取ることが可能であり、広くとることで補正誤差の検出の精度を上げることができる。垂直方向には１画面内に入るフリッカの明暗の周期の整数倍とすれば良い。具体的には水平方向に１０００画素分、垂直方向に６７５画素分（３３７．５ｘ２）の１０００ｘ６７５などとすることができる。

ライン積分器４２Ａ，４２Ｂにより算出されたラインデータＬＤ１１，ＬＤ２１を、次フレームの撮像信号ＤＶ＿＊が入力されるまでメモリ４３Ａ，４３Ｂに蓄えておき、次フレームの撮像信号ＤＶ＿＊が入力されたら、フリッカ付加信号ＦＤＶ１，ＦＤＶ２を積分した領域と同じ領域をライン積分器４５でライン積分しラインデータＬＤ３を算出する。

メモリ４３Ａ，４３Ｂに蓄えてあるラインデータＬＤ１２，ＬＤ２２とそのラインに対応する次フレームの撮像信号ＤＶ＿＊のラインデータＬＤ３をそれぞれ差分検出器４４Ａ，４４Ｂに入力し差分データＤＤ１，ＤＤ２を得る。

積分器４６Ａ，４６Ｂでは、２つの差分データＤＤ１、ＤＤ２をそれぞれ積分することにより積分データＩＤ１，ＩＤ２を得る。

そして、比較器４７において、これらの積分データＩＤ１，ＩＤ２の大小を比べることでアドレスをプラスとマイナスのどちらにずらしたほうがより正しいフリッカを予想しているか判断する。例えば、アドレスをプラスしたほうの積分データＩＤ＊がアドレスをマイナスした積分データＩＤ＊より小さいならばアドレスをプラスするように補正位相誤差信号Ｅ＿＊を出力する。

この補正位相誤差信号Ｅ＿＊を上記フリッカ補正回路３０＊及び補正振幅誤差検出器５０＊のアドレス算出器３１，５１１Ａ，５１１Ｂに入力し、正しい方向へアドレスをずらしていくことで補正誤差を最小にする。

また、この撮像装置１００において、補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂには、上記アルゴリズムに従って構成された図６に示すような構成の補正振幅誤差検出器６０＊が用いられている。ここで、＊はＲ，Ｇ，Ｂを代表して標記したものである。

補正振幅誤差検出器５０＊は、上記フリッカ補正回路３０＊によりフリッカ補正された撮像信号ＣＶ＿＊及び上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給されるフリッカ付加信号生成部５１Ａ，５１Ｂ、各フリッカ付加信号生成部５１Ａ，５１Ｂにより生成されたフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２が供給されるライン積分器５２Ａ，５２Ｂ、各ライン積分器５２Ａ，５２Ｂにより積分されたラインデータＬＤ３１，ＬＤ３２が供給されるメモリ５３Ａ，５３Ｂ、各メモリ５３Ａ，５３Ｂから読み出されたラインデータＬＤ３１，ＬＤ３２が供給される差分検出器５４Ａ，５４Ｂ、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるライン積分器５５、各差分検出器５４Ａ，５４Ｂによる検出された差分データＤＤ３１，ＤＤ３２が供給される積分器５６Ａ，５６Ｂ、各積分器５６Ａ，５６Ｂにより得られた積分データＩＤ３１，ＩＤ３２が供給される比較器５７などを備え、ライン積分器５５により得られるラインデータＬＤ３が各差分検出器５４Ａ，５４Ｂに供給されるようになっている。

フリッカ付加信号生成部５１Ａ，５１Ｂは、上記補正位相誤差検出器４０＊における比較器４７による比較出力として得られる補正位相誤差信号Ｅ＿＊が供給されるアドレス算出器５１１Ａ，５１１Ｂ、各アドレス算出器５１１Ａ，５１１Ｂにより算出されたアドレスＡＤ３１が供給されるアドレス変換器５１２Ａ，５１２Ｂ、各アドレス変換器５１２Ａ，５１２Ｂにより算出されたアドレスＡＤ３２が供給される補正値算出器５１３Ａ，５１３Ｂ、上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給される振幅増幅器５１４Ａ及び振幅減衰器５１４Ｂ、補正値算出器５１３Ａ，５１３Ｂにより算出されたフリッカデータＦＤ３１，ＣＦＤ３１が供給される乗算器５１５Ａ，５１５Ｂ、この乗算器５１５Ａ，５１５Ｂによりフリッカ振幅信号Ａ＿＊が乗算されたフリッカデータＣＦＤ１，ＣＦＤ２が供給されるレベル調整器５１６Ａ，５１６Ｂ、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるローパスフィルタ（ＬＰＦ）５１７Ａ，５１７Ｂ及び演算器５１８Ａ，５１８Ｂを備え、振幅増幅器５１４Ａ及び振幅減衰器５１４Ｂによりフリッカ振幅信号Ａ＿＊の振幅を制御した振幅信号ＡＭ３１，ＡＭ３２が上記乗算器５１５Ａ，５１５Ｂに供給されるとともに、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が上記ローパスフィルタ（ＬＰＦ）５１７Ａ，５１７Ｂを介して上記レベル調整器５１６Ａ，５１６Ｂに供給され、このレベル調整器５１６Ａ，５１６Ｂにより生成される補正値ＣＦＤ３１，ＣＦＤ３２が上記演算器５１８Ａ，５１８Ｂに供給されるようになっている。

このような構成の補正振幅誤差検出器５０＊では、フリッカ付加信号生成部５１Ａ，５１Ｂにおいて、補正誤差信号Ｅ＿＊をもとにアドレス算出器５１１Ａ，５１１ＢでＲＯＭのアドレスＡＤ３１を計算する。ここで計算するアドレスは次フレームのフリッカ成分の先頭のアドレスである。このアドレスはフリッカ補正回路３０＊でのアドレス算出器３１＊と同様の計算によって算出する。また、この補正振幅誤差検出器５０＊に備えられるＲＯＭはフリッカ補正回路３０＊に備えられたＲＯＭと同じものである。

アドレス変換器５１２Ａ，５１２Ｂではアドレス算出器５１１Ａ，５１１Ｂで算出されたアドレスＡＤ３１から次フレームのフリッカを再現できるアドレスへと変換する。具体的には入力されるアドレスＡＤ３１の位相を反転させたアドレスＡＤ３２へと変換する。このアドレス変換器５１２Ａ，５１２Ｂで変換されたアドレスＡＤ３２は次フレームのフリッカを予測したものでフリッカを補正するためのものではない。

補正値算出器５１３Ａ，５１３Ｂでは、アドレス変換器５１２Ａ，５１２Ｂにより変換されたアドレスＡＤ３２をもとにフリッカデータＦＤ３１を算出する。このフリッカデータＦＤ３１もフリッカ補正回路３０＊と同様にライン単位で決まる値である。この補正値算出器５１３Ａ，５１３Ｂもフリッカ補正回路３０＊に備えられ補正値算出器３２＊と同様の構成のものが用いられる。

次に振幅増幅器５１４Ａによって振幅信号Ａ＿＊を増幅させた振幅信号ＡＭ３１を算出し、同時に、振幅減幅器５１４Ｂによって入力される振幅信号Ａ＿＊を減衰させて振幅信号ＡＭ３２を算出し、算出した振幅信号ＡＭ３１、ＡＭ３２のそれぞれとフリッカデータＦＤ３１を乗算器５１５Ａ，５１５Ｂで乗算することでフリッカ成分を増幅させたフリッカ補正データＦＤＡ３１と減衰させたフリッカ補正データＦＤＡ３２を得る。

補正振幅誤差検出器５０＊でもフリッカ補正回路３０＊と同様に、フリッカ付加信号生成部５１Ａ，５１Ｂにおいて、ローパスフィルタローパスフィルタ（ＬＰＦ）５１７Ａ，５１７Ｂを通すことで撮像信号ＤＶ＿＊からノイズを除去し、ノイズを除去した撮像信号ＤＶ＿＊’をレベル調整器５１６Ａ，５１６Ｂに供給する。レベル調整器５１６Ａ，５１６Ｂでは、ノイズのない撮像信号ＤＶ＿＊’と乗算器５１５Ａ，５１５Ｂで算出したフリッカデータＦＤＡ３１，ＦＤＡ３１から、ノイズの影響を受けていない各画素の補正値ＣＦＤ３１，ＣＦＤ３２を算出する。

このレベル調整器５１６Ａ，５１６Ｂもフリッカ補正回路３０＊に備えられたレベル調整器３４＊と同様の構成のものが用いられる。

演算器５１８Ａ，５１８Ｂでは、フリッカ補正された撮像信号ＣＶ＿＊に各画素の補正値ＣＦＤ３１，ＣＦＤ３２を加算して、次フレームのフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２を生成する。この演算器５１８Ａ，５１８Ｂもフリッカ補正回路３０＊に備えられた演算器３６と同様の構成のものが用いられる。

そして、上記演算器５１８Ａ，５１８Ｂにより得られた次フレームのフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２に対して、上記補正位相誤差検出器４０＊と同様の処理を行う。すなわち、ライン積分器５２Ａ，５２Ｂでは、次フレームのフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２のある領域をそれぞれ積分しラインデータＬＤ３１，ＬＤ３２を算出する。

ライン積分器５２Ａ，５２Ｂにより算出されたラインデータＬＤ３１，ＬＤ３２を、次フレームの撮像信号ＤＶ＿＊が入力されるまでメモリ５３Ａ，５３Ｂに蓄えておき、次フレームの撮像信号ＤＶ＿＊が入力されたら、フリッカ付加信号ＦＤＶ３１，ＦＤＶ３２を積分した領域と同じ領域をライン積分器５５でライン積分しラインデータＬＤ３を算出する。

メモリ５３Ａ，５３Ｂに蓄えてあるラインデータＬＤ３１，ＬＤ３２とそのラインに対応する次フレームの撮像信号ＤＶ＿＊のラインデータＬＤ３をそれぞれ差分検出器５４Ａ，５４Ｂに入力し差分データＤＤ３１，ＤＤ３２を得る。

積分器５６Ａ，５６Ｂでは、２つの差分データＤＤ３１，ＤＤ３２をそれぞれ積分することにより積分データＩＤ３１，ＩＤ３２を得る。

そして、比較器５７において、これらの積分データＩＤ３１，ＩＤ３２の大小を比較することで次フレームでのフリッカの振幅を増幅させるべきか、減衰させるべきか示す比較信号Ｃ＊を出力する。

この補正振幅誤差検出器５０＊により得られた比較信号Ｃ＊が供給されるフリッカ振幅調整器６０＊は、図７に示すように、比較器５１と振幅増減器５２から構成され、比較信号Ｃ＿＊により常に振幅を変動させている。このフリッカ振幅調整器６０＊は、補正振幅誤差検出器５０＊により得られた比較信号Ｃ＿＊が小さくなる向きにフリッカの振幅を変化させる機能を持つ。というのも、比較信号Ｃ＿＊が小さくなるということは予測して作られたフリッカ画像が撮像素子１０＊より得られる実際の画像に近づいているということになる。すなわち、比較器５１によりフレーム間の比較信号Ｃ＿＊の大小関係を調べることでフリッカのレベル予測が正しく行われているかを判定できる。そして、例えば、フリッカの振幅を増やしたときに、比較信号Ｃ＿＊が前フレームの比較信号Ｃ＿＊と比べて大きくなっている場合は、そのときのフリッカの振幅の予測が間違っていると判定できるので振幅増減器５２によりフリッカの振幅を減らし、逆に比較信号Ｃ＿＊が前フレームでの比較信号Ｃ＿＊と比べて小さくなっている場合は、そのときのフリッカの振幅の予測があっていると判定できるので振幅増減器５２によりフリッカの振幅を増加させる。以上の処理によって振幅信号Ａ＿＊を出力する。

これにより、上述の補正誤差検出アルゴリズムに従って、上記２つの差分データＤＤ３１，ＤＤ３２の積分値が小さくなる方向へレベルを変化させることで、時間とともに最適な補正レベルへと変化させることができる。

本発明を適用した撮像装置の構成を示すブロック図である。上記撮像装置に備えられたフリッカ補正回路の構成を示すブロック図である。上記フリッカ補正回路における補正値算出器の構成を示すブロック図である。上記撮像装置おける補正誤差検出のアルゴルズムを模式的に示す図である。上記撮像装置に備えられた補正位相誤差検出器の構成を示すブロック図である。上記撮像装置に備えられた補正振幅誤差検出器の構成を示すブロック図である。上記撮像装置に備えられたフリッカ振幅調整器の構成を示すブロック図である。グローバルシャッタ方式を採用したセンサでの電荷蓄積量の違いを模式的に示す図である。グローバルシャッタ方式によって現れる面フリッカの画像の例を模式的に示す図である。ローリングシャッタ方式による電荷蓄積量の違いを模式的に示す図である。面内フリッカの画像の例を模式的に示す図である。

符号の説明

１０Ｒ，１０Ｇ，１０Ｂ撮像素子、２０Ｒ，２０Ｇ，２０Ｂ，２０＊Ａ／Ｄ変換器、３０Ｒ，３０Ｇ，３０Ｂ，３０＊フリッカ補正回路、３１＊アドレス算出器、３２＊補正値算出器、３３＊乗算器、３４＊レベル調整器、３５＊ローパスフィルタ（ＬＰＦ）、３６＊演算器、４０Ｒ，４０Ｇ，４０Ｂ，４０＊補正位相誤差検出器、
４１Ａ，４１Ｂフリッカ付加信号生成部、４２Ａ，４２Ｂ，４５ライン積分器、４３Ａ，４３Ｂメモリ、４４Ａ，４４Ｂ差分検出器、４６Ａ，４６Ｂ積分器、４７比較器、５０Ｒ，５０Ｇ，５０Ｂ，５０＊補正振幅誤差検出器、６０Ｒ，６０Ｇ，６０Ｂ，６０＊フリッカ振幅調整器、６１比較器、６２振幅増減器、７０カメラ用信号処理回路、１００撮像装置、３２１，３２２フリッカメモリ、３２３，３２４乗算器、３２５加算器、４１１Ａ，４１１Ｂアドレス算出器、４１２Ａ，４１２Ｂアドレス変換器、４１３Ａ，４１３Ｂ補正値算出器、４１４Ａ，４１４Ｂ乗算器、４１５Ａ，４１５Ｂレベル調整器、４１６Ａ，４１６Ｂローパスフィルタ（ＬＰＦ）、４１７Ａ，４１７Ｂ演算器、５１１Ａ，５１１Ｂアドレス算出器、５１２Ａ，５１２Ｂアドレス変換器、５１３Ａ，５１３Ｂ補正値算出器、５１４Ａ振幅増幅器、５１４Ｂ振幅減衰器、５１５Ａ，５１５Ｂ乗算器、５１６Ａ，５１６Ｂレベル調整器、５１７Ａ，４１７Ｂローパスフィルタ（ＬＰＦ）、５１８Ａ，５１８Ｂ演算器

Claims

フリッカ補正された現フレームの画像から次フレームの画像のフリッカを予測してレベルの異なるフリッカを加算した２種類のフリッカ画像を生成し、
生成した２種類のフリッカ画像と入力された次フレームの画像とを比較することによりフリッカ成分を検出し、
検出したフリッカ成分に基づいてフリッカ補正値を生成し、
生成したフリッカ補正値を１フレーム毎に入力画像に加算することでフリッカ補正を行う
ことを特徴とするフリッカ補正方法。
入力画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正手段と、
上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号のフリッカを予測してレベルの異なるフリッカを加算した２種類のフリッカ画像信号を生成し、生成した２種類のフリッカ画像信号と入力された次フレームの画像信号とを比較することによりフリッカ成分を検出し、検出したフリッカ成分に基づいてフリッカ補正信号を生成するフリッカ補正信号生成手段とを備え、
上記フリッカ補正信号生成手段により１フレーム毎に生成されるフリッカ補正信号を上記フリッカ補正手段により入力画像信号に加算することによりフリッカ補正を行うことを特徴とするフリッカ補正装置。
上記フリッカ補正信号生成手段は、上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号のフリッカを予測してレベルの異なるフリッカを加算した２種類のフリッカ画像信号を生成し、生成した２種類のフリッカ画像信号と入力された次フレームの画像信号とを比較することにより補正位相誤差を検出する補正位相誤差検出手段と、上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号のフリッカを予測してレベルの異なるフリッカを加算した２種類のフリッカ画像信号を生成し、生成した２種類のフリッカ画像信号と入力された次フレームの画像信号とを比較することにより補正振幅誤差を検出する補正振幅誤差検出手段と、上記補正振幅誤差検出手段により検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成するフリッカ振幅調整手段とを備え、上記補正位相誤差検出手段により生成される補正位相誤差信号と上記フリッカ振幅調整手段により生成される振幅信号に基づいて、上記フリッカ補正信号を生成することを請求項２記載のフリッカ補正装置。
撮像手段により得られた画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正装置を備える撮像装置であって、
上記フリッカ補正装置は、上記撮像手段から入力される画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号のフリッカを予測してレベルの異なるフリッカを加算した２種類のフリッカ画像信号を生成し、生成した２種類のフリッカ画像信号と入力された次フレームの画像信号とを比較することによりフリッカ成分を検出し、検出したフリッカ成分に基づいてフリッカ補正信号を生成するフリッカ補正信号生成手段とを備え、上記フリッカ補正信号生成手段により１フレーム毎に生成されるフリッカ補正信号を上記フリッカ補正手段により入力画像信号に加算することによりフリッカ補正を行うことを特徴とする撮像装置。