JP4207922B2 - フリッカ補正方法、フリッカ補正装置及び撮像装置 - Google Patents

Description

本発明は、撮像信号からフリッカ補正信号を減算することによりフリッカ補正を行うフリッカ補正方法、フリッカ補正装置及び撮像装置に関する。

蛍光灯などの周期的に点滅を繰り返す光源の下でデジタルカメラなどによって撮影をした場合、取得される画像には周期的な縞の明暗が現れ、結果的には映像には縞の明暗が流れて見える現象が起きる。もしくはフレーム間で画像全体に周期的な明暗の違いが現れる。これはフリッカと呼ばれ、点滅する光源の下で電荷の蓄積タイミングをずらして撮像するイメージセンサを備えたデジタルカメラで撮影した場合には避けることのできない問題となっている。

また、イメージセンサは面単位、もしくはライン単位で電荷の蓄積タイミングが異なる。一般的に、面単位で電荷の蓄積タイミングを合わせる方式をグローバルシャッタ方式と呼び、ライン単位で電荷の蓄積タイミングを合わせる方式をローリングシャッタ方式と呼ばれている。

これまでイメージセンサではグローバルシャッタ方式を採用したＣＣＤが主流であったが、近年、ＣＣＤセンサより消費電力が小さく、部品点数も少なく安価に生産できるＣＭＯＳセンサが注目されている。このＣＭＯＳセンサは構造的な問題によりローリングシャッタ方式を採用している場合が多い。どちらの方式でも、点滅を繰り返す光源の下で撮影した場合は、センサでの電荷蓄積タイミングの違いにより、面全体に明暗の違い（面フリッカ）やライン毎による明暗の違い（面内フリッカ）が現れる。

図７にグローバルシャッタ方式を採用したセンサでの電荷蓄積量の違いを示し、図８にはグローバルシャッタ方式によって現れる面フリッカの画像の例を示す。図９にはローリングシャッタ方式による電荷蓄積量の違いを示し、図１０には面内フリッカの画像の例を示す。また、周期的に点滅する光源下で撮影された映像に含まれるフリッカ成分は正弦波によって近似でき、正弦波の性質を利用してフリッカを除去し補正画像を作る方法が主流となっている。

フリッカを補正するために、入力画像よりフリッカ成分を検出し、検出されたフリッカ成分をもとにゲインを調整する方法が提案されている（例えば、特許文献１参照）。

特開２００４−２２２２２８号公報

ところで、フリッカ補正をする場合、フリッカ成分が正弦波で近似できるという特徴を用いて入力信号からフリッカ成分を検出する。同様に正弦波の特徴と検出されたフリッカ成分から補正値を算出し、入力信号に補正値を加算もしくは乗算することで補正をする。フリッカ成分を正弦派で近似する場合、特徴量は「周期」、「位相」、「振幅」の３つがある。

周期に関しては電源周波数とフレームレートから検出することができる。

ここで、本件出願人は、特定期間分が連なって構成されてフリッカ成分を含んだ映像信号における上記特定期間分の夫々について、各特定期間分についての補正誤差信号に応答したもとで、上記各特定期間分に含まれるフリッカ成分に対応するフリッカ補正信号を得、該フリッカ補正信号と上記各特定期間分との演算処理を行うことにより、フリッカ成分についての補正が行われた１特定期間分の補正映像信号を形成し、上記補正誤差信号を、上記各特定期間分に先立つ１特定期間分について得られた１特定期間分の補正映像信号と上記各特定期間分とからフリッカ成分についての補正誤差を検出し、検出された補正誤差に応じたものとして得るとともに、上記フリッカ補正信号を、上記補正誤差信号に応じて上記補正誤差を低減させるものとして得るフリッカ補正方法を特願２００４−３３０２９９として、先に提案している。

この方法では予め正弦波のデータをＲＯＭなどに保持させ、現在のラインのフリッカ成分に対応するデータをＲＯＭから読み出し、読み出したデータを適当に変換することで補正値を算出し、入力画像に加算することでフリッカ補正を行っている。

しかし、この方法のように、入力画像に加算することでフリッカ補正を行う場合、蛍光灯の光を正弦波の絶対値で近似した場合には、フレームレートとシャッタスピードが遅ければフリッカ成分は正弦波で十分に近似することができるが、シャッタが高速になるとフリッカ成分は正弦波で近似することができなくなる。

ここで、図１１に蛍光灯の電源周波数が５０Ｈｚ、フレームレートが３０ｆｐｓでシャッタを入れていない場合のフリッカ成分を示す。図１２に電源周波数とフレームレートは変わらないでシャッタが１／１０００ｓの場合のフリッカ成分を示す。同様に、シャッタが１／２０００ｓの場合のフリッカ成分を図１３に示す。図１２、図１３からわかるようにシャッタを高速にするに従い、フリッカ成分を正弦波で近似するには限界が生じることがわかる。

また、露光時間と電荷の蓄積タイミングとフリッカの関係を図１４、図１５に示す。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、シャッタを高速にした場合にも、高精度にフリッカ補正を行うことができるフリッカ補正方法、フリッカ補正装置及び撮像装置を提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明は、入力された現フレームの画像から次フレームの画像のフリッカ成分を予測し、予測したフリッカ成分に基づいて補正値を次フレームの画像に加算することでフリッカ補正を行うフリッカ補正方法であって、複数のフリッカデータを保持しておき、シャッタスピードとフレームレートに応じて設定される合成比で複数のフリッカデータを合成することにより、補正値を算出し、算出した補正値を入力画像信号に加算することによりフリッカ補正を行うことを特徴とする。

また、本発明に係るフリッカ補正装置は、入力画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号に補正レベルのフリッカ補正を施したフリッカ画像を予測し、予測したフリッカ画像と入力された次フレームの画像信号とを比較することにより補正誤差を検出する補正誤差検出手段とからなり、上記フリッカ補正手段は、複数のフリッカデータを保持したフリッカデータメモリから上記補正誤差検出手段により検出された補正誤差に応じて複数のフリッカデータを読み出し、入力画像信号のシャッタスピードとフレームレートに応じて設定される合成比で複数のフリッカデータを合成することによりフリッカ補正信号を生成するフリッカ補正信号生成手段とを備えることを特徴とする。

さらに、本発明は、撮像手段により得られた画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正装置を備える撮像装置であって、上記フリッカ補正装置は、上記撮像手段から入力される入力画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号に補正レベルのフリッカ補正を施したフリッカ画像を予測し、予測したフリッカ画像と入力された次フレームの画像信号とを比較することにより補正誤差を検出する補正誤差検出手段とからなり、上記フリッカ補正手段は、複数のフリッカデータを保持したフリッカデータメモリから上記補正誤差検出手段により検出された補正誤差に応じて複数のフリッカデータを読み出し、上記撮像手段のシャッタスピードとフレームレートに応じて設定される合成比で複数のフリッカデータを合成することによりフリッカ補正信号を生成するフリッカ補正信号生成手段とを備えることを特徴とする。

本発明では、フリッカ補正のために複数の補正データを用いることで精度の高い補正値を算出することができ、高フレームレート、高速シャッタの場合にでも精度の高いフリッカ補正を行うことができる。また、シャッタスピード、フレームレートに応じて複数の補正データの合成比を適当な値にし、算出される補正値を理想的なフリッカ成分に近づけることができる。したがって、ＣＭＯＳイメージセンサの特徴の一つである、高速撮像においても、つまり高フレームレート、高速シャッタの場合でも精度良くフリッカ補正をすることができ、また、フレームレートとシャッタスピードに応じて柔軟に補正値の算出をすることができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１００に適用される。

この撮像装置１００は、赤色画像撮像用の撮像素子１０Ｒ、緑色画像撮像用の撮像素子１０Ｇ、青色画像撮像用の撮像素子１０Ｂ、各撮像素子１０Ｒ，１０Ｇ，１０Ｂにより得られた各色画像の撮像信号ＳＩ＿Ｒ，ＳＩ＿Ｇ，ＳＩ＿Ｂをデジタル化するＡ／Ｄ変換器２０Ｒ，２０Ｇ，２０Ｂ、各Ａ／Ｄ変換器２０Ｒ，２０Ｇ，２０Ｂによりデジタル化された撮像信号ＤＶ＿Ｒ，ＤＶ＿Ｇ，ＤＶ＿Ｂが供給されるフリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂ及び補正誤差検出器４０Ｒ，４０Ｇ，４０Ｂ、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂによりフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂが供給されるカメラ用信号処理回路５０などからなる。

各補正誤差検出器４０Ｒ，４０Ｇ，４０Ｂは、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂによりフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂが供給されており、上記デジタル化された撮像信号ＤＶ＿Ｒ，ＤＶ＿Ｇ，ＤＶ＿Ｂとフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂから各撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂの補正誤差を検出して補正誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂを生成し、生成した補正誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂを各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂに供給する。

この撮像装置１００において、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂには、図２に示すような構成のフリッカ補正回路３０＊が用いられている。ここで、＊はＲ，Ｇ，Ｂを代表して標記したものである。

フリッカ補正回路３０＊は、補正誤差検出器４０＊から補正誤差信号Ｅ＿＊が供給されるアドレス算出器３１＊、このアドレス算出器３１＊により算出されたアドレスＡＤが供給される補正値算出器３２＊、この補正値算出器３２＊により算出されたフリッカ補正データＦＤが供給されるレベル調整器３３＊、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給される演算器３４＊を備え、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が上記レベル調整器３３＊に供給され、このレベル調整器３３＊により生成されるフリッカ補正値ＣＦＤが上記演算器３４＊に供給されるようになっている。

このような構成のフリッカ補正回路３０＊において、アドレス算出器３１＊では、補正誤差検出器４０＊から入力される補正誤差信号Ｅ＿＊をもとに、補正値算出器３２＊に備えられたＲＯＭ（後述するフリッカメモリ３２１，３２２）のアドレスＡＤを計算する。

このアドレス算出器３１＊では、注目するフレームの先頭ラインのアドレスを電源周波数とフレームレートから計算し、そのアドレスに１ライン進むごとのアドレス増加量を加算することで現在のラインでのアドレスを算出する。具体的には電源周波数が５０Ｈｚ、フレームレートが３０Ｈｚ、撮像素子１０＊の垂直方向のクロック数が１１２５ｃｌｋである場合（以後、具体例では電源周波数、フレームレート、撮像素子１０＊のクロック数は同じ）に、フリッカの１回の明暗の周期Ｔは、次の式１に示すように、
Ｔ＝３０Ｈｚｘ１１２５ｃｌｋ／（５０Ｈｚｘ２）
＝３３７．５［ｃｌｋ］） ・・・式１
３３７．５ラインとなる。また、システム内部のＲＯＭには１周期を５１２分割したフリッカデータが保持されており、１ライン進むごとにＲＯＭのアドレスは、次の式２に示すように、
５１２／３３７．５＝１．５１７０３ ・・・式２
約１．５１７０３だけ増えることになる。つまり、先頭ラインでの補正波アドレスが０のとき、１００ライン進むとそのラインでのアドレスは、次の式３に示すように、
０＋１．５１７０３ｘ１００≒１５２ ・・・式３
１５２となる。

ここで、補正値算出器３２＊は、図３に示すように、フリッカメモリ３２１，３２２、上記フリッカメモリ３２１，３２２から読み出される２種類のフリッカデータＦＤ１，ＦＤ２に係数α，α−１を乗算する乗算器３２３，３２４、上記乗算器３２３，３２４により係数α，α−１を乗算されたフリッカデータＦＤ１＿Ａ，ＦＤ２＿Ａが供給される加算器３２５を備え、上記アドレス算出器３１＊により算出されたアドレスＡＤによって上記フリッカメモリ３２１，３２２から２種類のフリッカデータＦＤ１，ＦＤ２が読み出されるようになっている。

この補正値算出器３２＊では、上記アドレス算出器３１＊で計算されたアドレスＡＤをもとに上記フリッカメモリ３２１，３２２から２種類のフリッカデータＦＤ１，ＦＤ２を読み出し、フレームレートとシャッタスピードに応じて乗算器３２３，３２４で係数α，α−１を乗算して加算器３２５で加算合成することによって、１つのフリッカ補正データＦＤを算出して出力する。

なお、補正値算出器３２＊にて保持するフリッカデータＦＤ１，ＦＤ２は周期性を利用するため、図４の（Ａ），（Ｂ）示すように波形の一部を保持することになる。また、ＲＯＭでなくても適宜フリッカデータを計算することも可能である。この場合では２つのフリッカデータＦＤ１，ＦＤ２から、例えば図４の（Ｃ）に示すような波形に対応する１つのフリッカ補正データＦＤを合成しているが、３つ以上のフリッカデータを用いることで様々なフリッカ補正データＦＤを合成することも可能である。このフリッカ補正データＦＤはライン単位で決まる値で１ラインにつき１回更新される。

フリッカのレベルは各画素の画素値に応じて変化するので、レベル調整器３３＊では、Ａ／Ｄ変換器２０＊でデジタル化された撮像信号ＤＶ＿＊を用いて、画素毎にフリッカ補正データＦＤのレベル調整を行い、各画素の補正値ＣＦＤを算出する。

なお、この実施の形態では画素値に応じて補正値も単調増加するものとなっている。これは、画素値に応じてフリッカのレベルも線形に増加する傾向が観測されたためである。また、画素値が非常に小さい場合と非常に高い場合ではフリッカが測定されないのでその特徴も備えた計算を実行しているがこの特性に限定するものではない。

そして、このフリッカ補正器回路３０＊では、演算器３４＊において撮像信号ＤＶ＿＊に各画素の補正値ＣＦＤを加算することで補正済みの撮像信号ＣＶ＿＊を得る。

この撮像装置１００において、各補正誤差検出器４０Ｒ，４０Ｇ，４０Ｂでは、図５に示すアルゴリズムを用いて補正誤差の検出を行う。

すなわち、「ｎフレーム目の補正画像」の出力後、その「ｎフレーム目の補正画像」に対してｎ＋１フレーム目のフリッカの状態を予測してフリッカ成分を付加する。このようにしてできた画像をここでは「画像Ａ」とする。同時に、ｎ＋１フレーム目のフリッカ状態を予測し、さらにアドレスをずらしたフリッカ成分を付加して作られる画像を「画像Ｂ」とする。これらの２枚の画像とフリッカ成分を含んだ「ｎ＋１フレーム目の画像」との差分を取ると、「画像Ａ」においては被写体の移動分のみが差分画像として出力されるが、「画像Ｂ」においては被写体の移動分とフリッカ成分の両方が差分画像として出力されるため、それぞれの差分値を比較すると「画像Ａ」での差分値が小さくなる。逆に考え、「画像Ｂ」から求めた差分値が「画像Ａ」からのそれよりも小さくなった場合はアドレスをずらしたほうが正しくフリッカを予測していると考えられる。つまり、差分値が小さいほうが正しくフリッカを予測しているので、差分値が小さくなる方向へアドレスをずらしていくことで最終的にはある範囲内で補正誤差を収束させることができる。

各補正誤差検出器４０Ｒ，４０Ｇ，４０Ｂには、図６に示すような構成の補正誤差検出器４０＊が用いられている。ここで、＊はＲ，Ｇ，Ｂを代表して標記したものである。

補正誤差検出器４０＊は、上記フリッカ補正回路３０＊によりフリッカ補正された撮像信号ＣＶ＿＊が供給されるフリッカ付加信号生成部４１Ａ，４１Ｂ、各フリッカ付加信号生成部４１Ａ，４１Ｂにより生成されたフリッカ付加信号ＦＤＶ１，ＦＤＶ２が供給されるライン積分器４２Ａ，４２Ｂ、各ライン積分器４２Ａ，４２Ｂにより積分されたラインデータＬＤ１１，ＬＤ２１が供給されるメモリ４３Ａ，４３Ｂ、各メモリ４３Ａ，４３Ｂから読み出されたラインデータＬＤ１２，ＬＤ２２が供給される差分検出器４４Ａ，４４Ｂ、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるライン積分器４５、各差分検出器４４Ａ，４４Ｂによる検出された差分データＤＤ１，ＤＤ２が供給される積分器４６Ａ，４６Ｂ、各積分器４６Ａ，４６Ｂにより得られた積分データＩＤ１，ＩＤ２が供給される比較器４７などを備え、ライン積分器４５により得られるラインデータＬＤ３が各差分検出器４４Ａ，４４Ｂに供給され、比較器４７による比較出力として得られる補正誤差信号Ｅ＿＊が各フリッカ付加信号生成部４１Ａ，４１Ｂに供給されるようになっている。

各フリッカ付加信号生成部４１Ａ，４１Ｂは、比較器４７による比較出力として得られる補正誤差信号Ｅ＿＊が供給されるアドレス算出器４１１Ａ，４１１Ｂ、各アドレス算出器４１１Ａ，４１１Ｂにより算出されたアドレスＡＤ１１，ＡＤ２１が供給されるアドレス変換器４１２Ａ，４１２Ｂ、各アドレス変換器４１２Ａ，４１２Ｂにより算出されたアドレスＡＤ１２，ＡＤ２２が供給される補正値算出器４１３Ａ，４１３Ｂ、各補正値算出器４１３Ａ，４１３Ｂにより算出されたフリッカデータＦＤ１，ＦＤ２が供給されるレベル調整器４１４Ａ，４１４Ｂ、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給される演算器４１５Ａ，４１５Ｂを備え、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が上記レベル調整器４１４Ａ，４１４Ｂに供給され、このレベル調整器４１４Ａ，４１４Ｂにより生成される補正値ＣＦＤ１，ＣＦＤ２が上記演算器４１５Ａ，４１５Ｂに供給されるようになっている。

このような構成の補正誤差検出器４０＊では、補正誤差信号Ｅ＿＊をもとにアドレス算出器４１１Ａ，４１１ＢでＲＯＭのアドレスＡＤ１１，ＡＤ２１を計算する。ここで計算するアドレスは次フレームのフリッカの先頭のアドレスをプラス方向とマイナス方向へずらしたアドレスである。これらのアドレスはフリッカ補正回路３０＊でのアドレス算出器３１＊と同様の計算によって算出する。また、補正誤差検出器４０＊に備えられるＲＯＭはフリッカ補正回路３０＊に備えられたＲＯＭと同じものである。

アドレス変換器４１２Ａ，４１２Ｂでは、アドレス算出器４１１Ａ，４１１Ｂで算出されたアドレスＡＤ１１，ＡＤ２１から次フレームのフリッカを再現できるアドレスＡＤ１２，ＡＤ２２へ変換する。つまり、位相が逆転するアドレスへと変換する。このアドレス変換器４１２Ａ，４１２Ｂで変換されるアドレスＡＤ１２，ＡＤ２２は次フレームのフリッカを予測したものでフリッカを補正するためのものではない。

補正値算出器４１３Ａ，４１３Ｂでは、アドレス変換器４１２Ａ，４１２Ｂにより変換されたアドレスＡＤ１２，ＡＤ２２をもとにフリッカデータＦＤ１，ＦＤ２を算出する。このフリッカデータＦＤ１，ＦＤ２もフリッカ補正回路３０＊と同様にライン単位で決まる値である。この補正値算出器４１３Ａ，４１３Ｂもフリッカ補正回路３０＊に備えられ補正値算出器３２＊と同様の構成のものが用いられる。

補正誤差検出器４１３Ａ，４１３Ｂでもフリッカ補正回路３０＊と同様にローパスフィルタローパスフィルタ（ＬＰＦ）４１５Ａ，４１５Ｂを通すことで撮像信号ＤＶ＿＊からノイズを除去し、ノイズを除去した撮像信号ＤＶ＿＊’をレベル調整器４１４Ａ，４１４Ｂに供給する。

レベル調整器４１４Ａ，４１４Ｂでは、Ａ／Ｄ変換器２０＊デジタル化された撮像信号ＤＶ＿＊と補正値算出器４１３Ａ，４１３Ｂで算出したフリッカデータＦＤ１，ＦＤ２から、各画素の補正値ＣＦＤ１，ＣＦＤ２を算出する。

このレベル調整器４１４Ａ，４１４Ｂもフリッカ補正回路３０＊に備えられたレベル調整器３３＊と同様の構成のものが用いられる。

演算器４１５Ａ，４１５Ｂでは、各画素の補正値ＣＦＤ１，ＣＦＤ２とフリッカ補正された撮像信号ＣＶ＿＊から次フレームのフリッカ付加信号ＦＤＶ１，ＦＤＶ２を生成する。

そして、ライン積分器４２Ａ，４２Ｂでは、次フレームのフリッカ付加信号ＦＤＶ１，ＦＤＶ２のある領域をそれぞれ積分しラインデータＬＤ１１，ＬＤ２１を算出する。ここでの領域とは水平方向には取得される画像の範囲であれば任意の値を取ることが可能であり、広くとることで補正誤差の検出の精度を上げることができる。垂直方向には１画面内に入るフリッカの明暗の周期の整数倍とすれば良い。具体的には水平方向に１０００画素分、垂直方向に６７５画素分（３３７．５ｘ２）の１０００ｘ６７５などとすることができる。

ライン積分器４２Ａ，４２Ｂにより算出されたラインデータＬＤ１１，ＬＤ２１を、次フレームの撮像信号ＤＶ＿＊が入力されるまでメモリ４３Ａ，４３Ｂに蓄えておき、次フレームの撮像信号ＤＶ＿＊が入力されたら、フリッカ付加信号ＦＤＶ１，ＦＤＶ２を積分した領域と同じ領域をライン積分器４５でライン積分しラインデータＬＤ３を算出する。

メモリ４３Ａ，４３Ｂに蓄えてあるラインデータＬＤ１２，ＬＤ２２とそのラインに対応する次フレームの撮像信号ＤＶ＿＊のラインデータＬＤ３をそれぞれ差分検出器４４Ａ，４４Ｂに入力し差分データＤＤ１，ＤＤ２を得る。

積分器４６Ａ，４６Ｂでは、２つの差分データＤＤ１、ＤＤ２をそれぞれ積分することにより積分データＩＤ１，ＩＤ２を得る。

そして、比較器４７において、これらの積分データＩＤ１，ＩＤ２の大小を比べることでアドレスをプラスとマイナスのどちらにずらしたほうがより正しいフリッカを予想しているか判断する。例えば、アドレスをプラスしたほうの積分データＩＤ＊がアドレスをマイナスした積分データＩＤ＊より小さいならばアドレスをプラスするように補正誤差信号Ｅ＿＊を出力する。

この補正誤差信号Ｅ＿＊を上記フリッカ補正回路３０＊と補正誤差検出器４０＊の両方のアドレス算出器３１，４１１Ａ，４１１Ｂに入力し、正しい方向へアドレスをずらしていくことで補正誤差を最小にする。

本発明を適用した撮像装置の構成を示すブロック図である。 上記撮像装置に備えられたフリッカ補正回路の構成を示すブロック図である。 上記フリッカ補正回路における補正値算出器の構成を示すブロック図である。 上記補正値算出器にて保持する２種類のフリッカデータで示される波形及び後合成されたフリッカ補正データで示される波形を模式的示す図である。 上記撮像装置おける補正誤差検出のアルゴルズムを模式的に示す図である。 上記撮像装置に備えられた補正誤差検出器の構成を示すブロック図である。 グローバルシャッタ方式を採用したセンサでの電荷蓄積量の違いを模式的に示す図である。 グローバルシャッタ方式によって現れる面フリッカの画像の例を模式的に示す図である。 ローリングシャッタ方式による電荷蓄積量の違いを模式的に示す図である。 面内フリッカの画像の例を模式的に示す図である。 蛍光灯の電源周波数が５０Ｈｚ、フレームレートが３０ｆｐｓでシャッタを入れていない場合のフリッカ成分を模式的に示す図である。 蛍光灯の電源周波数とフレームレートは変わらないでシャッタが１／１０００ｓの場合のフリッカ成分を模式的に示す図である。 蛍光灯の電源周波数とフレームレートは変わらないでシャッタが１／２０００ｓの場合のフリッカ成分を模式的に示す図である。 露光時間と電荷の蓄積タイミングとフリッカの関係を模式的に示す図である。 露光時間と電荷の蓄積タイミングとフリッカの関係を模式的に示す図である。

符号の説明

１０Ｒ，１０Ｇ，１０Ｂ 撮像素子、２０Ｒ，２０Ｇ，２０Ｂ，２０＊ Ａ／Ｄ変換器、３０Ｒ，３０Ｇ，３０Ｂ，３０＊ フリッカ補正回路、３１＊ アドレス算出器、３２＊ 補正値算出器、３３＊ レベル調整器、３４＊ 演算器、４０Ｒ，４０Ｇ，４０Ｂ，４０＊ 補正誤差検出器、５０ カメラ用信号処理回路、４１Ａ，４１Ｂ フリッカ付加信号生成部、４２Ａ，４２Ｂ，４５ ライン積分器、４３Ａ，４３Ｂ メモリ、４４Ａ，４４Ｂ 差分検出器、４６Ａ，４６Ｂ 積分器、４７ 比較器、１００ 撮像装置、３２１，３２２ フリッカメモリ、３２３，３２４ 乗算器、３２５ 加算器、４１１Ａ，４１１Ｂ アドレス算出器、４１２Ａ，４１２Ｂ アドレス変換器、４１３Ａ，４１３Ｂ 補正値算出器、４１４Ａ，４１４Ｂ レベル調整器、４１５Ａ，４１５Ｂ 演算器

Claims (3)

1. 入力された現フレームの画像から次フレームの画像のフリッカ成分を予測し、予測したフリッカ成分に基づいて補正値を次フレームの画像に加算することでフリッカ補正を行うフリッカ補正方法であって、
   複数のフリッカデータを保持しておき、
   シャッタスピードとフレームレートに応じて設定される合成比で複数のフリッカデータを合成することにより、補正値を算出し、
   算出した補正値を入力画像信号に加算することによりフリッカ補正を行うことを特徴とするフリッカ補正方法。
2. 入力画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正手段と、
   上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号に補正レベルのフリッカ補正を施したフリッカ画像を予測し、予測したフリッカ画像と入力された次フレームの画像信号とを比較することにより補正誤差を検出する補正誤差検出手段とからなり、
   上記フリッカ補正手段は、複数のフリッカデータを保持したフリッカデータメモリから上記補正誤差検出手段により検出された補正誤差に応じて複数のフリッカデータを読み出し、入力画像信号のシャッタスピードとフレームレートに応じて設定される合成比で複数のフリッカデータを合成することによりフリッカ補正信号を生成するフリッカ補正信号生成手段とを備えることを特徴とするフリッカ補正装置。
3. 撮像手段により得られた画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正装置を備える撮像装置であって、
   上記フリッカ補正装置は、上記撮像手段から入力される入力画像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段によりフリッカ補正された画像信号とフリッカ補正前の画像信号から、次フレームの画像信号に補正レベルのフリッカ補正を施したフリッカ画像を予測し、予測したフリッカ画像と入力された次フレームの画像信号とを比較することにより補正誤差を検出する補正誤差検出手段とからなり、上記フリッカ補正手段は、複数のフリッカデータを保持したフリッカデータメモリから上記補正誤差検出手段により検出された補正誤差に応じて複数のフリッカデータを読み出し、上記撮像手段のシャッタスピードとフレームレートに応じて設定される合成比で複数のフリッカデータを合成することによりフリッカ補正信号を生成するフリッカ補正信号生成手段とを備えることを特徴とする撮像装置。
   

Images