JP4979369B2

JP4979369B2 - イメージセンサのフリッカー検出回路及び方法

Info

Publication number: JP4979369B2
Application number: JP2006346406A
Authority: JP
Inventors: ピョンウイ; チェソンキム; ジョンクックム
Original assignee: インテレクチュアル・ヴェンチャーズ・Ｉｉ・リミテッド・ライアビリティ・カンパニー
Priority date: 2005-12-22
Filing date: 2006-12-22
Publication date: 2012-07-18
Anticipated expiration: 2026-12-22
Also published as: TWI345734B; US20070146500A1; JP2007174678A; US8520094B2; KR100721664B1; US7965323B2; US20110242359A1; TW200731165A

Description

本発明は、半導体設計技術に関し、特に、ローリングシャッター（ｒｏｌｌｉｎｇｓｈｕｔｔｅｒ）方式で撮影されるイメージセンサにおいて、バンド状に現れるフリッカー（ｆｌｉｃｋｅｒ）成分を検出するためのイメージセンサのフリッカー検出回路及び方法に関する。

近年、インターネットの利用による映像通信の発展に伴い、デジタルカメラの需要が爆発的に増加し続けている。さらに、カメラ付きＰＤＡ、ＩＭＴ−２０００、ＣＤＭＡ端末機などのような移動通信端末機の普及が増大するにつれて、小型カメラモジュールの需要が増加している。

カメラモジュールは、基本的にイメージセンサを備える。一般に、イメージセンサとは、光学映像を電気信号に変換させる素子のことを言う。このようなイメージセンサとしては、電荷結合素子（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ、以下、「ＣＣＤ」と記す）とＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが広く用いられている。

ＣＣＤは、駆動方式が複雑で、かつ電力消費が多く、製造工程時にマスク工程数が多くいために工程が複雑であったり、シグナルプロセシング回路をチップ内に具現できないため、ワンチップ化が難しいなど、様々な短所がある。これに対し、ＣＭＯＳイメージセンサは、１つの単一チップ上に制御、駆動及び信号処理回路のモノリシック集積化が可能なため、最近は、より注目されつつある。その上、ＣＭＯＳイメージセンサは、低電圧動作及び低電力消費、周辺機器との互換性及び標準ＣＭＯＳ製造工程の有用性により、既存のＣＣＤに比べて潜在的に少ない費用が提供される。

しかしながら、ＣＭＯＳイメージセンサにおいて、受光素子、例えば、フォトダイオードにより生成されたアナログ信号は、寄生キャパシタンス、抵抗、暗電流漏れまたは半導体素子特性の不一致などにより引き起こされる多様な寄生効果（ｐａｒａｓｉｔｉｃｅｆｆｅｃｔ）を有する。このような寄生効果は、半導体素子では必ず発生するものであって、イメージデータの信号対ノイズ比（ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ）の低下を引き起こす。したがって、ノイズは、ＣＭＯＳイメージセンサの性能を制限する重要な要因として機能している。

ＣＭＯＳイメージセンサにおいてノイズが発生する原因には、イメージデータのサンプリングと関わるｋＴ／Ｃノイズ、イメージ信号を増幅するために用いられる回路と関わる１／ｆノイズ、及びセンサの信号処理回路の不一致と関わる固定パターンノイズ（ＦｉｘｅｄＰａｔｔｅｒｎＮｏｉｓｅ、以下、「ＦＰＮ」と記す）などがある。このうち、ＦＰＮは、イメージの中に縦線またはストリップ状に現れ、肉眼で発見し易いため視覚的に極めてよくない。

このようなＣＭＯＳイメージセンサは、ローリングシャッター方式でデータを読み出している。ローリングシャッター方式は、画素アレイに配列した画素からローライン（ｒｏｗｌｉｎｅ）別にデータを順次読み出す方式であって、周波数規格（５０Ｈｚ、６０Ｈｚ）に応じて、ライン毎に光量に差が生じて、フリッカーの生成を引き起こす。

以下、ローリングシャッター方式を採用するイメージセンサにおけるフリッカーの生成原因を説明する。

図１に示すように、フリッカーは、ローリングシャッターを使用するイメージ撮影装置において、ライン毎の光量差に起因して発生する。これは、国別の電気周波数の規格が５０Ｈｚまたは６０Ｈｚ（日本の場合、５０Ｈｚと６０Ｈｚの両方を使用）で定義されて、時間の経過による発光装置の明るさが変わるためであり、代表的な例として、実生活で多く用いられる蛍光灯がある。蛍光灯に照らされた被写体をローリングシャッター方式のイメージ撮影装置を利用してイメージを撮影すると、イメージ上に横方向の帯、すなわちバンド状にフリッカーを生成する。

このようなフリッカーの生成を防止するためには、フリッカーの生成原因であるライン毎の光量差を等しく維持すればよい。図２は、ライン毎の光量差を等しく維持させるための方式であって、同図に示すように、イメージ撮影装置の露出時間を、電気周波数規格、例えば５０Ｈｚまたは６０Ｈｚに合せる。すなわち、電気周波数規格の整数倍の時間を露出時間として維持させると、毎ラインごとに受光する光量を等しくすることができる。したがって、国別の電気周波数規格に応じてイメージ撮影装置の露出時間の最小公倍数値を調節する作業が必要となり、日本のように５０Ｈｚと６０Ｈｚを混用している環境では、自動的に調節する回路が必要である。

このように、電気周波数規格に応じてイメージ撮影装置の露出時間の最小公倍数値を自動的に調節するためには、現在の環境でのフリッカーの存在有無を判断するフリッカー検出部が求められ、フリッカー検出部を介して現在の露出時間が電気周波数規格と異なることによりフリッカーが生成されると、自動露出補正回路を介してこれを補正しなければならない。

フリッカー検出回路は、フリッカー検出方法において大きく２種類に実現され得るが、その方法としては、別途に特殊画素アレイを使用してフリッカーの存在有無を判断する方法と、純粋デジタル信号処理を利用してフリッカーの存在有無を判断する方法とがある。

前者の別途の特殊画素アレイ（メインの画素アレイとは別途に構成）を使用して、フリッカーの存在有無を判断する方法は、特殊画素アレイを介して現在の照度環境のフリッカーの存在有無を判断して、撮影イメージのフリッカーの存在有無を類推する方法である。この方式は、正確なフリッカー検出結果を得ることができるが、特殊画素アレイをさらに構成しなければならないため、ハードウェア資源の浪費と、特殊画素アレイの設計及び制御にともなう時間と費用が高まるという短所がある。

後者の純粋デジタル信号処理を利用してフリッカーの存在有無を判断する方法は、単一又は複数のイメージを介してイメージ内に現れるフリッカーバンドの傾向性を情報化してフリッカー曲線を生成した後、フリッカー曲線の周期性を判断してフリッカーの存在有無を類推する方法である。この方式は、別途のハードウェア資源を必要とせず、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を介した充分なシミュレーション実験が可能なため、設計にともなう費用が前に述べた特殊画素アレイを使用する方式に比べて相対的に低廉である。

しかしながら、従来の純粋デジタル信号処理を利用してフリッカーの存在有無を判断する方式では、フリッカー曲線の周期性を判断するために、ＤＦＴ（Ｄｉｓｃｒｅｔｅ−ＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）演算器を使用することから、複雑なＤＦＴ演算のためのハードウェア資源を必要とする。

そこで、本発明は、上述の問題を解決するためになされたものであって、その目的は、半導体及び実現面積を最小化し、ハードウェア資源を最小化し、かつ、フリッカーの存在有無を判断できるイメージセンサのフリッカー検出回路及び方法を提供することにある。

上記の目的を達成すべく、本発明に係るイメージセンサのフリッカー検出回路は、イメージを撮影して第１フレーム及び第２フレームを得、これを利用してフリッカーを検出する回路において、前記第１フレーム及び第２フレームの画素データから明るさ値を抽出して、前記第１フレーム及び第２フレームに対応するライン別第１明るさ平均値及び第２明るさ平均値を生成する明るさ平均値出力部と、前記ライン別に生成された第１明るさ平均値から第２明るさ平均値を減算して、フリッカー曲線を生成するフリッカー曲線生成部と、前記フリッカー曲線から複数の局所点を抽出し、それぞれの２つの局所点間の距離値を計算して、距離値及び距離値の頻度数に応じてフリッカーの存在有無を判別するフリッカー検出部とを備えることを特徴とする。

また、上記の目的を達成すべく、他の側面に係る本発明のイメージセンサのフリッカー検出回路は、イメージを撮影して得たＭ（２より大きい整数）個のフレームのうち、（Ｍ−１）個の隣接するフレーム対のそれぞれに対する画素データから明るさ値を抽出して、前記隣接するフレームの１番目及び２番目のフレームにそれぞれ対応するライン別第１明るさ平均値及び第２明るさ平均値を生成する明るさ平均値出力部と、前記ライン別に生成された第１明るさ平均値から第２明るさ平均値を減算して、フリッカー曲線を生成するフリッカー曲線生成部と、前記フリッカー曲線から複数の局所点を抽出し、隣接するそれぞれの２つの局所点間の距離値を計算して、距離値及び距離値の頻度数に応じてフリッカーイメージを検出するフリッカーイメージ検出部と、前記複数のフレームに対するフリッカーイメージ検出が完了すると、フリッカーイメージの検出回数に応じて、フリッカーの存在有無を判別するフリッカー状態判断部とを備えることを特徴とする。

また、上記の目的を達成すべく、さらに他の側面に係る本発明のイメージセンサのフリッカー検出回路は、イメージを撮影して得たＭ（２より大きい整数）個のフレームの画素データから明るさ値を抽出して、各フレームのライン別明るさ平均値を生成する明るさ平均値出力部と、前記ライン別に生成された明るさ平均値から（Ｍ−１）個の隣接するフレーム対に対してフレーム対を構成する２つのフレーム間のライン別明るさ平均値差を求め、その差を利用して（Ｍ−１）個のフリッカー曲線を生成するフリッカー曲線生成部と、前記（Ｍ−１）個のフリッカー曲線のそれぞれに対して、複数の局所点を抽出し、隣接するそれぞれの２つの局所点間の距離値を計算して、距離値及び距離値の頻度数に応じてそれぞれのフリッカー曲線に対するフリッカーイメージを検出するフリッカーイメージ検出部と、前記Ｍ個のフレーム全てに対するフリッカーイメージ検出が完了すると、フリッカーイメージの検出回数に応じて、フリッカーの存在有無を判別するフリッカー状態判断部とを備えることを特徴とする。

また、上記の目的を達成すべく、さらに他の側面に係る本発明のイメージセンサのフリッカー検出方法は、イメージを撮影して得た第１フレームの画素データから明るさ値を抽出して、ライン別に第１明るさ平均値を生成するステップと、前記イメージを連続撮影して得た第２フレームの画素データから明るさ値を抽出して、ライン別に第２明るさ平均値を生成するステップと、前記ライン別に生成された第１明るさ平均値から前記第２明るさ平均値を減算して、フリッカー曲線を生成するステップと、該フリッカー曲線から複数の局所点を抽出し、それぞれの２つの局所点間の距離値を計算して、距離値と距離値の頻度数に応じてフリッカーイメージを検出するステップとを含むことを特徴とする。

また、上記の目的を達成すべく、さらに他の側面に係るイメージセンサのフリッカー検出方法は、イメージを撮影して得た第１フレームの画素データから明るさ及び彩度値を抽出して、ライン別に第１明るさ及び彩度平均値を生成するステップと、前記イメージを連続撮影して得た第２フレームの画素データから明るさ及び彩度値を抽出して、ライン別に第２明るさ及び彩度平均値を生成するステップと、前記ライン別に生成された第１彩度平均値及び第２彩度平均値を利用して、前記第２フレームの動きを推定するステップと、該推定された動きに応じて、前記第２明るさ平均値を補正するステップと、前記ライン別に生成された第１明るさ平均値から前記補償された第２明るさ平均値を減算して、フリッカー曲線を生成するステップと、該フリッカー曲線から複数の局所点を抽出し、それぞれの２つの局所点間の距離値を計算して、距離値と距離値の頻度数に応じてフリッカーイメージを検出するステップとを含むことを特徴とする。

以下、本発明の最も好ましい実施形態を添付する図面を参照して説明する。また、明細書全体にわたって同一の構成要素には同一の参照符号を付してある。

図３は、本発明の実施形態に係るイメージセンサのフリッカー検出方法のメカニズムを説明するための概念図であり、図４は、本発明の一実施形態に係るイメージセンサのフリッカー検出回路を示すブロック図である。

図３に示すように、本発明の実施形態に係るイメージセンサのフリッカー検出方法のメカニズムは、同じ映像を複数回、例えば２回連続撮影して得た２個のフレームＦｒａｍｅ１、Ｆｒａｍｅ２のうち、第一回目に撮影されたイメージ（以下、第１フレームと記す）Ｆｒａｍｅ１の明るさ値から、第二回目に撮影されたイメージ（以下、第２フレームと記す）Ｆｒａｍｅ２の明るさ値を減算して、フリッカーを検出する。すなわち、第１フレームＦｒａｍｅ１から検出された画素ライン別明るさ値から、第２フレームＦｒａｍｅ２から検出された画素ライン別明るさ値を減算すると、被写体に対する情報は相殺し、２フレーム間の差、すなわちフリッカー流れの残像のみが残る。

図４に示す本発明の一実施形態に係るフリッカー検出回路１００は、第１フレームＦｒａｍｅ１のローライン（ｒｏｗｌｉｎｅ）別画素データＲＧＢ１の明るさと彩度（ｃｈｒｏｍｉｎａｎｃｅ）を検出してその平均値を計算する第１明るさ及び彩度平均値生成部１０と、第１明るさ及び彩度平均値生成部１０から出力された明るさ及び彩度の平均値をローライン別に格納する第１格納部２０と、第２フレームＦｒａｍｅ２のローライン別画素データＲＧＢ２の明るさ及び彩度の平均値を計算する第２明るさ及び彩度平均値生成部３０と、第２明るさ及び彩度平均値生成部３０から出力された明るさ及び彩度の平均値をローライン別に格納する第２格納部４０と、第１格納部及び第２格納部２０、４０にそれぞれ格納された第１フレーム及び第２フレームＦｒａｍｅ１、Ｆｒａｍｅ２の彩度の平均値を比較して、第２フレームＦｒａｍｅ２の動きを推定する動き推定部５０と、動き推定部５０の推定結果に応じて、第２格納部４０に格納された第２フレームＦｒａｍｅ２の明るさの平均値を補正し、補正された明るさ平均値を第１格納部２０に格納された第１フレームＦｒａｍｅ１の明るさ平均値から減算して、フリッカー曲線を抽出するフリッカー曲線生成部６０と、フリッカー曲線を利用して、比較した２フレームに対応するフリッカーイメージの存在有無を判断するフリッカーイメージ検出部７０とを備える。

本発明の他の実施形態は、同じ映像に対して２個より多いフレームを得た後、複数のフレームに対するフリッカーイメージの存在有無を判断し、その結果から、撮影されたイメージにフリッカーが存在するかを最終的に判断するフリッカー状態判断部８０をさらに備えることができる。

第１明るさ及び彩度平均値生成部１０は、第１フレームＦｒａｍｅ１から単位画素別に明るさ値を検出する第１検出部１１と、第１フレームＦｒａｍｅ１から単位画素別に彩度値（Ｃｂ／Ｃｒ）を検出する第２検出部１４と、第１検出部１１により検出されて出力された明るさ値を累積する第１累算部１２と、第２検出部１４により検出されて出力された彩度値を累積する第２累算部１５と、第１累算部１２から累算される明るさ値をローライン別に平均値を計算する第１平均値計算部１３と、第２累算部１５から累算された彩度値をローライン別に平均値を計算する第２平均値計算部１６とを備える。

第１格納部２０は、第１平均値計算部１３から出力された明るさのライン別平均値を格納する第１格納部２１と、第２平均値計算部１６から出力された彩度のライン別平均値を格納する第２格納部２２とを備える。第１格納部２１及び第２格納部２２は、それぞれ第１フレームＦｒａｍｅ１のライン別の全ての明るさと彩度の平均値を順次格納する。

第２明るさ及び彩度平均値生成部３０は、第２フレームＦｒａｍｅ２から単位画素別に明るさ値を検出する第３検出部３１と、第２フレームＦｒａｍｅ２から単位画素別に彩度値（Ｃｂ／Ｃｒ）を検出する第４検出部３４と、第３検出部３１によって検出されて出力された明るさ値を累積する第３累算部３２と、第４検出部３４によって検出されて出力された彩度値を累積する第４累算部３５と、第３累算部３２から累算される明るさ値をローライン別に平均値を計算する第３平均値計算部３３と、第４累算部３５から累算された彩度値をローライン別に平均値を計算する第４平均値計算部３６とを備える。

第２格納部４０は、第３平均値計算部３３から出力された明るさのライン別平均値を格納する第３格納部４１と、第４平均値計算部３６から出力された彩度のライン別平均値を格納する第４格納部４２とを備える。第３格納部４１及び第４格納部４２は、それぞれ第２フレームＦｒａｍｅ１のライン別の全ての明るさと彩度の平均値を順次格納する。

上記の第１格納部２０及び第２格納部４０では、イメージセンサにおけるアナログ−デジタルコンバーターを介してデジタル化されたコードが格納される格納装置、例えばＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）素子をそのまま使用することができる。

動き推定部５０は、手ブレにより、第１フレームＦｒａｍｅ１と第２フレームＦｒａｍｅ２に表示された被写体が互いに一致しない場合、第２フレームＦｒａｍｅ２に含まれたオフセット（ｏｆｆｓｅｔ）を補正するため、第２フレームＦｒａｍｅ２のオフセットを推定する。

すなわち、イメージ撮影装置により第１フレームＦｒａｍｅ１を撮影した後に第２フレームＦｒａｍｅ２を撮影する場合、手ブレにより被写体が移動し、第２フレームＦｒａｍｅ２に現れた被写体と第１フレームＦｒａｍｅ１に現れた被写体が互いに一致しなくなる。結局、第２フレームＦｒａｍｅ２にオフセットが含まれるようになるが、このようなオフセットの補正は、第２フレームＦｒａｍｅ２を第１フレームＦｒａｍｅ１と近接させることによって可能である。

上記のように、第１フレームムＦｒａｍｅ１及び第２フレームＦｒａｍｅ２のライン別明るさ値の差を求めるとき、被写体の動きが発生する場合、フリッカー曲線では、フリッカーの流れだけでなく、被写体の動きによる残像（ｌａｇ）も共に存在するようになる。したがって、フリッカー曲線には、純粋フリッカーに対する情報とともに、被写体の動きに対する情報も存在する。実際生活におけるこうした現象は、そのほとんどが撮影装置を手で持つ際の手ブレによるものであって、これに対する補償の後に正確なフリッカー曲線の抽出が不可能である。

動き推定部５０は、第２格納部２２及び第４格納部４２にそれぞれ格納された各フレームＦｒａｍｅ１、Ｆｒａｍｅ２の彩度平均値を利用して、手ブレによる被写体の移動を推定する。通常、手ブレによる被写体の移動は、上下方向に現れるため、動き推定は、第２フレームＦｒａｍｅ２の彩度の平均値が格納された格納部のアドレスを上下に移動させる方法を利用する。

動き推定部５０を利用した動き（以下、オフセットと記す）推定方法の一例が、図５に示されている。

同図に示すように、２フレームＦｒａｍｅ１、Ｆｒａｍｅ２の一定領域に対して、１つのフレームＦｒａｍｅ１は固定させた状態で、もう一方のフレームＦｒａｍｅ２の基準値を変更しつつ、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）値を繰り返し求め続ける。このとき、基準値の変更により、特定基準値から最小のＳＡＤを有する地点を発見し、発見された地点での基準値を格納部に格納する。その後、基準値の範囲を全て探索した結果、基準値のうち、最小値を有する基準値を動き基準値と判断して適用する。

以下、一例を挙げて説明する。

図６に示すように、第２格納部２２には、第１フレームＦｒａｍｅ１から抽出された彩度の平均値がライン別ライン０〜ラインＮ（ここで、Ｎは整数）に順次格納され、第４格納部４２には、第２フレームＦｒａｍｅ２から抽出された彩度の平均値がライン別ライン０〜ラインＮに順次格納されると仮定する。これは、説明の便宜のためである。

このように各格納部２２、４２に格納された彩度の平均値を互いにアドレス別に格納された値で比較するのではなく、第２格納部２２に格納された第１フレームＦｒａｍｅ１の彩度の平均値を固定させた状態で、第４格納部４２に格納された第２フレームＦｒａｍｅ２の彩度の平均値を可変的に変動させた後、互いに比較・減算してオフセットを推定する。このとき、可変的に変動する範囲は、ユーザに一定の大きさで設定される。例えば、その変動範囲は、アドレスａｄｄ０〜ａｄｄ３範囲内に設定され得る。

具体的に説明すれば、図７に示すように、第２格納部２２は、「ａｄｄ０」を比較アドレスの開始点として「ａｄｄＮ」まで順次増加させ、第４格納部４２は、「ａｄｄ０」を比較アドレスの開始点として「ａｄｄＮ」まで順次増加させて、第１フレームＦｒａｍｅ１及び第２フレームＦｒａｍｅ２の彩度平均値を減算し、減算された値の総合（ＳＡＤ）を計算する。

まず、第２格納部２２のアドレス「ａｄｄ０」に格納された第１フレームの彩度平均値と第４格納部４２のアドレス「ａｄｄ０」に格納された第２フレームＦｒａｍｅ２の彩度平均値、第２格納部２２のアドレス「ａｄｄ１」に格納された第１フレームＦｒａｍｅ１の彩度平均値と第４格納部４２のアドレス「ａｄｄ１」に格納された第２フレームＦｒａｍｅ２の彩度平均値、第２格納部２２のアドレス「ａｄｄ２」に格納された第１フレームＦｒａｍｅ１の彩度平均値と第４格納部４２のアドレス「ａｄｄ２」に格納された第２フレームＦｒａｍｅ２の彩度平均値、．．．（中略）、第２格納部２２のアドレス「ａｄｄＮ」に格納された第１フレームＦｒａｍｅ１の彩度平均値と第４格納部４２のアドレス「ａｄｄＮ」に格納された第２フレームＦｒａｍｅ２の彩度平均値をそれぞれ減算し、このように得た減算値の総合（ＳＡＤ０）を計算する。

その後、第４格納部４２のアドレス値を１つ増加させた後、第１フレームＦｒａｍｅ１及び第２フレームＦｒａｍｅ２の各アドレスの彩度平均値に対する減算動作を行う。すなわち、第２格納部２２のアドレス「ａｄｄ０」に格納された第１フレームＦｒａｍｅ１の彩度平均値と第４格納部４２のアドレス「ａｄｄ１」に格納された第２フレームＦｒａｍｅ２の彩度平均値、第２格納部２２のアドレス「ａｄｄ１」に格納された第１フレームＦｒａｍｅ１の彩度平均値と第4格納部４２のアドレス「ａｄｄ２」に格納された第２フレームＦｒａｍｅ２の彩度平均値、第２格納部２２のアドレス「ａｄｄ２」に格納された第１フレームＦｒａｍｅ１の彩度平均値と第4格納部４２のアドレス「ａｄｄ３」に格納された第２フレームＦｒａｍｅ２の彩度平均値、．．．（中略）、第２格納部２２のアドレス「ａｄｄＮ−１」に格納された第１フレームＦｒａｍｅ１の彩度平均値と第４格納部４２のアドレス「ａｄｄＮ」に格納された第２フレームＦｒａｍｅ２の彩度平均値をそれぞれ減算し、こうして得た減算値の総合（ＳＡＤ１）を計算する。

このような過程は、設定された変動範囲、すなわちアドレスａｄｄ０〜ａｄｄ３範囲まで行われる。このとき、変動範囲は、画質の歪みが発生しない範囲内で適宜に選択され得る。

上記の過程を介して、第４格納部４２に格納された第２フレームＦｒａｍｅ２の彩度の平均値が第２格納部２２に格納された第１フレームＦｒａｍｅ１の彩度の平均値に最も近接するとき、その地点の平均値に該当する明るさの平均値を最終基準値として設定する。

例えば、ＳＡＤ０〜ＳＡＤ３（変動範囲がａｄｄ３の場合）で最小値がＳＡＤ１のとき、この基準値を最終基準値として設定する。したがって、フリッカー曲線生成部６０では、第１格納部２１に格納された第１フレームＦｒａｍｅ１の明るさの平均値と第３格納部４１に格納された第２フレームＦｒａｍｅ２の明るさの平均値とを減算するにおいて、ＳＡＤ１を基準値として設定する。

フリッカー曲線生成部６０は、動き推定部５０から推定されたオフセット情報に基づいて補正された第２フレームＦｒａｍｅ２の最終基準値を基にフリッカー曲線を抽出するフリッカー曲線抽出部６１と、フリッカー曲線抽出部６１を介して抽出されたフリッカー曲線をフィルタリングするフィルタリング部６２とを備える。

フリッカー曲線抽出部６１は、第１格納部２１に格納された第１フレームＦｒａｍｅ１の明るさの平均値から第３格納部４１に格納された第２フレームＦｒａｍｅ２の明るさの平均値を減算して、フリッカー曲線を抽出する。このとき、第１フレームＦｒａｍｅ１の明るさの平均値から減算される第２フレームＦｒａｍｅ２の明るさの平均値は、動き推定部５０を介して推定されたオフセットを基に補正された明るさ値になる。

一例として、上記のＳＡＤ１が最終基準値である場合について説明する。

図８に示すように、第１格納部２１は、「ａｄｄ０」を減算アドレスの開始点とし、第３格納部４１は、「ａｄｄ１」を減算アドレスの開始点とする。すなわち、第１格納部２１のアドレス「ａｄｄ０」に格納された第１フレームＦｒａｍｅ１の明るさ平均値と第３格納部４１のアドレス「ａｄｄ１」に格納された第２フレームＦｒａｍｅ２の明るさ平均値、第１格納部２１のアドレス「ａｄｄ１」に格納された第１フレームＦｒａｍｅ１の明るさ平均値と第３の格納部４１のアドレス「ａｄｄ２」に格納された第２フレームＦｒａｍｅ２の明るさ平均値、第１格納部２１のアドレス「ａｄｄ２」に格納された第１フレームＦｒａｍｅ１の明るさ平均値と第３格納部４１のアドレス「ａｄｄ３」に格納された第２フレームＦｒａｍｅ２の明るさ平均値、．．．（中略）、第１格納部２１のアドレス「ａｄｄＮ」に格納された第１フレームＦｒａｍｅ１の明るさ平均値と第３の格納部４１のアドレス「ａｄｄ０」に格納された第２フレームＦｒａｍｅ２の明るさ平均値をそれぞれ減算する。

フィルタリング部６２は、フリッカー曲線抽出部６１から抽出されたフリッカー曲線を低帯域でフィルタリングする。フリッカー曲線抽出部６１から抽出されたフリッカー曲線は、イメージ撮影装置の受光感度の不均一性及び回路ノイズにより、正確なフリッカー情報のみを含むものではない。そのため、低帯域通過フィルタを利用して、純粋なフリッカー曲線情報のみを抽出する。次に、フリッカー曲線生成部６０から出力されたフリッカー曲線情報は、フリッカーイメージ検出部７０に入力される。

フリッカーイメージ検出部７０は、低帯域通過フィルタリングされたフリッカー曲線で周期性を判断するために、フリッカー曲線の部分最小値（谷の部分）を示す地点、すなわち局所点を抽出する局所点抽出部７１と、抽出された局所点を利用してフリッカーの存在有無を判断するフリッカーイメージ判断部７２とを備える。

フリッカーイメージ判断部７２は、隣接する抽出された局所点間の距離を算出して、距離値を複数個の距離範囲に区分し、当該区分されたそれぞれの距離範囲に属する距離値の個数を距離値頻度数で検出し、当該検出された距離値頻度数の中で第１臨界値より高いものが存在する場合、当該頻度数と当該範囲の平均値、例えば、距離値の範囲が０〜１０である場合には、その平均値である５又は当該範囲に含まれた距離値の平均を乗算し、当該乗算した値が第２臨界値より高ければ、すなわち、フリッカー曲線の周期性が所定範囲から外れると、フリッカーが存在すると判断する。

上記のフリッカー検出動作は、ユーザが定義した任意のフレーム数について繰り返し行うこともできる。すなわち、第１フレーム及び第２フレームに対してフリッカーを検出した前記回路１０、２０、３０、４０、５０、６０、７０は、連続する所定個数のフレーム（例えば、第２フレーム及び第３フレーム、第３フレーム及び第４フレームなど）に対するフリッカー検出動作を繰り返し行い、フリッカー検出情報をフリッカー状態判断部８０に伝達する。

フリッカー状態判断部８０は、フリッカーイメージ検出部７０から伝達されるフリッカーイメージ検出情報からフリッカーイメージ検出回数をカウントして、ユーザが定義した任意のフレーム数に対するフリッカーイメージ検出回数が第３臨界値以上であれば、撮影された全体イメージの現在の状態にフリッカーが存在すると最終判断して、フリッカー状態検出信号を出力する。以後、イメージセンサの自動露出装置は、フリッカー状態検出信号に反応して露出時間を補正する。

図９は、本発明の実施形態に係るフリッカー検出方法を説明するためのフローチャートである。以下、図４に示すフリッカー検出回路の構成及び動作特性を基に、本発明の実施形態に係るフリッカー検出方法を説明する。

図９に示すように、まず、ステップＳ９１では、図３に示す第１フレームＦｒａｍｅ１から図４に示す第１明るさ及び彩度平均値生成部１０を介して、第１フレームＦｒａｍｅ１のＲＧＢ（１）データのライン別明るさ及び彩度の平均値を計算した後、第１格納部２１及び第２格納部２２にそれぞれ格納する。ローリングシャッター方式では、各ローライン別にイメージのデータ値が順次出力される。したがって、図１０に示すように、ラインデータ同期信号、すなわち水平同期信号ＨＳＹＣに応答して、各ライン別に出力される単位画素別データ値から明るさ及び彩度値を計算して累積した後、ライン０とライン１とののイメージ値出力空白期においてライン別明るさ及び彩度値の平均値を計算して、第１格納部２１及び第２格納部２２に格納する。すなわち、ライン間の空白期において以前ラインの各画素から抽出及び累積された明るさ及び彩度値の平均値を計算して、それぞれ第１格納部２１及び第２格納部２２に格納する。次に、上記の方法で、第２フレームＦｒａｍｅ２から第２明るさ及び彩度平均値生成部３０を介して第２フレームＦｒａｍｅ２のＲＧＢ（２）データのライン別明るさ及び彩度の平均値を計算した後、第３格納部４１及び第４格納部４２にそれぞれ格納する。

その後、ステップＳ９２では、手ブレによる動き補正を行う。動き補正は、第１フレームＦｒａｍｅ１を撮影した後、連続して第２フレームＦｒａｍｅ２を撮影する場合にも、手ブレにより第１フレームＦｒａｍｅ１と第２フレームＦｒａｍｅ２とが互いに一致しないことを補正するためのものである。動き補正を行わない状態で、第２フレームＦｒａｍｅ２から抽出されたライン別明るさ値と第１フレームＦｒａｍｅ１から抽出された明るさ値との差を求める場合、オフセットを含むフリッカー曲線が抽出されるようになる。

動き補正は、図５〜図７にて説明した方法と同じ方法により行われる。

一方、第２フレームＦｒａｍｅ２にオフセットを含まない場合、すなわち動きがない場合には、動き補正を行わず、図４に示すフリッカー曲線抽出部６１を介して第１格納部２１に格納された第１フレームＦｒａｍｅ１の明るさ値と第３格納部４１に格納された第２フレームＦｒａｍｅ２の明るさ値とを減算して、フリッカー曲線を抽出する。このように抽出したフリッカー曲線を図１１に示す。すなわち、第２フレームＦｒａｍｅ２の明るさ値から第１フレームＦｒａｍｅ１の明るさ値との差を求めると、被写体に対する情報を相殺し、２フレームＦｒａｍｅ１、Ｆｒａｍｅ２間の差、すなわちフリッカー流れの残像のみが残る。このような２フレーム間の差による結果物である残像がフリッカー曲線になる。

図１２は、動き補正を行わないまま抽出されたフリッカー曲線と、動き補正を行ってから抽出されたフリッカー曲線とを比較するために示す図であって、図面上において、上に配置された波形は、動き補正を行わないまま抽出されたフリッカー曲線を示し、下に配置された波形は、動き補正を行ってから抽出されたフリッカー曲線を示す。

同図に示すように、動き補正を行ってから抽出されたフリッカー曲線は、動き補正を行わないまま抽出されたフリッカー曲線より、縦（上下）方向の手ブレに対し、正確な推定結果により動きが補正されて、正確なフリッカー曲線が得られることが分かる。

その後、ステップＳ９３のように、第１格納部２１に格納された第１フレームＦｒａｍｅ１の明るさ値と、第３格納部４１に格納された第２フレームＦｒａｍｅ２の明るさ値とを減算して、フリッカー曲線を抽出する。このように抽出したフリッカー曲線を、図１１に示した。

その後、ステップＳ９４のように、抽出されたフリッカー曲線についてフィルタリングを行う。フリッカー曲線抽出部６１を介して抽出されたフリッカー曲線は、イメージ撮影装置の受光感度の不均一性及び回路ノイズのため、正確なフリッカー情報のみを含むものではない。このため、抽出されたフリッカー曲線をフィルタリング部６２で低帯域通過フィルタリングを行って、フリッカー情報のみを抽出する。

図１３は、低帯域通過フィルタリングを行わないときのフリッカー曲線と低帯域通過フィルタリングを行ったときのフリッカー曲線とを比較するために示す図であって、図面上において、上に配置された波形は、低帯域通過フィルタリング前のフリッカー曲線であり、下に配置された波形は、低帯域通過フィルタリング後のフリッカー曲線である。

その後、ステップＳ９５でフリッカー曲線の周期性を判断して、低帯域通過フィルタリングされたフリッカー曲線の周期性がフリッカーバンドによるものであるか否かを判断する。以下、フリッカー曲線の周期性を判断する方法を説明する。まず、図１４に示すように、局所点抽出部７１でフリッカー曲線の局所点（谷の部分）を求める。

以後、ステップＳ９６において、フリッカーイメージ判断部７２でそれぞれの２つの局所点間の距離（ｄｉｓｔａｎｃｅ、Ｄｉｓｔ）を算出した後、距離値を複数個の距離範囲に区分し、当該区分されたそれぞれの距離範囲に属する距離値の個数を距離値頻度数で検出し、当該検出された距離値頻度数の中で任意のしきい値、例えば第１臨界値より高いものが存在する場合、該フリッカー曲線をフリッカーバンドによる曲線と判断する。図１５に例示的に示すように、第１臨界値より高い距離値頻度数を算出するために、フリッカー曲線で局所点と局所点との間の距離を複数個の距離範囲を含むヒストグラムの形態でＳＲＡＭのような格納媒体に計数して記録する。ヒストグラムに記録された計数が最大値を有する距離値が、頻度数の最も高い距離値になる。したがって、頻度数の最も高い距離範囲の平均距離値と計数とを乗算すると、画面上に現れるフリッカーの程度を代表する値となり、該フリッカー代表値が任意のしきい値、例えば第２臨界値を超える場合、フリッカーを検出するようになる。

上記のフリッカー曲線の抽出とフリッカーの判断は、ユーザが定義した任意のフレーム数について繰り返し行うことができ、各フレームがフリッカーを備えるか否かを判断して、フリッカー検出回数をカウントする。

すなわち、ステップＳ９７では、前記フリッカー検出動作が所定個数のフレームについて繰り返し行われたか否かを判断する。前記検出動作が所定個数のフレームについて完了しない場合には、ステップＳ９１に戻って、次のフレームに対するフリッカー検出動作を繰り返し、所定個数のフレームに対するフリッカー検出動作が完了すると、ステップＳ９８に進む。

ステップＳ９８では、フリッカー状態判断部８０でフリッカー検出回数と任意のしきい値、例えば第３臨界値とを比較して、フリッカー検出回数が第３臨界値以上であると、現在撮影されたイメージにフリッカーが存在すると判断し、これを自動露出装置に通知する。以後、自動露出装置は、前記フリッカー状態検出結果を基に、露出時間を再計算する。

図１６は、本発明の他の実施形態に係るフリッカー検出回路２００を示すものであって、図４に示す実施形態では、フリッカーを検出するために、隣接する２つのフレームに対するフリッカー曲線のみを検出する回路を示しているが、図１６では、複数、例えば、Ｍ個のフレームに対するフリッカー曲線を並列に検出するように実現されたフリッカー検出回路を示している。ここで、Ｍは２より大きい整数である。

フリッカー検出回路２００は、Ｍ個のフレームに対するライン別明るさ及び彩度平均値を生成する平均値生成部１１０（１１０−１〜１１０−Ｍ）と、平均値を格納する格納部１２０（１２０−１〜１２０−Ｍ）と、２番目のフレームからＭ番目のフレームの動きを推定する動き推定部１５０と、動き推定部１５０の結果を利用して、該当フレームの動きを補償してそれぞれの隣接する２フレーム間のフリッカー曲線、例えば、（Ｍ−１）個のフリッカー曲線を検出するフリッカー曲線生成部１６０と、検出された（Ｍ−１）個のフリッカー曲線を利用して、それぞれのフリッカー曲線がフリッカーイメージを備えるか否かを判断するフリッカーイメージ検出部１７０と、フリッカーイメージ検出部１７０でフリッカーイメージが検出された回数をカウントして、フリッカーイメージ検出回数が特定臨界値以上であれば、撮影されたイメージにフリッカーが存在すると最終的に判断して、その結果をイメージセンサの自動露出装置に伝達するフリッカー状態判断部１８０とを備える。前記回路の具体的な動作は、図４にて前述したものとほぼ同様であるので、詳細な回路の説明は省略する。

以上で説明したように本発明によれば、次のような効果を得ることができる。

まず、本発明は、少なくとも２フレーム間の明るさ差値を利用してフリッカー曲線を抽出することによって、被写体に依存せず、純粋にデジタル回路のみで実現されるため、別途に画素アレイを実現する必要がないため、半導体の実現面積の面でも効率が低下しない。

また、本発明は、フリッカー曲線の周期性判断において、ヒストグラム方式を利用して、イメージセンサに内蔵された格納媒体（ＳＲＡＭ）を再使用することによって、従来の技術のように、別途に演算回路を追加しないため、半導体実現面積効率の低下を防止することができる。

なお、本発明は、上記の実施形態に限定されるものではなく、本発明に係る技術的思想から逸脱しない範囲内で様々な変更が可能であり、それらも本発明の技術的範囲に属する。

一般的なローリングシャッター方式を適用したイメージ撮影装置に現れるローライン（ｒｏｗｌｉｎｅ）別光量差を説明するために示す図である。一般的なローリングシャッター方式を適用したイメージ撮影装置において、ローライン別光量差を同様に維持させるための露出時間を調整する方法を説明するために示す図である。本発明の実施形態に係るイメージセンサのフリッカー検出回路のメカニズムを説明するために示す概念図である。本発明の一実施形態に係るフリッカー検出回路のブロック図である。図４に示す動き推定部の動作特性を説明するために示すフローチャートである。動き推定方法を説明するために示す図である。動き推定方法を説明するために示す図である。図４に示すフリッカー曲線抽出部の動作特性を説明するために示す図である。本発明の実施形態に係るイメージセンサのフリッカー検出方法を説明するために示すフローチャートである。図９に示す明るさ、彩度値の平均値計算及び格納タイミングを説明するためのタイミング図である。図４に示すフリッカー曲線抽出部を介して抽出されたフリッカー曲線を示す図である。動き補正処理を介して抽出されたフリッカー曲線を示す図である。図４に示すフィルタリング部を介してフィルタリングされたフリッカー曲線を示す図である。フィルタリングされたフリッカー曲線の局所点と次の局所点との距離を算出するための図である。ヒストグラム方式を使用して距離頻度数を計数化した図である。本発明の他の実施形態に係るフリッカー検出回路のブロック図であう。

符号の説明

１０第１明るさ及び彩度平均値生成部
２０第１格納部
３０第２明るさ及び彩度平均値生成部
４０第２格納部
５０動き推定部
６０フリッカー曲線生成部
７０フリッカーイメージ検出部
８０フリッカー状態判断部

Claims

イメージを撮影して第１フレーム及び第２フレームを得、これを利用してフリッカーを検出する回路において、
前記第１フレーム及び第２フレームの画素データから明るさ値を抽出して、前記第１フレーム及び第２フレームにそれぞれ対応するライン別第１明るさ平均値及び第２明るさ平均値を生成する明るさ平均値出力部と、
前記ライン別に生成された第１明るさ平均値から第２明るさ平均値を減算して、フリッカー曲線を生成するフリッカー曲線生成部と、
前記フリッカー曲線から複数の局所点を抽出し、隣接するそれぞれの２つの局所点間の距離値を計算して、距離値及び距離値の頻度数に応じてフリッカーの存在有無を判別するフリッカー検出部と、
前記第１フレーム及び第２フレームの画素データから彩度値を検出して、前記第１フレーム及び第２フレームにそれぞれ対応するライン別第１彩度平均値及び第２彩度平均値を生成する彩度平均値出力部と、
を備えることを特徴とするイメージセンサのフリッカー検出回路。
前記明るさ平均値出力部が、
前記第１フレームの画素データから明るさ値を抽出して、ライン別に第１明るさ平均値を生成する第１明るさ平均値生成部と、
前記第２フレームの画素データから明るさ値を抽出して、ライン別に第２明るさ平均値を生成する第２明るさ平均値生成部と、
を備えることを特徴とする請求項１に記載のイメージセンサのフリッカー検出回路。
前記第１明るさ平均値生成部が、
前記第１フレームの画素データから画素別明るさ値を検出する第１検出部と、
該第１検出部から出力された前記画素別明るさ値をライン別に累積する第１累算部と、
該第１累算部から出力された前記ライン別累積値を平均して、前記第１明るさ平均値を生成する第１平均値計算部と、
を備えることを特徴とする請求項２に記載のイメージセンサのフリッカー検出回路。
前記第２明るさ平均値生成部が、
前記第２フレームの画素データから画素別明るさ値を検出する第２検出部と、
該第２検出部から出力された前記画素別明るさ値をライン別に累積する第２累算部と、
該第２累算部から出力された前記ライン別累積値を平均して、前記第２明るさ平均値を生成する第２平均値計算部と、
を備えることを特徴とする請求項３に記載のイメージセンサのフリッカー検出回路。
前記明るさ平均値出力部が、
第１明るさ平均値及び第２明るさ平均値をライン別に格納する格納部をさらに備えることを特徴とする請求項４に記載のイメージセンサのフリッカー検出回路。
前記格納部が、ＳＲＡＭであることを特徴とする請求項５に記載のイメージセンサのフリッカー検出回路。
前記フリッカー曲線生成部が、
前記ライン別第１明るさ平均値から前記第２明るさ平均値を減算して、フリッカー曲線を抽出するフリッカー曲線抽出部と、
該フリッカー曲線抽出部から出力された前記フリッカー曲線をフィルタリングするフィルタリング部と、
を備えることを特徴とする請求項１に記載のイメージセンサのフリッカー検出回路。
前記フィルタリング部が、
低帯域通過フィルタを備えることを特徴とする請求項７に記載のイメージセンサのフリッカー検出回路。
前記彩度平均値出力部が、
前記第１フレーム及び第２フレームの画素データから彩度値を検出して、ライン別第１彩度平均値及び第２彩度平均値を生成する彩度平均値生成部と、
前記第１彩度平均値及び第２彩度平均値をライン別に格納する格納部と、
を備えることを特徴とする請求項１に記載のイメージセンサのフリッカー検出回路。
前記ライン別第１彩度平均値及び第２彩度平均値を利用して、第２フレームの動きを推定する動き推定部をさらに備え、前記フリッカー曲線生成部は、動き推定結果を利用して、前記ライン別第２明るさ平均値を補償することにより、フリッカー曲線を生成することを特徴とする請求項９に記載のイメージセンサのフリッカー検出回路。
前記動き推定部が、
前記第１彩度平均値を固定させた状態で、前記第２彩度平均値を変動させて、前記第１彩度平均値と前記第２彩度平均値とを比較することを特徴とする請求項１０に記載のイメージセンサのフリッカー検出回路。
前記動き推定部が、
前記第１彩度平均値が格納されたアドレス開始点を固定させた状態で、前記第２彩度平均値が格納されたアドレス開始点を順次変動させて、前記第１彩度平均値及び前記第２彩度平均値をライン別にそれぞれ減算した後、減算した値の総合を計算し、減算した値の総合の最も低い位置を第２フレームの動きとして推定することを特徴とする請求項１１に記載のイメージセンサのフリッカー検出回路。
前記イメージ撮影が、ローリングシャッター方式からなることを特徴とする請求項１に記載のイメージセンサのフリッカー検出回路。
イメージを撮影して、Ｍ（２より大きい整数）個のフレームを得、これを利用してフリッカーを検出する回路において、
前記Ｍ個のフレームのうち、（Ｍ−１）個の隣接するフレーム対のそれぞれに対する画素データから明るさ値を抽出して、前記隣接するフレームの１番目及び２番目のフレームにそれぞれ対応するライン別第１明るさ平均値及び第２明るさ平均値を生成する明るさ平均値出力部と、
前記ライン別に生成された第１明るさ平均値から第２明るさ平均値を減算して、フリッカー曲線を生成するフリッカー曲線生成部と、
前記フリッカー曲線から複数の局所点を抽出し、それぞれの２つの局所点間の距離値を計算して、距離値及び距離値の頻度数に応じてフリッカーイメージを検出するフリッカーイメージ検出部と、
前記Ｍ個のフレームに対するフリッカーイメージ検出が完了すると、フリッカーイメージの検出回数に応じて、フリッカーの存在有無を判別するフリッカー状態判断部と、
前記隣接するフレーム対のそれぞれに対する画素データから彩度値を検出して、該隣接するフレームの１番目及び２番目のフレームにそれぞれ対応するライン別第１彩度平均値及び第２彩度平均値を生成する彩度平均値出力部と、
を備えることを特徴とするイメージセンサのフリッカー検出回路。
前記明るさ平均値出力部が、
前記１番目のフレームの画素データから明るさ値を抽出して、ライン別に第１明るさ平均値を生成する第１明るさ平均値生成部と、
前記２番目のフレームの画素データから明るさ値を抽出して、ライン別に第２明るさ平均値を生成する第２明るさ平均値生成部と、
を備えることを特徴とする請求項１４に記載のイメージセンサのフリッカー検出回路。
前記第１明るさ平均値生成部が、
前記１番目のフレームの画素データから画素別明るさ値を検出する第１検出部と、
該第１検出部から出力された前記画素別明るさ値をライン別に累積する第１累算部と、
該第１累算部から出力された前記ライン別累積値を平均して、前記第１明るさ平均値を生成する第１平均値計算部と、
を備えることを特徴とする請求項１５に記載のイメージセンサのフリッカー検出回路。
前記第２明るさ平均値生成部が、
前記２番目のフレームの画素データから画素別明るさ値を検出する第２検出部と、
該第２検出部から出力された前記画素別明るさ値をライン別に累積する第２累算部と、
該第２累算部から出力された前記ライン別累積値を平均して、前記第２明るさ平均値を生成する第２平均値計算部と、
を備えることを特徴とする請求項１６に記載のイメージセンサのフリッカー検出回路。
前記明るさ平均値出力部が、
第１明るさ平均値及び第２明るさ平均値をライン別に格納する格納部をさらに備えることを特徴とする請求項１７に記載のイメージセンサのフリッカー検出回路。
前記格納部が、ＳＲＡＭであることを特徴とする請求項１８に記載のイメージセンサのフリッカー検出回路。
前記フリッカー曲線生成部が、
前記ライン別第１明るさ平均値から前記第２明るさ平均値を減算して、フリッカー曲線を抽出するフリッカー曲線抽出部と、
該フリッカー曲線抽出部から出力された前記フリッカー曲線をフィルタリングするフィルタリング部と、
を備えることを特徴とする請求項１４に記載のイメージセンサのフリッカー検出回路。
前記フィルタリング部が、低帯域通過フィルタを備えることを特徴とする請求項２０に記載のイメージセンサのフリッカー検出回路。
前記彩度平均値出力部が、
前記隣接する２フレームの画素データから彩度値を検出して、ライン別第１彩度平均値及び第２彩度平均値を生成する彩度平均値生成部と、
前記第１彩度平均値及び第２彩度平均値をライン別に格納する格納部と、
を備えることを特徴とする請求項１４に記載のイメージセンサのフリッカー検出回路。
前記ライン別第１彩度平均値及び第２彩度平均値を利用して、２番目のフレームの動きを推定する動き推定部をさらに備え、前記フリッカー曲線生成部は、動き推定結果を利用して、前記ライン別第２明るさ平均値を補償することにより、フリッカー曲線を生成することを特徴とする請求項２２に記載のイメージセンサのフリッカー検出回路。
前記動き推定部が、
前記第１彩度平均値を固定させた状態で、前記第２彩度平均値を変動させて、前記第１彩度平均値と前記第２彩度平均値とを比較することを特徴とする請求項２３に記載のイメージセンサのフリッカー検出回路。
前記動き推定部が、
前記第１彩度平均値が格納されたアドレス開始点を固定させた状態で、前記第２彩度平均値が格納されたアドレス開始点を順次変動させて、前記第１彩度平均値及び前記第２彩度平均値をライン別にそれぞれ減算した後、減算した値の総合を計算し、減算した値の総合の最も低い位置を第２フレームの動きとして推定することを特徴とする請求項２４に記載のイメージセンサのフリッカー検出回路。
前記イメージ撮影が、ローリングシャッター方式からなることを特徴とする請求項１４に記載のイメージセンサのフリッカー検出回路。
イメージを撮影して、Ｍ（２より大きい整数）個のフレームを得、これを利用してフリッカーを検出する回路において、
前記Ｍ個のフレームの画素データから明るさ値を抽出して、各フレームのライン別明るさ平均値を生成する明るさ平均値出力部と、
前記ライン別に生成された明るさ平均値から（Ｍ−１）個の隣接するフレーム対に対してフレーム対を構成する２つのフレーム間のライン別明るさ平均値差を求め、その差を利用して（Ｍ−１）個のフリッカー曲線を生成するフリッカー曲線生成部と、
前記（Ｍ−１）個のフリッカー曲線のそれぞれに対して、複数の局所点を抽出し、それぞれの２つの局所点間の距離値を計算して、距離値及び距離値の頻度数に応じてそれぞれのフリッカー曲線に対するフリッカーイメージを検出するフリッカーイメージ検出部と、
前記Ｍ個のフレーム全てに対するフリッカーイメージ検出が完了すると、フリッカーイメージの検出回数に応じて、フリッカーの存在有無を判別するフリッカー状態判断部と、
前記Ｍ個のフレームの画素データから彩度値を抽出して、各フレームのライン別彩度平均値を生成する彩度平均値出力部と、
を備えることを特徴とするイメージセンサのフリッカー検出回路。
前記明るさ平均値出力部が、
前記Ｍ個のフレームの画素データから明るさ値を抽出して、それぞれのフレームのライン別明るさ平均値を生成するＭ個の明るさ平均値出力部を備えることを特徴とする請求項２７に記載のイメージセンサのフリッカー検出回路。
前記明るさ平均値出力部のそれぞれが、
対応するフレームの画素データから画素別明るさ値を検出する第１検出部と、
該第１検出部から出力された前記画素別明るさ値をライン別に累積する第１累算部と、
該第１累算部から出力された前記ライン別累積値を平均して、明るさ平均値を生成する平均値計算部と、
を備えることを特徴とする請求項２８に記載のイメージセンサのフリッカー検出回路。
前記明るさ平均値出力部のそれぞれが、
明るさ平均値をライン別に格納する格納部をさらに備えることを特徴とする請求項２９に記載のイメージセンサのフリッカー検出回路。
前記格納部が、ＳＲＡＭであることを特徴とする請求項３０に記載のイメージセンサのフリッカー検出回路。
前記フリッカー曲線生成部が、
前記ライン別に生成された明るさ平均値から（Ｍ−１）個の隣接するフレーム対に対してフレーム対を構成する２つのフレーム間のライン別明るさ平均値差を求めて、（Ｍ−１）個のフリッカー曲線を抽出するフリッカー曲線抽出部と、
該フリッカー曲線抽出部から出力された前記フリッカー曲線をフィルタリングするフィルタリング部と、
を備えることを特徴とする請求項２７に記載のイメージセンサのフリッカー検出回路。
前記フィルタリング部が、低帯域通過フィルタを備えることを特徴とする請求項３２に記載のイメージセンサのフリッカー検出回路。
前記彩度平均値出力部が、
前記Ｍ個のフレームの画素データから彩度値を抽出して、各フレームのライン別彩度平均値を生成する彩度平均値生成部と、
前記彩度平均値をライン別に格納する格納部と、
を備えることを特徴とする請求項２７に記載のイメージセンサのフリッカー検出回路。
前記（Ｍ−１）個の隣接するフレーム対に対して各フレーム対を構成する２つのフレーム間のライン別彩度平均値差を利用して、各フレーム対の２番目のフレームの動きを推定する動き推定部をさらに備え、
前記フリッカー曲線生成部が、
動き推定結果を利用して前記２番目のフレームの前記ライン別明るさ平均値を補償して、フリッカー曲線を生成することを特徴とする請求項３４に記載のイメージセンサのフリッカー検出回路。
前記動き推定部が、
前記１番目のフレームの彩度平均値を固定させた状態で、前記２番目のフレームの彩度平均値を変動させて、前記１番目のフレーム及び２番目のフレームの彩度平均値を互いに比較することを特徴とする請求項３５に記載のイメージセンサのフリッカー検出回路。
前記動き推定部が、
前記１番目のフレームの彩度平均値が格納されたアドレス開始点を固定させた状態で、前記２番目のフレームの彩度平均値が格納されたアドレス開始点を順次変動させて、前記１番目のフレームと２番目のフレームとの彩度平均値の差をライン別に計算した後、その差の値の総合を計算し、総合の最も低い位置を２番目のフレームの動きとして推定することを特徴とする請求項３６に記載のイメージセンサのフリッカー検出回路。
前記イメージ撮影が、ローリングシャッター方式からなることを特徴とする請求項２７に記載のイメージセンサのフリッカー検出回路。
イメージを撮影して得た第１フレームの画素データから明るさ値を抽出して、ライン別に第１明るさ平均値を生成するステップと、
前記イメージを連続撮影して得た第２フレームの画素データから明るさ値を抽出して、ライン別に第２明るさ平均値を生成するステップと、
前記ライン別に生成された第１明るさ平均値から前記第２明るさ平均値を減算して、フリッカー曲線を生成するステップと、
該フリッカー曲線から複数の局所点を抽出し、それぞれの２つの局所点間の距離値を計算して、距離値と距離値の頻度数に応じてフリッカーイメージを検出するステップと、
前記第１フレーム及び第２フレームの画素データから彩度値を抽出して、前記第１フレーム及び第２フレームにそれぞれ対応するライン別第１彩度平均値及び第２彩度平均値を生成するステップと、
を含むことを特徴とするイメージセンサのフリッカー検出方法。
前記第１明るさ平均値を生成するステップが、
前記第１フレームの各画素別に明るさ値を検出するステップと、
前記画素別明るさ値をライン別に累積するステップと、
前記ライン別累積値を平均して、前記ライン別第１明るさ平均値を計算するステップと、
を含むことを特徴とする請求項３９に記載のイメージセンサのフリッカー検出方法。
前記第２明るさ平均値を生成するステップが、
前記第２フレームの各画素別に明るさ値を検出するステップと、
前記画素別明るさ値をライン別に累積するステップと、
前記ライン別累積値を平均して、前記ライン別第２明るさ平均値を計算するステップと、
を備えることを特徴とする請求項４０に記載のイメージセンサのフリッカー検出方法。
前記フリッカー曲線を生成するステップが、
前記ライン別第１明るさ平均値から前記ライン別第２明るさ平均値を減算して、フリッカー曲線を抽出するステップと、
該フリッカー曲線をフィルタリングするステップと、
を備えることを特徴とする請求項３９に記載のイメージセンサのフリッカー検出方法。
前記フリッカー曲線をフィルタリングするステップが、低帯域通過フィルタで行われることを特徴とする請求項４２に記載のイメージセンサのフリッカー検出方法。
イメージを連続撮影して得たＭ（２より大きい整数）個のフレームに対して、前記ライン別第１明るさ平均値及び第２明るさ平均値生成ステップ、前記フリッカー曲線生成ステップ、及びフリッカーイメージを検出するステップを繰り返し行い、フリッカーイメージ検出回数をカウントするステップと、
該カウントされたフリッカーイメージ検出回数に応じて、フリッカーの存在有無を判別するステップと、
をさらに含むことを特徴とする請求項３９に記載のイメージセンサのフリッカー検出方法。
イメージを撮影して得た第１フレームの画素データから明るさ及び彩度値を抽出して、ライン別に第１明るさ及び彩度平均値を生成するステップと、
前記イメージを連続撮影して得た第２フレームの画素データから明るさ及び彩度値を抽出して、ライン別に第２明るさ及び彩度平均値を生成するステップと、
前記ライン別に生成された第１彩度平均値及び第２彩度平均値を利用して、前記第２フレームの動きを推定するステップと、
該推定された動きに応じて、前記第２明るさ平均値を補正するステップと、
前記ライン別に生成された第１明るさ平均値から、補正された第２明るさ平均値を減算して、フリッカー曲線を生成するステップと、
該フリッカー曲線から複数の局所点を抽出し、それぞれの２つの局所点間の距離値を計算して、距離値と距離値の頻度数に応じてフリッカーイメージを検出するステップと、
を含むことを特徴とするイメージセンサのフリッカー検出方法。
前記第１明るさ及び彩度平均値を生成するステップが、
前記第１フレームの各画素別に明るさ及び彩度値を検出するステップと、
該画素別明るさ及び彩度値をライン別に累積するステップと、
前記ライン別累積値を平均して、前記第１明るさ及び彩度平均値を計算するステップと、
を含むことを特徴とする請求項４５に記載のイメージセンサのフリッカー検出方法。
前記第２明るさ及び彩度平均値を生成するステップが、
前記第２フレームの各画素別に明るさ及び彩度値を検出するステップと、
該画素別明るさ及び彩度値をライン別に累積するステップと、
該ライン別累積値を平均して、前記第２明るさ及び彩度平均値を計算するステップと、
を備えることを特徴とする請求項４６に記載のイメージセンサのフリッカー検出方法。
前記動きを推定するステップが、
前記第１彩度平均値が格納されたアドレス開始点を固定させた状態で、前記第２彩度平均値が格納されたアドレス開始点を順次変動させて、前記第１彩度平均値及び前記第２彩度平均値をライン別にそれぞれ減算し、減算された値の総合を計算するステップと、
該計算された総合を比較して、最も低い値を有する変動位置を前記第２フレームの動きとして推定するステップと、
を含むことを特徴とする請求項４５に記載のイメージセンサのフリッカー検出方法。
前記フリッカー曲線を生成するステップが、
前記第１明るさ平均値から前記補正された第２明るさ平均値を減算して、フリッカー曲線を抽出するステップと、
該フリッカー曲線をフィルタリングするステップと、
を含むことを特徴とする請求項４５に記載のイメージセンサのフリッカー検出方法。
前記フリッカー曲線をフィルタリングするステップが、低帯域通過フィルタで行われることを特徴とする請求項４９に記載のイメージセンサのフリッカー検出方法。
イメージを連続撮影して得たＭ（２より大きい整数）個のフレームに対して、前記ライン別第１明るさ及び彩度平均値、並びに第２明るさ及び彩度平均値生成ステップ、前記動き推定及び補正ステップ、前記フリッカー曲線生成ステップ及びフリッカーイメージ検出ステップを繰り返して行い、フリッカーイメージ検出回数をカウントするステップと、
該カウントされたフリッカーイメージ検出回数に応じて、フリッカーの存在有無を判別するステップと、
をさらに含むことを特徴とする請求項４５に記載のイメージセンサのフリッカー検出方法。