JP5866200B2 - ローリングシャッタを用いる画像センサのためのフリッカ検出回路 - Google Patents

Description

関連出願の相互参照

本出願は、２００８年１１月１４日出願の米国仮出願番号６１／１１４，７４８「ローリングシャッタを用いる画像センサのためのフリッカ検出回路」の優先権及び利益を主張し、その全部が参照のためにここに組み込まれる。

本開示は、概してフリッカ検出回路及びそれを用いるデバイスに関する。

ＣＭＯＳ画像センサは多くの携帯型デバイスにおいて一般的である。この技術の課題の１つは、蛍光照明とセンサの電子的ローリングシャッタ(electronic rolling shutter)の相互作用に起因する画像フリッカ(image flicker)である。非定常的なシーケンス(non stationary sequence)は、多重フレームプロセスに対して困難な課題をもたらす。これらの欠点に対処するために、フレーム位置調整(frame alignment)を用いることによってフリッカ検出性能を改善する新しいプロセスが提案されている。この方法は、ハンドシェーク(handshake)及び垂直パニング(vertical panning)の条件における性能を大幅に改善する。

画像デバイスが多くのデジタル携帯型デバイスにおいてますます一般的になってきている。これらのデバイスの多くは電子的ローリングシャッタを伴うＣＭＯＳ画像センサを用いている。機械的なシャッタとは異なり、ローリングシャッタは、画像の異なる部分が異なる時間間隔にわたって露光されることを必要とする。具体的には、画像の各連続する行(row)は、時間軸上でオフセットされる。この手法の１つの結論は、各行が異なる量の全照度(total illuminance)で露光されることにより、蛍光照明下での画像に空間的フリッカが生じることである。カメラを適切に構成してアーティファクツ(artifacts)を除去するためには、このフリッカのロバストな検出(robust detection)が必須である。リアルタイムの画像システムは、フリッカ検出に対する追加的な制約をもたらす。実用的な画像システムは、画像における空間的フリッカ周波数を大幅に下げる１５又は３０ｆｐｓで動作する必要があり、検出プロセスをより挑戦的なものにしている。

この問題に対して種々の試みが提案されてきた。アール・エル・ベーア、アール・カカラーラによる米国特許番号７，３９７，５０３、「光源性フリッカに起因するアーティファクツを低減するためのシステム及び方法」(R.L. Baer, R. Kakarala, "Systems and methods for reducing artifacts caused by illuminant flicker," U.S. Patent No. 7,397,503)に記載されているように、ベーア等は、各画素を逆の順序で２回読み出して結果を合算してフリッカの出現を低減するようにセンサアーキテクチャを改良することを提案した。他の方法は、捕捉された画像又は画像シーケンスを用いてフリッカを検出する。そのような方法の多くはフリッカを検出するためにシーケンシャルなフレームに頼っており、あるいは、ディー・ポプリン、「内蔵型カメラシステムのための自動フリッカ検出方法」、ＩＥＥＥ家庭用電化製品におけるトランザクション、５２（２）、３０８〜３１１（２００６）、ティー・タバクシュ、アール・アール・グリガト、「ローリングシャッタカメラシステムにおける光源性フリッカ周波数の分類」、ＩＡＳＴＥＤ２００７紀要、信号及び画像処理、２８８〜２９３（２００７）、及びエム・カプリンスキ、アイ・スボチン、「ローリングシャッタを伴う撮像装置のための照明光源の周波数と光学的積分時間の間の不整合に対する方法」、米国特許番号７，１４２，２３４(D. Poplin, "An Automatic Flicker Detection Method for Embedded Camera Systems," IEEE Transactions on Consumer Electronics, 52(2), 308-311 (2006); T.Tajbakhsh, R.R. Grigat, "Illumination Flicker Frequency Classification in Rolling Shutter Camera Systems," Proceedings of IASTED 2007, Signal and Image Processing, 288-293 (2007); and M. Kaplinsky, I. Subbotin, "Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter," U.S. Patent No. 7,142,234)に記載されている。これらの研究においては、場面(scene)は実際上は稀なケースである定常的なものであることが常に仮定されている。

蛍光光源からの照度は、電力源における交流電流供給に起因して時間軸上で変化することが見出されてきている。地理的な位置に依存して、供給は６０Ｈｚ又は５０Ｈｚのいずれかである。光源に移された電力は供給周波数の２倍で振動し、結果として照度は１２０Ｈｚ又は１００Ｈｚのいずれかで変化する。光源からの照度は次の関数でモデル化される。

ここで、Ａは光源に移されている電力がないときの電力源における電圧のゼロ交差でのＤＣ照度である。照度のＤＣ部分はいかなるフリッカをも含まないので、簡単にするためにＡはゼロに設定される。Ｂは所与の光源におけるフリッカの大きさを決定するスカラーであり、電圧が最大から定数Ａを引いたものであるときの照度に等しい。Ａ及びＢの両方とも光源毎に異なるであろう定数である。Ｔはフリッカ周期である。この周波数でのフリッカは人間の視覚では感じられないが、ローリングシャッタＣＭＯＳセンサはこの変化を拾うことができる。

簡単にするために、Ｆ＝１２０Ｈｚ及びＡ＝０、Ｂ＝１に対する数１をプロットしている図１を考察する。典型的な電子的ローリングシャッタがその下方に示されている。ローリングシャッタにおいては、各行は、時間軸上で異なる瞬間に積分を開始すると共に終了する。任意の２つの行の間の差はΔｒで与えられる。行１における信号は、右下がりのハッチングで示されるその積分時間にわたる曲線の下の面積に比例する。従って、行ｎにおける信号は、右上がりのハッチングで示される面積に比例する。交差ハッチングの区域は、行１及び行ｎの両方が一緒に積分している時間に対応する。この図は、行１に対する総面積、即ち行１に対する信号が行ｎに対する面積よりも大きいことを示している。露光におけるこの相対的な差異が、画像を覆う明帯に対して暗さとして現れる。全ての積分時間がフリッカを生成するわけではない。積分時間がフリッカ周波数の倍数に設定されている場合には、曲線の下の面積はオフセットΔｒにかかわりなく一定である。そのような場合にはフリッカは存在しない。積分時間は従って次の式で表される。

ここで、Ｎは完全フリッカ周期の数であり、ΔｔはＮ個のフリッカ周期と実際の積分時間の間の時間差である。

センサにおける各行のセンサ応答は、積分時間にわたって各行が受ける照度に比例する。フリッカ照度に対するセンサ応答は、行開始時間におけるオフセットΔｒ及び積分時間ｔの関数として導くことが可能である。

Ａ＝０として数１を数４へ代入すると次が得られる。

この式はΔｒによる行オフセットの応答を表している。この式は、次の関係を用いることによって、行ｎの応答を表すように一般化することができる。

ここで、Δｒｄは２つの隣り合う行の間の行遅延である。数６を数５へ代入することによって、行数の関数としての行応答の次の式がもたらされる。

最後のモデルにおいては、応答は、積分時間のみによって決定され且つ行には依存しない線形項Ｂ（ＮＴ＋Δｔ）を含んでいる。この線形項から変調された高調波項が減じられる。この項においては、余弦高調波は行数及び行遅延の関数である。この高調波は、周波数がΔｔに依存する正弦波によって変調されている。この変調の影響は明白である。積分時間がフリッカ周波数の倍数であるとき、Δｔ＝０であり、そして数７は次の式に帰着する。

予測されるように、応答は行の間ではもはや変化せず、そして積分時間の長さのみに依存している。このような場合には、画像内にはフリッカが存在しないであろう。また、Δｔ＝Ｔ／２のときに変調ファクタが最大になるであろうことを特記しておくことも重要である。以下に示されるように、フリッカ信号の強度は概して弱いので、信号の振幅を最大化することは検出を支援することになる。

行遅延Δｒｄは画像におけるフリッカの周波数に影響を与えるであろう。図２は３つの異なる行遅延での理論的な応答をプロットしている。隣り合う行の間での遅延が増大するのに従って、画像において見られるフリッカの周波数もまた増大している。光源のフリッカ周期と画像内のフリッカの空間周期の間の関係は次のようである。

リアルタイムフリッカ検出システムにおける重要な課題の１つは、画像内のフリッカの低い空間周波数である。３０ｆｐｓではフレーム時間はたった３３．３３μｓであり、このことは、５０Ｈｚでは３．３周期、そして６０Ｈｚでは４周期があるにすぎないことを意味している。

総積分時間もまた画像内のフリッカの信号強度に影響を与える。フリッカ比Ｆｒａｔｉｏは、最大信号を伴う行からの応答を最小信号を伴う行からの応答で除した値として定義される。

図３はこの比を６０Ｈｚフリッカ周波数に対する総積分時間の関数としてプロットしている。比はフリッカ周波数の倍数で１に近づき、またΔｔ＝Ｔ／２のときにピークとなる。しかし、ピークはＮが増大するのに従って小さくなる。フリッカ比、従って画像内のフリッカは、Ｔより小さい積分時間に対して無限大に向かって増加する。

画像内の場面コンテンツは連続するフレームを減じることによって著しく低減され得ることを先行する研究が明らかにしてきており、例えば、ディー・ポプリン、「内蔵型カメラシステムのための自動フリッカ検出方法」、ＩＥＥＥ家庭用電化製品におけるトランザクション、５２（２）、３０８〜３１１（２００６）、及びエム・カプリンスキ、アイ・スボチン、「ローリングシャッタを伴う撮像装置のための照明光源の周波数と光学的積分時間の間の不整合に対する方法」、米国特許番号７，１４２，２３４(D. Poplin, "An Automatic Flicker Detection Method for Embedded Camera Systems," IEEE Transactions on Consumer Electronics, 52(2), 308-311 (2006); and M. Kaplinsky, I. Subbotin, "Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter," U.S. Patent No. 7,142,234)がある。結果は静止場面を用いて得られたものであったし、場面コンテンツが動的である更に実際的な場合は想定していなかった。フリッカ信号の大きさは下層の場面の信号と比較して極めて小さいであろうから、小さい不整合(misalignment)でさえも、減算の後に場面からの信号を残してしまう可能性がある。ローリングシャッタのせん断効果(shearing effects)を低減するために、先行する研究がフレームからフレームへの位置調整(alignment)の問題を取り扱ってきており、例えば、シー・ケー・リャン、エル・ダブル・チャン、エイチ・エイチ・チェン、「ローリングシャッタ効果の解析及び補償」、ＩＥＥＥ画像処理のトランザクション、１７（８）、１３２３〜１３３０（２００８）(C.K. Liang, L. W. Chang, H.H. Chen, "Analysis and Compensation of Rolling Shutter Effect," IEEE Transactions on Image Processing, 17(8), 1323-1330 (2008))に記載されている。しかし、上述の研究は、ローリングシャッタ構造を用いる画像センサのための適切なフリッカ検出及び補正のスキームを提供していない。

以下の図面と共に後述の説明を考慮することで、本開示はより容易に理解されるであろうし、ここでは、同様の参照符号は同様の要素を表している。

図１は６０Ｈｚ照度の光源、Ａ＝０、Ｂ＝１のモデル及び電子的ローリングシャッタの影響の例を示す図である。

図２は画像フリッカ周波数に対する行遅延の影響の例を示す図である。

図３はフリッカの大きさに対する積分時間の影響の例を示す図である。

図４は本開示の１つの実施形態に従う装置の１つの例を示すブロック図である。

図５は本開示の１つの実施形態に従う電子装置によって実施される方法の１つの例を示すフローチャートである。

図６は本開示において記載される１つの例に従いローリングシャッタを用いるフリッカ検出画像センサのための方法の１つの例を示すフローチャートである。

図７は本開示の１つの実施形態に従い２つの連続するフレームからの列投影の例を示す図である。

図８は本開示の１つの実施形態に従い２つの連続する列投影の相互相関の例を示す図である。

図９は検出されるフリッカを示す平坦フィールド場面１２．５ｍｓ、１５ｆｐｓの例を示す図である。

図１０はフリッカを有する複雑場面１２．５ｍｓ、１５ｆｐｓの例を示す図である。

図１１は１５ｆｐｓで１２．５ｍｓの積分時間により取得された２つの連続する平坦フィールド画像の差信号の例を示す図である。

図１２は差信号の電力スペクトラムの例を示す図である。

図１３は本開示の１つの実施形態に従うＳＮＲ対列投影で用いられる列のパーセンテージの例を示す図である。

図１４は位置調整を伴う電力スペクトラムの例を示す図である。

図１５は位置調整を伴わない電力スペクトラムの例を示す図である。

図１６は本開示の１つの実施形態に従う垂直シフトの関数としてのＳＮＲ向上の例を示す図である。

簡潔には、回路、装置及び方法は、画像センサを用いるデジタルカメラのためのフリッカ検出及び改良された画像生成を提供する。１つの実施形態においては、回路及び方法は、第１の捕捉されたフレームを、例えば必要に応じてシーケンシャル且つ連続的(consecutive)又は非連続的であってよい第２の捕捉されたフレームと比較して、これらフレーム間の場面コンテンツの不整合を決定するように作用する。これらのフレームが不整合であると決定された場合には、第２のフレームを第１のフレームに対して再位置調整することによって、再位置調整された第２のフレームが生成される。再位置調整された第２のフレームからの輝度データ及び第１のフレームからの輝度データが、不所望なフリッカ状態が存在するかどうかを決定するために用いられる。不所望なフリッカ状態が検出される場合には、フリッカを低減するために、フレームを捕捉した画像センサへの出力のための露光時間制御情報が生成される。この動作は、例えば、デジタルカメラのためのプレビューモードの間に行われてよく、あるいは任意の他の適切なときに実行されてよい。

１つの実施形態では、装置、例えば、多機能携帯電話(smart phone)、携帯電話(cell phone)、又はＣＭＯＳ画像センサのような画像センサ及びローリングシャッタ構造を伴うデジタルカメラを採用している任意の他の適切な装置は、ある回路を採用しており、その回路は、ＣＭＯＳ画像センサによって捕捉された第１のフレームをＣＭＯＳ画像センサによって捕捉された第２のフレームと比較して、これら捕捉されたフレーム間の場面コンテンツの不整合を決定する。その回路は、第１及び第２のフレームが不整合であると決定された場合、第２のフレームの画素を移動させることによって第２のフレームを再位置調整して、第２のフレームの画素が第１のフレームに対して同じ位置になるようにそれらを再配置する。再位置調整された第２のフレームからの（その画素からの）輝度データ及び第１のフレームからの輝度データが、不所望なフリッカ状態が存在するかどうかを決定するために用いられる。不所望なフリッカ状態が存在する場合には、ＣＭＯＳ画像センサの露光時間が調節されてフリッカを低減する。上述の動作を実行するように動作する回路を含む集積回路を含んでいてよい制御論理は、個別論理を含んでいてよく、動作を実行するように構成される状態マシンを含んでいてよく、１つ以上のデジタル信号プロセッサ（ＤＳＰ）を含んでいてよく、実行されたときにマイクロプロセッサにここに説明されるよう動作させるようにコンピュータ可読メモリに記憶される実行可能な命令を実行する１つ以上のマイクロプロセッサを含んでいてよい。任意の他の適切な構造も採用され得る。

幾つかある利点のなかでも特に、開示される回路、装置、及び方法は、フレーム間での位置調整を用いてフリッカ検出性能を改善する多重フレーム手法を提供する。とりわけ、フレーム間での位置調整を用いる多重フレーム手法は、定常的な(stationary)及び非定常的な画像シーケンスの両方においてフリッカを検出することができるロバストな(robust)フリッカ検出を可能にするという理由で有利である。これにより、例えば、ハンドシェイク(handshake)、垂直パニング(panning)、及び水平パニングの画像化シナリオにおいて、改善されたフリッカ検出が提供される。良好なフリッカ検出は、蛍光照明とＣＭＯＳ画像センサのローリングシャッタの間での相互作用に起因する不所望な影響を低減するために必須である。他の利点は当業者によって認識されるであろう。

図４は装置４００の１つの例を示すブロック図であり、装置４００は、例示のみを目的として、デジタルカメラサブシステム４０２と、ワイヤレスサブシステム、ディスプレイ、キーボード又は当該分野で知られる任意の他のサブシステムを含む必須の携帯電話サブシステムのような必要不可欠なサブシステム４０４とを含む携帯電話又は多機能携帯電話として説明されることになる。また、装置４００はメモリ４０６を含み、メモリ４０６は、例えば、フレームバッファメモリ又は任意の他の適切な種類のメモリのようなＦＩＦＯメモリ、ＲＡＭであってよい。装置４００はまた、回路４０８を含むものとして図示されており、回路４０８は、大規模集積回路の一部であってよく、ＲＡＭ、ＲＯＭのようなメモリ（図示せず）、インターネットサーバにおける分散型のメモリ、又は実行可能な命令を記憶する任意の他の適切なメモリに記憶される実行可能な命令を実行するマイクロプロセッサとして作られてよく、実行可能な命令は、実行されたときに、ここに説明される動作をマイクロプロセッサにさせる。

この例におけるカメラサブシステム４０２は、ローリングシャッタ構造を伴うＣＭＯＳ画像センサであるとして図示されている。しかし、ローリングシャッタ動作を伴う任意の画像センサであれば、ここに説明される動作の利益を享受し得る。カメラサブシステム４０２は、例えばプレビューモードの間、捕捉されたフレーム４１０のストリームを捕捉しそして供給し、捕捉されたフレーム４１０は一時的にメモリ４０６内に記憶される。この例において図示されるように、フレームＮ４１２は現在のフレームであり、フレームＮ＋１は時間軸上で次に捕捉されるフレームであり、以下同様である。回路４０８（制御器とも称される）は、モーション推定回路４１６、モーション補償回路４１８、輝度ベースのフレーム減算回路４２０、フリッカ信号検出回路４２２、及びカメラ露光時間制御情報生成回路４２４を含む。

モーション推定回路４１６は、画素の最新のフレームとその次の、この実施形態ではシーケンシャルフレーム４１４の両方を受け取り、そしてモーションがフレーム内で検出されるかどうかを決定する。例えば、フレームの各々からの同じ位置での画素が比較されて、値が変化したかどうかが決定され、例えば、画像が左又は右に画素の１行若しくは１列又は画素の多重列シフトしたかが任意の適切な技術を用いて決定される。不整合検出(misalignment detection)の１つの例が以下に更に説明される。図示されるように、モーション推定論理は、例えば画素×画素ベース、ブロック×ブロックベース、又は任意の他の適切なベースで現在のフレーム４１２を次のフレーム４１４と比較して、これらのフレームの間での場面コンテンツ(scene content)の不整合を決定する。モーション推定回路４１６は、ｘ方向におけるオフセットの量を表す位置調整オフセット情報４３０及びこの例では加えて不整合又はオフセット情報４３２で図示されるｙ方向のオフセットをもたらす。しかし、単にｘ方向又はｙ方向のいずれかにおける変化を検出することもまた採用され得ることが認識されるであろう。オフセット情報４３０及び４３２はモーション補償回路４１８によって第２のフレーム４１４と共に受け取られ、第２のフレーム４１４は、第１のフレーム４１２の対応する位置に整合するように再位置調整（場面コンテンツを）され得る。結果として、オフセット情報４３０及び４３２に基いて不整合が決定された場合、第１のフレームに対する第２のフレーム４１４の位置調整である再位置調整された第２のフレーム４３４が生成される。

輝度ベースのフレーム減算回路４２０は、現在のフレーム４１２及び再位置調整された第２のフレーム４１４に対して画素×画素ベースの輝度情報を決定し、両方のフレームのセットからの輝度データを用い（再位置調整された第２のフレーム及び第１のフレームの各々から画素位置に対応する輝度データを減算し）、そしてフリッカ画像（位置調整されたフレーム差）を表すデータ４３８を生成する。フリッカ信号検出回路４２２は、データ４３８のエネルギレベルを評価してフリッカが検出されたかどうかを決定する。フリッカ検出信号４４０はカメラ露光調節論理４２４へ供給され、カメラ露光調節論理４２４は次いで、カメラサブシステムがカメラ露光時間を変化させてフリッカを低減するように、カメラ露光時間制御情報４２６をカメラサブシステム４０２へ送る。

図５も参照すると、例えば回路４０８によって実施され得る方法は、ブロック５００において、例えばモーション推定回路４１６を用い、第１の捕捉されたフレーム４１２を第２の捕捉されたフレーム４１４と比較して、これらのフレームの間の場面コンテンツの不整合を決定する。ブロック５０２に示されるように、方法は、第１及び第２のフレームが不整合であると決定された場合に、例えば第２のフレームを第１のフレームに対して再位置調整することによってモーション補償回路４１８により再位置調整された第２のフレーム４３４を生成することを含む。ブロック５０４に示されるように、方法は、例えば輝度ベースのフレーム減算回路４２０によって再位置調整されたフレームの輝度データと、第１のフレームからの輝度データとを用いて、例えばフリッカ信号検出回路４２２によって、不所望なフリッカ状態が存在するかどうかを決定することを含む。不所望なフリッカ状態が存在する場合には、方法は、カメラの画像センサのために露光時間制御情報４２６を生成してフリッカを低減することを含む。

図６は図４においてｘ及びｙ方向の両方におけるのとは対照的にｙ方向のみにおける画素の行を利用して回路４０８によってフリッカを検出する１つの例を示している。この例で示されまた以下に更に説明されるように、フレーム４１２及び４１４からの画素は、ブロック６０２及び６０４によって示されるように、ＲＧＢフォーマットから輝度値へ変換される（例えば以下の数１１を参照）。この例では、フレームの各々に対して、ブロック６０６及び６０８において示されるように、フレーム全体が単一の列に投影される（例えば以下の数１２を参照）。モーション推定は、例えば以下の数１３及び数１４を実行することにより達成され、またモーション補償４１８は以下に説明するように列シフトを行うことによって達成される。フリッカ信号検出回路４２２はより詳細に図示されており、より詳細に以下に説明される。必要に応じて任意の適切な検出回路が用いられてもよいことが認識されるであろう。

以下に更に説明されるように、多重フレーム手法がフレーム間の位置調整を用いて、場面からの信号を除去すると共にフリッカ検出性能を改善する。

まず、Ｉ（ｘ，ｙ，ｄ，ｉ）が画像シーケンスであるとし、ここでｘ及びｙはそれぞれ列及び行の指標を表す。ｄは画像の面であるとし、ｉはシーケンスにおけるフレーム番号であるとする。どのフレームも次に示すようにＲＧＢから輝度へ変換される。

画像内のフリッカ信号の厳密な垂直性(strict vertical nature)を考慮すると、各フレーム内の列は平均化されて次の列投影(column projection)をもたらす。

ここで、Ｍは平均化するための列の総数であり、Ｙは表１によって与えられるような画像における列の総数であり、情報の全フレームと比較して少ない処理をもたらしている。しかし、所望に応じて列投影手法は採用される必要がないことが認識されるであろう。２つの連続するフレームの列投影が図７に示されている。連続するフレームは非定常的なシーケンスから取られたので、これらのフレームの間には不整合が見られる。この不整合に対処するために、連続する投影の相互相関がブロック６１０において示されるように計算される。

図７における投影の相互相関が図８に示されている。この関数のピークの指標は、フレーム間の垂直シフトに対応していると想定される。ブロック６１２はこの垂直シフトを決定することを示している。

フレーム間のシフトは、２つの投影を減算に先立ち位置調整するために用いられる。

列投影差は、ブロック６１４において示されるようにハミングウインドウ(hamming window)Ｗ（Ｄ（ｙ））でウインドウ処理され(windowed)、それに続く信号がブロック６１６において示されるようにＦＦＴで周波数領域に取り込まれて信号フーリエ表現Ｆ（ω）が生成され、ここでωは空間周波数である。信号の電力スペクトラムは、ブロック６１８において示されるように、次のように得られる。

フリッカは、ブロック６２０において示されるように、フリッカ周波数Ｓ（ω_０）に最も近いビン(bin)内の信号電力を周囲の周波数ビンの平均信号電力と比較することによって検出される。周囲のビンは、０．２５ω_０＜ω＜０．７５ω_０及び１．２５ω_０＜Ｆ＜１．７５ω_０によって定義される。周囲のビンの平均は、ブロック６２２において示されるように、雑音レベルＮとして定義される。従って、信号対雑音比は、下記の数１７において定義されると共にブロック６２４において示されている。ここでのＳＮＲは、種々の条件下で検出されるフリッカ信号の強度を評価するために用いられる。スレッショルドを数１７に適用することによって、数１７は単純な分類器(classifier)としても用いることができる。ブロック６２６は信号を分類していることを示している。ＳＮＲがスレッショルドを越えている場合には、信号はブロック４２４において示されるようにフリッカとして分類される。ＳＮＲがスレッショルドを越えていなければ、信号はブロック６２８において示されるようにフリッカとしては分類されずに次のフレームが評価される。

実験的な画像シーケンスの試験結果

図示される画像のシーケンスを捕捉するために、リアルタイム画像システムを伴う５メガ画素ＣＭＯＳセンサが用いられた。図９及び１０に示されるような２つの異なる場面、即ち平坦フィールド及び複雑場面についてシーケンスが捕捉されている。どちらの場面も６０Ｈｚ電力源によって電力供給される２つの５４００Ｋ蛍光源によって４５度で照明されている。両場面の全体的な光レベル(overall light level)は１０００ルクス(lux)である。

シーケンスは、現実的な画像条件を再現し、そして条件のある範囲にわたってプロセスの有効性を調査するように設計されている。シーケンスは、リアルタイム画像システムで要求される実際的なフレームレートを代表する１５ｆｐｓ及び３０ｆｐｓの両方で捕捉される。カメラ及び画像システムの帯域制限が、これらのフレームレートでの全５メガ画素の収集を阻んだ。各フレームレートで捕捉された画像ディメンションは、下記の表１に示されている。

提案されたフリッカモデルの性能を考慮して、センサプログラミングには追加的な制約が課せられている。既に論じられたように、積分時間式（数２）においてΔｔ＝Ｔ／２のときに画像フリッカは最大値を有する。その結果、６０Ｈｚ源のフリッカの大きさを最大化するために、１２．５ｍｓ及び２９．２ｍｓの積分時間が用いられている。また、提案されたプロセスは、連続するフレーム間の差を計算する。フリッカが定常的である場合には、フレーム減算は全体のフリッカ信号を除去してしまうであろう。これを防止し且つ異なる画像における高調波の大きさを最大にするために、Ｔ／２の位相差がフレーム間に導入される。これらの制約と共に、センサは表１に示される行遅延でプログラムされている。３０ｆｐｓシーケンスディメンションは１５ｆｐｓの１／２であるから、行遅延は１５ｆｐｓシーケンスと３０ｆｐｓシーケンスの間で同様である。結果として、１５ｆｐｓで各フレームが多くの周期の２倍を含んでいるにもかかわらず、画素内で測定される空間周期は２つのフレームレートの間で同様である。

表１：画像シーケンス特性

定常的な場面

開示されるプロセスは、場面コンテンツが動かない定常的な場面を用いて評価することができる。平坦フィールド画像シーケンスは、フリッカ信号の検出を妨げる場面データが存在しないので、最も簡単な場合を代表する。結果として、フリッカ信号は図９の画像において容易に見ることができる。プロセスは画像のシーケンスに適用される。この実験に対しては、各フレーム内の全ての列が用いられ、Ｍ＝Ｙである。図１１はシーケンス内の２つのフレームの差信号を示している。差信号は明らかに周期的信号を表している。図１２に示される信号の電力スペクトラムは、明らかに０．００７８のフリッカ周波数を示している。

画像の４つのシーケンスが処理されると共にシーケンスに対する平均ＳＮＲが記録された。結果は表２に表示されている。高い平均ＳＮＲは、平坦フィールド場面においてフリッカを検出することが１５ｆｐｓ及び３０ｆｐｓの両方で取るに足らない簡単なことであることを裏付けている。ＳＮＲは３０ｆｐｓで僅かに減少しているが、概してフリッカは４つの全てのシーケンスにおいて容易に検出される。

表２：プロセスを用いる平坦フィールド画像シーケンスにおけるフリッカ信号の平均ＳＮＲ

もう少し挑戦的な定常的条件が複雑な場面のシーケンスについて評価される。これらのシーケンスの平均ＳＮＲが以下の表３に示されている。ここでもＳＮＲは十分に高く、フリッカは容易に検出可能である。両場面において、積分時間が長くなるのに従ってＳＮＲが僅かに低下している。このことは、積分時間が長くなるのに従ってフリッカの大きさが増大するという事実に合致している。また、平均ＳＮＲは、より速いフレームレートに対して大幅に低くなっている。より速いフレームレートでは、フリッカはより長い波長及び画像内のより少ない周期を有している。結果として、フリッカ周波数は、ＤＣ項の極めて近くに位置するので、ＦＦＴにおいて解像することがより困難である。

表３；複雑な定常的場面画像シーケンスにおけるフリッカ信号の平均ＳＮＲ

これらの結果は、完全フレーム減算をもたらす各画像内の全ての列を用いて生成された。完全フレーム減算を行うことは必ずしも実用的ではないかもしれない。差における列の数を限定する効果が図１３に示されている。列投影Ｐ（ｙ，ｉ）に含まれる列が少ないほど、ＳＮＲは低下する。一般的に、列の４０パーセントでプロセスを実行することは許容可能なＳＮＲをもたらし、それを超えると効果逓減(diminishing returns)をもたらす。この理由により、各フレームにおける中央の４０パーセントの列が用いられる。

非定常的な場面

非定常的な場面は、実用的なフリッカ検出性能のより現実的な評価を提供する。３つの典型的な使用のケースは、ハンドシェイク、垂直パニング及び水平パニングである。試験においては、プロセスの位置調整ステップの有無でのプロセスを用いてハンドシェイクシーケンスが処理された。平均ＳＮＲの結果が以下の表４及び表５にまとめられている。表４における結果から、１５ｆｐｓでの位置調整なしでは、ＳＮＲが大幅に低下していることが明らかである。ＳＮＲの低下は３０ｆｐｓではそれほど深刻ではない。これは、場面がフレーム間で極端にシフトすることを妨げた高速のフレームレートに起因している可能性が最も高い。１５ｆｐｓでは場面はフレーム間でより大きくシフトし、そしてＳＮＲは静止場面の場合から１６ｄＢほど低くなっている。表５においては、位置調整プロセスを用いた場合に平均ＳＮＲが顕著に増大している結果が示されている。５〜６ｄＢの改善が１５ｆｐｓで達成され、ここでは、ＳＮＲにおける最も大きな低下が見られた。

表４；位置調整なしで非定常的に処理された場面におけるフリッカ信号の平均ＳＮＲ（ｄＢ）

表５；位置調整ありで非定常的に処理された場面におけるフリッカ信号の平均ＳＮＲ（ｄＢ）及び結果としてのｄＢ利得

上述のＳＮＲ結果は全体的なシーケンスにわたる平均である。しかし、実際には、ハンドシェークによるランダムモーションに起因して、フレームからフレームに至る個々の結果には大きなばらつきがある。非定常的な場面の効果は、図１４及び１５に明らかに示されている。図１４及び１５は、２８画素の大きなシフトを有していた２つの連続的な列投影の間の差の電力スペクトラムを位置調整の有無で表示している。図１４は、位置調整なしでは、より支配的なピークが０．０１に存在しているので、フリッカ周波数が検出し得ないことを示している。図１５は、位置調整を伴うと、プロセスはフリッカ周波数を容易に０．００７８近傍に分離し得ることを示している。

水平及び垂直パニングのシーケンスもまた、位置調整の有無を通して処理されている。平均ＳＮＲ結果が表６及び表７に表示されている。表６における水平パニングの結果は、提案されたプロセスがフリッカ検出性能を改善していないことを明らかにしている。幾つかの条件では小さな改善があるものの、個々のフレームをもっとよく見ると、より高いＳＮＲが達成されたのは垂直移動の場合であることが明らかになった。更なる研究を行って、位置調整を垂直に拡大適用することができた。列の４０％のみが選択されているとして、各フレームから位置調整している列を選択することによって位置調整を確保することができた。

表６；水平パニング場面におけるフリッカ信号の平均ＳＮＲ（ｄＢ）

表７；垂直パニング場面におけるフリッカ信号の平均ＳＮＲ（ｄＢ）

表７においては、垂直パニングの結果は、全ての条件において位置調整ステップが著しい改善を提供していることを明らかにしている。平均ＳＮＲにおいて最も顕著な改善は３０ｆｐｓで生じている。個々のフレームからフレームへの結果をもっとよく見ると、この改善の程度が明らかになる。誤検出(false positive)を低減するためには、スレッショルドＳＮＲとして５が設定され、そして検出を分類するために用いられる。このスレッショルドを３０ｆｐｓデータに適用することで、表８に示される検出率がもたらされる。位置調整プロセスによって検出率が大幅に増大していることが明らかである。

図１６における垂直シフトに対するＳＮＲ改善は、性能向上が何故３０ｆｐｓで大きいかを明らかにしている。図１６においては、相互相関として決定される垂直シフトが水平軸上にプロットされている。列投影を位置調整することにより得られるＳＮＲの増大は垂直軸上に示されている。１５ｆｐｓでは２０あたりのシフトで最大の改善が生じており、ＳＮＲの増大は、位置調整が６０あたりでＳＮＲを実際上は劣化させるまで減少に転ずる。１５ｆｐｓでのフリッカの空間周期は１２８画素であるから、１周期の半分くらいのシフトが、連続するフレーム間に導入された位相差を消失させるであろう。結果として、異なるステップの間に６０あたりでフリッカ信号が消失するであろうことが予想される。１５ｆｐｓ及び２９ｍｓでは、非位置調整のプロセスによってＳＮＲは改善されない。１５ｆｐｓ及び１２．５ｍｓでは、位置調整されるプロセスは、より悪く機能している。これは、１２．５ｍｓではフリッカ信号の大きさはかなり大きく、そして場面コンテンツの大きさと同じオーダであるという事実に起因している可能性が高い。従って、非位置調整の減算であっても、比較的に強いフリッカ信号を検出することができる。３０ｆｐｓでは、最も明白な差は、処理されるシーケンスにおいて２５画素より大きい垂直シフトがないことである。より高いフレームレートに起因して、場面はフレーム間で半分だけシフトする。結果として、位置調整シフトは３０ｆｐｓで１２２画素の半分をはるかに下回り、ＳＮＲにおける改善はロバストな検出を可能にする。

表８；位置調整有無による３０ｆｐｓでの検出率

非定常的な場面に対処するために、ＳＮＲを増大させる垂直位置調整（及び／又は必要であれば水平位置調整）と共に多重フレーム検出プロセスが用いられる。開示されるプロセスは、空間周波数の半分より小さいフレーム間のシフトに対して、ロバストで且つ実装が容易な検出システムを提供する。しかし、相関が一致している限り、シフトされたフレームもまた用いられ得る。

上述したように、数ある利点のなかでも、開示される回路、装置、及び方法は、フレーム間の位置調整を用いてフリッカ検出性能を改善する多重フレーム手法を提供する。とりわけ、フレーム間での位置調整を用いる多重フレーム手法は、定常的な及び非定常的な画像シーケンスの両方においてフリッカを検出することができるロバストなフリッカ検出を可能にするという理由で有利である。これにより、例えば、ハンドシェイク、垂直パニング、及び水平パニングの画像化シナリオにおいて、改善されたフリッカ検出が提供される。良好なフリッカ検出は、蛍光照明とＣＭＯＳ画像センサのローリングシャッタの間での相互作用に起因する不所望な影響を低減するために必須である。他の利点は当業者によって認識されるであろう。

開示の上述した詳細な説明及びそこで説明される例は、例示及び説明のみを目的として示されてきたものであり、限定によって示されているものではない。従って、本開示は、上に開示されまたここに請求される基本的に内在する原理の精神及び範囲内に包含される任意のそして全ての修正、変更又は均等なものに及ぶことが意図されている。

Claims (18)

1. ローリングシャッタ構造を伴うＣＭＯＳ画像センサと回路とを備えた装置であって、
   前記回路は、
   前記ＣＭＯＳ画像センサによって捕捉される第１のフレームを前記ＣＭＯＳ画像センサによって捕捉される第２のフレームと比較してこれらフレーム間の場面コンテンツの不整合を決定し、
   前記第１及び第２のフレームが不整合であると決定された場合に前記第２のフレームを前記第１のフレームに対して再位置調整することによって再位置調整された第２のフレームを生成し、
   前記再位置調整された第２のフレームからの輝度データ及び前記第１のフレームからの輝度データを用いて不所望なフリッカ状態が存在するかどうかを決定し、不所望なフリッカ状態が存在する場合に前記ＣＭＯＳ画像センサの露光時間を調節してフリッカを低減し、
   前記第１のフレームを列に投影して第１の列投影を生成し、前記第２のフレームを列に投影して第２の列投影を生成し、前記第１及び第２の列投影の間の相互相関値を計算することによって、前記第１及び第２のフレームの間の場面コンテンツの不整合を決定するように動作する装置。
2. 前記回路はｙ方向における画素の行のみを利用することによって前記第１のフレームを前記第２のフレームと比較して不整合を決定する請求項１の装置。
3. 前記回路は、前記第１のフレームに関連する複数の列値を平均化することによって前記第１の列投影を生成し前記第２のフレームに関連する複数の列値を平均化することによって前記第２の列投影を生成するように動作する請求項１の装置。
4. 前記回路は、前記第１のフレームに関連する画素の少なくとも１つのブロックを前記第２のフレームに関連する対応する少なくとも１つのブロックと比較することによって、前記第１及び第２のフレームの間の場面コンテンツの不整合を決定するように動作する請求項１の装置。
5. 前記回路は、前記第２の列投影を列シフトさせて前記第１の列投影に対して再位置調整することによって、前記再位置調整された第２のフレームを生成するように動作する請求項１の装置。
6. 前記回路は、フリッカ周波数に最も近いビンにおける信号電力を周囲の周波数ビンの平均信号電力と比較することによって、不所望なフリッカ状態が存在するかどうかを決定するように動作する請求項１の装置。
7. 電子装置によって実施される方法であって、
   画像センサによって捕捉される第１のフレームを前記画像センサによって捕捉される第２のフレームと比較してこれらフレーム間の場面コンテンツの不整合を決定することと、
   前記第１及び第２のフレームが不整合であると決定された場合に前記第２のフレームを前記第１のフレームに対して再位置調整することによって再位置調整された第２のフレームを生成することと、
   前記再位置調整された第２のフレームからの輝度データ及び前記第１のフレームからの輝度データを用いて不所望なフリッカ状態が存在するかどうかを決定することと、
   不所望なフリッカ状態が存在する場合に前記画像センサの露光時間を調節してフリッカを低減することと、
   前記第１のフレームを列に投影して第１の列投影を生成することと、
   前記第２のフレームを列に投影して第２の列投影を生成することと、
   前記第１及び第２の列投影の間の相互相関値を計算して前記第１及び第２のフレームの間の場面コンテンツの不整合を決定することとを備えた方法。
8. 前記画像センサによって捕捉される第１のフレームを前記画像センサによって捕捉される第２のフレームと比較するためにｙ方向における画素の行のみを利用して前記第１及び第２のフレームの間の場面コンテンツの不整合を決定することを更に備えた請求項７の方法。
9. 前記第１のフレームに関連する複数の列値を平均化することによって前記第１の列投影を生成することと、
   前記第２のフレームに関連する複数の列値を平均化することによって前記第２の列投影を生成することとを更に備えた請求項７の方法。
10. 前記第１のフレームに関連する画素の少なくとも１つのブロックを前記第２のフレームに関連する対応する少なくとも１つのブロックと比較して前記第１及び第２のフレームの間の場面コンテンツの不整合を決定することを更に備えた請求項７の方法。
11. 前記第２の列投影を列シフトさせて前記第１の列投影に対して再位置調整して前記再位置調整された第２のフレームを生成することを更に備えた請求項７の方法。
12. フリッカ周波数に最も近いビンにおける信号電力を周囲の周波数ビンの平均信号電力と比較することと、
    不所望なフリッカ状態が存在するかどうかを決定することとを更に備えた請求項７の方法。
13. 回路を備えた集積回路であって、前記回路は、
    第１の捕捉されたフレームを第２の捕捉されたフレームと比較してこれらフレーム間の場面コンテンツの不整合を決定し、
    前記第１及び第２のフレームが不整合であると決定された場合に前記第２のフレームを前記第１のフレームに対して再位置調整することによって再位置調整された第２のフレームを生成し、
    前記再位置調整された第２のフレームからの輝度データ及び前記第１のフレームからの輝度データを用いて不所望なフリッカ状態が存在するかどうかを決定し、不所望なフリッカ状態が存在する場合にカメラの画像センサへの出力のための露光時間制御情報を生成してフリッカを低減し、
    前記第１の捕捉されたフレームを列に投影して第１の列投影を生成し、前記第２の捕捉されたフレームを列に投影して第２の列投影を生成し、前記第１及び第２の列投影の間の相互相関値を計算することによって、前記第１及び第２の捕捉されたフレームの間の場面コンテンツの不整合を決定するように動作する集積回路。
14. 前記回路はｙ方向における画素の行のみを利用することによって前記第１の捕捉されたフレームを前記第２の捕捉されたフレームと比較して不整合を決定する請求項１３の集積回路。
15. 前記回路は、前記第１の捕捉されたフレームに関連する複数の列値を平均化することによって前記第１の列投影を生成し前記第２の捕捉されたフレームに関連する複数の列値を平均化することによって前記第２の列投影を生成するように動作する請求項１３の集積回路。
16. 前記回路は、前記第１の捕捉されたフレームに関連する画素の少なくとも１つのブロックを前記第２の捕捉されたフレームに関連する対応する少なくとも１つのブロックと比較することによって、前記第１及び第２の捕捉されたフレームの間の場面コンテンツの不整合を決定するように動作する請求項１３の集積回路。
17. 前記回路は、前記第２の列投影を列シフトさせて前記第１の列投影に対して再位置調整することによって、前記再位置調整された第２のフレームを生成するように動作する請求項１３の集積回路。
18. 前記回路は、フリッカ周波数に最も近いビンにおける信号電力を周囲の周波数ビンの平均信号電力と比較することによって、不所望なフリッカ状態が存在するかどうかを決定するように動作する請求項１３の集積回路。

Images