JP4564519B2 - ローリングシャッタｃｍｏｓセンサ画像における変調光作用の除去 - Google Patents

Description

本発明は、デジタル撮像装置及び関連方法、特に、ローリングシャッタＣＭＯＳセンサ画像における変調光作用の除去に関する。

ＣＭＯＳイメージセンサで使用される電子ローリングシャッタ読出しの性質のために、たとえば蛍光灯等の変調照明の存在下で撮影される画像に、著しい水平縞模様が発生する場合がある。これを図１に示す。この問題は、機械式シャッタなしに撮影されるライブビュー、ビデオ及び静止画像の取込みに影響を与える。

より詳細には、ＣＭＯＳセンサを使用する大部分のデジタルスチルカメラは、ローリングシャッタ読出しを採用し、それは、各画像の行の露出及び読出しが、前回の行から時間的にずれているか又はシフトされていることを意味する。この読出し方法により、ライブビュー及びビデオ画像は、蛍光照明等の変調光で照明されるシーンを撮像する時に、著しい水平縞模様を呈する。機械式シャッタなしに撮影される静止画像もまた、この水平縞模様を呈する。これは、ＣＭＯＳセンサを使用するデジタルスチルカメラにおいて機械式シャッタの必要性を余儀なくされる複数の理由のうちの１つである。

機械式シャッタの使用により、静止画像におけるこの問題がなくなる。しかしながら、これの欠点は、シャッタ機構のコストである。機械式シャッタをなくすことを妨げる問題はこれだけではない。機械式シャッタを必要とする他の理由は、ストロボショットに必要な露出時間を最短にすること、及び動きの歪みを最小限にすることである。

機械式シャッタを有していない非ＳＬＲ（一眼レフ）ＣＭＯＳベースのデジタルスチルカメラでは、静止画像の取込みにおいてこの問題が現われる。画像の縞模様の問題は、ビデオ機能及び／又はライブビュー機能を有するか或いは静止画像の取込みのために機械式シャッタを利用しない非ＳＬＲ ＣＭＯＳベースのデジタルスチルカメラのすべてに存在すると考えられる。

Ｓｍｉｔｈ他に対して発行された米国特許第６，７７１，３０５号は、その要約によって分るように、たとえば、「蛍光灯等の光源のフリッカをなくすための方法」を開示している。この方法では、２つの見込まれる周波数のうちのいずれかと同期しない露出時刻に画像を取り込み、その後、１）画像の各ラインの水平平均を実行し（６欄、ステップ３０６）、そして、２）結果生じた平均にわたってＦＦＴを実行する（６欄、ステップ３１０）。ＦＦＴの結果を使用して、光変調周波数を確定する（６欄、ステップ３１２）。本願は、デジタルカメラ等のデジタル撮像装置に対する変調光源の作用をなくす、異なる且つ改善された技法を開示する。

ローリングシャッタ読出しを採用するＣＭＯＳセンサを使用するデジタルカメラに対する変調光源の作用をなくすことができることが望ましいであろう。

開示する実施形態のさまざまな特徴及び利点は、添付図面と共に以下の詳細な説明を参照してより容易に理解することができ、ここで、同様の参照符号は同様の構造的要素を示す。

ローリングシャッタＣＭＯＳセンサ画像における変調光作用の問題に対処する方法を開示する。シーンを照明する光変調は、光源に電力を供給するＡＣ電源による光の振幅変調によってもたらされる。その結果生成される光変調は、通常５０Ｈｚ又は６０ＨｚであるＡＣ電源ライン周波数と同期する。開示する方法は、露出時間を変調光源の変調周波数に同期させることによってこうした変調光効果をなくす。たとえば、露出時間を光変調サイクル時間の倍数に設定することにより、静止画像及びビデオ画像の取込みにおいて水平縞模様をなくすことができる。

開示する方法は、（１）画像を取り込み、それら画像の列に対して対象周波数のＤＦＴを実行することによって変調周波数を確定し、それを２つの異なる方法で実行してもよく、又は（２）２つのセットの画像を取り込み、１つのセットは、見込まれる光変調周波数のうちの１つに同期する露出時間を使用し、もう１つのセットは、他の見込まれる光変調周波数に同期する露出時間を使用する。各セットの画像は、画像の間の全強度変化について分析され、変化の量が最小であるセットの画像が確定される。露出時間がそのセットの画像に同期された周波数が、変調周波数として確定される。これら検出方法はいずれも米国特許第６，７７１，３０５号に開示されていない。

図面を参照すると、図１は、電子ローリングシャッタ及びＣＭＯＳセンタを有するデジタルカメラを使用して変調光源で照明される画像を取り込む時に発生する水平縞模様を示す。変調光源は、たとえば６０ＨｚのＡＣ電源に接続された蛍光灯であってもよい。画像における縞模様の作用は、１ミリ秒未満から１００ミリ秒を超えるまで、広範囲の露出時間にわたって観測される。その効果は、露出時間が長くなると幾分か減少するが、それでもなお非常に顕著である。縞模様の強度は、使用される厳密な露出時間によって変化し、露出時間が８．３３ミリ秒の正確な倍数である場合に縞模様がないことが分った。この理由については後述する。

一般的な蛍光灯からの光強度は、ＡＣライン周波数の２倍の周波数で変調され、整流正弦波として現われる。交流電圧源によってもたらされる輝度の変化を低減しようとして、蛍光電球では減衰時間の長い蛍光体が使用される。

使用される減衰時間が異なるため、蛍光灯によっては、ほとんど変調を示さないものもあれば、その一方で、大量の変調を有するものもある。また、蛍光灯によっては、光変調をなくすために、電球をライン周波数よりはるかに高い周波数で励起する制御回路を有するものもある。

図２は、蛍光変調光波形と共にセンサ行の電子ローリングシャッタ読出しを示す。各行の露出時間は、１／６０秒（１６．６６ミリ秒）、又は正確に２変調サイクル時間に設定される。各行の露出時間は、前回の行からＴ行だけシフトし、それにより、各行の露出が、変調サイクルの異なる時点で開始することとなる。露出時間が、変調サイクル時間（８．３３ミリ秒）の正確な倍数であるため、各行は、２つの完全なサイクルに露出されるか又はそれらを組み込み、その結果、各行に対する同じ有効な露出となり、画像に顕著な水平変調縞模様がなくなる。

図３は、露出時間が光変調サイクル時間の倍数でない場合を示す。この場合、各行は、変調光サイクルの異なる部分に露出されるか又はそれを組み込み、その結果、電子ローリングシャッタシーケンスにおける各行に対し有効な露出が変化し、図１に示す画像に見られるような顕著な水平縞模様がもたらされる。

図１に示す画像は、２４ＭＨｚのクロック周波数でMicron MI-5100センサを用いて取り込まれた。最初の行と最後の行とに対する露出の開始の間の時間の差は約３４０ミリ秒である。この時間の間に発生する変調サイクルの数は、３４０ミリ秒／８．３３ミリ秒すなわち約４１サイクルであり、これは、およそ、図１に示す画像の上部から底部までにみられる水平縞模様の数である。

したがって、ライブビュー及びビデオ画像の場合、ローリングシャッタ読出しを採用するＣＭＯＳセンサを使用するデジタルカメラに対する変調光源の作用をなくすという問題に対する解決法は、露出時間を、通常６０Ｈｚである、最も一般的なＡＣ変調周波数に同期させるというものである。このように、画像の縞模様の問題は、６０ＨｚＡＣライン周波数を使用する国ではなくなるが、５０Ｈｚライン周波数を使用する国ではなくならない。この問題は、５０Ｈｚライン周波数を使用するこれらの国では、露出時間を５０Ｈｚライン周波数に同期させることによって解決される。いずれのＡＣライン周波数が使用されているかを推測しようとすることは、言語選択、携帯電話の位置（カメラ付き携帯電話）、現地語化のデータ等、さまざまな国の場所の手がかりを使用することによって実行することができるであろう。しかしながら、本明細書で開示する技法は、任意のこうした推測方法のあいまいさを無くすために、変調周波数を確定するために直接測定を実行する。

図４ａ及び図４ｂを参照すると、これらは、水平画像縞模様をなくす方法４０を具現化するデジタル撮像装置１０の例示的な実施形態の正面図と背面図とをそれぞれ示す。例示的なデジタル撮像装置１０は、握り部２０と本体部３０とを備える。握り部２０は、電源ボタン２１と、シャッタボタン２３と、及びバッテリ２５を収容するバッテリコンパートメント２４とを含む。シャッタボタン２３を、２つの位置Ｓ１及びＳ２のうちの１つにあるように押下してもよい。Ｓ１位置はフォーカス／露出ロック位置に対応し、その一方で、Ｓ２位置は画像取込み又はビデオ位置に対応する。デジタル撮像装置１０の正面に、計測要素２６及びマイクロフォン２７を配置してもよい。デジタル撮像装置１０の上面に隣接してポップアップフラッシュ２９が配置される。

図４ｂに示すように、例示的なデジタル撮像装置１０の背面は、たとえば液晶ディスプレイ（ＬＣＤ）３２等の画像ディスプレイ３２と、背面マイクロフォン３３と、多目的方向選択パッド３４と、ズームイン又はズームアウトを制御する２つのボタンか又はトグルスイッチのうちのいずれであってもよいズーム制御スイッチ３５と、デジタル撮像装置１０の機能を設定する複数のボタン３６と、たとえば外部表示装置又はコンピュータに画像をダウンロードする出力ポート３７とを含む。

デジタル撮像装置１０はまた、可動レンズ又は結像光学系１２と、結像光学系１２によって伝送される画像を受け取ると共にデジタル画像を取り込む、ＣＭＯＳイメージセンサ１３等のイメージセンサ１３とを備える。イメージセンサ１３は、電子ローリングシャッタ１７及びピクセルアレイ１８を備える。イメージセンサ１３（並びに他の制御及び入出力コンポーネント）にはプロセッサ１４が結合される。プロセッサ１４は、内部メモリ及びリムーバブルメモリを含んでもよい画像メモリ１６に結合される。プロセッサ１４は、水平画像縞模様をなくす方法４０をインプリメントする１つ又は複数のアルゴリズムを含むファームウェア１５を備える。プロセッサ１４は、ピクセルアレイ１８及び電子ローリングシャッタ１７の両方に対して並列に接続される。

水平画像縞模様をなくす解決法は２段階手続きである。図５は、電子ローリングシャッタ及びＣＭＯＳセンサを有するデジタルカメラにおいて水平画像縞模様をなくす例示的な方法１０を示すフローチャートである。

５１では、光変調の存在及びその周波数を検出する。これを、多数の方法で行われてもよい。以下、３つの可能性のある方法について論じる。２つの方法は、ライブビュー中又はビデオ中に変調光周波数（５０Ｈｚ又は６０Ｈｚ）の効果の存在を測定するために、画像の列に対して離散型フーリエ変換（ＤＦＴ）を実行する。第３の方法は、検出される見込みのある変調光周波数と同期する露出時間を使用し、その後、画像強度によって決まる画像の測定基準を分析して、画像間に強度変化があるか否かを判断することにより、一続きの（セット）ライブビュー画像又はビデオ画像を取り込む。画像間の強度変化が最小である露出時間が、その周波数で見込まれる光変調を示す。

より詳細には、第１の方法１０では、（２つの）見込まれる変調光周波数と同期しない露出時間を使用して一セットの画像を取り込む。その後、この一セットの画像の列に対して見込まれる変調光周波数の両方について離散フーリエ変換（ＤＦＴ）を実行する。ＤＦＴをライブビュー又はビデオの間に実行することにより、光変調（５０Ｈｚ又は６０Ｈｚ）の作用の存在を測定する。最大ＤＦＴが、光変調の周波数を示す。画像の列に対してＤＦＴを実行する場合、画素データの各列からのＤＦＴ結果を共に平均することにより、画像全体に対するＤＦＴ結果に達することができる。また、計算時間を短縮するために、ＤＦＴをＮ番目の列毎に実行してもよい。

第２の方法１０では、２つのセットの画像を取り込む。１つのセットの画像は、１つの見込まれる光変調周波数と同期する露出時間を使用して取り込まれる。他方のセットの画像は、他の見込まれる光変調周波数と同期する露出時間を使用して取り込まれる。それぞれ各セットの画像に対し、露出時間が同期しなかった光変調周波数に対し各セットの画像の列に対してＤＦＴを実行する。各セットの画像からのＤＦＴ結果を比較して、最大ＤＦＴ結果が光変調の周波数を示す。画像の列に対してＤＦＴを実行する場合、ピクセルデータの各列からのＤＦＴ結果を共に平均することにより、画像全体に対するＤＦＴ結果に達することができる。また、計算時間を短縮するために、ＤＦＴをＮ番目の列毎に実行してもよい。

第３の方法１０では、二つのセットの画像を取り込む。一つのセットの画像は、見込まれる光変調周波数のうちの１つと同期する露出時間を使用して取り込まれる。他方のセットの画像は、他の見込まれる光変調周波数と同期する露出時間を使用して取り込まれる。各セットの画像を、セット内の画像間の全強度変化に対して分析され、強度変化の量が最小であるセットの画像が確定される。露出時間がそのセットの画像に同期した周波数が、変調周波数であるものと確定される。各画像に対して平均画素値を計算し、その後、平均値の最小／最大を見るか又は平均値の標準偏差を計算することにより、平均画素値の変化の量を確定することによって、全画像強度変化を確定してもよい。

そして、５２で、露出時間を変調サイクル時間と同期させる。特に、露出時間を、検出された変調周波数の周期の倍数に設定する。光変調の存在及び周波数が確定されると、すべての画像取込みの露出時間が、強制的に変調サイクル時間の整数倍になるようにされる。このため、５３で、画像取込利得が、所望の露出時間と同期された露出時間との差を補償するように調整される。

方法５０は、非ＳＬＲ ＣＭＯＳセンサデジタルスチルカメラを用いて、変調照明の存在下で画像が撮影される時に存在する、ライブビュー画像及びビデオ画像における著しい水平縞模様をなくす。方法５０はまた、これらカメラにおける静止画像の取込みにおいて機械式シャッタを使用する必要がある問題のうちの１つをなくす。

このように、ローリングシャッタＣＭＯＳセンサ画像における変調光作用をなくすデジタル撮像装置及び方法について開示してきた。上述した実施形態は、本明細書で説明した原理の適用を表す多くの特定の実施形態のうちのいくつかを単に例示するものである、ということが理解されなければならない。明らかに、当業者は、本発明の範囲から逸脱することなく多数の且つ他の構成を容易に考案することができる。

電子ローリングシャッタ及びＣＭＯＳセンサを有するデジタルカメラを使用して変調光源で照明される画像を取り込む時に発生する水平縞模様を示す図である。 蛍光変調光波形と共にセンサ行の電子ローリングシャッタ読出しを示す図である。 露出時間が光変調サイクル時間の倍数ではない場合を示す図である。 水平画像縞模様をなくす方法を具現化することができる例示的なデジタル撮像装置の正面図である。 水平画像縞模様をなくす方法を具現化することができる例示的なデジタル撮像装置の背面図である。 電子ローリングシャッタ及びＣＭＯＳセンサを有するデジタルカメラにおいて水平画像縞模様をなくす例示的な方法を示すフローチャートである。

符号の説明

１０ デジタル撮像装置
１２ 結像光学系
１３ イメージセンサ
１４ プロセッサ
１５ ファームウェア
１６ 画像メモリ
１７ ローリングシャッタ
１８ ピクセルアレイ
２０ 握り部
２１ 電源ボタン
２３ シャッタボタン
２５ バッテリ収容
２６ 計測要素
２７ マイクロフォン
２９ ポップアップフラッシュ
３２ 画像ディスプレイ
３３ マイクロフォン
３４ 方向選択パッド
３５ ズーム制御スイッチ
３６ ボタン
３７ 出力ポート

Claims (9)

1. イメージセンサ、電子ローリングシャッタ、プロセッサ、及びその方法を実行するためのファームウェアを有する、デジタル撮像装置において使用される方法であって、
   光変調の存在及び前記光変調の周波数を検出することと、
   露出時間を変調サイクル時間に同期させることとを含み、
   前記検出することは、検出され得る前記光変調の周波数のいずれにも同期しない露出時間を使用して１つのセットの画像を取り込み、前記光変調の周波数の作用の存在を測定するために、前記セットの画像の列に対して離散型フーリエ変換を実行することを含み、
   前記離散型フーリエ変換の複数の結果のうちの最大の結果に基づいて、前記光変調の前記周波数を確定することを特徴とするデジタル撮像装置において使用される方法。
2. 前記光変調の存在及び前記周波数が確定されると、すべての画像取込みの前記露出時間が、強制的に前記変調サイクル時間の整数倍にされることを特徴とする請求項１に記載のデジタル撮像装置において使用される方法。
3. 所望の露出時間と前記同期された露出時間との差を補償するように、画像取込利得を調整することをさらに含むことを特徴とする請求項１に記載のデジタル撮像装置において使用される方法。
4. デジタル撮像装置であって、
   電子ローリングシャッタを有するイメージセンサと、
   前記イメージセンサ及び前記電子ローリングシャッタに結合されるプロセッサと、
   光変調の存在及び前記光変調の周波数を検出し、画像における変調光作用をなくすために、前記プロセッサにおいて実行するファームウェアとを備え、
   前記光変調の存在及び前記光変調の周波数は、検出され得る前記光変調の周波数のいずれにも同期しない露出時間を使用して１つのセットの画像を取り込み、前記光変調の周波数の作用の存在を測定するために、前記セットの画像の列に対して離散型フーリエ変換を実行することによって検出され、
   前記離散型フーリエ変換の複数の結果のうちの最大の結果に基づいて前記光変調の前記周波数が確定され、
   露出時間が変調サイクル時間に同期されることを特徴とするデジタル撮像装置。
5. 前記光変調の存在及び前記周波数が確定されると、すべての画像取込みの前記露出時間が、強制的に前記変調サイクル時間の整数倍にされることを特徴とする請求項４に記載のデジタル撮像装置。
6. 前記ファームウェアは、
   所望の露出時間と前記同期された露出時間との差を補償するように画像取込利得を調整することをさらに含むことを特徴とする請求項４に記載のデジタル撮像装置。
7. 装置であって、
   画像を取り込む電子ローリングシャッタ手段を備えるイメージセンサ手段と、
   前記イメージセンサ手段及び前記電子ローリングシャッタ手段に結合され前記取り込まれた画像を処理するプロセッサ手段と、
   光変調の存在及び前記光変調の周波数を検出し、画像における変調光作用をなくすために前記プロセッサ手段において実行するファームウェアとを備え、
   前記光変調の存在及び前記周波数は、検出され得る前記光変調の周波数のいずれにも同期しない露出時間を使用して１つのセットの画像を取り込み、前記光変調の周波数の作用の存在を測定するために、前記セットの画像の列に対して離散型フーリエ変換を実行することによって検出され、
   前記離散型フーリエ変換の複数の結果のうちの最大の結果に基づいて前記光変調の前記周波数が確定され、
   露出時間が変調サイクル時間に同期されることを特徴とする装置。
8. 前記光変調の存在及び前記周波数が確定されると、すべての画像取込みの前記露出時間が、強制的に前記変調サイクル時間の整数倍にされることを特徴とする請求項７に記載の装置。
9. 前記ファームウェアは、
   所望の露出時間と前記同期された露出時間との差を補償するように画像取込利得を調整することをさらに含むことを特徴とする請求項７に記載の装置。

Images