JP6267348B2 - 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法 - Google Patents

Description

本出願は、一般に、デジタルイメージングに関し、より詳細には、複数の短時間露出をサポートする重複した露出ブラケットを有する画像センサーのためのシステム、方法、およびデバイスに関する。

デジタルイメージングでは、相補型金属酸化物半導体(CMOS)センサーのダイナミックレンジは、時々、単一の画像において屋外シーンを正確に表現するのに不十分である場合がある。このことは、特に、携帯電話上のカメラなどの、モバイルデバイスにおいて使用され得る比較的小型のセンサーに当てはまる場合がある。たとえば、モバイルデバイスカメラに使用される典型的なセンサーは、約60〜70dBのダイナミックレンジを有する場合がある。しかしながら、典型的な自然の屋外シーンは、比較的明るいエリアと陰があるエリアとの間で100dBのコントラストレンジを容易にカバーし得る。このダイナミックレンジがモバイルデバイスに使用される典型的なセンサーのダイナミックレンジよりも大きいので、モバイルデバイスによってキャプチャされる画像において詳細が失われる場合がある。

ダイナミックレンジのこの不足を補償するのに使用されてきた1つの方法は、比較的高いダイナミックレンジを有する単一の画像にするために2つ以上のフレームを組み合わせることである。たとえば、単一の画像にするために、異なる露出時間を有する2つ以上のフレームを組み合わせる場合がある。しかしながら、複数のフレームを組み合わせるための前記の技法の1つの問題は、異なる露出時間のフレーム間の信号対ノイズ比の不連続性であった。この問題を証明するのに使用され得る1つの方法は、多重露出を使用してグレーランプテストチャート(grey ramp test chart)をキャプチャすることである。2つの連続フレーム露出間の遷移点に対応するグレーランプテストチャートの一部分において、比較的高いレベルのルーマノイズおよびクロマノイズが観測され得る。そのようなノイズの不連続性は、画像品質に悪影響を及ぼす場合がある。

本明細書で論じるシステム、方法、デバイス、およびコンピュータプログラム製品はそれぞれ複数の態様を有し、それらのうちの単一のものが単独で、その望ましい属性を担うことはない。以下の特許請求の範囲によって表される本発明の範囲を限定することなく、いくつかの特徴が以降で簡単に論じられる。この議論を考慮した後で、また特に「発明を実施するための形態」と題するセクションを読んだ後で、本発明の有利な特徴がカラー依存の測定値のロバストな推定をどのように含むかが理解されよう。

いくつかの態様では、高ダイナミックレンジ画像をキャプチャする方法について説明する。本方法は、画像センサー上のピクセルの第1のサブセット上で、第1の露出時間を有する第1の画像をキャプチャするステップを含む。本方法は、画像センサー上のピクセルの第2のサブセット上で、第2の露出時間を有する複数の画像をキャプチャするステップであって、第2の露出時間が第1の露出時間よりも短い、ステップをさらに含む。本方法は、第2の画像にするために第2の露出時間を有する複数の画像を組み合わせるステップと、高ダイナミックレンジの画像を形成するために第1の画像と第2の画像とを組み合わせるステップとをさらに含む。いくつかの態様では、ピクセルの第1のサブセットは、ピクセルアレイの第1の複数のピクセルラインである場合があり、ピクセルの第2のサブセットは、ピクセルアレイの第2の複数のピクセルラインである場合がある。いくつかの態様では、第1の複数のピクセルラインおよび第2の複数のピクセルラインは、互いにインターレースされ得る。いくつかの態様では、複数の画像は、2つまたは3つの画像を含み得る。いくつかの態様では、複数の画像は、第1の画像のキャプチャ中に逐次キャプチャされ得る。

いくつかの態様では、高ダイナミックレンジ画像をキャプチャするための電子デバイスが開示される。本デバイスは、ピクセルの第1のサブセットとピクセルの第2のサブセットとを含む複数のピクセルを含むCMOS可視画像センサーを含む。本デバイスは、ピクセルの第1のサブセット上で、第1の露出時間を有する第1の画像をキャプチャすることと、ピクセルの第2のサブセット上で、第2の露出時間を有する複数の画像をキャプチャすることであって、第2の露出時間が第1の露出時間よりも短い、ことと、第2の画像にするために第2の露出時間を有する複数の画像を組み合わせることと、高ダイナミックレンジの画像を形成するために第1の画像と第2の画像とを組み合わせることとを行うように構成されたプロセッサをさらに含む。

いくつかの態様では、高ダイナミックレンジ画像をキャプチャするための電子デバイスが開示される。本デバイスは、画像センサー上のピクセルの第1のサブセット上で、第1の露出時間を有する第1の画像をキャプチャするための手段と、画像センサー上のピクセルの第2のサブセット上で、第2の露出時間を有する複数の画像を同時にキャプチャするための手段であって、第2の露出時間が第1の露出時間よりも短い、手段と、第2の画像にするために第2の露出時間を有する複数の画像を組み合わせるための手段と、高ダイナミックレンジの画像を形成するために第1の画像と第2の画像とを組み合わせるための手段とを含む。

単一の画像にするために複数のフレームが組み合わされるときに生じ得る、信号対ノイズ比の不連続性の図である。 画像をキャプチャするのに使用され得るピクセルの図である。 いくつかのピクセルによって共有され得るバスの図である。 画像をキャプチャするために画像センサーアレイ上で使用され得るタイミング図である。 従来の画像センサーに関する巻上げシャッター動作のタイミング図である。 HDR画像をキャプチャするために画像センサーアレイ上で使用され得るタイミング図である。 画像センサーがHDR画像をキャプチャするための巻上げシャッター動作のタイミング図である。 複数の短時間露出フレームを使用してHDR画像をキャプチャするために画像センサーアレイ上で使用され得るタイミング図である。 複数の短時間露出フレームを使用して画像センサーがHDR画像をキャプチャするための巻上げシャッター動作のタイミングを示すタイミング図である。 3つの短時間露出フレームを使用してHDR画像をキャプチャするために画像センサーアレイ上で使用され得るタイミング図である。 長時間露出フレームごとに3つの短時間露出フレームをキャプチャする画像センサーアレイのタイミング図である。 より高い忠実度のフレームを生成するために複数の短時間露出フレームをフレーム積層する提案された方法の図である。 より高い忠実度のフレームを生成するために3つの短時間露出フレームをフレーム積層する提案された方法の図である。 追加の比較的短い露出フレームを使用することによって得られ得るSNRの改善を示す図である。 画像をキャプチャする例示的な方法の図である。 画像センサーに動作可能に結合されたプロセッサを含む構成要素のセットを有するデバイスのハイレベルブロック図である。

実施形態は、複数の短時間露出をサポートする重複した露出ブラケットを有する、デジタル画像をキャプチャする画像センサーを使用するためのシステム、方法、およびデバイスに関する。1つの方法では、画像センサーは、比較的長い露出時間を有する第1の画像と、比較的短い露出時間を有する2つ以上の第2の画像とを同時にキャプチャするように構成され得る。比較的短い露出時間を有するこれらの複数の第2の画像は、単一の比較的短い露出時間のフレームにするために組み合わされる場合があり、次いで、第1の比較的長時間の露出画像と組み合わされる場合がある。そのような組合せは、他の技法よりも信号対ノイズ比(SNR)の不連続性が小さい高ダイナミックレンジ(HDR)の画像を可能にし得る。そのようなイメージングシステムはまた、HDR画像をキャプチャするための他の技法と比較して低減された量のモーションブラーを可能にし得る。

図1は、単一の画像にするために複数のフレームが組み合わされるときに生じ得る、信号対ノイズ比の不連続性のグラフ100である。たとえば、画像は、第1のフレーム101、第2のフレーム103、および第3のフレーム105から構成され得る。これら3つのフレームの各々は、異なる露出時間を有する場合がある。

所与の画像センサーの場合、最大到達可能信号対ノイズ比(SNR)、SNRmax110が存在し得る。たとえば、最良のSNRは、画像センサーがそのウェルキャパシティに達したときに得られ得る。所与の光強度において、単一の画像は、最高のSNRを有するがフルウェルキャパシティに達していないフレームから受け取った画像情報に主に基づいている場合がある。たとえば、第1のフレーム101は、最大の光を受け取ったセンサーによって構成され得るので、最長の露出時間を有し、したがって、比較的低いレベルの光強度において最高のSNRを有し得る。しかしながら、比較的高いレベルの光強度では、第1のフレーム101は、そのフルウェルキャパシティに達し、飽和する場合があり、したがって、そのような比較的明るいエリアの詳細は失われる場合があり、代わりに第2のフレーム103または第3のフレーム105からの読出値が使用され得る。しかしながら、所与の光強度における各フレームのSNRは、各フレームが異なるレベルの光を受け取ったので、同じ光強度における他のフレームのSNRとは異なる場合がある。

したがって、異なる露出時間の3つのフレームが組み合わされるとき、2つのSNR遷移点が存在し得る。たとえば、遷移点115において、この値よりも小さい光強度を有するピクセルは、第1のフレーム101からの画像情報に主に基づいている場合があるが、この値を超える光強度を有するピクセルは、第2のフレーム103からの画像情報に基づいている場合がある。いくつかの態様では、遷移点115は、第1のフレーム101などの、比較的長い露出時間を有するフレームがフルウェルキャパシティに達する光のレベルを表し得る。グラフ100に示すように、この遷移点115において、遷移点115よりも小さい光強度を有するピクセルが高いSNRを示す一方で、遷移点115よりも大きい光強度を有するピクセルがはるかに低いSNRを示すという、大きいSNR不連続性が存在する場合がある。

図2Aは、画像をキャプチャするのに使用され得るピクセルの図230である。図230に示すピクセルは、各ピクセル内に4つのトランジスタを有するので、4トランジスタ(4T)ピクセルと呼ばれ得る。このピクセルでは、入射する光子が、シリコン基板内の電子と正孔のペアに変換される。次いで、光電子は、フォトダイオードDph240によって収集される。集積の開始時に、RST248とXFR244の両方は、ある量の時間の間は高く、トランジスタMrst252とMXFR256の両方をオンにする。CELLHI260が供給電圧である場合、このCELLHI260は、フォトダイオードDph240内のすべての電子を空にし、Dph240を既定の電圧に設定する。XFR244が低くなると、MXFR256はオフになり、Dph240は、光電子を収集し始め、その電圧は下がる。一般に、そのような光電子蓄積のレートは、ピクセル上で光る入射光の量に比例する。集積の最後に、典型的には、蓄積した電荷を読み出すために、いわゆる相関二重サンプリング(CDS)動作が使用され、短時間の間、RST248を高値に設定することにより第1のMrst252がオン/オフされ、第1のMrst252は浮遊ノード264(FN)をリセット電圧に設定する。次いで、SEL268信号が、高く設定され、ピクセルの読出しを可能にするためにMsel272をオンにする。いくつかの態様では、SEL268は、RST248が高値に設定されるとき、高く設定される場合もある。BUS276が電流源に接続される場合、Msf278は、ソースフォロワとして動作し、その結果、BUS276の電圧がFN264の電圧を追う。FN264のリセット電圧が読み出されると、MXFR256は、オンになり、Dph240内のすべての収集された光電子をFN264に放出し、したがって、FN264の電圧を低減する。この後、BUS276の電圧は、FN264の低減された電圧を追い、ソースフォロワを介して第2の読出しが実行される。2つの読出値間の差は、Dph240によって収集された光電子のために、ノードFN264上の電圧変化を与える。一般に、CDS動作は、いくつかの時間的ノイズと、トランジスタ変動の影響とを低減する。2つのXFR244パルス間、すなわちリセット用のパルスと読出し用のパルスとの間の時間差は、ピクセルの集積時間である。

図2Bは、いくつかのピクセルによって共有され得るバスの図280である。一般に、多数の、しばしば何百万のピクセルを含むピクセルアレイの場合、図2Aの様々な制御信号のすべてに個別に接続することは不可能である。代わりに、SEL285、RST286、およびXFR287は、1行のピクセルによって共有され得る水平バスであるが、BUSは、1列のピクセルによって共有される垂直バスである。図280では、CELLHI(図2AのCELLHI260など)自体は、アレイ内の各ピクセルに関して同じである場合があり、したがって、水平バスまたは垂直バスのいずれかとすることができる。SEL285、RST286、およびXFR287が水平バスである、この実装形態のために、行内の各ピクセルは、同じ集積時間を有し得る。

図2Cは、画像をキャプチャするために画像センサーアレイ上で使用され得るタイミング図200である。たとえば、画像センサーアレイは、i、i+1、i+2などとナンバリングされたいくつかのラインを含み得る。時刻210において、第1のラインi205上の画像センサーは、リセットされる場合があり、したがって、入射光を収集し始める場合がある。集積時間T220の後、時刻211において、第1のラインi205上の画像センサーが読まれ得る。すなわち、時刻211において、第1のラインi205上の画像センサーが、時刻210におけるその最後のリセット以降にどれほどの光を受け取ったかが決定され得る。時刻210と時刻211との間に第1のラインi205上の画像センサーからキャプチャされた情報は、第1のフレームの一部として使用され得る。この後、第1のラインi205上の画像センサーは、後続のフレームのキャプチャを開始するために、時刻212においてリセットされ得る。タイミング図200に示すように、各ラインは、同様にリセットされ読まれる場合があり、各読出しは各所与のライン上の同じ集積時間T220の後に起こる。したがって、このタイミング図に基づくタイミングは、各々が同じ露出時間を有するいくつかのフレームをキャプチャするために使用される場合がある。

しかしながら、そのようなタイミングの1つの欠点は、画像センサーが単一の露出時間を有する画像しかキャプチャすることができないことである。したがって、HDR画像にそのようなタイミング図を使用することが不可能である場合がある。HDR画像を生成するために、タイミング図200に基づく読出値を使用する場合があり、第1のフレームとして比較的長い露出フレームが取り込まれ、第2のフレームとして比較的短い露出フレームが取り込まれる。次いで、これらのフレームが組み合わされ得る。しかしながら、そのようなアプローチの1つの欠点は、2つのフレームが、同時にではなく、異なる時刻に取り込まれることである。したがって、写真の被写体が運動している場合、運動している被写体が比較的長い露出フレームおよび比較的短い露出フレーム内の異なる位置にある可能性があるので、この写真は、ぼやけた画像またはゴーストを生成する場合がある。

図2Dは、従来の画像センサーに関する巻上げシャッター動作のタイミング図1000である。この図1000は、図2Cの図200に示すようにセンサーが使用されるときの、様々なパルスのタイミングを示す。この図1000は、M行のピクセルを有するアレイに使用され得るタイミングを示す。最初に、時刻ゼロ1048において、短時間の間に、RST1とXFR1の両方をオンにすることによって第1の行の集積が開始し得る。このため、第1の行のすべてのフォトダイオードは、フォトダイオードの固定電圧に設定される。時刻Tline1050において、行2をリセットするために同様のシーケンスが繰り返され、時刻2*Tlineにおいて行3が続き、以下同様となる。このシーケンスは、最後の行、行Mが時刻(M-1)*Tline1056においてリセットされるまで続く。集積時間がT1と仮定すると、時刻T1 1052において、行1が読み出される。これは、浮遊ノードをリセットするためにRST1 1010をオン/オフし、リセットレベルを読み出すためにSEL1 1014をオンにし、フォトダイオードから浮遊ノードに電荷を放出するためにXFR1 1018をオン/オフし、次いでCDSを実行するために信号レベルを読み出すことを含む。1ライン時間の後、T1+Tline 1054において、上記で説明したように、同じプロシージャを使用して、行2が読み出される。このシーケンスは、各行が読み出されるまで続く。画像のキャプチャ中に各ピクセルが2つの動作シーケンス、すなわちリセットおよび読出しを有するので、各ピクチャフレームが2つの異なるフレーム、すなわちリセットフレームおよび読出しフレームから構成されると見なすことができる。上記で説明したフレーム、すなわちフレームNの場合、時刻ゼロ1048においてそのリセットフレームは開始し、時刻M*Tlineにおいて終了し、その読出しフレームは、時刻T1 1052において開始し、T1+M*Tlineにおいて終了する。行1がフレームNの読出しを終了すると、ここで、行1は、フレームN+1の集積を開始するためにリセットされ得る。フレームN+1をリセットし始める時刻は、フレーム時刻Tframe 1058と、フレームNとフレームN+1との間でフレームの集積時間が変化し得るかどうかとに依存し得る。フレームN+1の集積時間がフレームNの集積時間と同じ場合、フレームN+1は、時刻Tframe 1058においてリセットされる場合があり、上記で説明したシーケンスが繰り返され得る。この図に基づけば、リセットフレームは互いに重複せず、読出しフレームは互いに重複しないことが観測され得る。しかしながら、リセットフレームは、前の読出しフレームに重複する場合がある。

図3Aは、HDR画像をキャプチャするために画像センサーアレイ上で使用され得るタイミング図300である。タイミング図300では、偶数番号のラインは、タイミング図200のすべてのライン動作するのと同様に動作する。すなわち、図2Cの図200の各ラインがリセット(210)され、集積時間Tの後に読み出される(211)のと同様に、これらのラインの各々は、リセット(310)され、集積時間T1 330の後に読み出される(311)。

しかしながら、タイミング図300では、奇数番号のラインは、リセット(320)され、集積時間T2 331の後に読み出される(321)場合がある。集積時間T2 331は、集積時間T1 330よりも短い時間である場合がある。したがって、偶数番号のラインは、画像を構成するために集積時間T1 330を用いて組み合わされ得る。同様に、奇数番号のラインは、画像を構成するために集積時間T2 331を用いて組み合わされ得る。これら2つの画像は、HDR画像を形成するために単一の画像にするために組み合わされ得る。

このアプローチは、図2Cのタイミング図200におけるアプローチ全体では利点と欠点の両方を提供し得る。たとえば、このアプローチは、HDR画像の構成を可能にし得る。さらに、シーケンシャルな比較的長い露出フレームおよび比較的短い露出フレームを使用して構成され得るHDR画像と異なり、タイミング図300を使用して形成されたHDR画像内の2つのフレームが、ほぼ同時にキャプチャされる。2つのフレームが同時にキャプチャされることの1つの利点は、比較的短い露出画像と比較的長い露出画像の両方において、運動している物体がより類似した位置にあり得ることである。このことは、組み合わされた画像のぼけを低減する場合があり、組み合わされた画像のゴーストを低減する場合もある。タイミング図300の1つのトレードオフは、そのような組み合わされた画像の垂直方向の解像度が、タイミング図200を使用してキャプチャされた画像の垂直方向の解像度の半分である場合がある。たとえば、比較的長い露出画像および比較的短い露出画像の各々が、アレイのラインの半分のみを使用し得る。したがって、画像の各々の垂直方向の解像度は、全アレイを使用する画像の半分である場合がある。しかしながら、解像度のそのようなロスは、画像センサーが多数のラインを含むとき、大きい問題ではない場合があり、したがって、垂直方向の解像度のロスは、ぼけおよびゴーストの少ないHDR画像をキャプチャするためには、有益なトレードオフと見なされ得る。比較的短い露出フレームは、比較的長い露出フレームの露出時間に基づく露出時間を有し得る。たとえば、比較的短い露出フレームは、比較的長い露出フレームの露出時間の約10%、20%、25%、33%、50%、または何らかの他の割合となる露出時間を有し得る。いくつかの態様では、比較的長い露出フレームの露出時間は、シーンに存在する光の量に基づいている場合がある。たとえば、比較的長い露出フレームの露出時間は、キャプチャデバイスの一定の割合のピクセルがフルウェルキャパシティに達する長さとなるように構成され得る。たとえば、この割合は、ピクセルの5%、キャプチャデバイスのピクセルの10%、20%、または別の割合であり得る。いくつかの態様では、比較的短い露出フレームの長さは、比較的長い露出フレームの長さ、シーンに存在する光の量、または他の因子に基づ
いている場合がある。

図3Bは、画像センサーがHDR画像をキャプチャするための巻上げシャッター動作のタイミング図1100である。たとえば、このタイミング図は、図3Aのタイミング図300を示したタイミングなどのタイミングの実施形態に相当し得る。上記で説明したように、画像のダイナミックレンジを増加させる1つの技法は、画像の奇数行および偶数行に関する2つの異なる集積時間を使用することである。たとえば、奇数行は、比較的長い集積時間T1を有する場合があり、これらの行が暗いエリアのより詳細を示すことを可能にするが、偶数行は、比較的短い集積時間T2を有する場合があり、これらの行が明るいエリアのより詳細を示すことを可能にする。ビデオモードアプリケーションの場合、同じフレーム内で同様に行うことが有利である場合がある。この図を簡略化するために、各行は、個別の信号を示さないが、代わりに、「読出し」パルスおよび「リセット」パルスのみを示す。時刻ゼロ1160において、第1のラインが、RESET1 1110動作をすることによってリセットされる。時刻2*Tline1162において、ライン3は、RESET3 1126動作を使用してリセットされる。時刻Tlineにおいて、従来のイメージャは、ライン2をリセットする。しかしながら、このイメージャでは、ライン2は、比較的短い露出ラインであり、したがって、後々までリセットされる必要がない。しかしながら、ライン2は、RESET2 1114動作を使用して、時刻T1-T2+Tline1164まではリセットされない。このタイミングは、図1100のように、露出時間T1を有するラインと露出時間T2を有するラインとを含む各ラインを、Tlineの均等な空間の間隔において読み出すことを可能にするために決定される。たとえば、ライン1は、時刻T1 1166においてREAD1 1114動作を使用して読み出される。これに続いて、ライン2は、時刻T1+Tline 1168においてREAD2 1122動作を使用して読み出される。このプロシージャは、Mラインアレイの最後の行まで続く。

図1100では、読出しフレームは図2Dの図1000と同じままであるが、各行は逐次読み出され、リセットフレームは、2つの異なるフレーム、すなわち奇数行用のフレームと偶数行用のフレームに分割される。図1000と同様に、連続する読出しフレーム間の重複はない。しかしながら、リセットフレームと読出しフレームとの間の重複、または偶数行リセットフレームと奇数行リセットフレームとの間の重複が存在し得る。実際、偶数行および奇数行などの2つの異なる行からのピクセルは、同時にリセットされ得る。そのような同時リセットは、共通のCELLHIバスが十分な駆動能力を有することを必要とする。しかしながら、このことは、ピクセル行のリセットはそれほど大きい電力を消費しないので、問題にならない場合がある。この図1100は、白黒ピクセルに対して機能している可能性があるが、カラーアレイに対して容易に適合され得る。たとえば、2×2Bayer CFAパターンを有するカラー画像センサーでは、図1100の各行は、Bayerパターンにマッチングさせるために2つの行に拡張され得る。したがって、奇数対の行に対するリセットフレームと、偶数対の行に対する異なるリセットフレームとが存在する。

しかしながら、いくつかの態様では、各長時間露出フレームの代わりに複数の短時間露出フレームを使用することが有利である場合がある。複数の短時間露出フレームは互いに組み合わされる場合があり、この組み合わされたフレームは、この組み合わされたフレームのSNRを増加させ得る。したがって、あらゆる長時間露出フレームに代わる複数の短時間露出フレームにつながるピクセルアレイ読出し方式は、有利である場合がある。これらの短時間露出フレームは、センサーから読み出され、次いで、高忠実度の短時間露出フレームを生成するために平均化され得る。

図4Aは、複数の短時間露出フレームを使用してHDR画像をキャプチャするために画像センサーアレイ上で使用され得るタイミング図400である。タイミング図400は、いくつかの点でタイミング図300と同様であるが、1つの重要な差は、単一の長時間露出フレームの間にタイミング図400が複数の短時間露出フレームをキャプチャすることである。図3Aのタイミング図300と同様に、比較的長い露出フレームが、ピクセルのアレイの偶数番号のライン上でキャプチャされ得る。リセット410は、第1のライン上で起こり、集積時間T1 430の後、読出し411動作が続く。しかしながら、タイミング図300では、集積時間T1 430の間に単一の短時間露出フレームが取り込まれたが、タイミング図400では、集積時間T1 430の間に2つの短時間露出フレームが取り込まれ得る。

たとえば、ラインi+1上で、リセット420が起こり、集積時間T2 431の後に読出し421が続く場合がある。この後、別の読出し423が別のリセット422に続く場合がある。このタイミングは、各奇数番号のライン上で追随され得る。次いで、これら2つの比較的短い露出フレームは、たとえば、平均化によって、または被写体ぶれを最小化するための技法を含む他の技法を使用して互いに組み合わされ得る。次いで、組み合わされた比較的短い露出フレームは、偶数番号のライン上で同時にキャプチャされる比較的長い露出フレームと組み合わされ得る。組み合わされたHDR画像内の2つ以上の短時間露出フレームを使用することによって、組み合わされた比較的短い露出フレームが個々の比較的短い露出フレームの各々よりも高いSNRを有し得るので、SNRの不連続性が低減され得る。さらに、比較的長い露出フレームをキャプチャするのと同時に比較的短い露出フレームの両方をキャプチャすることによって、組み合わされた画像内の被写体ぶれおよびゴーストが低減され得る。タイミング図300と同様に、このアプローチは、組み合わされた画像内の垂直方向の解像度を低減する場合がある。しかしながら、高解像度の画像センサーの場合、解像度のこのロスは、問題にならない場合がある。

タイミング図400は、これらの偶数番号のラインが集積時間T1を使用し、奇数番号のラインが集積時間T2を使用する場合があることを示すが、集積時間T1を使用するピクセルと、集積時間T2を使用するピクセルとを分割するために他の方式が使用される場合もあることに留意されたい。たとえば、いくつかの態様では、ラインiのピクセルの半分が集積時間T1を使用し、ラインiのピクセルの半分が集積時間T2を使用するように、ディスプレイが構成され得る。たとえば、偶数および奇数のライン番号に基づいて図4Aのピクセルが分割されるが、他の分割法も可能であり得る。いくつかの態様では、代わりに、キャプチャデバイスのピクセルがどの列に入るかに基づいて、これらのピクセルをグループに分割することが有利である場合がある。いくつかの態様では、行および列全体にわたって比較的長い集積時間と比較的短い集積時間との間でピクセルを均一に分割することが有利である場合がある。たとえば、これらのピクセルは、チェッカーボードパターンに基づいて2つの集積時間に分割され得る。そのような分割法は、これがx方向およびy方向において比較的均一であるHDR画像の解像度ロスをもたらし得るので、有利でない場合がある。

図4Bは、複数の短時間露出フレームを使用して画像センサーがHDR画像をキャプチャするための巻上げシャッター動作のタイミングを示す別のタイミング図450である。この方式では、奇数行は、比較的長い集積時間T1とともに集積される。しかしながら、この時間中、偶数行は、比較的短い集積時間T2とともに2つのフレームをキャプチャする。したがって、奇数行上のすべての1つのリセットフレームおよび読出しフレームの代わりに偶数行上の2つの読出しフレームおよび2つのリセットフレームが存在する。

時刻ゼロ470において、フレームNは、RESET1 455を使用して行1をリセットすることによりリセットされ、Tline 471においてRESET2 257を使用して行2をリセットすることが続くなど、M行の各々がリセットされるまで続く。このフレームは、必要な場合、2つのリセットフレーム(1つの奇数および1つの偶数)に分割され得る、1つのフルリセットフレームである。たとえば、このフレームは、奇数行リセットフレームNと呼ばれることも、第1の偶数行リセットフレームNと呼ばれることもある。第1の偶数行リセットフレームNは時刻Tline 471において開始される必要がないことに留意されたい。第1の偶数行リセットフレームNは、第1の長時間露出フレームの集積時間の間の任意の時刻に開始されてもよい。

行2のリセット後、短い集積時間T2の後、時刻T2+Tline 472において1つの行2に関してREAD2 458動作が行われ、次いで、この後、順番に各偶数行に関して同様に行われる。これは、第1の偶数行読出しと呼ばれ得る。したがって、比較的短い露出フレームのうちの第1は、このようにキャプチャされ得る。

時刻T1-T2+Tline 473において、第2の偶数行リセットフレームが開始され得る。第1の偶数行リセットと同様に、このプロセスは、行2をリセットし、次いで行4をリセットするなどすることによって開始する。時刻T1において、奇数行読出しフレームおよび第2の偶数行読出しフレームから構成された完全な読出しフレームが開始し得る。これらの奇数の読出しフレームと偶数の読出しフレームは、1ライン時間遅れで交互配列され、したがって、任意のライン時間において、このフレームに関して1つの行のみが読み出される。奇数行読出しフレームと第2の偶数行読出しフレームは、相互結合され、同時に完了されるように示すが、これらは同時に行われる必要がないことに留意されたい。たとえば、第1の偶数行リセットフレームが奇数行リセットフレームに結合される必要がないのと同様に、これらの読出しフレームは、これらの読出しが同時に起こらないように奇数のライン時間によって分離される限り、互いに結合される必要もない。これにより、我々は、T2の間にビデオフレーム時間全体を完全に利用することが可能になる。第2の偶数行リセットフレームNのタイミングに関するただ1つの制約は、第1の偶数行読出しフレームNが開始した後に開始しなければならないことであり、第2の偶数行読出しフレームNは、第1の偶数行リセットフレームN+1の開始前に開始しなければならない。これらの条件に合わない場合、単一の行が前のフレームにおいて読み出される前に単一の行が次のフレームにおいてリセットされるようにスケジューリングされ、このリセットが、前のフレームからの集積信号を消去し、誤った読出値をもたらす。図450の図示したシーケンスは、ビデオフレームなどの各フレームに関して繰り返され得る。追加の偶数行読出しフレームを読み出すために、比較的高速のアナログ読出しチェインが、比較的高速のデータ出力インターフェースとともに実装される必要がある。

いくつかの態様では、3つ以上の比較的短い露出フレームが、比較的長い露出フレームと同時に取り込まれる場合がある。たとえば、図5Aは、3つの短時間露出フレームを使用してHDR画像をキャプチャするために画像センサーアレイ上で使用され得るタイミング図500である。タイミング図500では、ラインi501は集積時間T1 530とともに単一のフレームをキャプチャするが、ラインi+1 502は、各々が集積時間T2 531とともに、3つの比較的短い露出フレームをキャプチャする。より短い露出フレームをキャプチャすることは、組み合わされた比較的短い露出フレームから構成されたフレームのSNRを増加させることを助け得る。たとえば、単一の画像にするために3つの比較的短い露出フレームを組み合わせることは、同じ露出時間を有する2つの比較的短い露出フレームを組み合わせることよりも大きいSNRをもたらし得る。したがって、そのような組み合わされた画像がラインi 501などの偶数番号のライン上でキャプチャされた比較的長い露出フレームと組み合わされるとき、形成された画像のSNRの不連続性が低減され得る。

図5Bは、長時間露出フレームごとに3つの短時間露出フレームをキャプチャする画像センサーアレイのタイミング図550を示す。タイミング図550は、タイミング図450と同様である。しかしながら、タイミング図550は、奇数行リセットフレームの時間中の追加の偶数行リセットフレームおよび偶数行読出しフレームを含む。我々は2つの異なる行を同時に読み出すことができないので、これを回避するために、正確な読出しシーケンスが設定されなければならない。たとえば、各ライン時間の前半において奇数行読出しが起こる場合、我々は、各ライン時間の前半においても最後の(第3の)偶数行読出しを起こすことができるが、その理由は、これらの読出しが1ライン時間遅れで交互配列されるからである。たとえば、時刻T1 560に第1の行を読み出す場合があるが、時刻T1+Tline 561に第2の行を読み出す場合があるなど。その場合、第1の2つの偶数読出し行は、奇数行読出しフレームまたは第3の偶数行読出しフレームと競合しないように各ライン時間の後半に生じ得る。これは、第1の偶数行読出しフレームと第2の偶数行読出しフレームとの間の間隔であるTmid558に関する制約が存在することを意味し、Tmid558は、これら2つのフレームも1ライン時間の差で交互配列されるようにしなければならない。したがって、Tline556の偶数倍が、第1および第2の偶数読出しフレームからの2つのラインを同時に読み出すことを回避し、1ライン時間Tline556の差でライン読出しを交互配列するので、Tmid558は、Tline556の偶数倍でなければならない。

2つの偶数行読出しフレームに関する前の場合における同じ議論に続いて、上記で説明したタイミングは、奇数行リセットフレームに結合された第1の偶数行リセットフレームと、奇数行読出しフレームに結合された第3の偶数行読出しフレームとを有するが、我々は、そのような関係を分離し、偶数行読出し/リセットフレームをあちこちに移動させることができる。ただ1つの制約は、任意の時刻に、1つの行のみを読み出すことができ、次の偶数行リセットフレームの開始が現在の偶数行読出しフレームよりも前であってはならないことである。

図6Aは、より高い忠実度のフレームを生成するために複数の短時間露出フレームを使用してフレーム積層する1つの方法の図である。この方法は、セルラー電話またはデジタルカメラなどの、デジタル画像をキャプチャするためのデバイスによって行われる場合がある。この方法は、図4Aのタイミング図400とともに使用され得る。ブロック602では、時間的に重複した比較的短い露出フレームをサポートする画像センサーは、露出時間T2を有する2つのフレーム605a、605bと、比較的長い露出時間T1を有する1つのフレーム604とを含む3つのフレームをキャプチャし得る。これら3つのフレームは、他の画像センサーと比較してより高い帯域幅読出しを介して伝送され得る。これら3つのフレームは、タイミング図400に示されるように画像センサータイミングを使用してキャプチャされ得る。

ブロック606では、露出時間T2を有する2つの比較的短い露出フレーム605a、605bが、フレーム平均化606を使用して組み合わされ得る。いくつかの態様では、このフレーム平均化606は、2つのフレーム605a、605b内の各ピクセルのピクセル値の単純な平均をとることを含み得る。いくつかの態様では、フレーム平均化は、2つのフレーム間の動きを検出し、ぼけまたはゴーストの少ない組み合わされた画像を生成しようとし得る技法などの、動き補償のいくつかの技法も含み得る。いくつかの態様では、フレーム平均化606は、加重平均を使用することを含み得る。したがって、2つの比較的短い露出フレーム605a、605bは、依然として露出時間T2を有する単一の高忠実度のフレーム608にするために組み合わされ得る。高忠実度のフレーム608が、フレーム平均化606などによって互いに組み合わされた2つのフレーム605a、605bから構成されるので、高忠実度のフレーム608は、2つの比較的短い露出フレーム605a、605bの各々よりもノイズが少ない場合がある。

最終的に、高忠実度のHDRフレーム612は、高忠実度のフレーム608を比較的長い露出フレーム609と組み合わせることによって生成され得る。この組合せは、高忠実度のフレーム608を比較的長い露出フレーム609で線形化およびブラインド化(610)することを含み得る。このHDRフレーム612は、高忠実度のフレーム608または比較的長い露出フレーム609のいずれかよりも高いダイナミックレンジを有し得る。たとえば、高忠実度のフレーム608は、その比較的短い露出時間T2のために、画像の薄暗く光るエリアのいくつかの詳細が欠けている場合がある。同様に、比較的長い露出フレーム609は、画像の明るく光るエリアが比較的長い露出時間T1の間にそのフルウェルキャパシティに達し得るので、これらのエリアのいくつかの詳細が欠けている場合がある。しかしながら、高忠実度のHDRフレーム612は、写真の明るいエリアと薄暗いエリアの両方のこれらの詳細を含み得る。さらに、高忠実度のフレーム608の比較的高いSNRのために、高忠実度のHDRフレーム612は、露出時間T2を有する単一のフレームと比較して、他のタイプのHDRフレームよりも小さいSNRの不連続性を有する場合がある。

図6Bは、より高い忠実度のフレームを生成するために3つの短時間露出フレームを使用してフレーム積層する提案された方法の図である。この方法は、セルラー電話またはデジタルカメラなどの、デジタル画像をキャプチャするためのデバイスによって行われる場合がある。この方法は、図5Aに示すタイミング図500とともに使用され得る。図6Aに示す方法と図6Bの方法との間の差は、図6Bの方法が、2つの比較的短い露出フレームではなく、3つの比較的短い露出フレーム605c、605d、605eを使用することである。追加の比較的短い露出フレームの使用は、高忠実度のフレーム608aのSNRをさらに増加させ得る。いくつかの態様では、高忠実度のフレーム608aを形成するために、任意の数の比較的短い露出フレームが組み合わされ得る。いくつかの態様では、使用される比較的短い露出フレームが多いほど、高忠実度のフレーム608aのSNRは高くなる。

図7は、追加の比較的短い露出フレームを使用することによって得られ得るSNRの改善を示す。たとえば、グラフ700は、ライン710によって表される、露出T2を有する単一の比較的短い露出フレームを使用することから、ライン720によって表される、露出時間T2を有する複数のフレームを積層することによって構成されるフレームのSNRへのSNRの改善を示す。グラフ700が示すように、同じ露出時間T2を有する追加のフレームを積層することは、個別のフレームと比較して、積層された画像のSNRを増加させる。同様に、ますます多くのフレームを積層することによって、SNRが改善され続ける。しかしながら、追加のフレームを追加することは、運動している物体がぼやけて見えるか、またはゴーストを示し得る可能性も増加させ得る。したがって、いくつかの態様では、SNRを最大化しながらゴーストを最小化することに基づいて数が選択される、いくつかの数の比較的短い露出フレームを積層することが望ましい場合がある。たとえば、図4Aのタイミング図400または図5Aのタイミング図500に示すタイミングなどを使用して、比較的長い露出フレームが取り込まれる時間の間にすべてが取り込まれる、いくつかの数の比較的短い露出フレームを積層するのが望ましい場合がある。

図8は、HDR画像をキャプチャする例示的な方法800である。この方法は、デジタルカメラ、セルフォン、または画像センサーを含む別のデバイスなどの、デジタルデバイスによって行われる場合がある。

ブロック802において、方法800は、第1の露出時間を決定する。たとえば、この露出時間は、デジタルデバイスのインターフェースを使用して露出時間を選択するユーザなどの、ユーザの入力に基づいて決定され得る。いくつかの態様では、第1の露出時間は、キャプチャされるシーン内に見出される光レベルに少なくとも部分的に基づいて決定され得る。たとえば、第1の露出時間は、ピクセルの5%、10%、20%または別の割合などの、イメージングデバイスの一定の割合のピクセルが、フルレンジ出力に達することを可能にするように構成された露出時間であり得る。いくつかの態様では、第1の露出時間は、所与のシーンにおいて検出される移動量に基づいている場合がある。第1の露出時間は、単独の、または互いに組み合わせた、また他の因子と組み合わせた、上記の因子のいずれかに基づいている場合がある。

ブロック805において、方法800は、第1の露出時間を有する第1の画像をキャプチャする。この画像は、画像センサー上のピクセルの第1のサブセットを使用してキャプチャされる。たとえば、ピクセルの第1のサブセットは、ピクセルの奇数番号の行などの、ピクセルのラインのサブセットであり得る。いくつかの態様では、ピクセルを偶数行および奇数行に分割するなど、ピクセルをピクセルの2つ以上のサブセットに分割する場合がある。

ブロック807において、方法800は、第1の露出時間よりも短い第2の露出時間を決定する。たとえば、第2の露出時間は、キャプチャされるシーン内の光レベルに基づいている場合がある。第2の露出時間は、第1の露出時間に基づいている場合もある。たとえば、第2の露出時間は、第1の露出時間の約10%、20%、25%、33%、50%、または何らかの他の割合などの、第1の露出時間の何らかの割合に基づいている場合がある。いくつかの態様では、デジタルデバイスが、第1の露出時間を有する単一の比較的長い露出フレームをキャプチャする間に第2の露出時間を有する特定の数の比較的短い露出フレームをキャプチャすることを可能にするために、第1の露出時間を第2の露出時間の基礎とすることが有利である場合がある。

ブロック810において、次いで、方法800は、画像センサー上のピクセルの第2のサブセット上で第2の露出時間を有する複数の画像をキャプチャするが、第2の露出時間は第1の露出時間よりも短く、複数の画像は第1の画像のキャプチャと同時にキャプチャされる。たとえば、ピクセルの第1のサブセットが第1の画像をキャプチャしている間に、ピクセルの第2のサブセットは、2つ以上の画像をキャプチャし得る。たとえば、ピクセルの第2のサブセットは、画像センサー上のピクセルのアレイの偶数番号のラインであり得る。ピクセルの第2のサブセットは、いくつかの態様では、ピクセルの第1のサブセットが1つの画像をキャプチャする間に、2つ、3つ、またはそれよりも多い画像をキャプチャし得る。これらの画像の各々は、ピクセルの第2のサブセット上で逐次キャプチャされ得る。

ブロック815において、方法800は、第2の画像にするために第2の露出時間を有する複数の画像を組み合わせる。たとえば、この組合せは、画像間の平均または加重平均を使用することによって行われ得る。この組み合わされた画像は、複数の画像の各個々の画像よりもノイズが少ない場合がある。ブロック820において、方法800は、第1の画像と第2の画像とを組み合わせる。この組み合わされた画像は、ピクセル平均化、加重ピクセル平均、または他の画像組合せ技法を使用して構成され得る。いくつかの態様では、組み合わされた画像は、第1の露出時間を有する画像、または第2の露出時間を有する画像のいずれかよりも高いダイナミックレンジを有するHDR画像であり得る。

図9は、画像センサー915に動作可能に結合されたプロセッサ920を含む構成要素のセットを有するデバイス900のハイレベルブロック図を示す。作業メモリ905、記憶域910、およびメモリ930は同様に、プロセッサと通信し、プロセッサに動作可能に接続される。デバイス900は、デジタルカメラ、セルフォン、または別のデバイスなどの、デジタル写真および/またはビデオを撮影するように構成されたデバイスであり得る。画像センサー915は、画像のいくつかのピクセルをキャプチャするように構成され得る。任意の数のそのようなピクセルが、デバイス900上に含まれ得る。画像センサー上のピクセルは、格子を形成するために、いくつかの行および列で配置され得る。

プロセッサ920は、汎用処理ユニット、または開示した方法のために特別に設計されたプロセッサであり得る。図示するように、プロセッサ920は、メモリ930および作業メモリ905に接続される。図示の実施形態では、メモリ930は、画像キャプチャモジュール935、画像組合せモジュール940、およびオペレーティングシステム945を記憶する。これらのモジュールは、様々なタスクを実行するようにプロセッサを構成する命令を含む。作業メモリ905は、メモリ930のモジュール内に含まれるプロセッサ命令の作業セットを記憶するためにプロセッサ920によって使用され得る。代替的に、作業メモリ905は、デバイス900の動作中に生成された動的なデータを記憶するためにプロセッサ920によって使用される場合もある。

上述のように、プロセッサ920は、メモリに記憶されたいくつかのモジュールによって構成される。たとえば、画像キャプチャモジュール935は、画像センサー915を使用して1つまたは複数の画像をキャプチャするようにプロセッサ920を構成する命令を含み得る。たとえば、画像キャプチャモジュール935は、画像センサー915のピクセルの第2のサブセットで複数の画像を同時にキャプチャしながら、画像センサー915のピクセルの第1のサブセットで第1の画像をキャプチャするようにプロセッサ920を構成する命令を含み得る。たとえば、このことにより、第1の露出時間よりも短い第2の露出時間を有する複数の画像を画像センサー915の第2のサブセットピクセル上でキャプチャしながら、第1の露出時間を使用してピクセルの第1のサブセット上で第1の画像をキャプチャすることが可能になり得る。

メモリ930は、画像組合せモジュール940も含み得る。画像組合せモジュール940は、画像センサー915から信号を受信し、単一のフレームにするために画像センサー915からのいくつかのフレームを組み合わせるようにプロセッサ920を構成する命令を含み得る。いくつかの態様では、画像組合せモジュール940は、上記で説明した画像キャプチャプロセスを使用してキャプチャされたフレームを組み合わせるために、画像キャプチャモジュール935と並列に動作するように構成され得る。

オペレーティングシステムモジュール945は、デバイス900のメモリおよび処理リソースを管理するようにプロセッサを構成する。たとえば、オペレーティングシステムモジュール945は、画像センサー915または記憶域910などのハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上記で説明したモジュールに含まれる命令は、これらのハードウェアリソースと直接は相互作用しないが、代わりに、オペレーティングシステム構成要素945にある標準的なサブルーチンまたはAPIを介して相互作用し得る。その場合、オペレーティングシステム945内の命令は、これらのハードウェア構成要素と直接相互作用し得る。

プロセッサ920は、データを記憶モジュール910に書き込む場合がある。記憶モジュール910が従来のディスクデバイスとして図式的に表されているが、複数の実施形態は、ディスクベースの記憶デバイス、またはメモリディスク、USBドライブ、フラッシュドライブ、リモート接続された記憶媒体、仮想ディスクドライバなどを含むいくつかの他のタイプの記憶媒体のうちの1つのいずれかを含み得ることを当業者は理解されよう。

図9は、プロセッサを含む別個の構成要素とメモリを含む別個の構成要素とを有するデバイスを示すが、特定の設計目的を実現するための様々な方法でこれらの別個の構成要素を組み合わせることができることを当業者は認識されよう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し性能を改善するためにプロセッサ構成要素と組み合わされ得る。

さらに、図9は、いくつかのモジュールを有するメモリ構成要素930と、作業メモリを有する別個のメモリ905とを含むように2つのメモリ構成要素を示すが、いくつかの実施形態が様々なメモリアーキテクチャを利用することを当業者は認識されよう。たとえば、ある設計は、メモリ930に含まれるモジュールを実施するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用し得る。代替的に、プロセッサ命令は、デバイス900に統合されるか、または外部のデバイスポートを介して接続されるディスク記憶デバイスからのシステム起動時に読み出され得る。その場合、プロセッサ命令は、プロセッサによる実行を容易にするためにRAMにローディングされ得る。たとえば、作業メモリ905は、命令がプロセッサ920によって実行される前に作業メモリ905にローディングされる、RAMメモリであり得る。

本明細書において「第1の」、「第2の」などの呼称を用いる要素へのいかなる参照も、一般的には、それらの要素の量または順序を限定するものではないことを理解されたい。むしろ、これらの呼称は、2つ以上の要素の間、または要素の実例の間を区別する都合のよい方法として本明細書において用いられる場合がある。したがって、第1の要素および第2の要素への参照は、そこで2つの要素しか利用できないこと、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。また、別段に記載されていない限り、1組の要素は1つまたは複数の要素を含む場合がある。

当業者には、情報および信号が、様々な異なる技術および技法のいずれかを使用して表され得ることを理解されよう。たとえば、上記の説明全体にわたって参照される場合があるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表されてもよい。

さらに、本明細書で開示した態様に関して説明した様々な例示的な論理ブロック、モジュール、プロセッサ、手段、回路、およびアルゴリズムステップのいずれかが、電子ハードウェア(たとえば、ソースコーディングまたは何らかの他の技法を使用して設計され得る、デジタル実装形態、アナログ実装形態、またはそれら2つの組合せ)、命令を組み込んだ様々な形態のプログラムもしくは設計コード(便宜上、本明細書では「ソフトウェア」または「ソフトウェアモジュール」と呼ばれ得る)、または両方の組合せとして実装され得ることを当業者は諒解されよう。ハードウェアとソフトウェアとのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、これまで概してそれらの機能の観点から説明されてきた。そのような機能が、ハードウェアとして実装されるのか、それともソフトウェアとして実装されるのかは、具体的な適用例およびシステム全体に課せられる設計制約によって決まる。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱をもたらすものと解釈されるべきではない。

本明細書で開示した態様に関しかつ図1〜図9に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、集積回路(IC)、アクセス端末、またはアクセスポイント内に実装され得るか、またはそれらによって実施され得る。ICは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、電気的構成要素、光学的構成要素、機械的構成要素、または本明細書で説明する機能を実施するように設計されたそれらの任意の組合せを含み得、ICの内部に、ICの外側に、またはその両方に常駐するコードまたは命令を実行し得る。論理ブロック、モジュール、および回路は、ネットワーク内またはデバイス内の様々な構成要素と通信するためにアンテナおよび/またはトランシーバを含んでもよい。汎用プロセッサはマイクロプロセッサであり得るが、代替実施形態では、プロセッサは、任意の従来型プロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサは、コンピューティングデバイスの組合せ、たとえばDSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連結した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されてもよい。これらのモジュールの機能は、本明細書で教示する何らかの他の方式で実装され得る。(たとえば、添付の図面のうちの1つまたは複数に関して)本明細書で説明する機能は、いくつかの態様では、添付の特許請求の範囲における、同様に指定された「手段」機能に対応し得る。

ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信されてもよい。本明細書で開示した方法またはアルゴリズムのステップは、コンピュータ可読媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュール内で実施され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能になり得る任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされる場合がある任意の利用可能な媒体であってもよい。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用され得るとともに、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ぶことができる。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスク、およびblue-ray(登録商標)ディスクを含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。加えて、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せまたはセットとして、コンピュータプログラム製品に組み込まれ得る機械可読媒体およびコンピュータ可読媒体上に存在することができる。

開示するプロセスにおけるステップのいかなる特定の順序または階層も、見本の手法の一例であることを理解されたい。設計上の選好に基づいて、本開示の範囲内のままでありながら、プロセスにおけるステップの特定の順序または階層が再構成され得ることを理解されたい。添付の方法クレームは、様々なステップの要素を例示的な順序で提示したものであり、提示された特定の順序または階層に限定されるものではない。

当業者には、本開示において説明した実装形態の様々な修正形態が容易に明らかになろう。本明細書において定められた一般原則は、本開示の趣旨または範囲から逸脱せずに他の実装形態に適用されてもよい。したがって、本開示は、本明細書において示されている実装形態に限定されるものではなく、特許請求の範囲、本明細書において開示された原則および新規の特徴に整合した最も広い範囲が与えられるべきである。「例示的な」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味することのみを目的に使用される。本明細書で「例示的な」と記載されるいかなる実装形態も、必ずしも他の実装形態よりも好ましいか、または有利であると解釈されるべきではない。

本明細書において別々の実装形態の文脈で説明したいくつかの特徴は、単一の実装形態において組み合わされて実現されてもよい。逆に、単一の実装形態の文脈で説明した様々な特徴を複数の実装形態において別々に実現しても、または任意の適切な部分組合せとして実現してもよい。さらに、特徴は、上では、場合によっては特定の組合せで作用するものとして説明されており、さらには最初はそのようなものとして特許請求することも可能であるが、特許請求される組合せからの1つまたは複数の特徴は、いくつかのケースでは、組合せから削除することができ、また、特許請求される組合せは、部分組合せまたは部分組合せの変形形態を対象とすることも可能である。

同様に、動作は、特定の順序で図面に示されているが、これは、そのような動作が図示した特定の順序またはシーケンシャルな順序で実行されることを、または、所望の結果を達成するためにすべての示された動作が実行されることを必要とするものとして理解されるべきではない。ある状況では、マルチタスキングおよび並列処理が有利である場合がある。さらに、上記で説明した各実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離が必要とされるものと理解されるべきではなく、前述のプログラム構成要素およびシステムが概して単一のソフトウェアプロダクトとして一体化されるかまたは複数のソフトウェアプロダクトとしてパッケージ化されてもよいことを理解されたい。また、他の実装形態も以下の特許請求の範囲の範囲内である。場合によっては、特許請求の範囲に記載された動作を異なる順序で実行してもよく、しかも望ましい結果を実現することができる。

101 第1のフレーム
103 第2のフレーム
105 第3のフレーム
110 最大到達可能信号対ノイズ比
115 遷移点
240 フォトダイオードDph
244 XFR
248 RST
252 トランジスタMrst
256 トランジスタMXFR
260 供給電圧、CELLHI
264 浮遊ノード、FN
268 SEL
272 Msel
276 BUS
278 Msf
285 SEL
286 RST
287 XFR
205 第1のライン
210 リセット時刻
211 読出し時刻
212 リセット時刻
220 集積時間
310 リセット時刻
311 読出し時刻
320 リセット時刻
321 読出し時刻
330 集積時間T1
331 集積時間T2
410 リセット時刻
411 読出し時刻
420 リセット時刻
421 読出し時刻
422 別のリセット時刻
423 別の読出し時刻
501 ラインi
502 ラインi+1
530 集積時間T1
531 集積時間T2
602時間的に重複した比較的短い露出フレームをサポートする画像センサー
604 比較的長い露出時間T1を有するフレーム
605a 露出時間T2を有するフレーム
605b 露出時間T2を有するフレーム
605c 露出時間T2を有するフレーム
605d 露出時間T2を有するフレーム
605e 露出時間T2を有するフレーム
606 フレーム平均化
608 高忠実度のフレーム
608a 高忠実度のフレーム
609 比較的長い露出フレーム
610 線形化およびブラインド化
612 高忠実度のHDRフレーム
710 露出T2を有する単一の比較的短い露出フレームを使用するSNRライン
720 露出時間T2を有する複数のフレームを積層することによって構成されるフレームのSNRライン
900 デバイス
905 作業メモリ
910 記憶域
915 画像センサー
920 プロセッサ
930 メモリ
935 画像キャプチャモジュール
940 画像組合せモジュール
945 オペレーティングシステムモジュール

Claims (15)

1. 高ダイナミックレンジ画像をキャプチャする方法であって、
   画像センサー上のピクセルの第1のサブセット上で、第1の露出時間を有する第1の画像をキャプチャするステップと、
   前記画像センサー上のピクセルの第2のサブセット上で、第2の露出時間を有する複数の画像をキャプチャするステップであって、前記第2の露出時間が前記第1の露出時間よりも短く、前記複数の画像が、前記第1の画像のキャプチャ中に逐次キャプチャされる、ステップと、
   第2の画像にするために第2の露出時間を有する前記複数の画像を組み合わせるステップと、
   高ダイナミックレンジ画像を形成するために前記第1の画像と前記第2の画像とを組み合わせるステップと
   を含み、
   前記第2の露出時間を有する前記画像の数は、前記第2の画像のゴーストを最小化しながら、前記第2の画像の信号対ノイズ比(SNR)を最大化することに基づいて選択される、方法。
2. ピクセルの前記第1のサブセットが、ピクセルアレイの第1の複数のピクセルラインを含み、ピクセルの前記第2のサブセットが、ピクセルアレイの第2の複数のピクセルラインを含む、請求項1に記載の方法。
3. 前記第1の複数のピクセルラインおよび前記第2の複数のピクセルラインが互いにインターレースされる、請求項2に記載の方法。
4. 前記複数の画像が2つの画像を含む、請求項1に記載の方法。
5. 前記複数の画像が3つの画像を含む、請求項1に記載の方法。
6. 高ダイナミックレンジ画像をキャプチャするための電子デバイスであって、
   ピクセルの第1のサブセットとピクセルの第2のサブセットとを含む複数のピクセルを含むCMOS可視画像センサーと、
   ピクセルの前記第1のサブセット上で、第1の露出時間を有する第1の画像をキャプチャすることと、
   ピクセルの第2のサブセット上で、第2の露出時間を有する複数の画像をキャプチャすることであって、前記第2の露出時間が前記第1の露出時間よりも短く、前記複数の画像が、前記第1の画像のキャプチャ中に逐次キャプチャされる、ことと、
   第2の画像にするために第2の露出時間を有する前記複数の画像を組み合わせることと、
   高ダイナミックレンジ画像を形成するために前記第1の画像と前記第2の画像とを組み合わせることと
   を行うように構成されたプロセッサと
   を含み、
   前記第2の露出時間を有する前記画像の数は、前記第2の画像のゴーストを最小化しながら、前記第2の画像の信号対ノイズ比(SNR)を最大化することに基づいて選択される、電子デバイス。
7. ピクセルの前記第1のサブセットが、ピクセルアレイの第1の複数のピクセルラインを含み、ピクセルの前記第2のサブセットが、ピクセルアレイの第2の複数のピクセルラインを含む、請求項6に記載の電子デバイス。
8. 前記第1の複数のピクセルラインおよび前記第2の複数のピクセルラインが互いにインターレースされる、請求項7に記載の電子デバイス。
9. 前記複数の画像が2つの画像を含む、請求項6に記載の電子デバイス。
10. 前記複数の画像が3つの画像を含む、請求項6に記載の電子デバイス。
11. 高ダイナミックレンジ画像をキャプチャするための電子デバイスであって、
    画像センサー上のピクセルの第1のサブセット上で、第1の露出時間を有する第1の画像をキャプチャするための手段と、
    画像センサー上のピクセルの第2のサブセット上で、第2の露出時間を有する複数の画像を同時にキャプチャするための手段であって、前記第2の露出時間が前記第1の露出時間よりも短く、前記複数の画像が、前記第1の画像のキャプチャ中に逐次キャプチャされる、手段と、
    第2の画像にするために第2の露出時間を有する前記複数の画像を組み合わせるための手段と、
    高ダイナミックレンジ画像を形成するために前記第1の画像と前記第2の画像とを組み合わせるための手段と
    を含み、
    前記第2の露出時間を有する前記画像の数は、前記第2の画像のゴーストを最小化しながら、前記第2の画像の信号対ノイズ比(SNR)を最大化することに基づいて選択される、電子デバイス。
12. ピクセルの前記第1のサブセットが、ピクセルアレイの第1の複数のピクセルラインを含み、ピクセルの前記第2のサブセットが、ピクセルアレイの第2の複数のピクセルラインを含む、請求項11に記載の電子デバイス。
13. 前記第1の複数のピクセルラインおよび前記第2の複数のピクセルラインが互いにインターレースされる、請求項12に記載の電子デバイス。
14. 前記複数の画像が2つの画像を含む、請求項11に記載の電子デバイス。
15. 前記複数の画像が3つの画像を含む、請求項11に記載の電子デバイス。