JP7000157B2 - ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法 - Google Patents

Description

発明の分野
本発明は写真撮影システムに関し、より特定的には、ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法に関する。

背景
旧来のデジタル写真撮影システムは、捕捉中の画像センサのダイナミックレンジによって本質的に制限されている。そのような制限に対する１つの解決策は、高ダイナミックレンジ（ＨＤＲ）写真撮影の使用である。ＨＤＲ写真撮影は、同じシーンの多重露光を捕捉することを伴い、当該露光の各々は異なって計測され、次いで、当該多数の捕捉を併合してより大きいダイナミックレンジを有する画像を作成することを伴う。

概要
ゼロのフレーム間時間で多重露光を得るためのシステム、方法、およびコンピュータプログラム製品が提供される。使用時、画像センサの少なくとも１つの画素から、画像と関連付けられている第１のアナログ信号が受信される。次に、第１のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第１の増幅アナログ信号が生成される。さらに、第２のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第２の増幅アナログ信号が生成される。最後に、第１の増幅アナログ信号および第２の増幅アナログ信号が送信される。

一実施形態において、装置は、画像センサの少なくとも１つの画素から画像と関連付けられているアナログ信号を受信し、第１のゲインを利用してアナログ信号を増幅することによって画像と関連付けられている第１の増幅アナログ信号を生成するための回路を含む。また、第２のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第２の増幅アナログ信号が生成される。さらに、第１の増幅アナログ信号および第２の増幅アナログ信号は送信される。

一実施形態において、アナログ信号は、第２のゲインを利用するアナログ信号の増幅と同時に第１のゲインを利用して増幅される。別の実施形態において、アナログ信号は、第２のゲインを利用するアナログ信号の増幅と直列的に第１のゲインを利用して増幅される。

別の実施形態において、第１の増幅アナログ信号は画像と関連付けられている第１のデジタル信号に変換され、第２の増幅アナログ信号は画像と関連付けられている第２のデジタル信号に変換される。別の実施形態において、第１の増幅アナログ信号は、第２の増幅アナログ信号の第２のデジタル信号への変換と並行して第１のデジタル信号に変換される。一実施形態において、第１のデジタル信号に第１の光感度値が関連付けられており、第２のデジタル信号に第２の光感度値が関連付けられている。

一実施形態において、第１のデジタル信号および第２のデジタル信号はブレンドされる。別の実施形態において、第１のデジタル信号および第２のデジタル信号はユーザ入力に応答してブレンドされる。別の実施形態において、スライディング標識が表示され、ユーザがスライディング標識を操作したことに応答して第１のデジタル信号と第２のデジタル信号とがブレンドされる。

一実施形態において、第１のデジタル信号と第２のデジタル信号とが結合されることによって、高ダイナミックレンジ（ＨＤＲ）画像の少なくとも一部が得られる。また、別の実施形態において、画像と関連付けられている第１のデジタル信号または第２のデジタル信号の少なくとも一方は、別の画像の少なくとも一部とさらに結合される。一実施形態において、第１のデジタル値が第１のゲインを指定し、第２のデジタル値が第２のゲインを指定する。

一実施形態において、第１のデジタル値および第２のデジタル値の少なくとも一方は、第１のデジタル値および第２のデジタル値の少なくとも一方からＩＳＯ値へのマッピングに基づいて選択され、ＩＳＯ値は、装置上で実行されるソフトウェアおよびユーザの少なくとも一方によって選択される。

一実施形態において、別の画像は高ダイナミックレンジ（ＨＤＲ）画像である。さらに、別の実施形態において、第１の増幅アナログ信号および第２の増幅アナログ信号の各々は、画像センサの少なくとも１つの画素からの共通のアナログ値を表すゲイン調整されたアナログ画素データを含む。

一実施形態において、第１のデジタル信号または第２のデジタル信号の少なくとも一方がネットワーク上で転送される。また、一実施形態において、第１のデジタル信号または第２のデジタル信号の少なくとも一方が遠隔で結合されるようにネットワークで転送されることによって、高ダイナミックレンジ（ＨＤＲ）画像の少なくとも一部が得られる。さらに、一実施形態において、第１のデジタル信号または第２のデジタル信号の少なくとも一方が遠隔で結合されるようにネットワーク上で転送され、結合によって得られる高ダイナミックレンジ（ＨＤＲ）画像の少なくとも一部が受信される。

一実施形態において、非一時的なコンピュータ読取可能媒体上で具体化されたコンピュータプログラム製品は、画像センサの少なくとも１つの画素からの画像と関連付けられているアナログ信号の受信を可能にするためのコードと、第１のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第１の増幅アナログ信号を生成するためのコードとを含む。また、第２のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第２の増幅アナログ信号を生成するためのコードが提供される。さらに、第１の増幅アナログ信号および第２の増幅アナログ信号を送信するためコードが提供される。

一実施形態において、方法は、画像センサの少なくとも１つの画素から画像と関連付けられているアナログ信号を受信することと、第１のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第１の増幅アナログ信号を得ることとを含む。また、第２のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第２の増幅アナログ信号が得られる。さらに、第１の増幅アナログ信号および第２の増幅アナログ信号は送信される。

１つの可能な実施形態に従うゼロのフレーム間時間で多重露光を得るための例示的なシステムを示す図である。 一実施形態に従うゼロのフレーム間時間で多重露光を得るために実行される例示的な方法を示す図である。 ある実施形態に従うゼロのフレーム間時間で多重露光を得るように構成されたデジタル写真撮影システムを示す図である。 一実施形態に係るデジタル写真撮影システム内のプロセッサ複合体を示す図である。 ある実施形態に従うデジタルカメラを示す図である。 別の実施形態に従うワイヤレスモバイルデバイスを示す図である。 一実施形態に係る画像をサンプリングするように構成されたカメラモジュールを示す図である。 別の実施形態に係る画像をサンプリングするように構成されたカメラモジュールを示す図である。 ある実施形態に従うアプリケーションプロセッサと通信しているカメラモジュールを示す図である。 別の実施形態に従うネットワークサービスシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 ある実施形態に従うアナログ画素データをデジタル画素データに変換するためのシステムを示す図である。 別の実施形態に従うアナログ信号のアナログ画素データをデジタル画素データに変換するためのシステムを示す図である。 他の実施形態に従うアナログ信号を増幅するためのさまざまなタイミング構成を示す図である。 一実施形態に従うアナログ画素データをデジタル画素データの多数の信号に並列的に変換するためのシステムを示す図である。 ある実施形態に係る結合画像を生成するためのユーザインターフェイスシステムを示す図である。 一実施形態に係る結合画像を生成するための方法ステップのフロー図である。 別の実施形態に係るネットワークを利用して結合画像を生成するためのメッセージシーケンスを示す図である。

詳細な説明
図１は、１つの可能な実施形態に従うゼロのフレーム間時間で多重露光を得るためのシステム１００を示す。選択肢として、システム１００は本明細書に開示されている図面のうちのいずれかの図面の文脈において実現されてもよい。しかし、当然、システム１００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

示されるように、信号増幅器１３３は画像センサ１３２からアナログ信号１０４を受信する。アナログ信号１０４を受信したことに応答して、信号増幅器１３３は第１のゲインを利用してアナログ信号１０４を増幅し、第１の増幅アナログ信号１０６を送信する。さらに、アナログ信号１０４を受信したことに応答して、信号増幅器１３３はさらに第２のゲインを利用してアナログ信号１０４を増幅し、第２の増幅アナログ信号１０８を送信する。

具体的な一実施形態において、アナログ信号１０６およびアナログ信号１０８は共通の電気配線上で送信される。代替の実施形態では、アナログ信号１０６およびアナログ信号１０８は異なる電気配線上で送信される。

一実施形態において、画像センサ１３２によって生成されるアナログ信号１０４は、画像センサ１３２上に合焦された光学画像の電子表現を含む。そのような実施形態では、光学画像はレンズによって画像センサ１３２上に合焦されてもよい。光学画像の電子表現は空間色強度情報を含んでいてもよく、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。一実施形態において、光学画像は写真撮影シーンの光学画像であってもよい。

一実施形態において、画像センサ１３２は、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、または電荷結合素子（ＣＣＤ）画像センサ、またはその他の技術的に実行可能な形態の画像センサを含んでいてもよい。

ある実施形態において、信号増幅器１３３はトランスインピーダンス増幅器（ＴＩＡ）を含んでいてもよく、当該増幅器は、デジタルゲイン値によってなどで、選択されたゲインをアナログ信号１０４に与えるように動的に構成されてもよい。たとえば、ＴＩＡは第１のゲインをアナログ信号に適用するように構成され得る。同一のＴＩＡは次いで、第２のゲインをアナログ信号に続いて適用するように構成され得る。他の実施形態では、ゲインはデジタル値として信号増幅器１３３に対して指定されてもよい。さらに、指定ゲイン値は指定感度またはＩＳＯに基づいていてもよい。指定感度は写真撮影システムのユーザによって指定されてもよく、または代わりに、写真撮影システムのソフトウェアもしくはハードウェア、または連携して働く上記の何らかの組合せによって設定されてもよい。

一実施形態において、信号増幅器１３３は単一の増幅器を含む。そのような実施形態では、増幅アナログ信号１０６および１０８は連続して送信または出力される。たとえば、一実施形態において、当該出力は共通の電気配線を通して起こってもよい。たとえば、増幅アナログ信号１０６がまず送信され、次いで増幅アナログ信号１０８が続いて送信されてもよい。別の実施形態において、信号増幅器１３３は複数の増幅器を含んでいてもよい。そのような実施形態では、増幅器１３３は、増幅アナログ信号１０８と並列的に増幅アナログ信号１０６を送信してもよい。この目的で、アナログ信号１０６は、第２のゲインを利用するアナログ信号１０８の増幅と直列的に第１のゲインを利用して増幅されてもよく、またはアナログ信号１０６は、第２のゲインを利用するアナログ信号１０８の増幅と並列的に第１のゲインを利用して増幅されてもよい。一実施形態において、増幅アナログ信号１０６および１０８の各々はゲイン調整されたアナログ画素データを含む。

ゲイン調整されたアナログ画素データの各インスタンスは、その後のプロセスおよび／またはハードウェアによってデジタル画素データに変換されてもよい。たとえば、増幅アナログ信号１０６は続いて、画像センサ１３２上に合焦された光学画像を表すデジタル画素データの第１のセットを含む第１のデジタル信号に変換されてもよい。さらに、増幅アナログ信号１０８は続いてまたは並行して、画像センサ１３２上に合焦された光学画像を表すデジタル画素データの第２のセットを含む第２のデジタル信号に変換されてもよい。一実施形態において、デジタル画素データの第１のセットとデジタル画素データの第２のセットとの差はいずれも、信号増幅器１３３によって適用される第１のゲインと第２のゲインとの差の関数である。さらに、デジタル画素データの各セットは写真撮影シーンのデジタル画像を含んでいてもよい。ゆえに、増幅アナログ信号１０６および１０８を用いて、写真撮影シーンの２つの異なるデジタル画像を生成することができる。さらに、一実施形態において、２つの異なるデジタル画像の各々は異なる露光レベルを表し得る。

図２は、一実施形態に従うゼロのフレーム間時間で多重露光を得るための方法２００を示す。選択肢として、方法２００は本明細書に開示されている図面のうちのいずれかの図面の文脈において実行されてもよい。しかし、当然、方法２００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

動作２０２に示されるように、画像センサの少なくとも１つの画素から、画像と関連付けられているアナログ信号が受信される。本実施形態の文脈において、アナログ信号は、画像センサの少なくとも１つの画素についてのアナログ画素データを含んでいてもよい。一実施形態において、アナログ信号は、画像センサのすべての画素についてのアナログ画素データを含んでいてもよい。別の実施形態において、画像センサの各画素は複数のフォトダイオードを含んでいてもよい。そのような実施形態では、アナログ信号内で受信されるアナログ画素データは、画像センサの各画素の各フォトダイオードについてのアナログ値を含んでいてもよい。各アナログ値は、当該アナログ値と関連付けられているフォトダイオードにおいて測定される光強度を表し得る。したがって、アナログ信号は１組の空間的に離散した強度サンプルであってもよく、その各々が連続アナログ値によって表されており、アナログ画素データは１つ以上の所与の画素と関連付けられているアナログ信号値であってもよい。

また、動作２０４に示されるように、第１のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第１の増幅アナログ信号が生成され、第２のゲインを利用してアナログ信号を増幅することによって、画像と関連付けられている第２の増幅アナログ信号が生成される。したがって、アナログ信号が第１のゲインおよび第２のゲインの両方を利用して増幅されることによって、それぞれ第１の増幅アナログ信号および第２の増幅アナログ信号が得られる。一実施形態において、第１の増幅アナログ信号は第１のゲイン調整されたアナログ画素データを含んでいてもよい。そのような実施形態では、第２の増幅アナログ信号は第２のゲイン調整されたアナログ画素データを含んでいてもよい。一実施形態に従うと、アナログ信号は、第２のゲインを利用するアナログ信号の増幅と同時に第１のゲインを利用して増幅されてもよい。別の実施形態において、アナログ信号は、アナログ信号が第２のゲインを利用して増幅される期間以外の期間中に第１のゲインを利用して増幅されてもよい。たとえば、第１のゲインおよび第２のゲインはアナログ信号に連続して適用されてもよい。一実施形態において、ゲインをアナログ信号に適用するための順番は予め定められていてもよい。

さらに、動作２０６に示されるように、多数の増幅アナログ信号が画像と関連付けられているアナログ信号に基づいて送信されるように、第１の増幅アナログ信号および第２の増幅アナログ信号の両方が送信される。一実施形態の文脈において、第１の増幅アナログ信号および第２の増幅アナログ信号は連続して送信される。たとえば、第１の増幅アナログ信号は第２の増幅アナログ信号の前に送信されてもよい。別の実施形態において、第１の増幅アナログ信号および第２の増幅アナログ信号は並列的に送信されてもよい。

本明細書に開示されている実施形態は、カメラモジュールが、従来の技術よりも低い（たとえばゼロの、またはゼロに近い、等）サンプル間時間（たとえばフレーム間、等）で画像スタックを含む画像をサンプリングすることを有利に可能にする。特定の実施形態において、画像スタックを含む画像は重複する時間間隔時に効果的にサンプリングされ、これによってサンプル間時間がゼロに減少し得る。他の実施形態では、カメラモジュールはストロボユニットと協調して画像をサンプリングして、ストロボ照明を用いずにサンプリングされた画像とストロボ照明を用いてサンプリングされた画像との間のサンプル間時間を減少させ得る。

上述の方法がユーザの希望に従って実行されてもされなくてもよいさまざまな随意のアーキテクチャおよび使用に関して、より例示的な情報が以下に記載される。以下の情報は例示目的で記載されており、いかなる意味でも限定的であると解釈されるべきでないことに強く留意すべきである。以下の特徴はいずれも、説明される他の特徴を除外してまたは除外せずに随意に組込まれ得る。

図３Ａは、一実施形態に従うデジタル写真撮影システム３００を示す。選択肢として、デジタル写真撮影システム３００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、デジタル写真撮影システム３００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

示されるように、デジタル写真撮影システム３００は、配線３３４を介してカメラモジュール３３０に結合されたプロセッサ複合体３１０を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はストロボユニット３３６に結合されている。デジタル写真撮影システム３００はさらに、表示ユニット３１２、１組の入出力デバイス３１４、不揮発性メモリ３１６、揮発性メモリ３１８、ワイヤレスユニット３４０およびセンサデバイス３４２を含み得るがこれらに限定されず、これらの各々はプロセッサ複合体３１０に結合されている。一実施形態において、電力管理サブシステム３２０が、デジタル写真撮影システム３００内の電気負荷要素の各々に適切な電源電圧を生成するように構成される。電池３２２が、電気エネルギを電力管理サブシステム３２０に供給するように構成されてもよい。電池３２２は、一次または二次電池技術を含む任意の技術的に実行可能なエネルギ貯蔵システムを実現し得る。当然、他の実施形態では、より多いもしくは少ない特徴、ユニット、デバイス、センサ、またはサブシステムがシステムに含まれていてもよい。

一実施形態において、ストロボユニット３３６はデジタル写真撮影システム３００に統合され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。別の実施形態において、ストロボユニット３３６は、デジタル写真撮影システム３００から独立したデバイスとして実現され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。ストロボユニット３３６は１つ以上のＬＥＤ素子、ガス放電照明器（たとえばキセノンストロボデバイス、キセノンフラッシュランプ等）、またはその他の技術的に実行可能な照明デバイスを含んでいてもよい。特定の実施形態において、２つ以上のストロボユニットが画像のサンプリングと共にストロボ照明を同期して生成するように構成される。一実施形態において、ストロボユニット３３６は、ストロボ照明３５０を発するようにまたはストロボ照明３５０を発しないようにストロボ制御信号３３８を通して制御される。ストロボ制御信号３３８は、任意の技術的に実行可能な信号伝送プロトコルを用いて実現されてもよい。ストロボ制御信号３３８は、ストロボユニット３３６にストロボ照明３５０の指定強度および／または色を生成するように命じるためのストロボパラメータ（たとえばストロボ強度、ストロボ色、ストロボ時間等）を指示し得る。ストロボ制御信号３３８は、プロセッサ複合体３１０、カメラモジュール３３０によって、またはその他の技術的に実行可能なそれらの組合せによって生成されてもよい。一実施形態において、ストロボ制御信号３３８は、プロセッサ複合体３１０内のカメラインターフェイスユニットによって生成され、配線３３４を介してストロボユニット３３６およびカメラモジュール３３０の両方に送信される。別の実施形態において、ストロボ制御信号３３８はカメラモジュール３３０によって生成され、配線３３４を介してストロボユニット３３６に送信される。

写真撮影シーン内のオブジェクトから反射したストロボ照明３５０の少なくとも一部を含み得る光学シーン情報３５２が、カメラモジュール３３０内の画像センサ３３２上に光学画像として合焦される。画像センサ３３２は光学画像の電子表現を生成する。電子表現は空間色強度情報を含み、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。電子表現は、任意の技術的に実行可能な信号伝送プロトコルを実現し得る配線３３４を介してプロセッサ複合体３１０に送信される。

一実施形態において、入出力デバイス３１４は、容量性タッチ入力面、抵抗性タブレット入力面、１つ以上のボタン、１つ以上のノブ、発光素子、光検出素子、音放射素子、音検出素子、またはユーザ入力を受信して当該入力を電気信号に変換する、もしくは電気信号を物理的信号に変換するためのその他の技術的に実行可能な素子を含み得るがこれらに限定されない。一実施形態において、入出力デバイス３１４は、表示ユニット３１２に結合された容量性タッチ入力面を含む。タッチエントリ表示システムが、表示ユニット３１２、およびこれもプロセッサ複合体３１０に結合された容量性タッチ入力面を含んでいてもよい。

また、他の実施形態では、不揮発性（ＮＶ）メモリ３１６は、電力が遮断されるとデータを記憶するように構成される。一実施形態において、ＮＶメモリ３１６は１つ以上のフラッシュメモリデバイス（たとえばＲＯＭ、ＰＣＭ、ＦｅＲＡＭ、ＦＲＡＭ（登録商標）、ＰＲＡＭ、ＭＲＡＭ、ＮＲＡＭ等）を含む。ＮＶメモリ３１６は非一時的なコンピュータ読取可能媒体を含み、当該媒体は、プロセッサ複合体３１０内の１つ以上の処理装置によって実行されるプログラミング命令を含むように構成されてもよい。プログラミング命令は、オペレーティングシステム（ＯＳ）、ＵＩソフトウェアモジュール、画像処理および記憶ソフトウェアモジュール、プロセッサ複合体３１０に接続された１つ以上の入出力デバイス３１４、カメラモジュール３３０を通して画像スタックをサンプリングするための１つ以上のソフトウェアモジュール、画像スタックまたは画像スタックから生成された１つ以上の合成画像を表示ユニット３１２を通して提示するための１つ以上のソフトウェアモジュールを実現し得るがこれらに限定されない。一例として、一実施形態において、プログラミング命令はさらに、画像スタック内の画像同士もしくは画像の一部同士を併合し、画像スタック内の各画像の少なくとも一部同士を整列させるための、またはそれらの組合せのための１つ以上のソフトウェアモジュールを実現し得る。別の実施形態において、プロセッサ複合体３１０はプログラミング命令を実行するように構成されてもよく、当該命令は、高ダイナミックレンジ（ＨＤＲ）画像を作成するように動作可能な１つ以上のソフトウェアモジュールを実現し得る。

さらに、一実施形態において、ＮＶメモリ３１６を含む１つ以上のメモリデバイスが、ユーザによってインストールまたは除去されるように構成されたモジュールとしてパッケージ化されてもよい。一実施形態において、揮発性メモリ３１８はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み、当該ダイナミックランダムアクセスメモリは、デジタル写真撮影システム３００の通常動作中にアクセスされる、プログラミング命令、画像スタックと関連付けられているデータなどの画像データなどを一時的に記憶するように構成される。当然、揮発性メモリは、任意の態様で、プロセッサ複合体３１０に取付けられたその他の入出力デバイス３１４またはセンサデバイス３４２と関連して用いられてもよい。

一実施形態において、センサデバイス３４２は、動作および／もしくは方向を検出する加速度計、動作および／もしくは方向を検出する電子ジャイロスコープ、方向を検出する磁束検出器、地理的位置を検出する全地球測位システム（ＧＰＳ）モジュール、の１つ以上、またはそれらのいずれかの組合せを含み得るがこれらに限定されない。当然、動作検出センサ、近接センサ、ＲＧＢ光センサ、ジェスチャセンサ、３Ｄ入力画像センサ、圧力センサ、および屋内位置センサを含むがこれらに限定されない他のセンサがセンサデバイスとして統合されてもよい。一実施形態において、当該センサデバイスは入出力デバイス３１４の一例であり得る。

ワイヤレスユニット３４０は、デジタルデータを送受信するように構成された１つ以上のデジタルラジオを含んでいてもよい。特に、ワイヤレスユニット３４０は無線規格（たとえばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等）を実現し得、データ通信のためのデジタルセルラー電話規格（たとえばＣＤＭＡ、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥアドバンスト等）を実現し得る。当然、任意の無線規格またはデジタルセルラー電話規格が用いられてもよい。

一実施形態において、デジタル写真撮影システム３００は、１つ以上のデジタル写真をワイヤレスユニット３４０を介してネットワークベースの（オンライン）または「クラウドベースの」写真メディアサービスに送信するように構成される。１つ以上のデジタル写真は、ＮＶメモリ３１６もしくは揮発性メモリ３１８のいずれか一方、またはプロセッサ複合体３１０と関連付けられているその他のメモリデバイスの内部に存在し得る。一実施形態において、ユーザは、オンライン写真メディアサービスにアクセスするための、かつ、１つ以上のデジタル写真を送信してオンライン写真メディアサービスに保存する、オンライン写真メディアサービスから取出す、およびオンライン写真メディアサービスによって提示するためのクレデンシャルを所有していてもよい。クレデンシャルは、デジタル写真を送信する前にデジタル写真撮影システム３００内で記憶または生成されてもよい。オンライン写真メディアサービスは、ソーシャルネットワーキングサービス、写真共有サービス、またはデジタル写真の保存、デジタル写真の処理、デジタル写真の送信、デジタル写真の共有、もしくはそれらのいずれかの組合せを提供するその他のネットワークベースのサービスを含んでいてもよい。特定の実施形態において、１つ以上のデジタル写真が、オンライン写真メディアサービスと関連付けられているサーバに送信される画像データ（たとえば画像スタック、ＨＤＲ画像スタック、画像パッケージ等）に基づいてオンライン写真メディアサービスによって生成される。そのような実施形態では、ユーザはデジタル写真撮影システム３００からの１つ以上のソース画像を、オンライン写真メディアサービスによって処理するためにアップロードしてもよい。

一実施形態において、デジタル写真撮影システム３００はカメラモジュール３３０の少なくとも１つのインスタンスを含む。別の実施形態において、デジタル写真撮影システム３００は複数のカメラモジュール３３０を含む。そのような実施形態はさらに、複数のカメラモジュール３３０によって多数の視野としてサンプリングされた写真撮影シーンを照明するように構成された少なくとも１つのストロボユニット３３６を含んでいてもよい。複数のカメラモジュール３３０は、広角視野（たとえばカメラ間の４５度のスイープよりも大きい）をサンプリングしてパノラマ写真を生成するように構成されてもよい。一実施形態において、複数のカメラモジュール３３０は、２つ以上の狭角視野（たとえばカメラ間の４５度のスイープよりも小さい）をサンプリングしてステレオ写真を生成するように構成されてもよい。他の実施形態では、複数のカメラモジュール３３０は、表示ユニット３１２もしくはその他の表示デバイス上に示されるような３Ｄ画像を生成するように、またはそうでなければ遠近感（たとえばｚ成分等）を表示するように構成されてもよい。

一実施形態において、表示ユニット３１２は、画素の二次元配列を表示して表示用の画像を形成するように構成されてもよい。表示ユニット３１２は、液晶（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、またはその他の技術的に実行可能な種類のディスプレイを含んでいてもよい。特定の実施形態において、表示ユニット３１２は、単一のＨＤＲ画像内で、または多重露光もしくはＨＤＲ画像スタックを含む１組の２つ以上の画像にわたって、などで、写真撮影シーンからサンプリングされた強度値の完全な範囲よりも狭い画像強度値のダイナミックレンジを表示することが可能であり得る。一実施形態において、画像スタックを含む画像は、任意の技術的に実行可能なＨＤＲブレンド技術に従って併合されて、表示ユニット３１２のダイナミックレンジ制約内で表示用の合成画像を生成してもよい。一実施形態において、制限されるダイナミックレンジは、対応する色強度の８ビット／カラーチャネルバイナリ表現を指定してもよい。他の実施形態では、制限されるダイナミックレンジは、８ビットよりも多いビット（たとえば１０ビット、１２ビット、または１４ビット等）／カラーチャネルバイナリ表現を指定してもよい。

図３Ｂは、一実施形態に従う図３Ａのデジタル写真撮影システム３００内のプロセッサ複合体３１０を示す。選択肢として、プロセッサ複合体３１０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、プロセッサ複合体３１０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

示されるように、プロセッサ複合体３１０はプロセッササブシステム３６０を含み、メモリサブシステム３６２を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はプロセッササブシステム３６０を実現するシステムオンチップ（system on a chip：ＳｏＣ）デバイスを含んでいてもよく、メモリサブシステム３６２はプロセッササブシステム３６０に結合された１つ以上のＤＲＡＭデバイスを含む。別の実施形態において、プロセッサ複合体３１０は、ＳｏＣデバイスと、メモリサブシステム３６２を含む１つ以上のＤＲＡＭデバイスとをカプセル化するマルチチップモジュール（multi-chip module：ＭＣＭ）を含んでいてもよい。

プロセッササブシステム３６０は、１つ以上の中央処理装置（ＣＰＵ）コア３７０、メモリインターフェイス３８０、入出力インターフェイスユニット３８４、および表示インターフェイスユニット３８２を含み得るがこれらに限定されず、これらの各々が配線３７４に結合されている。１つ以上のＣＰＵコア３７０は、メモリサブシステム３６２、揮発性メモリ３１８、ＮＶメモリ３１６、またはそれらのいずれかの組合せの内部に存在している命令を実行するように構成されてもよい。１つ以上のＣＰＵコア３７０の各々は、配線３７４およびメモリインターフェイス３８０を通してデータを取出して記憶するように構成されてもよい。一実施形態において、１つ以上のＣＰＵコア３７０の各々がデータキャッシュおよび命令キャッシュを含んでいてもよい。また、ＣＰＵコア３７０の２つ以上がデータキャッシュ、命令キャッシュ、またはそれらのいずれかの組合せを共有してもよい。一実施形態において、各ＣＰＵコア３７０にプライベートキャッシュ層および共有キャッシュ層を提供するようにキャッシュ階層が実現される。

いくつかの実施形態において、プロセッササブシステム３６０は１つ以上のグラフィック処理装置（ＧＰＵ）コア３７２を含んでいてもよい。各ＧＰＵコア３７２は、グラフィック加速機能を実現するがこれに限定されないようにプログラミングされ得る複数のマルチスレッド実行ユニットを含んでいてもよい。さまざまな実施形態において、ＧＰＵコア３７２は、周知の規格（たとえばＯｐｅｎＧＬ（商標）、ＷｅｂＧＬ（商標）、ＯｐｅｎＣＬ（商標）、ＣＵＤＡ（商標）等）、および／またはその他のプログラム可能なレンダリンググラフィック規格に従ってマルチスレッドプログラムを実行するように構成されてもよい。特定の実施形態において、少なくとも１つのＧＰＵコア３７２が、周知のＨａｒｒｉｓ検出器または周知のＨｅｓｓｉａｎ－Ｌａｐｌａｃｅ検出器などの動作推定機能の少なくとも一部を実現する。そのような動作推定機能を用いて、画像スタック内の画像同士または画像の一部同士を少なくとも部分的に整列させることができる。たとえば、一実施形態において、ＨＤＲ画像が画像スタックに基づいてコンパイルされてもよく、ＨＤＲ画像をコンパイルする前に２つ以上の画像がまず整列させられる。

示されるように、配線３７４は、メモリインターフェイス３８０、表示インターフェイスユニット３８２、入出力インターフェイスユニット３８４、ＣＰＵコア３７０、およびＧＰＵコア３７２の間でデータを伝送するように構成される。さまざまな実施形態において、配線３７４は、１本以上のバス、１つ以上のリング、クロスバー、メッシュ、またはその他の技術的に実行可能なデータ伝送構造もしくは技術を実現し得る。メモリインターフェイス３８０は、メモリサブシステム３６２を配線３７４に結合するように構成される。メモリインターフェイス３８０はさらに、ＮＶメモリ３１６、揮発性メモリ３１８、またはそれらのいずれかの組合せを配線３７４に結合してもよい。表示インターフェイスユニット３８２は、表示ユニット３１２を配線３７４に結合するように構成されてもよい。表示インターフェイスユニット３８２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。または、別の実施形態において、表示ユニット３１２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。入出力インターフェイスユニット３８４は、さまざまな入出力デバイスを配線３７４に結合するように構成されてもよい。

特定の実施形態において、カメラモジュール３３０は、画像スタックと関連付けられている各画像をサンプリングするための露光パラメータを記憶するように構成される。たとえば、一実施形態において、カメラモジュール３３０は、写真撮影シーンをサンプリングするように命じられると、記憶された露光パラメータに従って画像スタックを含む１組の画像をサンプリングし得る。プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールが、カメラモジュール３３０に画像スタックをサンプリングするように命じる前に露光パラメータを生成して記憶してもよい。他の実施形態では、カメラモジュール３３０を用いて画像または画像スタックが計測されてもよく、プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールは、カメラモジュール３３０に画像を捕捉するように命じる前に計測パラメータを生成して記憶してもよい。当然、カメラモジュール３３０はプロセッサ複合体３１０と組合されて任意の態様で用いられてもよい。

一実施形態において、画像スタックを含む画像と関連付けられている露光パラメータは、１つ以上の画像についての露光パラメータを含む露光パラメータデータ構造内に記憶されてもよい。別の実施形態において、プロセッサ複合体３１０内のカメラインターフェイスユニット（図３Ｂには図示せず）が、露光パラメータデータ構造から露光パラメータを読出し、写真撮影シーンのサンプリングに備えて、関連付けられている露光パラメータをカメラモジュール３３０に送信するように構成されてもよい。カメラモジュール３３０が露光パラメータに従って構成された後、カメラインターフェイスはカメラモジュール３３０に写真撮影シーンをサンプリングするように命じてもよく、カメラモジュール３３０は次いで、対応する画像スタックを生成してもよい。露光パラメータデータ構造は、カメラインターフェイスユニット、プロセッサ複合体３１０内のメモリ回路、揮発性メモリ３１８、ＮＶメモリ３１６、カメラモジュール３３０の内部に、またはその他の技術的に実行可能なメモリ回路の内部に記憶されてもよい。さらに、別の実施形態において、プロセッサ複合体３１０内で実行されるソフトウェアモジュールが露光パラメータデータ構造を生成して記憶してもよい。

図３Ｃは、一実施形態に従うデジタルカメラ３０２を示す。選択肢として、デジタルカメラ３０２は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、デジタルカメラ３０２は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、デジタルカメラ３０２は、図３Ａのデジタル写真撮影システム３００などのデジタル写真撮影システムを含むように構成されてもよい。示されるように、デジタルカメラ３０２はカメラモジュール３３０を含み、当該カメラモジュールは、写真撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。

また、デジタルカメラ３０２はストロボユニット３３６を含んでいてもよく、写真撮影サンプルイベントをトリガするためのシャッターリリースボタン３１５を含んでいてもよく、これによってデジタルカメラ３０２は電子表現を含む１つ以上の画像をサンプリングする。他の実施形態では、その他の技術的に実行可能なシャッターリリース機構が写真撮影サンプルイベントをトリガしてもよい（たとえばタイマトリガまたは遠隔制御トリガ等）。

図３Ｄは、一実施形態に従うワイヤレスモバイルデバイス３７６を示す。選択肢として、モバイルデバイス３７６は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、モバイルデバイス３７６は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、モバイルデバイス３７６は、写真撮影シーンをサンプリングするように構成されているデジタル写真撮影システム（たとえば図３Ａのデジタル写真撮影システム３００など）を含むように構成されてもよい。さまざまな実施形態において、カメラモジュール３３０は、写真撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。さらに、表示ユニット３１２を含むタッチエントリ表示システム上のタッチジェスチャによって起動され得る仮想ボタン、または任意の面もしくはモバイルデバイス３７６の表面上に位置し得る物理ボタンなどの、任意の技術的に実行可能なメカニズムによって、シャッターリリースコマンドが生成されてもよい。当然、他の実施形態では、任意の数の他のボタン、外部入出力、またはデジタル入出力がモバイルデバイス３７６上に含まれていてもよく、カメラモジュール３３０と併用されてもよい。

示されるように、一実施形態において、表示ユニット３１２を含むタッチエントリ表示システムがモバイルデバイス３７６のカメラモジュール３３０と反対側に配置されている。特定の実施形態において、モバイルデバイス３７６は、ユーザの方を向くカメラモジュール３３１を含み、ユーザの方を向くストロボユニット（図示せず）を含んでいてもよい。当然、他の実施形態では、モバイルデバイス３７６は、任意の数のユーザの方を向くカメラモジュールまたは後ろ向きのカメラモジュール、および任意の数のユーザの方を向くストロボユニットまたは後ろ向きのストロボユニットを含んでいてもよい。

いくつかの実施形態において、デジタルカメラ３０２およびモバイルデバイス３７６の各々は、カメラモジュール３３０によってサンプリングされた画像スタックに基づいて合成画像を生成して記憶してもよい。画像スタックは、周囲照明条件下でサンプリングされた１つ以上の画像、ストロボユニット３３６からのストロボ照明下でサンプリングされた１つ以上の画像、またはそれらの組合せを含んでいてもよい。

図３Ｅは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０は、ストロボ制御信号３３８を通してストロボユニット３３６を制御するように構成されてもよい。示されるように、レンズ３９０が、光学シーン情報３５２をサンプリングすべき画像センサ３３２上に合焦するように構成される。一実施形態において、画像センサ３３２はストロボ制御信号３３８を通してストロボユニット３３６の詳細なタイミングを有利に制御して、ストロボユニット３３６が有効な状態でサンプリングされた画像とストロボユニット３３６が無効な状態でサンプリングされた画像との間のサンプル間時間を減少させる。たとえば、画像センサ３３２は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後であってストロボ画像をサンプリングする前に、ストロボユニット３３６が１マイクロ秒未満（または任意の所望の長さ）にわたってストロボ照明３５０を発することを可能にし得る。

他の実施形態では、ストロボ照明３５０は所望の１つ以上のターゲットポイントに基づいて構成されてもよい。たとえば、一実施形態において、ストロボ照明３５０は前景内のオブジェクトを照らし出してもよく、露光時間の長さに依存して、画像の背景内のオブジェクトも照らし出してもよい。一実施形態において、ストロボユニット３３６が有効になると、画像センサ３３２はその直後にストロボ画像を露光し始めてもよい。ゆえに、画像センサ３３２はサンプリング動作を直接制御することが可能であり得、当該サンプリング動作は、ストロボユニット３３６が無効な状態でサンプリングされた少なくとも１つの画像、およびストロボユニット３３６が有効または無効な状態でサンプリングされた少なくとも１つの画像を含み得る画像スタックの生成と関連付けられているストロボユニット３３６の有効化および無効化を含む。一実施形態において、画像センサ３３２によってサンプリングされた画像スタックを含むデータが、配線３３４を介してプロセッサ複合体３１０内のカメラインターフェイスユニット３８６に送信される。いくつかの実施形態において、カメラモジュール３３０は画像センサコントローラを含んでいてもよく、当該コントローラは画像センサ３３２の制御動作と共にストロボ制御信号３３８を生成するように構成されてもよい。

図３Ｆは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０は、ストロボユニット３３６についての状態情報に基づいて画像をサンプリングするように構成されてもよい。状態情報は、ストロボユニット３３６にストロボ照明３５０の指定強度および／または色を生成するように命じるための１つ以上のストロボパラメータ（たとえばストロボ強度、ストロボ色、ストロボ時間等）を含み得るがこれらに限定されない。一実施形態において、ストロボユニット３３６と関連付けられている状態情報を構成するためのコマンドがストロボ制御信号３３８を通して送信されてもよく、当該信号は、ストロボユニット３３６が有効になった時を検出するためにカメラモジュール３３０によって監視され得る。たとえば、一実施形態において、カメラモジュール３３０は、ストロボユニット３３６が有効または無効になってから１マイクロ秒以下内にストロボユニット３３６が有効または無効になった時をストロボ制御信号３３８によって検出し得る。ストロボ照明を必要とする画像をサンプリングするために、カメラインターフェイスユニット３８６は、有効化コマンドをストロボ制御信号３３８を通して送信することによってストロボユニット３３６を有効にしてもよい。一実施形態において、カメラインターフェイスユニット３８６は、図３Ｂのプロセッサ複合体３１０のプロセッササブシステム３６０内の入出力インターフェイス３８４のインターフェイスとして含まれていてもよい。有効化コマンドは、信号レベル遷移、データパケット、レジスタ書込み、またはその他の技術的に実行可能なコマンドの送信を含んでいてもよい。カメラモジュール３３０はストロボユニット３３６が有効であることを検知し、次いで、ストロボユニット３３６が有効である間に、画像センサ３３２にストロボ照明を必要とする１つ以上の画像をサンプリングさせてもよい。そのような実現例では、画像センサ３３２は、ストロボユニット３３６宛ての有効化信号を、新たな露光のサンプリングを開始するトリガ信号として待機するように構成されてもよい。

一実施形態において、カメラインターフェイスユニット３８６は、露光パラメータおよびコマンドを配線３３４を通してカメラモジュール３３０に送信してもよい。特定の実施形態において、カメラインターフェイスユニット３８６は、制御コマンドをストロボ制御信号３３８を通してストロボユニット３３６に送信することによってストロボユニット３３６を直接制御するように構成されてもよい。カメラモジュール３３０およびストロボユニット３３６の両方を直接制御することによって、カメラインターフェイスユニット３８６は、カメラモジュール３３０およびストロボユニット３３６に、正確な時間同期でそれぞれの動作を実行させることができる。一実施形態において、正確な時間同期は５００マイクロ秒未満のイベントタイミングエラーであってもよい。また、イベントタイミングエラーは、意図されたイベント発生から対応する実際のイベント発生の時間までの時間差であってもよい。

別の実施形態において、カメラインターフェイスユニット３８６は、カメラモジュール３３０から画像データを受信している間に統計を蓄積するよう構成されてもよい。特に、カメラインターフェイスユニット３８６は、配線３３４を通して所与の画像についての画像データを受信している間に当該画像についての露光統計を蓄積してもよい。露光統計は、強度ヒストグラム、露光過多の画素のカウント、露光不足の画素のカウント、画素強度の強度－加重和、の１つ以上、またはそれらのいずれかの組合せを含み得るがこれらに限定されない。カメラインターフェイスユニット３８６は、プロセッサ複合体３１０内のＣＰＵコア３７０の１つ以上などのプロセッサによって規定される物理または仮想アドレス空間内のメモリマップされた記憶場所として、露光統計を提示してもよい。一実施形態において、露光統計は、メモリマップされたレジスタ空間内にマップされる記憶回路内に存在しており、これは配線３３４を通してアクセス可能である。他の実施形態では、露光統計は、捕捉した画像についての画素データを伝送するのと共に伝送される。たとえば、所与の画像についての露光統計は、捕捉した画像についての画素強度データの送信に引き続いて、インラインデータとして送信されてもよい。露光統計は、カメラインターフェイスユニット３８６内で計算、記憶、またはキャッシュされてもよい。

一実施形態において、カメラインターフェイスユニット３８６は、シーンホワイトバランスを推定するための色統計を蓄積してもよい。赤色、緑色および青色カラーチャネルを含む異なるカラーチャネルについての強度の和などの、ホワイトバランスを推定するための任意の技術的に実行可能な色統計が蓄積されてもよい。次いで、カラーチャネル強度の和を用いて、グレーワールドホワイトバランスモデルなどのホワイトバランスモデルに従って、関連画像に対してホワイトバランス色補正が実行されてもよい。他の実施形態では、画像に対してホワイトバランス補正を実現するために用いられる一次または二次曲線適合のための曲線適合統計が蓄積される。

一実施形態において、カメラインターフェイスユニット３８６は、周囲画像と、ストロボ照明を用いてサンプリングされた１つ以上の画像との間など、画像同士の間でカラーマッチングを実行するための空間色統計を蓄積してもよい。露光統計と同様に、色統計はプロセッサ複合体３１０内のメモリマップされた記憶場所として提示されてもよい。一実施形態において、色統計はメモリマップされたレジスタ空間内にマップされ、これはプロセッササブシステム３６０内で配線３３４を通してアクセス可能である。他の実施形態では、色統計は、捕捉した画像についての画素データを伝送するのと共に伝送されてもよい。たとえば、一実施形態において、所与の画像についての色統計は、当該画像についての画素強度データの送信に引き続いて、インラインデータとして送信されてもよい。色統計は、カメラインターフェイス３８６内で計算、記憶、またはキャッシュされてもよい。

一実施形態において、カメラモジュール３３０はストロボ制御信号３３８をストロボユニット３３６に送信して、カメラモジュール３３０が画像をサンプリングしている間にストロボユニット３３６が照明を生成することを可能にし得る。別の実施形態において、カメラモジュール３３０は、ストロボユニット３３６が有効であるという指示信号をカメラインターフェイスユニット３８６から受信すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。さらに別の実施形態において、カメラモジュール３３０は、シーン照明の急激な増加によって写真撮影シーン内のストロボ照明を検出すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。一実施形態において、シーン照明の急激な増加は、ストロボユニット３３６を有効にする強度と一致した強度の増加率を少なくとも含んでいてもよい。さらに別の実施形態において、カメラモジュール３３０は、１つの画像をサンプリングしている間にストロボユニット３３６を有効にしてストロボ照明を生成し、別の画像をサンプリングしている間にストロボユニット３３６を無効にしてもよい。

図３Ｇは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０はアプリケーションプロセッサ３３５と通信していてもよい。カメラモジュール３３０は、コントローラ３３３と通信している画像センサ３３２を含むとして示されている。さらに、コントローラ３３３はアプリケーションプロセッサ３３５と通信しているとして示されている。

一実施形態において、アプリケーションプロセッサ３３５はカメラモジュール３３０の外部に存在していてもよい。示されるように、レンズ３９０は、光学シーン情報をサンプリングすべき画像センサ３３２上に合焦するように構成されてもよい。次いで、画像センサ３３２によってサンプリングされた光学シーン情報は、その後の処理およびアプリケーションプロセッサ３３５への通信の少なくとも一方のために、画像センサ３３２からコントローラ３３３に通信されてもよい。別の実施形態において、コントローラ３３３は、画像センサ３３２によってサンプリングされた光学シーン情報の記憶、または処理された光学シーン情報の記憶を制御してもよい。

別の実施形態において、コントローラ３３３は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後に、ストロボユニットが短い期間（たとえば１マイクロ秒未満等）中にストロボ照明を発することを可能にし得る。さらに、コントローラ３３３は、画像センサ３３２の制御動作と共にストロボ制御信号３３８を生成するように構成されてもよい。

一実施形態において、画像センサ３３２は相補型金属酸化膜半導体（ＣＭＯＳ）センサまたは電荷結合素子（ＣＣＤ）センサであってもよい。別の実施形態において、コントローラ３３３および画像センサ３３２は、集積システムまたは集積回路として共にパッケージ化されてもよい。さらに別の実施形態において、コントローラ３３３および画像センサ３３２は別個のパッケージを含んでいてもよい。一実施形態において、コントローラ３３３は、画像センサ３３２からの光学シーン情報の受信、光学シーン情報の処理、さまざまな機能のタイミング、およびアプリケーションプロセッサ３３５と関連付けられているシグナリングのための回路を提供してもよい。さらに、別の実施形態において、コントローラ３３３は、露光、シャッタリング、ホワイトバランス、およびゲイン調整の１つ以上を制御するための回路を提供してもよい。コントローラ３３３の回路による光学シーン情報の処理は、ゲイン適用、増幅、およびアナログ－デジタル変換の１つ以上を含んでいてもよい。光学シーン情報を処理した後、コントローラ３３３は対応するデジタル画素データをアプリケーションプロセッサ３３５などに送信してもよい。

一実施形態において、アプリケーションプロセッサ３３５は、プロセッサ複合体３１０および揮発性メモリ３１８とＮＶメモリ３１６との少なくとも一方、またはその他のメモリデバイスおよび／もしくはシステム上で実現されてもよい。アプリケーションプロセッサ３３５は、カメラモジュール３３０からアプリケーションプロセッサ３３５に通信される受信した光学シーン情報またはデジタル画素データの処理のために予め構成されてもよい。

図４は、一実施形態に従うネットワークサービスシステム４００を示す。選択肢として、ネットワークサービスシステム４００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、ネットワークサービスシステム４００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、ネットワークサービスシステム４００は、デジタル写真撮影システムを実現するデバイスにネットワークアクセスを提供するように構成されてもよい。示されるように、ネットワークサービスシステム４００は、ワイヤレスモバイルデバイス３７６、無線アクセスポイント４７２、データネットワーク４７４、データセンタ４８０、およびデータセンタ４８１を含む。ワイヤレスモバイルデバイス３７６は、デジタル無線リンク４７１を介して無線アクセスポイント４７２と通信して、デジタル画像と関連付けられているデータを含むデジタルデータを送受信してもよい。ワイヤレスモバイルデバイス３７６および無線アクセスポイント４７２は、デジタル無線リンク４７１を介してデジタルデータを伝送するための任意の技術的に実行可能な伝送技術を実現し得る。特定の実施形態において、データセンタ４８０，４８１の１つ以上は、所与のデータセンタ４８０，４８１内の各システムおよびサブシステムが、指定されたデータ処理およびネットワークタスクを実行するように構成された仮想マシンを含み得るように、仮想構造を用いて実現されてもよい。他の実現例では、データセンサ４８０，４８１の１つ以上は複数の物理的サイトにわたって物理的に分散していてもよい。

ワイヤレスモバイルデバイス３７６は、デジタルカメラを含むように構成されたスマートフォン、ワイヤレスネットワーク接続性を含むように構成されたデジタルカメラ、現実拡張デバイス、デジタルカメラおよびワイヤレスネットワーク接続性を含むように構成されたラップトップ、またはデジタル写真撮影システムおよびワイヤレスネットワーク接続性を含むように構成されたその他の技術的に実行可能なコンピューティングデバイスを含んでいてもよい。

さまざまな実施形態において、無線アクセスポイント４７２は、デジタル無線リンク４７１を介してワイヤレスモバイルデバイス３７６と通信するように、かつ、電気、光学、または無線伝送媒体などの任意の技術的に実行可能な伝送媒体を介してデータネットワーク４７４と通信するように構成されてもよい。たとえば、一実施形態において、無線アクセスポイント４７２は、無線アクセスポイント４７２に、かつデータネットワーク４７４内のルータシステムまたはスイッチシステムに結合された光ファイバを通してデータネットワーク４７４と通信してもよい。広域ネットワーク（ＷＡＮ）リンクなどのネットワークリンク４７５がデータネットワーク４７４とデータセンタ４８０との間でデータを伝送するように構成されてもよい。

一実施形態において、データネットワーク４７４は、ルータ、スイッチ、長距離伝送システム、プロビジョニングシステム、認証システム、ならびに、無線アクセスポイント４７２とデータセンタ４８０との間など、ネットワーク終点同士の間でデータを伝達するように構成された通信および動作サブシステムの任意の技術的に実行可能な組合せを含んでいてもよい。一実現例において、ワイヤレスモバイルデバイス３７６は、データネットワーク４７４に結合された１つ以上の無線アクセスポイントを介してデータセンタ４８０と通信するように構成された複数のワイヤレスモバイルデバイスのうちの１つを含んでいてもよい。

また、さまざまな実施形態において、データセンタ４８０はスイッチ／ルータ４８２および少なくとも１つのデータサービスシステム４８４を含み得るがこれらに限定されない。スイッチ／ルータ４８２は、ネットワークリンク４７５と各データサービスシステム４８４との間でデータトラフィックを転送するように構成されてもよい。スイッチ／ルータ４８２は、イーサネット（登録商標）メディア層伝送、レイヤ２スイッチング、レイヤ３ルーティングなどの任意の技術的に実行可能な伝送技術を実現し得る。スイッチ／ルータ４８２は、データサービスシステム４８４とデータネットワーク４７４との間でデータを伝送するように構成された１つ以上の個別のシステムを含んでいてもよい。

一実施形態において、スイッチ／ルータ４８２は、複数のデータサービスシステム４８４同士の間でセッションレベルのロードバランシングを実現し得る。各データサービスシステム４８４は少なくとも１つの計算システム４８８を含んでいてもよく、さらに１つ以上の記憶システム４８６を含んでいてもよい。各計算システム４８８は、中央処理装置、グラフィック処理装置、またはそれらのいずれかの組合せなどの、１つ以上の処理装置を含んでいてもよい。所与のデータサービスシステム４８４は、共に動作するように構成された１つ以上の物理的に別個のシステムを含む物理的システムとして実現されてもよい。または、所与のデータサービスシステム４８４は、任意の物理的システム上で実行される１つ以上の仮想システムを含む仮想システムとして実現されてもよい。特定のシナリオでは、データネットワーク４７４は、ネットワークリンク４７６を通すなどしてデータセンタ４８０と別のデータセンタ４８１との間でデータを伝送するように構成されてもよい。

別の実施形態において、ネットワークサービスシステム４００は、本発明の１つ以上の実施形態を実現するように構成された、任意のネットワーク化されたモバイルデバイスを含んでいてもよい。たとえば、いくつかの実施形態において、アドホック無線ネットワークなどのピアツーピアネットワークが２つの異なるワイヤレスモバイルデバイス同士の間に確立されてもよい。そのような実施形態では、デジタル画像データは、当該デジタル画像データをデータセンタ４８０に送信しなくても２つのワイヤレスモバイルデバイス同士の間で伝送され得る。

図５Ａは、一実施形態に従う光学シーン情報を捕捉して写真撮影シーンの電子表現に変換するためのシステムを示す。選択肢として、図５Ａのシステムは図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。図５Ａに示されるように、画素アレイ５１０は行ロジック５１２および列読出回路５２２と通信している。さらに、行ロジック５１２および列読出回路５２２の両方が制御ユニット５１４と通信している。さらに、画素アレイ５１０は複数の画素５４０を含むとして示されており、各画素５４０は４つのセルであるセル５４２～５４５を含んでいてもよい。本説明の文脈において、画素アレイ５１０は、画像センサ１３２またはカメラモジュール３３０の画像センサ３３２などの画像センサに含まれていてもよい。

示されるように、画素アレイ５１０は画素５４０の二次元配列を含む。たとえば、一実施形態において、画素アレイ５１０は、第１の寸法における４，０００個の画素５４０および第２の寸法における３，０００個の画素５４０を含み、画素アレイ５１０において合計１２，０００，０００個の画素５４０を含むように構築されてもよく、これは１２メガピクセル画素アレイと称され得る。さらに、上述のように、各画素５４０は４つのセル５４２～５４５を含むとして示されている。一実施形態において、セル５４２は第１の光の色と関連付けられてもよく（たとえば、第１の光の色に対して選択的に感度が高い、等）、セル５４３は第２の光の色と関連付けられてもよく、セル５４４は第３の光の色と関連付けられてもよく、セル５４５は第４の光の色と関連付けられてもよい。一実施形態において、第１の光の色、第２の光の色、第３の光の色および第４の光の色の各々は、セル５４２～５４５の各々が異なる光の色と関連付けられ得るように、異なる光の色である。別の実施形態において、セル５４２～５４５の少なくとも２つのセルが同じ光の色と関連付けられてもよい。たとえば、セル５４３およびセル５４４が同じ光の色と関連付けられてもよい。

さらに、セル５４２～５４５の各々はアナログ値を記憶することが可能であり得る。一実施形態において、セル５４２～５４５の各々は、露光時間中に蓄積された露光に対応する電荷を記憶するためのコンデンサと関連付けられてもよい。そのような実施形態では、行選択信号を所与のセルの回路にアサートすると、当該セルは読出動作を実行し得、当該読出動作は、当該セルと関連付けられているコンデンサの記憶電荷の関数である電流を生成して送信することを含み得るがこれらに限定されない。一実施形態において、読出動作の前に、関連付けられているフォトダイオードからコンデンサにおいて受信した電流によって、予め充電されているコンデンサが、フォトダイオードにおいて検出された入射光強度に比例する速度で放電し得る。次いで、セルのコンデンサの残留電荷が行選択信号を用いて読出され得る。セルから送信される電流は、コンデンサ上の残留電荷を反映するアナログ値である。この目的で、読出動作時にセルから受信するアナログ値は、フォトダイオードにおいて検出される光の蓄積強度を反映し得る。所与のコンデンサ上に記憶された電荷、および送信電流などのいずれかの対応する電荷の表示は、本明細書において一種のアナログ画素データと称され得る。当然、アナログ画素データは１組の空間的に離散した強度サンプルを含んでいてもよく、その各々が連続アナログ値によって表される。

さらに、行ロジック５１２および列読出回路５２０は制御ユニット５１４の制御下で連携して働いて、複数の画素５４０の複数のセル５４２～５４５を読出してもよい。たとえば、制御ユニット５１４は、行ロジック５１２に、画素５４０の所与の行と関連付けられている行制御信号５３０を含む行選択信号をアサートさせ、その画素の行と関連付けられているアナログ画素データを読出すことを可能にし得る。図５Ａに示されるように、これは、行ロジック５１２が、画素５４０（０）および画素５４０（ａ）を含む行５３４（０）と関連付けられている行制御信号５３０（０）を含む１つ以上の行選択信号をアサートすることを含んでいてもよい。行選択信号がアサートされたことに応答して、行５３４（０）上の各画素５４０は、画素５４０のセル５４２～５４５内に記憶されている電荷に基づいて少なくとも１つのアナログ値を送信する。特定の実施形態において、セル５４２およびセル５４３は第１の行選択信号に応答して対応するアナログ値を送信するように構成されるのに対して、セル５４４およびセル５４５は第２の行選択信号に応答して対応するアナログ値を送信するように構成される。

一実施形態において、各行５３４（０）から５３４（ｒ）を含む画素５４０の完全な行についてのアナログ値が、列信号５３２を通して列読出回路５２０に連続して送信されてもよい。一実施形態において、完全な行、または画素の完全な行内の画素もしくはセルについてのアナログ値が同時に送信されてもよい。たとえば、行制御信号５３０（０）を含む行選択信号がアサートされたことに応答して、画素５４０（０）は、少なくとも１つのアナログ値を、画素５４０（０）のセル５４２～５４５から列信号５３２（０）を含む１つ以上の信号経路を通って列読出回路５２０送信することによって応答してもよく、同時に、画素５４０（ａ）も、少なくとも１つのアナログ値を、画素５４０（ａ）のセル５４２～５４５から列信号５３２（ｃ）を含む１つ以上の信号経路を通って列読出回路５２０に送信することになる。当然、画素５４０（０）から少なくとも１つのアナログ値を受信するのと並行して、かつ画素５４０（ａ）から少なくとも１つのアナログ値を受信するのと並行して、１つ以上のアナログ値が１つ以上の他の画素５４０から列読出回路５２０において受信されてもよい。行５３４（０）を含む画素５４０から受信した１組のアナログ値は合わせてアナログ信号と称され得、このアナログ信号は画素アレイ５１０上に合焦される光学画像に基づいていてもよい。

さらに、行５３４（０）を含む画素５４０を読出した後、行ロジック５１２は読出すべき画素５４０の第２の行を選択してもよい。たとえば、行ロジック５１２は、画素５４０（ｂ）および画素５４０（ｚ）を含む画素５４０の行と関連付けられている行制御信号５３０（ｒ）を含む１つ以上の行選択信号をアサートしてもよい。この結果、列読出回路５２０は、行５３４（ｒ）を含む画素５４０と関連付けられている対応する１組のアナログ値を受信してもよい。

列読出回路５２０は、１つ以上の受信したアナログ値を選択して図６のアナログ－デジタルユニット６２２などのアナログ－デジタル変換回路に転送するマルチプレクサとして作用し得る。列読出回路５２０は、受信したアナログ値を予め規定された順序または順番で転送してもよい。一実施形態において、行ロジック５１２が行制御信号５３０を含む１つ以上の行選択信号をアサートすると、画素の対応する行が列信号５３２を通してアナログ値を送信する。列読出回路５２０はアナログ値を受信し、アナログ値の１つ以上を連続的に選択してアナログ－デジタルユニット６２２に一度に転送する。行ロジック５１２による行の選択、および列読出回路６２０による列の選択は制御ユニット５１４によって命じられてもよい。一実施形態において、行５３４は連続的に選択されて読出され、行５３４（０）で開始して行５３４（ｒ）で終了し、連続した列と関連付けられているアナログ値がアナログ－デジタルユニット６２２に送信される。他の実施形態では、画素５４０に記憶されたアナログ値を読出す他の選択パターンが実現されてもよい。

さらに、列読出回路５２０によって転送されるアナログ値はアナログ画素データを含んでいてもよく、当該データは後で増幅され、次いで、画素アレイ５１０上に合焦される光学画像に基づいて１つ以上のデジタル画像を生成するためのデジタル画素データに変換されてもよい。

図５Ｂ～図５Ｄは、１つ以上の実施形態に係る３つの随意の画素構成を示す。選択肢として、これらの画素構成は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、これらの画素構成は任意の所望の環境において実現されてもよい。具体例として、図５Ｂ～図５Ｄの画素５４０のうちのいずれかは、画素アレイ５１０の画素５４０の１つ以上として動作してもよい。

図５Ｂに示されるように、画素５４０は、一実施形態に従って、赤色光強度を測定するための第１のセル（Ｒ）、緑色光強度を測定するための第２および第３のセル（Ｇ）、ならびに青色光強度を測定するための第４のセル（Ｂ）を含むとして示されている。図５Ｃに示されるように、画素５４０は、一実施形態に従って、赤色光強度を測定するための第１のセル（Ｒ）、緑色光強度を測定するための第２のセル（Ｇ）、青色光強度を測定するための第３のセル（Ｂ）、および白色光強度を測定するための第４のセル（Ｗ）を含むとして示されている。図５Ｄに示されるように、画素５４０は、さらに別の実施形態に従って、シアン光強度を測定するための第１のセル（Ｃ）、マゼンタ光強度を測定するための第２のセル（Ｍ）、黄色光強度を測定するための第３のセル（Ｙ）、および白色光強度を測定するための第４のセル（Ｗ）を含むとして示されている。

画素５４０は各々が４つのセルを含むとして示されているが、当然、画素５４０は光強度を測定するためのより少ないまたは多いセルを含むように構成されてもよい。さらに、別の実施形態において、画素５４０の特定のセルは光の単一のピーク波長、または白色光を測定するように構成されるとして示されているが、画素５４０のセルは任意の波長、光の波長範囲、または複数の光波長を測定するように構成されてもよい。

次に図５Ｅを参照して、一実施形態に従う画像センサ３３２上に光学画像として合焦される光学シーン情報を捕捉するためのシステムが示されている。選択肢として、図５Ｅのシステムは図面のうちのいずれかの画面の詳細の文脈において実現されてもよい。しかし、当然、図５Ｅのシステムは任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

図５Ｅに示されるように、画像センサ３３２は第１のセル５４４、第２のセル５４５および第３のセル５４８を含むとして示されている。さらに、セル５４４～５４８の各々はフォトダイオード５６２を含むとして示されている。さらに、フォトダイオード５６２の各々の上には対応するフィルタ５６４があり、フィルタ５６４の各々の上には対応するマイクロレンズ５６６がある。たとえば、セル５４４はフォトダイオード５６２（０）を含むとして示されており、その上にフィルタ５６４（０）があり、その上にマイクロレンズ５６６（０）がある。同様に、セル５４５はフォトダイオード５６２（１）を含むとして示されており、その上にフィルタ５６４（１）があり、その上にマイクロレンズ５６６（１）がある。さらに、図５Ｅに示されるように、画素５４０は、セル５４４および５４５、フォトダイオード５６２（０）および５６２（１）、フィルタ５６４（０）および５６４（１）、ならびにマイクロレンズ５６６（０）および５６６（１）の各々を含むとして示されている。

一実施形態において、マイクロレンズ５６６の各々は、直径が５０ミクロン未満の任意のレンズであってもよい。しかし、他の実施形態では、マイクロレンズ５６６の各々の直径は５０ミクロン以上であってもよい。一実施形態において、マイクロレンズ５６６の各々は、受光した光をマイクロレンズ５６６の下方の支持基板上に合焦および集光するための球状凸面を含んでいてもよい。たとえば、図５Ｅに示されるように、マイクロレンズ５６６（０）は受光した光をフィルタ５６４（０）上に合焦および集光する。一実施形態において、マイクロレンズアレイ５６７はマイクロレンズ５６６を含んでいてもよく、当該マイクロレンズの各々は、画像センサ３３２のセル５４４内のフォトダイオード５６２と配置が対応している。

本説明の文脈において、フォトダイオード５６２は、光子吸収に応答して電位差を生成するかまたはその電気抵抗を変化させる任意の半導体ダイオードを含んでいてもよい。したがって、フォトダイオード５６２は光強度の検出または測定に用いられてもよい。さらに、フィルタ５６４の各々は、１つ以上の予め定められた波長の光を選択的に透過させるための光学フィルタであってもよい。たとえば、フィルタ５６４（０）は対応するマイクロレンズ５６６（０）から受光した実質的に緑色光のみを選択的に透過させるように構成されてもよく、フィルタ５６４（１）はマイクロレンズ５６６（１）から受光した実質的に青色光のみを選択的に透過させるように構成されてもよい。フィルタ５６４およびマイクロレンズ５６６はともに、入射光の選択波長を平面上に合焦するように動作可能であり得る。一実施形態において、当該平面は、画像センサ３３２の表面上のフォトダイオード５６２の二次元格子であってもよい。さらに、各フォトダイオード５６２は、その関連付けられているフィルタに依存して、１つ以上の予め定められた光の波長を受信する。一実施形態において、各フォトダイオード５６２は、フィルタリングされた光の赤色、青色または緑色波長のみを受信する。図５Ｂ～図５Ｄに関して示されるように、フォトダイオードは赤色、緑色または青色以外の光の波長を検出するように構成されてもよいと考えられる。たとえば、具体的には図５Ｃ～図５Ｄの文脈において、フォトダイオードは、白色、シアン、マゼンタ、黄色、または赤外光もしくは紫外光などの不可視光を検出するように構成されてもよい。

この目的で、セル、フォトダイオード、フィルタ、およびマイクロレンズの各結合は、光を受光し、受光した光を集光およびフィルタリングして１つ以上の予め定められた光の波長を分離し、次いで当該１つ以上の予め定められた波長で受光した光の強度を測定する、検出する、またはそうでなければ定量化するように動作可能であり得る。測定または検出された光は次いで、セル内に記憶されるアナログ値として表されてもよい。たとえば、一実施形態において、アナログ値は、上記により詳細に述べたように、コンデンサを利用してセル内に記憶されてもよい。さらに、セル内に記憶されるアナログ値は、行ロジック５１２から受信され得る行選択信号などの選択信号に基づいてセルから出力されてもよい。さらに、単一のセルから送信されるアナログ値は、アナログ信号の複数のアナログ値のうちの１つのアナログ値を含んでいてもよく、アナログ値の各々は異なるセルによって出力される。したがって、アナログ信号は複数のセルからの複数のアナログ画素データ値を含んでいてもよい。一実施形態において、アナログ信号は、写真撮影シーンの画像全体についてのアナログ画素データ値を含んでいてもよい。別の実施形態において、アナログ信号は、写真撮影シーンの画像全体のサブセットについてのアナログ画素データ値を含んでいてもよい。たとえば、アナログ信号は、写真撮影シーンの画像の画素の１行についてのアナログ画素データ値を含んでいてもよい。図５Ａ～図５Ｅの文脈において、画素アレイ５１０の画素５４０の行５３４（０）は写真撮影シーンの画像の画素のそのような１行であってもよい。

図６は、ある実施形態に従うアナログ画素データをデジタル画素データに変換するためのシステムを示す。選択肢として、図６のシステムは本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、図６のシステムは任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

図６に示されるように、アナログ画素データ６２１が、制御ユニット５１４の制御下でアナログ－デジタルユニット６２２において列読出回路５２０から受信される。アナログ画素データ６２１は、上述のようにアナログ信号内で受信されてもよい。さらに、アナログ－デジタルユニット６２２は、受信したアナログ画素データ６２１に基づいてデジタル画素データ６２５を生成する。

より具体的には、図６に示されるように、アナログ－デジタルユニット６２２は増幅器６５０およびアナログ－デジタル変換器６５４を含む。一実施形態において、増幅器６５０はアナログ画素データ６２１およびゲイン６５２の両方を受信し、ゲイン６５２をアナログ画素データ６２１に適用して、ゲイン調整されたアナログ画素データ６２３を生成する。ゲイン調整されたアナログ画素データ６２３は増幅器６５０からアナログ－デジタル変換器６５４に送信される。アナログ－デジタル変換器６５４はゲイン調整されたアナログ画素データ６２３を受信し、ゲイン調整されたアナログ画素データ６２３をデジタル画素データ６２５に変換し、当該データは次いでアナログ－デジタル変換器６５４から送信される。他の実施形態では、増幅器６５０はアナログ－デジタルユニット６２２内ではなく列読出回路５２０内で実現されてもよい。アナログ－デジタル変換器６５４は、任意の技術的に実行可能なアナログ－デジタル変換システムを用いて、ゲイン調整されたアナログ画素データ６２３をデジタル画素データ６２５に変換してもよい。

ある実施形態において、ゲイン調整されたアナログ画素データ６２３は、ゲイン６５２をアナログ画素データ６２１に適用することによって得られる。一実施形態において、ゲイン６５２はアナログ－デジタルユニット６２２によって選択されてもよい。別の実施形態において、ゲイン６５２は制御ユニット５１４によって選択され、次いで、アナログ画素データ６２１に適用されるために制御ユニット５１４からアナログ－デジタルユニット６２２に供給されてもよい。

一実施形態において、ゲイン６５２をアナログ画素データ６２１に適用した結果、ゲイン調整されたアナログ画素データ６２３にアナログノイズが現われ得ることに留意すべきである。画素アレイ５１０から非常に高感度のデータを得るために、増幅器６５０が著しく大きいゲインをアナログ画素データ６２１に付与した場合は、ゲイン調整されたアナログ画素データ６２３内に大量のノイズが予想され得る。一実施形態において、そのようなノイズの悪影響は、全露光時間を減少させて光学シーン情報を捕捉することによって減少し得る。そのような実施形態では、ゲイン６５２をアナログ画素データ６２１に適用することによって、露光が適切でノイズが減少した、ゲイン調整されたアナログ画素データを得ることができる。

一実施形態において、増幅器６５０はトランスインピーダンス増幅器（ＴＩＡ）であってもよい。さらに、ゲイン６５２はデジタル値によって指定されてもよい。一実施形態において、ゲイン６５２を指定するデジタル値は、デジタル写真撮影デバイスを「マニュアル」モードで操作することによってなど、デジタル写真撮影デバイスのユーザによって設定されてもよい。さらに、デジタル値はデジタル写真撮影デバイスのハードウェアまたはソフトウェアによって設定されてもよい。選択肢として、デジタル値は、デジタル写真撮影デバイスのソフトウェアと連携して作業するユーザによって設定されてもよい。

一実施形態において、ゲイン６５２を指定するために用いられるデジタル値はＩＳＯと関連付けられてもよい。写真撮影の分野において、ＩＳＯシステムは光感度を指定するための確立された規格である。一実施形態において、増幅器６５０は、アナログ画素データ６２１に適用すべきゲイン６５２を指定するデジタル値を受信する。別の実施形態において、従来のＩＳＯ値から、ゲイン６５２として増幅器６５０に与えられ得るデジタルゲイン値へのマッピングがあってもよい。たとえば、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００等の各々が異なるデジタルゲイン値に一意にマップされてもよく、特定のＩＳＯを選択すると、マップされたデジタルゲイン値がゲイン６５２として適用されるために増幅器６５０に与えられる。一実施形態において、１つ以上のＩＳＯ値が１のゲインにマップされてもよい。当然、他の実施形態では、１つ以上のＩＳＯ値がその他のゲイン値にマップされてもよい。

したがって、一実施形態において、各アナログ画素値は特定のＩＳＯ値を前提として輝度が調整されてもよい。ゆえに、そのような実施形態では、ゲイン調整されたアナログ画素データ６２３は輝度補正された画素データを含んでいてもよく、輝度は指定されたＩＳＯに基づいて補正される。別の実施形態において、ある画像についてゲイン調整されたアナログ画素データ６２３は、当該画像が特定のＩＳＯでサンプリングされたかのような輝度を画像内に有する画素を含んでいてもよい。

ある実施形態に従うと、デジタル画素データ６２５は、画素アレイ５１０を用いて捕捉された画像の画素を表す複数のデジタル値を含んでいてもよい。

図７は、ある実施形態に従うアナログ信号のアナログ画素データをデジタル画素データに変換するためのシステム７００を示す。選択肢として、システム７００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、システム７００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

システム７００は、アナログ記憶面７０２、アナログ－デジタルユニット７２２、第１のデジタル画像７３２、および第２のデジタル画像７３４を含むとして図７に示されている。また、一実施形態において、アナログ値の各々はアナログ記憶面７０２内で「Ｖ」として表現され得、対応するデジタル値の各々は第１のデジタル画像７３２および第２のデジタル画像７３４内で「Ｄ」として表現され得る。

本説明の文脈において、アナログ記憶面７０２は１つ以上のアナログ値の任意の集合を含んでいてもよい。一実施形態において、アナログ記憶面７０２は１つ以上のアナログ画素値を含んでいてもよい。いくつかの実施形態において、アナログ記憶面７０２は、画素アレイの行またはラインの画素ごとに少なくとも１つのアナログ画素値を含んでいてもよい。さらに、別の実施形態において、アナログ記憶面７０２は、フレームと称され得る画素アレイの全体の画素ごとに少なくとも１つのアナログ画素値を含んでいてもよい。一実施形態において、アナログ記憶面７０２は画素のセルごとにアナログ値を含んでいてもよい。さらに別の実施形態において、アナログ記憶面７０２は、画素アレイの１本の行またはラインの各画素のセルごとにアナログ値を含んでいてもよい。別の実施形態において、アナログ記憶面７０２は、画素アレイの複数のラインまたは行の各画素のセルごとにアナログ値を含んでいてもよい。たとえば、アナログ記憶面７０２は、画素アレイのすべてのラインまたは行の各画素のセルごとにアナログ値を含んでいてもよい。

さらに、アナログ記憶面７０２のアナログ値は、アナログ画素データ７０４としてアナログ－デジタルユニット７２２に出力される。一実施形態において、アナログ－デジタルユニット７２２は、図６の文脈内で説明したアナログ－デジタルユニット６２２と実質的に同一であってもよい。たとえば、アナログ－デジタルユニット７２２は少なくとも１つの増幅器および少なくとも１つのアナログ－デジタル変換器を含んでいてもよく、当該増幅器はゲイン値を受信し、当該ゲイン値を利用して、アナログ－デジタルユニット７２２において受信したアナログ画素データをゲイン調整するように動作可能である。さらに、そのような実施形態では、増幅器はゲイン調整されたアナログ画素データをアナログ－デジタル変換器に送信してもよく、当該変換器は次いで、ゲイン調整されたアナログ画素データからデジタル画素データを生成する。

図７のシステム７００の文脈において、アナログ－デジタルユニット７２２はアナログ画素データ７０４を受信し、少なくとも２つの異なるゲインをアナログ画素データ７０４に適用して、少なくとも第１のゲイン調整されたアナログ画素データおよび第２のゲイン調整されたアナログ画素データを生成する。さらに、アナログ－デジタルユニット７２２は、生成したゲイン調整されたアナログ画素データの各々をデジタル画素データに変換してから、少なくとも２つのデジタル出力を出力する。この目的で、アナログ－デジタルユニット７２２は、アナログ画素データ７０４に適用される各ゲインに対応する異なるデジタル出力を提供する。具体的には図７に関して、アナログ－デジタルユニット７２２は、第１のゲイン６５２に対応する第１のデジタル画素データ７２３を含む第１のデジタル信号、および第２のゲイン７５２に対応する第２のデジタル画素データ７２４を含む第２のデジタル信号を生成するとして示されている。

一実施形態において、アナログ－デジタルユニット７２２は少なくとも２つのゲインをアナログ値に連続して適用する。たとえば、アナログ－デジタルユニット７２２はまず第１のゲイン６５２をアナログ画素データ７０４に適用し、続いて第２のゲイン７５２を同じアナログ画素データ７０４に適用する。他の実施形態では、アナログ－デジタルユニット７２２は少なくとも２つのゲインをアナログ値に並列的に適用してもよい。たとえば、アナログ－デジタルユニット７２２は、第２のゲイン７５２をアナログ画素データ７０４に適用するのと並列的に、第１のゲイン６５２をアナログ画素データ７０４に適用してもよい。この目的で、少なくとも２つのゲインを適用する結果として、アナログ画素データ７０４は少なくとも第１のゲイン６５２および第２のゲイン７５２を利用して増幅される。

一実施形態に従うと、少なくとも２つのゲインは、写真撮影シーンの露光、計測データ、ユーザ入力、検出された周囲光、ストロボ制御、または上記のいずれかの組合せに基づく任意の技術的に実行可能な技術を用いて決定されてもよい。たとえば、少なくとも２つのゲインのうちの第１のゲインは、アナログ記憶面７０２からのデジタル値の半分が、「ＥＶ０」露光を有すると特徴付けられ得る第１のデジタル画像７３２を含むデジタル値と関連付けられているダイナミックレンジについての指定閾値（たとえば０．０から１．０の範囲内の０．５の閾値）よりも高いデジタル値に変換されるように決定されてもよい。この例を続けて、少なくとも２つのゲインのうちの第２のゲインは、「ＥＶ＋１」露光を有すると特徴付けられる第２のデジタル画像７３４を生成するように第１のゲインの２倍であるとして決定されてもよい。

一実施形態において、アナログ－デジタルユニット７２２は、第１のゲイン調整されたアナログ画素データを第１のデジタル画素データ７２３に、かつ第２のゲイン調整されたアナログ画素データを第２のデジタル画素データ７２４に連続して変換する。たとえば、アナログ－デジタルユニット７２２はまず、第１のゲイン調整されたアナログ画素データを第１のデジタル画素データ７２３に変換し、続いて第２のゲイン調整されたアナログ画素データを第２のデジタル画素データ７２４に変換する。他の実施形態では、アナログ－デジタルユニット７２２は、第１のデジタル画素データ７２３が第２のデジタル画素データ７２４と並列的に生成されるように、そのような変換を並列的に実行してもよい。

さらに、図７に示されるように、第１のデジタル画素データ７２３を用いて第１のデジタル画像７３２が提供される。同様に、第２のデジタル画素データ７２４を用いて第２のデジタル画像７３４が提供される。第１のデジタル画像７３２および第２のデジタル画像７３４の両方が同じアナログ画素データ７０４に基づいているが、第１のデジタル画像７３２は、第１のゲイン６５２（第１のデジタル画像７３２を生成するために用いられる）と第２のゲイン７５２（第２のデジタル画像７５２を生成するために用いられる）との差の関数として第２のデジタル画像７３４と異なっていてもよい。具体的には、少なくとも２つのゲインのうちの最大ゲインを用いて生成されたデジタル画像は、最も明るいまたは露光が多いと視覚的に認識され得る。逆に、少なくとも２つのゲインのうちの最小ゲインを用いて生成されたデジタル画像は、最も暗いまたは露光が少ないと視覚的に認識され得る。この目的で、第１の光感度値は第１のデジタル画素データ７２３と関連付けられてもよく、第２の光感度値は第２のデジタル画素データ７２４と関連付けられてもよい。さらに、ゲインの各々は異なる光感度値と関連付けられてもよいため、第１のデジタル画像または第１のデジタル信号は第１の光感度値と関連付けられてもよく、第２のデジタル画像または第２のデジタル信号は第２の光感度値と関連付けられてもよい。

アナログ画素データへのゲインの制御された適用はＨＤＲ画像生成を大きく助け得るが、適用するゲインが大き過ぎると、ノイズが多い、露光過多である、および／または白飛び（blown-out）であると視覚的に認識されるデジタル画像が生じ得ることに留意すべきである。一実施形態において、２ストップ（stop）のゲインをアナログ画素データに適用すると、写真撮影シーンの暗い部分について視覚的に認識可能なノイズが、および写真撮影シーンの明るい部分について視覚的に認識不可能なノイズが付与され得る。別の実施形態において、デジタル写真撮影デバイスは、捕捉された写真撮影シーンについてアナログ画素データのアナログ記憶面を提供し、次いでアナログ－デジタルユニット７２２を用いて同じアナログ画素データの少なくとも２つのアナログ－デジタルサンプリングを実行するように構成されてもよい。この目的で、デジタル画像が少なくとも２つのサンプリングのサンプリングごとに生成されてもよく、各デジタル画像は、すべてのデジタル画像が画像センサ上に合焦される単一の光学画像の同じアナログサンプリングから生成されているにもかかわらず、異なる露光で得られる。

一実施形態において、当初の露光パラメータはユーザによって、またはデジタル写真撮影デバイスの計測アルゴリズムによって選択されてもよい。当初の露光パラメータは、ユーザ入力、または特定の捕捉変数を選択するソフトウェアに基づいて選択されてもよい。そのような捕捉変数は、たとえば、ＩＳＯ、アパーチャ、およびシャッター速度を含んでいてもよい。画像センサは次いで、当初の露光パラメータで写真撮影シーンの単一の露光を捕捉し、画像センサ上に合焦される光学画像に対応するアナログ値でアナログ記憶面をポピュレートしてもよい。次に、第１のデジタル画像が上述のシステムおよび方法に従って第１のゲインを利用して得られてもよい。たとえば、当初の露光パラメータがＩＳＯ４００の選択を含むようにデジタル写真撮影デバイスが構成されている場合、第１のデジタル画像を得るために利用される第１のゲインはＩＳＯ４００にマップされてもよく、またはそうでなければＩＳＯ４００と関連付けられてもよい。この第１のデジタル画像は、露光値０（ＥＶ０）で得られる露光または画像と称され得る。さらに、少なくとももう１つのデジタル画像が上述のシステムおよび方法に従って第２のゲインを利用して得られてもよい。たとえば、第１のデジタル画像を生成するために用いられるのと同じアナログ画素データが第２のゲインを利用して処理されて第２のデジタル画像を生成してもよい。

一実施形態において、少なくとも２つのデジタル画像が同じアナログ画素データを用いて生成されてブレンドされ、ＨＤＲ画像を生成してもよい。同じアナログ信号を用いて生成された少なくとも２つのデジタル画像は、第１のデジタル信号と第２のデジタル信号とをブレンドすることによってブレンドされてもよい。少なくとも２つのデジタル画像は同じアナログ画素データを用いて生成されるため、少なくとも２つのデジタル画像同士の間のフレーム間時間はゼロであり得る。同じ写真撮影シーンの少なくとも２つのデジタル画像同士の間のフレーム間時間がゼロである結果として、ＨＤＲ画像を、ＨＤＲ写真に典型的なモーションブラーまたは他のアーティファクトなしで生成することができる。

別の実施形態において、第２のゲインは第１のゲインに基づいて選択されてもよい。たとえば、第２のゲインは、第２のゲインが第１のゲインから１ストップ離れていることに基づいて選択されてもよい。より具体的には、第１のゲインがＩＳＯ４００にマップされているか関連付けられている場合は、ＩＳＯ４００から１ストップ下がるとＩＳＯ２００と関連付けられているゲインが提供され、ＩＳＯ４００から１ストップ上がるとＩＳＯ８００と関連付けられているゲインが提供される。そのような実施形態では、ＩＳＯ２００と関連付けられているゲインを利用して生成されるデジタル画像は露光値－１（ＥＶ－１）で得られる露光または画像と称され得、ＩＳＯ８００と関連付けられているゲインを利用して生成されるデジタル画像は露光値＋１（ＥＶ＋１）で得られる露光または画像と称され得る。

さらに、同じアナログ信号を利用して生成されるデジタル画像同士の間により大きい露光差が求められる場合は、第２のゲインは、第２のゲインが第１のゲインから２ストップ離れていることに基づいて選択されてもよい。たとえば、第１のゲインがＩＳＯ４００にマップされているか関連付けられている場合は、ＩＳＯ４００から２ストップ下がるとＩＳＯ１００と関連付けられているゲインが提供され、ＩＳＯ４００から２ストップ上がるとＩＳＯ１６００と関連付けられているゲインが提供される。そのような実施形態では、ＩＳＯ１００と関連付けられているゲインを利用して生成されるデジタル画像は露光値－２（ＥＶ－２）で得られる露光または画像と称され得、ＩＳＯ１６００と関連付けられているゲインを利用して生成されるデジタル画像は露光値＋２（ＥＶ＋２）で得られる露光または画像と称され得る。

一実施形態において、ＩＳＯおよびＥＶ０画像の露光は、より暗いまたはより飽和したデジタル画像が生成されるように好みに従って選択されてもよい。そのような実施形態では、その意図は、最大ゲインを利用して生成されるデジタル画像である、最も明るいデジタル画像となるものの白飛びまたは露光過多を回避することであり得る。別の実施形態において、ＥＶ－１デジタル画像またはＥＶ－２デジタル画像は第１の生成デジタル画像であってもよい。ＥＶ－１またはＥＶ－２デジタル画像を生成したのに続いて、アナログ－デジタルユニットにおけるゲインの増加を利用してＥＶ０デジタル画像が生成されてもよく、次いでアナログ－デジタルユニットにおけるゲインの第２の増加を利用してＥＶ＋１またはＥＶ＋２デジタル画像が生成されてもよい。一実施形態において、当初の露光パラメータはＥＶ－Ｎデジタル画像に対応し、その後のゲインを用いてＥＶ０デジタル画像、ＥＶ＋Ｍデジタル画像、またはそれらのいずれかの組合せが得られ、ＮおよびＭは０から－１０の間の値である。

一実施形態において、ＥＶ－２デジタル画像、ＥＶ０デジタル画像、およびＥＶ＋２デジタル画像が、３つのアナログ－デジタルユニットを実現することによって並列的に生成されてもよい。そのような実現によって、ＥＶ－１デジタル画像、ＥＶ０デジタル画像、およびＥＶ＋１デジタル画像のすべてを実質的に生成することもできる。同様に、露光のいずれかの組合せが、２つ以上のアナログ－デジタルユニット、３つ以上のアナログ－デジタルユニット、または任意の数のアナログ－デジタルユニットから並列的に生成されてもよい。

図８は、さまざまな実施形態に従うアナログ信号を増幅するためのさまざまなタイミング構成を示す。選択肢として、図８のタイミング構成は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、図８のタイミング構成は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

具体的には、図８に示されるように、画素ごとのタイミング構成８０１が画素単位でアナログ信号を増幅するとして示されている。さらに、ラインごとのタイミング構成８１１がライン単位でアナログ信号を増幅するとして示されている。最後に、フレームごとのタイミング構成８２１がフレーム単位でアナログ信号を増幅するとして示されている。アナログ画素データと関連付けられている各増幅アナログ信号は、対応するデジタル信号値に変換されてもよい。

画素ごとのタイミング構成８０１を実現するシステムにおいて、アナログ画素データを含むアナログ信号がアナログ－デジタルユニットにおいて受信されてもよい。さらに、アナログ画素データは個々のアナログ画素値を含んでいてもよい。そのような実施形態では、第１の画素と関連付けられている第１のアナログ画素値がアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々が、同じ第１のアナログ画素値に連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、選択されたアナログ画素値に適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインを同じアナログ画素値に適用するのみで十分であり得る。一実施形態において、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々を適用した後、第２の画素と関連付けられている第２のアナログ画素値がアナログ信号内で特定されて選択されてもよい。第２の画素は第１の画素の隣接画素であってもよい。たとえば、第２の画素は第１の画素と同じ行内にあり、画像センサの画素アレイ上で第１の画素に隣接して位置していてもよい。次に、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々が、同じ第２のアナログ画素値に連続してまたは並行して適用されてもよい。この目的で、画素ごとのタイミング構成８０１において、複数の連続したアナログ画素値がアナログ信号内で特定されてもよく、１組の少なくとも２つのゲインが画素単位で当該アナログ信号内の各画素に適用される。

さらに、画素ごとのタイミング構成８０１を実現するシステムにおいて、制御ユニットは、各画素が予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、第１のアナログ画素値に適用される予定の１組の予め定められたゲインを繰返すように増幅器を制御してもよく、そのような第１のアナログ画素データ値は、第１の画素と関連付けられているアナログ画素データ７０４を含んでいるため、当該１組の予め定められたゲインを後で増幅器に到着する第２のアナログ画素データに適用する前に、当該１組の各ゲインを用いて第１のアナログ画素データが増幅され得る。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインを受信した第１のアナログ画素値に適用すること、第２のゲインを選択すること、第２のゲインを受信した第１のアナログ画素値に適用すること、第３のゲインを選択すること、選択した第３のゲインを受信した第１のアナログ画素値に適用すること、そして次いで、第２のアナログ画素値を受信し、選択した３つのゲインを、第１の画素値に適用したのと同じ順序で第２の画素値に適用することを含んでいてもよい。一実施形態において、各アナログ画素値は複数回読出されてもよい。概して、アナログ記憶面は、画素のアナログ画素値を読出のために保持するように利用され得る。

ラインごとのタイミング構成８１１を実現するシステムにおいて、アナログ画素データを含むアナログ信号がアナログ－デジタルユニットにおいて受信されてもよい。さらに、アナログ画素データは個々のアナログ画素値を含んでいてもよい。一実施形態において、画素アレイの画素の第１のラインと関連付けられているアナログ画素値の第１のラインがアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々がアナログ画素値の同じ第１のラインに連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、アナログ画素値の選択されたラインに適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインをアナログ画素値の同じラインに適用するのみで十分であり得る。一実施形態において、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々を適用した後、画素の第２のラインと関連付けられているアナログ画素値の第２のラインがアナログ信号内で特定されて選択されてもよい。画素の第２のラインは画素の第１のラインの隣接ラインであってもよい。たとえば、画素の第２のラインは、画像センサの画素アレイ内の画素の第１のラインの真上または真下に位置していてもよい。次に、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々が、アナログ画素値の同じ第２のラインに連続してまたは並行して適用されてもよい。この目的で、ラインごとのタイミング構成８１１において、アナログ画素値の複数の連続したラインがアナログ信号内で特定され、１組の少なくとも２つのゲインがライン単位で当該アナログ信号内のアナログ画素値の各ラインに適用される。

さらに、ラインごとのタイミング構成８１１を実現するシステムにおいて、制御ユニットは、各ラインが予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、ラインに適用される予定の１組の予め定められたゲインを、アナログ画素値の第１のラインに続いて増幅器に到着するアナログ画素値の第２のラインに適用する前に、当該１組の各ゲインを用いてアナログ画素値の第１のラインが増幅されるように、当該１組の予め定められたゲインを繰返すように増幅器を制御してもよい。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインをアナログ画素値の受信した第１のラインに適用すること、第２のゲインを選択すること、第２のゲインをアナログ画素値の受信した第１のラインに適用すること、第３のゲインを選択すること、選択した第３のゲインをアナログ画素値の受信した第１のラインに適用すること、そして次いで、アナログ画素値の第２のラインを受信し、選択した３つのゲインを、アナログ画素値の第１のラインに適用したのと同じ順序でアナログ画素値の第２のラインに適用することを含んでいてもよい。一実施形態において、アナログ画素値の各ラインは複数回読出されてもよい。別の実施形態において、アナログ記憶面は、１本以上のラインのアナログ画素データ値を読出のために保持するように利用され得る。

フレームごとのタイミング構成８２１を実現するシステムにおいて、アナログ画素値を含む複数のアナログ画素データ値を含むアナログ信号がアナログ－デジタルユニットにおいて受信されてもよい。そのような実施形態では、画素の第１のフレームと関連付けられているアナログ画素値の第１のフレームがアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々がアナログ画素値の同じ第１のフレームに連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、アナログ画素値の選択されたフレームに適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインをアナログ画素値の同じフレームに適用するのみで十分であり得る。

一実施形態において、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々を適用した後、画素の第２のフレームと関連付けられているアナログ画素値の第２のフレームがアナログ信号内で特定されて選択されてもよい。画素の第２のフレームは、写真撮影シーンと関連付けられているビデオデータを捕捉する一連のフレーム内の次のフレームであってもよい。たとえば、デジタル写真撮影システムは３０フレーム／秒のビデオデータを捕捉するように動作可能であり得る。そのようなデジタル写真撮影システムでは、画素の第１のフレームは上記３０個のフレームのうちの１つのフレームであってもよく、画素の第２のフレームは上記３０個のフレームのうちの第２のフレームであってもよい。さらに、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々は第２のフレームのアナログ画素値に連続して適用されてもよい。この目的で、フレームごとのタイミング構成８２１において、アナログ画素値の複数の連続したフレームがアナログ信号内で特定されてもよく、１組の少なくとも２つのゲインがフレーム単位でアナログ画素値の各フレームに適用される。

さらに、フレームごとのタイミング構成８２１を実現するシステムにおいて、制御ユニットは、各フレームが予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、フレームに適用される予定の１組の予め定められたゲインを、後で増幅器に到着する第２のフレームと関連付けられているアナログ画素値に適用する前に、各ゲインを用いて第１のフレームと関連付けられているアナログ画素値が増幅されるように、当該１組の予め定められたゲインを繰返すように増幅器を制御してもよい。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインを第１のフレームと関連付けられているアナログ画素値に適用すること、第２のゲインを選択すること、第２のゲインを第１のフレームと関連付けられているアナログ画素値に適用すること、第３のゲインを選択すること、および第３のゲインを第１のフレームと関連付けられているアナログ画素値に適用することを含んでいてもよい。別の実施形態において、第１のフレームと関連付けられているアナログ画素値に選択したすべての３つのゲインを適用したのに引き続いて、第２のフレームと関連付けられているアナログ画素値が受信されてもよく、次いで、選択した３つのゲインは、第１のフレームに適用されたのと同じ順序で第２のフレームと関連付けられているアナログ画素値に適用されてもよい。

さらに別の実施形態において、第１のフレームに適用される選択されたゲインは第２のフレームに適用される選択されたゲインとは異なっていてもよく、これは第２のフレームが第１のフレームとは異なる内容および照明を含む場合などに起こり得る。概して、アナログ記憶面は、１つ以上のフレームのアナログ画素データ値を読出のために保持するように利用され得る。

図９は、一実施形態に従うアナログ画素データをデジタル画素データの多数の信号に並列的に変換するためのシステム９００を示す。選択肢として、システム９００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、システム９００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

図９の文脈において、システム９００は入力されたアナログ画素データ６２１を受信するとして示されている。アナログ画素データ６２１は、上述のようにアナログ信号内で受信されてもよい。さらに、アナログ－デジタルユニット６２２は、受信したアナログ画素データ６２１に基づいてデジタル画素データ６２５を生成するように構成されてもよい。

図９に示されるように、システム９００は、アナログ－デジタルユニット６２２（０）、アナログ－デジタルユニット６２２（１）およびアナログ－デジタルユニット６２２（ｎ）の各々がアナログ画素データ６２１のスケーリングされたコピーを受信するように、アナログ画素データ６２１の電流をミラーリングするように構成される。一実施形態において、アナログ－デジタルユニット６２２（０）、アナログ－デジタルユニット６２２（１）およびアナログ－デジタルユニット６２２（ｎ）の各々は一意のゲインをアナログ画素データ６２１適用するように構成されてもよい。スケーリングされた各コピーは、電流ミラーとして当該技術において公知の構造を含む、システム９００を含むトランジスタについての物理的寸法に従ってスケーリングされてもよい。示されるように、各電流ｉ１、ｉ２、ｉ３は、当該物理的寸法に基づいて、入力電流Ｉｉｎに対して任意の比で生成されてもよい。たとえば、電流ｉ１、ｉ２、ｉ３は、Ｉｉｎに対して１：１：１、１：２：４、０．５：１：２の比で、またはその他の技術的に実行可能な比で生成されてもよい。

ある実施形態において、一意のゲインは、コントローラによってアナログ－デジタルユニット６２２の各々において構成されてもよい。具体例として、アナログ－デジタルユニット６２２（０）は１．０のゲインをアナログ画素データ６２１に適用するように構成されてもよく、アナログ－デジタルユニット６２２（１）は２．０のゲインをアナログ画素データ６２１に適用するように構成されてもよく、アナログ－デジタルユニット６２２（ｎ）は４．０のゲインをアナログ画素データ６２１に適用するように構成されてもよい。したがって、同じアナログ画素データ６２１が、アナログ－デジタルユニット６２２（０）、アナログ－デジタルユニット６２２（１）およびアナログ－デジタルユニット６２２（ｎ）の各々に入力送信され得るが、デジタル画素データ６２５（０）、デジタル画素データ６２５（１）およびデジタル画素データ６２５（ｎ）の各々は、アナログ－デジタルユニット６２２内に適用される異なるゲインに基づいて異なるデジタル値を含むため、同じ写真撮影シーンの一意の露光表現を提供し得る。

アナログ－デジタルユニット６２２（０）が１．０のゲインを適用するように構成されてもよく、アナログ－デジタルユニット６２２（１）が２．０のゲインを適用するように構成されてもよく、アナログ－デジタルユニット６２２（ｎ）が４．０のゲインを適用するように構成されてもよい上述の実施形態において、デジタル画素データ６２５（０）は最小露光の対応するデジタル画像を提供し得る。逆に、デジタル画素データ６２５（ｎ）は最大露光のデジタル画像を提供し得る。別の実施形態において、デジタル画素データ６２５（０）はＥＶ－１デジタル画像を生成するために利用されてもよく、デジタル画素データ６２５（１）はＥＶ０デジタル画像を生成するために利用されてもよく、デジタル画素データ６２５（ｎ）はＥＶ＋２画像を生成するために利用されてもよい。別の実施形態において、システム９００は２：１：４の比で電流ｉ１、ｉ２およびｉ３を生成するように構成され、各アナログ－デジタルユニット６２２は１．０のゲインを適用するように構成されてもよく、この結果、対応するデジタル画像はそれぞれＥＶ－１、ＥＶ－０およびＥＶ＋１の露光値を有する。そのような実施形態では、露光値のさらなる差は、１つ以上のアナログ－デジタルユニット６２２内に非ユニットゲイン（non-unit gain）を適用することによって達成され得る。

システム９００は３つのアナログ－デジタルユニット６２２を含むとして示されているが、３つよりも多いまたは少ないアナログ－デジタルユニット６２２を有する同様のシステムによって多数のデジタル画像が生成されてもよい。たとえば、２つのアナログ－デジタルユニット６２２を有するシステムが、システム９００に関して上述したのと同様の態様でゼロのフレーム間時間で写真撮影シーンの２つの露光を同時に生成するために実現されてもよい。一実施形態において、２つのアナログ－デジタルユニット６２２の各々が２つの露光を生成して、アナログ画素データの１フレームに対して合計４つの異なる露光を生成するように構成されてもよい。

図１０は、一実施形態に係る結合画像１０２０を生成するためのユーザインターフェイス（ＵＩ）システム１０００を示す。選択肢として、ＵＩシステム１０００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、ＵＩシステム１０００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、結合画像１０２０は少なくとも２つの関連したデジタル画像の組合せを含む。一実施形態において、結合画像１０２０は、図７の第１のデジタル画像７３２および第２のデジタル画像７３４などの第１のデジタル画像および第２のデジタル画像の結合されたレンダリングを含むがこれに限定されない。別の実施形態において、結合画像１０２０を計算するために用いられるデジタル画像はアナログ信号を少なくとも２つの異なるゲインで増幅することによって生成されてもよく、当該アナログ信号は、画像センサ上に合焦される光学画像に基づいて捕捉される光学シーン情報を含む。さらに別の実施形態において、アナログ信号は、画素単位で、ライン単位で、またはフレーム単位で少なくとも２つの異なるゲインを用いて増幅されてもよい。

一実施形態において、ＵＩシステム１０００は、結合画像１０２０と、トラック１０３２に沿って動くように構成されたスライダコントロール１０３０と、各々が表示画像１０１０内に表示される視覚マーカを含み得る２つ以上の表示点１０４０とを含むがこれらに限定されない表示画像１０１０を提示する。

一実施形態において、ＵＩシステム１０００はデジタル写真撮影システム３００のプロセッサ複合体３１０内で実行される調整ツールによって生成され、表示画像１０１０は表示ユニット３１２上に表示される。一実施形態において、少なくとも２つの関連したデジタル画像などの少なくとも２つのデジタル画像は、結合画像１０２０を生成するためのソース画像を含む。少なくとも２つのデジタル画像は、ＮＶメモリ３１６、揮発性メモリ３１８、メモリサブシステム３６２またはそれらのいずれかの組合せの内部に存在してもよい。別の実施形態において、ＵＩシステム１０００は、ラップトップコンピュータまたはデスクトップコンピュータなどのコンピュータシステム内で実行される調整ツールによって生成される。少なくとも２つのデジタル画像はコンピュータシステムに送信されてもよく、または取付けられたカメラデバイスによって生成されてもよい。さらに別の実施形態において、ＵＩシステム１０００はクラウドベースのサーバコンピュータシステムによって生成されてもよく、当該サーバコンピュータシステムは少なくとも２つのデジタル画像をクライアントブラウザにダウンロードしてもよく、当該ブラウザは以下に説明する結合動作を実行してもよい。別の実施形態において、ＵＩシステム１０００はクラウドベースのサーバコンピュータシステムによって生成され、当該サーバコンピュータシステムは、モバイルデバイス内のデジタル写真撮影システムから少なくとも２つのデジタル画像を受信し、結合画像１０２０を生成するのと共に、以下に説明する結合動作を実行してもよい。

スライダコントロール１０３０は、表示点１０４０－Ａおよび１０４０－Ｃに対応する２つの終点同士の間を動くように構成されてもよい。表示点１０４０－Ｂなどの１つ以上の表示点が２つの終点同士の間に位置決めされてもよい。各表示点１０４０は、結合画像１０２０の特定のバージョン、または少なくとも２つのデジタル画像の特定の組合せと関連付けられてもよい。たとえば、表示点１０４０－Ａは第１のゲインを利用して生成される第１のデジタル画像と関連付けられてもよく、表示点１０４０－Ｃは第２のゲインを利用して生成される第２のデジタル画像と関連付けられてもよく、第１のデジタル画像および第２のデジタル画像の両方が、捕捉された単一の写真撮影シーンの同じアナログ信号から生成される。一実施形態において、スライダコントロール１０３０が表示点１０４０－Ａの真上に位置決めされると、第１のデジタル画像のみが表示画像１０１０内に結合画像１０２０として表示されてもよく、同様に、スライダコントロール１０３０が表示点１０４０－Ｃの真上に位置決めされると、第２のデジタル画像のみが表示画像１０１０内に結合画像１０２０として表示されてもよい。

一実施形態において、表示点１０４０－Ｂは第１のデジタル画像と第２のデジタル画像とのブレンドと関連付けられてもよい。たとえば、スライダコントロール１０３０が表示点１０４０－Ｂに位置決めされると、結合画像１０２０は第１デジタル画像と第２のデジタル画像とのブレンドであってもよい。一実施形態において、第１のデジタル画像と第２のデジタル画像とのブレンドは、アルファブレンディング、輝度ブレンディング、ダイナミックレンジブレンディング、ならびに／またはトーンマッピングもしくは他の非線形ブレンディングおよびマッピング動作を含んでいてもよい。別の実施形態において、第１のデジタル画像と第２のデジタル画像とのブレンドはいずれも、第１の画像および第２の画像単独のいずれか一方とは異なるより大きいダイナミックレンジまたは他の視覚的特徴を有する新たな画像を提供し得る。ゆえに、第１のデジタル画像と第２のデジタル画像とのブレンドによって、結合画像１０２０として表示され得るかまたは結合画像１０２０を生成するために用いられ得る、新たに計算されたＨＤＲ画像が提供され得る。この目的で、第１のデジタル信号と第２のデジタル信号とが組合されることによって、ＨＤＲ画像の少なくとも一部が得られてもよい。さらに、第１のデジタル信号および第２のデジタル信号の一方は、別のデジタル画像またはデジタル信号の少なくとも一部とさらに組合されてもよい。一実施形態において、他方のデジタル画像は別のＨＤＲ画像を含んでいてもよい。

一実施形態において、スライダコントロール１０３０が表示点１０４０－Ａに位置決めされると第１のデジタル画像が結合画像１０２０として表示され、スライダコントロール１０３０が表示点１０４０－Ｃに位置決めされると第２のデジタル画像が結合画像１０２０として表示され、さらに、スライダコントロール１０３０が表示点１０４０－Ｂに位置決めされるとブレンド画像が結合画像１０２０として表示される。そのような実施形態では、スライダコントロール１０３０が表示点１０４０－Ａと表示点１０４０－Ｃとの間に位置決めされると、第１のデジタル画像および第２のデジタル画像について混合（たとえばブレンド）重みが計算されてもよい。第１のデジタル画像について、混合重みは、スライダコントロール１０３０が表示点１０４０－Ｃにあるときに０．０の値を有し、スライダコントロール１０３０が表示点１０４０－Ａにあるときに１．０の値を有するとして計算されてもよく、混合重み値の範囲はそれぞれ表示点１０４０－Ｃと１０４０－Ａとの間に位置する０．０から１．０である。代わりに第２のデジタル画像の混合動作に関して、混合重みは、スライダコントロール１０３０が表示点１０４０－Ａにあるときに０．０の値を有し、スライダコントロール１０３０が表示点１０４０－Ｃにあるときに１．０の値を有するとして計算されてもよく、混合重み値の範囲はそれぞれ表示点１０４０－Ａと１０４０－Ｃとの間に位置する０．０から１．０である。

第１のデジタル画像および第２のデジタル画像の少なくとも一方と関連付けられている少なくとも１つの混合重み値に基づいて、第１のデジタル画像および第２のデジタル画像に混合動作が適用されてもよい。一実施形態において、１．０の混合重みは、１．０の混合重みと関連付けられているデジタル画像に完全な混合重みを与える。このように、ユーザは第１のデジタル画像と第２のデジタル画像とをブレンドしてもよい。この目的で、第１のデジタル信号および第２のデジタル信号はユーザ入力に応じてブレンドされてもよい。たとえば、スライディング標識（indicia）が表示されてもよく、ユーザがスライディング標識を操作したことに応答して第１のデジタル信号および第２のデジタル信号がブレンドされてもよい。

この混合重みおよび混合動作のシステムは、第１のデジタル画像、第２のデジタル画像およびブレンド画像を第１のデジタル画像から第２のデジタル画像への段階的な進行として見るためのＵＩツールを提供する。一実施形態において、ユーザは、スライダコントロール１０３０の任意の位置に対応する結合画像１０２０を保存してもよい。ＵＩシステム１０００を実現する調整ツールは、任意の技術的に実行可能なジェスチャまたは技術を介して結合画像１０２０の保存を指示するコマンドを受信してもよい。たとえば、調整ツールは、結合画像１０２０によって占められる領域内でユーザがジェスチャを行なうと結合画像１０２０を保存するように構成されてもよい。または、調整ツールは、ユーザがスライダコントロール１０３０を押すが他の点では動かさない場合に結合画像１０２０を保存してもよい。別の実現例では、調整ツールは、ユーザが保存コマンドを受信する専用の保存ボタンなどのＵＩ要素（図示せず）を押すことによってなどでジェスチャを行なうと結合画像１０２０を保存してもよい。

この目的で、スライダコントロールを用いて２つ以上のデジタル画像の寄与を求め、結合画像１０２０などの最終計算画像を生成することができる。当業者は、混合重みおよび混合動作の上記のシステムは、２つ以上の関連画像と関連付けられている２つ以上の表示点を含むように一般化され得ることを認識するであろう。そのような関連画像は、ゼロのフレーム時間を有し得る、異なる輝度値を有するように同じアナログ信号を用いて生成された任意の数のデジタル画像を含み得るがこれらに限定されない。

さらに、回転ノブなどの、異なる連続位置ＵＩコントロールがスライダコントロール１０３０の代わりに実現されて、ユーザから混合重み入力または色調整入力が提供されてもよい。

図１１は、一実施形態に係る結合画像を生成するための方法１１００のフロー図である。選択肢として、方法１１００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、方法１１００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

方法１１００はステップ１１１０で開始し、プロセッサ複合体３１０などのプロセッサ複合体内で実行される調整ツールが、図１０の文脈において説明した第１のデジタル画像および第２のデジタル画像などの少なくとも２つの関連したソース画像をロードする。ステップ１１１２において、調整ツールは、図１０のスライダコントロール１０３０などのＵＩコントロールの位置をデフォルト設定に初期化する。一実施形態において、デフォルト設定は、ＵＩコントロールの値の範囲について、表示点１０４０－Ａなどの終点を含む。別の実施形態において、デフォルト設定は、少なくとも２つの関連したソース画像のうちの１つ以上に基づく計算値を含む。特定の実施形態において、デフォルト設定は、少なくとも第１のデジタル画像および第２のデジタル画像を含む画像オブジェクトと関連してユーザによって予め選択された値に初期化される。

ステップ１１１４において、調整ツールは、ＵＩコントロールの位置および少なくとも２つの関連したソース画像に基づいて、図１０の結合画像１０２０などの結合画像を生成して表示する。一実施形態において、結合画像を生成することは、図１０において先に説明したように少なくとも２つの関連したソース画像同士を混合することを含む。ステップ１１１６において、調整ツールはユーザ入力を受信する。ユーザ入力は、表示画像１０１０内の選択ジェスチャまたはクリックジェスチャなどのＵＩジェスチャを含み得るがこれらに限定されない。ステップ１１２０においてユーザ入力がＵＩコントロールの位置を変更した場合は、調整ツールはＵＩコントロールの位置を変更し、方法はステップ１１１４に戻る。そうでなければ、方法はステップ１１３０に進む。

ステップ１１３０においてユーザ入力が終了コマンドを含んでいない場合は、方法はステップ１１４０に進み、調整ツールはユーザ入力と関連付けられているコマンドを実行する。一実施形態において、当該コマンドは保存コマンドを含み、調整ツールは次いで、ＵＩコントロールの位置に従って生成される結合画像を保存する。方法は次いでステップ１１１６に戻る。

ステップ１１３０に戻って、ユーザ入力が終了コマンドを含んでいる場合は、方法はステップ１１９０において終わり、調整ツールが終了することによって実行を終わらせる。

要約すると、第１のデジタル画像と第２のデジタル画像とを有益にブレンドする新たなデジタル写真を生成するための技術であって、第１のデジタル画像および第２のデジタル画像の両方が画像センサから受信した単一のアナログ信号に基づいている技術が開示される。第１のデジタル画像は、任意の技術的に実行可能なブレンド技術を実現する機能に基づいて第２のデジタル画像とブレンドされてもよい。調整ツールは、ユーザが関連画像を組合せるためにパラメータの段階的な変化から新たなデジタル信号を選択して保存することを可能にするユーザインターフェイス技術を実現し得る。

本発明の１つの利点は、デジタル写真が、写真撮影シーンの単一の捕捉の２つ以上の異なる露光を用いてユーザ入力に基づいて選択的に生成され得ることである。したがって、ユーザ入力に基づいて生成されるデジタル写真は、いずれの個別の露光よりも大きいダイナミックレンジを有し得る。さらに、ゼロのフレーム間時間で２つ以上の異なる露光を用いてＨＤＲ画像を生成するので、モーションアーティファクトなしでＨＤＲ画像の迅速な生成が可能となる。

図１２は、一実施形態に係るネットワークを利用して結合画像を生成するためのメッセージシーケンス１２００を示す。選択肢として、メッセージシーケンス１２００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、メッセージシーケンス１２００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

図１２に示されるように、ワイヤレスモバイルデバイス３７６（０）は少なくとも２つのデジタル画像を生成する。一実施形態において、少なくとも２つのデジタル画像は少なくとも２つのゲインでアナログ信号を増幅することによって生成されてもよく、生成される各デジタル画像は適用されるゲインのデジタル出力に対応する。上述のように、少なくとも２つの異なるゲインは、ゲイン調整されたアナログ画素データを生成するために、アナログ画素データを含むアナログ信号に１つ以上の増幅器によって適用されてもよい。さらに、ゲイン調整されたアナログ画素データは次いで、少なくとも１つのアナログ－デジタル変換器を利用して少なくとも２つのデジタル画像に変換されてもよく、デジタル画像の各々は同じ写真撮影シーンの異なる露光を提供する。たとえば、一実施形態において、少なくとも２つのデジタル画像は、写真撮影シーンのＥＶ－１露光および写真撮影シーンのＥＶ＋１露光を含んでいてもよい。別の実施形態において、少なくとも２つのデジタル画像は、写真撮影シーンのＥＶ－２露光、写真撮影シーンのＥＶ０露光、および写真撮影シーンのＥＶ＋２露光を含んでいてもよい。

再び図１２を参照して、少なくとも２つのデジタル画像は、データネットワーク４７４によってワイヤレスモバイルデバイス３７６（０）からデータセンタ４８０に送信される。少なくとも２つのデジタル画像は、任意の技術的に実行可能なネットワーク通信方法を用いてワイヤレスモバイルデバイス３７６（０）によってデータセンタ４８０に送信されてもよい。

さらに、一実施形態において、データセンタ４８０は次いで、少なくとも２つのデジタル画像を処理して第１の計算画像を生成してもよい。少なくとも２つのデジタル画像を処理することは、少なくとも２つのデジタル画像の各々の少なくとも一部をブレンドまたは併合して第１の計算画像を生成する、少なくとも２つのデジタル画像のいずれかの処理を含んでいてもよい。この目的で、第１のデジタル画像および第２のデジタル画像はワイヤレスモバイルデバイス３７６（０）から遠隔で結合されてもよい。たとえば、少なくとも２つのデジタル画像を処理することは、ＨＤＲ画像結合動作を含むがこれに限定されないいずれかの種類のブレンド動作を含んでいてもよい。一実施形態において、少なくとも２つのデジタル画像を処理することは、データセンタ４０８において受信したデジタル画像のうちのいずれか１つよりも大きいダイナミックレンジを有する第１の計算画像を生成するいずれかの計算を含んでいてもよい。したがって、一実施形態において、データセンタ４８０によって生成される第１の計算画像はＨＤＲ画像であってもよい。他の実施形態では、データセンタ４８０によって生成される第１の計算画像はＨＤＲ画像の少なくとも一部であってもよい。

第１の計算画像を生成した後、データセンタ４８０は次いで第１の計算画像をワイヤレスモバイルデバイス３７６（０）に送信してもよい。一実施形態において、ワイヤレスモバイルデバイス３７６（０）からの少なくとも２つのデジタル画像の送信、および無線デバイス３７６（０）における第１の計算画像の受信は、ワイヤレスモバイルデバイス３７６（０）のユーザから介入または命令を全く受けずに起こってもよい。たとえば、一実施形態において、ワイヤレスモバイルデバイス３７６（０）は、写真撮影シーンを捕捉して当該写真撮影シーンを表すアナログ信号を利用して少なくとも２つのデジタル画像を生成した直後に、少なくとも２つのデジタル画像をデータセンタ４８０に送信してもよい。写真撮影シーンは、ワイヤレスモバイルデバイス３７６（０）上の、電子シャッターコントロールのユーザ入力もしくは選択、またはマニュアルシャッターボタンの押下に基づいて捕捉されてもよい。さらに、少なくとも２つのデジタル画像を受信したことに応答して、データセンタ４８０は少なくとも２つのデジタル画像に基づいてＨＤＲ画像を生成し、ＨＤＲ画像をワイヤレスモバイルデバイス３７６（０）に送信してもよい。ワイヤレスモバイルデバイス３７６（０）は次いで、受信したＨＤＲ画像を表示してもよい。したがって、ワイヤレスモバイルデバイス３７６（０）のユーザは、データセンタ４８０によって計算されたＨＤＲ画像をワイヤレスモバイルデバイス３７６（０）のディスプレイ上で見ることができる。ゆえに、ワイヤレスモバイルデバイス３７６（０）がＨＤＲ画像処理をまったく実行しない場合でも、ユーザは、新たに計算されたＨＤＲ画像を、写真撮影シーンを捕捉して当該ＨＤＲ画像が基づく少なくとも２つのデジタル画像を生成したほぼ直後に、ワイヤレスモバイルデバイス３７６（０）上で見ることができる。

図１２に示されるように、ワイヤレスモバイルデバイス３７６（０）は、少なくとも２つのデジタル画像の処理の調整を要求する。一実施形態において、データセンタ４８０から第１の計算画像を受信すると、ワイヤレスモバイルデバイス３７６（０）は、図１０のＵＩシステム１０００などのＵＩシステムにおいて第１の計算画像を表示してもよい。そのような実施形態では、ユーザは、スライダコントロール１０３０などのスライダコントロールを制御して、データセンタ４８０に送信される少なくとも２つのデジタル画像の処理を調整してもよい。たとえば、ユーザがスライダコントロールを操作すると、コマンドがデータセンタ４８０に送信されてもよい。一実施形態において、データセンタ４８０に送信されるコマンドは、少なくとも２つのデジタル画像の処理を調整する際に用いられる混合重みを含んでいてもよい。他の実施形態では、少なくとも２つのデジタル画像の処理の調整を求める要求は、データセンタ４８０が少なくとも２つのデジタル画像を再処理して第２の計算画像を生成するために使用し得る、ワイヤレスモバイルデバイス３７６（０）からのいずれかの命令を含む。

図１２に示されるように、処理の調整を求める要求を受信すると、データセンタ４８０は少なくとも２つのデジタル画像を再処理して第２の計算画像を生成する。一実施形態において、データセンタ４８０は、ワイヤレスモバイルデバイス３７６（０）から受信したパラメータを用いて少なくとも２つのデジタル画像を再処理してもよい。そのような実施形態では、パラメータは、少なくとも２つのデジタル画像を有する入力として、データセンタ４８０において実行されるＨＤＲ処理アルゴリズムに提供されてもよい。第２の計算画像を生成した後、第２の計算画像は次いで、ユーザに表示するためにデータセンタ４８０からワイヤレスモバイルデバイス３７６（０）に送信されてもよい。

再び図１２を参照して、ワイヤレスモバイルデバイス３７６（０）は、第２の計算画像を別のワイヤレスモバイルデバイス３７６（１）と共有する。一実施形態において、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０から受信したいずれかの計算画像を他のワイヤレスモバイルデバイス３７６（１）と共有してもよい。たとえば、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０から受信した第１の計算画像を共有してもよい。図１２に示されるように、データセンタ４８０は、同じデータネットワーク４７４上でワイヤレスモバイルデバイス３７６（０）およびワイヤレスモバイルデバイス３７６（１）と通信する。当然、他の実施形態では、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０およびワイヤレスモバイルデバイス３７６（１）が通信のために利用するネットワークとは異なるネットワークを介してデータセンタ４８０と通信してもよい。

別の実施形態において、ワイヤレスモバイルデバイス３７６（０）は、共有要求をデータセンタ４８０に送信することによって計算画像を他のワイヤレスモバイルデバイス３７６（１）と共有してもよい。たとえば、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０が第２の計算画像を他のワイヤレスモバイルデバイス３７６（１）に転送することを要求してもよい。共有要求を受信したことに応答して、データセンタ４８０は次いで第２の計算画像をワイヤレスモバイルデバイス３７６（１）に送信してもよい。ある実施形態において、第２の計算画像を他のワイヤレスモバイルデバイス３７６（１）に送信することは、他のワイヤレスモバイルデバイス３７６（１）が第２の計算画像にアクセス可能となるＵＲＬを送信することを含んでいてもよい。

さらに、図１２に示されるように、第２の計算画像を受信した後、他のワイヤレスモバイルデバイス３７６（１）は、少なくとも２つのデジタル画像の処理の調整を求める要求をデータセンタ４８０に送信してもよい。たとえば、他のワイヤレスモバイルデバイス３７６（１）は、図１０のＵＩシステム１０００などのＵＩシステムにおいて第２の計算画像を表示してもよい。他のワイヤレスモバイルデバイス３７６（１）のユーザは、ＵＩコントロールを操作して、ワイヤレスモバイルデバイス３７６（０）によってデータセンタ４８０に送信される少なくとも２つのデジタル画像の処理を調整してもよい。たとえば、他のワイヤレスモバイルデバイス３７６（１）においてユーザがスライダコントロールを操作すると、コマンドが生成されて処理のためにデータセンタ４８０に送信されてもよい。ある実施形態において、他のワイヤレスモバイルデバイス３７６（１）から送信される少なくとも２つのデジタル画像の処理の調整を求める要求は、他のワイヤレスモバイルデバイス３７６（１）におけるスライダコントロールのユーザ操作に基づいて生成されるコマンドを含む。他の実施形態では、少なくとも２つのデジタル画像の処理の調整を求める要求は、データセンタ４８０が少なくとも２つのデジタル画像を再処理して第３の計算画像を生成するために使用し得る、ワイヤレスモバイルデバイス３７６（１）からのいずれかの命令を含む。

図１２に示されるように、処理の調整を求める要求を受信すると、データセンタ４８０は少なくとも２つのデジタル画像を再処理して第３の計算画像を生成する。一実施形態において、データセンタ４８０は、ワイヤレスモバイルデバイス３７６（１）から受信した混合重みを用いて少なくとも２つのデジタル画像を再処理してもよい。そのような実施形態では、ワイヤレスモバイルデバイス３７６（１）から受信した混合重みは、少なくとも２つのデジタル画像を有する入力として、データセンタ４８０において実行されるＨＤＲ処理アルゴリズムに提供されてもよい。第３の計算画像を生成した後、第３の計算画像は次いで、表示のためにデータセンタ４８０からワイヤレスモバイルデバイス３７６（１）に送信される。さらに、第３の計算画像を受信した後、ワイヤレスモバイルデバイス３７６（１）は、第３の計算画像を記憶することを求める要求をデータセンタ４８０に送信してもよい。別の実施形態において、データセンタ４８０と通信している他のワイヤレスモバイルデバイス３７６が計算画像の記憶を要求してもよい。たとえば、図１２の文脈において、ワイヤレスモバイルデバイス３７６（０）は、第１の計算画像または第２の計算画像の記憶をいつでも要求してもよい。

計算画像の記憶を求める要求を受信したことに応答して、データセンタ４８０は、後で取出すために計算画像を記憶してもよい。たとえば、記憶される計算画像は、当該計算画像を生成するために適用された処理を再び適用することなく当該計算画像を後で取出すことができるように記憶されてもよい。一実施形態において、データセンタ４８０は、データセンタ４８０にローカルな記憶システム４８６内に計算画像を記憶してもよい。他の実施形態では、データセンタ４８０は、データセンタ４８１などの、データセンタ４８０にローカルでないハードウェアデバイス内に計算画像を記憶してもよい。そのような実施形態では、データセンタ４８０は計算画像を記憶するためにデータネットワーク４７４上で送信してもよい。

さらに、いくつかの実施形態において、計算画像は、当該計算画像を生成するために利用された少なくとも２つのデジタル画像に関連して記憶されてもよい。たとえば、計算画像は、データセンタ４８０または４８１によって供給されるＵＲＬを通すなどして、当該計算画像を生成するために利用された少なくとも２つのデジタル画像と関連付けられてもよい。記憶された計算画像を少なくとも２つのデジタル画像にリンクすることによって、計算画像へのアクセスを有する任意のユーザまたはデバイスには、少なくとも２つのデジタル画像に適用される処理を後で調整し、それによって新たな計算画像を生成する機会も与えられ得る。

この目的で、ワイヤレスモバイルデバイス３７６のユーザは、データネットワーク４７４を介してアクセス可能なデータセンタ４８０の処理能力を利用して、他のワイヤレスモバイルデバイス３７６が捕捉しており、続いてアクセスを提供しているデジタル画像を利用してＨＤＲ画像を生成してもよい。たとえば、デジタル画像を含むデジタル信号が遠隔で結合されるようにネットワーク上で転送されてもよく、結合されたデジタル信号によってＨＤＲ画像の少なくとも一部が得られてもよい。さらに、ユーザは、自身のワイヤレスモバイルデバイス３７６に依拠して新たなＨＤＲ写真を生成するのに必要な処理または計算を実行することなく、２つ以上のデジタル画像のブレンドを調整して当該新たなＨＤＲ写真を生成することが可能であり得る。続いて、ユーザのデバイスは、２つ以上のデジタル信号の結合によって得られたＨＤＲ画像の少なくとも一部を受信してもよい。したがって、ユーザのワイヤレスモバイルデバイス３７６は、ＨＤＲ処理をデータセンタにオフロードすることによって電力を節約することができる。さらに、ユーザは、ＨＤＲ画像生成と関連付けられている高出力処理タスクを実行可能なワイヤレスモバイルデバイス３７６を有していないにもかかわらず、ＨＤＲ写真を効果的に捕捉することが可能であり得る。最後に、ユーザは、自身でＨＤＲアルゴリズムを選択することなく、かつ、そのようなＨＤＲアルゴリズムを実現するソフトウェアを自身のワイヤレスモバイルデバイス３７６上にインストールすることなく、写真撮影シーンに最良であると判断されるアルゴリズムを用いて生成されるＨＤＲ写真を得ることが可能であり得る。たとえば、ユーザは、データセンタ４８０に依拠して特定の写真撮影シーンのための最良のＨＤＲアルゴリズムを特定して選択することができる。

さまざまな実施形態を上記に説明したが、それらは限定としてではなく例として提示されているに過ぎないことを理解すべきである。ゆえに、好ましい実施形態の幅および範囲は上述の例示的な実施形態のいずれによっても限定されるべきなく、添付の特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。

Claims (15)

1. 画像センサのアレイを備え、前記アレイは１つ又は複数の行に配置される複数の画素を含み、
   回路を備え、前記回路は、
   各画素に関連付けられているアナログ信号を格納し、
   各画素に関連付けられている前記アナログ信号を列読出に送信し、
   前記列読出から、各画素に関連付けられている前記アナログ信号を受信し、
   第１のゲインを利用して前記アナログ信号を増幅することによって、各画素に関連付けられている第１の増幅アナログ信号を生成し、前記第１の増幅アナログ信号は、各画素からの第１の共通アナログ値を表わす第１のゲイン調整されたアナログ画素データを含み、前記第１のゲイン調整されたアナログ画素データは、アナログ画素値を含み、当該アナログ画素値には、複数の異なるゲインが適用され、
   第２のゲインを利用して前記アナログ信号を増幅することによって、各画素に関連付けられている第２の増幅アナログ信号を生成し、前記第２の増幅アナログ信号は、各画素からの第２の共通アナログ値を表わす第２のゲイン調整されたアナログ画素データを含み、前記第２のゲイン調整されたアナログ画素データは、アナログ画素値を含み、当該アナログ画素値には、複数の異なるゲインが適用され、
   前記第１の増幅アナログ信号および前記第２の増幅アナログ信号を送信し、
   前記第１の増幅アナログ信号を、各画素に関連付けられる第１のデジタル信号に変換し、
   前記第２の増幅アナログ信号を、各画素に関連付けられる第２のデジタル信号に変換し、
   各画素について前記第１のデジタル信号および前記第２のデジタル信号をブレンドし、前記ブレンドはユーザ入力に応答して発生し、前記ブレンドは少なくとも一部の高ダイナミックレンジ（ＨＤＲ）画像をもたらし、前記ブレンドはさらに、前記第１のデジタル信号と前記第２のデジタル信号との間でゼロのフレーム間時間で前記ＨＤＲ画像を生成する、装置。
2. 前記装置は、前記アナログ信号が、前記第２のゲインを利用する前記アナログ信号の増幅と同時に前記第１のゲインを利用して増幅されるように動作可能である、請求項１に記載の装置。
3. 前記装置は、前記アナログ信号が、前記第２のゲインを利用する前記アナログ信号の増幅と直列的に前記第１のゲインを利用して増幅されるように動作可能である、請求項１または２に記載の装置。
4. 前記第１の増幅アナログ信号は、前記第２の増幅アナログ信号の前記第２のデジタル信号への変換と並行して前記第１のデジタル信号に変換される、請求項１～３のいずれかに記載の装置。
5. 前記装置は、前記第１のデジタル信号に第１の光感度値が関連付けられており、前記第２のデジタル信号に第２の光感度値が関連付けられているように動作可能である、請求項１～３のいずれかに記載の装置。
6. 前記装置は、スライディング標識が表示され、ユーザが前記スライディング標識を操作したことに応答して前記第１のデジタル信号と前記第２のデジタル信号とがブレンドされるように動作可能である、請求項１～５のいずれかに記載の装置。
7. 前記装置は、前記ＨＤＲ画像と関連付けられている前記第１のデジタル信号または前記第２のデジタル信号の少なくとも一方が別の画像の少なくとも一部とさらに結合されるように動作可能である、請求項１～６のいずれかに記載の装置。
8. 第１のデジタル値が前記第１のゲインを指定し、第２のデジタル値が前記第２のゲインを指定する、請求項１～７のいずれかに記載の装置。
9. 前記第１のデジタル値および前記第２のデジタル値の少なくとも一方は、前記第１のデジタル値および前記第２のデジタル値の前記少なくとも一方からＩＳＯ値へのマッピングに基づいて選択され、前記ＩＳＯ値は、前記装置上で実行されるソフトウェアおよびユーザの少なくとも一方によって選択される、請求項８に記載の装置。
10. 前記装置は、前記別の画像が高ダイナミックレンジ（ＨＤＲ）画像であるように動作可能である、請求項７に記載の装置。
11. 前記装置は、前記第１のデジタル信号または前記第２のデジタル信号の少なくとも一方をネットワーク上で転送するように動作可能である、請求項１～１０のいずれかに記載の装置。
12. 前記装置は、第３のデジタル信号を用いて、前記第１のデジタル信号または前記第２のデジタル信号の少なくとも一方を遠隔で結合されるようにネットワークで転送することによって、高ダイナミックレンジ（ＨＤＲ）画像の少なくとも一部が得られるように動作可能である、請求項１～１１のいずれかに記載の装置。
13. 前記装置は、第３のデジタル信号を用いて、遠隔で結合されるようにネットワーク上で前記ＨＤＲ画像を転送するように動作可能である、請求項１～１２のいずれかに記載の装置。
14. 非一時的なコンピュータ読取可能媒体上で具体化されたコンピュータプログラムであって、
    各画素に関連付けられているアナログ信号を格納するためのコードと、
    各画素に関連付けられている前記アナログ信号を列読出に送信するためのコードと、
    前記列読出から、各画素に関連付けられている前記アナログ信号の受信を可能にするためのコードと、
    第１のゲインを利用して前記アナログ信号を増幅することによって、各画素に関連付けられている第１の増幅アナログ信号を生成するためのコードとを含み、前記第１の増幅アナログ信号は、各画素からの第１の共通アナログ値を表わす第１のゲイン調整されたアナログ画素データを含み、前記第1のゲイン調整されたアナログ画素データは、アナログ画素値を含み、当該アナログ画素値には、複数の異なるゲインが適用され、
    第２のゲインを利用して前記アナログ信号を増幅することによって、各画素に関連付けられている第２の増幅アナログ信号を生成するためのコードを含み、前記第２の増幅アナログ信号は、各画素からの第２の共通アナログ値を表わす第２のゲイン調整されたアナログ画素データを含み、前記第２のゲイン調整されたアナログ画素データは、アナログ画素値を含み、当該アナログ画素値には、複数の異なるゲインが適用され、
    前記第１の増幅アナログ信号および前記第２の増幅アナログ信号を送信するためコードを含み、
    前記第１の増幅アナログ信号を、各画素に関連付けられる第１のデジタル信号に変換するためのコードと、
    前記第２の増幅アナログ信号を、各画素に関連付けられる第２のデジタル信号に変換するためのコードと、
    各画素について前記第１のデジタル信号および前記第２のデジタル信号をブレンドするためのコードとを含み、前記ブレンドはユーザ入力に応答して発生し、前記ブレンドは少なくとも一部の高ダイナミックレンジ（ＨＤＲ）画像をもたらし、前記ブレンドはさらに、前記第１のデジタル信号と前記第２のデジタル信号との間でゼロのフレーム間時間で前記ＨＤＲ画像を生成する、コンピュータプログラム。
15. 各画素に関連付けられているアナログ信号を格納することと、
    各画素に関連付けられている前記アナログ信号を列読出に送信することと、
    前記列読出から、各画素に関連付けられているアナログ信号を受信することと、
    第１のゲインを利用して前記アナログ信号を増幅することによって、各画素に関連付けられている第１の増幅アナログ信号を得ることとを含み、前記第１の増幅アナログ信号は、各画素からの第１の共通アナログ値を表わす第１のゲイン調整されたアナログ画素データを含み、前記第１のゲイン調整されたアナログ画素データは、アナログ画素値を含み、当該アナログ画素値には、複数の異なるゲインが適用され、
    第２のゲインを利用して前記アナログ信号を増幅することによって、各画素に関連付けられている第２の増幅アナログ信号を得ることを含み、前記第２の増幅アナログ信号は、各画素からの第２の共通アナログ値を表わす第２のゲイン調整されたアナログ画素データを含み、前記第２のゲイン調整されたアナログ画素データは、アナログ画素値を含み、当該アナログ画素値には、複数の異なるゲインが適用され、
    前記第１の増幅アナログ信号および前記第２の増幅アナログ信号を送信することと、
    前記第１の増幅アナログ信号を、各画素に関連付けられる第１のデジタル信号に変換することと、
    前記第２の増幅アナログ信号を、各画素に関連付けられる第２のデジタル信号に変換することと、
    各画素について前記第１のデジタル信号および前記第２のデジタル信号をブレンドすることとを含み、前記ブレンドはユーザ入力に応答して発生し、前記ブレンドは少なくとも一部の高ダイナミックレンジ（ＨＤＲ）画像をもたらし、前記ブレンドはさらに、前記第１のデジタル信号と前記第２のデジタル信号との間でゼロのフレーム間時間で前記ＨＤＲ画像を生成する、方法。

Images