JP6896638B2 - 同時に複数の画像を捕捉するための画像センサ装置および方法 - Google Patents

同時に複数の画像を捕捉するための画像センサ装置および方法 Download PDF

Info

Publication number
JP6896638B2
JP6896638B2 JP2017544281A JP2017544281A JP6896638B2 JP 6896638 B2 JP6896638 B2 JP 6896638B2 JP 2017544281 A JP2017544281 A JP 2017544281A JP 2017544281 A JP2017544281 A JP 2017544281A JP 6896638 B2 JP6896638 B2 JP 6896638B2
Authority
JP
Japan
Prior art keywords
analog
digital
image
gain
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017544281A
Other languages
English (en)
Other versions
JP2017534230A (ja
Inventor
リバード，ウィリアム
フェーダー，アダム
キンドル，ブライアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Duelight LLC
Original Assignee
Duelight LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Duelight LLC filed Critical Duelight LLC
Publication of JP2017534230A publication Critical patent/JP2017534230A/ja
Priority to JP2021096499A priority Critical patent/JP2021158674A/ja
Application granted granted Critical
Publication of JP6896638B2 publication Critical patent/JP6896638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Color Television Image Signal Generators (AREA)

Description

発明の分野
本発明は写真撮影システムに関し、より特定的には、同時に複数の画像を捕捉するための画像センサ装置および方法に関する。
背景
旧来のデジタル写真撮影システムは、捕捉中の画像センサのダイナミックレンジによって本質的に制限されている。そのような制限に対する１つの解決策は、高ダイナミックレンジ（ＨＤＲ）写真撮影の使用である。ＨＤＲ写真撮影は、同じシーンの多重露光を捕捉することを伴い、当該露光の各々は異なって計測され、次いで、当該多数の捕捉を併合してより大きいダイナミックレンジを有する画像を作成することを伴う。
概要
同時に複数の画像を捕捉するために、システム、方法およびコンピュータプログラムプロダクトが提供される。
使用において、第１のサンプルが画像センサのフォトダイオードに基づいて格納される。さらに、第１のサンプルの格納と少なくとも部分的に同時に、第２のサンプルが画像センサのフォトダイオードに基づいて格納される。次に、少なくとも１つの画像を生成するために、第１のサンプルに基づいて第１の値が出力され、第２のサンプルに基づいて第２の値が出力される。最後に、２つ以上のゲインを利用して第１の値および第２の値のうちの少なくとも１つが増幅される。付加的なシステム、方法およびコンピュータプログラムプロダクトも提示される。
一実施形態において、装置は、画像センサのフォトダイオードからの電気信号に基づいた第１のサンプルを格納し、第１のサンプルの格納と少なくとも部分的に同時に、画像センサのフォトダイオードからの電気信号に基づいた第２のサンプルを格納するための回路を含む。さらに、少なくとも１つの画像を生成するために、第１のサンプルに基づいた第１の値と、第２のサンプルに基づいた第２の値とが出力される。さらに、２つ以上のゲインを利用して第１の値および第２の値のうちの少なくとも１つが増幅される。
別の実施形態において、第２のサンプルの少なくとも一部の格納と同時に第１のサンプルの全体が格納される。別の実施形態において、電気信号は、画像センサのフォトダイオードから受け取られるフォトダイオード電流を含む。
一実施形態において、第１のサンプルに基づいた第１の値を出力するための第１のアナログ値記憶回路と、第２のサンプルに基づいた第２の値を出力するための第２のアナログ値記憶回路とが存在する。さらに別の実施形態において、第１のアナログ値記憶回路および第２のアナログ値記憶回路は、少なくとも１つの共有コンポーネントを共有する。
一実施形態において、少なくとも１つの共有コンポーネントは、画像センサのフォトダイオードを含む。別の実施形態において、第１のアナログ値記憶回路および第２のアナログ値記憶回路がリセット信号を共有する。別の実施形態において、第１のアナログ値記憶回路および第２のアナログ値記憶回路は、共有のリセット信号を利用して同時にリセットされる。
さらに、一実施形態において、第１の値が、２つ以上の増幅された第１のアナログ信号を生成するよう２つ以上のゲインを利用して増幅される第１のアナログ信号に含まれ、２つ以上の増幅された第１のアナログ信号の各々が少なくとも１つのデジタル信号に変換される。別の実施形態において、第２の値が、２つ以上の増幅された第２のアナログ信号を生成するよう２つ以上のゲインを利用して増幅される第２のアナログ信号に含まれ、２つ以上の増幅された第２のアナログ信号の各々が少なくとも１つの別のデジタル信号に変換される。
別の実施形態において、２つ以上のゲインは第１のゲインおよび第２のゲインを含み、第１のアナログ信号が第１のゲインおよび第２のゲインの各々を利用して増幅され、第１のデジタル信号および第２のデジタル信号に変換され、かつ、第２のアナログ信号が第１のゲインおよび第２のゲインの各々を利用して増幅され、第３のデジタル信号および第４のデジタル信号に変換される。
一実施形態において、第１のデジタル信号、第２のデジタル信号、第３のデジタル信号および第４のデジタル信号の各々は、異なるデジタル画像に関連付けられる。別の実施形態において、デジタル画像のうちの少なくとも２つはブレンドされる。別の実施形態において、スライディング標識が表示され、ユーザによってスライディング標識が操作されることに応答して、デジタル画像のうちの少なくとも２つがブレンドされる。
別の実施形態において、第１のサンプルは第１の露光時間に関連付けられ、第２のサンプルは第１の露光時間と異なる第２の露光時間に関連付けられる。さらに、別の実施形態において、第１の露光時間は第２の露光時間未満である。
別の実施形態において、第１のサンプルの格納の速度は、第２のサンプルの格納の速度と実質的に同一である。別の実施形態において、上記装置は、少なくとも１つのデジタル信号および少なくとも１つの他のデジタル信号をリモートで結合されるためにネットワークを介して移すために動作可能である。
一実施形態において、非一時的なコンピュータ読取可能媒体上で具現化されるコンピュータプログラムプロダクトは、画像センサのフォトダイオードからの電気信号に基づいた第１のサンプルの格納を可能にするためのコードと、第１のサンプルの格納を可能にすることと少なくとも部分的に同時に、画像センサのフォトダイオードからの電気信号に基づいた第２のサンプルの格納を可能にするためのコードとを含む。さらに、第１のサンプルに基づいた第１の値および第２のサンプルに基づいた第２の値を利用して少なくとも１つの画像を生成するためのコードが提供される。コンピュータプログラムプロダクトは、第１の値および第２の値のうちの少なくとも１つが２つ以上のゲインを利用して増幅されるように動作可能である。
一実施形態において、方法は、画像センサのフォトダイオードからの電気信号に基づいた第１のサンプルを格納することと、第１のサンプルの格納と少なくとも部分的に同時に、画像センサのフォトダイオードからの電気信号に基づいた第２のサンプルを格納することとを含む。さらに、少なくとも１つの画像を生成するために、第１のサンプルに基づいた第１の値と、第２のサンプルに基づいた第２の値とが出力される。さらに、２つ以上のゲインを利用して第１の値および第２の値のうちの少なくとも１つが増幅される。
同時に複数の画像を捕捉するための例示的なシステムを示す図である。 同時に複数の画像を捕捉するために実行される例示的な方法を示す図である。 実施形態に従った、同時に複数の画像を捕捉するように構成されるデジタル写真撮影システムを示す図である。 一実施形態に係るデジタル写真撮影システム内のプロセッサ複合体を示す図である。 ある実施形態に従うデジタルカメラを示す図である。 別の実施形態に従うワイヤレスモバイルデバイスを示す図である。 一実施形態に係る画像をサンプリングするように構成されたカメラモジュールを示す図である。 別の実施形態に係る画像をサンプリングするように構成されたカメラモジュールを示す図である。 ある実施形態に従うアプリケーションプロセッサと通信しているカメラモジュールを示す図である。 別の実施形態に従うネットワークサービスシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 一実施形態に従った感光セルについての回路図を示す図である。 ある実施形態に従うアナログ画素データをデジタル画素データに変換するためのシステムを示す図である。 別の実施形態に従う１つより多いアナログ信号のアナログ画素データをデジタル画素データに変換するためのシステムを示す図である。 他の実施形態に従うアナログ信号を増幅するためのさまざまなタイミング構成を示す図である。 一実施形態に従うアナログ画素データをデジタル画素データの多数の信号に並列に変換するためのシステムを示す図である。 ある実施形態に係る結合画像を生成するためのユーザインターフェイスシステムを示す図である。 一実施形態に係る結合画像を生成するための方法ステップのフロー図である。 別の実施形態に係るネットワークを利用して結合画像を生成するためのメッセージシーケンスを示す図である。
詳細な説明
図１は、１つの可能な実施形態に従った、同時に複数の画像を捕捉するためのシステム１００を示す。選択肢として、システム１００は本明細書に開示されている図面のうちのいずれかの図面の文脈において実現されてもよい。しかし、当然、システム１００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図１に示されるように、システム１００は、フォトダイオード１０１に基づいた、第１のサンプル記憶ノード１３３（０）に提供される第１の入力１０２と、フォトダイオード１０１に基づいた、第２のサンプル記憶ノード１３３（１）に少なくとも部分的に同時に提供される第２の入力１０４とを含む。したがって、第１のサンプル記憶ノード１３３（０）への入力１０２と、第２のサンプル記憶ノード１３３（１）への入力１０４とに基づき、第１のサンプルは、第２のサンプル記憶ノード１３３（１）への第２のサンプルの格納と少なくとも部分的に同時に、第１のサンプル記憶ノード１３３（０）に格納される。一実施形態において、第１の期間中の第１のサンプルの同時格納と、第２の期間中の第２のサンプルの格納とは、第１のサンプルおよび第２のサンプルを少なくとも部分的に同時に格納することを含む。一実施形態において、第１のサンプルの全体は、第２のサンプルのうちの少なくとも一部の格納と同時に格納され得る。たとえば、第２のサンプルの格納は、第１のサンプルの格納の全体の間に行なわれ得る。しかしながら、第１のサンプルの格納より長い期間にわたって第２のサンプルの格納が行なわれる場合があるので、第１のサンプルの格納は、第２のサンプルの格納のうちの一部の間にのみ行なわれ得る。実施形態において、第１のサンプルの格納および第２のサンプルの格納は同時にスタートされ得る。
以下の議論は、画像センサの１つ以上のフォトダイオードを使用して同時に複数の画像を捕捉するための画像センサ装置および方法を記載しているが、任意の光感知電気要素または光センサが使用または実現されてもよい。
一実施形態において、フォトダイオード１０１は、光子吸収に応答して電位差、電流を生成するかまたはその電気抵抗を変化させる任意の半導体ダイオードを含んでいてもよい。したがって、フォトダイオード１０１は光強度の検出または測定に用いられてもよい。さらに、サンプル記憶ノード１３３（０）および１３３（１）においてそれぞれ受け取られる入力１０２および入力１０４は、フォトダイオード１０１によって検出または測定される光強度に基づき得る。そのような実施形態において、第１のサンプル記憶ノード１３３（０）に格納される第１のサンプルは、フォトダイオード１０１における光に対する第１の露光時間に基づき得、第２のサンプル記憶ノード１３３（１）に格納される第２のサンプルは、フォトダイオード１０１における光に対する第２の露光時間に基づき得る。
一実施形態において、第１の入力１０２は、第１のサンプル記憶ノード１３３（０）において受け取られるフォトダイオード１０１からの電気信号を含み得、第２の入力１０４は、第２のサンプル記憶ノード１３３（１）において受け取られるフォトダイオード１０１からの電気信号を含み得る。たとえば、第１の入力１０２は、第１のサンプル記憶ノード１３３（０）において受け取られる電流を含み得、第２の入力１０４は、第２のサンプル記憶ノード１３３（１）において受け取られる電流を含み得る。別の実施形態において、第１の入力１０２および第２の入力１０４は、少なくとも部分的に、共有の電気配線上で送信され得る。他の実施形態において、第１の入力１０２および第２の入力１０４は、異なる電気配線上で送信され得る。いくつかの実施形態において、入力１０２は入力１０４と同じであり得る。たとえば、入力１０２および入力１０４は各々同じ電流を含み得る。他の実施形態において、入力１０２は第１の電流を含み得、入力１０４は、第１の電流と異なる第２の電流を含み得る。さらに別の実施形態において、第１の入力１０２は、第１のサンプル記憶ノード１３３（０）が第１のサンプルを格納するように動作し得る任意の入力を含み得、第２の入力１０４は、第２のサンプル記憶ノード１３３（１）が第２のサンプルを格納するように動作し得る任意の入力を含み得る。
一実施形態において、第１の入力１０２および第２の入力１０４は、フォトダイオード１０１を含む画像センサ上に合焦された光学画像の部分の電子表現を含み得る。そのような実施形態では、光学画像はレンズによって画像センサ上に合焦されてもよい。光学画像の電子表現は空間色強度情報を含んでいてもよく、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。一実施形態において、光学画像は写真撮影シーンの光学画像であってもよい。いくつかの実施形態において、フォトダイオード１０１は、画像センサのフォトダイオードのアレイのうちの単一のフォトダイオードであり得る。そのような画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、または電荷結合素子（ＣＣＤ）画像センサ、またはその他の技術的に実行可能な形態の画像センサを含んでいてもよい。他の実施形態において、フォトダイオード１０１は２つ以上のフォトダイオードを含み得る。
一実施形態において、各サンプル記憶ノード１３３は、サンプルを格納するための電荷格納デバイスを含んでおり、当該格納されたサンプルは、フォトダイオード１０１において検出される光強度の関数であり得る。たとえば、各サンプル記憶ノード１３３は、サンプルとして電荷を格納するためのコンデンサを含み得る。そのような実施形態において、各コンデンサは、露光時間中またはサンプル時間中に蓄積された露光に対応する電荷を格納する。たとえば、関連付けられているフォトダイオードから各コンデンサにおいて受け取られた電流によって、予め充電されているコンデンサが、フォトダイオードにおいて検出された入射光強度に比例する速度で放電し得る。その後、各コンデンサの残存する電荷は、コンデンサから値として出力され得る。たとえば、各コンデンサの残存する電荷は、コンデンサ上の残存する電荷の関数であるアナログ値として出力され得る。
この目的のために、コンデンサから受け取られたアナログ値は、関連付けられているフォトダイオードにおいて検出された光の蓄積された強度の関数であり得る。いくつかの実施形態において、各サンプル記憶ノード１３３は、フォトダイオードに基づいた入力を受け取るために動作可能である回路を含み得る。たとえば、そのような回路は１つ以上のトランジスタを含んでもよい。１つ以上のトランジスタは、１つ以上の制御装置またはコンポーネントから受け取られる、サンプリング信号、リセット信号、および行選択信号といったさまざまな制御信号にサンプル記憶ノード１３３を応答させるために構成され得る。他の実施形態において、各サンプル記憶ノード１３３は、フォトダイオード１０１において検出される光強度の関数である任意のサンプルまたは値を格納するための任意のデバイスを含んでもよい。
さらに、図１に示されるように、第１のサンプル記憶ノード１３３（０）は第１の値１０６を出力し、第２のサンプル記憶ノード１３３（１）は第２の値１０８を出力する。一実施形態において、第１のサンプル記憶ノード１３３（０）は、第１のサンプル記憶ノード１３３（０）において格納される第１のサンプルに基づいた第１の値１０６を出力し、第２のサンプル記憶ノード１３３（１）は、第２のサンプル記憶ノード１３３（１）において格納される第２のサンプルに基づいた第２の値１０８を出力する。
いくつかの実施形態において、第１のサンプル記憶ノード１３３（０）は、第１のサンプル記憶ノード１３３（０）において格納される電荷に基づいた第１の値１０６を出力し、第２のサンプル記憶ノード１３３（１）は、第２のサンプル記憶ノード１３３（１）において格納される第２の電荷に基づいた第２の値１０８を出力する。一方の値が他方の値に先立って出力されるように第１の値１０６は第２の値１０８に対して連続的に出力されてもよく、または、第１の値１０６は第２の値１０８の出力と並行して出力されてもよい。さまざまな実施形態において、第１の値１０６は第１のアナログ値を含み得、第２の値１０８は第２のアナログ値を含み得る。これらの値の各々は、フォトダイオードアレイの各フォトダイオードに関連付けられる少なくとも１つのアナログ値を含むアナログ信号への包含のために出力され得る電流を含み得る。そのような実施形態において、第１のアナログ値１０６は第１のアナログ信号に含まれ得、第２のアナログ値１０８は、第１のアナログ信号と異なる第２のアナログ信号に含まれ得る。言いかえれば、第１のアナログ信号はフォトダイオードアレイのうちの各フォトダイオードに関連付けられるアナログ値を含むように生成され得、また、第２のアナログ信号は、フォトダイオードアレイのうちのフォトダイオードの各々に関連付けられる異なるアナログ値を含むように生成され得る。アナログ信号は、空間的に離散した強度サンプルのセットであり得、その各々は連続アナログ値によって表される。
この目的のために、複数のアナログ信号を生成するために単一のフォトダイオードアレイが利用されてもよい。複数のアナログ信号は、同時または並行して生成され得る。さらに、複数のアナログ信号は各々、２つ以上のゲインを利用して増幅され得、増幅された各アナログ信号は、合計で２つ以上のデジタル信号が生成され得るように、１つ以上のデジタル信号に変換され得る。各デジタル信号はデジタル画像を含み得る。したがって、第１のサンプルおよび第２のサンプルの部分的に同時の格納により、単一のフォトダイオードアレイが、同時に複数のデジタル信号またはデジタル画像を生成するよう利用され得る。各デジタル信号は、同じ写真撮影シーンの異なる露光時間またはサンプル時間に関連付けられている。そのような実施形態において、異なる露光特性を有する複数のデジタル信号は、単一の写真撮影シーンについて同時に生成され得る。そのようなデジタル信号またはデジタル画像の集合は、画像スタックと称され得る。
特定の実施形態において、アナログ信号は、複数の異なるアナログ信号を含み、信号増幅器は、異なる信号増幅器回路の対応するセットを含む。たとえば、画像センサの画素の行内の各画素は、アナログ信号内において関連付けられる異なるアナログ信号を有し得、当該各異なるアナログ信号は対応する異なる信号増幅器回路を有し得る。さらに、増幅された２つ以上のアナログ信号は各々、画像センサの少なくとも１つの画素からの共通のアナログ値を表すゲイン調整アナログ画素データを含み得る。たとえば、画像センサの所与の画素について、アナログ信号において所与のアナログ値が出力され得、次いで、信号増幅動作の後、第１の増幅アナログ信号における第１の増幅値と、第２の増幅アナログ信号における第２の増幅値とによって、当該所与のアナログ値が表わされる。アナログ画素データは、１つ以上の所与の画素に関連付けられるアナログ信号値であり得る。
図２は、一実施形態に従った、同時に複数の画像を捕捉するための方法２００を示す。選択肢として、方法２００は本明細書に開示されている図面のうちのいずれかの図面の文脈において実行されてもよい。しかし、当然、方法２００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
動作２０２に示されるように、第１のサンプルは、画像センサのフォトダイオードからの電気信号に基づいて格納される。さらに、第１のサンプルの格納と少なくとも部分的に同時に、動作２０４において、画像センサのフォトダイオードからの電気信号に基づいて第２のサンプルが格納される。上述したように、上記画像センサのフォトダイオードは、光子吸収に応答して電位差を生成するかまたはその電気抵抗を変化させる任意の半導体ダイオードを含んでいてもよい。したがって、フォトダイオードは、光強度を検出または測定するために使用されてもよく、フォトダイオードからの電気信号はフォトダイオード電流を含んでもよい。
いくつかの実施形態において、各サンプルは、フォトダイオードを含む画像センサ上に合焦している光学画像の部分の電子表現を含み得る。そのような実施形態では、光学画像はレンズによって画像センサ上に合焦されてもよい。光学画像の電子表現は空間色強度情報を含んでいてもよく、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。一実施形態において、光学画像は写真撮影シーンの光学画像であってもよい。フォトダイオードは、画像センサのフォトダイオードのアレイのうち単一のフォトダイオードであってもよい。そのような画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、または電荷結合素子（ＣＣＤ）画像センサ、またはその他の技術的に実行可能な形態の画像センサを含んでいてもよい。
一実施形態の文脈において、サンプルの各々はエネルギーを格納することにより格納され得る。たとえば、サンプルの各々は、コンデンサ上に格納された電荷を含み得る。そのような実施形態において、第１のサンプルは、第１のコンデンサに格納される第１の電荷を含み得、第２のサンプルは、第２のコンデンサに格納される第２の電荷を含み得る。一実施形態において、第１のサンプルは第２のサンプルと異なってもよい。たとえば、第１のサンプルは、第１のコンデンサに格納される第１の電荷を含んでもよく、第２のサンプルは、第１の電荷と異なる、第２のコンデンサに格納される第２の電荷を含んでもよい。一実施形態において、第１のサンプルは、異なるサンプル時間によって、第２のサンプルと異なり得る。たとえば、第１のサンプルは、第１の期間の間に第１のコンデンサを充電または放電することにより格納され得、第２のサンプルは、第２の期間の間に第２のコンデンサを充電または放電することにより格納され得る。第１のコンデンサおよび第２のコンデンサは実質的に同一であり得、実質的に同一の速度で充電または放電され得る。さらに、第２のコンデンサは、第１のコンデンサの充電または放電と少なくとも部分的に同時に充電または放電され得る。
別の実施形態において、第１のサンプルは、少なくとも部分的に異なる格納特性により、第２のサンプルと異なり得る。たとえば、第１のサンプルは、ある期間の間に第１のコンデンサを充電または放電することにより格納され得、第２のサンプルは、同じ期間の間に第２のコンデンサを充電または放電することにより格納され得、当該第１のコンデンサおよび第２のコンデンサは異なる格納特性を有し得る、および／または、異なる速度で充電または放電され得る。より具体的には、第１のコンデンサは、第２のコンデンサとは異なる静電容量を有し得る。当然、第２のコンデンサは、第１のコンデンサの充電または放電と少なくとも部分的に同時に充電または放電されてもよい。
さらに、動作２０６で示されるように、第１のサンプルおよび第２のサンプルの格納の後、少なくとも１つの画像を生成するために、第１のサンプルに基づいて第１の値が出力され、第２のサンプルに基づいて第２の値が出力される。一実施形態の文脈において、第１の値および第２の値は、連続して送信または出力される。たとえば、第１の値は第２の値に先立って送信されてもよい。別の実施形態において、第１の値および第２の値は並行して送信されてもよい。
一実施形態において、各出力値はアナログ値を含み得る。たとえば、各出力値は、関連付けられる格納されたサンプルを表す電流を含み得る。より具体的には、第１の値は、格納された第１のサンプルを表す電流値を含み得、第２の値は、格納された第２のサンプルを表す電流値を含み得る。一実施形態において、第１の値は、第１のアナログ信号への包含のために出力され、第２の値は、第１のアナログ信号と異なる第２のアナログ信号への包含のために出力される。さらに、各値は、他の格納されたサンプルに基づいて、他の値出力と組み合わされるような態様で出力され得る。当該他の格納されたサンプルは、画像センサの他のフォトダイオードから受け取られた他の電気信号に応答して格納される。たとえば、第１の値は、第１のアナログ信号において、第１のサンプルの格納のために利用された電気信号が受け取られたフォトダイオードに隣接するフォトダイオードから受け取られた電気信号に基づいて格納された他のサンプルに基づいて出力される値と組み合わされ得る。同様に、第２の値は、第２のアナログ信号において、第２のサンプルの格納のために利用された電気信号が受け取られたフォトダイオードに隣接する同じフォトダイオードから受け取られた電気信号に基づいて格納された他のサンプルに基づいて出力される値と組み合わされ得る。
最後に、動作２０８において、第１の値および第２の値のうちの少なくとも１つは、２つ以上のゲインを利用して増幅される。一実施形態において、各出力値がアナログ値を含む場合、第１の値および第２の値の少なくとも１つを増幅することにより、少なくとも２つの増幅されたアナログ値が得られ得る。別の実施形態において、第１の値が第１のアナログ信号への包含のために出力されるとともに第２の値が第１のアナログ信号と異なる第２のアナログ信号への包含のために出力される場合、第１のアナログ信号または第２のアナログ信号のうちの１つが、２つ以上のゲインを利用して増幅され得る。たとえば、第１の値を含む第１のアナログ信号は、第１の値が第１のゲインおよび第２のゲインにより増幅されるように、第１のゲインおよび第２のゲインにより増幅され得る。当然、２つ以上のゲインを使用して２つを超えるアナログ信号が増幅されてもよい。一実施形態において、各増幅されたアナログ信号は、デジタル画像を含むデジタル信号に変換され得る。
この目的のために、フォトダイオードのアレイが、第１の露光時間またはサンプル時間において捕捉されたサンプルの第１のセットに基づいた第１のアナログ信号と、第２の露光時間またはサンプル時間において捕捉されたサンプルの第２のセットに基づいた第２のアナログ信号とを、生成するために利用され得る。サンプルの第１のセットおよびサンプルの第２のセットは、同じ写真撮影シーンのサンプルの２つの異なるセットであり得る。さらに、各アナログ信号は、画像センサの各画素の各フォトダイオードに基づいて生成されるアナログ値を含み得る。各アナログ値は、当該アナログ値と関連付けられているフォトダイオードにおいて測定される光強度を表し得る。したがって、アナログ信号は空間的に離散した強度サンプルのセットであってもよく、その各々が連続アナログ値によって表されており、アナログ画素データは１つ以上の所与の画素と関連付けられているアナログ信号値であってもよい。さらに、各アナログ信号には、増幅といったその後の処理が行われ得る。当該処理は、各々がデジタル画素データを含み得るデジタル画像を各々が含み得る１つ以上のデジタル信号へのアナログ信号の変換を促進し得る。
本明細書に開示されている実施形態は、カメラモジュールが、従来の技術よりも低い（たとえばゼロの、またはゼロに近い、等）サンプル間時間（たとえばフレーム間、等）で画像スタックを含む画像をサンプリングすることを有利に可能にし得る。特定の実施形態において、画像スタックを含む画像は重複する時間間隔時に効果的にサンプリングまたは同時に捕捉され、これによってサンプル間時間がゼロに減少し得る。他の実施形態では、カメラモジュールはストロボユニットと協調して画像をサンプリングして、ストロボ照明を用いずにサンプリングされた画像とストロボ照明を用いてサンプリングされた画像との間のサンプル間時間を減少させ得る。
上述の方法がユーザの希望に従って実行されてもされなくてもよいさまざまな随意のアーキテクチャおよび使用に関して、より例示的な情報が以下に記載される。以下の情報は例示目的で記載されており、いかなる意味でも限定的であると解釈されるべきでないことに強く留意すべきである。以下の特徴はいずれも、説明される他の特徴を除外してまたは除外せずに随意に組込まれ得る。
図３Ａは、一実施形態に従うデジタル写真撮影システム３００を示す。選択肢として、デジタル写真撮影システム３００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、デジタル写真撮影システム３００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
示されるように、デジタル写真撮影システム３００は、配線３３４を介してカメラモジュール３３０に結合されたプロセッサ複合体３１０を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はストロボユニット３３６に結合されている。デジタル写真撮影システム３００はさらに、表示ユニット３１２、入出力デバイス３１４のセット、不揮発性メモリ３１６、揮発性メモリ３１８、ワイヤレスユニット３４０およびセンサデバイス３４２を含み得るがこれらに限定されず、これらの各々はプロセッサ複合体３１０に結合されている。一実施形態において、電力管理サブシステム３２０が、デジタル写真撮影システム３００内の電気負荷要素の各々に適切な電源電圧を生成するように構成される。電池３２２が、電気エネルギーを電力管理サブシステム３２０に供給するように構成されてもよい。電池３２２は、一次電池技術または再充電可能電池技術を含む任意の技術的に実行可能なエネルギー貯蔵システムを実現し得る。当然、他の実施形態では、より多いもしくは少ない特徴、ユニット、デバイス、センサ、またはサブシステムがシステムに含まれていてもよい。
一実施形態において、ストロボユニット３３６はデジタル写真撮影システム３００に統合され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。別の実施形態において、ストロボユニット３３６は、デジタル写真撮影システム３００から独立したデバイスとして実現され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。ストロボユニット３３６は１つ以上のＬＥＤ素子、ガス放電照明器（たとえばキセノンストロボデバイス、キセノンフラッシュランプ等）、またはその他の技術的に実行可能な照明デバイスを含んでいてもよい。特定の実施形態において、２つ以上のストロボユニットが画像のサンプリングと共にストロボ照明を同期して生成するように構成される。一実施形態において、ストロボユニット３３６は、ストロボ照明３５０を発するようにまたはストロボ照明３５０を発しないようにストロボ制御信号３３８を通して制御される。ストロボ制御信号３３８は、任意の技術的に実行可能な信号伝送プロトコルを用いて実現されてもよい。ストロボ制御信号３３８は、ストロボユニット３３６にストロボ照明３５０の指定強度および／または色を生成するように命じるためのストロボパラメータ（たとえばストロボ強度、ストロボ色、ストロボ時間等）を指示し得る。ストロボ制御信号３３８は、プロセッサ複合体３１０、カメラモジュール３３０によって、またはその他の技術的に実行可能なそれらの組合せによって生成されてもよい。一実施形態において、ストロボ制御信号３３８は、プロセッサ複合体３１０内のカメラインターフェイスユニットによって生成され、配線３３４を介してストロボユニット３３６およびカメラモジュール３３０の両方に送信される。別の実施形態において、ストロボ制御信号３３８はカメラモジュール３３０によって生成され、配線３３４を介してストロボユニット３３６に送信される。
写真撮影シーン内のオブジェクトから反射したストロボ照明３５０の少なくとも一部を含み得る光学シーン情報３５２が、カメラモジュール３３０内の画像センサ３３２上に光学画像として合焦される。画像センサ３３２は光学画像の電子表現を生成する。電子表現は空間色強度情報を含み、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。電子表現は、任意の技術的に実行可能な信号伝送プロトコルを実現し得る配線３３４を介してプロセッサ複合体３１０に送信される。
一実施形態において、入出力デバイス３１４は、容量性タッチ入力面、抵抗性タブレット入力面、１つ以上のボタン、１つ以上のノブ、発光素子、光検出素子、音放射素子、音検出素子、またはユーザ入力を受信して当該入力を電気信号に変換する、もしくは電気信号を物理的信号に変換するためのその他の技術的に実行可能な素子を含み得るがこれらに限定されない。一実施形態において、入出力デバイス３１４は、表示ユニット３１２に結合された容量性タッチ入力面を含む。タッチエントリ表示システムが、表示ユニット３１２、およびこれもプロセッサ複合体３１０に結合された容量性タッチ入力面を含んでいてもよい。
また、他の実施形態では、不揮発性（ＮＶ）メモリ３１６は、電力が遮断されるとデータを記憶するように構成される。一実施形態において、ＮＶメモリ３１６は１つ以上のフラッシュメモリデバイス（たとえばＲＯＭ、ＰＣＭ、ＦｅＲＡＭ、ＦＲＡＭ（登録商標）、ＰＲＡＭ、ＭＲＡＭ、ＮＲＡＭ等）を含む。ＮＶメモリ３１６は非一時的なコンピュータ読取可能媒体を含み、当該媒体は、プロセッサ複合体３１０内の１つ以上の処理装置によって実行されるプログラミング命令を含むように構成されてもよい。プログラミング命令は、オペレーティングシステム（ＯＳ）、ＵＩソフトウェアモジュール、画像処理および記憶ソフトウェアモジュール、プロセッサ複合体３１０に接続された１つ以上の入出力デバイス３１４、カメラモジュール３３０を通して画像スタックをサンプリングするための１つ以上のソフトウェアモジュール、画像スタックまたは画像スタックから生成された１つ以上の合成画像を表示ユニット３１２を通して提示するための１つ以上のソフトウェアモジュールを実現し得るがこれらに限定されない。一例として、一実施形態において、プログラミング命令はさらに、画像スタック内の画像同士もしくは画像の一部同士を併合し、画像スタック内の各画像の少なくとも一部同士を整列させるための、またはそれらの組合せのための１つ以上のソフトウェアモジュールを実現し得る。別の実施形態において、プロセッサ複合体３１０はプログラミング命令を実行するように構成されてもよく、当該命令は、高ダイナミックレンジ（ＨＤＲ）画像を作成するように動作可能な１つ以上のソフトウェアモジュールを実現し得る。
さらに、一実施形態において、ＮＶメモリ３１６を含む１つ以上のメモリデバイスが、ユーザによってインストールまたは除去されるように構成されたモジュールとしてパッケージ化されてもよい。一実施形態において、揮発性メモリ３１８はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み、当該ダイナミックランダムアクセスメモリは、デジタル写真撮影システム３００の通常動作中にアクセスされる、プログラミング命令、画像スタックと関連付けられているデータなどの画像データなどを一時的に記憶するように構成される。当然、揮発性メモリは、任意の態様で、プロセッサ複合体３１０に取付けられたその他の入出力デバイス３１４またはセンサデバイス３４２と関連して用いられてもよい。
一実施形態において、センサデバイス３４２は、動作および／もしくは方向を検出する加速度計、動作および／もしくは方向を検出する電子ジャイロスコープ、方向を検出する磁束検出器、地理的位置を検出する全地球測位システム（ＧＰＳ）モジュール、の１つ以上、またはそれらのいずれかの組合せを含み得るがこれらに限定されない。当然、動作検出センサ、近接センサ、ＲＧＢ光センサ、ジェスチャセンサ、３Ｄ入力画像センサ、圧力センサ、および屋内位置センサを含むがこれらに限定されない他のセンサがセンサデバイスとして統合されてもよい。一実施形態において、当該センサデバイスは入出力デバイス３１４の一例であり得る。
ワイヤレスユニット３４０は、デジタルデータを送受信するように構成された１つ以上のデジタルラジオを含んでいてもよい。特に、ワイヤレスユニット３４０は無線規格（たとえばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等）を実現し得、データ通信のためのデジタルセルラー電話規格（たとえばＣＤＭＡ、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥアドバンスト等）を実現し得る。当然、任意の無線規格またはデジタルセルラー電話規格が用いられてもよい。
一実施形態において、デジタル写真撮影システム３００は、１つ以上のデジタル写真をワイヤレスユニット３４０を介してネットワークベースの（オンライン）または「クラウドベースの」写真メディアサービスに送信するように構成される。１つ以上のデジタル写真は、ＮＶメモリ３１６もしくは揮発性メモリ３１８のいずれか一方、またはプロセッサ複合体３１０と関連付けられているその他のメモリデバイスの内部に存在し得る。一実施形態において、ユーザは、オンライン写真メディアサービスにアクセスするための、かつ、１つ以上のデジタル写真を送信してオンライン写真メディアサービスに保存する、オンライン写真メディアサービスから取出す、およびオンライン写真メディアサービスによって提示するためのクレデンシャルを所有していてもよい。クレデンシャルは、デジタル写真を送信する前にデジタル写真撮影システム３００内で記憶または生成されてもよい。オンライン写真メディアサービスは、ソーシャルネットワーキングサービス、写真共有サービス、またはデジタル写真の保存、デジタル写真の処理、デジタル写真の送信、デジタル写真の共有、もしくはそれらのいずれかの組合せを提供するその他のネットワークベースのサービスを含んでいてもよい。特定の実施形態において、１つ以上のデジタル写真が、オンライン写真メディアサービスと関連付けられているサーバに送信される画像データ（たとえば画像スタック、ＨＤＲ画像スタック、画像パッケージ等）に基づいてオンライン写真メディアサービスによって生成される。そのような実施形態では、ユーザはデジタル写真撮影システム３００からの１つ以上のソース画像を、オンライン写真メディアサービスによって処理するためにアップロードしてもよい。
一実施形態において、デジタル写真撮影システム３００はカメラモジュール３３０の少なくとも１つのインスタンスを含む。別の実施形態において、デジタル写真撮影システム３００は複数のカメラモジュール３３０を含む。そのような実施形態はさらに、複数のカメラモジュール３３０によって多数の視野としてサンプリングされた写真撮影シーンを照明するように構成された少なくとも１つのストロボユニット３３６を含んでいてもよい。複数のカメラモジュール３３０は、広角視野（たとえばカメラ間の４５度のスイープよりも大きい）をサンプリングしてパノラマ写真を生成するように構成されてもよい。一実施形態において、複数のカメラモジュール３３０は、２つ以上の狭角視野（たとえばカメラ間の４５度のスイープよりも小さい）をサンプリングしてステレオ写真を生成するように構成されてもよい。他の実施形態では、複数のカメラモジュール３３０は、表示ユニット３１２もしくはその他の表示デバイス上に示されるような３Ｄ画像を生成するように、またはそうでなければ遠近感（たとえばｚ成分等）を表示するように構成されてもよい。
一実施形態において、表示ユニット３１２は、画素の二次元配列を表示して表示用の画像を形成するように構成されてもよい。表示ユニット３１２は、液晶（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、またはその他の技術的に実行可能な種類のディスプレイを含んでいてもよい。特定の実施形態において、表示ユニット３１２は、単一のＨＤＲ画像内で、または多重露光もしくはＨＤＲ画像スタックを含む２つ以上の画像のセットにわたって、などで、写真撮影シーンからサンプリングされた強度値の完全な範囲よりも狭い画像強度値のダイナミックレンジを表示することが可能であり得る。一実施形態において、画像スタックを含む画像は、任意の技術的に実行可能なＨＤＲブレンド技術に従って併合されて、表示ユニット３１２のダイナミックレンジ制約内で表示用の合成画像を生成してもよい。一実施形態において、制限されるダイナミックレンジは、対応する色強度の８ビット／カラーチャネルバイナリ表現を指定してもよい。他の実施形態では、制限されるダイナミックレンジは、８ビットよりも多いビット（たとえば１０ビット、１２ビット、または１４ビット等）／カラーチャネルバイナリ表現を指定してもよい。
図３Ｂは、一実施形態に従う図３Ａのデジタル写真撮影システム３００内のプロセッサ複合体３１０を示す。選択肢として、プロセッサ複合体３１０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、プロセッサ複合体３１０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
示されるように、プロセッサ複合体３１０はプロセッササブシステム３６０を含み、メモリサブシステム３６２を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はプロセッササブシステム３６０を実現するシステムオンチップ（system on a chip：ＳｏＣ）デバイスを含んでいてもよく、メモリサブシステム３６２はプロセッササブシステム３６０に結合された１つ以上のＤＲＡＭデバイスを含む。別の実施形態において、プロセッサ複合体３１０は、ＳｏＣデバイスと、メモリサブシステム３６２を含む１つ以上のＤＲＡＭデバイスとをカプセル化するマルチチップモジュール（multi-chip module：ＭＣＭ）を含んでいてもよい。
プロセッササブシステム３６０は、１つ以上の中央処理装置（ＣＰＵ）コア３７０、メモリインターフェイス３８０、入出力インターフェイスユニット３８４、および表示インターフェイスユニット３８２を含み得るがこれらに限定されず、これらの各々が配線３７４に結合されている。１つ以上のＣＰＵコア３７０は、メモリサブシステム３６２、揮発性メモリ３１８、ＮＶメモリ３１６、またはそれらのいずれかの組合せの内部に存在している命令を実行するように構成されてもよい。１つ以上のＣＰＵコア３７０の各々は、配線３７４およびメモリインターフェイス３８０を通してデータを取出して記憶するように構成されてもよい。一実施形態において、１つ以上のＣＰＵコア３７０の各々がデータキャッシュおよび命令キャッシュを含んでいてもよい。また、ＣＰＵコア３７０の２つ以上がデータキャッシュ、命令キャッシュ、またはそれらのいずれかの組合せを共有してもよい。一実施形態において、各ＣＰＵコア３７０にプライベートキャッシュ層および共有キャッシュ層を提供するようにキャッシュ階層が実現される。
いくつかの実施形態において、プロセッササブシステム３６０は１つ以上のグラフィック処理装置（ＧＰＵ）コア３７２を含んでいてもよい。各ＧＰＵコア３７２は、グラフィック加速機能を実現するがこれに限定されないようにプログラミングされ得る複数のマルチスレッド実行ユニットを含んでいてもよい。さまざまな実施形態において、ＧＰＵコア３７２は、周知の規格（たとえばＯｐｅｎＧＬ（商標）、ＷｅｂＧＬ（商標）、ＯｐｅｎＣＬ（商標）、ＣＵＤＡ（商標）等）、および／またはその他のプログラム可能なレンダリンググラフィック規格に従ってマルチスレッドプログラムを実行するように構成されてもよい。特定の実施形態において、少なくとも１つのＧＰＵコア３７２が、周知のＨａｒｒｉｓ検出器または周知のＨｅｓｓｉａｎ−Ｌａｐｌａｃｅ検出器などの動作推定機能の少なくとも一部を実現する。そのような動作推定機能を用いて、画像スタック内の画像同士または画像の一部同士を少なくとも部分的に整列させることができる。たとえば、一実施形態において、ＨＤＲ画像が画像スタックに基づいてコンパイルされてもよく、ＨＤＲ画像をコンパイルする前に２つ以上の画像がまず整列させられる。
示されるように、配線３７４は、メモリインターフェイス３８０、表示インターフェイスユニット３８２、入出力インターフェイスユニット３８４、ＣＰＵコア３７０、およびＧＰＵコア３７２の間でデータを伝送するように構成される。さまざまな実施形態において、配線３７４は、１本以上のバス、１つ以上のリング、クロスバー、メッシュ、またはその他の技術的に実行可能なデータ伝送構造もしくは技術を実現し得る。メモリインターフェイス３８０は、メモリサブシステム３６２を配線３７４に結合するように構成される。メモリインターフェイス３８０はさらに、ＮＶメモリ３１６、揮発性メモリ３１８、またはそれらのいずれかの組合せを配線３７４に結合してもよい。表示インターフェイスユニット３８２は、表示ユニット３１２を配線３７４に結合するように構成されてもよい。表示インターフェイスユニット３８２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。または、別の実施形態において、表示ユニット３１２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。入出力インターフェイスユニット３８４は、さまざまな入出力デバイスを配線３７４に結合するように構成されてもよい。
特定の実施形態において、カメラモジュール３３０は、画像スタックと関連付けられている各画像をサンプリングするための露光パラメータを記憶するように構成される。たとえば、一実施形態において、カメラモジュール３３０は、写真撮影シーンをサンプリングするように命じられると、記憶された露光パラメータに従って画像スタックを含む画像のセットをサンプリングし得る。プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールが、カメラモジュール３３０に画像スタックをサンプリングするように命じる前に露光パラメータを生成して記憶してもよい。他の実施形態では、カメラモジュール３３０を用いて画像または画像スタックが計測されてもよく、プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールは、カメラモジュール３３０に画像を捕捉するように命じる前に計測パラメータを生成して記憶してもよい。当然、カメラモジュール３３０はプロセッサ複合体３１０と組合されて任意の態様で用いられてもよい。
一実施形態において、画像スタックを含む画像と関連付けられている露光パラメータは、１つ以上の画像についての露光パラメータを含む露光パラメータデータ構造内に記憶されてもよい。別の実施形態において、プロセッサ複合体３１０内のカメラインターフェイスユニット（図３Ｂには図示せず）が、露光パラメータデータ構造から露光パラメータを読出し、写真撮影シーンのサンプリングに備えて、関連付けられている露光パラメータをカメラモジュール３３０に送信するように構成されてもよい。カメラモジュール３３０が露光パラメータに従って構成された後、カメラインターフェイスはカメラモジュール３３０に写真撮影シーンをサンプリングするように命じてもよく、カメラモジュール３３０は次いで、対応する画像スタックを生成してもよい。露光パラメータデータ構造は、カメラインターフェイスユニット、プロセッサ複合体３１０内のメモリ回路、揮発性メモリ３１８、ＮＶメモリ３１６、カメラモジュール３３０の内部に、またはその他の技術的に実行可能なメモリ回路の内部に記憶されてもよい。さらに、別の実施形態において、プロセッサ複合体３１０内で実行されるソフトウェアモジュールが露光パラメータデータ構造を生成して記憶してもよい。
図３Ｃは、一実施形態に従うデジタルカメラ３０２を示す。選択肢として、デジタルカメラ３０２は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、デジタルカメラ３０２は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、デジタルカメラ３０２は、図３Ａのデジタル写真撮影システム３００などのデジタル写真撮影システムを含むように構成されてもよい。示されるように、デジタルカメラ３０２はカメラモジュール３３０を含み、当該カメラモジュールは、写真撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。
また、デジタルカメラ３０２はストロボユニット３３６を含んでいてもよく、写真撮影サンプルイベントをトリガするためのシャッターリリースボタン３１５を含んでいてもよく、これによってデジタルカメラ３０２は電子表現を含む１つ以上の画像をサンプリングする。他の実施形態では、その他の技術的に実行可能なシャッターリリース機構が写真撮影サンプルイベントをトリガしてもよい（たとえばタイマトリガまたは遠隔制御トリガ等）。
図３Ｄは、一実施形態に従うワイヤレスモバイルデバイス３７６を示す。選択肢として、モバイルデバイス３７６は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、モバイルデバイス３７６は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、モバイルデバイス３７６は、写真撮影シーンをサンプリングするように構成されているデジタル写真撮影システム（たとえば図３Ａのデジタル写真撮影システム３００など）を含むように構成されてもよい。さまざまな実施形態において、カメラモジュール３３０は、写真撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。さらに、表示ユニット３１２を含むタッチエントリ表示システム上のタッチジェスチャによって起動され得る仮想ボタン、または任意の面もしくはモバイルデバイス３７６の表面上に位置し得る物理ボタンなどの、任意の技術的に実行可能なメカニズムによって、シャッターリリースコマンドが生成されてもよい。当然、他の実施形態では、任意の数の他のボタン、外部入出力、またはデジタル入出力がモバイルデバイス３７６上に含まれていてもよく、カメラモジュール３３０と併用されてもよい。
示されるように、一実施形態において、表示ユニット３１２を含むタッチエントリ表示システムがモバイルデバイス３７６のカメラモジュール３３０と反対側に配置されている。特定の実施形態において、モバイルデバイス３７６は、ユーザの方を向くカメラモジュール３３１を含み、ユーザの方を向くストロボユニット（図示せず）を含んでいてもよい。当然、他の実施形態では、モバイルデバイス３７６は、任意の数のユーザの方を向くカメラモジュールまたは後ろ向きのカメラモジュール、および任意の数のユーザの方を向くストロボユニットまたは後ろ向きのストロボユニットを含んでいてもよい。
いくつかの実施形態において、デジタルカメラ３０２およびモバイルデバイス３７６の各々は、カメラモジュール３３０によってサンプリングされた画像スタックに基づいて合成画像を生成して記憶してもよい。画像スタックは、周囲照明条件下でサンプリングされた１つ以上の画像、ストロボユニット３３６からのストロボ照明下でサンプリングされた１つ以上の画像、またはそれらの組合せを含んでいてもよい。
図３Ｅは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、カメラモジュール３３０は、ストロボ制御信号３３８を通してストロボユニット３３６を制御するように構成されてもよい。示されるように、レンズ３９０が、光学シーン情報３５２をサンプリングすべき画像センサ３３２上に合焦するように構成される。一実施形態において、画像センサ３３２はストロボ制御信号３３８を通してストロボユニット３３６の詳細なタイミングを有利に制御して、ストロボユニット３３６が有効な状態でサンプリングされた画像とストロボユニット３３６が無効な状態でサンプリングされた画像との間のサンプル間時間を減少させる。たとえば、画像センサ３３２は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後であってストロボ画像をサンプリングする前に、ストロボユニット３３６が１マイクロ秒未満（または任意の所望の長さ）にわたってストロボ照明３５０を発することを可能にし得る。
他の実施形態では、ストロボ照明３５０は所望の１つ以上のターゲットポイントに基づいて構成されてもよい。たとえば、一実施形態において、ストロボ照明３５０は前景内のオブジェクトを照らし出してもよく、露光時間の長さに依存して、画像の背景内のオブジェクトも照らし出してもよい。一実施形態において、ストロボユニット３３６が有効になると、画像センサ３３２はその直後にストロボ画像を露光し始めてもよい。ゆえに、画像センサ３３２はサンプリング動作を直接制御することが可能であり得、当該サンプリング動作は、ストロボユニット３３６が無効な状態でサンプリングされた少なくとも１つの画像、およびストロボユニット３３６が有効または無効な状態でサンプリングされた少なくとも１つの画像を含み得る画像スタックの生成と関連付けられているストロボユニット３３６の有効化および無効化を含む。一実施形態において、画像センサ３３２によってサンプリングされた画像スタックを含むデータが、配線３３４を介してプロセッサ複合体３１０内のカメラインターフェイスユニット３８６に送信される。いくつかの実施形態において、カメラモジュール３３０は画像センサコントローラを含んでいてもよく、当該コントローラは画像センサ３３２の制御動作と共にストロボ制御信号３３８を生成するように構成されてもよい。
図３Ｆは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、カメラモジュール３３０は、ストロボユニット３３６についての状態情報に基づいて画像をサンプリングするように構成されてもよい。状態情報は、ストロボユニット３３６にストロボ照明３５０の指定強度および／または色を生成するように命じるための１つ以上のストロボパラメータ（たとえばストロボ強度、ストロボ色、ストロボ時間等）を含み得るがこれらに限定されない。一実施形態において、ストロボユニット３３６と関連付けられている状態情報を構成するためのコマンドがストロボ制御信号３３８を通して送信されてもよく、当該信号は、ストロボユニット３３６が有効になった時を検出するためにカメラモジュール３３０によって監視され得る。たとえば、一実施形態において、カメラモジュール３３０は、ストロボ制御信号３３８によってストロボユニット３３６が有効または無効になってから１マイクロ秒以下内にストロボユニット３３６が有効または無効になった時を検出し得る。ストロボ照明を必要とする画像をサンプリングするために、カメラインターフェイスユニット３８６は、有効化コマンドをストロボ制御信号３３８を通して送信することによってストロボユニット３３６を有効にしてもよい。一実施形態において、カメラインターフェイスユニット３８６は、図３Ｂのプロセッサ複合体３１０のプロセッササブシステム３６０内の入出力インターフェイス３８４のインターフェイスとして含まれていてもよい。有効化コマンドは、信号レベル遷移、データパケット、レジスタ書込み、またはその他の技術的に実行可能なコマンドの送信を含んでいてもよい。カメラモジュール３３０はストロボユニット３３６が有効であることを検知し、次いで、ストロボユニット３３６が有効である間に、画像センサ３３２にストロボ照明を必要とする１つ以上の画像をサンプリングさせてもよい。そのような実現例では、画像センサ３３２は、ストロボユニット３３６宛ての有効化信号を、新たな露光のサンプリングを開始するトリガ信号として待機するように構成されてもよい。
一実施形態において、カメラインターフェイスユニット３８６は、露光パラメータおよびコマンドを配線３３４を通してカメラモジュール３３０に送信してもよい。特定の実施形態において、カメラインターフェイスユニット３８６は、制御コマンドをストロボ制御信号３３８を通してストロボユニット３３６に送信することによってストロボユニット３３６を直接制御するように構成されてもよい。カメラモジュール３３０およびストロボユニット３３６の両方を直接制御することによって、カメラインターフェイスユニット３８６は、カメラモジュール３３０およびストロボユニット３３６に、正確な時間同期でそれぞれの動作を実行させることができる。一実施形態において、正確な時間同期は５００マイクロ秒未満のイベントタイミングエラーであってもよい。また、イベントタイミングエラーは、意図されたイベント発生から対応する実際のイベント発生の時間までの時間差であってもよい。
別の実施形態において、カメラインターフェイスユニット３８６は、カメラモジュール３３０から画像データを受信している間に統計を蓄積するよう構成されてもよい。特に、カメラインターフェイスユニット３８６は、配線３３４を通して所与の画像についての画像データを受信している間に当該画像についての露光統計を蓄積してもよい。露光統計は、強度ヒストグラム、露光過多の画素のカウント、露光不足の画素のカウント、画素強度の強度−加重和、の１つ以上、またはそれらのいずれかの組合せを含み得るがこれらに限定されない。カメラインターフェイスユニット３８６は、プロセッサ複合体３１０内のＣＰＵコア３７０の１つ以上などのプロセッサによって規定される物理または仮想アドレス空間内のメモリマップされた記憶場所として、露光統計を提示してもよい。一実施形態において、露光統計は、メモリマップされたレジスタ空間内にマップされる記憶回路内に存在しており、これは配線３３４を通してアクセス可能である。他の実施形態では、露光統計は、捕捉した画像についての画素データを伝送するのと共に伝送される。たとえば、所与の画像についての露光統計は、捕捉した画像についての画素強度データの送信に引き続いて、インラインデータとして送信されてもよい。露光統計は、カメラインターフェイスユニット３８６内で計算、記憶、またはキャッシュされてもよい。
一実施形態において、カメラインターフェイスユニット３８６は、シーンホワイトバランスを推定するための色統計を蓄積してもよい。赤色、緑色および青色カラーチャネルを含む異なるカラーチャネルについての強度の和などの、ホワイトバランスを推定するための任意の技術的に実行可能な色統計が蓄積されてもよい。次いで、カラーチャネル強度の和を用いて、グレーワールドホワイトバランスモデルなどのホワイトバランスモデルに従って、関連画像に対してホワイトバランス色補正が実行されてもよい。他の実施形態では、画像に対してホワイトバランス補正を実現するために用いられる一次または二次曲線適合のための曲線適合統計が蓄積される。
一実施形態において、カメラインターフェイスユニット３８６は、周囲画像と、ストロボ照明を用いてサンプリングされた１つ以上の画像との間など、画像同士の間でカラーマッチングを実行するための空間色統計を蓄積してもよい。露光統計と同様に、色統計はプロセッサ複合体３１０内のメモリマップされた記憶場所として提示されてもよい。一実施形態において、色統計はメモリマップされたレジスタ空間内にマップされ、これはプロセッササブシステム３６０内で配線３３４を通してアクセス可能である。他の実施形態では、色統計は、捕捉した画像についての画素データを伝送するのと共に伝送されてもよい。たとえば、一実施形態において、所与の画像についての色統計は、当該画像についての画素強度データの送信に引き続いて、インラインデータとして送信されてもよい。色統計は、カメラインターフェイス３８６内で計算、記憶、またはキャッシュされてもよい。
一実施形態において、カメラモジュール３３０はストロボ制御信号３３８をストロボユニット３３６に送信して、カメラモジュール３３０が画像をサンプリングしている間にストロボユニット３３６が照明を生成することを可能にし得る。別の実施形態において、カメラモジュール３３０は、ストロボユニット３３６が有効であるという指示信号をカメラインターフェイスユニット３８６から受信すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。さらに別の実施形態において、カメラモジュール３３０は、シーン照明の急激な増加によって写真撮影シーン内のストロボ照明を検出すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。一実施形態において、シーン照明の急激な増加は、ストロボユニット３３６を有効にする率と一致した強度の増加率を少なくとも含んでいてもよい。さらに別の実施形態において、カメラモジュール３３０は、１つの画像をサンプリングしている間にストロボユニット３３６を有効にしてストロボ照明を生成し、別の画像をサンプリングしている間にストロボユニット３３６を無効にしてもよい。
図３Ｇは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、カメラモジュール３３０はアプリケーションプロセッサ３３５と通信していてもよい。カメラモジュール３３０は、コントローラ３３３と通信している画像センサ３３２を含むとして示されている。さらに、コントローラ３３３はアプリケーションプロセッサ３３５と通信しているとして示されている。
一実施形態において、アプリケーションプロセッサ３３５はカメラモジュール３３０の外部に存在していてもよい。示されるように、レンズ３９０は、光学シーン情報をサンプリングすべき画像センサ３３２上に合焦するように構成されてもよい。次いで、画像センサ３３２によってサンプリングされた光学シーン情報は、その後の処理およびアプリケーションプロセッサ３３５への通信の少なくとも一方のために、画像センサ３３２からコントローラ３３３に通信されてもよい。別の実施形態において、コントローラ３３３は、画像センサ３３２によってサンプリングされた光学シーン情報の記憶、または処理された光学シーン情報の記憶を制御してもよい。
別の実施形態において、コントローラ３３３は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後に、ストロボユニットが短い期間（たとえば１マイクロ秒未満等）中にストロボ照明を発することを可能にし得る。さらに、コントローラ３３３は、画像センサ３３２の制御動作と共にストロボ制御信号３３８を生成するように構成されてもよい。
一実施形態において、画像センサ３３２は相補型金属酸化膜半導体（ＣＭＯＳ）センサまたは電荷結合素子（ＣＣＤ）センサであってもよい。別の実施形態において、コントローラ３３３および画像センサ３３２は、集積システムまたは集積回路として共にパッケージ化されてもよい。さらに別の実施形態において、コントローラ３３３および画像センサ３３２は別個のパッケージを含んでいてもよい。一実施形態において、コントローラ３３３は、画像センサ３３２からの光学シーン情報の受信、光学シーン情報の処理、さまざまな機能のタイミング、およびアプリケーションプロセッサ３３５と関連付けられているシグナリングのための回路を提供してもよい。さらに、別の実施形態において、コントローラ３３３は、露光、シャッタリング、ホワイトバランス、およびゲイン調整の１つ以上を制御するための回路を提供してもよい。コントローラ３３３の回路による光学シーン情報の処理は、ゲイン適用、増幅、およびアナログ−デジタル変換の１つ以上を含んでいてもよい。光学シーン情報を処理した後、コントローラ３３３は対応するデジタル画素データをアプリケーションプロセッサ３３５などに送信してもよい。
一実施形態において、アプリケーションプロセッサ３３５は、プロセッサ複合体３１０および揮発性メモリ３１８とＮＶメモリ３１６との少なくとも一方、またはその他のメモリデバイスおよび／もしくはシステム上で実現されてもよい。アプリケーションプロセッサ３３５は、カメラモジュール３３０からアプリケーションプロセッサ３３５に通信される受信した光学シーン情報またはデジタル画素データの処理のために予め構成されてもよい。
図４は、一実施形態に従うネットワークサービスシステム４００を示す。選択肢として、ネットワークサービスシステム４００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、ネットワークサービスシステム４００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、ネットワークサービスシステム４００は、デジタル写真撮影システムを実現するデバイスにネットワークアクセスを提供するように構成されてもよい。示されるように、ネットワークサービスシステム４００は、ワイヤレスモバイルデバイス３７６、無線アクセスポイント４７２、データネットワーク４７４、データセンタ４８０、およびデータセンタ４８１を含む。ワイヤレスモバイルデバイス３７６は、デジタル無線リンク４７１を介して無線アクセスポイント４７２と通信して、デジタル画像と関連付けられているデータを含むデジタルデータを送受信してもよい。ワイヤレスモバイルデバイス３７６および無線アクセスポイント４７２は、本発明の範囲および精神から逸脱することがなければ、デジタル無線リンク４７１を介してデジタルデータを伝送するための任意の技術的に実行可能な伝送技術を実現し得る。特定の実施形態において、データセンタ４８０，４８１の１つ以上は、所与のデータセンタ４８０，４８１内の各システムおよびサブシステムが、指定されたデータ処理およびネットワークタスクを実行するように構成された仮想マシンを含み得るように、仮想構造を用いて実現されてもよい。他の実現例では、データセンサ４８０，４８１の１つ以上は複数の物理的サイトにわたって物理的に分散していてもよい。
ワイヤレスモバイルデバイス３７６は、デジタルカメラを含むように構成されたスマートフォン、ワイヤレスネットワーク接続性を含むように構成されたデジタルカメラ、現実拡張デバイス、デジタルカメラおよびワイヤレスネットワーク接続性を含むように構成されたラップトップ、またはデジタル写真撮影システムおよびワイヤレスネットワーク接続性を含むように構成されたその他の技術的に実行可能なコンピューティングデバイスを含んでいてもよい。
さまざまな実施形態において、無線アクセスポイント４７２は、デジタル無線リンク４７１を介してワイヤレスモバイルデバイス３７６と通信するように、かつ、電気、光学、または無線伝送媒体などの任意の技術的に実行可能な伝送媒体を介してデータネットワーク４７４と通信するように構成されてもよい。たとえば、一実施形態において、無線アクセスポイント４７２は、無線アクセスポイント４７２に、かつデータネットワーク４７４内のルータシステムまたはスイッチシステムに結合された光ファイバを通してデータネットワーク４７４と通信してもよい。広域ネットワーク（ＷＡＮ）リンクなどのネットワークリンク４７５がデータネットワーク４７４とデータセンタ４８０との間でデータを伝送するように構成されてもよい。
一実施形態において、データネットワーク４７４は、ルータ、スイッチ、長距離伝送システム、プロビジョニングシステム、認証システム、ならびに、無線アクセスポイント４７２とデータセンタ４８０との間など、ネットワーク終点同士の間でデータを伝達するように構成された通信および動作サブシステムの任意の技術的に実行可能な組合せを含んでいてもよい。一実現例において、ワイヤレスモバイルデバイス３７６は、データネットワーク４７４に結合された１つ以上の無線アクセスポイントを介してデータセンタ４８０と通信するように構成された複数のワイヤレスモバイルデバイスのうちの１つを含んでいてもよい。
また、さまざまな実施形態において、データセンタ４８０はスイッチ／ルータ４８２および少なくとも１つのデータサービスシステム４８４を含み得るがこれらに限定されない。スイッチ／ルータ４８２は、ネットワークリンク４７５と各データサービスシステム４８４との間でデータトラフィックを転送するように構成されてもよい。スイッチ／ルータ４８２は、イーサネット（登録商標）メディアレイヤー伝送、レイヤー２スイッチング、レイヤー３ルーティングなどの任意の技術的に実行可能な伝送技術を実現し得る。スイッチ／ルータ４８２は、データサービスシステム４８４とデータネットワーク４７４との間でデータを伝送するように構成された１つ以上の個別のシステムを含んでいてもよい。
一実施形態において、スイッチ／ルータ４８２は、複数のデータサービスシステム４８４同士の間でセッションレベルのロードバランシングを実現し得る。各データサービスシステム４８４は少なくとも１つの計算システム４８８を含んでいてもよく、さらに１つ以上の記憶システム４８６を含んでいてもよい。各計算システム４８８は、中央処理装置、グラフィック処理装置、またはそれらのいずれかの組合せなどの、１つ以上の処理装置を含んでいてもよい。所与のデータサービスシステム４８４は、共に動作するように構成された１つ以上の物理的に別個のシステムを含む物理的システムとして実現されてもよい。または、所与のデータサービスシステム４８４は、任意の物理的システム上で実行される１つ以上の仮想システムを含む仮想システムとして実現されてもよい。特定のシナリオでは、データネットワーク４７４は、ネットワークリンク４７６を通すなどしてデータセンタ４８０と別のデータセンタ４８１との間でデータを伝送するように構成されてもよい。
別の実施形態において、ネットワークサービスシステム４００は、本発明の１つ以上の実施形態を実現するように構成された、任意のネットワーク化されたモバイルデバイスを含んでいてもよい。たとえば、いくつかの実施形態において、アドホック無線ネットワークなどのピアツーピアネットワークが２つの異なるワイヤレスモバイルデバイス同士の間に確立されてもよい。そのような実施形態では、デジタル画像データは、当該デジタル画像データをデータセンタ４８０に送信しなくても２つのワイヤレスモバイルデバイス同士の間で伝送され得る。
図５Ａは、一実施形態に従う光学シーン情報を捕捉して写真撮影シーンの電子表現に変換するためのシステムを示す。選択肢として、図５Ａのシステムは図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、図５Ａのシステムは任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図５Ａに示されるように、画素アレイ５１０は行ロジック５１２および列読出回路５２２と通信している。さらに、行ロジック５１２および列読出回路５２２の両方が制御ユニット５１４と通信している。さらに、画素アレイ５１０は複数の画素５４０を含むとして示されており、各画素５４０は４つのセルであるセル５４２〜５４５を含んでいてもよい。本説明の文脈において、画素アレイ５１０は、画像センサ１３２またはカメラモジュール３３０の画像センサ３３２などの画像センサに含まれていてもよい。
示されるように、画素アレイ５１０は画素５４０の二次元配列を含む。たとえば、一実施形態において、画素アレイ５１０は、第１の寸法における４，０００個の画素５４０および第２の寸法における３，０００個の画素５４０を含み、画素アレイ５１０において合計１２，０００，０００個の画素５４０を含むように構築されてもよく、これは１２メガピクセル画素アレイと称され得る。さらに、上述のように、各画素５４０は４つのセル５４２〜５４５を含むとして示されている。一実施形態において、セル５４２は第１の光の色と関連付けられてもよく（たとえば、第１の光の色に対して選択的に感度が高い、等）、セル５４３は第２の光の色と関連付けられてもよく、セル５４４は第３の光の色と関連付けられてもよく、セル５４５は第４の光の色と関連付けられてもよい。一実施形態において、第１の光の色、第２の光の色、第３の光の色および第４の光の色の各々は、セル５４２〜５４５の各々が異なる光の色と関連付けられ得るように、異なる光の色である。別の実施形態において、セル５４２〜５４５の少なくとも２つのセルが同じ光の色と関連付けられてもよい。たとえば、セル５４３およびセル５４４が同じ光の色と関連付けられてもよい。
さらに、セル５４２〜５４５の各々はアナログ値を記憶することが可能であり得る。一実施形態において、セル５４２〜５４５の各々は、露光時間中に蓄積された露光に対応する電荷を格納するためのコンデンサと関連付けられてもよい。そのような実施形態では、所与のセルの回路への行選択信号をアサートすると、当該セルは読出動作を実行し得、当該読出動作は、当該セルと関連付けられているコンデンサの格納された電荷の関数である電流を生成して送ることを含み得るがこれらに限定されない。一実施形態において、読出動作の前に、関連付けられているフォトダイオードからコンデンサにおいて受け取った電流によって、予め充電されているコンデンサが、フォトダイオードにおいて検出された入射光強度に比例する速度で放電し得る。次いで、セルのコンデンサの残留電荷が行選択信号を用いて読出され得る。セルから送られる電流は、コンデンサ上の残留電荷を反映するアナログ値である。この目的で、読出動作時にセルから受け取られるアナログ値は、フォトダイオードにおいて検出される光の蓄積強度を反映し得る。所与のコンデンサ上に格納された電荷、および送られた電流などのいずれかの対応する電荷の表示は、本明細書においてアナログ画素データと称され得る。当然、アナログ画素データは空間的に離散した強度サンプルのセットを含んでいてもよく、その各々が連続アナログ値によって表される。
さらに、行ロジック５１２および列読出回路５２０は制御ユニット５１４の制御下で連携して働いて、複数の画素５４０の複数のセル５４２〜５４５を読出してもよい。たとえば、制御ユニット５１４は、行ロジック５１２に、画素５４０の所与の行と関連付けられている行制御信号５３０を含む行選択信号をアサートさせ、その画素の行と関連付けられているアナログ画素データを読出すことを可能にし得る。図５Ａに示されるように、これは、行ロジック５１２が、画素５４０（０）および画素５４０（ａ）を含む行５３４（０）と関連付けられている行制御信号５３０（０）を含む１つ以上の行選択信号をアサートすることを含んでいてもよい。行選択信号がアサートされたことに応答して、行５３４（０）上の各画素５４０は、画素５４０のセル５４２〜５４５内に格納されている電荷に基づいて少なくとも１つのアナログ値を送信する。特定の実施形態において、セル５４２およびセル５４３は第１の行選択信号に応答して対応するアナログ値を送信するように構成されるのに対して、セル５４４およびセル５４５は第２の行選択信号に応答して対応するアナログ値を送信するように構成される。
一実施形態において、各行５３４（０）から５３４（ｒ）を含む画素５４０の完全な行についてのアナログ値が、列信号５３２を通して列読出回路５２０に連続して送信されてもよい。一実施形態において、完全な行、または画素の完全な行内の画素もしくはセルについてのアナログ値が同時に送信されてもよい。たとえば、行制御信号５３０（０）を含む行選択信号がアサートされたことに応答して、画素５４０（０）は、少なくとも１つのアナログ値を、画素５４０（０）のセル５４２〜５４５から列信号５３２（０）を含む１つ以上の信号経路を通って列読出回路５２０に送信することによって応答してもよく、同時に、画素５４０（ａ）も、少なくとも１つのアナログ値を、画素５４０（ａ）のセル５４２〜５４５から列信号５３２（ｃ）を含む１つ以上の信号経路を通って列読出回路５２０に送信することになる。当然、画素５４０（０）から少なくとも１つのアナログ値を受信するのと並行して、かつ画素５４０（ａ）から少なくとも１つのアナログ値を受信するのと並行して、１つ以上のアナログ値が１つ以上の他の画素５４０から列読出回路５２０において受信されてもよい。行５３４（０）を含む画素５４０から受信したアナログ値のセットは合わせてアナログ信号と称され得、このアナログ信号は画素アレイ５１０上に合焦される光学画像に基づいていてもよい。
さらに、行５３４（０）を含む画素５４０を読出した後、行ロジック５１２は読出すべき画素５４０の第２の行を選択してもよい。たとえば、行ロジック５１２は、画素５４０（ｂ）および画素５４０（ｚ）を含む画素５４０の行と関連付けられている行制御信号５３０（ｒ）を含む１つ以上の行選択信号をアサートしてもよい。この結果、列読出回路５２０は、行５３４（ｒ）を含む画素５４０と関連付けられているアナログ値の対応するセットを受信してもよい。
列読出回路５２０は、１つ以上の受信したアナログ値を選択して図６Ｂのアナログ−デジタルユニット６２２などのアナログ−デジタル変換回路に転送するマルチプレクサとして作用し得る。列読出回路５２０は、受信したアナログ値を予め規定された順序または順番で転送してもよい。一実施形態において、行ロジック５１２が行制御信号５３０を含む１つ以上の行選択信号をアサートすると、画素の対応する行が列信号５３２を通してアナログ値を送信する。列読出回路５２０はアナログ値を受信し、アナログ値の１つ以上を連続的に選択してアナログ−デジタルユニット６２２に一度に転送する。行ロジック５１２による行の選択、および列読出回路６２０による列の選択は制御ユニット５１４によって命じられてもよい。一実施形態において、行５３４は連続的に選択されて読出され、行５３４（０）で開始して行５３４（ｒ）で終了し、連続した列と関連付けられているアナログ値がアナログ−デジタルユニット６２２に送信される。他の実施形態では、画素５４０に記憶されたアナログ値を読出す他の選択パターンが実現されてもよい。
さらに、列読出回路５２０によって転送されるアナログ値はアナログ画素データを含んでいてもよく、当該データは後で増幅され、次いで、画素アレイ５１０上に合焦される光学画像に基づいて１つ以上のデジタル画像を生成するためのデジタル画素データに変換されてもよい。
図５Ｂ〜図５Ｄは、１つ以上の実施形態に係る３つの随意の画素構成を示す。選択肢として、これらの画素構成は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、これらの画素構成は任意の所望の環境において実現されてもよい。具体例として、図５Ｂ〜図５Ｄの画素５４０のうちのいずれかは、画素アレイ５１０の画素５４０の１つ以上として動作してもよい。
図５Ｂに示されるように、画素５４０は、一実施形態に従って、赤色光強度を測定するための第１のセル（Ｒ）、緑色光強度を測定するための第２および第３のセル（Ｇ）、ならびに青色光強度を測定するための第４のセル（Ｂ）を含むとして示されている。図５Ｃに示されるように、画素５４０は、一実施形態に従って、赤色光強度を測定するための第１のセル（Ｒ）、緑色光強度を測定するための第２のセル（Ｇ）、青色光強度を測定するための第３のセル（Ｂ）、および白色光強度を測定するための第４のセル（Ｗ）を含むとして示されている。図５Ｄに示されるように、画素５４０は、さらに別の実施形態に従って、シアン光強度を測定するための第１のセル（Ｃ）、マゼンタ光強度を測定するための第２のセル（Ｍ）、黄色光強度を測定するための第３のセル（Ｙ）、および白色光強度を測定するための第４のセル（Ｗ）を含むとして示されている。
画素５４０は各々が４つのセルを含むとして示されているが、当然、画素５４０は光強度を測定するためのより少ないまたは多いセルを含むように構成されてもよい。さらに、別の実施形態において、画素５４０の特定のセルは光の単一のピーク波長、または白色光を測定するように構成されるとして示されているが、画素５４０のセルは任意の波長、光の波長範囲、または複数の光波長を測定するように構成されてもよい。
次に図５Ｅを参照して、一実施形態に従う画像センサ３３２上に光学画像として合焦される光学シーン情報を捕捉するためのシステムが示されている。選択肢として、図５Ｅのシステムは図面のうちのいずれかの画面の詳細の文脈において実現されてもよい。しかし、当然、図５Ｅのシステムは任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図５Ｅに示されるように、画像センサ３３２は第１のセル５４４、第２のセル５４５および第３のセル５４８を含むとして示されている。さらに、セル５４４〜５４８の各々はフォトダイオード５６２を含むとして示されている。さらに、フォトダイオード５６２の各々の上には対応するフィルタ５６４があり、フィルタ５６４の各々の上には対応するマイクロレンズ５６６がある。たとえば、セル５４４はフォトダイオード５６２（０）を含むとして示されており、その上にフィルタ５６４（０）があり、その上にマイクロレンズ５６６（０）がある。同様に、セル５４５はフォトダイオード５６２（１）を含むとして示されており、その上にフィルタ５６４（１）があり、その上にマイクロレンズ５６６（１）がある。さらに、図５Ｅに示されるように、画素５４０は、セル５４４および５４５、フォトダイオード５６２（０）および５６２（１）、フィルタ５６４（０）および５６４（１）、ならびにマイクロレンズ５６６（０）および５６６（１）の各々を含むとして示されている。
一実施形態において、マイクロレンズ５６６の各々は、直径が５０ミクロン未満の任意のレンズであってもよい。しかし、他の実施形態では、マイクロレンズ５６６の各々の直径は５０ミクロン以上であってもよい。一実施形態において、マイクロレンズ５６６の各々は、受光した光をマイクロレンズ５６６の下方の支持基板上に集束および集光するための球状凸面を含んでいてもよい。たとえば、図５Ｅに示されるように、マイクロレンズ５６６（０）は受光した光をフィルタ５６４（０）上に集束および集光する。一実施形態において、マイクロレンズアレイ５６７はマイクロレンズ５６６を含んでいてもよく、当該マイクロレンズの各々は、画像センサ３３２のセル５４４内のフォトダイオード５６２と配置が対応している。
本説明の文脈において、フォトダイオード５６２は、光子吸収に応答して電位差を生成するかまたはその電気抵抗を変化させる任意の半導体ダイオードを含んでいてもよい。したがって、フォトダイオード５６２は光強度の検出または測定に用いられてもよい。さらに、フィルタ５６４の各々は、１つ以上の予め定められた波長の光を選択的に送信するための光学フィルタであってもよい。たとえば、フィルタ５６４（０）は対応するマイクロレンズ５６６（０）から受光した実質的に緑色光のみを選択的に透過するように構成されてもよく、フィルタ５６４（１）はマイクロレンズ５６６（１）から受光した実質的に青色光のみを選択的に透過するように構成されてもよい。フィルタ５６４およびマイクロレンズ５６６はともに、入射光の選択波長を平面上に集束するように動作可能であり得る。一実施形態において、当該平面は、画像センサ３３２の表面上のフォトダイオード５６２の二次元格子であってもよい。さらに、各フォトダイオード５６２は、その関連付けられているフィルタに依存して、１つ以上の予め定められた光の波長を受光する。一実施形態において、各フォトダイオード５６２は、フィルタリングされた光の赤色、青色または緑色波長のみを受光する。図５Ｂ〜図５Ｄに関して示されるように、フォトダイオードは赤色、緑色または青色以外の光の波長を検出するように構成されてもよいと考えられる。たとえば、具体的には図５Ｃ〜図５Ｄの文脈において、フォトダイオードは、白色、シアン、マゼンタ、黄色、または赤外光もしくは紫外光などの不可視光を検出するように構成されてもよい。
この目的で、セル、フォトダイオード、フィルタ、およびマイクロレンズの各結合は、光を受光し、受光した光を集光およびフィルタリングして１つ以上の予め定められた光の波長を分離し、次いで当該１つ以上の予め定められた波長で受光した光の強度を測定する、検出する、またはそうでなければ定量化するように動作可能であり得る。測定または検出された光は次いで、セル内に記憶される１つ以上のアナログ値として表されてもよい。たとえば、一実施形態において、各アナログ値は、コンデンサを利用してセル内に格納され得る。さらに、セル内に格納される各アナログ値は、行ロジック５１２から受信され得る行選択信号などの選択信号に基づいてセルから出力されてもよい。さらに、セルから送信される各アナログ値は、アナログ信号の複数のアナログ値のうちの１つのアナログ値を含んでいてもよく、アナログ値の各々は異なるセルによって出力される。したがって、アナログ信号は複数のセルからの複数のアナログ画素データ値を含んでいてもよい。一実施形態において、アナログ信号は、写真撮影シーンの画像全体についてのアナログ画素データ値を含んでいてもよい。別の実施形態において、アナログ信号は、写真撮影シーンの画像全体のサブセットについてのアナログ画素データ値を含んでいてもよい。たとえば、アナログ信号は、写真撮影シーンの画像の画素の行についてのアナログ画素データ値を含んでいてもよい。図５Ａ〜図５Ｅの文脈において、画素アレイ５１０の画素５４０の行５３４（０）は写真撮影シーンの画像の画素のそのような１行であってもよい。
図６Ａは、１つの可能な実施形態に従った、感光セル６００のための回路図を示す。選択肢として、セル６００は本明細書に開示されている図面のうちのいずれかの図面の文脈において実現されてもよい。しかし、当然、システム６００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図６Ａに示されるように、感光セル６００は、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）に結合されるフォトダイオード６０２を含む。フォトダイオード６０２は、図１の文脈で記載されたフォトダイオード１０１か、または、図５Ｅのフォトダイオード５６２のうちのいずれかとして実現され得る。さらに、アナログサンプリング回路６０３は、図１の文脈で記載されたサンプル記憶ノード１３３として実現され得る。一実施形態において、感光セル６００のユニークインスタンス（unique instance）は、図５Ａ〜図５Ｅの文脈における画素５４０を含むセル５４２〜５４５の各々として実現され得る。
示されるように、感光セル６００は、２つのアナログサンプリング回路６０３およびフォトダイオード６０２を含む。２つのアナログサンプリング回路６０３は、第２のアナログサンプリング回路６０３（１）に結合される第１のアナログサンプリング回路６０３（０）を含む。図６Ａに示されるように、第１のアナログサンプリング回路６０３（０）は、トランジスタ６０６（０），６１０（０），６１２（０），６１４（０）、および、コンデンサ６０４（０）を含み、第２のアナログサンプリング回路６０３（１）は、トランジスタ６０６（１），６１０（１），６１２（１），６１４（１）、および、コンデンサ６０４（１）を含む。一実施形態において、トランジスタ６０６，６１０，６１２および６１４の各々は、電界効果トランジスタであってもよい。
フォトダイオード６０２は、写真撮影シーンの入射光６０１を測定または検出するように動作可能であり得る。一実施形態において、入射光６０１は、写真撮影シーンの環境光を含み得る。別の実施形態において、入射光６０１は、写真撮影シーンを照らすために利用されるストロボユニットからの光を含み得る。当然、入射光６０１は、フォトダイオード６０２において受け取られるとともに測定される任意の光を含み得る。さらに、上で論じたように、入射光６０１は、マイクロレンズによってフォトダイオード６０２に集中され得、フォトダイオード６０２は、二次元平面上に配される複数のフォトダイオードを含むように構成されるフォトダイオードアレイのうちの１つのフォトダイオードであり得る。
一実施形態において、アナログサンプリング回路６０３は実質的に同一であり得る。たとえば、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）は各々、実質的に同一の態様において構成される対応するトランジスタ、コンデンサ、および配線を含み得る。当然、他の実施形態において、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）は、アナログサンプリング回路６０３の１つに特有であり得る、回路、トランジスタ、コンデンサ、配線および／または任意の他のコンポーネントもしくはコンポーネントパラメータ（たとえば各コンデンサ６０４の容量値）を含んでもよい。
一実施形態において、各コンデンサ６０４は、トランジスタ６１０のためのゲート容量と、トランジスタ６０６および６１４のための拡散容量とを含むコンデンサの１つのノードを含み得る。コンデンサ６０４はさらに、金属酸化膜スタック、ポリコンデンサ、トレンチコンデンサのような別個の容量構造、または、任意の他の技術的に実現可能なコンデンサ構造といった付加的な回路要素（図示せず）に結合されてもよいが、当該付加的な回路要素はこれらに限定されない。
アナログサンプリング回路６０３（０）に関して、リセット６１６（０）がアクティブ（ロー）である場合、トランジスタ６１４（０）は電圧源Ｖ２からコンデンサ６０４（０）へのパスを提供し、Ｖ２の電位までコンデンサ６０４（０）を充電にする。サンプル信号６１８（０）がアクティブである場合、トランジスタ６０６（０）は、入射光６０１に応答してフォトダイオード６０２によって生成されるフォトダイオード電流（Ｉ＿ＰＤ）に比例して放電するようコンデンサ６０４（０）のためのパスを提供する。これにより、サンプル信号６１８（０）がアクティブである場合、フォトダイオード電流Ｉ＿ＰＤは第１の露光時間の間、積分され、コンデンサ６０４（０）上で対応する第１の電圧が得られる。コンデンサ６０４（０）上のこの第１の電圧は第１のサンプルとも称され得る。行選択６３４（０）がアクティブである場合、トランジスタ６１２（０）は、第１の出力電流のために、Ｖ１から出力６０８（０）へのパスを提供する。第１の出力電流は、コンデンサ６０４（０）上の第１の電圧に応答してトランジスタ６１０（０）によって生成される。行選択６３４（０）がアクティブである場合、出力６０８（０）での出力電流はしたがって、第１の露光時間中の入射光６０１の積分強度に比例し得る。一実施形態において、サンプル信号６１８（０）は、画像センサを含む実質的にすべての感光セル６００にわたって実質的に同時に、画像センサ内ですべての第１のサンプルについてグローバルシャッタ（global shutter）を実現するようにアサートされる。
アナログサンプリング回路６０３（１）に関して、リセット６１６（１）がアクティブ（ロー）である場合、トランジスタ６１４（１）は電圧源Ｖ２からコンデンサ６０４（１）へのパスを提供し、Ｖ２の電位までコンデンサ６０４（１）を充電にする。サンプル信号６１８（１）がアクティブである場合、トランジスタ６０６（１）は、入射光６０１に応答してフォトダイオード６０２によって生成されるフォトダイオード電流（Ｉ＿ＰＤ）に比例して放電するようコンデンサ６０４（１）のためのパスを提供する。これにより、サンプル信号６１８（１）がアクティブである場合、フォトダイオード電流Ｉ＿ＰＤは第２の露光時間の間、積分され、コンデンサ６０４（１）上で対応する第２の電圧が得られる。コンデンサ６０４（１）上のこの第２の電圧は第２のサンプルとも称され得る。行選択６３４（１）がアクティブである場合、トランジスタ６１２（１）は、第２の出力電流のために、Ｖ１から出力６０８（１）へのパスを提供する。第２の出力電流は、コンデンサ６０４（１）上の第２の電圧に応答してトランジスタ６１０（１）によって生成される。行選択６３４（１）がアクティブである場合、出力６０８（１）での出力電流はしたがって、第２の露光時間中の入射光６０１の積分強度に比例し得る。一実施形態において、サンプル信号６１８（１）は、画像センサを含む実質的にすべての感光セル６００にわたって実質的に同時に、画像センサ内ですべての第２のサンプルについてグローバルシャッタ（global shutter）を実現するようにアサートされる。
この目的のために、第１の露光時間が第２の露光時間と異なるように第１の露光時間および第２の露光時間を制御することにより、同じフォトダイオード電流Ｉ＿ＰＤがフォトダイオード６０２によって生成されることに応答して、コンデンサ６０４（０）は第１の電圧またはサンプルを格納し得、コンデンサ６０４（１）は第１の電圧またはサンプルと異なる第２の電圧またはサンプルを格納し得る。一実施形態において、第１の露光時間および第２の露光時間は同時に開始し、時間において重なっており、異なる時間で終了する。したがって、アナログサンプリング回路６０３の各々は、異なる露光に対応するアナログ値を格納するように動作可能であり得る。２つの異なる露光時間を有する利点として、フォトダイオード６０２が、十分なしきい値の入射光６０１に晒される状況において、第１のコンデンサ６０４（０）は、白飛び（blown out）または過剰に露光された画像部分を提供し得、同じセル６００の第２のコンデンサ６０４（１）はデジタル画像を生成するのに好適なアナログ値を提供し得る。したがって、各セル６００について、第１のコンデンサ６０４は、同じセル６００の別のコンデンサ６０４より暗い画像コンテンツをより効果的に捕捉し得る。
他の実施形態において、２つを超える電圧またはサンプルを格納する目的で、２つを超えるアナログサンプリング回路を使用することが望ましくあり得る。たとえば、各アナログサンプリング回路が、異なる露光時間中に、フォトダイオードによって生成されている同じフォトダイオード電流Ｉ＿ＰＤを同時にサンプリングするように、３つ以上のアナログサンプリング回路を有する実施形態が実現され得る。そのような実施形態において、３つ以上の電圧またはサンプルが得られ得る。この目的のために、フォトダイオード６０２によって生成された電流Ｉ＿ＰＤは、任意の所与の時間において、フォトダイオード６０２に結合された多くのアナログサンプリング回路６０３にわたって分離され得る。結果、任意の所定時間においてフォトダイオード６０２に結合されるアナログサンプリング回路６０３の数と、各アナログサンプリング回路６０３に関連付けられる容量の量との関数として、露光感度が変動し得る。そのような変動は、各アナログサンプリング回路６０３について露光時間またはサンプル時間を決定する際に、考慮される必要があり得る。
さまざまな実施形態において、コンデンサ６０４（０）は、コンデンサ６０４（１）と実質的に同一であってもよい。たとえば、コンデンサ６０４（０）および６０４（１）は実質的に同一の容量値を有してもよい。そのような実施形態において、フォトダイオード電流Ｉ＿ＰＤは、コンデンサ６０４（０）とコンデンサ６０４（１）との間で、これらのコンデンサが実質的に同一の程度（rage）で放電される時間の第１の部分の間、均一に分離され得る。その後、フォトダイオード電流は、コンデンサ６０４（０）および６０４（１）のうちの１つの選択されたコンデンサに、選択されたコンデンサが時間の第１の部分に関連付けられる速度の２倍で放電する時間の第２の部分の間、方向付けられ得る。一実施形態において、コンデンサ６０４（０）とコンデンサ６０４（１）との間で異なる電圧またはサンプルを得るために、アナログサンプリング回路のうちの１つのサンプル信号６１８は、フォトダイオード電流Ｉ＿ＰＤの少なくとも部分を受け取る任意の他のアナログサンプリング回路６０３についてサンプル信号６１８がアクティベートされるよりも長いまたは短い期間の間、アクティベートされ得る。
実施形態において、１つのアナログサンプリング回路６０３のサンプル信号６１８のアクティベーションは、同じセル６００における別のアナログサンプリング回路６０３の別のサンプル信号６１８のアクティベーションに基づいて制御されるように構成され得る。たとえば、第１のアナログサンプリング回路６０３（０）のサンプル信号６１８（０）は、第２のアナログサンプリング回路６０３（１）のサンプル信号６１８（１）についてのアクティベーション期間に対して２：１の比率になるように制御される期間の間、アクティベートされ得る。より多くの具体的な例として、２：１の制御比率によって、サンプル信号６１８（１）が１／６０秒の期間の間アクティベートされるように選択されている場合、サンプル信号６１８（０）が１／３０秒の期間の間アクティベートされることになり得る。当然、各サンプル信号６１８についてのアクティベーションまたは露光時間は、１秒、１／１２０秒、１／１０００秒などといった他の期間について制御されてもよく、または、０．５：１、１．２：１、１．５：１、３：１などといった他の比率について制御されてもよい。一実施形態において、サンプル信号６１８のうちの少なくとも１つのアクティベーションの期間は、デジタル写真撮影システム３００のようなデジタル写真撮影システム上で実行されるソフトウェアによって、または、デジタルカメラの「手動モード」とインタラクションするユーザのようなユーザによって、制御されてもよい。たとえば、サンプル信号６１８のうちの少なくとも１つのアクティベーションの期間は、シャッター速度のユーザ選択に基づいて制御され得る。２：１の露光を達成するためには、電流が全体的な露光プロセスの一部の間に分割することにより、３：１の露光時間が必要であり得る。
他の実施形態において、コンデンサ６０４（０）および６０４（１）は異なる容量値を有し得る。一実施形態において、フォトダイオード６０２からの電流Ｉ＿ＰＤに対して、アナログサンプリング回路６０３のうちの１つを同じセル６００の他のアナログサンプリング回路６０３より感度がより高くまたは低くする目的で、コンデンサ６０４（０）および６０４（１）は異なる容量値を有し得る。たとえば、同じセル６００の他のコンデンサ６０４より著しく大きな容量を有するコンデンサ６０４は、有意な量の入射光６０１を有する写真撮影シーンを捕捉する際に、完全には放電しにくくなり得る。そのような実施形態において、コンデンサ６０４（０）とコンデンサ６０４（１）との間の格納された電圧またはサンプルにおける如何なる差も、サンプル信号６１８の異なるアクティベーション時間に関連して、異なる容量値の関数となり得る。
実施形態において、サンプル信号６１８（０）およびサンプル信号６１８（１）は、アクティブ状態に独立してアサートされ得る。別の実施形態において、サンプル信号６１８（０）およびサンプル信号６１８（１）は、同時にアクティブ状態にアサートされ、一方が他方より早い時間にディアクティベートされ、これにより、一部の時間の間、実質的に同時にサンプリングされるが各々が異なる有効な露光時間またはサンプル時間を有する画像を生成する。サンプル信号６１８（０）およびサンプル信号６１８（１）の両方が同時にアサートされるごとに、フォトダイオード電流Ｉ＿ＰＤは、放電コンデンサ６０４（０）と放電コンデンサ６０４（１）との間で分割され得る。
一実施形態において、感光セル６００は、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）が、少なくとも１つの共有コンポーネントを共有するように構成され得る。さまざまな実施形態において、少なくとも１つの共有コンポーネントは、画像センサのフォトダイオード６０２を含み得る。他の実施形態において、少なくとも１つの共有コンポーネントは、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）が共有リセットを利用して同時にリセットされ得るように、リセットを含み得る。図６Ａの文脈において、感光セル６００は、アナログサンプリング回路６０３（０）とアナログサンプリング回路６０３（１）との間の共有リセットを含み得る。たとえば、リセット６１６（０）は、リセット６１６（１）に結合され得、両者は、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）の両方を同時にリセットするために使用され得るリセット６１６（１）とリセット６１６（０）が同じ信号であるように、一緒にアサートされ得る。リセットの後、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）は、一緒にサンプリングするようにアサートされ得る。
別の実施形態において、第１のアナログサンプリング回路６０３（０）についてのサンプル信号６１８（０）は、第２のアナログサンプリング回路６０３（１）についてのサンプル信号６１８（１）とは独立し得る。一実施形態において、第１のアナログサンプリング回路６０３（０）についての行選択６３４（０）は、第２のアナログサンプリング回路６０３（１）についての行選択６３４（１）とは独立し得る。他の実施形態において、第１のアナログサンプリング回路６０３（０）のための行選択６３４（０）は、第２のアナログサンプリング回路６０３（１）についての行選択６３４（１）と共有される行選択信号を含み得る。さらに別の実施形態において、第１のアナログサンプリング回路６０３（０）の出力６０８（０）の出力信号は、第２のアナログサンプリング回路６０３（１）の出力６０８（１）の出力信号とは独立し得る。別の実施形態において、第１のアナログサンプリング回路６０３（０）の出力信号は、第２のアナログサンプリング回路６０３（１）の出力信号と共有される出力を利用し得る。出力を共有する実施形態において、第１のアナログサンプリング回路６０３（０）の行選択６３４（０）は、第２のアナログサンプリング回路６０３（１）の行選択６３４（１）とは独立していることが必要であり得る。行選択信号を共有する実施形態において、第１のアナログサンプリング回路６０３（０）の出力６０８（０）のラインが、第２のアナログサンプリング回路６０３（１）の出力６０８（１）のラインとは独立していることが必要であり得る。
一実施形態において、図５Ａのカラム信号５３２は、出力６０８（０）および６０８（１）の複数の独立した出力信号のうちの１つの出力信号を含み得る。さらに、図５Ａの行制御信号５３０は、画素の所与の行について共有され得る行選択６３４（０）および６３４（１）の独立した行選択信号のうちの１つを含み得る。共有された行選択信号を実現するセル６００の実施形態において、行選択６３４（０）は行選択６３４（１）に結合され得、両者は一緒に同時にアサートされ得る。
実施形態において、所与の行の画素は、１つ以上の行のセルを含み得る。セルの各行は、セルの各行が、アナログサンプリング回路６０３（０）および６０３（１）の複数の対を含むように、感光セル６００の複数のインスタンスを含む。たとえば、セルの所与の行は、複数の第１のアナログサンプリング回路６０３（０）を含み得、第１のアナログサンプリング回路６０３（０）の各々とペアにされる異なる第２のアナログサンプリング回路６０３（１）をさらに含み得る。一実施形態において、複数の第１のアナログサンプリング回路６０３（０）は、複数の第２のアナログサンプリング回路６０３（１）から独立して駆動され得る。別の実施形態において、複数の第１のアナログサンプリング回路６０３（０）は、複数の第２のアナログサンプリング回路６０３（１）と並列に駆動され得る。たとえば、所与の行のセルの第１のアナログサンプリング回路６０３（０）の各々の各出力６０８（０）は、列信号５３２の１つのセットを通じて並列に駆動され得る。さらに、所与の行のセルの第２のアナログサンプリング回路６０３（１）の各々の各出力６０８（１）は、列信号５３２の第２の並列なセットを通じて並列に駆動され得る。
この目的のために、入射光６０１に基づいて第１のサンプルおよび第２のサンプルの両方を少なくとも部分的に同時に生成および格納するように、感光セル６００が利用され得る。具体的には、第１のサンプルは、第１の露光時間の間に、捕捉され第１のコンデンサ上に格納され得、第２のサンプルは、第２の露光時間の間に、少なくとも部分的に同時に、捕捉され第２のコンデンサ上に格納される。さらに、行選択６３４（０）がアクティベートされると、２つの異なるサンプルのうちの第１のサンプルに対応する出力電流信号は出力６０８（０）に結合され得、行選択６３４（１）がアクティベートされると、２つの異なるサンプルの第２のサンプルに対応する出力電流信号は出力６０８（１）に結合され得る。
一実施形態において、第１の値は、第１の露光時間において、複数の画素について第１のアナログ画素データを含んでいる第１のアナログ信号に含まれ得、第２の値は、第２の露光時間において、複数の画素について第２のアナログ画素データを含んでいる第２のアナログ信号に含まれ得る。さらに、第１のアナログ信号は、１つ以上のデジタル画像の第１のスタックを生成するために利用され得、第２のアナログ信号は１つ以上のデジタル画像の第２のスタックを生成するために利用され得る。画像の第１のスタックと画像の第２のスタックの間の如何なる差も、第１の露光時間と第２の露光時間の間の差に少なくとも部分的に基づき得る。したがって、感光セル６００のアレイが、同時に複数のデジタル画像を捕捉するために利用され得る。
図６Ｂは、ある実施形態に従うアナログ画素データをデジタル画素データに変換するためのシステムを示す。選択肢として、図６Ｂのシステムは本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、図６Ｂのシステムは任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図６Ｂに示されるように、アナログ画素データ６２１が、制御ユニット５１４の制御下でアナログ−デジタルユニット６２２において列読出回路５２０から受信される。アナログ画素データ６２１は、上述のようにアナログ信号内で受信されてもよい。さらに、アナログ−デジタルユニット６２２は、受信したアナログ画素データ６２１に基づいてデジタル画素データ６２５を生成する。
一実施形態において、アナログ画素データ６２１のユニークインスタンスは、個々のアナログ値の順序集合として、すべての対応するアナログサンプリング回路またはサンプル記憶ノードから出力されるすべてのアナログ値を含み得る。たとえば、前述の図の文脈において、画素アレイ５１０の複数の画素５４０のセル５４２〜５４５の各セルは、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）の両方を含み得る。したがって、画素アレイ５１０は複数の第１のアナログサンプリング回路６０３（０）を含み得、さらに複数の第２のアナログサンプリング回路６０３（１）を含み得る。言いかえれば、画素アレイ５１０は、各セルについて第１のアナログサンプリング回路６０３（０）を含み得、さらに各セルについて第２のアナログサンプリング回路６０３（１）を含み得る。実施形態において、複数の第１のアナログサンプリング回路６０３（０）の各アナログサンプリング回路から、離散アナログ値を含んでいるアナログ画素データ６２１の第１のインスタンスが受け取られ得、複数の第２のアナログサンプリング回路６０３（１）の各アナログサンプリング回路から、離散アナログ値を含んでいるアナログ画素データ６２１の第２のインスタンスが受け取られ得る。したがって、画素アレイのセルが２つ以上のアナログサンプリング回路を含む実施形態において、画素アレイは、各々がアナログ画素データ６２１のユニークインスタンスを含む２つ以上の離散アナログ信号を出力し得る。
いくつかの実施形態において、画素アレイのセルのサブセットのみが、２つ以上のアナログサンプリング回路を含み得る。たとえば、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）の両方をすべてのセルが含み得るわけではない。
図６Ｂを引き続き参照して、アナログ−デジタルユニット６２２は増幅器６５０およびアナログ−デジタル変換器６５４を含む。一実施形態において、増幅器６５０はアナログ画素データ６２１のインスタンスおよびゲイン６５２を受信し、ゲイン６５２をアナログ画素データ６２１に適用して、ゲイン調整されたアナログ画素データ６２３を生成する。ゲイン調整されたアナログ画素データ６２３は増幅器６５０からアナログ−デジタル変換器６５４に送信される。アナログ−デジタル変換器６５４はゲイン調整されたアナログ画素データ６２３を受信し、ゲイン調整されたアナログ画素データ６２３をデジタル画素データ６２５に変換し、当該データは次いでアナログ−デジタル変換器６５４から送信される。他の実施形態では、増幅器６５０はアナログ−デジタルユニット６２２内ではなく列読出回路５２０内で実現されてもよい。アナログ−デジタル変換器６５４は、任意の技術的に実行可能なアナログ−デジタル変換技術を用いて、ゲイン調整されたアナログ画素データ６２３をデジタル画素データ６２５に変換してもよい。
ある実施形態において、ゲイン調整されたアナログ画素データ６２３は、ゲイン６５２をアナログ画素データ６２１に適用することによって得られる。一実施形態において、ゲイン６５２はアナログ−デジタルユニット６２２によって選択されてもよい。別の実施形態において、ゲイン６５２は制御ユニット５１４によって選択され、次いで、アナログ画素データ６２１に適用されるために制御ユニット５１４からアナログ−デジタルユニット６２２に供給されてもよい。
一実施形態において、ゲイン６５２をアナログ画素データ６２１に適用した結果、ゲイン調整されたアナログ画素データ６２３にアナログノイズが現われ得ることに留意すべきである。画素アレイ５１０から非常に感度の高いデータを得るために、増幅器６５０が著しく大きいゲインをアナログ画素データ６２１に付与した場合は、ゲイン調整されたアナログ画素データ６２３内に大量のノイズが予想され得る。一実施形態において、そのようなノイズの悪影響は、減少した全露光において光学シーン情報を捕捉することによって減少し得る。そのような実施形態では、ゲイン６５２をアナログ画素データ６２１に適用することによって、露光が適切でノイズが減少した、ゲイン調整されたアナログ画素データを得ることができる。
一実施形態において、増幅器６５０はトランスインピーダンス増幅器（ＴＩＡ）であってもよい。さらに、ゲイン６５２はデジタル値によって指定されてもよい。一実施形態において、ゲイン６５２を指定するデジタル値は、デジタル写真撮影デバイスを「マニュアル」モードで操作することによってなど、デジタル写真撮影デバイスのユーザによって設定されてもよい。さらに、デジタル値はデジタル写真撮影デバイスのハードウェアまたはソフトウェアによって設定されてもよい。選択肢として、デジタル値は、デジタル写真撮影デバイスのソフトウェアと連携して作業するユーザによって設定されてもよい。
一実施形態において、ゲイン６５２を指定するために用いられるデジタル値はＩＳＯと関連付けられてもよい。写真撮影の分野において、ＩＳＯシステムは光感度を指定するための確立された規格である。一実施形態において、増幅器６５０は、アナログ画素データ６２１に適用すべきゲイン６５２を指定するデジタル値を受信する。別の実施形態において、従来のＩＳＯ値から、ゲイン６５２として増幅器６５０に与えられ得るデジタルゲイン値へのマッピングがあってもよい。たとえば、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００等の各々が異なるデジタルゲイン値に一意にマップされてもよく、特定のＩＳＯを選択すると、マップされたデジタルゲイン値がゲイン６５２として適用されるために増幅器６５０に与えられる。一実施形態において、１つ以上のＩＳＯ値が１のゲインにマップされてもよい。当然、他の実施形態では、１つ以上のＩＳＯ値がその他のゲイン値にマップされてもよい。
したがって、一実施形態において、各アナログ画素値は特定のＩＳＯ値を前提として輝度が調整されてもよい。ゆえに、そのような実施形態では、ゲイン調整されたアナログ画素データ６２３は輝度補正された画素データを含んでいてもよく、輝度は指定されたＩＳＯに基づいて補正される。別の実施形態において、ある画像についてゲイン調整されたアナログ画素データ６２３は、当該画像が特定のＩＳＯでサンプリングされたかのような輝度を画像内に有する画素を含んでいてもよい。
ある実施形態に従うと、デジタル画素データ６２５は、画素アレイ５１０を用いて捕捉された画像の画素を表す複数のデジタル値を含んでいてもよい。
一実施形態において、デジタル画素データ６２５のインスタンスは、受け取られたアナログ画素データ６２１の各インスタンスについて出力され得る。したがって、画素アレイ５１０が複数の第１のアナログサンプリング回路６０３（０）を含み、さらに複数の第２のアナログサンプリング回路６０３（１）を含む場合、離散アナログ値を含んでいるアナログ画素データ６２１の第１のインスタンスが、第１のアナログサンプリング回路６０３（０）の各々から受け取られ得、離散アナログ値を含んでいるアナログ画素データ６２１の第２のインスタンスが、第２のアナログサンプリング回路６０３（１）の各々から受け取られ得る。そのような実施形態において、デジタル画素データ６２５の第１のインスタンスは、アナログ画素データ６２１の第１のインスタンスに基づいて出力され得、デジタル画素データ６２５の第２のインスタンスはアナログ画素データ６２１の第２のインスタンスに基づいて出力され得る。
さらに、デジタル画素データ６２５の第１のインスタンスは、画素アレイ５１０のうちの複数の第１のアナログサンプリング回路６０３（０）を使用して捕捉される第１の画像の画素を表わす複数のデジタル値を含み得、デジタル画素データ６２５の第２のインスタンスは、画素アレイ５１０のうちの複数の第２のアナログサンプリング回路６０３（１）を使用して捕捉される第２の画像の画素を表わす複数のデジタル値を含み得る。デジタル画素データ６２５の第１のインスタンスおよびデジタル画素データ６２５の第２のインスタンスが同じゲイン６５２を利用して生成される場合、デジタル画素データのインスタンス同士間の如何なる差も、複数の第１のアナログサンプリング回路６０３（０）の露光時間と複数の第２のアナログサンプリング回路６０３（１）の露光時間との間の差の関数であり得る。
いくつかの実施形態において、デジタル画素データ６２５の２つ以上のインスタンスがアナログ画素データ６２１の各インスタンスについて出力され得るように、２つ以上のゲイン６５２がアナログ画素データ６２１のインスタンスに適用され得る。たとえば、２つ以上のゲインが、アナログ画素データ６２１の第１のインスタンスおよびアナログ画素データ６２１の第２のインスタンス両方に適用され得る。そのような実施形態において、アナログ画素データ６２１の第１のインスタンスは、画素アレイ５１０の複数の第１のアナログサンプリング回路６０３（０）の各々からの離散アナログ値を含み得、アナログ画素データ６２１の第２のインスタンスは、画素アレイ５１０の複数の第２のアナログサンプリング回路６０３（１）の各々からの離散アナログ値を含み得る。したがって、４つ以上の対応するデジタル画像に関連付けられるデジタル画素データ６２５の４つ以上のインスタンスが、写真撮影シーンの画素アレイ５１０によって単一の捕捉から生成され得る。
図７は、ある実施形態に従うアナログ信号のアナログ画素データをデジタル画素データに変換するためのシステム７００を示す。選択肢として、システム７００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、システム７００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
システム７００は、図７において、第１のアナログ記憶面７０２（０）、第１のアナログ−デジタルユニット７２２（０）、および、第１のデジタル画像スタック７３２（０）を含むのが示されており、さらに、第２のアナログ記憶面７０２（１）、第２のアナログ−デジタルユニット７２２（１）、および、第２のデジタル画像スタック７３２（１）を含むのが示される。したがって、システム７００は少なくとも２つのアナログ記憶面７０２（０）および７０２（１）を含むのが示されている。図７に示されるように、アナログ記憶面７０２の各々内において、複数のアナログ値が各々「Ｖ」として示されており、画像スタック７３２の各々のデジタル画像内において、対応するデジタル値が各々「Ｄ」として示されている。
特定の実施形態の文脈において、各アナログ記憶面７０２は１つ以上のアナログ値の任意の集合を含んでいてもよい。いくつかの実施形態において、各アナログ記憶面７０２は、画素アレイの行またはラインの画素ごとに少なくとも１つのアナログ画素値を含んでいてもよい。さらに、別の実施形態において、各アナログ記憶面７０２は、フレームと称され得る画素アレイの全体の画素ごとに少なくとも１つのアナログ画素値を含んでいてもよい。たとえば、各アナログ記憶面７０２は、アナログ値を含んでいてもよく、または、より一般的には、画素アレイのすべてのラインまたは行の各画素のセルごとにアナログ値を含んでいてもよい。
さらに、各アナログ記憶面７０２のアナログ値は、アナログ画素データ７０４として、対応するアナログ−デジタルユニット７２２に出力される。たとえば、アナログ記憶面７０２（０）のアナログ値はアナログ−デジタルユニット７２２（０）にアナログ画素データ７０４（０）として出力され、アナログ記憶面７０２（１）のアナログ値はアナログ−デジタルユニット７２２（１）にアナログ画素データ７０４（１）として出力される。一実施形態において、各アナログ−デジタルユニット７２２は、図６Ｂの文脈内で説明したアナログ−デジタルユニット６２２と実質的に同一であってもよい。たとえば、各アナログ−デジタルユニット７２２は少なくとも１つの増幅器および少なくとも１つのアナログ−デジタル変換器を含んでいてもよく、当該増幅器はゲイン値を受け取り、当該ゲイン値を利用して、アナログ−デジタルユニット７２２において受け取ったアナログ画素データをゲイン調整するように動作可能である。さらに、そのような実施形態では、増幅器はゲイン調整されたアナログ画素データをアナログ−デジタル変換器に送信してもよく、当該変換器は次いで、ゲイン調整されたアナログ画素データからデジタル画素データを生成する。この目的のために、２つ以上の異なるアナログ記憶面７０２の各々のコンテンツに対してアナログデジタル変換が実行され得る。
図７のシステム７００の文脈において、各アナログ−デジタルユニット７２２は対応するアナログ画素データ７０４を受け取り、受け取ったアナログ画素データ７０４に少なくとも２つの異なるゲインを適用して、少なくとも第１のゲイン調整されたアナログ画素データおよび第２のゲイン調整されたアナログ画素データを生成する。たとえば、アナログ−デジタルユニット７２２（０）はアナログ画素データ７０４（０）を受け取り、アナログ画素データ７０４（０）に少なくとも２つの異なるゲインを適用し、これにより、少なくとも第１のゲイン調整アナログ画素データおよび第２のゲイン調整アナログ画素データをアナログ画素データ７０４（０）に基づいて生成する。アナログ−デジタルユニット７２２（１）はアナログ画素データ７０４（１）を受け取り、アナログ画素データ７０４（１）に少なくとも２つの異なるゲインを適用し、これにより、少なくとも第１のゲイン調整アナログ画素データおよび第２のゲイン調整アナログ画素データをアナログ画素データ７０４（１）に基づいて生成する。
さらに、各アナログ−デジタルユニット７２２は、生成したゲイン調整アナログ画素データの各々をデジタル画素データに変換してから、少なくとも２つのデジタル出力を出力する。一実施形態において、各アナログ−デジタルユニット７２２は、受け取られたアナログ画素データ７０４に適用される各ゲインに対応する異なるデジタル出力を提供する。具体的には、図７に関して、アナログ−デジタルユニット７２２（０）は、第１のゲイン（ゲイン１）に対応する第１のデジタル画素データ７２３（０）を含む第１のデジタル信号と、第２のゲイン（ゲイン２）に対応する第２のデジタル画素データ７２４（０）を含む第２のデジタル信号と、第３のゲイン（ゲイン３）に対応する第３のデジタル画素データ７２５（０）を含む第３のデジタル信号とを生成するのが示されている。同様に、アナログ−デジタルユニット７２２（１）は、第１のゲイン（ゲイン１）に対応する第１のデジタル画素データ７２３（１）を含む第１のデジタル信号と、第２のゲイン（ゲイン２）に対応する第２のデジタル画素データ７２４（１）を含む第２のデジタル信号と、第３のゲイン（ゲイン３）に対応する第３のデジタル画素データ７２５（１）を含む第３のデジタル信号とを生成するのが示されている。各デジタル画素データのインスタンスは、各デジタル信号がデジタル画像を含むように各デジタル画像を含み得る。
したがって、アナログ−デジタルユニット７２２（０）が、アナログ画素データ７０４（０）にゲイン１、ゲイン２およびゲイン３の各々を適用することにより、第１のデジタル画素データ７２３（０）、第２のデジタル画素データ７２４（０）および第３のデジタル画素データ７２５（０）を生成した結果、アナログ−デジタルユニット７２２（０）は、画像スタック７３２（０）とも称されるデジタル画像のスタックを生成する。同様に、アナログ−デジタルユニット７２２（１）が、アナログ画素データ７０４（１）にゲイン１、ゲイン２およびゲイン３の各々を適用することにより、第１のデジタル画素データ７２３（１）、第２のデジタル画素データ７２４（１）および第３のデジタル画素データ７２５（１）を生成した結果、アナログ−デジタルユニット７２２（１）は、画像スタック７３２（１）とも称されるデジタル画像の第２のスタックを生成する。
一実施形態において、各アナログ−デジタルユニット７２２は少なくとも２つのゲインをアナログ値に連続して適用する。たとえば、図７の文脈において、アナログ−デジタルユニット７２２（０）は、第１にアナログ画素データ７０４（０）にゲイン１を適用し、その後、同じアナログ画素データ７０４（０）にゲイン２を適用し、その後、同じアナログ画素データ７０４（０）にゲイン３を適用する。他の実施形態では、各アナログ−デジタルユニット７２２は少なくとも２つのゲインをアナログ値に並行して適用してもよい。たとえば、アナログ−デジタルユニットは、アナログ画素データに対するゲイン２およびゲイン３の適用と並行して、受け取られたアナログ画素データにゲイン１を適用し得る。この目的のために、アナログ画素データ７０４の各インスタンスは、少なくとも２つのゲインを利用して増幅される。
一実施形態において、アナログ−デジタルユニット７２２（０）においてアナログ画素データ７０４（０）に適用されるゲインは、アナログ−デジタルユニット７２２（１）においてアナログ画素データ７０４（１）に適用されるゲインと同じであり得る。具体的な例として、アナログ−デジタルユニット７２２（０）およびアナログ−デジタルユニット７２２（１）両方によって適用されるゲイン１は１．０のゲインであり得、アナログ−デジタルユニット７２２（０）およびアナログ−デジタルユニット７２２（１）の両方によって適用されるゲイン２は２．０のゲインであり得、アナログ−デジタルユニット７２２（０）およびアナログ−デジタルユニット７２２（１）の両方によって適用されるゲイン３は４．０のゲインであり得る。別の実施形態において、アナログ−デジタルユニット７２２（０）においてアナログ画素データ７０４（０）に適用されるゲインの１つ以上は、アナログ−デジタルユニット７２２（１）においてアナログ画素データ７０４（１）に適用されるゲインとは異なり得る。たとえば、アナログ−デジタルユニット７２２（０）において適用されるゲイン１は１．０のゲインであり得、アナログ−デジタルユニット７２２（１）において適用されるゲイン１は２．０のゲインであり得る。したがって、各アナログ−デジタルユニット７２２で適用されるゲインは、システム７００内の他のアナログ−デジタルユニット７２２において適用されるゲインに依存してまたは当該ゲインから独立して、選択され得る。
一実施形態に従うと、少なくとも２つのゲインは、写真撮影シーンの露光、計測データ、ユーザ入力、検出された周囲光、ストロボ制御、または上記のいずれかの組合せに基づく任意の技術的に実行可能な技術を用いて決定されてもよい。たとえば、少なくとも２つのゲインのうちの第１のゲインは、アナログ記憶面７０２からのデジタル値の半分が、「ＥＶ０」露光を有すると特徴付けられ得る画像スタック７３２の第１のデジタル画像を含むデジタル値と関連付けられているダイナミックレンジについての指定閾値（たとえば０．０から１．０の範囲内の０．５の閾値）よりも高いデジタル値に変換されるように決定されてもよい。この例を続けて、少なくとも２つのゲインのうちの第２のゲインは、「ＥＶ＋１」露光を有すると特徴付けられる画像スタック７３２の第２のデジタル画像を生成するように第１のゲインの２倍であるとして決定されてもよい。さらに、少なくとも２つのゲインのうちの第３のゲインは、「ＥＶ−１」露光を有すると特徴付けられる画像スタック７３２の第３のデジタル画像を生成するように第１のゲインの半分であるとして決定されてもよい。
一実施形態において、アナログ−デジタルユニット７２２が、ゲイン調整アナログ画素データの第１のインスタンスを第１のデジタル画素データ７２３に、ゲイン調整アナログ画素データの第２のインスタンスを第２のデジタル画素データ７２４に、ゲイン調整アナログ画素データの第３のインスタンスを第３のデジタル画素データ７２５に順に変換する。たとえば、アナログ−デジタルユニット７２２はまず、ゲイン調整アナログ画素データの第１のインスタンスを第１のデジタル画素データ７２３に変換し、その後、ゲイン調整アナログ画素データの第２のインスタンスを第２のデジタル画素データ７２４に変換し、その後、ゲイン調整アナログ画素データの第３のインスタンスを第３のデジタル画素データ７２５に変換し得る。他の実施形態において、アナログ−デジタルユニット７２２は、第１のデジタル画素データ７２３、第２のデジタル画素データ７２４および第３のデジタル画素データ７２５のうちの１つ以上が並行して生成されるように、そのような変換を並列で実行してもよい。
さらに、図７に示されるように、各第１のデジタル画素データ７２３は第１のデジタル画像を提供する。同様に、各第２のデジタル画素データ７２４は第２のデジタル画像を提供し、各第３のデジタル画素データ７２５は第３のデジタル画像を提供する。単一のアナログ記憶面７０２のアナログ値を使用してともに作り出されたデジタル画像の各セットは、画像スタック７３２を含む。たとえば、画像スタック７３２（０）は、アナログ記憶面７０２（０）のアナログ値を使用して作り出されるデジタル画像を含み、画像スタック７３２（１）は、アナログ記憶面７０２（１）のアナログ値を使用して作り出されるデジタル画像を含む。
図７に示されるように、画像スタック７３２のすべてのデジタル画像は、同じアナログ画素データ７０４に基づき得る。しかしながら、画像スタック７３２の各デジタル画像は、２つのデジタル画像を生成するために使用されるゲイン間の差の関数として、画像スタック７３２における他のデジタル画像と異なり得る。具体的には、少なくとも２つのゲインのうち最大のゲインを使用して生成されるデジタル画像は、画像スタック７３２のデジタル画像のうち最も明るいまたは露光が多いと視覚的に認識され得る。逆に、少なくとも２つのゲインのうちの最小のゲインを用いて生成されたデジタル画像は、最も暗いまたは画像スタック７３２の他のデジタル画像よりも露光が少ないと視覚的に認識され得る。この目的のために、第１の光感度値が第１のデジタル画素データ７２３に関連付けられ得、第２の光感度値が第２のデジタル画素データ７２４に関連付けられ得、第３の光感度値が第３のデジタル画素データ７２５に関連付けられ得る。さらに、ゲインの各々が異なる光感度値に関連付けられ得るので、第１のデジタル画像または第１のデジタル信号は第１の光感度値に関連付けられ得、第２のデジタル画像または第２のデジタル信号は第２の光感度値に関連付けられ得、第３のデジタル画像または第３のデジタル信号は第３の光感度値に関連付けられ得る。
アナログ画素データへのゲインの制御された適用はＨＤＲ画像生成を大きく助け得るが、適用するゲインが大き過ぎると、ノイズが多い、露光過多である、および／または白飛び（blown-out）であると視覚的に認識されるデジタル画像が生じ得ることに留意すべきである。一実施形態において、ゲインの２ストップをアナログ画素データに適用すると、写真撮影シーンの暗い部分について視覚的に認識可能なノイズが、および写真撮影シーンの明るい部分について視覚的に認識不可能なノイズが付与され得る。別の実施形態において、デジタル写真撮影デバイスは、捕捉された写真撮影シーンのアナログ画素データについてアナログ記憶面を提供し、次いでアナログ−デジタルユニット７２２を用いて同じアナログ画素データの少なくとも２つのアナログ−デジタルサンプリングを実行するように構成されてもよい。この目的で、デジタル画像が少なくとも２つのサンプリングのサンプリングごとに生成されてもよく、各デジタル画像は、すべてのデジタル画像が画像センサ上に合焦される単一の光学画像の同じアナログサンプリングから生成されているにもかかわらず、異なる露光で得られる。
一実施形態において、当初の露光パラメータはユーザによって、またはデジタル写真撮影デバイスの計測アルゴリズムによって選択されてもよい。当初の露光パラメータは、ユーザ入力、または特定の捕捉変数を選択するソフトウェアに基づいて選択されてもよい。そのような捕捉変数は、たとえば、ＩＳＯ、アパーチャ、およびシャッター速度を含んでいてもよい。画像センサは次いで、当初の露光パラメータで写真撮影シーンを捕捉し、画像センサ上に合焦される光学画像に対応する第１の複数のアナログ値で第１のアナログ記憶面をポピュレートしてもよい。第１のアナログ記憶面をポピュレートすることと少なくとも部分的に同時に、第２のアナログ記憶面は、画像センサに合焦される光像に対応する第２の複数のアナログ値でポピュレートされ得る。前述の図の文脈において、第１のアナログ記憶面７０２（０）は、画素アレイ５１０の複数の第１のアナログサンプリング回路６０３（０）から出力される複数のアナログ値でポピュレートされ得、第２のアナログ記憶面７０２（１）は、画素アレイ５１０の複数の第２のアナログサンプリング回路６０３（１）から出力される複数のアナログ値でポピュレートされ得る。
言いかえれば、各感光セルが２つのアナログサンプリング回路を含む実施形態において、アナログ記憶面のうちの第１のアナログ記憶面がセルのアナログサンプリング回路のうちの１つから出力される第１のアナログ値出力を格納し、アナログ記憶面のうちの第２のアナログ記憶面が同じセルの他のアナログサンプリング回路から出力される第２のアナログ値を格納するように、２つのアナログ記憶面が構成され得る。この構成において、アナログ記憶面の各々は、画素アレイまたは画像センサの画素から受け取られる少なくとも１つのアナログ値を格納し得る。
さらに、アナログ記憶面の各々は、画素アレイまたは画像センサの所与の画素について異なるアナログ値を受け取り格納し得る。たとえば、所与の画素について受け取られ第１のアナログ記憶面に格納されたアナログ値は、第１の露光時間の間に捕捉された第１のサンプルに基づいて出力され得、所与の画素について受け取られ第２のアナログ記憶面に格納された対応するアナログ値は、第１の露光時間と異なる第２の露光時間の間に捕捉された第２のサンプルに基づいて出力され得る。したがって、一実施形態において、第１のアナログ記憶面に格納された実質的にすべてのアナログ値は、第１の露光時間の間に得られたサンプルに基づき得、第２のアナログ記憶面に格納された実質的にすべてのアナログ値は、第１の露光時間と異なる第２の露光時間の間に得られたサンプルに基づき得る。
この記載の文脈において、初期露光パラメータの写真撮影シーンの「単一露光」は、少なくとも部分的に同時に、アナログサンプリング回路の２つ以上のセットを使用して写真撮影シーンを捕捉することを含み得、アナログサンプリング回路の各セットは異なる露光時間で動作するように構成され得る。アナログサンプリング回路の２つ以上のセットを使用する写真撮影シーンの捕捉の間に、写真撮影シーンは、環境光によって照らされ得るか、または、ストロボユニットを使用して照らされ得る。さらに、アナログサンプリング回路の２つ以上のセットを使用して写真撮影シーンを捕捉した後、２つ以上のアナログ記憶面（たとえばアナログサンプリング回路の各セットにつき１つの記憶面）が、画像センサに合焦した光学画像に対応するアナログ値でポピュレートされてもよい。次に、上記のシステムおよび方法に従って、第１のアナログ記憶面のアナログ値に１つ以上のゲインを適用することによって、第１の画像スタックの１つ以上のデジタル画像が得られ得る。さらに、上記のシステムおよび方法に従って、第２のアナログ記憶面のアナログ値に１つ以上のゲインを適用することによって、第２の画像スタックの１つ以上のデジタル画像が得られ得る。
この目的のために、１つ以上の画像スタック７３２が、写真撮影シーンの単一露光に基づいて生成され得る。一実施形態において、特定の画像スタック７３２の各デジタル画像は、共通露光時間またはサンプル時間に基づいて生成され得るが、ユニークゲインを利用して生成され得る。そのような実施形態において、写真撮影シーンの単一露光の画像スタック７３２の各々は、異なるサンプル時間に基づいて生成され得る。
一実施形態において、画像スタック７３２の第１のデジタル画像が上述のシステムおよび方法に従って第１のゲインを利用して得られてもよい。たとえば、当初の露光パラメータがＩＳＯ４００の選択を含むようにデジタル写真撮影デバイスが構成されている場合、第１のデジタル画像を得るために利用される第１のゲインはＩＳＯ４００にマップされてもよく、またはそうでなければＩＳＯ４００と関連付けられてもよい。この第１のデジタル画像は、露光値０（ＥＶ０）で得られる露光または画像と称され得る。さらに、１つ以上のデジタル画像が上述のシステムおよび方法に従って第２のゲインを利用して得られてもよい。たとえば、第１のデジタル画像を生成するために用いられるのと同じアナログ画素データが第２のゲインを利用して処理されて第２のデジタル画像を生成してもよい。さらに、１つ以上のデジタル画像が上述のシステムおよび方法に従って第２のアナログ記憶面を利用して得られてもよい。たとえば、第２のアナログ画素データは、第１のデジタル画像を生成するために使用されるアナログ画素データとは異なる第２のデジタル画像を生成するために使用されてもよい。具体的には、第１のデジタル画像を生成するために使用されるアナログ画素データは第１のサンプル時間を使用して捕捉され、第２のアナログ画素データは、第１のサンプル時間と異なる第２のサンプル時間を使用して捕捉され得た。
この目的のために、少なくとも２つのデジタル画像が異なるアナログ画素データを用いて生成されてブレンドされ、ＨＤＲ画像を生成してもよい。当該少なくとも２つのデジタル画像は、第１のデジタル信号と第２のデジタル信号とをブレンドすることによってブレンドされてもよい。写真撮影シーンの単一露光の間に捕捉された異なるアナログ画素データを使用して、少なくとも２つのデジタル画像が生成される場合、当該少なくとも２つのデジタル画像同士の間には約ゼロまたはほぼゼロのフレーム間時間が存在し得る。同じ写真撮影シーンの少なくとも２つのデジタル画像同士の間のフレーム間時間がゼロまたはほぼゼロである結果として、１つの可能な実施形態において、ＨＤＲ画像を、ＨＤＲ写真に典型的なモーションブラーまたは他のアーティファクトなしで生成することができる。
一実施形態において、画像スタック７３２の第１のデジタル画像を生成するための第１のゲインを選択した後、第２のゲインは第１のゲインに基づいて選択され得る。たとえば、第２のゲインは、第２のゲインが第１のゲインから１ストップ離れていることに基づいて選択されてもよい。より具体的には、第１のゲインがＩＳＯ４００にマップされているか関連付けられている場合は、ＩＳＯ４００から１ストップ下がるとＩＳＯ２００と関連付けられているゲインが提供され、ＩＳＯ４００から１ストップ上がるとＩＳＯ８００と関連付けられているゲインが提供される。そのような実施形態では、ＩＳＯ２００と関連付けられているゲインを利用して生成されるデジタル画像は露光値−１（ＥＶ−１）で得られる露光または画像と称され得、ＩＳＯ８００と関連付けられているゲインを利用して生成されるデジタル画像は露光値＋１（ＥＶ＋１）で得られる露光または画像と称され得る。
さらに、同じアナログ信号を利用して生成されるデジタル画像同士の間により有意な露光差が求められる場合は、第２のゲインは、第２のゲインが第１のゲインから２ストップ離れていることに基づいて選択されてもよい。たとえば、第１のゲインがＩＳＯ４００にマップされているか関連付けられている場合は、ＩＳＯ４００から２ストップ下がるとＩＳＯ１００と関連付けられているゲインが提供され、ＩＳＯ４００から２ストップ上がるとＩＳＯ１６００と関連付けられているゲインが提供される。そのような実施形態では、ＩＳＯ１００と関連付けられているゲインを利用して生成されるデジタル画像は露光値−２（ＥＶ−２）で得られる露光または画像と称され得、ＩＳＯ１６００と関連付けられているゲインを利用して生成されるデジタル画像は露光値＋２（ＥＶ＋２）で得られる露光または画像と称され得る。
一実施形態において、ＩＳＯおよびＥＶ０画像の露光は、より暗いデジタル画像が生成されるように好みに従って選択されてもよい。そのような実施形態では、その意図は、最大ゲインを利用して生成されるデジタル画像である、最も明るいデジタル画像となるものの白飛びまたは露光過多を回避することであり得る。別の実施形態において、ＥＶ−１デジタル画像またはＥＶ−２デジタル画像は第１の生成デジタル画像であってもよい。ＥＶ−１またはＥＶ−２デジタル画像を生成したのに続いて、アナログ−デジタルユニットにおけるゲインの増加を利用してＥＶ０デジタル画像が生成されてもよく、次いでアナログ−デジタルユニットにおけるゲインの第２の増加を利用してＥＶ＋１またはＥＶ＋２デジタル画像が生成されてもよい。一実施形態において、当初の露光パラメータはＥＶ−Ｎデジタル画像に対応し、その後のゲインを用いてＥＶ０デジタル画像、ＥＶ＋Ｍデジタル画像、またはそれらのいずれかの組合せが得られ、ＮおよびＭは０から−１０の間の値である。
一実施形態において、３つの異なる露光を有する３つのデジタル画像（たとえばＥＶ−２デジタル画像、ＥＶ０デジタル画像、およびＥＶ＋２デジタル画像）が、３つのアナログ−デジタルユニットを実現することによって並行して生成されてもよい。各アナログ−デジタルユニットは、１つ以上のアナログ信号値を対応するデジタル信号値に変換するように構成され得る。そのような実現例によって、ＥＶ−１デジタル画像、ＥＶ０デジタル画像、およびＥＶ＋１デジタル画像のすべてを同時に生成することもできる。同様に、他の実施形態において、露光のいずれかの組合せが、２つ以上のアナログ−デジタルユニット、３つ以上のアナログ−デジタルユニット、または任意の数のアナログ−デジタルユニットから並行して生成されてもよい。他の実施形態において、アナログ−デジタルユニットのセットは、２つ以上の異なるアナログ記憶面のいずれか上で各々が動作するように構成され得る。
図８は、さまざまな実施形態に従うアナログ信号を増幅するためのさまざまなタイミング構成を示す。選択肢として、図８のタイミング構成は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、図８のタイミング構成は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
具体的には、図８に示されるように、画素ごとのタイミング構成８０１が画素単位でアナログ信号を増幅するとして示されている。さらに、ラインごとのタイミング構成８１１がライン単位でアナログ信号を増幅するとして示されている。最後に、フレームごとのタイミング構成８２１がフレーム単位でアナログ信号を増幅するとして示されている。アナログ画素データと関連付けられている各増幅アナログ信号は、対応するデジタル信号値に変換されてもよい。
画素ごとのタイミング構成８０１を実現するシステムにおいて、アナログ画素データを含むアナログ信号がアナログ−デジタルユニットにおいて受信されてもよい。さらに、アナログ画素データは個々のアナログ画素値を含んでいてもよい。そのような実施形態では、第１の画素と関連付けられている第１のアナログ画素値がアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々が、同じ第１のアナログ画素値に連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、選択されたアナログ画素値に適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインを同じアナログ画素値に適用するのみで十分であり得る。一実施形態において、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々を適用した後、第２の画素と関連付けられている第２のアナログ画素値がアナログ信号内で特定されて選択されてもよい。第２の画素は第１の画素の隣接画素であってもよい。たとえば、第２の画素は第１の画素と同じ行内にあり、画像センサの画素アレイ上で第１の画素に隣接して位置していてもよい。次に、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々が、同じ第２のアナログ画素値に連続してまたは並行して適用されてもよい。この目的で、画素ごとのタイミング構成８０１において、複数の連続したアナログ画素値がアナログ信号内で特定されてもよく、少なくとも２つのゲインのセットが画素単位で当該アナログ信号内の各画素に適用される。
さらに、画素ごとのタイミング構成８０１を実現するシステムにおいて、制御ユニットは、各画素が予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、アナログ画素データ７０４を含む第１のアナログ画素データ値のような、第１の画素に関連付けられる第１のアナログピクセル値に適用されることになる所定のゲインのセットによりサイクル動作して、当該セットにおける各ゲインが、その後に増幅器に到達する第２のアナログ画素データに所定のゲインのセットを適用する前に第１のアナログ画素データを増幅するために使用され得るように増幅器を制御し得る。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインを受信した第１のアナログ画素値に適用すること、第２のゲインを選択すること、第２のゲインを受信した第１のアナログ画素値に適用すること、第３のゲインを選択すること、選択した第３のゲインを受信した第１のアナログ画素値に適用すること、そして次いで、第２のアナログ画素値を受信し、選択した３つのゲインを、第１の画素値に適用したのと同じ順序で第２の画素値に適用することを含んでいてもよい。一実施形態において、各アナログ画素値は複数回読出されてもよい。概して、アナログ記憶面は、画素のアナログ画素値を読出のために保持するように利用され得る。
ラインごとのタイミング構成８１１を実現するシステムにおいて、アナログ画素データを含むアナログ信号がアナログ−デジタルユニットにおいて受信されてもよい。さらに、アナログ画素データは個々のアナログ画素値を含んでいてもよい。一実施形態において、画素アレイの画素の第１のラインと関連付けられているアナログ画素値の第１のラインがアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々がアナログ画素値の同じ第１のラインに連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、アナログ画素値の選択されたラインに適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインをアナログ画素値の同じラインに適用するのみで十分であり得る。一実施形態において、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々を適用した後、画素の第２のラインと関連付けられているアナログ画素値の第２のラインがアナログ信号内で特定されて選択されてもよい。画素の第２のラインは画素の第１のラインの隣接ラインであってもよい。たとえば、画素の第２のラインは、画像センサの画素アレイ内の画素の第１のラインの真上または真下に位置していてもよい。次に、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々が、アナログ画素値の同じ第２のラインに連続してまたは並行して適用されてもよい。この目的で、ラインごとのタイミング構成８１１において、アナログ画素値の複数の連続したラインがアナログ信号内で特定され、少なくとも２つのゲインのセットがライン単位で当該アナログ信号内のアナログ画素値の各ラインに適用される。
さらに、ラインごとのタイミング構成８１１を実現するシステムにおいて、制御ユニットは、各ラインが予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、ラインに適用される予定の予め定められたゲインのセットを、アナログ画素値の第１のラインに続いて増幅器に到着するアナログ画素値の第２のラインに適用する前に、当該セットの各ゲインを用いてアナログ画素値の第１のラインが増幅されるように、当該予め定められたゲインのセットによりサイクル動作するように増幅器を制御してもよい。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインをアナログ画素値の受信した第１のラインに適用すること、第２のゲインを選択すること、第２のゲインをアナログ画素値の受信した第１のラインに適用すること、第３のゲインを選択すること、選択した第３のゲインをアナログ画素値の受信した第１のラインに適用すること、そして次いで、アナログ画素値の第２のラインを受信し、選択した３つのゲインを、アナログ画素値の第１のラインに適用したのと同じ順序でアナログ画素値の第２のラインに適用することを含んでいてもよい。一実施形態において、アナログ画素値の各ラインは複数回読出されてもよい。別の実施形態において、アナログ記憶面は、１本以上のラインのアナログ画素データ値を読出のために保持するように利用され得る。
フレームごとのタイミング構成８２１を実現するシステムにおいて、アナログ画素値を含む複数のアナログ画素データ値を含むアナログ信号がアナログ−デジタルユニットにおいて受信されてもよい。そのような実施形態では、画素の第１のフレームと関連付けられているアナログ画素値の第１のフレームがアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々がアナログ画素値の同じ第１のフレームに連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、アナログ画素値の選択されたフレームに適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインをアナログ画素値の同じフレームに適用するのみで十分であり得る。
一実施形態において、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々を適用した後、画素の第２のフレームと関連付けられているアナログ画素値の第２のフレームがアナログ信号内で特定されて選択されてもよい。画素の第２のフレームは、写真撮影シーンと関連付けられているビデオデータを捕捉する一連のフレーム内の次のフレームであってもよい。たとえば、デジタル写真撮影システムは３０フレーム／秒のビデオデータを捕捉するように動作可能であり得る。そのようなデジタル写真撮影システムでは、画素の第１のフレームは上記３０個のフレームのうちの１つのフレームであってもよく、画素の第２のフレームは上記３０個のフレームのうちの第２のフレームであってもよい。さらに、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々は第２のフレームのアナログ画素値に連続して適用されてもよい。この目的で、フレームごとのタイミング構成８２１において、アナログ画素値の複数の連続したフレームがアナログ信号内で特定されてもよく、少なくとも２つのゲインのセットがフレーム単位でアナログ画素値の各フレームに適用される。
さらに、フレームごとのタイミング構成８２１を実現するシステムにおいて、制御ユニットは、各フレームが予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、フレームに適用される予定の予め定められたゲインのセットを、後で増幅器に到着する第２のフレームと関連付けられているアナログ画素値に適用する前に、各ゲインを用いて第１のフレームと関連付けられているアナログ画素値が増幅されるように、当該予め定められたゲインのセットによりサイクル動作するように増幅器を制御してもよい。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインを第１のフレームと関連付けられているアナログ画素値に適用すること、第２のゲインを選択すること、第２のゲインを第１のフレームと関連付けられているアナログ画素値に適用すること、第３のゲインを選択すること、および第３のゲインを第１のフレームと関連付けられているアナログ画素値に適用することを含んでいてもよい。別の実施形態において、第１のフレームと関連付けられているアナログ画素値に選択したすべての３つのゲインを適用したのに引き続いて、第２のフレームと関連付けられているアナログ画素値が受信されてもよく、次いで、選択した３つのゲインは、第１のフレームに適用されたのと同じ順序で第２のフレームと関連付けられているアナログ画素値に適用されてもよい。
さらに別の実施形態において、第１のフレームに適用される選択されたゲインは第２のフレームに適用される選択されたゲインとは異なっていてもよく、これは第２のフレームが第１のフレームとは異なる内容および照明を含む場合などに起こり得る。概して、アナログ記憶面は、１つ以上のフレームのアナログ画素データ値を読出のために保持するように利用され得る。
ある実施形態において、アナログ−デジタルユニットは各異なるゲインについて割り当てられ、アナログ−デジタルユニットは同時に動作するように構成される。結果得られるデジタル値は、出力のためにインターリーブされ得るか、または、並列で出力され得る。たとえば、所与の行についてのアナログ画素データは、ゲイン８０３に従って増幅され、第１のアナログ−デジタルユニットによって対応するデジタル値に変換され得、それと同時に、当該行についてのアナログ画素データはゲイン８０５に従って増幅され、第２のアナログ−デジタルユニットによって対応するデジタル値に変換され得る。さらに、同時に、当該行についてのアナログ画素データは、ゲイン８０７に従って増幅され、第３のアナログ−デジタルユニットによって対応するデジタル値に変換され得る。第１〜第３のアナログ−デジタルユニットからのデジタル値は、画素のセットとして出力され得、画素のセットにおける各画素は３つのゲイン８０３，８０５，８０７のうちの１つに対応する。同様に、出力データ値は異なるゲイン値を有するラインとして構成され得、各ラインは、３つのゲイン８０３，８０５，８０７のうちの１つに対応するゲインを有する画素を含む。
図９は、一実施形態に従うアナログ画素データをデジタル画素データの多数の信号に並列に変換するためのシステム９００を示す。選択肢として、システム９００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、システム９００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図９の文脈において、システム９００は入力されたアナログ画素データ６２１を受信するとして示されている。アナログ画素データ６２１は、上述のようにアナログ信号内で受信されてもよい。さらに、アナログ−デジタルユニット６２２は、受信したアナログ画素データ６２１に基づいてデジタル画素データ６２５を生成するように構成されてもよい。
図９に示されるように、システム９００は、アナログ−デジタルユニット６２２（０）、アナログ−デジタルユニット６２２（１）およびアナログ−デジタルユニット６２２（ｎ）の各々がアナログ画素データ６２１のスケーリングされたコピーを受信するように、アナログ画素データ６２１の電流をミラーリングするように構成される。一実施形態において、アナログ−デジタルユニット６２２（０）、アナログ−デジタルユニット６２２（１）およびアナログ−デジタルユニット６２２（ｎ）の各々は一意のゲインをアナログ画素データ６２１に適用するように構成されてもよい。スケーリングされた各コピーは、電流ミラーとして当該技術において公知の構造を含む、システム９００を含むトランジスタについての物理的寸法に従ってスケーリングされてもよい。示されるように、各電流ｉ１、ｉ２、ｉ３は、当該物理的寸法に基づいて、入力電流Ｉｉｎに対して任意の比で生成されてもよい。たとえば、電流ｉ１、ｉ２、ｉ３は、Ｉｉｎに対して１：１：１、１：２：４、０．５：１：２の比で、またはその他の技術的に実行可能な比で生成されてもよい。
ある実施形態において、一意のゲインは、コントローラによってアナログ−デジタルユニット６２２の各々において構成されてもよい。具体例として、アナログ−デジタルユニット６２２（０）は１．０のゲインをアナログ画素データ６２１に適用するように構成されてもよく、アナログ−デジタルユニット６２２（１）は２．０のゲインをアナログ画素データ６２１に適用するように構成されてもよく、アナログ−デジタルユニット６２２（ｎ）は４．０のゲインをアナログ画素データ６２１に適用するように構成されてもよい。したがって、同じアナログ画素データ６２１が、アナログ−デジタルユニット６２２（０）、アナログ−デジタルユニット６２２（１）およびアナログ−デジタルユニット６２２（ｎ）の各々に入力送信され得るが、デジタル画素データ６２５（０）、デジタル画素データ６２５（１）およびデジタル画素データ６２５（ｎ）の各々は、アナログ−デジタルユニット６２２内に適用される異なるゲインに基づいて異なるデジタル値を含むため、同じ写真撮影シーンの一意の露光表現を提供し得る。
アナログ−デジタルユニット６２２（０）が１．０のゲインを適用するように構成されてもよく、アナログ−デジタルユニット６２２（１）が２．０のゲインを適用するように構成されてもよく、アナログ−デジタルユニット６２２（ｎ）が４．０のゲインを適用するように構成されてもよい上述の実施形態において、デジタル画素データ６２５（０）は最小露光の対応するデジタル画像を提供し得る。逆に、デジタル画素データ６２５（ｎ）は最大露光のデジタル画像を提供し得る。別の実施形態において、デジタル画素データ６２５（０）はＥＶ−１デジタル画像を生成するために利用されてもよく、デジタル画素データ６２５（１）はＥＶ０デジタル画像を生成するために利用されてもよく、デジタル画素データ６２５（ｎ）はＥＶ＋２画像を生成するために利用されてもよい。別の実施形態において、システム９００は２：１：４の比で電流ｉ１、ｉ２およびｉ３を生成するように構成され、各アナログ−デジタルユニット６２２は１．０のゲインを適用するように構成されてもよく、この結果、対応するデジタル画像はそれぞれＥＶ−１、ＥＶ０およびＥＶ＋１の露光値を有する。そのような実施形態では、露光値のさらなる差は、１つ以上のアナログ−デジタルユニット６２２内に非ユニットゲインを適用することによって達成され得る。
システム９００は３つのアナログ−デジタルユニット６２２を含むとして示されているが、３つよりも多いまたは少ないアナログ−デジタルユニット６２２を有する同様のシステムによって多数のデジタル画像が生成されてもよいと考えられる。たとえば、２つのアナログ−デジタルユニット６２２を有するシステムが、システム９００に関して上述したのと同様の態様でゼロまたはほぼゼロのフレーム間時間で写真撮影シーンの２つの露光を同時に生成するために実現されてもよい。一実施形態において、２つのアナログ−デジタルユニット６２２の各々が２つの露光を生成して、アナログ画素データの１フレームに対して合計４つの異なる露光を生成するように構成されてもよい。
図１０は、一実施形態に係る結合画像１０２０を生成するためのユーザインターフェイス（ＵＩ）システム１０００を示す。選択肢として、ＵＩシステム１０００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、ＵＩシステム１０００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、結合画像１０２０は少なくとも２つの関連したデジタル画像の組合せを含む。一実施形態において、結合画像１０２０は、図７の画像スタック７３２（０）および画像スタック７３２（１）のデジタル画像のうちの２つ以上のデジタル画像といった少なくとも２つのデジタル画像の組み合わされたレンダリングを含むがこれに限定されない。別の実施形態において、結合画像１０２０を計算するために用いられるデジタル画像は第１のアナログ信号および第２のアナログ信号の各々を少なくとも２つの異なるゲインで増幅することによって生成されてもよく、各アナログ信号は、画像センサ上に合焦される光学画像に基づいて捕捉される光学シーン情報を含む。さらに別の実施形態において、各アナログ信号は、画素単位で、ライン単位で、またはフレーム単位で少なくとも２つの異なるゲインを用いて増幅されてもよい。
一実施形態において、ＵＩシステム１０００は、結合画像１０２０と、トラック１０３２に沿って動くように構成されたスライダコントロール１０３０と、各々が表示画像１０１０内に表示される視覚マーカを含み得る２つ以上の表示点１０４０とを含むがこれらに限定されない表示画像１０１０を提示する。
一実施形態において、ＵＩシステム１０００はデジタル写真撮影システム３００のプロセッサ複合体３１０内で実行される調整ツールによって生成され、表示画像１０１０は表示ユニット３１２上に表示される。一実施形態において、少なくとも２つのデジタル画像は、結合画像１０２０を生成するためのソース画像を含む。少なくとも２つのデジタル画像は、ＮＶメモリ３１６、揮発性メモリ３１８、メモリサブシステム３６２またはそれらのいずれかの組合せの内部に存在してもよい。別の実施形態において、ＵＩシステム１０００は、ラップトップコンピュータまたはデスクトップコンピュータなどのコンピュータシステム内で実行される調整ツールによって生成される。少なくとも２つのデジタル画像はコンピュータシステムに送信されてもよく、または取付けられたカメラデバイスによって生成されてもよい。さらに別の実施形態において、ＵＩシステム１０００はクラウドベースのサーバコンピュータシステムによって生成されてもよく、当該サーバコンピュータシステムは少なくとも２つのデジタル画像をクライアントブラウザにダウンロードしてもよく、当該ブラウザは以下に説明する結合動作を実行してもよい。別の実施形態において、ＵＩシステム１０００はクラウドベースのサーバコンピュータシステムによって生成され、当該サーバコンピュータシステムは、モバイルデバイス内のデジタル写真撮影システムから少なくとも２つのデジタル画像を受信し、結合画像１０２０を生成するのと共に、以下に説明する結合動作を実行してもよい。
スライダコントロール１０３０は、表示点１０４０−Ａおよび１０４０−Ｃに対応する２つの終点同士の間を動くように構成されてもよい。表示点１０４０−Ｂなどの１つ以上の表示点が２つの終点同士の間に位置決めされてもよい。各表示点１０４０は、結合画像１０２０の特定のレンダリング、または２つ以上のデジタル画像の特定の組合せと関連付けられてもよい。たとえば、表示点１０４０−Ａは、第１のサンプル時間の間に捕捉された第１のアナログ信号から生成され第１のゲインを利用して増幅された第１のデジタル画像に関連付けられ得、表示点１０４０−Ｃは、第２のサンプル時間の間に捕捉された第２のアナログ信号から生成され第２のゲインを利用して増幅された第２のデジタル画像に関連付けられ得る。本願明細書において前述されるように、第１のデジタル画像および第２のデジタル画像の両方は、単一露光によるものであり得る。一実施形態において、第１のゲインおよび第２のゲインは同じゲインであり得る。別の実施形態において、スライダコントロール１０３０が表示点１０４０−Ａの真上に位置決めされると、第１のデジタル画像のみが表示画像１０１０内に結合画像１０２０として表示されてもよく、同様に、スライダコントロール１０３０が表示点１０４０−Ｃの真上に位置決めされると、第２のデジタル画像のみが表示画像１０１０内に結合画像１０２０として表示されてもよい。
一実施形態において、表示点１０４０−Ｂは第１のデジタル画像と第２のデジタル画像とのブレンドと関連付けられてもよい。たとえば、スライダコントロール１０３０が表示点１０４０−Ｂに位置決めされると、結合画像１０２０は第１デジタル画像と第２のデジタル画像とのブレンドであってもよい。一実施形態において、第１のデジタル画像と第２のデジタル画像とのブレンドは、アルファブレンディング、輝度ブレンディング、ダイナミックレンジブレンディング、ならびに／またはトーンマッピングもしくは他の非線形ブレンディングおよびマッピング動作を含んでいてもよい。別の実施形態において、第１のデジタル画像と第２のデジタル画像とのブレンドはいずれも、第１の画像および第２の画像単独のいずれか一方とは異なるより大きいダイナミックレンジまたは他の視覚的特徴を有する新たな画像を提供し得る。ゆえに、第１のデジタル画像と第２のデジタル画像とのブレンドによって、結合画像１０２０として表示され得るかまたは結合画像１０２０を生成するために用いられ得る、新たに計算されたＨＤＲ画像が提供され得る。この目的で、第１のデジタル信号と第２のデジタル信号とが組合されることによって、ＨＤＲ画像の少なくとも一部が得られてもよい。さらに、第１のデジタル信号および第２のデジタル信号の一方は、別のデジタル画像またはデジタル信号の少なくとも一部とさらに組合されてもよい。一実施形態において、他方のデジタル画像は別のＨＤＲ画像を含んでいてもよい。
一実施形態において、スライダコントロール１０３０が表示点１０４０−Ａに位置決めされると第１のデジタル画像が結合画像１０２０として表示され、スライダコントロール１０３０が表示点１０４０−Ｃに位置決めされると第２のデジタル画像が結合画像１０２０として表示され、さらに、スライダコントロール１０３０が表示点１０４０−Ｂに位置決めされるとブレンド画像が結合画像１０２０として表示される。そのような実施形態では、スライダコントロール１０３０が表示点１０４０−Ａと表示点１０４０−Ｃとの間に位置決めされると、第１のデジタル画像および第２のデジタル画像について混合（たとえばブレンド）重みが計算されてもよい。第１のデジタル画像について、混合重みは、スライダコントロール１０３０が表示点１０４０−Ｃにあるときに０．０の値を有し、スライダコントロール１０３０が表示点１０４０−Ａにあるときに１．０の値を有するとして計算されてもよく、混合重み値の範囲はそれぞれ表示点１０４０−Ｃと１０４０−Ａとの間に位置する０．０から１．０である。第２のデジタル画像について、混合重みは、スライダコントロール１０３０が表示点１０４０−Ａにあるときに０．０の値を有し、スライダコントロール１０３０が表示点１０４０−Ｃにあるときに１．０の値を有するとして計算されてもよく、混合重み値の範囲はそれぞれ表示点１０４０−Ａと１０４０−Ｃとの間に位置する０．０から１．０である。
他の実施形態において、表示点１０４０−Ｂに加えて、表示点１０４０−Ａと表示点１０４０−Ｃとの間のトラック１０３２に沿って複数の付加的な表示点が存在してもよい。付加的な表示点は付加的なデジタル画像に関連付けられ得る。たとえば、第１の画像スタック７３２は、ＥＶ−１露光のデジタル画像、ＥＶ０露光のデジタル画像およびＥＶ＋１露光のデジタル画像の各々を含むように生成され得る。上記画像スタック７３２は、図７の画像スタック７３２（０）のように、第１の露光時間において捕捉された第１のアナログ記憶面に関連付けられ得る。したがって、第１の画像スタックは、第１の露光時間にすべてが関連付けられる複数のデジタル画像を含み得、各デジタル画像は異なるＩＳＯに関連付けられる。さらに、第２の画像スタック７３２は、ＥＶ−１露光のデジタル画像、ＥＶ０露光のデジタル画像およびＥＶ＋１露光のデジタル画像の各々を含むように生成され得る。しかしながら、第２の画像スタック７３２は、図７の画像スタック７３２（１）のように、第１の露光時間と異なる第２の露光時間において捕捉された第２のアナログ記憶面に関連付けられ得る。したがって、第２の画像スタックは、すべて第２の露光時間に関連付けられる第２の複数のデジタル画像を含み得、各デジタル画像は異なるＩＳＯに関連付けられる。アナログ−デジタルユニット７２２（０）および７２２（１）がそれぞれの画像スタック７３２を生成した後、アナログ−デジタルユニット７２２（０）および７２２（１）によって出力されるデジタル画素データは、露光を増加または減少させるデジタル画像の単一のシーケンスへと一緒に配され得る。当該記載の文脈において、２つの画像スタックの２つのデジタル信号が、同じＩＳＯ＋露光時間の組合せに関連付けられ得ず、したがって、各デジタル画像またはデジタル画素データのインスタンスはユニークな有効露光を有すると考えられ得る。
前述の図の文脈において、アナログ−デジタルユニット７２２（０）およびアナログ−デジタルユニット７２２（１）によって出力されるデジタル画像またはデジタル画素データのインスタンスを露光を増加または減少させるデジタル画像の単一のシーケンスへ配することは、全体的な露光に従って実行され得る。たとえば、デジタル画像の単一のシーケンスは、有効な露光を決定するためにゲインと露光時間とを組み合わせ得る。デジタル画素データは、たとえば７２３（０）、７２３（１）、７２４（０）、７２４（１）、７２５（０）および７２５（１）といったように、有効な露光を増加するデジタル画像の単一のシーケンスを得るために迅速に編成され得る。当然、有効な露光レベルに基づいたデジタル画像またはデジタル画素データの如何なるソーティングも、ゲインの適用およびデジタル信号７２３〜７２５の生成の順番に依存することになる。
一実施形態において、露光時間およびゲインは、多くの適当に異なる有効な露光を生成するために、選択または予め定められ得る。たとえば、３つのゲインが適用されることになっている場合、各ゲインは、最も近い選択されたゲインから２つの露光ストップだけ離れるように選択され得る。さらに、複数の露光時間が使用されることになっている場合、第１の露光時間は第２の露光時間から１つの露光ストップだけ離れるように選択され得る。そのような実施形態において、２つの露光ストップによって分離される３つのゲインの選択、および、１つの露光ストップによって分離される２つの露光時間の選択によって、各々がユニークな有効な露光を有する６つのデジタル画像の生成が保証され得る。
露光を増加するシーケンスにおいてソートされた複数の画像スタックのデジタル画像を引き続き参照して、デジタル画像の各々は、ＵＩシステム１０００のトラック１０３２に沿った表示点に関連付けられ得る。たとえば、デジタル画像は、有効な露光を増加させる以前に言及した順序、すなわち、７２３（０）、７２３（１）、７２４（０）、７２４（１）、７２５（０）および７２５（１）の順序で、トラック１０３２に沿ってソートまたは配列され得る。そのような実施形態において、スライダコントロール１０３０は、２つの異なるアナログ記憶面に基づいて生成される２つのデジタル画像同士の間にある、トラック１０３２に沿った任意の点に位置決めされてもよい。結果として、２つの異なるアナログ記憶面に基づいて生成される２つのデジタル画像は、結合画像１０２０を生成するようブレンドされ得る。
たとえば、スライダコントロール１０３０は、デジタル画素データ７２４（０）およびデジタル画素データ７２４（１）に等しく関連付けられ得る表示点に位置決めされ得る。結果として、第１のサンプル時間の間に捕捉されゲインを利用して増幅された第１のアナログ信号から生成される第１のデジタル画像を含み得るデジタル画素データ７２４（０）は、第２のサンプル時間の間に捕捉され同じゲインを利用して増幅される第２のアナログ信号から生成される第２のデジタル画像を含み得るデジタル画素データ７２４（１）にブレンドされ得、これにより、結合画像１０２０が生成される。
さらに、別の例として、スライダコントロール１０３０は、デジタル画素データ７２４（１）およびデジタル画素データ７２５（０）に等しく関連付けられ得る表示点に位置決めされ得る。結果として、第１のサンプル時間の間に捕捉され第１のゲインを利用して増幅された第１のアナログ信号から生成される第１のデジタル画像を含み得るデジタル画素データ７２４（１）は、第２のサンプル時間の間に捕捉され異なるゲインを利用して増幅される第２のアナログ信号から生成される第２のデジタル画像を含み得るデジタル画素データ７２５（０）にブレンドされ得、これにより、結合画像１０２０が生成される。
したがって、スライダコントロール１０３０が位置決めされた結果、２つ以上のデジタル信号がブレンドされ得、ブレンドされたデジタル信号は異なるアナログ記憶面からのアナログ値を利用して生成され得る。スライダに沿って有効な露光をソートし、スライダコントロール位置に基づいてブレンド動作を可能にするさらに別の利点として、隣接するデジタル画像の各対が、より高いノイズデジタル画像およびより低いノイズデジタル画像を含み得る。たとえば、２つの隣接するデジタル信号が同じゲインを利用して増幅される場合、より低いサンプル時間で捕捉されたアナログ信号から生成されるデジタル信号にはノイズがより少ない。同様に、２つの隣接するデジタル信号が異なるゲインを利用して増幅される場合、より低いゲイン値で増幅されたアナログ信号から生成されるデジタル信号にはノイズがより少ない。したがって、スライダに沿って有効な露光に基づいてデジタル信号がソートされる場合、２つ以上のデジタル信号のブレンド動作が、デジタル信号の少なくとも１つにおいて明らかなノイズを低減するよう機能し得る。
当然、任意の有効な２つ以上の露光が、ＵＩシステム１０００において結合画像１０２０を生成するよう、スライダコントロール１０３０の表示点に基づいてブレンドされてもよい。
一実施形態において、第１のデジタル画像および第２のデジタル画像の少なくとも一方と関連付けられている少なくとも１つの混合重み値に基づいて、第１のデジタル画像および第２のデジタル画像に混合動作が適用されてもよい。一実施形態において、１．０の混合重みは、１．０の混合重みと関連付けられているデジタル画像に完全な混合重みを与える。このように、ユーザは第１のデジタル画像と第２のデジタル画像とをブレンドしてもよい。この目的で、第１のデジタル信号および第２のデジタル信号はユーザ入力に応じてブレンドされてもよい。たとえば、スライディング標識（indicia）が表示されてもよく、ユーザがスライディング標識を操作したことに応答して第１のデジタル信号および第２のデジタル信号がブレンドされてもよい。
混合重みおよび混合動作のシステムは、第１のデジタル画像、第２のデジタル画像およびブレンド画像を第１のデジタル画像から第２のデジタル画像への段階的な進行として見るためのＵＩツールを提供する。一実施形態において、ユーザは、スライダコントロール１０３０の任意の位置に対応する結合画像１０２０を保存してもよい。ＵＩシステム１０００を実現する調整ツールは、任意の技術的に実行可能なジェスチャまたは技術を介して結合画像１０２０の保存を指示するコマンドを受信してもよい。たとえば、調整ツールは、結合画像１０２０によって占められる領域内でユーザがジェスチャを行なうと結合画像１０２０を保存するように構成されてもよい。または、調整ツールは、ユーザがスライダコントロール１０３０を押すが他の点では動かさない場合に結合画像１０２０を保存してもよい。別の実現例では、調整ツールは、ユーザが保存コマンドを受信する専用の保存ボタンなどのＵＩ要素（図示せず）を押すことによってなどでジェスチャを行なうと結合画像１０２０を保存してもよい。
この目的で、スライダコントロールを用いて２つ以上のデジタル画像の寄与を求め、結合画像１０２０などの最終計算画像を生成することができる。当業者は、混合重みおよび混合動作の上記のシステムは、２つ以上の関連画像と関連付けられている２つ以上の表示点を含むように一般化され得ることを認識するであろう。そのような関連画像は、２つ以上のアナログ記憶面から生成され０またはほぼ０のフレーム間時間を有し得る任意数のデジタル画像を含み得るがこれらに限定されない。
さらに、スライダ１０３０ではなく、回転ノブのような異なる連続位置ＵＩコントロールが実現されてもよい。
図１１は、一実施形態に係る結合画像を生成するための方法１１００のフロー図である。選択肢として、方法１１００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、方法１１００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
方法１１００はステップ１１１０で開始し、プロセッサ複合体３１０などのプロセッサ複合体内で実行される調整ツールが、図１０の文脈において説明した第１のデジタル画像および第２のデジタル画像などの少なくとも２つの関連したソース画像をロードする。ステップ１１１２において、調整ツールは、図１０のスライダコントロール１０３０などのＵＩコントロールの位置をデフォルト設定に初期化する。一実施形態において、デフォルト設定は、ＵＩコントロールの値の範囲について、表示点１０４０−Ａなどの終点を含む。別の実施形態において、デフォルト設定は、少なくとも２つの関連したソース画像のうちの１つ以上に基づく計算値を含む。特定の実施形態において、デフォルト設定は、少なくとも第１のデジタル画像および第２のデジタル画像を含む画像オブジェクトと関連してユーザによって予め選択された値に初期化される。
ステップ１１１４において、調整ツールは、ＵＩコントロールの位置および少なくとも２つの関連したソース画像に基づいて、図１０の結合画像１０２０などの結合画像を生成して表示する。一実施形態において、結合画像を生成することは、図１０において先に説明したように少なくとも２つの関連したソース画像同士を混合することを含む。ステップ１１１６において、調整ツールはユーザ入力を受信する。ユーザ入力は、表示画像１０１０内の選択ジェスチャまたはクリックジェスチャなどのＵＩジェスチャを含み得るがこれらに限定されない。ステップ１１２０においてユーザ入力がＵＩコントロールの位置を変更した場合は、調整ツールはＵＩコントロールの位置を変更し、方法はステップ１１１４に戻る。そうでなければ、方法はステップ１１３０に進む。
ステップ１１３０においてユーザ入力が終了コマンドを含んでいない場合は、方法はステップ１１４０に進み、調整ツールはユーザ入力と関連付けられているコマンドを実行する。一実施形態において、当該コマンドは保存コマンドを含み、調整ツールは次いで、ＵＩコントロールの位置に従って生成される結合画像を保存する。方法は次いでステップ１１１６に戻る。
ステップ１１３０に戻って、ユーザ入力が終了コマンドを含んでいる場合は、方法はステップ１１９０において終わり、調整ツールが終了することによって実行を終わらせる。
要約すると、第１のデジタル画像と第２のデジタル画像とを有益にブレンドする新たなデジタル写真を生成するための技術であって、第１のデジタル画像および第２のデジタル画像が画像センサではなく２つの異なるアナログ記憶面から受信した異なるアナログ信号に基づいている技術が開示される。第１のデジタル画像は、任意の技術的に実行可能なブレンド技術を実現する機能に基づいて第２のデジタル画像とブレンドされてもよい。調整ツールは、ユーザが関連画像を組合せるためにパラメータの段階的な変化から新たなデジタル信号を選択して保存することを可能にするユーザインターフェイス技術を実現し得る。
本願明細書において開示された実施形態の１つの利点は、デジタル写真が、写真撮影シーンの単一露光の２つ以上の異なるサンプルを用いてユーザ入力に基づいて選択的に生成され得ることである。したがって、ユーザ入力に基づいて生成されるデジタル写真は、いずれの個別のサンプルよりも大きいダイナミックレンジを有し得る。さらに、ゼロまたはほぼゼロのフレーム間時間で２つ以上の異なるサンプルを用いてＨＤＲ画像を生成するので、モーションアーティファクトなしでＨＤＲ画像の迅速な生成が可能となる。
図１２は、一実施形態に係るネットワークを利用して結合画像を生成するためのメッセージシーケンス１２００を示す。選択肢として、メッセージシーケンス１２００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、メッセージシーケンス１２００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図１２に示されるように、ワイヤレスモバイルデバイス３７６（０）は少なくとも２つのデジタル画像を生成する。一実施形態において、少なくとも２つのデジタル画像は２つ以上のアナログ記憶面のアナログ値を増幅することによって生成されてもよく、生成される各デジタル画像は適用されるゲインのデジタル出力に対応し得る。一実施形態において、第１のデジタル画像は、写真撮影シーンのＥＶ−１露光を含んでいてもよく、第２のデジタル画像は、写真撮影シーンのＥＶ＋１露光を含んでいてもよい。別の実施形態において、少なくとも２つのデジタル画像は、写真撮影シーンのＥＶ−２露光、写真撮影シーンのＥＶ０露光、および写真撮影シーンのＥＶ＋２露光を含んでいてもよい。
再び図１２を参照して、少なくとも２つのデジタル画像は、データネットワーク４７４によってワイヤレスモバイルデバイス３７６（０）からデータセンタ４８０に送信される。少なくとも２つのデジタル画像は、任意の技術的に実行可能なネットワーク通信方法を用いてワイヤレスモバイルデバイス３７６（０）によってデータセンタ４８０に送信されてもよい。
さらに、一実施形態において、データセンタ４８０は次いで、少なくとも２つのデジタル画像を処理して第１の計算画像を生成してもよい。少なくとも２つのデジタル画像を処理することは、少なくとも２つのデジタル画像の各々の少なくとも一部をブレンドまたは併合して第１の計算画像を生成する、少なくとも２つのデジタル画像のいずれかの処理を含んでいてもよい。この目的で、第１のデジタル画像および第２のデジタル画像はワイヤレスモバイルデバイス３７６（０）から遠隔で結合されてもよい。たとえば、少なくとも２つのデジタル画像を処理することは、ＨＤＲ画像結合動作を含むがこれに限定されないいずれかの種類のブレンド動作を含んでいてもよい。一実施形態において、少なくとも２つのデジタル画像を処理することは、データセンタ４０８において受信したデジタル画像のうちのいずれか１つよりも大きいダイナミックレンジを有する第１の計算画像を生成するいずれかの計算を含んでいてもよい。したがって、一実施形態において、データセンタ４８０によって生成される第１の計算画像はＨＤＲ画像であってもよい。他の実施形態では、データセンタ４８０によって生成される第１の計算画像はＨＤＲ画像の少なくとも一部であってもよい。
第１の計算画像を生成した後、データセンタ４８０は次いで第１の計算画像をワイヤレスモバイルデバイス３７６（０）に送信してもよい。一実施形態において、ワイヤレスモバイルデバイス３７６（０）からの少なくとも２つのデジタル画像の送信、およびワイヤレスデバイス３７６（０）における第１の計算画像の受信は、ワイヤレスモバイルデバイス３７６（０）のユーザから介入または命令を全く受けずに起こってもよい。たとえば、一実施形態において、ワイヤレスモバイルデバイス３７６（０）は、写真撮影シーンを捕捉して当該写真撮影シーンを表すアナログ信号を利用して少なくとも２つのデジタル画像を生成した直後に、少なくとも２つのデジタル画像をデータセンタ４８０に送信してもよい。写真撮影シーンは、ワイヤレスモバイルデバイス３７６（０）上の、電子シャッターコントロールのユーザ入力もしくは選択、またはマニュアルシャッターボタンの押下に基づいて捕捉されてもよい。さらに、少なくとも２つのデジタル画像を受信したことに応答して、データセンタ４８０は少なくとも２つのデジタル画像に基づいてＨＤＲ画像を生成し、ＨＤＲ画像をワイヤレスモバイルデバイス３７６（０）に送信してもよい。ワイヤレスモバイルデバイス３７６（０）は次いで、受信したＨＤＲ画像を表示してもよい。したがって、ワイヤレスモバイルデバイス３７６（０）のユーザは、データセンタ４８０によって計算されたＨＤＲ画像をワイヤレスモバイルデバイス３７６（０）のディスプレイ上で見ることができる。ゆえに、ワイヤレスモバイルデバイス３７６（０）がＨＤＲ画像処理をまったく実行しない場合でも、ユーザは、新たに計算されたＨＤＲ画像を、写真撮影シーンを捕捉して当該ＨＤＲ画像が基づく少なくとも２つのデジタル画像を生成したほぼ直後に、ワイヤレスモバイルデバイス３７６（０）上で見ることができる。
図１２に示されるように、ワイヤレスモバイルデバイス３７６（０）は、少なくとも２つのデジタル画像の処理の調整を要求する。一実施形態において、データセンタ４８０から第１の計算画像を受信すると、ワイヤレスモバイルデバイス３７６（０）は、図１０のＵＩシステム１０００などのＵＩシステムにおいて第１の計算画像を表示してもよい。そのような実施形態では、ユーザは、スライダコントロール１０３０などのスライダコントロールを制御して、データセンタ４８０に送信される少なくとも２つのデジタル画像の処理を調整してもよい。たとえば、ユーザがスライダコントロールを操作すると、コマンドがデータセンタ４８０に送信されてもよい。一実施形態において、データセンタ４８０に送信されるコマンドは、少なくとも２つのデジタル画像の処理を調整する際に用いられる混合重みを含んでいてもよい。他の実施形態では、少なくとも２つのデジタル画像の処理の調整を求める要求は、データセンタ４８０が少なくとも２つのデジタル画像を再処理して第２の計算画像を生成するために使用し得る、ワイヤレスモバイルデバイス３７６（０）からのいずれかの命令を含む。
図１２に示されるように、処理の調整を求める要求を受信すると、データセンタ４８０は少なくとも２つのデジタル画像を再処理して第２の計算画像を生成する。一実施形態において、データセンタ４８０は、ワイヤレスモバイルデバイス３７６（０）から受信したパラメータを用いて少なくとも２つのデジタル画像を再処理してもよい。そのような実施形態では、パラメータは、少なくとも２つのデジタル画像を有する入力として、データセンタ４８０において実行されるＨＤＲ処理アルゴリズムに提供されてもよい。第２の計算画像を生成した後、第２の計算画像は次いで、ユーザに表示するためにデータセンタ４８０からワイヤレスモバイルデバイス３７６（０）に送信されてもよい。
再び図１２を参照して、ワイヤレスモバイルデバイス３７６（０）は、第２の計算画像を別のワイヤレスモバイルデバイス３７６（１）と共有する。一実施形態において、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０から受信したいずれかの計算画像を他のワイヤレスモバイルデバイス３７６（１）と共有してもよい。たとえば、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０から受信した第１の計算画像を共有してもよい。図１２に示されるように、データセンタ４８０は、同じデータネットワーク４７４上でワイヤレスモバイルデバイス３７６（０）およびワイヤレスモバイルデバイス３７６（１）と通信する。当然、他の実施形態では、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０およびワイヤレスモバイルデバイス３７６（１）が通信のために利用するネットワークとは異なるネットワークを介してデータセンタ４８０と通信してもよい。
別の実施形態において、ワイヤレスモバイルデバイス３７６（０）は、共有要求をデータセンタ４８０に送信することによって計算画像を他のワイヤレスモバイルデバイス３７６（１）と共有してもよい。たとえば、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０が第２の計算画像を他のワイヤレスモバイルデバイス３７６（１）に転送することを要求してもよい。共有要求を受信したことに応答して、データセンタ４８０は次いで第２の計算画像をワイヤレスモバイルデバイス３７６（１）に送信してもよい。ある実施形態において、第２の計算画像を他のワイヤレスモバイルデバイス３７６（１）に送信することは、他のワイヤレスモバイルデバイス３７６（１）が第２の計算画像にアクセス可能となるＵＲＬを送信することを含んでいてもよい。
さらに、図１２に示されるように、第２の計算画像を受信した後、他のワイヤレスモバイルデバイス３７６（１）は、少なくとも２つのデジタル画像の処理の調整を求める要求をデータセンタ４８０に送信してもよい。たとえば、他のワイヤレスモバイルデバイス３７６（１）は、図１０のＵＩシステム１０００などのＵＩシステムにおいて第２の計算画像を表示してもよい。他のワイヤレスモバイルデバイス３７６（１）のユーザは、ＵＩコントロールを操作して、ワイヤレスモバイルデバイス３７６（０）によってデータセンタ４８０に送信される少なくとも２つのデジタル画像の処理を調整してもよい。たとえば、他のワイヤレスモバイルデバイス３７６（１）においてユーザがスライダコントロールを操作すると、コマンドが生成されて処理のためにデータセンタ４８０に送信されてもよい。ある実施形態において、他のワイヤレスモバイルデバイス３７６（１）から送信される少なくとも２つのデジタル画像の処理の調整を求める要求は、他のワイヤレスモバイルデバイス３７６（１）におけるスライダコントロールのユーザ操作に基づいて生成されるコマンドを含む。他の実施形態では、少なくとも２つのデジタル画像の処理の調整を求める要求は、データセンタ４８０が少なくとも２つのデジタル画像を再処理して第３の計算画像を生成するために使用し得る、ワイヤレスモバイルデバイス３７６（１）からのいずれかの命令を含む。
図１２に示されるように、処理の調整を求める要求を受信すると、データセンタ４８０は少なくとも２つのデジタル画像を再処理して第３の計算画像を生成する。一実施形態において、データセンタ４８０は、ワイヤレスモバイルデバイス３７６（１）から受信した混合重みを用いて少なくとも２つのデジタル画像を再処理してもよい。そのような実施形態では、ワイヤレスモバイルデバイス３７６（１）から受信した混合重みは、少なくとも２つのデジタル画像を有する入力として、データセンタ４８０において実行されるＨＤＲ処理アルゴリズムに提供されてもよい。第３の計算画像を生成した後、第３の計算画像は次いで、表示のためにデータセンタ４８０からワイヤレスモバイルデバイス３７６（１）に送信される。さらに、第３の計算画像を受信した後、ワイヤレスモバイルデバイス３７６（１）は、第３の計算画像を記憶することを求める要求をデータセンタ４８０に送信してもよい。別の実施形態において、データセンタ４８０と通信している他のワイヤレスモバイルデバイス３７６が計算画像の記憶を要求してもよい。たとえば、図１２の文脈において、ワイヤレスモバイルデバイス３７６（０）は、第１の計算画像または第２の計算画像の記憶をいつでも要求してもよい。
計算画像の記憶を求める要求を受信したことに応答して、データセンタ４８０は、後で取出すために計算画像を記憶してもよい。たとえば、記憶される計算画像は、当該計算画像を生成するために適用された処理を再び適用することなく当該計算画像を後で取出すことができるように記憶されてもよい。一実施形態において、データセンタ４８０は、データセンタ４８０にローカルな記憶システム４８６内に計算画像を記憶してもよい。他の実施形態では、データセンタ４８０は、データセンタ４８１などの、データセンタ４８０にローカルでないハードウェアデバイス内に計算画像を記憶してもよい。そのような実施形態では、データセンタ４８０は計算画像を記憶するためにデータネットワーク４７４上で送信してもよい。
さらに、いくつかの実施形態において、計算画像は、当該計算画像を生成するために利用された少なくとも２つのデジタル画像に関連して記憶されてもよい。たとえば、計算画像は、データセンタ４８０または４８１によって供給されるＵＲＬを通すなどして、当該計算画像を生成するために利用された少なくとも２つのデジタル画像と関連付けられてもよい。記憶された計算画像を少なくとも２つのデジタル画像にリンクすることによって、計算画像へのアクセスを有する任意のユーザまたはデバイスには、少なくとも２つのデジタル画像に適用される処理を後で調整し、それによって新たな計算画像を生成する機会も与えられ得る。
この目的で、ワイヤレスモバイルデバイス３７６のユーザは、データネットワーク４７４を介してアクセス可能なデータセンタ４８０の処理能力を利用して、他のワイヤレスモバイルデバイス３７６が捕捉しており、続いてアクセスを提供しているデジタル画像を利用してＨＤＲ画像を生成してもよい。たとえば、デジタル画像を含むデジタル信号が遠隔で結合されるようにネットワーク上で転送されてもよく、結合されたデジタル信号によってＨＤＲ画像の少なくとも一部が得られてもよい。さらに、ユーザは、自身のワイヤレスモバイルデバイス３７６に依拠して新たなＨＤＲ写真を生成するのに必要な処理または計算を実行することなく、２つ以上のデジタル画像のブレンドを調整して当該新たなＨＤＲ写真を生成することが可能であり得る。続いて、ユーザのデバイスは、２つ以上のデジタル信号の結合によって得られたＨＤＲ画像の少なくとも一部を受信してもよい。したがって、ユーザのワイヤレスモバイルデバイス３７６は、ＨＤＲ処理をデータセンタにオフロードすることによって電力を節約することができる。さらに、ユーザは、ＨＤＲ画像生成と関連付けられている高出力処理タスクを実行可能なワイヤレスモバイルデバイス３７６を有していないにもかかわらず、ＨＤＲ写真を効果的に捕捉することが可能であり得る。最後に、ユーザは、自身でＨＤＲアルゴリズムを選択することなく、かつ、そのようなＨＤＲアルゴリズムを実現するソフトウェアを自身のワイヤレスモバイルデバイス３７６上にインストールすることなく、写真撮影シーンに最良であると判断されるアルゴリズムを用いて生成されるＨＤＲ写真を得ることが可能であり得る。たとえば、ユーザは、データセンタ４８０に依拠して特定の写真撮影シーンのための最良のＨＤＲアルゴリズムを特定して選択することができる。
本発明の１つの利点は、デジタル写真が、写真撮影シーンの単一露光から生成される２つ以上の異なる画像を用いてユーザ入力に基づいて選択的に生成され得ることである。したがって、ユーザ入力に基づいて生成されるデジタル写真は、いずれの個別の画像よりも大きいダイナミックレンジを有し得る。さらに、ゼロまたはほぼゼロのフレーム間時間で２つ以上の異なる画像を用いてＨＤＲ画像を生成するので、モーションアーティファクトなしでＨＤＲ画像の迅速な生成が可能となる。
さらに、写真撮影シーン内に任意のモーションがある場合、または、捕捉デバイスが、捕捉の間に任意のジッタを経験した場合、露光間の任意のフレーム間時間によって、最後のマージされたＨＤＲ写真内にモーションブラーが発生し得る。そのようなブラーは、フレーム間時間が増加すると、著しく強調され得る。この問題によって、現在のＨＤＲ写真撮影は、非常に静的なシーン以外、如何なる状況においても明確な画像を捕捉するためのソリューションとしては有効でなくなっている。
さらに、ＨＤＲ写真を生成するための従来の技術は、有意な計算リソースを伴い、かつ、結果得られる画像の画像品質を低減するアーティファクトを作り出していた。したがって、厳密に選択肢として、上記の問題の１つ以上が、本願明細書において開示された技術の１つ以上を利用して、対応されるか、または、対応されなくてもよい。
さらに、さまざまな実施形態において、本願明細書において開示される技術の１つ以上は、さまざまな市場および／または製品に適用されてもよい。たとえば、当該技術は写真捕捉を参照して開示されたが、テレビ、ウェブ会議（またはライブストリーミング機能など）、セキュリティカメラ（たとえば特徴などを決定するためにコントラストを増加）、自動車（たとえば運転支援システム、車内情報娯楽システムなど）、および／または、カメラ入力を含む任意の他の製品に適用されてもよい。
さまざまな実施形態を上記に説明したが、それらは限定としてではなく例として提示されているに過ぎないことを理解すべきである。ゆえに、好ましい実施形態の幅および範囲は上述の例示的な実施形態のいずれによっても限定されるべきなく、添付の特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。

Claims (17)

  1. 装置であって、
    画像センサのフォトダイオードからの電気信号に基づいた第１のサンプルを格納し、
    前記第１のサンプルの格納と少なくとも部分的に同時に、前記画像センサの前記フォトダイオードからの前記電気信号に基づいた第２のサンプルを格納し、
    少なくとも１つの画像を生成するために、前記第１のサンプルに基づいた第１の値と、前記第２のサンプルに基づいた第２の値とを出力し、
    ２つ以上のゲインを利用して前記第１の値および前記第２の値のうちの少なくとも１つを増幅するための回路を含み、
    前記第１の値は、２つ以上の増幅された第１のアナログ信号を生成するよう前記２つ以上のゲインを利用して増幅される第１のアナログ信号に含まれ、
    前記第２の値は、２つ以上の増幅された第２のアナログ信号を生成するよう前記２つ以上のゲインを利用して増幅される第２のアナログ信号に含まれ、
    前記２つ以上のゲインは、第１のゲインおよび第２のゲインを含み、
    前記装置は、
    前記第１のアナログ信号が前記第１のゲインおよび前記第２のゲインの各々を利用して増幅され、第１のデジタル信号および第２のデジタル信号に変換され、かつ、
    前記第２のアナログ信号が前記第１のゲインおよび前記第２のゲインの各々を利用して増幅され、第３のデジタル信号および第４のデジタル信号に変換されるように、動作可能である、装置。
  2. 前記装置は、前記第２のサンプルの少なくとも一部の格納と同時に前記第１のサンプルの全体が格納されるように動作可能である、請求項１に記載の装置。
  3. 前記装置は、前記電気信号が前記画像センサの前記フォトダイオードから受け取られるフォトダイオード電流を含むように動作可能である、請求項１または２に記載の装置。
  4. 前記第１のサンプルに基づいた前記第１の値を出力するための第１のアナログ値記憶回路と、前記第２のサンプルに基づいた前記第２の値を出力するための第２のアナログ値記憶回路とをさらに含む、請求項１〜３のいずれか１項に記載の装置。
  5. 前記装置は、前記第１のアナログ値記憶回路および前記第２のアナログ値記憶回路が少なくとも１つの共有コンポーネントを共有するように構成される、請求項４に記載の装置。
  6. 前記装置は、前記少なくとも１つの共有コンポーネントが前記画像センサの前記フォトダイオードを含むように構成される、請求項５に記載の装置。
  7. 前記装置は、前記第１のアナログ値記憶回路および前記第２のアナログ値記憶回路がリセット信号を共有するように構成される、請求項６に記載の装置。
  8. 前記装置は、前記第１のアナログ値記憶回路および前記第２のアナログ値記憶回路が、共有された前記リセット信号を利用して同時にリセットされるように動作可能である、請求項７に記載の装置。
  9. 前記第１のデジタル信号、前記第２のデジタル信号、前記第３のデジタル信号、および前記第４のデジタル信号の各々は、異なるデジタル画像に関連付けられる、請求項１〜８のいずれか１項に記載の装置。
  10. 前記装置は、前記デジタル画像のうち少なくとも２つがブレンドされるように動作可能である、請求項９に記載の装置。
  11. 前記装置は、スライディング標識が表示され、ユーザによって前記スライディング標識が操作されることに応答して、前記デジタル画像のうちの少なくとも２つがブレンドされるように、動作可能である、請求項９または１０に記載の装置。
  12. 前記装置は、前記第１のサンプルが第１の露光時間に関連付けられ、前記第２のサンプルが前記第１の露光時間と異なる第２の露光時間に関連付けられるように、動作可能である、請求項１〜１１のいずれか１項に記載の装置。
  13. 前記第１の露光時間は前記第２の露光時間未満である、請求項１２に記載の装置。
  14. 前記第１のサンプルの格納の速度は、前記第２のサンプルの格納の速度と実質的に同一である、請求項１３に記載の装置。
  15. 前記装置は、前記少なくとも１つのデジタル信号および前記少なくとも１つの他のデジタル信号をリモートで結合されるためにネットワークを介して移すために動作可能である、請求項１〜１４のいずれか１項に記載の装置。
  16. コンピュータプログラムであって、
    画像センサのフォトダイオードからの電気信号に基づいた第１のサンプルの格納を可能にするためのコードと、
    前記第１のサンプルの格納を可能にすることと少なくとも部分的に同時に、前記画像センサの前記フォトダイオードからの前記電気信号に基づいた第２のサンプルの格納を可能にするためのコードと、
    前記第１のサンプルに基づいた第１の値および前記第２のサンプルに基づいた第２の値を利用して少なくとも１つの画像を生成するためのコードとを含み、
    前記コンピュータプログラムは、前記第１の値および前記第２の値のうちの少なくとも１つが２つ以上のゲインを利用して増幅されるように動作可能であり、
    前記第１の値は、２つ以上の増幅された第１のアナログ信号を生成するよう前記２つ以上のゲインを利用して増幅される第１のアナログ信号に含まれ、
    前記第２の値は、２つ以上の増幅された第２のアナログ信号を生成するよう前記２つ以上のゲインを利用して増幅される第２のアナログ信号に含まれ、
    前記２つ以上のゲインは、第１のゲインおよび第２のゲインを含み、
    前記コンピュータプログラムは、
    前記第１のアナログ信号が前記第１のゲインおよび前記第２のゲインの各々を利用して増幅され、第１のデジタル信号および第２のデジタル信号に変換され、かつ、
    前記第２のアナログ信号が前記第１のゲインおよび前記第２のゲインの各々を利用して増幅され、第３のデジタル信号および第４のデジタル信号に変換されるように、動作可能である、コンピュータプログラム。
  17. 方法であって、
    画像センサのフォトダイオードからの電気信号に基づいた第１のサンプルを格納することと、
    前記第１のサンプルの格納と少なくとも部分的に同時に、前記画像センサの前記フォトダイオードからの前記電気信号に基づいた第２のサンプルを格納することと、
    少なくとも１つの画像を生成するために、前記第１のサンプルに基づいた第１の値と、前記第２のサンプルに基づいた第２の値とを出力することと、
    ２つ以上のゲインを利用して前記第１の値および前記第２の値のうちの少なくとも１つを増幅することとを含み、
    前記第１の値は、２つ以上の増幅された第１のアナログ信号を生成するよう前記２つ以上のゲインを利用して増幅される第１のアナログ信号に含まれ、
    前記第２の値は、２つ以上の増幅された第２のアナログ信号を生成するよう前記２つ以上のゲインを利用して増幅される第２のアナログ信号に含まれ、
    前記２つ以上のゲインは、第１のゲインおよび第２のゲインを含み、
    前記方法は、さらに、
    前記第１のゲインおよび前記第２のゲインの各々を利用して前記第１のアナログ信号を増幅し、当該増幅した第１のアナログ信号を第１のデジタル信号および第２のデジタル信号に変換することと、
    前記第１のゲインおよび前記第２のゲインの各々を利用して前記第２のアナログ信号を増幅し、当該増幅した第２のアナログ信号を第３のデジタル信号および第４のデジタル信号に変換することとを含む、方法。
JP2017544281A 2014-11-05 2015-11-03 同時に複数の画像を捕捉するための画像センサ装置および方法 Active JP6896638B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021096499A JP2021158674A (ja) 2014-11-05 2021-06-09 同時に複数の画像を捕捉するための画像センサ装置および方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/534,089 2014-11-05
US14/534,089 US9167169B1 (en) 2014-11-05 2014-11-05 Image sensor apparatus and method for simultaneously capturing multiple images
PCT/US2015/058896 WO2016073528A2 (en) 2014-11-05 2015-11-03 Image sensor apparatus and method for simultaneously capturing multiple images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021096499A Division JP2021158674A (ja) 2014-11-05 2021-06-09 同時に複数の画像を捕捉するための画像センサ装置および方法

Publications (2)

Publication Number Publication Date
JP2017534230A JP2017534230A (ja) 2017-11-16
JP6896638B2 true JP6896638B2 (ja) 2021-06-30

Family

ID=54290521

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017544281A Active JP6896638B2 (ja) 2014-11-05 2015-11-03 同時に複数の画像を捕捉するための画像センサ装置および方法
JP2021096499A Ceased JP2021158674A (ja) 2014-11-05 2021-06-09 同時に複数の画像を捕捉するための画像センサ装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021096499A Ceased JP2021158674A (ja) 2014-11-05 2021-06-09 同時に複数の画像を捕捉するための画像センサ装置および方法

Country Status (4)

Country Link
US (1) US9167169B1 (ja)
EP (1) EP3216211B1 (ja)
JP (2) JP6896638B2 (ja)
WO (1) WO2016073528A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10477087B2 (en) 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9438812B2 (en) * 2014-07-15 2016-09-06 Himax Imaging Limited Method for controlling exposure level of frame in image sensor, computer readable recording media for performing the method, and image processing system
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
CN106899795B (zh) * 2015-12-17 2020-06-09 阿里巴巴集团控股有限公司 一种相机硬件参数调用、设置方法、装置及相机应用系统
TWI646821B (zh) * 2016-01-30 2019-01-01 原相科技股份有限公司 可獲取較高影像亮度動態範圍的影像感測電路及方法
CN106023929B (zh) * 2016-07-20 2018-08-24 深圳市华星光电技术有限公司 显示装置的白平衡调整方法及其系统
US10057521B1 (en) 2016-08-11 2018-08-21 National Technology & Engineering Solutions Of Sandia, Llc High-speed CMOS camera
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US11330218B2 (en) 2018-08-22 2022-05-10 Gigajot Technology, Inc. Split-readout image sensor
WO2020041584A1 (en) * 2018-08-22 2020-02-27 Gigajot Technology Inc. Split-readout image sensor
JP2022117079A (ja) * 2021-01-29 2022-08-10 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2023111643A (ja) * 2022-01-31 2023-08-10 キヤノン株式会社 電子機器及びその制御方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2171574C (en) 1996-03-12 2000-10-03 Brian W. Tansley Photometric measurement apparatus
US6498926B1 (en) 1997-12-09 2002-12-24 Qualcomm Incorporated Programmable linear receiver having a variable IIP3 point
US6243430B1 (en) 1998-01-09 2001-06-05 Qualcomm Incorporated Noise cancellation circuit in a quadrature downconverter
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030015645A1 (en) 2001-07-17 2003-01-23 Brickell Christopher Gavin Optical imager circuit with tolerance of differential ambient illumination
JP2003299067A (ja) * 2002-01-31 2003-10-17 Hitachi Kokusai Electric Inc 映像信号送信方法及び映像信号受信方法並びに映像信号送受信システム
US7296286B2 (en) 2002-01-31 2007-11-13 Hitachi Kokusai Electric Inc. Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
JP2004248061A (ja) * 2003-02-14 2004-09-02 Fuji Photo Film Co Ltd 画像処理装置、方法及びプログラム
JP3933095B2 (ja) 2003-05-30 2007-06-20 ソニー株式会社 撮像装置及び撮像方法
KR100871688B1 (ko) 2004-02-27 2008-12-08 삼성전자주식회사 고체 촬상 장치 및 그 구동 방법
US7760246B2 (en) 2004-07-19 2010-07-20 Hewlett-Packard Development Company, L.P. Method and device for adjusting white balance
JP2006311240A (ja) 2005-04-28 2006-11-09 Olympus Corp 撮像装置
JP2007043248A (ja) 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
US8237801B2 (en) 2005-08-05 2012-08-07 The Innovation Science Fund I, LLC Image processing system and communication method
JP4649623B2 (ja) * 2006-01-18 2011-03-16 国立大学法人静岡大学 固体撮像装置及びその画素信号の読みだし方法
US7623683B2 (en) 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
US8013919B2 (en) 2006-06-27 2011-09-06 Samsung Electronics Co., Ltd. CMOS image sensor with increased dynamic range based on multiple exposure periods of varying lengths
JP2008028678A (ja) * 2006-07-20 2008-02-07 Pentax Corp 撮像素子
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008187615A (ja) * 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
US7889207B2 (en) 2007-02-08 2011-02-15 Nikon Corporation Image apparatus with image noise compensation
JP4941285B2 (ja) * 2007-02-20 2012-05-30 セイコーエプソン株式会社 撮像装置、撮像システム、撮像方法及び画像処理装置
US8089522B2 (en) 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
US7688144B2 (en) 2007-12-14 2010-03-30 Industrial Technology Research Institute Variable-gain wide-dynamic-range amplifier
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
JP5083046B2 (ja) 2008-06-03 2012-11-28 ソニー株式会社 撮像装置及び撮像方法
US8730382B2 (en) 2008-06-04 2014-05-20 Honda Motor Co., Ltd. Charge accumulating and splitting imaging device
JP5188292B2 (ja) * 2008-06-30 2013-04-24 キヤノン株式会社 撮像システムおよび撮像システムの駆動方法
JP2010045773A (ja) 2008-07-18 2010-02-25 Panasonic Corp 撮像装置
US8436914B2 (en) 2008-11-07 2013-05-07 Cisco Technology, Inc. Method for automatic exposure control within a video capture device
US20100194851A1 (en) 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
JP5187241B2 (ja) 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
BRPI1009443B1 (pt) 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
KR101094246B1 (ko) 2009-03-16 2011-12-19 이재웅 넓은 동적범위를 갖는 씨모스 이미지 센서
US8537241B2 (en) 2009-05-28 2013-09-17 Pixim, Inc. Image sensor with sensitivity control and sensitivity based wide dynamic range
US8130304B2 (en) 2009-07-24 2012-03-06 Aptina Imaging Corporation Image sensors with pixel charge summing
JP5419659B2 (ja) * 2009-12-04 2014-02-19 キヤノン株式会社 撮像装置
GB2477083A (en) 2010-01-13 2011-07-27 Cmosis Nv Pixel structure with multiple transfer gates to improve dynamic range
US8606042B2 (en) 2010-02-26 2013-12-10 Adobe Systems Incorporated Blending of exposure-bracketed images using weight distribution functions
US9100581B2 (en) 2010-04-02 2015-08-04 Microsoft Technology Licensing, Llc Time interleaved exposures and multiplexed illumination
US20130147979A1 (en) 2010-05-12 2013-06-13 Pelican Imaging Corporation Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain
KR101052207B1 (ko) 2010-05-12 2011-07-27 엠텍비젼 주식회사 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
WO2012027290A1 (en) 2010-08-23 2012-03-01 Red. Com, Inc. High dynamic range video
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US8947555B2 (en) 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
US9077917B2 (en) 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
JP2013110738A (ja) 2011-10-27 2013-06-06 Panasonic Corp 画像通信装置および撮像装置
WO2013076531A1 (en) 2011-11-23 2013-05-30 Nokia Corporation An apparatus and method comprising a beam splitter
US20130176458A1 (en) 2012-01-11 2013-07-11 Edwin Van Dalen Flexible Burst Image Capture System
WO2013118487A1 (ja) 2012-02-08 2013-08-15 パナソニック株式会社 通信装置
WO2013132828A1 (ja) 2012-03-05 2013-09-12 パナソニック株式会社 通信システムおよび中継装置
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
US9083935B2 (en) 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
FR3002824A1 (fr) 2013-03-04 2014-09-05 St Microelectronics Grenoble 2 Procede et dispositif de generation d'images a grande gamme dynamique
CA2855440A1 (en) 2013-06-28 2014-12-28 Kelly J. Stegman Tissue displacement estimation by ultrasound speckle tracking

Also Published As

Publication number Publication date
US9167169B1 (en) 2015-10-20
EP3216211B1 (en) 2021-01-27
JP2017534230A (ja) 2017-11-16
WO2016073528A3 (en) 2016-10-20
EP3216211A4 (en) 2018-01-24
WO2016073528A2 (en) 2016-05-12
EP3216211A2 (en) 2017-09-13
JP2021158674A (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
JP6896638B2 (ja) 同時に複数の画像を捕捉するための画像センサ装置および方法
JP7253586B2 (ja) 写真撮影シーンの低ノイズ高速捕捉を得るための画像センサ装置および方法
JP2021119701A (ja) フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法
US11356647B2 (en) Systems and methods for generating a digital image
JP7000157B2 (ja) ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法
US11025831B2 (en) Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
JP2020184786A (ja) 高ダイナミックレンジ（ｈｄｒ）画素ストリームを生成するための装置、コンピュータプログラムおよび方法
US11394894B2 (en) Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US12003864B2 (en) Image sensor apparatus and method for obtaining multiple exposures with zero interframe time

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210609

R150 Certificate of patent or registration of utility model

Ref document number: 6896638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150