JP4233257B2 - 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 - Google Patents
撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 Download PDFInfo
- Publication number
- JP4233257B2 JP4233257B2 JP2002015657A JP2002015657A JP4233257B2 JP 4233257 B2 JP4233257 B2 JP 4233257B2 JP 2002015657 A JP2002015657 A JP 2002015657A JP 2002015657 A JP2002015657 A JP 2002015657A JP 4233257 B2 JP4233257 B2 JP 4233257B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- digital image
- dynamic range
- color
- slow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 77
- 238000000034 method Methods 0.000 title description 41
- 230000004044 response Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 238000012986 modification Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 239000003086 colorant Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000007935 neutral effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 238000003780 insertion Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 241001562081 Ikeda Species 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical group 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
Description
【０００１】
【発明の属する技術分野】
本発明は、一般的に画像取得（ｉｍａｇｅ ｃａｐｔｕｒｅ）の分野に関し、より詳細には拡張ダイナミックレンジ撮像装置を伴って取得する情報から生じる情報を保存する方法に関する。
【０００２】
【従来の技術】
電荷結合素子（ＣＣＤ）のような撮像装置は一般的にはデジタルカメラ、スキャナー、及びビデオカメラのような製品で使用されている。かかる撮像装置は、伝統的なネガフィルム製品と比較して非常に制限されたダイナミックレンジを有する。典型的な撮像装置は約５ストップ（ｓｔｏｐ）のダイナミックレンジを有する。信号のクリッピングを回避するために、典型的な景色における露出をかなりの正確さで決定しなければならないことを意味する。加えて、頻繁に景色は、多重光源の結果として非常に幅広いダイナミックレンジを有する（例えば、景色のフロントリット（ｆｒｏｎｔｌｉｔ）及びバックリット（ｂａｃｋｌｉｔ）部分）。幅広いダイナミックレンジ景色の場合には、被写体に対する適切な露出を選択することは、画像の別の部分におけるデータのクリッピングをしばしば必要とする。このように、ハロゲン化銀の媒体に対して撮像装置の劣るダイナミックレンジは、撮像装置によって得られた画像において、より低い画像品質に帰着する。
【０００３】
撮像装置のダイナミックレンジの増加は、デジタルカメラからの画像の再平衡を許容し、より満足な画像表現を達成する。また、Ｌｅｅらにより記載され１９９１年４月３０日に発行されて公開された米国特許出願番号５０１２３３３のように、撮像装置のダイナミックレンジの増大は、画像に対するより満足なコントラストの改善を可能にする。
【０００４】
Ｉｋｅｄａが所有する２０００年３月２１日に発行された米国特許出願番号６０４０８５８は、撮像装置の制限されたダイナミックレンジの問題の完全な記述を提供している。加えて、Ｉｋｅｄａは、露出に対して異なる応答をする多重画像信号によって撮像装置のダイナミックレンジを拡張する方法を記載している。これらの多重信号を、画像信号の各場所においてどの信号が高品質であるかを決定する閾値を使用することによって組み合わせ、拡張されたダイナミックレンジを有する画像信号を形成する。Ｉｋｅｄａは、かかる閾値を各色に対して決定する方法を記載することによって、これらの方法を改善する。
【０００５】
共通する撮像装置に関したダイナミックレンジの限度に加えて、別の問題は、最も一般的なデジタル画像保存フォーマットに関したカラーエンコード（ｃｏｌｏｒ ｅｎｃｏｄｉｎｇ）もまた制限されたダイナミックレンジを有することである。典型的には、デジタルカメラのようなデジタル画像装置の使用は、典型的なＣＲＴモニターに直接表示された場合に満足な画像を生成するカラーエンコーダに保存されたデジタル画像を受け取ることは普通である。典型的には、この配置は多くの一般的なワークフローにおいて便利であり、互換性と共同利用を最大化する多くの場合において望ましい。ＣＲＴモニターは、多くの一般的な撮像装置のカラー全範囲（ｃｏｌｏｒ ｇａｍｕｔ）と比較して、実質的に制限されたカラー全範囲を有している。（撮像装置のカラー全範囲は、装置によって生成することができる色及び輝度値の幅を意味する。ダイナミックレンジは、装置によって生成されることができる輝度値のレンジに関するカラー全範囲の一つの態様である。）撮像装置により取得されたカラー値を特定の出力装置で表示する際の適切なカラー値に変換する処理は、しばしば“描写（ｒｅｎｄｅｒｉｎｇ）”と呼ばれる。描写処理は、描写された空間のカラー全範囲外の色を有する景色のエリアに対応する画像データの多大なる損失を一般的に引き起こす。したがって、本発明の方法を用いて生成された拡張ダイナミックレンジ画像の場合、余分のダイナミックレンジは楽しまれず、認識もされなければ、真価を認められず、若しくは拡張カラー全範囲画像データが改善された画像を形成するために使用される以前に画像が、制限されたカラー全範囲保存スペースに保存されるべき場合、使用者によって認識されない。
【０００６】
【発明が解決しようとする課題】
それゆえ、撮像装置のダイナミックレンジの改善及び使用者に利用し易い形態で保存される装置の追加のダイナミックレンジを可能にするために従来のかかる方法を改良する必要がある。特に、単一の撮像装置及び単一の画像信号により拡張ダイナミックレンジ画像信号を生成し、一般の画像のワークフローと互換性ある標準形態でその画像信号を表現する必要がある。
【０００７】
【課題を解決するための手段】
本発明は、上記にて記載した一つ以上の問題を克服するために導かれる。概略すると、本発明の一つの態様から、拡張ダイナミックレンジデジタル画像を発生させて保存する画像取得システムは、速いフォトサイト（ｐｈｏｔｏｓｉｔｅ）によって生成される速い画素値と、遅いフォトサイトによって生成される遅い画素値とを有する、まばらにサンプリングされた高解像度デジタル画像を生成するために、露光量に対するより遅い応答を備えた前記遅いフォトサイトとともに点在する前記露光量に対する所定の応答を備えた前記速いフォトサイトを有する撮像装置と、拡張ダイナミックレンジを有する完全解像度デジタル画像を形成するよう前記まばらにサンプリングされた高解像度デジタル画像で前記速い画素値のダイナミックレンジを拡張するために前記遅い画素値を採用するデジタル画像プロセッサと、保存スペースにて表現される制限されたダイナミックレンジデジタル画像を形成するよう前記完全解像度デジタル画像のダイナミックレンジよりも狭いダイナミックレンジを有する前記保存スペースのダイナミックレンジ内に適合するように前記完全解像度デジタル画像のダイナミックレンジを縮減し、且つ、前記完全解像度デジタル画像を再構成するために前記制限されたダイナミックレンジデジタル画像とともに使用され得る、前記完全解像度デジタル画像と前記制限されたダイナミックレンジデジタル画像との間の差異を表す１又はそれ以上の残存画像を生成するエンコーダと、前記１又はそれ以上の残存画像と関連して前記制限されたダイナミックレンジデジタル画像を保存するデジタル画像保存部とを有し、前記デジタル画像プロセッサは、速い画素値を高露出応答閾値と比較して、前記高露出応答閾値を超える前記速い画素値を、隣接する遅い画素値の関数である画素値により置換し、また、遅い画素値を低露出応答閾値と比較して、前規定露出応答閾値を下回る前記遅い画素値を、隣接する速い画素値の関数である画素値により置換するダイナミックレンジ拡張フィルターアレイ（ＤＲＥＦＡ）プロセッサである。
【０００８】
別の態様からは、本発明は拡張ダイナミックレンジシステムで有用な画像信号を発生させる画像センサを含み、上記画像センサは、速いフォトサイト及び遅いフォトサイトに分割されるフォトサイトアレイと、前記フォトサイトの上に置かれ、露光量に対する所定の標準応答を伴う速いフォトサイト及び同一の露光量に対する遅い応答を伴う遅いフォトサイトを提供する構成素子とを含んでいる。かかる構成素子は、下記の形態となるであろう：ａ）フォトサイトの上に置かれた小レンズのアレイであって、速いフォトサイトに重なる小レンズは、遅いフォトサイトに重なる小レンズよりも集光においてより効率的に構成されている；ｂ）フォトサイトの上に置かれた開口を伴うマスクであって、速いフォトサイトに重なる開口は、遅いフォトサイトに重なる開口よりも大きい；若しくはｃ）フォトサイトの上に置かれた減光フィルターであって、速いフォトサイトに重なる減光フィルター部分は、遅いフォトサイトに重なる減光フィルター部分よりも透明である。
【０００９】
本発明において、画像取得装置の選択されたフォトサイトは、露出に対して遅い応答を有するように設計されている。かかる遅いフォトサイトは、一般的に露出に対して、選択されてないフォトサイト若しくは速いフォトサイトよりも遅い応答を有する。本発明の利点は、例えば画像取得装置からの画像信号は、すべてのフォトサイトのダイナミックレンジを有効利用するために処理されることである。このように、増大したダイナミックレンジを有する画像信号は、飽和した若しくはノイズレベルにあるフォトサイトに近隣するフォトサイトの値を挿入することによって生成される。
【００１０】
本発明の別の態様は、制限されたダイナミックレンジデジタル画像を形成するよう保存カラースペースの制限されたダイナミックレンジ内で適合するように拡張ダイナミックレンジデジタル画像を調整することによって、制限されたダイナミックレンジを有する保存カラースペースに拡張ダイナミックレンジデジタル画像を保存する段階と、保存カラースペースで制限されたダイナミックレンジデジタル画像を表す段階と、拡張ダイナミックレンジデジタル画像と制限されたダイナミックレンジデジタル画像との間の差異を表現する残存画像を決定する段階と、関連した残存画像及び保存カラースペースでの制限されたダイナミックレンジデジタル画像が再構成された拡張ダイナミックレンジデジタル画像を形成するために使用されるよう構成されるように、保存カラースペースでの制限されたダイナミックレンジデジタル画像と残存画像とを関連付ける段階とを含んでいる。
【００１１】
【発明の実施の形態】
デジタル画像は、一つ以上のデジタル画像チャネルからなる。各デジタル画像チャネルは、画素の二次元アレイからなる。各画素値は、画素の幾何学的な領域に対応する画像取得装置によって得られた光の量に関連する。カラー画像の適用において、デジタル画像は、一般的には赤色、緑色、及び青色のデジタル画像チャネルから構成される。他の形態もまた実用化され、例えば、シアンマジェンタ、及び黄色のデジタル画像チャネルである。モノクロへの適用においては、デジタル画像は、一つのデジタル画像チャネルから構成される。動画の適用は、デジタル画像のタイムシークエンス（ｔｉｍｅ ｓｅｑｕｅｎｃｅ）として考えられる。当業者は、本発明は適用可能であるが、上述した適用において制限されないことを認識するであろう。
【００１２】
本発明は、行及び列によって配置された画素値の二次元アレイとしてデジタル画像を記載しているが、当業者は本発明が同一効果を伴うモザイク（非直線）アレイに適用できるであろうことを認識するであろう。当業者はまた、本発明がオリジナルの画素値を処理された画素値と置換することが記載されているが、処理された画素値とともに新しいデジタル画像を形成して、オリジナルの画素値を保持することが想到され得ることを認識するであろう。
【００１３】
電子感知装置を採用する撮像装置は既知であり、したがって本記載は、特に、本発明に従う装置の各部を形成する要素又は当該装置とより直接的に協働する要素を対象とする。ここで特異的に示され、記述されていない要素は、当業者によって選択されるであろう。ここで使用されるように、用語「画像」は、値の二次元アレイであることに注意する。画像はまた、別の画像の二次元サブセットでもよい。本発明は、好ましくはプログラム化されたデジタルコンピュータを用いて実行される。上記コンピュータは、パーソナルコンピュータのような汎用のコンピュータであるか、画像処理のために設計された専用のコンピュータである。下記の開示を基に本発明を実行するためのコンピュータプログラムを構成することは、プログラム技術の分野ではありふれた技術ある。
【００１４】
本発明の実行において採用される必須な要素は、図１の機能的なブロック図形にて示されている。物体若しくは景色からの光は、レンズ２に入射し、下記にて記載されるような速い及び遅いフォトサイトを有するカラーフィルターアレイ（ＣＦＡ）を伴う電荷結合素子（ＣＣＤ）のような拡張ダイナミックレンジ撮像装置１０上に写真画像を形成する。ＣＭＯＳ装置のような別の装置が撮像装置１０にて使用されるかもしれないことは、注意すべきである。撮像装置１０は、まばらにサンプリングされ、拡張されたダイナミックレンジ撮像装置であり、下記により詳細に説明される。レンズ２と撮像装置１０間に設置された光低域フィルタ６は、エイリアシング（ａｌｉａｓｉｎｇ）の発生を縮減するために画像化された光のわずかなぼかしを実行する。Ａ／Ｄ変換器１４は、撮像装置１０からの画像化された光に対応する電圧信号を受け取り、電圧信号に対応する画像信号を生成する。下記に詳細に示されるように、撮像装置１０のデザインは、Ａ／Ｄ変換器１４から出力される画像信号がまばらにサンプリングされた高解像度デジタル画像であるよう設計される。デジタル画像プロセッサ２００は、Ａ／Ｄ変換器１４からまばらにサンプリングされた高解像度デジタル画像を受け取り、画像信号に修正し、完全解像度（ｆｕｌｌ−ｒｅｓｏｌｕｔｉｏｎ）デジタル画像を生成する。上記に記載のように、デジタル画像プロセッサ２００は、プログラム化されたパーソナルコンピュータであり、若しくは専用の画像プロセッサで有り得る。代替的に、本発明は、拡張ダイナミックレンジデジタル画像を生成するフィルム若しくは反射スキャナ若しくは別の装置にて実行され得る。カラーエンコーダ２７は、完全解像度デジタル画像若しくはまばらにサンプリングされたデジタル画像を入力として受け取り、残存画像及び制限されたダイナミックレンジデジタル画像を出力として生成する。残存画像及び制限されたダイナミックレンジデジタル画像の両者は、例えば、デジタルファイルのような残存画像と制限されたダイナミックレンジデジタル画像がお互いに関連するような方法にて保存されるために、デジタル画像保存器２９に入力される。最後に、画像再構成器３１は、デジタルファイルを受け取り、再構成された完全解像度のデジタル画像若しくはまばらにサンプリングされたデジタル画像を形成する。カラーエンコーダ２７及びデジタル画像保存器２９の動作は、図８、９、及び１２を用いてより詳細に説明される。画像再構成器３１の動作は、図１０、１１、及び１３を用いてより詳細に説明される。
【００１５】
図１に示されているＡ／Ｄ変換器１４は、撮像装置１０によって生成された電圧信号を画像信号、即ち、撮像装置１０のフォトサイトによって生成された電圧信号に対応するデジタル画素値の流れに変換する。さらに具体的には、Ａ／Ｄ変換器１４は、撮像装置１０からの、入射光の強度に関してほぼ線形である電圧信号を、例えば、１０ビットシグナルであり、線形エンコード値が０乃至１０２３の範囲にあるところの１０ビット信号に変換する。Ａ／Ｄ変換器１４はまた、線形コード値領域画像信号を、例えば、従来技術において実行される８ビット対数信号のような、非線形コード値領域画像に変換する処理を実行する。例えば、下記の式は、（ｘ、ｙ）が撮像装置１０に対する信号部位の行及び列のインデックスを特定する場合に、１０ビットの線形画像信号ａ（ｘ、ｙ）を８ビットの対数画像信号ｂ（ｘ、ｙ）に変換するために使用される。
【００１６】
【数１】
（撮像装置の線形応答領域における）露出の各ストップは、線形画像信号ａ（ｘ、ｙ）の倍加をもたらし、５１ずつの対数的にエンコードされた画像信号ｂ（ｘ、ｙ）の増加をもたらすことに注意する。この場合において、値５１は、露出のストップ毎のコード値（ｃｖｓ）の数を表現している。
【００１７】
図１にて示されているデジタル画像プロセッサ２００は、二つの副構成要素を含んでいる。画像信号は、ダイナミックレンジ拡張フィルターアレイ（ＤＲＥＦＡ）プロセッサ２２によって受け取られる。ＤＲＥＦＡプロセッサ２２は、画像のダイナミックレンジを拡張して、サンプル値を挿入することによってＡ／Ｄ変換器１４から出力されたまばらにサンプリングされた高解像度デジタル画像を処理する。次いで、ＤＲＥＦＡプロセッサ２２は、修正された画像信号をＣＦＡ補間器２６へ送る。ＣＦＡ補間器２６で、カラー値は各画素でのカラー値を提供するよう補間される。ＣＦＡ補間器２６の出力は、完全解像度のデジタル画像である。
【００１８】
ＣＦＡ補間器２６の目的は、撮像された写真画像の各画素部位における色の完全な詳細を生成することである。好ましい実施態様において、撮像装置１０は、フォトサイトと呼ばれる感光性素子（ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｅｌｅｍｅｎｔ）のアレイを含んでいる。本記載において参照として組み入れられる、１９７６年７月２０日に公開された米国特許出願番号３９７１０６５において、Ｂａｙｅｒによって記載されるように、各フォトサイトは、一般的には赤色、緑色、若しくは青色のフィルターのいずれかを設けられる。Ｂａｙｅｒアレイはチェッカー盤パターン（ｃｈｅｃｋｅｒｂｏａｒｄ ｐａｔｔｅｒｎ）の隙間を満たすために一行ずつ交互にされた、赤いフィルタ及び青いフィルタとともにフォトサイト上のチェッカー盤パターンに緑色のフィルタが位置する色フィルターであり、これは赤いフィルタ部位若しくは青いフィルタ部位の２倍と同数の緑色のフィルタ部位を形成する。ここに記載された方法は、原色（ｐｒｉｍａｒｉｅｓ）の異なる配置、異なる原色数、若しくは異なる組の原色を伴うカラーフィルターアレイへと容易く拡張されるであろうことを注意する。したがって、好ましい実施態様において、各フォトサイトは、赤色、緑色、若しくは青い光の何れかに対して反応する。撮像装置１０から出力されたデジタル画像は、複数の異なるフォトサイト（速い及び遅いフォトサイトとして各々存在する速い及び遅い、若しくは赤色、緑色、及び青色）を有するが、各画素部位において単一値のみを生成するため、デジタル画像はまばらにサンプリングされたデジタル画像である。しかしながら、各フォトサイト部位に関して赤色、緑色及び青色の露出の各々の露出に対応する画素値を得ることは好ましい。Ａ／Ｄ変換器１４から出力されるまばらにサンプリングされる高解像度デジタル画像の画素値は、画素部位の近隣での赤色、緑色、及び青色値を有するまばらにサンプリングされる画像を構成している。記載において、“赤色”、“緑色”、及び“青色”は、画像処理技術において既知のように、撮像装置１０の主要なスペクトル感度を表現している。ＣＦＡ補間器２６は、各フォトサイトにおける原色に対応する画素値から構成される補間画像信号をＡ／Ｄ変換器１４から出力した画像信号から発生させる。例えば、特定のフォトサイトが赤いフィルターによって覆われている場合、Ａ／Ｄ変換器１４は、赤いフィルターが必然的に特定のフォトサイトからの緑色及び青い光を遮るため、フォトサイトにおける赤い画素値を出力する。ＣＦＡ補間器２６は、たとえ対応するフォトサイトが緑色及び青い光に応答しないとしても、対応するフォトサイトにおける緑色の画素値及び青い画素値を計算する。同様にして、ＣＦＡ補間器２６は、緑色のフォトサイトに対応する赤色の画素値及び青い画素値と同様に、青いフォトサイトに対応する緑色の画素値及び赤い画素値を計算する。ＣＦＡ補間器２６の動作は、ＤＲＥＦＡプロセッサ２２との組合せが可能である。概念的に、ＣＦＡ補間器２６及びＤＲＥＦＡプロセッサ２２は、明らかに区別された動作を実行し、明瞭化の目的においては、本実施態様においては組み合わせない。
【００１９】
一般的に、ＣＦＡ補間器２６は、対応するフォトサイトの画素値及び関連する周囲のフォトサイトの画素値を考慮することによって動作する。既知の補間器が使用されるであろう一方で、好ましいＣＦＡ補間器の記載が、Ａｄａｍらの１９９７年７月２９日に公開された米国特許出願番号５６５２６２１で開示される。この特許文献は、ここで参照として組み入れられている。Ａｄａｍらは、少なくとも三つの分離するカラー値であって、各フォトサイト部位における唯一一つのカラー値を発生させる行及び列で配列されたカラーフォトサイトを有する画像センサから得られるデジタル化された画像信号を処理する装置と、三つの異なるカラー値を有するために各フォトサイト部位のカラー値を補正するための構成を記載している。かかる装置は、フォトサイト近隣の失ったカラー値とは異なる色のカラー値からの、かかるフォトサイト部位の追加的なカラー値の挿入によってフォトサイト部位から失った適切なカラー値を発生させる。Ａｄａｍｓ装置を基にしたＣＦＡ補間器２６はまた、同一の行及び列の近隣のフォトサイトに対応する画素値から少なくとも二つの画像方向において、ラプラシアンの２次の値（Ｌａｐｌａｃｉａｎ ｓｅｃｏｎｄ−ｏｒｄｅｒｖａｌｕｅｓ）、勾配値（ｇｒａｄｉｅｎｔ ｖａｌｅ）及び色差偏り値（ｃｏｌｏｒ ｄｉｆｆｅｒｅｎｃｅ ｂｉａｓ ｖａｌｕｅ）を獲得し、かかる値から発展した分類子（ｃｌａｓｓｉｆｉｅｒ）に基づいて、失われたカラー値の補間のために好ましい配置を選択する。最後に、近隣の複数のカラー画素値から失われたカラー画素値は、好ましい配置と一致するよう選択される。
【００２０】
Ａ／Ｄ変換器１４から出力されるまばらにサンプリングされた高解像度デジタル画像は、拡張ダイナミックレンジを有する修正された画像信号を形成するよう画像信号のダイナミックレンジを拡張するＤＲＥＦＡプロセッサ２２によって受け取られる。好ましい実施態様において、撮像装置１０のダイナミックレンジは、遅い応答を有するよう撮像装置１０の特定フォトサイトを設計することによって拡張される。撮像装置１０に対する遅い応答を有するフォトサイトの配置は、下記においてより詳細に説明されるであろう。遅い応答を有するフォトサイトの応答は、「遅いフォトサイト」とも呼ばれる選択されたフォトサイトのゲインを変更によって遅延又は減速される。フォトサイトのゲインの変更は、一般的にはデジタルカメラのデザイン及び製造において実行される。
【００２１】
図２を参照すると、各フォトサイトの上端部にて樹脂性の小レンズ５１を設置することは、撮像製造の技術において一般的である。例えば、特に撮像装置１０がインターライン固体状撮像装置である場合、小レンズのような技術がＩｓｈｉｈａｒａに１９８７年５月１９日に発行され、参照としてここに組み入れられている米国特許出願番号４６６７０９２に記載されている。Ｉｓｈｉｈａｒａは、ブロック表面と、電荷形態で画像を保存するようブロック表面にそって埋め込まれている複数の保存装置とを有する画像保存ブロックを含む固体状画像装置を開示している。重なる層は、保存要素に対応して光レンズのアレイを形成するよう堆積される。中間層は、ブロック表面と、重なる層との間に存在する。入射光は、レンズ及び中間層を通過して保存要素に合焦する。中間層は、小レンズの焦点距離を調整する調整層として働く。
【００２２】
図２は、インターライン固体状撮像装置の断面図を示している。小レンズ５１を有しない場合、フォトサイトの各感光性エリア５５と関連する信号読出しエリアは、光電子伝導エリアとしての半導体基板の全体のエリアの使用を不可能にする。従来の固体状画像装置は、すべての入射光線を効果的には使用せず、したがって低い感度を有する。フォトサイト上部への樹脂の小レンズ５１の追加は、入射光線がフォトサイトの光活性エリアにて合焦されることを可能にし、それによってより効果的に光の入射光線を活用し、フォトサイトの感度を増大させる。それゆえ、小レンズ５１の大きさ及び／若しくは効率を変化することによって、フォトサイトの感度（ゲイン）は、容易く変化され得る。したがって、インターライン装置及びＣＭＯＳセンサにおいて、フォトサイトのゲインを変化する好ましい方法は、フォトサイトの上部に位置する小レンズ５１を変化させることによる。図２に示されるように、部位５２は、小レンズを有せず、したがって感光性エリアへ入射する光の入射光線はほとんどない。代替的に、小レンズは、小レンズ５１と比較して異なる半径、形状、大きさ、若しくは物質を伴って部位５２に製造され、それによって光感受性エリア５５上への光の入射光線を合焦する効率が小レンズ５１よりも低くなるよう構成される。当業者は、小レンズ５１が光感受性エリア５５上に光の入射光線の８０％を合焦し、小レンズ（あるいは遅い小レンズ）を有しない部位５２が光感受性エリア５５上に光の入射光線の２０％を可能にする場合、小レンズ５１によって覆われたフォトサイトが部位５２よりも速い２ストップであることを認識するであろう。部位５２によって表されるように、この場合、小レンズ５１は、速いフォトサイトにおいて使用され、小レンズの非存在は遅いフォトサイトにおいて使用される。
【００２３】
図３を参照すると、フルフレーム（ｆｕｌｌ ｆｒａｍｅ）撮像装置１０の断面図が示されており、この場合、撮像装置１０はフルフレーム装置であって、フォトサイトの光感受性エリア５５への光線の入射は、図３の断面図にて示されるように光をブロックするマスク部分５４と、光をブロックする部分に散在する大きい及び小さい開口５６及び５７とを構成する一般的には金属から作られる光シールドの開口を通過する。好ましい実施態様において、フォトサイトのゲインは、光をブロックするマスク部分５４の修正によって変化されるであろう。次いで、フォトサイトの感度は、光をブロックするマスク部分５４の開口に直接的に関連している。例えば、第二フォトサイトの開口の大きさの５０％の開口を伴う一つのフォトサイトは、第二フォトサイトと比較して５０％の応答を有するであろう。例えば、光をブロックするマスク部分５４の大きな開口５６は、フォトサイトに入射する光線の８０％が通過することを可能にするが、小さい開口５７は、入射光線の２０％しか通過することを可能にしない。当業者は、大きな開口５６を伴うフォトサイトが小さい開口５７を伴うフォトサイトよりも速い２ストップであることを認識するであろう。この場合、大きな開口５６は早いフォトサイトにおいて使用され、小さい開口５７は遅いフォトサイトにおいて使用される。したがって、光をブロックするマスクの開口は、選択されたフォトサイトの応答を調節するよう修正され得る。イーストマンコダックは、すべての画素の画素活性エリアを約８０％から２０％まで縮減する金属マスクの光シールドを伴うフルフレーム撮像装置を製造している（ディザー（ｄｉｔｈｅｒｅｄ）スキャナにおいて、センサは画素間隔の１／２によって水平及び垂直に移動され、四つの写真が得られる）。したがって、技術はこのようなマスク技術の活用を含むが、異なる大きさの開口を伴い、画像の光に対して異なる応答を伴う画像センサを提供する。
【００２４】
好ましい実施態様において、選択された遅いフォトサイトの応答は、図４にグラフとして示されるように同一の露出における速いフォトサイトのＸ％（Ｘは１００以下）である。好ましい実施態様において、選択されたフォトサイトは、速いフォトサイトと比較して二つのストップ（−ｌｏｇＸ／１００）によって遅らされた応答を有し、結果としてＸ＝２５となる。したがって、撮像装置１０は、複数のセットのフォトサイト、速いフォトサイト及び遅いフォトサイトから構成される。速いフォトサイトの出力応答の収集は、まばらにサンプリングされた速いデジタル画像を構成し、例えば、速いフォトサイトを伴って撮像された景色のまばらにサンプリングされた形態である。同様に、遅いフォトサイトの出力応答の収集は、まばらにサンプリングされた遅いデジタル画像を構成し、例えば、遅いフォトサイトを伴って撮像された景色のまばらにサンプリングされた形態である。
【００２５】
別の代替として、選択された遅いフォトサイトの応答は、フォトサイトの表面を覆う中性フィルターの使用によって遅らされる。図５は、カラーフィルターアレー５３を伴う撮像装置の断面図を示す。カラーフィルターアレー５３ａは赤色、５３ｂは緑色、５３ｃは赤色、及び５３ｄは緑色であることを注意する。中性フィルターの層５８は、上記のカラーフィルターアレイ５３の上に含まれるが、中性フィルターの層５８及びカラーフィルターアレイ５３の位置は問題とはしない。中性フィルター５９によって示されているように、中性フィルターの層５８は選択されたフォトサイトの位置にて唯一中性フィルターを含むことを注意する。この場合、中性フィルターの層５８は速いフォトサイトにおいて透明であるか、若しくは透明に近く、遅いフォトサイトにおいて中性フィルター５９を含む。例えば、中性フィルターが光のＸ％伝達を可能にする物質から構成される場合、遅いフォトサイトの応答は速いフォトサイトの応答と比較して−ｌｏｇ２（Ｘ／１００）ストップによって遅くされる。
【００２６】
図１に示されているＤＲＥＦＡプロセッサ２２は、より詳細に記載される。ＤＲＥＦＡプロセッサ２２の目的は、速いフォトサイト及び遅いフォトサイトの光応答の差異を明らかにしながら、入力画像信号を処理することによって増大したダイナミックレンジを伴う修正画像信号を作ることである。したがって、ＤＲＥＦＡプロセッサ２２の出力は、増大した数のダイナミックレンジを有する修正された画像信号である。かかる修正された画像信号は、上述にて記載されたような処理のためにＣＦＡ補間器２６に入力される。
【００２７】
Ａ／Ｄ変換器１４及びＤＲＥＦＡプロセッサ２２の直接接続は本発明の要求するところではない。ＤＲＥＦＡプロセッサ２２は、Ａ／Ｄ変換器１４及び撮像装置１０の近隣のハードウェア若しくはソフトウェアに存在する。例えば、ＤＲＥＦＡプロセッサ２２は、デジタルカメラ内に直接存在するであろう。しかしながら、ＤＲＥＦＡプロセッサ２２は、撮像装置１０から離れていても良い。例えば、Ａ／Ｄ変換器１４から出力される画像信号は、ＤＲＥＦＡプロセッサ２２の動作に利用するよう、パーソナルコンピュータ装置、プリンタ、若しくはリモートサーバへ有線若しくは無線接続を介して送信され得る（圧縮後）。画像信号の送信は、ファイル伝送プロトコル若しくは電子メールを含みうる。
【００２８】
好ましい実施態様において、撮像装置１０のフォトサイトの５０％は、遅い応答を有するために選択される。当業者は、遅い画素及び速い画素の相関率は重要ではなく、本発明の利点は速いフォトサイト及び遅いフォトサイトの様々な相関率を伴って達成され得ることを認識するだろう。すべてのフォトサイトがほぼ等価なスペクトル感度を有する撮像装置１０の場合（例えば、パンクロ撮像装置）において、図６Ａは遅い応答の撮像装置１０のすべてのフォトサイトの約５０％の結果となる遅いフォトサイトの配置を示している。遅い応答を伴うフォトサイト２８は、（＊）アスタリスクにより印を付され、一方で速い応答を有するフォトサイト３０は空欄である。まばらにサンプリングされた画像は、カラーフィルターアレイを有する撮像装置１０により取得された画像として事前に明らかにされる。本発明によると、用語「まばらにサンプリングされた」は、速いフォトサイト及び遅いフォトサイトが点在する図６Ａに示されるような撮像装置によって生成される画像を称するように意図される。加えて、同一の露光量に対して遅い応答を有する遅いフォトサイトとともに点在する露光量に対する所定の応答を伴う速いフォトサイトを有する図６に示されるような撮像装置１０は、まばらにサンプリングされた拡張ダイナミックレンジ撮像装置である。
【００２９】
図６Ｂは、各フォトサイトの種類（赤色、緑色、若しくは青色感受性）の５０％が遅い応答を有する撮像装置１０における色の配置を示している。例えば、フォトサイト３２、３４、及び３６は、それぞれが、遅い応答を有する赤色、緑色、及び青色のフォトサイトであり、フォトサイト３８、４０、及び４２は、それぞれが、速い応答を有する赤色、緑色、及び青色のフォトサイトである。撮像装置１０はまた、事前の定義によるまばらにサンプリングされた拡張ダイナミックレンジ撮像装置であることを注意する。
【００３０】
図６Ａ及び６Ｂは、遅いフォトサイトの部位における規則的なパターンを意味する。規則的なパターンにおいて遅いフォトサイトが配置されることが好ましい一方で、それは決して必要ではない。遅いフォトサイトは、撮像装置１０の表面上に無作為に配置されるか、若しくは準無作為（ｓｅｍｉ−ｒａｎｄｏｍｌｙ）に配置され、かかる部位は、ＤＲＥＦＡプロセッサ２２にアクセス可能な位置に保存され得る。
【００３１】
図４を再度参照すると、特定の露出に対する早いフォトサイトの応答及び同一の露出に対する遅いフォトサイトの応答が示されている。ノイズｎのレベルが応答に重ねられる場合、速いフォトサイトが（１００Ｅ／Ｘにて開始する有効信号を生成する）遅いフォトサイトよりも低い露出（露出レベルＥにて開始）を伴い有効信号を生成するであろうことが容易に見られることは注意する。代替的に、遅いフォトサイトからのデータは、（Ｅ２ Ｓ の露出までの有効応答を生成する）速いフォトサイトよりも（１００／Ｘ ｘＥ２ Ｓ の信号レベルまでのＳが、単一フォトサイトの固有ダイナミックレンジであり、一般的にはＳは約５ストップである場合に）より高い露出レベルにおいて有効である。図４に示されているように、速いフォトサイト及び遅いフォトサイトの両者が露出のストップ（Ｓ）での応答の同一レンジを有するが、遅いフォトサイトの応答は好ましくは速いフォトサイトよりも遅い−ｌｏｇ２（Ｘ／１００）ストップであることを注意する。速いフォトサイトおよび遅いフォトサイトの応答は露出に関して重なっていることが好ましい。すなわち、−ｌｏｇ２（Ｘ／１００）＜Ｓが好ましい。速いフォトサイト及び遅いフォトサイトの両者を考慮する撮像装置１０の全体のダイナミックレンジは、Ｓ−ｌｏｇ２（Ｘ／１００）である。好ましい実施態様において、Ｓ＝５及びＸ＝２５の場合、撮像装置１０の全体の効果的ダイナミックレンジは、露出の７ストップである。
【００３２】
ＤＲＥＦＡプロセッサ２２は、非常に高い露出に対応する領域で画像信号を再構成するために遅いフォトサイトに対応する画素値を使用することによって本発明により生成されるデジタル画像の全体のダイナミックレンジを拡張するために活用される。同様にして、ＤＲＥＦＡプロセッサ２２はまた、非常に遅い露出に対応する画像信号を再構成するために速い応答を伴うフォトサイトに対応する画素値を使用する。
【００３３】
図７は、ＤＲＥＦＡプロセッサ２２のブロック図形を示す。Ａ／Ｄ変換器１４より出力される対数画像信号ｂ（ｘ、ｙ）であるまばらにサンプリングされた高解像度デジタル画像は遅い画素の補償器４４へ送られる。遅い画素の補償器４４の目的は、Ｘストップによる応答におけるオフセットを明らかにすることによって、遅いフォトサイトに対応する画像信号を補償することである。代替的には、速い画素は、反対方向で速い画素を調節することによって遅い画素と同等にすることができる。好ましい実施態様において、遅いフォトサイトに対応する画像信号は、量−ｃｖｓｌｏｇ（Ｘ／１００）によって増分される。なお、ｃｖｓは、露出のストップごとのコード値の数である。好ましい実施例において、量ｃｖｓは５１である。代替的に、遅い画素補償器４４へ入力される画像信号が露出に対して（対数的よりもむしろ）線形である場合、遅い画素補償器４４は、遅いフォトサイトに対応する画像信号を１００／Ｘの因子でスケーリングする。遅いフォトサイトの位置は遅い画素補償器４４に対して既知であると仮定することに注意する。遅い画素補償器４４の出力は、速いフォトサイトの応答と遅いフォトサイトの応答との間の差に関して遅いフォトサイトに対応する位置で補償された画像信号ｉ（ｘ，ｙ）である。速いフォトサイトに対応する位置において、Ａ／Ｄ変換器１４から出力された画像信号ｂ（ｘ，ｙ）の値は、遅い画素補償器４４から出力される画像信号ｉ（ｘ，ｙ）の値と同一である。画像信号ｉ（ｘ，ｙ）は８ビットのレンジに限定されないことに注意する。好ましい実施例において、ｉ（ｘ，ｙ）の値は０から３５７までの範囲である（即ち、９ビット。）。
【００３４】
次に、遅い画素補償器４４から出力される画像信号ｉ（ｘ，ｙ）は、遅い画素閾値装置（ｔｈｒｅｓｈｏｌｄｅｒ）４６への入力である。非標準閾値装置４６の目的は、フォトサイトが有効な信号を生成する為の十分な光子を受けないことに起因して低品質である遅い画素値を決定することである。これら（ｘ，ｙ）の位置における画素値は、近隣の速い画素値に基づいて新しい画素値を計算することによって、信号拡張装置５０によって実行される処理において置き換えられる。所定の閾値よりも小さいすべての遅い画素値は、問題の画素値であるとみなされる。遅い画素値の場合において、かかる所定の閾値は、低露出応答閾値（ｌｏｗ ｅｘｐｏｓｕｒｅ ｒｅｓｐｏｎｓｅ ｔｈｒｅｓｈｏｌｄ）のように呼ばれる。したがって、画素値ｉ（ｘ、ｙ）は、遅いフォトサイトである場合、及びＴ１は予め決められるとして
ｉ（ｘ，ｙ）＜Ｔ１
である場合は、問題であると考えられる。好ましい実施例において、Ｔ１の値は、
Ｔ１＝−ｃｖｓｌｏｇ２（Ｘ／１００）
によって与えられ、好ましい実施例においては１０２である。閾値Ｔ１は、部位（ｘ，ｙ）におけるフォトサイトの色感度に依存してもよいことに注意する。問題の遅い画素値は、ｉ（ｘ，ｙ）の値が有用であるには撮像装置のノイズレベルを十分に上回っていないので、ノイズ画素（ｎｏｉｓｅ ｐｉｘｅｌ）のように呼ばれる。
【００３５】
同様に遅い画素補償器４４から出力される画像信号ｉ（ｘ，ｙ）は、速い画素閾値装置４８への入力である。速い画素閾値装置４８の目的は、低品質である速い画素を決定することである。次にこれらの位置における画素値は、以下で詳細に記述する信号拡張装置５０によって実行される処理において、近隣の遅い画素値の付近に基づいて新しい画素値を計算することによって置き換えられる。所定の閾値よりも大きいすべての速い画素値は、問題の画素であると考えられる。速い画素の場合には、問題の速い画素を検出する目的のために使用される所定の閾値は、高露出応答閾値（ｈｉｇｈ ｅｘｐｏｓｕｒｅ ｒｅｓｐｏｎｓｅ ｔｈｒｅｓｈｏｌｄ）のように呼ばれる。このように、速い画素値ｉ（ｘ、ｙ）は、Ｔ２は所定の閾値であるとして
ｉ（ｘ，ｙ）＞Ｔ２
である場合は、問題であると考えられる。好ましい実施態様において、Ｔ２の値は、２５４である。閾値Ｔ２は、部位（ｘ，ｙ）におけるフォトサイトの色に依存してもよいことに注意する。問題の部位である速いフォトサイトは、ｉ（ｘ，ｙ）の値がこれらの部位において可能な限り高いので、飽和画素（ｓａｔｕｒａｔｅｄ ｐｉｘｅｌ）のように呼ばれる。
【００３６】
遅い画素閾値装置４６によって決められた問題の遅い画素の部位（ｘ、ｙ）及び速い画素閾値装置４８によって決められた問題の速い画素の部位（ｘ、ｙ）は、信号拡張装置５０へ入力される。加えて、遅い画素補償器４４から出力される画像信号ｉ（ｘ，ｙ）はまた、信号拡張装置５０へ入力される。信号拡張装置５０の目的は、ここで置換値（ｒｅｐｌａｃｅｍｅｎｔ ｖａｌｕｅ）のように呼ばれる信号の評価値で問題の位置（ｘ，ｙ）における画像信号ｉ（ｘ，ｙ）の値を置き換え、撮像装置１０における各フォトサイトの固有のダイナミックレンジをより大きくすることである。問題の部位が遅いフォトサイトと一致する場合、置換値は、速いフォトサイトと一致する隣接する画像信号画素値から計算される。この実施態様において、“隣接する”という用語は、ある一定の空間的な距離のことを言う。好ましい実施態様において、選択されたフォトサイトに隣接するフォトサイトは、選択されたフォトサイトの２フォトサイト分の距離以内にあるフォトサイトである。同様に問題の部位が速いフォトサイトと一致する場合は、置換値は、遅いフォトサイトと一致する隣接する画像信号の値から計算される。好ましい実施態様において、問題のフォトサイトにおけるフォトサイトの色もまた考慮される。任意の問題の部位に対する置換値は、好ましくは同等色の隣接するフォトサイトを起源とする信号のみによって決められる。信号拡張装置５０の出力は、撮像装置１０の各フォトサイトに対する実際の固有のダイナミックレンジＳよりもむしろ、まるで
Ｓ＝−ｌｏｇ２（Ｘ／１００）
の固有のダイナミックレンジを伴うフォトサイトを有する撮像装置１０によって取得されたかのような、ダイナミックレンジを有する画像信号ｉ´（ｘ，ｙ）である。問題の部位ではない全ての（ｘ，ｙ）の部位に対して、ｉ´（ｘ，ｙ）はｉ（ｘ，ｙ）と等価であることに注意する。
【００３７】
図６Ｂに示すＢａｙｅｒのＣＦＡパターンに対して信号拡張装置５０によって実行される処理の例として、部位（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が（図６Ｂにおけるフォトサイト３４のような）緑色のフォトサイトの部位である場合、画像信号ｉ（ｘ，ｙ）に対する置換値ｉ´（ｘ，ｙ）は次の方法で計算される。
【００３８】
【数２】
ｉ´（ｘ，ｙ）の計算が依存する信号の値は、ある一定の要求に従うことが予測される。例えば、（ｘ，ｙ）が問題の部位であり、（ｘ，ｙ）が遅い応答を伴う緑色のフォトサイトであると仮定する。すると隣接するフォトサイトの信号レベルは、置換値ｉ´（ｘ，ｙ）を計算することに使用される。しかしながら、これは隣接するフォトサイトの各々の信号値もまたＴ３より小さいことを仮定する。好ましい実施例においては、Ｔ３＝Ｔ１である。そのケースでない各々の隣接するフォトサイトに対しては、その信号レベルは、置換値ｉ´（ｘ，ｙ）の計算から省かれる。例えば、ｉ（ｘ−１，ｙ−１）＞Ｔ３である場合、値ｉ´（ｘ，ｙ）は次の式で計算される。
【００３９】
【数３】
一般的に、問題の位置（ｘ、ｙ）における置換値を決定する為の挿入スキームは、次の式
【００４０】
【数４】
で与えられ、ここで（ｘ、ｙ）はＢａｙｅｒパターンのフィルターアレイを有する撮像装置の速いフォトサイトでもある緑色のフォトサイトに一致する。問題の位置が、遅いフォトサイトである緑色のフォトサイトに一致する場合、置換値を決定する為に同じ式を適用することに注意する。しかしながら、この場合には、
【００４１】
【数５】
であり、ここで好ましい実施態様においてはＴ４＝Ｔ２である。
【００４２】
別の例として、また図６Ｂに示すようなＢａｙｅｒのＣＦＡパターンと関連して、部位ｉ（ｘ，ｙ）が問題のフォトサイトであり、（ｘ，ｙ）が赤色又は青色のフォトサイトの部位である場合には、画像信号ｉ（ｘ，ｙ）の置換値ｉ´（ｘ，ｙ）は次の方法で計算される。
【００４３】
【数６】
部位（ｘ，ｙ）が赤色又は青色のフォトサイトであり、また速いフォトサイトであるとき、置換値ｉ´（ｘ，ｙ）を決定する方程式は、次のように一般化され得る。
【００４４】
【数７】
この場合に、ｊかｋかどちらかは０でなければならないが、ｊ及びｋが両方とも０であることは決してないことに注意する。また問題の部位が、遅いフォトサイトである赤色又は青色のフォトサイトに一致する場合、置換値を決定する為に同じ方程式を適用することに注意すること。しかしながら、この場合には、
【００４５】
【数８】
であり、ここで好ましい実施態様においては、Ｔ４＝Ｔ２である。
【００４６】
１つ以上のまばらにサンプリングした画像信号から拡張したダイナミックレンジを伴う画像信号を発生させる目的の為の上述した挿入スキームは、当業者により変更してもよい。しかしながら、上述の挿入スキームに対する多くのこのような変更は導出され得、本発明の著しい逸脱として考慮されるはずはない。
【００４７】
当業者は、信号拡張装置によって実行される上述の挿入スキームは、当技術で周知の低域フィルターであることを認める。典型的に、デジタル画像信号への低域フィルターの適用は、デジタル画像信号の分解能を減少させることに対して同様の効果を有する。このように、ＤＲＥＦＡ処理装置２２によって実行される処理は、撮像装置１０の空間分解能を撮像装置１０のダイナミックレンジのために交換する場合もある方法である。実際に、信号のダイナミックレンジを増加させるために挿入スキームを実施する画像の領域は、もしも画像の同じ領域を（低い閾値装置４６及び速い閾値装置４８によって定義されるような）“問題の部位”が無いような方法で検出器によって取得した場合に起こるであろう画像よりも著しくぼやけて（鮮明でなく）現われる。
【００４８】
かかる接近の結果は、単に速いフォトサイトから構成される撮像装置と関連するよりも大きなダイナミックレンジを有するＤＲＥＦＡプロセッサ２２若しくはＣＦＡ補間器２６から出力するような拡張ダイナミックレンジデジタル画像である。この追加のダイナミックレンジは、多くの適用において改良された画質となる。特に、拡張ダイナミックレンジ画像情報が改良型画像処理アルゴリズムを伴って使用され得る場合は、序章に記載のような高いダイナミックレンジ画像を改良するためにデザインされた。しかしながら、デジタルカメラのようなデジタル撮像装置の使用は、典型的なＣＲＴモニターに直接表示された場合に満足な画像を生成するカラーエンコーダに保存されたデジタル画像を受け取ることは普通である。典型的には、この配置は多くの一般的なワークフローにおいて便利であり、互換性と共同利用を最大化する多くの場合において望ましい。ＣＲＴモニターはまた、多くの一般的な撮像装置のカラー全範囲と比較し、特に上記の拡張ダイナミックレンジデジタル画像と比較して実質的に制限されたカラー全範囲を有する。（撮像装置のカラー全範囲は、装置によって生成され得る色と輝度値の幅を意味する。ダイナミックレンジは、装置によって生成され得る輝度値の幅に関連するカラー全範囲の一つの態様である。）特定の出力装置上に適切に表示するための撮像装置により取得されるカラー値を変換する処理は、しばしば“描写”と呼ばれる。描写処理は、典型的には、表現された空間のカラー全範囲の外側の色を有する景色のエリアに対応する画像データの著しい損失となる。それゆえ、本発明の方法を用いて生成された拡張ダイナミックレンジ画像の場合、余分なダイナミックレンジは楽しまれず、認識もされなければ、真価を認められず、若しくは拡張カラー全範囲画像データが改良画像を形成するために使用される以前に画像が、制限されたカラー全範囲保存スペースに保存されるべき場合、使用者によって認識されない。
【００４９】
かかる制限は、カラーエンコーダ２７及びデジタル画像保存器２９の両者の機能を表示する図８に示される方法を使用することによって克服され得る。拡張カラー全範囲デジタル画像１２０は、ビデオＲＧＢのような保存カラースペースの制限されたカラー全範囲の外側であるカラー値を有する。完全解像度デジタル画像のような拡張カラー全範囲デジタル画像は、図１に示されるデジタル画像プロセッサ２００から出力される。カラー値を調節する段階１２１は、制限されたカラー全範囲デジタル画像１２２を形成するための保存カラースペースの制限されたカラー全範囲内に適合するカラー値を制限するために使用される。次ぎに、画像は、保存スペースデジタル画像１２４を生成する保存カラースペース１２３に表示される。残存画像は、拡張カラー全範囲デジタル画像と制限されたカラー全範囲デジタル画像の差異を表現する一つ以上の残存画像１２６を決定するために計算される１２５。次いで、保存スペースデジタル画像１２４と残存画像１２６は、デジタルファイル１２８に保存される１２７。
【００５０】
図８の各段階はより詳細に説明される。多くの適用において、適用に関連するワークフローに適した特異的な保存カラースペースにてデジタル画像の保存、表示、及び操作は便利である。保存カラースペースが、用語としての保存スペースによってより一般的に記載されることに注意する。保存スペースは、灰色若しくは黒色及び白い空間のようなモノクロ保存スペースであるか、若しくは保存カラースペースである保存スペースである。好ましい実施態様において、保存スペースは保存カラースペースである。頻繁に、選択される保存カラースペースは、一般的な出力装置若しくはシステムによって使用される媒体を関連するカラースペースに依存する装置である。多くの場合、ビデオＲＧＢカラースペースは、更なる処理なしでコンピュータビデオ表示に直接表示若しくはプレビューされ得るために使用される。加えて、コンピュータでの画像操作が利用可能な多くのソフトウェアアプリケーションは、ビデオＧＲＢカラースペースにて画像を伴い作業するためにデザインされている。保存カラースペースのカラー全範囲は、拡張カラー全範囲デジタル画像１２０のカラー全範囲よりも小さいか若しくは少なくとも異なっているであろう。結果として、保存カラースペースにて表示できない拡張カラー全範囲デジタル画像１２０にて一般的に色があるであろう。例えば、拡張カラー全範囲デジタル画像１２０が、上記のような速い及び遅いフォトサイトを伴うセンサを有するデジタルカメラによって取得された拡張ダイナミックレンジデジタル画像である場合を考える。ビデオＲＧＢカラースペースのカラー全範囲の外側である拡張ダイナミックレンジデジタル画像のカラー全範囲内に多くの色がある。したがって、情報は、ビデオＲＧＢカラースペースの拡張ダイナミックレンジデジタル画像若しくは任意の制限されたカラー全範囲保存スペースに保存されるために廃棄されるべきである。本発明では、失った情報は一つ以上の残存画像に保存される。
【００５１】
拡張カラー全範囲デジタル画像のカラー値は、制限されたカラー全範囲デジタル画像１２２を形成する保存スペースの制限されたカラー全範囲内に適合するために調整される１２１。この段階において、制限されたカラー全範囲外にあるカラー値が制限されたカラー全範囲内のカラー値に写像される場合、情報は廃棄されるべきである。ある場合、全範囲外の色におけるカラー値は単に“クリップされる”、例えば、制限されたカラー全範囲の表面上のカラー値に写像される。別の場合、より洗練された全範囲写像方法は、拡張カラー全範囲を制限されたカラー全範囲にハードクリッピング機能の導入なしで圧縮するために使用される。例えば、入力カラー値のクロマは縮小され得、拡張カラー全範囲での最も飽和した色は、制限されたカラー全範囲にて最も飽和した色に写像される。あるいは、全範囲写像方法は、色の外観をできるだけ緊密に保存することをデザインして使用され得る。全範囲写像技術の使用に関わりなく、情報の損失及び画像の色特質のねじれの必要性があるであろう。
【００５２】
加えて、拡張カラー全範囲デジタル画像の輝度ダイナミックレンジを縮減する必要性が典型的にはあるであろう。一般的に、カラー値を調整する段階１２１の実行のある部分は、トーンスケール（ｔｏｎｅ ｓｃａｌｅ）機能の適用を含むであろう。トーンスケール機能は、入力画像強度を出力画像強度に写像し、画像の輝度チャネル若しくは代替としてＲＧＢカラー表示の各カラーチャネルに適用されるであろう。
【００５３】
一旦制限されたカラー全範囲デジタル画像１２２が決定されると、次ぎの段階は、保存カラースペースに表示する１２３ことである。この段階の出力は保存スペースデジタル画像１２４である。典型的に、この段階は、制限されたカラー全範囲デジタル画像１２２の調節されたカラー値と対応する保存スペースカラー値を決定するために装置モデル若しくはカラースペース転換の適用を含んでいる。例えば、調節されたカラー値がＣＩＥＬＡＢカラースペースの定義にて特定された場合、ビデオ表示装置モデルは、特定され調節されたカラー値を生成する必要性がある対応するビデオＲＧＢ値を決定するために使用され得る。
【００５４】
次いで、拡張カラー全範囲デジタル画像１２０と制限されたカラー全範囲デジタル画像１２２の差異を表現する一つ以上の残存画像１２６が計算される１２５。簡素化した形体において、単一の残存画像１２６は、拡張カラー全範囲デジタル画像１２２の入力カラー値から制限されたカラー全範囲デジタル画像１２２の調節されたカラー値を単に差し引くことによって計算される。次いで、残存画像は、カラースペースにおいて、カラー値を表示するために使用される。或いは、カラー値は、残存画像の計算において利便性がある別のスペースに変形できる。例えば、残存画像の圧縮に適する、若しくは拡張カラー全範囲デジタル画像の再構成での使用において便利であるカラースペースにて残存画像を計算することは望ましい。
【００５５】
単一の残存画像のみに代わって複数の残存画像を保存する利点としてのさまざまな理由がある。例えば、ある残存画像での輝度エラーと関連する残存エラー及び追加の残存画像でのクロミナンスエラーと関連する残存エラーを保存することが望ましい。これは、再構成された拡張カラー全範囲デジタル画像の決定処理中に使用する残存エラーのタイプを選択する適用を可能にする。
【００５６】
別の場合では、複数の残存画像のセットは拡張ダイナミックレンジ画像データの異なるサブセットに対応できる。例えば、第一の残存画像は、制限されたカラー全範囲デジタル画像と関連するダイナミックレンジを超えて固定されたデジタル画像のダイナミックレンジを拡張できる。次いで、第二の残存画像は、第一残存画像と関連する拡張ダイナミックレンジを超えてダイナミックレンジを追加増加して拡張できる。この方法において、拡張カラー全範囲デジタル画像を用いる適用は、適用による拡張ダイナミックレンジの要求量と関連する残存画像のみを使用できる。
【００５７】
複数の残存画像を利用する別の理由は、残存画像が制限された大きさを有するデジタルファイルでのタグ（ｔａｇ）に保存される場合において有効である。この場合、残存画像データは、サイズの制限内に適合し、より小さく分解され得る。例えば、残存画像は、拡張カラー全範囲デジタル画像での画素のサブセットにおいて決定され得る。この方法において、残存画像データは、タイルド方法（ｔｉｌｅｄ ｆａｓｈｉｏｎ）にて保存され得る。
【００５８】
一般的に、拡張カラー全範囲デジタル画像及び制限されたカラー全範囲デジタル画像１２２は、残存画像が計算され、全範囲内色がゼロの残存エラーによって与えられる以前に、同一のカラースペースにて表現されるべきである。殆どの画像が全範囲外であるカラー値の小さい分画を有するのみであるため、残存画像はゼロによって支配され、したがってかなり圧縮されるであろう。
【００５９】
カラー値を調節する段階１２１が制限されたカラー全範囲外と同様に制限されたカラー全範囲内の色においてカラー値を修正する変形の適用を含む場合において、残存画像は、拡張カラー全範囲デジタル画像の入力カラー値と非ゼロ値の大きな数を有する制限されたカラー全範囲デジタル画像１２２の調整されたカラー値間の差異を直接計算することによって決定される。これは、残存画像が圧縮されない場合において望ましくない。
【００６０】
一旦残存画像１２６が計算されると、保存スペースデジタル画像１２４を伴うある方法にて関連されるべきである。これは、保存スペースデジタル画像１２４を保存するために使用される第二メモリバッファーと関連しているメモリバッファーでの残存画像１２６の保存を含んでいる。或いは、多くの適用は、磁気ディスク、光ディスク、若しくはデジタルファイル保存段階１２７を使用するＰＣＭＣＩＡカードのようなデジタル保存媒体のある種類上においてデジタルファイル１２８で画像データを保存するであろう。この場合、保存スペースデジタル画像１２４及び残存画像１２６は、二つの異なるファイルに保存され得るか、若しくは同一のデジタル画像ファイルに保存され得る。多くの場合において、保存スペースデジタル画像１２４を保存するために使用されるファイルフォーマットは、プライベート画像タグ（ｐｒｉｖａｔｅ ｉｍａｇｅ ｔａｇ）の使用を支持する。例えば、ファイルフォーマットＴＩＥＦ、ＥＸＩＦ及びＦｌａｓｈＰｉｘのすべては、この種類のタグを支持する。かかるタグは、メタデータ（ｍｅｔａ−ｄａｔａ）と呼ばれる。このタイプのファイルフォーマットが使用される場合、残存画像タグの形体で残存画像データを保存することが便利である。この方法では、残存画像タグの活用方法を知らない適用は単に無視し、したがって保存スペースデジタル画像１２４にのみ接近するのに反して、残存画像タグの使用方法を知っている適用は、拡張カラー全範囲デジタルデータを再構成するために活用できる。あるファイルフォーマットはタグのサイズでの制限に位置し、残存画像の圧縮は係る適用において重要である。
【００６１】
本開示の残りでは、単一残存画像の場合が説明されるであろう。しかしながら、方法が複数の残存画像のセットを使用するために容易く一般化できることは認識されるべきである。
【００６２】
本発明と一致したデジタル画像を保存する第二の方法は図９に示されて、カラーエンコーダ２７及びデジタル画像保存器２９の両者の機能を表現している。この実施態様は、図８に示された実施態様と同一であるが、しかし残存画像を決定する方法において異なっている。第二の実施態様においては、残存画像は保存カラースペースのコード値に関連して表現される。図９は、保存カラースペースの制限されたカラー全範囲の外側であるカラー値を有する拡張カラー全範囲デジタル画像１３０を示している。保存カラースペースの制限されたカラー全範囲内に適合するであろうカラー値を制限するためのカラー値が調節される１３１。次ぎに、画像は、制限されたカラー全範囲デジタル画像１３３を生成する保存カラースペースで表現する１３２。次いで、画像は拡張保存カラースペース１３４にて表現され、残存画像は拡張カラー全範囲デジタル画像と制限されたカラー全範囲デジタル画像（両者は保存カラースペースによりエンコードされている）の差異を表現する残存画像１３６を生成するために計算される１３５。次いで、制限されたカラー全範囲デジタル画像１３３と残存画像１３６はデジタルファイル保存段階１３７を用いてデジタルファイル１３８に保存される。
【００６３】
第二方法のほとんどの段階が第一方法での段階に対応して同一であるため、異なる唯一の段階はより詳細に説明される。この場合の二つの方法の主な差異は、残存画像が保存カラースペースカラー値に相関して計算されることである。したがって、オリジナルの拡張カラー全範囲デジタル画像は、制限されたカラー全範囲デジタル画像に加えて、保存カラースペースに変形されるべきである。これは、拡張保存カラースペースでの画像の表現１３４により達成される。この複雑さは、保存カラースペースが典型的には制限されたカラー全範囲を有するであろうことである。例えば、保存カラースペースがビデオＲＧＢカラースペースである場合、保存スペースのカラー全範囲は、ビデオ表示のカラー全範囲へ制限され得る。したがって、保存カラースペースでのオリジナルの拡張カラー全範囲デジタル画像の表現にとって、制限されたカラー全範囲を課さない保存カラースペースの拡張変化を定義する必要がある。例えば、２４ビットのビデオＲＧＢカラースペースは、整数コード値によると、通常は、０乃至２５５の幅におけるカラー値をエンコードする。ビデオ表示のカラー全範囲外色のエンコードを可能にするために、オリジナルの拡張カラー全範囲デジタル画像が、コード値が０乃至２５の幅外に出ることが許容された拡張保存スペースにて表現できる。これは、より大きな輝度ダイナミックレンジ値と同様に、保存カラースペースに直接エンコードできるよりも高いクロマ値を伴う色のエンコードを許容する。制限されたカラー全範囲デジタル画像及び拡張カラー全範囲デジタル画像の両者が保存カラースペースにおいて表現された後、残存画像１３６は事前に二つの画像の差異の計算によって計算される本発明の方法の適用の結果は、保存カラースペースでの制限されたカラー全範囲デジタル画像及び制限されたカラー全範囲デジタル画像と拡張カラー全範囲デジタル画像を相互関連する関連した残存画像の両者の生成である。上述したように、制限されたカラー全範囲デジタル画像は、一般的に、ビデオ表示のような目的を出力する装置での表示において適している。この接近の一つの利点は、唯一制限されたカラー全範囲デジタル画像が保存された場合において、画質なしで、及び従来技術に関する欠点を計算せずに画像を直接表示及び操作できる残存画像を活用できないシステムである。しかしながら、通常は廃棄される情報は残存画像に保存され、活用できるシステムによる使用において有効である。この場合、制限されたカラー全範囲デジタル画像は差し引かれ、デジタルファイルからの残存画像は再構成された拡張カラー全範囲デジタル画像を形成するために使用される。
【００６４】
図１にて示される画像再構成器３１の機能を表現する図１０は、制限されたカラー全範囲デジタル画像からの拡張カラー全範囲デジタルデータ及び残存画像を再構成する実施例を示している。この処理への入力は、制限されたカラー全範囲デジタルデータ及び上記のように生成された残存画像を含む拡張カラー全範囲デジタルファイル１４０である。データは、制限されたカラー全範囲デジタル画像１４２及び残存画像１４３を生成するデジタルファイルから抽出される１４２。拡張カラー全範囲デジタル画像は、制限されたカラー全範囲デジタル画像１４２及び残存画像１４３の組み合わせによる再構成された拡張カラー全範囲デジタル画像１４５を形成するために再構成される１４４。典型的には、拡張カラー全範囲デジタル画像の再構成１４４は、制限されたカラー全範囲デジタル画像１４２と残存画像１４３の組み合わせを含む。
【００６５】
再構成された拡張カラー全範囲デジタル画像１４５は、多くの異なる目的に使用され得る。例えば、デジタルファイル１４０での制限されたカラー全範囲デジタル画像１４２の制限されたカラー全範囲からのカラー全範囲の差異を有する出力装置での表示において適切なデジタル画像を形成するために使用され得る。これは、保存カラー全範囲の抑制による制限された印刷よりも、オリジナルの拡張カラー全範囲デジタル画像からの最適な印刷の発生を可能にする。
【００６６】
拡張カラー全範囲での情報は、デジタル画像の修正に適用する処理中に、特に有効である。本発明と一致した拡張カラー全範囲デジタル画像の修正における一つの方法を示す図１にて示された画像再構成器３１の機能を表現する図１１を考える。この処理への入力は、上記に記載されて生成されたような制限されたカラー全範囲デジタル画像及び残存画像を含有する拡張カラー全範囲デジタルファイル１４０である。図１０のように、デジタルファイル段階１４１からの抽出データは、制限されたカラー全範囲デジタル画像１４２及び残存画像１４３を抽出するために使用される。次いで、一つ以上の画像修正１５０が、画像を修正するために使用されて指定される。次いで、制限されたカラー全範囲デジタル画像１４２は、制限され修正されたカラー全範囲デジタル画像１５３を形成する画像修正１５０に対応する制限されたカラー全範囲デジタル画像段階１５１の修正を用いて修正される。同様に、残存画像１４３は、修正された残存画像１５４を形成する画像修正１５０に対応する残存画像段階１５２の修正を用いて修正される。共に得られた制限され修正されたカラー全範囲デジタル画像１５３及び修正された残存画像１５４は、修正されたデジタルファイル１５５に保存され得る修正された拡張カラー全範囲デジタル画像を表現する。或いは、修正されたデジタル画像は、デジタルプリンター若しくは画像表示装置の他の形態で画像を生成するために使用され得る。修正されたデジタル画像はまた、ある位置において保存若しくは印刷するために遠隔位置へ転送され得る。修正されたデジタル画像を転送する方法は、コンピュータネットワーク接続、若しくは電話線に接続されたモデムの使用を含むことができる。
【００６７】
デジタル画像に適用できる画像修正１５０の多くの異なるタイプがある。例えば、画像に適用できる色及びトーン再生成と修正の多くの種類がある。ある場合において、画像の色のバランスを調整することが望ましい。別の場合は、画像の濃淡を生成するために画像の密度を調整することが望ましい。色及びトーンの再生成と修正の別のタイプは、画像の色調若しくは多彩なコントラストの変化を含むことができる。ある場合は、特定の出力装置において色及びトーンを最適化するために色及びトーンの再生成の特質を修正することが望ましい。本発明は、残存画像に保存された拡張カラー全範囲情報が画質を低下させずに大きな変化を可能にする事実によるため、特に、画像の色及びトーンの再生成の特質の修正において適している。例えば、オリジナル画像が過度に露出されて決められる場合を考える。この場合、画像を、制限されたカラー全範囲へ描写する過程においては、制限されたカラー全範囲デジタル画像での強調情報は外される。しかしながら、強調情報は残存画像にて保持される。過度の露出エラーにおいて濃くなった画像の訂正が望ましい場合、残存での情報は、詳細に強調を回復する修正されたデジタル画像を決定するために使用できる。
【００６８】
画像修正の別のタイプは、空間画像修正を含むデジタル画像に適用できる。空間画像修正に実施例は、ズーム、クロッピング（ｃｒｏｐｐｉｎｇ）、ノイズ縮減、及び画像の鮮鋭を含む。画像のズームは、画像の再サイズ化を含む。画像のクロッピングは、画像のサブセットの選択を含む。一般的に、ノイズ縮減処理は画像の水平なエリアの画像を滑らかにすることにより、画像のきめの表面若しくはノイズの縮小を含む。典型的には、画像の鮮鋭は、画像での端部の明瞭な鮮鋭度を増加するため画像への空間回旋の適用を含む。広く使用されているＡｄｏｂｅＰｈｏｔｏＳｈｏｐのような一般的な画像編集ソフトウェアプログラムにて見られる画像修正の多くの別のタイプがある。
【００６９】
すでに記載したように、図１にて示されるＡ／Ｄ変換器は、まばらにサンプリングされた高解像度デジタル画像を出力する。しかしながら、デジタルカメラのようなデジタル撮像装置の使用者は、典型的なＣＲＴモニターに直接表示される場合に満足な画像を生成するカラーエンコードで保存されるデジタル画像を受け取ることに慣れている。完全解像度デジタル画像を生成するために、デジタル画像プロセッサ２００の操作を必要とする。この完全解像度デジタル画像は、引き続いて保存カラースペースに与えられる。保存スペースデジタル画像の早急な生成が望ましいが、デジタルカメラのハードウェアは、早急に実行するＤＲＥＦＡプロセッサ２２及びＣＦＡ補間器２６の操作を実行する目的におけるデジタル画像プロセッサ２００内に存在する複合アルゴリズムの速さが頻繁に不十分である。典型的には、単純な論理を伴う簡素化アルゴリズムは、ＤＲＥＦＡプロセッサ２２及びＣＦＡ補間器２６の操作を実行するために使用され得る。一般的には、デジタル画像プロセッサ２００の複雑さが増加するにしたがって、完全解像度デジタル画像の画質の可能性が増大する。同様にして、デジタル画像プロセッサ２００の複雑さがハードウェア構成のコストの目的にて簡素化される場合は、完全解像度デジタル画像の画質の可能性は減少する。デジタル画像プロセッサ２００が理想的なアルゴリズムの簡素化形態であり、ハードウェアのコスト、ソフトウェアのコスト、処理速度、若しくは別の関連した理由で簡素化が行なわれた場合、したがって、まばらにサンプリングされた高解像度デジタル画像の完全な可能性は、使用者によって完全に楽しむことができず、若しくは認識されない。
【００７０】
かかる制限は、カラーエンコーダ２７及びデジタル画像保存器２９の両者の機能を表現する図１２に示される実施態様によって克服されるであろう。この実施態様は、図８及び図９に示される実施態様と同等である。この実施態様において、残存画像は、保存スペースデジタル画像２３０及びまばらにサンプリングされた高解像度デジタル画像１９０間の残余を表現する。図１２は、すでに上述したように完全解像度デジタル画像２１０を生成するためのデジタル画像プロセッサ２００に通過するまばらにサンプリングされた高解像度デジタル画像１９０を示している。画像は、保存スペースデジタル画像２３０を生成するための保存カラースペースに表現される２２０。残存画像２５０は、まばらにサンプリングされた高解像度デジタル画像１９０及び保存スペースデジタル画像２３０間の差異を表現するために計算される２４０。次いで、保存スペースデジタル画像２３０及び残存画像２５０は、デジタルファイル２７０に保存される２６０。デジタルファイル２７０は、前記のような若しくはある適用が磁気ディスク、光ディスク、若しくはデジタルファイル保存段階２６０を用いるＰＣＭＣＩＡカードのようなある種のデジタル保存媒体でデジタルファイル２７０における画像データを保存するであろうデジタルバッファーであり得る。多くの場合、保存スペースデジタル画像２３０を保存するために使用されるファイルフォーマットは、プライベート画像タグの使用を支持する。例えば、ファイルフォーマットＴＩＥＦ、ＥＸＩＦ及びＦｌａｓｈＰｉｘのすべては、この種のタグを支持する。このようなタグは、しばしばメタデータと呼ばれる。このタイプのファイルフォーマットが使用される場合、残存画像タグの形態で残存画像を保存することは便利である。この方法において、残存画像タグの活用方法を知らない適用は単に無視し、したがって唯一保存スペースデジタル画像２３０への接近を有するであろう。一方で、残存画像タグの使用方法を知っている適用は、拡張カラー全範囲デジタル画像を再構成するために活用が可能であろう。あるファイルフォーマットはタグのサイズの限界に位置するので、残存画像の圧縮はこのような適用において重要である。Ｇａｌｌａｇｈｅｒらによる２０００年１１月２１日に公開された米国特許出願番号０９／７１８８８７で開示されている圧縮技術が適切である。この実施態様の残る段階は、上記で記載した段階と対応して同一である。
【００７１】
この実施態様の主な利点は、残存画像２５０がまばらにサンプリングされた高解像度デジタル画像１９０と相関して計算されることである。図１３に示されるように、図１にて示された画像再構成器３１の機能の表現は、再構成されたまばらにサンプリングされた高解像度デジタル画像３３０の生成を可能にする。この処理への入力は、上述のように生成された保存スペースデジタル画像３００及び残存画像３１０を含有するデジタルファイル２８０である。保存スペースデジタル画像３００及び残存画像３１０は、デジタルファイル２８０から抽出２９０される。まばらにサンプリングされた高解像度デジタル画像は、保存スペースデジタル画像３００及び残存画像３１０の組み合わせによる再構成されたまばらにサンプリングされた高解像度デジタル画像３３０を形成するために再構成される３２０。典型的には、再構成段階３２０は、保存スペースデジタル画像３００及び残存画像３１０の組み合わせを含むであろう。再構成されたまばらにサンプリングされた高解像度デジタル画像３３０は、多くの異なる目的において使用され得る。例えば、あまり複雑でない処理を有するデジタル画像プロセッサ２００を伴って生成された完全解像度デジタル画像と比較した場合、改良された構成要素及びダイナミックレンジを有する完全解像度デジタル画像を生成するために、高度な複雑さを利用するＤＲＥＦＡプロセッサ２２及びＣＦＡ補間器２６を実行するデジタル画像プロセッサ２００は再構成されたまばらにサンプリングされた高解像度デジタル画像３３０に適用される。
【図面の簡単な説明】
【図１】本発明による拡張ダイナミックレンジデジタル画像の生成及び保存のための画像取得システムのブロック図形である。
【図２】選択されたフォトサイトの応答を変更する小レンズのアレイを採用するインターライン画像センサの断面図である。
【図３】選択されたフォトサイトの応答を変更する金属マスクを採用するフルフレーム画像センサの断面図である。
【図４】速いフォトサイト及び遅いフォトサイトの応答を例証するグラフである。
【図５】選択されたフォトサイトの応答を変更する減光フィルターのアレイを採用する画像センサの断面図である。
【図６Ａ】パンクロ撮像装置の遅いフォトサイト及び速いフォトサイトの配列を例証している。
【図６Ｂ】カラー撮像装置の遅いフォトサイト及び速いフォトサイトの配置を例証している。
【図７】図１で示されたダイナミックレンジを拡張するフィルターアレイ（ＤＲＥＦＡ）プロセッサの拡大ブロック図形を示す。
【図８】カラーエンコーダ２７及びデジタル画像保存器２９によって実行されるような拡張カラー全範囲デジタル画像を保存するための方法を例証する。
【図９】カラーエンコーダ２７及びデジタル画像保存器２９によって実行されるような拡張カラー全範囲デジタル画像を保存するための別の方法を例証する。
【図１０】画像再構成器３１によって実行されるような再構成された拡張カラー全範囲デジタル画像を形成する方法を例証する。
【図１１】画像再構成器３１によって実行されるような修正されたデジタル画像を形成するための方法を例証する。
【図１２】カラーエンコーダ２７及びデジタル画像保存器２９によって実行されるようなまばらにサンプリングされた高解像度デジタル画像を保存する方法を例証する。
【図１３】画像再構成器３１によって実行されるような再構成されたまばらにサンプリングされた高解像度デジタル画像を形成するための方法を例証する。
【符号の説明】
２ レンズ
６ 光学低域フィルター
１０ 撮像装置
１４ Ａ／Ｄ変換器
２２ ＤＲＥＦＡプロセッサ
２６ ＣＦＡ補間器
２７ カラーエンコーダ
２８ 遅いフォトサイト
２９ デジタル画像保存器
３０ 速いフォトサイト
３１ 画像再構成器
３２ 赤色遅いフォトサイト
３４ 緑色遅いフォトサイト
３６ 青色遅いフォトサイト
３８ 赤色速いフォトサイト
４０ 緑色速いフォトサイト
４２ 青色速いフォトサイト
４４ 遅い画素補償器
４６ 遅い画素閾値装置
４８ 速い画素閾値装置
５０ 信号拡張装置
５１ 小レンズ
５２ 部位
５３ａ−ｄ カラーフィルターアレイ
５４ 光をブロックするマスク部分
５５ 感光性エリア
５６ 大きい開口
５７ 小さい開口
５８ 減光フィルター層
５９ 減光フィルター
１２０ 拡張カラー全範囲デジタル画像
１２１ カラー値調整段階
１２２ 制限されたカラー全範囲デジタル画像
１２３ 保存カラースペースでの画像表現段階
１２４ 保存スペースデジタル画像
１２５ 残存画像計算段階
１２６ 残存画像
１２７ デジタルファイル保存段階
１２８ デジタルファイル
１３０ 拡張されたカラー全範囲デジタル画像
１３１ カラー値調整段階
１３２ 保存カラースペースでの画像表現段階
１３３ 制限されたカラー全範囲デジタル画像
１３４ 拡張保存カラースペースでの画像表現段階
１３５ 残存画像計算段階
１３６ 残存画像
１３７ デジタルファイル保存段階
１３８ デジタルファイル
１４０ デジタルファイル
１４１ デジタルファイルからのデータ抽出段階
１４２ 制限されたカラー全範囲デジタル画像
１４３ 残存画像
１４４ 拡張カラー全範囲デジタル画像を再構成する段階
１４５ 制限され再生成されたカラー全範囲デジタル画像
１５０ 画像修正
１５１ 制限されたカラー全範囲デジタル画像の修正段階
１５２ 残存画像修正段階
１５３ 制限され修正されたカラー全範囲デジタル画像
１５４ 修正された残存画像
１５５ 修正されたデジタルファイル
１９０ まばらにサンプリングされた高解像度デジタル画像
２００ デジタル画像プロセッサ
２１０ 完全解像度デジタル画像
２２０ 保存カラースペースで画像を表現する段階
２３０ 保存スペースデジタル画像
２４０ 残存画像計算段階
２５０ 残存画像
２６０ デジタルファイル保存段階
２７０ デジタルファイル
２８０ デジタルファイル
２９０ デジタルファイルからデータを抽出する段階
３００ 保存スペースデジタル画像
３１０ 残存画像
３２０ まばらにサンプリングされた高解像度デジタル画像の再構成段階
３３０ 再構成されたまばらにサンプリングされた高解像度デジタル画像
【発明の属する技術分野】
本発明は、一般的に画像取得（ｉｍａｇｅ ｃａｐｔｕｒｅ）の分野に関し、より詳細には拡張ダイナミックレンジ撮像装置を伴って取得する情報から生じる情報を保存する方法に関する。
【０００２】
【従来の技術】
電荷結合素子（ＣＣＤ）のような撮像装置は一般的にはデジタルカメラ、スキャナー、及びビデオカメラのような製品で使用されている。かかる撮像装置は、伝統的なネガフィルム製品と比較して非常に制限されたダイナミックレンジを有する。典型的な撮像装置は約５ストップ（ｓｔｏｐ）のダイナミックレンジを有する。信号のクリッピングを回避するために、典型的な景色における露出をかなりの正確さで決定しなければならないことを意味する。加えて、頻繁に景色は、多重光源の結果として非常に幅広いダイナミックレンジを有する（例えば、景色のフロントリット（ｆｒｏｎｔｌｉｔ）及びバックリット（ｂａｃｋｌｉｔ）部分）。幅広いダイナミックレンジ景色の場合には、被写体に対する適切な露出を選択することは、画像の別の部分におけるデータのクリッピングをしばしば必要とする。このように、ハロゲン化銀の媒体に対して撮像装置の劣るダイナミックレンジは、撮像装置によって得られた画像において、より低い画像品質に帰着する。
【０００３】
撮像装置のダイナミックレンジの増加は、デジタルカメラからの画像の再平衡を許容し、より満足な画像表現を達成する。また、Ｌｅｅらにより記載され１９９１年４月３０日に発行されて公開された米国特許出願番号５０１２３３３のように、撮像装置のダイナミックレンジの増大は、画像に対するより満足なコントラストの改善を可能にする。
【０００４】
Ｉｋｅｄａが所有する２０００年３月２１日に発行された米国特許出願番号６０４０８５８は、撮像装置の制限されたダイナミックレンジの問題の完全な記述を提供している。加えて、Ｉｋｅｄａは、露出に対して異なる応答をする多重画像信号によって撮像装置のダイナミックレンジを拡張する方法を記載している。これらの多重信号を、画像信号の各場所においてどの信号が高品質であるかを決定する閾値を使用することによって組み合わせ、拡張されたダイナミックレンジを有する画像信号を形成する。Ｉｋｅｄａは、かかる閾値を各色に対して決定する方法を記載することによって、これらの方法を改善する。
【０００５】
共通する撮像装置に関したダイナミックレンジの限度に加えて、別の問題は、最も一般的なデジタル画像保存フォーマットに関したカラーエンコード（ｃｏｌｏｒ ｅｎｃｏｄｉｎｇ）もまた制限されたダイナミックレンジを有することである。典型的には、デジタルカメラのようなデジタル画像装置の使用は、典型的なＣＲＴモニターに直接表示された場合に満足な画像を生成するカラーエンコーダに保存されたデジタル画像を受け取ることは普通である。典型的には、この配置は多くの一般的なワークフローにおいて便利であり、互換性と共同利用を最大化する多くの場合において望ましい。ＣＲＴモニターは、多くの一般的な撮像装置のカラー全範囲（ｃｏｌｏｒ ｇａｍｕｔ）と比較して、実質的に制限されたカラー全範囲を有している。（撮像装置のカラー全範囲は、装置によって生成することができる色及び輝度値の幅を意味する。ダイナミックレンジは、装置によって生成されることができる輝度値のレンジに関するカラー全範囲の一つの態様である。）撮像装置により取得されたカラー値を特定の出力装置で表示する際の適切なカラー値に変換する処理は、しばしば“描写（ｒｅｎｄｅｒｉｎｇ）”と呼ばれる。描写処理は、描写された空間のカラー全範囲外の色を有する景色のエリアに対応する画像データの多大なる損失を一般的に引き起こす。したがって、本発明の方法を用いて生成された拡張ダイナミックレンジ画像の場合、余分のダイナミックレンジは楽しまれず、認識もされなければ、真価を認められず、若しくは拡張カラー全範囲画像データが改善された画像を形成するために使用される以前に画像が、制限されたカラー全範囲保存スペースに保存されるべき場合、使用者によって認識されない。
【０００６】
【発明が解決しようとする課題】
それゆえ、撮像装置のダイナミックレンジの改善及び使用者に利用し易い形態で保存される装置の追加のダイナミックレンジを可能にするために従来のかかる方法を改良する必要がある。特に、単一の撮像装置及び単一の画像信号により拡張ダイナミックレンジ画像信号を生成し、一般の画像のワークフローと互換性ある標準形態でその画像信号を表現する必要がある。
【０００７】
【課題を解決するための手段】
本発明は、上記にて記載した一つ以上の問題を克服するために導かれる。概略すると、本発明の一つの態様から、拡張ダイナミックレンジデジタル画像を発生させて保存する画像取得システムは、速いフォトサイト（ｐｈｏｔｏｓｉｔｅ）によって生成される速い画素値と、遅いフォトサイトによって生成される遅い画素値とを有する、まばらにサンプリングされた高解像度デジタル画像を生成するために、露光量に対するより遅い応答を備えた前記遅いフォトサイトとともに点在する前記露光量に対する所定の応答を備えた前記速いフォトサイトを有する撮像装置と、拡張ダイナミックレンジを有する完全解像度デジタル画像を形成するよう前記まばらにサンプリングされた高解像度デジタル画像で前記速い画素値のダイナミックレンジを拡張するために前記遅い画素値を採用するデジタル画像プロセッサと、保存スペースにて表現される制限されたダイナミックレンジデジタル画像を形成するよう前記完全解像度デジタル画像のダイナミックレンジよりも狭いダイナミックレンジを有する前記保存スペースのダイナミックレンジ内に適合するように前記完全解像度デジタル画像のダイナミックレンジを縮減し、且つ、前記完全解像度デジタル画像を再構成するために前記制限されたダイナミックレンジデジタル画像とともに使用され得る、前記完全解像度デジタル画像と前記制限されたダイナミックレンジデジタル画像との間の差異を表す１又はそれ以上の残存画像を生成するエンコーダと、前記１又はそれ以上の残存画像と関連して前記制限されたダイナミックレンジデジタル画像を保存するデジタル画像保存部とを有し、前記デジタル画像プロセッサは、速い画素値を高露出応答閾値と比較して、前記高露出応答閾値を超える前記速い画素値を、隣接する遅い画素値の関数である画素値により置換し、また、遅い画素値を低露出応答閾値と比較して、前規定露出応答閾値を下回る前記遅い画素値を、隣接する速い画素値の関数である画素値により置換するダイナミックレンジ拡張フィルターアレイ（ＤＲＥＦＡ）プロセッサである。
【０００８】
別の態様からは、本発明は拡張ダイナミックレンジシステムで有用な画像信号を発生させる画像センサを含み、上記画像センサは、速いフォトサイト及び遅いフォトサイトに分割されるフォトサイトアレイと、前記フォトサイトの上に置かれ、露光量に対する所定の標準応答を伴う速いフォトサイト及び同一の露光量に対する遅い応答を伴う遅いフォトサイトを提供する構成素子とを含んでいる。かかる構成素子は、下記の形態となるであろう：ａ）フォトサイトの上に置かれた小レンズのアレイであって、速いフォトサイトに重なる小レンズは、遅いフォトサイトに重なる小レンズよりも集光においてより効率的に構成されている；ｂ）フォトサイトの上に置かれた開口を伴うマスクであって、速いフォトサイトに重なる開口は、遅いフォトサイトに重なる開口よりも大きい；若しくはｃ）フォトサイトの上に置かれた減光フィルターであって、速いフォトサイトに重なる減光フィルター部分は、遅いフォトサイトに重なる減光フィルター部分よりも透明である。
【０００９】
本発明において、画像取得装置の選択されたフォトサイトは、露出に対して遅い応答を有するように設計されている。かかる遅いフォトサイトは、一般的に露出に対して、選択されてないフォトサイト若しくは速いフォトサイトよりも遅い応答を有する。本発明の利点は、例えば画像取得装置からの画像信号は、すべてのフォトサイトのダイナミックレンジを有効利用するために処理されることである。このように、増大したダイナミックレンジを有する画像信号は、飽和した若しくはノイズレベルにあるフォトサイトに近隣するフォトサイトの値を挿入することによって生成される。
【００１０】
本発明の別の態様は、制限されたダイナミックレンジデジタル画像を形成するよう保存カラースペースの制限されたダイナミックレンジ内で適合するように拡張ダイナミックレンジデジタル画像を調整することによって、制限されたダイナミックレンジを有する保存カラースペースに拡張ダイナミックレンジデジタル画像を保存する段階と、保存カラースペースで制限されたダイナミックレンジデジタル画像を表す段階と、拡張ダイナミックレンジデジタル画像と制限されたダイナミックレンジデジタル画像との間の差異を表現する残存画像を決定する段階と、関連した残存画像及び保存カラースペースでの制限されたダイナミックレンジデジタル画像が再構成された拡張ダイナミックレンジデジタル画像を形成するために使用されるよう構成されるように、保存カラースペースでの制限されたダイナミックレンジデジタル画像と残存画像とを関連付ける段階とを含んでいる。
【００１１】
【発明の実施の形態】
デジタル画像は、一つ以上のデジタル画像チャネルからなる。各デジタル画像チャネルは、画素の二次元アレイからなる。各画素値は、画素の幾何学的な領域に対応する画像取得装置によって得られた光の量に関連する。カラー画像の適用において、デジタル画像は、一般的には赤色、緑色、及び青色のデジタル画像チャネルから構成される。他の形態もまた実用化され、例えば、シアンマジェンタ、及び黄色のデジタル画像チャネルである。モノクロへの適用においては、デジタル画像は、一つのデジタル画像チャネルから構成される。動画の適用は、デジタル画像のタイムシークエンス（ｔｉｍｅ ｓｅｑｕｅｎｃｅ）として考えられる。当業者は、本発明は適用可能であるが、上述した適用において制限されないことを認識するであろう。
【００１２】
本発明は、行及び列によって配置された画素値の二次元アレイとしてデジタル画像を記載しているが、当業者は本発明が同一効果を伴うモザイク（非直線）アレイに適用できるであろうことを認識するであろう。当業者はまた、本発明がオリジナルの画素値を処理された画素値と置換することが記載されているが、処理された画素値とともに新しいデジタル画像を形成して、オリジナルの画素値を保持することが想到され得ることを認識するであろう。
【００１３】
電子感知装置を採用する撮像装置は既知であり、したがって本記載は、特に、本発明に従う装置の各部を形成する要素又は当該装置とより直接的に協働する要素を対象とする。ここで特異的に示され、記述されていない要素は、当業者によって選択されるであろう。ここで使用されるように、用語「画像」は、値の二次元アレイであることに注意する。画像はまた、別の画像の二次元サブセットでもよい。本発明は、好ましくはプログラム化されたデジタルコンピュータを用いて実行される。上記コンピュータは、パーソナルコンピュータのような汎用のコンピュータであるか、画像処理のために設計された専用のコンピュータである。下記の開示を基に本発明を実行するためのコンピュータプログラムを構成することは、プログラム技術の分野ではありふれた技術ある。
【００１４】
本発明の実行において採用される必須な要素は、図１の機能的なブロック図形にて示されている。物体若しくは景色からの光は、レンズ２に入射し、下記にて記載されるような速い及び遅いフォトサイトを有するカラーフィルターアレイ（ＣＦＡ）を伴う電荷結合素子（ＣＣＤ）のような拡張ダイナミックレンジ撮像装置１０上に写真画像を形成する。ＣＭＯＳ装置のような別の装置が撮像装置１０にて使用されるかもしれないことは、注意すべきである。撮像装置１０は、まばらにサンプリングされ、拡張されたダイナミックレンジ撮像装置であり、下記により詳細に説明される。レンズ２と撮像装置１０間に設置された光低域フィルタ６は、エイリアシング（ａｌｉａｓｉｎｇ）の発生を縮減するために画像化された光のわずかなぼかしを実行する。Ａ／Ｄ変換器１４は、撮像装置１０からの画像化された光に対応する電圧信号を受け取り、電圧信号に対応する画像信号を生成する。下記に詳細に示されるように、撮像装置１０のデザインは、Ａ／Ｄ変換器１４から出力される画像信号がまばらにサンプリングされた高解像度デジタル画像であるよう設計される。デジタル画像プロセッサ２００は、Ａ／Ｄ変換器１４からまばらにサンプリングされた高解像度デジタル画像を受け取り、画像信号に修正し、完全解像度（ｆｕｌｌ−ｒｅｓｏｌｕｔｉｏｎ）デジタル画像を生成する。上記に記載のように、デジタル画像プロセッサ２００は、プログラム化されたパーソナルコンピュータであり、若しくは専用の画像プロセッサで有り得る。代替的に、本発明は、拡張ダイナミックレンジデジタル画像を生成するフィルム若しくは反射スキャナ若しくは別の装置にて実行され得る。カラーエンコーダ２７は、完全解像度デジタル画像若しくはまばらにサンプリングされたデジタル画像を入力として受け取り、残存画像及び制限されたダイナミックレンジデジタル画像を出力として生成する。残存画像及び制限されたダイナミックレンジデジタル画像の両者は、例えば、デジタルファイルのような残存画像と制限されたダイナミックレンジデジタル画像がお互いに関連するような方法にて保存されるために、デジタル画像保存器２９に入力される。最後に、画像再構成器３１は、デジタルファイルを受け取り、再構成された完全解像度のデジタル画像若しくはまばらにサンプリングされたデジタル画像を形成する。カラーエンコーダ２７及びデジタル画像保存器２９の動作は、図８、９、及び１２を用いてより詳細に説明される。画像再構成器３１の動作は、図１０、１１、及び１３を用いてより詳細に説明される。
【００１５】
図１に示されているＡ／Ｄ変換器１４は、撮像装置１０によって生成された電圧信号を画像信号、即ち、撮像装置１０のフォトサイトによって生成された電圧信号に対応するデジタル画素値の流れに変換する。さらに具体的には、Ａ／Ｄ変換器１４は、撮像装置１０からの、入射光の強度に関してほぼ線形である電圧信号を、例えば、１０ビットシグナルであり、線形エンコード値が０乃至１０２３の範囲にあるところの１０ビット信号に変換する。Ａ／Ｄ変換器１４はまた、線形コード値領域画像信号を、例えば、従来技術において実行される８ビット対数信号のような、非線形コード値領域画像に変換する処理を実行する。例えば、下記の式は、（ｘ、ｙ）が撮像装置１０に対する信号部位の行及び列のインデックスを特定する場合に、１０ビットの線形画像信号ａ（ｘ、ｙ）を８ビットの対数画像信号ｂ（ｘ、ｙ）に変換するために使用される。
【００１６】
【数１】
【００１７】
図１にて示されているデジタル画像プロセッサ２００は、二つの副構成要素を含んでいる。画像信号は、ダイナミックレンジ拡張フィルターアレイ（ＤＲＥＦＡ）プロセッサ２２によって受け取られる。ＤＲＥＦＡプロセッサ２２は、画像のダイナミックレンジを拡張して、サンプル値を挿入することによってＡ／Ｄ変換器１４から出力されたまばらにサンプリングされた高解像度デジタル画像を処理する。次いで、ＤＲＥＦＡプロセッサ２２は、修正された画像信号をＣＦＡ補間器２６へ送る。ＣＦＡ補間器２６で、カラー値は各画素でのカラー値を提供するよう補間される。ＣＦＡ補間器２６の出力は、完全解像度のデジタル画像である。
【００１８】
ＣＦＡ補間器２６の目的は、撮像された写真画像の各画素部位における色の完全な詳細を生成することである。好ましい実施態様において、撮像装置１０は、フォトサイトと呼ばれる感光性素子（ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｅｌｅｍｅｎｔ）のアレイを含んでいる。本記載において参照として組み入れられる、１９７６年７月２０日に公開された米国特許出願番号３９７１０６５において、Ｂａｙｅｒによって記載されるように、各フォトサイトは、一般的には赤色、緑色、若しくは青色のフィルターのいずれかを設けられる。Ｂａｙｅｒアレイはチェッカー盤パターン（ｃｈｅｃｋｅｒｂｏａｒｄ ｐａｔｔｅｒｎ）の隙間を満たすために一行ずつ交互にされた、赤いフィルタ及び青いフィルタとともにフォトサイト上のチェッカー盤パターンに緑色のフィルタが位置する色フィルターであり、これは赤いフィルタ部位若しくは青いフィルタ部位の２倍と同数の緑色のフィルタ部位を形成する。ここに記載された方法は、原色（ｐｒｉｍａｒｉｅｓ）の異なる配置、異なる原色数、若しくは異なる組の原色を伴うカラーフィルターアレイへと容易く拡張されるであろうことを注意する。したがって、好ましい実施態様において、各フォトサイトは、赤色、緑色、若しくは青い光の何れかに対して反応する。撮像装置１０から出力されたデジタル画像は、複数の異なるフォトサイト（速い及び遅いフォトサイトとして各々存在する速い及び遅い、若しくは赤色、緑色、及び青色）を有するが、各画素部位において単一値のみを生成するため、デジタル画像はまばらにサンプリングされたデジタル画像である。しかしながら、各フォトサイト部位に関して赤色、緑色及び青色の露出の各々の露出に対応する画素値を得ることは好ましい。Ａ／Ｄ変換器１４から出力されるまばらにサンプリングされる高解像度デジタル画像の画素値は、画素部位の近隣での赤色、緑色、及び青色値を有するまばらにサンプリングされる画像を構成している。記載において、“赤色”、“緑色”、及び“青色”は、画像処理技術において既知のように、撮像装置１０の主要なスペクトル感度を表現している。ＣＦＡ補間器２６は、各フォトサイトにおける原色に対応する画素値から構成される補間画像信号をＡ／Ｄ変換器１４から出力した画像信号から発生させる。例えば、特定のフォトサイトが赤いフィルターによって覆われている場合、Ａ／Ｄ変換器１４は、赤いフィルターが必然的に特定のフォトサイトからの緑色及び青い光を遮るため、フォトサイトにおける赤い画素値を出力する。ＣＦＡ補間器２６は、たとえ対応するフォトサイトが緑色及び青い光に応答しないとしても、対応するフォトサイトにおける緑色の画素値及び青い画素値を計算する。同様にして、ＣＦＡ補間器２６は、緑色のフォトサイトに対応する赤色の画素値及び青い画素値と同様に、青いフォトサイトに対応する緑色の画素値及び赤い画素値を計算する。ＣＦＡ補間器２６の動作は、ＤＲＥＦＡプロセッサ２２との組合せが可能である。概念的に、ＣＦＡ補間器２６及びＤＲＥＦＡプロセッサ２２は、明らかに区別された動作を実行し、明瞭化の目的においては、本実施態様においては組み合わせない。
【００１９】
一般的に、ＣＦＡ補間器２６は、対応するフォトサイトの画素値及び関連する周囲のフォトサイトの画素値を考慮することによって動作する。既知の補間器が使用されるであろう一方で、好ましいＣＦＡ補間器の記載が、Ａｄａｍらの１９９７年７月２９日に公開された米国特許出願番号５６５２６２１で開示される。この特許文献は、ここで参照として組み入れられている。Ａｄａｍらは、少なくとも三つの分離するカラー値であって、各フォトサイト部位における唯一一つのカラー値を発生させる行及び列で配列されたカラーフォトサイトを有する画像センサから得られるデジタル化された画像信号を処理する装置と、三つの異なるカラー値を有するために各フォトサイト部位のカラー値を補正するための構成を記載している。かかる装置は、フォトサイト近隣の失ったカラー値とは異なる色のカラー値からの、かかるフォトサイト部位の追加的なカラー値の挿入によってフォトサイト部位から失った適切なカラー値を発生させる。Ａｄａｍｓ装置を基にしたＣＦＡ補間器２６はまた、同一の行及び列の近隣のフォトサイトに対応する画素値から少なくとも二つの画像方向において、ラプラシアンの２次の値（Ｌａｐｌａｃｉａｎ ｓｅｃｏｎｄ−ｏｒｄｅｒｖａｌｕｅｓ）、勾配値（ｇｒａｄｉｅｎｔ ｖａｌｅ）及び色差偏り値（ｃｏｌｏｒ ｄｉｆｆｅｒｅｎｃｅ ｂｉａｓ ｖａｌｕｅ）を獲得し、かかる値から発展した分類子（ｃｌａｓｓｉｆｉｅｒ）に基づいて、失われたカラー値の補間のために好ましい配置を選択する。最後に、近隣の複数のカラー画素値から失われたカラー画素値は、好ましい配置と一致するよう選択される。
【００２０】
Ａ／Ｄ変換器１４から出力されるまばらにサンプリングされた高解像度デジタル画像は、拡張ダイナミックレンジを有する修正された画像信号を形成するよう画像信号のダイナミックレンジを拡張するＤＲＥＦＡプロセッサ２２によって受け取られる。好ましい実施態様において、撮像装置１０のダイナミックレンジは、遅い応答を有するよう撮像装置１０の特定フォトサイトを設計することによって拡張される。撮像装置１０に対する遅い応答を有するフォトサイトの配置は、下記においてより詳細に説明されるであろう。遅い応答を有するフォトサイトの応答は、「遅いフォトサイト」とも呼ばれる選択されたフォトサイトのゲインを変更によって遅延又は減速される。フォトサイトのゲインの変更は、一般的にはデジタルカメラのデザイン及び製造において実行される。
【００２１】
図２を参照すると、各フォトサイトの上端部にて樹脂性の小レンズ５１を設置することは、撮像製造の技術において一般的である。例えば、特に撮像装置１０がインターライン固体状撮像装置である場合、小レンズのような技術がＩｓｈｉｈａｒａに１９８７年５月１９日に発行され、参照としてここに組み入れられている米国特許出願番号４６６７０９２に記載されている。Ｉｓｈｉｈａｒａは、ブロック表面と、電荷形態で画像を保存するようブロック表面にそって埋め込まれている複数の保存装置とを有する画像保存ブロックを含む固体状画像装置を開示している。重なる層は、保存要素に対応して光レンズのアレイを形成するよう堆積される。中間層は、ブロック表面と、重なる層との間に存在する。入射光は、レンズ及び中間層を通過して保存要素に合焦する。中間層は、小レンズの焦点距離を調整する調整層として働く。
【００２２】
図２は、インターライン固体状撮像装置の断面図を示している。小レンズ５１を有しない場合、フォトサイトの各感光性エリア５５と関連する信号読出しエリアは、光電子伝導エリアとしての半導体基板の全体のエリアの使用を不可能にする。従来の固体状画像装置は、すべての入射光線を効果的には使用せず、したがって低い感度を有する。フォトサイト上部への樹脂の小レンズ５１の追加は、入射光線がフォトサイトの光活性エリアにて合焦されることを可能にし、それによってより効果的に光の入射光線を活用し、フォトサイトの感度を増大させる。それゆえ、小レンズ５１の大きさ及び／若しくは効率を変化することによって、フォトサイトの感度（ゲイン）は、容易く変化され得る。したがって、インターライン装置及びＣＭＯＳセンサにおいて、フォトサイトのゲインを変化する好ましい方法は、フォトサイトの上部に位置する小レンズ５１を変化させることによる。図２に示されるように、部位５２は、小レンズを有せず、したがって感光性エリアへ入射する光の入射光線はほとんどない。代替的に、小レンズは、小レンズ５１と比較して異なる半径、形状、大きさ、若しくは物質を伴って部位５２に製造され、それによって光感受性エリア５５上への光の入射光線を合焦する効率が小レンズ５１よりも低くなるよう構成される。当業者は、小レンズ５１が光感受性エリア５５上に光の入射光線の８０％を合焦し、小レンズ（あるいは遅い小レンズ）を有しない部位５２が光感受性エリア５５上に光の入射光線の２０％を可能にする場合、小レンズ５１によって覆われたフォトサイトが部位５２よりも速い２ストップであることを認識するであろう。部位５２によって表されるように、この場合、小レンズ５１は、速いフォトサイトにおいて使用され、小レンズの非存在は遅いフォトサイトにおいて使用される。
【００２３】
図３を参照すると、フルフレーム（ｆｕｌｌ ｆｒａｍｅ）撮像装置１０の断面図が示されており、この場合、撮像装置１０はフルフレーム装置であって、フォトサイトの光感受性エリア５５への光線の入射は、図３の断面図にて示されるように光をブロックするマスク部分５４と、光をブロックする部分に散在する大きい及び小さい開口５６及び５７とを構成する一般的には金属から作られる光シールドの開口を通過する。好ましい実施態様において、フォトサイトのゲインは、光をブロックするマスク部分５４の修正によって変化されるであろう。次いで、フォトサイトの感度は、光をブロックするマスク部分５４の開口に直接的に関連している。例えば、第二フォトサイトの開口の大きさの５０％の開口を伴う一つのフォトサイトは、第二フォトサイトと比較して５０％の応答を有するであろう。例えば、光をブロックするマスク部分５４の大きな開口５６は、フォトサイトに入射する光線の８０％が通過することを可能にするが、小さい開口５７は、入射光線の２０％しか通過することを可能にしない。当業者は、大きな開口５６を伴うフォトサイトが小さい開口５７を伴うフォトサイトよりも速い２ストップであることを認識するであろう。この場合、大きな開口５６は早いフォトサイトにおいて使用され、小さい開口５７は遅いフォトサイトにおいて使用される。したがって、光をブロックするマスクの開口は、選択されたフォトサイトの応答を調節するよう修正され得る。イーストマンコダックは、すべての画素の画素活性エリアを約８０％から２０％まで縮減する金属マスクの光シールドを伴うフルフレーム撮像装置を製造している（ディザー（ｄｉｔｈｅｒｅｄ）スキャナにおいて、センサは画素間隔の１／２によって水平及び垂直に移動され、四つの写真が得られる）。したがって、技術はこのようなマスク技術の活用を含むが、異なる大きさの開口を伴い、画像の光に対して異なる応答を伴う画像センサを提供する。
【００２４】
好ましい実施態様において、選択された遅いフォトサイトの応答は、図４にグラフとして示されるように同一の露出における速いフォトサイトのＸ％（Ｘは１００以下）である。好ましい実施態様において、選択されたフォトサイトは、速いフォトサイトと比較して二つのストップ（−ｌｏｇＸ／１００）によって遅らされた応答を有し、結果としてＸ＝２５となる。したがって、撮像装置１０は、複数のセットのフォトサイト、速いフォトサイト及び遅いフォトサイトから構成される。速いフォトサイトの出力応答の収集は、まばらにサンプリングされた速いデジタル画像を構成し、例えば、速いフォトサイトを伴って撮像された景色のまばらにサンプリングされた形態である。同様に、遅いフォトサイトの出力応答の収集は、まばらにサンプリングされた遅いデジタル画像を構成し、例えば、遅いフォトサイトを伴って撮像された景色のまばらにサンプリングされた形態である。
【００２５】
別の代替として、選択された遅いフォトサイトの応答は、フォトサイトの表面を覆う中性フィルターの使用によって遅らされる。図５は、カラーフィルターアレー５３を伴う撮像装置の断面図を示す。カラーフィルターアレー５３ａは赤色、５３ｂは緑色、５３ｃは赤色、及び５３ｄは緑色であることを注意する。中性フィルターの層５８は、上記のカラーフィルターアレイ５３の上に含まれるが、中性フィルターの層５８及びカラーフィルターアレイ５３の位置は問題とはしない。中性フィルター５９によって示されているように、中性フィルターの層５８は選択されたフォトサイトの位置にて唯一中性フィルターを含むことを注意する。この場合、中性フィルターの層５８は速いフォトサイトにおいて透明であるか、若しくは透明に近く、遅いフォトサイトにおいて中性フィルター５９を含む。例えば、中性フィルターが光のＸ％伝達を可能にする物質から構成される場合、遅いフォトサイトの応答は速いフォトサイトの応答と比較して−ｌｏｇ２（Ｘ／１００）ストップによって遅くされる。
【００２６】
図１に示されているＤＲＥＦＡプロセッサ２２は、より詳細に記載される。ＤＲＥＦＡプロセッサ２２の目的は、速いフォトサイト及び遅いフォトサイトの光応答の差異を明らかにしながら、入力画像信号を処理することによって増大したダイナミックレンジを伴う修正画像信号を作ることである。したがって、ＤＲＥＦＡプロセッサ２２の出力は、増大した数のダイナミックレンジを有する修正された画像信号である。かかる修正された画像信号は、上述にて記載されたような処理のためにＣＦＡ補間器２６に入力される。
【００２７】
Ａ／Ｄ変換器１４及びＤＲＥＦＡプロセッサ２２の直接接続は本発明の要求するところではない。ＤＲＥＦＡプロセッサ２２は、Ａ／Ｄ変換器１４及び撮像装置１０の近隣のハードウェア若しくはソフトウェアに存在する。例えば、ＤＲＥＦＡプロセッサ２２は、デジタルカメラ内に直接存在するであろう。しかしながら、ＤＲＥＦＡプロセッサ２２は、撮像装置１０から離れていても良い。例えば、Ａ／Ｄ変換器１４から出力される画像信号は、ＤＲＥＦＡプロセッサ２２の動作に利用するよう、パーソナルコンピュータ装置、プリンタ、若しくはリモートサーバへ有線若しくは無線接続を介して送信され得る（圧縮後）。画像信号の送信は、ファイル伝送プロトコル若しくは電子メールを含みうる。
【００２８】
好ましい実施態様において、撮像装置１０のフォトサイトの５０％は、遅い応答を有するために選択される。当業者は、遅い画素及び速い画素の相関率は重要ではなく、本発明の利点は速いフォトサイト及び遅いフォトサイトの様々な相関率を伴って達成され得ることを認識するだろう。すべてのフォトサイトがほぼ等価なスペクトル感度を有する撮像装置１０の場合（例えば、パンクロ撮像装置）において、図６Ａは遅い応答の撮像装置１０のすべてのフォトサイトの約５０％の結果となる遅いフォトサイトの配置を示している。遅い応答を伴うフォトサイト２８は、（＊）アスタリスクにより印を付され、一方で速い応答を有するフォトサイト３０は空欄である。まばらにサンプリングされた画像は、カラーフィルターアレイを有する撮像装置１０により取得された画像として事前に明らかにされる。本発明によると、用語「まばらにサンプリングされた」は、速いフォトサイト及び遅いフォトサイトが点在する図６Ａに示されるような撮像装置によって生成される画像を称するように意図される。加えて、同一の露光量に対して遅い応答を有する遅いフォトサイトとともに点在する露光量に対する所定の応答を伴う速いフォトサイトを有する図６に示されるような撮像装置１０は、まばらにサンプリングされた拡張ダイナミックレンジ撮像装置である。
【００２９】
図６Ｂは、各フォトサイトの種類（赤色、緑色、若しくは青色感受性）の５０％が遅い応答を有する撮像装置１０における色の配置を示している。例えば、フォトサイト３２、３４、及び３６は、それぞれが、遅い応答を有する赤色、緑色、及び青色のフォトサイトであり、フォトサイト３８、４０、及び４２は、それぞれが、速い応答を有する赤色、緑色、及び青色のフォトサイトである。撮像装置１０はまた、事前の定義によるまばらにサンプリングされた拡張ダイナミックレンジ撮像装置であることを注意する。
【００３０】
図６Ａ及び６Ｂは、遅いフォトサイトの部位における規則的なパターンを意味する。規則的なパターンにおいて遅いフォトサイトが配置されることが好ましい一方で、それは決して必要ではない。遅いフォトサイトは、撮像装置１０の表面上に無作為に配置されるか、若しくは準無作為（ｓｅｍｉ−ｒａｎｄｏｍｌｙ）に配置され、かかる部位は、ＤＲＥＦＡプロセッサ２２にアクセス可能な位置に保存され得る。
【００３１】
図４を再度参照すると、特定の露出に対する早いフォトサイトの応答及び同一の露出に対する遅いフォトサイトの応答が示されている。ノイズｎのレベルが応答に重ねられる場合、速いフォトサイトが（１００Ｅ／Ｘにて開始する有効信号を生成する）遅いフォトサイトよりも低い露出（露出レベルＥにて開始）を伴い有効信号を生成するであろうことが容易に見られることは注意する。代替的に、遅いフォトサイトからのデータは、（Ｅ２ Ｓ の露出までの有効応答を生成する）速いフォトサイトよりも（１００／Ｘ ｘＥ２ Ｓ の信号レベルまでのＳが、単一フォトサイトの固有ダイナミックレンジであり、一般的にはＳは約５ストップである場合に）より高い露出レベルにおいて有効である。図４に示されているように、速いフォトサイト及び遅いフォトサイトの両者が露出のストップ（Ｓ）での応答の同一レンジを有するが、遅いフォトサイトの応答は好ましくは速いフォトサイトよりも遅い−ｌｏｇ２（Ｘ／１００）ストップであることを注意する。速いフォトサイトおよび遅いフォトサイトの応答は露出に関して重なっていることが好ましい。すなわち、−ｌｏｇ２（Ｘ／１００）＜Ｓが好ましい。速いフォトサイト及び遅いフォトサイトの両者を考慮する撮像装置１０の全体のダイナミックレンジは、Ｓ−ｌｏｇ２（Ｘ／１００）である。好ましい実施態様において、Ｓ＝５及びＸ＝２５の場合、撮像装置１０の全体の効果的ダイナミックレンジは、露出の７ストップである。
【００３２】
ＤＲＥＦＡプロセッサ２２は、非常に高い露出に対応する領域で画像信号を再構成するために遅いフォトサイトに対応する画素値を使用することによって本発明により生成されるデジタル画像の全体のダイナミックレンジを拡張するために活用される。同様にして、ＤＲＥＦＡプロセッサ２２はまた、非常に遅い露出に対応する画像信号を再構成するために速い応答を伴うフォトサイトに対応する画素値を使用する。
【００３３】
図７は、ＤＲＥＦＡプロセッサ２２のブロック図形を示す。Ａ／Ｄ変換器１４より出力される対数画像信号ｂ（ｘ、ｙ）であるまばらにサンプリングされた高解像度デジタル画像は遅い画素の補償器４４へ送られる。遅い画素の補償器４４の目的は、Ｘストップによる応答におけるオフセットを明らかにすることによって、遅いフォトサイトに対応する画像信号を補償することである。代替的には、速い画素は、反対方向で速い画素を調節することによって遅い画素と同等にすることができる。好ましい実施態様において、遅いフォトサイトに対応する画像信号は、量−ｃｖｓｌｏｇ（Ｘ／１００）によって増分される。なお、ｃｖｓは、露出のストップごとのコード値の数である。好ましい実施例において、量ｃｖｓは５１である。代替的に、遅い画素補償器４４へ入力される画像信号が露出に対して（対数的よりもむしろ）線形である場合、遅い画素補償器４４は、遅いフォトサイトに対応する画像信号を１００／Ｘの因子でスケーリングする。遅いフォトサイトの位置は遅い画素補償器４４に対して既知であると仮定することに注意する。遅い画素補償器４４の出力は、速いフォトサイトの応答と遅いフォトサイトの応答との間の差に関して遅いフォトサイトに対応する位置で補償された画像信号ｉ（ｘ，ｙ）である。速いフォトサイトに対応する位置において、Ａ／Ｄ変換器１４から出力された画像信号ｂ（ｘ，ｙ）の値は、遅い画素補償器４４から出力される画像信号ｉ（ｘ，ｙ）の値と同一である。画像信号ｉ（ｘ，ｙ）は８ビットのレンジに限定されないことに注意する。好ましい実施例において、ｉ（ｘ，ｙ）の値は０から３５７までの範囲である（即ち、９ビット。）。
【００３４】
次に、遅い画素補償器４４から出力される画像信号ｉ（ｘ，ｙ）は、遅い画素閾値装置（ｔｈｒｅｓｈｏｌｄｅｒ）４６への入力である。非標準閾値装置４６の目的は、フォトサイトが有効な信号を生成する為の十分な光子を受けないことに起因して低品質である遅い画素値を決定することである。これら（ｘ，ｙ）の位置における画素値は、近隣の速い画素値に基づいて新しい画素値を計算することによって、信号拡張装置５０によって実行される処理において置き換えられる。所定の閾値よりも小さいすべての遅い画素値は、問題の画素値であるとみなされる。遅い画素値の場合において、かかる所定の閾値は、低露出応答閾値（ｌｏｗ ｅｘｐｏｓｕｒｅ ｒｅｓｐｏｎｓｅ ｔｈｒｅｓｈｏｌｄ）のように呼ばれる。したがって、画素値ｉ（ｘ、ｙ）は、遅いフォトサイトである場合、及びＴ１は予め決められるとして
ｉ（ｘ，ｙ）＜Ｔ１
である場合は、問題であると考えられる。好ましい実施例において、Ｔ１の値は、
Ｔ１＝−ｃｖｓｌｏｇ２（Ｘ／１００）
によって与えられ、好ましい実施例においては１０２である。閾値Ｔ１は、部位（ｘ，ｙ）におけるフォトサイトの色感度に依存してもよいことに注意する。問題の遅い画素値は、ｉ（ｘ，ｙ）の値が有用であるには撮像装置のノイズレベルを十分に上回っていないので、ノイズ画素（ｎｏｉｓｅ ｐｉｘｅｌ）のように呼ばれる。
【００３５】
同様に遅い画素補償器４４から出力される画像信号ｉ（ｘ，ｙ）は、速い画素閾値装置４８への入力である。速い画素閾値装置４８の目的は、低品質である速い画素を決定することである。次にこれらの位置における画素値は、以下で詳細に記述する信号拡張装置５０によって実行される処理において、近隣の遅い画素値の付近に基づいて新しい画素値を計算することによって置き換えられる。所定の閾値よりも大きいすべての速い画素値は、問題の画素であると考えられる。速い画素の場合には、問題の速い画素を検出する目的のために使用される所定の閾値は、高露出応答閾値（ｈｉｇｈ ｅｘｐｏｓｕｒｅ ｒｅｓｐｏｎｓｅ ｔｈｒｅｓｈｏｌｄ）のように呼ばれる。このように、速い画素値ｉ（ｘ、ｙ）は、Ｔ２は所定の閾値であるとして
ｉ（ｘ，ｙ）＞Ｔ２
である場合は、問題であると考えられる。好ましい実施態様において、Ｔ２の値は、２５４である。閾値Ｔ２は、部位（ｘ，ｙ）におけるフォトサイトの色に依存してもよいことに注意する。問題の部位である速いフォトサイトは、ｉ（ｘ，ｙ）の値がこれらの部位において可能な限り高いので、飽和画素（ｓａｔｕｒａｔｅｄ ｐｉｘｅｌ）のように呼ばれる。
【００３６】
遅い画素閾値装置４６によって決められた問題の遅い画素の部位（ｘ、ｙ）及び速い画素閾値装置４８によって決められた問題の速い画素の部位（ｘ、ｙ）は、信号拡張装置５０へ入力される。加えて、遅い画素補償器４４から出力される画像信号ｉ（ｘ，ｙ）はまた、信号拡張装置５０へ入力される。信号拡張装置５０の目的は、ここで置換値（ｒｅｐｌａｃｅｍｅｎｔ ｖａｌｕｅ）のように呼ばれる信号の評価値で問題の位置（ｘ，ｙ）における画像信号ｉ（ｘ，ｙ）の値を置き換え、撮像装置１０における各フォトサイトの固有のダイナミックレンジをより大きくすることである。問題の部位が遅いフォトサイトと一致する場合、置換値は、速いフォトサイトと一致する隣接する画像信号画素値から計算される。この実施態様において、“隣接する”という用語は、ある一定の空間的な距離のことを言う。好ましい実施態様において、選択されたフォトサイトに隣接するフォトサイトは、選択されたフォトサイトの２フォトサイト分の距離以内にあるフォトサイトである。同様に問題の部位が速いフォトサイトと一致する場合は、置換値は、遅いフォトサイトと一致する隣接する画像信号の値から計算される。好ましい実施態様において、問題のフォトサイトにおけるフォトサイトの色もまた考慮される。任意の問題の部位に対する置換値は、好ましくは同等色の隣接するフォトサイトを起源とする信号のみによって決められる。信号拡張装置５０の出力は、撮像装置１０の各フォトサイトに対する実際の固有のダイナミックレンジＳよりもむしろ、まるで
Ｓ＝−ｌｏｇ２（Ｘ／１００）
の固有のダイナミックレンジを伴うフォトサイトを有する撮像装置１０によって取得されたかのような、ダイナミックレンジを有する画像信号ｉ´（ｘ，ｙ）である。問題の部位ではない全ての（ｘ，ｙ）の部位に対して、ｉ´（ｘ，ｙ）はｉ（ｘ，ｙ）と等価であることに注意する。
【００３７】
図６Ｂに示すＢａｙｅｒのＣＦＡパターンに対して信号拡張装置５０によって実行される処理の例として、部位（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が（図６Ｂにおけるフォトサイト３４のような）緑色のフォトサイトの部位である場合、画像信号ｉ（ｘ，ｙ）に対する置換値ｉ´（ｘ，ｙ）は次の方法で計算される。
【００３８】
【数２】
【００３９】
【数３】
【００４０】
【数４】
【００４１】
【数５】
【００４２】
別の例として、また図６Ｂに示すようなＢａｙｅｒのＣＦＡパターンと関連して、部位ｉ（ｘ，ｙ）が問題のフォトサイトであり、（ｘ，ｙ）が赤色又は青色のフォトサイトの部位である場合には、画像信号ｉ（ｘ，ｙ）の置換値ｉ´（ｘ，ｙ）は次の方法で計算される。
【００４３】
【数６】
【００４４】
【数７】
【００４５】
【数８】
【００４６】
１つ以上のまばらにサンプリングした画像信号から拡張したダイナミックレンジを伴う画像信号を発生させる目的の為の上述した挿入スキームは、当業者により変更してもよい。しかしながら、上述の挿入スキームに対する多くのこのような変更は導出され得、本発明の著しい逸脱として考慮されるはずはない。
【００４７】
当業者は、信号拡張装置によって実行される上述の挿入スキームは、当技術で周知の低域フィルターであることを認める。典型的に、デジタル画像信号への低域フィルターの適用は、デジタル画像信号の分解能を減少させることに対して同様の効果を有する。このように、ＤＲＥＦＡ処理装置２２によって実行される処理は、撮像装置１０の空間分解能を撮像装置１０のダイナミックレンジのために交換する場合もある方法である。実際に、信号のダイナミックレンジを増加させるために挿入スキームを実施する画像の領域は、もしも画像の同じ領域を（低い閾値装置４６及び速い閾値装置４８によって定義されるような）“問題の部位”が無いような方法で検出器によって取得した場合に起こるであろう画像よりも著しくぼやけて（鮮明でなく）現われる。
【００４８】
かかる接近の結果は、単に速いフォトサイトから構成される撮像装置と関連するよりも大きなダイナミックレンジを有するＤＲＥＦＡプロセッサ２２若しくはＣＦＡ補間器２６から出力するような拡張ダイナミックレンジデジタル画像である。この追加のダイナミックレンジは、多くの適用において改良された画質となる。特に、拡張ダイナミックレンジ画像情報が改良型画像処理アルゴリズムを伴って使用され得る場合は、序章に記載のような高いダイナミックレンジ画像を改良するためにデザインされた。しかしながら、デジタルカメラのようなデジタル撮像装置の使用は、典型的なＣＲＴモニターに直接表示された場合に満足な画像を生成するカラーエンコーダに保存されたデジタル画像を受け取ることは普通である。典型的には、この配置は多くの一般的なワークフローにおいて便利であり、互換性と共同利用を最大化する多くの場合において望ましい。ＣＲＴモニターはまた、多くの一般的な撮像装置のカラー全範囲と比較し、特に上記の拡張ダイナミックレンジデジタル画像と比較して実質的に制限されたカラー全範囲を有する。（撮像装置のカラー全範囲は、装置によって生成され得る色と輝度値の幅を意味する。ダイナミックレンジは、装置によって生成され得る輝度値の幅に関連するカラー全範囲の一つの態様である。）特定の出力装置上に適切に表示するための撮像装置により取得されるカラー値を変換する処理は、しばしば“描写”と呼ばれる。描写処理は、典型的には、表現された空間のカラー全範囲の外側の色を有する景色のエリアに対応する画像データの著しい損失となる。それゆえ、本発明の方法を用いて生成された拡張ダイナミックレンジ画像の場合、余分なダイナミックレンジは楽しまれず、認識もされなければ、真価を認められず、若しくは拡張カラー全範囲画像データが改良画像を形成するために使用される以前に画像が、制限されたカラー全範囲保存スペースに保存されるべき場合、使用者によって認識されない。
【００４９】
かかる制限は、カラーエンコーダ２７及びデジタル画像保存器２９の両者の機能を表示する図８に示される方法を使用することによって克服され得る。拡張カラー全範囲デジタル画像１２０は、ビデオＲＧＢのような保存カラースペースの制限されたカラー全範囲の外側であるカラー値を有する。完全解像度デジタル画像のような拡張カラー全範囲デジタル画像は、図１に示されるデジタル画像プロセッサ２００から出力される。カラー値を調節する段階１２１は、制限されたカラー全範囲デジタル画像１２２を形成するための保存カラースペースの制限されたカラー全範囲内に適合するカラー値を制限するために使用される。次ぎに、画像は、保存スペースデジタル画像１２４を生成する保存カラースペース１２３に表示される。残存画像は、拡張カラー全範囲デジタル画像と制限されたカラー全範囲デジタル画像の差異を表現する一つ以上の残存画像１２６を決定するために計算される１２５。次いで、保存スペースデジタル画像１２４と残存画像１２６は、デジタルファイル１２８に保存される１２７。
【００５０】
図８の各段階はより詳細に説明される。多くの適用において、適用に関連するワークフローに適した特異的な保存カラースペースにてデジタル画像の保存、表示、及び操作は便利である。保存カラースペースが、用語としての保存スペースによってより一般的に記載されることに注意する。保存スペースは、灰色若しくは黒色及び白い空間のようなモノクロ保存スペースであるか、若しくは保存カラースペースである保存スペースである。好ましい実施態様において、保存スペースは保存カラースペースである。頻繁に、選択される保存カラースペースは、一般的な出力装置若しくはシステムによって使用される媒体を関連するカラースペースに依存する装置である。多くの場合、ビデオＲＧＢカラースペースは、更なる処理なしでコンピュータビデオ表示に直接表示若しくはプレビューされ得るために使用される。加えて、コンピュータでの画像操作が利用可能な多くのソフトウェアアプリケーションは、ビデオＧＲＢカラースペースにて画像を伴い作業するためにデザインされている。保存カラースペースのカラー全範囲は、拡張カラー全範囲デジタル画像１２０のカラー全範囲よりも小さいか若しくは少なくとも異なっているであろう。結果として、保存カラースペースにて表示できない拡張カラー全範囲デジタル画像１２０にて一般的に色があるであろう。例えば、拡張カラー全範囲デジタル画像１２０が、上記のような速い及び遅いフォトサイトを伴うセンサを有するデジタルカメラによって取得された拡張ダイナミックレンジデジタル画像である場合を考える。ビデオＲＧＢカラースペースのカラー全範囲の外側である拡張ダイナミックレンジデジタル画像のカラー全範囲内に多くの色がある。したがって、情報は、ビデオＲＧＢカラースペースの拡張ダイナミックレンジデジタル画像若しくは任意の制限されたカラー全範囲保存スペースに保存されるために廃棄されるべきである。本発明では、失った情報は一つ以上の残存画像に保存される。
【００５１】
拡張カラー全範囲デジタル画像のカラー値は、制限されたカラー全範囲デジタル画像１２２を形成する保存スペースの制限されたカラー全範囲内に適合するために調整される１２１。この段階において、制限されたカラー全範囲外にあるカラー値が制限されたカラー全範囲内のカラー値に写像される場合、情報は廃棄されるべきである。ある場合、全範囲外の色におけるカラー値は単に“クリップされる”、例えば、制限されたカラー全範囲の表面上のカラー値に写像される。別の場合、より洗練された全範囲写像方法は、拡張カラー全範囲を制限されたカラー全範囲にハードクリッピング機能の導入なしで圧縮するために使用される。例えば、入力カラー値のクロマは縮小され得、拡張カラー全範囲での最も飽和した色は、制限されたカラー全範囲にて最も飽和した色に写像される。あるいは、全範囲写像方法は、色の外観をできるだけ緊密に保存することをデザインして使用され得る。全範囲写像技術の使用に関わりなく、情報の損失及び画像の色特質のねじれの必要性があるであろう。
【００５２】
加えて、拡張カラー全範囲デジタル画像の輝度ダイナミックレンジを縮減する必要性が典型的にはあるであろう。一般的に、カラー値を調整する段階１２１の実行のある部分は、トーンスケール（ｔｏｎｅ ｓｃａｌｅ）機能の適用を含むであろう。トーンスケール機能は、入力画像強度を出力画像強度に写像し、画像の輝度チャネル若しくは代替としてＲＧＢカラー表示の各カラーチャネルに適用されるであろう。
【００５３】
一旦制限されたカラー全範囲デジタル画像１２２が決定されると、次ぎの段階は、保存カラースペースに表示する１２３ことである。この段階の出力は保存スペースデジタル画像１２４である。典型的に、この段階は、制限されたカラー全範囲デジタル画像１２２の調節されたカラー値と対応する保存スペースカラー値を決定するために装置モデル若しくはカラースペース転換の適用を含んでいる。例えば、調節されたカラー値がＣＩＥＬＡＢカラースペースの定義にて特定された場合、ビデオ表示装置モデルは、特定され調節されたカラー値を生成する必要性がある対応するビデオＲＧＢ値を決定するために使用され得る。
【００５４】
次いで、拡張カラー全範囲デジタル画像１２０と制限されたカラー全範囲デジタル画像１２２の差異を表現する一つ以上の残存画像１２６が計算される１２５。簡素化した形体において、単一の残存画像１２６は、拡張カラー全範囲デジタル画像１２２の入力カラー値から制限されたカラー全範囲デジタル画像１２２の調節されたカラー値を単に差し引くことによって計算される。次いで、残存画像は、カラースペースにおいて、カラー値を表示するために使用される。或いは、カラー値は、残存画像の計算において利便性がある別のスペースに変形できる。例えば、残存画像の圧縮に適する、若しくは拡張カラー全範囲デジタル画像の再構成での使用において便利であるカラースペースにて残存画像を計算することは望ましい。
【００５５】
単一の残存画像のみに代わって複数の残存画像を保存する利点としてのさまざまな理由がある。例えば、ある残存画像での輝度エラーと関連する残存エラー及び追加の残存画像でのクロミナンスエラーと関連する残存エラーを保存することが望ましい。これは、再構成された拡張カラー全範囲デジタル画像の決定処理中に使用する残存エラーのタイプを選択する適用を可能にする。
【００５６】
別の場合では、複数の残存画像のセットは拡張ダイナミックレンジ画像データの異なるサブセットに対応できる。例えば、第一の残存画像は、制限されたカラー全範囲デジタル画像と関連するダイナミックレンジを超えて固定されたデジタル画像のダイナミックレンジを拡張できる。次いで、第二の残存画像は、第一残存画像と関連する拡張ダイナミックレンジを超えてダイナミックレンジを追加増加して拡張できる。この方法において、拡張カラー全範囲デジタル画像を用いる適用は、適用による拡張ダイナミックレンジの要求量と関連する残存画像のみを使用できる。
【００５７】
複数の残存画像を利用する別の理由は、残存画像が制限された大きさを有するデジタルファイルでのタグ（ｔａｇ）に保存される場合において有効である。この場合、残存画像データは、サイズの制限内に適合し、より小さく分解され得る。例えば、残存画像は、拡張カラー全範囲デジタル画像での画素のサブセットにおいて決定され得る。この方法において、残存画像データは、タイルド方法（ｔｉｌｅｄ ｆａｓｈｉｏｎ）にて保存され得る。
【００５８】
一般的に、拡張カラー全範囲デジタル画像及び制限されたカラー全範囲デジタル画像１２２は、残存画像が計算され、全範囲内色がゼロの残存エラーによって与えられる以前に、同一のカラースペースにて表現されるべきである。殆どの画像が全範囲外であるカラー値の小さい分画を有するのみであるため、残存画像はゼロによって支配され、したがってかなり圧縮されるであろう。
【００５９】
カラー値を調節する段階１２１が制限されたカラー全範囲外と同様に制限されたカラー全範囲内の色においてカラー値を修正する変形の適用を含む場合において、残存画像は、拡張カラー全範囲デジタル画像の入力カラー値と非ゼロ値の大きな数を有する制限されたカラー全範囲デジタル画像１２２の調整されたカラー値間の差異を直接計算することによって決定される。これは、残存画像が圧縮されない場合において望ましくない。
【００６０】
一旦残存画像１２６が計算されると、保存スペースデジタル画像１２４を伴うある方法にて関連されるべきである。これは、保存スペースデジタル画像１２４を保存するために使用される第二メモリバッファーと関連しているメモリバッファーでの残存画像１２６の保存を含んでいる。或いは、多くの適用は、磁気ディスク、光ディスク、若しくはデジタルファイル保存段階１２７を使用するＰＣＭＣＩＡカードのようなデジタル保存媒体のある種類上においてデジタルファイル１２８で画像データを保存するであろう。この場合、保存スペースデジタル画像１２４及び残存画像１２６は、二つの異なるファイルに保存され得るか、若しくは同一のデジタル画像ファイルに保存され得る。多くの場合において、保存スペースデジタル画像１２４を保存するために使用されるファイルフォーマットは、プライベート画像タグ（ｐｒｉｖａｔｅ ｉｍａｇｅ ｔａｇ）の使用を支持する。例えば、ファイルフォーマットＴＩＥＦ、ＥＸＩＦ及びＦｌａｓｈＰｉｘのすべては、この種類のタグを支持する。かかるタグは、メタデータ（ｍｅｔａ−ｄａｔａ）と呼ばれる。このタイプのファイルフォーマットが使用される場合、残存画像タグの形体で残存画像データを保存することが便利である。この方法では、残存画像タグの活用方法を知らない適用は単に無視し、したがって保存スペースデジタル画像１２４にのみ接近するのに反して、残存画像タグの使用方法を知っている適用は、拡張カラー全範囲デジタルデータを再構成するために活用できる。あるファイルフォーマットはタグのサイズでの制限に位置し、残存画像の圧縮は係る適用において重要である。
【００６１】
本開示の残りでは、単一残存画像の場合が説明されるであろう。しかしながら、方法が複数の残存画像のセットを使用するために容易く一般化できることは認識されるべきである。
【００６２】
本発明と一致したデジタル画像を保存する第二の方法は図９に示されて、カラーエンコーダ２７及びデジタル画像保存器２９の両者の機能を表現している。この実施態様は、図８に示された実施態様と同一であるが、しかし残存画像を決定する方法において異なっている。第二の実施態様においては、残存画像は保存カラースペースのコード値に関連して表現される。図９は、保存カラースペースの制限されたカラー全範囲の外側であるカラー値を有する拡張カラー全範囲デジタル画像１３０を示している。保存カラースペースの制限されたカラー全範囲内に適合するであろうカラー値を制限するためのカラー値が調節される１３１。次ぎに、画像は、制限されたカラー全範囲デジタル画像１３３を生成する保存カラースペースで表現する１３２。次いで、画像は拡張保存カラースペース１３４にて表現され、残存画像は拡張カラー全範囲デジタル画像と制限されたカラー全範囲デジタル画像（両者は保存カラースペースによりエンコードされている）の差異を表現する残存画像１３６を生成するために計算される１３５。次いで、制限されたカラー全範囲デジタル画像１３３と残存画像１３６はデジタルファイル保存段階１３７を用いてデジタルファイル１３８に保存される。
【００６３】
第二方法のほとんどの段階が第一方法での段階に対応して同一であるため、異なる唯一の段階はより詳細に説明される。この場合の二つの方法の主な差異は、残存画像が保存カラースペースカラー値に相関して計算されることである。したがって、オリジナルの拡張カラー全範囲デジタル画像は、制限されたカラー全範囲デジタル画像に加えて、保存カラースペースに変形されるべきである。これは、拡張保存カラースペースでの画像の表現１３４により達成される。この複雑さは、保存カラースペースが典型的には制限されたカラー全範囲を有するであろうことである。例えば、保存カラースペースがビデオＲＧＢカラースペースである場合、保存スペースのカラー全範囲は、ビデオ表示のカラー全範囲へ制限され得る。したがって、保存カラースペースでのオリジナルの拡張カラー全範囲デジタル画像の表現にとって、制限されたカラー全範囲を課さない保存カラースペースの拡張変化を定義する必要がある。例えば、２４ビットのビデオＲＧＢカラースペースは、整数コード値によると、通常は、０乃至２５５の幅におけるカラー値をエンコードする。ビデオ表示のカラー全範囲外色のエンコードを可能にするために、オリジナルの拡張カラー全範囲デジタル画像が、コード値が０乃至２５の幅外に出ることが許容された拡張保存スペースにて表現できる。これは、より大きな輝度ダイナミックレンジ値と同様に、保存カラースペースに直接エンコードできるよりも高いクロマ値を伴う色のエンコードを許容する。制限されたカラー全範囲デジタル画像及び拡張カラー全範囲デジタル画像の両者が保存カラースペースにおいて表現された後、残存画像１３６は事前に二つの画像の差異の計算によって計算される本発明の方法の適用の結果は、保存カラースペースでの制限されたカラー全範囲デジタル画像及び制限されたカラー全範囲デジタル画像と拡張カラー全範囲デジタル画像を相互関連する関連した残存画像の両者の生成である。上述したように、制限されたカラー全範囲デジタル画像は、一般的に、ビデオ表示のような目的を出力する装置での表示において適している。この接近の一つの利点は、唯一制限されたカラー全範囲デジタル画像が保存された場合において、画質なしで、及び従来技術に関する欠点を計算せずに画像を直接表示及び操作できる残存画像を活用できないシステムである。しかしながら、通常は廃棄される情報は残存画像に保存され、活用できるシステムによる使用において有効である。この場合、制限されたカラー全範囲デジタル画像は差し引かれ、デジタルファイルからの残存画像は再構成された拡張カラー全範囲デジタル画像を形成するために使用される。
【００６４】
図１にて示される画像再構成器３１の機能を表現する図１０は、制限されたカラー全範囲デジタル画像からの拡張カラー全範囲デジタルデータ及び残存画像を再構成する実施例を示している。この処理への入力は、制限されたカラー全範囲デジタルデータ及び上記のように生成された残存画像を含む拡張カラー全範囲デジタルファイル１４０である。データは、制限されたカラー全範囲デジタル画像１４２及び残存画像１４３を生成するデジタルファイルから抽出される１４２。拡張カラー全範囲デジタル画像は、制限されたカラー全範囲デジタル画像１４２及び残存画像１４３の組み合わせによる再構成された拡張カラー全範囲デジタル画像１４５を形成するために再構成される１４４。典型的には、拡張カラー全範囲デジタル画像の再構成１４４は、制限されたカラー全範囲デジタル画像１４２と残存画像１４３の組み合わせを含む。
【００６５】
再構成された拡張カラー全範囲デジタル画像１４５は、多くの異なる目的に使用され得る。例えば、デジタルファイル１４０での制限されたカラー全範囲デジタル画像１４２の制限されたカラー全範囲からのカラー全範囲の差異を有する出力装置での表示において適切なデジタル画像を形成するために使用され得る。これは、保存カラー全範囲の抑制による制限された印刷よりも、オリジナルの拡張カラー全範囲デジタル画像からの最適な印刷の発生を可能にする。
【００６６】
拡張カラー全範囲での情報は、デジタル画像の修正に適用する処理中に、特に有効である。本発明と一致した拡張カラー全範囲デジタル画像の修正における一つの方法を示す図１にて示された画像再構成器３１の機能を表現する図１１を考える。この処理への入力は、上記に記載されて生成されたような制限されたカラー全範囲デジタル画像及び残存画像を含有する拡張カラー全範囲デジタルファイル１４０である。図１０のように、デジタルファイル段階１４１からの抽出データは、制限されたカラー全範囲デジタル画像１４２及び残存画像１４３を抽出するために使用される。次いで、一つ以上の画像修正１５０が、画像を修正するために使用されて指定される。次いで、制限されたカラー全範囲デジタル画像１４２は、制限され修正されたカラー全範囲デジタル画像１５３を形成する画像修正１５０に対応する制限されたカラー全範囲デジタル画像段階１５１の修正を用いて修正される。同様に、残存画像１４３は、修正された残存画像１５４を形成する画像修正１５０に対応する残存画像段階１５２の修正を用いて修正される。共に得られた制限され修正されたカラー全範囲デジタル画像１５３及び修正された残存画像１５４は、修正されたデジタルファイル１５５に保存され得る修正された拡張カラー全範囲デジタル画像を表現する。或いは、修正されたデジタル画像は、デジタルプリンター若しくは画像表示装置の他の形態で画像を生成するために使用され得る。修正されたデジタル画像はまた、ある位置において保存若しくは印刷するために遠隔位置へ転送され得る。修正されたデジタル画像を転送する方法は、コンピュータネットワーク接続、若しくは電話線に接続されたモデムの使用を含むことができる。
【００６７】
デジタル画像に適用できる画像修正１５０の多くの異なるタイプがある。例えば、画像に適用できる色及びトーン再生成と修正の多くの種類がある。ある場合において、画像の色のバランスを調整することが望ましい。別の場合は、画像の濃淡を生成するために画像の密度を調整することが望ましい。色及びトーンの再生成と修正の別のタイプは、画像の色調若しくは多彩なコントラストの変化を含むことができる。ある場合は、特定の出力装置において色及びトーンを最適化するために色及びトーンの再生成の特質を修正することが望ましい。本発明は、残存画像に保存された拡張カラー全範囲情報が画質を低下させずに大きな変化を可能にする事実によるため、特に、画像の色及びトーンの再生成の特質の修正において適している。例えば、オリジナル画像が過度に露出されて決められる場合を考える。この場合、画像を、制限されたカラー全範囲へ描写する過程においては、制限されたカラー全範囲デジタル画像での強調情報は外される。しかしながら、強調情報は残存画像にて保持される。過度の露出エラーにおいて濃くなった画像の訂正が望ましい場合、残存での情報は、詳細に強調を回復する修正されたデジタル画像を決定するために使用できる。
【００６８】
画像修正の別のタイプは、空間画像修正を含むデジタル画像に適用できる。空間画像修正に実施例は、ズーム、クロッピング（ｃｒｏｐｐｉｎｇ）、ノイズ縮減、及び画像の鮮鋭を含む。画像のズームは、画像の再サイズ化を含む。画像のクロッピングは、画像のサブセットの選択を含む。一般的に、ノイズ縮減処理は画像の水平なエリアの画像を滑らかにすることにより、画像のきめの表面若しくはノイズの縮小を含む。典型的には、画像の鮮鋭は、画像での端部の明瞭な鮮鋭度を増加するため画像への空間回旋の適用を含む。広く使用されているＡｄｏｂｅＰｈｏｔｏＳｈｏｐのような一般的な画像編集ソフトウェアプログラムにて見られる画像修正の多くの別のタイプがある。
【００６９】
すでに記載したように、図１にて示されるＡ／Ｄ変換器は、まばらにサンプリングされた高解像度デジタル画像を出力する。しかしながら、デジタルカメラのようなデジタル撮像装置の使用者は、典型的なＣＲＴモニターに直接表示される場合に満足な画像を生成するカラーエンコードで保存されるデジタル画像を受け取ることに慣れている。完全解像度デジタル画像を生成するために、デジタル画像プロセッサ２００の操作を必要とする。この完全解像度デジタル画像は、引き続いて保存カラースペースに与えられる。保存スペースデジタル画像の早急な生成が望ましいが、デジタルカメラのハードウェアは、早急に実行するＤＲＥＦＡプロセッサ２２及びＣＦＡ補間器２６の操作を実行する目的におけるデジタル画像プロセッサ２００内に存在する複合アルゴリズムの速さが頻繁に不十分である。典型的には、単純な論理を伴う簡素化アルゴリズムは、ＤＲＥＦＡプロセッサ２２及びＣＦＡ補間器２６の操作を実行するために使用され得る。一般的には、デジタル画像プロセッサ２００の複雑さが増加するにしたがって、完全解像度デジタル画像の画質の可能性が増大する。同様にして、デジタル画像プロセッサ２００の複雑さがハードウェア構成のコストの目的にて簡素化される場合は、完全解像度デジタル画像の画質の可能性は減少する。デジタル画像プロセッサ２００が理想的なアルゴリズムの簡素化形態であり、ハードウェアのコスト、ソフトウェアのコスト、処理速度、若しくは別の関連した理由で簡素化が行なわれた場合、したがって、まばらにサンプリングされた高解像度デジタル画像の完全な可能性は、使用者によって完全に楽しむことができず、若しくは認識されない。
【００７０】
かかる制限は、カラーエンコーダ２７及びデジタル画像保存器２９の両者の機能を表現する図１２に示される実施態様によって克服されるであろう。この実施態様は、図８及び図９に示される実施態様と同等である。この実施態様において、残存画像は、保存スペースデジタル画像２３０及びまばらにサンプリングされた高解像度デジタル画像１９０間の残余を表現する。図１２は、すでに上述したように完全解像度デジタル画像２１０を生成するためのデジタル画像プロセッサ２００に通過するまばらにサンプリングされた高解像度デジタル画像１９０を示している。画像は、保存スペースデジタル画像２３０を生成するための保存カラースペースに表現される２２０。残存画像２５０は、まばらにサンプリングされた高解像度デジタル画像１９０及び保存スペースデジタル画像２３０間の差異を表現するために計算される２４０。次いで、保存スペースデジタル画像２３０及び残存画像２５０は、デジタルファイル２７０に保存される２６０。デジタルファイル２７０は、前記のような若しくはある適用が磁気ディスク、光ディスク、若しくはデジタルファイル保存段階２６０を用いるＰＣＭＣＩＡカードのようなある種のデジタル保存媒体でデジタルファイル２７０における画像データを保存するであろうデジタルバッファーであり得る。多くの場合、保存スペースデジタル画像２３０を保存するために使用されるファイルフォーマットは、プライベート画像タグの使用を支持する。例えば、ファイルフォーマットＴＩＥＦ、ＥＸＩＦ及びＦｌａｓｈＰｉｘのすべては、この種のタグを支持する。このようなタグは、しばしばメタデータと呼ばれる。このタイプのファイルフォーマットが使用される場合、残存画像タグの形態で残存画像を保存することは便利である。この方法において、残存画像タグの活用方法を知らない適用は単に無視し、したがって唯一保存スペースデジタル画像２３０への接近を有するであろう。一方で、残存画像タグの使用方法を知っている適用は、拡張カラー全範囲デジタル画像を再構成するために活用が可能であろう。あるファイルフォーマットはタグのサイズの限界に位置するので、残存画像の圧縮はこのような適用において重要である。Ｇａｌｌａｇｈｅｒらによる２０００年１１月２１日に公開された米国特許出願番号０９／７１８８８７で開示されている圧縮技術が適切である。この実施態様の残る段階は、上記で記載した段階と対応して同一である。
【００７１】
この実施態様の主な利点は、残存画像２５０がまばらにサンプリングされた高解像度デジタル画像１９０と相関して計算されることである。図１３に示されるように、図１にて示された画像再構成器３１の機能の表現は、再構成されたまばらにサンプリングされた高解像度デジタル画像３３０の生成を可能にする。この処理への入力は、上述のように生成された保存スペースデジタル画像３００及び残存画像３１０を含有するデジタルファイル２８０である。保存スペースデジタル画像３００及び残存画像３１０は、デジタルファイル２８０から抽出２９０される。まばらにサンプリングされた高解像度デジタル画像は、保存スペースデジタル画像３００及び残存画像３１０の組み合わせによる再構成されたまばらにサンプリングされた高解像度デジタル画像３３０を形成するために再構成される３２０。典型的には、再構成段階３２０は、保存スペースデジタル画像３００及び残存画像３１０の組み合わせを含むであろう。再構成されたまばらにサンプリングされた高解像度デジタル画像３３０は、多くの異なる目的において使用され得る。例えば、あまり複雑でない処理を有するデジタル画像プロセッサ２００を伴って生成された完全解像度デジタル画像と比較した場合、改良された構成要素及びダイナミックレンジを有する完全解像度デジタル画像を生成するために、高度な複雑さを利用するＤＲＥＦＡプロセッサ２２及びＣＦＡ補間器２６を実行するデジタル画像プロセッサ２００は再構成されたまばらにサンプリングされた高解像度デジタル画像３３０に適用される。
【図面の簡単な説明】
【図１】本発明による拡張ダイナミックレンジデジタル画像の生成及び保存のための画像取得システムのブロック図形である。
【図２】選択されたフォトサイトの応答を変更する小レンズのアレイを採用するインターライン画像センサの断面図である。
【図３】選択されたフォトサイトの応答を変更する金属マスクを採用するフルフレーム画像センサの断面図である。
【図４】速いフォトサイト及び遅いフォトサイトの応答を例証するグラフである。
【図５】選択されたフォトサイトの応答を変更する減光フィルターのアレイを採用する画像センサの断面図である。
【図６Ａ】パンクロ撮像装置の遅いフォトサイト及び速いフォトサイトの配列を例証している。
【図６Ｂ】カラー撮像装置の遅いフォトサイト及び速いフォトサイトの配置を例証している。
【図７】図１で示されたダイナミックレンジを拡張するフィルターアレイ（ＤＲＥＦＡ）プロセッサの拡大ブロック図形を示す。
【図８】カラーエンコーダ２７及びデジタル画像保存器２９によって実行されるような拡張カラー全範囲デジタル画像を保存するための方法を例証する。
【図９】カラーエンコーダ２７及びデジタル画像保存器２９によって実行されるような拡張カラー全範囲デジタル画像を保存するための別の方法を例証する。
【図１０】画像再構成器３１によって実行されるような再構成された拡張カラー全範囲デジタル画像を形成する方法を例証する。
【図１１】画像再構成器３１によって実行されるような修正されたデジタル画像を形成するための方法を例証する。
【図１２】カラーエンコーダ２７及びデジタル画像保存器２９によって実行されるようなまばらにサンプリングされた高解像度デジタル画像を保存する方法を例証する。
【図１３】画像再構成器３１によって実行されるような再構成されたまばらにサンプリングされた高解像度デジタル画像を形成するための方法を例証する。
【符号の説明】
２ レンズ
６ 光学低域フィルター
１０ 撮像装置
１４ Ａ／Ｄ変換器
２２ ＤＲＥＦＡプロセッサ
２６ ＣＦＡ補間器
２７ カラーエンコーダ
２８ 遅いフォトサイト
２９ デジタル画像保存器
３０ 速いフォトサイト
３１ 画像再構成器
３２ 赤色遅いフォトサイト
３４ 緑色遅いフォトサイト
３６ 青色遅いフォトサイト
３８ 赤色速いフォトサイト
４０ 緑色速いフォトサイト
４２ 青色速いフォトサイト
４４ 遅い画素補償器
４６ 遅い画素閾値装置
４８ 速い画素閾値装置
５０ 信号拡張装置
５１ 小レンズ
５２ 部位
５３ａ−ｄ カラーフィルターアレイ
５４ 光をブロックするマスク部分
５５ 感光性エリア
５６ 大きい開口
５７ 小さい開口
５８ 減光フィルター層
５９ 減光フィルター
１２０ 拡張カラー全範囲デジタル画像
１２１ カラー値調整段階
１２２ 制限されたカラー全範囲デジタル画像
１２３ 保存カラースペースでの画像表現段階
１２４ 保存スペースデジタル画像
１２５ 残存画像計算段階
１２６ 残存画像
１２７ デジタルファイル保存段階
１２８ デジタルファイル
１３０ 拡張されたカラー全範囲デジタル画像
１３１ カラー値調整段階
１３２ 保存カラースペースでの画像表現段階
１３３ 制限されたカラー全範囲デジタル画像
１３４ 拡張保存カラースペースでの画像表現段階
１３５ 残存画像計算段階
１３６ 残存画像
１３７ デジタルファイル保存段階
１３８ デジタルファイル
１４０ デジタルファイル
１４１ デジタルファイルからのデータ抽出段階
１４２ 制限されたカラー全範囲デジタル画像
１４３ 残存画像
１４４ 拡張カラー全範囲デジタル画像を再構成する段階
１４５ 制限され再生成されたカラー全範囲デジタル画像
１５０ 画像修正
１５１ 制限されたカラー全範囲デジタル画像の修正段階
１５２ 残存画像修正段階
１５３ 制限され修正されたカラー全範囲デジタル画像
１５４ 修正された残存画像
１５５ 修正されたデジタルファイル
１９０ まばらにサンプリングされた高解像度デジタル画像
２００ デジタル画像プロセッサ
２１０ 完全解像度デジタル画像
２２０ 保存カラースペースで画像を表現する段階
２３０ 保存スペースデジタル画像
２４０ 残存画像計算段階
２５０ 残存画像
２６０ デジタルファイル保存段階
２７０ デジタルファイル
２８０ デジタルファイル
２９０ デジタルファイルからデータを抽出する段階
３００ 保存スペースデジタル画像
３１０ 残存画像
３２０ まばらにサンプリングされた高解像度デジタル画像の再構成段階
３３０ 再構成されたまばらにサンプリングされた高解像度デジタル画像
Claims (4)
- 拡張ダイナミックレンジデジタル画像を発生させて保存する画像取得システムであって、
ａ）速いフォトサイトによって生成される速い画素値と、遅いフォトサイトによって生成される遅い画素値とを有する、まばらにサンプリングされた高解像度デジタル画像を生成するために、露光量に対するより遅い応答を備えた前記遅いフォトサイトとともに点在する前記露光量に対する所定の応答を備えた前記速いフォトサイトを有する撮像装置と、
ｂ）拡張ダイナミックレンジを有する完全解像度デジタル画像を形成するよう前記まばらにサンプリングされた高解像度デジタル画像で前記速い画素値のダイナミックレンジを拡張するために前記遅い画素値を採用するデジタル画像プロセッサと、
ｃ）保存スペースにて表現される制限されたダイナミックレンジデジタル画像を形成するよう前記完全解像度デジタル画像のダイナミックレンジよりも狭いダイナミックレンジを有する前記保存スペースのダイナミックレンジ内に適合するように前記完全解像度デジタル画像のダイナミックレンジを縮減し、且つ、前記完全解像度デジタル画像を再構成するために前記制限されたダイナミックレンジデジタル画像とともに使用され得る、前記完全解像度デジタル画像と前記制限されたダイナミックレンジデジタル画像との間の差異を表す１又はそれ以上の残存画像を生成するエンコーダと、
ｄ）前記１又はそれ以上の残存画像と関連して前記制限されたダイナミックレンジデジタル画像を保存するデジタル画像保存部とを有し、
前記デジタル画像プロセッサは、速い画素値を高露出応答閾値と比較して、前記高露出応答閾値を超える前記速い画素値を、隣接する遅い画素値の関数である画素値により置換し、また、遅い画素値を低露出応答閾値と比較して、前規定露出応答閾値を下回る前記遅い画素値を、隣接する速い画素値の関数である画素値により置換するダイナミックレンジ拡張フィルターアレイ（ＤＲＥＦＡ）プロセッサであり、
前記ＤＲＥＦＡは、遅い画素の補償器と、遅い画素の閾値装置と、速い画素の閾値装置と、信号拡張装置とを有し、前記画像のダイナミックレンジを拡張して、サンプル画素値を挿入することによって前記まばらにサンプリングされた高解像度デジタル画像を処理する、画像取得システム。 - 前記エンコーダは、輝度差を表す残存画像と、クロミナンス差を表す残存画像とを含む複数の残存画像を生成する、請求項１記載の画像取得システム。
- 前記エンコーダは、拡張ダイナミックレンジ画像データの異なるサブセットに対応する画像の組を含む複数の残存画像を生成する、請求項１記載の画像取得システム。
- 前記拡張ダイナミックレンジデジタル画像は、拡張カラー全範囲デジタル画像であり、
前記エンコーダは、前記拡張カラー全範囲デジタル画像において画素の異なるサブセットに対応する画像の組を含む複数の残存画像を生成する、請求項１記載の画像取得システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/768,695 US6943831B2 (en) | 2001-01-24 | 2001-01-24 | Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images |
| US768695 | 2001-01-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002305685A JP2002305685A (ja) | 2002-10-18 |
| JP4233257B2 true JP4233257B2 (ja) | 2009-03-04 |
Family
ID=25083234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002015657A Expired - Fee Related JP4233257B2 (ja) | 2001-01-24 | 2002-01-24 | 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6943831B2 (ja) |
| EP (1) | EP1227661A3 (ja) |
| JP (1) | JP4233257B2 (ja) |
Families Citing this family (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6765611B1 (en) * | 2000-11-21 | 2004-07-20 | Eastman Kodak Company | Method for compressing an image from a sparsely sampled extended dynamic range image sensing device |
| JP4088959B2 (ja) | 2001-01-09 | 2008-05-21 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| US6924841B2 (en) * | 2001-05-02 | 2005-08-02 | Agilent Technologies, Inc. | System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels |
| AU2002316215A1 (en) | 2001-06-08 | 2002-12-23 | University Of Southern California | High dynamic range image editing |
| US7834927B2 (en) * | 2001-08-22 | 2010-11-16 | Florida Atlantic University | Apparatus and method for producing video signals |
| US7408584B2 (en) * | 2001-08-22 | 2008-08-05 | Florida Atlantic University | Producing video signals using sensor and lenticular lens pattern |
| US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
| US6998660B2 (en) | 2002-03-20 | 2006-02-14 | Foveon, Inc. | Vertical color filter sensor group array that emulates a pattern of single-layer sensors with efficient use of each sensor group's sensors |
| US20040178463A1 (en) | 2002-03-20 | 2004-09-16 | Foveon, Inc. | Vertical color filter sensor group with carrier-collection elements of different size and method for fabricating such a sensor group |
| US7292277B2 (en) * | 2002-04-08 | 2007-11-06 | Fujifilm Corporation | Solid-state image pick-up device and digital still camera |
| US6933975B2 (en) * | 2002-04-26 | 2005-08-23 | Fairchild Imaging | TDI imager with automatic speed optimization |
| JP3888456B2 (ja) * | 2002-09-10 | 2007-03-07 | ソニー株式会社 | デジタルスチルカメラ |
| US7489352B2 (en) * | 2002-11-15 | 2009-02-10 | Micron Technology, Inc. | Wide dynamic range pinned photodiode active pixel sensor (APS) |
| US7339216B1 (en) | 2003-01-31 | 2008-03-04 | Foveon, Inc. | Vertical color filter sensor group array with full-resolution top layer and lower-resolution lower layer |
| US6894265B2 (en) | 2003-01-31 | 2005-05-17 | Foveon, Inc. | Vertical color filter sensor group and semiconductor integrated circuit fabrication method for fabricating same |
| US6914314B2 (en) | 2003-01-31 | 2005-07-05 | Foveon, Inc. | Vertical color filter sensor group including semiconductor other than crystalline silicon and method for fabricating same |
| DE10340166B4 (de) * | 2003-09-01 | 2016-12-08 | Robert Bosch Gmbh | Verfahren zur Erweiterung des Dynamik-Bereichs eines Halbleiter-Bildsensors |
| US7830435B2 (en) * | 2003-09-03 | 2010-11-09 | Eastman Kodak Company | Image sensor and image capture system with extended dynamic range |
| US7460158B2 (en) * | 2003-09-25 | 2008-12-02 | Canon Kabushiki Kaisha | Recording material consumption control for an image forming apparatus |
| KR20050062709A (ko) * | 2003-12-22 | 2005-06-27 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 그 방법 |
| CN100531291C (zh) * | 2004-11-01 | 2009-08-19 | 彩色印片公司 | 对增强的色彩空间内容进行母版制作和分发的方法和系统 |
| US8239352B1 (en) * | 2004-11-19 | 2012-08-07 | Adobe Systems Incorporated | Method and apparatus for determining whether a private data area is safe to preserve |
| US7780089B2 (en) | 2005-06-03 | 2010-08-24 | Hand Held Products, Inc. | Digital picture taking optical reader having hybrid monochrome and color image sensor array |
| US7568628B2 (en) | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
| US7611060B2 (en) | 2005-03-11 | 2009-11-03 | Hand Held Products, Inc. | System and method to automatically focus an image reader |
| US7770799B2 (en) | 2005-06-03 | 2010-08-10 | Hand Held Products, Inc. | Optical reader having reduced specular reflection read failures |
| US8274715B2 (en) * | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
| US8139130B2 (en) | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
| JP2009521840A (ja) * | 2005-12-21 | 2009-06-04 | トムソン ライセンシング | 色空間における制限されたカラーパレット |
| US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| US20070285547A1 (en) * | 2006-05-30 | 2007-12-13 | Milligan Edward S | CMOS image sensor array optimization for both bright and low light conditions |
| US7751695B2 (en) * | 2006-06-12 | 2010-07-06 | Lawrence Livermore National Security, Llc | High-speed massively parallel scanning |
| US7756330B2 (en) | 2006-07-27 | 2010-07-13 | Eastman Kodak Company | Producing an extended dynamic range digital image |
| US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
| US7773127B2 (en) | 2006-10-13 | 2010-08-10 | Apple Inc. | System and method for RAW image processing |
| US7893975B2 (en) * | 2006-10-13 | 2011-02-22 | Apple Inc. | System and method for processing images using predetermined tone reproduction curves |
| US20080198235A1 (en) * | 2007-02-16 | 2008-08-21 | Shou-Lung Chen | High dynamic range image recorder |
| US7961983B2 (en) * | 2007-07-18 | 2011-06-14 | Microsoft Corporation | Generating gigapixel images |
| US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
| US7961224B2 (en) * | 2008-01-25 | 2011-06-14 | Peter N. Cheimets | Photon counting imaging system |
| US20090209858A1 (en) * | 2008-02-18 | 2009-08-20 | The Board Of Trustees Of The University Of Illinois | System and method for ultrasonic image processing |
| US8289344B2 (en) * | 2008-09-11 | 2012-10-16 | Apple Inc. | Methods and apparatus for color uniformity |
| US8547577B2 (en) * | 2009-06-19 | 2013-10-01 | Xerox Corporation | Mutualistic engine controller having sensor communication |
| US8582151B2 (en) * | 2009-06-19 | 2013-11-12 | Xerox Corporation | Mutualistic engine controller having customer replaceable unit communication |
| US8675224B2 (en) * | 2009-06-19 | 2014-03-18 | Xerox Corporation | Mutualistic engine controller communicating with printer non-volatile memory |
| KR101633893B1 (ko) * | 2010-01-15 | 2016-06-28 | 삼성전자주식회사 | 다중노출 영상을 합성하는 영상합성장치 및 방법 |
| US8462221B2 (en) * | 2010-11-03 | 2013-06-11 | Eastman Kodak Company | Method for producing high dynamic range images |
| DE102011002824A1 (de) * | 2011-01-18 | 2012-07-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bildsensor, Bildaufnahmesystem und Verfahren zum Aufnehmen eines Bildes |
| US8781238B2 (en) | 2011-09-08 | 2014-07-15 | Dolby Laboratories Licensing Corporation | Efficient decoding and post-processing of high dynamic range images |
| EP2774361B1 (en) * | 2011-11-01 | 2015-09-16 | Dolby Laboratories Licensing Corporation | Adaptive false contouring prevention in layered coding of images with extended dynamic range |
| JP6179902B2 (ja) * | 2012-08-31 | 2017-08-16 | 国立大学法人京都工芸繊維大学 | デジタルホログラフィ装置およびデジタルホログラフィ再生方法 |
| US10194162B2 (en) * | 2013-07-18 | 2019-01-29 | Koninklijke Philips N.V. | Methods and apparatuses for creating code mapping functions for encoding an HDR image, and methods and apparatuses for use of such encoded images |
| JP2017038311A (ja) * | 2015-08-12 | 2017-02-16 | 株式会社東芝 | 固体撮像装置 |
| JP2017163010A (ja) * | 2016-03-10 | 2017-09-14 | ソニー株式会社 | 撮像装置、電子機器 |
| US9894296B1 (en) * | 2016-10-25 | 2018-02-13 | Sony Corporation | Image sensor having combined responses from linear and logarithmic pixel circuits |
| US10455121B2 (en) * | 2017-05-12 | 2019-10-22 | Microsoft Technology Licensing, Llc | Representing advanced color images in legacy containers |
| WO2020009550A1 (en) * | 2018-07-06 | 2020-01-09 | Samsung Electronics Co., Ltd. | Method and apparatus for capturing dynamic images |
| US11488510B2 (en) | 2018-10-25 | 2022-11-01 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11587491B1 (en) | 2018-10-25 | 2023-02-21 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11069280B2 (en) | 2018-10-25 | 2021-07-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11341890B2 (en) | 2018-10-25 | 2022-05-24 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11410593B2 (en) | 2018-10-25 | 2022-08-09 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10997896B2 (en) | 2018-10-25 | 2021-05-04 | Baylor University | System and method for a six-primary wide gamut color system |
| US11475819B2 (en) | 2018-10-25 | 2022-10-18 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11373575B2 (en) | 2018-10-25 | 2022-06-28 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11030934B2 (en) | 2018-10-25 | 2021-06-08 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11062638B2 (en) | 2018-10-25 | 2021-07-13 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10950161B2 (en) | 2018-10-25 | 2021-03-16 | Baylor University | System and method for a six-primary wide gamut color system |
| US11315467B1 (en) | 2018-10-25 | 2022-04-26 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11289003B2 (en) | 2018-10-25 | 2022-03-29 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11069279B2 (en) | 2018-10-25 | 2021-07-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11289000B2 (en) | 2018-10-25 | 2022-03-29 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11403987B2 (en) | 2018-10-25 | 2022-08-02 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10950162B2 (en) | 2018-10-25 | 2021-03-16 | Baylor University | System and method for a six-primary wide gamut color system |
| US11189210B2 (en) | 2018-10-25 | 2021-11-30 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11037481B1 (en) | 2018-10-25 | 2021-06-15 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11043157B2 (en) | 2018-10-25 | 2021-06-22 | Baylor University | System and method for a six-primary wide gamut color system |
| US11532261B1 (en) | 2018-10-25 | 2022-12-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10607527B1 (en) | 2018-10-25 | 2020-03-31 | Baylor University | System and method for a six-primary wide gamut color system |
| US20230254595A1 (en) * | 2023-02-13 | 2023-08-10 | Shantanu Singh | Optimal color filter array and a demosaicing method thereof |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| US4667092A (en) | 1982-12-28 | 1987-05-19 | Nec Corporation | Solid-state image device with resin lens and resin contact layer |
| JPS63147365A (ja) * | 1986-12-10 | 1988-06-20 | Mitsubishi Electric Corp | 固体撮像装置 |
| US5012333A (en) | 1989-01-05 | 1991-04-30 | Eastman Kodak Company | Interactive dynamic range adjustment system for printing digital images |
| JPH07115643A (ja) * | 1993-10-19 | 1995-05-02 | Toyota Motor Corp | 車載用撮像装置 |
| US6040858A (en) | 1994-11-18 | 2000-03-21 | Canon Kabushiki Kaisha | Method and apparatus for expanding the dynamic range of sensed color images |
| DE69628187D1 (de) * | 1995-11-07 | 2003-06-18 | California Inst Of Techn | Bildsensor mit linearem ausgang mit grossem dynamikbereich |
| US5652621A (en) | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| JPH10136244A (ja) * | 1996-11-01 | 1998-05-22 | Olympus Optical Co Ltd | 電子的撮像装置 |
| JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| JPH10189930A (ja) * | 1996-12-20 | 1998-07-21 | Ricoh Co Ltd | 固体撮像素子 |
| US6627305B1 (en) * | 1997-07-16 | 2003-09-30 | Koninklijke Philips Electronics N.V. | Substrates for large area electronic devices |
| JP3462736B2 (ja) * | 1997-11-17 | 2003-11-05 | ペンタックス株式会社 | 固体撮像素子 |
| NZ332626A (en) * | 1997-11-21 | 2000-04-28 | Matsushita Electric Ind Co Ltd | Expansion of dynamic range for video camera |
| US6249898B1 (en) * | 1998-06-30 | 2001-06-19 | Synopsys, Inc. | Method and system for reliability analysis of CMOS VLSI circuits based on stage partitioning and node activities |
| US6275253B1 (en) * | 1998-07-09 | 2001-08-14 | Canon Kabushiki Kaisha | Stereographic image compression with image moment normalization |
| EP0991019B1 (en) * | 1998-09-28 | 2014-01-08 | Intellectual Ventures Fund 83 LLC | Method of applying manipulations to a color digital image |
| US6864916B1 (en) * | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
| US6697114B1 (en) * | 1999-08-13 | 2004-02-24 | Foveon, Inc. | Triple slope pixel sensor and arry |
| US6495813B1 (en) * | 1999-10-12 | 2002-12-17 | Taiwan Semiconductor Manufacturing Company | Multi-microlens design for semiconductor imaging devices to increase light collection efficiency in the color filter process |
-
2001
- 2001-01-24 US US09/768,695 patent/US6943831B2/en not_active Expired - Lifetime
-
2002
- 2002-01-14 EP EP02075099A patent/EP1227661A3/en not_active Ceased
- 2002-01-24 JP JP2002015657A patent/JP4233257B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1227661A2 (en) | 2002-07-31 |
| JP2002305685A (ja) | 2002-10-18 |
| US6943831B2 (en) | 2005-09-13 |
| EP1227661A3 (en) | 2005-02-02 |
| US20020130957A1 (en) | 2002-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4233257B2 (ja) | 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 | |
| US6813046B1 (en) | Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device | |
| JP3946492B2 (ja) | 低解像度イメージの生成方法 | |
| JP3968121B2 (ja) | 画像圧縮方法 | |
| JP4058257B2 (ja) | 撮像素子におけるノイズ低減方法 | |
| US7756330B2 (en) | Producing an extended dynamic range digital image | |
| JP5461568B2 (ja) | カラーおよび全色性チャネルｃｆａ画像の修正 | |
| US6757012B1 (en) | Color selection for sparse color image reconstruction | |
| JP2002369212A (ja) | カラー及び輝度用の受光体を有する粗にサンプリングされたイメージ感知ディバイス | |
| JP5240194B2 (ja) | 信号処理方法および信号処理装置 | |
| US6909461B1 (en) | Method and apparatus to extend the effective dynamic range of an image sensing device | |
| CN104301635A (zh) | 在产生数字图像时曝光像素组 | |
| JP2008514134A (ja) | 有効ダイナミック・レンジの拡張 | |
| JP2007174277A (ja) | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム | |
| JP4246428B2 (ja) | トーンスケール関数の生成方法 | |
| JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
| Lukac | Single-sensor digital color imaging fundamentals | |
| JPH10271380A (ja) | 改善された性能特性を有するディジタル画像を生成する方法 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP2000217123A (ja) | 撮像装置及び前記撮像装置における画像処理方法 | |
| Allen et al. | Digital cameras and scanners | |
| JP2003134523A (ja) | 撮像装置及び撮像方法 | |
| JP3697464B2 (ja) | 文書画像処理装置、撮像装置及び文書画像処理プログラム | |
| Fredlund et al. | Film-to-video imaging: concepts and a particular application | |
| JP2007259337A (ja) | 撮像装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071106 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080806 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081209 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4233257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |