JP4246428B2

JP4246428B2 - トーンスケール関数の生成方法

Info

Publication number: JP4246428B2
Application number: JP2001356070A
Authority: JP
Inventors: アンドリュー・シー・ギャラガー; エドワード・ビー・ジンデル
Original assignee: イーストマンコダックカンパニー
Priority date: 2000-11-21
Filing date: 2001-11-21
Publication date: 2009-04-02
Anticipated expiration: 2021-11-21
Also published as: EP1209900B1; JP2002209151A; EP1209900A2; US7068396B1; EP1209900A3; DE60131949T2; DE60131949D1

Description

【０００１】
【発明の属する技術分野】
本発明は、概して、イメージの撮影に関し、より具体的には、拡大されたダイナミックレンジにおいて、トーンスケールの修正を行う方法に関する。
【０００２】
【従来の技術】
電荷結合素子（ＣＣＤ）のようなイメージ検出装置は、デジタルカメラ、スキャナおよびビデオカメラのような製品で、広く見つけることができる。これらのイメージ検出装置は、従来の写真フィルム製品と比較したとき、ダイナミックレンジが制限されている。典型的な電子イメージ検出装置は、絞りが約７のダイナミックレンジを有する。これは、典型的な風景に対する露出を、かなりの正確さで決定して、結果として得られる信号のもれを回避しなければならないことを意味する。対照的に、自然の風景は、しばしば、絞りが９またはそれ以上のダイナミックレンジを示す。これは主に、風景の対象物に光を照らす、強度が広く変化する複数の光源が存在する結果である。もっとも明るい部分の反射はまた、自然の風景のダイナミックレンジに寄与する。
【０００３】
写真フィルムを走査するのに用いられる電子センサはまた、高いダイナミックレンジの信号強度を取り扱わなければならない。１９９３年６月２２日にMilchに発行された米国特許第5,221,848号では、Milchは、電子イメージセンサのダイナミックレンジを拡張するよう設計された方法および装置を開示している。主に写真フィルムを走査することを意図として、Milchにより開示されたシステムは、複数の線形アレイを有する電荷結合素子を用いた１パスフィルムスキャナの方法を教示する。複数の線形アレイは、同じスペクトル感度を有する。アレイの１つは、他のアレイよりも光に対してより早く応答する。２つのアレイからの情報は結合され、デジタル化されて、拡大されたダイナミックレンジのデジタルイメージを形成する。
【０００４】
デジタル電子カメラは、カラーフィルタアレイ（Color Filter Array;ＣＦＡ）を有する単一のイメージセンサを利用して、まばらにサンプリングされた（sparsely sampled）イメージを生成する。典型的なカラーフィルタアレイパターンは、Bayerに対して１９７６年７月２０日に発行された、米国特許第3,971,065号に開示されている。補間アルゴリズムが利用されて、まばらにサンプリングされたイメージから、フル解像度カラーイメージを生成する。デジタルカメラはまた、高いダイナミックレンジを有する風景を記録する必要がある。デジタルカメラから、高いダイナミックレンジのイメージを得る１つの方法は、カメラに、高ビットデプス（depth）のアナログ−デジタル変換器を利用することである。他の方法は、Gallagherらにより２０００年７月１３日に提出された、同時係属の米国出願第09/615,398号に開示されている、散らばせた、高速の（ファスト）および低速の（スロー）フォトサイト（photosite）を有するイメージセンサを用いることである。この出願は、この引用により本明細書に組み込まれる。
【０００５】
【発明が解決しようとする課題】
拡大されたダイナミックレンジのデジタルイメージとともに用いるよう、特に設計されたトーンスケール関数を利用することが知られている。例えば、１９９８年１０月１３日にLeeらに発行された米国特許第5,822,453号は、デジタルイメージからのシーンコントラストの評価を含む、拡大されたダイナミックレンジのデジタルイメージの画素値を用いるトーンスケール関数の計算方法を開示している。しかし、Leeらにより教示された方法は、高速フォトサイトおよび低速フォトサイトを有する、拡大されたダイナミックレンジのイメージセンサにより撮影されたイメージに対して最適化されていない。
【０００６】
よって、高速フォトサイトおよび低速フォトサイトを有する、拡大されたダイナミックレンジのイメージセンサにより撮影されたタイプの、拡大されたダイナミックレンジのイメージに、トーンスケールの修正を行う改良された方法が必要とされている。
【０００７】
【課題を解決するための手段】
本発明によれば、上述の必要性は、下記の方法を提供することにより満たされる。すなわち、まばらにサンプリングされ、拡大されたダイナミックレンジのデジタルイメージに対するトーンスケール関数の生成方法であって、光露出に対する所定の応答を有する高速フォトサイトと、その間に散在する、該光露出と同じ光露出に対してより遅い応答を有する低速フォトサイトとを有し、まばらにサンプリングされ、拡大されたダイナミックレンジのイメージの検出装置を提供するステップと、該検出装置を用いて、高速フォトサイトから生成された高速画素値と、低速フォトサイトにより生成された低速画素値とを有する、まばらにサンプリングされた高解像度デジタルイメージを生成するステップと、まばらにサンプリングされた高解像度デジタルイメージから、低速画素値のみを用いて、トーンスケール関数を生成するステップとからなる、トーンスケール関数の生成方法が提供される。
【０００８】
本発明のある局面によれば、トーンスケール関数は、デジタルイメージをフル解像度デジタルイメージに補間する前に、まばらにサンプリングされた拡大されたダイナミックレンジのデジタルイメージに適用される。
【０００９】
【発明の実施の形態】
デジタルイメージは、１以上のデジタルイメージチャネルを有する。各デジタルイメージチャネルは、画素の２次元アレイを有する。各画素値は、画素の幾何学的な領域に対応するイメージ撮影装置が受け取った光の量に関連する。カラー撮像用途では、デジタルイメージは、典型的には、赤、緑および青のデジタルイメージチャネルから構成される。他の構成もまた、実際に利用されている。例えば、シアン、マゼンタ、および黄色のデジタルイメージチャネルである。動画撮像用途では、デジタルイメージの時間系列と考えることができる。当業者であれば、本発明が、上述の任意の用途に対するデジタルイメージに適用でき、しかしながら制限されないことが、認識できるであろう。
【００１０】
本発明は、行および列により配置された画素値の２次元アレイとして、デジタルイメージチャネルを説明するが、当業者であれば、本発明は、モザイク面（非直線）に適用でき、等しい効果を得られることが理解される。本発明はオリジナルの画素値を処理された画素値と置換することを説明するが、当業者はまた、処理された画素値で新たなデジタルイメージを形成し、オリジナルの画素値を保持することもまた企図されていることを認識できるであろう。
【００１１】
電子検出装置を用いる撮像装置は、周知である。そのため、本明細書は、特に本発明による装置の一部を構成する要素、または、本発明による装置により直接的に協働する要素に向けられている。特に図に示されていない、または、本明細書に記載されていない要素は、従来の技術から選択できる。本明細書で用いられているように、「イメージ」という語は、２次元アレイ値であることに留意されたい。イメージは、他のイメージの２次元部分集合であってもよい。本発明は、プログラムされたデジタルコンピュータを用いて実施される。コンピュータは、パーソナルコンピュータのような、汎用コンピュータであってもよいし、または、デジタルイメージを処理するために設計された専用デジタルコンピュータであってもよい。以下の開示に基づいて、本発明を実施するコンピュータプログラムを生成するのは、プログラミングの技術における通常の技能の範囲内である。
【００１２】
図１は、本発明の実施に際して使用される必須の要素を示す機能ブロック図である。対象物または風景からの光が、レンズ２に入射し、カラーフィルタアレイ（Color Filter Array;ＣＦＡ）を有する電荷結合素子（ＣＣＤ）のような、拡大されたダイナミックレンジのイメージ検出装置１０上に、写真イメージを形成する。以下説明されるように、カラーフィルタアレイ（ＣＦＡ）は、高速な（ファスト）および低速な（スロー）フォトサイトを有する。ＣＭＯＳ素子のような他の素子が、イメージ検出装置１０として利用できる。以下より詳細に説明されるように、イメージ検出装置１０は、まばらにサンプリングされた拡大されたダイナミックレンジのイメージを検出する装置である。光学的ローパスフィルタ６は、レンズ２とイメージ検出装置１０との間に配置され、撮像された光のわずかににじませ、エイリアシングの発生を低減する。Ａ／Ｄ変換器１４は、イメージ検出装置１０から、撮像された光に対応する電圧信号を受け取り、電圧信号に対応するイメージ信号を生成する。デジタルイメージプロセッサ２００は、Ａ／Ｄ変換器１４からイメージ信号を受け取り、そのイメージ信号を修正して、デジタルイメージを生成する。上述のように、デジタルイメージプロセッサ２００は、プログラムされたパーソナルコンピュータ、または、特定の目的のイメージプロセッサであってもよい。デジタル撮像システムのユーザは、キーボード、マウス、または、カメラ本体のボタンなどのユーザ選択装置６２を利用して、イメージのトーン表現（tonal appearance）に関する選択が可能である。例えばユーザは、表示装置６４上に、あるトーンスケール関数で生成されたイメージを見ることができる。そして、ユーザは所望のトーンスケールを特定して調整できる。例えば、ユーザは、ユーザ選択装置６２で、影を明るくすることを指示することにより、この所望のトーンスケールを特定して調整できる。そして、調整されたトーンスケール関数は、所望のトーンスケールの調整を用いて生成される。ユーザからの所望のトーンスケールの調整に基づくトーンスケール関数を生成し、修正することは、イメージ処理の技術において周知である。例えば、同じく譲渡されたLeeらによる米国特許第5,012,333号は、トーンスケール関数を生成し、イメージにその関数を適用する、対話式方法を開示する。本発明はまた、デジタルカメラ内にも実装できる。このデジタル撮像システム用途では、低解像度デジタルイメージから得られた、拡張されたデジタルイメージが、表示装置６４、例えば、デジタルカメラの構成要素としての液晶表示装置（ＬＣＤ）上に表示される。また、本発明は、フィルムまたは反射型スキャナ、または、拡大されたダイナミックレンジのデジタルイメージを生成する他の装置で実施できる。
【００１３】
図１に示すＡ／Ｄ変換器１４は、イメージ検出装置１０が生成した電圧信号を、イメージ信号、すなわち、イメージ検出装置１０のフォトサイトが生成した電圧信号に対応するデジタル画素値のストリームに変換する。より具体的には、Ａ／Ｄ変換器１４は、イメージ検出装置１０からの、入射光の強度に関してほぼ線形の電圧信号を、離散デジタルイメージ信号に変換する。離散デジタルイメージ信号は、例えば、線形符号化された値が０〜１０２３までの範囲に入る１０ビット信号である。Ａ／Ｄ変換器１４はまた、従来広く行われているような、線形符号値領域イメージ信号を、８ビットの対数信号のような、非線形符号値領域イメージ信号に変換する処理も行う。例えば、下記の方程式を利用して、１０ビット線形イメージ信号ａ（ｘ，ｙ）を、８ビットの対数イメージ信号ｂ（ｘ，ｙ）に変換する。（ｘ，ｙ）は、イメージ検出装置１０に関する信号位置の行および列の目盛り（index）を特定する。
【数１】

【００１４】
（イメージ検出装置の線形応答領域における）露出の各絞りは、線形イメージ信号ａ（ｘ，ｙ）の倍になり、その結果、対数符号化されたイメージ信号ｂ（ｘ，ｙ）は増加する。増加の値は、５１である。この場合、値が５１というのは、露出の絞り（ｃｖｓ）ごとのコード値の数である。
【００１５】
図２は、図１に示すデジタルイメージプロセッサ２００をより詳細に示す。イメージ信号は、ダイナミックレンジ拡張フィルタアレイ（ＤＲＥＦＡ）プロセッサ２２により受け取られる。ＤＲＥＦＡプロセッサ２２は、イメージのダイナミックレンジを拡大し、サンプル値を補間することにより、Ａ／Ｄ変換器１４から出力された、まばらにサンプリングされた、高解像度のデジタルイメージを処理する。そしてＤＲＥＦＡプロセッサ２２は、修正されたイメージ信号を、ＣＦＡ補間器２６に送る。ここでは、カラー値は補完され、各画素におけるカラー値を与える。ＣＦＡ補間器２６の出力は、フル解像度デジタルイメージである。パクセル化モジュール２２０もまた、まばらにサンプリングされた、高解像度のデジタルイメージを受け取り、パクセル化された（paxelized）デジタルイメージ、すなわち、イメージ信号から得られた低解像度デジタルイメージを生成する。または、拡張プロセッサ２４０もまた高解像度デジタルイメージを受け取る。拡張プロセッサ２４０は、パクセル化デジタルイメージを受け取り、そのパクセル化デジタルイメージに基づいて、画質向上量（enhancement）を計算し、高解像度デジタルイメージの画素に、その画質向上量を適用して、画質が向上したデジタルイメージを生成する。
【００１６】
ＣＦＡ補間器２６を設けた目的は、検出した写真イメージの各位置の色を完全に描写して生成することである。好ましい実施の形態では、イメージ検出装置１０は、フォトサイトと呼ばれる感光素子アレイからなる。同じく譲渡された米国特許第3,971,065号においてBayerにより説明されているように、各フォトサイトは、典型的には、赤、緑、または、青のフィルタが与えられる。米国特許第3,971,065号は、この引用により本明細書に組み込まれる。Bayerのアレイは、カラーフィルタアレイである。カラーフィルタアレイでは、緑のフィルタは、フォトレジストにわたって、チェッカーボードパターンで配置されており、赤および青のフィルタは、ラインごとに切り替わり、チェックボードパターンの隙間を満たす。これにより、緑のフィルタサイトが、赤または青のフィルタサイトよりも２倍多くなる。本明細書で説明される方法は、原色の別の配置を持つカラーフィルタアレイ、原色の数が異なるカラーフィルタアレイ、または、原色の組み合わせが異なるカラーフィルタアレイに容易に拡張できることに留意されたい。したがって、好ましい実施の形態では、各フォトサイトは、赤色、緑色または青色の光のいずれにも感度を有する。しかし、好ましくは、各フォトサイトの位置で、赤、緑および青の各々の露出量で表す露出に対応する画素値を得ることが好ましい。Ａ／Ｄ変換器１４から出力された、まばらにサンプリングされた高解像度デジタルイメージの画素値は、近隣の画素位置における赤、緑および青の画素値を有する、まばらにサンプリングされたイメージで構成されている。
【００１７】
本明細書では、「赤」「緑」および「青」は、イメージ処理技術では周知の、イメージ検出装置１０の原色スペクトル感度を表す。ＣＦＡ補間器２６は、Ａ／Ｄ変換器１４から出力されたイメージ信号から、補間されたイメージ信号を生成する。補間されたイメージ信号は、各フォトサイトの原色に対応する画素値から構成される。例えば、特定のフォトサイトが赤のフィルタで覆われている場合、Ａ／Ｄ変換器１４は、そのフォトサイトの赤の画素値を出力する。それは、赤のフィルタは、本質的に、そのフォトサイトを緑および青の光から遮るからである。ＣＦＡ補間器２６は、対応するフォトサイトが緑および青の光に応答しない場合でも、対応するフォトサイトについて、緑の画素値および青の画素値を計算する。同様に、ＣＦＡ補間器２６は、青のフォトサイトに対応する、緑の画素値および赤の画素値を計算し、緑のフォトサイトに対応する赤の画素値および青の画素値を計算する。ＣＦＡ補間器２６の動作は、ＤＲＥＦＡプロセッサ２２と組み合わされる。概念的には、ＣＦＡ補間器２６およびＤＲＥＦＡプロセッサ２２は、別々の動作を行い、本実施の形態では、明確のために結合されないとする。
【００１８】
一般的に、ＣＦＡ補間器２６は、対応するフォトサイトの画素値および関連する周辺のフォトサイトの画素値を考慮して動作する。周知の任意の補間器が利用できる一方、好ましいＣＦＡ補間器の説明が、Adams らに１９９７年７月２９日に発行された米国特許第5,652,621号に含まれている。当該特許の内容は、この引用により本明細書に組み込まれる。Adamsらは、行および列で配列されたカラーフォトサイトを有するイメージセンサから得られた、デジタル化イメージ信号を処理する装置を説明する。カラーフォトサイトは、少なくとも３つの別個のカラー値を生成するが、各フォトサイトの位置に対して、１つのカラー値のみである。また、カラーフォトサイトは、各フォトサイト位置についてカラー値を補間する構造体を生成し、３つの異なるカラー値を保持する。装置は、フォトサイト位置から失われた適切なカラー値を、そのようなフォトサイト位置に対する追加のカラー値の補間により生成する。適切なカラー値は、近くのフォトサイト位置における、失われたカラー値とは異なるカラーのカラー値から生成される。装置はまた、少なくとも２つのイメージ方向(direction)における、同じ行および列の近くのフォトサイトに対応する画素値から、ラプラシアン２次値と、グラディエント値と、カラー差バイアス値とを取得する。装置は、これらの値から改善された分類に基づいて、失われたカラー値の補間に関する好ましい配向（orientation）を選択する。最後に、近くの多数のカラー画素値からの、失われたカラー画素値が選択され、好ましい配向に適合させる。
【００１９】
Ａ／Ｄ変換器１４から出力された、まばらにサンプリングされた高解像度デジタルイメージは、ＤＲＥＦＡプロセッサ２２により受け取られる。ＤＲＥＦＡプロセッサ２２は、イメージ信号のダイナミックレンジを拡大して、拡大したダイナミックレンジの修正したイメージ信号を生成する。好ましい実施の形態では、イメージ検出装置１０のダイナミックレンジは、イメージ検出装置１０の、あるフォトサイトを設計することにより拡大され、ゆっくりと応答する。イメージ検出装置１０に関する、低速応答のフォトサイトの構成は、以下、より詳細に説明する。選択されたフォトサイトのゲインを変化させることにより、低速応答のフォトサイトの応答は落とされる。すなわち、遅らされる。本明細書では、このようなフォトサイトを低速フォトサイトと言及する。フォトサイトのゲインを変化させることは、デジタルカメラ設計および製造の技術においては広く行われていることである。
【００２０】
図３を参照して、各フォトサイトのトップに樹脂小型レンズ５１を配置することは、イメージセンサの製造における技術において広く行われている。例えば、特にイメージ検出装置１０がインターラインソリッドステートイメージ検出装置の場合に、Ishiharaに１９８７年５月１９日に発行された米国特許第4,667,092号に記載されている。この内容は、この引用により本明細書に組み込まれる。Ishiharaは、ブロック表面を有するイメージ記憶ブロックを含む、ソリッドステートイメージ装置を開示する。複数の記憶素子は、ブロック表面に沿って埋め込まれ、電荷の形でイメージを記憶する。表面にわたる層が堆積されて、記憶素子に対応する光学レンズアレイを形成する。中間層が、ブロック表面と表面にわたる層との間に設けられる。入射光は、レンズおよび中間層を通して記憶素子上で焦点を結ぶ。中間層は、小型レンズの焦点距離を調整する調整層として機能する。
【００２１】
図３は、インターラインソリッドステートイメージ検出装置の断面図を示す。小型レンズ５１を除いて、フォトサイトの各感光領域５５に関連する信号読み出し領域は、半導体基板の全領域を、感光性トランスデューサ領域として利用できないようにする。従来のソリッドステートイメージ装置は、受けた全入射光線を効率的に利用せず、よって低感度である。フォトサイトの上部にさらに樹脂小型レンズ５１を設けることで、入射光線が、フォトサイトの感光領域上に焦点を結ぶことができる。これにより入射光線のより効率的な利用と、フォトサイトの感度の向上が可能になる。よって、小型レンズ５１のサイズおよび／または効率を変化させることにより、フォトサイトの感度（ゲイン）が容易に変更できる。そのため、インターライン装置およびＣＭＯＳセンサに対して、フォトサイトのゲインを変更するには、フォトサイトの上部に配置された小型レンズ５１を変更することによる方法が好ましい。図３に示すように、位置５２には、小型レンズは存在しない。よってほとんどの入射光は、感光領域に入射しない。また、小型レンズは、小型レンズ５１と比較して、位置５２に、異なる半径、形状、サイズ、または材料で製造できる。これにより、入射光が感光領域５５上に焦点を結ぶ効率を、小型レンズ５１よりもより悪く構成できる。当業者であれば、小型レンズ５１は、入射光の８０％を感光領域５５上で焦点を合わせさせ、小型レンズを有しない（または低速小型レンズを有する）位置５２により、入射光の２０％を感光領域５５上に集めることができ、小型レンズ５１で覆われたフォトサイトは、位置５２より早い絞り２（２ stops）であることが理解されるであろう。この場合には、位置５２で示すように、高速な（ファスト）フォトサイトには小型レンズ５１が用いられ、低速フォトサイトには小型レンズは用いられない。
【００２２】
図４を参照して、フルフレームイメージ検出装置１０の断面図を示す。イメージ検出装置１０がフルフレーム装置の場合には、フォトサイトの感光領域５５に入射する光線は、遮光部の開口を通過しなければならない。遮光部は、典型的には金属から形成され、図４の断面図に示されており、遮光マスク部５４、遮光部に散在する大開口５６および小開口５７を備えている。好ましい実施の形態では、フォトサイトのゲインは、遮光マスク部５４を修正することにより変更できる。そして、フォトサイトの感度は、遮光マスク部５４の開口に直接関連する。例えば、あるフォトサイトの開口サイズの５０％の開口を持つフォトサイトは、当該あるフォトサイトと比較して、５０％の応答を示す。例えば、遮光マスク部５４の大開口５６により、そのフォトサイト上へ入射する光線の８０％が通過可能であるが、小開口５７により、入射光線の２０％のみが通過できる。当業者は、大開口５６を有するフォトサイトは、小開口５７を有するフォトサイトよりも、絞り２だけ早いことが理解できるであろう。この場合には、大開口５６は、高速フォトサイトに利用され、小開口５７は、低速フォトサイトに利用される。よって、遮光マスクの開口は、修正され、選択されたフォトサイトの応答を調整できる。The Eastman Kodak Companyは、金属マスク遮光部を有するフルフレームイメージ検出装置を製造する。金属マスク遮光部は、（ディザスキャナ用途に対して）全画素の画素活性領域を、約８０％から約２０％に減少する。ディザスキャナ用途では、センサは、水平および垂直に１／２画素間隔で移動され、４つの画像が撮影される。よって、この技術は、そのようなマスク技術を含むが、別個のサイズの開口を用い、イメージ光に対して異なる応答を有するイメージセンサを提供する。
【００２３】
好ましい実施の形態では、図５にグラフで示すように、選択された低速フォトサイトの応答は、同じ露出の高速フォトサイトの応答のＸ％（Ｘ≦１００）である。この好ましい実施の形態では、選択されたフォトサイトは、高速フォトサイトに対して、絞り２（−ｌｏｇＸ／１００）だけ応答が遅くされている。ここでＸ＝２５である。よって、イメージ検出装置１０は、フォトサイト、高速フォトサイトおよび低速フォトサイトの複数の組から構成される。高速フォトサイトの出力応答を集めたものは、まばらにサンプリングされた高速デジタルイメージ、すなわち、高速フォトサイトで検出された場面をまばらにサンプリングしたバージョン、を構成する。同様に、低速フォトサイトの出力応答を集めたものは、まばらにサンプリングされた低速デジタルイメージ、すなわち、低速フォトサイトで検出された場面をまばらにサンプリングしたバージョン、を構成する。
【００２４】
さらに他には、選択された低速フォトサイトの応答は、フォトサイトを覆う中性フィルタ（neutral filter）を使用することにより、遅くできる。図６は、カラーフィルタアレイ５３を有するイメージ検出装置の断面図である。カラーフィルタアレイ５３ａは赤、５３ｂは緑、５３ｃは赤、５３ｄは緑である。中性フィルタ層５８は、上述のカラーフィルタアレイ５３を含む。ただし、中性フィルタ５８およびカラーフィルタアレイ５３の層の位置は問題とはならない。中性フィルタ層５８は、中性フィルタ５９により示されるように、選択されたフォトサイトの位置における中性フィルタのみを含むことに留意されたい。この場合には、中性フィルタ層５８は、高速フォトサイトに対して透明またはほぼ透明であり、低速フォトサイトに対する中性フィルタ５９を含む。例えば、仮に中性フィルタ５９が光の伝達をＸ％許容する材料からなる場合には、低速フォトサイトの応答は、絞り−ｌｏｇ_２（Ｘ／１００）だけ小さくなるであろう。
【００２５】
以下、図２に示すＤＲＥＦＡプロセッサ２２をより詳しく説明する。ＤＲＥＦＡプロセッサ２２を設けた目的は、入力されたイメージ信号を処理し、また、高速および低速フォトサイトの写真応答における際を考慮して、増加したダイナミックレンジを有する、修正されたイメージ信号を生成することである。したがって、ＤＲＥＦＡプロセッサ２２の出力は、増加したダイナミックレンジ値を有する、修正されたイメージ信号である。修正されたイメージ信号は、既に説明した処理を行うＣＦＡ補間器２６に入力される。
【００２６】
本発明では、Ａ／Ｄ変換器１４とＤＲＥＦＡプロセッサ２２とが直接接続されていることは要件ではない。ＤＲＥＦＡプロセッサ２２は、Ａ／Ｄ変換器１４およびイメージ検出装置１０にきわめて近接して、ハードウェアまたはソフトウェアで存在する。例えば、ＤＲＥＦＡプロセッサ２２は、デジタルカメラ内に直接に設けることができる。しかし、ＤＲＥＦＡプロセッサ２２はまた、イメージ検出装置１０から離れていてもよい。例えば、Ａ／Ｄ変換器１４から出力されたイメージ信号は、（圧縮の後）信号線接続またはワイヤレス接続を介して、個人のコンピュータ装置、プリンタ、またはリモートサーバに伝送され、ＤＲＥＦＡプロセッサ２２の動作に適用できる。イメージ信号の伝送はまた、ファイルトランスファープロトコル（file transfer protocol）または電子メールを含んでもよい。
【００２７】
好ましい実施の形態では、イメージ検出装置１０のフォトサイトの５０％が遅い応答を有するように選択される。当業者であれば、低速および高速画素の相対的なパーセンテージは重大ではなく、そして、本発明の効果は、高速および低速フォトサイトの様々な相対的なパーセンテージで実現できることが認識できるであろう。すべてのフォトサイトが、ほぼ等しいスペクトル感度を有するイメージ検出装置１０の場合（すなわち、全色性（panchromatic）イメージ検出装置の場合）には、図７の（Ａ）は、低速フォトサイトの配置を示す。低速フォトサイトは、応答が遅いイメージ検出装置１０の全フォトサイトの５０％にいたる。応答の遅いフォトサイト２８は、アスタリスク（＊）でマークされ、高速な高速フォトサイト３０は、ブランクである。まばらにサンプリングされたイメージは、イメージとして前に規定されている。イメージは、カラーフィルタアレイを有するイメージ検出装置で撮影されている。本発明によれば、「まばらにサンプリングされた」という語はまた、図７の（Ａ）に示すようなイメージセンサにより生成されるイメージにあてはまることも意図している。ここでは、高速および低速フォトサイトが散在している。さらに、図７Ａに示す、光露出に対して所定の応答を有する高速フォトサイトを備え、かつ、同じ光露出に対してより遅い応答を有する低速フォトサイトが散在するイメージ検出装置１０は、まばらにサンプリングされた拡大されたダイナミックレンジのイメージ検出装置である。
【００２８】
図７の（Ｂ）は、カラーイメージ検出装置１０の配置を示す図である。ここでは、各フォトサイトタイプ（赤、緑、または青の感光性）の５０％が、遅い応答である。例えば、フォトサイト３２、３４、３６は、それぞれ遅い応答をもつ赤、緑、青のフォトサイトである。フォトサイト３８、４０、４２は、それぞれ早い応答をもつ赤、緑、青のフォトサイトである。イメージ検出装置１０はまた、先の定義に従った、まばらにサンプリングされたダイナミックレンジのイメージ検出装置であることに留意されたい。
【００２９】
図７の（Ａ）および（Ｂ）は、低速フォトサイトの位置を示す標準パターンを意味する。低速フォトサイトは、標準パターンで配置されることが好ましいが、必ずしも必要でない。低速フォトサイトは、ランダムにまたは半ランダムに、イメージ検出装置１０の表面上に配置できる。低速フォトサイトの位置は、ＤＲＥＦＡプロセッサ２２にアクセス可能な位置に用意される。
【００３０】
図５を参照して、図５は、所定の露出に対する高速フォトサイトの応答、および、同じ露出に対する低速フォトサイトの応答を示す。応答にノイズｎのレベルが重ね合わされている場合には、高速フォトサイトは、低速フォトサイトよりも、（露出レベルＥから開始する）露出がより低い有効な信号を生じることが、容易に確認できることに留意されたい（低速フォトサイトは、露出レベル１００Ｅ／Ｘで始まる有効な信号を生じる）。また、低速フォトサイトからのデータは、高速フォトサイトよりも、高い露出レベルで有効である。高い露出レベルとは、信号レベルが１００Ｅ２^Ｓ／Ｘまでのレベルである。Ｓは、単一のフォトサイトの固有のダイナミックレンジであり、典型的にはＳは絞り約５である。高速フォトサイトは、Ｅ２^Ｓの露出までの有効な応答を生成する。高速フォトサイトと低速フォトサイトの両方は、露出の絞り（Ｓ）における同じ応答レンジを有する。しかし、低速フォトサイトの応答は、図５に示すように、好ましくは、高速フォトサイトよりも遅い、絞り−ｌｏｇ_２（Ｘ／１００）である。高速および低速フォトサイトの応答は、露出に関して重なることが好ましい。すなわち、−ｌｏｇ_２（Ｘ／１００）＜Ｓであることが好ましい。イメージ検出装置１０の全ダイナミックレンジは、高速および低速フォトサイトを考慮すると、Ｓ−ｌｏｇ_２（Ｘ／１００）である。Ｓ＝５およびＸ＝２５である好ましい実施の形態の場合は、イメージ検出装置１０の効果的な全ダイナミックレンジは、露出の絞り７である。
【００３１】
ＤＲＥＦＡプロセッサ２２は、低速フォトサイトに対応する画素値を用いることにより、本発明で生成されるデジタルイメージの全ダイナミックレンジを拡大して、非常に高い露出に対応する領域のイメージ信号を再構築するのに利用できる。同様に、ＤＲＥＦＡプロセッサ２２はまた、高速な応答をもつフォトサイトに対応する画素値を用いて、非常に遅い露出に対応するイメージ信号を再構築する。
【００３２】
図８は、ＤＲＥＦＡプロセッサ２２のブロック図を示す。Ａ／Ｄ変換器１４から出力される対数関数イメージ信号ｂ（ｘ，ｙ）であるまばらにサンプリングされた高解像度デジタルイメージは、低速画素補償器４４に送られる。低速画素補償器４４を設けた目的は、絞りＸに応じたオフセットを考慮することにより、低速フォトサイトに対応するイメージ信号を補償することである。または、高速画素は、高速画素を逆の方向に調整することにより、低速画素に等化される。好ましい実施の形態では、低速フォトサイトに対応するイメージ信号は、−cvs ｌｏｇ（Ｘ／１００）の量だけインクリメントされる。ここで、cvsは、露出絞りごとのコード値の数である。好ましい実施の形態では、cvsの量は５１である。または、低速画素補償器４４に入力されるイメージ信号が、露出に対して（対数関数的よりはむしろ）線形的に関連がある場合には、低速画素補償器４４は、低速フォトサイトに対応するイメージ信号に、１００／Ｘのファクタで、倍率をかける。低速フォトサイトの位置は、低速画素補償器４４に通知しなければならないとしていることに留意されたい。低速画素補償器４４の出力は、イメージ信号ｉ（ｘ，ｙ）である。イメージ信号ｉ（ｘ，ｙ）は、低速フォトサイトに対応する位置において、高速フォトサイトの応答に関連する低速フォトサイトの応答の間の差を補償される。高速フォトサイトに対応する位置においては、Ａ／Ｄ変換器１４から出力されるイメージ信号ｂ（ｘ，ｙ）の値は、低速画素補償器４４から出力されるイメージ信号ｉ（ｘ，ｙ）の値と同じである。イメージ信号ｉ（ｘ，ｙ）は、８ビット範囲に制限されないことに注意されたい。好ましい実施の形態では、ｉ（ｘ，ｙ）の値は、０〜３５７（すなわち９ビット）である。
【００３３】
次に、低速画素補償器４４から出力されるイメージ信号ｉ（ｘ，ｙ）は、低速画素閾値部４６に入力される。低速画素閾値部４６を設けた目的は、低速画素値を決定するためである。低速画素値は、有効な信号を生成するのに十分な光子を受け取らないフォトサイトに起因して、質が低い。これら（ｘ，ｙ）位置における画素値は、信号拡張部５０が近隣の高速画素値に基づく新たな画素値の計算を行う処理の際に、置換される。所定の閾値よりも小さい低速画素値のすべては、問題のある画素値と考えられる。低速画素値の場合には、この所定の閾値は、低露出応答閾値として言及される。よって、画素値ｉ（ｘ，ｙ）は、低速フォトサイトの場合、および、
【数２】

の場合には問題と考えられる。ここで、Ｔ_１は予め定められている。好ましい実施の形態では、Ｔ_１の値は、下記の方程式で与えれられ、値１０２が設定されている。
【数３】

閾値Ｔ_１は、位置（ｘ，ｙ）におけるフォトサイトのカラー感度に依存する。問題のある低速画素値は、ノイズ画素として言及される。それは、ｉ（ｘ，ｙ）の値は、イメージ検出装置が有用となる雑音レベルに対して十分高くはないからである。
【００３４】
同様に、低速画素補償器４４から出力されるイメージ信号ｉ（ｘ，ｙ）は、高速画素閾値部４８に入力される。高速画素閾値部４８を設けた目的は、質の低い高速画素値を決定するためである。その後、これらの位置における画素値は、信号拡張部５０による処理中の、近隣の低速画素値に基づいて、新たな画素値を計算することにより置き換えられる。信号拡張部５０による処理は、以下、詳細に説明する。所定の閾値よりも大きい高速画素値のすべては、問題のある画素と考えられる。高速画素の場合、高速画素の問題を検出するために用いられる、この所定の閾値は、光露出応答閾値と言及される。したがって高速画素値ｉ（ｘ，ｙ）は、下記方程式の場合には問題であると考えられる。
【数４】

ここで、Ｔ_２は、所定の閾値である。好ましい実施の形態では、Ｔ_２の値は、値２５４に設定される。閾値Ｔ_２は、位置（ｘ，ｙ）におけるフォトサイトのカラーに依存する。問題の位置の高速フォトサイトは、飽和画素（saturated pixels）と言及される。それは、値ｉ（ｘ，ｙ）は、その位置においてできるだけ高い方がよいからである。
【００３５】
低速画素閾値部４６により決定される低速画素の問題の位置（ｘ，ｙ）、および、高速画素閾値部４８により決定される高速画素の問題の位置（ｘ，ｙ）は、信号拡張部５０に入力される。さらに、低速画素補償器４４から出力されるイメージ信号ｉ（ｘ，ｙ）はまた、信号拡張部５０に入力される。信号拡張部５０を設けた目的は、イメージ検出装置１０の各フォトサイト固有のダイナミックレンジがより大きくなっている場合に、問題の位置（ｘ，ｙ）におけるイメージ信号ｉ（ｘ，ｙ）を、置換値と称する信号の評価と置換することである。問題の位置が、低速フォトサイトと一致すると、置換値は、高速フォトサイトと一致する近隣のイメージ信号画素値から計算される。本実施の形態では、「近隣」という語は、ある空間的な距離を示すとする。好ましい実施の形態では、選択された近隣のフォトサイトは、当該選択されたフォトサイトの２つのフォトサイトの距離内に存在するフォトサイトである。同様に、問題の位置がフォトサイトと一致すると、置換値は、低速フォトサイトと一致する近隣のイメージ信号画素値から計算される。好ましい実施の形態では、問題のフォトサイトにおけるフォトサイトの色もまた、考慮している。どの問題の位置についての置換値も、好ましくは、同色の近隣のフォトサイトから発生される信号によってのみ、決定される。信号拡張部５０の出力は、イメージ検出装置１０の各フォトサイトについての、実際の固有のダイナミックレンジＳよりはむしろ、あたかも、下記方程式に示す固有のダイナミックレンジＳを有するフォトサイトを持つイメージ検出装置１０により撮影されたようなダイナミックレンジを有するイメージ信号ｉ’（ｘ，ｙ）である。
【数５】

問題の位置ではない全ての（ｘ，ｙ）位置において、ｉ’（ｘ，ｙ）の値は、ｉ（ｘ，ｙ）と等しいことに留意されたい。
【００３６】
図７の（Ｂ）に示すBayerＣＦＡパターンに対して、信号拡張部５０により行われる処理の例として、位置（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が（図７の（Ｂ）に示すフォトサイト３４のような）緑のフォトサイトに対応する位置とすると、イメージ信号ｉ（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は、以下のように計算される。
【数６】

ｉ’（ｘ，ｙ）の計算に従属する信号値は、ある要件に適合するように予定されていることに留意されたい。例えば、（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が遅い応答を有するを有する緑のフォトサイトに対応するとする。そして、近隣のフォトサイトの信号レベルは、置換値ｉ’（ｘ，ｙ）を計算するのに利用される。しかし、これは、近隣のフォトサイトの各々の信号値もまた、Ｔ_３より小さいと仮定する。好ましい実施の形態では、Ｔ_３＝Ｔ_１である。このケースに該当しない近隣のフォトサイトの各々に対しては、その信号値は、置換値ｉ’（ｘ，ｙ）の計算から省略される。例えば、ｉ（ｘ−１，ｙ−１）＞Ｔ_３の場合は、値ｉ’（ｘ，ｙ）は下記の方程式で計算される。
【数７】

一般に、位置（ｘ，ｙ）が、Bayerパターンフィルタアレイを有するイメージ検出装置の、高速フォトサイトでもある緑のフォトサイトに対応する場合に、問題の位置（ｘ，ｙ）における置換値を決定するための補間スキームは、以下の方程式で与えられる。
【数８】

【数９】

【００３７】
問題の位置が、低速フォトサイトでもある緑のフォトサイトに対応する場合にも、同じ等式を適用して置換値を決定することに留意されたい。しかし、以下の方程式も成り立つ。
【数１０】

好ましい実施の形態では、Ｔ_４＝Ｔ_２である。
【００３８】
別の例として、位置ｉ（ｘ，ｙ）が問題のフォトサイトであり、（ｘ，ｙ）が赤または青のフォトサイトの位置に対応するとする。これもまた、図７の（Ｂ）に示すBayerＣＦＡパターンと関連する。このとき、イメージ信号ｉ（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は、以下のように計算される。
【数１１】

位置（ｘ，ｙ）が赤または青のフォトサイトに対応し、また高速フォトサイトにも対応するとき、置換値ｉ’（ｘ，ｙ）を決定する方程式は、以下のように求められる。
【数１２】

【数１３】

この場合には、ｊまたはｋのいずれかは０でなければならないが、双方が０になることはない。また、問題の位置が、低速フォトサイトでもある赤または青のフォトサイトに対応する場合にも、同じ方程式を適用して置換値を決定することに留意されたい。しかし、以下の式も成り立つ。
【数１４】

好ましい実施の形態では、Ｔ_４＝Ｔ_２である。
【００３９】
１以上のまばらにサンプリングされたイメージ信号から、拡大されたダイナミックレンジを有するイメージ信号を生成するための上述の補間スキームは、当業者であれば修正できるであろう。しかし、上述の補間スキームに対するそのような多くの修正がえられるが、本発明から大きく逸脱するとして考えるべきではない。
【００４０】
当業者であれば、信号拡張部により行われる上述の補間スキームは、この技術において周知のローパスフィルタであることが認識できるであろう。典型的には、イメージ信号に対するローパスフィルタの適用により、イメージ信号の解像度を低減させる類似の効果がある。よって、ＤＲＥＦＡプロセッサ２２により行われる処理方法により、イメージ検出装置１０の空間解像度を、イメージ検出装置１０のダイナミックレンジを得るのに扱うことができる。実際、信号のダイナミックレンジを増加させるために補間スキームを行うイメージの領域は、そのイメージの同じ領域が（低速画素閾値部４６および高速画素閾値部４８により規定される）「問題の位置」が生じないよう、イメージ検出装置によって撮影されていた場合に得られたイメージの同じ領域と比較して、顕著にソフトに（鮮明でなく）なる。
【００４１】
図９は、図２に示すパクセル化モジュール２２０をより詳細に示す。パクセル化モジュール２２０を設けた目的は、アルゴリズムによる分析のために、パクセル化したデジタルイメージを生成することであり、以下説明するように、所望の拡張プロセッサ２４０により、密度、カラーバランスを決定して、所望のトーンスケール関数を決定する。パクセル化モジュール２２０は、Ａ／Ｄ変換器１４からイメージを受け取る。イメージ信号は、画素タイプ分離器２２２で受け取られる。画素タイプ分離器２２２を設けた目的は、画素の各タイプに、別々にアクセスできることである。本発明では、フォトサイトは、モノクロームのイメージ検出装置１０の場合には、図７の（Ａ）に示すように、２タイプ、高速または低速のタイプである。さらに、図７の（Ｂ）に示すカラーイメージ検出装置１０の場合には、各カテゴリ内で、フォトサイトは赤、緑または青であってもよい。当業者は、多くの他の色および速度の組み合わせが考えられることが認識できるであろう。よって、計６タイプのフォトサイトが存在する。本実施の形態では、画素タイプ分離器２２２は、すべての高速画素値およびすべての低速画素値を別々に出力する。パクセル化エンジン２２４は、低速画素値を受け取り、数値平均化空間フィルタリング技術を行う。その結果、パクセル化されたデジタルイメージが得られる。好ましい実施の形態では、パクセル化エンジン２２４は、ブロックサイズＮ×Ｎのブロック平均化を行い、パクセル化されたデジタルイメージを生成し、パクセル化モジュール２２０から出力される。例えば、パクセル化エンジン２２４が、Ｎ＝３２画素のブロックサイズを用いる場合には、まばらにサンプリングされた高解像度デジタルイメージは、１０２４×１５３６の解像度を持ち、そしてパクセル化されたデジタルイメージは、図１０に示すように、３２×４８の解像度を持つことになる。典型的には、Ｎの値は、パクセル化されたデジタルイメージがカラーおよびトーン分析アルゴリズムによって利用されるような、小さなサイズになるように選択される。パクセル化されたデジタルイメージの各画素は、まばらにサンプリングされた高解像度デジタルイメージのＮ×Ｎブロックに対応する。パクセル化されたデジタルイメージの各画素値は、デジタルイメージの各色（典型的には赤、緑および青）に対して関連する画素値を有する。パクセル化されたデジタルイメージの赤の画素値は、パクセル化エンジン２２４により、まばらにサンプリングされた高解像度デジタルイメージの対応するＮ×Ｎブロック内の、すべての赤い画素値を平均化することにより、決定される。好ましい実施の形態では、画素タイプ分離器２２２は、低速画素値のみを出力するので、パクセル化されたデジタルイメージの各画素は、もっぱら低速画素値を用いて計算されることに留意されたい。緑および青の画素値について、同様の処理が続く。
【００４２】
留意すべき重要なことは、画素タイプ分離器２２２により行われる動作は、コンピュータメモリ内の、画素データの格納位置を再配列しなくてもよいことである。本発明は、コンピュータメモリ内の、画素データの格納位置に対するポインタアドレッシングスキームとして、画素タイプ分離器２２２を実装する。よって、画素タイプ分離器２２２のもっとも重要な面は、高速フォトサイトと低速フォトサイトに対応する画素データを、別体として指標付けられることである。
【００４３】
画素タイプ分離器２２２の別の実施の形態は、各画素位置における単一の画素値のみを有するパクセル化されたイメージを生成することである。この画素値は、輝度画素値として考えられる。パクセル化されたデジタルイメージの輝度画素値は、まばらにサンプリングされた高解像度デジタルイメージの、対応するＮ×Ｎブロック内の、緑の低速画素値のみを用いて得ることができる。または、輝度画素値は、まばらにサンプリングされた高解像度デジタルイメージの、対応するＮ×Ｎブロック内の、すべての低速画素値を用いて得ることができる。図２に示すさらに別の実施の形態として、パクセル化モジュール２２０は、類似の技術を利用して、ＤＲＥＦＡプロセッサ２２から出力されたイメージ信号から、または、ＣＦＡ補間器２６から出力されたフル解像度のデジタルイメージから、パクセル化されたデジタルイメージを生成する。
【００４４】
図２に示す低解像度モジュール２３２は、ユーザに所望のトーンスケール調整を特定可能にすることにより、バランスおよびトーンスケール関数の修正を、ユーザが対話的に決定できるようにするために、低解像度デジタルイメージを生成する。ユーザは、図１に示すように、ユーザ選択装置６２で、これらの所望のトーンスケール調整を入力する。低解像度モジュール２３２（図２）の動作は、以下を除いて、パクセル化モジュール２２０に類似する。すなわち、ファクタＮは、一般に、低解像度イメージが表示装置６４に対して適切になるよう、選択される。概して、低解像度モジュール２３２に対するファクタＮは、パクセル化モジュール２２０に対するファクタＮよりも大きい。好ましい実施の形態では、低解像度でイメージを生成するのに用いられるファクタＮは、８である。表示装置６４がカラー表示装置であれば、低解像度デジタルイメージは、各画素位置に対して、１より大きいカラー画素値を有する。または、表示装置６４がカラー表示装置でなければ、低解像度デジタルイメージは、すでに説明したように、単一の輝度画素値のみを有する。
【００４５】
図１１は、図２に示す拡張プロセッサ２４０をより詳しく示す。ＣＦＡ補間器２６から出力されるフル解像度デジタルイメージは、拡張プロセッサに入力される。別の実施の形態では、拡張プロセッサ２４の位置は、ＣＦＡ補間器２６、または、ＤＲＥＦＡプロセッサ２２に配置される。
【００４６】
輝度−クロミナンスモジュール３２０_１は、フル解像度デジタルイメージを受け取り、フル解像度ＬＣＣデジタルイメージを生成する。輝度−クロミナンスモジュール３２０_２は、低解像度デジタルイメージを受け取り、低解像度ＬＣＣデジタルイメージを生成する。モノクロームの撮影のような用途では、輝度クロミナンスモジュール３２０は省略できる。
【００４７】
シーンバランスモジュール３１０は、パクセル化されたデジタルイメージを受け取り、バランスパラメータを計算する。バランスパラメータは、最終的な処理されたデジタルイメージを与える、色および明るさ（brightness）の変化に関するすべてに関連する。パクセル化されたデジタルイメージおよびバランスパラメータは、トーンスケール関数生成器３３０に受け取られる。トーンスケール関数生成器３３０は、明度（light）トーンスケール関数、すなわち、画素値の変換に用いられる一価関数を計算する。トーンスケール関数適用器３４０_２は、明度トーンスケール関数および低解像度ＬＣＣデジタルイメージを受け取り、明度トーンスケール関数を低解像度ＬＣＣデジタルイメージに適用して、トーンスケール修正済みの低解像度デジタルイメージを生成する。トーンスケール修正済みの低解像度デジタルイメージは、ダイナミックレンジが拡大されたデジタルイメージを表す。ダイナミックレンジが拡大されたデジタルイメージは、明るさおよび色に対してバランスが取られており、トーンスケールが調整されて、暗い部分および明るい部分の細部が改善されている。トーンスケールが修正された低解像度デジタルイメージは、レンダリングモジュール３５０が受け取る。レンダリングモジュール３５０は、低解像度のレンダリングされたデジタルイメージを生成する。イメージ検出装置により撮影されたカラー値を、特定の出力装置に表示するのに適切なカラー値に変換する工程は、しばしば「レンダリング」と言及される。そして、低解像度のレンダリングされたデジタルイメージは、ユーザからのフィードバックを集めるため、表示装置６４に表示される。ユーザは、ボタン、マウス、タッチスクリーン、スライダ、音声コマンドなどのユーザ選択装置６２、または、所望のトーンスケール調整を入力する他の方法を用いる、トーンスケール関数への所望の変更を入力する。所望のトーンスケール調整の例として、ユーザは、ユーザ選択装置６２を用いて、表示装置６４上のイメージの明るい部分を暗くする指示を出す。そして、シーンバランスモジュール３１０、および、トーンスケール関数生成器３３０は、修正したバランス、および、トーンスケール関数を、それぞれ生成する。ユーザとの対話に依存したイメージバランス、および、トーンスケールの作成は、当該技術分野では周知である。例えば、１９９１年４月３０日にLeeらに発行された米国特許第5,012,333号は、イメージに依存するトーンスケール関数を設定し、適用する対話式方法が開示されている。トーンスケール関数適用器３４０_２は、修正されたトーンスケール関数、および、低解像度ＬＣＣデジタルイメージを受け取り、修正されたトーンスケール関数を低解像度ＬＣＣデジタルイメージに適用して、トーンスケールが修正された低解像度デジタルイメージを生成する。トーンスケール関数をデジタルイメージに適用する様々な方法が存在するが、以下でより詳しく説明する。レンダリングモジュール３５０によりレンダリングされた後、低解像度レンダリングされたデジタルイメージは、表示装置６４に表示され、ユーザがユーザ選択装置６２を用いてさらに調整できるようにする。この工程は、ユーザが更に調整しなくなるまで繰り返して行う。その場合、トーンスケール関数適用器３４０_１は、トーンスケール関数（または、ユーザに修正がない場合には修正されたトーンスケール関数）を、フル解像度のＬＣＣデジタルイメージに適用し、トーンスケールが調整されたフル解像度のＬＣＣデジタルイメージを生成する。ＲＧＢ変換モジュール３６０は、このＬＣＣデジタルイメージを、赤、緑、および、青の画素値で表されるイメージに変換し戻し、トーンスケールが調整されたフル解像度のデジタルイメージを生成する。
【００４８】
他の実施の形態では、高速処理用途のような、ある種の用途では、表示装置６４およびユーザ選択装置６２は省略できる。この場合には、低解像度デジタルイメージは、生成される必要がなく、トーンスケール関数生成器３３０から出力されるトーンスケール関数が、トーンスケール関数適用器３４０_１によるフル解像度ＬＣＣデジタルイメージに適用される。
【００４９】
輝度−クロミナンスモジュール３２０_１は、フル解像度デジタルイメージからのフル解像度ＬＣＣデジタルイメージを生成するのに用いられる。フル解像度デジタルイメージは、赤、緑、および、青のデジタルイメージチャネルを含む。各デジタルイメージチャネルは、同数の画素を含む。ｉ番目の列、ｊ番目の行に位置する赤、緑、および、青のデジタルイメージチャネルに対応する画素値を、Ｒ_ｉｊ、Ｇ_ｉｊ、Ｂ_ｉｊとする。また、修正されたデジタルイメージの変換された画素値をＬ_ｉｊ、Ｃ１_ｉｊ、Ｃ２_ｉｊとする。入力画素値、および、出力画素値に関連する、３×３行列変換は、以下のとおりである。
【数１５】

ここで、τ_ｍｎの項は、[τ]で表される３×３ＬＣＣ行列の係数である。本発明で利用される、τ_１１、τ_１２、τ_１３に与えられる定数は、それぞれ０．３３３、０．３３３、０．３３３である。本発明は、他の輝度クロミナンス変換を行うことができ、その場合でも良好な結果が得られることに留意することが重要である。例えば、それぞれ０．３０、０．５９、０．１１に設定されたτ_１１、τ_１２、τ_１３値を有する行列もまた、うまく機能する。計算値Ｃ１、Ｃ２は、デジタルカラー差分値の例である。輝度−クロミナンスモジュール３２０_２はまた、同じ方法で、低解像度ＬＣＣデジタルイメージを生成するのに利用される。
【００５０】
パクセル化モジュール２２０から出力されたパクセル化されたデジタルイメージは、シーンバランスモジュール３１０を用いて実施される。本発明は、１９９０年７月３１日にCokに発行された米国特許第4,945,406号に記載されたもののような、任意のシーンバランスモジュール３１０に入力される。シーンバランスモジュールは、パクセル化されたデジタルイメージの画素値に基づいて、バランスパラメータ、すなわち、理論上の１８％のグレーカードの画素値に対応する画素値を計算する。Cokにより教示された方法では、パクセル化されたデジタルイメージの画素から、画素最小値、最大値、平均値といったの統計的パラメータが計算される。統計上のパラメータは、パクセル化されたデジタルイメージの、異なる領域について計算され、かつ、３つのカラーデジタルイメージチャネル（Ｌ，Ｃ１、およびＣ２）について計算される。統計的パラメータは、所定の係数を有する多重線形（multilinear）方程式で組み合わされて、３つのバランスパラメータ、すなわち、イメージ全体の明るさに関連する、Ｌチャネルバランスパラメータと、イメージのカラーバランス全体に関連するＣ１およびＣ２デジタルイメージチャネルに対する２つのクロミナンスバランスパラメータとを予測する。Ｌ、Ｃ１、および、Ｃ２で表現されているものの、これらのカラーバランス値は、カラー科学の分野に属する者に周知の技術により、他のカラー空間（例えば、赤、緑、および、青）に容易に変換できる。
【００５１】
トーンスケール関数生成器３３０は、パクセル化されたデジタルイメージを受け取り、トーンスケール関数、すなわち、一価の数式、または、各入力値に対応する単一の出力値を有する変換を計算する。本発明は、計算の効率化のため、ルックアップテーブルとして明度トーンスケール関数を与える。本発明は、トーンスケール関数を生成する種々の方法で実施できる。本発明の好ましい実施の形態は、１９８８年３月１５日にAlkoferに発行された米国特許第4,731,671号、および、上述の米国特許第5,822,453号に開示された方法を利用する。これらの方法は、本発明に利用され、２つの別個のトーンスケール関数を生成する。これらのトーンスケール関数は、単一の明度トーンスケール関数にカスケードされ、ＬＣＣデジタルイメージの明るさおよびコントラストを調整するのに用いられる。
【００５２】
米国特許第5,822,453号において、Leeらは、デジタルイメージからのシーンコントラストの評価を含む、デジタルイメージの画素値を用いるトーンスケール関数の計算方法を開示している。Leeらにより教示された方法は、以下を含む。すなわち、デジタルイメージのラプラシアンフィルタリングされたバージョンの計算、ラプラシアン信号のヒストグラムの形成、ラプラシアン信号に適用されたときに、実質的に均一な領域を削除する、ラプラシアンヒストグラムからの２つの閾値の決定、閾値に基づく、デジタルイメージからの画素のサンプリング、サンプリングされた画素からのヒストグラムの形成、サンプリングされたヒストグラムの標準偏差の計算、そして、計算された標準偏差と、所定のコントラストとを比較することによる、所定のコントラストと関係があるデジタルイメージのコントラストの評価である。所定のコントラストは、入力されたイメージのコントラストを決定する。LeeおよびKwonにより開示された方法を利用して、第１のトーンスケール関数を計算する。
【００５３】
米国特許第4,731,671号において、Alkoferは、デジタルイメージのヒストグラムの正規化に基づいて、デジタルイメージの画素値を用いてトーンスケール関数を計算する方法を開示する。この方法は、画素値のサンプルの標準偏差を計算することによる、デジタルイメージのコントラストの決定を含む。画素値のサンプルのヒストグラムを正規化することにより、第２のトーンスケール関数が計算される。画素値のサンプルは、選択された画素値のサンプルのヒストグラムの形状に基づいて、複数のコントラストインターバルに対応する、複数の画素値のサンプルの１つから選択される。コントラストの調整を容易にするために、トーンスケール関数が構築され、標準正規変量（standard normal variate）Ｚの単位で値を生成する。その後、これらのＺ値は、処理されたデジタルイメージのコントラストを決定する画素値のサンプルの標準偏差の関数である定数に乗算される。本発明は、第２のトーンスケール関数の分析の基礎として、ＬＣＣパクセル化されたデジタルイメージの、Ｌ（輝度）デジタルイメージチャネルを利用する。
【００５４】
第１、および第２のトーンスケール関数は、下記の公式を用いて、結合され、明度トーンスケール関数になる。
【数１６】

ここで、LUT_２は、第２のトーンスケール関数を示し、また、LUT_１は、第１のトーンスケール関数を示す。そして、LUT_ｆは、明度トーンスケール関数を示す。変数ｊは、処理されるデジタルイメージの画素値の指標を表す。明度トーンスケール関数ＬＵＴ_ｆは、とり得る画素値の範囲に対して、数１６の式を評価することにより計算される。
【００５５】
明度トーンスケール関数ＬＵＴ_ｆおよびＬＣＣデジタルイメージは、トーンスケール関数適用器３４０_１および３４０_２によって受け取られる。本発明は、明度トーンスケール関数を、フル解像度ＬＣＣデジタルイメージの輝度チャネル、および、低解像度ＬＣＣデジタルイメージのそれぞれに適用して、ソースデジタルイメージの明るさおよびコントラスト属性を調整する。明度トーンスケール関数を、ＬＣＣデジタルイメージのＬ（輝度）チャネルに直接適用することは、もっとも高速である。しかし、本発明は、明度トーンスケール関数を、デジタルイメージの画素に適用する他の方法を実施することもできる。例えば、他の実施の形態が、１９９８年９月３０日にGallagherらにより提出された米国出願09/163,645に記載されている。また、同じく譲渡された米国特許第5,012,333号もまた、トーンスケール関数をデジタルイメージに適用する方法を開示する。これらの方法は、以下を含む。すなわち、輝度デジタルイメージを空間的にフィルタリングして、２つの空間周波数成分（高周波成分および低周波成分）にし、トーンスケール関数を低い空間周波数成分に適用し、トーンスケールが修正された低い空間周波数成分を、高い空間周波数成分と組み合わせる。結果としての処理されたデジタルイメージは、改善された空間的に詳細なコンテンツを備えた、拡大された明るさおよびコントラスト属性を有する。これらの両方の方法は、空間フィルタを利用して、トーンスケール関数を適用する。
【００５６】
ＲＧＢ変換モジュール３６０は、トーンスケールが調整されたフル解像度ＬＣＣデジタルイメージを受け取り、線形３×３行列変換を適用して、輝度−クロミナンス表現を赤−緑−青チャネル表現に戻すよう変換する。その結果、トーンスケールが調整されたフル解像度デジタルイメージのデジタルイメージチャネルは、ソースデジタルイメージとして、同じカラーメトリック表現を有する。変換により、入力されたカラー画素値の線形結合として、新たな画素値を生成する。
【００５７】
ｉ番目の列、ｊ番目の行に位置する、輝度デジタルチャネル、および、２つのクロミナンスデジタルチャネルに対応する画素値を、Ｌ_ｉｊ、Ｃ１_ｉｊ、およびＣ２_ｉｊとする。修正されたデジタルイメージの、変換された画素値を、Ｒ’_ｉｊ、Ｇ’_ｉｊ、Ｂ’_ｉｊとする。入力画素値、および、出力画素値に関連する、３×３行列変換は、以下のとおりである。
【数１７】

ここで、項η_ｍｎは、３×３行列変換の係数である。
【００５８】
本発明の好ましい実施の形態は、輝度−クロミナンスモジュール３２０に対応して[τ]で表されるｌｃｃ行列の逆行列として、上述の[η]で表されるｒｇｂ変換行列を構築する。これは、数１８の行列表記で数学的に表すことができる。
【数１８】

【００５９】
図１１に示すレンダリングモジュール３５０は、トーンスケールが修正された低解像度デジタルイメージを受け取り、画素値に変換を施し、表示装置で直接見ることができる、低解像度レンダリングされたデジタルイメージを生成する。２つの変換が利用され、直接見るために、トーンスケールが修正された低解像度デジタルイメージを作成する。第１の変換は、３×３カラー行列変換であり、トーンスケールが修正された低解像度デジタルイメージのカラー画素に適用される。カラー行列変換は、イメージ検出装置１０のカラーフォトサイトのスペクトル感度と、表示装置６４のスペクトル特性との間の差異の原因となる。本発明により利用される上述の方法は、１９９３年２月２３日にParulskiらに発行された米国特許第5,189,511号に教示され、説明されている。第２の変換は、トーンスケールが修正された低解像度デジタルイメージの、ダイナミックレンジが拡大された画素値と、典型的な表示装置と互換性のある画素値とをマッピングする、トーンスケール関数の適用を含む。本発明は、１９９４年４月５日にBuhrらに発行された米国特許第5,300,381号に開示されている方法と類似の方法を用いる。Buhrは、優先トーンマッピングを行うレンダリングトーンスケール関数を計算する方法を開示する。この方法では、トーンスケール関数のコントラストは、中央トーンがその強度について最大であり、影および明るい画素強度に対しては優美な低めのコントラストを有する。このレンダリングトーンスケール関数は、ガンママッピングトーンスケール関数と組み合わされて、システムトーンスケール関数を計算する。ガンママッピングトーンスケール関数は、典型的な表示装置の固有の強度応答を補償する。システムトーンスケール関数は、レンダリングトーンスケール関数とカスケードされ、ルックアップテーブルの形で、トーンスケールが修正された低解像度デジタルイメージの画素に適用され、低解像度レンダリングされたデジタルイメージを生成する。
【００６０】
デジタルカメラ用途では、ＬＣＤスクリーンなどの表示装置６４が、デジタルイメージプロセッサ２００により生成されるデジタルイメージを見るために用いられる。他のデジタル撮像用途では、ユーザはまた、表示装置６４上でデジタルイメージを見ることができる。ユーザは、ＬＣＤ表示装置上に呈示されたイメージを見て、明るさ、カラーおよびトーンに関する選択を行うことができる。明るさ、および、カラーに対する変更は、図１１に示すシーンバランスモジュール３１０に入力される。本発明は、ユーザにより選択された修正を用いて、バランスパラメータに対してさらなる変更を行う。カラーバランス技術の当業者は、本発明が、カラーバランスを得ることができる、広く多様な方法で実施できることを認識できるであろう。
【００６１】
【発明の効果】
本発明は、画素値の部分集合とともに、トーンスケール関数が生成され、これにより、トーンスケール関数を生成する計算時間を減少できる、という効果を有する。
【図面の簡単な説明】
【図１】本発明による、拡張されたレンジのイメージ検出装置と、デジタルイメージプロセッサとを用いるデジタル撮像システムのブロック図である。
【図２】デジタルイメージプロセッサの機能ブロック図である。
【図３】小型レンズアレイを用いて、選択されたフォトサイトの応答を変化させる、インターラインイメージ検出装置の断面図である。
【図４】金属マスクを用いて、選択されたフォトサイトの応答を変化させる、フルフレームイメージ検出装置の断面図である。
【図５】高速フォトサイトおよび低速フォトサイトの応答を示すグラフである。
【図６】中性密度フィルタアレイを用いて、選択されたフォトサイトの応答を変化させる、イメージ検出装置の断面図である。
【図７】（Ａ）は、全色性のイメージ検出装置上の、低速フォトサイトおよび高速フォトサイトの配置を示す図である。（Ｂ）は、カラーイメージ検出装置上の、低速フォトサイトおよび高速フォトサイトの配置を示す図である。
【図８】ダイナミックレンジ拡張フィルタアレイ（ＤＲＥＦＡ）プロセッサのブロック図である。
【図９】パクセル化モジュールのブロック図である。
【図１０】ブロック平均化のための画素の配置の例を示す図である。
【図１１】拡張プロセッサの機能ブロック図である。
【符号の説明】
２レンズ
６光学的ローパスフィルタ
１０イメージ検出装置
１４Ａ／Ｄ変換器
２２ＤＲＥＦＡプロセッサ
２６ＣＦＡ補間器
４４低速画素補償器
４６低速画素閾値部
４８高速画素閾値部
５０信号拡張部
６２ユーザ選択装置
６４表示装置
２００デジタルイメージプロセッサ
２２０パクセル化モジュール
２２２画素タイプ分離器
２２４パクセル化エンジン
２３２低解像度モジュール
２４０拡張プロセッサ
３１０シーンバランスモジュール
３２０輝度−クロミナンスモジュール
３３０トーンスケール関数生成器
３４０トーンスケール関数適用器
３５０レンダリングモジュール
３６０ＲＧＢ変換モジュール

Claims

まばらにサンプリングされ、拡大されたダイナミックレンジのデジタルイメージに対するトーンスケール関数の生成方法であって、
ａ）光露出に対する所定の応答を有する高速フォトサイトと、その間に散在する、前記光露出と同じ光露出に対してより遅い応答を有する低速フォトサイトとを有し、まばらにサンプリングされ、拡大されたダイナミックレンジのイメージの検出装置を提供するステップと、
ｂ）前記検出装置を用いて、前記高速フォトサイトから生成された高速画素値と、前記低速フォトサイトにより生成された低速画素値との両方を有する、まばらにサンプリングされた高解像度デジタルイメージを生成するステップと、
ｃ）まばらにサンプリングされた前記高解像度デジタルイメージから、前記低速画素値のみを用いて、トーンスケール関数を生成するステップと、
ｄ）別のデジタルイメージを生成するときに、まばらにサンプリングされた前記高解像度デジタルイメージと前記トーンスケール関数とを使用するステップとからなり、
前記の使用するステップは、
まばらにサンプリングされた前記高解像度デジタルイメージからフル解像度デジタルイメージを生成するステップと、
生成された前記トーンスケール関数を用いて、前記フル解像度デジタルイメージから、トーンスケール関数で調整されたフル解像度デジタルイメージを前記別のデジタルイメージとして生成するステップ
とからなる、生成方法。
請求項１に記載された方法において、さらに、
まばらにサンプリングされた前記高解像度デジタルイメージから低解像度デジタルイメージを生成し、
前記低解像度デジタルイメージに前記トーンスケール関数を適用して、トーンスケール関数で変更された低解像度デジタルイメージを生成し、
トーンスケール関数で変更された前記低解像度デジタルイメージを表示し、
変更された前記低解像度デジタルイメージの、ユーザによるトーンスケールの調整を入力し、
前記トーンスケールの前記調整を用いて、調整されたトーンスケール関数を生成する
生成方法。