JP3968121B2 - 画像圧縮方法 - Google Patents
画像圧縮方法 Download PDFInfo
- Publication number
- JP3968121B2 JP3968121B2 JP2001330235A JP2001330235A JP3968121B2 JP 3968121 B2 JP3968121 B2 JP 3968121B2 JP 2001330235 A JP2001330235 A JP 2001330235A JP 2001330235 A JP2001330235 A JP 2001330235A JP 3968121 B2 JP3968121 B2 JP 3968121B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- slow
- photosite
- fast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000007906 compression Methods 0.000 title description 45
- 230000006835 compression Effects 0.000 title description 45
- 230000004044 response Effects 0.000 claims description 46
- 238000005286 illumination Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000007935 neutral effect Effects 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 11
- 239000010410 layer Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000003491 array Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011247 coating layer Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
- H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
- H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Facsimile Heads (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【発明の属する技術分野】
この発明は一般に撮像分野に関し、より詳細にはダイナミックレンジを拡張した撮像素子からの画像を圧縮する方法に関する。
【0002】
【従来の技術】
電荷結合素子(CCD)等の撮像素子は一般に、デジタルカメラ、スキャナ、およびビデオカメラ等の製品内に見られる。これらの撮像素子は、既存の写真フィルム製品に比べてダイナミックレンジが制限されている。典型的な電子撮像素子は、約7ストップのダイナミックレンジを有する。これは、典型的な情景の照射が、結果的な信号のクリッピングを避けるために、かなりの量の精度で決定されなければならない。一方、自然の情景は、9ストップ以上のダイナミックレンジを示すことが多い。これは主に複数の光源の結果であり、その情景の対象を照射する強度は大きく変化している。さらに、鏡面のハイライトが、自然の情景のダイナミックレンジに寄与している。
【0003】
写真フィルムを走査するために用いられる電子センサはさらに、信号強度の高ダイナミックレンジに対処しなければならない。ミルチの(Milch)米国特許第5,221,848号、公告日1993年6月22日では、電子イメージセンサのダイナミックレンジを拡張するために設計された方法および装置が開示されている。写真フィルムを走査することを主目的とし、ミルチはその上に複数の直線状アレイを備えた電荷結合素子スキャナを用いるワンパス・フィルム・スキャナの方法を開示している。そのアレイの一つは高強度の光に対応し、他のアレイは低強度の光に対応している。次に、二つのアレイからの情報を組み合わせ、デジタル化してダイナミックレンジを拡張したデジタル画像を形成する。ミルチが開示した方法および装置は、光強度に対して同じスペクトル感度であるが、異なる性質を備えたフォトサイトを有する電子イメージセンサであり、非常に高いダイナミックレンジを備えたデジタル画像を生成することができる。
【0004】
デジタル電子カメラは、カラーフィルタアレイ(CFA)を備えた単一のイメージセンサを用いて、疎にサンプルしたデジタル画像を生成する。赤、緑、および青のフォトサイトを用いて赤、緑、および青のピクセル値を生成する典型的なカラーフィルタアレイ・パターンは、バイエル(Bayer)の米国特許第3,971,065号、公告日1976年7月20日に開示されている。補間アルゴリズムは、疎にサンプルした画像から完全な解像度のカラー画像を生成するために用いられる。デジタルカメラはさらに、高ダイナミックレンジを有する情景を記録する必要がある。デジタルカメラから高ダイナミックレンジの画像を得る一つの方法は、カメラ内で高ビット深度のアナログ・デジタル変換器を用いることである。別の方法は、ここに援用するギャラガ(Gallagher)などの米国係属出願番号第09/615,398号、出願日2000年7月13日に開示されているように、散在させた高速および低速フォトサイトを備えたイメージセンサを用いることである。さらに、デジタルカメラの重要な特徴は、管理可能な大きさのデジタル画像を生成する必要があることである。これは主に、デジタルカメラの制限された搭載メモリと、デジタル画像を他の素子に転送するための帯域幅の制限による。
【0005】
ロバート・グレイ(Robert Gray)とボビー・ハント(BobbyHunt)は、Proc.SPIE,Volume 432、サンディエゴ、1983年8月の記事「Multispectral data compression using staggered detector arrays」に、CFAを備えたイメージセンサで捕捉した画像の赤、緑、および青のピクセル値に対して、別個に画像圧縮を行うことに関する利点を定量化している。しかし、グレイとハントの方法は、ある照射に対して所定の応答を備えた高速フォトサイトから生成された高速ピクセル値と、同じ照射に対して低速の応答を備えた低速フォトサイトから生成された低速ピクセル値を有するイメージセンサを考慮してはいなかった。
【0006】
ツァイ(Tsai)などの同一出願人による米国特許第5,065,229号、公告日1991年11月12日と、第5,053,861号、公告日1991年10月1日は、色を補間する前にデジタル画像を圧縮する方法を記載している。しかし、彼らの方法は、ある照射に対して所定の応答を備えた高速フォトサイトから生成された高速ピクセル値と、同じ照射に対して低速の応答を備えた低速フォトサイトから生成された低速ピクセル値を有するイメージセンサを考慮してはいなかった。
【0007】
【発明が解決しようとする課題】
従って、ある照射に対して所定の応答を備えた高速フォトサイトから生成された高速ピクセル値と、同じ照射に対して低速の応答を備えた低速フォトサイトから生成された低速ピクセル値を有する電子イメージセンサから得られるデジタル画像を効率的かつ効果的に圧縮する必要がある。さらに、光強度に対して同じスペクトル感度であるが、異なる性質を備えたフォトサイトを有し、非常に高いダイナミックレンジを備えたデジタル画像を生成することができる電子イメージセンサで生成した画像を効果的に圧縮する必要がある。
【0008】
【課題を解決するための手段】
その必要性は、この発明に従って、ある照射に対して所定の応答を備え高速ピクセル値を生成する高速フォトサイトと、同じ照射に対して低速応答を備え低速ピクセル値を生成する低速フォトサイトを有し、疎にサンプルしてダイナミックレンジを拡張した撮像素子によって生成され、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像から、圧縮した画像を生成する方法を提供することによって実現される。その方法は、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像を提供し、完全な解像度から疎にサンプルした画像を高速ピクセル値だけを有する高速画像と低速ピクセル値だけを有する低速画像に分け、前記高速画像と低速画像を別個に圧縮するステップを有する。
【0009】
この発明の利点は、ここで説明した圧縮技術が明らかに、このようなセンサからのデジタル画像をより効率的に圧縮するために、ある照射に対して所定の応答を備えた高速フォトサイトと、同じ照射に対して低速の応答を備えた低速フォトサイトからの低速ピクセル値を有するイメージセンサ上のフォトサイトの独自の配置を利用していることである。
【0010】
【発明の実施の形態】
デジタル画像は、一つ以上のデジタル画像のチャネルからなる。各デジタル画像のチャネルは、二次元アレイのピクセルから構成されている。各ピクセル値は、そのピクセルの幾何学的領域に応じて撮像素子が受け取った光の量に関係している。カラー撮像用途の場合、デジタル画像は一般に、赤、緑、青のデジタル画像のチャネルからなる。例えばシアン、マゼンタ、イエローのデジタル画像のチャネルといった他の構成も実現されている。単色の用途の場合、そのデジタル画像は一つのデジタル画像のチャネルからなる。動画用途は、デジタル画像の時系列として考えられる。当業者には明らかなように、この発明は上記の用途のいずれにも適用できるが、それらに限定されない。
【0011】
この発明は、行と列に配置したピクセル値の二次元アレイとしてデジタル画像チャネルを説明しているが、当業者には明らかなように、同様の効果を備えたモザイク(非直線の)アレイ、つまり六角形のアレイに適用することもできる。
【0012】
電子センサを用いる撮像素子は既知であり、従ってこの発明は特に、この発明による装置の一部を構成するか、またはより直接的に協力している要素に適用される。ここで特に示していないか、または説明していない要素を当業者が選択することもできる。なお、ここで用いられているように、画像という用語は二次元アレイの値のことである。画像は、別の画像の二次元の一部であってもよい。この発明は、プログラム式デジタル・コンピュータまたはカスタム集積デジタル画像処理回路を用いて実現できる。下記の開示内容に基づくコンピュータ・プログラム等を作成することは、プログラミング技術の範囲内で可能である。コンピュータは、パーソナル・コンピュータ等の汎用デジタル・コンピュータであっても、デジタル画像処理用に特に設計した専用デジタル・コンピュータであってもよい。この発明は、デジタルカメラ内に全部であれ一部であれ実装できる。
【0013】
この発明の基本要素は、図1の機能ブロック図として示されている。対象または情景からの光はレンズ2に入射し、電荷結合素子(CCD)等の撮像素子10上に写真画像を形成する。なお、CMOS素子等の他の素子を撮像素子10として用いることもできる。レンズ2と撮像素子10の間に配置した光学的ローパス・フィルタ6は、結像した光をややぼやかして擬似ラインの発生を低減する。A/D変換器14は、結像した光に応じた電圧信号を撮像素子10から受け取り、その電圧信号に応じた画像信号を生成する。A/D変換器の出力は、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像である。疎にサンプルした画像は、複数の種類のフォトサイトを備えた単一のイメージセンサを有する撮像素子で捕捉した画像として定義される。この発明によると、疎にサンプルしたという用語もまた、カラーフィルタアレイを有するイメージセンサを含む、散在した高速および低速フォトサイトを有するイメージセンサが生成した画像を指すことを意図している。
【0014】
完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像は、この発明に従って圧縮し、下記に説明する圧縮器312によって圧縮したデジタル画像を生成する。圧縮したデジタル画像は、コンピュータメモリ(図示せず)内に格納するか、または通信ネットワーク(図示せず)上に送信して、後で復元器214で復元して再構成したデジタル画像を生成できる。
【0015】
図1に示したA/D変換器14は、撮像素子10のフォトサイトで生成した電圧信号に応じた画像信号、つまりデジタル・ピクセル値のストリームに、撮像素子10で生成した電圧信号を変換する。より詳細には、A/D変換器14は、線形にコード化した値が0〜1023の範囲である例えば10ビットの信号といった離散的なデジタル画像信号に、入射光の強度に対してほぼ線形の撮像素子10からの電圧信号を変換する。A/D変換器14はさらに線形のコード値の領域画像信号を、その技術で一般に行われているように、8ビットの対数信号のような非線形のコード値の領域画像信号に変換する処理を行うこともできる。例えば、次に式を用いて、10ビットの線形の画像信号a(x,y)を8ビットの対数画像信号b(x,y)に変換できる。ここで、(x,y)は撮像素子10に関する信号位置の行列インデックスを指定する。
【0016】
【数1】
なお、照射の(撮像素子の線形な応答領域における)各ストップの結果、線形な画像信号a(x,y)は倍増し、対数コード化した画像信号b(x,y)は51倍に増大する。この場合、51という値は照射のストップ(cvs)ごとのコード値の数を表す。
【0017】
好ましい実施例では、撮像素子10は、フォトサイトと呼ばれる光電性の要素のアレイからなる。各フォトサイトは一般に、ここに援用するバイエルの同一出願人による米国特許第3,971,065号に記載されているように、赤、緑、または青のフィルタで被覆されている。バイエルのアレイは、緑のフィルタをフォトサイト上に市松模様に配置し、赤と青のフィルタはラインごとに交互に配置して、市松模様の間隙部を充填したカラーフィルタアレイである。これは、赤または青のフィルタサイトの二倍の数だけ緑のフィルタサイトを形成する。なお、ここに記載した方法は、異なる構成の主原色、異なる数の主原色、または異なる組の主原色を備えたカラーフィルタアレイに容易に拡張できる。従って、好ましい実施例では、各フォトサイトは、赤、緑、または青い光のいずれかに対する感度を有する。従って、撮影された画像は赤、緑および青に疎にサンプルされる。しかし、各フォトサイトの位置で、赤、緑、および青の各々を露光する照射に応じたピクセル値を得ることが望ましい。この説明では、「赤」、「緑」、および「青」は、画像処理技術で既知なように、撮像素子10の主なスペクトル感度を表す。
【0018】
一般に、フォトサイト上のカラーフィルタ要素のカラー値ではなくカラーピクセル値が、補間によって隣接するフォトサイトからのカラーピクセル値から構成される。一般に知られている補間器のいずれも使用することができるが、好ましいCFA補間器の説明は、ここに援用するアダムズ(Adams)などの米国特許第5,652,621号、公告日1997年7月29日の開示内容に含まれている。アダムズなどは、行列に配置したカラーフォトサイトを有するイメージセンサから得たデジタル化した画像信号を処理する装置を説明しており、その装置は少なくとも三つの別個の明度を生成するが、各フォトサイト位置には明度は一つだけであり、各フォトサイト位置用の明度を補間する構造を有し、三つの異なる明度を有する。その装置は、隣接するフォトサイト位置の欠けている明度ではなく、異なる色の明度からこのようなフォトサイト位置の別の明度を補間することで、あるフォトサイト位置の欠けている適切な明度を生成する。その装置はさらに、同じ行列の隣接するフォトサイトに応じて、ピクセル値から少なくとも二つの画像方向におけるラプラシアン二次値、階調値および色差バイアス値を得て、これらの値から展開した分類器に基づいて欠けている明度を補間する好ましい方向を選択する。最後に、隣接する複数のカラーピクセル値から欠けているカラーピクセル値を選択し、好ましい方向に一致させる。撮像素子10に対する所定のフォトサイトの配置は、下記にさらに詳しく説明する。好ましい実施例では、所定のフォトサイトの応答は、ここでは低速フォトサイトと呼ばれる所定のフォトサイトの利得を変更することで低速し遅延する。フォトサイトの利得の変更は、一般的にデジタルカメラの設計および製造技術において実現される。
【0019】
図2を参照すると、各フォトサイト上に樹脂小型レンズ51を配置するイメージセンサの製造技術における一般的な実施例が示されている。例えば、特に撮像素子10がインタライン型固体撮像素子である場合、一つの小型レンズ技術は、ここに援用する石原(Ishihara)などの米国特許第4,667,092号、公告日1987年5月19日に記載されている。石原は、ブロック面を備えた画像記憶ブロックを有する固体撮像素子を開示しており、複数の記憶要素はブロック面に沿って組み込まれ、電荷の形で画像を記憶する。被覆層は、記憶要素に対応して光学的レンズアレイを構成するように形成する。中間層は、ブロック面と被覆層の間に配置する。入射光は、記憶要素上のレンズと中間層を介して集束する。中間層は、焦点距離を調整する調整層として機能する。
【0020】
図2は、インタライン型固体撮像素子の断面図を示している。小型レンズ51がない場合、フォトサイトの各光電性領域55に対応する信号読み出し領域は、光電変換領域として半導体基板の全領域を用いることができない。既存の固体撮像素子は、それに入射する全ての光線を効率的には利用せず、低感度となる。フォトサイト上に樹脂小型レンズ51を追加すると、フォトサイトの光活性領域に入射光線を集束させ、入射光線をより効率的に利用してフォトサイトの感度を向上できる。従って、小型レンズ51の大きさや効率を変更することによって、フォトサイトの感度(利得)を容易に変更できる。さらに、インタライン型素子やCMOSセンサの場合、フォトサイトの利得を変更する好ましい方法は、フォトサイト上に配置した小型レンズ51を変更することによる。図2に示したように、位置52は小型レンズを有しておらず、光電性領域にはより少ない入射光線しか入射しない。また、小型レンズは、小型レンズ51に比べて異なる半径、形状、大きさまたは材料で位置52に製造して、光電性領域55に入射する光線を小型レンズ55より低い効率になるように構成できる。当業者には明らかなように、小型レンズ51が入射光線の80%を光電性領域55上に集束し、小型レンズを有さない(または低速の小型レンズを有する)位置52が入射光線の20%を光電性領域55に到達させる場合、小型レンズ51によって被覆されたフォトサイトは位置52より2ストップだけ高速になる。この場合、小型レンズ51は高速フォトサイトに用いられ、位置52で表されるように小型レンズがない場合は低速フォトサイトに用いられる。
【0021】
全フレーム撮像素子10の断面図を示す図3を参照すると、撮像素子10が全フレーム素子である場合、フォトサイトの光電性領域55に入射する光線は、一般に金属からなる遮光開口部を介して通過する。この遮光開口部は遮光マスク部54と、遮光部の間に散在させた大開口部56、小開口部57を有するように図3の断面図に示されている。好ましい実施例では、フォトサイトの利得は、遮光マスク部54を修正することで変更できる。そして、フォトサイトの感度は遮光マスク部54の開口部に直接関係する。例えば、第二フォトサイトの開口部の大きさの50%の開口部を備えたフォトサイトは、第二フォトサイトに対して50%の応答を有する。例えば、遮光マスク部54の大開口部56は、フォトサイト上への入射光線の80%を通過させ、小開口部57は入射光線の20%しか通過させることができない。当業者には明らかなように、大開口部56を備えたフォトサイトは、小開口部57を備えたフォトサイトより2ストップ高速である。この場合、大開口部56は高速フォトサイトに用いられ、小開口部57は低速フォトサイトに用いられる。従って、遮光マスクの開口部は、所定のフォトサイトの応答を調整するために修正することができる。Eastman Kodak Companyは、全てのピクセルのピクセル活性領域を約80〜約20%まで(センサを水平および垂直に1/2ピクセルの間隔だけ動かし、四つの画像を取り込むディザを行ったスキャナ用途の場合)低減する金属マスク遮光部を備えた全フレーム撮像素子を製造している。従って、この発明は、このようなマスク技術を用いるが異なる大きさの開口部を備え、イメージセンサに画像光の反応差を提供する。
【0022】
好ましい実施例では、所定の低速フォトサイトの応答は、図4にグラフ的に示したように同じ照射に対する高速フォトサイトのX%(X≦100)になる。この好ましい実施例では、所定のフォトサイトは高速フォトサイトに対して2ストップ(−logX/100)だけ遅らされた応答を有し、X=25になる。従って、撮像素子10は、高速フォトサイトと低速フォトサイトという複数組のフォトサイトからなる。高速フォトサイトの出力応答の集まりは、高速画像、つまり高速フォトサイトで検出した情景の疎にサンプルした形態を構成する。同様に、低速フォトサイトの出力応答の集まりは、低速画像、つまり低速フォトサイトで検出した情景の疎にサンプルした形態を構成する。
【0023】
別の方法のように、所定の低速フォトサイトの応答は、そのフォトサイトを被覆するニュートラル・デンシティ・フィルタも用いることで低速にできる。図5は、カラーフィルタアレイ53を備えた撮像素子の断面図を示している。なお、カラーフィルタアレイ53aは赤、53bは緑、53cは赤、53dは緑である。ニュートラル・フィルタ58の層は、カラーフィルタアレイ53上に配置されるが、ニュートラル・フィルタ58の層とカラーフィルタアレイ53の位置は重要ではない。なお、ニュートラル・フィルタ58の層だけが、ニュートラル・フィルタ59で示すように所定のフォトサイトの位置にニュートラル・フィルタを有する。この場合、ニュートラル・フィルタ58の層は、高速フォトサイトに対しては透明またはほぼ透明であり、低速フォトサイトに対してはニュートラル・フィルタ59を有する。例えば、ニュートラル・フィルタ59が光をX%透過できる材料からなる場合、低速フォトサイトの応答は高速フォトサイトの応答に対して−log2(X/100)ストップだけ低速になる。
【0024】
好ましい実施例では、撮像素子10のフォトサイトの50%が、低速応答を有するように選択される。当業者には明らかなように、低速応答を有するフォトサイトの割合を変更してもこの発明の利点を得ることができる。全てのフォトサイトがほぼ等しいスペクトル感度を有する撮像素子10(つまり全整色撮像素子)の場合、図6は低速フォトサイトの配置を示しており、撮像素子10の全フォトサイトの約50%が低速応答となる。低速応答を有するフォトサイト28にはアスタリスク(*)が付けられており、高速応答を有するフォトサイト30は空白である。疎にサンプルした画像は既に、カラーフィルタアレイを有する撮像素子で捕捉した画像として定義していた。この発明によると、疎にサンプルしたという用語は、高速および低速フォトサイトを散在させている図6に示したようなイメージセンサが生成した画像を指すことも意図している。
【0025】
図7は、フォトサイトの各種類(赤、緑、または青の感度を有する)の50%が低速応答を有するカラーイメージセンサの構成を示している。例えば、フォトサイト32、34、および36が各々低速応答を有する赤、緑および青のフォトサイトであり、フォトサイト38、40および42が各々高速応答を有する赤、緑および青のフォトサイトである。
【0026】
なお、図6、7は低速フォトサイトの位置に対して規則的な模様を意味している。低速フォトサイトは規則的な模様で配置することが望ましいが、決して必須ではない。低速フォトサイトは、撮像素子10の表面上にランダムまたはややランダムに配置することができる。
【0027】
図4を参照すると、所定の照射に対する高速フォトサイトの応答と、同じ照射に対する低速フォトサイトの応答が示されている。なお、あるレベルの雑音nをその応答に重ね合わせると、高速フォトサイトは、低い照射に対して、低速フォトサイト(有効な信号は100E/Xから始まる)より有効な信号を出力できることが容易にわかる。また、低速フォトサイトからのデータは、高い照射レベル(100E2^S/Xのレベルの信号まで、ここでSは単一のフォトサイトの固有のダイナミックレンジであり、一般にSは約5ストップである)に対しては、高速フォトサイト(E2^Sの照射まで有効な応答を生成する)より有効である。なお、高速フォトサイトと低速フォトサイトはどちらも、複数のストップの照射において同じ応答レンジ(S)を有するが、低速フォトサイトの応答は好ましくは、図4に示すように高速フォトサイトより−log2(X/100)ストップ遅い。好ましくは、高速および低速フォトサイトの応答は、照射に対して重なり合っている。つまり、好ましくは、−log2(X/100)<Sである。高速および低速フォトサイトを両方とも考慮すると、撮像素子10の全ダイナミックレンジは、S−log2(X/100)となる。好ましい実施例では、S=5、X=25であり、撮像素子10の全有効ダイナミックレンジは7ストップの照射となる。
【0028】
完全な解像度のダイナミックレンジを拡張したデジタル画像は、高速および低速画像のピクセル値を等しくし、同じ光照射に対する応答の違いを明らかにして、必要ないずれかの色の補間を行うことで生成される。
【0029】
A/D変換器14から出力し、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像は、メモリの必要量を低減し画像の可搬性を助けるためにこの発明に従って圧縮する。好ましい実施例では、A/D変換器14から出力した画像信号は圧縮器312に入力する。圧縮器312の出力は、圧縮したデジタル画像であり、例えばコンピュータのハードディスク・ドライブ、フロッピ・ディスク、CD−ROM、またはコンピュータのRAM等のコンピュータメモリ内に保存できる。圧縮したデジタル画像はさらに、通信ネットワークを介してある場所から別の場所にデジタル画像を送るとき送信時間を低減する。例えば、圧縮したデジタル画像は、通信ネットワークを介してリモート位置に送信でき、圧縮した画像をそこで復元器314に入力して再構成したデジタル画像を生成する。圧縮器312からの圧縮したデジタル画像は、電子メールまたはインターネットを介して、ホストコンピュータまたはリモート・コンピュータに送って復元することもできる。復元したデジタル画像は、さらに処理して再構築したデジタル画像のダイナミックレンジを拡張し、高解像度でダイナミックレンジを拡張した画像を生成できる。A/D変換器14から出力し、疎にサンプルしてダイナミックレンジを拡張した画像を圧縮することで、再構築したデジタル画像のダイナミックレンジを拡張する計算上複雑な処理は、より便利な時間まで遅延できる(例えばカメラではなくデスクトップ・コンピュータ上)。圧縮器312は、ファイルの大きさを低減するために、不可逆的圧縮または可逆的圧縮のいずれかを行うことができる。圧縮器312の出力は、ほとんどの消費者に有用なJPEG等のファイル・フォーマットであってもよい。
【0030】
この発明の場合、フォトサイトは図6に示したように高速または低速の二種類からなる。さらに、図7に示したようなカラーイメージセンサ10の場合、各種類内でフォトサイトはさらに、赤、緑または青であることができる。(当業者には明らかなように、多くの他の組み合わせも可能である。)従って、全部で六種類のフォトサイトがある。フォトサイトの各種類は、同じ種類の隣接するフォトサイトと高い相関を有するので、フォトサイトの各種類の出力は、この発明による圧縮器312によって別個に圧縮される。圧縮器312については、下記にさらに詳しく説明する。
【0031】
圧縮器312は、いくつかのモードのいずれか一つで動作してもよい。一つのモードは、イメージセンサ10が図6に示したような単色センサのときである。イメージセンサ10の大部分が図8に示されているが、ここでは印*を有する位置が前述のように低速応答を有するフォトサイトを表す。単色センサの出力を圧縮する異なる方法は下記に説明する。
【0032】
圧縮器312の動作の可能なモードの一つは、低速ピクセルとは独立に高速ピクセルを圧縮することである。図17によると、低速ピクセルとは独立に高速ピクセルを圧縮することは、ピクセル種類分離器316によって可能になる。ピクセル種類分離器316の目的は、各種類のピクセルに別個にアクセスできるようにすることである。この実施例では、ピクセル種類分離器316は、全ての高速ピクセル値と全ての低速ピクセル値を別個に出力する。次に、ピクセル種類分離器316からの出力として、特定の種類のフォトサイトに対応させたピクセルをピクセル種類圧縮器322に入力する。この方法の利点は、同じ種類のフォトサイトから得られる隣接するピクセル値が同じようになりやすいことであり、圧縮器312の効率を改善できる。この動作モードでは、圧縮器312は、高速ピクセルからなる圧縮した画像と、低速ピクセルからなる圧縮した画像を出力する。さらに、いくつかの高速ピクセル値が飽和しているか、またはいくつかの低速ピクセル値がほぼクリッピングされている(信号が低い)場合、復元した画像のダイナミックレンジを拡張する以降の処理ステップが、ほぼクリッピングされているピクセルをどうしても無視するので、これらの領域は高い誤りで圧縮される。従って、より高い度合いの圧縮が実現される。これら二つの圧縮したデジタル画像は、単一のファイルにまとめても別個のファイルにしてもよい。この方法は、各種類のフォトサイトの圧縮の設定を別個に設定できるという別の利点を有する。例えば、低速ピクセルは以降の処理の間に増幅される可能性があるので、高速ピクセルと比べて歪みを少なく圧縮することが望ましい。
【0033】
別の実施例として図18を参照すると、ピクセル種類分離器316から出力した低速ピクセル値は、ピクセル種類圧縮器322で圧縮できる。さらに、高速ピクセル値は、低速ピクセル値から高速ピクセル値をまず予測し、次に予測値と実際の値の間の違いを圧縮することで圧縮できる。この方法では、高速ピクセル値を圧縮する前に、低速ピクセル値を用いて高速ピクセル値を予測する。位置P(x,y)における高速ピクセル値用の一般的な予測器320は、周囲の四つの低速ピクセル値P(x+1,y+1)、P(x−1,y+1)、P(x+1,y−1)、P(x−1,y−1)の一つ以上を用いて、それらにまず非線形利得を加え、次に得られた値の一次結合を構成する。次に、予測器320から出力した予測を、ピクセル種類分離器316から出力した高速ピクセルの実際の値から差し引き差分画像を構成して、次に別のピクセル種類圧縮器322で圧縮する。再び、異なる圧縮設定(例えば圧縮が低く画像品質が高くなる設定)で差分画像ではなく低速ピクセル値を圧縮できる。
【0034】
上記の実施例の制限は、復元器314において、低速ピクセルの実際の値の代わりに復元後のそれらの再構成値だけが利用可能なことである。従って、高速ピクセルを再構成するとき、復元した差分画像はピクセル種類圧縮器322で用いた元の値ではなく、再構成した低速ピクセル値に基づく予測に加えられる。その結果、再構成した高速ピクセルの全圧縮歪みは、再構成した低速ピクセルの圧縮歪みと、復元した差分画像の圧縮歪みの和による。
【0035】
この制限は、図19に示したこの発明の実施例によって克服される。まず、前のように、ピクセル種類分離器322から出力した低速ピクセル値を好ましい設定の圧縮パラメータで圧縮し、圧縮した画像を画像メモリに記憶する。次に、高速ピクセル値を圧縮する前に、まず低速ピクセル値をピクセル種類復元器324で復元し、復元した値を用いて前のように予測器320で高速ピクセルの値を予測する。なお、ピクセル種類復元器324が動作すると、所定のピクセル種類の圧縮した値を再構成する。さらに、ピクセル種類復元器324の正確な動作は、ピクセル種類圧縮器322の動作を反転させたものに基づく。当業者には、圧縮器と復元器の間の関係は明らかであった。次に、予測器320から出力した予測を高速ピクセルの実際の値から差し引きし残像を構成して、別のピクセル種類圧縮器322で圧縮するが、低速ピクセルとは異なる圧縮設定が可能である。
【0036】
この方法は特に、圧縮ハードウェアをカメラ内で用いる場合に魅力的である。ほとんどの圧縮および復元技術(例えばJPEG圧縮規格)は高い度合いで類似性を有するので、圧縮に用いる同じハードウェアを復元にも用いることができ、圧縮性能を改善しながら回路を追加する必要性を節約できる。
【0037】
図8に見られるように、高速ピクセルまたは低速ピクセルの各組は五点形の模様を構成する(市松模様上の赤い正方形を考える)。この模様は、前述のように高速ピクセル値を低速ピクセル値とは別個に圧縮する場合、いくつかの圧縮アルゴリズムに対して問題を引き起こす。例えば、技術的に通常用いられるJPEG圧縮は、8×8ピクセルのブロックを構成することを基にしている。五点形のデータにJPEG圧縮を適用するには、他の各行(または列)は左(または上)に移動させなければならない。これは、擬似垂直(または水平)周波数を引き起こし、圧縮効率に著しく影響する。図9、10は、JPEG等のアルゴリズムで、五点形模様に配置したピクセル値を圧縮する好ましい方法を示している。まず、そのアレイの長方形の模様を構成する偶数位置(指数x、yが偶数である位置)の低速ピクセル値をJPEG圧縮で圧縮する。奇数位置の低速ピクセル値から偶数位置の低速ピクセル値を分離することは、偶数位置の低速ピクセル値を第一種のフォトサイト、奇数位置の低速ピクセル値を第二種のフォトサイトと考えることで実現される。次に、ピクセル種類分離器316が、奇数位置の低速ピクセル値から偶数位置の低速ピクセル値を処理する。なお、最初の8×8JPEGブロックは、A/D変換器14から出力したように、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像上で、16×16ブロックに効率的に広がる。同様に、図10に示したように奇数位置(x、yが奇数である位置)の低速ピクセル値も、圧縮器312によってJPEG圧縮で圧縮される。当業者には明らかなように、同様の処理を高速ピクセル値に対して行うこともできる。従って、低速または高速ピクセル値の各組に対する圧縮器312の出力は二つの圧縮ファイルである。
【0038】
偶数および奇数位置の低速(または高速)ピクセル値を圧縮する方法は、五点形サンプルの再要求から得られる擬似空間周波数を取り除く利点を別個に有する。しかし、この方法の欠点は、偶数および奇数位置のサンプルの間の空間的相関が用いられていないことである。図18について説明した別の実施例では、偶数位置の低速ピクセル値をピクセル種類圧縮器322で圧縮し、まず偶数位置の低速ピクセル値を入力した予測器320で奇数位置の低速ピクセル値を予測し、その結果の差分画像をピクセル種類圧縮器322で圧縮する。さらに、予測に用いられるピクセルと予測したピクセルはどちらも同じ種類であるので、予測器320では簡単な線形予測を用いることができる。位置P(x,y)でのあるピクセルに対する線形予測器のいくつかの簡単な例には、一行左上の位置のピクセル(P(x−1,y−1))、一行左上と右上のピクセルの平均(P(x−1,y−1)+P(x−1,y+1))/2、一行左上と左下のピクセルの平均(P(x−1,y−1)+P(x+1,y−1))/2、または周囲四つのピクセルの平均(P(x−1,y−1)+P(x+1,y−1)+P(x+1,y+1)+P(x−1,y+1))/4が含まれる。
【0039】
同様の動作は、高速ピクセル値の圧縮のためにも行うことができる。当業者には明らかなように、高速ピクセル値を圧縮し、高速ピクセル値を用いて低速ピクセル値を予測し、差分画像を生成して圧縮する等の説明の変形態様は、上記の説明の観点から明らかであり、この発明の範囲内から著しく逸脱するものではない。
【0040】
単色センサで動作する圧縮器312の動作の好ましいモードは、図19を参照しながら次のようになる。偶数位置の低速ピクセル値は、ピクセル種類圧縮器322でのJPEG等の標準圧縮技術で圧縮する。次に、ピクセル種類復元器324で復元アルゴリズムを加えることで、復元(再構成)した低速偶数ピクセル値を計算する。復元(再構成)した低速偶数ピクセル値はさらに、予測器320で奇数位置の低速ピクセル値の値を予測するために用いることもできる。低速奇数ピクセル値と予測の間の残差はさらに、JPEG等の標準圧縮技術で圧縮する。同様の動作は、高速ピクセル値についても行うことができる。最後に、低速偶数ピクセル値、低速奇数差分画像、高速偶数ピクセル、および高速奇数ピクセル差分画像に対する圧縮パラメータの設定は、以降の処理に基づいて最善の画質を得るために異なるように選択できる。
【0041】
イメージセンサ10が図7に示したようなカラーセンサである場合、イメージセンサ10の大部分が図11に示されており、そこでは印*を含む位置が低速応答を有するフォトサイトを表し、rgおよびbが前述のように赤、緑および青の光に感度を有することを表す。
【0042】
圧縮器312の動作の一モードが、図11に示したようなカラーイメージセンサで動作する場合が下記に説明されている。赤、緑、および青に感度を有するフォトサイトは、高速および低速フォトサイトの各々に対して存在し、好ましい実施例のフォトサイトは全部で六種類ある。高速フォトサイトでもある赤のフォトサイトからのピクセル値は、ここでは赤の高速ピクセル値と呼ぶ。同様の命名法は、他の色および高速フォトサイトの値に対しても当てはまる。当業者には明らかなように、カラーアレイ上にフィルタを配置するために別の設計を用いることもできる。さらに、カラーフィルタアレイは、赤、緑、および青以外の色から構成することもできる。例えば、その色は緑、黄色、シアン、マゼンタであってもよい。当業者には明らかなように、ここで説明したようなカラーイメージセンサ上の、高速および低速フォトサイトを有するセンサからの画像を圧縮するための、ここで説明した原理は技術的に知られている方法を用いることで、いずれの選択、数、および配置の色に対しても適用できる。
【0043】
圧縮器312の動作モードでは、各種類のフォトサイトに関するピクセル値を別個に圧縮することを行い、基本的な概念は図17に示されている。ピクセル種類分離器316は、六種類のピクセル値の各々を別個に出力する。ピクセル種類分離器316から出力されるような特定の種類のフォトサイトに関するピクセルは次に、ピクセル種類圧縮器322に入力される。この動作モードでは、圧縮器312は、赤、緑、および青のフォトサイトの三色の各々に対して、高速ピクセル値からなる圧縮した画像と低速ピクセル値からなる圧縮した画像を出力し、全部で六つの圧縮した画像となる。これらの圧縮したデジタル画像はまとめて、単一ファイルの圧縮したデジタル画像を構成しても別個のファイルであってもよい。この方法の利点は、同じ種類のフォトサイトから得られる隣接するピクセル値が同じようになりやすいことであり、圧縮器312の性能を向上できる。この動作モードでは、圧縮器312は六つの圧縮した画像を出力する。これらの画像は、単一のファイルに格納することも複数のファイルに格納することもできる。さらに、圧縮パラメータを各ピクセルの種類ごとに別個に設定して、以降の処理で必要とされる精度に適応させたり、各色ごとに異なるように設定して、人の視覚系のスペクトル感度を利用することもできる。
【0044】
別の実施例のように、ピクセル種類分離器316は、各色に対して二種類のピクセル値を各々別個に出力する。次に、ピクセル種類分離器316からの出力として、特定の種類のフォトサイトに対応させたピクセルをピクセル型圧縮器322に入力する。その色に対して第一種のフォトサイトに対応させたピクセル値(例えば低速ピクセル値)は、図18に見られるようなピクセル種類圧縮器322で圧縮することもできる。次に、残りの種類のフォトサイトに対応させたピクセル値(例えば高速ピクセル値)は、まず予測器320を用いて第一種のフォトサイト(低速ピクセル値)から、残りの種類のフォトサイトに対応させたピクセル値(高速ピクセル値)を予測し、残りの種類のフォトサイトの実際のピクセル値(高速ピクセル値)と予測器320からの予測の間の差分画像を生成し、次にピクセル種類圧縮器322で差分画像を圧縮することで圧縮できる。以前のように、予測には、予測されるピクセルの近傍(撮像素子10上)にあるピクセル値に数式を加えることが含まれる。
【0045】
図19に示した別の実施例のように信号の歪みを最小にするために、差分画像は、ピクセル種類圧縮器322で第一種のフォトサイトに対応させたピクセル値を圧縮し、ピクセル種類復元器324で復元して復元したピクセル値を得て、これらの復元したピクセル値を用いて予測器320で残りの種類のピクセル値を予測することで決定される。
【0046】
JPEG圧縮等の所定の圧縮アルゴリズムは、データを五点形格子ではなく、通常の長方形の格子に配置するときに最もよく動作する。図12に示されているように、緑の低速ピクセルは、JPEG圧縮で理想的な長方形の格子を構成する。図13は、緑の高速ピクセルも、JPEG圧縮に理想的な長方形の格子を構成することを示している。図14は、赤の低速ピクセルが五点形の模様の構成することを示している。この模様は、前述のように、高速ピクセル値を低速ピクセル値とは別個に圧縮する場合は、いくつかの圧縮アルゴリズムで問題を引き起こすことがある。例えば、技術的に一般に用いられるJPEG圧縮は8×8ピクセル・ブロックを基にしている。
【0047】
説明した問題の可能な解決策の一つは、赤の低速ピクセル値の一つおきの行(列)を選び、それらを左(上)に2ピクセル移動させることである。これは、JPEG圧縮に適した長方形の格子上に赤の低速ピクセル値を配置する。この方法は直接的であるが、圧縮効率を低下させる擬似空間周波数を生成するかもしれない。
【0048】
この問題に対処する好ましい配置は、図15、16に示されている。その手順は、図17について説明している。第一位置(図15に示したようにxが4の整数倍より2大きく、yが4の整数倍より1大きい赤のフォトサイトの位置)の赤の低速ピクセル値は、アレイ上に長方形の模様を形成し、ピクセル種類分離器316が他のピクセルの種類から別個に出力するものは別のピクセルの種類と考える。第一位置にあるこれらの赤の低速ピクセル値は、ピクセル種類圧縮器322内で例えばJPEGの圧縮ルーチンに基づくブロックで圧縮する。なお、最初の8×8ピクセルのJPEGブロックは、A/D変換器14から出力されるように、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像上の32×32ブロックに広がる。同様に、第二位置(図16に示したようにxが4の整数倍で、yが4の整数倍より3大きい位置)の赤の低速ピクセル値も、ピクセル種類分離器316が他のピクセルの種類から別個に出力する別のピクセル種類と考える。第二位置のこれらの赤の低速ピクセル値は、ピクセル種類圧縮器322でJPEG圧縮のような圧縮アルゴリズムに基づくブロックで圧縮する。当業者には明らかなように、青の低速ピクセル値、赤の高速ピクセル値および赤の低速ピクセル値に対して同様の処理を行うことができる。次に、圧縮器312の出力をサブイメージに圧縮し、サブイメージは緑の低速ピクセルから一つ、緑の高速ピクセルから一つ、赤の低速ピクセルから二つ、赤の高速ピクセルから二つ、青の高速ピクセルから二つ、青の低速ピクセルから二つ得られる。
【0049】
カラーセンサ上で動作する圧縮器312の好ましい動作モードは、色の差分値の圧縮に基づいて図20に示した最善の画質の再構成を実現し、次にように説明される。まず、ピクセル種類分離器316から出力した緑の低速ピクセル値を、ピクセル種類圧縮器322で所定の圧縮設定(例えば以降の処理で必要とされるピクセルの精度で決定したもの)を用いて圧縮する。次に、ピクセル種類分離器316から出力した緑の高速ピクセル値を、ピクセル種類圧縮器322で同じかまたは異なる圧縮設定(例えば、より小さなファイルサイズを実現する高い割合の圧縮)で圧縮する。次に、ピクセル種類分離器316から出力した赤の低速ピクセル値の各々に対して、ピクセル種類補間器326で隣接する緑の低速ピクセル値を用いて、対応する緑の低速ピクセル値を補間する。なお、ピクセル種類補間器326は、ピクセル種類分離器316から出力するような所定のピクセル種類の元のピクセル値を入力しても、より高精度の場合はピクセル種類補間器326は、圧縮したピクセル種類をピクセル種類復元器324で復元することで生成した、復元したピクセル種類値を入力してもよい。次に、赤の低速ピクセル値と、補間した緑の低速ピクセル値の間の差分画像を形成して、得られる差分画像をピクセル種類圧縮器322で圧縮する。同様に、あらゆる赤の高速ピクセル位置で、隣接する緑の高速ピクセル値を用いて、対応する緑の高速ピクセル値をピクセル種類補間器326で補間し、赤の高速ピクセル値と、補間した緑の高速ピクセル値の間の差分画像を形成してピクセル種類圧縮器322で圧縮する。最後に、同じ処理を低速および青の高速ピクセル値に対して繰り返し、対応する緑の低速または高速の隣接値を用いて、緑の低速および高速ピクセル値を補間し、対応する青の低速または高速ピクセル値から差し引き、得られる差分画像を圧縮する。
【0050】
この時点で、カラー画像は圧縮した六つのサブイメージに分解され、六つの圧縮したデジタル画像を形成する。図11に示したCFA模様に基づいて、これら六つのサブイメージは画像の1/4ピクセルを構成する緑の低速サブイメージ、画像の1/4ピクセルを構成する緑の高速サブイメージ、あらゆるピクセルが赤の低速値と隣接する緑の低速値に基づく、対応する補間した緑の低速値の差であり画像の1/8ピクセルを構成する赤の低速差分サブイメージ、あらゆるピクセル値が赤の高速値と隣接する緑の高速値に基づく、対応する補間した緑の高速値の差であり画像の1/8ピクセルを構成する赤の高速差分サブイメージ、あらゆるピクセルが青の低速値と隣接する緑の低速値に基づく、対応する補間した緑の低速値の差であり画像の1/8ピクセルを構成する青の低速差分サブイメージ、および最後にあらゆるピクセルが青の高速値と隣接する緑の高速値に基づく、対応する補間した緑の高速値の差であり画像の1/8ピクセルを構成する青の高速差分サブイメージである。
【0051】
補間した緑のピクセル値と、赤または青のピクセル値の間の違いを圧縮するこの方法は、赤、緑、および青の値が結果的に各ピクセルの位置で必要とされることが期待されるので好ましい。差分画像のピクセルの差分値は、例えば、コーク(Cok)の同一出願人による米国特許第4,642,678号、公告日1987年2月10日に記載されているように、これらの別のピクセル値の計算で直接用いることができる。
【0052】
当業者には明らかなように、この基本的な主題における変形態様は、ここに開示されているものに基づいて可能である。例えば、緑の低速ピクセルからなる第一サブイメージを圧縮した後で、緑の低速ピクセル値の実際の値、または復元(再構成)した緑の低速ピクセル値のいずれかを用いて、緑の高速ピクセル値を予測することができる。従って、緑の高速ピクセル値を圧縮するする代わりに、緑の高速ピクセル値と、それらの予測した値の間の差である差分画像が圧縮される。同様に、サブイメージ3〜6の構成で用いられる、補間した緑の低速および高速ピクセル値を実際の値の代わりに、復元(再構成)した緑の低速または高速ピクセル値に基づかせることができる。最後に、赤の低速および高速サブイメージ(サブイメージ3、4)は、単一のファイルまたは二つの別個のファイルとして圧縮できる。同様に、青の低速および高速差分サブイメージ(サブイメージ5、6)も、単一のファイルまたは二つの別個のファイルとして圧縮できる。
【図面の簡単な説明】
【図1】 この発明によるレンジを拡張した撮像素子とデジタル画像処理器を用いるデジタル撮像システムのブロック図である。
【図2】 小型レンズのアレイを用いて所定のフォトサイトの応答を変更するインタライン型撮像素子の断面図である。
【図3】 金属マスクを用いて所定のフォトサイトの応答を変更する全フレーム撮像素子の断面図である。
【図4】 高速フォトサイトと低速フォトサイトの応答を示すグラフである。
【図5】 ニュートラル・デンシティ・フィルタのアレイを用いて所定のフォトサイトの応答を変更する撮像素子の断面図である。
【図6】 全整色撮像素子上の低速フォトサイトと高速フォトサイトの配置を示す図である。
【図7】 カラー撮像素子上の低速フォトサイトと高速フォトサイトの配置を示す図である。
【図8】 全整色撮像素子上の低速フォトサイトと高速フォトサイトの配置を示す図である。
【図9】 低速偶数フォトサイトの配置を示す図である。
【図10】 低速奇数フォトサイトの配置を示す図である。
【図11】 カラー撮像素子上の低速フォトサイトと高速フォトサイトの配置を示す図である。
【図12】 緑の低速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図13】 緑の高速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図14】 赤の低速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図15】 第一組の赤の低速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図16】 第二組の赤の低速フォトサイトに応じてサンプルしたピクセルの配置を示す図である。
【図17】 この発明による第二の圧縮器のブロック図である。
【図18】 この発明による第三の圧縮器のブロック図である。
【図19】 この発明による第四の圧縮器のブロック図である。
【図20】 この発明による好ましい圧縮器のブロック図である。
【符号の説明】
2 レンズ、6 光学的ローパス・フィルタ、10 撮像素子、14 A/D変換器、28 低速フォトサイト、30 高速フォトサイト、32 赤の低速フォトサイト、34 緑の低速フォトサイト、36 青の低速フォトサイト、38赤の高速フォトサイト、40 緑の高速フォトサイト、42 青の高速フォトサイト、51 高速小型レンズ、52 位置、53 カラーフィルタアレイ、54 遮光マスク部、55 光電性領域、56 大開口部、57 小開口部、58ニュートラル・デンシティ・フィルタ層、59 低速ニュートラル・デンシティ・フィルタ、312 圧縮器、314 復元器、316 ピクセル種類分離器、320 予測器、322 ピクセル種類圧縮器、324 ピクセル種類復元器、326 ピクセル種類補間器。
Claims (1)
- ある照射に対して所定の応答を備え高速ピクセル値を生成する高速フォトサイトと、同じ照射に対して低速応答を備え低速ピクセル値を生成する低速フォトサイトを有し、疎にサンプルしてダイナミックレンジを拡張した撮像素子によって生成され、完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像から圧縮した画像を生成する方法であって、
a)完全な解像度から疎にサンプルしてダイナミックレンジを拡張した画像を提供し、
b)前記完全な解像度から疎にサンプルした画像を、高速ピクセル値だけを有する高速画像と低速ピクセル値だけを有する低速画像に分け、
c)前記高速画像と低速画像を別個に圧縮する、
各ステップを有する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/718,887 US6765611B1 (en) | 2000-11-21 | 2000-11-21 | Method for compressing an image from a sparsely sampled extended dynamic range image sensing device |
US09/718,887 | 2000-11-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002204399A JP2002204399A (ja) | 2002-07-19 |
JP3968121B2 true JP3968121B2 (ja) | 2007-08-29 |
Family
ID=24887956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001330235A Expired - Fee Related JP3968121B2 (ja) | 2000-11-21 | 2001-10-29 | 画像圧縮方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6765611B1 (ja) |
EP (1) | EP1209919B1 (ja) |
JP (1) | JP3968121B2 (ja) |
DE (1) | DE60113949T2 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7623168B2 (en) | 2000-07-13 | 2009-11-24 | Eastman Kodak Company | Method and apparatus to extend the effective dynamic range of an image sensing device |
EP1357760B1 (en) * | 2001-01-09 | 2011-11-09 | Sony Corporation | Image processing device and method |
US7479998B2 (en) * | 2001-01-09 | 2009-01-20 | Sony Corporation | Image pickup and conversion apparatus |
EP1352518B1 (en) * | 2001-01-11 | 2009-03-04 | Smal Camera Technologies, INC. | Adaptive sensitivity control, on a pixel-by-pixel basis, for a digital imager |
US7088388B2 (en) * | 2001-02-08 | 2006-08-08 | Eastman Kodak Company | Method and apparatus for calibrating a sensor for highlights and for processing highlights |
US8120690B2 (en) * | 2001-04-12 | 2012-02-21 | Nikon Corporation | Imaging device |
US6924841B2 (en) * | 2001-05-02 | 2005-08-02 | Agilent Technologies, Inc. | System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels |
JP2004048561A (ja) * | 2002-07-15 | 2004-02-12 | Fuji Photo Film Co Ltd | 撮像装置及び測光装置 |
US6906719B2 (en) * | 2002-10-12 | 2005-06-14 | International Business Machines Corporation | System and method for content-based querying using video compression format |
JP3768182B2 (ja) * | 2002-10-23 | 2006-04-19 | 三洋電機株式会社 | 電子カメラ |
US7327504B2 (en) * | 2002-12-06 | 2008-02-05 | Eastman Kodak Company | Method of detecting clipped image pixels |
JP4279562B2 (ja) * | 2003-01-17 | 2009-06-17 | 富士フイルム株式会社 | 固体撮像装置の制御方法 |
JP4025207B2 (ja) * | 2003-01-17 | 2007-12-19 | 富士フイルム株式会社 | 固体撮像素子及びデジタルカメラ |
US7430011B2 (en) * | 2003-01-22 | 2008-09-30 | Omnivision Technologies, Inc. | Image sensor having dual automatic exposure control |
US7446812B2 (en) * | 2004-01-13 | 2008-11-04 | Micron Technology, Inc. | Wide dynamic range operations for imaging |
JP2005259750A (ja) * | 2004-03-09 | 2005-09-22 | Fuji Film Microdevices Co Ltd | 多板式カラー固体撮像装置及びデジタルカメラ |
US7769108B1 (en) | 2004-12-17 | 2010-08-03 | The United States Of America As Represented By The Secretary Of The Air Force | Digital receiver instantaneous dynamic range enhancement |
US8139130B2 (en) | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
US8274715B2 (en) * | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
US7893976B2 (en) * | 2006-12-01 | 2011-02-22 | Eastman Kodak Company | Light sensitivity in image sensors |
US7825969B2 (en) * | 2006-12-15 | 2010-11-02 | Nokia Corporation | Image stabilization using multi-exposure pattern |
US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
US8279308B1 (en) | 2009-07-30 | 2012-10-02 | Adobe Systems Incorporated | Optimized log encoding of image data |
US9191556B2 (en) * | 2011-05-19 | 2015-11-17 | Foveon, Inc. | Imaging array having photodiodes with different light sensitivities and associated image restoration methods |
JP6041500B2 (ja) * | 2012-03-01 | 2016-12-07 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法 |
US20230098691A1 (en) * | 2021-09-29 | 2023-03-30 | Tencent America LLC | Techniques for constraint flag signaling for range extension with extended precision |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
US4667092A (en) | 1982-12-28 | 1987-05-19 | Nec Corporation | Solid-state image device with resin lens and resin contact layer |
US4642678A (en) | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
US5065229A (en) | 1989-07-24 | 1991-11-12 | Eastman Kodak Company | Compression method and apparatus for single-sensor color imaging systems |
US5053861A (en) | 1989-07-24 | 1991-10-01 | Eastman Kodak Company | Compression method and apparatus for single-sensor color imaging systems |
US5247366A (en) * | 1989-08-02 | 1993-09-21 | I Sight Ltd. | Color wide dynamic range camera |
JPH0834558B2 (ja) * | 1989-09-18 | 1996-03-29 | 日本電気株式会社 | 高品質ビデオカメラ |
JP3071891B2 (ja) * | 1991-08-30 | 2000-07-31 | 富士写真フイルム株式会社 | 固体電子撮像装置 |
JPH05183441A (ja) * | 1992-01-06 | 1993-07-23 | Canon Inc | 画像処理装置及びその方法 |
US5221848A (en) | 1992-04-30 | 1993-06-22 | Eastman Kodak Company | High dynamic range film digitizer and method of operating the same |
JPH06315068A (ja) * | 1993-04-28 | 1994-11-08 | Xerox Corp | 短期および長期の積分周期を有するラスタ入力スキャナ |
JPH07115643A (ja) * | 1993-10-19 | 1995-05-02 | Toyota Motor Corp | 車載用撮像装置 |
US5412427A (en) * | 1993-10-29 | 1995-05-02 | Eastman Kodak Company | Electronic camera utilizing image compression feedback for improved color processing |
JP3666900B2 (ja) * | 1994-04-25 | 2005-06-29 | キヤノン株式会社 | 撮像装置および撮像方法 |
US6040858A (en) * | 1994-11-18 | 2000-03-21 | Canon Kabushiki Kaisha | Method and apparatus for expanding the dynamic range of sensed color images |
JPH09219824A (ja) * | 1996-02-09 | 1997-08-19 | Sony Corp | 固体撮像装置 |
US5652621A (en) | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
JPH1042182A (ja) * | 1996-07-26 | 1998-02-13 | Canon Inc | 撮像装置 |
US5956467A (en) * | 1996-12-17 | 1999-09-21 | Eastman Kodak Company | Encoding color image data for multipass color printers |
JP4018820B2 (ja) * | 1998-10-12 | 2007-12-05 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
JP3458741B2 (ja) * | 1998-12-21 | 2003-10-20 | ソニー株式会社 | 撮像方法及び撮像装置、画像処理方法及び画像処理装置 |
JP4129338B2 (ja) * | 1999-04-30 | 2008-08-06 | オリンパス株式会社 | カラー撮像素子及び撮像装置 |
JP3822393B2 (ja) * | 1999-08-10 | 2006-09-20 | 富士写真フイルム株式会社 | 撮像装置および撮像制御方法 |
US6646246B1 (en) * | 2000-11-21 | 2003-11-11 | Eastman Kodak Company | Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device |
US6943831B2 (en) * | 2001-01-24 | 2005-09-13 | Eastman Kodak Company | Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images |
-
2000
- 2000-11-21 US US09/718,887 patent/US6765611B1/en not_active Expired - Lifetime
-
2001
- 2001-10-29 JP JP2001330235A patent/JP3968121B2/ja not_active Expired - Fee Related
- 2001-11-09 EP EP01204279A patent/EP1209919B1/en not_active Expired - Lifetime
- 2001-11-09 DE DE60113949T patent/DE60113949T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP1209919B1 (en) | 2005-10-12 |
US6765611B1 (en) | 2004-07-20 |
DE60113949T2 (de) | 2006-07-06 |
EP1209919A2 (en) | 2002-05-29 |
EP1209919A3 (en) | 2004-09-15 |
DE60113949D1 (de) | 2006-02-23 |
JP2002204399A (ja) | 2002-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3968121B2 (ja) | 画像圧縮方法 | |
JP4233257B2 (ja) | 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 | |
JP4058257B2 (ja) | 撮像素子におけるノイズ低減方法 | |
JP3946492B2 (ja) | 低解像度イメージの生成方法 | |
JP5016715B2 (ja) | 画像のダイナミック・レンジを改善するためのマルチ露光パターン | |
JP2002204389A (ja) | 露出制御方法 | |
US7756330B2 (en) | Producing an extended dynamic range digital image | |
JP4351825B2 (ja) | カラーのディジタルイメージを収集する方法 | |
US6909461B1 (en) | Method and apparatus to extend the effective dynamic range of an image sensing device | |
US7697045B2 (en) | Method and apparatus to extend the effective dynamic range of an image sensing device | |
US20070159542A1 (en) | Color filter array with neutral elements and color image formation | |
JP2008022521A (ja) | 固体撮像素子 | |
JP4246428B2 (ja) | トーンスケール関数の生成方法 | |
JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
JP2005184518A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040930 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070602 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3968121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |