JP5786149B2 - 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 - Google Patents
汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 Download PDFInfo
- Publication number
- JP5786149B2 JP5786149B2 JP2011502091A JP2011502091A JP5786149B2 JP 5786149 B2 JP5786149 B2 JP 5786149B2 JP 2011502091 A JP2011502091 A JP 2011502091A JP 2011502091 A JP2011502091 A JP 2011502091A JP 5786149 B2 JP5786149 B2 JP 5786149B2
- Authority
- JP
- Japan
- Prior art keywords
- filters
- subset
- order
- filter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000003595 spectral effect Effects 0.000 claims description 119
- 230000004044 response Effects 0.000 claims description 62
- 238000005070 sampling Methods 0.000 claims description 29
- 230000004043 responsiveness Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000002834 transmittance Methods 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 39
- 238000009499 grossing Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 14
- 241000579895 Chlorostilbon Species 0.000 description 13
- 229910052876 emerald Inorganic materials 0.000 description 13
- 239000010976 emerald Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 238000003491 array Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Description
本願は、2008年3月28日に出願された米国特許仮出願第61/072,301および2008年9月30日に出願された米国特許仮出願第61/194,725の優先権の恩恵を主張し、これらの全内容を参照により本願明細書に組み込むものとする。
本明細書または出願ファイルにはカラーで作製した少なくとも1つの図面を含んでいる。カラー図面を伴うこの特許または特許出願公報の写しは、必要な手数料の請求および支払いにより、特許商標庁によって提供される。
本特許明細書文献の開示の一部は著作権保護の対象となる資料を含んでいる。本著作権者は、特許商標庁の特許ファイルまたは記録にあるように、本特許明細書文献または特許情報開示のいずれかをファクシミリ複製することに異存はないが、それ以外は、全ての著作権を有する。
これは、MTFsensor(p) = F(s(t))と表される。この矩形関数s(t)は下記の様に表すことができる。すなわち、
尚、真のカラーYと1組のN個の実世界対象物(オブジェクト)セットに対する推定カラー
ここで、σn はn番目の対象物(オブジェクト)の実際の係数を表し、
Vfull は検出器の飽和容量(例えば、Vfull = 3500e)を表し、Nr はイメージセンサの読み取りノイズの二乗平均平方根(RMS)である。検出器の読み取りノイズのRMSは、
と定義することができる。例えば、Ndark は33eと設定することができる。図4のカラーフィルタアレイ400を使ういくつかの実施形態では、Nr は変わらないが、最大検出可能なグレーレベルはβVfull となる。従って、カラーフィルタアレイ400を使うカメラシステムのダイナミックレンジは下記の様に表すことができる。
ここで、
尚、半画素位相シフトによって起こるエイリアシングは、対角線上に隣接する4個の画素を加えることによってなくなる。このとき、画素aでの値を他の画素に対して補間して、低露出モノクローム画像732(ILEM)を生じ、これは、以下のように表すことができる。
である。変換T′は、色差を最小限にするように定められる。すなわち、
min‖Y−T′X′‖2いくつかの実施形態では、カラーフィルタアレイ710の1次フィルタ712および2次フィルタ714から取得した情報を使って、1つのキャプチャした画像からHDRのRGB画像760を生成することができる。ハイダイナミックレンジ3色画像(例えば、画像760)を生成するために、低露出3色画像750を構築することができる。
よって、ステップ754で、アンチエイリアシングされる画像
である。カラーフィルタアレイ1300または1500の位置(i,j)の画素は、(Ri,j, gi,j, bi,j, yi,j, ei,j), (ri,j, Gi,j, bi,j, yi,j, ei,j), (ri,j, gi,j, Bi,j, yi,j, ei,j), (ri,j, gi,j, bi,j, Yi,j, ei,j),(ri,j, gi,j, bi,j, yi,j, Ei,j)のいずれかで表すことができ、ここで、Ri,j、Gi,j、Bi,j、Yi,j、Ei,jはカラーフィルタアレイの既知の赤、緑、青、黄、エメラルドを示し、ri,j, gi,j, bi,j, yi,j, ei,jはカラーフィルタアレイの未知のコンポーネントを示す。さらに、ri,j, gi,j, bi,j, yi,j, ei,jの推定は、以下のもの、すなわち、
結果として、VGRおよびMR は下記のようになる。
Claims (33)
- カラーフィルタアレイであって、該カラーフィルタアレイは複数の1次フィルタおよび複数の2次フィルタを備え、前記複数の1次フィルタ及び前記複数の2次フィルタの各々は特定のスペクトル応答性を有し、前記複数の1次フィルタ及び前記複数の2次フィルタの各々は複数の画素における対応する画素上に形成され、
前記複数の1次フィルタはさらに、フィルタの第1部分集合及びフィルタの第2部分集合を備え、
前記フィルタの第1部分集合は、前記複数の1次フィルタのうち第1スペクトル応答性を有する1次フィルタを含み、
前記第1部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第1部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記フィルタの第2部分集合は、前記複数の1次フィルタのうち、前記第1スペクトル応答性とは異なる第2スペクトル応答性を有する1次フィルタを含み、
前記第2部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第2部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記複数の2次フィルタはさらに、フィルタの第3部分集合を備え、
前記フィルタの第3部分集合は、前記複数の2次フィルタのうち、前記第1スペクトル応答性及び前記第2スペクトル応答性と異なる第3スペクトル応答性を有する2次フィルタを含み、
前記第3部分集合の前記2次フィルタの各々は、水平及び垂直の両方向に、当該2次フィルタの中心から隣接する前記第3部分集合の前記2次フィルタの中心までを測れば、当該2次フィルタに対応する画素の長さの約4倍の距離だけ、互いに分離されるように配置され、かつ、前記第1部分集合の4つの前記1次フィルタの各々が、当該2次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第2部分集合の前記1次フィルタが垂直方向に隣接するように配置されている、
カラーフィルタアレイ。 - 請求項1に記載のカラーフィルタアレイにおいて、前記第3スペクトル応答性は、前記第1スペクトル応答性及び前記第2スペクトル応答性と高い相関関係を有する、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記第1部分集合の前記1次フィルタは、2pのサンプリングピッチを有する第1の矩形格子状に配置され、前記第2部分集合の前記1次フィルタは、2pのサンプリングピッチを有する第2の矩形格子状に配置され、前記第3部分集合の前記2次フィルタは、4pのサンプリングピッチを有する第3の矩形格子状に配置され、ここに、pは前記複数の画素の各々の画素サイズである、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記複数の1次フィルタの各々は前記複数の2次フィルタの各々よりも大きな透過率を有する、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、
前記複数の1次フィルタはさらに、フィルタの第4部分集合を備え、
前記フィルタの第4部分集合は、前記複数の1次フィルタのうち、前記第1スペクトル応答性、前記第2スペクトル応答性、及び前記第3スペクトル応答性と異なる第4スペクトル応答性を有する1次フィルタを含み、
前記第4部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第4部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記複数の2次フィルタはさらに、フィルタの第5部分集合、第6部分集合、及び第7部分集合を備え、
前記フィルタの第5部分集合、第6部分集合、及び第7部分集合は、それぞれ、第5スペクトル応答性、第6スペクトル応答性、及び第7スペクトル応答性を有する2次フィルタを含み、前記第5スペクトル応答性、前記第6スペクトル応答性、及び前記第7スペクトル応答性の各々は、前記第1スペクトル応答性、前記第2スペクトル応答性、前記第3スペクトル応答性、及び前記第4スペクトル応答性と異なり、
前記第5部分集合、前記第6部分集合、及び前記第7部分集合の前記2次フィルタの各々は、水平及び垂直の両方向に、当該2次フィルタの中心から隣接するそれぞれ前記第5部分集合、前記第6部分集合、及び前記第7部分集合の前記2次フィルタの中心までを測れば、当該2次フィルタに対応する画素の長さの約4倍の距離だけ、互いに分離されるように配置され、かつ、前記第1部分集合の4つの前記1次フィルタの各々が、当該2次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第2部分集合の前記1次フィルタが垂直方向に隣接するように配置されている、
カラーフィルタアレイ。 - 画像を生成する方法において、該方法は、
カラーフィルタアレイを設けるカラーフィルタアレイ準備ステップであって、該カラーフィルタアレイは、
複数の1次フィルタおよび複数の2次フィルタを備え、前記複数の1次フィルタ及び前記複数の2次フィルタの各々は特定のスペクトル応答性を有し、前記複数の1次フィルタ及び前記複数の2次フィルタの各々は複数の画素における対応する画素上に形成され、
前記複数の1次フィルタはさらに、フィルタの第1部分集合及びフィルタの第2部分集合を備え、
前記フィルタの第1部分集合は、前記複数の1次フィルタのうち第1スペクトル応答性を有する1次フィルタを含み、
前記第1部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第1部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記フィルタの第2部分集合は、前記複数の1次フィルタのうち、前記第1スペクトル応答性とは異なる第2スペクトル応答性を有する1次フィルタを含み、
前記第2部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第2部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記複数の2次フィルタはさらに、フィルタの第3部分集合を備え、
前記フィルタの第3部分集合は、前記複数の2次フィルタのうち、前記第1スペクトル応答性及び前記第2スペクトル応答性と異なる第3スペクトル応答性を有する2次フィルタを含み、
前記第3部分集合の前記2次フィルタの各々は、水平及び垂直の両方向に、当該2次フィルタの中心から隣接する前記第3部分集合の前記2次フィルタの中心までを測れば、当該2次フィルタに対応する画素の長さの約4倍の距離だけ、互いに分離されるように配置され、かつ、前記第1部分集合の4つの前記1次フィルタの各々が、当該2次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第2部分集合の前記1次フィルタが垂直方向に隣接するように配置されている、該カラーフィルタアレイ準備ステップと、
前記カラーフィルタアレイを使って単一の画像をキャプチャする画像キャプチャステップであって、前記画像に対応して前記複数の1次フィルタおよび前記複数の2次フィルタからの情報を取得する、該画像キャプチャステップと、ならびに
前記複数の1次フィルタおよび前記複数の2次フィルタからの前記情報を使って、複数の異なる画像タイプの、複数の異なる画像を生成するステップと、
を有する、方法。 - 請求項6に記載の方法において、前記第3スペクトル応答性は、前記第1スペクトル応答性及び前記第2スペクトル応答性と高い相関関係を有するものとした、方法。
- 請求項6に記載の方法において、前記第1部分集合の前記1次フィルタは、2pのサンプリングピッチを有する第1の矩形格子状に配置され、前記第2部分集合の前記1次フィルタは、2pのサンプリングピッチを有する第2の矩形格子状に配置され、前記第3部分集合の前記2次フィルタは、4pのサンプリングピッチを有する第3の矩形格子状に配置され、ここに、pは前記複数の画素の各々の画素サイズである、方法。
- 請求項6に記載の方法において、前記複数の画像タイプは、モノクローム画像、高ダイナミックレンジのモノクローム画像、3色画像、高ダイナミックレンジの3色画像およびマルチスペクトル画像のうち少なくとも2つとした、方法。
- 請求項6に記載の方法において、前記複数の1次フィルタのそれぞれは、前記複数の2次フィルタの各々よりも大きな透過率を有する、方法。
- 請求項6に記載の方法において、
前記カラーフィルタアレイの前記複数の1次フィルタはさらに、フィルタの第4部分集合を備え、
前記フィルタの第4部分集合は、前記複数の1次フィルタのうち、前記第1スペクトル応答性、前記第2スペクトル応答性、及び前記第3スペクトル応答性と異なる第4スペクトル応答性を有する1次フィルタを含み、
前記第4部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第4部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記カラーフィルタアレイの前記複数の2次フィルタはさらに、フィルタの第5部分集合、第6部分集合、及び第7部分集合を備え、
前記フィルタの第5部分集合、第6部分集合、及び第7部分集合は、それぞれ、第5スペクトル応答性、第6スペクトル応答性、及び第7スペクトル応答性を有する2次フィルタを含み、前記第5スペクトル応答性、前記第6スペクトル応答性、及び前記第7スペクトル応答性の各々は、前記第1スペクトル応答性、前記第2スペクトル応答性、前記第3スペクトル応答性、及び前記第4スペクトル応答性と異なり、
前記第5部分集合、前記第6部分集合、及び前記第7部分集合の前記2次フィルタの各々は、水平及び垂直の両方向に、当該2次フィルタの中心から隣接するそれぞれ前記第5部分集合、前記第6部分集合、及び前記第7部分集合の前記2次フィルタの中心までを測れば、当該2次フィルタに対応する画素の長さの約4倍の距離だけ、互いに分離されるように配置され、かつ、前記第1部分集合の4つの前記1次フィルタの各々が、当該2次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第2部分集合の前記1次フィルタが垂直方向に隣接するように配置されている、方法。 - 請求項6に記載の方法において、さらに、エラーを計算することによって前記カラーフィルタアレイにおける各フィルタの前記スペクトル応答性を高めるステップを有する、方法。
- 請求項12に記載の方法において、前記エラーは、色再現エラー、反射率再構築エラー、信号対雑音比およびダイナミックレンジのうち少なくとも1つとした、方法。
- 請求項6に記載の方法において、さらに、前記複数の1次フィルタからの情報を使ってモノクローム画像を生成するステップを有する、方法。
- 請求項14に記載の方法において、さらに、前記複数の2次フィルタからの情報を使って低露出モノクローム画像を生成し、該低露出モノクローム画像を前記モノクローム画像と組み合わせることによって、ハイダイナミックレンジ画像を生成するステップを有する、方法。
- 請求項6に記載の方法において、さらに、前記複数の1次フィルタからの前記情報を使って3色画像を生成するステップを有する、方法。
- 請求項16に記載の方法において、前記複数の1次フィルタからの前記情報を組み合わせるために、色再現マトリクスおよび線形変換を使って前記3色画像を生成する、方法。
- 請求項17に記載の方法において、さらに、前記複数の2次フィルタからの前記情報を使って低露出3色画像を生成し、該低露出3色画像を前記3色画像と組み合わせることによって、ハイダイナミックレンジ3色画像を生成するステップを有する、方法。
- 請求項18に記載の方法において、前記複数の1次フィルタからの前記情報を使って、前記複数の2次フィルタからの前記情報のエイリアシングを推定することによって前記低露出3色画像を生成する、方法。
- 請求項6に記載の方法において、さらに、マルチスペクトル画像を生成するステップを有し、前記2次フィルタからの前記情報をアンチエイリアシングし、また前記2次フィルタからの前記アンチエイリアシングした情報および前記複数の1次フィルタからの前記情報を使用して、前記マルチスペクトル画像のためのスペクトル反射率を再構築する、方法。
- カメラシステムにおいて、該カメラシステムはカラーフィルタアレイを備え、該カラーフィルタアレイは、複数の1次フィルタおよび複数の2次フィルタを備え、前記複数の1次フィルタ及び前記複数の2次フィルタの各々は特定のスペクトル応答性を有し、前記複数の1次フィルタ及び前記複数の2次フィルタの各々は複数の画素における対応する画素上に形成され、
前記複数の1次フィルタはさらに、フィルタの第1部分集合及びフィルタの第2部分集合を備え、
前記フィルタの第1部分集合は、前記複数の1次フィルタのうち第1スペクトル応答性を有する1次フィルタを含み、
前記第1部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第1部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記フィルタの第2部分集合は、前記複数の1次フィルタのうち、前記第1スペクトル応答性とは異なる第2スペクトル応答性を有する1次フィルタを含み、
前記第2部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第2部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記複数の2次フィルタはさらに、フィルタの第3部分集合を備え、
前記フィルタの第3部分集合は、前記複数の2次フィルタのうち、前記第1スペクトル応答性及び前記第2スペクトル応答性と異なる第3スペクトル応答性を有する2次フィルタを含み、
前記第3部分集合の前記2次フィルタの各々は、水平及び垂直の両方向に、当該2次フィルタの中心から隣接する前記第3部分集合の前記2次フィルタの中心までを測れば、当該2次フィルタに対応する画素の長さの約4倍の距離だけ、互いに分離されるように配置され、かつ、前記第1部分集合の4つの前記1次フィルタの各々が、当該2次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第2部分集合の前記1次フィルタが垂直方向に隣接するように配置されている、
カメラシステム。 - 請求項21に記載のカメラシステムにおいて、前記複数の画素の前記対応する画素はサブミクロン画素とした、カメラシステム。
- 請求項21に記載のカメラシステムにおいて、前記第3スペクトル応答性は、前記第1スペクトル応答性及び前記第2スペクトル応答性と高い相関関係を有する、カメラシステム。
- 請求項21に記載のカメラシステムにおいて、前記第1部分集合の前記1次フィルタは、2pのサンプリングピッチを有する第1の矩形格子状に配置され、前記第2部分集合の前記1次フィルタは、2pのサンプリングピッチを有する第2の矩形格子状に配置され、前記第3部分集合の前記2次フィルタは、4pのサンプリングピッチを有する第3の矩形格子状に配置され、ここに、pは前記複数の画素の各々の画素サイズである、カメラシステム。
- 請求項21に記載のカメラシステムにおいて、前記複数の1次フィルタのそれぞれは、前記複数の2次フィルタの各々よりも大きな透過率を有する、カメラシステム。
- 画像処理システムにおいて、該システムは、複数の1次フィルタおよび複数の2次フィルタを備えたカラーフィルタアレイからの画像に対応する情報を受信し、前記複数の1次フィルタおよび前記複数の2次フィルタからの前記情報を使って、複数の異なる画像タイプの、複数の異なる前記画像を生成するように構成されたプロセッサを備え、
前記複数の1次フィルタ及び前記複数の2次フィルタの各々は特定のスペクトル応答性を有し、前記複数の1次フィルタ及び前記複数の2次フィルタの各々は複数の画素における対応する画素上に形成され、
前記複数の1次フィルタはさらに、フィルタの第1部分集合及びフィルタの第2部分集合を備え、
前記フィルタの第1部分集合は、前記複数の1次フィルタのうち第1スペクトル応答性を有する1次フィルタを含み、
前記第1部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第1部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記フィルタの第2部分集合は、前記複数の1次フィルタのうち、前記第1スペクトル応答性とは異なる第2スペクトル応答性を有する1次フィルタを含み、
前記第2部分集合の前記1次フィルタの各々は、水平及び垂直の両方向に、当該1次フィルタの中心から隣接する前記第2部分集合の前記1次フィルタの中心までを測れば、当該1次フィルタに対応する画素の長さの約2倍の距離だけ、互いに分離されるように配置され、
前記複数の2次フィルタはさらに、フィルタの第3部分集合を備え、
前記フィルタの第3部分集合は、前記複数の2次フィルタのうち、前記第1スペクトル応答性及び前記第2スペクトル応答性と異なる第3スペクトル応答性を有する2次フィルタを含み、
前記第3部分集合の前記2次フィルタの各々は、水平及び垂直の両方向に、当該2次フィルタの中心から隣接する前記第3部分集合の前記2次フィルタの中心までを測れば、当該2次フィルタに対応する画素の長さの約4倍の距離だけ、互いに分離されるように配置され、かつ、前記第1部分集合の4つの前記1次フィルタの各々が、当該2次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第2部分集合の前記1次フィルタが垂直方向に隣接するように配置されている、画像処理システム。 - 請求項26に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の1次フィルタからの前記情報を使ってモノクローム画像を生成するように構成されている、画像処理システム。
- 請求項27に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の2次フィルタからの情報を使って低露出モノクローム画像を生成し、該低露出モノクローム画像を前記モノクローム画像と組み合わせることによって、ハイダイナミックレンジ画像を生成するように構成されている、画像処理システム。
- 請求項26に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の1次フィルタからの前記情報を使って3色画像を生成するように構成されている、画像処理システム。
- 請求項26に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の1次フィルタからの前記情報を組み合わせるため、色再現マトリクスおよび線形変換を使って3色画像を生成するように構成されている、画像処理システム。
- 請求項30に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の2次フィルタからの前記情報を使って低露出3色画像を生成し、該低露出3色画像を前記3色画像と組み合わせることによって、ハイダイナミックレンジ3色画像を生成するように構成されている、画像処理システム。
- 請求項31に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の1次フィルタからの前記情報を使って前記複数の2次フィルタからの前記情報のエイリアシングを推定することにより、前記低露出3色画像を生成するように構成されている、画像処理システム。
- 請求項26に記載の画像処理システムにおいて、前記プロセッサは、さらに、マルチスペクトル画像を生成するように構成され、前記2次フィルタからの前記情報をアンチエイリアシングし、前記2次フィルタからの該アンチエイリアシングされた情報および前記複数の1次フィルタからの前記情報を使用して、前記マルチスペクトル画像のスペクトル反射率を再構築する、画像処理システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US7230108P | 2008-03-28 | 2008-03-28 | |
US61/072,301 | 2008-03-28 | ||
US19472508P | 2008-09-30 | 2008-09-30 | |
US61/194,725 | 2008-09-30 | ||
PCT/US2009/038510 WO2009120928A2 (en) | 2008-03-28 | 2009-03-27 | Generalized assorted pixel camera systems and methods |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011528866A JP2011528866A (ja) | 2011-11-24 |
JP5786149B2 true JP5786149B2 (ja) | 2015-09-30 |
Family
ID=41114742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011502091A Expired - Fee Related JP5786149B2 (ja) | 2008-03-28 | 2009-03-27 | 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8934034B2 (ja) |
EP (1) | EP2263373B1 (ja) |
JP (1) | JP5786149B2 (ja) |
WO (1) | WO2009120928A2 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8155478B2 (en) * | 2006-10-26 | 2012-04-10 | Broadcom Corporation | Image creation with software controllable depth of field |
JP5169994B2 (ja) * | 2009-05-27 | 2013-03-27 | ソニー株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
JP5627252B2 (ja) * | 2010-03-01 | 2014-11-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
US10132925B2 (en) * | 2010-09-15 | 2018-11-20 | Ascentia Imaging, Inc. | Imaging, fabrication and measurement systems and methods |
US9077910B2 (en) * | 2011-04-06 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Multi-field CCD capture for HDR imaging |
ES2750234T3 (es) | 2011-04-14 | 2020-03-25 | Dolby Laboratories Licensing Corp | Predictor de regresión múltiple de múltiples canales de color |
JP6074813B2 (ja) * | 2011-05-11 | 2017-02-08 | 国立大学法人東京工業大学 | カラーフィルタアレイ及び撮像素子 |
US9055178B2 (en) | 2011-08-30 | 2015-06-09 | University Of Dayton | Single-shot high dynamic range imaging |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US8432466B2 (en) * | 2011-09-29 | 2013-04-30 | International Business Machines Corporation | Multiple image high dynamic range imaging from a single sensor array |
IN2014CN02966A (ja) * | 2011-11-04 | 2015-07-03 | Imec | |
CN104246826B (zh) | 2012-01-03 | 2017-12-15 | 阿森蒂亚影像有限公司 | 编码定位系统、方法和装置 |
US9739864B2 (en) | 2012-01-03 | 2017-08-22 | Ascentia Imaging, Inc. | Optical guidance systems and methods using mutually distinct signal-modifying |
JP6249950B2 (ja) * | 2012-08-31 | 2017-12-20 | キヤノン電子株式会社 | 光量調整装置、撮像光学系、及び撮像装置 |
US10108145B2 (en) | 2012-08-31 | 2018-10-23 | National University Corporation Kyoto Institute Of Technology | Digital holography device and digital holography play method |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
JP2014086863A (ja) * | 2012-10-23 | 2014-05-12 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
US9692992B2 (en) * | 2013-07-01 | 2017-06-27 | Omnivision Technologies, Inc. | Color and infrared filter array patterns to reduce color aliasing |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9336570B2 (en) * | 2014-05-15 | 2016-05-10 | The United States Of America, As Represented By The Secretary Of The Navy | Demosaicking system and method for color array based multi-spectral sensors |
US10013764B2 (en) * | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
WO2016072018A1 (ja) * | 2014-11-07 | 2016-05-12 | オリンパス株式会社 | 撮像装置 |
US10126114B2 (en) | 2015-05-21 | 2018-11-13 | Ascentia Imaging, Inc. | Angular localization system, associated repositionable mechanical structure, and associated method |
US10349015B2 (en) * | 2015-06-08 | 2019-07-09 | Trustees Of Dartmouth College | Image sensor color filter array pattern |
US10958899B2 (en) * | 2017-07-26 | 2021-03-23 | Hewlett-Packard Development Company, L.P. | Evaluation of dynamic ranges of imaging devices |
US10271030B1 (en) * | 2017-09-29 | 2019-04-23 | Raytheon Company | Generating a monochrome image |
KR102314703B1 (ko) * | 2017-12-26 | 2021-10-18 | 에스케이하이닉스 주식회사 | 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 |
CN112087559B (zh) * | 2019-06-13 | 2021-11-30 | 华为技术有限公司 | 图像传感器、图像拍摄装置和方法 |
US20210176486A1 (en) * | 2019-12-09 | 2021-06-10 | Alibaba Group Holding Limited | Methods and apparatuses for motion compensation |
FR3122930B1 (fr) * | 2021-05-11 | 2023-05-26 | Safran Electronics & Defense | Filtre multi-spectral |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
US4630307A (en) * | 1984-09-10 | 1986-12-16 | Eastman Kodak Company | Signal processing method and apparatus for sampled image signals |
US5323233A (en) * | 1990-07-31 | 1994-06-21 | Canon Kabushiki Kaisha | Image signal processing apparatus having a color filter with offset luminance filter elements |
US5373322A (en) * | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
US5629734A (en) * | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
DE19616440A1 (de) * | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
US5789737A (en) * | 1997-01-22 | 1998-08-04 | Xerox Corporation | High dynamic range segmented pixel sensor array |
KR100297714B1 (ko) * | 1998-09-01 | 2001-08-07 | 윤종용 | 넓은동적범위를갖는영상장치및이의영상신호처리방법 |
AUPQ289099A0 (en) * | 1999-09-16 | 1999-10-07 | Silverbrook Research Pty Ltd | Method and apparatus for manipulating a bayer image |
JP3926947B2 (ja) * | 1999-06-22 | 2007-06-06 | 富士フイルム株式会社 | 画像データ形成装置および画像データ処理方法 |
US6690422B1 (en) * | 1999-11-03 | 2004-02-10 | Sharp Laboratories Of America, Inc. | Method and system for field sequential color image capture using color filter array |
JP2002209223A (ja) * | 2001-01-09 | 2002-07-26 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2004336468A (ja) * | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | 撮像装置及び画像処理方法 |
JP4118916B2 (ja) * | 2003-11-11 | 2008-07-16 | オリンパス株式会社 | マルチスペクトル画像撮影装置 |
JP4265546B2 (ja) * | 2005-01-31 | 2009-05-20 | ソニー株式会社 | 撮像装置、画像処理装置および画像処理方法 |
US7525583B2 (en) * | 2005-02-11 | 2009-04-28 | Hewlett-Packard Development Company, L.P. | Decreasing aliasing in electronic images |
JP2007027604A (ja) * | 2005-07-21 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2007259344A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 撮像装置および画像処理方法 |
KR100894420B1 (ko) * | 2007-01-25 | 2009-04-24 | 삼성전자주식회사 | 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법 |
US8248496B2 (en) * | 2009-03-10 | 2012-08-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and image sensor |
US8068153B2 (en) * | 2009-03-27 | 2011-11-29 | Omnivision Technologies, Inc. | Producing full-color image using CFA image |
-
2009
- 2009-03-27 EP EP09724220.0A patent/EP2263373B1/en not_active Not-in-force
- 2009-03-27 US US12/736,333 patent/US8934034B2/en not_active Expired - Fee Related
- 2009-03-27 JP JP2011502091A patent/JP5786149B2/ja not_active Expired - Fee Related
- 2009-03-27 WO PCT/US2009/038510 patent/WO2009120928A2/en active Application Filing
-
2014
- 2014-11-18 US US14/546,627 patent/US20150070562A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP2263373A2 (en) | 2010-12-22 |
WO2009120928A3 (en) | 2009-12-30 |
EP2263373A4 (en) | 2011-04-13 |
US20150070562A1 (en) | 2015-03-12 |
EP2263373B1 (en) | 2014-08-13 |
WO2009120928A2 (en) | 2009-10-01 |
US8934034B2 (en) | 2015-01-13 |
JP2011528866A (ja) | 2011-11-24 |
US20110211099A1 (en) | 2011-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5786149B2 (ja) | 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 | |
Yasuma et al. | Generalized assorted pixel camera: postcapture control of resolution, dynamic range, and spectrum | |
US9979941B2 (en) | Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating | |
EP2420051B1 (en) | Producing full-color image with reduced motion blur | |
JP5546229B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2019533264A (ja) | 画像からのハイパースペクトルデータの回復 | |
JP6104985B2 (ja) | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム | |
US8976240B2 (en) | Spatially-varying spectral response calibration data | |
JP2011123589A5 (ja) | ||
JP2006310999A (ja) | 画像処理装置および方法、並びにプログラム | |
JP5943393B2 (ja) | 撮像装置 | |
JP2013055623A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
WO2015098243A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP5736447B2 (ja) | カラーセンサのフォトサイトによって放射される信号を補償するためのデジタル処理 | |
JP2006177812A (ja) | 二次元分光輝度計 | |
Monno et al. | N-to-sRGB mapping for single-sensor multispectral imaging | |
JP5464982B2 (ja) | 撮像装置および画像処理方法 | |
JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
KR101243285B1 (ko) | 베이어 컬러 필터 배열 카메라를 사용한 다중 스펙트럼 기반 컬러 영상 생성장치 및 방법 | |
JP5496922B2 (ja) | クロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法 | |
Alleysson et al. | Influence of spectral sensitivity functions on color demosaicing | |
Vaillant et al. | Color correction matrix for sparse RGB-W image sensor without IR cutoff filter | |
US8736722B2 (en) | Enhanced image capture sharpening | |
JP2006177813A (ja) | 迷光補正法及びそれを用いた二次元分光輝度計 | |
Yasuma et al. | Generalized Assorted Pixel Camera: Post-Capture Control of |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131030 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131202 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131227 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141202 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20141209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5786149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |