JP6096243B2 - 画像データの処理方法およびシステム - Google Patents
画像データの処理方法およびシステム Download PDFInfo
- Publication number
- JP6096243B2 JP6096243B2 JP2015105093A JP2015105093A JP6096243B2 JP 6096243 B2 JP6096243 B2 JP 6096243B2 JP 2015105093 A JP2015105093 A JP 2015105093A JP 2015105093 A JP2015105093 A JP 2015105093A JP 6096243 B2 JP6096243 B2 JP 6096243B2
- Authority
- JP
- Japan
- Prior art keywords
- image signals
- image
- processing circuit
- image signal
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 134
- 230000004044 response Effects 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 42
- 230000003595 spectral effect Effects 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000014624 response to red light Effects 0.000 claims description 8
- 230000032554 response to blue light Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 description 8
- 238000003199 nucleic acid amplification method Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000006096 absorbing agent Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/63—Generation or supply of power specially adapted for television receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本出願は、2013年1月8日に出願された米国特許出願整理番号13/736,768ならびに、2012年3月19日に出願された米国仮特許出願整理番号No.61/612,819の優先権の利益を享受する権利を主張し、米国特許出願整理番号13/736,768ならびに米国仮特許出願整理番号No.61/612,819は参照によってその全体が本明細書に組み込まれる。
本出願は、概してイメージングデバイスに関し、特に、透明画素を備えるイメージングデバイスに関する。
ルのアレイを有してもよい。画素は、異なる色の多数の画素を各々が含む、ピクセルユニットセルのアレイに配列されてもよい。画像センサは、赤、青、白色画像信号に関連付けられたノイズ相関を増大させるために、赤、青、および白色画像信号にフィルタ処理作用を実施する処理回路へと結合されてもよい。処理回路は、例えば、画素アレイにおける少なくとも25個の画素によって生成される画像信号の重み付け和を生成するステップによって任意の画素に対してフィルタ処理作用を実施してもよい。重み付け和は、調整可能な重み(例えば、観察された画像特性に基づいて調製される重み)を含んでもよい。重み付け和は、複数のタイムフレーム間に、または、複数の画像センサから捕捉された画像信号用に生成されてもよい。複数のタイムフレーム用に重み付け和を生成するステップによって、処理回路は、画像信号のノイズを低減するのに成功しつつ、画素のカーネルのサイズを縮小してもよい。
クセル190へとバイアス信号(例えば、バイアス電流もしくはバイアス電圧)を供給するために使用されてもよい。ピクセル読み出し動作の間、アレイ200におけるピクセル行は、行デコーダ回路124を使用して選択され、当該ピクセル行における画素190に関連付けられた画像データは、列ライン40に沿って読み出すことができる。
ある青色画素に隣接し、かつ、お互いに対角線上の反対側に形成された二つの白色画素190によって定義されてもよい。
各画素190によって捕捉された光に対応する画像値を有してもよい(例えば、赤色画像信号は、赤色画像値を含み、青色画像信号は青色画像値を含んでもよい、など)。捕捉された画像信号は、画像処理用に処理回路18へと伝送されてもよい。
を生成するために、sRGB画像データに作用してもよい。ポイントフィルタは、赤、白および青色画像データに対してCCMを適用することによって引き起こされるノイズ増幅さらに低減するために役立つ可能性がある。表示システムを使用して表示されるとき、補正sRGBデータは、したがって、ポイントフィルタ適用前のsRGBデータと比較すると、より良好な画像品質(例えば、より良好な輝度特性)を提供する。
されてもよい。処理回路18は、(例えば、画像データに対してCCMを適用後)標準赤、標準緑および標準青色画像データの線形の組み合わせである、包含された輝度信号を計算してもよい。所望の場合には、包含された輝度信号を計算するために使用された線形の組み合わせにおける重みは、元の輝度信号を計算するために使用された重みに実質的に類似していてもよい。重みは、ポイントフィルタの“強さ”(例えば、ポイントフィルタがsRGBデータを変形もしくは補正する程度)を改変するために調整されてもよい。
処理回路18は、最も単純な場合においては、包含された輝度信号によって元の輝度信号を除算することによって、スケーリング値(例えば、色補正された画像値に対して適用されるスケーリング値)を生成してもよい。所望の場合には、スケーリングファクタは、分子および分母を含んでもよい。スケーリング値の分子および/もしくは分母は、元の輝度信号および包含された輝度信号の重み付け和を含んでもよい。スケーリング値は、ポイントフィルタの強さを調整するために変化することが可能な調整可能な重み付けパラメータを含んでもよい(例えば、重み付けパラメータは、ポイントフィルタの強さをゼロから最大の強さまで調整するために連続的に変化してもよい)。sRGBデータ(例えば、標準赤、緑および青色画像データ)に対してポイントフィルタを適用するために、処理回路18は、補正sRGBデータを生成するためにスケーリング値でsRGBデータを乗算してもよい。例えば、処理回路18は、スケーリング値で標準赤色画像データを乗算し、スケーリング値で標準緑色画像データを乗算するなどしてもよい。所望の場合には、補正sRGBデータは、(例えば、補正sRGBデータをLCH空間へと変換することで)ポイントフィルタ適用前にほぼ保存された色相およびクロマチャネルを有してもよい。補正sRGBデータは、白色画像信号の継承された適合度によって、改善されたノイズおよび/もしくは鮮明さを有する可能性がある。
ントフィルタの適用前のsRGBデータと比較されると、改善されたノイズおよび/もしくは鮮明さを有する可能性がある。
色光および青色光に応じて白色画像信号を生成するように構成された透明画像センサピクセルと、赤色画像信号、青色画像信号および白色画像信号に対して、赤色画像信号、青色画像信号および白色画像信号に関連付けられたノイズ相関を増加させるフィルタ処理動作を実施するように構成された処理回路と、を含む。
別の実施形態に従い、処理回路は、赤色画像信号、青色画像信号および白色画像信号に関連付けられるノイズ相関を、赤色画像信号、青色画像信号および白色画像信号に関連付けられる全ノイズのうちの70%よりも大きく増大させるように構成される。
別の実施形態に従い、白色画像信号を使用して、第三の色の第三の画像信号を生成するステップは、色補正マトリクスを使用して、白色画像信号から第三の画像信号を抽出するス
テップを含む。
三の画像信号を改変するステップと、を含む。
Claims (20)
- 処理回路を有する画像センサを使用して、第一の色の第一の複数の画像信号と、前記第一の色とは異なる第二の色の第二の複数の画像信号と、第三の複数の画像信号とを含む画像データを処理する方法であって、
前記方法は、
前記処理回路によって、前記第三の複数の画像信号を使用して、前記第一および第二の色とは異なる第三の色の第四の複数の画像信号を生成するステップと、
前記処理回路によって、派生輝度値を形成するために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号を組み合わせるステップと、
前記処理回路によって、前記第一の複数の画像信号、前記第二の複数の画像信号、前記第三の複数の画像信号に基づいて、推定輝度値を計算するステップと、
前記処理回路によって、前記派生輝度値および前記推定輝度値を使用して、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号を改変するステップと、
を含む、ことを特徴とする方法。 - 前記処理回路によって、前記派生輝度値および前記推定輝度値に基づいて、スケーリング値を計算するステップをさらに含み、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号を改変するステップは、前記生成されたスケーリング値で、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号を乗算するステップを含む、ことを特徴とする請求項1に記載の方法。
- 前記第一の複数の画像信号は第一のスペクトル応答を有し、前記第二の複数の画像信号は第二のスペクトル応答を有し、前記第三の複数の画像信号は第三のスペクトル応答を有し、前記第三のスペクトル応答は前記第一のスペクトル応答よりも大きく、前記第三のスペクトル応答は前記第二のスペクトル応答よりも大きいことを特徴とする請求項1に記載の方法。
- 前記第三のスペクトル応答は、前記第一及び第二のスペクトル応答の和の75%よりも大きいことを特徴とする請求項3に記載の方法。
- 前記派生輝度値を形成するために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号を組み合わせるステップは、複数の重み付けファクタを使用して、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号の線形の組み合わせを計算するステップを含む、ことを特徴とする請求項3に記載の方法。
- 前記派生輝度値を形成するために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号を組み合わせるステップは、前記派生輝度値を形成するために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号と、前記第三の複数の画像信号を組み合わせるステップを含む、ことを特徴とする請求項3に記載の方法。
- 前記処理回路によって、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号への複数のフィルタ処理作用を実施して、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に関連付けられた複数のノイズ相関を増大させるステップと、
前記処理回路によって、前記第三の複数の画像信号と前記第一の複数の画像信号との間、および前記第三の複数の画像信号と前記第二の複数の画像信号との間の複数の差値を生成するステップと、
前記処理回路によって、前記生成した複数の差値を使用して、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に、前記複数のノイズ相関を増大させるよう前記複数のフィルタ処理作用を実施するステップと、をさらに含む、ことを特徴とする請求項1に記載の方法。 - 処理回路を有する画像センサを使用して、第一の色の第一の複数の画像信号と、前記第一の色とは異なる第二の色の第二の複数の画像信号と、複数の白色画像信号とを含む画像データを処理する方法であって、
前記方法は、
前記処理回路によって、前記複数の白色画像信号を使用して、前記第一および第二の色とは異なる第三の色の第三の複数の画像信号を生成するステップと、
前記処理回路によって、派生輝度値を形成するために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号を組み合わせるステップと、
前記処理回路によって、前記第一の複数の画像信号、前記第二の複数の画像信号、前記複数の白色画像信号に基づいて、推定輝度値を計算するステップと、
前記処理回路によって、前記派生輝度値および前記推定輝度値を使用して、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号を改変するステップと、
を含む、ことを特徴とする方法。 - 前記処理回路によって、前記派生輝度値および前記推定輝度値に基づいて、スケーリング値を計算するステップをさらに含み、
前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号を改変するステップは、前記生成されたスケーリング値で、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号を乗算するステップを含み、
前記派生輝度値を形成するために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号を組み合わせるステップは、複数の重み付けファクタを使用して、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号の線形の組み合わせを計算するステップを含み、
前記派生輝度値を形成するために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号を組み合わせるステップは、前記派生輝度値を形成するために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号と、前記複数の白色画像信号とを組み合わせるステップをさらに含む、ことを特徴とする請求項8に記載の方法。 - 前記複数の白色画像信号を使用して、前記第三の色の前記第三の複数の画像信号を生成するステップは、色補正マトリクスを使用して、前記複数の白色画像信号から前記第三の複数の画像信号を抽出するステップを含む、ことを特徴とする請求項8に記載の方法。
- 前記第一の複数の画像信号は複数の赤色画像信号を含み、前記第二の複数の画像信号は複数の青色画像信号を含み、前記第三の複数の画像信号は複数の緑色画像信号を含む、ことを特徴とする請求項8に記載の方法。
- 前記第一の複数の画像信号は複数の赤色画像信号を含み、前記第二の複数の画像信号は複数の緑色画像信号を含み、前記第三の複数の画像信号は複数の青色画像信号を含む、ことを特徴とする請求項8に記載の方法。
- 前記第一の複数の画像信号は複数の青色画像信号を含み、前記第二の複数の画像信号は複数の緑色画像信号を含み、前記第三の複数の画像信号は複数の赤色画像信号を含む、ことを特徴とする請求項8に記載の方法。
- 中央処理装置と、メモリと、入力−出力回路と、イメージングデバイスと、を有し、
前記イメージングデバイスは、
ピクセルアレイと、
前記ピクセルアレイ上に画像の焦点を合わせるレンズと、
複数の画素のアレイを有する画像センサであって、前記複数の画素のアレイは、第一の色の第一の複数の画像信号を生成するように構成された複数の第一の画素と、第二の色の第二の複数の画像信号を生成するように構成された複数の第二の画素と、第三の複数の画像信号を生成するように構成された複数の第三の画素と、を含む画像センサと、
前記第三の複数の画像信号を使用して、前記第一および第二の色とは異なる第三の色の第四の複数の画像信号を生成し、
前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号を組み合わせて派生輝度値を形成し、
前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に基づいて、推定輝度値を計算し、かつ、
前記派生輝度値および前記推定輝度値を使用して、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第四の複数の画像信号を改変するように構成された処理回路と、を有することを特徴とするシステム。 - 前記複数の画素のアレイは、前記複数の第一の画素のうちの一つ、前記複数の第二の画素のうちの一つ、および前記複数の第三の画素のうちの二つを各々含む複数のピクセルユニットセルを含む、ことを特徴とする請求項14に記載のシステム。
- 前記処理回路は、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に関連付けられた複数のノイズ相関を増大させるために、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に複数のフィルタ処理作用を実施するようにさらに構成される、ことを特徴とする請求項14に記載のシステム。
- 前記処理回路は、前記第三の複数の画像信号と前記第一の複数の画像信号との間、および前記第三の複数の画像信号と前記第二の複数の画像信号との間の複数の差値を生成するようにさらに構成され、
前記処理回路は、前記生成された複数の差値を使用して、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に前記複数のフィルタ処理作用を実施するようにさらに構成される、ことを特徴とする請求項16に記載のシステム。 - 画像センサを使用して複数の画像信号を処理する方法であって、
前記画像センサは、
処理回路と、
第一の色の光に応じて第一の複数の画像信号を生成する画像センサピクセルの第一のグループと、
第二の色の光に応じて第二の複数の画像信号を生成する画像センサピクセルの第二のグループと、
第三の色の光に応じて第三の複数の画像信号を生成する画像センサピクセルの第三のグループと、を含み、
前記第一の複数の画像信号は、第一のスペクトル応答を有し、
前記第二の複数の画像信号は、第二のスペクトル応答を有し、
前記第三の複数の画像信号は、前記第一および第二のスペクトル応答よりも大きい第三のスペクトル応答を有し、
前記方法は、
前記処理回路によって、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号を使用して、推定輝度値を生成するステップと、
前記処理回路によって、前記第一、第二および第三の複数の画像信号を派生三原色空間へと変換することによって、変換された第一の複数の画像信号、変換された第二の複数の
画像信号および変換された第三の複数の画像信号を生成するステップと、
前記処理回路によって、前記変換された第一、第二および第三の複数の画像信号を組み合わせることによって、派生輝度値を生成するステップと、
前記処理回路によって、前記派生輝度値が前記推定輝度値に近づくように、前記変換された第一、第二および第三の複数の画像信号を改変するステップと、
を含む、ことを特徴とする方法。 - 前記第一、第二および第三の複数の画像信号を前記派生三原色空間へと変換するステップは、前記第一、第二および第三の複数の画像信号を標準赤−緑−青色空間へと変換するステップを含む、ことを特徴とする請求項18に記載の方法。
- 前記変換された第一、第二および第三の複数の画像信号を生成するステップは、
前記第一、第二および第三の複数の画像信号の線形の組み合わせを生成するステップを含み、
前記第一の複数の画像信号は、赤色光に応じて画像センサピクセルの前記第一のグループによって捕捉された複数の赤色画像信号を含み、
前記第二の複数の画像信号は、青色光に応じて画像センサピクセルの前記第二のグループによって捕捉された複数の青色画像信号を含み、
前記第三の複数の画像信号は、少なくとも青色光および赤色光に応じて画像センサピクセルの前記第三のグループによって捕捉された複数の白色画像信号を含み、
前記第一、第二および第三の複数の画像信号の前記線形の組み合わせを生成するステップは、前記複数の赤色画像信号、青色画像信号および白色画像信号を使用して前記線形の組み合わせを生成するステップを含む、ことを特徴とする請求項18に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261612819P | 2012-03-19 | 2012-03-19 | |
US61/612,819 | 2012-03-19 | ||
US13/736,768 | 2013-01-08 | ||
US13/736,768 US9191635B2 (en) | 2012-03-19 | 2013-01-08 | Imaging systems with clear filter pixels |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013057224A Division JP6134879B2 (ja) | 2012-03-19 | 2013-03-19 | 透明フィルタピクセルを備えるイメージングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015167399A JP2015167399A (ja) | 2015-09-24 |
JP6096243B2 true JP6096243B2 (ja) | 2017-03-15 |
Family
ID=48128065
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013057224A Expired - Fee Related JP6134879B2 (ja) | 2012-03-19 | 2013-03-19 | 透明フィルタピクセルを備えるイメージングシステム |
JP2015105093A Expired - Fee Related JP6096243B2 (ja) | 2012-03-19 | 2015-05-25 | 画像データの処理方法およびシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013057224A Expired - Fee Related JP6134879B2 (ja) | 2012-03-19 | 2013-03-19 | 透明フィルタピクセルを備えるイメージングシステム |
Country Status (6)
Country | Link |
---|---|
US (4) | US9191635B2 (ja) |
EP (2) | EP3054675B1 (ja) |
JP (2) | JP6134879B2 (ja) |
KR (2) | KR101446419B1 (ja) |
CN (3) | CN103327342B (ja) |
HK (2) | HK1189731A1 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9671595B2 (en) | 2013-01-05 | 2017-06-06 | Light Labs Inc. | Methods and apparatus for using multiple optical chains in paralell |
US20160127672A1 (en) * | 2013-02-28 | 2016-05-05 | Nikon Corporation | Electronic apparatus |
FR3004882B1 (fr) * | 2013-04-17 | 2015-05-15 | Photonis France | Dispositif d'acquisition d'images bimode |
US9578252B2 (en) | 2013-10-18 | 2017-02-21 | Light Labs Inc. | Methods and apparatus for capturing images using optical chains and/or for using captured images |
US9557519B2 (en) | 2013-10-18 | 2017-01-31 | Light Labs Inc. | Methods and apparatus for implementing a camera device supporting a number of different focal lengths |
US9374514B2 (en) | 2013-10-18 | 2016-06-21 | The Lightco Inc. | Methods and apparatus relating to a camera including multiple optical chains |
US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
US9467627B2 (en) | 2013-10-26 | 2016-10-11 | The Lightco Inc. | Methods and apparatus for use with multiple optical chains |
US9686471B2 (en) | 2013-11-01 | 2017-06-20 | Light Labs Inc. | Methods and apparatus relating to image stabilization |
US9554031B2 (en) | 2013-12-31 | 2017-01-24 | Light Labs Inc. | Camera focusing related methods and apparatus |
US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
US9462170B2 (en) | 2014-02-21 | 2016-10-04 | The Lightco Inc. | Lighting methods and apparatus |
US9548336B2 (en) | 2014-04-24 | 2017-01-17 | Samsung Electronics Co., Ltd. | Image sensors and electronic devices including the same |
US9531976B2 (en) | 2014-05-29 | 2016-12-27 | Semiconductor Components Industries, Llc | Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions |
US9888198B2 (en) | 2014-06-03 | 2018-02-06 | Semiconductor Components Industries, Llc | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities |
US10191356B2 (en) | 2014-07-04 | 2019-01-29 | Light Labs Inc. | Methods and apparatus relating to detection and/or indicating a dirty lens condition |
WO2016007799A1 (en) * | 2014-07-09 | 2016-01-14 | The Lightco Inc. | Camera device including multiple optical chains and related methods |
US9912864B2 (en) | 2014-10-17 | 2018-03-06 | Light Labs Inc. | Methods and apparatus for using a camera device to support multiple modes of operation |
KR102219784B1 (ko) | 2014-12-15 | 2021-02-24 | 에스케이하이닉스 주식회사 | 컬러 필터 어레이 및 이를 구비한 이미지 센서 |
WO2016100756A1 (en) | 2014-12-17 | 2016-06-23 | The Lightco Inc. | Methods and apparatus for implementing and using camera devices |
US9544503B2 (en) | 2014-12-30 | 2017-01-10 | Light Labs Inc. | Exposure control methods and apparatus |
CN104700353B (zh) | 2015-02-11 | 2017-12-05 | 小米科技有限责任公司 | 图像滤镜生成方法及装置 |
US9467633B2 (en) | 2015-02-27 | 2016-10-11 | Semiconductor Components Industries, Llc | High dynamic range imaging systems having differential photodiode exposures |
US9793306B2 (en) | 2015-04-08 | 2017-10-17 | Semiconductor Components Industries, Llc | Imaging systems with stacked photodiodes and chroma-luma de-noising |
US9824427B2 (en) | 2015-04-15 | 2017-11-21 | Light Labs Inc. | Methods and apparatus for generating a sharp image |
US10091447B2 (en) | 2015-04-17 | 2018-10-02 | Light Labs Inc. | Methods and apparatus for synchronizing readout of multiple image sensors |
US9857584B2 (en) | 2015-04-17 | 2018-01-02 | Light Labs Inc. | Camera device methods, apparatus and components |
US9967535B2 (en) | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
US10075651B2 (en) | 2015-04-17 | 2018-09-11 | Light Labs Inc. | Methods and apparatus for capturing images using multiple camera modules in an efficient manner |
WO2016172641A1 (en) | 2015-04-22 | 2016-10-27 | The Lightco Inc. | Filter mounting methods and apparatus and related camera apparatus |
US9686486B2 (en) | 2015-05-27 | 2017-06-20 | Semiconductor Components Industries, Llc | Multi-resolution pixel architecture with shared floating diffusion nodes |
US10129483B2 (en) | 2015-06-23 | 2018-11-13 | Light Labs Inc. | Methods and apparatus for implementing zoom using one or more moveable camera modules |
US9467665B1 (en) * | 2015-06-29 | 2016-10-11 | Omnivision Technologies, Inc. | Color filter array patterns for reduction of color aliasing |
US10491806B2 (en) | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
US9712792B2 (en) * | 2015-08-10 | 2017-07-18 | Samsung Electronics Co., Ltd. | RGB-RWB dual images by multi-layer sensors towards better image quality |
US10365480B2 (en) | 2015-08-27 | 2019-07-30 | Light Labs Inc. | Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices |
US9749549B2 (en) | 2015-10-06 | 2017-08-29 | Light Labs Inc. | Methods and apparatus for facilitating selective blurring of one or more image portions |
US10148926B2 (en) | 2015-12-07 | 2018-12-04 | Samsung Electronics Co., Ltd. | Imaging apparatus and image processing method of thereof |
CN105516697B (zh) | 2015-12-18 | 2018-04-17 | 广东欧珀移动通信有限公司 | 图像传感器、成像装置、移动终端及成像方法 |
CN105430359B (zh) * | 2015-12-18 | 2018-07-10 | 广东欧珀移动通信有限公司 | 成像方法、图像传感器、成像装置及电子装置 |
US10225445B2 (en) | 2015-12-18 | 2019-03-05 | Light Labs Inc. | Methods and apparatus for providing a camera lens or viewing point indicator |
US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
CN106934317A (zh) * | 2015-12-29 | 2017-07-07 | 我查查信息技术(上海)有限公司 | 条码扫描识别方法及装置 |
US10600213B2 (en) * | 2016-02-27 | 2020-03-24 | Focal Sharp, Inc. | Method and apparatus for color-preserving spectrum reshape |
US10306218B2 (en) | 2016-03-22 | 2019-05-28 | Light Labs Inc. | Camera calibration apparatus and methods |
EP3439301B1 (en) * | 2016-03-30 | 2021-01-13 | LG Electronics Inc. -1- | Image processing apparatus and mobile terminal |
US10033949B2 (en) | 2016-06-16 | 2018-07-24 | Semiconductor Components Industries, Llc | Imaging systems with high dynamic range and phase detection pixels |
US9948832B2 (en) | 2016-06-22 | 2018-04-17 | Light Labs Inc. | Methods and apparatus for synchronized image capture in a device including optical chains with different orientations |
TW201822709A (zh) * | 2016-12-30 | 2018-07-01 | 曦威科技股份有限公司 | 即時心跳偵測方法及即時心跳偵測系統 |
US10262399B2 (en) * | 2017-01-09 | 2019-04-16 | Samsung Electronics Co., Ltd. | Image denoising with color-edge contrast preserving |
US10960237B2 (en) * | 2017-07-19 | 2021-03-30 | Honeywell International Inc. | Powered air-purifying respirator (PAPR) with eccentric venturi air flow rate determination |
WO2019019772A1 (en) * | 2017-07-28 | 2019-01-31 | Zhejiang Dahua Technology Co., Ltd. | SYSTEMS AND METHODS FOR IMAGE PROCESSING |
US10616536B2 (en) | 2018-01-12 | 2020-04-07 | Semiconductor Components Industries, Llc | Imaging systems having broadband monochromatic and chromatic image sensors |
CN108769635B (zh) * | 2018-05-30 | 2020-01-21 | Oppo(重庆)智能科技有限公司 | 拍摄装置、电子设备及图像获取方法 |
EP3804304A2 (en) * | 2018-06-07 | 2021-04-14 | Mobileye Vision Technologies Ltd. | High-resolution automotive lens and sensor |
CN114422766B (zh) * | 2018-08-03 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 一种图像采集设备 |
CN111835977B (zh) * | 2019-04-18 | 2021-11-02 | 北京小米移动软件有限公司 | 图像传感器、图像生成方法及装置、电子设备、存储介质 |
US11025869B2 (en) * | 2019-08-08 | 2021-06-01 | SK Hynix Inc. | Image sensor, image sensor processor, and image processing system including the same |
CN114342362A (zh) * | 2019-09-09 | 2022-04-12 | Oppo广东移动通信有限公司 | 图像传感器、摄像头模组、移动终端及图像采集方法 |
KR102230609B1 (ko) * | 2019-11-26 | 2021-03-19 | 가천대학교 산학협력단 | 딥 러닝 기반 희소 컬러 센서 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체 |
KR20220010285A (ko) * | 2020-07-17 | 2022-01-25 | 에스케이하이닉스 주식회사 | 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법 |
KR20220081532A (ko) * | 2020-12-09 | 2022-06-16 | 에스케이하이닉스 주식회사 | 이미지 시그널 프로세서 및 이미지 처리 시스템 |
KR20230024063A (ko) | 2021-08-11 | 2023-02-20 | 에스케이하이닉스 주식회사 | 전자 장치 및 그 동작 방법 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5018006A (en) * | 1985-10-31 | 1991-05-21 | Canon Kabushiki Kaisha | Multi-plate type image pickup apparatus having picture elements for producing color and luminance signals |
JP3450374B2 (ja) | 1993-05-28 | 2003-09-22 | キヤノン株式会社 | カラー撮像装置 |
US6330029B1 (en) | 1998-03-17 | 2001-12-11 | Eastman Kodak Company | Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values |
JP4011861B2 (ja) * | 2001-03-29 | 2007-11-21 | キヤノン株式会社 | 信号処理装置及び方法 |
WO2005072370A2 (en) | 2004-01-26 | 2005-08-11 | Digital Optics Corporation | Thin camera having sub-pixel resolution |
US7688368B2 (en) | 2006-01-27 | 2010-03-30 | Eastman Kodak Company | Image sensor with improved light sensitivity |
JP4144630B2 (ja) * | 2006-04-14 | 2008-09-03 | ソニー株式会社 | 撮像装置 |
KR100818987B1 (ko) * | 2006-09-19 | 2008-04-04 | 삼성전자주식회사 | 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법 |
JP2008078922A (ja) | 2006-09-20 | 2008-04-03 | Toshiba Corp | 固体撮像装置 |
US7876956B2 (en) | 2006-11-10 | 2011-01-25 | Eastman Kodak Company | Noise reduction of panchromatic and color image |
CN101193319B (zh) * | 2006-11-29 | 2011-04-27 | 帆宣系统科技股份有限公司 | 显示装置的灰度级白平衡的增益决定方法及装置 |
JP4846608B2 (ja) | 2007-01-26 | 2011-12-28 | 株式会社東芝 | 固体撮像装置 |
JP2009005262A (ja) * | 2007-06-25 | 2009-01-08 | Olympus Imaging Corp | 半導体装置および撮像装置 |
JP5045421B2 (ja) * | 2007-12-21 | 2012-10-10 | ソニー株式会社 | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
US8111307B2 (en) * | 2008-10-25 | 2012-02-07 | Omnivision Technologies, Inc. | Defective color and panchromatic CFA image |
US8224082B2 (en) * | 2009-03-10 | 2012-07-17 | Omnivision Technologies, Inc. | CFA image with synthetic panchromatic image |
US8203633B2 (en) | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
JP5326943B2 (ja) | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US8295631B2 (en) | 2010-01-29 | 2012-10-23 | Eastman Kodak Company | Iteratively denoising color filter array images |
US8345130B2 (en) | 2010-01-29 | 2013-01-01 | Eastman Kodak Company | Denoising CFA images using weighted pixel differences |
-
2013
- 2013-01-08 US US13/736,768 patent/US9191635B2/en active Active
- 2013-03-19 CN CN201310088517.6A patent/CN103327342B/zh active Active
- 2013-03-19 CN CN201810843965.5A patent/CN108650497B/zh active Active
- 2013-03-19 JP JP2013057224A patent/JP6134879B2/ja not_active Expired - Fee Related
- 2013-03-19 CN CN201610353124.7A patent/CN105847772B/zh active Active
- 2013-03-19 EP EP16161249.4A patent/EP3054675B1/en active Active
- 2013-03-19 KR KR1020130029422A patent/KR101446419B1/ko active IP Right Grant
- 2013-03-19 EP EP13160041.3A patent/EP2642757B1/en active Active
-
2014
- 2014-03-13 HK HK14102526.3A patent/HK1189731A1/zh not_active IP Right Cessation
- 2014-03-13 HK HK16111094.4A patent/HK1222962A1/zh not_active IP Right Cessation
- 2014-05-16 KR KR20140059151A patent/KR101490653B1/ko active IP Right Grant
-
2015
- 2015-05-25 JP JP2015105093A patent/JP6096243B2/ja not_active Expired - Fee Related
- 2015-09-30 US US14/871,520 patent/US9521380B2/en active Active
-
2016
- 2016-11-04 US US15/343,425 patent/US9942527B2/en active Active
-
2018
- 2018-02-28 US US15/908,319 patent/US10070104B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015167399A (ja) | 2015-09-24 |
US9942527B2 (en) | 2018-04-10 |
CN103327342A (zh) | 2013-09-25 |
KR20130106328A (ko) | 2013-09-27 |
US9191635B2 (en) | 2015-11-17 |
KR101490653B1 (ko) | 2015-02-06 |
US20130242148A1 (en) | 2013-09-19 |
KR101446419B1 (ko) | 2014-10-01 |
EP2642757A3 (en) | 2015-11-25 |
US20160021345A1 (en) | 2016-01-21 |
EP3054675B1 (en) | 2020-04-29 |
CN103327342B (zh) | 2016-06-22 |
KR20140066684A (ko) | 2014-06-02 |
US20170078627A1 (en) | 2017-03-16 |
US10070104B2 (en) | 2018-09-04 |
EP2642757B1 (en) | 2019-09-11 |
US9521380B2 (en) | 2016-12-13 |
CN108650497B (zh) | 2021-08-10 |
HK1222962A1 (zh) | 2017-07-14 |
CN108650497A (zh) | 2018-10-12 |
HK1189731A1 (zh) | 2014-06-13 |
US20180192011A1 (en) | 2018-07-05 |
EP3054675A1 (en) | 2016-08-10 |
JP6134879B2 (ja) | 2017-05-31 |
EP2642757A2 (en) | 2013-09-25 |
CN105847772B (zh) | 2018-07-27 |
CN105847772A (zh) | 2016-08-10 |
JP2013198160A (ja) | 2013-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6096243B2 (ja) | 画像データの処理方法およびシステム | |
US10136107B2 (en) | Imaging systems with visible light sensitive pixels and infrared light sensitive pixels | |
US9793306B2 (en) | Imaging systems with stacked photodiodes and chroma-luma de-noising | |
US9287316B2 (en) | Systems and methods for mitigating image sensor pixel value clipping | |
CN107547807B (zh) | 用于减少空间闪烁伪影的装置和成像系统 | |
US10616536B2 (en) | Imaging systems having broadband monochromatic and chromatic image sensors | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
US9179110B2 (en) | Imaging systems with modified clear image pixels | |
WO2019067075A1 (en) | GENERATING A MONOCHROME IMAGE | |
TWI536765B (zh) | 具有透明濾波器像素之成像系統 | |
JP2013219452A (ja) | 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置 | |
TWI617198B (zh) | 具有透明濾波器像素之成像系統 | |
TWI601427B (zh) | 具有透明濾波器像素之成像系統 | |
JP2006279389A (ja) | 固体撮像装置およびその信号処理方法 | |
US20120314108A1 (en) | Solid-state imaging device, camera module, and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20150824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150828 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6096243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |