JP6598797B2 - 撮像装置の駆動方法、信号処理方法 - Google Patents
撮像装置の駆動方法、信号処理方法 Download PDFInfo
- Publication number
- JP6598797B2 JP6598797B2 JP2016565824A JP2016565824A JP6598797B2 JP 6598797 B2 JP6598797 B2 JP 6598797B2 JP 2016565824 A JP2016565824 A JP 2016565824A JP 2016565824 A JP2016565824 A JP 2016565824A JP 6598797 B2 JP6598797 B2 JP 6598797B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- frames
- processing unit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 115
- 238000000034 method Methods 0.000 title claims description 74
- 238000003672 processing method Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims description 136
- 230000008569 process Effects 0.000 claims description 44
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000002360 preparation method Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 47
- 206010047571 Visual impairment Diseases 0.000 description 39
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は撮像装置の駆動方法、信号処理方法に関する。
撮像装置では、カラー映像を得るために、素子表面に各画素単位で特定の波長成分、例えば赤、緑、青のそれぞれの色の光を透過させるカラーフィルタ（ＣＦと表記する場合もある）を設け、いわゆるベイヤ配列を持つものが多く利用されている。以下、赤、緑、青をＲ、Ｇ、Ｂと表記する。また、ＲのＣＦが配された画素をＲ画素、ＧのＣＦが配された画素をＧ画素、ＢのＣＦが配された画素をＢ画素と表記する。また、Ｒ画素、Ｇ画素、Ｂ画素を纏めて表記する場合にはＲＧＢ画素と表記することがある。
特許文献１には、ＲＧＢ画素と、ＣＦが配されていない画素（以下、ホワイト画素、あるいはＷ画素と表記する）を有する画像処理装置が記載されている。そして、特許文献１の撮像装置は、ＲＧＢＷ配列を有する撮像素子が出力する信号に対して、エッジ検出、ぼけ補正を行い、色相関リモザイク処理を行うことが記載されている。
少なくともＲＧＢ画素を有する撮像装置において、色ノイズを低減した画像を生成する技術を提供することを目的とする。
本発明の一の態様は、各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、前記ホワイト画素の数が、前記撮像素子において光が入射する全ての画素の数に占める割合をＸとして、前記ｎを、１／Ｘ以上の数とすることを特徴とする撮像装置の駆動方法である。
本発明の別の一の態様は、各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、前記出力信号処理部は、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号と、前記ｎ個のフレームのうちの最終フレームのみに含まれる前記ホワイト画素の信号とを用いて、画像データを生成することを特徴とする撮像装置の駆動方法である。
また、本発明の別の一の態様は、各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、前記出力信号処理部は、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号と、前記ｍ個のフレームに含まれる前記ホワイト画素の信号を平均処理した信号とを用いて、画像データを生成することを特徴とする撮像装置の駆動方法である。
また、本発明の別の一の態様は、各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、前記撮像素子は前記ホワイト画素を複数有し、１つの前記カラー画素は、平面視における上下方向、左右方向、斜め方向の全てにおいて、前記ホワイト画素と隣接していることを特徴とする撮像装置の駆動方法である。
本発明によれば、色ノイズを低減した画像を生成する撮像装置を提供することができる。
以下、図面を参照しながら各実施形態の撮像装置について説明する。
（実施例１）
図１は、本実施例の撮像装置５００の構成を示した図である。
図１は、本実施例の撮像装置５００の構成を示した図である。
撮像装置５００は撮像素子３０１を用いて画像、動画等を取得する装置であり、その一例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラなどがある。
図１において、撮像装置５００は被写体の光学像を撮像素子３０１に結像させるレンズ３０２、レンズ３０２の保護のためのバリア３０３及びレンズ３０２を通った光量を調整するための絞り３０４を有する。また、撮像装置５００は撮像素子３０１より出力される出力信号の処理を行う出力信号処理部３０５を有する。
出力信号処理部３０５はデジタル信号処理部を有し、撮像素子３０１から出力される信号を、必要に応じて各種の補正、圧縮を行って信号を出力する動作を行う。撮像素子３０１から出力される信号がアナログ信号である場合、出力信号処理部３０５はアナログ／デジタル変換回路をデジタル信号処理部の前段に備えてもよい。
また、撮像装置５００は、画像データを一時的に記憶する為のバッファメモリ部３０６を有する。さらに撮像装置５００は、外部のコンピュータ等と通信するための外部インターフェース（Ｉ／Ｆ）部３０７を有する。さらに撮像装置５００は、記録媒体への記録又は読み出しを行うための記憶媒体制御インターフェース（Ｉ／Ｆ）部３０８を有する。さらに撮像装置５００は、撮像データの記録又は読み出しを行う記録媒体３０９を有する。記録媒体３０９は、着脱可能な、又は撮像装置に内蔵された半導体メモリである。
さらに撮像装置５００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部３１０を有する。さらに撮像装置５００は、出力信号処理部３０５に、各種タイミング信号を出力するタイミングジェネレータ３１１を有する。なお、タイミング信号などの制御信号はタイミングジェネレータ３１１ではなく、撮像装置５００の外部から入力されてもよい。すなわち、撮像装置５００は少なくとも撮像素子３０１と、撮像素子３０１から出力された出力信号を処理する出力信号処理部３０５とを有する。
図２は、本実施形態の係る撮像素子の一例を示したブロック図である。本実施形態の撮像素子は、画素１００が行列状に配された画素アレイを有する撮像領域１と、垂直走査回路２と、列回路部３と、水平走査回路４と、出力部５とを有する。垂直走査回路２は、画素１００を行単位で選択する。垂直走査回路２によって選択された画素１００は、入射光に基づく信号を垂直信号線６に出力する。複数の垂直信号線６の各々は、１列の画素１００に対応して設けられている。列回路部３は、各列の垂直信号線６に対して、各々が設けられた複数の列回路を有する。複数の列回路の各々は、対応する垂直信号線６に出力された画素１００からの信号から、ノイズ成分を差し引いた信号を生成する。水平走査回路４は、列回路部３の複数の列回路を、順次、水平走査する。これにより、列回路部３の各列の列回路から順次、信号が出力部５に出力される。出力部５は、撮像素子３０１の外部に設けられた出力信号処理部３０５に信号を出力する。
図３（ａ）、図３（ｂ）のそれぞれの図は画素のカラーフィルタ（ＣＦ）の配置の例を示した図である。Ｒ、Ｇ、Ｂは、それぞれ順に、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）のカラーフィルタを示している。また、Ｗはホワイト画素であって、カラーフィルタが設けられていないことを示している。
図３（ａ）はベイヤ配置であり、Ｗ画素は設けられていない。ＣＦの比率がＲ：Ｇ：Ｂが１：２：１になる。Ｇ画素が、Ｒ画素及びＢ画素に比して多く配置されているのは、人間の視覚の特性が、赤色、青色に比して、緑色に対応する波長に対して高い感度を有するからである。また、人間の視覚が認識する画像の解像感が、赤色、青色に比して、緑色の波長に対応する光の輝度に強く依存するからである。
図３（ｂ）にＲＧＢＷ１２と表記したＣＦ配列を示す。この配列では、４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の比で配置されている。カラー画素であるＲ画素、Ｇ画素、Ｂ画素のいずれの画素も平面視における上下方向、左右方向、斜め方向のそれぞれにＷ画素が隣接して配されている。すなわち、Ｒ画素、Ｇ画素、Ｂ画素の各々は、８つのＷ画素に囲まれている。Ｗ画素は、全画素の３／４の比率を占めている。カラー画素であるＲＧＢ画素の各々がＷ画素で周囲を囲まれていることにより、図３（ｂ）のＣＦ配列に比して、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれの信号に対し、Ｗ画素の信号を補間する補間精度が向上する。
図４は、本実施例の撮像素子３０１、出力信号処理部３０５の動作を示したフロー図である。
ステップＳ１０１において、撮像素子３０１は、信号を出力信号処理部３０５に出力する。
ステップＳ１０３において、出力信号処理部３０５は、撮像素子３０１が出力した信号を、ＣＦ配列に基づいて、解像度データとカラーデータとに分離する。解像度データとは、Ｗ画素が出力する信号によって作成されるデータであり、輝度を示すデータである。一方、カラーデータは、ＲＧＢ画素が出力する信号によって作成されるデータである。カラーデータは、Ｒ画素、Ｇ画素、Ｂ画素の画素数の和が全画素の１／４である。よって、全画素数に対し、Ｘ方向に１／２、Ｙ方向に１／２の解像度となる。図４では、その解像度の低下を画素の大きさで模式的に示している。
図３（ｂ）のＣＦ配列において、Ｒ画素、Ｇ画素、Ｂ画素の部分のホワイトに相当するデータは取得されていない。よって、図４中では「？」で示している。
ステップＳ１０５において、出力信号処理部３０５は、解像度データに対し、補間処理を行う。この補間処理は、Ｒ画素、Ｇ画素、Ｂ画素が設けられていた箇所のホワイトに相当する信号を、近接するＷ画素の信号に基づいて補う処理である。この補間処理によって、Ｒ画素、Ｇ画素、Ｂ画素の各々におけるホワイトに相当する信号が補間される。図４では、補間された画素の補間データをｉＷと表記する。補間方法としてはバイリニア法などを適宜用いることもできる。本実施例においてはｉＷの周囲の８画素がＷ画素である。これにより、上下・左右・右斜め・左斜めのＷ画素の出力を補間値の基準として用いることができる。例えば、上下・左右・右斜め・左斜め方向のＷ画素うち、信号値の変化率の少ない２画素の平均を用いることができる。信号値の変化率の少ないＷ画素の平均を用いると求めたｉＷは、上下方向、左右方向のみにＷ画素が隣接している場合に比して、解像度データの真値に対する誤差を抑制できる。
これにより、本実施例のように、８つのＷ画素がＲ画素、Ｇ画素、Ｂ画素のいずれかを囲むＣＦ配列では、高精度の補間処理を行うことができる。
尚、詳細はステップＳ１１１の説明にて述べるが、出力信号処理部３０５は、ステップＳ１０３の補間処理を、撮像素子３０１が出力する、全てのフレームの信号うちの一部のフレームの信号に対して行われる。
ステップＳ１０７において、出力信号処理部３０５は、カラーデータを取得したフレーム数がｎフレームに達しているか否かを判定する。ｎは２以上の整数である。
ステップＳ１０７において、出力信号処理部３０５は、Ｎｏの判定をすると、再びステップＳ１０１に処理を戻す。
一方、ステップＳ１０７において、出力信号処理部３０５が、Ｙｅｓの判定をすると、出力信号処理部３０５は、処理をステップＳ１０９に進める。
ステップＳ１０９において、出力信号処理部３０５は、複数のフレームに含まれるカラーデータを処理する。このステップＳ１０９において行う処理は、移動平均、逐次型巡回処理（無限インパルス応答、ＩＩＲ：ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）、非逐次型巡回処理（有限インパルス応答、ＦＩＲ：ｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）のいずれか、あるいは複数を組み合わせて行う処理である。この処理によって得られたカラーデータは、各フレームに含まれるカラーデータに含まれていた色ノイズを低減したデータとなっている。
ステップＳ１１１において、出力信号処理部３０５は、解像度データと、ステップＳ１０９で処理されたカラーデータとを合成する処理を行う。
この合成の処理について説明する。ここでは、ステップＳ１０９で処理するカラーデータのフレーム数ｎが２であるとして説明する。
まず、１フレーム目の信号が撮像素子３０１から出力される。出力信号処理部３０５は、１フレーム目の解像度データに対しては、ステップＳ１０５の処理を行わない。
出力信号処理部３０５は、ステップＳ１０７でＮｏの判定を行い、ステップＳ１０１に処理を戻す。
ステップＳ１０１にて、撮像素子３０１が２フレーム目の信号を出力する。出力信号処理部３０５は、ステップＳ１０３の処理の後、ステップＳ１０５の処理を、２フレーム目の解像度データに対して行う。また、ステップＳ１０７でＹｅｓの判定を行い、ステップＳ１０９にて、２つのフレームに含まれるカラーデータに対し、処理を行う。
ステップＳ１１１にて、２フレーム目の解像度データに対し、２つのフレームに含まれるカラーデータを処理したデータを合成する。これにより、出力信号処理部３０５は、解像度データとカラーデータとに基づいて、カラーの画像を生成する。図４では、１画素につきＲＧＢの符号を付している。これは、１画素に対して、Ｒ、Ｇ、Ｂの各色のデータがそれぞれ生成されていることを意味する。
ステップＳ１１３にて、出力信号処理部３０５は、ステップＳ１１１にて生成した画像を出力する。
図５は、図４で説明したステップＳ１０７の処理の詳細を示した図である。
本実施例の撮像素子は、Ｗ画素が設けられている分、Ｒ画素、Ｇ画素、Ｂ画素の画素数の和が、図３（ａ）で示したベイヤ配列に比して少なくなっている。従って、Ｒ画素、Ｇ画素、Ｂ画素のランダムノイズ、フォトショットノイズが、ベイヤ配列に比してＲ画素、Ｇ画素、Ｂ画素の画素数が少ないことによって目立ちやすくなる。このランダムショットノイズ、フォトショットノイズを総称して色ノイズと表記することとする。
この色ノイズを低減するために、本実施例の撮像装置５００は、時間的に連続した複数のフレームに含まれるカラーデータを用いて、ノイズリダクション（ＮＲ：ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）を行う。ノイズリダクションの方法を説明する。まず、１フレーム目のカラーデータを、予めフレームメモリに格納する。この１フレーム目のカラーデータには、後に説明する乗算、除算の処理を行わない。
次に、２フレーム目のカラーデータについて説明する。図５に示したように、出力信号処理部３０５は、２フレーム目のカラーデータに対して、まず係数１／ｎを乗じる。本実施例では、ｎは２としているため、Ｒ画素、Ｇ画素、Ｂ画素の各々の信号値は１／２となる。そして、出力信号処理部３０５は、フレームメモリに格納された、１フレーム目のカラーデータに、係数（ｎ−１）／ｎを乗じる。ｎは２であるため、１フレーム目のカラーデータのＲ画素、Ｇ画素、Ｂ画素の信号は、それぞれ１／２となる。そして出力信号処理部３０５は、１／２倍された１フレーム目の信号と、１／２倍された２フレーム目の信号を加算する。これにより、１フレーム目と２フレーム目のそれぞれのカラーデータを平均化したデータを取得することができる。
尚、ｎが３以上の場合には、出力信号処理部３０５は、１フレーム目と２フレーム目のカラーデータで平均化されたカラーデータを２／３倍した信号と、３個のフレームのうちの最終フレームである３フレーム目に含まれるカラーデータを１／３倍したカラーデータとを加算することで、３フレームに含まれるカラーデータの平均化したデータを取得する。
図５中のｎｒＲ、ｎｒＧ、ｎｒＢはノイズリダクション後のＲ画素、Ｇ画素、Ｂ画素のカラーデータを示している。ノイズリダクション後のカラーデータは、複数のフレームに含まれるカラーデータを用いて作成される。つまり、ｎｒＲ、ｎｒＧ、ｎｒＢは、各フレームに含まれるカラーデータに比して、ノイズ成分の少ないデータになる。
次に、ステップＳ１１１の処理について、さらに説明する。ステップＳ１１１の処理は、Ｒ画素、Ｇ画素、Ｂ画素が配置されている画素のホワイトに相当する信号の補間データｉＷと、当該画素のｎｒＲ、ｎｒＧ、ｎｒＢのＲＧＢそれぞれの色比を算出する処理である。そして、色比に対して、各画素のデータＷもしくは補間データｉＷを乗算したものが画素毎のＲＧＢの値となる。具体的には、以下の式で説明される。
処理対象の画素がＷ画素の場合
処理対象の画素がＲ画素、Ｇ画素、Ｂ画素の場合
ここで、ｉＷｒ、ｉＷｇ、ｉＷｂは、Ｒ画素、Ｇ画素、Ｂ画素の部分のｉＷ値である。
また、別の処理の方法として、色のデータの規格化を行い、処理することもでき、以下の式で説明される。
また、別の処理の方法として、色のデータの規格化を行い、処理することもでき、以下の式で説明される。
処理対象の画素がＷ画素の場合
処理対象の画素がＲ画素、Ｇ画素、Ｂ画素の場合
この式中でｎｒＲ、ｎｒＧ、ｎｒＢは、（ｎｒＲ＋ｎｒＧ＋ｎｒＢ）で規格化されている。よって、ｎｒＲ／（ｎｒＲ＋ｎｒＧ＋ｎｒＢ）、ｎｒＧ／（ｎｒＲ＋ｎｒＧ＋ｎｒＢ）およびｎｒＢ／（ｎｒＲ＋ｎｒＧ＋ｎｒＢ）のそれぞれの値は、規格化されたカラーデータである。
一方、データＷ、データiＷは解像度データである。解像度データは、複数のフレームの信号の平均処理を行っているカラーデータに比して、被写体の動きに対する応答の早いデータである。一方、カラーデータ（ｎｒＲ、ｎｒＧ、ｎｒＢ）は、ノイズ成分を低減したデータである。
カラーデータ（ｎｒＲ、ｎｒＧ、ｎｒＢ）は、解像度データよりも、被写体の動きに対して応答が遅いデータである。しかし、人間の目は解像度データに比して、カラーデータの検知能力は、１フレーム内の空間的な変化、およびフレーム間の時間的な変化に対して鈍感である。よって、カラーデータの応答性の低さは解像度データに比して許容しやすい。
よって、被写体の動きに対して、解像度データの応答が早ければ、出力信号処理部３０５は、解像度データと、複数フレームの信号を平均処理したカラーデータとを用いて、良好なＲＧＢ画像を形成することができる。
よって、解像度データとカラーデータとを掛けあわせることによって、被写体の動きに対する応答性が良く、ノイズ成分を低減した画像を得ることができる。
本実施例の撮像装置５００と、他の撮像装置とを用いて評価撮影を行った。図６は、評価撮影の条件と結果を示した図である。画像の評価項目は、ノイズと残像とした。図６のノイズ評価と残像評価はそれぞれ優れた評価から順に○、△、×と表記している。
また、評価撮影の条件としては、撮影環境の明るさとカラーデータの平均処理のフレーム数として、前述の係数［１／ｎ］［（ｎ−１）／ｎ］のｎの値を変化させて評価を行った。
条件Ｎｏ．１として、撮影シーンの明るさを１０ルクスとし、カラーデータの平均処理フレーム数のｎをｎ＝１とした。この条件において撮影された画像は、ノイズは殆ど無く、また、残像も見られなかった。よって、ノイズ評価、残像評価の両方ともに○となった。
条件Ｎｏ．２として、撮影シーンの明るさを１０ルクスとし、ｎ＝４とした。この条件において撮影された画像は、ノイズは殆ど無かった。また、ｎ＝４としているため、ｎ＝１の条件Ｎｏ．１に比して、色が滲む残像が見える箇所があったが、許容できる範囲であった。よって、ノイズ評価は○、残像評価は△となった。
条件Ｎｏ．３として、撮影シーンの明るさを１ルクスとし、ｎ＝１とした。この条件において撮影された画像には、撮影シーンの光量の減少により、解像度データ、カラーデータのＳ／Ｎ比の低下によるノイズが若干見られた。また、この条件において撮影された画像には、残像は見られなかった。よって、ノイズ評価は△、残像評価は○となった。
条件Ｎｏ．４として、撮影シーンの明るさを１ルクスとし、ｎ＝４とした。この条件では、カラーデータを複数フレームで平均処理することによって、条件Ｎｏ．３で撮影された画像に比してノイズの低減された画像が得られた。また、残像は条件Ｎｏ．２で撮影された画像と同じレベルで、許容できる程度であった。よって、ノイズ評価は○、残像評価は△となった。
条件Ｎｏ．５として、撮影シーンの明るさを０．１ルクスとし、ｎ＝１とした。この条件では、条件Ｎｏ．３に比してさらに解像度データ、カラーデータのＳ／Ｎ比の低下が生じたため、ノイズの目立つ画像が撮影された。一方、ｎ＝１のため、残像は見られなかった。よって、ノイズ評価は×、残像評価を○となった。
条件Ｎｏ．６として、撮影シーンの明るさを０．１ルクスとし、ｎ＝４とした。この条件では、カラーデータを複数フレームで平均処理することによって、条件Ｎｏ．５で撮影された画像に比してノイズの低減された画像が得られた。また、カラーデータの処理フレーム数ｎ＝４を行っているが、残像感は許容できる程度であった。よって、図６では、ノイズ評価を△、残像評価を△とした。
このように、複数フレームに含まれるカラーデータを平均処理することによって、本実施例の撮像装置５００はノイズを低減しながら、残像を抑えた画像を生成することができる。
本実施例の撮像装置５００は、ｎ個のフレームに含まれるＲＧＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＷ画素のデータとを用いて画像データを生成する。このｎの値は、Ｗ画素の数が、光が入射する全ての画素の数に占める割合をＸとして、１／Ｘ以上の数とすることが好ましい。これにより、Ｗ画素の数が増えるに従って増加する偽色の発生を抑制することができる。
なお、本実施例の撮像装置５００は、ｎの値を被写体の環境、例えば明るさ、コントラスト、動きの速度に応じて適宜変更してもよい。
本実施例の撮像装置５００は、Ｗ画素を設けていることにより、ベイヤ配列に比して、Ｒ画素、Ｇ画素、Ｂ画素の画素数が少なくなっている。このため、本実施例の撮像装置５００によって生成した画像は、ベイヤ配列の撮像素子が出力する信号を用いて生成した画像に比して、モアレが多くみられる場合がある。その場合には、ステップＳ１１１の処理において、上述した処理で得られた各画素のＲＧＢの値に対し、さらに以下の処理を行うようにすると良い。
ステップＳ１１１の処理によってＲＧＢ画像を作成する際に、
尚、本実施例では、解像度データはＷ画素のみの信号とし、カラーデータは、Ｒ画素、Ｇ画素、Ｂ画素のみの信号とした。本発明はこの例に限定されるものではなく、解像度データはＷ画素の信号が主であればよく、Ｒ画素、Ｇ画素、Ｂ画素の信号が含まれていても良い。また、カラーデータは、Ｒ画素、Ｇ画素、Ｂ画素の信号が主であれば良く、Ｗ画素の信号が含まれていても良い。
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
尚、本実施例では、１フレームにおいて、撮像素子がカラーデータと解像度データとをそれぞれ出力していた。他の例として、撮像素子が１フレームにカラーデータを出力し、他のフレームに解像度データを出力するようにしても良い。
尚、本実施例では、撮像装置５００が備えた出力信号処理部３０５が、ｎ個のフレームに含まれるＲＧＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＷ画素のデータとを用いて画像データを生成した。本発明はこの例に限定されるものではない。例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体あるいは通信によって配信されるプログラムが、ｎ個のフレームに含まれるＲＧＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＷ画素のデータとを用いて画像データを生成する信号処理方法を備えていても良い。これにより、当該プログラムをインストールしたコンピュータは、ｎ個のフレームに含まれるＲＧＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＷ画素のデータとを用いて画像データを生成する信号処理方法を行うことができる。
（実施例２）
本実施例の撮像装置について、実施例１の撮像装置５００とは異なる点を中心に説明する。本実施例の撮像装置５００は、複数フレームに含まれるカラーデータを処理したカラーデータと、カラーデータの処理よりも少ない複数のフレームに含まれる解像度データを処理した解像度データとを用いて、１枚の画像を生成する。本実施例の撮像装置５００の構成は、図１に示した撮像装置５００と同じである。
本実施例の撮像装置について、実施例１の撮像装置５００とは異なる点を中心に説明する。本実施例の撮像装置５００は、複数フレームに含まれるカラーデータを処理したカラーデータと、カラーデータの処理よりも少ない複数のフレームに含まれる解像度データを処理した解像度データとを用いて、１枚の画像を生成する。本実施例の撮像装置５００の構成は、図１に示した撮像装置５００と同じである。
図７は、本実施例の撮像装置５００の動作を示したフロー図である。図４に示した動作と同じ動作については、図４で付した符号と同じ符号を図７でも付している。
出力信号処理部３０５は、撮像素子３０１が出力する信号を解像度データとカラーデータとに分離する。その後、解像度データについてはｍ個のフレームに含まれる解像度データを処理した解像度データを生成する。また、カラーデータについては、ｍ個よりも多いｎ個のフレームに含まれるカラーデータを処理したカラーデータを生成する。
人間の目は、解像度に対する残像よりも、色に対する残像の方が認識しにくい。そのため、１枚の画像の生成に用いる解像度データの処理フレーム数を、カラーデータの処理フレーム数よりも、少なくする。これにより、本実施例の撮像装置５００は、画像に生じる残像を人間の目には認識しにくいものとしつつ、ノイズを低減させた画像を生成することができる。
図８に本実施形態の評価結果を示す。図８のノイズ評価と残像評価はそれぞれ優れた評価から順に○、△、▲、×と表記している。
条件Ｎｏ．１として、撮影シーンの明るさを１０ルクスとし、ｍ＝１、ｎ＝１とした。この条件で撮影された画像のノイズ評価と残像評価は双方とも○であった。
条件Ｎｏ．２として、撮影シーンの明るさを１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は○、残像評価は△であった。
条件Ｎｏ．３として、撮影シーンの明るさを１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は○、残像評価は▲であった。条件Ｎｏ．２で得られた画像に比して、条件Ｎｏ．３で得られた画像には、残像の許容範囲内での増加が見られた。
条件Ｎｏ．４として、撮影シーンの明るさを０．１ルクスとし、ｍ＝１、ｎ＝１とした。この条件で撮影された画像のノイズ評価は×、残像評価は○であった。
条件Ｎｏ．５として、撮影シーンの明るさを０．１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は▲、残像評価は△であった。条件Ｎｏ．４で撮影された画像に比して、条件Ｎｏ．５で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
条件Ｎｏ．６として、撮影シーンの明るさを０．１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は△、残像評価は▲であった。条件Ｎｏ．５で撮影された画像に比して、条件Ｎｏ．６で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
条件Ｎｏ．７として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は×、残像評価は△であった。
条件Ｎｏ．８として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は▲、残像評価は▲であった。条件Ｎｏ．７で撮影された画像に比して、条件Ｎｏ．８で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
条件Ｎｏ９として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝４、ｎ＝４とした。この条件で撮影された画像のノイズ評価は△、残像評価は×であった。条件Ｎｏ．８で撮影された画像に比して、条件Ｎｏ．９で撮影された画像は、ノイズが低減された一方、残像が許容範囲を越えて増加した。
このように、本実施例の撮像装置５００は、例えば条件Ｎｏ．５と条件Ｎｏ．６の比較で明らかなように、１枚の画像の生成に、複数フレームに含まれる解像度データを処理した解像度データを用いることで、ノイズを低減した画像を生成することができる。また、１枚の画像の生成に用いる解像度データとカラーデータのフレーム数を一致させた条件Ｎｏ．９では、残像が許容範囲を越えて増加した。本実施例の撮像装置５００は、１枚の画像の生成に用いる解像度データのフレーム数が、カラーデータのフレーム数よりも少なくすることによって、残像の増加を抑制しながらノイズを低減した画像を生成することができる。
一方、１枚の画像の生成に、複数フレームに含まれる解像度データを処理した解像度データを用いることで、残像が増加する場合がある。従って、被写体が静止している場合には、１枚の画像の生成に、フレーム数ｎ１のカラーデータと、フレーム数ｍ１の解像度データとを用いる。ｍ１はｎ１よりも少ない数である。一方、被写体に動きがある場合には、１枚の画像の生成に、被写体が静止している場合に比して少ないフレーム数の解像度データを用いると良い。好ましくは、被写体に動きがある場合には、１枚の画像の生成に、１フレームのみに含まれる解像度データを用いると良い。
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
（実施例３）
本実施例の撮像装置について、実施例１の撮像装置５００とは異なる点を中心に説明する。本実施例では、ＣＦの配列が図９で表わされる配列を用いている。この配列を、ＲＧＢＷ８と表記する。ＲＧＢＷ８の配列は、ＲＧＢＷ１２に比べ、全画素数に対するＷ画素の割合が少なくなっている。これにより、撮像素子の感度は、ＲＧＢＷ１２に比してＲＧＢＷ８の配列は低下する。一方、ＲＧＢＷ８の配列は、ＲＧＢＷ１２の配列に対し、Ｗ画素の平面視におけるそれぞれの上下方向、左右方向のそれぞれに隣接してＲ画素、Ｇ画素、Ｂ画素のいずれかの画素が存在するため、偽色が発生しにくい効果を有する。
本実施例の撮像装置について、実施例１の撮像装置５００とは異なる点を中心に説明する。本実施例では、ＣＦの配列が図９で表わされる配列を用いている。この配列を、ＲＧＢＷ８と表記する。ＲＧＢＷ８の配列は、ＲＧＢＷ１２に比べ、全画素数に対するＷ画素の割合が少なくなっている。これにより、撮像素子の感度は、ＲＧＢＷ１２に比してＲＧＢＷ８の配列は低下する。一方、ＲＧＢＷ８の配列は、ＲＧＢＷ１２の配列に対し、Ｗ画素の平面視におけるそれぞれの上下方向、左右方向のそれぞれに隣接してＲ画素、Ｇ画素、Ｂ画素のいずれかの画素が存在するため、偽色が発生しにくい効果を有する。
図１０は、本実施例の撮像装置５００の動作を示したフロー図である。
ステップＳ２０１において、撮像素子３０１は、信号を出力信号処理部３０５に出力する。
ステップＳ２０３において、出力信号処理部３０５は、撮像素子３０１が出力した信号を、ＣＦ配列に基づいて、解像度データとカラーデータとに分離する。
図９のＣＦ配列において、Ｒ画素、Ｇ画素、Ｂ画素の部分のホワイトに相当するデータは取得されていない。よって、図１０中では「？」で示している。
ステップＳ２０５において、出力信号処理部３０５は、解像度データに対し、補間処理を行う。この補間処理は、Ｒ画素、Ｇ画素、Ｂ画素が設けられていた箇所のホワイトに相当する信号を、近接するＷ画素の信号に基づいて補う処理である。この補間処理によって、Ｒ画素、Ｇ画素、Ｂ画素の各々におけるホワイトに相当する信号が補間される。図１０では、補間された画素の補間データをｉＷと表記する。補間方法としてはバイリニア法などを適宜用いることもできる。本実施例においてはｉＷの周囲の４画素がＷ画素である。これにより、上下、左右方向で隣接したＷ画素の出力を補間値の基準として用いることができる。例えば、上下、左右方向のＷ画素のうち、信号値の変化率の少ない２画素の平均を用いることができる。
ステップＳ２０７において、出力信号処理部３０５は、カラーデータを取得したフレーム数がｎフレームに達しているか否かを判定する。ｎは２以上の整数である。
ステップＳ２０７において、出力信号処理部３０５は、Ｎｏの判定をすると、再びステップＳ２０１に処理を戻す。
一方、ステップＳ２０７において、出力信号処理部３０５が、Ｙｅｓの判定をすると、出力信号処理部３０５は、処理をステップＳ２０９に進める。
ステップＳ２０９において、出力信号処理部３０５は、複数のフレームに含まれるカラーデータを処理する。このステップＳ２０９において行う処理は、先の図４で述べたステップＳ１０９と同じとすることができる。
ステップＳ２１１において、出力信号処理部３０５は、解像度データと、ステップＳ２０９で処理されたカラーデータとを合成する処理を行う。
ステップＳ２１３にて、出力信号処理部３０５は、ステップＳ２１１にて生成した画像を出力する。
図１１は、図１０で説明したステップＳ２０７の処理の詳細を示した図である。
本実施例の撮像装置５００の図１１の動作は、図５で示した動作に対し、ＣＦの配列が異なることによるカラーデータの画素数の違いを除いて、同じとしている。
以上の動作を行う撮像装置５００を用いて、図６に示した条件と同じ条件でそれぞれ評価撮影を行った。全画素のうちのＷ画素が占める割合が実施例１の撮像装置５００よりも小さい分、画像の感度と解像度に低下が見られた。一方、本実施例の撮像装置５００は、１枚の画像の生成に１フレームに含まれる解像度データと１フレームに含まれるカラーデータとを用いた場合に比して、残像を抑制しつつ、ノイズを低減した画像を生成することができた。
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
（実施例４）
本実施例の撮像装置について、実施例１とは異なる点を中心に説明する。
本実施例の撮像装置について、実施例１とは異なる点を中心に説明する。
図１２は、本実施例の撮像素子３０１のＣＦの配列を示している。このＣＦの配列を、ＲＧＢＧ１２と表記する。
本実施例の撮像素子３０１は、ＲＧＢＷ１２の配列に対し、Ｗ画素がＧ画素に置き換わっている。これにより、ＲＧＢＷ１２の感度が低下する。光量の大きな被写体の撮影の際に、ＲＧＢＷ１２の配列では、Ｗ画素が飽和してしまい、画像の階調が低下することがあった。一方、ＲＧＢＧ１２の配列においては、Ｇ画素の方が、Ｗ画素よりも感度が低いため、Ｗ画素では飽和するような撮影シーンにおいても、Ｇ画素が飽和しない場合がある。これにより、本実施例の撮像装置５００は、Ｗ画素が飽和するような撮影シーンにおいても、階調の低下を抑制した画像を生成することができる。
図１３は、本実施例の撮像装置５００の動作を示したフロー図である。
ステップＳ３０１において、撮像素子３０１は、信号を出力信号処理部３０５に出力する。
ステップＳ３０３において、出力信号処理部３０５は、撮像素子３０１が出力した信号を、ＣＦ配列に基づいて、解像度データとカラーデータとに分離する。
図１２のＣＦ配列において、Ｒ画素、Ｂ画素の部分のＧ画素に相当するデータは取得されていない。よって、図１２中のＧ画素を用いた解像度データでは、Ｒ画素、Ｂ画素について「？」で示している。
ステップＳ３０５において、出力信号処理部３０５は、解像度データに対し、補間処理を行う。この補間処理は、Ｒ画素、Ｂ画素が設けられていた箇所のＧ画素に相当する信号を、近接するＧ画素の信号に基づいて補う処理である。この補間処理によって、Ｒ画素、Ｂ画素の各々におけるＧ画素に相当する信号が補間される。図１３では、補間された画素の補間データをｉＧと表記する。補間方法としてはバイリニア法などを適宜用いることもできる。
ステップＳ３０７において、出力信号処理部３０５は、カラーデータを取得したフレーム数がｎフレームに達しているか否かを判定する。ｎは２以上の整数である。
ステップＳ３０７において、出力信号処理部３０５は、Ｎｏの判定をすると、再びステップＳ３０１に処理を戻す。
一方、ステップＳ３０７において、出力信号処理部３０５が、Ｙｅｓの判定をすると、出力信号処理部３０５は、処理をステップＳ３０９に進める。
図１３で説明したステップＳ３０７の処理は、図５に示した処理と同じとしている。
ステップＳ３０９において、出力信号処理部３０５は、複数のフレームに含まれるカラーデータを処理する。このステップＳ３０９において行う処理は、先の図４で述べたステップＳ１０９と同じとすることができる。
ステップＳ３１１において、出力信号処理部３０５は、解像度データと、ステップＳ３０９で処理されたカラーデータとを合成する処理を行う。
ステップＳ３１１では、出力信号処理部３０５は、ステップＳ３０５の処理によって得られた、補間処理後の解像度データと、ステップＳ３０９の処理によって得られた、複数フレーム処理後のカラーデータに対し、次の処理を行う。
出力信号処理部３０５は、Ｒ画素が配置されている画素のＧ画素に相当する補間データｉＧｒと、当該画素のカラーデータのｎｒＲとの比を得る。この比に対して、Ｇ画素については、データＧを乗算し、Ｒ画素については補間データiＧを乗算する。
また、出力信号処理部３０５は、Ｂ画素が配置されている画素のＧ画素に相当する補間データｉＧｂと、当該画素のカラーデータのｎｒＢとの比を得る。この比に対して、Ｇ画素については、データＧを乗算し、Ｂ画素については補間データiＧを乗算する。
これらをまとめると、解像度データとカラーデータを合成してＲＧＢ画像を得る演算は、以下の式で表される。
処理対象の画素がＧ画素の場合
処理対象の画素がＲ画素、Ｂ画素の場合
さらに、本実施例の撮像素子３０１では、ベイヤ配列に比して、Ｒ画素、Ｂ画素のそれぞれが全画素に占める割合が低い。このため、出力信号処理部３０５は、以下の処理をさらに行う。
処理対象の画素がＧ画素の場合
処理対象の画素がＲ画素、Ｂ画素の場合
以上の処理を行った撮像装置５００を用いて評価撮影を行った。撮影した結果、ベイヤ配列の撮像素子に対して、低照度環境での色ノイズを低減することができた。
また、本実施例ではＲデータをｉＧｒで規格化、ＢデータをiＧｂで規格化した。これにより、Ｒ／ｉＧｒ、およびＢ／iＧｂの演算を行うためＲ画素にあるべき輝度（ｉＧｒ）、Ｂ画素にあるべき輝度（ｉＧｂ）で除算された値が使われるため、Ｒ画素、Ｂ画素で生じるモアレが抑制される効果がある。
ステップＳ３１３にて、出力信号処理部３０５は、ステップＳ３１１にて生成した画像を出力する。
以上の動作を行う撮像装置５００を用いて、図６に示した条件と同じ条件でそれぞれ評価撮影を行った。本実施例の撮像装置５００が生成した画像は、撮像素子３０１にＷ画素が設けられていないため、実施例１の撮像装置５００で得た画像に対し、画像の感度と解像度に低下が見られた。一方で、本実施例の撮像装置５００は、１枚の画像の生成に１フレームに含まれる解像度データと１フレームに含まれるカラーデータとを用いた場合に比して、残像を抑制しつつ、ノイズを低減した画像を生成することができた。
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
本実施例の撮像装置５００は、ｎ個のフレームに含まれるＲＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＧ画素のデータとを用いて画像データを生成する。このｎの値は、Ｇ画素の数が、光が入射する全ての画素の数に占める割合をＸとして、１／Ｘ以上の数とすることが好ましい。これにより、Ｇ画素の数が増えるに従って増加する偽色の発生を抑制することができる。
（実施例５）
本実施例の撮像装置について、実施例４と異なる点を中心に説明する。
本実施例の撮像装置について、実施例４と異なる点を中心に説明する。
本実施例の撮像素子３０１のＣＦの配列は、図３（ａ）に示したベイヤ配列である。
図１４は本実施例の撮像装置５００の動作を示したフロー図である。
ステップＳ４０１において、撮像素子３０１は、信号を出力信号処理部３０５に出力する。
ステップＳ４０３において、出力信号処理部３０５は、撮像素子３０１が出力した信号を、ＣＦ配列に基づいて、解像度データとカラーデータとに分離する。
図３（ａ）のＣＦ配列において、Ｒ画素、Ｂ画素の部分のＧ画素に相当するデータは取得されていない。よって、図３（ａ）中のＧ画素を用いた解像度データでは、Ｒ画素、Ｂ画素について「？」で示している。
ステップＳ４０５において、出力信号処理部３０５は、解像度データに対し、補間処理を行う。この補間処理は、Ｒ画素、Ｂ画素が設けられていた箇所のＧ画素に相当する信号を、近接するＧ画素の信号に基づいて補う処理である。この補間処理によって、Ｒ画素、Ｂ画素の各々におけるＧ画素に相当する信号が補間される。図１４では、補間された画素の補間データをｉＧと表記する。補間方法としてはバイリニア法などを適宜用いることもできる。
ステップＳ４０７において、出力信号処理部３０５は、カラーデータを取得したフレーム数がｎフレームに達しているか否かを判定する。ｎは２以上の整数である。
ステップＳ４０７において、出力信号処理部３０５は、Ｎｏの判定をすると、再びステップＳ４０１に処理を戻す。
一方、ステップＳ４０７において、出力信号処理部３０５が、Ｙｅｓの判定をすると、出力信号処理部３０５は、処理をステップＳ４０９に進める。
ステップＳ４０９において、出力信号処理部３０５は、複数のフレームに含まれるカラーデータを処理する。このステップＳ４０９において行う処理は、先の図１１で述べたステップＳ２０９と同じとすることができる。
ステップＳ４１１において、出力信号処理部３０５は、解像度データと、ステップＳ４０９で処理されたカラーデータとを合成する処理を行う。
ステップＳ４１３にて、出力信号処理部３０５は、ステップＳ４１１にて生成した画像を出力する。
ステップＳ４１１における合成の処理は、実施例４で述べた各画素のＲＧＢのデータを得る処理と同じである。
以上の動作を行う撮像装置５００を用いて、図６に示した条件と同じ条件でそれぞれ評価撮影を行った。本実施例の撮像装置５００が生成した画像は、撮像素子３０１にＷ画素が設けられていないため、実施例１の撮像装置５００で得た画像に対し、画像の感度と解像度に低下が見られた。一方で、本実施例の撮像装置５００は、１枚の画像の生成に１フレームに含まれる解像度データと１フレームに含まれるカラーデータとを用いた場合に比して、残像を抑制しつつ、ノイズを低減した画像を生成することができた。
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
１ 撮像領域
２ 垂直走査回路
３ 列回路部
３０１ 撮像素子
３０５ 出力信号処理部
５００ 撮像装置
２ 垂直走査回路
３ 列回路部
３０１ 撮像素子
３０５ 出力信号処理部
５００ 撮像装置
Claims (9)
- 各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、
前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、
前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、
前記ホワイト画素の数が、前記撮像素子において光が入射する全ての画素の数に占める割合をＸとして、前記ｎを、１／Ｘ以上の数とすることを特徴とする撮像装置の駆動方法。 - 各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、
前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、
前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、
前記出力信号処理部は、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号と、前記ｎ個のフレームのうちの最終フレームのみに含まれる前記ホワイト画素の信号とを用いて、画像データを生成することを特徴とする撮像装置の駆動方法。 - 各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、
前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、
前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、
前記出力信号処理部は、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号と、前記ｍ個のフレームに含まれる前記ホワイト画素の信号を平均処理した信号とを用いて、画像データを生成することを特徴とする撮像装置の駆動方法。 - 各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、
前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、
前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、
前記撮像素子は前記ホワイト画素を複数有し、
１つの前記カラー画素は、平面視における上下方向、左右方向、斜め方向の全てにおいて、前記ホワイト画素と隣接していることを特徴とする撮像装置の駆動方法。 - 前記１つのカラー画素に対して、上下方向に隣接した前記ホワイト画素の信号と、前記左右方向に隣接した前記ホワイト画素の信号とを比較した結果に基づいて、前記１つのカラー画素の位置における、前記ホワイト画素に対応する信号を補間する処理を行うことを特徴とする請求項４に記載の撮像装置の駆動方法。
- 前記１つのカラー画素に対して、上下方向に隣接した前記ホワイト画素の信号と、前記左右方向に隣接した前記ホワイト画素の信号と、前記斜め方向に隣接した前記ホワイト画素の信号とを比較した結果に基づいて、前記１つのカラー画素の位置における、前記ホワイト画素に対応する信号を補間する処理を行うことを特徴とする請求項４に記載の撮像装置の駆動方法。
- 前記ｎ個のフレームに、前記ｍ個のフレームが含まれることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置の駆動方法。
- 前記ｍが２以上の整数であり、前記ｎは３以上の整数であることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置の駆動方法。
- 前記ｎ個のフレームのうち、ｎ−１個の各々のフレームのカラー画素が出力する信号を１／ｎ倍した信号と、１フレーム目のカラー画素が出力する信号とを加算することによって、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号を得ることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置の駆動方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2014/084608 WO2016103481A1 (ja) | 2014-12-26 | 2014-12-26 | 撮像装置の駆動方法、信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2016103481A1 JPWO2016103481A1 (ja) | 2017-10-05 |
| JP6598797B2 true JP6598797B2 (ja) | 2019-10-30 |
Family
ID=56149566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016565824A Active JP6598797B2 (ja) | 2014-12-26 | 2014-12-26 | 撮像装置の駆動方法、信号処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10462432B2 (ja) |
| EP (1) | EP3240289B1 (ja) |
| JP (1) | JP6598797B2 (ja) |
| CN (1) | CN107113407B (ja) |
| WO (1) | WO2016103481A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102083835B1 (ko) * | 2018-07-27 | 2020-03-03 | 가천대학교 산학협력단 | 딥 러닝 기반 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체 및 딥 러닝 기반 이미지 센싱장치 |
| CN109905681B (zh) * | 2019-02-01 | 2021-07-16 | 华为技术有限公司 | 图像传感器、从其获取图像数据的方法及摄像设备 |
| KR20230046816A (ko) * | 2021-09-30 | 2023-04-06 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7978240B2 (en) * | 2005-10-03 | 2011-07-12 | Konica Minolta Photo Imaging, Inc. | Enhancing image quality imaging unit and image sensor |
| JP4930109B2 (ja) * | 2007-03-06 | 2012-05-16 | ソニー株式会社 | 固体撮像装置、撮像装置 |
| JP4951440B2 (ja) * | 2007-08-10 | 2012-06-13 | 富士フイルム株式会社 | 撮像装置及び固体撮像素子の駆動方法 |
| JP4598162B2 (ja) * | 2009-02-05 | 2010-12-15 | パナソニック株式会社 | 撮像処理装置 |
| JP5152114B2 (ja) * | 2009-06-30 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム |
| US8593483B2 (en) * | 2009-10-20 | 2013-11-26 | Apple Inc. | Temporal filtering techniques for image signal processing |
| JP2012188608A (ja) | 2011-03-14 | 2012-10-04 | Toyo Ink Sc Holdings Co Ltd | 平版印刷インキおよびその印刷物 |
| EP2833635B1 (en) * | 2012-03-27 | 2018-11-07 | Sony Corporation | Image processing device, image-capturing element, image processing method, and program |
| CN104412580B (zh) * | 2012-07-06 | 2016-04-06 | 富士胶片株式会社 | 彩色摄像元件以及摄像装置 |
| JP5991932B2 (ja) * | 2013-02-08 | 2016-09-14 | 三菱電機株式会社 | 撮像装置 |
-
2014
- 2014-12-26 EP EP14909085.4A patent/EP3240289B1/en active Active
- 2014-12-26 CN CN201480084359.XA patent/CN107113407B/zh active Active
- 2014-12-26 JP JP2016565824A patent/JP6598797B2/ja active Active
- 2014-12-26 WO PCT/JP2014/084608 patent/WO2016103481A1/ja active Application Filing
-
2015
- 2015-12-17 US US14/973,393 patent/US10462432B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US10462432B2 (en) | 2019-10-29 |
| EP3240289B1 (en) | 2021-07-21 |
| JPWO2016103481A1 (ja) | 2017-10-05 |
| WO2016103481A1 (ja) | 2016-06-30 |
| US20160191866A1 (en) | 2016-06-30 |
| CN107113407B (zh) | 2020-02-21 |
| EP3240289A1 (en) | 2017-11-01 |
| EP3240289A4 (en) | 2018-12-05 |
| CN107113407A (zh) | 2017-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5816015B2 (ja) | 固体撮像装置及びカメラモジュール | |
| KR101422096B1 (ko) | 화상 처리장치 및 화상 처리방법 | |
| CN110365961B (zh) | 图像去马赛克装置及方法 | |
| US8988591B2 (en) | Solid-state imaging device, camera module, and focus adjustment method of camera module | |
| JP2013162291A (ja) | カメラモジュール | |
| JP6622481B2 (ja) | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 | |
| JP6027242B2 (ja) | 撮像装置 | |
| US9979876B2 (en) | Imaging apparatus, imaging method, and storage medium | |
| US20090167917A1 (en) | Imaging device | |
| JP6598797B2 (ja) | 撮像装置の駆動方法、信号処理方法 | |
| KR20200110320A (ko) | 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램 | |
| JP5499853B2 (ja) | 電子カメラ | |
| JP6270413B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
| JP5600812B2 (ja) | 撮像装置 | |
| US11032463B2 (en) | Image capture apparatus and control method thereof | |
| JP3905708B2 (ja) | 画像補間装置 | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| KR100894420B1 (ko) | 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법 | |
| JP2016096551A (ja) | 撮像装置 | |
| JP7080688B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
| JP2018050346A (ja) | 撮像装置 | |
| JP6497822B2 (ja) | 撮像装置 | |
| JP5846277B2 (ja) | 撮像装置 | |
| JP2011055337A (ja) | 撮像装置 | |
| JP2006166030A (ja) | 色雑音低減手法およびカラー撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6598797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |