JPWO2013008597A1 - 撮像装置、撮像素子及び感度差補正方法 - Google Patents
撮像装置、撮像素子及び感度差補正方法 Download PDFInfo
- Publication number
- JPWO2013008597A1 JPWO2013008597A1 JP2013523873A JP2013523873A JPWO2013008597A1 JP WO2013008597 A1 JPWO2013008597 A1 JP WO2013008597A1 JP 2013523873 A JP2013523873 A JP 2013523873A JP 2013523873 A JP2013523873 A JP 2013523873A JP WO2013008597 A1 JPWO2013008597 A1 JP WO2013008597A1
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- pattern
- sensitivity
- pixel
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
撮像素子12は、3色以上の各色のカラーフィルタを混在させてI?J個配列した基本配列パターンが水平方向及び垂直方向に繰り返し配置され、前記基本配列パターンの配置の周期(I?J)は、共有構造パターンの配置の周期(2?2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2?2画素上にそれぞれ配置された同一色の2?2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、特性情報記憶部40は、前記同色正方配列パターンに対応した2?2画素の出力値から求められた感度に関する情報を記憶し、制御部50及びデジタル信号処理部22は、特性情報記憶部40に記憶されている前記同色正方配列パターンに対応した2?2画素の情報を用いて、撮像素子12の全ての画素の感度差を補正する。
Description
本発明は、複数の画素で特定の回路素子を共有する構造を有した撮像装置、撮像素子及び感度差補正方法に関する。
CMOS(Complementary Metal Oxide Semiconductor;相補型金属酸化膜半導体)の撮像素子は、低消費電力であり、デジタルカメラ、携帯電話などの各種の携帯型の撮像装置に用いられている。
CMOSの撮像素子では、基板上に必要なトランジスタの数を減らす技術として、複数画素で1つのアンプを共有する技術が広く使われている(特許文献1,2を参照)。
特に、2×2の4画素で1つのアンプを共有する共有構造が、カラーフィルタをベイヤ配列とした場合とのマッチングが良く、また、4画素の中心にアンプを配置して周辺に各画素の読み出しゲートを配置できる関係で、非常に多く使われている。
また、特許文献3には、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列とした撮像素子が開示されている。
しかしながら、図18に示すように、画素92上のカラーフィルタ94をベイヤ配列とし、かつ4つの画素92で1つのアンプ96を共有する構造では、アンプ共有構造に起因して画像の再現性が劣化する問題と、カラーフィルタ配列がベイヤ配列であることに起因して画像の再現性が劣化する問題とが混在しており、確実に感度差を補正して良好な色再現性を確保することは困難であった。
まず、アンプ共有構造では、アンプ96を共有した画素92のアンプ96に対する位置関係に応じて、同色の画素92間でも出力差が生じてしまう。つまり、アンプ96に対する位置が異なる画素92間で、下地のレイアウトの違い等に因り感度がばらつくために、画像の再現性に悪影響を与えるという問題があった。この問題は、画素サイズの微細化に伴って、より顕在化していた。
また、ベイヤ配列では、緑(G)画素を市松模様(チェッカー盤柄)状に配置し、赤(R)、青(B)を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き(色モアレ)が発生するという問題があった。
例えば、図19(A)部分に示すような白黒の縦縞模様(高周波画像)が、図19(B)部分に示すベイヤ配列の撮像素子に入射した場合、これをベイヤの色配列に振り分けて色ごとに比較すると、図19(C)部分から(E)部分に示すように、Rは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、RGB間に濃度差(レベル差)は起きない白黒画像が、色配列と入力周波数によっては色が付いた状態となってしまう。
また、図20(A)部分に示すような斜めの白黒の高周波画像が、図20(B)部分に示すベイヤ配列の撮像素子に入射した場合、これをベイヤの色配列に振り分けて色ごとに比較すると、図20(C)部分から(E)部分に示すように、RとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤ配列では、斜めの高周波画像を正しく再現することができない。
特許文献1、2には、アンプ共有構造に起因した問題については記載されているが、ベイヤ配列に起因した問題については何も記載されておらず、両方の問題を容易に解決可能な構成を示唆する記載もない。また、ベイヤ配列を前提とした感度差の補正については記載されているが、ベイヤ配列以外のカラーフィルタ配列とした場合には実際には応用できない。また、特許文献1はハードウェアの調整手段を開示しているのみであり、特許文献1に記載の構成ではレンズ交換や経時変化や環境変化に対応することが困難である。特許文献2にはベイヤ配列且つ2画素共有を前提した解決手法が記載されているのみである。
また、従来のベイヤ配列では、アンプ共有構造の繰り返し周期(2×2)と、カラーフィルタの基本配列(GB/RG)の繰り返し周期(2×2)とが同じなので、単に4つの位置別に補正すればよいが、特許文献3に記載のように、カラーフィルタの配列をランダム化すると、感度差の補正処理が複雑化するという新たな問題が生じる。また、敢えて複雑な処理を行おうとしても、カラーフィルタの配色のランダム性に因り、色再現性を確実かつ十分に確保することは困難である。さらには、カラーフィルタの配色のランダム性に因り、同時化処理が複雑になるという別の問題もある。
したがって、特許文献1〜3の記載事項を組み合わせることにより、ランダムな色配列のカラーフィルタを備え、同色の画素間で感度差を検出して補正する構成にしてみても、処理負荷の問題が生じる上に、実際には色再現性を十分に確保することも困難であると考えられる。
本発明はこのような事情に鑑みてなされたもので、複数の画素で特定の回路素子を共有する構造に起因した感度差を低負荷且つ高精度で補正するとともに、良好な色再現性を実現することで、高画質の画像を得ることができる撮像装置、撮像素子及び感度差補正方法を提供することを目的とする。
前記目的を達成するために、本発明は、水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、前記撮像素子の複数の画素間の感度差を補正するための情報を記憶する記憶手段と、前記記憶手段に記憶されている情報を用いて前記撮像素子の前記複数の画素間の感度差を補正する感度差補正手段とを備えた撮像装置であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記記憶手段は、前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶し、前記感度差補正手段は、前記記憶手段に記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の感度差を補正する撮像装置を提供する。
即ち、カラーフィルタの基本配列パターンが水平方向及び垂直方向に繰り返し配置された撮像素子を備え、そのカラーフィルタの基本配列パターンには、特定の回路素子を共有した共有構造パターンの2×2画素とマッチングした2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、さらに、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の出力値から求められた情報を記憶する記憶手段と、前記記憶手段に記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の感度差を補正する感度差補正手段を備えたので、複数の画素で特定の回路素子を共有する構造に起因した感度差を低負荷な処理で補正して色再現性を確保することができ、高画質の画像を得ることができる。
一実施形態では、前記同色正方配列パターンに対応した2×2画素の出力値から前記感度に関する情報を検出する検出手段を備え、前記記憶手段は、前記検出手段によって検出された前記感度に関する情報を記憶する。例えば、前記同色正方配列パターンに対応した2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をC[k]としたとき、前記検出手段は、前記撮像素子の前記複数の画素に光が照射された光照射状態で、二つ以上の前記基本配列パターンの各々にて、第1画素の出力値Data(C[1])、第2画素の出力値Data(C[2])、第3画素の出力値Data(C[3])、及び第4画素の出力値Data(C[4])を取得して、前記二つ以上の基本配列パターンにわたり各第k画素群の出力値Data(C[k])の平均値S[k]を感度として算出し、さらに、第1画素群の出力値の平均値S[1]、第2画素群の出力値の平均値S[2]、第3画素群の出力値の平均値S[3]及び第4画素群の出力値の平均値S[4]の比を示す情報を前記感度に関する情報として算出する。即ち、前記検出手段は、前記撮像素子の複数の画素に光が照射された光照射状態で、前記基本配列パターンに対応したI×J画素のうちで少なくとも前記同色正方配列パターンに対応した2×2画素の各画素の出力値を取得し、前記特性の回路素子に対する位置(左上、右上、左下、及び右下)ごとに複数の前記同色正方配列パターンにわたり前記2×2画素の各画素の出力値を平均することで、前記特性の回路素子に対する位置ごとの各画素群(左上画素群、右上画素群、左下画素群、及び右下画素群)の感度を求め、これらの画素群間の感度の比を前記感度に関する情報として前記記憶手段に記憶させる。よって、前記特性の回路素子に対する位置の数(2×2)に対応した情報を記憶するだけで済むので、記憶容量が少なくて済むだけでなく、感度検出処理の負荷が極めて低くなる。
一実施形態では、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、前記開閉手段によって前記撮像素子を遮光状態にして前記検出手段に前記撮像素子の各画素の黒レベルを検出させるとともに、前記開閉手段によって前記撮像素子を光照射状態にして前記検出手段に前記撮像素子の前記光照射状態での各画素の出力値を検出させる制御手段と、を備えた。
一実施形態では、前記制御手段は、撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて前記検出手段に黒レベルを検出させるとともに、前記開閉手段を開くことで前記撮像素子を光照射状態に切り替え且つ前記撮影レンズをデフォーカス状態に設定して、前記検出手段に感度を検出させる。即ち、電源オン時に感度差補正に必要な特性情報を検出するので、撮像素子の経時変化や撮影環境の変化に対応して適切に感度差を補正することができる。
一実施形態では、撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し前記検出手段に感度を検出させるとともに、前記撮像素子を遮光状態にして前記検出手段に黒レベルを検出させる。即ち、電源オフ時に感度差補正に必要な特性情報を検出するので、電源オン時にはタイムラグなく経時変化に対応して感度差を補正することができる。
一実施形態では、撮影指示の入力を受け付ける指示入力手段を備え、前記検出手段は、前記撮影指示に従って前記撮像素子で撮像された撮像画像に基づいて、前記感度を検出する。即ち、通常の撮影時に感度差補正に必要な特性情報を検出するので、撮影時の撮影環境に対応して感度差を補正することができる。
一実施形態では、前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して特性情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体にわたって前記画素の出力値を平均する。即ち、撮像画像に対応した領域の全体にわかって画素の出力値を平均することで感度を検出するので、均一光ではなく被写体光を撮像素子に照射した場合でも感度差を検出することができる。
一実施形態では、前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して特性情報を算出するものであって、前記撮像素子の実効画素領域の全体を複数の分割エリアに分割し、分割エリアごとに画素の出力値を平均する。即ち、分割エリアごとに画素の出力値を平均することで感度を検出するので、撮像素子の回路レイアウトに伴う面内シェーディングにも対応できる。
また、本発明は、水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子であって、前記複数の画素は、2×2画素単位で特定の回路素子を共有し、前記複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在する撮像素子を提供する。
また、本発明は水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶デバイスに予め記憶させておき、前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法、を提供する。
本発明によれば、複数の画素で特定の回路素子を共有する構造に起因した感度差を低負荷且つ高精度で補正するとともに、良好な色再現性を実現することで、高画質の画像を得ることができる。
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
[撮像装置の全体構成]
図1は、本発明に係る撮像装置の一例の全体構成を示すブロック図である。ここで撮像装置とは、カメラ単体に限られず、カメラ付き携帯電話、カメラ付きスマートフォン、カメラ付きタブレット型コンピュータ、カメラ付き音楽プレーヤなどの各種の情報機器や電子機器を含みうる。
図1は、本発明に係る撮像装置の一例の全体構成を示すブロック図である。ここで撮像装置とは、カメラ単体に限られず、カメラ付き携帯電話、カメラ付きスマートフォン、カメラ付きタブレット型コンピュータ、カメラ付き音楽プレーヤなどの各種の情報機器や電子機器を含みうる。
撮像装置100は、入射した被写体光を被写体像として結像する撮影レンズ10と、撮影レンズ10によって結像された被写体像を撮像する撮像素子12と、撮影レンズ10から撮像素子12まで至る被写体光の光路13を開閉することで撮像素子12の遮光状態と光照射状態とを切り替えるメカシャッタ14(開閉手段)と、撮像素子12から出力されたアナログの画像信号に対して所定のアナログ信号処理を行うアナログ信号処理部16と、アナログ信号処理部16から出力された画像信号をアナログからデジタルに変換するAD変換部18と、デジタルの画像信号を一時記憶する画像メモリ20と、画像メモリ20に一時記憶されたデジタルの画像信号に対して所定のデジタル信号処理を行うデジタル信号処理部22と、デジタルの画像信号に対する圧縮処理及び伸張処理を行う圧縮伸張処理部24と、デジタルの画像データの入出力を行う画像入出力部26と、圧縮されたデジタルの画像信号が画像入出力部26を介して撮像画像として記録される記録メディア27と、デジタルの画像信号を撮像画像として表示する表示部28と、各種の指示が入力される指示入力部29と、撮影レンズ10を駆動するドライバ30と、撮像素子12を駆動するドライバ32と、メカシャッタ14を駆動するドライバ34を備える。
撮像素子12は、CMOS(Complementary Metal Oxide Semiconductor)撮像素子によって構成されている。撮像素子12のうちの一部である特定の2×2画素分の構造を図2に模式的に示す。この撮像素子12は、水平方向x及び垂直方向yの二次元で配列された光電変換素子からなる複数の画素62上に、複数のカラーフィルタ64がそれぞれ配置されて構成されている。また、複数の画素62は、2×2画素単位で特定の回路素子としてアンプ66(増幅素子)を共有している。複数のカラーフィルタ64は、図3に示すように、3色以上(本例ではR,G、Bの3色)の各色のカラーフィルタ64を混在させて配列した6×6画素の基本配列パターンBPを、水平方向x及び垂直方向yに繰り返し配置したものである。基本配列パターンBP内には共有構造の2×2画素にそれぞれ対応する2×2個のカラーフィルタであって同一色(本例ではG)の2×2個のカラーフィルタからなる同色正方配列パターンが少なくとも1つ含まれている。この基本配列パターンBPについては、後に詳説する。
撮影レンズ10によって撮像素子12に結像された被写体像は、撮像素子12の画素62を構成している光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部50の指令に従ってドライバ32から与えられる駆動パルスに基づいて、信号電荷の量に応じた電圧信号(画像信号)として撮像素子12から順次読み出される。撮像素子12から読み出される画像信号は、撮像素子12のカラーフィルタ配列に対応したR,G,Bの画像信号である。
撮像素子12から読み出されたアナログの画像信号は、アナログ信号処理部16によってアナログ信号処理を施された後、AD変換部18によってデジタルの画像信号に変換され、画像メモリ20に一時記憶される。この一時記憶されたデジタルの画像信号には、デジタル信号処理部22によって、感度差補正、ホワイトバランス補正、ガンマ補正、輝度信号及び色差信号の生成、輪郭補正、色補正等、各種のデジタル信号処理が施される。このようなデジタル信号処理が施された画像信号は、圧縮伸張処理部24によって、JPEG規格等に準拠した圧縮処理が施された後、画像入出力部26によってメモリカード等の記録メディア27に記録される。また、デジタルの画像信号は、液晶モニタ等の表示部28に表示出力される。
また、撮像装置100は、撮像素子12の実効画素領域の全域にわたる複数の画素間の感度差を補正するための情報(特性情報)を記憶する特性情報記憶部40と、前記特性情報を検出する特性情報検出部42と、撮像装置100の各部を制御する制御部50を備える。特性情報検出部42は、撮像素子12の複数の画素に光が照射された光照射状態で、基本配列パターンBPに対応したI×J画素のうちで少なくとも同色正方配列パターンGPに対応した2×2画素の各画素の出力値を感度として検出する。また、特性情報検出部42は、前記撮像素子の複数の画素が遮光された遮光状態で、基本配列パターンBPに対応したI×J画素のうちで共有構造パターンCPを構成している2×2画素の各画素の出力値を黒レベルとして検出する。
本例の特性情報記憶部40は、不揮発性のメモリによって構成されている。特性情報記憶部40は、感度差補正のための特性情報として、アンプ66を共有することに起因する画素間の感度差を補正するための特性情報であって、図3に示す基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみに関する特性情報を記憶する。
制御部50は、撮像素子12の黒レベル検出及び感度検出の制御を行う。制御部50は、黒レベル検出制御では、メカシャッタ14によって光路13を閉じる(遮蔽する)ことで、撮像素子12を遮光状態にして、特性情報検出部42に撮像素子12の同色正方配列パターンGPに対応した各画素の黒レベルを検出させて、その各画素の黒レベルを特性情報記憶部40に記憶させる。また、制御部50は、感度検出制御では、メカシャッタ14によってを光路13を開く(開放する)ことで、撮像素子12を光照射状態にして、特性情報検出部42に撮像素子12の同色正方配列パターンGPに対応した各画素の感度を検出させて、その各画素の感度を特性情報記憶部40に記憶させる。そして制御部50は、同色正方配列パターンGPに対応した2×2画素の各画素の感度及び黒レベルに基づいて、基本配列パターンBPに対応したI×J画素の各画素に対する補正値を求める。
また、制御部50は、デジタル信号処理部22(感度差補正手段)に、特性情報記憶部40に記憶されている感度差補正のための特性情報を用いて、撮像素子12の実効画素領域の全域にわたり複数の画素間の感度差を補正させる。具体的には、デジタル信号処理部22は、図3に示す基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの特性情報を用いて、撮像素子12の実効画素領域の全域にわたり、基本配列パターンBPに対応したI×J画素の画素間の感度差を補正する。尚、感度差補正の証左は、後に詳説する。
[カラーフィルタの配列の基本構成]
図3は、撮像素子12に設けられているカラーフィルタ64の配列(以下「カラーフィルタ配列」という)の一例を示している。各画素上には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
図3は、撮像素子12に設けられているカラーフィルタ64の配列(以下「カラーフィルタ配列」という)の一例を示している。各画素上には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
尚、図3にて、光電変換素子からなる画素62はカラーフィルタ64で隠れており、アンプ66も本来は同様にカラーフィルタ64で隠れて見えないが、アンプ66の共有構造が判別できるようにアンプ66を透視して描いた。
図3に示すカラーフィルタ配列は、下記の第1〜第3の特徴を有している。
(第1の特徴)
図3に示すカラーフィルタ配列は、3色(R,G,B)の各色のカラーフィルタ64を混在させて正方配列(本例では水平方向に6個、垂直方向に6個)配列した基本配列パターンBP(太枠で示したパターン)を、水平方向x及び垂直方向yに繰り返し配置したものである。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
図3に示すカラーフィルタ配列は、3色(R,G,B)の各色のカラーフィルタ64を混在させて正方配列(本例では水平方向に6個、垂直方向に6個)配列した基本配列パターンBP(太枠で示したパターン)を、水平方向x及び垂直方向yに繰り返し配置したものである。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、撮像素子から読み出されるR、G、B信号の同時化(補間)処理(デモザイク処理とも言う)等を行う際に、繰り返しパターンに従って処理を行うことができる。
(第2の特徴) 基本配列パターンBPの配置の周期(6×6)は、アンプ66及び2×2画素からなる共有構造CPの配置の周期(2×2)と比較して、水平方向x及び垂直方向yのいずれでも3倍である。基本配列パターンBP内にはアンプ共有構造の2×2画素(共有正方配列パターン)にそれぞれ対応する2×2個のカラーフィルタ64であって同一色の2×2個のカラーフィルタ64からなる同色正方配列パターンGPが少なくとも1つ含まれている。即ち、基本配列パターンBP内に、アンプ共有構造の2×2画素に水平方向x及び垂直方向yの両方で位置が一致する2×2個のカラーフィルタ(同色正方配列パターンCPのカラーフィルタ)が含まれている。
このように基本配列パターンBP内に、共有構造の2×2画素に水平方向x及び垂直方向yの両方で位置が一致する同色正方配列パターンGPのカラーフィルタを含んでいるので、アンプ共有構造に起因した感度差を、同色正方配列パターンGPに対応した2×2画素の出力値に基づいて、容易に検出することが可能となる。
[感度差の検出及び補正の原理]
次に、アンプ共有構造に起因した画素間の感度差の検出及び補正の原理について、図4、図5及び図6を用いて説明する。
次に、アンプ共有構造に起因した画素間の感度差の検出及び補正の原理について、図4、図5及び図6を用いて説明する。
図4は、ひとつの基本配列パターンBPを示す。カラーフィルタと画素(光電変換素子)とは一対一で配置されているので、図4は、ひとつの基本配列パターンBPに対応した6×6画素を示しているともいえる。つまり、図中、「G」は緑(G)のカラーフィルタ付きの画素、「R」は赤(R)のカラーフィルタ付きの画素、「B」は青(B)のカラーフィルタ付きの画素として見ることで、主として画素62、カラーフィルタ64及びアンプ66からなる撮像素子12の基本的な構成を容易に理解できる。
また、図中、基本配列パターンBPの左側には垂直方向yにおける配列位置を示す数字1〜6を付し、上側には水平方向xにおける配列位置を示す英字a〜fを付した。符号「G」の画素(a−1、c−1、d−1、b−2、e―2・・・等)は、全て同一色(G)のカラーフィルタ付きであるため、同じ感度及び同じ黒レベルであることが望まれる。同様に、符号「R」の画素(b−1、d−2、f−2、b−3、e―4・・・等)は、全て同一色(R)のカラーフィルタ付きであるため、同じ感度及び同じ黒レベルであることが望まれる。同様に、符号「B」の画素(e−1、a−2、c−2、e−3、b―4・・・等)は、全て同一色(B)のカラーフィルタ付きであるため、同じ感度及び同じ黒レベルであることが望まれる。
しかし、実際の撮像素子12は、図中に破線で示す通り、2×2の4画素で1つのアンプ66を共有する構造であり、アンプ66に対する位置関係(左上、右上、左下、右下)に応じて同一色の画素間(例えばa−1とb−2)で異なる構造(レイアウト)となっているため、同一色の画素間でも微小な特性差が生じる。つまり、本来は同一の出力値となるべき同一色の画素間で微小な出力差(感度差)が生じることに起因して、撮像画像上に周期的なパターンの幾何学的なノイズが発生する場合がある。
このような微小な特性差を補正するひとつの方法として、従来のベイヤ配列のCMOSイメージセンサで行い得るように、全体の画素群をアンプ66に対する位置関係(左上、右上、左下、右下)に応じて4組の画素群(左上画素群、右上画素群、左下画素群、右下画素群)に分けて特性差の検出及び補正を行うことが考えられる。しかし、図3に示したように基本配列パターンBPを繰り返し配置したカラーフィルタ配列では、4組の画素群に分けて特性差の検出及び補正を行うことが困難である。特に、感度差は、4組の画素群に分けて各画素群で平均しても、適切な値を求めることができない。つまり、従来のベイヤ配列では、いずれの共有構造パターンCPに対してもR、G、Bのカラーフィルタの配置及び各色の混在割合が同一であるが、図3のカラーフィルタ配列では、共有構造パターンCPによってR、G、Bのカラーフィルタの配置及び各色の混在割合が異なるため、基本配列パターンBPの配列数と同じ6×6=36組の画素群に分けないと、感度差の適切な検出及び補正を行うことができない。そうすると、必要な特性情報の記憶容量が増えるだけではなく、検出及び補正の処理の負荷が増大してしまうという問題がある。
そこで、本発明では、図2〜図4に示したように、基本配列パターンBP内に、共有構造パターンCPの2×2画素上にそれぞれ配置された2×2個のカラーフィルタ64であって同一色の2×2個のカラーフィルタ64からなる同色正方配列パターンGPが少なくともひとつ存在する構造を採用している。また、同色正方配列パターンGPに対応した4画素(図4のc−2、d−3、c−4、d−4)のみに注目し、これらの4画素に対応する4組の画素群のそれぞれで、感度の平均及び黒レベルの平均を特性情報として算出する。尚「感度差」は、画素間の感度の比(又は差)で表すことができる。
図5は、ひとつの同色正方配列パターンGPに対応したひとつの共有構造パターンGP内におけるアンプ共有画素の感度と黒レベルの一例を示す。図中、4画素(c−3、d−3、c−4、d−4)間の感度差は、特定の位置(c−3)の画素の感度を基準(「100」)とした相対値である。4画素間の黒レベル差も同様に、特定の位置(c−3)の画素の黒レベルを基準(「1024」)とした相対値である。このように同色正方配列パターンGPの4画素の特性情報を注目する。
図6は、撮像素子12の実効画素領域70の全域を示す。実効画素領域70は、撮像素子12の画素62が形成された全領域のうちで画像信号として出力可能且つ感度差補正が保証される領域である。本例では、撮像素子12の有効画素領域(画像信号として出力可能な領域)のうちで、基本配列パターンBPの画素数(水平方向xに画素数I、垂直方向における画素数J)と基本配列パターンBPの繰り返し数(水平方向xの繰り返し数M、垂直方向yの繰り返し数N)とに対応した画素数((I×M)×(J×N)画素)の領域が実効画素領域70である。
実効画素領域70の左上を原点(0,0)とし、mを0から(M−1)までの整数、nを0から(N−1)までの整数とする。また、アンプ66の位置を基準に、c−3画素を左上画素(第1画素)、d−3画素を右上画素(第2画素)、c−4画素を左下画素(第3画素)、d−4画素を右下画素(第4画素)とする。そうすると、例えば、左上画素のN×M個(第1画素群)にわたって、感度(光照射状態での画素の出力値)の平均値を算出する。同様に、右上画素のN×M個(第2画素群)にわたって、感度の平均値を算出する。同様に、左下画素のN×M個(第3画素群)にわたって、感度の平均値を算出する。同様に、右下画素のN×M個(第4画素群)にわたって、感度の平均値を算出する。即ち、4つの画素群のそれぞれで、感度の平均値を算出する。
黒レベル(遮光状態での画素の出力値)についても、感度と同様に、4つの画素群のそれぞれで、黒レベルの平均値を算出する。
以上のように、本発明では、各基本配列パターンBP内に、共有構造パターンCPに対応した同一色の2×2個のカラーフィルタからなる同色正方配列パターンGPが少なくともひとつ存在しているので、基本配列パターンBPのうちで同色正方配列パターンGPのみに対応した2×2の4組の画素群に分けて、感度差を精度よく検出及び補正することができる。即ち、アンプ66の共有構造に起因した感度差を、容易、且つ、精度良く、検出及び補正することができる。
[感度差の検出及び補正の基本的な具体例]
次に、共有構造に起因した感度差の検出及び補正の基本的な例について、説明する。
次に、共有構造に起因した感度差の検出及び補正の基本的な例について、説明する。
図6に示した撮像素子12の実効画素領域70において、水平方向をx、垂直方向をyとして、左上を原点(0,0)とする。また、基本配列パターンBP(I×J個のカラーフィルタからなる)の水平方向xにおける繰り返し数をM、垂直方向yにおける繰り返し数をNとし、M×N個の基本配列パターンBPのうちの各基本配列パターンBPを示す指標をm、n(mは0からM−1までの整数、nは0からN−1までの整数)とする。また、基本配列パターンBPの左上座標(I×m,I×n)を基準とした同色正方配列パターンGPの左上画素(基準画素)の相対座標を(a,b)とする。そうすると、各基本配列パターンBP内の同色正方配列パターンGPに対応したアンプ共有の同色2×2画素における第k画素(kは1から4までの整数)の座標位置C[k]は、次式で表される。
第1画素(左上画素)の座標C[1]=(I×m+a、J×n+b)
第2画素(右上画素)の座標C[2]=(I×m+a+1,J×n+b)
第3画素(左下画素)の座標C[3]=(I×m+a,J×n+b+1)
第4画素(右下画素)の座標C[4]=(I×m+a+1,J×n+b+1)
図4の基本配列パターンBPでは、I=J=6、a=b=2であるから、第k画素の座標位置C[k]は、実際には次式となる。
第2画素(右上画素)の座標C[2]=(I×m+a+1,J×n+b)
第3画素(左下画素)の座標C[3]=(I×m+a,J×n+b+1)
第4画素(右下画素)の座標C[4]=(I×m+a+1,J×n+b+1)
図4の基本配列パターンBPでは、I=J=6、a=b=2であるから、第k画素の座標位置C[k]は、実際には次式となる。
第1画素(左上画素)の座標C[1]=(6×m+2,6×n+2)
第2画素(右上画素)の座標C[2]=(6×m+3,6×n+2)
第3画素(左下画素)の座標C[3]=(6×m+2,6×n+3)
第4画素(右下画素)の座標C[4]=(6×m+3,6×n+3)
次に、特性情報検出部42による感度検出の一例を説明する。
第2画素(右上画素)の座標C[2]=(6×m+3,6×n+2)
第3画素(左下画素)の座標C[3]=(6×m+2,6×n+3)
第4画素(右下画素)の座標C[4]=(6×m+3,6×n+3)
次に、特性情報検出部42による感度検出の一例を説明する。
撮像素子12の少なくとも実効画素領域70に均一な光を照射した状態(光照射状態)における第k画素の出力値をData(C[k])とする。
特性情報検出部42は、光照射状態で、M×Nの基本配列パターンBPのうちで少なくとも二つ以上の基本配列パターンの各々にて、第1画素の出力値Data(C[1])、第2画素の出力値Data(C[2])、第3画素の出力値Data(C[3])、及び第4画素の出力値Data(C[4])を画像メモリ20から取得し、前記二つ以上の基本配列パターンBPにわたる各第k画素群の出力値Data(C[k])の平均値S[k]を感度として算出する。
例えばM×N個の基本配列パターンBPで平均した場合の感度S[k]は次の通り。
第1画素群の感度S[1]=ΣData(6×m+2,6×n+2)/(M×N)
第2画素群の感度S[2]=ΣData(6×m+3,6×n+2)/(M×N)
第3画素群の感度S[3]=ΣData(6×m+2,6×n+3)/(M×N)
第4画素群の感度S[4]=ΣData(6×m+3,6×n+3)/(M×N)
ここで、Σは、mを0からM−1まで、nを0からN−1まで、それぞれ変化させて、出力値Data(x,y)を積算することを示す。尚、M×N個で出力値を平均した場合を例に説明したが、M×N個の全ての出力値を平均しなくてもよい。
第2画素群の感度S[2]=ΣData(6×m+3,6×n+2)/(M×N)
第3画素群の感度S[3]=ΣData(6×m+2,6×n+3)/(M×N)
第4画素群の感度S[4]=ΣData(6×m+3,6×n+3)/(M×N)
ここで、Σは、mを0からM−1まで、nを0からN−1まで、それぞれ変化させて、出力値Data(x,y)を積算することを示す。尚、M×N個で出力値を平均した場合を例に説明したが、M×N個の全ての出力値を平均しなくてもよい。
このようにして、特性情報検出部42は、前記撮像素子の複数の画素に光が照射された光照射状態で、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素の各画素の出力値の平均値を感度として検出する。
また、特性情報検出部42は、感度S[1]〜S[4]のうちから最大値Smaxを抽出し、共有構造パターンCPを構成している2×2画素の各々の出力値Data(CC[k])に対応する補正ゲインGain[k]=Smax/S[k]を算出する。補正ゲインはGain[k]は、次式の通り。
第1画素の補正ゲインGain[1]=Smax/S[1]
第2画素の補正ゲインGain[2]=Smax/S[2]
第3画素の補正ゲインGain[3]=Smax/S[3]
第4画素の補正ゲインGain[4]=Smax/S[4]
尚、図6の撮像素子12の実効画素領域70における共有構造パターンCPの水平方向xにおける繰り返し数をG、垂直方向yにおける繰り返し数をHとし、共有構造パターンCPのG×H個のうちの各共有構造パターンCPを示す指標をg、h(gは0からG−1までの整数、hは0からH−1までの整数)とする。各共有構造パターンCPを構成している2×2画素における第k画素(kは1から4までの整数)の座標CC[k]は、次式の通りである。
第2画素の補正ゲインGain[2]=Smax/S[2]
第3画素の補正ゲインGain[3]=Smax/S[3]
第4画素の補正ゲインGain[4]=Smax/S[4]
尚、図6の撮像素子12の実効画素領域70における共有構造パターンCPの水平方向xにおける繰り返し数をG、垂直方向yにおける繰り返し数をHとし、共有構造パターンCPのG×H個のうちの各共有構造パターンCPを示す指標をg、h(gは0からG−1までの整数、hは0からH−1までの整数)とする。各共有構造パターンCPを構成している2×2画素における第k画素(kは1から4までの整数)の座標CC[k]は、次式の通りである。
第1画素(左上画素)の座標CC[1]=(2×g,2×h)
第2画素(右上画素)の座標CC[2]=(2×g+1,2×h)
第3画素(左下画素)の座標CC[3]=(2×g,2×h+1)
第4画素(右下画素)の座標CC[4]=(2×g+1,2×h+1)
このようにして、特性情報検出部42は、均一光照射時の基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの出力値に基づいて、撮影時の実効画素領域70の全域における各画素の出力値Data(x,y)を補正するための補正ゲインGain[1]〜[4]を算出する。
第2画素(右上画素)の座標CC[2]=(2×g+1,2×h)
第3画素(左下画素)の座標CC[3]=(2×g,2×h+1)
第4画素(右下画素)の座標CC[4]=(2×g+1,2×h+1)
このようにして、特性情報検出部42は、均一光照射時の基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの出力値に基づいて、撮影時の実効画素領域70の全域における各画素の出力値Data(x,y)を補正するための補正ゲインGain[1]〜[4]を算出する。
次に、特性情報検出部42による黒レベル検出の一例を説明する。
図6に示す実効画素領域70において、共有構造パターンCPの水平方向xにおける繰り返し数をG、垂直方向yにおける繰り返し数をHとし、共有構造パターンCPのG×H個のうちの各共有構造パターンを示す指標をg、h(gは0からG−1までの整数、hは0からH−1までの整数)とし、撮像素子12を遮光状態にしたときの各共有構造パターンCPにおける第k画素の出力値をBData(CC[k])とする。
特性情報検出部42は、撮像素子12の少なくとも実効画素領域70が遮光された遮光状態で、G×H個の共有構造パターンCPのうちで二つ以上の共有構造パターンCPの各々にて、第1画素の出力値BData(CC[1])、第2画素の出力値BData(CC[2])、第3画素の出力値BData(CC[3])、及び第4画素の出力値BData(CC[4])を取得し、前記二つ以上の共有構造パターンCPにわたる各第k画素群の出力値の平均値B[k]を算出する。例えばG×H個の共有構造パターンCPで平均した場合の平均値B[k]は次の通り。
第1画素群の平均値B[1]=ΣK(2×g+2,2×h+2)/(G×H)
第2画素群の平均値B[2]=ΣK(2×g+3,2×h+2)/(G×H)
第3画素群の平均値B[3]=ΣK(2×g+2,2×h+3)/(G×H)
第4画素群の平均値B[4]=ΣK(2×g+3,2×h+3)/(G×H)
ここで、Σは、gを0からG−1まで、hを0からH−1まで、それぞれ変化させて、出力値BData(x,y)を積算することを示す。尚、G×H個で黒レベルを平均した場合を例に説明したが、G×H個の全ての黒レベルを平均しなくてもよい。
第2画素群の平均値B[2]=ΣK(2×g+3,2×h+2)/(G×H)
第3画素群の平均値B[3]=ΣK(2×g+2,2×h+3)/(G×H)
第4画素群の平均値B[4]=ΣK(2×g+3,2×h+3)/(G×H)
ここで、Σは、gを0からG−1まで、hを0からH−1まで、それぞれ変化させて、出力値BData(x,y)を積算することを示す。尚、G×H個で黒レベルを平均した場合を例に説明したが、G×H個の全ての黒レベルを平均しなくてもよい。
このようにして、特性情報検出部42は、撮像素子12の少なくとも実効画素領域70が遮光された遮光状態で、基本配列パターンBPに対応したI×J画素のうちで共有構造パターンCPを構成している2×2画素の各画素の出力値の平均値を黒レベルとして検出する。
次に、制御部50及びデジタル信号処理部22による感度差補正の一例を説明する。
制御部50は、デジタル信号処理部22に、Data’(CC[k])=Data(CC[k])−B[k]×Gain[k]を演算させる。
ここで、kは1〜4の整数であり、Data(CC[k])は実効画素領域70における各共有構造パターンCP内の第k画素の補正前の出力値であり、Data’(CC[k])は実効画素領域70における各共有構造パターンCP内の第k画素の補正後の出力値である。
このように制御部50は、デジタル信号処理部22に、同色正方配列パターンGPに対応した2×2画素のみの特性情報を用いて、実効画素領域70の全域における基本配列パターンBPごとに各基本配列パターンBPに対応したI×J画素の画素間の感度差を補正させる。
[予め特性情報を記憶しておく場合の感度差補正処理例]
図7は、感度差補正処理の実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
図7は、感度差補正処理の実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
尚、撮像素子12の同色正方配列パターンGPに対応した同色2×2画素のみの感度差を示す特性情報(補正ゲインGain[k]及び黒レベルの平均値B[k])は、予め特性情報記憶部40に記憶されているものとする。
ステップS2〜S6の感度差補正処理は、いずれのときに行ってもよい。例えば、指示入力部29に撮影指示が入力されたときの撮影処理内で行ってもよいし、記録メディア27に記憶された撮像画像を読み出して行ってもよい。
まず、特性情報記憶部40から黒レベルの平均値B[k]を取得する(ステップS2)。ここで、kは1〜4の整数である。即ち、B[k]は、同色正方配列パターンGPに対応した2×2画素の各画素(第k画素)の黒レベルを示す数値であり、本例では複数の基本配列パターンBPにわたる黒レベルの平均値(第k画素群の黒レベルの平均値)である。
次に、特性情報記憶部40から補正ゲインGain[k]を取得する(ステップS4)。ここで、kは1〜4の整数である。即ち、Gain[k]は、同色正方配列パターンGPに対応した2×2画素の画素間の感度差を示す数値であるとともに、撮像素子12の実効画素領域の全域における各基本配列パターンBP内の各共有構造パターンCPの画素間の感度差を補正するための補正係数である。
次に、補正ゲインGain[k]及び黒レベルの平均値B[k]を用いて、撮像素子12の実効画素領域の全域における各画素の出力値Data(x,y)を補正する。ここで、kは1〜4の整数であり、(x、y)は図6に示した撮像素子12の実効画素領域の全域における画素のxy座標である。
このように本実施例では、予め補正ゲインGain[k]及び黒レベルの平均値B[k]を測定及び記憶しておくことで、感度差補正時における処理時間を短縮できるとともに、感度差補正処理を簡素化できる。さらに、予め好ましい測定環境で正確に測定しておくことが可能なので補正精度を高めることができる。
[特性検出処理の第1実施例]
図8は、特性検出処理の第1実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
図8は、特性検出処理の第1実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
撮像装置100の電源がオンされたか否かの判定を行い(ステップS12)、電源がオンされたときには、特性検出処理(ステップS14〜22)を実行する。
尚、メカシャッタ14は既に閉じられており、撮像素子12は遮光状態であるものとする。
メカシャッタ14を閉じて撮像素子12を遮光状態にし、撮像(遮光撮影)を行い(ステップS14)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を黒レベルとして検出し、複数の基本配列パターンBPにわたる黒レベルの平均値B[k]算出して、特性情報記憶部40に記憶させる(ステップS16)。
メカシャッタ14を開いて撮像素子12を光照射状態にし(ステップS18)、且つ撮影レンズ10をデフォーカス状態にして撮像(デフォーカス露光撮影)を行い(ステップS20)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を検出し、補正ゲインG[k]を算出して特性情報記憶部40に記憶させる(ステップS22)。
尚、指示入力部29に撮影指示が入力されたときには、図7を用いて説明したように、特性情報記憶部40に記憶されている情報(B[k]及びGain[k])を用いて、基本配列パターンBPごとに基本配列パターンBPに対応したI×J画素の画素間の感度差を補正する。
このように特性検出処理の第1実施例では、撮像装置100の電源オンごとに、補正ゲインGain[k]及び黒レベルの平均値B[k]を測定して記憶して事で、特性の経時変化や撮影環境(温度や撮影時のレンズ)に合致した情報を得ることができる。
[特性検出処理の第2実施例]
図9は、特性検出処理の第2実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
図9は、特性検出処理の第2実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
電源オフスイッチONか否かの判定、即ち撮像装置100の指示入力部29に電源オフ指示が入力されたか否かの判定を行い(ステップS42)。電源オフ指示が入力されたときには、特性検出処理(ステップS14〜54)を実行する。
尚、メカシャッタ14は既に開かれており、撮像素子12は光照射状態であるものとする。
撮影レンズ10をデフォーカス状態にして撮像(デフォーカス露光撮影)を行い(ステップS44)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を検出し、補正ゲインG[k]を算出して特性情報記憶部40に記憶させる(ステップS46)。
メカシャッタ14を閉じて撮像素子12を遮光状態にし(ステップS48)、撮像(遮光撮影)を行い(ステップS50)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を黒レベルとして検出し、複数の基本配列パターンBPにわたる黒レベルの平均値B[k]算出して、特性情報記憶部40に記憶させる(ステップS52)。その後、撮像装置100の電源をオフする(ステップS54)。
このように特性検出処理の第2実施例では、撮像装置100の電源オフ時に、黒レベルの平均値B[k]及び補正ゲインGain[k]を検出して記憶デバイスに記憶させる。
その後、撮像装置100の電源がオンされて指示入力部29に撮影指示が入力されたときには、図7を用いて説明したように、特性情報記憶部40に記憶されている情報(B[k]及びGain[k])を用いて、基本配列パターンBPごとに基本配列パターンBPに対応したI×J画素の画素間の感度差を補正する。
特性検出処理の第2実施例では、撮像装置100の電源オフごとに、補正ゲインGain[k]及び黒レベルの平均値B[k]を測定しておくので、第1実施例のように電源オンごとに測定する場合と比較して、電源オンから撮影可能となるまでの時間の増加を無くすことができる。
[通常撮影時に特性検出処理及び感度差補正処理を行う実施例]
図10は、通常撮影時に特性検出処理及び感度差補正処理を行う実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
図10は、通常撮影時に特性検出処理及び感度差補正処理を行う実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
尚、撮像装置100は既に電源オンされており、且つ、メカシャッタ14は既に閉じられている(撮像素子12は遮光状態である)ものとする。
撮影ボタンが入力されたか否かの判定、即ち撮影指示が入力されたか否かの判定を行い(ステップS62)、撮影指示が入力されたときには、特性検出処理(ステップS64〜68)を実行する。
撮影レンズが被写体にフォーカスした状態の撮像(フォーカス露光撮影)を行い(ステップS64)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を検出し、補正ゲインG[k]を算出して特性情報記憶部40に記憶させる(ステップS66)。
黒レベルの平均値B[k]は特性情報記憶部40から取得する(ステップS68)。
出力値Data(x、y)を補正する(ステップS70)。
尚、図10を用いて撮影指示が入力されたときに特性検出処理を行う例を説明したが、撮影指示に限らず、ユーザからの指示に応じて、特性検出を行うようにしてもよい。
[特性情報の検出領域]
次に、特性情報の検出領域について説明する。
次に、特性情報の検出領域について説明する。
まず、画面全体の平均値を用いて補正ゲインを算出する場合について、説明する。
特性情報検出部42は、同色正方配列パターンGPに対応した2×2画素の各画素(第k画素)の出力値を、アンプ66に対する位置が同じである複数の画素(第k画素群)で平均して、補正ゲインGain[k]を算出する際に、図11に示すように撮像素子12の実効画素領域70の全体にわたって、画素の出力値を平均する。つまり、光照射状態での第k画素の出力値を実効画素領域70の全体にわたって平均することで感度S[k]を算出し、その感度S[k]を用いて補正ゲインGain[k](=Smax/S[k])を算出する。
次に、画面全体を複数のエリアに分割し、エリアごとに補正ゲインを算出する場合について、説明する。
特性情報検出部42は、同色正方配列パターンGPに対応した2×2画素の各画素(第k画素)の出力値を、アンプ66に対する位置が同じである複数の画素(第k画素群)で平均して補正ゲインGain[k]を算出する際に、図12に示すように撮像素子12の実効画素領域70を複数の分割エリアに分割し、分割エリアごとに、各画素(第k画素)の出力値を平均する。つまり、光照射状態での第k画素の出力値を分割エリアごとに平均することで感度S[k]を算出し、その感度S[k]を用いて補正ゲインGain[k](=Smax/S[k])を算出する。
本例では、分割エリアごとに画素の出力値を平均して、感度差補正のための補正ゲインを求めるため、シェーディングに対応することができる。
[カラーフィルタ配列の各種の実施例]
以下では、カラーフィルタ配列の各種の実施例を詳細に説明する。
以下では、カラーフィルタ配列の各種の実施例を詳細に説明する。
(カラーフィルタ配列の第1実施例)
第1実施例のカラーフィルタ配列を図13に示す。このカラーフィルタ配列は、図3に示したカラーフィルタ配列と同じである。ただし、図13では、図3を用いて既に説明した第1の特徴(各色ごとの水平方向及び垂直方向の周期性)及び第2の特徴(一以上の同色正方配列パターンの存在)以外の特徴を説明するため、(x、y)座標を示す数字を付してある。以下では、第1〜第2の特徴を省略して、第3〜第6の特徴について説明する。
第1実施例のカラーフィルタ配列を図13に示す。このカラーフィルタ配列は、図3に示したカラーフィルタ配列と同じである。ただし、図13では、図3を用いて既に説明した第1の特徴(各色ごとの水平方向及び垂直方向の周期性)及び第2の特徴(一以上の同色正方配列パターンの存在)以外の特徴を説明するため、(x、y)座標を示す数字を付してある。以下では、第1〜第2の特徴を省略して、第3〜第6の特徴について説明する。
第3の特徴について説明する。図13にて、基本配列パターンBPでは、複数色(R、G、B)の各色に注目したとき、各色がそれぞれ基本配列パターンBP内において水平方向x及び垂直方向yの各ラインに1つ以上配置されている。例えば、「G」のカラーフィルタ(以下では単に「G」という)が、基本配列パターンBP内において、水平方向ではx=0〜5の各ラインに1個以上、垂直方向yではy=0〜5の各ラインに1個以上、それぞれ配置されている。同様に、「R」のカラーフィルタ(以下では単に「R」という)が、基本配列パターンBP内において、水平方向xではx=0〜5の各ラインに1個以上、垂直方向yではy=0〜5の各ラインに1個以上、配置されている。同様に、「B」のカラーフィルタ(以下では単に「B」という)が、基本配列パターンBP内において、水平方向xではx=0〜5の各ラインに1個以上、垂直方向yではy=0〜5の各ラインに1個以上、配置されている。このような特徴により、色モワレ(偽色)の発生を抑制することができる。
第4の特徴について説明する。図13にて、複数のカラーフィルタでは、水平方向x及び垂直方向yのそれぞれにおいて、複数色(R、G、B)の各色に注目したとき、同一ライン上に同色のカラーフィルタが2種類以上の配置間隔で配置されているラインが存在する。例えば、y=0の水平ライン(図中で最も上の水平ライン)で「G」に注目したとき、座標(0,0)の「G」と座標(2、0)の「G」との間隔は2画素分、座標(2,0)の「G」と座標(3,0)の「G」との間隔は1画素分である。y=2、3、5の水平ラインも同様である。y=1の水平ライン(図中で上から2番目の水平ライン)で「B」に注目したとき、座標(0,1)の「B」と座標(2,1)の「B」との間隔は2画素分、座標(2,1)の「B」と座標(6,1)の「B」との間隔は4画素分である。同じy=1の水平ラインで「R」に注目したとき、座標(3,1)の「R」と座標(5,1)の「R」との間隔は2画素分、座標(5,1)の「R」と座標(9,1)の「R」との間隔は4画素分である。y=4の水平ラインも同様である。また、垂直方向のラインを各色ごとに見たときも同様である。このようなラインは、水平方向x及び垂直方向yのそれぞれにおいて、少なくとも基本配列パターンBPの繰り返し周期(水平方向xで6、垂直方向で6)以下の間隔で存在する。このような特徴により、周期的なパターンの幾何学的なノイズの発生が抑制される。
第5の特徴について説明する。輝度系画素に対応するGフィルタは、基本配列パターンP内において、水平方向、垂直方向、斜め方向(NE,NW)の各方向に2以上隣接する部分が含まれるように配置されている。
輝度系画素に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
第6の特徴について説明する。図13にて、同色正方配列パターンGPを構成している各カラーフィルタ64を第kの同色フィルタ(kはアンプ66に対する位置を示す1から4の整数)としたとき、第1の同色フィルタ(アンプ66に対して左上の「G」)に隣接する複数のカラーフィルタ(0時の方向から時計回りにBRGGGBRG)と、第2の同色フィルタ(アンプ66に対して右上の「G」)に隣接する複数のカラーフィルタ(3時の方向から時計回りにBRGGGBRG)と、第3の同色フィルタ(アンプ66に対して左下の「G」)に隣接する複数のカラーフィルタ(6時の方向から時計回りにBRGGGBRG)と、第4の同色フィルタ(アンプ66に対して右下の「G」)に隣接する複数のカラーフィルタ(9時の方向から時計回りにBRGGGBRG)とで、色の組み合わせ(RGB)及び各色ごとの数(R2個、G4個、B2個)が同一である。本例において、同一の同色正方配列パターン内では、いずれの同色フィルタに注目しても、隣接するカラーフィルタが時計回りにBRGGGBRGという順序で配列されている。つまり、いずれの同色フィルタも、同様な色配列で隣接するカラーフィルタに囲まれている。
図14は、図13に示した基本配列パターンBPを、3×3画素に4分割した状態に関して示している。図14に示すように基本配列パターンBPでは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。A配列及びB配列では、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、A配列では、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列され、一方、B配列では、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
また、図13に示した基本配列パターンBPは、その基本配列パターンの中心(4つのGフィルタの中心)に対して点対称になっている。また、図14に示すように、基本配列パターン内のA配列及びB配列も、それぞれ中心のGフィルタに対して点対称になっており、かつ上下左右が対称(線対称)になっている。さらに、図13に示すように、撮像素子12のカラーフィルタ配列では、Gフィルタが、カラーフィルタ配列の斜め方向(NE、NW)の各ライン内に配置されており、高周波領域での同時化処理の再現精度をより向上させることができるという特徴を有している。
(カラーフィルタ配列の第2実施例)
図15は、撮像素子のカラーフィルタ配列の第2実施例を示す。
図15は、撮像素子のカラーフィルタ配列の第2実施例を示す。
図15に示すように、このカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターンBP(太枠で示したパターン)を含み、この基本配列パターンBPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、図13に示した第1実施例のカラーフィルタ配列と同様、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている(第1の特徴)。
また、基本配列パターンBP内は、アンプ共有構造の2×2画素に水平方向x及び垂直方向yの両方で位置が一致する2×2個のカラーフィルタ(同色正方配列パターンGPのカラーフィルタ)を含んでいる(第2の特徴)。
ただし、本実施例の基本配列パターンBPは、水平方向x及び垂直方向yにそれぞれ奇数個のカラーフィルタを配置したものである。よって、図16に示すように、同色Gの2×2パターンは、互いに水平方向x及び垂直方向yのそれぞれに奇数画素(本例では1画素)分だけ位置をずらして配置されている。
図17のように、水平方向x及び垂直方向yの両方方向で同色の2×2パターン内の4画素をずらして配置してもよい。即ち、同色の2×2パターン内の4画素が(2n,2m),(2n+1,2m),(2n,2m+1),(2n+1,1m+1)の4種類の位置に来るようにすればよい。言い換えると、2×2の4つの同色カラーフィルタが、アンプ66に対して異なる4つの位置に来ればよい。
このように複数の同色正方配列パターンGPが互いに奇数画素分だけずらして配置されているため、各基本配列パターンBP内に、アンプ66を共有した共有構造パターン(図2のCP)に整合する同色正方配列パターンGPが必ず一つ以上存在するようにすることができる。この同色正方配列パターンGPの各画素の出力値を測定することで、アンプ66に対する画素の位置に起因した特性のばらつきを適切に測定及び補正することができる。
(その他)
上記実施例では、RGBの3原色のカラーフィルタを有する撮像素子について説明したが、本発明は、これに限らず、図に示すように、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタを有する撮像素子にも適用できる。
上記実施例では、RGBの3原色のカラーフィルタを有する撮像素子について説明したが、本発明は、これに限らず、図に示すように、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタを有する撮像素子にも適用できる。
また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタを有する撮像素子にも適用できる。
以上、複数の画素でアンプ(増幅素子)のみを共有した場合を例に説明したが、感度差の原因となる共有構造であれば、他の回路素子の場合でも、本発明を適用できることは、言うまでもない。そのような場合の感度補正も本発明に含まれる。
また、基本配列パターンBPが6×6フィルタ、7×7フィルタの場合のみを図示したが、他のフィルタ数(8×8、9×9、・・・)であってもよいことは、言うまでもない。ただし、同時化処理(デモザイク処理)、動画撮影時の間引き処理等の画像処理の容易さを考えると、I及びJは10以下であることが望ましい。
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
本明細書は、以下の発明を開示している。
発明1:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、前記撮像素子の複数の画素間の感度差を補正するための情報を記憶する記憶手段と、前記記憶手段に記憶されている情報を用いて前記撮像素子の前記複数の画素間の感度差を補正する感度差補正手段とを備えた撮像装置であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記記憶手段は、前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶し、前記感度差補正手段は、前記記憶手段に記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の撮像画像に対応した全体の画素の感度差を補正する撮像装置。
発明2:前記同色正方配列パターンに対応した2×2画素の出力値から前記感度に関する情報を検出する検出手段を備え、前記記憶手段は、前記検出手段によって検出された前記感度に関する情報を記憶する発明1に記載の撮像装置。
発明3:前記同色正方配列パターンに対応した2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をC[k]としたとき、前記検出手段は、前記撮像素子の前記複数の画素に光が照射された光照射状態で、二つ以上の前記基本配列パターンの各々にて、第1画素の出力値Data(C[1])、第2画素の出力値Data(C[2])、第3画素の出力値Data(C[3])、及び第4画素の出力値Data(C[4])を取得して、前記二つ以上の基本配列パターンにわたり各第k画素群の出力値Data(C[k])の平均値S[k]を感度として算出し、さらに、第1画素群の出力値の平均値S[1]、第2画素群の出力値の平均値S[2]、第3画素群の出力値の平均値S[3]及び第4画素群の出力値の平均値S[4]の比を示す情報を前記感度に関する情報として算出する発明2に記載の撮像装置。
発明4:前記検出手段は、前記出力値の平均値S[k](kは1から4までの整数)のうちから最大値Smaxを抽出し、補正ゲインGain[k]=Smax/S[k]を前記感度に関する情報として算出する発明3に記載の撮像装置。
発明5:前記共有構造パターンの2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をCC[k]としたとき、前記検出手段は、前記撮像素子の前記複数の画素が遮光された遮光状態で、二つ以上の前記共有構造パターンの各々にて、第1画素の出力値BData(CC[1])、第2画素の出力値BData(CC[2])、第3画素の出力値BData(CC[3])、及び第4画素の出力値BData(CC[4])を取得して、前記二つ以上の共有構造パターンにわたる各第k画素群の出力値BData[k]の平均値B[k]を算出し、前記記憶手段は、前記検出手段によって得られた平均値B[k]を黒レベルとして記憶する発明2に記載の撮像装置。
発明6:前記各共有構造パターンの2×2画素における補正後の出力値をData’(CC[k])(kは前記特定の回路素子に対する位置を示す1から4までの整数)としたとき、前記感度差補正手段は、Data’(CC[k])=Data(CC[k])−B[k]×Gain[k]を演算する発明5に記載の撮像装置。
発明7:入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、前記開閉手段によって前記撮像素子を遮光状態にして前記検出手段に前記撮像素子の黒レベルB[k]を検出させるとともに、前記開閉手段によって前記撮像素子を光照射状態にして前記検出手段に前記撮像素子の感度S[k]を検出させる制御手段と、を備えた発明5又は6に記載の撮像装置。
発明8:前記制御手段は、撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて前記検出手段に黒レベルB[k]を検出させるとともに、前記開閉手段を開くことで前記撮像素子を光照射状態に切り替え且つ前記撮影レンズをデフォーカス状態に設定して、前記検出手段に感度S[k]を検出させる発明7に記載の撮像装置。
発明9:前記制御手段は、撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し前記検出手段に感度S[k]を検出させるとともに、前記撮像素子を遮光状態にして前記検出手段に黒レベルB[k]を検出させる発明7記載の撮像装置。
発明10:撮影指示の入力を受け付ける指示入力手段を備え、前記検出手段は、前記撮影指示に従って前記撮像素子で撮像された撮像画像に基づいて、前記感度S[k]を検出する発明2から9のいずれか1項に記載の撮像装置。
発明11:前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して、前記感度に関する情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体にわたって前記画素の出力値を平均する発明2から10のいずれか1項に記載の撮像装置。
発明12:前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して、前記感度に関する情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体を複数の分割エリアに分割し、分割エリアごとに画素の出力値を平均する発明2から11のいずれか1項に記載の撮像装置。
発明13:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子であって、前記複数の画素は、2×2画素単位で特定の回路素子を共有し、前記複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在する撮像素子。
発明14:前記同色正方配列パターンを構成している各カラーフィルタを第kの同色フィルタ(kは1から4の整数)としたとき、前記第1の同色フィルタに隣接する複数のカラーフィルタと、前記第2の同色フィルタに隣接する複数のカラーフィルタと、前記第3の同色フィルタに隣接する複数のカラーフィルタと、前記第4の同色フィルタに隣接する複数のカラーフィルタとで、色の組み合わせ及び各色ごとの数が同一である発明13に記載の撮像素子。
発明15:前記複数のカラーフィルタは、前記複数色の各色に注目したとき、それぞれ前記基本配列パターン内において水平方向及び垂直方向の各ラインに1つ以上配置されている発明13又は14に記載の撮像素子。
発明16:前記複数のカラーフィルタは、水平方向及び垂直方向のそれぞれにおいて、前記複数色の各色に注目したとき、同色のカラーフィルタが2種類以上の配置間隔で配列されているラインが存在する発明13から15のいずれか1項に記載の撮像素子。
発明17:前記複数のカラーフィルタのうちで、輝度信号を得るために寄与する特定の色のカラーフィルタは、前記基本配列パターン内において、水平方向、垂直方向、斜め方向の各方向に2以上隣接する部分が含まれるように配置されている発明13から15のいずれか1項に記載の撮像素子。
発明18:前記基本配列パターンは、水平方向におけるカラーフィルタの個数と垂直方向におけるカラーフィルタの個数とが同じである発明13から17のいずれか1項に記載の撮像素子。
発明19:前記基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称に色配列されている発明13から18のいずれか1項に記載の撮像素子。
発明20:緑色をG、赤色をR、青色をBとしたとき、3×3画素に対応する第1の3×3配列であって、中心と四隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置されて左右にBフィルタが配置された第1の3×3配列と、3×3画素に対応する第2の3×3配列であって、中心と四隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置されて左右にRフィルタが配置された第2の3×3配列とが、交互に水平方向及び垂直方向に配列されて構成されている発明13から19のいずれか1項に記載の撮像素子。
発明21:前記基本配列パターンは、水平方向におけるカラーフィルタの個数及び垂直方向におけるカラーフィルタの個数が奇数であって、同一色の2×2個のカラーフィルタからなる2×2配列パターンを複数含み、これらの2×2配列パターンは、互いに水平方向及び垂直方向のそれぞれに奇数画素分だけ位置をずらして配置されている発明13から19のいずれか1項に記載の撮像素子。
発明22:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶デバイスに予め記憶させておき、前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
発明23:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を黒レベルとして検出するとともに、前記開閉手段によって前記撮像素子を光照射状態にし且つ前記撮影レンズをデフォーカス状態にして、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報及び前記黒レベルを記憶デバイスに記憶させ、前記指示入力手段に撮影指示が入力されたとき、前記記憶デバイスに記憶されている情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
発明24:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出するとともに、前記開閉手段によって前記撮像素子を遮光状態にして、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を黒レベルとして検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報及び前記黒レベルを記憶デバイスに記憶させ、前記指示入力手段に撮影指示が入力されたとき、前記記憶デバイスに記憶されている情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
発明25:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記指示入力手段に撮影指示入力が入力されて前記撮像素子によって被写体を撮影したとき、前記撮像素子によって取得された撮影画像に基づいて、前記基本配列パターンに対応したI×J画素のうちで少なくとも前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する特性情報を記憶デバイスに記憶させ、次回の撮影時には、前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の特性情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
10…撮影レンズ、12…撮像素子、13…光路、14…メカシャッタ、22…デジタル信号処理部(感度差補正手段)、40…特性情報記憶部、42…特性情報検出部、50…制御部、62…画素、64…カラーフィルタ、66…アンプ、100…撮像装置
Claims (25)
- 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、前記撮像素子の複数の画素間の感度差を補正するための情報を記憶する記憶手段と、前記記憶手段に記憶されている情報を用いて前記撮像素子の前記複数の画素間の感度差を補正する感度差補正手段とを備えた撮像装置であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記記憶手段は、前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶し、
前記感度差補正手段は、前記記憶手段に記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の撮像画像に対応した全体の画素の感度差を補正する撮像装置。 - 前記同色正方配列パターンに対応した2×2画素の出力値から前記感度に関する情報を検出する検出手段を備え、
前記記憶手段は、前記検出手段によって検出された前記感度に関する情報を記憶する請求項1に記載の撮像装置。 - 前記同色正方配列パターンに対応した2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をC[k]としたとき、
前記検出手段は、前記撮像素子の前記複数の画素に光が照射された光照射状態で、二つ以上の前記基本配列パターンの各々にて、第1画素の出力値Data(C[1])、第2画素の出力値Data(C[2])、第3画素の出力値Data(C[3])、及び第4画素の出力値Data(C[4])を取得して、前記二つ以上の基本配列パターンにわたり各第k画素群の出力値Data(C[k])の平均値S[k]を感度として算出し、さらに、第1画素群の出力値の平均値S[1]、第2画素群の出力値の平均値S[2]、第3画素群の出力値の平均値S[3]及び第4画素群の出力値の平均値S[4]の比を示す情報を前記感度に関する情報として算出する請求項2に記載の撮像装置。 - 前記検出手段は、前記出力値の平均値S[k](kは1から4までの整数)のうちから最大値Smaxを抽出し、補正ゲインGain[k]=Smax/S[k]を前記感度に関する情報として算出する請求項3に記載の撮像装置。
- 前記共有構造パターンの2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をCC[k]としたとき、
前記検出手段は、前記撮像素子の前記複数の画素が遮光された遮光状態で、二つ以上の前記共有構造パターンの各々にて、第1画素の出力値BData(CC[1])、第2画素の出力値BData(CC[2])、第3画素の出力値BData(CC[3])、及び第4画素の出力値BData(CC[4])を取得して、前記二つ以上の共有構造パターンにわたる各第k画素群の出力値BData[k]の平均値B[k]を算出し、
前記記憶手段は、前記検出手段によって得られた平均値B[k]を黒レベルとして記憶する請求項2に記載の撮像装置。 - 前記各共有構造パターンの2×2画素における補正後の出力値をData’(CC[k])(kは前記特定の回路素子に対する位置を示す1から4までの整数)としたとき、
前記感度差補正手段は、Data’(CC[k])=Data(CC[k])−B[k]×Gain[k]を演算する請求項5に記載の撮像装置。 - 入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、前記開閉手段によって前記撮像素子を遮光状態にして前記検出手段に前記撮像素子の黒レベルB[k]を検出させるとともに、前記開閉手段によって前記撮像素子を光照射状態にして前記検出手段に前記撮像素子の感度S[k]を検出させる制御手段と、を備えた請求項5又は6に記載の撮像装置。
- 前記制御手段は、撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて前記検出手段に黒レベルB[k]を検出させるとともに、前記開閉手段を開くことで前記撮像素子を光照射状態に切り替え且つ前記撮影レンズをデフォーカス状態に設定して、前記検出手段に感度S[k]を検出させる請求項7に記載の撮像装置。
- 前記制御手段は、撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し前記検出手段に感度S[k]を検出させるとともに、前記撮像素子を遮光状態にして前記検出手段に黒レベルB[k]を検出させる請求項7に記載の撮像装置。
- 撮影指示の入力を受け付ける指示入力手段を備え、前記検出手段は、前記撮影指示に従って前記撮像素子で撮像された撮像画像に基づいて、前記感度S[k]を検出する請求項2から9のいずれか1項に記載の撮像装置。
- 前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して、前記感度に関する情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体にわたって前記画素の出力値を平均する請求項2から10のいずれか1項に記載の撮像装置。
- 前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して、前記感度に関する情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体を複数の分割エリアに分割し、分割エリアごとに画素の出力値を平均する請求項2から11のいずれか1項に記載の撮像装置。
- 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子であって、
前記複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在する撮像素子。 - 前記同色正方配列パターンを構成している各カラーフィルタを第kの同色フィルタ(kは1から4の整数)としたとき、前記第1の同色フィルタに隣接する複数のカラーフィルタと、前記第2の同色フィルタに隣接する複数のカラーフィルタと、前記第3の同色フィルタに隣接する複数のカラーフィルタと、前記第4の同色フィルタに隣接する複数のカラーフィルタとで、色の組み合わせ及び各色ごとの数が同一である請求項13に記載の撮像素子。
- 前記複数のカラーフィルタは、前記複数色の各色に注目したとき、それぞれ前記基本配列パターン内において水平方向及び垂直方向の各ラインに1つ以上配置されている請求項13又は14に記載の撮像素子。
- 前記複数のカラーフィルタは、水平方向及び垂直方向のそれぞれにおいて、前記複数色の各色に注目したとき、同色のカラーフィルタが2種類以上の配置間隔で配列されているラインが存在する請求項13から15のいずれか1項に記載の撮像素子。
- 前記複数のカラーフィルタのうちで、輝度信号を得るために寄与する特定の色のカラーフィルタは、前記基本配列パターン内において、水平方向、垂直方向、斜め方向の各方向に2以上隣接する部分が含まれるように配置されている請求項13から15のいずれか1項に記載の撮像素子。
- 前記基本配列パターンは、水平方向におけるカラーフィルタの個数と垂直方向におけるカラーフィルタの個数とが同じである請求項13から17のいずれか1項に記載の撮像素子。
- 前記基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称に色配列されている請求項13から18のいずれか1項に記載の撮像素子。
- 緑色をG、赤色をR、青色をBとしたとき、3×3画素に対応する第1の3×3配列であって、中心と四隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置されて左右にBフィルタが配置された第1の3×3配列と、3×3画素に対応する第2の3×3配列であって、中心と四隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置されて左右にRフィルタが配置された第2の3×3配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項13から19のいずれか1項に記載の撮像素子。
- 前記基本配列パターンは、水平方向におけるカラーフィルタの個数及び垂直方向におけるカラーフィルタの個数が奇数であって、同一色の2×2個のカラーフィルタからなる2×2配列パターンを複数含み、これらの2×2配列パターンは、互いに水平方向及び垂直方向のそれぞれに奇数画素分だけ位置をずらして配置されている請求項13から19のいずれか1項に記載の撮像素子。
- 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子の感度差補正方法であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶デバイスに予め記憶させておき、
前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。 - 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を黒レベルとして検出するとともに、前記開閉手段によって前記撮像素子を光照射状態にし且つ前記撮影レンズをデフォーカス状態にして、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報及び前記黒レベルを記憶デバイスに記憶させ、
前記指示入力手段に撮影指示が入力されたとき、前記記憶デバイスに記憶されている情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。 - 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出するとともに、前記開閉手段によって前記撮像素子を遮光状態にして、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を黒レベルとして検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報及び前記黒レベルを記憶デバイスに記憶させ、
前記指示入力手段に撮影指示が入力されたとき、前記記憶デバイスに記憶されている情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。 - 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記撮影指示入力が入力されて前記撮像素子によって被写体を撮影したとき、前記撮像素子によって取得された撮影画像に基づいて、前記基本配列パターンに対応したI×J画素のうちで少なくとも前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する特性情報を記憶デバイスに記憶させ、
次回の撮影時には、前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の特性情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013523873A JP5528627B2 (ja) | 2011-07-13 | 2012-06-21 | 撮像装置、撮像素子及び感度差補正方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011155135 | 2011-07-13 | ||
JP2011155135 | 2011-07-13 | ||
PCT/JP2012/065832 WO2013008597A1 (ja) | 2011-07-13 | 2012-06-21 | 撮像装置、撮像素子及び感度差補正方法 |
JP2013523873A JP5528627B2 (ja) | 2011-07-13 | 2012-06-21 | 撮像装置、撮像素子及び感度差補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5528627B2 JP5528627B2 (ja) | 2014-06-25 |
JPWO2013008597A1 true JPWO2013008597A1 (ja) | 2015-02-23 |
Family
ID=47505895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013523873A Expired - Fee Related JP5528627B2 (ja) | 2011-07-13 | 2012-06-21 | 撮像装置、撮像素子及び感度差補正方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8810697B2 (ja) |
JP (1) | JP5528627B2 (ja) |
CN (1) | CN103650487B (ja) |
WO (1) | WO2013008597A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014007279A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
JP6369233B2 (ja) * | 2014-09-01 | 2018-08-08 | ソニー株式会社 | 固体撮像素子及びその信号処理方法、並びに電子機器 |
JP2018081063A (ja) * | 2016-11-18 | 2018-05-24 | 株式会社東芝 | 位置検出装置、処理装置、およびプログラム |
CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106341670B (zh) | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454288B (zh) | 2016-11-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置、成像装置及电子装置 |
CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106604001B (zh) * | 2016-11-29 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
CN106507068B (zh) | 2016-11-29 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
US10638054B2 (en) | 2017-01-25 | 2020-04-28 | Cista System Corp. | System and method for visible and infrared high dynamic range sensing |
US10444415B2 (en) | 2017-02-14 | 2019-10-15 | Cista System Corp. | Multispectral sensing system and method |
CN111867987B (zh) * | 2018-03-21 | 2023-08-08 | 安克信水技术公司 | 用于废水处理的具有双极性电极的电解池 |
WO2021166450A1 (ja) * | 2020-02-19 | 2021-08-26 | ソニーグループ株式会社 | 画像処理方法、センサ装置 |
KR20220166013A (ko) * | 2021-06-09 | 2022-12-16 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그 동작 방법 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6956605B1 (en) | 1998-08-05 | 2005-10-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
JP3697073B2 (ja) * | 1998-08-05 | 2005-09-21 | キヤノン株式会社 | 撮像装置及びそれを用いた撮像システム |
JP4098438B2 (ja) | 1999-04-15 | 2008-06-11 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
JP2001292453A (ja) * | 2000-04-07 | 2001-10-19 | Canon Inc | カラー撮像装置及びそれを用いた撮像システム |
US6992714B1 (en) | 1999-05-31 | 2006-01-31 | Canon Kabushiki Kaisha | Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement |
JP4492250B2 (ja) | 2004-08-11 | 2010-06-30 | ソニー株式会社 | 固体撮像素子 |
JP4738907B2 (ja) * | 2004-11-19 | 2011-08-03 | 富士フイルム株式会社 | 固体撮像素子および固体撮像装置 |
US20060119724A1 (en) * | 2004-12-02 | 2006-06-08 | Fuji Photo Film Co., Ltd. | Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method |
JP4724414B2 (ja) * | 2004-12-02 | 2011-07-13 | 富士フイルム株式会社 | 撮像装置、デジタルカメラ、及びカラー画像データ生成方法 |
US7643072B2 (en) * | 2005-08-16 | 2010-01-05 | Fujifilm Corporation | Signal processing method for image capturing apparatus, and image capturing apparatus including calculating image transfer efficiency |
JP5584982B2 (ja) * | 2009-02-09 | 2014-09-10 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
JP4661912B2 (ja) * | 2008-07-18 | 2011-03-30 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
US20100230583A1 (en) | 2008-11-06 | 2010-09-16 | Sony Corporation | Solid state image pickup device, method of manufacturing the same, image pickup device, and electronic device |
JP5515606B2 (ja) * | 2009-10-19 | 2014-06-11 | ソニー株式会社 | 固体撮像装置及び電子機器 |
-
2012
- 2012-06-21 WO PCT/JP2012/065832 patent/WO2013008597A1/ja active Application Filing
- 2012-06-21 CN CN201280034640.3A patent/CN103650487B/zh not_active Expired - Fee Related
- 2012-06-21 JP JP2013523873A patent/JP5528627B2/ja not_active Expired - Fee Related
-
2014
- 2014-01-10 US US14/152,315 patent/US8810697B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2013008597A1 (ja) | 2013-01-17 |
JP5528627B2 (ja) | 2014-06-25 |
CN103650487B (zh) | 2015-04-29 |
US8810697B2 (en) | 2014-08-19 |
CN103650487A (zh) | 2014-03-19 |
US20140125850A1 (en) | 2014-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5528627B2 (ja) | 撮像装置、撮像素子及び感度差補正方法 | |
US7570290B2 (en) | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus | |
EP2087725B1 (en) | Improved light sensitivity in image sensors | |
JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5740465B2 (ja) | 撮像装置及び欠陥画素補正方法 | |
US8780239B2 (en) | Image pickup apparatus and signal value correction method | |
US7710483B2 (en) | Solid-state imaging apparatus, driving method thereof, and camera | |
US9159758B2 (en) | Color imaging element and imaging device | |
CN103546701A (zh) | 像素阵列、图像传感器及补偿局部暗电流的方法 | |
JP5608820B2 (ja) | 撮像装置及び合焦制御方法 | |
JP4253634B2 (ja) | デジタルカメラ | |
US20110115954A1 (en) | Sparse color pixel array with pixel substitutes | |
JPWO2014007280A1 (ja) | カラー撮像素子および撮像装置 | |
US8970747B2 (en) | Imaging device | |
JPWO2013100093A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2007318630A (ja) | 画像入力装置、撮像モジュール、及び固体撮像装置 | |
JP5411390B2 (ja) | カラー撮像素子 | |
JP6127368B2 (ja) | 撮像装置 | |
JP5624228B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JPWO2013100096A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5528627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |