JPWO2013100036A1 - カラー撮像素子 - Google Patents

カラー撮像素子 Download PDF

Info

Publication number
JPWO2013100036A1
JPWO2013100036A1 JP2013551782A JP2013551782A JPWO2013100036A1 JP WO2013100036 A1 JPWO2013100036 A1 JP WO2013100036A1 JP 2013551782 A JP2013551782 A JP 2013551782A JP 2013551782 A JP2013551782 A JP 2013551782A JP WO2013100036 A1 JPWO2013100036 A1 JP WO2013100036A1
Authority
JP
Japan
Prior art keywords
color
filter
array
pixels
color filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013551782A
Other languages
English (en)
Other versions
JP5621056B2 (ja
Inventor
智行 河合
智行 河合
林 健吉
健吉 林
田中 誠二
誠二 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013551782A priority Critical patent/JP5621056B2/ja
Application granted granted Critical
Publication of JP5621056B2 publication Critical patent/JP5621056B2/ja
Publication of JPWO2013100036A1 publication Critical patent/JPWO2013100036A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

上下左右に隣接する4つの光電変換素子に対して同じ色のカラーフィルタが配置されており、この同じ色のカラーフィルタが配置された4つの光電変換素子に対しては、1つのマイクロレンズLが配設されている。1つのマイクロレンズLを通過した被写体光が入射する4つの光電変換素子に対して配置された同色のカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、3?3ブロックに対応する正方配列パターンからなる基本配列パターンP1(太枠で示したパターン)を含み、この基本配列パターンP1が水平方向及び垂直方向に繰り返し配置されている。

Description

本発明はカラー撮像素子に係り、特に色モワレの発生の抑圧及び高解像度化が可能なカラー撮像素子に関する。
単板カラー撮像素子の出力画像は、RAW画像(モザイク画像)であるため、欠落している色の画素を、周囲の画素から補間する処理(デモザイキング処理)により多チャネル画像を得ている。
デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理である。
この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
単板カラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
図21の(A)部分に示すような白黒の縦縞模様(高周波画像)が、図21の(B)部分に示すべイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図21の(C)部分から(E)部分に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
同様に、図22の(A)部分に示すような斜めの白黒の高周波画像が、図22の(B)部分に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図22の(C)部分から(E)部分に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。
このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
更に、RGBの3原色のカラー固体撮像素子において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようした色配列が提案されている(特許文献3)。
更にまた、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子が提案されている(特許文献4)。
また、G画素を水平方向及び垂直方向に2画素ずつ並べて4画素配置し、この4画素群に対して1つのオンチップレンズを設けた撮像素子が提案されている(特許文献5)。
特開2000−308080号公報 特開2005−136766号公報 特開平11−285012号公報 特開平8−23543号公報 特開2011−29379号公報
特許文献1に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイキング処理を行う際に、ランダムパターン毎に最適化する必要があり、デモザイキング処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
特許文献2に記載の画像センサは、G画素(輝度画素)が市松状に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
特許文献3に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R、Bそれぞれの画素数の2倍になっている。
一方、特許文献4に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率がベイヤー配列よりも高いが、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
特許文献4に記載の撮像素子は、4画素並べられたG画素と、対角に2画素ずつ配置されたB画素及びR画素の組とが交互に並べられているものであり、偽色の発生の抑圧に対しては有効でない。
本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。
前記目的を達成するために、本発明の一の態様に係るカラー撮像素子は、光電変換素子からなる複数の画素上に、1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、上下左右に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、上下左右に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックからなり、単位ブロックが正方格子状に配列された基本配列パターンを含み、基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第1のフィルタは、カラーフィルタ配列の水平、垂直斜め右上及び斜め右下方向の各ライン内に1つ以上配置され、第2の色の各色に対応する第2のフィルタは、カラーフィルタ配列の水平及び垂直方向の各ライン内に1つ以上配置され、第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい。
本発明の一の態様に係るカラー撮像素子によれば、1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタのうちの所定の1色のカラーフィルタが上下左右に隣接する所定数の光電変換素子に配設され、この上下左右に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックが正方格子状に配列された基本配列パターンを含み、基本配列パターンが水平方向及び垂直方向に繰り返して配置される。
これにより、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
また、第1のフィルタがカラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に1つ以上配置されるようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させることができる。更に、第2のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置される。これにより、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
また、第1のフィルタに対応する第1の色の画素数と第2のフィルタに対応する第2の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率が高い第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性をよくすることができる。
本発明の一の態様に係るカラー撮像素子は、隣接する素子の中心が水平方向及び垂直方向に1/2画素ピッチずつずれた斜め格子状に配列された光電変換素子からなる複数の画素上に、1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、斜め右上及び斜め右下方向に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、斜め右上及び斜め右下方向に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックからなり、単位ブロックが斜め格子状に配列された基本配列パターンを含み、基本配列パターンが斜め右上及び斜め右下方向に繰り返して配置され、第1のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上がり及び斜め右下がり方向の各ライン内に1つ以上配置され、第2の色の各色に対応する第2のフィルタが配置された単位ブロックは、カラーフィルタ配列の斜め右上がり及び斜め右下がり方向の各ライン内に1つ以上配置され、第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい。
本発明の一の態様に係るカラー撮像素子によれば、隣接する素子の中心が水平方向及び垂直方向に1/2画素ピッチずつずれた斜め格子状に配列された光電変換素子のうちの斜め右上及び斜め右下方向に隣接する所定数の光電変換素子には1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタのうちの所定の1色のカラーフィルタが配設され、この斜め右上及び斜め右下方向に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックが斜め格子状に配列された基本配列パターンを含み、基本配列パターンが斜め右上及び斜め右下方向に繰り返して配置される。
これにより、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
また、第1のフィルタがカラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に1つ以上配置されるようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させることができる。更に、第2のフィルタは、基本配列パターン内にカラーフィルタ配列の斜め右上がり及び斜め右下がり方向の各ライン内に1つ以上配置される。これにより、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
また、第1のフィルタに対応する第1の色の画素数と第2のフィルタに対応する第2の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率が高い第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性をよくすることができる。
本発明の他の態様に係るカラー撮像素子において、所定数の光電変換素子は、4×4画素又は9×9画素であることが望ましい。
本発明の他の態様に係るカラー撮像素子において、基本配列パターン内のカラーフィルタ配列は、基本配列パターンの中心に対して点対称であることが望ましい。
これにより、後段に処理回路の回路規模を小さくすることが可能になる。
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、N×N(N:4以上8以下の整数)の単位ブロックであることが望ましい。
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、6×6の単位ブロックであることが望ましい。
本発明の他の態様に係るカラー撮像素子において、カラーフィルタ配列は、3×3の単位ブロックにおいて、第1のフィルタが配置された単位ブロックが中心と4隅に配置されることが望ましい。これにより、第1のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に配置させることができる。
本発明の他の態様に係るカラー撮像素子において、光電変換素子の上方に配設される瞳分割手段を備え、瞳分割手段に入射した光は、瞳分割されてそれぞれ所定数の光電変換素子の受光面に導かれることが望ましい。これにより、所定数と同じ枚数の異なる画像データを取得することができる。
本発明の他の態様に係るカラー撮像素子において、第1の色は、緑(G)色であり、第2の色は、赤(R)色及び青(B)色であることが好ましい。
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、6×6の単位ブロックに対応する正方配列パターンであり、カラーフィルタ配列は、3×3の単位ブロックに対応する第1の配列であって、中心と4隅にGフィルタの単位ブロックが配置され、中心のGフィルタを挟んで上下にBフィルタの単位ブロックが配置され、左右にRフィルタの単位ブロックが配列された第1の配列と、3×3の単位ブロックに対応する第2の配列であって、中心と4隅にGフィルタの単位ブロックが配置され、中心のGフィルタを挟んで上下にRフィルタの単位ブロックが配置され、左右にBフィルタの単位ブロックが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されていることが望ましい。なお、上記のカラー撮像素子を備えた撮像装置も本発明に含まれる。
本発明によれば、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができる。
本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図 第1の実施形態のカラー撮像素子の受光面の構成例を示す図 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを配置した様子を示すとともに、このカラーフィルタ配列に含まれる2×2画素のG画素の画素値から相関方向を判別する方法を示す図 第1の実施形態のカラー撮像素子を用いた撮像装置のブロック図 視差画像の生成について説明するのに使用した図 第1の実施形態の変形例1のカラー撮像素子のカラーフィルタ配列について示す図 第1の実施形態の変形例1のカラー撮像素子の受光面の構成例を示す図 第1の実施形態の変形例2のカラー撮像素子のカラーフィルタ配列について示す図 第1の実施形態の変形例2のカラー撮像素子の受光面の構成例を示す図 第1の実施形態の変形例3のカラー撮像素子の受光面の構成例を示す図 本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第6の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第7の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第8の実施形態を示す図 Rフィルタ(赤フィルタ)、G1フィルタ(第1の緑フィルタ)、G2フィルタ(第2の緑フィルタ)及びBフィルタ(青フィルタ)が配置される受光素子の分光感度特性を示すグラフ Rフィルタ、Gフィルタ、Bフィルタ及びWフィルタ(透明フィルタ)が配置される受光素子の分光感度特性を示すグラフ Rフィルタ、Gフィルタ、Bフィルタ及びエメラルドフィルタE(Eフィルタ)が配置される受光素子の分光感度特性を示すグラフ 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図
以下、添付図面に従って本発明に係るカラー撮像素子の好ましい実施形態について詳説する。
<第1の実施形態>
[撮像デバイス]
図1は本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
このカラー撮像素子1は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子(例えばフォトダイオード)からなる複数の画素(図示せず)と、各画素の受光面上に配置された、図1に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
なお、カラー撮像素子は、CCD(Charge CoupledI)evice)カラー撮像素子に限らず、CMOS(ComplementaryMetal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
図1に示すように、上下左右に隣接する4つの光電変換素子に対して同じ色のカラーフィルタが配置されている。この同じ色のカラーフィルタが配置された4つの光電変換素子に対しては、図2に示すように、1つのマイクロレンズLが配設されている。マイクロレンズLは、4つの光電変換素子の受光面に光束を集光させるが、それぞれ異なる方向で光束が制限された光(瞳分割された光)をそれぞれ4つの光電変換素子に入射させる。すなわち、カラー撮像素子1では、4視点の画像データを取得できる。
このカラー撮像素子1によれば、マイクロレンズLにより瞳分割された光が入射される4つの光電変換素子から出力される出力信号に基づいて、2D画像及び3D画像が生成可能である。なお、2D画像及び3D画像の生成方法については後述する。
[カラーフィルタ配列の特徴]
第1の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)及び(6)を有している。以下、1つのマイクロレンズLを通過した被写体光が入射する4つの光電変換素子に対して配置された同色のカラーフィルタを単位ブロックとして説明する。
〔特徴(1)〕
図1に示すカラーフィルタ配列は、6×6ブロックに対応する正方配列パターンからなる基本配列パターンPl(太枠で示したパターン)を含み、この基本配列パターンPlが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が周期性をもって配列されている。
このようにRフィルタ、Gフィルタ、Bフィルタが周期性をもって配列されているため、カラー撮像素子から読み出されるR、G、B信号のデモザイキング処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
また、基本配列パターンPlの単位で間引き処理して画像を縮小する場合、間引き処理された縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴(2)〕
図1に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に1つ以上配置されている。なお、NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺、短辺の長さに応じてその角度は変わりうる。
輝度系画素に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイキング処理の再現精度を向上させることができる。
〔特徴(3)〕
図1に示すカラーフィルタ配列の基本配列パターンPlは、その基本配列パターンPl内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ32画素(4画素×8ブロック)、80画素(4画素×20ブロック)、32画素(4画素×8ブロック)になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
上記のようにG画素の画素数とR,B画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R,B画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
〔特徴(4)〕
図1に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンPl内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
図3は、図1に示した基本配列パターンPlを、3×3ブロックに4分割した状態に関して示している。
図3に示すように基本配列パターンPlは、実線の枠で囲んだ3×3ブロックのA配列と、破線の枠で囲んだ3×3ブロックのB配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
A配列及びB配列は、それぞれ輝度系画素であるGフィルタが4隅と中央のブロック、すなわち両対角線上に配置されている。また、A配列は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列され、一方、B配列は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
また、A配列とB配列の4隅のGフィルタは、図3に示すようにA配列とB配列とが水平、垂直方向に交互に配置されることにより、2×2ブロックに対応する正方配列のGフィルタとなる。
これは、輝度系画素であるGフィルタが、A配列又はB配列における3×3ブロックにおいて4隅と中央のブロック、すなわち2つの対角線上に配置され、この3×3ブロックが水平方向、垂直方向に交互に配置されることで2×2画素に対応する正方配列のGフィルタが形成されるためである。なお、このような配列とすることで、前述の特徴(1),(2),(3),後述の特徴(5)が満たされる。
〔特徴(5)〕
図1に示すカラーフィルタ配列は、Gフィルタからなる2×2ブロックに対応する正方配列を含んでいる。
図4に示すように、Gフィルタからなる2×2ブロックを取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(右上斜め、左上斜め)のG画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
即ち、このカラーフィルタ配列によれば、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理(デモザイキング処理)に使用することができる。
また、3×3ブロックのA配列又はB配列の画素をデモザイキング処理の対象画素とし、A配列又はB配列を中心に5×5ブロック(モザイク画像の局所領域)を抽出した場合、5×5ブロックの4隅に2×2ブロックのG画素が存在することになる。これらの2×2ブロックのG画素の画素値を使用することにより、4方向の相関方向の判別を最小画素間隔のG画素の情報を使用して精度よく行うことができる。
〔特徴(6)〕
図1に示すカラーフィルタ配列の基本配列パターンPlは対称性を有する。すなわち、基本配列パターンPlは、その基本配列パターンPlの中心に対して点対称になっている。また、基本配列パターンPl内のA配列及びB配列も、それぞれ中心のGフィルタに対して点対称になっている。更に、基本配列パターンPl内のA配列及びB配列は、A配列及びB配列の中心を通る水平方向又は垂直方向の線に対して線対称となっている。
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
図1に示すように太枠で示した基本配列パターンPlにおいて、水平方向の第1から第6のラインのうちの第1及び第3のラインのカラーフィルタ配列は、GBGGRGであり、第2のラインのカラーフィルタ配列は、RGRBGBであり、第4及び第6のラインのカラーフィルタ配列は、GRGGBGであり、第5のラインのカラーフィルタ配列は、BGBRGRとなっている。
いま、図1において、基本配列パターンPlを水平方向、及び垂直方向にそれぞれ1ブロックずつシフトした基本配列パターンをPl’、それぞれ2ブロックずつシフトした基本配列パターンをPl”とすると、これらの基本配列パターンPl’、Pl”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図1に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。
第1の実施形態では、基本配列パターンが点対称になっている基本配列パターンPを、便宜上、基本配列パターンという。
なお、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
[撮像装置]
図4は本発明に係る撮像装置10の実施形態を示すブロック図である。
この撮像装置10は、図1に示したカラー撮像素子(撮像デバイス)1が配設され、2D画像及び3D画像の撮影が可能なもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
撮像装置10には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、立体表示用の液晶モニタ30の表示制御などを行う。
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にONするSlスイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、2D撮影モード、3D撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。
再生ボタンは、撮影記録した複数の視差画像(3D画像)、平面画像(2D画像)の静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。
撮影モード時において、被写体を示す画像光は、単一の撮影光学系(ズームレンズ)12、絞り14を介してカラー撮像素子1の受光面に結像される。撮影光学系12は、CPU40によって制御されるレンズ駆動部36によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り14は、例えば、5枚の絞り羽根からなり、CPU40によって制御される絞り駆動部34によって駆動され、例えば、絞り値Fl.4〜Fllまで1AV刻みで6段階に絞り制御される。
また、CPU40は、絞り駆動部34を介して絞り14を制御するとともに、デバイス制御部32を介してカラー撮像素子1での電荷蓄積時間(シャッタ速度)や、カラー撮像素子1からの画像信号の読み出し制御等を行う。
カラー撮像素子1に蓄積された信号電荷は、デバイス制御部32から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。カラー撮像素子1から読み出された電圧信号は、アナログ信号処理部18に加えられ、ここで各画素ごとのR、G、B信号がサンプリングホールドされ、CPU40から指定されたゲイン(I SO感度に相当)で増幅されたのちA/D変換器20に加えられる。
A/D変換器20は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。
デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイキング処理、YC処理、シャープネス補正等の信号処理を行う。
なお、図4において、46は、カメラ制御プログラム、カラー撮像素子1の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、及び絞り優先プログラム線図、シャッタ速度優先プログラム線図、あるいは被写体の明るさに応じて絞りとシャッタ速度を交互に又は同時に変化させるプログラム線図(通常のプログラム線図)の他に、視差優先用のプログラム線図等が記憶されているROM(EEPROM)である。
視差優先用のプログラム線図は、例えば、F値が5.6(AV=5)の一定の値をとり、撮影EV値が11から16までは撮影EV値に応じてシャッタ速度のみを1/60秒(TV=6)から1/2000(TV=11)まで変化させるように設計されている。また、撮影EV値が11よりも小さくなると(暗くなると)、F値=5.6、シャッタ速度=1/60秒で固定した状態で、撮影EV値が1EV小さくなる毎にI SO感度を100から200,400,800,1600,3200になるように設計されている。なお、上記視差優先用のプログラム線図に限らず、カラー撮像素子1から得られる4視点の視差画像は、絞り開口の大小によりその視差が変化するため、3D撮影モード時には一定の絞り開口よりも小さくならないように制御するようにしてもよい。
デジタル信号処理部24は、2D撮影モードか3D撮影モードかに応じてその撮影モードに応じた画像処理を行うとともに、被写体や撮影条件に応じた画像処理を行う。なお、このデジタル信号処理部24での画像処理の詳細については後述する。
2D撮影モードが選択されている場合には、デジタル信号処理部24で処理された2D画像データがVRAM50に出力され、一方、3D撮影モードが選択されている場合には、デジタル信号処理部24で処理された3D画像データがVRAM50に出力される。VRAM50には、それぞれが1コマ分の画像を表す画像データを記憶するA領域とB領域とが含まれている。VRAM50において1コマ分の画像を表す画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域及びB領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。VRAM50から読み出された画像データはビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ30に出力され、これにより2D/3Dの被写体像(ライブビュー画像)が液晶モニタ30の表示画面上に表示される。
この液晶モニタ30は、立体視画像(左視点画像及び右視点画像)をパララックスバリアによりそれぞれ指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
また、操作部38のシャッタボタンの第1段階の押下(半押し)があると、カラー撮像素子1は、AF動作及びAE動作を開始させ、レンズ駆動部36を介して撮影光学系12内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にA/D変換器20から出力される画像データは、AE検出部44に取り込まれる。
AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影EV値)を算出し、この撮影EV値に基づいて絞り14の絞り値及びカラー撮像素子1の電子シャッタ(シャッタ速度)をプログラム線図に従って決定する。
ここで、プログラム線図とは、被写体の明るさに対応して、絞りの絞り値とシャッタ速度の組み合わせ、又はこれらと撮影感度(I SO感度)の組み合わせからなる撮影(露出)条件が設計されたものであり、プログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。
CPU40は、上記プログラム線図に従って決定した絞り値に基づいて絞り駆動部34を介して絞り14を制御するとともに、決定したシャッタ速度に基づいてデバイス制御部32を介してカラー撮像素子1での電荷蓄積時間を制御する。
AF処理部42は、コントラストAF処理又は位相AF処理を行う部分である。位相差AF処理を行う場合には、例えば、あるブロックで生成される複数の視差画像データのうちのフォーカス検出領域内の画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が0になるように撮影光学系12内のフォーカスレンズを制御することによりAF制御が行われる。また、コントラストAF処理を行う場合には、画像データのうちのフォーカス検出領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。このAF評価値が極大となるように撮影光学系12内のフォーカスレンズを制御することによりAF制御が行われる。
AE動作及びAF動作が終了し、シャッタボタンの第2段階の押下(全押し)があると、その押下に応答してA/D変換器20から出力される画像データが画像入力コントローラ22からメモリ(SDRAM)48に入力し、一時的に記憶される。
メモリ48に一時的に記憶された画像データは、デジタル信号処理部24により適宜読み出される。画像データについて、デモザイキング処理(原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理)、及びYC処理(画像データの輝度データ及び色差データの生成処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びメモリ48に記憶される。
2D撮影モードの場合には、図2に示すように各ブロックの各画素をA、B、C、Dとすると、デジタル信号処理部24は、各ブロック毎にA、B、C及びDの4つの画像データを加算し、1画素分の画像データを生成する。
また、3D撮影モードの場合には、デジタル信号処理部24は、A、B、C、D毎の4枚分の画像データを生成する。次に、デジタル信号処理部24は、図5に示すように、撮像装置10を水平に構えて撮影した場合には、AとCの画像データを加算して左眼表示用画像(左視差画像)を生成するとともに、BとDの画像データを加算して右眼表示用画像(右視差画像)を生成する。一方、撮像装置10を縦に構えて撮影した場合には、AとBの画像データを加算して左眼表示用画像(左視差画像)を生成するとともに、CとDの画像データを加算して右眼表示用画像(右視差画像)を生成する。撮像装置10には、撮像装置10の姿勢(縦横)を検出するセンサが設けられており、3D撮影時の撮像装置10の姿勢に基づいて上記の画素の加算を選択的に行う。これにより、撮像装置10の姿勢に関わらず3次元画像を撮影することができる。なお、撮像装置10を縦に構えて撮影した場合に、AとBの画像データを加算して右眼表示用画像(右視差画像)を生成するとともに、CとDの画像データを加算して左眼表示用画像(左視差画像)を生成するようにしてもよい。カラー撮像素子1のフォトダイオードの配列が正方格子状であることで、視差画像生成時に画像データの加算をしやすくすることができる。したがって、視差画像のノイズを減らすことができる。
その後、デジタル信号処理部24は、画像データについて、デモザイキング処理及びYC処理を含む所定の信号処理を行う。YC処理されたYCデータは、再びメモリ48に記憶される。
上記のようにして生成され、メモリ48に記憶された1枚分のYCデータは、圧縮伸長処理部26に出力され、ここでJPEG(joint photographic experts group)などの所定の圧縮処理が実行されたのち、メディア・コントローラ52を介してメモリカード54に記録される。また、3D撮影モード時に生成され、メモリ48に記憶された2枚分(左右視点分)のYCデータは、それぞれ圧縮伸長処理部26に出力され、ここでJPEG((joint photographic experts group)などの圧縮処理が実行され、更にマルチピクチャファイル(MPファイル:複数の画像が連結された形式のファイル)が生成され、そのMPファイルがメディア・コントローラ52を介してメモリカード54に記録される。
なお、3D撮影モード時には、図5に示したように左右2枚分の視差画像を生成するようにしたが、これに限らず、上下左右の4枚分の視差画像をそのまま記録し、3D再生時に図5に示したように画像を加算して視差画像を出力するようにしてもよい。
<第1の実施形態の変形例1>
第1の実施形態の変形例1は、第1の実施形態に対して単位ブロックの画素数が異なる形態である。
第1の実施形態の変形例1のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列と同様であるため、第1の実施形態の変形例1のカラー撮像素子1−1は、第1の実施形態と同様、特徴(1)、(2)、(3)、(4)、(5)及び(6)を有している。以下、第1の実施形態の変形例1について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違する部分のみ説明する。
[撮像デバイス]
図6に示すように、カラー撮像素子1−1は、CCD、COMS等の撮像デバイスであり、水平方向及び垂直方向に配列(二次元配列)された光電変換素子からなる複数の画素(図示せず)と、各画素の受光面上に配置された、図6に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤(R)、縁(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
図6に示すように、上下左右の9つの光電変換素子に対して同じ色のカラーフィルタが配置されている。この同じ色のカラーフィルタが配置された9つの光電変換素子に対しては、図7に示すように、1つのマイクロレンズL−1が配設されている。マイクロレンズL−1は、9つの光電変換素子の受光面に光束を集光させるが、上下左右の9つの方向別に光束が制限された光(瞳分割された光)をそれぞれ9つの光電変換素子に入射させる。すなわち、カラー撮像素子1−1では、9視点の画像データを取得できる。図7に示すように各ブロックの各画素をA、B、C、D、E、F、G、H、Iとすると、中央の画素Eは撮像装置10−1(図示せず)正面からの光束が入射される画素であり、A、B、C、D、F、G、H、Iは撮像装置10−1正面以外からの光束が入射される。
このカラー撮像素子1−1によれば、マイクロレンズLにより瞳分割された光が入射される9つの光電変換素子から出力される出力信号に基づいて、2D画像及び3D画像が生成可能である。
[撮像装置]
2D撮影モードの場合には、デジタル信号処理部24−1(図示せず)は、各ブロックのE画素の画像データのみを用いて1画素分の画像データを生成する。なお、各ブロック毎にA、B、C、D、E、F、G、H及びIの9つの画像データを加算し、1画素分の画像データを生成するようにしてもよい。
また、3D撮影モードの場合には、デジタル信号処理部24−1は、A、B、C、D、E、F、G、H、I毎の9枚分の画像データを生成する。デジタル信号処理部24−1は、撮像装置10−1(図示せず)を水平に構えて撮影した場合には、A、D、及びGの画像データを加算して左眼表示用画像(左視差画像)を生成するとともに、C、F及びIの画像データを加算して右眼表示用画像(右視差画像)を生成する。一方、撮像装置10−1を縦に構えて撮影した場合には、A、B及びCの画像データを加算して左眼表示用画像(左視差画像)を生成するとともに、G、H及びIの画像データを加算して右眼表示用画像(右視差画像)を生成する。なお、撮像装置10−1を縦に構えて撮影した場合には、A、B及びCの画像データを加算して右眼表示用画像(右視差画像)を生成するとともに、G、H及びIの画像データを加算して左眼表示用画像(左視差画像)を生成するようにしてもよい。
なお、単位ブロックの画素数は4や9に限られず、様々な形態を用いることができる。
<第1の実施形態の変形例2>
第1の実施形態の変形例2は、第1の実施形態に対してフォトダイオードの並び方が異なる形態である。
第1の実施形態の変形例1のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列と同様であるため、第1の実施形態の変形例2のカラー撮像素子1−2は、第1の実施形態と同様、特徴(1)、(2)、(3)、(4)、(5)及び(6)を有している。以下、第1の実施形態の変形例2について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違する部分のみ説明する。
[撮像デバイス]
図8に示すように、カラー撮像素子1−2は、複数の光電変換素子が斜め格子状に配列されている。すなわち、隣接する光電変換素子の中心は、水平方向及び垂直方向に1/2画素ピッチずつずれて配置される。このように、カラー撮像素子1−2は、図1に示すカラー撮像素子1を45°回転させたものに対応する。
カラー撮像素子1−2は、図8に示すように、斜め右上及び斜め右下方向に隣接する4つの光電変換素子に対して同じ色のカラーフィルタが配置されている。この同じ色のカラーフィルタが配置された4つの光電変換素子に対しては、図9に示すように、1つのマイクロレンズLが配設されている。本実施の形態では、この4つの光電変換素子に対して配置された同色のカラーフィルタを単位ブロックとして説明する。
マイクロレンズL−2は、4つの光電変換素子の受光面に光束を集光させるが、上下左右の4つの方向別に光束が制限された光(瞳分割された光)をそれぞれ4つの光電変換素子に入射させる。すなわち、カラー撮像素子1−2では、4視点の画像データを取得できる。
このカラー撮像素子1−2によれば、マイクロレンズLにより瞳分割された光が入射される4つの光電変換素子から出力される出力信号に基づいて、2D画像及び3D画像が生成可能である。なお、2D画像及び3D画像の生成方法については後述する。
[カラーフィルタ配列の特徴]
〔特徴(1)〕
図8に示すカラーフィルタ配列は、6×6ブロックに対応する斜め格子配列パターンからなる基本配列パターンPl−2(太枠で示したパターン)を含み、この基本配列パターンPl−2が、斜め格子状に繰り返し配置されている。
〔特徴(2)〕
図8に示すカラーフィルタ配列は、図1に示す第1の実施形態のカラーフィルタ配列を45°回転させたものに対応するが、第1の実施形態のカラーフィルタ配列と同様に、図8に示すカラーフィルタ配列は、Gフィルタがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図8に示すカラーフィルタ配列の基本配列パターンP1−2は、その基本配列パターンP1−2内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ32画素(4画素×8ブロック)、80画素(4画素×20ブロック)、32画素(4画素×8ブロック)になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
上記のようにG画素の画素数とR,B画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R,B画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
〔特徴(4)〕
図1に示す第1の実施形態のカラーフィルタ配列は、Rフィルタ、Bフィルタが、基本配列パターンPl内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されているが、図8に示すように第1の実施形態の変形例2のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列を45°回転させたものに対応するため、Rフィルタ、Bフィルタは、基本配列パターンPl−2内においてカラーフィルタ配列の斜め(NE,NW)方向の各ライン内に1つ以上配置されることになる。
〔特徴(5)〕
A配列とB配列の4隅のGフィルタは、A配列とB配列とが斜め格子状に互い違いに配置されることにより、2×2ブロックに対応する斜め格子配列(4画素が上下左右に隣接した十字状の配列)のGフィルタとなる。
これは、輝度系画素であるGフィルタが、A配列又はB配列における3×3ブロックにおいて4隅と中央に配置され、この3×3画素が斜め格子状に配置されることで2×2ブロックに対応する斜め格子配列のGフィルタが形成されるためである。
〔特徴(6)〕
図8に示すカラーフィルタ配列の基本配列パターンP1−2は対称性を有する。すなわち、基本配列パターンP1−2は、その基本配列パターンP1−2の中心に対して点対称になっている。また、基本配列パターンP1−2内のA配列及びB配列も、それぞれ中心のGフィルタに対して点対称になっている。更に、基本配列パターンP1−2内のA配列及びB配列は、A配列及びB配列の中心を通るNE方向又はNW方向の線に対して線対称となっている。
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
このように第1の実施形態の変形例2のカラー撮像素子1−2は、第1の実施形態のカラー撮像素子1を45°回転させたものに対応するため、正方格子状に配列されたカラー撮像素子1と比較して水平及び垂直方向の再現可能な帯域が√2倍となり、人間の視覚の周波数特性が、斜め方向に比べて水平及び垂直方向に高いという特性に合致しており、視覚的に有利な構造であるといえる。
[撮像装置]
デジタル信号処理部24−2(図示せず)は、2D撮影モードの場合には、各ブロック毎にA、B、C、及びDの4つの画像データを加算し、1画素分の画像データを生成する。
また、3D撮影モードの場合には、デジタル信号処理部24−2は、A、B、C、D毎の4枚分の画像データを生成する。デジタル信号処理部24−2は、撮像装置10−2(図示せず)を水平に構えて撮影した場合には、Bの画像データから左眼表示用画像(左視差画像)を生成するとともに、Cの画像データから右眼表示用画像(右視差画像)を生成する。一方、撮像装置10を縦に構えて撮影した場合には、Aの画像データから左眼表示用画像(左視差画像)を生成するとともに、Dの画像データから着眼表示用画像(右視差画像)を生成する。なお、撮像装置10を縦に構えて撮影した場合には、Dの画像データから左眼表示用画像(左視差画像)を生成するとともに、Aの画像データから右眼表示用画像(右視差画像)を生成するようにしてもよい。
第1の実施形態の変形例2のカラー撮像素子1−2は、隣接する光電変換素子の中心が水平方向及び垂直方向に1/2画素ピッチずつずれて配置されるため、カラー撮像素子1−2の水平方向の視差(AとDの間隔)及び垂直方向の視差(BとDの間隔)が、第1の実施の形態のカラー撮像素子1の水平方向の視差(AとB又はCとDの間隔)及び垂直方向の視差(AとC又はBとDの間隔)に比べて広くなる。したがって、視差画像の視差が大きくなり、より効果的な視差画像を撮影することができる。
<第1の実施形態の変形例3>
第1の実施形態の変形例1は、第1の実施形態の変形例2に対して瞳分割の方法が異なる形態である。以下、第1の実施形態の変形例3について説明するが、第1の実施形態の変形例2と同様の部分については説明を省略し、第1の実施形態の変形例2と相違する部分のみ説明する。
[撮像デバイス]
第1の実施形態の変形例2においては、同じ色のカラーフィルタが配置された4つの光電変換素子に対して、図9に示すように、1つのマイクロレンズL−2が配設されているが、第1の実施形態の変形例3では、4つの光電変換素子の各受光面の前面に遮光部材Sl〜S4が配設されている。図10に示すように、カラー撮像素子1−2’においては、図9のAに相当する画素には、略下半分の光束を遮る遮光部材Slが配設され、図9のBに相当する画素には、略右半分の光束を遮る遮光部材S2が配設され、図9のCに相当する画素には、略左半分の光束を遮る遮光部材S3が配設され、図9のDに相当する画素には、略上半分の光束を遮る遮光部材S4が配設される。これにより、同じ色のカラーフィルタが配置された4つの光電変換素子には、上下左右の4つの方向別に光束が制限された光(瞳分割された光)がそれぞれ4つの光電変換素子に入射される。すなわち、カラー撮像素子1−2では、4視点の画像データを取得できる。
<第2の実施形態>
本発明の第2の実施形態に係る単板式のカラー撮像素子は、第1の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第2の実施形態について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違するカラーフィルタ配列のみ説明する。
[カラーフィルタ配列の特徴]
図11は本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図であり、特にカラー撮像素子2に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第2の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)及び(6)を有している。
〔特徴(1)〕
カラー撮像素子2のカラーフィルタ配列は、4×4ブロックに対応する正方配列パターンからなる基本配列パターンP2(太枠で示したパターン)を含み、この基本配列パターンP2が水平方向及び垂直方向に繰り返し配置されている。
〔特徴(2)〕
図11に示すカラーフィルタ配列は、第1の実施形態と同様に、Gフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図11に示すカラーフィルタ配列の基本配列パターンP2は、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ16画素(4ブロック×4画素)、32画素(8ブロック×4画素)、16画素(4ブロック×4画素)になっている。即ち、RGB画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
〔特徴(4)〕
図11に示すカラーフィルタ配列は、第1の実施形態と同様に、Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
〔特徴(6)〕
図11に示す基本配列パターンP2は、その基本配列パターンP2の中心に対して点対称になっている。
なお、図11に示すカラーフィルタ配列は、Gフィルタからなる2×2ブロックに対応する正方配列を含んでいない(すなわち、特徴(5)は満足しない。以下同じ)。しかしながら、図11に示すカラーフィルタ配列は、水平方向に隣接するGフィルタを有し、また、斜め(NE,NW)方向に隣接するGフィルタを有する。垂直方向には、Rフィルタ又はBフィルタを挟んでGフィルタが存在するため、これらのGフィルタに対応するG画素の画素値を垂直方向の相関を判断する場合に使用することができる。
<第3の実施形態>
本発明の第3の実施形態に係る単板式のカラー撮像素子は、第1の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第3の実施形態について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違するカラーフィルタ配列のみ説明する。
[カラーフィルタ配列の特徴]
図12は本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子3に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第3の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)及び(4)を有している。
〔特徴(1)〕
カラー撮像素子3のカラーフィルタ配列は、5×5ブロックに対応する正方配列パターンからなる基本配列パターンP3(太枠で示したパターン)を含み、この基本配列パターンP3が水平方向及び垂直方向に繰り返し配置されている。
〔特徴(2)〕
図12に示すカラーフィルタ配列は、第1の実施形態と同様に、Gフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図12に示すカラーフィルタ配列の基本配列パターンP3は、その基本配列パターンP3内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ28画素(7ブロック×4画素)、44画素(11ブロック×4画素)、28画素(7ブロック×4画素)になっている。即ち、RGB画素の各画素数の比率は、7:11:7になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
〔特徴(4)〕
図12に示すカラーフィルタ配列は、第1の実施形態と同様に、Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
なお、図12に示すカラーフィルタ配列は、Gフィルタからなる2×2ブロックに対応する正方配列を含んでいない。また、基本配列パターンP3は、点対称になっていない(すなわち、特徴(6)は満足しない。以下同じ)。
<第4の実施形態>
本発明の第4の実施形態に係る単板式のカラー撮像素子は、第1の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第4実施形態について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違するカラーフィルタ配列のみ説明する。
[カラーフィルタ配列の特徴]
図13は本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図であり、特にカラー撮像素子4に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第4の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)及び(4)を有している。
〔特徴(1)〕
カラー撮像素子4のカラーフィルタ配列は、第3の実施形態と同様に、5×5ブロックに対応する正方配列パターンからなる基本配列パターンP4(太枠で示したパターン)を含み、この基本配列パターンP4が水平方向及び垂直方向に繰り返し配置されている。
〔特徴(2)〕
図13に示すカラーフィルタ配列は、第1の実施形態と同様に、Gフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図13に示すカラーフィルタ配列の基本配列パターンP4は、その基本配列パターンP4内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ24画素(6ブロック×4画素)、52画素(13ブロック×4画素)、24画素(6ブロック×4画素)になっている。即ち、RGB画素の各画素数の比率は、6:13:6になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
〔特徴(4)〕
図13に示すカラーフィルタ配列は、Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
なお、図13に示すカラーフィルタ配列は、Gフィルタからなる2×2ブロックに対応する正方配列を含んでいないが、Gフィルタが互いに隣接する4ブロックのかたまりがあり、これらの4ブロックの画素値から水平、垂直、及び斜め(NE,NW)方向の相関を、最小画素間隔で判断することができる。また、基本配列パターンP4は点対称になっていない。
<第5の実施形態>
本発明の第5の実施形態に係る単板式のカラー撮像素子は、第1の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第5の実施形態について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違するカラーフィルタ配列のみ説明する。
[カラーフィルタ配列の特徴]
図14は本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図であり、特にカラー撮像素子5に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第5の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)及び(4)を有している。
〔特徴(1)〕
カラー撮像素子5のカラーフィルタ配列は、第3の実施形態と同様に、5×5ブロックに対応する正方配列パターンからなる基本配列パターンP5(太枠で示したパターン)を含み、この基本配列パターンP5が水平方向及び垂直方向に繰り返し配置されている。
〔特徴(2)〕
図14に示すカラーフィルタ配列は、Gフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図14に示すカラーフィルタ配列の基本配列パターンP5は、その基本配列パターンP5内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ32画素(8ブロック×4画素)、36画素(9ブロック×4画素)、32画素(8ブロック×4画素)になっている。即ち、RGB画素の各画素数の比率は、8:9:8になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
〔特徴(4)〕
図14に示すカラーフィルタ配列は、Rフィルタ、Bフィルタが、カラーフィルタ配列の水平及び垂直方向の各ライン内に配置されている。
更に、図14に示すカラーフィルタ配列は、Rフィルタ、Bフィルタが、カラーフィルタ配列の斜め(NE,NW)方向の各ライン内にも配置されている。
即ち、このカラーフィルタ配列は、R、G、Bフィルタの全てが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されており、これにより、斜め方向の色再現性をより向上させることができる点で、第1の実施形態のカラー撮像素子のカラーフィルタ配列にない特徴を有している。
なお、図14に示すカラーフィルタ配列は、Gフィルタからなる2×2ブロックに対応する正方配列を含んでおらず、また、基本配列パターンP5は、点対称になっていない。
<第6の実施形態>
本発明の第6の実施形態に係る単板式のカラー撮像素子は、第1の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第6の実施形態について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違するカラーフィルタ配列のみ説明する。
[カラーフィルタ配列の特徴]
図15は本発明に係る単板式のカラー撮像素子の第6の実施形態を示す図であり、特にカラー撮像素子6に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第6の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)及び(6)を有している。
〔特徴(1)〕
カラー撮像素子6のカラーフィルタ配列は、7×7ブロックに対応する正方配列パターンからなる基本配列パターンP6(太枠で示したパターン)を含み、この基本配列パターンP6が水平方向及び垂直方向に繰り返し配置されている。
〔特徴(2)〕
図15に示すカラーフィルタ配列は、第1の実施形態と同様に、Gフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図15に示すカラーフィルタ配列の基本配列パターンP6は、その基本配列パターンP6内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ48画素(12ブロック×4画素)、100画素(25ブロック×4画素)、48画素(12ブロック×4画素)になっている。即ち、RGB画素の各画素数の比率は、12:25:12になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
〔特徴(4)〕
図15に示すカラーフィルタ配列は、Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
〔特徴(5)〕
図15に示すカラーフィルタ配列は、Gフィルタからなる2×2ブロックに対応する正方配列を含む。
〔特徴(6)〕
図15に示す基本配列パターンP6は、その基本配列パターンP6の中心に対して点対称になっている。
<第7の実施形態>
本発明の第7の実施形態に係る単板式のカラー撮像素子は、第1の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第7の実施形態について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違するカラーフィルタ配列のみ説明する。
[カラーフィルタ配列の特徴]
図16は本発明に係る単板式のカラー撮像素子の第7の実施形態を示す図であり、特にカラー撮像素子7に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第7の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)及び(6)を有している。
〔特徴(1)〕
カラー撮像素子7のカラーフィルタ配列は、8×8ブロックに対応する正方配列パターンからなる基本配列パターンP7(太枠で示したパターン)を含み、この基本配列パターンP7が水平方向及び垂直方向に繰り返し配置されている。
この基本配列パターンを4×4ブロックに4分割した場合、対角の4×4画像の配列は同じになり、水平方向又は垂直方向に隣接する4×4ブロックの配列は、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
〔特徴(2)〕
図16に示すカラーフィルタ配列は、第1の実施形態と同様に、Gフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図16に示すカラーフィルタ配列の基本配列パターンP7は、その基本配列パターンP7内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ64画素(16ブロック×4画素)、128画素(32ブロック×4画素)、64画素(16ブロック×4画素)になっている。即ち、RGB画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
〔特徴(4)〕
図16に示すカラーフィルタ配列は、Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
〔特徴(5)〕
図16に示すカラーフィルタ配列は、Gフィルタからなる2×2ブロックに対応する正方配列を含む。
〔特徴(6)〕
図16に示す基本配列パターンP7は、その基本配列パターンP7の中心に対して点対称になっている。
<第8の実施形態>
上記第1から第7の実施形態のカラー撮像素子のカラーフィルタ配列は、いずれもRGBの3原色のカラーフィルタのカラーフィルタ配列であるが、第8の実施形態のカラー撮像素子のカラーフィルタ配列は、RGBフィルタの他に、エメラルド(E)のEフィルタ)を加えた4色のカラーフィルタのカラーフィルタ配列である点で相違する。
以下、第8の実施形態に係る単板式のカラー撮像素子8について説明するが、第1の実施形態及び第7の実施の形態と同様の部分については説明を省略し、第1の実施形態及び第7の実施形態と相違する点のみ説明する。
[カラーフィルタ配列の特徴]
図17は本発明に係る単板式のカラー撮像素子の第8の実施形態を示す図であり、特にカラー撮像素子8に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第8の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)及び(6)を有している。
〔特徴(1)〕
カラー撮像素子8のカラーフィルタ配列は、第7の実施形態と同様に8×8ブロックに対応する正方配列パターンからなる基本配列パターンP8(太枠で示したパターン)を含み、この基本配列パターンP8が水平方向及び垂直方向に繰り返し配置されている。
〔特徴(2)〕
図17に示すカラーフィルタ配列は、Gフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図17に示すカラーフィルタ配列の基本配列パターンP8は、その基本配列パターンP8内におけるR、G、B、Eフィルタに対応するR画素、G画素、B画素、E画素の画素数が、それぞれ64画素(16ブロック×4画素)、96画素(24ブロック×4画素)、64画素(16ブロック×4画素)、32画素(8ブロック×4画素)になっている。
即ち、RGBE画素の各画素数の比率は、2:3:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素、E画素のそれぞれの画素数の比率よりも大きくなっている。
〔特徴(4)〕
図17に示すカラーフィルタ配列は、Rフィルタ、Bフィルタ、Eフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
〔特徴(5)〕
図17に示すこのカラーフィルタ配列は、Gフィルタからなる2×2ブロックに対応する正方配列を含む。
〔特徴(6)〕
基本配列パターンP8は、その基本配列パターンP8の中心に対して点対称になっている。
また、上記実施の形態では、5×5ブロック〜8×8ブロックの基本配列パターンを例に説明したが、基本配列パターンを構成する単位ブロックの数はこれに限られない。ただし、基本配列パターンがN×Nの単位ブロックから形成されるとすると、デモザイキング処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Nは10以下であることが望ましい。更に、カラーフィルタの配置の容易さを考慮すると、Nが4以上8以下であることが望ましい。Nが4よりも小さい場合には、本発明に係るカラーフィルタ配列の条件を満足せず、Nが8を超える場合には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。なお、第1の実施の形態に示すようにNを6とするのが最も望ましい。
[変形例]
また、上述の各実施形態では、第1の色として緑(G)を採用し、第2の色として赤(R)及び青(B)を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
<第1のフィルタ(第1の色)の条件>
上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
〔条件(1)〕
条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
なお、寄与率が50%未満となる色は本発明の第2色(R色、B色など)となり、この色を有するフィルタが本発明の第2のフィルタとなる。
〔条件(2)〕
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。なお、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
〔条件(3)〕
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
〔条件(4)〕
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
<複数種類の第1のフィルタ(Gフィルタ)>
したがって、第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタ(G1フィルタ、G2フィルタ)を第1のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタまたはG2フィルタに適宜置き換えられてもよい。G1フィルタは第1の波長帯域のG光を透過し、G2フィルタはG1フィルタと相関の高い第2の波長帯域のG光を透過する(図18参照)。
G1フィルタとしては、現存のGフィルタ(例えば第1実施形態のGフィルタ)を用いることができる。また、G2フィルタとしては、G1フィルタと相関の高いフィルタを用いることができる。この場合に、G2フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長500nmから535nmの範囲(現存のGフィルタが配置される受光素子の分光感度曲線のピーク値の近傍)にあることが望ましい。なお、4色(R、G1、G2、B)のカラーフィルタを決定する方法は、例えば特開2003−284084号に記載されている方法が用いられる。
このようにカラー撮像素子により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること(「色の判別性」を向上させること)ができる。
なお、G1、G2フィルタの透過率は、第1実施形態のGフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は50%よりは高くなる。したがって、G1、G2フィルタは前述の条件(1)を満たす。
また、カラーフィルタ配列(受光素子)の分光感度特性を示す図18において、各G1、G2フィルタの透過率のピーク(各G画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。各G1、G2フィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、各G1、G2フィルタは前述の条件(2)、(3)も満たしている。
なお、各G1、G2フィルタの配置や個数は適宜変更してもよい。また、Gフィルタの種類を3種類以上に増加してもよい。
<透明フィルタ(Wフィルタ)>
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタW(白色画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えて透明フィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
透明フィルタWは、透明色(第1の色)のフィルタである。透明フィルタWは、可視光の波長域に対応する光を透過可能であり、例えばRGBの各色の光の透過率が50%以上となるフィルタである。透明フィルタWの透過率は、Gフィルタよりも高くなるので、輝度信号を得るための寄与率もG色(60%)よりは高くなり、前述の条件(1)を満たす。
カラーフィルタ配列(受光素子)の分光感度特性を示す図19において、透明フィルタWの透過率のピーク(白色画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、透明フィルタWの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、透明フィルタWは前述の条件(2)、(3)も満たしている。なお、Gフィルタについても透明フィルタWと同様に前述の条件(1)〜(3)を満たしている。
このように透明フィルタWは、前述の条件(1)〜(3)を満たしているので、本発明の第1のフィルタとして用いることができる。なお、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部を透明フィルタWに置き換えているので、前述の条件(4)も満たしている。
<エメラルドフィルタ(Eフィルタ)>
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタE(エメラルド画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてエメラルドフィルタ(Eフィルタ)を配置しても良い。このようにGフィルタの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
カラーフィルタ配列(受光素子)の分光感度特性を示す図20において、エメラルドフィルタEの透過率のピーク(E画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、エメラルドフィルタEの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、エメラルドフィルタEは前述の条件(2)、(3)を満たしている。また、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部をエメラルドフィルタEに置き換えているので、前述の条件(4)も満たしている。
なお、図20に示した分光特性では、エメラルドフィルタEがGフィルタよりも短波長側にピークを持つが、Gフィルタよりも長波長側にピークを持つ(少し黄色よりの色に見える)場合もある。このようにエメラルドフィルタEとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件(1)を満たすようなエメラルドフィルタEを選択することもできる。
<他の色の種類>
上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。更にまた、本発明は上記実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1、1−1、1−2、1−2’、2、3、4、5、6、7、8:カラー撮像素子、10:撮像装置、12:撮影光学系、18:アナログ信号処理部、20:AD変換器、22:画像入力コントローラ、24:デジタル信号処理部、26:圧縮伸長処理部、28:エンコ一、30:液晶モニタ、32:デバイス制御部、34:駆動部、36:レンズ駆動部、38:操作部、42:AF処理部、44:AE検出部、48:メモリ、52:コントローラ、54:メモリカード、L、L−1、L−2:マイクロレンズ、P、Pl−1、P1−2、PIM2’、P2、P3、P4、P5、P6、P7、P8:基本配列パターン、Sl、S2、S3、S4:遮光部材
【0007】
域でのデモザイキング処理の再現精度を向上させることができる。更に、第2のフィルタは、基本配列パターン内にカラーフィルタ配列の斜め右上がり及び斜め右下がり方向の各ライン内に1つ以上配置される。これにより、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
[0031]
また、第1のフィルタに対応する第1の色の画素数と第2のフィルタに対応する第2の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率が高い第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性をよくすることができる。
[0032]
本発明の他の態様に係るカラー撮像素子において、所定数の光電変換素子は、2×2画素又は3×3画素であることが望ましい。
[0033]
本発明の他の態様に係るカラー撮像素子において、基本配列パターン内のカラーフィルタ配列は、基本配列パターンの中心に対して点対称であることが望ましい。
[0034]
これにより、後段に処理回路の回路規模を小さくすることが可能になる。
[0035]
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、N×N(N:4以上8以下の整数)の単位ブロックであることが望ましい。
[0036]
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、6×6の単位ブロックであることが望ましい。
[0037]
本発明の他の態様に係るカラー撮像素子において、カラーフィルタ配列は、3×3の単位ブロックにおいて、第1のフィルタが配置された単位ブロックが中心と4隅に配置されることが望ましい。これにより、第1のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に配置させることができる。
[0038]
本発明の他の態様に係るカラー撮像素子において、光電変換素子の上方に配設される瞳分割手段を備え、瞳分割手段に入射した光は、瞳分割されてそれぞれ所定数の光電変換素子の受光面に導かれることが望ましい。これにより、所定数と同じ枚数の異なる画像データを取得することができる。
特許文献に記載の撮像素子は、4画素並べられたG画素と、対角に2画素ずつ配置されたB画素及びR画素の組とが交互に並べられているものであり、偽色の発生の抑圧に対しては有効でない。
前記目的を達成するために、本発明の一の態様に係るカラー撮像素子は、光電変換素子からなる複数の画素上に、1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、上下左右に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、上下左右に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックからなり、単位ブロックが正方格子状に配列された基本配列パターンを含み、基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第1のフィルタは、カラーフィルタ配列の水平、垂直斜め右上及び斜め右下方向の各ライン内に1つ以上配置され、第2の色の各色に対応する第2のフィルタは、カラーフィルタ配列の水平及び垂直方向の各ライン内に1つ以上配置され、第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい。
なお、カラー撮像素子は、CCD(Charge Coupled evice)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
[撮像デバイス]
図6に示すように、カラー撮像素子1−1は、CCD、CMOS等の撮像デバイスであり、水平方向及び垂直方向に配列(二次元配列)された光電変換素子からなる複数の画素(図示せず)と、各画素の受光面上に配置された、図6に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤(R)、縁(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
このカラー撮像素子1−1によれば、マイクロレンズL−1により瞳分割された光が入射される9つの光電変換素子から出力される出力信号に基づいて、2D画像及び3D画像が生成可能である。
第1の実施形態の変形例のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列と同様であるため、第1の実施形態の変形例2のカラー撮像素子1−2は、第1の実施形態と同様、特徴(1)、(2)、(3)、(4)、(5)及び(6)を有している。以下、第1の実施形態の変形例2について説明するが、第1の実施形態と同様の部分については説明を省略し、第1の実施形態と相違する部分のみ説明する。
カラー撮像素子1−2は、図8に示すように、斜め右上及び斜め右下方向に隣接する4つの光電変換素子に対して同じ色のカラーフィルタが配置されている。この同じ色のカラーフィルタが配置された4つの光電変換素子に対しては、図9に示すように、1つのマイクロレンズL−2が配設されている。本実施の形態では、この4つの光電変換素子に対して配置された同色のカラーフィルタを単位ブロックとして説明する。
このカラー撮像素子1−2によれば、マイクロレンズL−2により瞳分割された光が入射される4つの光電変換素子から出力される出力信号に基づいて、2D画像及び3D画像が生成可能である。なお、2D画像及び3D画像の生成方法については後述する。
また、3D撮影モードの場合には、デジタル信号処理部24−2は、A、B、C、D毎の4枚分の画像データを生成する。デジタル信号処理部24−2は、撮像装置10−2(図示せず)を水平に構えて撮影した場合には、Bの画像データから左眼表示用画像(左視差画像)を生成するとともに、Cの画像データから右眼表示用画像(右視差画像)を生成する。一方、撮像装置10−2を縦に構えて撮影した場合には、Aの画像データから左眼表示用画像(左視差画像)を生成するとともに、Dの画像データから眼表示用画像(右視差画像)を生成する。なお、撮像装置10−2を縦に構えて撮影した場合には、Dの画像データから左眼表示用画像(左視差画像)を生成するとともに、Aの画像データから右眼表示用画像(右視差画像)を生成するようにしてもよい。
<第8の実施形態>
上記第1から第7の実施形態のカラー撮像素子のカラーフィルタ配列は、いずれもRGBの3原色のカラーフィルタのカラーフィルタ配列であるが、第8の実施形態のカラー撮像素子のカラーフィルタ配列は、RGBフィルタの他に、エメラルド(E)のEフィルタを加えた4色のカラーフィルタのカラーフィルタ配列である点で相違する。
1、1−1、1−2、1−2’、2、3、4、5、6、7、8:カラー撮像素子、10:撮像装置、12:撮影光学系、18:アナログ信号処理部、20:AD変換器、22:画像入力コントローラ、24:デジタル信号処理部、26:圧縮伸長処理部、28:エンコ一、30:液晶モニタ、32:デバイス制御部、34:駆動部、36:レンズ駆動部、38:操作部、42:AF処理部、44:AE検出部、48:メモリ、52:コントローラ、54:メモリカード、L、L−1、L−2:マイクロレンズ、P、Pl−1、P1−2、PIM2’、P2、P3、P4、P5、P6、P7、P8:基本配列パターン、Sl、S2、S3、S4:遮光部材

Claims (13)

  1. 光電変換素子からなる複数の画素上に、1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    上下左右に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、
    前記上下左右に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、前記カラーフィルタ配列は、複数の前記単位ブロックからなり、前記単位ブロックが正方格子状に配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    前記第1のフィルタは、前記カラーフィルタ配列の水平、垂直斜め右上及び斜め右下方向の各ライン内に1つ以上配置され、
    前記第2の色の各色に対応する前記第2のフィルタは、前記カラーフィルタ配列の水平及び垂直方向の各ライン内に1つ以上配置され、
    前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きいカラー撮像素子。
  2. 隣接する素子の中心が水平方向及び垂直方向に1/2画素ピッチずつずれた斜め格子状に配列された光電変換素子からなる複数の画素上に、1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    斜め右上及び斜め右下方向に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、
    前記斜め右上及び斜め右下方向に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、前記カラーフィルタ配列は、複数の前記単位ブロックからなり、前記単位ブロックが斜め格子状に配列された基本配列パターンを含み、該基本配列パターンが斜め右上及び斜め右下方向に繰り返して配置され、
    前記第1のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上がり及び斜め右下がり方向の各ライン内に1つ以上配置され、
    前記第2の色の各色に対応する前記第2のフィルタが配置された単位ブロックは、前記カラーフィルタ配列の斜め右上がり及び斜め右下がり方向の各ライン内に1つ以上配置され、
    前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きいカラー撮像素子。
  3. 前記所定数の光電変換素子は、4×4画素又は9×9画素である請求項1又は2に記載のカラー撮像素子。
  4. 前記基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称である請求項1から3のいずれか1項に記載のカラー撮像素子。
  5. 前記基本配列パターンは、N×N(N:4以上8以下の整数)の単位ブロックである請求項1から4のいずれか1項に記載のカラー撮像素子。
  6. 前記基本配列パターンは、6×6の単位ブロックである請求項5に記載のカラー撮像素子。
  7. 前記カラーフィルタ配列は、3×3の単位ブロックにおいて、前記第1のフィルタが配置された単位ブロックが中心と4隅に配置された請求項1から6のいずれか1項に記載のカラー撮像素子。
  8. 前記光電変換素子の上方に配設される瞳分割手段を備え、
    前記瞳分割手段に入射した光は、瞳分割されてそれぞれ前記所定数の光電変換素子の受光面に導かれる請求項1から7のいずれか1項に記載のカラー撮像素子。
  9. 前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色である請求項1に記載のカラー撮像素子。
  10. 前記基本配列パターンは、6×6の単位ブロックに対応する正方配列パターンであり、
    前記カラーフィルタ配列は、3×3の単位ブロックに対応する第1の配列であって、中心と4隅にGフィルタの単位ブロックが配置され、中心のGフィルタを挟んで上下にBフィルタの単位ブロックが配置され、左右にRフィルタの単位ブロックが配列された第1の配列と、3×3の単位ブロックに対応する第2の配列であって、中心と4隅にGフィルタの単位ブロックが配置され、中心のGフィルタを挟んで上下にRフィルタの単位ブロックが配置され、左右にBフィルタの単位ブロックが配列された第2の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項9に記載のカラー撮像素子。
  11. 前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色である請求項2に記載のカラー撮像素子。
  12. 前記基本配列パターンは、6×6の単位ブロックに対応する斜め格子状配列パターンであり、
    前記カラーフィルタ配列は、3×3の単位ブロックに対応する第1の配列であって、中心と4隅にGフィルタの単位ブロックが配置され、中心のGフィルタを挟んで斜め右上及び斜め右下にBフィルタの単位ブロックが配置され、斜め左上及び斜め左下にRフィルタの単位ブロックが配列された第1の配列と、3×3の単位ブロックに対応する第2の配列であって、中心と4隅にGフィルタの単位ブロックが配置され、中心のGフィルタを挟んで斜め右上及び斜め右下にRフィルタの単位ブロックが配置され、斜め左上及び斜め左下にBフィルタの単位ブロックが配列された第2の配列とが、交互に斜め右上及び斜め右下方向に配列されて構成されている請求項11に記載のカラー撮像素子。
  13. 請求項1〜12のいずれか1項に記載のカラー撮像素子を備えた撮像装置。
JP2013551782A 2011-12-27 2012-12-27 カラー撮像素子 Expired - Fee Related JP5621056B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013551782A JP5621056B2 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011286010 2011-12-27
JP2011286010 2011-12-27
JP2013551782A JP5621056B2 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Publications (2)

Publication Number Publication Date
JP5621056B2 JP5621056B2 (ja) 2014-11-05
JPWO2013100036A1 true JPWO2013100036A1 (ja) 2015-05-11

Family

ID=48697515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013551782A Expired - Fee Related JP5621056B2 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Country Status (5)

Country Link
US (1) US9204020B2 (ja)
EP (1) EP2800379A4 (ja)
JP (1) JP5621056B2 (ja)
CN (1) CN104041020B (ja)
WO (1) WO2013100036A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备
JP5702895B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014087807A1 (ja) * 2012-12-05 2014-06-12 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
WO2014087804A1 (ja) * 2012-12-07 2014-06-12 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
JP2015115345A (ja) 2013-12-09 2015-06-22 株式会社東芝 固体撮像装置
JP2015207815A (ja) * 2014-04-17 2015-11-19 キヤノン株式会社 撮像素子および撮像素子を備えた撮像装置
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
TWI560495B (en) * 2016-01-28 2016-12-01 Au Optronics Corp Display apparatus and display control method thereof
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CN107529046B (zh) * 2017-02-23 2024-03-08 思特威(深圳)电子科技有限公司 一种色彩滤镜阵列及图像传感器
EP4027640B1 (en) * 2017-04-25 2024-08-14 Sony Group Corporation Solid state image sensor and electronic equipment
WO2019042013A1 (zh) * 2017-08-31 2019-03-07 昆山国显光电有限公司 像素结构及显示装置
JP6596760B1 (ja) * 2018-08-28 2019-10-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR20220127003A (ko) * 2021-03-10 2022-09-19 삼성전자주식회사 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈
US20220352224A1 (en) * 2021-04-29 2022-11-03 Omnivision Technologies, Inc. Cmos image sensor with multiple sensitivities for high dynamic range imaging and led flicker mitigation
JP2024097101A (ja) * 2021-05-11 2024-07-18 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像装置及び電子機器
JP2023027618A (ja) * 2021-08-17 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JPWO2023032416A1 (ja) * 2021-08-31 2023-03-09
DE112022005856T5 (de) * 2021-12-08 2024-10-10 Sony Semiconductor Solutions Corporation Festkörperbildgebungselement, Bildgebungsvorrichtung und Verfahren zum Steuern eines Festkörperbildgebungselements
WO2023243429A1 (ja) * 2022-06-13 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
DE69924308T2 (de) 1998-01-20 2006-03-09 Hewlett-Packard Development Co., L.P., Houston Farbbildaufnahmegerät
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP2002084548A (ja) * 2000-09-07 2002-03-22 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
EP1357760B1 (en) 2001-01-09 2011-11-09 Sony Corporation Image processing device and method
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP4019417B2 (ja) * 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
US20090027527A1 (en) * 2007-07-23 2009-01-29 Visera Technologies Company Limited Color filter arrays and image sensors using the same
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP5472584B2 (ja) 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5574615B2 (ja) * 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5474586B2 (ja) * 2010-01-25 2014-04-16 オリンパス株式会社 画像処理装置
JP5474258B2 (ja) * 2011-03-11 2014-04-16 富士フイルム株式会社 撮像装置及び撮像プログラム
WO2013100092A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
EP2800376B1 (en) * 2011-12-27 2016-10-05 Fujifilm Corporation Imaging device, method for controlling imaging device, and control program
US9210392B2 (en) * 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014006784A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法

Also Published As

Publication number Publication date
JP5621056B2 (ja) 2014-11-05
US9204020B2 (en) 2015-12-01
US20140307133A1 (en) 2014-10-16
CN104041020A (zh) 2014-09-10
WO2013100036A1 (ja) 2013-07-04
EP2800379A4 (en) 2015-12-23
EP2800379A1 (en) 2014-11-05
CN104041020B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
JP5621056B2 (ja) カラー撮像素子
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5547349B2 (ja) デジタルカメラ
US8786676B2 (en) Imaging device for generating stereoscopic image
JP5640143B2 (ja) 撮像装置及び撮像方法
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
JP5361535B2 (ja) 撮像装置
JP5227368B2 (ja) 3次元撮像装置
JP5563166B2 (ja) 固体撮像装置及びデジタルカメラ
JP5621059B2 (ja) カラー撮像素子及び撮像装置
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP5600814B2 (ja) 画像処理装置及び方法並びに撮像装置
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP5507362B2 (ja) 3次元撮像装置および光透過板
JP5634613B2 (ja) イメージセンサ及び撮像装置
JP2013172218A (ja) 撮像装置、画像処理方法およびプログラム
WO2013042606A1 (ja) デジタルカメラ及び固体撮像装置
JP5624227B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140829

R150 Certificate of patent or registration of utility model

Ref document number: 5621056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees