JP5702892B2 - カラー撮像素子および撮像装置 - Google Patents

カラー撮像素子および撮像装置 Download PDF

Info

Publication number
JP5702892B2
JP5702892B2 JP2014523615A JP2014523615A JP5702892B2 JP 5702892 B2 JP5702892 B2 JP 5702892B2 JP 2014523615 A JP2014523615 A JP 2014523615A JP 2014523615 A JP2014523615 A JP 2014523615A JP 5702892 B2 JP5702892 B2 JP 5702892B2
Authority
JP
Japan
Prior art keywords
filter
color
filters
pattern
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014523615A
Other languages
English (en)
Other versions
JPWO2014006929A1 (ja
Inventor
田中 誠二
誠二 田中
林 健吉
健吉 林
河村 典子
典子 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014523615A priority Critical patent/JP5702892B2/ja
Application granted granted Critical
Publication of JP5702892B2 publication Critical patent/JP5702892B2/ja
Publication of JPWO2014006929A1 publication Critical patent/JPWO2014006929A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/30Picture reproducers using solid-state colour display devices

Description

本発明はカラー撮像素子および撮像装置に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子、およびそのようなカラー撮像素子を用いた撮像装置に関する。
単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はRAW画像(モザイク画像)となるので、欠落している色の画素を、周囲の画素から補間する処理(デモザイク処理)により多チャンネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を低減しつつ再現帯域を広げて高解像化するということが重要な課題である。
単板式のカラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
図27(A)に示すような白黒の縦縞模様(高周波画像)が、図27(B)に示すベイヤー配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図27(C)から(E)に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
同様に、図28(A)に示すような斜めの白黒の高周波画像が、図28(B)に示すベイヤー配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図28(C)から(E)に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む3色と着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサ(カラー撮像素子)が提案されている(特許文献2)。
更に、RGBの3原色のカラー固体撮像素子(カラー撮像素子)において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようにした色配列が提案されている(特許文献3)。
更にまた、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子が提案されている(特許文献4)。
特開2000−308080号公報 特開2005−136766号公報 特開平11−285012号公報 特開平8−23543号公報
特許文献1に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイク処理を行う際に、ランダムパターンごとに最適化する必要があり、デモザイク処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理であって、デモザイキング処理、又は同時化処理とも言われる(本明細書内において同じ)。
また、特許文献2に記載のカラー撮像素子は、G画素(輝度画素)が市松状に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
特許文献3に記載のカラー撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R,Bのそれぞれの画素数の2倍になっている。
一方、特許文献4に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率が6倍とベイヤー配列よりも非常に高く、水平又は垂直方向にG画素のみのフィルタラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
本発明はこのような事情に鑑みてなされたもので、偽色の発生の低減及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。また本発明は、そのようなカラー撮像素子を用いた撮像装置を提供することを目的とする。
本発明の目的を達成するためのカラー撮像素子は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×N(M、Nは8以上)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置され、基本配列パターンは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、基本配列パターンは、中心の1つの第2のフィルタと、第2のフィルタの八方を囲む8つの第1のフィルタとからなる3×3画素に対応した正方パターンを4つ以上有し、カラーフィルタの配列内で、正方パターンの四方を囲んで、第1のフィルタと第2のフィルタとを並べた第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインが配置され、カラーフィルタの配列内で、第1のフィルタは、カラーフィルタの配列の第1の方向及び第2の方向の各フィルタライン内と、第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向の各フィルタライン内とに配置されている。
また、本発明の目的を達成するためのカラー撮像素子は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×N(M、Nは8以上)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置され、基本配列パターンは、透過率のピークが480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、基本配列パターンは、中心の1つの第2のフィルタと、該第2のフィルタの八方を囲む8つの第1のフィルタとからなる3×3画素の正方パターンを複数有し、基本配列パターンは、中心の1つの第2のフィルタと、第2のフィルタの八方を囲む8つの第1のフィルタとからなる3×3画素に対応した正方パターンを4つ以上有し、カラーフィルタの配列内で、正方パターンの四方を囲んで、第1のフィルタと第2のフィルタとを並べた第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインが配置され、カラーフィルタの配列内で、第1のフィルタは、カラーフィルタの配列の第1の方向及び第2の方向の各フィルタライン内と、第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向の各フィルタライン内とに配置されている。
また、本発明の目的を達成するためのカラー撮像素子は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×N(M、Nは8以上)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置され、基本配列パターンは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、基本配列パターンは、中心の1つの第2のフィルタと、第2のフィルタの八方を囲む8つの第1のフィルタとからなる3×3画素の正方パターンを4つ以上有し、基本配列パターンは、中心の1つの第2のフィルタと、第2のフィルタの八方を囲む8つの第1のフィルタとからなる3×3画素に対応した正方パターンを4つ以上有し、カラーフィルタの配列内で、正方パターンの四方を囲んで、第1のフィルタと第2のフィルタとを並べた第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインが配置され、カラーフィルタの配列内で、第1のフィルタは、カラーフィルタの配列の第1の方向及び第2の方向の各フィルタライン内と、第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向の各フィルタライン内とに配置されている。
また、本発明の目的を達成するためのカラー撮像素子は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×N(M、Nは8以上)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置され、基本配列パターンは、3原色のうち最も輝度信号に寄与する色と3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、第1の色以外の2以上の第2の色に対応する第2のフィルタとを含み、基本配列パターンは、中心の1つの第2のフィルタと、第2のフィルタの八方を囲む8つの第1のフィルタとからなる3×3画素に対応した正方パターンを4つ以上有し、カラーフィルタの配列内で、正方パターンの四方を囲んで、第1のフィルタと第2のフィルタとを並べた第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインが配置され、カラーフィルタの配列内で、第1のフィルタは、カラーフィルタの配列の第1の方向及び第2の方向の各フィルタライン内と、第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向の各フィルタライン内とに配置されている。
本発明によれば、カラーフィルタの配列内で、第1のフィルタは、第1の方向から第4の方向の各方向のフィルタライン内に1つ以上配置されているので、高周波領域でのデモザイク処理の再現精度を向上させることができる。
また、カラーフィルタの配列は、基本配列パターンが第1の方向及び第2の方向に繰り返して配置されているため、デモザイク処理等の後段の処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
また、基本配列パターンは、中心の1つの第2のフィルタとその第2のフィルタの八方を囲む8つの第1のフィルタとからなる3×3画素に対応した正方パターンと、その正方パターンの四方を囲んで第1のフィルタと第2のフィルタとを並べた第1の方向及び第2の方向の格子フィルタラインとを含むので、正方パターンと格子フィルタラインとの結合による幾何学的な規則性に起因して、第1のフィルタに対応する第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数のそれぞれの比率よりも大きくしつつ、第2のフィルタをカラーフィルタ配列の全体に均等に配置することが容易であり、かつ、後段の信号処理を容易にしつつ画像の再現精度や信頼性をより一層向上させることが可能になる。
一実施形態では、M及びNは10であり、第1の方向及び第2の方向の格子フィルタラインは2画素幅であり、第1の方向及び第2の方向のそれぞれにおいて、第2のフィルタが1画素又は2画素おきに配置されている。
一実施形態では、M及びNは8であり、第1の方向及び第2の方向の格子フィルタラインは1画素幅であり、第1の方向及び第2の方向のそれぞれにおいて、第1のフィルタが1画素おきに配置されている。
基本配列パターン内で、第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインは、第2の色の各色のフィルタが同比率存在することが、好ましい。
正方パターンの四辺の各一辺に隣接して第1の色のフィルタが少なくとも1つ配置され、かつ正方パターンの四辺の各一辺に隣接して第2の色の各色のフィルタが1つずつ配置されていることが、好ましい。
カラーフィルタの配列は、第1の方向及び第2の方向のそれぞれにおいて互いに最も近い正方パターン同士で、正方パターンの中心に配置された第2のフィルタの色が互いに異なることが、好ましい。
カラーフィルタの配列内において、正方パターンの中心に配置された第2のフィルタの各色の画素が同比率存在することが、好ましい。
基本配列パターン内に、第2の色の各色に対応する第2のフィルタは、基本配列パターン内の第1の方向及び第2の方向の各フィルタライン内に1つ以上配置されていることが、好ましい。これにより、高周波成分を有する入力像によって発生しうる色モワレ(偽色)を低減することができる。
第1の色は、緑及び透明のうち少なくともいずれかを含むことが、好ましい。
第2の色は、赤と青を含むことが、好ましい。
本発明の目的を達成するための撮像装置は、撮影光学系と、撮影光学系を介して被写体像が結像するカラー撮像素子と、結像した被写体像を示す画像データを生成する画像データ生成部と、を備え、カラー撮像素子は上記態様のいずれかに係るカラー撮像素子である。
本発明のカラー撮像素子は、高周波領域でのデモザイク処理の再現精度を向上させ、かつエリアシングを抑制することができる。また、色モワレ(偽色)の発生を低減して高解像度化を図ることができる。さらに、画素のデモザイク処理を精度よく行うことができる。また、カラーフィルタ配列は、正方パターンと格子フィルタラインとからなる基本配列パターンが第1の方向及び第2の方向に繰り返されているため、後段での信号処理を行う際に、正方パターン及び格子フィルタラインの繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。また本発明の撮像装置によれば、偽色の発生の低減及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができる。
図1は、デジタルカメラの電気的構成を示すブロック図である。 図2は、カラー撮像素子の撮像面の正面図である。 図3は、第1実施形態のカラーフィルタ配列の正面図である。 図4は、図3中の基本配列パターンの拡大図である。 図5は、図3中の正方パターンを説明するための説明図である。 図6は、図3中の格子フィルタラインを説明するための説明図である。 図7は、第1実施形態における複数種類の基本配列パターンについて説明するための説明図である。 図8は、第2実施形態のカラーフィルタ配列の正面図である。 図9は、第3実施形態のカラーフィルタ配列の正面図である。 図10は、図9中の基本配列パターンの拡大図である。 図11は、図9中の正方パターンを説明するための説明図である。 図12は、図9中の格子フィルタラインを説明するための説明図である。 図13は、第3実施形態における複数種類の基本配列パターンについて説明するための説明図である。 図14は、第4実施形態のカラーフィルタ配列の正面図である。 図15は、第5実施形態のカラーフィルタ配列の正面図である。 図16は、図15中の基本配列パターンの拡大図である。 図17は、第6実施形態のカラーフィルタ配列の正面図である。 図18は、図17中の基本配列パターンの拡大図である。 図19は、第7実施形態のカラーフィルタ配列の正面図である。 図20は、第7実施形態のカラーフィルタ配列の分光感度特性を示したグラフである。 図21は、第8実施形態のカラーフィルタ配列の正面図である。 図22は、第8実施形態のカラーフィルタ配列の分光感度特性を示したグラフである。 図23は、第9実施形態のカラーフィルタ配列の正面図である。 図24は、第9実施形態のカラーフィルタ配列の分光感度特性を示したグラフである。 図25は、8×10画素に対応した基本配列パターンを有するカラーフィルタ配列の一例を示す正面図である。 図26は、カラーフィルタ配列をハニカム配列とした他実施形態のカラーフィルタ配列の一例を示す正面図である。 図27は、従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。 図28は、従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。
[デジタルカメラの全体構成]
図1は本発明に係るカラー撮像素子を備えるデジタルカメラ9のブロック図である。デジタルカメラ9は、大別して、撮影光学系10、カラー撮像素子12、撮影処理部14、画像処理部16、駆動部18、制御部20などを備えている。
撮影光学系10は、被写体像をカラー撮像素子12の撮像面上に結像する。カラー撮像素子12は、その撮像面上に図中水平方向及び垂直方向に配列(二次元配列)された光電変換素子で構成される複数の画素と、各画素の受光面の上方に設けられたカラーフィルタとを備えた、いわゆる単板式のカラー撮像素子である。ここで、「〜上」や「上方」とは、カラー撮像素子12の撮像面に対して被写体光が入射してくる側の方向を指す。
カラー撮像素子12に結像された被写体像は、各画素の光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応した赤(R)、緑(G)、青(B)のモザイク画像を示すR、G、B信号である。なお、カラー撮像素子12は、CCD(Charge Coupled Device)型撮像素子、CMOS(Complementary Metal Oxide Semiconductor)型撮像素子などの他の種類の撮像素子であってもよい。
カラー撮像素子12から読み出された画像信号は、撮影処理部14に入力される。撮影処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC回路、及びA/D変換器を有している。この撮影処理部14は、入力された画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。なお、カラー撮像素子12がMOS型撮像素子である場合は、A/D変換器は撮像素子内に内蔵されていることも多く、また上記相関二重サンプリングを必要としない場合もある。
画像処理部16は、ホワイトバランス補正回路、ガンマ補正回路、デモザイク処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を有している。画像処理部16は、制御部20からの指令に従い、撮影処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、画素毎にRGB全ての色情報を有するRGB画素信号を生成し、これに基づいて輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2規格に準拠した圧縮処理が施された後、図示しない記録メディア(例えばメモリカード)に記録され、また、液晶モニタ等の表示手段(図示せず)に出力されて表示される。なお本実施形態において、記録メディアはデジタルカメラ9に着脱可能なものに限られず内蔵式の光磁気記録メディアでもよく、表示手段もデジタルカメラ9に備えられたものに限られずデジタルカメラ9に接続された外部のディスプレイでもよい。
[カラー撮像素子]
図2に示すように、カラー撮像素子12の撮像面には、水平方向及び垂直方向に2次元配列された光電変換素子PDで構成される複数の画素21が設けられている。ここで、水平方向は本発明の第1の方向及び第2の方向のうちの一方向に相当し、垂直方向は本発明の第1の方向及び第2の方向のうちの他方向に相当する。
図3に示すように、カラー撮像素子12の撮像面上には、各画素21上に配設されたカラーフィルタにより構成されるカラーフィルタ配列22が設けられている。カラーフィルタ配列22は、赤(R)、緑(G)、青(B)の3原色のカラーフィルタ(以下、Rフィルタ、Gフィルタ、Bフィルタという)23R,23G,23Bにより構成されている。そして、各画素21上には、Rフィルタ23R,Gフィルタ23G,及びBフィルタ23Bのうちいずれかが配置される。以下、Rフィルタ23Rが配置された画素を「R画素」、Gフィルタ23Gが配置された画素を「G画素」、Bフィルタ23Bが配置された画素を「B画素」という。
ここで、G色は本発明の第1の色に相当し、Gフィルタ23Gは本発明の第1のフィルタに相当する。また、R色及びB色は本発明の第2の色に相当し、Rフィルタ23R及びBフィルタ23Bは本発明の第2のフィルタに相当する。第2の色のフィルタに属するRフィルタ23R及びBフィルタ23Bのいずれかのフィルタを、以下では「RBフィルタ」ともいう。
[第1実施形態のカラーフィルタ配列]
カラーフィルタ配列22は、下記の特徴(1)、(2)、(3)、(4)、(5)、(6)、及び(7)を有している。
〔特徴(1)〕
図3及び図4に示すように、カラーフィルタ配列22は、10×10画素に対応する正方配列パターンである基本配列パターンP1を含み、この基本配列パターンP1が第1の方向H(水平方向)及び第2の方向V(垂直方向)に繰り返し配置されている。即ち、カラーフィルタ配列22では、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列されている。このため、カラー撮像素子12から読み出されるR、G、B信号のデモザイク処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。その結果、従来のランダム配列に比べて後段の処理を簡略化することができる。
また、基本配列パターンP1の単位で間引き処理して画像を縮小する場合に、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
基本配列パターンP1には、下記特徴(2)〜(7)を満たすように、カラーフィルタ(Rフィルタ23R,Gフィルタ23G,Bフィルタ23B)の配置が決定されている。
〔特徴(2)〕
カラーフィルタ配列22内で、第1の方向H、第2の方向V、第3の方向NE,及び第4の方向NWの各フィルタライン内にGフィルタ23G(第1のフィルタ)が1つ以上配置されている。本例では、第1の方向Hは水平方向であり、第2の方向Vは垂直方向であり、第3の方向NEは斜め右上(左下)方向であり、第4の方向はNWは斜め右下(左上)方向である。第1の方向Hと第2の方向とは直交している。第3の方向NE及び第4の方向NWは、第1の方向H、第2の方向Vに対してそれぞれ45°の方向である。これは、複数の画素及びカラーフィルタが水平方向及び垂直方向に正方格子状に配列されているからである。従って、複数の画素及びカラーフィルタが矩形格子状に配列されている場合には、その矩形格子の対角線の方向が、斜め右上方向及び斜め右下方向に対応する。
G色は、輝度(Y)信号(上述の輝度データ)を得るための寄与率がR色、B色よりも高い。すなわち、G色よりもR色及びB色の方の寄与率が低い。具体的に説明すると、上述の画像処理部16は、制御部20からの指令に従い、撮影処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、画素毎にRGB全ての色情報を有するRGB画素信号を生成し、このRGB画素信号に基づいて、下記式(1)に従ってY信号を生成する。下記式(1)はカラー撮像素子12でのY信号の生成に一般的に用いられる式である。この式(1)ではG色の寄与率が60%になるため、G色は、R色(寄与率30%)やB色(寄与率10%)よりも寄与率が高くなる。従って、G色が3原色のうち最も輝度信号に寄与する色となる。
Y=0.3R+0.6G+0.1B・・・式(1)
このようなGフィルタ23Gが、カラーフィルタ配列22の第1の方向H、第2の方向V、第3の方向NE、及び第4の方向NWの各フィルタライン内に配置されるため、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP1内のRGBフィルタ23R,23G,23Bに対応するR画素、G画素、B画素の画素数は、それぞれ18画素、64画素、18画素になる。従って、RGB画素の各画素数の比率は9:32:9になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。
このようにG画素の画素数とR,B画素の各画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R,B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性もよくすることができる。
〔特徴(4)〕
Rフィルタ23R及びBフィルタ23Bは、それぞれ基本配列パターンP1内においてカラーフィルタ配列22の第1の方向H、及び第2の方向Vの各フィルタライン内に1つ以上配置されている。
Rフィルタ23R及びBフィルタ23Bがそれぞれカラーフィルタ配列22の第1の方向H、及び第2の方向Vの各フィルタライン内に配置されるため、色モワレ(偽色)の発生を低減することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを撮影光学系10の入射面からカラー撮像素子12の撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができる。その結果、解像度を損なわないようにすることができる。
〔特徴(5)〕
上記の特徴(4)を満たすRフィルタ23Rは、その第1の方向H、第2の方向V、第3の方向NE、及び第4の方向NWの各方向(以下、適宜「各方向(H,V,NE,NW)」と略す)に、Gフィルタ23GまたはBフィルタ23Bが隣接して配置されている。また、上記の特徴(4)を満たすBフィルタ23Bは、その各方向(H,V,NE,NW)にGフィルタ23GまたはRフィルタ23Rが隣接して配置されている。従って、Rフィルタ23R、及びBフィルタ23Bには、それぞれ異なる色のフィルタが各方向(H,V,NE,NW)に隣接して配置されている。すなわち、同色のRフィルタ23R同士または同色のBフィルタ23B同士が、各方向(H,V,NE,NW)に隣接して配置されることはない。
このように、上記の特徴(4)、(5)を満たすようにRBフィルタ23R,23Bをカラーフィルタ配列22内に配置した場合には、カラーフィルタ配列22内にRBフィルタ23R,23Bがそれぞれ均等に配置される。これにより、R画素及びB画素のデモザイク処理を精度良く行うことができる。
尚、カラーフィルタ配列22における第3の方向NE及び第4の方向NWのフィルタライン上にも、Rフィルタ23R及びBフィルタ23Bがそれぞれ1以上配置されることが、好ましい。すなわち、斜め方向(第3の方向NE及び第4の方向NW)のそれぞれにおいて、Rフィルタ23RとBフィルタ23Bとを含むフィルタラインが隣接して周期的に配列されていることが、好ましい。つまり、Rフィルタ23RとBフィルタ23Bとを含む斜め方向(NE、NW)のフィルタラインが隣接して配置される割合が高いため、高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができる。ここで、斜め方向においてフィルタラインが隣接するとは、1辺の長さが1の正方形であるフィルタを使用した場合、フィルタラインとフィルタラインの間が√2/2画素間隔であることを意味する。図3のカラーフィルタ配列22では、斜め方向(第3の方向NE及び第4の方向NW)において、Rフィルタ23R及びBフィルタ23Bのうちで一方しか存在しないフィルタライン(Rフィルタ23Rが存在しないフィルタライン、又はBフィルタ23Bが存在しないフィルタライン)が存在するが、そのようなRフィルタ23R及びBフィルタ23Bのうち一方しか存在しないフィルタラインの割合は、NE、NWの各方向において1/5である。
また、本例のカラーフィルタ配列22は、図3、図4、及び図5(正方パターンの説明図)に示すように、次の特徴(6)を有する。
〔特徴(6)〕
基本配列パターンP1は、図4に示すように、3×3画素に対応した4つの正方パターン(QR,QB)を有する。ひとつの正方パターンQR,QBは、中心に配置された1つの第2のフィルタ(Rフィルタ23R又はBフィルタ23B)と、その第2のフィルタ(23R又は23B)の八方を囲んで配置された8つの第1のフィルタ(Gフィルタ23G)とからなる。すなわち、中心のフィルタ23Rまたは23Bに隣接して、図4における上、斜め右上、右、斜め右下、下、斜め左下、左、及び斜め左上のそれぞれに、Gフィルタ23Gが配置されている。
本例の基本配列パターンP1は、中心にRフィルタ23Rが配置された2つの正方パターンQR(第1の正方パターン)と、中心にBフィルタ23Bが配置された2つの正方パターンQB(第2の正方パターン)とを有する。以下では、2種類の正方パターン「QA」及び「QB」をまとめて、正方パターン「Q」ということもある。
このような正方パターンQに対応する3×3画素からG画素のみを取り出し、第1の方向Hの複数のG画素の画素値の差分絶対値、第2の方向Vの複数のG画素の画素値の差分絶対値、第3の方向NEの複数のG画素の画素値の差分絶対値、第4の方向NWの複数のG画素の画素値の差分絶対値を求めることにより、第1の方向H、第2の方向V、第3の方向NE、第4の方向NWのうち、差分絶対値の最も小さい方向に相関があると判断することができる。つまり、カラーフィルタ配列22では、正方パターンQ内の最小画素間隔のG画素の情報を使用して、第1の方向、第2の方向V、第3の方向NE,及び第4の方向NWのうちの相関の高い方向を判別ができる。この方向判別結果は、周囲の画素から補間する処理(デモザイク処理)に使用することができる。なお、この場合に、例えば前述の画像処理部16(デモザイク処理回路を含む)内に方向判別処理部を設けて、この方向判別処理部で方向判別を行うようにするとよい。
また、本例の正方パターンQは、次の追加的な特徴(6−1)及び特徴(6−2)を有する。
〔特徴(6−1)〕カラーフィルタ配列22内で、第1の正方パターンQRと第2の正方パターンQBとは、第1の方向H及び第2の方向Vのそれぞれにおいて、互いに近接しないように配置されている。つまり、第1の方向H及び第2の方向Vのそれぞれにおいて、互いに最も近い正方パターンQ同士で、正方パターンQの中心に配置されたRBフィルタ(23R、23B)の色(R、B)が互いに異なる。
〔特徴(6−2)〕カラーフィルタ配列22内で、正方パターンQの中心に配置されたRBフィルタ(23R又は23B)は、各色(RとB)が同比率存在する。つまり、カラーフィルタ配列22内で、第1の正方パターンQRと第2の正方パターンQBとが同数存在する。
また、本例のカラーフィルタ配列22は、図3、図4、及び図6(格子フィルタラインの説明図)に示すように、次の特徴(7)を有する。
〔特徴(7)〕カラーフィルタ配列22は、それぞれの正方パターンQR,QBの四方(図における上方向、右方向、下方向、左方向)を囲む第1の方向Hの格子フィルタラインHG(25及び26)と第2の方向Vの格子フィルタラインVG(27及び28)を有する。第1の方向Hの格子フィルタラインHG及び第2の方向Vの格子フィルタラインVGは、それぞれ、Gフィルタ(第1のフィルタ)とRBフィルタ(第2のフィルタ)とを並べて構成されている。
また、本例の格子フィルタラインHG、VGは次の特徴(7−1)、特徴(7−2)及び特徴(7−3)を有する。
〔特徴(7−1)〕基本配列パターンP1内で、第1の方向Hの格子フィルタラインHG及び第2の方向Vの格子フィルタラインVGは、それぞれ、Rフィルタ23RとBフィルタ23Bとが同比率で存在する。即ち、本例では、各基本配列パターンP1内で、第1の方向Hの格子フィルタラインHGにRフィルタ23RとBフィルタ23Bとが同数存在し、かつ、第2の方向Vの格子フィルタラインVGにRフィルタ23RとBフィルタ23Bとが同数存在する。
〔特徴(7−2)〕正方パターンQR、QBの四辺(図における上辺、右辺、下辺、左辺)の各一辺に隣接してGフィルタ23G(第1のフィルタ)が1つずつ配置され、かつ正方パターンQR、QBの四辺の各一辺に隣接してRフィルタ23R及びBフィルタ23B(第2の色の各色のフィルタ)がそれぞれ1つずつ配置されている。つまり、本例では、正方パターンQR,QBの四辺のそれぞれに隣接して、Gフィルタ23G、Rフィルタ23R、Bフィルタ23Bが、それぞれひとつずつ配置されている。
〔特徴(7−3)〕
図3及び図6に示すように、第1の方向Hの格子フィルタラインHGは1画素幅の2本のフィルタライン25及び26からなり、第2の方向Vの格子フィルタラインVGは1画素幅の2本のフィルタライン27及び28からなる。つまり、互いに直交する第1の方向Hの格子フィルタラインHG及び第2の方向Vの格子フィルタラインVGは、2画素幅である。
〔特徴(7−4)〕
図3及び図6に示すように、第1の方向Hの格子フィルタラインHG及び第2の方向Vの格子フィルタラインVGにおいて、第2のフィルタ(Rフィルタ23R及びBフィルタ23B)は1画素又は2画素おきに配置されている。第1のフィルタ(Gフィルタ)は1画素おき又は隣接して配置されている。
なお、図7に示すように、基本配列パターンP1を水平方向及び垂直方向に1画素ずつシフトした基本配列パターンをP1’とし、それぞれ2画素ずつシフトした基本配列パターンをP1”とすると、これらの基本配列パターンP1’,P1”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列22になる。このように、図3に示したカラーフィルタ配列22を構成することができる基本配列パターンは複数存在する。第1の実施形態では、図4に示した基本配列パターンP1を、便宜上、基本配列パターンという。
以上のように本実施形態のカラーフィルタ配列22は、前述の特徴を有するので、後段でのデモザイク処理の簡略化と、高周波領域でのデモザイク処理の再現精度の向上と、デモザイク処理時におけるエリアシングの抑制及び高周波再現性の向上と、R画素及びB画素のデモザイク処理の精度向上と、高解像度化と、相関の高い方向の判別とが可能となる。
[第2実施形態のカラー撮像素子]
図8に示すように、第2実施形態のカラーフィルタ配列30は、基本配列パターンP1とは異なる基本配列パターンP2を、互いに直交する第1の方向H及び第2の方向Vに、繰り返し配置させて構成されている。基本配列パターンP2は、第1の方向Hの格子フィルタラインHG(25と26)及び第2の方向Vの格子フィルタラインVG(27と28)の配置が異なる点(第1の方向Hの格子フィルタラインHGの「25」と「26」が入れ替り、第2の方向Vの格子フィルタラインVGの「27」と「28」が入れ替わっている点)を除けば、第1実施形態の基本配列パターンP1と基本的には同じである。即ち、格子フィルタラインHG,VGにおけるRフィルタ23R及びBフィルタ23Bの並び順が異なるだけである。このため、第2実施形態のカラーフィルタ配列30は、前述の第1実施形態のカラーフィルタ配列22と同様の特徴を有しており、カラーフィルタ配列22と同様の効果が得られる。
[第3実施形態のカラー撮像素子]
次に、図9を用いて本発明の第3実施形態のカラー撮像素子について説明を行う。なお、第3実施形態のカラー撮像素子は、上記特徴(7−3)の代わりに下記の特徴(7−3a)を有し、かつ上記特徴(7−4)の代わりに下記の特徴(7−4a)をするカラーフィルタ配列32を備える点を除けば、上記第1実施形態と基本的には同じ構成である。このため、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
[第3実施形態のカラーフィルタ配列]
カラーフィルタ配列32は、RGBフィルタ23R,23G,23Bが8×8画素に対応する配列パターンで配列されてなる基本配列パターンP3を含み、この基本配列パターンP3が水平方向(H)及び垂直方向(V)に繰り返し配置されている。このため、カラーフィルタ配列32は前述の特徴(1)を有する。
カラーフィルタ配列32内で、第1の方向H、第2の方向V、第3の方向NE,及び第4の方向NW方向の各フィルタライン内にGフィルタ23Gが1以上配置されている。基本配列パターンP3内のRGBフィルタ23R,23G,23Bに対応するR画素、G画素、B画素の画素数は、それぞれ10画素、44画素、10画素であり、RGB画素の各画素数の比率は5:22:5になる。さらに、Rフィルタ23R及びBフィルタ23Bは、それぞれ基本配列パターンP3内においてカラーフィルタ配列32の第1の方向H、及び第2の方向Vの各フィルタライン内に1つ以上配置されている。また、同色のRフィルタ23R同士または同色のBフィルタ23B同士が、各方向(H,V,NE,NW)に隣接して配置されることはない。また、基本配列パターンP3は、図10及び図11(正方パターンの説明図)に示すように、3×3画素に対応した4つの正方パターン(QR,QB)を有する。従って、カラーフィルタ配列32は、前述の特徴(2)〜(6)を有する。また、正方パターン(QR,QB)は、前述の特徴(6−1)及び(6−2)を有している。
また、カラーフィルタ配列32は、図9及び図12(格子フィルタラインの説明図)に示すように、それぞれの正方パターンQR,QBの四方(図における上方向、右方向、下方向、左方向)を囲む、第1の方向Hの格子フィルタラインHG(35及び36)及び第2の方向Vの格子フィルタラインVG(37及び38)を有する。第1の方向Hの格子フィルタラインHG及び第2の方向Vの格子フィルタラインVGは、それぞれ、Gフィルタ(第1のフィルタ)とRBフィルタ(第2のフィルタ)とを並べて構成されている。また、基本配列パターンP3内で、図10に示すように、第1の方向Hの格子フィルタラインHG(35及び36)にRフィルタ23RとBフィルタ23Bとが同数(それぞれ2つ)存在し、かつ、第2の方向Vの格子フィルタラインVGにRフィルタ23RとBフィルタ23Bとが同数(それぞれ2つ)存在する。また、正方パターンQR、QBの四辺の各一辺に隣接して、Gフィルタ23G(第1のフィルタ)、Rフィルタ23R及びBフィルタ23Bがそれぞれ1つずつ配置されている。即ち、本実施形態のカラーフィルタ配列32は、第1実施形態のカラーフィルタ配列22と同様に、特徴(7)、特徴(7−1)及び特徴(7−2)を有する。
また、本実施形態のカラーフィルタ配列32の格子フィルタラインHG,VGは、次のような特徴(7−3a)及び特徴(7−4a)を有する。
〔特徴(7−3a)
図9及び図12に示すように、第1の方向Hの格子フィルタラインHGは1画素幅の1本のフィルタライン35、36が、正方パターンQB,QRを挟んで交互に配置され、第2の方向Vの格子フィルタラインVGは1画素幅の1本のフィルタライン37、38が、正方パターンQB,QRを挟んで交互に配置されている。つまり、互いに直交する第1の方向Hの格子フィルタラインHG及び第2の方向Vの格子フィルタラインVGは、1画素幅である。
〔特徴(7−4a)〕
また、図9及び図12に示すように、第1の方向Hの格子フィルタラインHG及び第2の方向Vの格子フィルタラインVGにおいて、第1のフィルタ(Gフィルタ23G)が1画素おきに配置されている。言い換えると、格子フィルタラインHG,VGにおいて第2のフィルタ(Rフィルタ23R及びBフィルタ23B)が1画素おきに配置されている。
なお、図13に示すように、基本配列パターンP3を水平方向及び垂直方向に1画素ずつシフトした基本配列パターンをP3’とし、それぞれ2画素ずつシフトした基本配列パターンをP3”とすると、これらの基本配列パターンP3’,P3”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列22になる。このように、図9に示したカラーフィルタ配列22を構成することができる基本配列パターンは複数存在する。第3の実施形態では、図10に示した基本配列パターンP3を、便宜上、基本配列パターンとしている。
以上のように本実施形態のカラーフィルタ配列32は、前述の特徴を有するので、後段でのデモザイク処理の簡略化と、高周波領域でのデモザイク処理の再現精度の向上と、デモザイク処理時におけるエリアシングの抑制及び高周波再現性の向上と、R画素のデモザイク処理の精度向上と、高解像化と、相関の高い方向の判別とが可能になる。
[第4実施形態のカラー撮像素子]
図14に示すように、第4実施形態のカラーフィルタ配列42は、基本配列パターンP3とは異なる基本配列パターンP4を、互いに直交する第1の方向H及び第2の方向Vに、繰り返し配置させて構成されている。
本実施形態における基本配列パターンP4は、格子フィルタラインHG,VGにおけるRフィルタ23R及びBフィルタ23Bの並び順が異なる点を除けば、第3実施形態の基本配列パターンP3と基本的には同じである。このため、第4実施形態のカラーフィルタ配列42は、前述の第3実施形態のカラーフィルタ配列32と同様の特徴を有しており、カラーフィルタ配列32と同様の効果が得られる。
具体的には、第3実施形態では、図9に示したように、格子フィルタラインHG(35及び36)とVG(37及び38)は、いずれも“・・・B,G,R,G,R,G,B,G,・・・”という順でフィルタが並んでいる。これに対して、第4実施形態では、図14に示すように、格子フィルタラインHG(45及び46)とVG(47及び48)は、いずれも“・・・R,G,B,G,R,G,B,G,・・・”という順でフィルタが並んでいる。
[第5実施形態のカラー撮像素子]
次に、図15を用いて本発明の第5実施形態のカラー撮像素子について説明する。なお、第5の実施形態におけるカラーフィルタ配列52は、格子フィルタラインHG、VGにおけるフィルタ23R、23G、23Bの並び順が異なる点を除けば、第3実施形態の基本配列パターンP3と基本的には同じである。このため、上記第3実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
本実施形態のカラーフィルタ配列52は、第3実施形態のカラーフィルタ配列(図9の32)及び第4実施形態のカラーフィルタ配列(図14の42)と比較して、格子フィルタラインHG,VGにおけるRBフィルタ(第2の色のフィルタ)の存在比率が大きい。
図16に、本実施形態のカラーフィルタ配列52における基本配列パターンP5を示す。図16において、第1の方向Hの格子フィルタラインHGは、正方パターンQB,QRの一辺に隣接して“B、R、B”の順で配置されたRBフィルタを有するフィルタライン55、及び正方パターンQB,QRの一辺に隣接して“R、B、R”の順で配置されたRBフィルタを有するフィルタライン56によって構成されている。また、第2の方向Vの格子フィルタラインVGは、正方パターンQB,QRの一辺に隣接して“B、R、B”の順で配置されたRBフィルタを有するフィルタライン57、及び正方パターンQB,QRの一辺に隣接して“R、B、R”の順で配置されたRBフィルタを有するフィルタライン58によって構成されている。
基本配列パターンP5内のRGBフィルタ23R,23G,23Bに対応するR画素、G画素、B画素の画素数は、それぞれ14画素、36画素、14画素であり、RGB画素の各画素数の比率は7:18:7になる。つまり、第3実施形態の基本配列パターンP3内におけるRGB画素の各画素数の比率(5:22:5)と比較して、R画素及びB画素の存在比率が高く、色再現性が高まっている。特に、本実施形態における格子フィルタラインHG及びVGのRGB画素の各画素数の比率は3:1:3であり、第3実施形態における格子フィルタラインHG及びVGのRGB画素の各画素数の比率8:11:8と比較して、R画素及びB画素の存在比率が4倍以上高い。
また、カラーフィルタ配列52の水平(H)、垂直(V)、及び斜め(NE,NW)方向の各フィルタライン内にはGフィルタ23Gが1以上配置されている。
本実施形態のカラーフィルタ配列52は、前述の特徴(1)〜(4)及び特徴(6)〜(7)を有する。
[第6実施形態のカラー撮像素子]
次に、図17を用いて本発明の第6実施形態のカラー撮像素子について説明する。なお、第6の実施形態におけるカラーフィルタ配列62は、格子フィルタラインHG、VGにおけるフィルタ23R、23G、23Bの並び順が異なる点を除けば、第3実施形態の基本配列パターンP3と基本的には同じである。このため、上記第3実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
本実施形態のカラーフィルタ配列62は、第3実施形態のカラーフィルタ配列(図9の32)及び第4実施形態のカラーフィルタ配列(図14の42)と比較して、格子フィルタラインHG,VGにおけるRBフィルタ(第2の色のフィルタ)の存在比率が大きい。
図18に、本実施形態のカラーフィルタ配列62における基本配列パターンP6を示す。図18において、第1の方向Hの格子フィルタラインHGは、正方パターンQB,QRの一辺に隣接して“B、R、B”の順で配置されたRBフィルタを有するフィルタライン65及びフィルタライン66によって構成されている。また、第2の方向Vの格子フィルタラインVGは、正方パターンQB,QRの一辺に隣接して“R、B、R”の順で配置されたRBフィルタを有するフィルタライン67及びフィルタライン68によって構成されている。
基本配列パターンP6内のRGBフィルタ23R,23G,23Bに対応するR画素、G画素、B画素の画素数、及びRGB画素の各画素数の比率は、第5実施形態と同じである。即ち、第3実施形態の基本配列パターンP3内におけるRGB画素の各画素数の比率と比較して、R画素及びB画素の存在比率が高い。
本実施形態のカラーフィルタ配列62は、前述の特徴(1)〜(3)及び特徴(5)〜(7)を有する。
<第1のフィルタ(第1の色)の条件>
上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタ23Gを例に挙げて説明を行ったが、Gフィルタ23Gの代わりに、あるいはGフィルタ23Gの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
〔条件(1)〕
条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。G色の寄与率は上記式(1)に示したように60%となるので条件(1)を満たす。また、G色以外の色の寄与率についても実験やシミュレーションにより取得可能である。従って、G色以外で寄与率が50%以上となる色を有するフィルタについても、本発明の第1のフィルタとして用いることができる。なお、寄与率が50%未満となる色は本発明の第2色(R色、B色など)となり、この色を有するフィルタが本発明の第2のフィルタとなる。
〔条件(2)〕
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲についても、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。従って、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。なお、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ23R、Bフィルタ23B)となる。
〔条件(3)〕
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(Rフィルタ23RやBフィルタ23B)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタ23R、23Bなどの透過率よりも高くなる範囲である。従って、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
〔条件(4)〕
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
[第7実施形態のカラー撮像素子]
次に、図19を用いて本発明の第7実施形態のカラー撮像素子について説明を行う。なお、第7の実施形態のカラー撮像素子は、RGB画素以外に白色光(可視光の波長域の光)を受光する白色画素(クリア画素ともいう)を備える点を除けば、上記第1実施形態と基本的には同じ構成である。このため、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
[第7実施形態のカラーフィルタ配列]
第7実施形態のカラー撮像素子は、第1実施形態とは異なるカラーフィルタ配列63を備えている。カラーフィルタ配列63は、前述のRGBフィルタ23R,23G,23B、及び透明フィルタ23W(第1のフィルタ)が8×8画素に対応する配列パターンで配列されてなる基本配列パターンP7を含み、この基本配列パターンP7が水平及び垂直方向(H、V)に繰り返し配置されている。このため、カラーフィルタ配列63は前述の特徴(1)を有する。
基本配列パターンP7は、基本配列パターンP1の一部のGフィルタ23Gを透明フィルタ23Wに置き換えた配列パターンを有している。例えば、水平及び垂直方向(H、V)において他のGフィルタ23Gに隣接しているGフィルタ23Gを、透明フィルタ23Wに置き換えている。このように第7実施形態のカラー撮像素子では、G画素の一部を白色画素に置き換えている。これにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
透明フィルタ23Wは、透明色(第1の色)のフィルタである。透明フィルタ23Wは、可視光の波長域に対応する光を透過可能であり、例えばRGBの各色の光の透過率が50%以上となるフィルタである。透明フィルタ23Wの透過率は、Gフィルタ23Gよりも高くなるので、輝度信号を得るための寄与率もG色(60%)よりは高くなり、前述の条件(1)を満たす。
カラーフィルタ配列63の分光感度特性を示す図20において、透明フィルタ23Wの透過率のピーク(白色画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、透明フィルタ23Wの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタ23R,23Bの透過率よりも高くなる。このため、透明フィルタ23Wは前述の条件(2)、(3)も満たしている。なお、Gフィルタ23Gについても透明フィルタ23Wと同様に前述の条件(1)〜(3)を満たしている。
このように透明フィルタ23Wは、前述の条件(1)〜(3)を満たしているので、本発明の第1のフィルタとして用いることができる。なお、カラーフィルタ配列36では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタ23Gの一部を透明フィルタ23Wに置き換えているので、前述の条件(4)も満たしている。
図19に戻って、カラーフィルタ配列63は、上述の通り、Gフィルタ23Gの一部を透明フィルタ23Wで置き換えた点を除けば、基本的には第1実施形態のカラーフィルタ配列22と同じであるので、第1実施形態と同様の特徴(2)〜(6)を有する。従って、第1実施形態で説明した効果と同様の効果が得られる。
なお、透明フィルタ23Wの配置や個数は図19に示した実施形態に限定されるものではなく、適宜変更してもよい。この場合には、Gフィルタ23G及び透明フィルタ23Wを含む第1のフィルタが、カラーフィルタ配列63の水平方向、垂直方向、斜め方向(NE、NW)の各方向のフィルタラインに1個以上含まれていれば、前述の特徴(2)を満たす。
[第8実施形態のカラー撮像素子]
次に、図21を用いて本発明の第8実施形態のカラー撮像素子について説明を行う。なお、第8の実施形態のカラー撮像素子は、2種類のG画素を備えている点を除けば、上記第1実施形態と基本的には同じ構成である。このため、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
[第8実施形態のカラーフィルタ配列]
第8実施形態のカラー撮像素子は、第1実施形態とは異なるカラーフィルタ配列64を備えている。カラーフィルタ配列64は、Rフィルタ23R、第1Gフィルタ23G1及び第2Gフィルタ23G2(第1のフィルタ)、Bフィルタ23Bが8×8画素に対応する配列パターンで配列されてなる基本配列パターンP8を含み、この基本配列パターンP8が水平及び垂直方向(H、V)に繰り返し配置されている。このため、カラーフィルタ配列64は前述の特徴(1)を有する。
基本配列パターンP8は、第1実施形態の基本配列パターンP1の各Gフィルタ23Gを第1Gフィルタ23G1または第2Gフィルタ23G2に置き換えた配列パターンを有している。例えば本実施形態では、第1Gフィルタ23G1同士が隣接せず、第2Gフィルタ23G2同士が隣接せず、かつ基本配列パターンP8内で第1Gフィルタ23G1と第2Gフィルタ23G2とが同数存在するように、第1Gフィルタ23G1と第2Gフィルタ23G2は水平方向に偶数番目のフィルタ列に配置されている。
第1Gフィルタ23G1は第1の波長帯域のG光を透過し、第2Gフィルタ23G2は第1Gフィルタ23G1と相関の高い第2の波長帯域のG光を透過する(図22参照)。第1Gフィルタ23G1としては、現存のGフィルタ(例えば第1実施形態のGフィルタ23G)を用いることができる。また、第2Gフィルタ23G2としては、第1Gフィルタ23G1と相関の高いフィルタを用いることができる。この場合に、第2Gフィルタ23G2の分光感度曲線のピーク値は、例えば波長500nmから535nmの範囲(現存のGフィルタの分光感度曲線のピーク値の近傍)にあることが望ましい。なお、4色のカラーフィルタを決定する方法は、例えば特開2003−284084号に記載されている方法が用いられる。
このように第8実施形態のカラー撮像素子により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること(「色の判別性」を向上させること)ができる。
第1及び第2Gフィルタ23G1,23G2の透過率は、第1実施形態のGフィルタ23Gの透過率と基本的には同じであるので、輝度信号を得るための寄与率は50%よりは高くなる。従って、第1及び第2Gフィルタ23G1,23G2は前述の条件(1)を満たす。
また、カラーフィルタ配列64の分光感度特性を示す図22において、各Gフィルタ23G1,23G2の透過率のピーク(各G画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。各Gフィルタ23G1,23G2の透過率は波長500nm以上560nm以下の範囲内で、RBフィルタ23R,23Bの透過率よりも高くなる。このため、各Gフィルタ23G1,23G2は前述の条件(2)、(3)も満たしている。
図21に戻って、カラーフィルタ配列64は、上述の通り、各Gフィルタ23G1,23G2を有する点を除けば、基本的には第1実施形態のカラーフィルタ配列22と同じであるので、第1実施形態と同様の特徴(2)〜(6)を有する。従って、第1実施形態で説明した効果と同様の効果が得られる。
なお、各Gフィルタ23G1,23G2の配置や個数は図21に示した実施形態に限定されるものではなく、適宜変更してもよい。また、Gフィルタの種類を3種類以上に増加してもよい。
[第9実施形態のカラー撮像素子]
次に、図23を用いて本発明の第9実施形態のカラー撮像素子について説明を行う。なお、第9の実施形態のカラー撮像素子は、RGB画素以外に、本発明の第4色に対応するエメラルド(E)色の光を受光するE画素を備える点を除けば、上記第1実施形態と基本的には同じ構成である。このため、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
[第9実施形態のカラーフィルタ配列]
第9実施形態のカラー撮像素子は、第1実施形態とは異なるカラーフィルタ配列66を備えている。カラーフィルタ配列66は、前述のRGBフィルタ23R,23G,23B、及びEフィルタ23E(第1のフィルタ)が8×8画素に対応する配列パターンで配列されてなる基本配列パターンP9を含み、この基本配列パターンP9が水平及び垂直方向(H、V)に繰り返し配置されている。このため、カラーフィルタ配列66は前述の特徴(1)を有する。
基本配列パターンP9は、図19に示した第7実施形態の基本配列パターンP7の透明フィルタ23WをEフィルタ23Eに置き換えた配列パターンを有している。このようにGフィルタ23Gの一部をEフィルタ23Eで置き換えた4色のカラーフィルタ配列66を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
カラーフィルタ配列66の分光感度特性を示す図24において、Eフィルタ23Eの透過率のピーク(E画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、Eフィルタ23Eの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタ23R,23Bの透過率よりも高くなる。このため、Eフィルタ23Eは前述の条件(2)、(3)を満たしている。また、カラーフィルタ配列66では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタ23Gの一部をEフィルタ23Eに置き換えているので、前述の条件(4)も満たしている。
なお、図24に示した分光特性では、Eフィルタ23EがGフィルタ23Gよりも短波長側にピークを持つが、Gフィルタ23Gよりも長波長側にピークを持つ(少し黄色よりの色に見える)場合もある。このようにEフィルタ23Eとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件(1)を満たすようなEフィルタ23Eを選択することもできる。
図23に戻って、カラーフィルタ配列66は、上述の通り、Gフィルタ23Gの一部をEフィルタ23Eで置き換えた点を除けば、基本的には第3実施形態のカラーフィルタ配列32と同じであるので、前述の特徴(2)〜(6)を有する。従って、第3実施形態で説明した効果と同様の効果が得られる。
なお、Eフィルタ23Eの配置や個数は、図23に示した実施形態とは異なる配置や個数に変更してもよい。この場合には、Gフィルタ23G及びEフィルタ23Eを含む第1のフィルタが、カラーフィルタ配列66の水平方向、垂直方向、斜め方向(NE、NW)の各方向のフィルタラインに1個以上含まれていれば、前述の特徴(2)を満たす。
また、上記第9実施形態では、Eフィルタ23Eを本発明の第1のフィルタとして用いているが、Eフィルタ23Eの中には例えば前述の条件(1)〜(4)を満たさないものもある。従って、このようなEフィルタ23Eについては本発明の第2のフィルタとして用いてもよい。
[その他]
上記各施形態の各カラーフィルタ配列は、その基本配列パターンが10×10画素または8×8画素に対応する配列パターンで配列されているが、例えば、8×10画素、10×8画素、9×10画素、10×9画素、8×9画素、又は9×8画素に対応する基本配列パターンを含むカラーフィルタ配列としてもよい。また、第1の方向H及び第2の方向Vに10画素よりも数の多い画素に対応する配列パターンで配列されてなる基本配列パターンでもよい。
図25に例示するカラーフィルタ配列68の基本配列パターンP10は、8×10画素の配列パターンである。基本配列パターンP10を有するカラーフィルタ配列68は、前述の特徴(1)〜(7)を有している。
なお、図示は省略するが、各実施形態の基本配列パターンを、M画素×N画素(M、Nは8以上)に対応する別の配列パターンに変更してもよい。ただし、M、Nを増加させるとデモザイク処理等の信号処理が複雑化する。従って、信号処理の複雑化を防止するため、基本配列パターンのサイズは大きすぎない12画素以下×12画素以下が好ましい。
上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向(H)及び垂直方向(V)に2次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向(H)及び垂直方向(V)に繰り返し配置されてなるが本発明はこれに限定されるものではない。
例えば、図26に示すカラーフィルタ配列70のように、RGBフィルタ23R,23G,23Bを斜め方向(NE,NW)に2次元配列してなる所謂ハニカム配列状の基本配列パターンP11を含み、かつ基本配列パターンP11が斜め方向(NE,NW)に繰り返されて配置されてなる配列パターンであってもよい。この場合には、斜め方向(NE,NW)が本発明の第1及び第2の方向になり、水平・垂直方向が本発明の第3及び第4の方向となる。
このようなカラーフィルタ配列70は、第1実施形態のカラーフィルタ配列22を撮影光学系10の光軸回りに45°回転させた配列パターンであるので、上記第1実施形態と同様の特徴(1)〜(6)を有する。なお、図示は省略するが、基本配列パターンP2〜P10についても上述のハニカム配列にしてもよい。
上記第1実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタが本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
以上のように本発明のカラーフィルタ配列は、後段でのデモザイク処理の簡略化と、高周波領域でのデモザイク処理の再現精度の向上と、デモザイク処理時におけるエリアシングの抑制及び高周波再現性の向上と、R画素及びB画素のデモザイク処理の精度向上と、高解像度化と、相関の高い方向の判別とが可能となる。
なお、本発明のカラー撮像素子のカラーフィルタ配列は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。例えば上記各実施形態のカラーフィルタ配列を適宜組み合わせてもよい。また、本発明の第1のフィルタとして、Gフィルタ23G、透明フィルタ23W、第1及び第2Gフィルタ23G1,23G2、Eフィルタ23Eなどの少なくともいずれか2種類を組み合わせたものを用いてもよく、あるいは上記条件(1)〜(4)のいずれかを満たすような他の色のフィルタを用いてよい。さらに、本発明の第2のフィルタとして、RBフィルタ23R,23B以外の色のフィルタを用いてもよい。
上記各実施形態では、デジタルカメラに搭載されるカラー撮像素子について説明したが、例えばスマートフォン、携帯電話機、PDAなどの撮影機能を有する各種の電子機器(撮像装置)に搭載されるカラー撮像素子についても本発明を適用することができる。
9…デジタルカメラ,12…カラー撮像素子,21…光電変換素子,22,30,32,42,52,62,63,64,66,68,70…カラーフィルタ配列,23R…Rフィルタ,23G…Gフィルタ,23G1…第1Gフィルタ,23G2…第2Gフィルタ,23B…Bフィルタ,23W…透明フィルタ,23E…Eフィルタ,QB,QB…正方配列,HG,VG…格子フィルタライン,P1〜P11…基本配列パターン

Claims (15)

  1. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(M、Nは8以上)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
    前記基本配列パターンは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、
    前記基本配列パターンは、中心の1つの前記第2のフィルタと、当該第2のフィルタの八方を囲む8つの前記第1のフィルタとからなる3×3画素に対応した正方パターンを4つ以上有し、
    前記カラーフィルタの配列内で、前記正方パターンの四方を囲んで、前記第1のフィルタと前記第2のフィルタとを並べた第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインが配置され、
    前記カラーフィルタの配列内で、前記第1のフィルタは、前記カラーフィルタの配列の前記第1の方向及び前記第2の方向の各フィルタライン内と、前記第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向の各フィルタライン内とに配置されているカラー撮像素子。
  2. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(M、Nは8以上)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
    前記基本配列パターンは、透過率のピークが480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、
    前記基本配列パターンは、中心の1つの前記第2のフィルタと、該第2のフィルタの八方を囲む8つの前記第1のフィルタとからなる3×3画素の正方パターンを複数有し、
    前記基本配列パターンは、中心の1つの前記第2のフィルタと、当該第2のフィルタの八方を囲む8つの前記第1のフィルタとからなる3×3画素に対応した正方パターンを4つ以上有し、
    前記カラーフィルタの配列内で、前記正方パターンの四方を囲んで、前記第1のフィルタと前記第2のフィルタとを並べた第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインが配置され、
    前記カラーフィルタの配列内で、前記第1のフィルタは、前記カラーフィルタの配列の前記第1の方向及び前記第2の方向の各フィルタライン内と、前記第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向の各フィルタライン内とに配置されているカラー撮像素子。
  3. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(M、Nは8以上)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
    前記基本配列パターンは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、
    前記基本配列パターンは、中心の1つの前記第2のフィルタと、当該第2のフィルタの八方を囲む8つの前記第1のフィルタとからなる3×3画素の正方パターンを4つ以上有し、
    前記基本配列パターンは、中心の1つの前記第2のフィルタと、当該第2のフィルタの八方を囲む8つの前記第1のフィルタとからなる3×3画素に対応した正方パターンを4つ以上有し、
    前記カラーフィルタの配列内で、前記正方パターンの四方を囲んで、前記第1のフィルタと前記第2のフィルタとを並べた第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインが配置され、
    前記カラーフィルタの配列内で、前記第1のフィルタは、前記カラーフィルタの配列の前記第1の方向及び前記第2の方向の各フィルタライン内と、前記第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向の各フィルタライン内とに配置されているカラー撮像素子。
  4. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(M、Nは8以上)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
    前記基本配列パターンは、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2以上の第2の色に対応する第2のフィルタとを含み、
    前記基本配列パターンは、中心の1つの前記第2のフィルタと、当該第2のフィルタの八方を囲む8つの前記第1のフィルタとからなる3×3画素に対応した正方パターンを4つ以上有し、
    前記カラーフィルタの配列内で、前記正方パターンの四方を囲んで、前記第1のフィルタと前記第2のフィルタとを並べた第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインが配置され、
    前記カラーフィルタの配列内で、前記第1のフィルタは、前記カラーフィルタの配列の前記第1の方向及び前記第2の方向の各フィルタライン内と、前記第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向の各フィルタライン内とに配置されているカラー撮像素子。
  5. 前記M及びNは10であり、前記第1の方向及び第2の方向の前記格子フィルタラインは2画素幅であり、前記第1の方向及び第2の方向のそれぞれにおいて、前記第2のフィルタが1画素又は2画素おきに配置されている請求項1から4のいずれか1項に記載のカラー撮像素子。
  6. 前記M及びNは8であり、前記第1の方向及び第2の方向の前記格子フィルタラインは1画素幅であり、前記第1の方向及び第2の方向のそれぞれにおいて、前記第1のフィルタが1画素おきに配置されている請求項1から4のいずれか1項に記載のカラー撮像素子。
  7. 前記基本配列パターン内で、前記第1の方向の格子フィルタライン及び第2の方向の格子フィルタラインは、前記第2の色の各色のフィルタが同比率存在する請求項1から6のいずれか1項に記載のカラー撮像素子。
  8. 前記正方パターンの四辺の各一辺に隣接して前記第1の色のフィルタが少なくとも1つ配置され、かつ前記正方パターンの四辺の各一辺に隣接して前記第2の色の各色のフィルタが1つずつ配置されている請求項1から7のいずれか1項に記載のカラー撮像素子。
  9. 前記カラーフィルタの配列は、前記第1の方向及び前記第2の方向のそれぞれにおいて互いに最も近い前記正方パターン同士で、前記正方パターンの中心に配置された前記第2のフィルタの色が互いに異なる請求項1から8のいずれか1項に記載のカラー撮像素子。
  10. 前記カラーフィルタの配列内において、前記正方パターンの中心に配置された前記第2のフィルタの各色の画素が同比率存在する請求項1から9のいずれか1項に記載のカラー撮像素子。
  11. 前記基本配列パターン内に、前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内の前記第1の方向及び第2の方向の各フィルタライン内に1つ以上配置されている請求項1から10のいずれか1項に記載のカラー撮像素子。
  12. 前記カラーフィルタが正方形状である場合に、前記第3の方向及び第4の方向は前記第1の方向及び第2の方向に対してそれぞれ45°傾いている請求項1から11のいずれか1項に記載のカラー撮像素子。
  13. 前記第1の色は、緑及び透明のうち少なくともいずれかを含む請求項1から12のいずれか1項に記載のカラー撮像素子。
  14. 前記第2の色は、赤と青を含む請求項1から13のいずれか1項に記載のカラー撮像素子。
  15. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像するカラー撮像素子と、
    前記結像した被写体像を示す画像データを生成する画像データ生成部と、
    を備え、
    前記カラー撮像素子は請求項1から14のいずれか1項に記載のカラー撮像素子である、
    撮像装置。
JP2014523615A 2012-07-06 2013-02-27 カラー撮像素子および撮像装置 Expired - Fee Related JP5702892B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014523615A JP5702892B2 (ja) 2012-07-06 2013-02-27 カラー撮像素子および撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012152675 2012-07-06
JP2012152675 2012-07-06
JP2014523615A JP5702892B2 (ja) 2012-07-06 2013-02-27 カラー撮像素子および撮像装置
PCT/JP2013/055192 WO2014006929A1 (ja) 2012-07-06 2013-02-27 カラー撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JP5702892B2 true JP5702892B2 (ja) 2015-04-15
JPWO2014006929A1 JPWO2014006929A1 (ja) 2016-06-02

Family

ID=49881696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014523615A Expired - Fee Related JP5702892B2 (ja) 2012-07-06 2013-02-27 カラー撮像素子および撮像装置

Country Status (4)

Country Link
US (1) US9185375B2 (ja)
JP (1) JP5702892B2 (ja)
CN (1) CN104412582B (ja)
WO (1) WO2014006929A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5702895B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
US10031925B2 (en) * 2014-10-15 2018-07-24 Thinkcx Technologies, Inc. Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph
JP2016151893A (ja) * 2015-02-17 2016-08-22 株式会社東芝 画像処理装置、物品処理装置、及び、画像処理方法
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
CN111508031B (zh) * 2020-04-10 2023-11-21 中国科学院自动化研究所 特征自识别标定板

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308071A (ja) * 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP5054856B1 (ja) * 2011-02-21 2012-10-24 富士フイルム株式会社 カラー撮像素子

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5251019A (en) * 1991-01-25 1993-10-05 Eastman Kodak Company Solid state color image sensor using a field-staggered color filter pattern
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
DE69924308T2 (de) 1998-01-20 2006-03-09 Hewlett-Packard Development Co., L.P., Houston Farbbildaufnahmegerät
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
US7123299B1 (en) 1999-04-15 2006-10-17 Olympus Optical Co., Ltd. Color image pickup device and color image pickup apparatus including a randomized color coding array
US7471321B2 (en) * 2002-01-30 2008-12-30 Ricoh Company, Ltd. Photographing apparatus and photographing method
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
CN1661806A (zh) * 2004-02-24 2005-08-31 三洋电机株式会社 固体摄像元件和固体摄像元件的制造方法
US7570290B2 (en) * 2004-12-27 2009-08-04 Sony Corporation Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4905279B2 (ja) * 2007-07-20 2012-03-28 ソニー株式会社 撮像回路および撮像装置
US8860814B2 (en) * 2009-03-05 2014-10-14 Panasonic Intellectual Property Corporation Of America Solid-state imaging element and imaging device
JP5150796B2 (ja) * 2011-03-30 2013-02-27 富士フイルム株式会社 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308071A (ja) * 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP5054856B1 (ja) * 2011-02-21 2012-10-24 富士フイルム株式会社 カラー撮像素子

Also Published As

Publication number Publication date
CN104412582A (zh) 2015-03-11
WO2014006929A1 (ja) 2014-01-09
CN104412582B (zh) 2016-04-13
JPWO2014006929A1 (ja) 2016-06-02
US20150109497A1 (en) 2015-04-23
US9185375B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
JP5927068B2 (ja) カラー撮像素子
JP5702894B2 (ja) カラー撮像素子および撮像装置
JP5702896B2 (ja) カラー撮像素子及び撮像装置
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5698874B2 (ja) カラー撮像素子及び撮像装置
JP5698875B2 (ja) カラー撮像素子および撮像装置
JP5698873B2 (ja) カラー撮像素子および撮像装置
JP5702892B2 (ja) カラー撮像素子および撮像装置
JP5702895B2 (ja) カラー撮像素子および撮像装置
JP5621057B2 (ja) カラー撮像素子
US8976275B2 (en) Color imaging element

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150220

R150 Certificate of patent or registration of utility model

Ref document number: 5702892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees