JP5345258B2 - カラー撮像素子 - Google Patents

カラー撮像素子 Download PDF

Info

Publication number
JP5345258B2
JP5345258B2 JP2013500997A JP2013500997A JP5345258B2 JP 5345258 B2 JP5345258 B2 JP 5345258B2 JP 2013500997 A JP2013500997 A JP 2013500997A JP 2013500997 A JP2013500997 A JP 2013500997A JP 5345258 B2 JP5345258 B2 JP 5345258B2
Authority
JP
Japan
Prior art keywords
color
filter
array
pixels
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013500997A
Other languages
English (en)
Other versions
JPWO2012114993A1 (ja
Inventor
健吉 林
誠二 田中
智行 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013500997A priority Critical patent/JP5345258B2/ja
Application granted granted Critical
Publication of JP5345258B2 publication Critical patent/JP5345258B2/ja
Publication of JPWO2012114993A1 publication Critical patent/JPWO2012114993A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明はカラー撮像素子に係り、特に色モワレの発生の抑圧及び高解像度化が可能なカラー撮像素子に関する。
単板カラー撮像素子の出力画像は、RAW画像(モザイク画像)であるため、欠落している色の画素を、周囲の画素から補間する処理(同時化処理、デモザイク処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
単板カラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
図19の(A)部分に示すような白黒の縦縞模様(高周波画像)が、図19の(B)部分に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図19の(C)部分から(E)部分に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
同様に、図20の(A)部分に示すような斜めの白黒の高周波画像が、図20の(B)部分に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図20の(C)部分から(E)部分に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されていると共に、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
更に、RGBの3原色のカラー固体撮像素子において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようした色配列が提案されている(特許文献3)。
更にまた、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子が提案されている(特許文献4)。
特開2000−308080号公報 特開2005−136766号公報 特開平11−285012号公報 特開平8−23543号公報
特許文献1に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段での同時化(補間)処理を行う際に、ランダムパターン毎に最適化する必要があり、同時化処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
また、特許文献2に記載の画像センサは、G画素(輝度画素)が市松状に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
特許文献3に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R、Bそれぞれの画素数の2倍になっている。
一方、特許文献4に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率がベイヤー配列よりも高く、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができると共に、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。
前記目的を達成するために、本発明の一の態様に係るカラー撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列されたN×N(N:5以上の奇数)の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記第1のフィルタは、少なくとも前記基本配列パターン内の2つの対角線上に配置され、前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく、前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
本発明の一の態様に係るカラー撮像素子によれば、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタとが配列されたN×N(N:5以上の奇数)の基本配列パターンが水平方向及び垂直方向に繰り返して配置される。これにより、後段での同時化(補間)処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
また、少なくとも第1のフィルタは、基本配列パターン内の2つの対角線上に配置される。これにより、第1のフィルタがカラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、高周波領域での同時化処理の再現精度を向上させることができる。更に、第2のフィルタの各色のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置される。これにより、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
また、第1のフィルタ及び第2のフィルタは、第1のフィルタに対応する第1の色の画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなるように、配置される。これにより、エリアシングを抑制することができ高周波再現性もよい。
本発明の他の態様に係るカラー撮像素子において、前記第1のフィルタは、前記基本配列パターン内に市松模様状に配置されることが好ましい。これにより、第1のフィルタをカラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置させつつ、G画素の比率を他の色の画素数の合計と略同じ程度まで高くすることができる。
本発明の他の態様に係るカラー撮像素子において、前記第1のフィルタは、前記カラーフィルタ配列における前記第1のフィルタの配列と、前記カラーフィルタ配列を水平方向又は垂直方向に1/(N−1)で間引いたときのカラーフィルタ配列における前記第1のフィルタの配列とが略同じとなるように配置されることが好ましい。これにより、動画撮影時に間引き読み出しした画像において、画像処理の中心となる前記第1のフィルタの配列が略同じとなることで、画像処理の負荷を減らすことができる。
本発明の他の態様に係るカラー撮像素子において、前記第1のフィルタ及び前記第2のフィルタは、前記カラーフィルタ配列と、前記カラーフィルタ配列を水平方向又は垂直方向に1/(N−1)で間引いたときのカラーフィルタ配列とが略同じとなるように配置されることが好ましい。これにより、静止画撮影時の画像処理と動画撮影時の画像処理とを共通の処理とすることができる。
本発明の他の態様に係るカラー撮像素子において、前記第1のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に1つ以上配置されることが好ましい。
本発明の他の態様に係るカラー撮像素子において、前記カラーフィルタ配列は、前記第1のフィルタからなる2×2画素に対応する正方配列を含むことが好ましい。2×2画素の画素値を使用して、水平、垂直、斜め右上及び斜め右下方向のうちの相関の高い方向を判別することができる。
本発明の他の態様に係るカラー撮像素子において、前記所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称であることが好ましい。これにより、後段に処理回路の回路規模を小さくすることが可能になる。
本発明の他の態様に係るカラー撮像素子において、前記所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心を通る水平、垂直、斜め右上及び斜め右下方向の線のうちの少なくとも1つに対して線対称であることが好ましい。これにより、後段に処理回路の回路規模を小さくすることが可能になる。
本発明の他の態様に係るカラー撮像素子において、前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色であることが好ましい。
本発明の他の態様に係るカラー撮像素子において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記基本配列パターン内において、前記Rフィルタ、前記Gフィルタ及び前記Bフィルタは、前記カラーフィルタ配列の水平及び垂直方向に異なる色のフィルタが隣接するように配置されることが好ましい。これにより、Rフィルタ、Bフィルタが、基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されるという条件を満たす配列を作りやすくなる。
本発明の他の態様に係るカラー撮像素子において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記基本配列パターン内において、前記Rフィルタ、前記Gフィルタ及び前記Bフィルタは、前記カラーフィルタ配列の斜め右上又は斜め右下方向に沿って配置されることが好ましい。これにより、Rフィルタ、Bフィルタが、基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されるという条件を満たす配列を作りやすくなる。
本発明の他の態様に係るカラー撮像素子において、前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、前記基本配列パターン内において、前記Rフィルタ及び前記Bフィルタは、同じ数となるように、かつ不規則に配置されることが好ましい。これにより、偽色を低減させることができる。
本発明によれば、偽色の発生の抑圧及び高解像度化を図ることができると共に、従来のランダム配列に比べて後段の処理を簡略化することができる。
本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを配置した様子を示す図 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる2×2画素のG画素の画素値から相関方向を判別する方法を説明するために使用した図 本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図 第2の実施形態のカラー撮像素子を水平方向に1/(N−1)で間引いたカラーフィルタ配列を示す図 第2の実施形態のカラー撮像素子を垂直方向に1/(N−1)で間引いたカラーフィルタ配列を示す図 本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図 第3の実施形態のカラー撮像素子を水平方向に1/(N−1)で間引いたカラーフィルタ配列を示す図 第3の実施形態のカラー撮像素子を垂直方向に1/(N−1)で間引いたカラーフィルタ配列を示す図 第3の実施形態のカラー撮像素子1/(N−1)で間引いたカラーフィルタ配列のG画素のみを表した図 本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第6の実施形態を示す図 第6の実施形態のカラー撮像素子のカラーフィルタ配列における基本配列パターンのG画素のみを表示した図 本発明に係る単板式のカラー撮像素子の第7の実施形態を示す図 本発明に係る単板式のカラー撮像素子の第8の実施形態を示す図 第8の実施形態のカラー撮像素子のカラーフィルタ配列における基本配列パターンのG画素のみを表示した図 本発明に係る単板式のカラー撮像素子の第9の実施形態を示す図 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図
以下、添付図面に従って本発明に係るカラー撮像素子の好ましい実施の形態について詳説する。
<第1の実施の形態>
図1は本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
このカラー撮像素子は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子からなる複数の画素(図示せず)と、各画素の受光面上に配置された、図1に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
なお、カラー撮像素子は、CCD(Charge Coupled Device)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
<カラーフィルタ配列の特徴>
第1の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)及び(6)を有している。
〔特徴(1)〕
図1に示すカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるR、G、B信号の同時化(補間)処理(デモザイク処理)等を行う際に、繰り返しパターンに従って処理を行うことができる。
また、基本配列パターンPの単位で間引き処理して画像を縮小する場合、間引き処理された縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴(2)〕
図1に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。なお、NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺、短辺の長さに応じてその角度は変わりうる。すなわち、斜め右上方向は、画素の2つの対角線のうちの右上がり方向の対角線の方向であり、斜め右下方向は、画素の2つの対角線のうちの右下がり方向の対角線の方向である。
輝度系画素に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
〔特徴(3)〕
図1に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、20画素、8画素になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
上記のようにG画素の画素数とR,B画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R,B画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができると共に、高周波再現性もよくすることができる。
〔特徴(4)〕
図1に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
図2に示すように基本配列パターンPは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
A配列及びB配列は、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、A配列は、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列され、一方、B配列は、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
また、A配列とB配列の4隅のGフィルタは、図3に示すようにA配列とB配列とが水平、垂直方向に交互に配置されることにより、2×2画素に対応する正方配列のGフィルタとなる。
これは、輝度系画素であるGフィルタが、A配列又はB配列における3×3画素において4隅と中央に配置され、この3×3画素が水平方向、垂直方向に交互に配置されることで2×2画素に対応する正方配列のGフィルタが形成されるためである。なお、このような配列とすることで、前述の特徴(1),(2),(3),後述の特徴(5)が満たされる。
〔特徴(5)〕
図1に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。
図3に示すように、Gフィルタからなる2×2画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(右上斜め、左上斜め)のG画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
即ち、このカラーフィルタ配列によれば、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理(同時化処理)に使用することができる。
また、図2に示すように3×3画素のA配列又はB配列の画素を同時化処理の対象画素とし、A配列又はB配列を中心に5×5画素(モザイク画像の局所領域)を抽出した場合、前記5×5画素の4隅に2×2画素のG画素が存在することになる。これらの2×2画素のG画素の画素値を使用することにより、4方向の相関方向の判別を最小画素間隔のG画素の情報を使用して精度よく行うことができる。
〔特徴(6)〕
図1に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心(4つのGフィルタの中心)に対して点対称になっている。また、基本配列パターン内のA配列及びB配列も、それぞれ中心のGフィルタに対して点対称になっている。更に、基本配列パターン内のA配列及びB配列は、A配列及びB配列の中心(中心のGフィルタの中心)を通る線に対して線対称となっている。
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
図1に示すように太枠で示した基本配列パターンPにおいて、水平方向の第1から第6のラインのうちの第1及び第3のラインのカラーフィルタ配列は、GBGGRGであり、第2のラインのカラーフィルタ配列は、RGRBGBであり、第4及び第6のラインのカラーフィルタ配列は、GRGGBGであり、第5のラインのカラーフィルタ配列は、BGBRGRとなっている。
いま、図1において、基本配列パターンPを水平方向、及び垂直方向にそれぞれ1画素ずつシフトした基本配列パターンをP’、それぞれ2画素ずつシフトした基本配列パターンをP”とすると、これらの基本配列パターンP’、P”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図1に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。第1の実施形態では、基本配列パターンが点対称になっている基本配列パターンPを、便宜上、基本配列パターンという。
なお、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
<第2の実施の形態>
図4は本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
第2の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、(5)及び(6)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(7)を有している。なお、第1の実施形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
〔特徴(1)〕
図4に示すカラーフィルタ配列は、5×5画素に対応する正方配列パターンからなる基本配列パターンP1(太枠で示したパターン)を含み、この基本配列パターンP1が水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
基本配列パターンP1は、輝度系画素であるGフィルタが両対角線上に配置されている。また、基本配列パターンP1は、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列される。なお、図4に示す基本配列パターンP1は、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列された一例であり、これに限定されるものではない。
〔特徴(2)〕
図4に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。これは、奇数×奇数の基本配列パターンにおいてGフィルタが両対角線上に配置されたことによる効果である。
〔特徴(3)〕
図4に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、9画素、8画素になっている。即ち、RGB画素の各画素数の比率は、8:9:8になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
〔特徴(4)〕
図4に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。これは、基本配列パターンにおいてRフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列されたことによる効果である。
〔特徴(5)〕
図4に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。すなわち、基本配列パターンP1は4隅にG画素が配置されているので、基本配列パターンP1を水平方向及び垂直方向に2つずつ合計4個並べると、その中心部にGフィルタからなる2×2画素に対応する正方配列が出現する。また、基本配列パターンP1を中心に7×7画素(モザイク画像の局所領域)を抽出した場合、前記7×7画素の4隅に2×2画素のG画素が存在する。
〔特徴(6)〕
図4に示すカラーフィルタ配列の基本配列パターンP1は、基本配列パターンP1の中心(4つのGフィルタの中心)に対して点対称になっている。
また、図4にカラーフィルタ配列の基本配列パターンP1は、基本配列パターンP1の中心(4つのGフィルタの中心)を通る水平方向又は垂直方向の線に対して線対称となっている。
〔特徴(7)〕
図4に示すカラーフィルタ配列は、このカラーフィルタ配列を水平方向又は垂直方向に1/(N−1)で間引いたカラーフィルタ配列が、元のカラーフィルタ配列と略同じとなる。すなわち、水平方向又は垂直方向に1/(N−1)ラインおきに読み出した場合のカラーフィルタ配列が、元のカラーフィルタ配列と略同じとなる。
図5は、図4に示すカラーフィルタ配列を1/4(=1/(N−1)、N=5)で水平方向に間引き読み出ししたときのカラーフィルタ配列を示す。図6は、図4に示すカラーフィルタ配列を1/4(=1/(N−1)、N=5)で垂直方向に間引き読み出ししたときのカラーフィルタ配列を示す。図5に付されている数字は、図4に示すカラーフィルタ配列の左上から水平方向に1、2、3・・・列目と番号を振ったときのどの列が抽出されたかを示すものであり、図6に付されている数字は、図4に示すカラーフィルタ配列の左上から垂直方向に1、2、3・・・行目と番号を振ったときのどの行が抽出されたかを示すものである。なお、図5においては、説明のため図4に示すカラーフィルタ配列の1〜5行目のみが表示されており、図6においては、説明のため図4に示すカラーフィルタ配列の1〜5列目のみが表示されている。
図5に示す1/4間引きのカラーフィルタ配列は、5、9、13、17、21列目と1〜5行目が基本配列パターンP1となっており、水平、垂直方向に基本配列パターンP1が繰り返し出現する。すなわち、図5に示す1/4間引きのカラーフィルタ配列は、1列目を除き、元のカラーフィルタ配列と同一である。これは、基本配列パターンP1が、基本配列パターンP1の中心(4つのGフィルタの中心)を通る垂直方向の線に対して線対称となっていることによる特徴である。
図6に示す1/4間引きのカラーフィルタ配列は、5、9、13、17、21行目と1〜5列目が基本配列パターンP1となっており、水平、垂直方向に基本配列パターンP1が繰り返し出現する。すなわち、図6に示す1/4間引きのカラーフィルタ配列は、1列目を除き、元のカラーフィルタ配列と同一である。これは、基本配列パターンP1が、基本配列パターンP1の中心(4つのGフィルタの中心)を通る水平方向の線に対して線対称となっていることによる特徴である。
静止画撮影においては、全ての画素を用いて画像を取得するが、動画撮影においては、高速処理が必要となるためカラーフィルタ配列を間引いて画像を取得する。動画撮影時に1/(N−1)で間引き読み出しすることで、元のカラーフィルタ配列と、このカラーフィルタ配列を間引いた後のカラーフィルタ配列とが略同じとなる。これにより、静止画撮影時の画像処理と動画撮影時の画像処理とを共通の処理とすることができる。
なお、本実施の形態では、Gフィルタが対角線上に配置され、Rフィルタ及びBフィルタが水平、垂直方向に互いに隣接しないように配列された基本配列パターンP1を用いたが、これは一例であり、特徴(1)〜(6)を満たす5×5画素の基本配列パターンはこれに限定されるものではない。
<第3の実施の形態>
図7は本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
第3の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、(5)及び(6)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(8)を有している。なお、第1の実施形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
〔特徴(1)〕
図7に示すカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターンP2が水平方向及び垂直方向に繰り返し配置されている。この基本配列パターンは、輝度系画素であるGフィルタが少なくとも両対角線上に配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
〔特徴(2)〕
図7に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図7に示すカラーフィルタ配列の基本配列パターンP2は、その基本配列パターンP2内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ12画素、25画素、12画素になっている。即ち、RGB画素の各画素数の比率は、12:25:12になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
〔特徴(4)〕
図7に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP2内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。基本配列パターンP2においては、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列されているが、このように各色フィルタを配置することで特徴(4)を満足させる基本配列パターンを作りやすくすることができる。
〔特徴(5)〕
図7に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。すなわち、基本配列パターンP2は4隅にG画素が配置されているので、基本配列パターンP2を水平方向及び垂直方向に2つずつ合計4個並べると、少なくともその中心部にGフィルタからなる2×2画素に対応する正方配列が出現する。
〔特徴(6)〕
図7に示すカラーフィルタ配列の基本配列パターンP2は、基本配列パターンP2の中心(4つのGフィルタの中心)に対して点対称になっている。
〔特徴(8)〕
図7に示すカラーフィルタ配列は、このカラーフィルタ配列を水平方向又は垂直方向に1/(N−1)で間引いたカラーフィルタ配列のうちのGフィルタの配列が、元のカラーフィルタ配列のGフィルタの配列と略同じとなる。すなわち、水平方向又は垂直方向に1/(N−1)ラインおきに読み出した場合のカラーフィルタ配列のGフィルタの配列が、元のカラーフィルタ配列のGフィルタの配列と略同じとなる。
図8は、図4に示すカラーフィルタ配列を1/6(=1/(N−1)、N=7)で水平方向に間引き読み出ししたときのカラーフィルタ配列を示す。また、図9は、図4に示すカラーフィルタ配列を1/6(=1/(N−1)、N=5)で垂直方向に間引き読み出ししたときのカラーフィルタ配列を示す。図8に付されている数字は、図7に示すカラーフィルタ配列の左上から水平方向に1、2、3・・・列目と番号を振ったときのどの列が抽出されたかを示すものであり、図9に付されている数字は、図7に示すカラーフィルタ配列の左上から垂直方向に1、2、3・・・行目と番号を振ったときのどの行が抽出されたかを示すものである。なお、図8においては、説明のため図7に示すカラーフィルタ配列の1〜7行目のみが表示されており、図9においては、説明のため図7に示すカラーフィルタ配列の1〜7列目のみが表示されている。なお、図10は、図8、9に示す配列パターンP2’のGフィルタのみを表した図である。
図8に示す1/6間引きのカラーフィルタ配列において、7、13、19、25、31、37、43列目と1〜5行目で構成される配列パターンP2’のGフィルタの配列(図10参照)が、基本配列パターンP2のGフィルタの配列と同じである。配列パターンP2’は、水平、垂直方向に繰り返し出現する。すなわち、図8に示す1/6間引きのカラーフィルタ配列は、1列目を除き、元のカラーフィルタ配列と同一である。
図9に示す1/6間引きのカラーフィルタ配列において、7、13、19、25、31、37、43行目と1〜5列目で構成される配列パターンP2’のGフィルタの配列(図10参照)が、基本配列パターンP2のGフィルタの配列と同じである。配列パターンP2’は、水平、垂直方向に繰り返し出現する。すなわち、図9に示す1/6間引きのカラーフィルタ配列は、1列目を除き、元のカラーフィルタ配列と同一である。
このように、Gフィルタは、元のカラーフィルタ配列におけるGフィルタの配列と、このカラーフィルタ配列を水平方向又は垂直方向に1/(N−1)で間引いたときのカラーフィルタ配列におけるGフィルタの配列とが略同じとなるように配置されている。すなわち、1/(N−1)間引き読み出しの前後で、輝度系画素であるGフィルタと、その他の色のフィルタ(Rフィルタ及びBフィルタ)との位置関係が同じである。このように、画像処理の中心となるG画素の配置を略同じとすることで、画像処理の負荷を減らすことができる。また、画質の向上も容易となる。
<第4の実施の形態>
図11は本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
第4の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、(5)及び(6)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(7)を有している。なお、第1の実施形態及び第2の実施の形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
〔特徴(1)〕
図11に示すカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターンP3(太枠で示したパターン)を含み、この基本配列パターンP3が水平方向及び垂直方向に繰り返し配置されている。この基本配列パターンP3は、輝度系画素であるGフィルタが少なくとも両対角線上に配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
〔特徴(2)〕
図11に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図11に示すカラーフィルタ配列の基本配列パターンP3は、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ16画素、17画素、16画素になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
〔特徴(4)〕
図11に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
基本配列パターンP3においては、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列されているが、このように各色フィルタを配置することで特徴(4)を満足させる基本配列パターンを作りやすくすることができる。
〔特徴(5)〕
図11に示すカラーフィルタ配列の基本配列パターンP3は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。すなわち、基本配列パターンP1は4隅にG画素が配置されているので、基本配列パターンP1を水平方向及び垂直方向に2つずつ合計4個並べると、その中心部にGフィルタからなる2×2画素に対応する正方配列が出現する。
〔特徴(6)〕
図11に示すカラーフィルタ配列の基本配列パターンP3は、基本配列パターンP3の中心(4つのGフィルタの中心)に対して点対称になっている。また、基本配列パターンP3は、基本配列パターンP3の中心(中心のGフィルタの中心)を通る水平及び垂直方向の線に対して線対称となっている。
〔特徴(7)〕
図11に示すカラーフィルタ配列の基本配列パターンP3は、基本配列パターンP3の中心(中心のGフィルタの中心)を通る水平及び垂直方向の線に対して線対称となっている。したがって、図11に示すカラーフィルタ配列は、このカラーフィルタ配列を水平方向又は垂直方向に1/6(=1/(N−1)、N=7)で間引き読み出ししたカラーフィルタ配列が、元のカラーフィルタ配列と略同じとなる。
なお、基本配列パターンP3は、Gフィルタが対角線上に配置され、かつRフィルタ、Gフィルタ、Bフィルタが上下方向に隣接しないように配置され、特徴(1)〜(6)を満足するような基本配列パターンの一例であり、これに限定されない。
<第5の実施の形態>
図12は本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
第5の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)及び(5)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(8)を有している。なお、第1の実施形態及び第3の実施の形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
〔特徴(1)〕
図12に示すカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターンP4(太枠で示したパターン)を含み、この基本配列パターンP4が水平方向及び垂直方向に繰り返し配置されている。基本配列パターンP4は、輝度系画素であるGフィルタが少なくとも両対角線上に配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
ただし、基本配列パターンP4内では、R、Bの各色のフィルタ(Rフィルタ、Bフィルタ)は不規則に配置されている。これにより、偽色を低減させることができる。
〔特徴(2)〕
図12に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図12に示すカラーフィルタ配列の基本配列パターンP4は、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ14画素、21画素、14画素になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
〔特徴(4)〕
図12に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP2内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
〔特徴(5)〕
図12に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。すなわち、基本配列パターンP4は4隅にG画素が配置されているので、基本配列パターンP1を水平方向及び垂直方向に2つずつ合計4個並べると、その中心部にGフィルタからなる2×2画素に対応する正方配列が出現する。
〔特徴(8)〕
図12に示すカラーフィルタ配列の基本配列パターンP4は、基本配列パターンP4の中心のGフィルタを通る水平、垂直、斜め右上及び斜め右下方向の線のいずれに対しても線対称ではない。したがって、図12に示すカラーフィルタ配列は、このカラーフィルタ配列を水平方向又は垂直方向に1/6(=1/(N−1)、N=7)で間引き読み出ししたカラーフィルタ配列のうちのGフィルタの配列が、元のカラーフィルタ配列のGフィルタの配列と略同じとなる。
<第6の実施の形態>
図13は本発明に係る単板式のカラー撮像素子の第6の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
第6の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、(5)及び(6)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(8)を有している。なお、第1の実施形態及び第3の実施の形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
〔特徴(1)〕
図13に示すカラーフィルタ配列は、5×5画素に対応する正方配列パターンからなる基本配列パターンP5が水平方向及び垂直方向に繰り返し配置されている。この基本配列パターンP5は、輝度系画素であるGフィルタが市松模様状に配置されている。なお、市松模様は、チェッカーパターンともいうことができる。
図14は、基本配列パターンP5のGフィルタのみを表示した図である。図14に示すように、基本配列パターンP5では、Gフィルタは、基本配列パターンP2と同様に2つの対角線上に配置され、それに加えて各辺の中央4箇所にも配置されている。
また、図13に示すように、Rフィルタ、Gフィルタ、Bフィルタは、斜め右下がり方向に沿って配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
〔特徴(2)〕
図13に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。なお、NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。これは、奇数×奇数画素の基本配列パターンにおいてGフィルタが少なくとも2つの対角線上に配置されたことによる効果である。
〔特徴(3)〕
図13に示すカラーフィルタ配列の基本配列パターンP5は、その基本配列パターンP5内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ6画素、13画素、6画素になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。市松模様状にGフィルタを配置することで、G画素の比率を他の色の画素数の合計と略同じ程度まで高くすることができる。
〔特徴(4)〕
図13に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP5内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
〔特徴(5)〕
図13に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。すなわち、基本配列パターンP5は4隅にG画素が配置されているので、基本配列パターンP5を水平方向及び垂直方向に2つずつ合計4個並べると、その中心部にGフィルタからなる。
〔特徴(6)〕
図13に示すカラーフィルタ配列の基本配列パターンP5は、基本配列パターンP5の中心(中心のGフィルタの中心)を通る斜め右上がりの対角線に対して線対称となっている。
〔特徴(8)〕
図13に示すカラーフィルタ配列の基本配列パターンP5は、基本配列パターンP5の中心のGフィルタの中心を通る水平方向又は垂直方向の線に対して線対称ではない。したがって、図13に示すカラーフィルタ配列の基本配列パターンP5は、このカラーフィルタ配列を水平方向又は垂直方向に1/4(=1/(N−1)、N=5)で間引き読み出ししたカラーフィルタ配列のうちのGフィルタの配列が、元のカラーフィルタ配列のGフィルタの配列と略同じとなる。
なお、本実施の形態では、Gフィルタを市松模様状に配置すると共に、Rフィルタ、Gフィルタ、Bフィルタは、斜め右下がり方向に沿って並べて配置したが、これは一例であり、Gフィルタを市松模様状に配置すると共に、Rフィルタ、Gフィルタ、Bフィルタを斜め方向に沿って配置する方法は多数存在し、全て同様の特徴が得られる。
<第7の実施の形態>
図15は本発明に係る単板式のカラー撮像素子の第7の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
第7の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)及び(5)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(8)を有している。なお、第1の実施形態及び第3の実施の形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
〔特徴(1)〕
図15に示すカラーフィルタ配列は、5×5画素に対応する正方配列パターンからなる基本配列パターンP6(太枠で示したパターン)を含み、この基本配列パターンP6が水平方向及び垂直方向に繰り返し配置されている。
基本配列パターンP6は、基本配列パターンP5と同様に、輝度系画素であるGフィルタが市松模様状、すなわち両対角線上及び各辺中央4箇所に配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
ただし、基本配列パターンP6内においては、R、Bの各色のフィルタ(Rフィルタ、Bフィルタ)が不規則に配置されている。これにより、偽色を低減させることができる。
〔特徴(2)〕
図15に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図15に示すカラーフィルタ配列の基本配列パターンP6は、基本配列パターンP5と同様に、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ6画素、13画素、6画素になっている。即ち、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
〔特徴(4)〕
図15に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP6内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
〔特徴(5)〕
図15に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。すなわち、基本配列パターンP4は4隅にG画素が配置されているので、基本配列パターンP4を水平方向及び垂直方向に2つずつ合計4個並べると、その中心部にGフィルタからなる2×2画素に対応する正方配列が出現する。
〔特徴(8)〕
図15に示すカラーフィルタ配列の基本配列パターンP6は、基本配列パターンP6の中心のGフィルタの中心を通る水平方向又は垂直方向の線に対して線対称ではない。したがって、図15に示すカラーフィルタ配列の基本配列パターンP6は、このカラーフィルタ配列を水平方向又は垂直方向に1/4(=1/(N−1)、N=5)で間引き読み出ししたカラーフィルタ配列のうちのGフィルタの配列が、元のカラーフィルタ配列のGフィルタの配列と略同じとなる。
<第8の実施の形態>
図16は本発明に係る単板式のカラー撮像素子の第8の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
第8の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、(5)及び(6)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(8)を有している。なお、第1の実施形態及び第3の実施の形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
〔特徴(1)〕
図16に示すカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターンP7が水平方向及び垂直方向に繰り返し配置されている。この基本配列パターンP7は、輝度系画素であるGフィルタが市松模様状に配置されている。
図17は、基本配列パターンP7のGフィルタのみを表示した図である。図17に示すように、基本配列パターンP7では、Gフィルタは、基本配列パターンP2と同様に2つの対角線上に配置され、それに加えて各辺の中央4箇所に各3個配置されている。
また、図16に示すように、Rフィルタ、Gフィルタ、Bフィルタは、斜め右下がり方向に沿って配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
〔特徴(2)〕
図16に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。これは、奇数×奇数画素の基本配列パターンにおいてGフィルタが少なくとも2つの対角線上に配置されたことによる効果である。
〔特徴(3)〕
図16に示すカラーフィルタ配列の基本配列パターンP7は、その基本配列パターンP7内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ12画素、25画素、12画素になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。市松模様状にGフィルタを配置することで、G画素の比率を他の色の画素数の合計と略同じ程度まで高くすることができる。
〔特徴(4)〕
図16に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP7内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
〔特徴(5)〕
図16に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。すなわち、基本配列パターンP7は4隅にG画素が配置されているので、基本配列パターンP5を水平方向及び垂直方向に2つずつ合計4個並べると、その中心部にGフィルタからなる。
〔特徴(6)〕
図16に示すカラーフィルタ配列の基本配列パターンP7は、基本配列パターンP7の中心(中心のGフィルタの中心)を通る斜め右上がりの対角線に対して線対称となっている。
〔特徴(8)〕
図16に示すカラーフィルタ配列の基本配列パターンP7は、基本配列パターンP7の中心のGフィルタの中心を通る水平方向又は垂直方向の線に対して線対称ではない。したがって、図16に示すカラーフィルタ配列の基本配列パターンP7は、このカラーフィルタ配列を水平方向又は垂直方向に1/6(=1/(N−1)、N=7)で間引き読み出ししたカラーフィルタ配列のうちのGフィルタの配列が、元のカラーフィルタ配列のGフィルタの配列と略同じとなる。
なお、本実施の形態では、Gフィルタを市松模様状に配置すると共に、Rフィルタ、Gフィルタ、Bフィルタは、斜め右下がり方向に沿って配置したが、これは一例であり、Gフィルタを市松模様状に配置すると共に、Rフィルタ、Gフィルタ、Bフィルタを斜め方向に沿って配置する方法は多数存在し、全て同様の特徴が得られる。
<第9の実施の形態>
図18は本発明に係る単板式のカラー撮像素子の第9の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
第9の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)及び(5)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(8)を有している。なお、第1の実施形態及び第3の実施の形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
〔特徴(1)〕
図18に示すカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターンP8(太枠で示したパターン)を含み、この基本配列パターンP8が水平方向及び垂直方向に繰り返し配置されている。
基本配列パターンP8は、基本配列パターンP7と同様に、輝度系画素であるGフィルタが市松模様状、すなわち両対角線上に加えて各辺中央4箇所に3個ずつに配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
ただし、基本配列パターンP8内においては、R、Bの各色のフィルタ(Rフィルタ、Bフィルタ)が不規則に配置されている。これにより、偽色を低減させることができる。
〔特徴(2)〕
図18に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。
〔特徴(3)〕
図18に示すカラーフィルタ配列の基本配列パターンP8は、基本配列パターンP7と同様に、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ12画素、25画素、12画素になっている。即ち、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
〔特徴(4)〕
図18に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP8内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
〔特徴(5)〕
図18に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。すなわち、基本配列パターンP8は4隅にG画素が配置されているので、基本配列パターンP4を水平方向及び垂直方向に2つずつ合計4個並べると、その中心部にGフィルタからなる2×2画素に対応する正方配列が出現する。
〔特徴(8)〕
図18に示すカラーフィルタ配列の基本配列パターンP8は、基本配列パターンP8の中心のGフィルタの中心を通る水平方向又は垂直方向の線に対して線対称ではない。したがって、図18に示すカラーフィルタ配列の基本配列パターンP8は、このカラーフィルタ配列を水平方向又は垂直方向に1/6(=1/(N−1)、N=7)で間引き読み出ししたカラーフィルタ配列のうちのGフィルタの配列が、元のカラーフィルタ配列のGフィルタの配列と略同じとなる。
なお、上記実施の形態では、N×Nの基本配列パターンとして、主として5×5画素、7×7画素の基本配列パターンを例に説明したが、本発明の技術的範囲に含まれる基本配列パターンはこれに限定されるものではない。特徴(1)〜(5)又は(1)〜(6)及び特徴(7)又は(8)を満たすのであれば、基本配列パターンはNが5以上の奇数、例えばは9×9画素や11×11画素であればよい。ただし、同時化処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Nは10以下であることが望ましい。また、特徴(1)〜(5)又は(1)〜(6)を満たすN×N基本配列パターンは、Nが5以上の奇数に限定されるものでもない。例えば、第1の実施の形態のように、3×3画素の基本配列パターンが上下左右に2つずつ配列された6×6画素の基本配列パターンも特徴(1)〜(6)を満足する。また、第2の実施の形態や第6の実施の形態のような5×5画素の基本配列パターンを上下左右に2つずつ配列して構成した10×10画素の基本配列パターンも特徴(1)〜(6)を満足する。すなわち、奇数×奇数に分解可能な偶数×偶数の基本配列パターンも本発明の技術的範囲に含まれる。また、特徴(7)を満足する実施形態においては、特徴(8)についても満足する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。例えば、上記実施形態では、RGBの3原色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、上述の実施形態に限定されず、RGBの3原色+他の色(例えばエメラルド(E))の4色のカラーフィルタのカラーフィルタ配列でもよい。また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも適用できる。

Claims (12)

  1. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列されたN×N(N:5以上の奇数)の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    前記第1のフィルタは、少なくとも前記基本配列パターン内の2つの対角線上に配置され、
    前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく、
    前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されているカラー撮像素子。
  2. 前記第1のフィルタは、前記基本配列パターン内に市松模様状に配置された請求項1に記載のカラー撮像素子。
  3. 前記第1のフィルタは、前記カラーフィルタ配列における前記第1のフィルタの配列と、前記カラーフィルタ配列を水平方向又は垂直方向に1/(N−1)で間引いた時のカラーフィルタ配列における前記第1のフィルタの配列とが略同じとなるように配置される請求項1又は2に記載のカラー撮像素子。
  4. 前記第1のフィルタ及び前記第2のフィルタは、前記カラーフィルタ配列と、前記カラーフィルタ配列を水平方向又は垂直方向に1/(N−1)で間引いた時のカラーフィルタ配列とが略同じとなるように配置される請求項3に記載のカラー撮像素子。
  5. 前記第1のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に1つ以上配置された請求項1から4のいずれか1項に記載のカラー撮像素子。
  6. 前記カラーフィルタ配列は、前記第1のフィルタからなる2×2画素に対応する正方配列を含む請求項1から5のいずれか1項に記載のカラー撮像素子。
  7. 前記所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称である請求項1から6のいずれか1項に記載のカラー撮像素子。
  8. 前記所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心を通る水平、垂直、斜め右上及び斜め右下方向の線のうちの少なくとも1つに対して線対称である請求項1から7のいずれか1項に記載のカラー撮像素子。
  9. 前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色である請求項1から8のいずれか1項に記載のカラー撮像素子。
  10. 前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
    前記基本配列パターン内において、前記Rフィルタ、前記Gフィルタ及び前記Bフィルタは、前記カラーフィルタ配列の水平及び垂直方向に異なる色のフィルタが隣接するように配置される請求項9に記載のカラー撮像素子。
  11. 前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
    前記基本配列パターン内において、前記Rフィルタ、前記Gフィルタ及び前記Bフィルタは、前記カラーフィルタ配列の斜め右上又は斜め右下方向に沿って配置される請求項9に記載のカラー撮像素子。
  12. 前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
    前記基本配列パターン内において、前記Rフィルタ及び前記Bフィルタは、同じ数となるように、かつ不規則に配置される請求項9に記載のカラー撮像素子。
JP2013500997A 2011-02-21 2012-02-17 カラー撮像素子 Active JP5345258B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013500997A JP5345258B2 (ja) 2011-02-21 2012-02-17 カラー撮像素子

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011034627 2011-02-21
JP2011034627 2011-02-21
JP2011162415 2011-07-25
JP2011162415 2011-07-25
JP2011286006 2011-12-27
JP2011286006 2011-12-27
JP2013500997A JP5345258B2 (ja) 2011-02-21 2012-02-17 カラー撮像素子
PCT/JP2012/053776 WO2012114993A1 (ja) 2011-02-21 2012-02-17 カラー撮像素子

Publications (2)

Publication Number Publication Date
JP5345258B2 true JP5345258B2 (ja) 2013-11-20
JPWO2012114993A1 JPWO2012114993A1 (ja) 2014-07-07

Family

ID=46720774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013500997A Active JP5345258B2 (ja) 2011-02-21 2012-02-17 カラー撮像素子

Country Status (5)

Country Link
US (1) US8804015B2 (ja)
EP (1) EP2680592B1 (ja)
JP (1) JP5345258B2 (ja)
CN (1) CN103299643B (ja)
WO (1) WO2012114993A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
WO2012127701A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014007281A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
KR102224851B1 (ko) 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
EP3131292B1 (en) * 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001085664A (ja) * 1999-07-15 2001-03-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2007306490A (ja) * 2006-05-15 2007-11-22 Fujifilm Corp 二次元カラー固体撮像素子
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JP3925588B2 (ja) * 1997-11-25 2007-06-06 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
DE69924308T2 (de) * 1998-01-20 2006-03-09 Hewlett-Packard Development Co., L.P., Houston Farbbildaufnahmegerät
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
JP4835719B2 (ja) * 2008-05-22 2011-12-14 ソニー株式会社 固体撮像装置及び電子機器
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001085664A (ja) * 1999-07-15 2001-03-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2007306490A (ja) * 2006-05-15 2007-11-22 Fujifilm Corp 二次元カラー固体撮像素子
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成

Also Published As

Publication number Publication date
WO2012114993A1 (ja) 2012-08-30
JPWO2012114993A1 (ja) 2014-07-07
EP2680592A4 (en) 2015-01-21
CN103299643B (zh) 2015-01-21
EP2680592A1 (en) 2014-01-01
US8804015B2 (en) 2014-08-12
EP2680592B1 (en) 2016-04-06
US20130286263A1 (en) 2013-10-31
CN103299643A (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
JP5054856B1 (ja) カラー撮像素子
JP5345258B2 (ja) カラー撮像素子
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5095040B1 (ja) カラー撮像素子
JP5702896B2 (ja) カラー撮像素子及び撮像装置
JP5380629B2 (ja) カラー撮像素子
JP5621054B2 (ja) カラー撮像素子
US8982253B2 (en) Color imaging element
JPWO2014007281A1 (ja) カラー撮像素子及び撮像装置
JP5702895B2 (ja) カラー撮像素子および撮像装置
WO2014006929A1 (ja) カラー撮像素子および撮像装置
JP5411390B2 (ja) カラー撮像素子
JP5607267B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130726

R150 Certificate of patent or registration of utility model

Ref document number: 5345258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250