JPWO2014033976A1 - 固体撮像素子、撮像装置および信号処理方法 - Google Patents

固体撮像素子、撮像装置および信号処理方法 Download PDF

Info

Publication number
JPWO2014033976A1
JPWO2014033976A1 JP2014506679A JP2014506679A JPWO2014033976A1 JP WO2014033976 A1 JPWO2014033976 A1 JP WO2014033976A1 JP 2014506679 A JP2014506679 A JP 2014506679A JP 2014506679 A JP2014506679 A JP 2014506679A JP WO2014033976 A1 JPWO2014033976 A1 JP WO2014033976A1
Authority
JP
Japan
Prior art keywords
light
photosensitive cell
incident
refractive index
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014506679A
Other languages
English (en)
Other versions
JP6039649B2 (ja
Inventor
平本 政夫
政夫 平本
青児 西脇
青児 西脇
藤井 俊哉
俊哉 藤井
中村 達也
達也 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2014033976A1 publication Critical patent/JPWO2014033976A1/ja
Application granted granted Critical
Publication of JP6039649B2 publication Critical patent/JP6039649B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14629Reflectors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Abstract

固体撮像素子は、第1から第4の光感知セル2a〜2dを含む光感知セルアレイと、第1の光感知セル2aに対向して配置された第1の分光要素1a、および第3の光感知セル2cに対向して配置された第2の分光要素1bを含む分光要素アレイと、第1のマイクロレンズ4aおよび第2のマイクロレンズ4bを含むマイクロレンズアレイとを備える。第1の分光要素1aは、第1のマイクロレンズ4aを介して入射する光のうち、第1および第2の色成分の光を第1および第2の光感知セル2a、2bにそれぞれ入射させ、第2の分光要素1bは、第2のマイクロレンズ4bを介して入射する光のうち、第3および第4の色成分の光を第3および第4の光感知セル2c、2dにそれぞれ入射させる。第2および第4の光感知セル2b、2dには、第1および第2のマイクロレンズ4a、4bを経由しない光も入射する。

Description

本願は、固体撮像素子の高感度化およびカラー化の技術に関する。
近年、CCDやCMOS等の固体撮像素子(以下、「撮像素子」と称する場合がある。)を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られ、撮像素子の高性能化が進んでいる。特に近年では、固体撮像素子の配線層が形成された面(表面)側ではなく裏面側で受光する裏面照射型(backside illumination)の撮像素子を用いたカメラも開発され、その特性等が注目されている。その一方で撮像素子の多画素化に伴い、1画素の受ける光量が低下するため、カメラの感度が低下するという問題が起きている。
カメラの感度低下は、多画素化による原因以外にも、色分離用の色フィルタが用いられることにも原因がある。通常のカラーカメラでは、撮像素子の各光感知セルに対向して有機顔料を色素とする減色型の色フィルタが配置される。色フィルタは、利用する色成分以外の光を吸収するため、このような色フィルタを用いた場合、カメラの光利用率は低下する。例えば、赤(R)1画素、緑(G)2画素、青(B)1画素を基本構成とするベイヤー型の色フィルタ配列をもつカラーカメラでは、R、G、Bの各色フィルタは、それぞれR、G、B光のみを透過させ、残りの光を吸収する。したがって、ベイヤー配列によるカラーカメラにおいて利用される光は、入射光全体の約1/3である。このように、色フィルタを用いることは、光の利用効率の低下を招き、カラーカメラの感度低下の原因となる。
これに対し、色フィルタの代わりに光を波長に応じて分光する分光要素を用いて光利用率を高めるカラー化技術が特許文献1に開示されている。この技術によれば、光感知セルに対応して配置された分光要素によって光が波長域に応じて異なる光感知セルに入射する。個々の光感知セルは、複数の分光要素から異なる波長域の成分が重畳された光を受ける。その結果、各光感知セルから出力される光電変換信号を用いた信号演算によって色信号を生成することができる。
また、斜交型の画素配列(所謂ハニカム配列)を有する撮像素子に分光要素を適用したカラー化技術が特許文献2に開示されている。この技術によれば、特許文献1と同様、光利用率を高めることができる。
国際公開第2009/153937号 国際公開第2010/070869号 国際公開第2009/019818号 特開昭59−137909号公報
本発明の実施形態は、分光要素を備える新規な固体撮像素子および撮像装置を提供することができる。
上記課題を解決するために、本発明の一態様に係る固体撮像素子は、各々が第1の光感知セル、第2の光感知セル、第3の光感知セル、および第4の光感知セルを含む複数の単位ブロックが撮像面に2次元的に配列された光感知セルアレイと、前記第1の光感知セルに対向して配置された第1の分光要素、および前記第3の光感知セルに対向して配置された第2の分光要素を含む分光要素アレイと、前記第1の分光要素および前記第1の光感知セルを覆い、かつ前記第2の光感知セルの一部を覆うように配置された第1のマイクロレンズ、および前記第2の分光要素および前記第3の光感知セルを覆い、かつ前記第4の光感知セルの一部を覆うように配置された第2のマイクロレンズを含むマイクロレンズアレイとを備える。前記マイクロレンズアレイは、前記第1および第2のマイクロレンズが設けられていない領域のうち前記第2の光感知セルに対向する領域に入射した光が前記第2の光感知セルに入射し、前記第1および第2のマイクロレンズが設けられていない領域のうち前記第4の光感知セルに対向する領域に入射した光が前記第4の光感知セルに入射するように構成されている。前記第1の分光要素は、前記第1のマイクロレンズを介して入射する光のうち、第1の色成分の光を前記第1の光感知セルに入射させ、前記第1のマイクロレンズを介して入射する光のうち、第2の色成分の光を前記第2の光感知セルに入射させる。前記第2の分光要素は、前記第2のマイクロレンズを介して入射する光のうち、第3の色成分の光を前記第3の光感知セルに入射させ、前記第2のマイクロレンズを介して入射する光のうち、第4の色成分の光を前記第4の光感知セルに入射させる。
本発明の実施形態によれば、光利用効率および解像度の十分高いカラー撮像が可能となる。
固体撮像素子10における光感知セルアレイ200、分光要素アレイ100、およびマイクロレンズアレイ400の配置関係を模式的に示す斜視図である。 (a)は固体撮像素子10の基本構成の一例を示す平面図であり、(b)はAA´線断面図であり、(c)はBB´線断面図である。 G、Mg、Cb、Yrの各色成分の光についての波長に対する強度の例を示す図である。 実施形態1による撮像装置の概略構成を示すブロック図である。 実施形態1におけるレンズと撮像素子を示す図である。 実施形態1における撮像素子の画素配列の一例を示す図である。 撮像素子の画素配列の変形例を示す図である。 実施形態1における撮像素子の基本構造を示す平面図である。 マイクロレンズ4に注目した部分平面図である。 (a)は図6AにおけるAA´線断面図であり、(b)は図6AにおけるBB´線断面図である。 (a)〜(c)は、分光要素アレイ100の製造方法の一例を示す工程断面図である。 第1低屈折率透明層6aの上に他の低屈折率透明層6a’のパターンが形成された構造の一部を示す斜視図である。 実施形態1において、非分光部3が存在しないと仮定した場合の光の分布を示す図である。 実施形態1における光の分布を示す図である。 1つの単位ブロックにおける光の分布を示す図である。 実施形態1における色情報生成処理の手順を示すフロー図である。 (a)から(d)は、演算単位が1画素ずつずれるに従って信号の読出し順が変化することを説明するための図である。 実施形態1の変形例における撮像素子の構造を示す平面図である。
本発明の例示的な実施形態の概要は以下のとおりである。
(1)本発明の一態様に係る固体撮像素子は、各々が第1の光感知セル、第2の光感知セル、第3の光感知セル、および第4の光感知セルを含む複数の単位ブロックが撮像面に2次元的に配列された光感知セルアレイと、前記第1の光感知セルに対向して配置された第1の分光要素、および前記第3の光感知セルに対向して配置された第2の分光要素を含む分光要素アレイと、前記第1の分光要素および前記第1の光感知セルを覆い、かつ前記第2の光感知セルの一部を覆うように配置された第1のマイクロレンズ、および前記第2の分光要素および前記第3の光感知セルを覆い、かつ前記第4の光感知セルの一部を覆うように配置された第2のマイクロレンズを含むマイクロレンズアレイであって、前記第1および第2のマイクロレンズが設けられていない領域のうち前記第2の光感知セルに対向する領域に入射した光が前記第2の光感知セルに入射し、前記第1および第2のマイクロレンズが設けられていない領域のうち前記第4の光感知セルに対向する領域に入射した光が前記第4の光感知セルに入射するように構成されたマイクロレンズアレイとを備える。前記第1の分光要素は、前記第1のマイクロレンズを介して入射する光のうち、第1の色成分の光を前記第1の光感知セルに入射させ、前記第1のマイクロレンズを介して入射する光のうち、第2の色成分の光を前記第2の光感知セルに入射させる。前記第2の分光要素は、前記第2のマイクロレンズを介して入射する光のうち、第3の色成分の光を前記第3の光感知セルに入射させ、前記第2のマイクロレンズを介して入射する光のうち、第4の色成分の光を前記第4の光感知セルに入射させる。
(2)項目(1)に記載の固体撮像素子のある態様において、前記第1および第2の分光要素の各々は、高屈折率透明部と、前記高屈折率透明部の屈折率よりも低い屈折率を有し前記高屈折率透明部の周囲に設けられた低屈折率透明部とを有し、前記第1の分光要素における前記高屈折率透明部の形状およびサイズの少なくとも一方は、前記第2の分光要素における前記高屈折率透明部のものと異なっている。
(3)項目(2)に記載の固体撮像素子のある態様において、前記第1の分光要素における前記高屈折率透明部および前記第2の分光要素における前記高屈折率透明部は、前記撮像面に垂直な板状の形状を有し、互いに平行に配置されている。
(4)項目(3)に記載の固体撮像素子のある態様において、前記第1の分光要素における前記高屈折率透明部の向きは、隣接単位ブロックに対向する前記第1の分光要素における前記高屈折率透明部の向きと90度異なっており、前記第2の分光要素における前記高屈折率透明部の向きは、隣接単位ブロックに対向する前記第2の分光要素における前記高屈折率透明部の向きと90度異なっている。
(5)項目(1)から(4)のいずれかに記載の固体撮像素子のある態様において、前記分光要素アレイは、最近接する2つの前記第1の分光要素による分光の方向の前記撮像面に平行な成分が互いに直交し、最近接する2つの前記第2の分光要素による分光の方向の前記撮像面に平行な成分が互いに直交するように構成されている。
(6)項目(1)から(5)のいずれかに記載の固体撮像素子のある態様において、前記第1の分光要素は、入射光に含まれる前記第2の色成分の光の半分を前記第2の光感知セルに入射させ、前記第2の色成分の光の残りの半分をいずれかの隣接単位ブロックにおける前記第2の光感知セルに入射させ、前記第2の分光要素は、入射光に含まれる前記第4の色成分の光の半分を前記第4の光感知セルに入射させ、前記第4の色成分の光の残りの半分をいずれかの隣接単位ブロックにおける前記第4の光感知セルに入射させる。
(7)項目(1)から(6)のいずれかに記載の固体撮像素子のある態様において、前記第2の光感知セルは、前記第1の分光要素およびいずれかの隣接単位ブロックにおける前記第1の分光要素から入射する前記第2の色成分の光と、前記第1および第2のマイクロレンズを介さずに入射する前記第1および第2の色成分の光とを受け、受けた光に応じた光電変換信号を出力し、前記第4の光感知セルは、前記第2の分光要素およびいずれかの隣接単位ブロックにおける前記第4の分光要素から入射する前記第4の色成分の光と、前記第1および第2のマイクロレンズを介さずに入射する前記第3および第4の色成分の光とを受け、受けた光に応じた光電変換信号を出力する。
(8)項目(1)から(7)のいずれかに記載の固体撮像素子のある態様において、前記第1の分光要素は、入射光に含まれる前記第1の色成分の光のほぼ全てを対向する前記第1の光感知セルに入射させ、前記第2の分光要素は、入射光に含まれる前記第3の色成分の光のほぼ全てを対向する前記第3の光感知セルに入射させる。
(9)項目(1)から(8)のいずれかに記載の固体撮像素子のある態様において、前記第2の色成分は、前記第1の色成分の補色であり、前記第4の色成分は、前記第3の色成分の補色である。
(10)項目(1)から(9)のいずれかに記載の固体撮像素子のある態様において、前記第1の色成分は、マゼンタおよび緑の一方であり、前記第2の色成分は、マゼンタおよび緑の他方であり、前記第3の色成分は、緑の一部を含む赤、および緑の一部を含む青の一方であり、前記第4の色成分は、緑の一部を含む赤、および緑の一部を含む青の他方である。
(11)本発明の一態様に係る撮像装置は、項目(1)から(10)のいずれかに記載の固体撮像素子と、前記固体撮像素子に像を形成する光学系と、前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第1の光感知セルから出力される第1の光電変換信号、前記第2の光感知セルから出力される第2の光電変換信号、前記第3の光感知セルから出力される第3の光電変換信号、および前記第4の光感知セルから出力される第4の光電変換信号を用いた演算によって色情報を生成する信号処理部とを備える。
(12)本発明の一態様に係る方法は、項目(1)から(10)のいずれかに記載の固体撮像素子から出力される信号を処理する方法であって、前記第1の光感知セルから出力される第1の光電変換信号、前記第2の光感知セルから出力される第2の光電変換信号、前記第3の光感知セルから出力される第3の光電変換信号、および前記第4の光感知セルから出力される第4の光電変換信号を取得するステップと、前記第1から第4の光電変換信号を用いて色情報を生成するステップとを含む。
(13)本発明の一態様に係るプログラムは、項目(1)から(10)のいずれかに記載の固体撮像素子から出力される信号を処理するためのプログラムであって、コンピュータに対し、前記第1の光感知セルから出力される第1の光電変換信号、前記第2の光感知セルから出力される第2の光電変換信号、前記第3の光感知セルから出力される第3の光電変換信号、および前記第4の光感知セルから出力される第4の光電変換信号を取得するステップと、前記第1から第4の光電変換信号を用いて色情報を生成するステップとを実行させる。
以下、本発明の具体的な実施形態を説明する前に、まず図1を参照しながら、本発明の一実施形態における固体撮像素子10の基本構成および動作原理を説明する。以下の説明において、波長域または色成分の異なる光を空間的に分離することを「分光」と称することがある。また、光を検知する空間的な最小単位を「光感知セル」または「画素」と称する。説明には図中に示すxyz座標を用いる。撮像素子10の撮像面を「xy平面」とし、撮像面における水平方向に「x軸」、撮像面における垂直方向に「y軸」、撮像面に垂直な方向に「z軸」をとる。なお、「水平方向」および「垂直方向」とは、生成される画像の横方向および縦方向にそれぞれ対応する撮像面上の方向を意味する。
図1は、一実施形態における撮像素子10の一部を模式的に示す斜視図である。撮像素子10は、撮像面上に2次元的に配列された複数の光感知セル2(以下、「画素」と称することもある。)を含む光感知セルアレイ200と、複数の分光要素を含む分光要素アレイ100と、複数のマイクロレンズ4を含むマイクロレンズアレイ400とを備える。撮像素子10に入射する光は、マイクロレンズアレイ400、分光要素アレイ100、光感知セルアレイ200の順に入射し、各光感知セル2によって電気信号に変換される。図1では、分光要素アレイ100は、簡単のため四角柱で表されているが、実際にはこのような形状を有しているわけではなく、より詳細な構造を有している。
各光感知セル2は、光を受けると、光電変換によって受けた光の強度に応じた電気信号(以下、「光電変換信号」または「画素信号」と呼ぶことがある。)を出力する。各光感知セル2は、分光要素アレイ100に含まれる分光要素によって分光された光を受ける。
光感知セルアレイ200は、各々が4つの光感知セルを含む複数の単位ブロックから構成されている。各単位ブロックにおける2つの光感知セルに対向して、分光特性の異なる2つの分光要素が配置されている。これらの分光要素全体によって分光要素アレイ100が構成されている。更に、各分光要素に対向してマイクロレンズ4が配置されている。
図2は、撮像素子10の基本構造を示す模式図である。図2(a)は、光感知セルアレイ200の1つの単位ブロックを構成する4つの光感知セル2a〜2dと、それらに対向して配置される2つの分光要素1a、1bと、2つのマイクロレンズ4a、4bとを示す平面図である。図2(b)、(c)は、それぞれ図2(a)におけるAA´線断面、BB´線断面を模式的に示す図である。この例では、4つの光感知セル2a〜2dは2行2列に配列されているが、このような例に限定されない。例えば、後述する実施形態のように、4つの光感知セル2a〜2dが斜め方向に蛇行するような形状で配列されていてもよい。
図2(a)に示すように、第1の光感知セル2aに対向して第1の分光要素1aが配置され、第3の光感知セル2cに対向して第2の分光要素1bが配置されている。また、第1の分光要素1aおよび第1の光感知セル2aを覆い、かつ第2の光感知セル2bの一部を覆うように第1のマイクロレンズ4aが配置されている。同様に、第2の分光要素1bおよび第3の分光要素1cを覆い、かつ第4の光感知セル2dの一部を覆うように第2のマイクロレンズ4bが配置されている。このような構成により、マイクロレンズ4aに入射した光は、分光要素1aに集束され、波長域(色成分)に応じて分光される。同様に、マイクロレンズ4bに入射した光は、分光要素1bに集光され、波長域(色成分)に応じて分光される。一方、マイクロレンズ4a、4bが設けられていない領域のうち、第2の光感知セル2bに対向する領域に入射した光は、分光されることなく第2の光感知セル2bに入射する。同様に、マイクロレンズ4a、4bが設けられていない領域のうち、第4の光感知セル2dに対向する領域に入射した光は、分光されることなく第4の光感知セル2dに入射する。以下の説明では、マイクロレンズアレイ400のうち、マイクロレンズ4a、4bが設けられていない領域を、「非分光部」と称することがある。
以下、図2(b)、(c)を参照しながら、分光要素1a、1bの機能を説明する。ここで、マイクロレンズ4a、4bによって分光要素1a、1bにそれぞれ集束される可視光の強度を記号Wで表す。これに対し、非分光部3を透過し、その直下の光感知セル2bまたは2dに入射する可視光の強度を記号W’(=kW、kは0<k<1を満たす実数)で表す。
第1の分光要素1aは、第1のマイクロレンズ4aを介して入射する光(強度W)のうち、第1の色成分の光(強度C1)を第1の光感知セル2aに入射させ、第2の色成分の光(強度C2)を前記第2の光感知セルに入射させるように構成されている。この例では、第2の色成分は第1の色成分の補色に相当し、W=C1+C2である。一方、第2の分光要素1bは、第2のマイクロレンズ4bを介して入射する光(強度W)のうち、第3の色成分の光(強度C3)を第3の光感知セル2cに入射させ、第4の色成分の光(強度C4)を第4の光感知セル2dに入射させるように構成されている。この例では、第4の色成分は、第3の色成分の補色に相当し、W=C3+C4である。
なお、第1の色成分と第2の色成分とが補色の関係にあるからといって、第1の色成分の光の波長域と第2の色成分の光の波長域とは、完全に分離している必要は無く、部分的に重複していてもよい。同様に、第3の色成分の光の波長域と第4の色成分の光の波長域が部分的に重複していてもよい。
第1〜第4の色成分は、例えばマゼンタ(Mg)、緑(G)、緑成分の約半分を含む赤(R+1/2G、以下では「Yr」と表す)、緑成分の約半分を含む青(B+1/2G、以下では「Cb」と記す)であり得る。但し、可視光に含まれる4つの色成分であれば、その他の組み合わせであってもよい。
図3は、第1〜第4の色成分がそれぞれG、Mg、Cb、Yrの場合における各色成分の波長に対する強度の分布(以下、「分光分布」と呼ぶことがある。)の例を示している。図示されるように、Gは、緑の波長域(500nm〜600nm付近)の成分を主に含む色成分であり、その他の波長域の成分を若干含んでいてもよい。Mgは、青の波長域(400nm〜500nm付近)および赤の波長域(600nm〜700nm付近)の成分を主に含む色成分であり、緑の波長域の成分を若干含んでいてもよい。Cbは、青〜短波長側の緑(400nm〜550nm付近)の成分を主に含む色成分であり、その他の波長域の成分を若干含んでいてもよい。Yrは、長波長側の緑〜赤(550nm〜700nm付近)の成分を主に含む色成分であり、その他の波長域の成分を若干含んでいてもよい。
このような分光要素1a、1bは、例えば後に詳しく説明する「高屈折率透明部」およびその周囲に設けられた「低屈折率透明部」によって構成され得る。あるいは、形状および屈折率が適切に設計されたマイクロレンズによっても構成され得る。さらには、特定波長域の光を反射し、他の波長域の光を透過させる多層膜フィルタ(ダイクロイックミラー)を用いて実現することも可能である。多層膜フィルタを分光要素として用いる場合、多層膜フィルタによって反射された光を全反射させ、隣接する光感知セルに導くように構成され得る。
以上の構成により、光感知セル2a〜2dは、図2(b)、(c)に示すように、それぞれC1、C2+kW、C3、C4+kWで表される強度の光を受ける。各光感知セルは、これらの強度に応じた光電変換信号を出力する。各光感知セルから出力される信号は、互いに異なる色情報を有するため、適切に設定したパラメータを有する3×4の行列を用いれば、その行列との演算によりRGBのカラー信号を算出できる。
より具体的には、光感知セル2a、2b、2c、2dから出力される光電変換信号を、それぞれS2a、S2b、S2c、S2dとし、色成分C1、C2、C3、C4、Wに対応する信号成分を、それぞれの記号に添え字「s」を付して表現すると、S2a〜S2dは、それぞれ以下の式1〜4で表すことができる。
(式1) S2a=C1s
(式2) S2b=C2s+kWs=kC1s+(1+k)C2s
(式3) S2c=C3s
(式4) S2d=C4s+kWs=kC3s+(1+k)C4s
信号C1s、C2s、C3sは、いずれもRGB信号Rs、Gs、Bsの線型結合として表すことができるため、信号S2a〜S2dも、Rs、Gs、Bsの線型結合として表すことができる。すなわち、a11〜a43を所定の係数として、S2a〜S2dは、以下の式5で表すことができる。
Figure 2014033976
係数a11〜a43は、予め実験またはシミュレーションによって決定される既知の量であるため、式5の逆演算を行うことにより、信号Rs、Gs、Bsを求めることができる。この演算を単位ブロックごとに実行することにより、RGBのカラー画像を得ることができる。
このように、本開示の実施形態における撮像素子10によれば、光の一部を吸収する色フィルタを用いることなく、分光要素を用いて信号演算によってカラー情報を得ることができる。そのため、光の損失を防ぐことができ、撮像感度を高めることが可能となる。さらに、マイクロレンズ4a、4bが配置されていない領域(非分光部3)を透過して光感知セル2b、2dに入射する光(kW)の情報を得ることができるため、非分光部3が設けられていない構成に比べ、解像度を高めることが可能となる。また、分光要素1a、1bが入射光Wを分けて2つの光感知セルに入射させるため、係数kが比較的小さい数値であれば、特定の画素だけ信号値が特に大きく、あるいは特に小さくなるといったことを回避することが可能である。言い換えれば、撮像素子10の入射光に対するダイナミックレンジ特性を向上させることが可能である。
以下、図4A以降を参照しながら、より具体的な実施形態を説明する。以下の説明において、共通または対応する要素には同一の符号を付している。
(実施形態1)
図4Aは、実施形態1による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部300と、撮像部300から送出される信号に基づいて画像を示す信号(画像信号)を生成する信号処理部500とを備えている。なお、撮像装置は静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。
撮像部300は、被写体を結像するための光学レンズ12と、赤外カットフィルタ11と、光学レンズ12および赤外カットフィルタ11を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子10(イメージセンサ)とを備えている。撮像部300はさらに、撮像素子10を駆動するための基本信号を発生するとともに撮像素子10からの出力信号を受信して信号処理部500に送出する信号発生/受信部13と、信号発生/受信部13によって発生された基本信号に基づいて撮像素子10を駆動する素子駆動部14とを備えている。光学レンズ12は、公知のレンズであり、ズームレンズやフォーカスレンズ等の複数のレンズを有するレンズユニットであり得る。赤外カットフィルタ11は、赤外線を除去し、可視光を透過して固体撮像素子10に入射させる。赤外カットフィルタ11に加え、画素配列に起因して発生するモアレパターンを低減するための水晶ローパスフィルタが設けられていてもよい。撮像素子10は、典型的にはCMOSまたはCCDであり、公知の半導体製造技術によって製造され得る。信号発生/受信部13および素子駆動部14は、例えばCCDドライバなどのLSIから構成されている。
信号処理部500は、撮像部300から送出される信号を処理して画像信号を生成する画像信号生成部15と、画像信号の生成過程で発生する各種のデータを格納するメモリ30と、生成した画像信号を外部に送出する画像信号出力部16とを備えている。画像信号生成部15は、公知のデジタル信号処理プロセッサ(DSP)などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ30は、DRAMなどによって構成される。メモリ30は、撮像部300から送出された信号を記録するとともに、画像信号生成部15によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像信号出力部16を介して不図示の記録媒体や表示部などに送出される。
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源(電池)、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、本発明において、撮像素子10および画像信号生成部15を除く構成要素には、公知の要素を適切に組み合わせて用いることができる。
以下、本実施形態における固体撮像素子10を説明する。
図4Bは、露光中にレンズ12を透過した光が撮像素子10に入射する様子を模式的に示す図である。図4では、簡単のためレンズ12および撮像素子10以外の構成要素の記載は省略されている。また、レンズ12は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子10の撮像面10aには、2次元状に配列された複数の光感知セル(画素)を含む光感知セルアレイが配置されている。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた光電変換信号(画素信号)を出力する。撮像面10aにはレンズ12および赤外カットフィルタ11を透過した光(可視光)が入射する。一般に撮像面10aに入射する光の強度および波長域ごとの入射光量の分布(分光分布)は、入射位置に応じて異なる。
図5A、5Bは、本実施形態における画素配列の例を示す平面図である。光感知セルアレイ200は、図5Aに示すように、撮像面10a上において、x軸方向およびy軸方向のそれぞれに対して45度回転した方向に2次元的に配列された複数の光感知セル2を有する。このような配列は、「斜交配列」または「ハニカム配列」と呼ばれ、通常の正方格子状の配列よりも水平方向および垂直方向の解像度を高めることができる。光感知セルアレイ200は、複数の単位ブロック40から構成され、各単位ブロック40は4つの光感知セル2a、2b、2c、2dを含んでいる。本実施形態における単位ブロック40は、図示されるように、水平、垂直方向に対して斜めに蛇行して配列された4つの光感知セル2a〜2dから構成される。すなわち、第1および第2の光感知セル2a、2bは第1の方向に並び、第2および第3の光感知セル2b、2cは第1の方向に交差する第2の方向に並び、第3および第4の光感知セル2c、2dは第1の方向に並んでいる。なお、光感知セル2の配列は、このような斜交配列ではなく、例えば、図5Bに示す正方格子状の配列であってもよいし、他の配列であってもよい。。また、各単位ブロックが5個以上の光感知セルを含んでいてもよい。なお、実際には各光感知セル2を不図示の読み出し回路に接続するための配線が設けられている。しかし、本願の図面では、簡単のため、これらの配線を記載していない。
光感知セルアレイ200に対向して、光が入射する側に複数の分光要素を含む分光要素アレイと、複数のマイクロレンズを含むマイクロレンズアレイとが配置される。本実施形態では、各単位ブロックに含まれる4つの光感知セルに対して2つの分光要素および2つのマイクロレンズが設けられる。
以下、本実施形態における分光要素を説明する。
本実施形態における分光要素は、屈折率が異なる2種類の透光性部材の境界で生じる光の回折を利用して入射光を波長域に応じて異なる方向に向ける光学素子である。このタイプの分光要素は、屈折率が相対的に高い材料で形成された高屈折率透明部(コア部)と、屈折率が相対的に低い材料で形成されコア部の各々の側面と接する低屈折率透明部(クラッド部)とを有している。コア部とクラッド部との間の屈折率差により、両者を透過した光の間で位相差が生じるため、回折が起こる。この位相差は光の波長によって異なるため、光を波長域(色成分)に応じて空間的に分離することが可能となる。例えば、第1の方向および第2の方向に第1色成分の光を半分ずつ向け、第3の方向に第1色成分以外の光を向けることができる。また、3つの方向にそれぞれ異なる波長域(色成分)の光を向けることも可能である。
本願明細書において、「高屈折率」および「低屈折率」の用語は、絶対的な屈折率の高低を意味するものではなく、あくまでも屈折率の相対的な比較の結果を意味する。すなわち、「低屈折率」とは、低屈折率透明部の屈折率が高屈折率透明部の屈折率よりも低いことを意味する。一方、「高屈折率」とは、高屈折率透明部の屈折率が低屈折率透明部の屈折率よりも高いことを意味する。したがって、低屈折率透明部の屈折率が高屈折率透明部の屈折率よりも低ければ、それぞれの屈折率の値は任意である。
本実施形態における低屈折率透明部は、分光要素アレイ100内において層状に形成されている。このため、低屈折率透明部を「低屈折率透明層」とも呼ぶ。低屈折率透明層の内部に埋め込まれた個々の高屈折率透明部は、低屈折率透明部に入射した光の位相速度を局所的に低下させる。その結果、低屈折率透明部の上面に入射した光が下面に向かって伝播するときに波長によって異なる位相シフトが生じ、入射光は分光される。このため、本願明細書では、個々の高屈折率透明部を「分光要素」と称することがある。この分光要素は、「位相シフタ」と呼んでもよい。
各分光要素における高屈折率透明部の形状は板状であり、図5Aに示す構成の場合、x軸方向から45度左回りに回転した方向の辺が最も短く、y軸方向から45度左回りに回転した方向の辺が最も長い直方体である。一方、図5Bに示す構成を採用する場合、高屈折率透明部の形状は、x軸方向の辺が最も短く、y軸方向の辺が最も長い直方体である。高屈折率透明部の形状は、厳密な直方体である必要は無く、エッジが丸められていてもよいし、側面がテーパまたは逆テーパを有していてもよい。「板状」という用語は、高屈折率透明部の最も短い辺の長さが、その辺に直交する他の2方向における辺の長さの各々の半分以下の大きさしかないような形状を広く含むものとする。高屈折率透明部のサイズ、形状、および屈折率などを調整することにより、入射光をどのように分光させるかを制御することができる。高屈折率透明部のより詳細な構成と機能は、特許文献3に開示されているので、特許文献3の内容の全体をここに援用する。
図6Aは、撮像素子10の基本構造を示す平面図である。図6Aにおいて太い実線で表された4つの光感知セル2a〜2dが、1つの単位ブロックを構成している。図示されるように、2種類の分光要素1a、1bが、水平方向(x方向)および垂直方向(y方向)の各々について、2画素に1つの割合で配置されている。垂直方向に並んだ複数の分光要素1aは、向きが90度ずつ異なっている。同様に、垂直方向に並んだ複数の分光要素1bも、向きが90度ずつ異なっている。言い換えれば、1つの単位ブロックにおける分光要素1aの向きは、隣接単位ブロックに対向する分光要素1aの向きと90度異なっている。同様に、1つの単位ブロックにおける分光要素1bの向きは、隣接単位ブロックに対向する分光要素1bの向きと90度異なっている。1つの単位ブロックに含まれる2種類の分光要素1a、1bの向きは平行である。これにより、最近接する2つの第1の分光要素1aによる分光の方向の撮像面に平行な成分(図6Aに示す実線矢印の方向)は互いに直交する。同様に、最近接する2つの第2の分光要素1bによる分光の方向の撮像面に平行な成分(図6Aに示す点線矢印の方向)も互いに直交する。分光要素1a、1bのそれぞれの上にはマイクロレンズ4が配置されている。なお、以下の説明では、マイクロレンズ4a、4bを区別せず、単にマイクロレンズ4と表現する。
図6Bは、マイクロレンズ4の配置状況を示す図である。各マイクロレンズ4は正方形に近い形状を有しているが、そのコーナー部の形状は丸みを帯びている。そのため、近接する4つのマイクロレンズ4のコーナー部によって囲まれる領域は集光機能を有していない。当該領域を透過した入射光は分光されることなくそのまま直下の光感知セルに入射する。このため、この領域を「非分光部3」と呼ぶ。
なお、周囲よりも相対的に屈折率の高い分光要素1a、1bは、光を引き込む導波路の働きをするため、非分光部3を透過した光の一部は分光要素1a、1bに引き寄せられる。したがって、非分光部3のサイズが小さすぎる場合、対向する光感知セル2b、2dに光が入射しない場合があり得る。本実施形態では、光感知セル2b、2dに非分光部3を通過した光が直接入射するように、非分光部3のサイズおよび形状が適切に設計されている。
図7(a)、(b)は、図6AにおけるAA´線断面およびBB´線断面をそれぞれ示す図であり、1つの単位ブロックに含まれる光感知セル2a〜2d、分光要素1a、1b、およびマイクロレンズ4の配置関係を示している。図7(a)、(b)に示すように、撮像素子10の表面には複数のマイクロレンズ4が形成され、その下には分光要素1a、1bが配置されている。高屈折率透明部である分光要素1a、1bの周りは低屈折率透明層6で満たされている。上記のように、光感知セルおよび分光要素の個数の割合は、光感知セル:分光要素=2:1である。図7(a)に示すように、分光要素1aの直下には光感知セル2aが配置され、分光要素1aと隣接単位ブロック上の分光要素1b’との間の領域の直下に光感知セル2bが配置されている。また、図7(b)に示すように、分光要素1bの直下には光感知セル2cが配置され、分光要素1bと隣接単位ブロック上の分光要素1a’との間の領域の直下に光感知セル2dが配置されている。さらに、各光感知セルへの集光を効率的に行うためのマイクロレンズ4が透明層6を隔てて光感知セル2aおよび2cに対応して配置されている。
分光要素1a、1bは、光が透過する方向に長い長方形状の断面を有し、自身と透明層6との間の屈折率差に起因する光の回折によって分光する。分光要素1aは、対向する光感知セル2aに緑(G)光を入射させ、両隣の光感知セル2bにマゼンタ(Mg)光を半分ずつ入射させる。一方、分光要素1bは、対向する光感知セル2cに緑成分の約半分(短波長側の緑)を含む青(Cb)光を入射させ、両隣の光感知セル2dに緑成分の約半分(長波長側の緑)を含む赤(Yr)光を入射させる。本実施形態では、分光要素1a、1bが上記の分光特性をもつように分光要素1a、1bの長さおよび厚さが設計されている。白色光が分光要素1a、1bに入射した場合に分光によって生じるG光、Mg光、Cb光、Yr光の分光分布は、例えば図3に示す特性である。
分光要素1a、1bは、例えば窒化ケイ素(SiN)から形成され得る。低屈折率透明層6は、例えば二酸化ケイ素(SiO2)から形成され得る。但し、分光要素アレイ100の材料は、この例に限定されない。また、分光特性を補正するため、分光要素1a、1bを構成する高屈折率透明部または低屈折率透明層6の一部に特定波長域の光を吸収する物質が添加されていてもよい。
次に、図8を参照しながら、本実施形態で使用される分光要素アレイ100を製造する方法の一例を説明する。
まず、図8(a)に示すように、光感知セルアレイ200の上に、低屈折率透明層6の一部を構成する第1低屈折率透明層6aを堆積する。このような第1低屈折率透明層6aの堆積は、公知の薄膜堆積技術を用いて行うことができる。例えばCVD(化学的気相成長法)またはスパッタ法が使用され得る。第1低屈折率透明層6aの上に、屈折率が低屈折率透明層6よりも高い材料からなる透明膜9を堆積する。この透明層9の堆積も公知の薄膜堆積技術を用いて行うことができる。次に、リソグラフィ技術により、透明層9の上にエッチングマスクパターン7を形成する。リソグラフィ技術で使用するフォトマスクのパターンを設計することにより、任意の平面形状を有するエッチングマスクパターン7を形成することができる。
次に、図8(b)に示すように、エッチングマスクパターン7をマスクとして透明層9をエッチングすることにより、透明層9から不要部分を除去して高屈折率透明部(図示される例では「分光要素1a、1b」)を形成する。このエッチングは、異方性のドライエッチングによって実行され得る。エッチングに際して高屈折率透明部のテーパが形成され得る。
更に、図8(c)に示すように、エッチングマスクパターン7を除去した後、低屈折率透明層6を構成する第2低屈折率透明層6bで高屈折率透明部の間の領域を埋め込み、低屈折率透明層6の形成を完了する。第2低屈折率透明層6bは、高屈折率透明部の上面を覆うように形成され得る。
第1低屈折率透明層6aの厚さを調整することにより、高屈折率透明部の下端と光感知セルアレイ200との距離を制御することができる。分光特性が異なる分光要素1aと分光要素1bとの間では、高屈折率透明部の下端と光感知セルアレイ200との距離が異なり得る。このため、本実施形態における分光要素アレイ100を製造するときは、位置によって第1低屈折率透明層6aの厚さを変える工程を行う。このような工程は、透明層9を堆積する前に、第1低屈折率透明層6aの一部の領域を表面からエッチングするか、あるいは、第1低屈折率透明層6aの上に他の低屈折率透明層のパターンを形成すればよい。他の低屈折率透明層のパターンは、例えばリフトオフ法によって形成され得る。
図9は、第1低屈折率透明層6aの上に他の低屈折率透明層6a’のパターンが形成された構造の一部を示す斜視図である。他の低屈折率透明層6a’のパターンは、例えばy方向に延びるストライプ状であり得る。
さらに、分光特性が異なる分光要素1aと分光要素1bとの間では、高さ(z軸方向のサイズ)が異なる場合がある。分光要素1a、1bの高さを位置によって変えるには、場所によって厚さが異なる透明層9を堆積すればよい。このような透明層9は、図9に示すような凹凸段差が表面に形成された第1低屈折率透明層6aの上に略一様な厚さを有する透明層9を堆積した後、透明層9の上面を平坦化することによって形成され得る。このような平坦化を行うと、分光要素アレイ100を構成する高屈折率透明部の上面は全て同じレベルにある。高屈折率透明部の上面のレベルを分光要素の種類に応じて変化させる場合、特定の領域に位置する高屈折率透明部の上面をマスクし、マスクされていない高屈折率透明部の上面を選択的にエッチングすればよい。
なお、上記の分光要素アレイの製造方法は一例であり、このような方法に限定されない。
続いて、各光感知セルに入射する光の色成分および画像信号生成部15による信号処理を説明する。
図6Aに示すように、本実施形態におけるマイクロレンズ4の1つは、第1の分光要素1aおよび第1の光感知セル2aを覆い、かつ第2の光感知セル2bを覆うように配置されている。一方、マイクロレンズ4の他の1つは、第2の分光要素1bおよび第3の光感知セル2cを覆い、かつ第4の光感知セル2dを覆うように配置されている。第2の光感知セル2bおよび第3の光感知セル2cに対向する領域には非分光部3が存在するため、集光も分光もされずに光感知セル2b、2dに入射する入射光W’(以下、「直接入射光」と呼ぶことがある。)が存在する。分光要素1a、1bが仮に配置されていないと仮定した場合に光感知セル2a、2cのそれぞれに入射する可視光の強度をW(=R+G+B)と表すと、直接入射光W’の強度は、kW(kは0<k<1を満たす実数)で表される。ここで、R、G、Bは、入射光に含まれる赤、緑、青の色成分の強度をそれぞれ表す。
図10Aは、仮に直接入射光W’が存在しないと仮定した場合に各光感知セルが受ける光の色成分を示す図である。分光要素1a、1bの働きにより、各光感知セルは、G、Mg、Cb、Yrのいずれかの色成分の光を受ける。これに対し、本実施形態では、非分光部3の存在により、図10Bに示すように、第2および第4の光感知セル2b、2dに関しては、さらに直接入射光W’を受ける。図10Cは、1つの単位ブロックに属する光感知セル2a、2b、2c、2dの受光状況を示している。図示されるように、光感知セル2a、2b、2c、2dは、それぞれG、Mg+W’、Cb、Yr+W’で表される強度の光を受ける。
ここで、光電変換信号に含まれる各成分の信号を、各成分を示す記号に添え字「s」を付けて表す。すなわち、R、G、B、Mg、Cb、Yr、W、W’の成分の信号を、それぞれRs、Gs、Bs、Mgs、Cbs、Yrs、Ws、W’sと表す。ここで、Ws=Rs+Gs+Bs、Mgs=Rs+Bs、Yrs=Rs+(1/2)Gs、Cbs=Bs+(1/2)Gsである。すると、光感知セル2a〜2dからそれぞれ出力される信号S2a〜S2dは、以下の式6〜9のように表される。
(式6) S2a=Gs
(式7) S2b=Mgs+W’s=Rs+Bs+k(Rs+Gs+Bs)
(式8) S2c=Cbs=Bs+(1/2)Gs
(式9) S2d=Yrs+W’s=Rs+(1/2)Gs+k(Rs+Gs+Bs)
本実施形態ではk=1/4とする。すると、光感知セル2a〜2dの信号は、それぞれ以下の式10〜13で表される。
(式10) S2a=Gs
(式11) S2b=(5/4)Rs+(1/4)Gs+(5/4)Bs
(式12) S2c=Bs+(1/2)Gs
(式13) S2d=(5/4)Rs+(3/4)Gs+(1/4)Bs
式10〜式13から、Rs、Gs、Bsは、以下のように表される。
(式14) Rs=−(1/10)S2a+(2/5)S2b−(3/5)S2c+(2/5)S2d
(式15) Gs=S2a
(式16) Bs=(−1/2)S2a+S2c
以上の演算により、4つの光感知セル2a〜2dからの信号を用いて、RGBのカラー信号を得ることができる。
図4Aに示す画像信号生成部15は、光電変換信号S2a〜S2dを用いて、式14〜15の演算を行うことによって色情報Rs、Gs、Bsを生成する。画像信号生成部15は、4画素からなる演算単位を水平および垂直方向に1画素ずつずらしながら全画素について同様の演算を行うことにより、画素ごとの色情報を得ることができるため、カラー画像を生成することができる。
以下、図11を参照しながら、画像信号生成部15による色情報生成処理の手順を説明する。
図11は、本実施形態における色情報生成処理の手順を示すフロー図である。画像信号生成部15は、まず、ステップS10において、4つの光電変換信号を取得する。ここで、4つの光電変換信号を、取り出す順に、S1、S2、S3、S4とする。図10Cに示す単位ブロックを演算単位とする場合、S1=S2a、S2=S2b、S3=S2c、S4=S2dとして処理すればよい。しかし、画像信号生成部15は、水平方向に1画素ずつずらしながら同様の演算を行うため、読み出す信号の順序が演算のたびに変化する。このため、画像信号生成部15は、ステップS12において、信号S1〜S4がS2a〜S2dのどれに対応するかを考慮して代入処理を行う。この処理について、図12を参照しながら説明する。
図12は、演算単位を水平方向に1画素ずつずらしながら演算処理が行われることを示す概念図である。図12(a)は、図10Cに示す単位ブロックを演算単位とする場合の信号の読み出し順を示している。この場合、S1=Gs、S2=Mgs+W’s、S3=Cbs、S4=Yrs+W’sとなるため、S1=S2a、S2=S2b、S3=S2c、S4=S2dのように代入すれば、式14〜15の演算を適用できる。図12(b)は、演算単位が図12(a)に示す状態から水平方向に1画素シフトした状態における信号の読み出し順を示している。この場合、S1=Mgs+W’s、S2=Cbs、S3=Yrs+W’s、S4=Gsとなるため、S1=S2b、S2=S2c、S3=S2d、S4=S2aのように代入すれば、式14〜15の演算を適用できる。図12(c)は、演算単位が水平方向にさらに1画素シフトした状態における信号の読み出し順を示している。この場合、S1=Cbs、S2=Yrs+W’s、S3=Gs、S4=Mgs+W’sとなるため、S1=S2c、S2=S2d、S3=S2a、S4=S2bのように代入すれば、式14〜15の演算を適用できる。図12(d)は、演算単位が水平方向にさらに1画素シフトした状態における信号の読み出し順を示している。この場合、S1=Yrs+W’s、S2=Gs、S3=Mgs+W’s、S4=Cbs、となるため、S1=S2d、S2=S2a、S3=S2b、S4=S2cのように代入すれば、式14〜15の演算を適用できる。
画像信号生成部15は、上記の代入処理を実行することにより、撮像面上のどの演算単位についても、上記の演算処理を実行することができる。ここでは1つの行に着目して説明を行ったが、他の行についても同様の処理が行われる。
以上の処理によって得られた信号S2a、S2b、S2c、S2dを用いて、画像信号生成部15は、図11に示すステップS14において、式14〜15に基づくRGB変換処理を全画素について実行する。最後に、ステップS16において、変換したRGB信号によって構成されるカラー画像信号を出力する。この際、必要に応じてRGB信号の補正処理を行ってもよい。生成されたカラー画像信号は、画像信号出力部16によって不図示の記録媒体や表示部に出力され得る。
このように、本実施形態の撮像装置によれば、光電変換信号S2a〜S2dを用いた加減算処理により、カラー画像信号が得られる。本実施形態における撮像素子10によれば、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる。また、マイクロレンズは画素サイズよりも大きいため、各画素の信号量は十分大きく、その分色再現性も向上する。上記の色信号Mgs、Gs、Yrs、Cbsを用いたカラー化方式は、色再現性の優れた方式として、例えば、特許文献4に開示されている。本実施形態におけるカラー化に関して、基本的なカラー化方式としては特許文献4と同様であるが、kWで表される直接入射光も含むので、係数kが大きすぎる場合、色の変調性が低下することがある。しかし、係数kを適切な値に設定することにより、優れた色再現性を保持することができる。
また、本実施形態では、直接入射光kWを含むものの、係数kが1/4と比較的小さい数値であり、入射光Wを分けて複数の光感知セルに入射させるため、従来技術と比べ、ダイナミックレンジ特性を向上させることができる。例えば、以下に示すように、特許文献2、4に開示された技術と比較して、ダイナミックレンズ特性を向上させることができる。
一般に、固体撮像素子から出力される信号に関しては、R成分およびB成分に比べてG成分が高い。これは、撮像素子の感度特性がB成分よりもG成分の方が高く、また、赤外カットフィルタ11の影響によってR成分よりもG成分の光の方がより多く撮像素子に入射するからである。そこで、RGBの成分比率を仮にR:G:B=1:2:1として、特許文献2、4における構成と、本実施形態における構成とを比較する。特許文献2、4では、色信号をCiとして、信号量が相対的に多い画素の信号をW+Ci、信号量が相対的に少ない画素の信号をW−Ciのように一般化して表記されている。CiをR信号またはB信号とすると、信号量が相対的に多い画素の信号Smaxは、Smax=Ws+RsまたはSmax=Ws+Bsで表される。一方、信号量が相対的に少ない画素の信号Sminは、Smin=Ws−RsまたはSmin=Ws−Bsで表される。ここで、Ws=1とすると、Rs=1/4、Gs=1/2、Bs=1/4となるため、Smax=1.25、Smin=0.75となる。このことから、信号量が相対的に少ない画素の信号量に対する信号量が相対的に多い画素の信号量の比率Smax/Sminは、1.67(=1.25/0.75)であることがわかる。
これに対し、本実施形態では、Rs=1/4、Gs=1/2、Bs=1/4として、これらの値を式10〜式13に代入すると、S2a=0.5、S2b=0.75、S2c=0.5、S2d=0.75となり、Smax=0.75、Smin=0.5となる。このことから、信号量が相対的に少ない画素の信号量に対する信号量が相対的に多い画素の信号量の比率Smax/Sminは、1.5(=0.75/0.5)である。このように、本実施形態によれば、特許文献2および4における構成よりもダイナミックレンジ特性を改善できることがわかる。当然のことながら、値kを小さくするほどダイナミックレンジ特性をより改善できる。例えば、k=0の場合、S2a=0.5、S2b=0.5、S2c=0.5、S2d=0.5となるため、Smax/Smin=1となり、従来技術よりもダイナミックレンジ特性を大幅に改善できる。
さらに、本実施形態では、マイクロレンズ4の隙間に非分光部3を設けることにより、解像度の低下を防止できるという効果もある。図6Aからわかるように、仮に非分光部3が存在しないとすると、光感知セル2b、2dには、分光要素1a、1bからの光は入射するが、直接入射する光はない。これは、光感知セル2a、2cに対向するマイクロレンズアレイ上の領域に入射する光を検出できないことを意味する。このため、非分光部3が存在しない場合、光感知セル2a、2cは解像度に寄与せず、解像度はマイクロレンズの数およびピッチによって決まる。この場合、画素数とマイクロレンズ数との比率は2:1であるため、解像度は画素数によって決まる通常性能の1/2になるといえる。これに対し、本実施形態では、非分光部3がマイクロレンズ4とほぼ等しい数だけ設けられているため、非分光部3に対向する光感知セル2b、2dによって非分光部3に入射する光の情報を得ることができる。これにより、解像度の低下を防止し、解像度特性を画素数および画素ピッチによって決まる通常のレベルに保つことが可能である。
以上のことからわかるように、非分光部3の大きさに依存する値kは、ダイナミックレンジ特性と解像度特性とのバランスを考慮して決定される。本実施形態では、その一例として、k=1/4としているが、係数kはこの値に限定されない。
以上のように、本実施形態の撮像素子10では、光感知セルアレイ200に対向してマゼンタと緑に分光させる分光要素1aと、緑成分の約半分を含む青と緑成分の約半分を含む赤とに分光させる分光要素1bとを含む分光要素アレイ100が配置される。また、各分光要素に対向して配置された複数のマイクロレンズ4と、それらの間の非分光部3とを有するマイクロレンズアレイ400が配置される。その結果、4つの光感知セル2a〜2dからなる画素の単位ブロックにおいて、(Mg+kW)信号、G信号、(Yr+kW)信号、Cb信号が得られ、それらの信号からRGBのカラー信号が得られる。本実施形態では、光の大半を吸収する色フィルタを用いないことにより、光の損失を抑えることができ、画素サイズよりも大きいサイズのマイクロレンズを用いることにより、撮像感度を高めることができる。その上、特定の画素に光が集中しないため、ダイナミックレンジ特性に優れるという大きな実用的効果がある。
なお、本実施形態では、画像信号生成部15は、RGBのカラー画像信号を生成するが、必ずしもRGBのカラー画像信号を全て生成しなくてもよい。用途に応じて1色または2色の画像信号だけを生成するように構成されていてもよい。
また、各分光要素は、上述した分光性能を厳密に有していることが理想であるが、それらの分光性能が多少ずれていてもよい。すなわち、各光感セルから実際に出力される光電変換信号が、式6〜9に示す光電変換信号からずれていてもよい。各分光要素の分光性能が理想的な性能からずれている場合であっても、ずれの程度に応じて信号を補正することによって良好な色情報を得ることができる。画素信号をRGB信号に変換する式についても、式14〜15に示す式は一例であり、その他の変換式を用いても構わない。例えば、式5に示す行列を用いた演算によってRGB信号を得てもよい。この際、理想的な分光性能に対する実際の分光性能のずれを考慮した変換行列を用いて信号を補正するようにすれば、より理想的なRGB信号を得ることができる。そのような変換行列は、例えば複数のカラーパターンを有するカラーチャートを撮像し、実際に得られた信号と理想的な信号とを比較しながら最適な行列要素を決定することによって得られる。
なお、撮像素子10の基本構造は図6Aに示す構成に限られるものではない。例えば、分光要素1aと分光要素1bとが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、非分光部3の形状が図6Bに示す形状と異なっていてもその有効性に変わりはない。例えば、図13に示すようにマイクロレンズ4の形状が円形でもその有効性に変わりはない。
さらに、本実施形態における画像信号生成部15が行う信号演算を、撮像装置自身ではなく他の機器に実行させることも可能である。例えば、撮像素子10から出力される光電変換信号の入力を受けた外部の機器に本実施形態における信号演算処理を規定するプログラムを実行させることによっても色情報を生成することができる。
以上の説明では、分光要素として、2つの部材の屈折率差を利用して分光する光学素子を用いているが、本発明における分光要素は、各光感知セルに所望の色成分の光を入射できればどのようなものであってもよい。例えば、分光要素としてマイクロプリズムを用いてもよい。また、異なる種類の分光要素(例えば高屈折率透明部およびマイクロプリズム)を組み合わせて用いることも可能である。
本発明の固体撮像素子および撮像装置は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
1a、1b 分光要素
2,2a,2b,2c,2d 撮像素子の光感知セル
3 非分光部
4 マイクロレンズ
5 撮像素子の配線層
6 透明層
10 撮像素子
11 赤外カットフィルタ
12 光学レンズ
13 信号発生/受信部
14 素子駆動部
15 画像信号生成部
16 画像信号出力部
30 メモリ
40 光感知セルの単位ブロック
100 分光要素アレイ
200 光感知セルアレイ
300 撮像部
400 マイクロレンズアレイ
500 信号処理部

Claims (13)

  1. 各々が第1の光感知セル、第2の光感知セル、第3の光感知セル、および第4の光感知セルを含む複数の単位ブロックが撮像面に2次元的に配列された光感知セルアレイと、
    前記第1の光感知セルに対向して配置された第1の分光要素、および前記第3の光感知セルに対向して配置された第2の分光要素を含む分光要素アレイと、
    前記第1の分光要素および前記第1の光感知セルを覆い、かつ前記第2の光感知セルの一部を覆うように配置された第1のマイクロレンズ、および前記第2の分光要素および前記第3の光感知セルを覆い、かつ前記第4の光感知セルの一部を覆うように配置された第2のマイクロレンズを含むマイクロレンズアレイであって、前記第1および第2のマイクロレンズが設けられていない領域のうち前記第2の光感知セルに対向する領域に入射した光が前記第2の光感知セルに入射し、前記第1および第2のマイクロレンズが設けられていない領域のうち前記第4の光感知セルに対向する領域に入射した光が前記第4の光感知セルに入射するように構成されたマイクロレンズアレイと、
    を備え、
    前記第1の分光要素は、前記第1のマイクロレンズを介して入射する光のうち、第1の色成分の光を前記第1の光感知セルに入射させ、前記第1のマイクロレンズを介して入射する光のうち、第2の色成分の光を前記第2の光感知セルに入射させ、
    前記第2の分光要素は、前記第2のマイクロレンズを介して入射する光のうち、第3の色成分の光を前記第3の光感知セルに入射させ、前記第2のマイクロレンズを介して入射する光のうち、第4の色成分の光を前記第4の光感知セルに入射させる、
    固体撮像素子。
  2. 前記第1および第2の分光要素の各々は、高屈折率透明部と、前記高屈折率透明部の屈折率よりも低い屈折率を有し前記高屈折率透明部の周囲に設けられた低屈折率透明部とを有し、
    前記第1の分光要素における前記高屈折率透明部の形状およびサイズの少なくとも一方は、前記第2の分光要素における前記高屈折率透明部のものと異なっている、
    請求項1に記載の固体撮像素子。
  3. 前記第1の分光要素における前記高屈折率透明部および前記第2の分光要素における前記高屈折率透明部は、前記撮像面に垂直な板状の形状を有し、互いに平行に配置されている、請求項2に記載の固体撮像素子。
  4. 前記第1の分光要素における前記高屈折率透明部の向きは、隣接単位ブロックに対向する前記第1の分光要素における前記高屈折率透明部の向きと90度異なっており、
    前記第2の分光要素における前記高屈折率透明部の向きは、隣接単位ブロックに対向する前記第2の分光要素における前記高屈折率透明部の向きと90度異なっている、
    請求項3に記載の固体撮像素子。
  5. 前記分光要素アレイは、最近接する2つの前記第1の分光要素による分光の方向の前記撮像面に平行な成分が互いに直交し、最近接する2つの前記第2の分光要素による分光の方向の前記撮像面に平行な成分が互いに直交するように構成されている、請求項1から4のいずれかに記載の固体撮像素子。
  6. 前記第1の分光要素は、入射光に含まれる前記第2の色成分の光の半分を前記第2の光感知セルに入射させ、前記第2の色成分の光の残りの半分をいずれかの隣接単位ブロックにおける前記第2の光感知セルに入射させ、
    前記第2の分光要素は、入射光に含まれる前記第4の色成分の光の半分を前記第4の光感知セルに入射させ、前記第4の色成分の光の残りの半分をいずれかの隣接単位ブロックにおける前記第4の光感知セルに入射させる、
    請求項1から5のいずれかに記載の固体撮像素子。
  7. 前記第2の光感知セルは、前記第1の分光要素およびいずれかの隣接単位ブロックにおける前記第1の分光要素から入射する前記第2の色成分の光と、前記第1および第2のマイクロレンズを介さずに入射する前記第1および第2の色成分の光とを受け、受けた光に応じた光電変換信号を出力し、
    前記第4の光感知セルは、前記第2の分光要素およびいずれかの隣接単位ブロックにおける前記第4の分光要素から入射する前記第4の色成分の光と、前記第1および第2のマイクロレンズを介さずに入射する前記第3および第4の色成分の光とを受け、受けた光に応じた光電変換信号を出力する、
    請求項1から6のいずれかに記載の固体撮像素子。
  8. 前記第1の分光要素は、入射光に含まれる前記第1の色成分の光のほぼ全てを対向する前記第1の光感知セルに入射させ、
    前記第2の分光要素は、入射光に含まれる前記第3の色成分の光のほぼ全てを対向する前記第3の光感知セルに入射させる、請求項1から7のいずれかに記載の固体撮像素子。
  9. 前記第2の色成分は、前記第1の色成分の補色であり、前記第4の色成分は、前記第3の色成分の補色である、請求項1から8のいずれかに記載の固体撮像素子。
  10. 前記第1の色成分は、マゼンタおよび緑の一方であり、
    前記第2の色成分は、マゼンタおよび緑の他方であり、
    前記第3の色成分は、緑の一部を含む赤、および緑の一部を含む青の一方であり、
    前記第4の色成分は、緑の一部を含む赤、および緑の一部を含む青の他方である、
    請求項1から9のいずれかに記載の固体撮像素子。
  11. 請求項1から10のいずれかに記載の固体撮像素子と、
    前記固体撮像素子に像を形成する光学系と、
    前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第1の光感知セルから出力される第1の光電変換信号、前記第2の光感知セルから出力される第2の光電変換信号、前記第3の光感知セルから出力される第3の光電変換信号、および前記第4の光感知セルから出力される第4の光電変換信号を用いた演算によって色情報を生成する信号処理部と、
    を備える撮像装置。
  12. 請求項1から10のいずれかに記載の固体撮像素子から出力される信号を処理する方法であって、
    前記第1の光感知セルから出力される第1の光電変換信号、前記第2の光感知セルから出力される第2の光電変換信号、前記第3の光感知セルから出力される第3の光電変換信号、および前記第4の光感知セルから出力される第4の光電変換信号を取得するステップと、
    前記第1から第4の光電変換信号を用いて色情報を生成するステップと、
    を含む方法。
  13. 請求項1から10のいずれかに記載の固体撮像素子から出力される信号を処理するためのプログラムであって、
    コンピュータに対し、
    前記第1の光感知セルから出力される第1の光電変換信号、前記第2の光感知セルから出力される第2の光電変換信号、前記第3の光感知セルから出力される第3の光電変換信号、および前記第4の光感知セルから出力される第4の光電変換信号を取得するステップと、
    前記第1から第4の光電変換信号を用いて色情報を生成するステップと、
    を実行させるプログラム。
JP2014506679A 2012-09-03 2013-03-15 固体撮像素子、撮像装置および信号処理方法 Expired - Fee Related JP6039649B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012193028 2012-09-03
JP2012193028 2012-09-03
PCT/JP2013/001778 WO2014033976A1 (ja) 2012-09-03 2013-03-15 固体撮像素子、撮像装置および信号処理方法

Publications (2)

Publication Number Publication Date
JPWO2014033976A1 true JPWO2014033976A1 (ja) 2016-08-08
JP6039649B2 JP6039649B2 (ja) 2016-12-07

Family

ID=50182819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014506679A Expired - Fee Related JP6039649B2 (ja) 2012-09-03 2013-03-15 固体撮像素子、撮像装置および信号処理方法

Country Status (4)

Country Link
US (1) US9425229B2 (ja)
JP (1) JP6039649B2 (ja)
CN (1) CN103907189B (ja)
WO (1) WO2014033976A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102338897B1 (ko) * 2014-10-22 2021-12-13 삼성전자주식회사 색분리 소자를 포함하는 적층형 이미지 센서 및 상기 이미지 센서를 포함하는 촬상 장치
WO2016071800A1 (ja) * 2014-11-07 2016-05-12 株式会社半導体エネルギー研究所 撮像装置および電子機器
JP7265195B2 (ja) * 2018-04-17 2023-04-26 日本電信電話株式会社 カラー撮像素子および撮像装置
JP6707105B2 (ja) 2018-04-17 2020-06-10 日本電信電話株式会社 カラー撮像素子および撮像装置
US11640645B2 (en) 2019-10-25 2023-05-02 Samsung Electronics Co., Ltd. Apparatus and method of acquiring image by employing color separation lens array
CN113257846A (zh) * 2020-02-11 2021-08-13 三星电子株式会社 图像传感器和包括图像传感器的电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309395A (ja) * 2000-04-21 2001-11-02 Sony Corp 固体撮像素子及びその製造方法
WO2009019818A1 (ja) * 2007-08-06 2009-02-12 Panasonic Corporation 撮像用光検出装置
WO2009153937A1 (ja) * 2008-06-18 2009-12-23 パナソニック株式会社 固体撮像装置
WO2010070869A1 (ja) * 2008-12-19 2010-06-24 パナソニック株式会社 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5990467A (ja) 1982-11-15 1984-05-24 Mitsubishi Electric Corp 固体撮像素子
JPH0628450B2 (ja) 1983-01-28 1994-04-13 松下電器産業株式会社 固体撮像装置
JP2000151933A (ja) 1998-11-06 2000-05-30 Nec Corp 撮像素子及びその製造方法
JP4652634B2 (ja) 2001-08-31 2011-03-16 キヤノン株式会社 撮像装置
TWI481017B (zh) * 2009-07-02 2015-04-11 Hiok-Nam Tay 用於影像感測器之光導陣列
WO2011010455A1 (ja) * 2009-07-24 2011-01-27 パナソニック株式会社 撮像装置および固体撮像素子
WO2011043025A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 固体撮像素子および撮像装置
JP5237998B2 (ja) * 2010-07-12 2013-07-17 パナソニック株式会社 固体撮像素子、撮像装置および信号処理方法
JP5503459B2 (ja) * 2010-08-24 2014-05-28 パナソニック株式会社 固体撮像素子および撮像装置
US8902339B2 (en) * 2011-06-16 2014-12-02 Panasonic Intellectual Property Corporation Of America Solid-state imaging element and dispersing element array for improved color imaging
WO2014034149A1 (ja) * 2012-09-03 2014-03-06 パナソニック株式会社 固体撮像素子および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309395A (ja) * 2000-04-21 2001-11-02 Sony Corp 固体撮像素子及びその製造方法
WO2009019818A1 (ja) * 2007-08-06 2009-02-12 Panasonic Corporation 撮像用光検出装置
WO2009153937A1 (ja) * 2008-06-18 2009-12-23 パナソニック株式会社 固体撮像装置
WO2010070869A1 (ja) * 2008-12-19 2010-06-24 パナソニック株式会社 撮像装置

Also Published As

Publication number Publication date
US20140284455A1 (en) 2014-09-25
JP6039649B2 (ja) 2016-12-07
CN103907189B (zh) 2017-03-15
US9425229B2 (en) 2016-08-23
WO2014033976A1 (ja) 2014-03-06
CN103907189A (zh) 2014-07-02

Similar Documents

Publication Publication Date Title
JP5503459B2 (ja) 固体撮像素子および撮像装置
JP6039649B2 (ja) 固体撮像素子、撮像装置および信号処理方法
JP5331107B2 (ja) 撮像装置
JP5237998B2 (ja) 固体撮像素子、撮像装置および信号処理方法
WO2011010455A1 (ja) 撮像装置および固体撮像素子
JP6039558B2 (ja) 固体撮像装置
JPWO2010082455A1 (ja) 撮像装置
US9780132B2 (en) Image sensor and electronic device including the same
JP5997149B2 (ja) 固体撮像素子、撮像装置、および信号処理方法
JP5894573B2 (ja) 固体撮像素子、撮像装置および信号処理方法
JP6600246B2 (ja) 撮像装置及びカメラ
JP5331119B2 (ja) 固体撮像素子および撮像装置
US9583522B2 (en) Image sensor and electronic device including the same
JP5852006B2 (ja) 固体撮像素子、撮像装置および信号処理方法
JP6039567B2 (ja) 固体撮像装置
JP2014086743A (ja) 固体撮像素子、撮像装置、および信号処理方法
JP2014086742A (ja) 固体撮像素子、撮像装置、および信号処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161104

R150 Certificate of patent or registration of utility model

Ref document number: 6039649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees