JP5070742B2 - 情報取得方法、情報取得装置、半導体装置、信号処理装置 - Google Patents

Description

本発明は、情報取得方法、情報取得装置、半導体装置、および信号処理装置に関する。
より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な物理量分布検知の半導体装置を利用した固体撮像装置などへの適用に好適な信号取得技術に関する。たとえば、可視光以外の波長成分（たとえば赤外光）による撮像をも可能とした撮像装置への適用に関する。

光や放射線などの外部から入力される電磁波などの物理量変化に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。

たとえば、映像機器の分野では、物理量の一例である光（電磁波の一例）の変化を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。

たとえば、固体撮像装置は、デバイス部の撮像部（画素部）に設けられている光電変換素子（受光素子；フォトセンサ）であるフォトダイオードにて、光や放射線などの外部から入力される電磁波を検知して信号電荷を生成・蓄積し、この蓄積された信号電荷（光電子）を、画像情報として読み出す。

ここで、カラー画像を取得する構成とする場合には、特定の波長成分のみを透過するような色フィルタを画素ごとに配置して、複数個の画素の組によって必要な色成分を復元することで色を識別するイメージセンサとするのが現在の主流となっている。

具体的には、色フィルタの組として、たとえば、図３４（Ａ）に示すように、色の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の減色フィルタを用いた色配列によって色を識別し、それぞれの色フィルタの下に光を検出する半導体層を設けることで、フィルタを透過した３原色光をそれぞれ別に検出する。また、図３４（Ｂ）に示すように、輝度信号取得用としての白（Ｙ）と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列を用いることも考えられる。これらは、いずれもベイヤ（Ｂａｙｅｒ）配列と呼ばれる。

単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しか持たないため、たとえば、周囲の画素の色情報を用いて補間処理を行なうことで、各画素において必要な色成分を復元するデモザイク処理が行なわれる（たとえば特許文献１，２を参照）。

米国特許３９７１０６５号公報 特開平０４−０８８７８４号公報

一方、近年、ディジタルスチルカメラやムービーカメラにおいて、低照度の照明下において撮影した画像品質の向上が重要な課題となっている。低照度の照明下において画像を撮影しようとする場合、シャッタースピードを遅くしたり、絞り値の明るいレンズを使用したり、またフラッシュなどの可視光の外部光源を利用するのが一般的である。

この場合、シャッタースピードを遅くすると手ぶれや被写体ぶれを招く。またレンズの絞り値にも通常は限界があってある程度以上は明るくすることができない。さらに、可視光の外部光源を使用すると、その場の照明による雰囲気を損なってしまう問題がある。

低照度条件下では色温度が低くて、赤外光の放射量の多い光源が使われている場合が多い。また、補助光として赤外光などの不可視光を使えば雰囲気を損なうことが少ない。以上のことから、赤外光などの不可視光を多く含む光源下において、実効的な撮影感度を上げる技術が望まれている。

たとえば、特許文献２には、図３４（Ｂ）を参照して説明した色配列、すなわち輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせたベイヤ配列を適用した撮像素子を用いて、高解像度の画像を得る信号処理について開示している。

特許文献２に記載の仕組みでは、図３４（Ｂ）に示す白画素を市松配置したカラーフィルタアレイを適用し、全ての画素が可視光成分以外（たとえば赤外光）を感じないことを前提に、市松配置画素の白画素を利用して高い解像度を得る信号処理について説明している。

すなわち、図３４（Ｂ）に示す配置によれば、市松配列のＹ画素はほぼ可視光全体に感度を持つため、図３４（Ａ）に示すように緑（Ｇ）画素を市松配置にする構成より大きな信号が得られる。このため、緑画素市松配置の場合に比べて解像度を左右する市松配置の信号のＳ／Ｎ比を良くすることができるというものである。

しかしながら、図３４（Ｂ）に示すような配列は、十分な照度がある場合には有効となるが、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においては、感度はまだ不十分となり、ノイズを削減した高品質な画像を生成することはできないという問題がある。

本発明は、上記事情に鑑みてなされたものであり、品質の良好な情報を取得することのできる仕組みを提供することを目的とする。

本発明に係る仕組みにおいては、可視光および非可視光に透過性をもつ開口部と、可視光に透過性をもち非可視光に非透過性をもつ非開口部とを設けることで、可視光に波長分離されることで通過波長領域成分のみとなった光が通過する非開口部を通しての信号検知と、開口部を通しての、波長分離をせずに可視光と非可視光が混在した状態での広波長領域成分についての信号検知とによって、通過波長領域成分のみの入射光成分と広波長領域成分を個別の検出部で、独立にあるいは同時に検知し独立に情報を取得するようにしたことに特徴を持つ。

すなわち、可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有し、前記基板と前記非可視光フィルタ層との間に配された色分離フィルタ層とを、複数の検知部が形成されている基板上に一体的となるように形成する。

また、前記開口部に対応する位置の第１の検知部により、前記可視光および前記非可視光の入射光を検知し、前記非開口部および前記複数の色分離部に対応する位置の第２の検知部により、前記可視光の入射光成分を検知し、これによって第１，第２の検知部から得られる第１及び第２の検知信号に基づき、所定目的用の情報を取得することとした。

前記第１の検知部から出力される前記第１の検知信号は、可視光および非可視光を含む広波長領域の入射光に関する情報を含む。

また、前記第２の検知部から出力される第２の検知信号は、前記可視光の入射光成分に関する情報を含む。

開口部と非開口部とを持つ非可視光フィルタ層としては、非開口部が、所定の厚みを持つ層を複数積層した構造を有する積層部材を具備するものとするのがよい。
特に、積層部材は、隣接する層間で屈折率が異なるものであるのがよい。屈折率が異なる層を複数積層した構造を持つ積層膜を利用して可視光と非可視光とを波長分離することで、両者の成分信号を個別の検出部で、独立にあるいは同時に取得するようにするのである。

ここで、「積層部材」は、好ましくは、電磁波の内の所定の波長領域成分を反射させる特性を持ったものとする。さらに好ましくは、残りを通過させる特性を持ったものとする。なお、“残り”とは、反射される反射波長領域成分を除く全ての波長成分を意味するものではなく、少なくとも、反射波長領域成分を事実上含まないものであればよい。“反射波長領域成分を事実上含まない”とは、反射波長領域成分の影響をほぼ全く受けないことを意味し、影響を若干受けることがあってもよい。通過波長側については反射波長領域の影響を無視可能な信号を取得できればよいからである。なお、反射波長領域についても、通過波長領域成分の影響を無視可能な信号を取得できればよい。

たとえば、色分離フィルタ層として、３つの検知部に対して、可視領域の透過光が３原色の波長成分である原色系の色フィルタを用いる、あるいは、可視領域の透過光が３原色に対する各々の補色である補色系の色フィルタを用いることで、カラー画像を撮像するようにする。

各波長対応の検知部に位置整合させて波長別の光学部材を形成するという点では、色分離フィルタ層は、非可視光フィルタ層や検知部と別体よりは、一体的に構成されている方が好ましい。

また、開口部を通過した広波長領域成分に基づく画像の解像度を高めるには、開口部を通過する広波長領域成分を検知する第１の検知部の配置密度が、非開口部を通過する第１の波長領域成分を検知する第２の検知部の配置密度よりも高くなるように２次元格子状に配置するのがよい。

カラー撮像用途などとする場合には、第２の検知部は、第１の波長領域の成分をさらに波長分離して検知する複数の検知要素の組合せとなるので、この場合、第１の検知部の配置密度が、第２の検知部の波長別の各検知要素の配置密度よりも高くなるように２次元格子状に配置するのがよい。特に、第１の検知部を、第２の検知部の内のそれぞれの波長成分を検知するものよりも密に、かつ市松模様となるように配置するのがよい。

つまり、可視光と非可視光とを混在させた広波長領域成分の信号を取得してその画像を生成する構成とする場合、可視光の色成分を検知する検知部の従来の配置態様に対して、その一部を、広波長領域成分を検知する検知部に置き換えた画素配列構造にしなければならず、各検知部をどのように配置するかで解像度に影響を与え得る。

この点おいては、たとえば可視光の色成分に基づく通常カラー画像の方の解像度を重視する場合には、通常カラー画像生成に資する色別の複数の検知要素の内のある色成分を検知するもの（典型例はＧ色用の画素）が市松模様となるように配するのがよい。
一方、広波長領域成分に基づく画像（典型例は赤外光成分を含む輝度信号成分）の方の解像度を重視する場合には、その画像生成に資する検知部が市松模様となるように配するのがよい。

また、これらの画素を２次元格子状に配する場合には、垂直方向および水平方向の各読取方向に対して平行および直交するようにする正方格子状に配するよりも、所定角度（典型例は略４５度）だけ回転させた状態の斜め格子状に配列すると、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができる。加えて、周囲の実在する画素の信号を使って仮想の画素位置の信号を求めるようにすれば、さらに解像度を高くすることもできる。

本発明によれば、非可視光フィルタ層の非開口部を通過した可視光のみに基づく情報を第２の検知信号で取得しながら、開口部を通過した広波長の入射光に基づく情報を第１の検知信号で取得することができる。
この広波長の入射光に基づく情報は、可視光に加えて非可視光も含むので、開口部側では、可視光のみに基づくよりも品質の良好な情報を取得できるようになる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜＜基本概念＞＞
図１は、本実施形態で採用する色分離フィルタの色配置例の基本構造を示す図である。ここでは、可視光カラー画像用に色フィルタＣ１，Ｃ２，Ｃ３（何れも選択的な特定波長領域である第１の波長領域成分を透過）の３つの波長領域（色成分）用のものと、色フィルタＣ１，Ｃ２，Ｃ３とは異なる色フィルタＣ４といった別個のフィルタ特性を有する４種類の色フィルタを規則的（本例では正方格子状）に配設している。なお、本例の場合、第１の波長領域成分は可視光領域成分となる。

色フィルタＣ１，Ｃ２，Ｃ３，Ｃ４を通して対応する検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタＣ１，Ｃ２，Ｃ３が配される検知部が第１の検知部であり、色フィルタＣ４が配される検知部が第２の検知部である。また、色フィルタＣ１，Ｃ２，Ｃ３が配される検知部（検知要素）は、カラー画像取得のために第１の波長領域（可視光領域）を、さらに色分離に対応するように、波長分離して検知するためのものである。

本実施形態において、色フィルタＣ４を通して得られる第２の波長領域の成分は、第２の検知部を、カラー画像取得用の色フィルタＣ１，Ｃ２，Ｃ３の検知部よりも光の利用効率が高い画素とし、この第２の波長領域の成分を検知した第２の検知部から出力される高光利用効率の検知信号を用いて、光の利用効率が高い画像信号を取得することができるようにするものである。

ここで、光の利用効率が高い画素とするに当たっては、本実施形態では、先ず第１の手法として、第２の波長領域の成分は、第１の波長領域の成分（可視光領域成分）のほぼ全体を含むとともに、この可視光領域成分以外の成分である不可視光領域成分（たとえば短波長側の紫外光成分や長波長側の赤外光成分）を含むものとする。第１の波長領域の成分以外の成分をも利用することで、光（電磁波）の利用効率を高める思想である。

こうすることで、第２の検知部から出力される高光利用効率の検知信号は、可視光部分のいわゆる輝度信号成分と不可視光信号成分の双方を含む広波長領域信号となり、その結果として、解像度の高い広波長領域画像を得ることができる。

また、第２の検知部で検知した広波長領域信号（検知信号の一例）と、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知した各第１の検知部から出力される各検知信号との間で所定の補正演算処理（ここでは色補正演算処理を意味する）を実行すれば、可視光カラー画像を色再現性の高い画像を取得することができるようになる（詳細は後述する）。

また、不可視光成分として赤外光成分を適用したときには、眼で見ることのできない赤外光の像情報を同時に取得することができるので、たとえば、低照度環境下での撮像にも耐え得るようになる。可視光のない、たとえば夜間においても、赤外光を照射して撮像することで、鮮明な像を得ることができるので、防犯用のイメージセンサとしての応用も可能である。このように、眼で見ることができる可視光のイメージ像と対応して、眼で見ることのできない赤外光の像情報を可視光成分と同時に受けることができる。これによって新しい情報システムへのキーデバイスとして応用が広がる。

また、不可視光成分として紫外光成分を適用したときには、眼で見ることのできない紫外光の像情報を同時に取得することができるので、たとえば、植物観察用の撮像にも使えるようになる。

なお、第１の手法を適用するに当たっては、第２の検知部では、不可視光領域成分を検知する必要があるので、第２の検知部に赤外光などの不可視光が入射するようにする必要があるので、従来よく使われている赤外光カットフィルタを取り除いて撮像する。

なお、詳細については説明を割愛するが、光の利用効率が高い画素とするに当たっては、さらに好ましくは、第２の手法として、第２の波長領域の成分は、前述の第１の手法を適用しつつ、第１の波長領域の成分（可視光領域成分）に関しては、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知する各第１の検知部よりも、さらに感度の高い画素となるような成分とすることができる。第１の波長領域の成分に関して、第２の検知部で、第１の検知部よりも高感度で検知することで、光（電磁波）の利用効率を高める思想である。

なお、この場合、第２の検知部で検知した高感度信号（検知信号の一例）と、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知した各第１の検知部から出力される各検知信号との間で所定の補正演算処理（ここでは高感度化補正演算処理を意味する）を実行することで、可視光カラー画像を高感度に取得することができるようにする。

ここで、色フィルタＣ１，Ｃ２，Ｃ３は、理想的には、たとえば、可視光帯内のある色成分で透過率が略１、その他で略ゼロとする原色フィルタとする。たとえば、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタであってもよい。

もしくは、色フィルタＣ１，Ｃ２，Ｃ３は、可視光帯内のある色成分で透過率が略ゼロ、その他で略１の透過率を持つ補色系の色フィルタとする。たとえば、黄Ｙｅ（たとえば波長λ＝４００〜５００ｎｍで透過率が略ゼロ、その他で略１）、マゼンダＭｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略ゼロ、その他で略１）、シアンＣｙ（たとえば波長λ＝６００〜７００ｎｍで透過率が略ゼロ、その他で略１）など、可視光の３原色成分に対して略ゼロの透過率を持つ補色系の色フィルタであってもよい。

補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が３原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。

なお、透過率が“略１”であるとは、理想的な状態をいったものであり、実際には、光の透過率が減衰する減色フィルタとならざるを得ず、相対的に透過率は低減することになる。この場合でも、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。

また、原色系および補色系の何れも、可視光領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、紫外光領域や赤外光領域を通過させるか否かすなわち赤外光や紫外光に対する透過率は不問である。もちろん、好ましくは、赤外光や紫外光に対する透過率は略ゼロであることが、色再現性の点では有利である。

たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばＲ，Ｇ，Ｂの各々に対して透過率が高くその他の色（たとえばＲであればＧやＢ）の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色（たとえばＲであればＧやＢ）の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、本実施形態では、このような可視光帯外で透過率が高い特性であっても、色再現性の問題はあるが、基本思想としては、影響を受けない。

一方、色フィルタＣ４は、少なくとも、第２の検知部を色フィルタＣ１，Ｃ２，Ｃ３の検知部よりも光の利用効率の高い画素とするような所定波長領域用のものであればよく、典型的には、第１の波長領域（本例では可視光）から赤外光領域までの全域の成分、あるいは、紫外光領域から第１の波長領域（本例では可視光）までの全域の成分、あるいは紫外光領域〜第１の波長領域（本例では可視光）〜赤外光領域の全域の成分を通過させるものであるのがよい。本実施形態では、このような、色フィルタＣ４を全域通過フィルタと称する。

たとえば、第２の検知部が、青色から赤色までの光（波長４５０〜６６０ｎｍ）に対して感度を持つようにする白色フィルタを用いるのがよい。可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるという点においては、色フィルタＣ４としては、事実上、カラーフィルタを設けない構成を採ることができる。本実施形態では、このように、事実上、カラーフィルタを設けない構成をも含めて、「フィルタＣ４を通して」第２の検知部で検知すると称する。

なお、色フィルタＣ１，Ｃ２，Ｃ３が配される画素の検知部（たとえばフォトダイオードなどの撮像素子）は、可視光に感度を有していればよく、近赤外光に感度を有する必要はない。一方、色フィルタＣ４が配される画素のフォトダイオードなどで構成される検知部は、色フィルタＣ４が全域通過フィルタでかつ赤外光対応とする場合には、可視光と赤外光に感度を有することが必要である。

また、色フィルタＣ４が配される色画素は、この色フィルタＣ４が配される色画素に基づいて得られる第２の波長領域の成分に関わる物理情報（本例では広波長領域画像）再現用として使用されるだけでなく、色フィルタＣ１，Ｃ２，Ｃ３が配される色画素に基づいて得られる可視光カラー画像再現用の色信号に対して色補正画素や感度補正画素としても使用することができる。色フィルタＣ４は、色フィルタＣ１，Ｃ２，Ｃ３に対しての補正フィルタとして機能することになるのである。

たとえば、可視光カラー画像の再現に当たっては、先ず、色フィルタＣ１，Ｃ２，Ｃ３が配される色画素から第１の波長領域の信号成分ＳC1，ＳC2，ＳC3を、この第１の波長領域の成分とは異なる第２の波長領域（赤外）の成分から事実上分離して、それぞれ独立の検知領域で検知する。

また、色フィルタＣ４が配される高光利用効率対応の検知部で得られる信号成分ＳC4を使うことで、可視光成分の少ない低照度環境下での撮影時に、可視光領域以外の成分も使うことが可能となるので、可視光成分のみの場合よりも検知される信号レベルが大きくなり、効果的なノイズ低減を実現することができるようになる。

そして、さらに好ましくは、各信号成分ＳC1，ＳC2，ＳC3を、信号成分ＳC4を使ってより色再現の良好な補正演算（特に色再現補正演算と称する）を実行する、あるいはより高感度な信号となるように補正演算（特に高感度化補正演算と称する）を実行する。

なお、色フィルタＣ４を通して得られる広波長領域画像に関しては、可視光と不可視光との混在による像を取得するようにしてもよいが、たとえば、色フィルタＣ４が第１の波長領域（本例では可視光）から赤外光までの全域の成分を通過させる全域通過フィルタである場合には、信号成分ＳC4から信号成分ＳC1，ＳC2，ＳC3により得られる可視光像の成分を減算することで、赤外光像のみを抽出するようにしてもよい。

このようにして、フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した４種類の波長領域（ここでは４種類の色フィルタを配設した各画素）で得られる信号出力をマトリクス演算すると、主に色フィルタＣ１，Ｃ２，Ｃ３を通した可視光カラー画像および色フィルタＣ４を通した広波長領域画像をそれぞれ独立かつ同時に取得することができるし、広波長領域画像に関しては、可視光カラー画像に対しての補正にも使えるようになる。

ここで、考え方としては、従前の撮像信号処理と同様にして、色フィルタＣ１，Ｃ２，Ｃ３を通した画素から得られる各画素信号に基づいて輝度信号（本実施形態では合成輝度信号と称する）を取得して出力用の輝度信号とすることができるが、本実施形態では、このようなことを行なわずに、色フィルタＣ４を通して得られる広波長領域信号ＳＡから出力用の輝度信号を取得する。なお、合成輝度信号に関しては、出力用の色信号の一例である色差信号の生成には使用する。

また、減色フィルタの一例として厚みや重さのある高価なガラス製の光学部材（いわゆる赤外光カットフィルタ）を結像光学系の光路上のセンサの前に入れる必要がなくなる。高価な赤外光カットフィルタ（ＩＲカットフィルタ）を不要にすることで、光学系を軽量かつコンパクトにできるし、コストを大幅に低減できる。もちろん、赤外光カットフィルタの挿入／抜出機構が不要であり、装置が大がかりになることもない。

また赤外光カットフィルタが不用になることによって、赤外光カットフィルタによる光透過率低減を排除できるので、その分だけ高感度化も達成される。また、赤外光カットフィルタなしでカラー撮像を行なうことで、現行の信号処理回路と組み合わせつつ、近赤外線領域の光を有効に利用し高感度化を図ることもでき、低照度時であっても、色再現性が良好になるし、さらにその際に、色補正を加えることで、一層の色再現性の改善を図ることもできる。

＜＜色分離フィルタ配列＞＞
図２〜図６は、色分離フィルタ配列の具体例を示す図である。

＜第１例＞
図２に示す色フィルタ群（色フィルタアレイ）３１４の第１例の配列態様では、たとえば図２（Ａ）に示す第１例の配列態様（その１）のように、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを利用しており、先ず、正方格子状に配された単位画素が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタに対応するように、色分離フィルタの繰返単位が２画素×２画素で配されて画素部を構成するように色フィルタ１４を配置する。

また、赤外光とともに可視光の全波長成分を受光・検知する検知部（検知領域）を設けるべく、２つの緑（Ｇ）のうちの一方を白色フィルタＷに置き換える。つまり、可視光カラー画像用に原色フィルタ１４Ｒ（Red ），１４Ｇ（Green ），１４Ｂ（Blue）の３つの波長領域（色成分）用のものと、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂの成分とは異なる赤外光用の白色フィルタ１４Ｗ（White ）といった別個のフィルタ特性を有する４種類の色フィルタ１４を規則的に配設している。白色フィルタ１４Ｗは、可視光帯の全成分（Ｒ，Ｇ，Ｂ成分）を透過する特性のものであるとともに、特に本実施形態では、赤外光成分をも透過する特性のものとする。

なお、白色フィルタ１４Ｗが配される白色画素は、可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるものであり、この点においては、事実上、色フィルタ１４を設けない広波長領域画素１２Ａ（All ）とする構成を採ることができる。

ただし、実際に撮像素子を形成する際には、色フィルタ層の上層にさらにマイクロレンズをオンチップで形成することがある。この場合、Ｃ４の部分のみに色フィルタが設けられていないと、その部分を埋めるなどの対処が必要になるが、Ｃ４に白色フィルタ１４Ｗを設けるとそれが不要になる。また、Ｃ４に白色フィルタ１４Ｗを設けると、可視光領域の検知感度を、Ｃ１，Ｃ２，Ｃ３についての検知感度に応じて調整できる利点もある。

たとえば、偶数行奇数列には第１のカラー（赤；Ｒ）を感知するための第１のカラー画素を配し、奇数行奇数列には第２のカラー（緑；Ｇ）を感知するための第２のカラー画素を配し、奇数行偶数列には第３のカラー（青；Ｂ）を感知するための第３のカラー画素を配し、偶数行偶数列には赤外光IRを感知するための第４のカラー画素（ここでは白画素もしくは広波長領域画素）を配しており、行ごとに異なったＧ／Ｂ、またはＲ／Ｗ（Ｒ／Ａ）の画素が市松模様状に配置されている。このようなベイヤ配列の基本形のカラーフィルタの色配列は、行方向および列方向の何れについても、Ｇ／ＢまたはＲ／Ｗ（Ｒ／Ａ）の２色が２つごとに繰り返される。

原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを通して対応する検知部（画素１２Ｒ，１２Ｇ，１２Ｂ）で検知することで可視光カラー画像を撮像できるとともに、白色フィルタ１４Ｗを通して（もしくはフィルタなしで）対応する検知部（広波長領域画素１２Ａ）で検知することで赤外光画像、もしくは赤外光と可視光の混在画像を可視光カラー画像とは独立かつ同時に撮像することができる。

たとえば、赤外光IRと可視光VLの混合成分を受光する広波長領域画素１２Ａからの画素データをそのまま用いることで、赤外光IRと可視光VLの混合成分の像を得ることができ、広波長領域の画素信号を取得することができる。

また、広波長領域画素１２Ａで得られる赤外光IRと可視光VLの混合成分の像とともに画素１２Ｒ，１２Ｇ，１２Ｂで可視光VLの色画像が得られるが、両者の差分を取ることで、赤外光IRのみの像が得られる。また、この広波長領域画素１２Ａから得られる混在画像信号（広波長領域画像信号）は、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを配した画素１２Ｒ，１２Ｇ，１２Ｂから得られる可視光カラー画像に対しての補正信号としても利用することができる。

なお、上記例では、可視光カラー画像撮像用の色フィルタ群３１４として、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを用いていたが、補色フィルタ１４Ｃｙ，１４Ｍｇ，１４Ｙｅを用いることもできる。

この場合、たとえば、図２（Ｂ）に示す第１例の配列態様（その２）のように、原色フィルタ１４Ｒをイエローフィルタ１４Ｙｅに、原色フィルタ１４Ｇをマゼンタフィルタ１４Ｍｇに、原色フィルタ１４Ｂをシアンフィルタ１４Ｃｙに、それぞれ置き換えた配置とするとよい。そして、対角に２つ存在することになるマゼンタフィルタ１４Ｍｇの一方に、白色フィルタ１４Ｗを配するか、もしくは色フィルタ１４を配しない。

また、Ｃｙ，Ｍｇ，Ｙｅの補色フィルタのみの組合せに限らず、原色フィルタの１つである緑色フィルタ１４Ｇを補色フィルタと組み合せたものに対しても、広波長領域画素１２Ａを設けることもできる。たとえば、図２（Ｃ）に示す第１例の配列態様（その３）のように、Ｃｙ，Ｍｇの２つの補色フィルタとＧの原色フィルタとを組み合わせたフィールド蓄積周波数インターリーブ方式用のものにおいて、４画素内に２つ存在する原色フィルタ１４Ｇの内の一方を白色フィルタ１４Ｗに置き換えるか、もしくは色フィルタ１４を配しないとよい。

＜第２例〜第５例＞
図３〜図６に示す色フィルタ群３１４の第２例〜第５例の配列態様は、解像度低下を考慮した画素配列である。

画素配列に関して言えば、図２のような配列構造を適用した場合、単純に従来のＲＧＢ原色フィルタやＣｙ，Ｍｇ，Ｙｅ補色フィルタ（あるいは原色フィルタＧ）の可視光の画素に広波長領域対応用の画素（広波長領域画素１２Ａ）を追加することになる。

たとえば、本来、可視光カラー画像撮像用の緑色画素Ｇやマゼンタ色画素Ｍｇが、広波長領域画素１２Ａに置き換わることになり、可視光カラー画像および赤外光画像の何れについても、解像度低下を招く可能性がある。たとえば、従来のＲＧＢベイヤ配列のＧの１つの画素を広波長領域画素１２Ａに置き換えると、解像度が低下する。しかしながら、広波長領域画素１２Ａと解像度に大きく寄与する波長成分の画素（たとえば緑色画素１２Ｇ）の配置態様を工夫することで、この解像度低下の問題を解消することができる。

この際に重要なことは、従来と同様に、各色の色フィルタ１４をモザイク状に配した色分離フィルタ構造を採用する場合、赤外光と可視光の混在の広波長領域画素１２Ａがある一定の格子間隔を持ってモザイク模様になるようにするとともに、可視光の原色系ＲＧＢまたは補色系Ｃｙ，Ｍｇ，Ｙｅ画素の内の１つの画素がある一定の格子間隔を持ってモザイク模様になるように配置することである。

ここで、「モザイク模様になるようにする」とは、ある色画素に着目したとき、それらがある一定の格子間隔を持って格子状に配列されるようにすることを意味する。必ずしも、その色画素が隣接することを必須とはしない。なお、色画素が隣接する配置態様を採った場合の典型例としては、広波長領域画素１２Ａとその他の色画素の正方形を互い違い並べた碁盤目模様（市松模様）となるようにする配置態様がある。あるいは、可視光の原色系ＲＧＢまたは補色系Ｃｙ，Ｍｇ，Ｙｅ画素の内の１つの画素とその他の色画素の正方形を互い違い並べた碁盤目模様（市松模様）となるようにする配置態様がある。

＜第２例：原色フィルタへの適用例＞
たとえば、ＲＧＢ原色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のＧの画素の配置密度を維持し、可視光領域の残りのＲもしくはＢの画素を、広波長領域画素１２Ａに置き換えるとよい。たとえば図３（Ａ）に示す第２例の配列態様（その１）のように、２行２列の単位画素マトリクス１２内において先ず、奇数行奇数列および偶数行偶数列に可視光領域の緑色成分を感知するための色フィルタ１４Ｇを設けた緑色画素１２Ｇを配し、偶数行奇数列には白色フィルタ１４Ｗを設けたもしくは色フィルタ１４を設けない広波長領域画素１２Ａを配する。広波長領域画素１２Ａは、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である。

また、単位画素マトリクス１２の列方向の奇数番目においては、行方向の奇数番目の単位画素マトリクス１２における奇数行偶数列に可視光領域の青色成分を感知するための色フィルタ１４Ｂを設けた青色画素１２Ｂを配し、行方向の偶数番目の単位画素マトリクス１２における奇数行偶数列に可視光領域の赤色成分を感知するための色フィルタ１４Ｒを設けた赤色画素１２Ｒを配する。単位画素マトリクス１２の列方向の偶数番目においては、青色画素１２Ｂと赤色画素１２Ｒの配置を逆にする。全体としては、色フィルタ群３１４の繰返しサイクルは、２×２の単位画素マトリクス１２で完結することになる。

なお、赤色画素１２Ｒ、緑色画素１２Ｇ、および青色画素１２Ｂを纏めて可視光検知画素１２VLと称する。可視光検知画素１２VLは、ＲＧＢ信号などの可視光信号を波長分離して取得する特定波長領域信号取得素子の一例である。

この図３（Ａ）に示すような配置形態の場合、可視光の原色系ＲＧＢ画素の内の１つの緑色画素１２Ｇとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与する緑色画素１２Ｇの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。

ただし、赤色画素１２Ｒと青色画素１２Ｂの配置密度はベイヤ配列に対して１／２になるのでカラー分解能が低下する。しかしながら、色に関する人間の視感度は、緑Ｇに比べて赤Ｂや青Ｂは劣るので、大きな問題にはならないと考えてよい。

一方、輝度信号に寄与する広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）に関しては、広波長領域画素１２Ａの配置密度が、可視光領域の緑色成分を感知するための緑色画素１２Ｇに対して１／２になるので、輝度画像の分解能は、原色画素１２Ｒ，１２Ｇ，１２Ｂで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。

また、広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）の解像度低下を抑えるには、たとえば図３（Ｂ）に示す第２例の配列態様（その２）のように、図３（Ａ）に示す可視光領域の緑色成分を感知するための緑色画素１２Ｇと、広波長領域画素１２Ａの配置を入れ替えるとよい。この場合、広波長領域画素１２Ａとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素１２Ａの配置密度をベイヤ配列の場合と同じにできるので、出力される輝度画像の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与する緑色画素１２Ｇの配置密度は、広波長領域画素１２Ａに対して１／２になるので、可視光カラー画像は、広波長領域画素１２Ａから得られる輝度画像の分解能よりも劣る。カラー分解能に関しては、図３の場合と同様である。

＜第３例：補色フィルタへの適用例＞
また、Ｃｙ，Ｍｇ，Ｙｅ補色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のＭｇの画素の配置密度を維持し、可視光領域の残りのＲもしくはＢの画素を、広波長領域画素１２Ａに置き換えるとよい。たとえば図４（Ａ）に示す第３例の配列態様（その１）のように、２行２列の単位画素マトリクス１２内において、先ず、奇数行奇数列および偶数行偶数列に可視光領域のマゼンタ色成分を感知するための色フィルタ１４Ｍｇを設けたマゼンタ画素１２Ｍｇを配し、偶数行奇数列には白色フィルタ１４Ｗを設けたもしくは色フィルタ１４を設けない広波長領域画素１２Ａを配する。なお、マゼンタ色Ｍｇの内の一方を緑色Ｇに置き換えることもできる。

この場合、可視光の補色系Ｃｙ，Ｍｇ，Ｙｅ画素の内の１つのマゼンタ画素１２Ｍｇとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与するマゼンタ画素１２Ｍｇの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。

なお、カラー画素Ｃｙとカラー画素Ｙｅの配置密度はマゼンタ画素１２Ｍｇの配列に対して１／２になるのでカラー分解能が低下するが、色に関する人間の視感度は低く大きな問題にはならないと考えてよい。

また、輝度信号に寄与する広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）に関しては、広波長領域画素１２Ａの配置密度が、可視光領域のマゼンタ色成分を感知するためのマゼンタ画素１２Ｍｇに対して１／２になるので、輝度画像の分解能は、原色画素１２Ｒ，１２Ｇ，１２Ｂで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。

また、赤外光画像の解像度低下を抑えるには、たとえば図４（Ｂ）に示す第３例の配列態様（その２）のように、図４（Ａ）に示す可視光領域のマゼンタ色成分を感知するためのマゼンタ画素１２Ｍｇと、広波長領域画素１２Ａの配置を入れ替えるとよい。この場合、広波長領域画素１２Ａとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素１２Ａの配置密度をベイヤ配列の場合と同じにできるので、広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与するマゼンタ画素１２Ｍｇの配置密度は、広波長領域画素１２Ａに対して１／２になるので、可視光カラー画像は、輝度画像の分解能よりも劣る。カラー分解能に関しては、図４（Ａ）の場合と同様である。

なお、解像度低下を抑えるための上記の配置態様例では、緑色Ｇまたはマゼンタ色Ｍｇの画素をできるだけ高密度でモザイク模様（定型例としての市松模様）となるように配置していたが、その他の色（Ｒ，ＢまたはＣｙ，Ｙｅ）の画素を市松模様となるように配置しても、ほぼ同様の効果を得ることができる。もちろん、解像度や色分解能を高める上では、視感度の高い色成分のフィルタをできるだけ高密度でモザイク模様となるように配置するのが好ましい。

特に、本実施形態では、色フィルタＣ４を通して得られる広波長領域信号ＳＡから出力用の輝度信号を取得することにするので、この点を考慮すれば、図３（Ｂ）に示したような、広波長領域画素１２Ａの配置密度ができるだけ高くなるような色フィルタ１４の配列態様、つまり白画素に相当する広波長領域画素１２Ａが最も高密度となるようにしつつ市松状に配置したカラーフィルタアレイとすることが、全体として、高解像度化に大きく寄与することになる。

こうすることで、可視光成分の少ない低照度環境下での撮影画像について、可視光領域以外の成分も使うことで効果的なノイズ低減を実現することに加えて、解像度の高い高品質な画像を取得することが可能となる。

＜第４例＆第５例：斜め配置への適用例＞
なお、上記例では、正方格子状に色フィルタを配置する事例を説明したが、斜め格子状に配列することもできる。たとえば、図５（Ａ）に示す第４例の配列態様（その１）は、図３（Ａ）に示す配置態様を、右回りに略４５度だけ回転させた状態の画素配列になっている。また図５（Ｂ）に示す第４例の配列態様（その２）は、図３（Ｂ）に示す配置態様を、右回りに略４５度だけ回転させた状態の画素配列になっている。このように、斜め格子状に配列すると、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができるのである。

また、図６に示す第５例の配列態様は、図３（Ｂ）に示す第４例の配列態様（その２）に対して、演算処理により仮想の広波長領域画素１２AAを算出可能にしたもので、さらに高解像度化を図ることができる。なお、仮想の広波長領域画素１２AAは、上下または左右の実在する広波長領域画素１２Ａの信号を元に演算することができる。

以上説明したように、色フィルタ群３１４をなす色フィルタ１４の配列（色配列）としては様々なものを適用し得るが、何れにおいても、広波長領域画素１２Ａは、所定の間隔を持って市松状に配置されている。このような色配列を持つ半導体装置としての固体撮像素子を適用して撮影した画素信号に基づいて信号処理（特に輝度成分に関わる信号処理）を実行すれば、広波長領域画素１２Ａからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、特に、低照度の下で撮影した画像であっても効果的なノイズ低減を実現して高品質な画像を得ることが可能となる。

＜撮像装置＞
図７は、物理情報取得装置の一例である撮像装置の概略構成を示す図である。撮像装置３００は、可視光カラー画像および近赤外光成分を含む輝度画像を独立に得る撮像装置や、近赤外光成分を使った補正をした可視光カラー画像を得る撮像装置になっている。

具体的には、撮像装置３００は、被写体Ｚの像を担持する光Ｌを撮像部側に導光して結像させる撮影レンズ３０２と、光学ローパスフィルタ３０４と、半導体装置の一例である固体撮像素子（イメージセンサ）３１２、不可視光カットフィルタ層の一例である赤外光カットフィルタ層３１３、および色フィルタ群３１４を有する全体として半導体装置をなす撮像部３１０と、固体撮像素子３１２を駆動する駆動部３２０と、固体撮像素子３１２から出力された不可視光成分信号の一例である赤外光信号ＳIR（赤外光成分）および可視光信号ＳVL（可視光成分）を処理する撮像信号処理部３３０とを備えている。

赤外光カットフィルタ層３１３は、第１の波長領域の成分としての可視光領域および第２の波長領域の成分としての赤外光成分に対して透過性を有する開口部３１３ａと第１の波長領域の成分としての可視光領域に対して透過性を有するとともに第２の波長領域の成分としての赤外光成分に対して非透過性を有する非開口部３１３ｂとを具備する第１の波長分離フィルタ部の一例である。

また、色フィルタ群３１４は、第１の波長領域としての可視光領域をそれぞれ異なる波長領域成分に分離する第２の波長分離フィルタ部の一例である。

光学ローパスフィルタ３０４は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。

なお、図中に点線で示したように、一般的な撮像装置では、光学ローパスフィルタ３０４と合わせて、赤外光成分を低減させる赤外光カットフィルタ３０５を設けるが、本実施形態では、赤外光カットフィルタ３０５を備えない構成を基本とする。

また、可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影レンズ３０２を通して入射された光Ｌ１を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材（波長分離光学系という）を備える仕組みが採られることもあるが、本構成では、そのような入射系において波長分離を行なう波長分離光学系を備えていない。

固体撮像素子３１２は、２次元マトリックス状に形成された光電変換画素群からなる撮像素子である。なお、本実施形態で用いる赤外光カットフィルタ層３１３および固体撮像素子３１２の具体的な構成については後述する。

固体撮像素子３１２の撮像面では、被写体Ｚの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動部３２０へ出力されるセンサ駆動用のパルス信号によって制御される。

固体撮像素子３１２から読み出された電荷信号は撮像信号処理部３３０に送られ、所定の信号処理が加えられる。

ここで、本実施形態の構成においては、色フィルタＣ４としては、色フィルタＣ１，Ｃ２，Ｃ３を通して得られる信号よりも光の利用効率が高い広波長領域信号が得られるようにしており、色フィルタＣ４を通して得られる広波長領域信号ＳＡに含まれる赤外光撮像信号ＳIRは、可視光帯域の全成分で示される、一般的に輝度信号ＳY と称されるものを補完する信号成分として機能するようになっている。

たとえば、撮像信号処理部３３０は、固体撮像素子３１２から出力されたセンサ出力信号（色フィルタＣ４を通して得られる輝度信号ＳY および赤外光撮像信号ＳIRでなる広波長領域信号ＳＡ並びに色フィルタＣ１，Ｃ２，Ｃ３を通して得られる色信号ＳＲ，ＳＧ，ＳＢ）に対して黒レベル調整やゲイン調整やクリッピング処理やガンマ補正などの前処理を行なう前処理部３３２と、前処理部３３２から出力されたアナログ信号をデジタイル信号に変換するＡＤ変換部３３４と、ホワイトバランス補正や撮影レンズ３０２で生じるシェーディングや固体撮像素子３１２の画素欠陥などを補正する補正処理部３３６と、本発明に係る信号処理装置の一例である画像信号処理部３４０とを備えている。

画像信号処理部３４０は、被写体Ｚを色フィルタＣ１〜Ｃ４の配列パターン（モザイクパターン）に従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像から、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換するデモザイク信号処理部３４１を備えている。

なお、一般に、波長成分（色成分）や感度が異なるモザイク状の撮像情報としてのモザイク画像から、全ての画素位置について色や感度が均一な情報としての輝度画像や単色画像を生成する処理をデモザイク処理と称する。

詳細は後述するが、デモザイク信号処理部３４１は、色フィルタＣ４を通して得られる色・感度モザイク画像から測光量を示す信号として輝度画像を生成する輝度信号生成部、および、色フィルタＣ１，Ｃ２，Ｃ３を通して得られる色・感度モザイク画像を用いて単色画像Ｒ，Ｇ，Ｂを生成する単色画像信号生成部とを有する。

また、詳細は後述するが、信号処理形態によっても異なるものの、単色画像信号生成部の後段には、単色画像信号生成部で得られる単色画像Ｒ，Ｇ，Ｂに基づいて色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）を生成する色差信号処理部が設けられることもあるし、また、輝度信号生成部で得られる輝度信号に基づき取得される所定の信号成分と単色画像信号生成部で得られる単色画像Ｒ，Ｇ，Ｂに基づく単色画像信号Ｒａ，Ｇａ，Ｂａとを加算して最終的な色出力信号としての単色画像信号Ｒｚ，Ｇｚ，Ｂｚを生成する合成処理部が設けられることもある。後者の場合、さらに、その後段に色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）を生成する色差信号処理部が設けられることもある。

また、画像信号処理部３４０は、デモザイク信号処理部３４１の輝度信号生成部から出力された広波長領域信号ＳＡに対して所望の輝度信号処理を加えて最終的な輝度出力信号としての輝度信号Ｙｚを生成する輝度信号処理部を備えていてもよい。輝度信号処理部を設けない場合には、デモザイク処理で得られたものを、そのまま輝度信号Ｙｚとして出力することになる。

また、画像信号処理部３４０は、デモザイク信号処理部３４１の輝度信号生成部から出力された広波長領域信号ＳＡから赤外光撮像信号ＳIRを抽出することで赤外光画像を表わす赤外光信号ＳIRｚを生成する赤外信号処理部を備えていてもよい。

本実施形態では、輝度信号処理部、色差信号処理部、合成処理部、赤外信号処理部を纏めて、出力画像信号処理部３４３と称する。

出力画像信号処理部３４３の後段には、図示を割愛するが、さらにモニタ出力用のビデオ信号とするためのエンコーダが設けられることもある。エンコーダでは、２系統の色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）に基づいて、各種の放送方式に準拠したサブキャリアで変調することでクロマ信号を生成し、さらに輝度信号Ｙと合成することで、ビデオ信号を生成する。

単色画像信号生成部は、注目する色成分について、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＲ，ＳＧ，ＳＢを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像を生成する。

輝度画像生成部も、同様に、色フィルタＣ４を通して得られる色・感度モザイク画像、色フィルタＣ４の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＡを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が高波長領域信号成分の画素値を有する広波長領域画像を生成し、これを、事実上、輝度画像として使用するようにする。

色フィルタＣ４を設けない、Ｒ，Ｇ，Ｂの３原色フィルタを配したベイヤ配列の場合、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、３原色成分Ｒ，Ｇ，Ｂの各推定値を求め、求めた推定値に色バランス係数を乗算し、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する必要があるが、本実施形態では、このような演算が不要になる。

このような構成によって、撮像装置３００は、撮影レンズ３０２により赤外光IRを含む被写体Ｚを表わす光学画像を取り込み、赤外光画像（近赤外光光学画像）と可視光像（可視光光学画像）とを分離することなく撮像部３１０に取り込み、撮像信号処理部３３０によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理（たとえばＲ，Ｇ，Ｂ成分への色信号分離など）を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。

たとえば、撮影レンズ３０２は、波長３８０ｎｍ程度から２２００ｎｍ程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成されるレンズであり、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子３１２上に結像させる。

また、本実施形態の撮像装置３００においては、撮像部３１０に、本来の検知目的の波長成分の検知に最適化された検知部（イメージセンサ）を設けるようにする点に特徴を有している。特に、本実施形態においては、可視光VLと赤外光IRの内の短波長側を検知するべく、可視光VLの検知に最適化された固体撮像素子３１２が設けられている。

ここで“最適化されたイメージセンサ”とは、本来の検知目的の波長成分の撮像信号に、本来の検知目的の波長成分以外が可能な限り含まれないようにするような波長分離対応の領域を備えた構造を持つことを意味する。

波長分離光学系による光路上での波長分離を備えなくても、イメージセンサ側で波長分離対応の構造を持つようにすることで、光学系をコンパクトにすることを可能にする点に特徴を有している。

このような撮像装置の構造は、特開平１０−２１０４８６号公報や特開平０６−１２１３２５号公報のように、波長分離光学系で分離した各波長成分を、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とは異なる。

また、特開平１０−２１０４８６号公報のように、コールドミラーを透過した可視光成分をさらに３枚のダイクロイックミラーで、赤色成分、緑色成分、および青色成分に分離し、それぞれを個別のセンサに入射させることで、可視光VLに関して、Ｒ，Ｇ，Ｂの個別の画像を取得する仕組みとも異なる。特開平１０−２１０４８６号公報の方式では、可視光VLについて３つのセンサが必要になり、感度向上はあるものの、コストが増大するという問題点がある。本実施形態の構成ではこの問題がない。

また、特開２００２−３６９０４９号公報のように、光路上にて２段構えで波長分離を行ない、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とも異なる。同公報の方式では、光路上にて２段構えで波長分離を行なうので、光学系が大掛かりになる難点がある。加えて、感度やボケなどの問題も有する。本実施形態の構成ではこの問題がない。

たとえば、本実施形態の構成では、撮像部３１０による可視光VLの撮像において、減色フィルタの一例として赤外光カットフィルタを固体撮像素子３１２の前に入れる必要がなくなる。高価な赤外光カットフィルタを不要にすることで、コストを大幅に低減できる。また、厚みや重さのある赤外光カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできる。もちろん、赤外光カットフィルタの挿入／抜出機構が不要であり、装置が大がかりになることもない。既存のガラス製の赤外光カットフィルタを用いる場合に比べて、コスト的に有利になるし、コンパクトになって携帯性などに優れたデジタルカメラなどの撮像装置を提供することができる。

また、赤外光カットフィルタを固体撮像素子３１２の前に入れる構成では、ガラス基板をＣＣＤやＣＭＯＳなどの撮像素子の前に入れることで光路の途中に空気とガラス界面が生じてしまう。したがって、透過して欲しい可視光VLの光までがその界面で反射されてしまい、感度低下を招く問題が生じる。さらにこのような界面が多くなることで、斜め入射における（ガラス内で）屈折する角度が波長によって異なり、光路の変化による焦点ぼけを引き起こす。これに対して固体撮像素子３１２の前側の光路上にガラス製の赤外光カットフィルタを用いないことで、このような焦点ぼけがなくなる利点が得られる。

なお、さらに波長分離性能を向上させるために、光学系が大きくなってしまなどの問題が生じてしまうが、全体に弱い赤外光カットフィルタを入れてもよい。たとえば５０％以下の赤外光カットフィルタを入れることで可視光VLに対して殆ど問題のないレベルまでカットするとよい。

何れにしても、信号処理をどのようにするか次第ではあるが、可視光VLと可視光以外（本例では赤外光IR）とを混在させた画像の撮像を行なうことができるし、場合によっては、可視光VLのみの画像と赤外光IRのみの画像とを分離して出力することもできる。

さらに、固体撮像素子３１２上に、可視光VL内を所定の波長領域成分に分離する光学部材の一例として、可視光領域において所定の波長透過特性を持つ色フィルタを画素（単位画素マトリクス）に対応させて設けることで、赤外光IRの影響をほぼ全く受けない可視光領域中の特定波長領域のみの像が得られる。

また、単位画素マトリクスを構成する複数のフォトダイオード上に一体的に、可視光領域においてそれぞれ異なる波長透過特性を持つ色フィルタを、各波長対応（色別）のフォトダイオードに位置整合させ、規則的に配列することで、可視光領域を波長別（色別）に分離することができ、これらの色別の画素から得られる各画素信号に基づいて、赤外光IRの影響をほぼ全く受けない可視光VLのみのカラー画像（可視光カラー画像）が得られる。

もちろん、波長別（色別）の信号を合成することで可視光のみのモノクロ画像を得ることもできる。広波長領域画素１２Ａ側で得られる赤外光成分を含むモノクロ画像と可視光のみのモノクロ画像とを使ったアプリケーションも可能となるし、両者の差分から、赤外光成分のみの画像を抽出することもできる。

このように、可視光VLのモノクロ画像あるいはカラー画像と、“赤外光IRに関わる像”をそれぞれ独立に求めることが常時可能となる。“赤外光IRに関わる像”とは、可視光VLの影響をほぼ全く受けない赤外光IRのみの像や赤外光IRと可視光VLとを混在させた像を意味する。

赤外光IRの影響をほぼ全く受けない可視光VLのみの撮像（モノクロ撮像もしくはカラー撮像）と、赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることもできるのである。また、可視光VLのみの成分（モノクロ像成分もしくはカラー像成分）と、赤外光IRと可視光VLとを混在させた成分との合成処理（詳しくは差分処理）により、可視光VLの影響をほぼ全く受けない赤外光IRのみの撮像を行なうようにすることもできる。

なお、上記において、“影響をほぼ全く受けない”とは、最終的に人間の視覚によることを考慮し、一般的に人間の視覚によって明確な差が関知できない程度であれば、“影響を若干受ける”ことがあってもよい。すなわち、赤外光IR側については通過波長領域（可視光VL）の影響を無視可能な赤外画像（物理情報の一例）を取得できればよく、可視光VL側については反射波長領域成分（赤外光IR）の影響を無視可能な通常画像（物理情報の一例）を取得できればよい。

なお、色フィルタＣ４として、白色フィルタを使用する場合には、色フィルタＣ４が配される補正画素は、可視光から赤外光まで広い波長域において感度を持つことになるので、色フィルタＣ１，Ｃ２，Ｃ３が配される可視光撮像用の他の画素に比べて、画素信号が飽和し易い。

この問題を避けるには、色フィルタＣ４が配される第２の検知部の検知時間を駆動部３２０により制御するとよい。たとえば、明るい所での撮像においては、電子シャッタ機能を利用するなどして、通常よりも短い周期で補正画素の検知部から画素信号を読み出して、それを前処理部３３２に送るようにするのがよい。この場合、６０フレーム／秒より高いレートで信号を送ることで飽和に対して効果が得られる。

あるいは単に０．０１６６７秒より短い時間（蓄積時間）で補正画素の検知部から電荷を読み出せればよい。この場合、オーバーフローを用いて基板側に電荷信号を排出することで実効的に短い時間での電荷の蓄積を読み出してもよい。さらに望ましくは、２４０フレーム／秒より高いレートで信号を送ることで飽和に対して効果がよりある。あるいは、単に４．１６ミリ秒より短い時間（蓄積時間）で検知部から電荷を読み出せればよい。何れにしても、補正画素の検知部から出力される画素信号が飽和し難いようにできればよい。なお、このように飽和しないように短い時間（蓄積時間）で電荷を読み出すのは補正画素だけ行なってもよいし、全画素をそのようにしてもよい。

さらに短い時間で読み取った信号を２回以上積算することで、弱い信号を強い信号に変換し、Ｓ／Ｎ比を高めてもよい。たとえば、このようにすることで暗いところで撮像しても、また明るいところで撮像しても適切な感度と高いＳ／Ｎ比が得られ、ダイナミックレンジが広がることになる。

＜撮像素子；色フィルタ群と赤外光カットフィルタ層の配置順＞
図８および図９は、固体撮像素子３１２を構成する色フィルタ群３１４と赤外光カットフィルタ層３１３の配置順を説明する図である。図１０は、比較例としての、固体撮像素子が一般的なベイヤ配列の色フィルタ配列を持つ場合の撮像装置の概略構成を示す図である。

図１０に示した比較例は、一般的な単板カラー方式の固体撮像素子３１２を具備する撮像装置の構成を示している。単板カラー方式の固体撮像素子は、光路上に備えられたガラス製の赤外線カットフィルタおよび光学レンズを通して入射される光のうち、カラーフィルタを透過する光を受光する。固体撮像素子で光電変換されて電気信号として出力される画像信号は、固体撮像素子に内蔵されるＡ／Ｄ変換器によりデジタル信号に変換された後、撮像信号処理部（カメラ信号処理部）において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施される。

ここで、図８および図９に示した本実施形態の構成と図１０に示した比較例との比較から分かるように、本実施形態の構成では、先ず、ガラス製の赤外光カットフィルタ３０５を光路上に備えておらず、この赤外光カットフィルタ３０５に代えて、撮像部３１０に、赤外光カットフィルタ層３１３を設けるようにしている点に特徴を有する。

先ず、撮像部３１０は、固体撮像素子３１２の表面に、固体撮像素子３１２の各単位画素マトリクス（画素）１２をなす画素１２Ｒ，１２Ｇ，１２Ｂ，１２Ａに対応するように、赤外光カットフィルタ層３１３と色フィルタ群３１４とを所定の順で配置して、これらを一体的に構成して、全体として、撮像素子となるようにしている。

ここで、本実施形態において、赤外光カットフィルタ層３１３としては、詳細は後述するが、誘電体積層膜１を利用した構造のものを使用する。そして、固体撮像素子３１２の広波長領域画素１２Ａの部分に開口部３１３ａを割り当て、かつ他の赤色画素１２Ｒ、緑色画素１２Ｇ，青色画素１２Ｂの部分に非開口部３１３ｂを割り当て、非開口部３１３ｂに誘電体積層膜１を利用した赤外光カットフィルタ膜を形成する。

また、色フィルタ群３１４については、赤色画素１２Ｒの部分に色フィルタ１４Ｒを割り当て、緑色画素１２Ｇの部分に色フィルタ１４Ｇを割り当て、青色画素１２Ｂの部分に色フィルタ１４Ｂを割り当て、広波長領域画素１２Ａの部分に白色フィルタ１４Ｗを割り当てるか、色フィルタ１４を無しとする。

つまり、撮像部３１０は、不可視光の一例である赤外光をカットする赤外光カットフィルタ層３１３が固体撮像素子３１２の上に一体的に形成され、固体撮像素子３１２は、赤外光カットフィルタ層３１３の開口部３１３ａに対応する部分に可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である広波長領域画素１２Ａを備え、また、赤外光カットフィルタ層３１３の非開口部３１３ｂに対応する部分に波長領域別に可視光信号を取得する特定波長領域信号取得素子の一例である赤色画素１２Ｒ，緑色画素１２Ｇ、青色画素１２Ｂを備えた構造をなしている。

ここで、図８に示す第１例の配置順では、色フィルタ群３１４が光入射側に配置され、色フィルタ群３１４と固体撮像素子３１２との間に赤外光カットフィルタ層３１３が配置された態様である。

非開口部３１３ｂの誘電体積層膜１によって赤外光がカットされるので、赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂの部分には、可視光領域〜赤外光波長領域の成分のうち、対応する色フィルタ１４を通して赤外光カットフィルタ層３１３に所定の色成分が入射し、さらに赤外光カットフィルタ層３１３によって赤外光領域を含まない可視光領域の所定の色成分のみが入射することになる。一方、開口部３１３ａは赤外光がカットされることがなく、広波長領域画素１２Ａの部分には、可視光領域〜赤外光波長領域の全波長成分が入射することになる。

このような第１例の配置順の構造では、半導体である固体撮像素子３１２の上層に先ず誘電体積層膜１でなる赤外光カットフィルタ層３１３を一体的に形成してから、さらにその上層に色フィルタ群３１４や図示を割愛したマイクロレンズを形成することができるので、赤外光カットフィルタ層３１３の製造時の温度条件が後述の第２例と比べて余裕があり、比較的、製造が容易である。ただし、色フィルタ群３１４が光入射側となるので、一般的に有機物で生成される色フィルタ群３１４の耐候性（劣化性能）の点では第２例よりも劣る。

一方、図９に示す第２例の配置順では、赤外光カットフィルタ層３１３が光入射側に配置され、赤外光カットフィルタ層３１３と固体撮像素子３１２との間に色フィルタ群３１４が配置された態様である。

非開口部３１３ｂの誘電体積層膜１によって赤外光がカットされるのは、第１例の場合と同様であるので、赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂの部分には、可視光領域〜赤外光波長領域の成分のうち、赤外光カットフィルタ層３１３によって赤外光領域を含まない可視光領域の成分のみが色フィルタ群３１４に入射し、さらに、色フィルタ群３１４によって対応する色フィルタ１４を通して所定の色成分のみが入射することになる。一方、開口部３１３ａは赤外光がカットされることがなく、広波長領域画素１２Ａの部分には、可視光領域〜赤外光波長領域の全波長成分が入射することになる。

このような第２例の配置順の構造では、赤外光カットフィルタ層３１３が光入射側となるので、一般的に有機物で生成される色フィルタ群３１４の耐候性（劣化性能）の点では第１例よりも優る。

ただし、半導体である固体撮像素子３１２の上層に先ず色フィルタ群３１４を形成してから、さらにその上層に誘電体積層膜１でなる赤外光カットフィルタ層３１３や図示を割愛したマイクロレンズを形成することになるので、赤外光カットフィルタ層３１３の製造時の温度条件が前述の第１例と比べて余裕がなく、製造手法に工夫を要する。

たとえば、誘電体積層膜１を構成する誘電体層としては、酸化シリコンＳｉＯ₂ やシリコンナイトライドＳｉＮ、あるいはアルミナＡｌ₂Ｏ₃やジルコニアＺｒＯ₂や酸化チタンＴｉＯ₂ や酸化マグネシウムＭｇＯや酸化亜鉛ＺｎＯなどの酸化物あるいはポリカーボネートＰＣやアクリル樹脂ＰＭＭＡなどの高分子材料、炭化珪素ＳｉＣやゲルマニウムＧｅなどを利用するが、その膜の一般的な製造時の温度条件は、固体撮像素子３１２上に形成された色フィルタ群３１４をなす各色フィルタ１４の耐え得る温度（たとえば２００°Ｃ程度）に対して比較的高くなり（たとえばＳｉＮ層では６００〜８００°Ｃ程度）、色フィルタ群３１４の膜劣化の問題が生じ得る。

この問題を解消するには、たとえば、プラズマ処理で誘電体層を製膜することが考えられるが、この場合でも、製膜時の温度条件は、たとえば３８０°Ｃ程度となり、依然として、色フィルタ１４の耐え得る温度（たとえば２００°Ｃ程度）に対して高く、色フィルタ群３１４の膜劣化の問題が残る。

さらに、製膜時の温度条件を低減するべく、スパッタ処理で誘電体層を製膜することが考えられる。この手法では、色フィルタ１４の耐え得る温度（たとえば２００°Ｃ程度）に対して問題のないようにすることができる。ただし、この手法では、膜厚の均一性に難点がありキチンとした膜ができ難く、赤外光カット性能の点では第１例よりも劣ることになる。

また、製膜時の温度条件を考慮する必要がないように、赤外光カットフィルタ層３１３を別途作成しておき、色フィルタ群３１４上に貼り付けることも考えられる。しかしながら、この場合、赤外光カットフィルタ層３１３の開口部３１３ａに対応する部分に広波長領域画素１２Ａが配置され、赤外光カットフィルタ層３１３の非開口部３１３ｂに対応する部分の色フィルタ群３１４の赤色フィルタ１４Ｒ、緑色フィルタ１４Ｇ、青色フィルタ１４Ｂのそれぞれに対応する部分に赤色画素１２Ｒ，緑色画素１２Ｇ、青色画素１２Ｂを配置するという、位置合せの管理が必要となる難点がある。

＜撮像部；誘電体積層膜を利用＞
図１１は、撮像部３１０の一実施形態を説明する図である。撮像部３１０は、一般的な単板カラー方式の固体撮像素子と同様に、撮像素子の表面に、各検知部（一般的に画素と呼ばれる）において、特定の波長成分のみを透過するような色フィルタ１４を対応する画素位置に位置決めして貼り付け（一体的に形成して）、複数個の画素の組によって必要な色成分を復元する構造を採用する。

加えて、本実施形態の撮像部３１０は、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた点に特徴を有する。ここでは、電磁波の一例である光を所定波長ごとに分光することを例に説明する。

具体的には、本出願人が特願２００４−３５８１３９号にて提案している構成を利用したもので、固体撮像素子３１２の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光（電磁波）の内の本来の検知目的外である波長成分（本例では赤外光IR成分）を反射させ残り（本例では可視光VL成分）を通過させる特性を持った積層部材としての誘電体積層膜を利用した波長分離対応の構造を持つ分光イメージセンサ（分光検知部）としている。固体撮像素子３１２（センサ）の基本構造そのものは、ＣＣＤ型やＣＭＯＳ型やその他の何れであってもよい。

積層部材が持つ前述の特性は、逆に言えば、入射される光（電磁波）の内の本来の検知目的の波長成分（本例では可視光VL成分）を通過させ残り（本例では赤外光IR成分）を反射させる特性ということができる。

可視光VLの検知部（可視光検知画素１２VL）側に、可視光VLの検知に最適化された誘電体積層膜を利用した分光イメージセンサ構造を持つイメージセンサとしている。赤外光IRを誘電体積層膜を利用して光学的に排除し、可視光VLの検知部に入射した可視光VL成分だけの光電子だけを可視光検知画素１２VLで電気信号に変換するようにする。

光路上で波長分離を行なうことなく、１つのイメージセンサ上の可視光検知画素１２VL（たとえばＲ，Ｇ，Ｂの各色画素１２Ａ，１２Ｇ，１２Ｂ）に誘電体多層膜を利用した分光フィルタを一体的に形成し、広波長領域画素１２Ａには誘電体多層膜を利用した分光フィルタを形成しない開口部３１３ａを設けることで、可視光検知画素１２VL（１２Ａ，１２Ｇ，１２Ｂ）から得られる画素信号に基づく可視光像（特に可視光カラー画像）と、広波長領域画素１２Ａから得られる画素信号に基づく赤外光成分を含む画像（本例では輝度画像に相当するもの）とを、独立かつ同時に取得できるようにしている。これにより、赤外光IRの影響を殆ど受けることなく、可視光像を、赤外光成分を含む画像とは独立に得ることができるようになる。

＜誘電体積層膜を利用した波長分離の概念＞
誘電体積層膜１は、図１１（Ａ）に示すように、隣接する層間で屈折率ｎｊ（ｊは２以上の正の整数；以下同様）が異なり（屈折率差Δｎ）、所定の厚みｄｊを持つ層を複数積層した構造を有する積層部材である。これによって、後述するように、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持つようになる。

誘電体積層膜１をなす各誘電体層１＿ｊの層数の数え方は、その両側の厚い層（第ｎ０層１＿０および第ｋ層１＿ｋ）を層数として数えずに、たとえば、第１層目から第ｋ層側に向けて順に数える。実質的には、両側の厚い層（第０層１＿０および第ｋ層１＿ｋ）を除いた基本層１＿１〜１＿ｎ（図ではｎ＝５）により、誘電体積層膜１が構成される。

このような構造を持つ誘電体積層膜１に光を入射させると、誘電体積層膜１での干渉により、反射率（あるいは透過率）が波長λに対してある依存性を持つようになる。光の屈折率差Δｎが大きいほどその効果が強くなる。

特に、この誘電体積層膜１が、周期的な構造や、ある条件（たとえば各層の厚みｄの条件ｄ〜λ／４ｎ）を持つことで、白色光などの入射光Ｌ１が入射すると、ある特定波長域の光（特定波長領域光）の反射率だけを効果的に高めて殆どを反射光成分Ｌ２にさせ、すなわち透過率を小さくさせて、かつ、それ以外の波長域の光の反射率を低くすることで殆どを透過光成分Ｌ３にさせる、すなわち、透過率を大きくさせることができる。

ここで波長λは、ある波長域の中心波長であり、ｎはその層の屈折率である。本実施形態では、この誘電体積層膜１による反射率（あるいは透過率）の波長依存性を利用することで、分光フィルタ１０を実現する。

図１１（Ｂ）は、赤外光IR（InfraRed）と可視光VL（Visible Light ）とを分光する事例で示している。可視光VLよりも長波長側である赤外領域の波長λ（主に７８０ｎｍより長波長側）の赤外光IRに対して、高い反射率を持たせるような誘電体積層膜１を形成することで、赤外光IRをカットすることができる。

なお、誘電体積層膜１をなす各誘電体層１＿ｊの部材（層材）は、複数の層で誘電体積層膜１を構成することから少なくとも２種となり、３層以上の場合には各誘電体層１＿ｊの何れもが異なる層材でなるものであってもよいし、２種（あるいはそれ以上）を交互にあるいは任意の順に積層したものであってもよい。また、誘電体積層膜１を、基本的な第１および第２の層材で構成しつつ、一部を第３（あるいはそれ以上）の層材に代えるようにしてもよい。以下、具体的に説明する。

＜＜誘電体積層膜の設計手法；赤外光カットの例＞＞
＜厚みｄｊの設計手法＞
図１２〜図１４は、誘電体積層膜１を設計する手法の基本概念を説明する図である。ここでは、誘電体積層膜１を、基本的な第１および第２の層材で構成しつつ、赤外光IRを選択的に反射させるような設計例を述べる。

図１２にその構造図を示すように、本実施形態で用いる誘電体積層膜１は、両側（以下、光入射側を第０層、反対側を第ｋ層と称する）の厚い酸化シリコンＳｉＯ₂ （以下ＳｉＯ２と記す）に挟まれて、第１および第２の層材でなる複数の誘電体層１＿ｊが積層されて構成されている。図示した例では、誘電体層１＿ｊをなす第１および第２の層材として何れも一般的な材料を用いることとし、シリコンナイトライドＳｉ₃Ｎ₄（以下ＳｉＮと記す）を第１の層材、酸化シリコンＳｉＯ２を第２の層材とする２種を用いて、これらを交互に積層している。また、誘電体積層膜１の構造は、上下に十分に厚い酸化シリコンＳｉＯ２層がある場合（ｄ０＝ｄｋ＝∞）を仮定している。

このような誘電体積層膜１は、下記式（１）の条件を満たすことで、反射率を有効に高くすることができる。

ここでｄｊ（ｊは層番号；以下同様）は、誘電体積層膜１を構成する各誘電体層１＿ｊの厚みであり、ｎｊは、その各誘電体層１＿ｊの屈折率であり、λ０は反射波長領域の中心波長（以下反射中心波長という）である。

誘電体積層膜１をなす各誘電体層１＿ｊの層数の数え方は、その両側の厚い酸化シリコンＳｉＯ２を層数として数えずに、たとえば、第１層目から第ｋ層側に向けて順に、ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層で３層、ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層で５層というように数える。図＠４では、７層構造を示している。

また、反射波長領域である赤外光IRの反射中心波長λ０＝９００ｎｍとして、奇数番目の層をなすシリコンナイトライドＳｉＮの屈折率ｎα＝２．０３、０番目、偶数番目、およびｋ番目の層をなす酸化シリコンＳｉＯ２の屈折率ｎβ＝１．４６としており、屈折率差Δｎは、０．５７である。

また、上記式（１）に従い、シリコンナイトライドＳｉＮの厚みｄα（＝ｄ１，ｄ３，…；ｊ＝奇数）は１１１ｎｍ、酸化シリコンＳｉＯ２層の厚みｄβ（＝ｄ２，ｄ４，…；ｊ＝偶数）は１５４ｎｍとしている。

図１３は、一般的な材料を用いた図１２の構造について、層数を変えて、有効フレネル係数法で計算した反射率Ｒの結果（反射スペクトル図）を示し、これにより、反射スペクトルの層数依存特性が分かる。

図１３の結果から、層数が増えるに従い、赤外光IRの反射中心波長λ０＝９００ｎｍを中心に反射率Ｒが高くなっているのが分かる。さらに、このように波長９００ｎｍを反射中心波長λ０に選ぶことで、ほぼ赤外光IRと可視光VLを分けていることが分かる。ここでは、５層以上にすることで、反射率Ｒが０．５以上、特に、７層以上にすることで、反射率が０．７を超えて望ましいことが分かる。

図１４は、誘電体層１＿ｊの厚みの変動依存性（ばらつきとの関係）を説明する反射スペクトル図である。ここでは、７層の場合を例に、各誘電体層１＿ｊの厚みｄｊを±１０％変えて計算した結果（反射スペクトル図）を示している。

条件式（１）は、フレネル係数法による理想的な計算値であるが、実際には式（１）の条件はゆるやかで幅がある。たとえば、±１０％の厚みｄｊの誤差があっても有効に反射率を高くできることがフレネル係数法による計算で分かった。

たとえば、図１３に示すように、厚みｄｊにばらつきの差があっても、有効に反射率Ｒを高くできることが分かった。たとえば、赤外光IRの反射中心波長λ０＝９００ｎｍにおいて反射率Ｒが０．５以上という十分な反射率Ｒが得られているし、赤外光IR全体（主に７８０ｎｍより長波長側）においても、反射が強いことが分かる。したがって、実際には、ばらつきも加味すれば、誘電体層１＿ｊの厚みｄｊは、下記式（２）の範囲であれば、反射率を有効に高くする上で、十分な効果が得られることになる。

＜反射中心波長λ０の設計手法＞
図１５〜図１７は、反射中心波長λ０の条件を説明する図である。厚みｄｊの数値条件は、スペクトルの赤外反射領域のバンド幅ΔλIRに依存する。反射スペクトルの概念を示した図１５（Ａ）のように、赤外反射領域のバンド幅ΔλIRが広い場合には長波長側に中心波長λ０を持っていかないと可視光VLでの反射が顕著になる。また反射スペクトルの概念を示した図１５（Ｂ）のように、逆に赤外反射領域のバンド幅ΔλIRが狭い場合には、短波長側に中心波長λ０を持っていかないと可視光VLに近い赤外領域での反射が起こらなくなる。可視光VLと赤外光IRの波長分離性能が非常によい。

ところで、シリコンＳｉの吸収スペクトルは、たとえば、赤外領域の内、７８０ｎｍ≦λ≦９５０ｎｍの範囲の赤外光IRを反射させれば、赤外カット効果として十分であると考えることができる。これは、波長９５０ｎｍより長波長側の光は殆どシリコンＳｉ内部で吸収されず、光電変換されないからである。したがって７８０ｎｍ≦λ≦９５０ｎｍの範囲の波長の赤外光IRを反射できるように反射中心波長λ０を選べばよいことになる。

また、可視光VLでも、赤（Ｒ）領域の内、６４０〜７８０ｎｍの範囲の光は視感度が低いために反射されてもされなくても特に撮像素子の性能に影響はないと考えてよい。したがって６４０〜７８０ｎｍの波長領域に反射が生じていても不都合がない。

さらに、赤外反射領域のバンド幅ΔλIRは、誘電体積層膜１の屈折率差Δｎが大きいときには広くなり、逆に屈折率差Δｎが小さいときには狭くなる。したがって、赤外反射領域のバンド幅λIRは、ＳｉＮ／ＳｉＯ２多層膜の場合には狭く、Ｓｉ／ＳｉＯ２多層膜の場合には広くなる。

これらのことから、ＳｉＮ／ＳｉＯ２多層膜（屈折率差Δｎ＝０．５７）の場合には、図１６の反射スペクトル図に示す７８０ｎｍと９５０ｎｍの反射中心波長λ０の計算から、７８０ｎｍ≦λ０≦９５０ｎｍの範囲であれば、ほぼ上述の条件を満たすことが分かる。ところで、図１６は後述する図２１のような積層構造で、λ０＝７８０ｎｍとλ０＝９５０ｎｍになるように、誘電体層１＿ｊの膜厚ｄｊだけを変えて計算されたものである。

また同様に、Ｓｉ／ＳｉＯ２多層膜（屈折率差Δｎ＝２．６４）の場合、図１７の反射スペクトル図に示すように９００ｎｍ≦λ０≦１１００ｎｍの範囲であれば、ほぼ上述の条件を満たす。

以上のことから、シリコンナイトライドＳｉＮやシリコンＳｉと酸化シリコンＳｉＯ２の組合せにおいては、反射中心波長λ０としては、下記式（３−１）を満たせばよいことになる。好ましくは、下記式（３−２）を満たすのがよい。これらは、９００ｎｍ近傍を反射中心波長λ０とするのが理想的であることを意味する。

もちろん、上記で示した材料は一例に過ぎず、上述のような効果は必ずしも酸化シリコンＳｉＯ₂ とシリコンナイトライドＳｉＮ層の組み合わせに限ったことでなく、屈折率差が０．３以上、さらに望ましくは０．５以上あるような材料を選べば同様な効果があることが計算によって見積もられた。

たとえばＳｉＮ膜は、作製条件によって多少の組成のばらつきがあってもよい。また、誘電体積層膜１を構成する誘電体層１＿ｊとしては、酸化シリコンＳｉＯ２やシリコンナイトライドＳｉＮの他に、アルミナＡｌ₂Ｏ₃やジルコニアＺｒＯ₂ （ 屈折率２．０５）や酸化チタンＴｉＯ₂（屈折率２．３〜２．５５）や酸化マグネシウムＭｇＯや酸化亜鉛ＺｎＯ（屈折率２．１）などの酸化物あるいはポリカーボネートＰＣ（屈折率１．５８）やアクリル樹脂ＰＭＭＡ（屈折率１．４９）などの高分子材料、炭化珪素ＳｉＣ（屈折率２．６５）やゲルマニウムＧｅ（屈折率４〜５．５）などの半導体材料も使用可能である。

高分子材料を用いることで、従来のガラス製にはない特徴を持った光学フィルタを構成することができる。すなわち、プラスチック製にすることができ、軽量で耐久性（高温、高湿、衝撃）に優れる。

＜＜誘電体積層膜を利用した分波イメージセンサ＞＞
図１８〜図２２は、誘電体積層膜１を利用した固体撮像素子３１２への適用に好適な分光イメージセンサ１１の一実施形態を説明する図である。この分光イメージセンサ１１は、誘電体積層膜１を利用した分光フィルタ１０の基本的な設計手法を用いて構成されるものである。ここでは、赤外光IRを選択的に反射させるような誘電体積層膜１を半導体素子層上に形成することで、赤外光IRをカットして可視光VL成分を受光するようにした分光イメージセンサ１１の設計例を述べる。

なお、分光イメージセンサ１１の基本構造は、分光フィルタ１０を半導体素子層の受光部上に形成したもので、これだけでは、単波長分波対応（つまりモノクロ画像撮像用）の分光イメージセンサ１１になるが、分光イメージセンサ１１の各受光部に対させて色フィルタ（色分離フィルタ）１４の所定色（たとえばＲ，Ｇ，Ｂの何れか）を設けることで、カラー画像撮像対応となる。

ここで、図１２〜図１４を用いて説明した誘電体積層膜１をシリコン（Ｓｉ）フォトディテクタなどの検知素子が形成された屈折率が誘電体積層膜１をなす各誘電体層１＿ｊよりも大きい半導体素子層上に作製するに当たっては、半導体素子層から誘電体積層膜１までの距離、すなわち第ｋ層の誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋが重要である。

これは図１８の構造図に示すように、たとえばシリコンＳｉ（屈折率４．１）でなる半導体素子層（フォトディテクタなど）の表面であるシリコン基板１＿ωの表面からの反射光Ｌ４との干渉効果によって、トータルな反射光ＬＲtotal のスペクトルが変化することを意味する。

図１９は、トータルな反射光ＬＲtotal の、誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋの変動依存性を説明する反射スペクトル図である。ここでは、図１２に示した７層構造の誘電体積層膜１について、誘電体層１＿ｋの厚みｄｋを変えて計算した結果を示している。図１９内の各図において、横軸は波長λ（μｍ）で、縦軸は反射率Ｒである。

図１９内の各図から分かるように、厚みｄｋ＝０．１５４μｍのとき、すなわち赤外光IRの反射中心波長λ０に対して、条件式（１）を満たす値のときに、反射スペクトルは殆ど影響を受けず、赤外光IR（波長λ≧７８０ｎｍ）を強く反射していることが分かる。それに対して厚みｄｋ＝０．３〜５０μｍまでのスペクトルには、厚みｄｋ＝∞の反射スペクトルに比べて別の振動が生じていることが分かる。それによって赤外での反射がディップ状に低下している波長域が存在するのが分かる。

ただし、厚みｄｋ＝２．５μｍ以上になると、赤外でのディップの半値幅が３０ｎｍ以下になり、とりわけ厚みｄｋ＝５．０μｍ以上になるとその半値幅が２０ｎｍ以下となり、一般的なブロードな自然光に対して十分に半値幅が狭くなるので平均化された反射率となる。さらに、厚みｄｋ＝０．３〜１．０μｍのスペクトルに関しては、可視光VLでの反射率が高いことも分かる。これらのことから、望ましくは、厚みｄｋ＝０．１５４μｍ付近、すなわち条件式（１）を満たす値のときが最適であると言える。

図２０は、誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋの変動依存性を説明する反射スペクトル図であって、特に、厚みｄｋ＝０．１５４μｍ付近で、厚みｄｋの値を変えて計算した結果を示すものである。図２０内の各図において、横軸は波長λ（μｍ）で、縦軸は反射率Ｒである。

この結果から分かるように、条件式（１）を満たす厚みｄｋ＝０．１５４μｍを中心として、厚みｄｋ＝０．１４〜０．１６μｍの範囲であれば、可視光VLでの反射が抑えられることが分かる。

以上のことから、分光イメージセンサ１１の最適構造は、図２１の構造図に示すように、実質的には、第ｋ層の誘電体層１＿ｋを含めて８層構造の誘電体積層膜１Ａを有するものとなり、その反射スペクトルの計算結果は図２２に示す反射スペクトル図のようになる。言い換えると、誘電体積層膜１Ａは、シリコン基板１＿ω上に、第２の層材である酸化シリコンＳｉＯ２でなる層を４周期分設けた構造をなしている。

＜＜製造プロセスの具体例＞＞
図１７は、上記実施形態で説明した積層膜を利用したセンサ構造の分光イメージセンサを製造する具体的なプロセス例を示す図である。この図１７は、赤外光IR用の受光部と可視光VL用の受光部とを備えた分光イメージセンサの製造プロセス例である。

この構造の作製に当たっては、一般的なＣＣＤやＣＭＯＳ構造の回路をまず形成する（図１７（Ａ））。この後に、Ｓｉフォトダイオードの上にたとえばＣＶＤ（Chemical Vapor Deposition ；化学気相成長法）などを用いてＳｉＯ２膜とＳｉＮを順次積層する（図１７（Ｂ））。

この後、たとえば４つの画素の内１つだけをリソグラフィ技術やＲＩＥ（Reactive Ion Etching）法などを用いてエッチングすることで、赤外光IR用の受光部に最下層のＳｉＯ２膜に達する開口部（図８，図９の開口部３１３ａに対応する）を設ける（図１７（Ｅ））。この赤外光IR用の受光部は、他の可視光カラー画像撮像用の色画素に対して補正画素としても使用される。

この後、誘電体積層膜１などの保護のために、一部に開口部が設けられた誘電体積層膜１上にたとえば再度ＣＶＤなどを用いてＳｉＯ２膜を積層して平坦化する（図１７（Ｆ））。もちろん、このプロセスは必須ではない。

なお、この際、可視光VL用の３つの画素（Ｒ，Ｇ，Ｂ成分用）をエッチングしないように、赤外光IR用の受光部に開口部が設けられたフォトレジストを用いてもよい（図１７（Ｃ），（Ｄ））。この場合、誘電体積層膜１上にＳｉＯ２膜を積層する前に、フォトレジストを除去する必要がある（図１７（Ｄ）→（Ｅ））。

また、図示を割愛するが、さらにその上に色フィルタやマイクロレンズを画素に対応するように形成する。この際、可視光用の検知部には赤、緑、青色の原色フィルタを配することで、３色の画素が可視光の赤、緑、青色の３原色を受光するようにする。また、開口部の画素については、白色フィルタを配することで、または色フィルタを配さずにおくことで、可視光と赤外光とを纏めて受光するようにする。

こうすることで、３原色可視光の画素の検知部上にはＳｉＮ層とＳｉＯ２層の誘電体多層膜が形成されるが、開口部の検知部上にはこの誘電体多層膜が形成されないこととなる。このような構造で作製された撮像素子を用いることで、３原色の組合せでなる可視光像（可視光カラー画像）を撮像できるだけでなく、赤外光と可視光の混在画像を、可視光カラー画像とは独立かつ同時に撮像することができる。

さらに若干の赤外光IRが漏れて可視光VL用の光電変換素子（フォトダイオードなど）に入射する場合、全体に弱い赤外光カットフィルタを入れてもよい。たとえば５０％以下の赤外光カットフィルタを入れることで、可視光VLに対して殆ど問題のないレベルまでカットしても赤外光IR用の光電変換素子（フォトダイオードなど）では、赤外光IRが集光するので十分な感度となる。

なお、このような製造プロセスでは、Ｓｉ基板表面近くまでエッチングする、すなわち赤外光IR用の受光部に最下層のＳｉＯ２膜に達する開口部を設けるため（図１７（Ｅ））、エッチングによるダメージが問題になることがある。この場合は、Ｓｉ基板直上のＳｉＯ２層の厚みｄを大きくしてダメージを低減することも可能である。

ここでｄｋ＝２．５μｍ以上になると、図１９のように反射スペクトルの赤外光領域でのディップの半値幅が狭くなるので、一般的なブロードな自然光に対して平均化された反射率となるので、赤外光の反射が可能となる。したがって望ましくは第ｋ番目の誘電体層１＿ｋの厚みｄｋを２．５μｍ以上にするのがよい。さらに望ましくは、５μｍ以上の厚みにするとなおよい。

また、シリコン基板１＿ω上に形成されるフォトダイオードや画素内アンプなどためのメタル配線、すなわち、検知部としての画素内アンプなどから検知信号としての画素信号を撮像部（検出領域）から読み出すための信号線をなす配線層をシリコン基板１＿ω直上に形成する場合、シリコン基板１＿ω直上に誘電体積層膜１を設けた構造よりは、シリコン基板１＿ω上である程度離したところに誘電体積層膜１を形成する、すなわちメタル配線より上側に誘電体積層膜１を形成することで、製造プロセスが容易になり、コストが低く抑えられるメリットが得られる。ここでは、詳細な説明は割愛するが、メタル配線を考慮した分光イメージセンサとするには、誘電体積層膜１をなす層数を増やすことで、ある程度よい結果が得られる。

なお、上記の分光フィルタ１０の構造は、誘電体積層膜１を利用した基本構造を示したもののであり、その他の様々な変形が可能である。同様に、上記の分光イメージセンサ１１の構造は、誘電体積層膜１を利用した分光フィルタ１０をＣＭＯＳやＣＣＤなどの受光部上に形成する基本構造を示したもののであり、その他の様々な変形が可能である。たとえば、詳細な説明は割愛するが、分光フィルタ１０や分光イメージセンサ１１の変形例としては、本願出願人が特願２００４−３５８１３９号にて提案しているように様々な構成を採用することができる。

また、前述では、固体撮像素子３１２として、本願出願人が特願２００４−３５８１３９号にて提案した誘電体積層膜１を利用したものについて説明したが、本実施形態で使用し得る固体撮像素子は、このようなものに限らない。たとえば、本出願人が特願２００４−２５００４９号にて提案したような回折格子を利用して波長分離を実現する構成のものや、その他の仕組みを利用して波長分離を実現する構成のものなど、様々なものを使用することができる。

たとえば、回折格子を利用して波長分離を行なう構造のものでは、広波長領域信号取得素子の部分については大きな開口部を設け、特定波長領域信号取得素子の部分には回折格子用の微小開口部を設けることになるが、特定波長領域信号取得素子の部分については、波長順に分離するので、特定波長領域信号取得素子の配置態様の自由度が少ない。

また、不可視光領域成分（たとえば赤外光成分）をも検知する形態の広波長領域画素１２Ａと可視光成分をさらに波長分離して検知する特定波長領域信号取得素子（赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂの組合せなど）とを２次元マトリクス状に配置した構造とする場合、特定波長領域信号取得素子側については、不可視光領域成分（たとえば赤外光成分）と可視光成分の分離性能が、色再現上、問題となり得る。

この点においては、本願出願人が特願２００４−３５８１３９号にて提案しているように、第１の検知部の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持った積層部材が配されている構造の本来的に赤外光成分の抑制能力の高い素子とするのが好ましい。

＜＜フィルタの分光特性＞＞
図２４および図２５は、赤外光カットフィルタ層３１３および色フィルタ群３１４赤を用いた波長分離の具体例を説明する図である。ここで、図２４は、色フィルタ群３１４をなす各色フィルタ１４の光透過特性（分光特性）の基本を示した図である。また、図２５は、色フィルタ群３１４をなす各色フィルタ１４の特性例を示す図である。

まず、本例では、赤色近傍の波長を透過する赤（Ｒ）、緑色近傍の波長を透過する緑（Ｇ）、青色近傍の波長を透過する青（Ｂ）、これらに加え、赤外線（IR）とＲＧＢの全てを透過する白（もしくは色フィルタを使用しない）の各種類の分光特性を持つ色フィルタ１４によって色フィルタ群３１４を構成する。

これら色フィルタ１４の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢを全て透過するＡ（＝Ｙ＋IR）チャネルからなり、対応する赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ、赤外線（ＩＲ）とＲＧＢを全て検知する広波長領域画素１２Ａによって、４種類の分光からなるモザイク画像を得ることができる。

広波長領域画素１２Ａを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す、つまり可視光部分の輝度信号（Ｙ）と赤外光信号（ＩＲ）の双方を含む広波長領域信号ＳＡとして広波長領域画素１２Ａにより測定できる。

なお、図２４では、白色フィルタ１４Ｗの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、Ｒ，Ｇ，Ｂの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである。

ただし、広波長領域画素１２Ａから得られる広波長領域信号ＳＡには、赤外光成分IRだけでなく可視光成分VLも含まれるので、これをそのまま使うことで、可視光成分VLのみで輝度信号を生成するよりも、赤外光成分IRを輝度成分に利用することができ、感度アップを図ることができる。特に、低照度の下で撮影時に、ノイズの少ない輝度信号を得ることができる利点がある。

具体的には、先ず、可視光カラー画像撮像用の色フィルタ群３１４として、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタ群３１４Ｒ，１４Ｇ，１４Ｂを用いる。

なお、透過率が“略１”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。

また、通過波長領域成分である可視光VL領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。誘電体積層膜１によって赤外光IR成分をカットするからである。

一例として、図２５（Ａ）に示すような分光感度特性のものを用いることができる。たとえば、Ｂチャネルに対応する青色フィルタ１４Ｂは、青色に相当する３８０ｎｍ〜４８０ｎｍ程度の波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応する緑色フィルタ１４Ｇは、緑色に相当する約４５０〜５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応する赤色フィルタ１４Ｒは、赤色に相当する約５５０〜６５０ｎｍの波長の光信号の透過率が高いフィルタである。なお、これらのＲＧＢ対応の色フィルタ１４Ｒ，１４Ｇ，１４Ｂは、約７００ｎｍ以上の波長を持つ赤外光成分は殆ど透過しない性質を持っている。

一方、Ａチャネル対応の白色フィルタ１４Ｗは、ピークは約５３０ｎｍ付近であるが、ＲＧＢ成分の全ての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を持っている。対応する広波長領域画素１２Ａにて、可視光成分だけでなく、赤外光成分も検知可能にすることで、広波長領域画素１２Ａが、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにしている。

なお、本例では、白色フィルタ１４Ｗの可視光領域の透過率は、青色フィルタ１４Ｂ、緑色フィルタ１４Ｇ、赤色フィルタ１４Ｒの各可視光領域の透過率の比と概ね同じにしつつ、全体としてそれらの透過率よりも高く、広波長領域画素１２Ａでの可視光領域の感度自体も、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂの感度よりも高くなるようにしてある。不可視光成分の一例である赤外光成分も検知可能にすることで高感度化を図るだけでなく、可視光領域自体でも、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにし、一層の高感度化を図るようにしているのである。

詳細な説明は割愛するが、このような高感度で得られる広波長領域画素１２Ａからの可視光領域のＲ，Ｇ，Ｂの成分を使って、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂのそれぞれから得られる色信号に対して補正を加えると、より高感度の色信号が得られるようになる。

＜＜撮像信号処理部の詳細；第１例＞＞
図２６は、撮像信号処理部３３０（特に画像信号処理部３４０）の第１例の詳細構成を示した機能ブロック図である。ここでは、色フィルタ群３１４が、図３（Ｂ）に示した色配列の場合に対応するものとして説明する。

本実施形態の撮像信号処理部３３０では、ＲＧＢの原色系やＣｙ，Ｍｇ，Ｙｅの補色系などの特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子（画素１２Ｒ，１２Ｇ，１２Ｒの組や画素１２Ｃｙ，１２Ｍｇ，１２Ｙｅ（，１２Ｇ）の組）と、可視光成分および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子（広波長領域画素１２Ａ）によって構成される色配列を持つ固体撮像素子３１２から出力される画素信号を処理する。

これまでの説明から分かるように、撮像信号処理部３３０での処理例は、たとえば低照度の下で色フィルタ群３１４を具備する撮像部３１０２を適用して撮影したノイズを多く含む１枚の画像データに基づいて、そのノイズを多く含む画像についてのノイズ低減処理に好適なものである。

ここで、第１例の撮像信号処理部３３０は、色フィルタ群３１４として、ＲＧＢＷの色配列を持つ撮像部３１０（たとえばＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子）において撮影された画像の信号処理によって、輝度信号（Ｙ）と、２つの色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）を取得するための信号処理構成に対応したものである。

なお、撮像部３１０によって取得された画像データ（画素信号）に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図２６には示しておらず（図７の前処理部３３２や補正処理部３３６を参照）、図２６では、特に画像信号処理部３４０に着目して示している。

図示のように、第１例の画像信号処理部３４０はＲＧＢＷの配列を持つ撮像部３１０によって取得される信号から、広波長領域画素１２Ａの取得信号（広波長領域信号ＳＡ）で示されるモザイク画像Ａを取得し、広波長領域信号で示されるデモザイク画像Ａ２を輝度信号として生成する輝度信号生成部４１０と、ＲＧＢ素子（１２Ｒ，１２Ｇ，１２Ｂ）の取得信号ＳＲ，ＳＧ，ＳＢで示されるモザイク画像Ｒ，Ｇ，Ｂを取得し、可視光領域信号に対応するデモザイク画像Ｒ２，Ｇ２，Ｂ２（単色画像Ｒ，Ｇ，Ｂ）を示す色に関する信号を生成する単色画像信号生成部４２０と、単色画像信号生成部４２０で取得されたデモザイク画像Ｒ２，Ｇ２，Ｂ２（単色信号ＳＲ２，ＳＧ２，ＳＢ２）に基づいて色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する色差信号生成部４３０とから構成されている。

輝度信号生成部４１０は第１の物理情報取得部の一例であり、単色画像信号生成部４２０は第２の物理情報取得部の一例であり、色差信号生成部４３０は第３の物理情報取得部の一例である。輝度信号生成部４１０および単色画像信号生成部４２０によって、デモザイク信号処理部３４１が構成され、単色画像信号生成部４２０と色差信号生成部４３０とで色成分抽出部が構成され、輝度信号生成部４１０と色差信号生成部４３０が出力画像信号処理部３４３を構成するようになっている。

輝度信号生成部４１０は、モザイク画像Ａに対して最適化されたフィルタ定数を持つローパスフィルタ（ＬＰＦ；補間フィルタ）４１２Ａを具備している。また、単色画像信号生成部４２０は、モザイク画像Ｒ，Ｇ，Ｂに対して最適化されたフィルタ定数を持つローパスフィルタ（ＬＰＦ；補間フィルタ）を色別に具備している。

ここで、単色画像信号生成部４２０は、緑色系統に関しては、ローパスフィルタ４２２Ｇを具備するが、赤色系統と青色系統に関しては、先ずローパスフィルタ４２２Ｒ，４２２Ｂを具備し、ローパスフィルタ４２２Ｒ，４２２Ｂの後段に、さらに、ローパスフィルタ４２２Ｒ，４２２Ｂから出力されるモザイク画像Ｒ１，Ｂ１に対して最適化されたフィルタ定数を持つローパスフィルタ４２４を色別に具備している（それぞれ４２４Ｒ，４２４Ｂで示す）。

輝度信号生成部４１０のローパスフィルタ４１２Ａおよび単色画像信号生成部４２０のローパスフィルタ４２２Ｒ，４２２Ｇ，４２２Ｂへは、撮像部３１０側から、各画素位置の画素信号が選択スイッチ４０２を介して対応するものへ切替入力される。

また、色差信号生成部４３０は、単色画像信号生成部４２０から出力されたデモザイク画像Ｒ２，Ｇ２，Ｂ２を示す単色信号ＳＲ２，ＳＧ２，ＳＢ２に基づいて輝度成分を示す合成輝度信号ＳＹ２を生成し、単色信号ＳＲ２，ＳＢ２との差を取ることで色差信号Ｒ−Ｙ，Ｂ−Ｙを生成するマトリクス演算部４３２を具備している。

＜デモザイク処理の一例＞
図２７〜図３１は、デモザイク信号処理部３４１（輝度信号生成部４１０と単色画像信号生成部４２０）におけるデモザイク処理によって、各信号成分のデモザイク画像を取得する手法の一例を説明する図である。なお、各図において、デモザイク画像中のＲＧＢＡはモザイク画像によって得られる画素値であり、ｒｇｂａはデモザイク処理によって得られる補間画素値を示している。

白色フィルタ１４Ｗを具備したＲＧＢＷもしくは白色フィルタ１４Ｗを具備しないＲＧＢＡの配列を持つ撮像部３１０において撮影された信号は、図示を割愛したＡＤ変換部（図７のＡＤ変換部３３４を参照）においてデジタルデータに変換される。ここで、生成される信号は、ＲＧＢＷ（ＲＧＢＡ）各々に対応する４つのモザイク画像を示すものとなる。

たとえば、図３（Ｂ）に示した色配列の色フィルタ群３１４を具備した撮像部３１０を適用した場合、図２７（Ｂ）〜図３０（Ｂ）に示すような４つのモザイク画像Ｒ，Ｇ，Ｂ，Ｗ（もしくはＲ，Ｇ，Ｂ，Ａ；以下Ｒ，Ｇ，Ｂ，Ａで説明する）が取得される。なお、図２７（Ａ）〜図３０（Ａ）に示した色フィルタ群３１４の色配列は、図３（Ｂ）に示した色配列に対して、１行下（２行目）、１列右（２列目）から切出した状態で示している。

これらの４つのモザイク画像Ｒ，Ｇ，Ｂ，Ａは、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ４１２Ａ，４２２Ｒ，４２２Ｇ，４２２Ｂ，４２４Ｒ，４２４Ｂにそれぞれ入力され、デモザイク処理が実行される。

デモザイク処理は、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、全ての画素の画素値を設定する処理によって行なわれる。たとえば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行なうアルゴリズムである。

このデモザイク処理は、画素値の存在しない画素部分の画素値を周囲画素の画素値によって決定する処理である。この処理には、いわゆる２次元ＦＩＲフィルタによって行なわれる。すなわち、画素位置に対応する係数を持つフィルタが適用される。なお、Ｒ，Ｂについては、２段階のローパスフィルタが適用され、オフセットサブサンプリングに対応する補間フィルタとしてのローパスフィルタ４２２Ｒ，４２２Ｂでの処理の後、さらにローパスフィルタ４２２Ｇと同様のローパスフィルタ４２４Ｒ，４２４Ｂによって、全ての画素の画素値の設定が行なわれる。

周囲画素の画素値を使うに当たっては様々な手法を採り得るが、本実施形態でのデモザイク信号処理部３４１では、ある色に着目したときに、その着目色の色フィルタが配されていない画素の画素値を、その着目色の色フィルタが配されている近傍の有効画素の画素値を使って色補間処理を行なう。

たとえば、輝度信号成分のデモザイク画像を取得するに当たっては、図２７（Ｃ）に示すように、デモザイク画像Ａ２を取得するローパスフィルタ４１２Ａでは、広波長領域画素１２Ａを具備しない画素部分（たとえばａ34）の画素値ａ34を、その周囲の４つの広波長領域画素１２Ａ（画素位置Ａ24，Ａ33，Ａ44，Ａ35）から得られるＡ信号（画素値Ａ24，Ａ33，Ａ44，Ａ35）に基づく下記式（４）で示される補間処理を実行する。これにより、デモザイク画像Ａ２が得られる。

また、緑色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Ｇを取得するローパスフィルタ４２２Ｇでは、先ず、図２８（Ｂ）に示すように、デモザイク画像Ｇを処理対象として、同ライン（行）にも同カラム（列）にも緑色画素１２Ｇを具備しない画素部分（たとえばｇ23）の画素値ｇ23を、その周囲の４つの緑色画素１２Ｇ（画素位置Ｇ12，Ｇ32，Ｇ34，Ｇ14）から得られるＧ信号（画素値Ｇ12，Ｇ32，Ｇ34，Ｇ14）に基づく下記式（５）で示される補間処理を実行する。これにより、デモザイク画像Ｇ１が得られる。

次に、図２８（Ｃ）に示すように、デモザイク画像Ｇ１を処理対象として、同ラインまたは同カラムに緑色画素１２Ｇを具備しない画素部分（たとえばｇ33）の画素値ｇ33を、その周囲の２つの緑色画素１２Ｇ（画素位置Ｇ32，Ｇ34）から得られるＧ信号（画素値Ｇ32，Ｇ34）と、式（５）に準じて得られるその周囲の２つの仮想緑色画素１２ｇ（画素位置ｇ23，ｇ43）から得られるｇ信号（画素値ｇ23，ｇ43）とに基づく下記式（６）で示される補間処理を実行する。これにより、デモザイク画像Ｇ２が得られる。

なお、式（５）に準じて得られる仮想緑色画素１２ｇから得られるｇ信号を使わずに、同ラインもしくは同カラムに存在する隣接の２つの緑色画素１２Ｇから得られるＧ信号（たとえば画素値Ｇ21，Ｇ23）に基づく下記式（７）で示される補間処理を実行してもよい。

また、赤色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Ｒを取得するローパスフィルタ４２２Ｒでは、図２９（Ｂ）に示すように、デモザイク画像Ｒを処理対象として、同ライン（行）に赤色画素１２Ｒを具備し、かつ同カラム（列）に赤色画素１２Ｒを具備する、赤色画素１２Ｒを具備しない画素部分（たとえばｒ45）の画素値ｒ45を、その周囲の４つの赤色画素１２Ｒ（画素位置Ｒ25，Ｒ43，Ｒ65，Ｒ47）から得られるＲ信号（画素値Ｒ25，Ｒ43，Ｒ65，Ｒ47）に基づく下記式（８）で示される補間処理を実行する。

これにより、ローパスフィルタ４２２Ｒから出力されるデモザイク画像Ｒ１では、Ｒ成分についての画素値が得られている画素の配置態様が、Ｇ成分について示した図２８（Ｂ）の状態（デモザイク画像Ｇ２）と事実上同じになる。よって、後は、ローパスフィルタ４２２Ｇと同様のローパスフィルタ４２４Ｒは、Ｇ成分についての処理と同様にして、補間処理を実行すればよいことになる。

たとえば、デモザイク画像Ｒ２を取得するローパスフィルタ４２４Ｒでは、前述のようにしてローパスフィルタ４２２Ｒで生成されたデモザイク画像Ｒ１を処理対象として、図２９（Ｃ）に示すように、同ライン（行）にも同カラム（列）にも赤色画素１２Ｒや式（８）で得られる仮想赤色画素１２ｒを具備しない画素部分（たとえばｒ54）の画素値ｒ54を、その周囲の２つ（対角）の赤色画素１２Ｒおよび２つ（対角）の仮想赤色画素１２ｒ（画素位置Ｒ43，Ｒ65，ｒ63，ｒ45）から得られるＲ信号およびｒ信号（画素値Ｒ43，Ｒ65，ｒ63，ｒ45）に基づく下記式（９）で示される補間処理を実行する。これにより、デモザイク画像Ｒ１１が得られる。

次に、図２９（Ｄ）に示すように、デモザイク画像Ｒ１１を処理対象として、同ラインまたは同カラムに赤色画素１２Ｒや仮想赤色画素１２Ｒを具備しない画素部分（たとえばｒ64）の画素値ｒ64を、その周囲の１つの赤色画素１２Ｒ（画素位置Ｒ65）から得られるＲ信号（画素値Ｒ65）と、式（８）に準じて得られるその周囲の１つの仮想赤色画素１２ｒの画素部分（画素位置ｒ63）から得られるｒ信号（画素値ｒ63）と、式（９）に準じて得られるその周囲の２つの仮想赤色画素１２ｒの画素部分（画素位置ｒ54，ｒ74）から得られるｒ信号（画素値ｒ54，ｒ74）とに基づく下記式（１０）で示される補間処理を実行する。これにより、デモザイク画像Ｒ２が得られる。

なお、式（９）に準じて得られる仮想赤色画素１２ｒのｒ信号を使わずに、その周囲の１つの赤色画素１２Ｒ（画素位置Ｒ65）から得られるＲ信号（画素値Ｒ65）と、式（８）に準じて得られるその周囲の１つの仮想赤色画素１２ｒの画素部分（画素位置ｒ63）から得られるｒ信号（画素値ｒ63）に基づく下記式（１１）で示される補間処理を実行してもよい。

同様にして、青色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Ｂを取得するローパスフィルタ４２２Ｂでは、図３０（Ｂ）に示すように、デモザイク画像Ｂを処理対象として、同ライン（行）に青色画素１２Ｂを具備し、かつ同カラム（列）に青色画素１２Ｂを具備する、青色画素１２Ｂを具備しない画素部分（たとえばｂ43）の画素値ｂ43を、その周囲の４つの青色画素１２Ｂ（画素位置Ｂ23，Ｂ41，Ｂ63，Ｂ45）から得られるＢ信号（画素値Ｂ23，Ｂ41，Ｂ63，Ｂ45）に基づく下記式（１２）で示される補間処理を実行する。

これにより、ローパスフィルタ４２２Ｂから出力されるデモザイク画像Ｂ１では、Ｂ成分についての画素値が得られている画素の配置態様が、Ｇ成分について示した図２８（Ｂ）の状態（デモザイク画像Ｇ２）と事実上同じになる。よって、後は、ローパスフィルタ４２２Ｇと同様のローパスフィルタ４２４Ｂは、Ｇ成分についての処理と同様にして、補間処理を実行すればよいことになる。

たとえば、デモザイク画像Ｂ２を取得するローパスフィルタ４２４Ｂでは、前述のようにしてローパスフィルタ４２２Ｂで生成されたデモザイク画像Ｂ１を処理対象として、図３０（Ｃ）に示すように、同ライン（行）にも同カラム（列）にも青色画素１２Ｂや式（Ｂ１）で得られる仮想青色画素１２ｂを具備しない画素部分（たとえばｂ54）の画素値ｂ54を、その周囲の２つ（対角）の青色画素１２Ｂおよび２つ（対角）の仮想青色画素１２ｂ（画素位置Ｂ45，Ｂ63，ｂ43，ｂ65）から得られるＢ信号およびｂ信号（画素値Ｂ45，Ｂ63，ｂ43，ｂ65）に基づく下記式（１３）で示される補間処理を実行する。これにより、デモザイク画像Ｂ１１が得られる。

次に、図３０（Ｄ）に示すように、デモザイク画像Ｂ１１を処理対象として、同ラインまたは同カラムに青色画素１２Ｂや仮想青色画素１２ｂを具備しない画素部分（たとえばｂ64）の画素値ｂ64を、その周囲の１つの青色画素１２Ｂ（画素位置Ｂ63）から得られるＢ信号（画素値Ｂ63）と、式（１２）に準じて得られるその周囲の１つの仮想青色画素１２ｂの画素部分（画素位置ｂ65）から得られるｂ信号（画素値ｂ65）と、式（１３）に準じて得られるその周囲の２つの仮想青色画素１２ｂの画素部分（画素位置ｂ54，ｂ74）から得られるｂ信号（画素値ｂ54，ｂ74）とに基づく下記式（１４）で示される補間処理を実行する。

なお、式（１３）に準じて得られる仮想青色画素１２ｂのｂ信号を使わずに、その周囲の１つの青色画素１２Ｂ（画素位置Ｂ63）から得られるＢ信号（画素値Ｂ63）と、式（１２）に準じて得られるその周囲の１つの仮想青色画素１２ｂの画素部分（画素位置ｂ65）から得られるｂ信号（画素値ｂ65）に基づく下記式（１５）で示される補間処理を実行してもよい。

なお、ここで示した補間処理演算は一例であり、他の色信号との相関を利用したような色補間処理を行なってもよい。

このような補間処理によって、図３１に示すように、図３１（Ａ１）に示すモザイク画像Ａから図３１（Ｂ１）に示すデモザイク画像Ａ２が得られ、また、図３１（Ａ２）に示すモザイク画像Ｇから図３１（Ｂ２）に示すデモザイク画像Ｇ２が得られ、また、図３１（Ａ３）に示すモザイク画像Ｒから図３１（Ｂ３）に示すデモザイク画像Ｒ２が得られ、また、図３１（Ａ４）に示すモザイク画像Ｂから図３１（Ｂ４）に示すデモザイク画像Ｂ２が得られる。

デモザイク画像Ｒ２が、図２６に示すローパスフルタ４２２Ｒ，４２４Ｒにおける補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像Ｇ２が、図２６に示すローパスフルタ４２２Ｇにおける補間処理によって生成されるＧチャネルのデモザイク画像であり、デモザイク画像Ｂ２が、図２６に示すローパスフルタ４２２Ｂ，４２４Ｂにおける補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像Ａ２が、図２６に示すローパスフルタ４１２Ａにおける補間処理によって生成されるＡチャネルのデモザイク画像である。

図２６に示す輝度信号生成部４１０に設けられるローパスフルタ４１２Ａにおける補間処理によって生成される図３１（Ｂ１）に示すデモザイク画像Ａ２は、Ａチャネル、すなわち、ＧＢＲなどの可視光領域の波長と赤外光（ＩＲ）の波長領域を含む光の強度に対応する画素値が、各画素に設定されることになる。

このデモザイク画像Ａ２は、図２６に示すように、ローパスフィルタ４１２Ａからの出力として得られ、その信号は、“Ａ＝Ｙ＋ＩＲ”を示すものとなり、信号Ａは、可視光領域から赤外光領域までを含み、より広範囲の波長の光成分を含むデモザイク画像Ａ２が出力されることになる。

一方、単色画像信号生成部４２０に設けられるローバスフィルタ４２２Ｒ，４２２Ｇ，４２２Ｂ，４２４Ｒ，４２４Ｂにおいて生成されたＲＧＢ対応のデモザイク画像Ｇ２，Ｒ２，Ｂ２、すなわち、図３１（Ｂ２）〜（Ｂ４）に示すデモザイク画像Ｇ２，Ｒ２，Ｂ２は、図２６に示す色差信号生成部４３０のマトリクス演算部４３２に入力され、デモザイク画像Ｇ２，Ｒ２，Ｂ２を示す各信号に基づくマトリックス演算によって色差信号Ｒ−Ｙ，Ｂ−Ｙが生成されて出力される。

なお、色差信号Ｒ−Ｙ，Ｂ−Ｙ中の輝度信号成分Ｙは、輝度信号生成部４１０から得られるもの（広波長領域信号ＳＡに基づくデモザイク画像Ａ２）とは異なり、デモザイク画像Ｇ２，Ｒ２，Ｂ２を用いた合成処理によって得られる合成輝度信号ＳＹ２であり、たとえば“ＳＹ２＝０．６＊Ｇ２＋０．３＊Ｒ２＋０．１＊Ｂ２”とする。

なお、色差信号生成部４３０は、輝度信号生成部４１０で得られたデモザイク画像Ａ２を利用して色差信号を生成する構成とすることもできる。この場合、詳細な説明は割愛するが、可視光領域内を複数に波長分離して各成分を検知して得られる単色画像信号生成部４２０の各デモザイク画像Ｒ２，Ｇ２，Ｂ２と 輝度信号生成部４１０で得られた高感度のデモザイク画像Ａ２における可視光成分（特に色別の成分）とを使って、各デモザイク画像Ｒ２，Ｇ２，Ｂ２に対して高感度化補正演算を実行し、その後に色差信号を生成するようにしてもよい。

一方、たとえば、図３４（Ｂ）に示したＲＧＢＹの色配列を持つベイヤ配列の構成を持つ撮像部を使用し、図２６に示す信号処理回路を適用して、輝度信号と色差信号を生成した場合、詳細な補間演算式については記載を割愛するが、前述の本実施形態に従った補間演算式における“Ａ”を“Ｙ”に置き換えたものと考えればよく、輝度信号は、可視光領域の波長成分のみしか含まない輝度信号（Ｙ）となる。

これに対して、前述のように、本実施形態に従ったＲＧＢＡの色配列を持つ色フィルタ群３１４を具備した撮像部３１０を適用することで、可視光および赤外光を含む広範囲の波長の光成分を含むＡチャネルのデモザイク画像Ａ２を得ることができ、これを輝度信号“Ａ＝Ｙ＋ＩＲ”として使用することができる。

このように、輝度成分に赤外光成分を含めることで、照度の低い環境で撮影された画像データにおいても、赤外光成分のレベル差が検出される環境下では、Ａチヤネル対応のデモザイク画像の各画素の画素値は、赤外光成分のレベル差を反映したデータとなり、照度の低い環境で撮影された画像データのＳ／Ｎ比を改善することが可能となる。本構成は、たとえば、高い色再現性を要求されないが感度やＳ／Ｎ比を高める必要がある監視カメラなどの用途に適している。

＜＜撮像信号処理部の詳細；第２例＞＞
図３２および図３３は、撮像信号処理部３３０（特に画像信号処理部３４０）の第２例を説明する図である。ここで、図３２は、撮像信号処理部３３０の第２例の詳細構成を示した機能ブロック図である。また、図３３は、第２例の画像信号処理部３４０で使用するハイパスフィルタのフィルタ定数の一例を示す図である。ここでも、色フィルタ群３１４が、図３（Ｂ）に示した色配列の場合に対応するものとして説明する。

この第２例は、色再現性を改善する色補正演算処理機能を画像信号処理部３４０が備える点に特徴を有する。すなわち、第１例の画像信号処理部３４０では、輝度信号生成部４１０から得られる輝度成分（広波長領域信号ＳＡ）に赤外光成分を含むため、可視光データのみに基づく色解析処理を行なう構成に比較して色再現性が劣るという問題がある。これは、色差信号レベルが同じであっても、Ｙチャネルの輝度信号レベルが異なると、目に感じる色合いが異なって認識されることに起因するものである。第２例の画像信号処理部３４０は、この点を改善し、色再現性を高めた構成である。

先ず、第２例の画像信号処理部３４０は、出力としてＲＧＢの色信号を出力する。なお、撮像部３１０によって取得された画像データ（画素信号）に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図３２には示しておらず（図７の前処理部３３２や補正処理部３３６を参照）、図３２では、特に画像信号処理部３４０に着目して示している。

図示のように、第２例の画像信号処理部３４０は、概略的には、第１例の画像信号処理部３４０に加えて、輝度信号生成部４１０に対応する輝度信号生成部６１０で生成されたデモザイク画像Ａ２から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部６４２と、広波長領域信号高周波成分画像生成部６４２で生成された広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部６４４とを備えている。

また、第２例の画像信号処理部３４０は、単色画像信号生成部４２０に対応する単色画像信号生成部６２０を具備している。出力画像信号処理部３４３は、色差信号生成部４３０に代えて色信号生成部６３０を具備するとともに、色信号生成部６３０の後段に、可視光色成分信号抽出部６４４が抽出した色成分信号と、色信号生成部６３０から出力された色成分信号との合成処理を実行する合成処理部６５０を具備している。

合成処理部６５０は、加算部６５２をＲ，Ｇ，Ｂの色別に有している（それぞれ６５２Ｒ，６５２Ｇ，６５２Ｂで示す）。

輝度信号生成部６１０は第１の物理情報取得部の一例であり、単色画像信号生成部６２０は第２の物理情報取得部の一例であり、色信号生成部６３０は第３の物理情報取得部の一例である。また、広波長領域信号高周波成分画像生成部６４２と可視光色成分信号抽出部６４４とで、輝度信号生成部６１０から出力される輝度信号に基づいて、色に関する信号を生成する第４の物理情報取得部が構成される。また、合成処理部６５０は、第５の物理情報取得部の一例である。

輝度信号生成部６１０と単色画像信号生成部６２０によってデモザイク信号処理部３４１（図示を省略する）が構成される。また、輝度信号生成部６１０と、広波長領域信号高周波成分画像生成部６４２と、可視光色成分信号抽出部６４４とで、広波長領域信号に対応するデモザイク画像Ａ２から可視光の色成分信号を抽出する第１色成分信号抽出部６４０が構成される。

また、単色画像信号生成部６２０と色信号生成部６３０とで、ＲＧＢ素子の取得信号であるモザイク画像Ｒ，Ｇ，Ｂを入力し可視光領域信号に対応するデモザイク画像Ｒ２，Ｇ２，Ｂ２を生成し、デモザイク画像Ｒ２，Ｇ２，Ｂ２に基づいて色成分信号を抽出する第２色成分信号抽出部６４１が構成される。合成処理部６５０は、第１色成分信号抽出部６４０が抽出した色成分信号と、第２色成分信号抽出部６４１が抽出した色成分信号との合成処理を実行する。

輝度信号生成部６１０は、ローパスフィルタ４１２Ａに対応するローパスフィルタ６１２Ａを具備する。広波長領域信号高周波成分画像生成部６４２は、モザイク画像Ａの高周波成分に対して最適化されたフィルタ定数を持つハイパスフィルタ（ＨＰＦ）６４３Ａを具備し、デモザイク画像Ａ２から高周波成分を抽出し広波長領域信号高周波成分画像を生成する。ハイパスフィルタ６４３Ａは、たとえば高域成分を抽出するＦＩＴフィルタである。

可視光色成分信号抽出部６４４は、ハイパスフィルタ６４３Ａから出力された広波長領域信号高周波成分画像から、可視光の色成分信号を抽出するマトリクス演算部６４５を具備する。

単色画像信号生成部６２０は、ローパスフィルタ４２２Ｒ，４２２Ｇ，４２２Ｂに対応するローパスフィルタ６２２Ｒ，６２２Ｇ，６２２Ｂおよびローパスフィルタ４２４Ｒ，４２４Ｂに対応するローパスフィルタ６２４Ｒ，６２４Ｂを具備する。

輝度信号生成部６１０のローパスフィルタ６１２Ａおよび単色画像信号生成部６２０のローパスフィルタ６２２Ｒ，６２２Ｇ，６２２Ｂへは、撮像部３１０側から、各画素位置の画素信号が選択スイッチ６０２を介して対応するものへ切替入力される。

色信号生成部６３０は、単色画像信号生成部６２０から出力されたデモザイク画像Ｒ２，Ｇ２，Ｂ２を示す単色信号ＳＲ２，ＳＧ２，ＳＢ２に基づいて単色信号ＳＲ３，ＳＧ３，ＳＢ３を抽出するマトリクス演算部６３２を具備している。

輝度信号生成部６１０は、第１例の輝度信号生成部４１０と同様に、補間処理（上記式（４）を参照）によってデモザイク画像Ａ２を生成する。また、単色画像信号生成部６２０は、第１例の単色画像信号生成部４２０と同様に、補間処理（前記式式（５）〜（７）を参照）によってデモザイク画像Ｇ２を生成し、補間処理（前記式（８）〜（１１）を参照）によってデモザイク画像Ｒ２を生成し、補間処理（前記式（１２）〜（１５）を参照）によってデモザイク画像Ｂ２を生成する。

このような補間処理によって、第１例と同様に、図３１（Ａ１）に示すモザイク画像Ａから図３１（Ｂ１）に示すデモザイク画像Ａ２が得られ、また、図３１（Ａ２）に示すモザイク画像Ｇから図３１（Ｂ２）に示すデモザイク画像Ｇ２が得られ、また、図３１（Ａ３）に示すモザイク画像Ｒから図３１（Ｂ２）に示すデモザイク画像Ｒ２が得られ、また、図３１（Ａ４）に示すモザイク画像Ｂから図３１（Ｂ４）に示すデモザイク画像Ｂ２が得られる。

デモザイク画像Ｒ２が、図３２に示すローパスフルタ６２２Ｒ，６２４Ｒにおける補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像Ｇ２が、図３２に示すローパスフルタ６２２Ｇにおける補間処理によって生成されるＧチャネルのデモザイク画像であり、デモザイク画像Ｂ２が、図３２に示すローパスフルタ６２２Ｂ，６２４Ｂにおける補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像Ａ２が、図３２に示すローパスフルタ６１２Ａにおける補間処理によって生成されるＡチャネルのデモザイク画像である。

図３２に示す輝度信号生成部６１０に設けられるローパスフルタ６１２Ａにおける補間処理によって生成される図３１（Ｂ１）に示すデモザイク画像Ａ２は、Ａチャネル、すなわち、ＧＢＲなどの可視光領域の波長と赤外光（ＩＲ）の波長領域を含む光の強度に対応する画素値が、各画素に設定されデモザイク画像である。

このデモザイク画像Ａ２は、図３２に示すように、ローパスフィルタ６１２Ａからの出力として得られ、その信号は、“Ａ＝Ｙ＋ＩＲ”を示すものとなり、信号Ａは、可視光領域から赤外光領域を含み、より広範囲の波長の光成分を含むデモザイク画像が出力されることになる。

第１例では、このデモザイク画像Ａ２を、そのまま出力用の輝度信号成分として使用することにしていたが、第２例では、さらに、以下のような信号処理を実行する。

すなわち、第２例の画像信号処理部３４０では、このＡチャネルのデモザイク画像Ａ２を、広波長領域信号高周波成分画像生成部６４２のハイパスフィルタ６４３Ａに入力し、Ａチャネルのデモザイク画像Ａ２から高周波成分Ａhpf を抽出する。

ハイパスフィルタ６４３Ａは、たとえば、下記式（１６）に示す係数、あるいは、図３３に示す係数を持つフィルタである。

ハイパスフィルタ６４３Ａは、ローパスフィルタ６１２Ａより出力されたＡチャネルのデモザイク画像Ａ２から高周波成分Ａhpf を抽出し、Ａチャネル高周波成分抽出結果画像を生成する。ハイパスフィルタ６４３Ａは、生成したＡチャネル高周波成分抽出結果画像を、可視光色成分信号抽出部６４４のマトリクス演算部６４５に入力する。

マトリクス演算部６４５は、Ａチャネルに含まれるＲＧＢ各々の波長成分データを抽出する。前述したようにＡチャネルは可視光成分と赤外光成分の両方の波長領域情報を含んでおり、ＲＧＢに相当する波長成分信号も含まれる。マトリクス演算部６４５は、Ａチャネル高周波成分抽出結果画像からＲＧＢ要素を抽出する。

マトリクス演算部６４５は、白色フィルタ１４ＷのＲ，Ｇ，Ｂの各波長成分の透過率特性を考慮した割合で、ＲＧＢ要素の高周波成分［Ｒhpf ，Ｇhpf ，Ｂhpf ］を抽出する。たとえば、下記式（１７）に示す係数に従って、Ａチャネル高周波成分抽出結果画像を構成する各画素の画素値［Ａｈｐｆ］に基づいて、ＲＧＢ要素の高周波成分［Ｒhpf ，Ｇhpf ，Ｂhpf ］を抽出する。

一方、マトリクス演算部６３２は、単色画像信号生成部６２０の各ローパスフィルタ６２２Ｒ、６２２Ｇ，６２２Ｂ，６２４Ｒ，６２４Ｂにおける補間処理によって生成されたデモザイク画像Ｒ２，Ｇ２，Ｂ２に基づいて、デモザイク画像Ｒ２，Ｇ２，Ｂ２に含まれるＲ信号、Ｇ信号、Ｂ信号を選択抽出するためのマトリクス演算を実行して、選択抽出したＲＧＢ信号（デモザイク画像Ｒ３，Ｇ３，Ｂ３）を出力する。

合成処理部６５０は、マトリクス演算部６４５で生成されたＲＧＢ要素の高周波成分Ｒhpf ，Ｇhpf ，Ｂhpf と、マトリクス演算部６３２で生成されたデモザイク画像Ｒ３，Ｇ３，Ｂ３を示すＲＧＢ信号とを、それぞれ色別の加算部６５２Ｒ，６５２Ｇ，６５２Ｂで加算することで、最終的な出力信号としてのＲＧＢ信号を生成して出力する。

このような第２例の処理例では、可視光成分と赤外光成分を含む広い波長領域からなる信号成分画像としてのＡチャネル画像に基づいて高周波成分抽出画像を生成し、この高周波成分抽出画像からＲＧＢ信号を抽出して、デモザイク画像Ｒ２，Ｇ２，Ｂ２から抽出したＲＧＢ信号に加算する処理構成とした。

より広い波長領域の信号成分を含むＡチャネル画像に基づく高周波成分抽出画像を適用することで、解像度の高い画像を得ることが可能となる。また、Ａチャネル画像からＲＧＢ信号を取得して、デモザイク画像Ｒ２，Ｇ２，Ｂ２から抽出したＲＧＢ信号に加算することで、より正確なＲＧＢ信号を生成して出力することが可能となり、色再現性を高めることが可能となる。

以上、説明したように、本実施形態の構成によれば、不可視光の一例である赤外光をカットする赤外光カットフィルタ層３１３および可視光領域を色対応の波長別に分離する色フィルタ群３１４を固体撮像素子３１２の上に所定の順で一体的に形成した。また、固体撮像素子３１２としては、赤外光カットフィルタ層３１３の開口部３１３ａに対応する部分に可視光および不可視光成分を含む光波長領域の光信号を取得する広波長領域画素１２Ａと、赤外光カットフィルタ層３１３の非開口部３１３ｂに対応する部分に波長領域別に可視光信号を取得する赤色画素１２Ｒ，緑色画素１２Ｇ、青色画素１２Ｂを備えた構造とした。

そして、このような構造を持つ単板式の撮像部３１０（固体撮像素子３１２）によって取得される各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号あるいはＲＧＢの色信号を生成する構成とした。

これにより、広波長領域画素１２Ａからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、その出力信号を輝度信号成分として使うことで、特に、可視光成分の少ない低照度環境下での撮影画像について、可視光成分に重畳されて出力される不可視光成分を利用することができるようになり、ノイズの少ない高品質な輝度画像が得られる。

カラー固体撮像素子を具備する撮像装置において、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件で撮影された画像でも、ノイズを低減した高品質な画像データを生成することを可能となる。また、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正を行なうことで、色再現性の高い画像を生成することが可能となる。

また、広波長領域画素１２Ａの配置密度を、可視光用の赤色画素１２Ｒ，緑色画素１２Ｇ、青色画素１２Ｂの配置密度よりも高くすることで、解像度の高い高品質な輝度画像を取得することができる。加えて、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正を行なうようにすれば、色再現性の高いカラー画像を生成することもできる。

一方、広波長領域画素１２Ａは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになるので、可視光成分の多い高照度環境下での撮影時には、飽和現象が懸念されるが、前述のように、広波長領域画素１２Ａの検知時間を駆動制御部１４６により制御するなどの対処を実行することで、この問題を解消することができる。

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、上記実施形態で説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

たとえば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送し、またはＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスクなどの記録媒体にインストールすることができる。

また、上記実施形態で説明した各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、システムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本実施形態の色分離フィルタの色配置例の基本構造を示す図である。 色フィルタ群の第１例の配列態様を示す図である。 色フィルタ群の第２例の配列態様を示す図である。 色フィルタ群の第３例の配列態様を示す図である。 色フィルタ群の第４例の配列態様を示す図である。 色フィルタ群の第５例の配列態様を示す図である。 物理情報取得装置の一例である撮像装置の概略構成を示す図である。 固体撮像素子を構成する色フィルタ群と赤外光カットフィルタ層の配置順を説明する図（第１例）である。 固体撮像素子を構成する色フィルタ群と赤外光カットフィルタ層の配置順を説明する図（第２例）である。 比較例としての、固体撮像素子が一般的なベイヤ配列の色フィルタ配列を持つ場合の撮像装置の概略構成を示す図である。 誘電体積層膜を利用した撮像部の一実施形態を説明する図である。 積層膜を設計する手法の基本概念を説明する構造図である。 積層膜を設計する手法の基本概念を説明する反射スペクトル図である。 積層膜を設計する手法の基本概念を説明する反射スペクトル図である。 反射中心波長λの条件を説明する図（反射スペクトルの概念を示した図）である。 反射中心波長λの条件を説明する反射スペクトル図である。 反射中心波長λの条件を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態における厚み依存性を説明する反射スペクトル図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態を説明する図（反射スペクトル図；詳細）である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態を説明する構造図である。 積層膜を利用した単波長分波対応の分光イメージセンサの第１実施形態を説明する反射スペクトル図である。 積層膜を利用したセンサ構造の分光イメージセンサを製造する具体的なプロセス例を示す図である。 色フィルタ群をなす各色フィルタの光透過特性（分光特性）の基本を示した図である。 色フィルタ群をなす各色フィルタの特性例を示す図である。 撮像信号処理部の第１例の詳細構成を示した機能ブロック図である。 輝度信号成分のデモザイク画像を取得する手法の一例を説明する図である。 緑信号成分のデモザイク画像を取得する手法の一例を説明する図である。 赤信号成分のデモザイク画像を取得する手法の一例を説明する図である。 青信号成分のデモザイク画像を取得する手法の一例を説明する図である。 各信号成分のモザイク画像とデモザイク画像の一例を纏めて示した図である。 撮像信号処理部（特に画像信号処理部）の第２例の詳細構成を示した機能ブロック図である。 第２例の画像信号処理部で使用するハイパスフィルタのフィルタ定数の一例を示す図である。 従来の色分離フィルタの色配置例の基本構造を示す図である。

符号の説明

１…誘電体積層膜、１０…分光フィルタ、１１…分光イメージセンサ、１４…色フィルタ、３００…撮像装置、３１０…撮像部、３１２…固体撮像素子、３１３…赤外光カットフィルタ層、３１３ａ…開口部、３１３ｂ…非開口部、３１４…色フィルタ群、３２０…駆動部、３３０…撮像信号処理部、３３２…前処理部、３３４…ＡＤ変換部、３３６…補正処理部、３４０…画像信号処理部、３４１…デモザイク信号処理部、３４３…出力画像信号処理部、３４４…輝度信号処理部、４０２…選択スイッチ、４１０…輝度信号生成部、４１２Ａ，４２２Ｒ，４２２Ｇ，４２２Ｂ，４２４Ｒ，４２４Ｂ…ローパスフィルタ、４２０…単色画像信号生成部、４３０…色差信号生成部、４３２…マトリクス演算部、６０２…選択スイッチ、６１０…輝度信号生成部、６１２Ａ，６２２Ｒ，６２２Ｇ，６２２Ｂ，６２４Ｒ，６２４Ｂ…ローパスフィルタ、６２０…単色画像信号生成部、６３０…色信号生成部、６３２…マトリクス演算部、６４０…第１色成分信号抽出部、６４１…第２色成分信号抽出部、６４２…広波長領域信号高周波成分画像生成部、６４３Ａ…ハイパスフィルタ、６４４…可視光色成分信号抽出部、６４５…マトリクス演算部、６５０…合成処理部、６５２…加算部

Claims (15)

1. 入射光を検知する複数の検知部が所定の順に配置された基板に一体的に形成するフィルタであって、可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、前記開口部に対応する部分が可視光及び非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有し、前記基板と前記非可視光フィルタ層との間に配された色分離フィルタ層と、を含むフィルタを形成し、
   前記開口部に対応する位置の第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
   前記非開口部および前記複数の色分離部に対応する位置の第２の検知部により、前記可視光の入射光成分を検知し、
   前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する、
   情報取得方法。
2. 基板に所定の順に配置されて入射光を検知する複数の検知部と、前記基板に一体的に形成された複数の層からなるフィルタとを有する半導体装置と、
   前記複数の検知部から出力される検知信号に基づいて情報を取得する情報取得部と、
   を備え、
   前記フィルタは、
   可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
   前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有し、前記基板と前記非可視光フィルタ層との間に配された色分離フィルタ層と、
   を有し、
   前記複数の検知部は、
   前記開口部に対応して位置し、前記可視光および前記非可視光の入射光を検知する第１の検知部と、
   前記非開口部および前記複数の色分離部に対応して位置し、前記可視光の入射光成分を検知する第２の検知部と、
   を含み、
   前記情報取得部は、前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
   情報取得装置。
3. 基板に所定の順に配置されて入射光を検知する複数の検知部と、
   前記基板に一体的に形成された複数の層からなるフィルタと、
   を備え、
   前記フィルタは、
   可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
   前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有し、前記基板と前記非可視光フィルタ層との間に配された色分離フィルタ層と、
   を有し、
   前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
   前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
   前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
   半導体装置。
4. 前記非可視光フィルタ層の前記非開口部は、所定の厚みを持つ層を複数積層した構造を有する積層部材を具備する
   請求項３に記載の半導体装置。
5. 前記積層部材は、隣接する層間で屈折率が異なる
   請求項４に記載の半導体装置。
6. 前記非可視光フィルタ層の前記積層部材の少なくとも開口部内に、二酸化ケイ素膜が形成されている
   請求項４または５に記載の半導体装置。
7. 前記第１の検知部と、前記第２の検知部とが、一定の数比を持って周期的に配されている
   請求項３から６のいずれか一項に記載の半導体装置。
8. 前記第１の検知部と前記第２の検知部とが２次元格子状に配されており、
   前記第１の検知部は、前記可視光の同一の色成分に透過性を有する複数の前記第２の検知部よりも高い密度で配され、
   前記第１の検知部が市松模様となるように配されている
   請求項７に記載の半導体装置。
9. 前記非可視光フィルタ層の前記開口部に対応する、前記色分離フィルタ層の部分に、白色の可視光成分を透過するフィルタ部が形成されている
   請求項３から８の何れか一項に記載の半導体装置。
10. 前記非可視光フィルタ層の前記開口部に対応する、前記色分離フィルタ層の部分に、前記可視光の全波長成分を透過するフィルタ部が形成されている
    請求項３から８の何れか一項に記載の半導体装置。
11. 前記非可視光フィルタ層の前記開口部に対応する、前記色分離フィルタ層の部分にはフィルタ部が形成されていない
    請求項３から８の何れか一項に記載の半導体装置。
12. 基板に所定の順に配置されて入射光を検知する複数の検知部と、前記基板に一体的に形成された複数の層からなるフィルタと、を備え、前記フィルタが、可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有し、前記基板と前記非可視光フィルタ層との間に配された色分離フィルタ層と、を有する半導体装置から出力された検知信号を処理する信号処理装置であって、
    前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光が検知されたことに応じて、前記第１の検知部から出力される第１の検知信号に基づいて、広波長領域の入射光に関する信号を生成する第１の信号処理部と、
    前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分が検知されたことに応じて、前記第２の検知部から出力される検知信号に基づいて、前記可視光の色に関する信号を生成する第２の信号処理部と、
    を備える信号処理装置。
13. 前記第１の信号処理部は、前記第１の検知信号に基づいて輝度信号を生成する
    請求項１２に記載の信号処理装置。
14. 前記第２の信号処理部から出力される色に関する信号に基づいて、色差信号を生成する第３の信号処理部
    をさらに備える請求項１３に記載の信号処理装置。
15. 前記第１の信号処理部から出力される前記輝度信号に基づいて、色に関する信号を生成する第４の信号処理部と、
    前記第４の信号処理部から出力された色に関する信号と、前記第２の情報取得部から出力された色に関する信号とに基づいて、合成処理を実行する第５の信号処理部と
    をさらに備える請求項１４に記載の信号処理装置。

Images