JPWO2006064564A1 - 撮像装置、撮像素子および画像処理方法 - Google Patents

撮像装置、撮像素子および画像処理方法 Download PDF

Info

Publication number
JPWO2006064564A1
JPWO2006064564A1 JP2006548618A JP2006548618A JPWO2006064564A1 JP WO2006064564 A1 JPWO2006064564 A1 JP WO2006064564A1 JP 2006548618 A JP2006548618 A JP 2006548618A JP 2006548618 A JP2006548618 A JP 2006548618A JP WO2006064564 A1 JPWO2006064564 A1 JP WO2006064564A1
Authority
JP
Japan
Prior art keywords
pixel
color
luminance information
colorless
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006548618A
Other languages
English (en)
Other versions
JP4536072B2 (ja
Inventor
忠夫 井上
忠夫 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2006064564A1 publication Critical patent/JPWO2006064564A1/ja
Application granted granted Critical
Publication of JP4536072B2 publication Critical patent/JP4536072B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

撮像素子（１００）は、光電変換部を含む画素が２次元配列された２次元配列画素群（１０１）によって構成されている。２次元配列画素群（１０１）は、ｍ行ｎ列の画素配列とされている。２次元配列画素群（１０１）中、任意の２行２列の画素領域を構成する４画素中、３画素はそれぞれ赤色画素（Ｒ）、緑色画素（Ｇ）および青色画素（Ｂ）によって構成され、残りの１画素は、無色画素（ＮＣ）によって構成される。赤色画素（Ｒ）である注目画素（Ｐ１）のＲ信号は、注目画素（Ｐ１）から得られる信号値となる。また、注目画素（Ｐ１）のＧ信号は、注目画素（Ｐ１）の左右に隣接する２つの緑色画素（Ｇ）からそれぞれ得られる信号値の平均値となる。さらに、注目画素（Ｐ１）のＢ信号は、注目画素（Ｐ１）の右上、左上、右下、左下に隣接する４つの青色画素（Ｂ）からそれぞれ得られる信号値の平均値となる。

Description

本発明は、被写体を撮像する撮像装置、光電変換部を含む画素が２次元配列された２次元配列画素群を有する撮像素子、および撮像素子を用いた画像処理方法に関するものである。
図２９は、従来の固体撮像素子の２次元配列画素群を示す説明図である。図２９において、２次元配列画素群２９０１は、原色系（ＲＧＢ）の色分解フィルタを画素ごとにベイヤ配列されている。
また、下記特許文献１の従来技術では、被写体の色情報に左右されない輝度解像度を持った撮像画像を得る固体撮像素子が開示されている。この固体撮像素子は、縦横に配列されたフォトダイオードを備え、各フォトダイオードのうち市松状に配列されたフォトダイオードに輝度フィルタＹを設け、輝度フィルタＹが設けられていない残りの市松状に配置されたフォトダイオードにカラーフィルタＲ，Ｇ，Ｂを設けている。
さらに、下記特許文献２の従来技術では、画素が図２９に示したようなベイヤ配列に近い配列の撮像装置が開示されている。この撮像装置の画素配列と図２９に示したベイヤ配列との違いは、「Ｇ」の画素が少ない点であり、通常画像の撮影時は「Ｒ」「Ｇ」「Ｂ」の画素出力で色差信号を生成し、カラーフィルタが形成されていない画素の画素出力で輝度信号を生成している。
特開２００３−３１８３７５号公報 特開２００３−２４４７１２号公報
しかしながら、近年、カメラの小型化および高画素化が要求されている。したがって、上述した図２９に示したベイヤ配列の固体撮像素子では、カメラの小型化および高画素化による１画素あたりの面積が縮小され、それに伴いフォトダイオードの面積が縮小され、感度不足が生じるという問題があった。特に、色分解フィルタは、各色に応じた波長成分しか透過しないため、入射可視光の輝度成分が低下して感度を低下させる原因になっている。
また、上述した特許文献１の従来技術では、被写体の色情報に左右されない輝度解像度が向上する反面、明るいときの色情報（色差）の分解能が１／２に低下してしまうという問題があった。
さらに、上述した特許文献２の従来技術では、ＲＧＢ画素の出力により色差信号を生成しているため、明時の色分解能が向上する反面、色分解フィルタが形成されていない画素は、４画素中１画素しかないことから、明時における輝度分解能が低下するという問題があった。
本発明は、上述した従来技術による問題点を解消するため、明時には高分解能の輝度を得、かつ、暗時には高感度を得ることにより、明暗にかかわらず撮像画像の高画質化を図ることができる撮像装置、撮像素子および画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、この発明の撮像装置は、光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、前記２次元配列画素群内の任意の注目画素の第１の輝度情報を生成する第１の輝度情報生成手段を備え、前記第１の輝度情報生成手段は、前記注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成し、前記注目画素が前記カラー画素である場合に、前記注目画素の光電変換部によって変換された電器信号、および前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成することを特徴とする。
また、上記発明において、前記注目画素のカラー信号を算出するカラー信号算出手段と、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の色情報を算出する色情報算出手段と、を備え、前記カラー信号算出手段は、前記注目画素が前記カラー画素である場合に、前記注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、前記注目画素が前記無色画素である場合、前記注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出することとしてもよい。
また、上記発明において、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、前記第１の輝度情報生成手段によって生成された第１の輝度情報または前記第２の輝度情報生成手段によって生成された第２の輝度情報のうちいずれか一方の輝度情報を選択する選択手段と、を備え、前記選択手段によって選択された輝度情報を出力することとしてもよい。
また、上記発明において、前記選択手段を制御して、被写体を撮像するときの露光情報に基づいて、前記第１の輝度情報と第２の輝度情報のうち、いずれか一方の輝度情報を選択する選択制御手段を備えることとしてもよい。
また、上記発明において、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、前記第１の輝度情報生成手段または前記第２の輝度情報生成手段のうちいずれか一方の輝度情報生成手段を選択する選択手段と、を備え、前記選択手段によって選択された輝度情報選択手段により生成される輝度情報を出力することとしてもよい。
また、上記発明において、前記選択手段を制御して、被写体を撮像するときの露光情報に基づいて、前記第１の輝度情報生成手段と第２の輝度情報生成手段のうち、いずれか一方の輝度情報生成手段を選択する選択制御手段を備えることとしてもよい。
また、上記発明において、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、被写体を撮像するときの露光情報に基づいて、被写体の明暗に関するパラメータを設定するパラメータ設定手段と、前記第１の輝度情報生成手段によって生成された第１の輝度情報と、前記第２の輝度情報生成手段によって生成された第２の輝度情報と、前記パラメータ設定手段によって設定されたパラメータと、に基づいて、前記注目画素の第３の輝度情報を生成する第３の輝度情報生成手段と、を備えることとしてもよい。
また、上記発明において、前記色情報算出手段によって算出された色情報と、前記パラメータ設定手段によって設定されたパラメータとに基づいて、前記注目画素の色情報を生成する色情報生成手段を備えることとしてもよい。
また、この発明の撮像装置は、光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、前記２次元配列画素群内の任意の注目画素のカラー信号を算出するカラー信号算出手段と、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の輝度情報を生成する輝度情報生成手段と、を備え、前記カラー信号算出手段は、前記注目画素が前記カラー画素である場合、前記注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、前記注目画素が前記無色画素である場合、前記注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出することを特徴とする。
また、上記発明において、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の色情報を算出する色情報算出手段を備えることとしてもよい。
また、上記発明において、前記色分解フィルタは、赤色透過フィルタと青色透過フィルタと緑色透過フィルタとを備え、前記撮像素子は、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記２次元配列画素群において対角方向に配列されていることとしてもよい。
また、上記発明において、前記撮像素子は、前記カラー画素のうち前記赤色透過フィルタを備えている赤色画素および前記青色透過フィルタを備えている青色画素が、前記２次元配列画素群において前記対角方向に交差する対角方向に配列されており、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記無色画素と同一の画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記無色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記緑画素の画素サイズよりも大きい画素サイズであることとしてもよい。
また、上記発明において、少なくとも前記無色画素の光電変換部を、オーバーフロードレイン構造としたこととしてもよい。
また、上記発明において、前記色分解フィルタは、赤色透過フィルタと青色透過フィルタと緑色透過フィルタとを備え、前記撮像素子は、前記カラー画素のうち前記赤色透過フィルタを備えている赤色画素および前記青色透過フィルタを備えている青色画素が、前記赤色画素および前記青色画素の光電変換部によって変換される電気信号の出力方向に配列されていることとしてもよい。
また、上記発明において、前記撮像素子は、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記出力方向に配列されており、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、同一の画素サイズであることとしてもよい。
また、上記発明において、前記撮像素子は、さらに、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記出力方向に配列されており、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
また、上記発明において、前記無色画素は、透明フィルタまたは透明絶縁層を備えていることとしてもよい。
また、光電変換部を含む画素が２次元配列された２次元配列画素群を有する撮像素子であって、前記２次元配列画素群のうち、赤色透過フィルタを備えている赤色画素および青色透過フィルタを備えている青色画素が、前記光電変換部によって変換される電気信号の出力方向に配列されていることを特徴とする。
また、上記発明において、前記２次元配列画素群のうち、緑色透過フィルタを備えている緑色画素と、前記赤色透過フィルタ、前記青色透過フィルタおよび前記緑色透過フィルタのいずれの色分解フィルタも備えていない無色画素とが、前記出力方向に配列されていることとしてもよい。
また、上記発明において、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、同一の画素サイズであることとしてもよい。
また、上記発明において、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることとしてもよい。
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
また、上記発明において、前記無色画素は、透明フィルタまたは透明絶縁層を備えていることとしてもよい。
また、この発明の画像処理方法は、光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子を用いた画像処理方法であって、前記２次元配列画素群内の任意の注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の輝度情報を生成し、前記注目画素が前記カラー画素である場合に、前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の輝度情報を生成することを特徴とする。
本発明にかかる撮像装置、撮像素子および画像処理方法によれば、明時には高分解能の輝度を得、かつ、暗時には高感度を得ることができ、明暗にかかわらず撮像画像の高画質化を図ることができるという効果を奏する。また、暗時の感度が向上するため、画素サイズを縮小することができ、撮像素子および撮像装置の小型化を図ることができるという効果を奏する。またこれにより、大画素への対応も容易におこなうことができるという効果を奏する。
図１は、この発明の実施の形態１にかかる撮像素子の２次元配列画素群を示す説明図である。 図２は、４ＴｒＡＰＳの概略回路図である。 図３は、図２に示した４ＴｒＡＰＳの任意の１画素分のピクセル回路図である。 図４は、図１に示した撮像素子のＡＢ断面図である。 図５は、図１に示した撮像素子のＣＤ断面図である。 図６は、図１に示した撮像素子の他の断面構造を示すＡＢ断面図である。 図７は、図１に示した撮像素子の他の断面構造を示すＣＤ断面図である。 図８は、ＳｉＮカバー層の成膜後のウェハを示す平面図である。 図９は、図８に示したウェハのＡＢ断面図である。 図１０は、図８に示したウェハのＣＤ断面図である。 図１１は、ＳｉＮカバー層のパターンエッチング後のウェハを示す平面図である。 図１２は、図１１に示したウェハのＡＢ断面図である。 図１３は、図１１に示したウェハのＣＤ断面図である。 図１４は、図１２に示したウェハの断面構造において、色分解フィルタが形成されたウェハの断面図である。 図１５は、図１３に示したウェハの断面構造において、色分解フィルタが形成されたウェハの断面図である。 図１６は、この発明の実施の形態１にかかる撮像装置のハードウェア構成を示すブロック図である。 図１７は、ＲＧＢ変換部を備えた撮像装置のハードウェア構成を示すブロック図である。 図１８は、この発明の実施の形態２にかかる撮像装置のハードウェア構成を示すブロック図である。 図１９は、この発明の実施の形態３にかかる撮像装置のハードウェア構成を示すブロック図である。 図２０は、この発明の実施の形態４にかかる撮像装置のハードウェア構成を示すブロック図である。 図２１は、この発明の実施の形態５にかかる、撮像素子の２次元配列画素群を示す説明図である。 図２２は、この発明の実施の形態６にかかる、撮像素子の２次元配列画素群を示す説明図である。 図２３は、この発明の実施の形態７にかかる、撮像素子の２次元配列画素群を示す説明図である。 図２４は、この発明の実施の形態８にかかる、撮像素子の２次元配列画素群を示す説明図である。 図２５は、この発明の実施の形態９にかかる、撮像素子の２次元配列画素群を示す説明図である。 図２６は、ＯＦＤを用いた画素内のピクセル回路図である。 図２７は、この発明の実施の形態１０にかかる、撮像素子の２次元配列画素群を示す説明図である。 図２８は、この発明の実施の形態１１にかかる、撮像素子の２次元配列画素群を示す説明図である。 図２９は、従来の固体撮像素子の２次元配列画素群を示す説明図である。
符号の説明
１００ 撮像素子
１０１、２１０１、２２０１、２３０１、２４０１、２５０１、２７０１、２８０１ ２次元配列画素群
４０５ 色分解フィルタ
４０５Ｂ 青色透過フィルタ
４０５Ｒ 赤色透過フィルタ
４０５Ｇ 緑色透過フィルタ
４０５ＮＣ 透明フィルタ
１６００、１７００、１８００、１９００、２０００ 撮像装置
１６０２ カラー信号算出部
１６０３ 第１の輝度情報生成部
１６０４ 色情報算出部
１６０５ 第２の輝度情報生成部
１６０６、１８０１ 選択部
１６０７ 選択制御部
１９０１ パラメータ設定部
１９０２ 第３の輝度情報生成部
２００１ 色情報生成部
Ｂ 青色画素
Ｇ 緑色画素
ＮＣ 無色画素
Ｐ１、Ｐ２、Ｐ３、Ｐ４ 注目画素
ＰＤ フォトダイオード
以下に添付図面を参照して、この発明にかかる撮像装置、撮像素子、および撮像装置の画像処理方法の好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
（実施の形態１）
（撮像素子の基本構造）
まず、この発明の実施の形態１にかかる撮像装置に用いられる撮像素子の基本構造について説明する。図１は、この発明の実施の形態１にかかる撮像素子の２次元配列画素群を示す説明図である。図１において、撮像素子１００は、フォトダイオードなどの光電変換部を含む画素が２次元配列された２次元配列画素群１０１によって構成されている。具体的には、２次元配列画素群１０１は、ｍ行ｎ列（図１では、簡略化のため、ｍ＝６、ｎ＝６）の画素配列とされている。
また、撮像素子１００において、２次元配列画素群１０１は、色分解フィルタを備えている画素（以下、「カラー画素」という）を有している。色分解フィルタとは、特定の波長の可視光のみを透過するフィルタであり、たとえば、赤色に応じた波長を透過する赤色透過フィルタ、青色に応じた波長を透過する青色透過フィルタ、緑色に応じた波長を透過する緑色透過フィルタを用いることができる。
なお、以下の説明において、赤色透過フィルタを備えているカラー画素を「赤色画素Ｒ」、緑色透過フィルタを備えているカラー画素を「緑色画素Ｇ」、青色透過フィルタを備えているカラー画素を「青色画素Ｂ」と称す。
また、撮像素子において、２次元配列画素群１０１は、色分解フィルタを備えていない画素（以下、「無色画素ＮＣ」という）も有している。この無色画素ＮＣは、可視光全波長帯域を透過する透明な材質の有機材料や、赤外線カット材料を用いた赤外線カットフィルタなどの透明フィルタを備えることができる。また、透明フィルタとして、透明絶縁層を用いることもできる。
また、撮像素子１００は、２次元配列画素群１０１中、任意の２行２列の画素領域において、その画素領域を構成する４画素中、３画素はそれぞれ赤色画素Ｒ、緑色画素Ｇおよび青色画素Ｂのカラー画素によって構成され、残りの１画素は、無色画素ＮＣによって構成されている。
つぎに、撮像素子１００を構成する２次元配列画素群１０１の各画素のピクセル構成について説明する。ここでは、撮像素子１００内の光電変換部として、ＣＭＯＳイメージセンサの一種である、４ＴｒＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ）を一例に挙げて説明する。図２は、４ＴｒＡＰＳの概略回路図である。４ＴｒＡＰＳは、４個のトランジスタと、光電変換素子である１個のフォトダイオードによって１画素を構成する撮像素子である。
図２において、４ＴｒＡＰＳ２００は、ピクセルアレイ部２０１と、行選択回路２０２と、信号読み出し回路２０３と、を含む構成とされている。ピクセルアレイ部２０１には、行ごとに、行方向にトランスファー線２０４、リセット線２０５およびセレクト線２０６が配線されている。
また、列ごとに、列方向にリセット電圧線２０７および信号読み出し線２０８が配線されている。この４ＴｒＡＰＳ２００は、行方向に配線されているトランスファー線２０４、リセット線２０５およびセレクト線２０６によって行ごとに画素の選択および画素内のフォトダイオードからの電気信号の読み出しをおこなうことができる。
つぎに、図２に示した４ＴｒＡＰＳ２００の任意の１画素Ｐij分のピクセル回路について説明する。図３は、図２に示した４ＴｒＡＰＳ２００の任意の１画素分のピクセル回路図である。図３において、ピクセル回路３００は、４個のトランジスタＴｒ（Ｔｒ１〜Ｔｒ４）と１個のフォトダイオードＰＤによって構成されている。
フォトダイオードＰＤは、ＮＰ接合で構成され、外部からの光を受光することにより光電変換をおこない、この光電変換によって発生した信号電荷（電子）を、Ｎ型拡散層に貯留する。トランジスタＴｒ１は、図２に示したトランスファー線２０４と接続されるトランスファーゲートＴＧを備えている。トランスファーゲートＴＧは、フォトダイオードＰＤからフローティングディフージョンＦＤまでの信号電荷の電荷転送を制御する。トランスファーゲートＴＧとトランジスタＴｒ２との間には、フローティングディフージョンＦＤが形成されている。
フローティングディフージョンＦＤは、トランスファーゲートＴＧとトランジスタＴｒ２との間の浮遊拡散層であり、トランジスタＴｒ３のゲートに接続されている。フローティングディフージョンＦＤは、フォトダイオードＰＤから転送される信号電荷を電圧に変換する容量である。
また、トランジスタＴｒ２は、リセットトランジスタであり、図２に示したリセット線２０５と接続されるリセットゲートＲＳＴを備えている。トランジスタＴｒ２は、フローティングディフージョンＦＤの電圧を、１．５〜２．０［Ｖ］程度のリセット電圧ＶＲにリセットする。
トランジスタＴｒ３は、ソースフォロアトランジスタであり、信号電荷によって変化するフローティングディフージョンＦＤの電圧に応じた信号電圧を出力する。トランジスタＴｒ４は、行選択トランジスタであり、信号読み出し線２０８に接続されている。
この４ＴｒＡＰＳ２００では、まず、トランスファーゲートＴＧとリセットゲートＲＳＴおよびリセット電圧ＶＲをＯＮにしてリセット状態とする。トランスファーゲートＴＧとリセットゲートＲＳＴをＯＦＦにすると、フォトダイオードＰＤの寄生容量に信号電荷が蓄えられる。
露光時間が過ぎると、トランスファーゲートＴＧをＯＮにし、フォトダイオードＰＤで受光した光に比例した信号電荷を、フローティングディフージョンＦＤに転送する。そして、トランジスタＴｒ４をＯＮにすると、トランジスタＴｒ３が動作して、信号読み出し線２０８にフローティングディフージョンＦＤの電圧レベルに比例した電気信号を出力する。
つぎに、図１に示した撮像素子１００の断面構造について説明する。図４は、図１に示した撮像素子１００のＡＢ断面図であり、図５は、図１に示した撮像素子１００のＣＤ断面図である。図４および図５において、撮像素子１００は、シリコン基板４０１と、バルク層４０２と、配線層４０３と、透明絶縁層であるＳｉＮカバー層４０４と、が積層されている。バルク層４０２には、フォトダイオードとＰＤとトランジスタＴｒが埋め込まれている。配線層４０３には、層間絶縁膜と配線金属層が含まれている。
また、ピクセルアレイ部２０１においては、画素ごとに、色分解フィルタ４０５とマイクロレンズ４０６とが、備えられている。図４に示した赤色画素Ｒと緑色画素Ｇにおいて、赤色画素Ｒの色分解フィルタ４０５は赤色透過フィルタ４０５Ｒであり、緑色画素Ｇの色分解フィルタ４０５は緑色透過フィルタ４０５Ｇである。
同様に、図５に示した青色画素Ｂと無色画素ＮＣにおいて、青色画素Ｂの色分解フィルタ４０５は青色透過フィルタ４０５Ｂであり、無色画素ＮＣの色分解フィルタ４０５は、透明樹脂などで形成された透明フィルタ４０５ＮＣである。なお、透明フィルタ４０５ＮＣは、赤外線カットフィルタを用いてもよい。
この断面構造では、各画素Ｒ、Ｇ、Ｂ、ＮＣにおいて、外部からの光は、マイクロレンズ４０６、色分解フィルタ４０５（４０５Ｒ、４０５Ｇ、４０５Ｂ、４０５ＮＣ）、ＳｉＮカバー層４０４、配線層４０３の層間絶縁膜を透過して、バルク層４０２のフォトダイオードＰＤに受光される。
つぎに、図１に示した撮像素子１００の他の断面構造について説明する。図６は、図１に示した撮像素子１００の他の断面構造を示すＡＢ断面図であり、図７は、図１に示した撮像素子１００の他の断面構造を示すＣＤ断面図である。この図６および図７に示す断面構造は、無色画素ＮＣにのみ色分解フィルタ４０５が設けられていない構造である。なお、図４及び図５と同一構成には同一符号を付し、その説明を省略する。
この断面構造では、各画素Ｒ、Ｇ、Ｂにおいて、外部からの光は、マイクロレンズ４０６、色分解フィルタ４０５（４０５Ｒ、４０５Ｇ、４０５Ｂ）、ＳｉＮカバー層４０４、配線層４０３の層間絶縁膜を透過して、バルク層４０２のフォトダイオードＰＤに受光される。また、無色画素ＮＣにおいては、外部からの光は、マイクロレンズ４０６、ＳｉＮカバー層４０４、配線層４０３の層間絶縁膜を透過して、バルク層４０２のフォトダイオードＰＤに受光される。
つぎに、図６および図７に示した断面構造の撮像素子１００の製造工程について説明する。図８〜図１５は、図６および図７に示した断面構造の撮像素子の製造工程を示す説明図である。まず、ＳｉＮカバー層４０４の成膜後のウェハを用意する。
図８は、ＳｉＮカバー層４０４の成膜後のウェハを示す平面図であり、図９は、図８に示したウェハ８００のＡＢ断面図であり、図１０は、図８に示したウェハ８００のＣＤ断面図である。図８において、ウェハ８００には、２次元配列画素群となるピクセルアレイ部８０１が形成されている。
つぎに、ＳｉＮカバー層４０４のピクセルアレイ部８０１のうち、色分解フィルタ４０５の形成位置に相当する画素位置を、たとえば、フォトリソグラフィ法によって、パターンエッチングする。図１１は、ＳｉＮカバー層４０４のパターンエッチング後のウェハ８００を示す平面図であり、図１２は、図１１に示したウェハ８００のＡＢ断面図であり、図１３は、図１１に示したウェハ８００のＣＤ断面図である。図１１〜図１３において、パターンエッチングによってＳｉＮカバー層４０４に溝１１００が形成される。
つぎに、パターンエッチングによって形成された溝１１００に色分解フィルタ４０５を形成する。図１４は、図１２に示したウェハ８００の断面構造において、色分解フィルタ４０５が形成されたウェハ８００の断面図であり、図１５は、図１３に示したウェハ８００の断面構造において、色分解フィルタ４０５が形成されたウェハ８００の断面図である。
図１４では、色分解フィルタ４０５として、赤色透過フィルタ４０５Ｒと緑色透過フィルタ４０５Ｇが形成され、図１５では、色分解フィルタ４０５として、青色透過フィルタ４０５Ｂが形成されている。
最後に、色分解フィルタ４０５と、ピクセルアレイ部８０１において色分解フィルタ４０５が形成されていないＳｉＮカバー層４０４に、マイクロレンズ４０６を備える。これにより、図６および図７に示したように、透明フィルタ４０５ＮＣを用いない撮像素子を製造することができる。この図６及び図７に示した断面構造によれば、従来からあるエッチング処理を施すことにより、透明フィルタ４０５ＮＣの材料が不要となり、製造コストの低減化を図ることができる。
（撮像装置のハードウェア構成）
つぎに、この発明の実施の形態１にかかる撮像装置のハードウェア構成について説明する。図１６は、この発明の実施の形態１にかかる撮像装置のハードウェア構成を示すブロック図である。図１６において、撮像装置１６００は、撮像素子１００と、Ａ／Ｄ変換器１６０１と、カラー信号算出部１６０２と、第１の輝度情報生成部１６０３と、色情報算出部１６０４と、第２の輝度情報生成部１６０５と、選択部１６０６と、選択制御部１６０７と、から構成されている。
図１６において、Ａ／Ｄ変換器１６０１は、撮像素子１００の各画素の光電変換部によって変換された電気信号を、ディジタル信号に変換する。具体的には、たとえば、図３に示したピクセル回路３００から信号読み出し線２０８に出力されたフローティングディフージョンＦＤの電圧レベルに比例した信号を、ディジタル信号に変換する。
また、カラー信号算出部１６０２は、２次元配列画素群１０１内の任意の画素（以下、「注目画素」という）のカラー信号を算出する。具体的には、注目画素が、赤色画素Ｒ、緑色画素Ｇまたは青色画素Ｂのカラー画素である場合、注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、注目画素のカラー信号を算出する。また、注目画素が無色画素ＮＣである場合、注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、注目画素のカラー信号を算出する。
ここで、カラー信号とは、注目画素に基づいて得られるＲ信号、Ｇ信号およびＢ信号である。また、注目画素の周辺に位置するカラー画素とは、たとえば、注目画素の周囲８画素に存在するカラー画素、または、注目画素の周囲２４画素に存在するカラー画素とすることができる。さらに、光電変換部とは、外部から受光した光を電気信号に変換出力するものであり、具体的には、たとえば、図３に示したピクセル回路３００によって実現することができる。
ここで、注目画素が、赤色画素Ｒ、緑色画素Ｇまたは青色画素Ｂのカラー画素である場合のカラー信号の算出処理について、図１を用いて具体的に説明する。ここでは、注目画素の周辺位置の画素を、注目画素の周囲８画素とする。
図１において、赤色画素Ｒである注目画素Ｐ１のＲ信号は、注目画素Ｐ１からＡ／Ｄ変換器１６０１を介して得られるディジタル信号値となる。また、注目画素Ｐ１のＧ信号は、注目画素Ｐ１の左右に隣接する２つの緑色画素ＧからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。さらに、注目画素Ｐ１のＢ信号は、注目画素Ｐ１の右上、左上、右下、左下に隣接する４つの青色画素ＢからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。
また、図１において、緑色画素Ｇである注目画素Ｐ２のＲ信号は、注目画素Ｐ２の左右に隣接する２つの赤色画素ＲからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。また、緑色画素Ｇである注目画素Ｐ２のＧ信号は、注目画素Ｐ２からＡ／Ｄ変換器１６０１を介して得られるディジタル信号値となる。さらに、注目画素Ｐ２のＢ信号は、注目画素Ｐ２の上下に隣接する２つの青色画素ＢからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。
さらに、図１において、青色画素Ｂである注目画素Ｐ３のＲ信号は、注目画素Ｐ３の右上、左上、右下、左下に隣接する４つの赤色画素ＲからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。また、青色画素Ｂである注目画素Ｐ３のＧ信号は、注目画素Ｐ３の上下に隣接する２つの緑色画素ＧからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。さらに、青色画素Ｂである注目画素Ｐ３のＢ信号は、注目画素Ｐ３からＡ／Ｄ変換器１６０１を介して得られるディジタル信号値となる。
つぎに、注目画素が、無色画素ＮＣである場合のカラー信号の算出処理について、図１を用いて具体的に説明する。ここでも、注目画素の周辺位置の画素を、注目画素の周囲８画素として説明する。
無色画素ＮＣである注目画素Ｐ４のＲ信号は、注目画素Ｐ４の上下に隣接する２つの赤色画素ＲからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。また、注目画素Ｐ４のＧ信号は、注目画素Ｐ４の右上、左上、右下、左下に隣接する４つの緑色画素ＧからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。さらに、注目画素Ｐ４のＢ信号は、左右に隣接する２つの青色画素ＢからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。
また、第１の輝度情報生成部１６０３は、２次元配列画素群１０１内の任意の画素（注目画素）の輝度情報を生成する。以下、第１の輝度情報生成部１６０３によって生成される輝度情報を、「第１輝度情報」と称す。具体的には、第１の輝度情報生成部１６０３は、注目画素が無色画素ＮＣである場合に、注目画素の光電変換部によって変換された電気信号に基づいて、第１の輝度情報を算出する。
また、注目画素がカラー画素である場合に、注目画素の周辺に位置する無色画素ＮＣの光電変換部によって変換された電気信号に基づいて、第１輝度情報を算出する。注目画素の周辺に位置する無色画素ＮＣとは、たとえば、注目画素の周囲８画素に存在する無色画素、または、注目画素の周囲２４画素に存在する無色画素ＮＣとすることができる。
ここで、注目画素が、無色画素ＮＣである場合の第１輝度情報の生成処理について、図１を用いて具体的に説明する。ここでは、注目画素の周辺位置の画素を、注目画素の周囲８画素として説明する。図１において、無色画素ＮＣである注目画素Ｐ４の輝度情報は、注目画素Ｐ４からＡ／Ｄ変換器１６０１を介して得られるディジタル信号値となる。
つぎに、注目画素が、赤色画素Ｒ、緑色画素Ｇまたは青色画素Ｂのカラー画素である場合の第１輝度情報の生成処理について、図１を用いて具体的に説明する。ここでも、注目画素の周辺位置の画素を、注目画素の周囲８画素とする。
図１において、赤色画素Ｒである注目画素Ｐ１の第１輝度情報は、注目画素Ｐ１の上下に隣接する２つの無色画素ＮＣからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。また、緑色画素Ｇである注目画素Ｐ２の第１輝度情報は、注目画素Ｐ２の右上、左上、右下、左下に隣接する４つの無色画素ＮＣからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。さらに、青色画素Ｂである注目画素Ｐ３の第１輝度情報は、注目画素Ｐ３の左右に隣接する２つの無色画素ＮＣからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。
また、図１６において、色情報算出部１６０４は、カラー信号算出部１６０２によって算出されたカラー信号に基づいて、注目画素の色情報を算出する。具体的には、色情報算出部１６０４は、カラー信号であるＲ信号、Ｇ信号およびＢ信号にそれぞれ色に関するパラメータを乗算した後、乗算されたＲ信号、Ｇ信号およびＢ信号を加算することで、２種類の色情報（第１色情報および第２色情報）を算出する。
たとえば、色情報算出部１６０４は、Ｒ信号、Ｇ信号およびＢ信号に基づいて、色情報として２つの色差信号を算出することができる。具体的には、Ｒ信号、Ｇ信号およびＢ信号を、ＹＵＶ変換する場合には、第１色情報としてＵ信号を算出し、第２色情報としてＶ信号を算出する。また、Ｒ信号、Ｇ信号およびＢ信号を、ＹＣｂＣｒ変換する場合には、第１色情報としてＣｂ信号を算出し、第２色情報としてＣｒ信号を算出する。
また、色差信号は、上述したＵとＶの組み合わせや、ＣｂとＣｒの組み合わせのほかに、ＰｂとＰｒの組み合わせや、（Ｂ−Ｙ）と（Ｒ−Ｙ）の組み合わせなどで表現することができ、換算のための色に関するパラメータや、オフセット値の付加などには、各種バリエーションがある。これらは、青や赤から輝度を減算して、色に関するパラメータでスケールを調整することができる。
さらに、カラー信号の表現方法としては、ＲＧＢや、輝度／色差のほかに、色相（Ｈ：Ｈｕｅ）、明度（Ｖ：Ｖａｌｕｅ）および彩度（Ｃ：Ｃｈｒｏｍａ）を適用することもできる。すなわち、輝度が明度に対応し、２つの色差（２つ）が彩度および色相に対応して、簡単に換算することができる。したがって、上述した色差信号に関しては、第１色情報を色相で、第２色情報を彩度で算出することもできる。
また、第２の輝度情報生成部１６０５は、カラー信号算出部１６０２によって算出されたカラー信号に基づいて、注目画素の輝度情報を生成する。以下、第２の輝度情報生成部１６０５によって生成される輝度情報を、「第２輝度情報」と称す。具体的には、カラー信号算出部１６０２によって算出されたＲ信号、Ｇ信号およびＢ信号に、それぞれ輝度に関する所定のパラメータを乗算した後、乗算されたＲ信号、Ｇ信号およびＢ信号を加算することで、第２輝度情報を生成する。
具体的には、第２の輝度情報生成部１６０５は、Ｒ信号、Ｇ信号およびＢ信号を、ＹＵＶ変換する場合には、第２輝度情報としてＹ信号を生成する。同様に、ＹＣｂＣｒ変換する場合には、第２輝度情報としてＹ信号を生成する。また、色差信号に換えて、色相（Ｈ：Ｈｕｅ）、明度（Ｖ：Ｖａｌｕｅ）および彩度（Ｃ：Ｃｈｒｏｍａ）を適用する場合には、第２輝度情報として明度を生成することとしてもよい。
ここで、上述した第１の輝度情報生成部１６０３、色情報算出部１６０４、および第２の輝度情報生成部１６０５による第１色情報、第２色情報、および輝度情報（第１輝度情報または第２輝度情報）の具体的な計算手法について説明する。
下記式（１）および（２）は、ＹＵＶ変換をおこなう場合の計算式であり、式（１）は明時における計算式、式（２）は暗時における計算式をあらわしている。
Figure 2006064564
上記式（１）および（２）において、「Ｙ」はＹＵＶ変換によって得られるＹ信号（輝度情報）、「Ｕ」はＹＵＶ変換によって得られる色差信号（第１色情報）、「Ｖ」は、ＹＵＶ変換によって得られる色差信号（第２色情報）である。ここでは、「Ｙ」、「Ｕ」および「Ｖ」は、８Ｂｉｔの情報であり、Ｙ＝０〜２５５、Ｕ＝０〜２５５、Ｖ＝０〜２５５の値を取り得る。
また、「Ｒ」はカラー信号算出部１６０２によって算出されたＲ信号、「Ｇ」はカラー信号算出部１６０２によって算出されたＧ信号、「Ｂ」はカラー信号算出部１６０２によって算出されたＢ信号、「ＮＣ」は第１の輝度情報生成部１６０３によって生成された第１輝度情報（ＮＣ信号）である。
この式（１）によれば、明時の輝度情報であるＹ信号は、輝度に関するパラメータである「０．２９９」、「０．５８８」および「０．１１３」を、それぞれ「Ｒ」、「Ｇ」および「Ｂ」に乗算し、乗算された値を加算することによって算出される。なお、「ＮＣ」は「０．０００」との乗算になるため、キャンセルされる。この明時のＹ信号は、第２輝度情報として、上述した第２の輝度情報生成部１６０５によって生成される。
明時の第１色情報であるＵ信号は、色に関するパラメータである「−０．１４７」、「−０．２８９」および「０．４３６」を、それぞれ「Ｒ」、「Ｇ」および「Ｂ」に乗算し、乗算された値およびオフセット値「１２８」を加算することによって算出される。なお、「ＮＣ」は「０．０００」との乗算になるため、キャンセルされる。この明時のＵ信号は、第１色情報として、上述した色情報算出部１６０４によって生成される。
同様に、明時の第２色情報であるＶ信号は、色に関するパラメータである「０．３４５」、「−０．２８９」および「−０．０５６」を、それぞれ「Ｒ」、「Ｇ」および「Ｂ」に乗算し、乗算された値およびオフセット値「１２８」を加算することによって算出される。なお、「ＮＣ」は「０．０００」との乗算になるため、キャンセルされる。この明時のＶ信号は、第２色情報として、上述した色情報算出部１６０４によって生成される。
また、この式（２）によれば、暗時の輝度情報であるＹ信号は、輝度に関するパラメータである「１．０００」に「ＮＣ」を乗算する。なお、「Ｒ」、「Ｇ」および「Ｂ」は「０．０００」との乗算になるため、キャンセルされる。すなわち、第１の輝度情報生成部１６０３によって生成された第１輝度情報が、そのまま暗時のＹ信号となる。なお、暗時におけるＵ信号およびＶ信号の算出は、明時の場合と同様である。
また、下記式（３）および（４）は、ＹＣｂＣｒ変換を行う場合の計算式であり、式（３）は明時における計算式、式（４）は暗時における計算式をあらわしている。
Figure 2006064564
上記式（３）および（４）において、「Ｙ」はＹＣｂＣｒ変換によって得られるＹ信号（輝度情報）、「Ｃｂ」はＹＣｂＣｒ変換によって得られる色差信号（第１色情報）、「Ｃｒ」は、ＹＣｂＣｒ変換によって得られる色差信号（第２色情報）である。ここでは、「Ｙ」、「Ｃｂ」および「Ｃｒ」は、８Ｂｉｔの情報であり、Ｙ＝１６〜２３５、Ｃｂ＝１６〜２４０、Ｃｒ＝１６〜２４０を取り得る。
この式（３）および（４）においても、上述した式（１）および（２）の場合と同様、明時においては、Ｙ信号は、「Ｒ」、「Ｇ」および「Ｂ」を用いて算出され、暗時においては、Ｙ信号は、「ＮＣ」を用いて算出される。
また、図１６において、選択部１６０６は、第１の輝度情報生成部１６０３によって生成された第１輝度情報と、第２の輝度情報生成部１６０５によって生成された第２輝度情報のうち、いずれか一方の輝度情報を選択する。
そして、選択された輝度情報を出力する。たとえば、ＹＵＶ変換をおこなう場合の計算式（１）および（２）を適用する場合、式（１）によってＹ信号が算出されるとともに、式（２）によってＹ信号が算出される。選択部１６０６では、明時の場合には、式（１）によって算出されたＹ信号を選択して出力し、暗時の場合には式（２）によって算出されたＹ信号を選択して出力する。
また、図１６において、選択制御部１６０７は、選択部１６０６を制御して、被写体を撮像するときの露光情報に基づいて、第１輝度情報と第２輝度情報のうち、いずれか一方の輝度情報を選択する。ここで、露光情報は、たとえば、フレームレート制御信号を用いることができる。フレームレートとは、２次元配列画素群１０１から得られる１秒当たりのフレーム数である。
通常、フレームレートは、露光量に応じて変化する値であり、最大で３０フレーム／秒であるが露光量が足りなくなると、露光時間を長くする必要があるため、フレームレートが低下する。このため、フレームレートのしきい値をたとえば１５フレーム／秒とし、フレームレートがしきい値以上のときは明時を示すフレームレート制御信号、フレームレートがしきい値より低いときは暗時を示すフレームレート制御信号を選択部１６０６に出力する。
そして、選択部１６０６では、明時を示すフレームレート制御信号が入力されたときには、第１輝度情報を選択し、暗時を示すフレームレート制御信号が入力されたときには、第２輝度情報を選択する。なお、ここでは、露光情報としてフレームレート制御信号を用いて説明したが、このほかに、撮像素子１００の制御回路（不図示）から撮像素子１００の２次元配列画素群１０１に送るクロックの切替信号を用いても、フレームレート制御信号と同様に選択制御をおこなうことができる。
なお、上述したカラー信号算出部１６０２、第１の輝度情報生成部１６０３、色情報算出部１６０４、第２の輝度情報生成部１６０５、選択部１６０６および選択制御部１６０７は、ＤＳＰその他ディジタル回路によって実現することができる。また、この撮像装置１６００では、色情報を色差信号や彩度信号および色相信号として出力し、また、輝度情報を輝度信号や明度信号として出力する構成としたが、さらに、ＲＧＢ変換をおこなって、ＲＧＢ信号を出力する構成としてもよい。
図１７は、ＲＧＢ変換部を備えた撮像装置のハードウェア構成を示すブロック図である。撮像装置１７００において、ＲＧＢ変換部１７０１は、色情報算出部１６０４から算出された第１色情報および第２色情報と、第１の輝度情報生成部１６０３または第２の輝度情報生成部１６０５から生成された輝度情報とを入力し、ＲＧＢ変換を施して、Ｒ信号、Ｇ信号、Ｂ信号を出力することができる。
以上説明したように、この実施の形態１によれば、２次元配列画素群における２行２列の任意の画素領域内の４画素のうち１画素を無色画素ＮＣとして、可視光全域を透過させる構成とした。これにより、注目画素の色情報（色差信号または色相／彩度）は、注目画素やその周辺の画素に存在するカラー画素から補完することにより、算出することができる。
また、注目画素の輝度情報は、注目画素やその周辺の画素に存在するカラー画素から補完することにより、または、注目画素やその周辺の画素に存在する無色画素ＮＣから補完することにより、算出することができる。
これにより、暗時には、人間の目は主に輝度に敏感になるため、撮像素子の感度が重要となる。したがって、輝度情報を、主に無色画素ＮＣからの補完によって算出することにより、暗時においても高感度な画像を得ることができる。
また、明時には、撮像素子の感度が多少弱くても被写体の撮像は可能である。人間の目はカラーを良く識別するため、色差信号や色相／彩度などの色情報が重要となる。したがって、輝度情報を、カラー画素からの補完によって算出することにより、明時においては、高分解能の輝度情報を得ることができる。
このように、この実施の形態１では、暗時に高感度の輝度情報を得ることができるとともに、明時に高分解能の輝度情報が得られるので、暗所から明所までＳＮ比の高い高画質を得ることができるという効果を奏する。また、暗時の感度が向上するため、同じ感度を得るための受光面積を縮小することができ、撮像素子の各画素の小型化を図ることができるという効果を奏する。またこれにより、撮像素子自体のチップサイズを縮小することができ、また、大画素化への対応も容易に実現することができるという効果を奏する。
（実施の形態２）
つぎに、この発明の実施の形態２にかかる撮像装置について説明する。上述した実施の形態１では、選択部１６０６により、第１の輝度情報生成部１６０３および第２の輝度情報生成部１６０５によって生成された第１輝度情報および第２輝度情報から、いずれか一方の輝度情報を選択して出力する構成としたが、実施の形態２では、第１輝度情報および第２輝度情報の生成前に、第１の輝度情報生成部１６０３および第２の輝度情報生成部１６０５のうち、いずれか一方の輝度情報生成部を選択する構成とした。
この構成によれば、選択されたいずれか一方の輝度情報生成部により輝度情報を生成することとなり、画像処理に用いられない他方の輝度情報生成部による輝度情報の生成を防止することができる。これにより、消費電力の低減を図ることができる。
なお、この実施の形態２における撮像素子の構成は、実施の形態１の撮像素子１００と同一構成であり、実施の形態２においても適用することができるため、その説明を省略する。また、実施の形態２における撮像装置のハードウェア構成についても、図１６に示した実施の形態１にかかる撮像装置１６００と同一構成については同一符号を付し、その説明を省略する。
（撮像装置のハードウェア構成）
ここで、この発明の実施の形態２にかかる撮像装置のハードウェア構成について説明する。図１８は、この発明の実施の形態２にかかる撮像装置のハードウェア構成を示すブロック図である。図１８において、撮像装置１８００は、撮像素子１００と、Ａ／Ｄ変換器１６０１と、カラー信号算出部１６０２と、第１の輝度情報生成部１６０３と、色情報算出部１６０４と、第２の輝度情報生成部１６０５と、選択部１８０１と、選択制御部１６０７と、から構成されている。
選択部１８０１は、第１の輝度情報生成部１６０３と第２の輝度情報生成部１６０５のうち、いずれか一方の輝度情報生成部を選択する。そして、選択されたいずれか一方の輝度情報生成部が輝度情報を生成する。また、いずれか一方の輝度情報生成部は、選択制御部１６０７からの輝度情報に基づいて選択することができる。
たとえば、ＹＵＶ変換をおこなう場合の計算式（１）および式（２）を適用する場合、式（１）と式（２）のいずれか一方の式を選択する。そして、選択された式を用いて、色差信号Ｕ，Ｖと輝度信号Ｙを算出する。この計算式（１）および（２）の選択は、上述した選択制御部１６０７から入力されるフレームレート制御信号が明時を示すフレームレート制御信号である場合は、式（１）を選択し、暗時を示すフレームレート制御信号である場合は、式（２）を選択することができる。
また、この撮像装置１８００においても、実施の形態１の撮像装置１７００と同様、ＲＧＢ変換部１７０１を備えることとしてもよい。これにより、色情報算出部１６０４から算出された第１色情報および第２色情報と、第１の輝度情報生成部１６０３または第２の輝度情報生成部１６０５から生成された輝度情報とを入力し、ＲＧＢ変換を施して、Ｒ信号、Ｇ信号、Ｂ信号を出力することができる。
以上のことから、この実施の形態２によれば、上述した実施の形態１に示した作用効果と同様の作用効果を得ることができる。また、選択されたいずれか一方の輝度情報生成部により輝度情報を生成することとなり、画像処理に用いられない他方の輝度情報生成部による輝度情報の生成を防止することができる。したがって、撮像装置１８００の消費電力の低減を図ることができるという効果を奏する。
（実施の形態３）
つぎに、この発明の実施の形態３にかかる撮像装置について説明する。上述した実施の形態１および実施の形態２では、露光情報に基づいて明時または暗時のいずれかを判断し、その判断結果にしたがって、輝度情報の選択や輝度情報生成部の選択をおこなう構成としたが、実施の形態３では、被写体の露光量の増減に応じて、第１輝度情報および第２輝度情報に対する重み付けをおこなう構成とした。この構成によれば、被写体の明暗に応じて輝度をスムーズに変化させることができる。
なお、この実施の形態３における撮像素子の構成は、実施の形態１の撮像素子１００と同一構成であり、実施の形態３においても適用することができるため、その説明を省略する。また、実施の形態３における撮像装置のハードウェア構成についても、図１６に示した実施の形態１にかかる撮像装置１６００と同一構成については同一符号を付し、その説明を省略する。
（撮像装置のハードウェア構成）
ここで、この発明の実施の形態３にかかる撮像装置のハードウェア構成について説明する。図１９は、この発明の実施の形態３にかかる撮像装置のハードウェア構成を示すブロック図である。
図１９において、撮像装置１９００は、撮像素子１００と、Ａ／Ｄ変換器１６０１と、カラー信号算出部１６０２と、第１の輝度情報生成部１６０３と、色情報算出部１６０４と、第２の輝度情報生成部１６０５と、パラメータ設定部１９０１と、第３の輝度情報生成部１９０２と、から構成されている。
また、図示はしないが、この撮像装置１９００においても、図１７に示した撮像装置１７００と同様、ＲＧＢ変換部１７０１を備えることとしてもよい。これにより、色情報算出部１６０４から算出された第１色情報および第２色情報と、第３の輝度情報生成部１９０２から生成された第３輝度情報とを入力し、ＲＧＢ変換を施して、Ｒ信号、Ｇ信号、Ｂ信号を出力することができる。
図１９において、パラメータ設定部１９０１は、被写体を撮像するときの露光情報に関するパラメータを設定する。ここで、露光情報とは、たとえば、積分時間、回路ゲイン（感度制御信号値）、絞り制御量など、明暗に応じて撮像素子への露光量や感度（アンプゲインも含む）を示す情報である。
なお、露光情報は、測光結果としての信号値を用いることとしてもよい。また、パラメータｋは、露光情報に応じて明暗の度合いをあらわす値であり、パラメータｋは０≦ｋ≦１で変化する値とし、ｋ＝０が最も明るい状態をあらわし、ｋ＝１が最も暗い状態をあらわしている。
ここで、露光情報として積分時間ｔを用いた場合について説明する。たとえば、積分時間をｔ［ｓｅｃ］とすると、積分時間ｔは、１／３０≦ｔ≦１／７．５の値をとる。この積分時間ｔの下限値である１／３０［ｓｅｃ］がｋ＝０に対応し、積分時間ｔの上限値である１／７．５［ｓｅｃ］がｋ＝１に対応する。したがって、積分時間ｔが大きくなると、パラメータｋも大きく変化し、積分時間ｔが小さくなると、パラメータｋも小さく変化する。なお、パラメータｋは、露光情報から算出する構成としてもよく、また、露光情報とパラメータｋをテーブル化しておき、露光情報に応じたパラメータｋの値を抽出する構成としてもよい。
また、第３の輝度情報生成部１９０２は、第１の輝度情報生成部１６０３から得られた第１輝度情報と、第２の輝度情報生成部１６０５によって生成された第２輝度情報と、パラメータ設定部１９０１によって設定されたパラメータｋと、に基づいて、注目画素のあらたな輝度情報（以下、第３輝度情報という）を生成する。具体的には、第３の輝度情報生成部１９０２は、２つの乗算器と１つの加算器によって構成されている。
第１乗算器１９１１は、第１の輝度情報生成部１６０３によって生成された第１輝度情報と、パラメータ設定部１９０１によって設定されたパラメータｋとを乗算する。第２乗算器１９１２は、第２の輝度情報生成部１６０５によって生成された第２輝度情報と、パラメータ設定部１９０１によって設定されたパラメータｋとに基づいて、乗算処理を実行する。すなわち、第２乗算器１９１２は、第２輝度情報と（１−ｋ）の値とを乗算する。また、加算器１９１３は、第１乗算器１９１１の乗算結果と第２乗算器１９１２の乗算結果とを加算し、加算された値を第３輝度情報として出力する。
ここで、上述した第１の輝度情報生成部１６０３、色情報算出部１６０４、第２の輝度情報生成部１６０５、および第３の輝度情報生成部１９０２による第１色情報、第２色情報、および第３輝度情報の具体的な計算手法について説明する。
下記式（５）は、ＹＵＶ変換をおこなう場合の計算式である。なお、下記式（５）において、「Ｙ」、「Ｕ」、「Ｖ」、「Ｒ」、「Ｇ」、「ＮＣ」については、上述した式（１）と同一であるため、その説明を省略する。
Figure 2006064564
この式（５）では、輝度に関するパラメータを「０．２９９」、「０．５８８」、「０．１１３」および「１」とする。「０．２９９」には（１−ｋ）と「Ｒ」、「０．５８８」には（１−ｋ）と「Ｇ」、「０．１１３」には（１−ｋ）と「Ｂ」を乗算する。また、「１」には、「ｋ」と「ＮＣ」を乗算する。
このように、式（５）によれば、明時（ｋ＝０）の場合、「Ｒ」、「Ｇ」および「Ｂ」を用いて第３輝度情報であるＹ信号を算出することができ、暗時（ｋ＝１）の場合、「ＮＣ」のみを用いて第３輝度情報であるＹ信号を算出することができる。さらに、パラメータｋが０＜ｋ＜１の場合、「Ｒ」、「Ｇ」、「Ｂ」および「ＮＣ」を用いて第３輝度情報であるＹ信号を算出することができる。
なお、上述した式（５）に示したように、理想的にはＲＧＢ３色の透過率の和が１で、Ｒ＋Ｇ＋Ｂ＝ＮＣ（無色）になるはずであるが、実際の製造においては、Ｒ＋Ｇ＋Ｂ≠ＮＣとなる場合がある。この場合には、パラメータｋを「ＮＣ」に適用する場合、さらに定数αを乗じることにより、最適な画質にすることもできる。この場合の計算式を下記式（６）とする。
Figure 2006064564
以上のことから、この実施の形態３によれば、明暗の度合いに応じて第３輝度情報の値を変化させ、ノイズの影響を低減することができる。すなわち、暗時には、ＲＧＢ信号の電圧が低いため、図３に示したピクセル回路３００である光電変換部や周辺回路からのノイズに比べて、ＲＧＢ信号の振幅が小さくなり、感度が低下することとなる。
したがって、ノイズの増減に追従して、ノイズを補正する補正量、すなわちパラメータｋを連続的に変化させることにより、図３に示したピクセル回路３００である光電変換部や周辺回路からのノイズをキャンセルすることができ、より均質なＳＮ比のよい高画質の画像を得ることができるという効果を奏する。特に、早朝や夕暮れ時など、明るさが徐々に変化するときには、明暗の変化に追従したＳＮ比の画質を得ることができるという効果を奏する。
（実施の形態４）
つぎに、この発明の実施の形態４にかかる撮像装置について説明する。上述した実施の形態３では、被写体の露光量の増減に応じて、第１輝度情報および第２輝度情報に対する重み付けをおこなう構成とした。これに対し、実施の形態４では、さらに、第１色情報および第２色情報に対する重み付けもおこなう構成とした。この構成によれば、被写体の明暗に応じて輝度をスムーズに変化させることができる。
なお、この実施の形態４における撮像素子の構成は、実施の形態１の撮像素子１００と同一構成であり、実施の形態４においても適用することができるため、その説明を省略する。また、実施の形態４における撮像装置のハードウェア構成についても、図１６に示した実施の形態１にかかる撮像装置１６００と同一構成については同一符号を付し、その説明を省略する。
（撮像装置のハードウェア構成）
ここで、この発明の実施の形態４にかかる撮像装置のハードウェア構成について説明する。図２０は、この発明の実施の形態４にかかる撮像装置のハードウェア構成を示すブロック図である。図２０において、撮像装置２０００は、撮像素子１００と、Ａ／Ｄ変換器１６０１と、カラー信号算出部１６０２と、第１の輝度情報生成部１６０３と、色情報算出部１６０４と、第２の輝度情報生成部１６０５と、パラメータ設定部１９０１と、第３
の輝度情報生成部１９０２と、色情報生成部２００１と、から構成されている。
また、図示はしないが、この撮像装置２０００においても、図１７に示した撮像装置１７００と同様、ＲＧＢ変換部１７０１を備えることとしてもよい。これにより、色情報生成部２００１から算出された第３色情報および第４色情報と、第３の輝度情報生成部１９０２から生成された第３輝度情報とを入力し、ＲＧＢ変換を施して、Ｒ信号、Ｇ信号、Ｂ信号を出力することができる。
また、図２０において、色情報生成部２００１は、色情報算出部１６０４によって算出された色情報（第１色情報および第２色情報）と、パラメータ設定部１９０１によって設定されたパラメータｋとに基づいて、注目画素のあらたな色情報（第３色情報および第４色情報）を生成する。具体的には、色情報生成部２００１は、２つの乗算器を備えている。
第３乗算器２００３は、色情報算出部１６０４によって算出された第１色情報と、パラメータｋとに基づいて乗算する。より具体的には、第１色情報と、（１−ｋ）とを乗算する。乗算された値は、第３色情報として出力される。
また、第４乗算器２００４は、色情報算出部１６０４によって算出された第２色情報と、パラメータｋとに基づいて乗算する。より具体的には、第２色情報と、（１−ｋ）とを乗算する。乗算された値は、第４色情報として出力される。
ここで、上述した第１の輝度情報生成部１６０３、色情報算出部１６０４、第２の輝度情報生成部１６０５、第３の輝度情報生成部１９０２および色情報生成部２００１による第３色情報、第４色情報、および第３輝度情報の具体的な計算手法について説明する。
下記式（７）は、ＹＵＶ変換をおこなう場合の計算式である。なお、下記式（７）は、上記式（５）の色に関するパラメータ「−０．１４７」、「−０．２８９」、「０．４３６」、「０．３４５」、「−０．２８９」、「−０．０５６」に（１−ｋ）を乗じた式である。式（５）と同一の計算処理の説明については省略する。
Figure 2006064564
この式（７）では、輝度に関するパラメータ「−０．１４７」には（１−ｋ）と「Ｒ」、「−０．２８９」には（１−ｋ）と「Ｇ」、「０．４３６」には（１−ｋ）と「Ｂ」を乗算する。これにより、第３色情報となるＵ信号を算出することができる。また、輝度に関するパラメータ「０．３４５」には（１−ｋ）と「Ｒ」、「−０．２８９」には（１−ｋ）と「Ｇ」、「−０．０５６」には（１−ｋ）と「Ｂ」を乗算する。これにより、第４色情報となるＶ信号を算出することができる。
また、上記（６）に示したように、パラメータｋを「ＮＣ」に適用する場合、さらに定数αを乗じることにより、最適な画質にすることもできる。この場合の計算式を下記式（８）とする。
Figure 2006064564
以上のことから、この実施の形態４によれば、実施の形態３と同様の作用効果を得ることができる。また、人間の目は、暗時には輝度に敏感になるが、色差に鈍感になる。一方、撮像装置２０００側が暗いときには、図３に示したカラー画素のピクセル回路３００から出力される信号が小さくなるため、ノイズが増大して色差信号のＳＮが低くなる。
したがって、ノイズが多く重畳された色差信号を意図的に弱めておくことにより、トータルの信号（特に再変換されたＲＧＢ信号）としてＳＮ比の向上を図ることができるという効果を奏する。また、色差信号を弱めても、人間はあまり感じないので目立つことがなく、結果として人間にとって、暗時の画質の向上を図ることができるという効果を奏する。
（実施の形態５）
つぎに、この発明の実施の形態５について説明する。実施の形態５は、撮像素子の画素配列に関する構成である。実施の形態１における撮像素子（実施の形態２〜４に適用された撮像素子も含む）１００では、図１に示したように、赤色画素Ｒと無色画素ＮＣが列方向（図中縦の方向）に交互に配列されており、緑色画素Ｇと青色画素Ｂが出力方向に交互に配列されている構成であるが、実施の形態５においては、列方向の画素配置を画素の透過率に応じて変更した構成である。図２１は、この発明の実施の形態５にかかる、撮像素子の２次元配列画素群を示す説明図である。
図２１において、２次元配列画素群２１０１を構成するカラー画素（赤色画素Ｒ、緑色画素Ｇ、青色画素Ｂ）および無色画素ＮＣのうち、透過率の低い赤色画素Ｒおよび青色画素Ｂが、同一の列に交互に配置されている。また、赤色画素Ｒおよび青色画素Ｂよりも透過率の高い緑色画素Ｇおよび無色画素ＮＣも、同一の列に交互に配置されている。
すなわち、撮像素子が図２に示した４ＴｒＡＰＳ２００の場合、出力方向とは、信号読み出し線２０８の配線方向となる。換言すれば、赤色画素Ｒおよび青色画素Ｂは、赤色画素Ｒおよび青色画素Ｂから得られる電気信号の出力経路が同一の方向となるように配列されている。同様に、緑色画素Ｇおよび無色画素ＮＣも、赤色画素Ｒおよび青色画素Ｂの配列方向と同一方向に配列されている。したがって、図２１においては、列方向が、各画素から得られる電気信号の出力方向となっている。
なお、撮像素子が電荷結合素子の場合、出力方向とは、２次元配列画素群において、行方向となる電荷転送方向または列方向となる電荷転送方向のうちいずれか一方の電荷の転送方向となる。また、この実施の形態５にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００や、従来の撮像装置にも適用することができる。
この実施の形態５によれば、赤色画素Ｒおよび青色画素Ｂよりも透過率の高い無色画素ＮＣと緑色画素Ｇを同一画素列に配置することができる。透過率の高い無色画素ＮＣと緑色画素Ｇは、光電荷の発生、すなわち、図３に示したピクセル回路３００から得られる電気信号が、赤色画素Ｒおよび青色画素Ｂから得られる電気信号よりも相対的に大きい。したがって、無色画素ＮＣと緑色画素Ｇと、赤色画素Ｒおよび青色画素Ｂとを、異なる列に配置することにより、各画素列内において、信号の増減を抑制することができ、クロストークの低減を図ることができるという効果を奏する。
（実施の形態６）
つぎに、この発明の実施の形態６について説明する。実施の形態６では、画素配置は実施の形態５と同一であるが、画素サイズが列ごとに異なる構成となっている。図２２は、この発明の実施の形態６にかかる、撮像素子の２次元配列画素群を示す説明図である。図２２において、２次元配列画素群２２０１を構成する、無色画素ＮＣと緑色画素Ｇが配列されている画素列の画素サイズは、赤色画素Ｒおよび青色画素Ｂが配列されている画素列の各画素サイズよりも小さいサイズとなっている。
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、図３に示した各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。
また、緑色画素Ｇについても、緑色画素Ｇのマイクロレンズ４０６および緑色透過フィルタ４０５Ｇは、赤色画素Ｒのマイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素Ｂのマイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。この実施の形態６にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００や、従来の撮像装置にも適用することができる。
この実施の形態６によれば、上述した実施の形態５と同様の作用効果を奏することができる。また、赤色画素Ｒおよび青色画素Ｂの感度が向上し、無色画素ＮＣおよび緑色画素Ｇとの感度差を低減することができるため、より高感度化を図ることができ、特に、暗時までＳＮ比の高い高画質の画像を得ることができるという効果を奏する。
さらに、無色画素ＮＣおよび緑色画素Ｇの感度を従来同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができる。
（実施の形態７）
つぎに、この発明の実施の形態７について説明する。実施の形態６では、無色画素ＮＣと緑色画素Ｇが配列されている画素列の画素サイズを、赤色画素Ｒおよび青色画素Ｂが配列されている画素列の各画素サイズよりも小さいサイズとなる構成としたが、実施の形態７では、実施の形態６とは逆に、無色画素ＮＣと緑色画素Ｇが配列されている画素列の画素サイズを、赤色画素Ｒおよび青色画素Ｂが配列されている画素列の各画素サイズよりも大きいサイズとなる構成とした。この実施の形態７にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
図２３は、この発明の実施の形態７にかかる、撮像素子の２次元配列画素群を示す説明図である。図２３において、２次元配列画素群２３０１を構成する、無色画素ＮＣと緑色画素Ｇが配列されている画素列の画素サイズは、赤色画素Ｒおよび青色画素Ｂが配列されている画素列の各画素サイズよりも大きいサイズとされている。
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、図３に示した各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。
また、緑色画素Ｇについても、緑色画素Ｇのマイクロレンズ４０６および緑色透過フィルタ４０５Ｇは、赤色画素Ｒのマイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素Ｂのマイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
この実施の形態７によれば、無色画素ＮＣおよび緑色画素Ｇの感度が向上し、暗時の輝度情報を高くすることができるので、暗時までＳＮ比の高い輝度情報を得ることができるという効果を奏する。特に、監視カメラなど、暗時の輝度情報が重要な場合の用途に適用するのが効果的である。
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
（実施の形態８）
つぎに、この発明の実施の形態８について説明する。実施の形態８は、撮像素子の画素サイズに関する構成である。実施の形態８における、撮像素子の画素の配置は、実施の形態１に示した、撮像素子の画素の配置と同一であるが、配置されている画素の画素サイズが異なっている。この実施の形態８にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
図２４は、この発明の実施の形態８にかかる、撮像素子の２次元配列画素群を示す説明図である。図２４において、２次元配列画素群２４０１内の２行２列の任意の画素領域に注目すると、無色画素ＮＣの画素サイズは対角方向に配置され、赤色画素Ｒおよび青色画素Ｂの画素サイズよりも小さい画素サイズとなっている。
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、図３に示した各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。
また、緑色画素Ｇについても、緑色画素Ｇのマイクロレンズ４０６および緑色透過フィルタ４０５Ｇは、赤色画素Ｒのマイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素Ｂのマイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
この実施の形態８によれば、赤色画素Ｒと無色画素ＮＣからなる画素列については、透過率の小さい赤色画素Ｒの画素サイズを大きくしたことにより、赤色画素Ｒと無色画素ＮＣの電気信号の大きさを均等にすることができる。
同様に、青色画素Ｂと緑色画素Ｇからなる画素列についても、透過率の小さい青色画素Ｂの画素サイズを大きくしたことにより、青色画素Ｂと緑色画素Ｇの電気信号の大きさを均等にすることができる。
このように、透過率の小さい画素の画素サイズを大きくすることにより、赤色画素Ｒと無色画素ＮＣからなる画素列から得られる電気信号と、青色画素Ｂと緑色画素Ｇからなる画素列から得られる電気信号とを、均等にすることができ、クロストークの低減を図ることができるという効果を奏する。また、これにより、高感度化を図ることができ、暗時までＳＮ比の高い高画質の画像を得ることができるという効果を奏する。
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
（実施の形態９）
つぎに、この発明の実施の形態９について説明する。実施の形態９は、実施の形態８における画素サイズの大小を変更した構成である。この実施の形態９にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
図２５は、この発明の実施の形態９にかかる、撮像素子の２次元配列画素群を示す説明図である。図２５において、２次元配列画素群２５０１内の２行２列の任意の画素領域に注目すると、無色画素ＮＣの画素サイズは対角方向に配置され、赤色画素Ｒおよび青色画素Ｂの画素サイズよりも大きい画素サイズとなっている。
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、図３に示した各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。
また、緑色画素Ｇについても、緑色画素Ｇのマイクロレンズ４０６および緑色透過フィルタ４０５Ｇは、赤色画素Ｒのマイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素Ｂのマイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
この実施の形態９によれば、赤色画素Ｒと無色画素ＮＣからなる画素列については、透過率の大きい無色画素ＮＣの画素サイズを大きくした。また、青色画素Ｂと緑色画素Ｇからなる画素列についても、透過率の大きい緑色画素Ｇの画素サイズを大きくした。
これにより、赤色画素Ｒと無色画素ＮＣからなる画素列から得られる電気信号と、青色画素Ｂと緑色画素Ｇからなる画素列から得られる電気信号とを、均等にすることができ、クロストークの低減を図ることができるという効果を奏する。また、これにより、高感度化を図ることができ、暗時までＳＮ比の高い高画質の画像を得ることができるという効果を奏する。
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
また、この実施の形態９において、赤色画素Ｒ、緑色画素Ｇ、青色画素Ｂ、および無色画素ＮＣのうち、少なくとも無色画素ＮＣ内のピクセル回路３００を、オーバーフロードレイン（ＯＦＤ）構造としてもよい。ＯＦＤは、縦型（Ｖｅｒｔｉｃａｌ：ＶＯＤ）と横型（Ｌａｔｅｒａｌ：ＬＯＤ）がある。
ここで、ＯＦＤを用いた画素内のピクセル回路について説明する。図２６は、ＯＦＤを用いた画素内のピクセル回路図である。なお、図３に示した構成と同一構成には同一符号を付し、その説明を省略する。図２６に示したピクセル回路２６００は、図３に示したピクセル回路３００に、ＭＯＳトランジスタをもう１つ追加した構成である。このＭＯＳトランジスタは、平面的に横に設けるオーバーフロードレインであるので，Ｌａｔｅｒａｌ Ｏｖｅｒｆｌｏｗ Ｄｒａｉｎ（ＬＯＤ）と呼ばれる。
このピクセル回路２６００では、トランジスタＯＦＤ−Ｔｒのゲートレベルが、露光および転送時にはトランジスタＯＦＤ−ＴｒをＯＦＦ状態、すなわち、十分高い抵抗にし、露光および転送時以外には、トランジスタＯＦＤ−ＴｒをＯＮ状態、または、ＯＮ／ＯＦＦの中間状態（ある程度の抵抗を持ったＯＮ状態）、となるように制御する。
このピクセル回路２６００によれば、フォトダイオードＰＤの近傍にトランジスタＯＦＤ−Ｔｒを設けたことにより、光電荷が多量に発生しても、光電荷を基板に排出することができる。これにより、他の画素のフォトダイオードＰＤへの光電荷の混入によるクロストークの発生や画像のにじみを防止することができるという効果を奏する。
特に、無色画素ＮＣは、カラー画素よりも感度が高いため、画素サイズがカラー画素と同一またはカラー画素よりも小さい場合でも、電荷が飽和してあふれやすい。したがって、少なくとも無色画素ＮＣをＯＦＤ構造とすることで、カラー画素のフォトダイオードＰＤへの光電荷の混入によるクロストークの発生や画像のにじみを防止することができるという効果を奏する。
また、この実施の形態９では、撮像素子が４ＴｒＡＰＳなどのＣＭＯＳイメージセンサの場合について説明したが、撮像素子がＣＣＤである場合にも、そのピクセル回路をＯＦＤ構造とすることができ、ＣＭＯＳイメージセンサの場合と同様の作用効果を得ることができる。
（実施の形態１０）
つぎに、この発明の実施の形態１０について説明する。実施の形態１０は、実施の形態８における緑色画素Ｇの画素サイズを大きくした構成である。この実施の形態１０にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
図２７は、この発明の実施の形態１０にかかる、撮像素子の２次元配列画素群を示す説明図である。図２７に示した２次元配列画素群２７０１は、図２４に示した実施の形態８の２次元配列画素群２４０１のうち、緑色画素Ｇの画素サイズを無色画素ＮＣの画素サイズよりも大きくした構成である。緑色画素Ｇの画素サイズは、無色画素ＮＣの画素サイズよりも大きければ、赤色画素Ｒおよび青色画素Ｂの画素サイズと同一画素サイズでもよく、また、異なる画素サイズであってもよい。
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。また、緑色画素ＧのフォトダイオードＰＤ、マイクロレンズ４０６および緑色透過フィルタ４０５Ｇよりも小さい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
この実施の形態１０によれば、赤色画素Ｒ、緑色画素Ｇおよび青色画素Ｂの感度の向上を図ることができ、無色画素ＮＣとの感度差を低減することができるため、撮像素子の高感度化を図ることができ、暗時までＳＮ比の高い高画質の画像を得ることができる。
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
（実施の形態１１）
つぎに、この発明の実施の形態１１について説明する。実施の形態１１は、実施の形態１における無色画素ＮＣの画素サイズを大きくした構成である。この実施の形態１１にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
図２８は、この発明の実施の形態１１にかかる、撮像素子の２次元配列画素群を示す説明図である。図２８に示した２次元配列画素群２８０１は、図１に示した実施の形態１の２次元配列画素群１０１のうち、無色画素ＮＣの画素サイズを他のカラー画素（赤色画素Ｒ、緑色画素Ｇおよび青色画素Ｂ）の画素サイズよりも大きくした構成である。赤色画素Ｒ、緑色画素Ｇおよび青色画素Ｂ）の画素サイズは、無色画素ＮＣの画素サイズよりも小さければ、互いに同一の画素サイズであってもよく、また、互いに異なる画素サイズであってもよい。
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。また、緑色画素ＧのフォトダイオードＰＤ、マイクロレンズ４０６および緑色透過フィルタ４０５Ｇよりも大きい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
この実施の形態１１によれば、無色画素ＮＣの感度が向上し、暗時の輝度情報を高くすることができるので、暗時までＳＮ比の高い輝度情報を得ることができるという効果を奏する。特に、監視カメラなど、暗時の輝度情報が重要な場合の用途に適用するのが効果的である。
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
なお、上述した実施の形態１〜１１では、撮像素子として、４Ｔｒ型ＣＭＯＳイメージセンサを例に挙げて説明したが、固体撮像素子であれば、ＣＣＤを適用することもできる。また、ＣＭＯＳイメージセンサは、４Ｔｒ型ＣＭＯＳイメージセンサに限定されることはなく、３Ｔｒ型、５Ｔｒ型などの他のＡＰＳを適用することもできる。さらに、ＣＭＯＳイメージセンサは、ＡＰＳに限定されることはなく、ＰＰＳ（Ｐａｓｓｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ）も適用することができる。
また、上述した実施の形態１〜１１において、各色や画素サイズの異なる色分解フィルタ４０５や透明フィルタ４０５ＮＣの配置の例を示したが、ＣＭＯＳイメージセンサなどのＡＰＳの読み出し回路の構成や、ＣＣＤのデバイス構成に応じて、色分解フィルタ４０５や透明フィルタ４０５ＮＣの最適な配置を選択して、回路やデバイスと組み合わせることができる。これにより、ノイズ低減やスミア低減などの効果を得ることができる。
さらに、上述した実施の形態１〜１１においては、色分解フィルタ４０５および透明フィルタ４０５ＮＣは、マイクロレンズ４０６とフォトダイオードＰＤとの間に配置した構成としたが、色分解フィルタ４０５および透明フィルタ４０５ＮＣは、マイクロレンズ４０６の手前に配置する構成としてもよい。
たとえば、ガラス基板に色分解フィルタ４０５および透明フィルタ４０５ＮＣを形成しておくことにより、色分解フィルタ４０５および透明フィルタ４０５ＮＣを透過した光を、マイクロレンズ４０６を介してフォトダイオードＰＤに受光することができる。この構成によれば、色分解フィルタ４０５が形成されていない撮像素子に対しても、本実施の形態１〜１１の構成を適用することができる。
以上のように、この発明の撮像装置、撮像素子および画像処理方法は、ディジタルスチルカメラや、携帯電話機などのディジタルスチルカメラ内蔵型のコンピュータ端末に適用することができる。

Claims (33)

  1. 光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、
    前記２次元配列画素群内の任意の注目画素の第１の輝度情報を生成する第１の輝度情報生成手段と、を備え、
    前記第１の輝度情報生成手段は、前記注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成し、
    前記注目画素が前記カラー画素である場合に、前記注目画素の光電変換部によって変換された電器信号、および前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成することを特徴とする撮像装置。
  2. 前記注目画素のカラー信号を算出するカラー信号算出手段と、
    前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の色情報を算出する色情報算出手段と、を備え、
    前記カラー信号算出手段は、前記注目画素が前記カラー画素である場合に、前記注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、
    前記注目画素が前記無色画素である場合、前記注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出することを特徴とする請求項１に記載の撮像装置。
  3. 前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、
    前記第１の輝度情報生成手段によって生成された第１の輝度情報と、前記第２の輝度情報生成手段によって生成された第２の輝度情報とのうち、いずれか一方の輝度情報を選択する選択手段と、を備え、
    前記選択手段によって選択された輝度情報を出力することを特徴とする請求項２に記載の撮像装置。
  4. 前記選択手段を制御して、被写体を撮像するときの露光情報に基づいて、前記第１の輝度情報と第２の輝度情報のうち、いずれか一方の輝度情報を選択する選択制御手段を備えることを特徴とする請求項３に記載の撮像装置。
  5. 前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、
    前記第１の輝度情報生成手段と前記第２の輝度情報生成手段のうち、いずれか一方の輝度情報生成手段を選択する選択手段と、を備え、
    前記選択手段によって選択された輝度情報選択手段により生成される輝度情報を出力することを特徴とする請求項２に記載の撮像装置。
  6. 前記選択手段を制御して、被写体を撮像するときの露光情報に基づいて、前記第１の輝度情報生成手段と第２の輝度情報生成手段のうち、いずれか一方の輝度情報生成手段を選択する選択制御手段を備えることを特徴とする請求項５に記載の撮像装置。
  7. 前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、
    被写体を撮像するときの露光情報に基づいて、被写体の明暗に関するパラメータを設定するパラメータ設定手段と、
    前記第１の輝度情報生成手段によって生成された第１の輝度情報と、前記第２の輝度情報生成手段によって生成された第２の輝度情報と、前記パラメータ設定手段によって設定されたパラメータと、に基づいて、前記注目画素の第３の輝度情報を生成する第３の輝度情報生成手段と、
    を備えることを特徴とする請求項２に記載の撮像装置。
  8. 前記色情報算出手段によって算出された色情報と、前記パラメータ設定手段によって設定されたパラメータとに基づいて、前記注目画素の色情報を生成する色情報生成手段を備えることを特徴とする請求項７に記載の撮像装置。
  9. 光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、
    前記２次元配列画素群内の任意の注目画素のカラー信号を算出するカラー信号算出手段と、
    前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の輝度情報を生成する輝度情報生成手段と、を備え、
    前記カラー信号算出手段は、前記注目画素が前記カラー画素である場合、前記注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、
    前記注目画素が前記無色画素である場合、前記注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出することを特徴とする撮像装置。
  10. 前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の色情報を算出する色情報算出手段を備えることを特徴とする請求項９に記載の撮像装置。
  11. 前記色分解フィルタは、赤色透過フィルタと青色透過フィルタと緑色透過フィルタとを備え、
    前記撮像素子は、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記２次元配列画素群において対角方向に配列されていることを特徴とする請求項１〜１０のいずれか一つに記載の撮像装置。
  12. 前記撮像素子は、前記カラー画素のうち前記赤色透過フィルタを備えている赤色画素および前記青色透過フィルタを備えている青色画素が、前記２次元配列画素群において前記対角方向に交差する対角方向に配列されており、
    前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることを特徴とする請求項１１に記載の撮像装置。
  13. 前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることを特徴とする請求項１２に記載の撮像装置。
  14. 前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記無色画素と同一の画素サイズであることを特徴とする請求項１３に記載の撮像装置。
  15. 前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記無色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項１３に記載の撮像装置。
  16. 前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項１２に記載の撮像装置。
  17. 前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項１６に記載の撮像装置。
  18. 前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記緑画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項１７に記載の撮像装置。
  19. 少なくとも前記無色画素の光電変換部を、オーバーフロードレイン構造としたことを特徴とする請求項１〜１０のいずれか一つに記載の撮像装置。
  20. 前記色分解フィルタは、赤色透過フィルタと青色透過フィルタと緑色透過フィルタとを備え、
    前記撮像素子は、前記カラー画素のうち前記赤色透過フィルタを備えている赤色画素および前記青色透過フィルタを備えている青色画素が、前記赤色画素および前記青色画素の光電変換部によって変換される電気信号の出力方向に配列されていることを特徴とする請求項１〜１０のいずれか一つに記載の撮像装置。
  21. 前記撮像素子は、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記出力方向に配列されており、
    前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、同一の画素サイズであることを特徴とする請求項２０に記載の撮像装置。
  22. 前記撮像素子は、さらに、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記出力方向に配列されており、
    前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることを特徴とする請求項２０に記載の撮像装置。
  23. 前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることを特徴とする請求項２２に記載の撮像装置。
  24. 前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項２２に記載の撮像装置。
  25. 前記無色画素は、透明フィルタまたは透明絶縁層を備えていることを特徴とする請求項１〜１０のいずれか一つに記載の撮像装置。
  26. 光電変換部を含む画素が２次元配列された２次元配列画素群を有する撮像素子であって、
    前記２次元配列画素群のうち、赤色透過フィルタを備えている赤色画素および青色透過フィルタを備えている青色画素が、前記光電変換部によって変換される電気信号の出力方向に配列されていることを特徴とする撮像素子。
  27. 前記２次元配列画素群のうち、緑色透過フィルタを備えている緑色画素と、前記赤色透過フィルタ、前記青色透過フィルタおよび前記緑色透過フィルタのいずれの色分解フィルタも備えていない無色画素とが、前記出力方向に配列されていることを特徴とする請求項２６に記載の撮像素子。
  28. 前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、同一の画素サイズであることを特徴とする請求項２７に記載の撮像素子。
  29. 前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることを特徴とする請求項２７に記載の撮像素子。
  30. 前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることを特徴とする請求項２９に記載の撮像素子。
  31. 前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項２９に記載の撮像素子。
  32. 前記無色画素は、透明フィルタまたは透明絶縁層を備えていることを特徴とする請求項２６〜３１のいずれか一つに記載の撮像素子。
  33. 光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子を用いた画像処理方法であって、
    前記２次元配列画素群内の任意の注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の輝度情報を生成し、前記注目画素が前記カラー画素である場合に、前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の輝度情報を生成することを特徴とする画像処理方法。
JP2006548618A 2004-12-16 2004-12-16 撮像装置 Expired - Fee Related JP4536072B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/018824 WO2006064564A1 (ja) 2004-12-16 2004-12-16 撮像装置、撮像素子および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2006064564A1 true JPWO2006064564A1 (ja) 2008-06-12
JP4536072B2 JP4536072B2 (ja) 2010-09-01

Family

ID=36587629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006548618A Expired - Fee Related JP4536072B2 (ja) 2004-12-16 2004-12-16 撮像装置

Country Status (3)

Country Link
US (1) US7773137B2 (ja)
JP (1) JP4536072B2 (ja)
WO (1) WO2006064564A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
JP4796871B2 (ja) * 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置
US20070235771A1 (en) * 2006-04-05 2007-10-11 Yan-Hsiu Liu Semiconductor image sensor and method for fabricating the same
JP4967432B2 (ja) * 2006-04-14 2012-07-04 ソニー株式会社 撮像装置およびカメラシステム
JP4187004B2 (ja) 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP2008177738A (ja) * 2007-01-17 2008-07-31 Casio Comput Co Ltd 撮像装置及び撮像素子
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
US8289430B2 (en) * 2007-02-09 2012-10-16 Gentex Corporation High dynamic range imaging device
US8305471B2 (en) 2007-02-09 2012-11-06 Gentex Corporation High dynamic range imaging device
JP5222625B2 (ja) 2007-06-01 2013-06-26 富士フイルム株式会社 撮像装置
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP5087474B2 (ja) * 2007-06-12 2012-12-05 富士フイルム株式会社 撮像装置
US8629927B2 (en) * 2008-04-09 2014-01-14 Gentex Corporation Imaging device
WO2009073054A1 (en) * 2007-12-06 2009-06-11 Gentex Corporation Improved imaging device
US8587706B2 (en) * 2008-01-30 2013-11-19 Gentex Corporation Imaging device
JP5253856B2 (ja) * 2008-03-26 2013-07-31 株式会社東芝 固体撮像装置
JP5033700B2 (ja) * 2008-04-02 2012-09-26 富士フイルム株式会社 撮像装置
JP5033702B2 (ja) * 2008-04-04 2012-09-26 富士フイルム株式会社 撮像装置
DE102008031593A1 (de) * 2008-07-03 2010-01-07 Hella Kgaa Hueck & Co. Kamerasystem für Kraftfahrzeuge und Verfahren zum Darstellen von Bildern mittels eines Kamerasystems
JP2010062604A (ja) * 2008-09-01 2010-03-18 Rohm Co Ltd 撮像センサ
US8629916B2 (en) 2008-08-19 2014-01-14 Rohm Co., Ltd. Camera with imaging unit and imaging unit for camera
US20100149396A1 (en) * 2008-12-16 2010-06-17 Summa Joseph R Image sensor with inlaid color pixels in etched panchromatic array
US8144223B2 (en) * 2009-01-28 2012-03-27 Gentex Corporation Imaging device
US8378284B2 (en) * 2009-01-28 2013-02-19 Gentex Corporation Imaging device
WO2011106578A2 (en) 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US20110317048A1 (en) 2010-06-29 2011-12-29 Aptina Imaging Corporation Image sensor with dual layer photodiode structure
US8405748B2 (en) * 2010-07-16 2013-03-26 Omnivision Technologies, Inc. CMOS image sensor with improved photodiode area allocation
JP4865069B1 (ja) * 2010-08-06 2012-02-01 株式会社東芝 立体映像表示装置および表示方法
US10126803B1 (en) 2011-04-04 2018-11-13 Google Llc Conditional power management activities
US8671299B2 (en) 2011-05-26 2014-03-11 Google Inc. Delaying the initiation of transitioning to a lower power mode by placing a computer system into an intermediate power mode between a normal power mode and the lower power mode
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
US9041838B2 (en) 2012-02-14 2015-05-26 Gentex Corporation High dynamic range imager system
US9172892B2 (en) * 2012-09-14 2015-10-27 Semiconductor Components Industries, Llc Imaging systems with image pixels having varying light collecting areas
US9380228B2 (en) 2013-03-13 2016-06-28 Gentex Corporation High dynamic range image sensor system and method thereof
DE102013223699A1 (de) * 2013-11-20 2015-05-21 Takata AG Filteranordnung und Verfahren zum Herstellen einer Filteranordnung
JP2016054227A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 固体撮像素子、および撮像装置、並びに電子機器
US9369681B1 (en) * 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
US9716868B1 (en) * 2016-03-03 2017-07-25 Omnivision Technologies, Inc. Color filter including diamond-shaped pixels
DE102016208409A1 (de) * 2016-05-17 2017-11-23 Robert Bosch Gmbh Sensormodul, Verfahren zum Ermitteln einer Helligkeit und/oder einer Farbe einer elektromagnetischen Strahlung und Verfahren zum Herstellen eines Sensormoduls

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5875393A (ja) * 1981-10-29 1983-05-07 Sharp Corp 単板カラ−撮像装置
JPH0488672A (ja) * 1990-07-31 1992-03-23 Canon Inc 固体撮像素子
JPH0488782A (ja) * 1990-07-31 1992-03-23 Canon Inc 撮像装置
JPH0488781A (ja) * 1990-07-31 1992-03-23 Canon Inc 撮像素子
JP2001119705A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd カラー撮像装置
JP2002534866A (ja) * 1998-12-23 2002-10-15 ノキア モービル フォーンズ リミテッド 画像感知装置
JP2003199117A (ja) * 2001-12-25 2003-07-11 Sony Corp 撮像装置及び固体撮像素子の信号処理方法
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305096A (en) * 1990-07-31 1994-04-19 Canon Kabushiki Kaisha Image signal processing apparatus using color filters and an image pick-up device providing, interlaced field signals
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
JP2002300589A (ja) * 2001-01-29 2002-10-11 Konica Corp 撮影装置
JP4027113B2 (ja) 2002-02-19 2007-12-26 キヤノン株式会社 撮像装置及びシステム
JP4159307B2 (ja) 2002-04-23 2008-10-01 富士フイルム株式会社 撮像画像の再現方法
EP1608183A1 (en) * 2004-06-14 2005-12-21 Dialog Semiconductor GmbH Matrix circuit for imaging sensors
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5377057B2 (ja) * 2008-06-30 2013-12-25 株式会社ジャパンディスプレイ 画像表示装置の駆動方法、並びに、画像表示装置組立体及びその駆動方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5875393A (ja) * 1981-10-29 1983-05-07 Sharp Corp 単板カラ−撮像装置
JPH0488672A (ja) * 1990-07-31 1992-03-23 Canon Inc 固体撮像素子
JPH0488782A (ja) * 1990-07-31 1992-03-23 Canon Inc 撮像装置
JPH0488781A (ja) * 1990-07-31 1992-03-23 Canon Inc 撮像素子
JP2002534866A (ja) * 1998-12-23 2002-10-15 ノキア モービル フォーンズ リミテッド 画像感知装置
JP2001119705A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd カラー撮像装置
JP2003199117A (ja) * 2001-12-25 2003-07-11 Sony Corp 撮像装置及び固体撮像素子の信号処理方法
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法

Also Published As

Publication number Publication date
US20070257998A1 (en) 2007-11-08
US7773137B2 (en) 2010-08-10
WO2006064564A1 (ja) 2006-06-22
JP4536072B2 (ja) 2010-09-01

Similar Documents

Publication Publication Date Title
JP4536072B2 (ja) 撮像装置
US11706535B2 (en) Digital cameras with direct luminance and chrominance detection
CN110649056B (zh) 图像传感器、摄像头组件及移动终端
CN112261391B (zh) 图像处理方法、摄像头组件及移动终端
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
US9560294B2 (en) Systems and methods for pixel-level dark current compensation in image sensors
JP5082528B2 (ja) 固体撮像装置及び撮像装置
WO2017126326A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
CN110740272B (zh) 图像采集方法、摄像头组件及移动终端
US11637975B2 (en) Solid state image sensor and electronic equipment
US10734424B2 (en) Image sensing device
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
JP2004222154A (ja) 撮像装置
US20220336508A1 (en) Image sensor, camera assembly and mobile terminal
WO2022036817A1 (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
JP2009049525A (ja) 撮像装置及び信号処理方法
WO2021062661A1 (zh) 图像传感器、摄像头组件及移动终端
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
US20220139974A1 (en) Image sensor, camera assembly, and mobile terminal
CN111031297B (zh) 图像传感器、控制方法、摄像头组件和移动终端
JP2009049524A (ja) 撮像装置及び信号処理方法
US20220279108A1 (en) Image sensor and mobile terminal
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质
CN114424517B (zh) 图像传感器、控制方法、摄像头组件及移动终端

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140625

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees