JP4465958B2 - カラー撮像装置 - Google Patents
カラー撮像装置 Download PDFInfo
- Publication number
- JP4465958B2 JP4465958B2 JP2002366296A JP2002366296A JP4465958B2 JP 4465958 B2 JP4465958 B2 JP 4465958B2 JP 2002366296 A JP2002366296 A JP 2002366296A JP 2002366296 A JP2002366296 A JP 2002366296A JP 4465958 B2 JP4465958 B2 JP 4465958B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- light
- range
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 38
- 230000035945 sensitivity Effects 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000002834 transmittance Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 22
- 239000011159 matrix material Substances 0.000 description 51
- 238000006243 chemical reaction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 7
- 238000012958 reprocessing Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Optical Filters (AREA)
Description
【０００１】
本発明は、電子カメラ、ビデオカメラなどのカラー撮像装置に関する。
【０００２】
【従来の技術】
従来、電子カメラやビデオカメラなどのカラー撮像装置に、カラー撮像素子が適用されている。
一般に、カラー撮像装置においては、撮影レンズからカラー撮像素子に至る撮像光学系の分光感度特性をなるべく人間の眼の分光感度特性（又は公知の等色関数）に近づけることが望ましいとされている。
【０００３】
カラー撮像素子は、緑色光を検出するＧ画素と青色光を検出するＢ画素と赤色光を検出するＲ画素とをアレイ状に配置している。
特に、ベイヤ配列は、Ｇ画素を市松状に配置すると共に，そのＧ画素同士の間隙に、Ｂ画素とＲ画素とを交互に配置するものある。つまり、１単位（画素ブロック）は、２つのＧ画素、１つのＢ画素、１つのＲ画素からなる４つの画素である。
【０００４】
因みに、Ｇ画素の数がＲ画素及びＢ画素よりも多い理由は、次のとおりである。
人間の眼の特徴の１つに、緑色を検知する細胞の数が、他の色を検知する細胞の数よりも多いという特徴がある。よって、人間の眼は、緑色光の輝度を検知できる範囲が広い。よって、撮像素子においてもＧ画素を多く設けておけば、検出輝度範囲（所謂、ダイナミックレンジである。）を人間の眼と同様に広げることができる。
【０００５】
ところで、Ｒ画素，Ｇ画素，Ｂ画素の３種類の画素によって峻別することのできる色範囲は、人間の眼が峻別することのできる色範囲よりも若干狭いので、人間の眼にとっては異なる２つの色が互いに同じ色として検出されてしまうことがある。
このため近年になると、さらに別の種類の画素を追加したマルチバンド型のカラー撮像素子が提案された（例えば、特許文献１に記載されたカラー撮像素子）。
【０００６】
特許文献１に記載されたマルチバンド型のカラー撮像素子は、Ｒ画素、Ｇ画素、Ｂ画素の他に、緑色と赤色との間の色（黄色）を検出するＹ画素を追加することによって、検出色範囲を拡大している。
【特許文献１】
特開２００２−２７１８０４号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、この従来のマルチバンド型のカラー撮像素子では、画素ブロック内にＹ画素を追加するために、２つあったＧ画素を１つに減らさなければならない。したがって、緑色光の検出輝度範囲が縮小化し、カラー撮像素子の検出輝度範囲が縮小化される傾向にある。
【０００８】
なお、カラー撮像素子を多板式にすれば、Ｇ画素を減少させることなくＹ画素の追加が図れるのでこの問題は発生しないが、光路を分岐すると共に、各分岐路のそれぞれに撮像素子を配置する必要があるので、配置スペースが拡大され、小型化が求められている電子カメラやビデオカメラにはあまり適さない。
また、回動式の切り替えフィルタを適用すれば、Ｇ画素を減少させることなくＹ画素の追加が図れるのでこの問題は発生しないが、多板式にする場合と同様に配置スペースが拡大されるので、小型化が求められている電子カメラやビデオカメラにはあまり適さない。
【００１０】
また、本発明は、検出色範囲を拡大しつつも検出輝度範囲の縮小化が抑えられたカラー撮像装置を提供することを目的とする。
【００１１】
請求項１に記載のカラー撮像装置は、赤色光を検出する第１画素と、緑色光を検出する第２画素と、青色光を検出する第３画素と、前記緑色光と前記青色光との間又は前記緑色光と前記赤色光との間の波長の光を検出する第４画素とからなる画素ブロックをアレイ状に配置し、前記第４画素の前記光に対する感度は、前記第２画素の前記緑色光に対する感度よりも低く抑えられているカラー撮像素子と、前記第１画素、前記第２画素、前記第３画素の各出力に基づいて色信号を生成する信号処理手段とを備え、前記信号処理手段は、前記第２画素の出力が飽和レベルに達していない場合には、前記各出力に加えて前記第４画素の出力に基づいて前記色信号を生成し、前記第２画素の出力が飽和レベルに達している場合には、その第２画素の出力に基づく代わりに前記第４画素の出力に基づいて前記色信号を生成することを特徴とする。
【００１２】
請求項２に記載のカラー撮像装置は、請求項１に記載のカラー撮像装置において、前記第４画素の前記感度は、前記第２画素の前記感度の略１／２に抑えられていることを特徴とする。
【００１３】
請求項３に記載のカラー撮像装置は、請求項１又は請求項２に記載のカラー撮像装置において、前記第１画素の感度特性のピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、前記第２画素の感度特性のピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、前記第３画素の感度特性のピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にあり、前記第４画素の感度特性のピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内、又は５６０ｎｍ〜６４０ｎｍの範囲内にあることを特徴とする。
【００１４】
請求項４に記載のカラー撮像装置は、入射する可視光を赤色光に制限する第１フィルタ部と、入射する可視光を緑色に制限する第２フィルタ部と、入射する可視光を青色光に制限する第３フィルタ部と、入射する可視光を前記緑色光と前記青色光との間又は前記緑色光と前記赤色光との間の波長の光に制限する第４フィルタ部とからなるフィルタブロックをアレイ状に配置し、前記第４フィルタ部の前記光の透過率は、前記第２フィルタ部の前記緑色光の透過率よりも低く抑えられているカラーフィルタアレイと、可視光を検出する画素をアレイ状に配置した撮像素子と、前記撮像素子の前記画素のうち前記第１フィルタ部、前記第２フィルタ部、前記第３フィルタ部にそれぞれ対向する第１画素、第２画素、第３画素の各出力に基づいて色信号を生成する信号処理手段とを備え、前記信号処理手段は、前記第２画素の出力が飽和レベルに達していない場合には、前記各出力に加えて前記第４画素の出力に基づいて前記色信号を生成し、前記第２画素の出力が飽和レベルに達している場合には、その第２画素の出力に基づく代わりに前記第４画素の出力に基づいて前記色信号を生成することを特徴とする。
【００１５】
請求項５に記載のカラー撮像装置は、請求項４に記載のカラー撮像装置において、前記第４フィルタ部の前記透過率は、前記第２フィルタ部の前記透過率の略１／２に抑えられていることを特徴とする。
請求項６に記載のカラー撮像装置は、請求項４又は請求項５に記載のカラー撮像装置において、前記第１フィルタ部の透過特性の可視光領域でのピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、前記第２フィルタ部の透過特性の可視光領域でのピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、前記第３フィルタ部の透過特性の可視光領域でのピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にあり、前記第４フィルタ部の透過特性の可視光領域でのピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内、又は５６０ｎｍ〜６４０ｎｍの範囲内にあることを特徴とする。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
［実施形態］
本実施形態は、本発明のカラー撮像素子又は本発明のカラーフィルタアレイが適用された電子カメラ（本発明のカラー撮像装置に対応する。）の実施形態である。
【００１９】
図１は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラは、例えば、電子カメラ本体１と撮影レンズ２とからなる。
電子カメラ本体１には、カラー撮像素子１１、Ａ／Ｄ変換器１２、ホワイトバランス処理回路１４、画素補間回路１５、色変換回路１６、色変換マトリクス決定回路１３（信号処理手段に対応する。）などが備えられる。
【００２０】
カラー撮像素子１１上に、撮影レンズ２による被写体の像が形成される。カラー撮像素子１１の出力信号は、不図示のアナログゲイン回路を介してＡ／Ｄ変換器１２に入力され、ディジタル信号に変換される。ディジタル信号には、ホワイトバランス処理回路１４においてホワイトバランス処理が施され、補間回路１５において画素補間の処理が施され、色変換回路１６において階調変換処理が施され、その後、不図示のメモリに格納される。
【００２１】
図２は、本実施形態のカラー撮像素子１１を説明する図である。
図２（ａ）は、カラー撮像素子１１の各画素ブロックＢ及び各画素Ｐを説明する図、図２（ｂ）は、カラー撮像素子１１の構成例を示す図である。
図２（ａ）に示すように、カラー撮像素子１１の撮像面には、画素ブロックＢがアレイ状に配置される。
【００２２】
各画素ブロックＢには、赤色光を検出するＲ画素（第１画素に対応。）Ｐｒと、緑色光を検出するＧ１画素（第２画素に対応。）Ｐｇ１と、青色光を検出するＢ画素（第３画素に対応。）Ｐｂと、緑色光と青色光との間の波長の光を検出するＧ２画素（第４画素に対応。）Ｐｇ２とが田の字状に並べて配置される。
Ｇ２画素Ｐｇ２の前記光に対する感度は、Ｇ１画素Ｐｇ１の緑色光に対する感度よりも低く抑えられている。
【００２３】
なお、Ｇ１画素Ｐｇ１とＧ２画素Ｐｇ２とは、各画素ブロックＢ内で互いに非隣接関係（つまり、図示したように右上と左下との関係、又は左上と右下との関係）で配置されることが望ましい。
なぜなら、後述するように、本実施形態の電子カメラでは、Ｇ１画素Ｐｇ１の出力とＧ２画素Ｐｇ２の出力とは、異種の画素の出力として処理される場合と、同種の画素の出力として処理される場合との双方があるので、Ｇ１画素Ｐｇ１とＧ２画素Ｐｇ２とを撮像面上で市松状かつ交互に配置させることが望ましいからである。
【００２４】
このようなカラー撮像素子１１は、例えば、図２（ｂ）に示すように、可視光像を撮像する撮像素子１１ａ（以下、各画素の特性が互いに等しいモノクロ撮像素子とする。）を用意し、その撮像素子１１ａの入射側に、カラーフィルタアレイ１１ｂを配置することで構成される。
カラーフィルタアレイ１１ｂは、フィルタブロックをアレイ状に配置しており、各フィルタブロックには、入射する可視光を赤色光に制限するＲフィルタ部と、入射する可視光を緑色に制限するＧ１フィルタ部と、入射する可視光を青色光に制限するＢフィルタ部と、入射する可視光を前記緑色光と前記青色光との間の波長の光に制限するＧ２フィルタ部とが並べて配置される。
【００２５】
このうち、Ｇ２フィルタ部の前記光の透過率は、Ｇ１フィルタ部の前記緑色光の透過率よりも低く抑えられている。
このカラーフィルタアレイ１１ｂによれば、撮像素子１１ｂのうちＲフィルタ部に対向する画素を、赤色光を検出するＲ画素Ｐｒとして使用することができ、Ｇ１フィルタ部に対向する画素を、緑色光を検出するＧ１画素Ｐｇ１として使用することができ、Ｂフィルタ部に対向する画素を、青色光を検出するＢ画素Ｐｂとして使用することができ、Ｇ２フィルタ部に対向する画素を、緑色光と青色光との間の波長の光を検出するＧ２画素Ｐｇ２として使用することができる。
【００２６】
なお、Ｇ１画素Ｐｇ１とＧ２画素Ｐｇ２とを市松状に交互に配置するべく、Ｇ１フィルタ部とＧ２フィルタ部とは、各フィルタブロック内で互いに非隣接関係（つまり、右上と左下との関係、又は左上と右下との関係）で配置されることが望ましい。
図３は、本実施形態のカラー撮像素子１１の分光感度特性を示す図である。
【００２７】
図３中、符号「Ｒ」で示す曲線がＲ画素Ｐｒの感度特性カーブに相当し、符号「Ｇ１」で示す曲線がＧ１画素Ｐｇ１の感度特性カーブに相当し、符号「Ｂ」で示す曲線がＢ画素Ｐｂの感度特性カーブに相当し、符号「Ｇ２」で示す曲線がＧ２画素Ｐｇ２の感度特性カーブに相当する。
赤色光を検出するＲ画素Ｐｒの感度特性のピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、緑色光を検出するＧ１画素Ｐｇ１の感度特性のピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、青色光を検出するＢ画素Ｐｂの感度特性のピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にある。
【００２８】
また、青色光と緑色光との間の色を検出するＧ２画素Ｐｇ２の感度特性のピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内にある。
例えば、Ｒ画素Ｐｒの感度特性のピーク波長は、６００ｎｍであり、Ｇ１画素Ｐｇ１の感度特性のピーク波長は、５４０ｎｍであり、Ｂ画素Ｐｂの感度特性のピーク波長は、４６０ｎｍであり、Ｇ２画素Ｐｇ２の感度特性のピーク波長は、５００ｎｍである。
【００２９】
因みに、カラー撮像素子１１に対しこのような分光感度特性を付与するためのカラーフィルタアレイ１１ｂの分光透過特性は、次のとおりである。
カラーフィルタアレイ１１ｂのＲフィルタ部の透過特性のピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、Ｇ１フィルタ部の感度特性のピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、Ｂフィルタ部の感度特性のピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にある。
【００３０】
また、Ｇ２フィルタ部の感度特性のピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内にある。
例えば、Ｒフィルタ部の透過特性のピーク波長は、６００ｎｍであり、Ｇ１フィルタ部の透過特性のピーク波長は、５４０ｎｍであり、Ｂフィルタ部の透過特性のピーク波長は、４６０ｎｍであり、Ｇ２フィルタ部の透過特性のピーク波長は、５００ｎｍである。
【００３１】
図４は、等色関数（公知）を示す図である。
符号「ｒ」，「ｇ」，「ｂ」で示すのがそれぞれ、ＲＧＢ表色系の等色関数ｒ，ｇ，ｂである。
図３と図４とを比較すれば明らかなように、本実施形態のＲ画素の感度特性、Ｇ１画素の感度特性、Ｂ画素の感度特性は、それぞれ等色関数ｒ、等色関数ｇ、等色関数ｂに対応している。
【００３２】
但し、等色関数ｒは、正のピークだけでなく、負のピークも有する。
本実施形態のＧ２画素の感度特性は、その等色関数ｒの負のピークに対応する位置にピークを有している。
よって、Ｒ画素の出力値、Ｇ１画素の出力値、Ｂ画素の出力値、及び、Ｇ２画素の出力値の反対符号に基づけば、等色関数ｒ，ｇ，ｂが表す色範囲（すなわち、人間の眼の検知可能な色範囲）とほぼ同じ色範囲において、色検出をすることができる。
【００３３】
また、図３に明らかなように、Ｇ２画素の感度は、Ｇ１画素の感度よりも積極的に低く設定されている。例えば、Ｇ２画素の感度は、Ｇ１画素の感度の１／２程度であることが好ましい。
このように設定すれば、Ｇ２画素の飽和レベル（検出可能な輝度の上限を示す値）は、Ｇ１画素の飽和レベル（検出可能な輝度の上限を示す値）よりも高くなり、約２倍に設定される。
【００３４】
さて、図１に示す画素補間回路１５は、Ｒ画素Ｐｒの出力信号Ｒ，Ｇ１画素Ｐｇ１の出力信号Ｇ１、Ｂ画素Ｐｂの出力信号Ｂ、Ｇ２画素Ｐｇ２の出力信号Ｇ２（なお、これらはＡ／Ｄ変換、ホワイトバランス処理後の出力信号である。）に基づいて画素補間を行い、各画素に入射した光の各色成分を示す信号（画素信号）（Ｒ，Ｇ１，Ｇ２，Ｂ）を生成する。
【００３５】
なお、或る画素ブロックＢ内のＲ画素についての画素信号のＧ１成分，Ｇ２成分，Ｂ成分は、それぞれ周囲の画素ブロック内のＧ１画素，Ｇ２画素，Ｂ画素の各出力信号に基づいて得られる。
同様に、或る画素ブロックＢ内のＧ１画素についての画素信号のＲ成分，Ｇ２成分，Ｂ成分は、それぞれ周囲の画素ブロック内のＲ画素，Ｇ２画素，Ｂ画素の各出力信号に基づいて得られる。
【００３６】
同様に、或る画素ブロックＢ内のＧ２画素についての画素信号のＲ成分，Ｇ１成分，Ｂ成分は、それぞれ周囲の画素ブロック内のＲ画素，Ｇ１画素，Ｂ画素の各出力信号に基づいて得られる。
同様に、或る画素ブロックＢ内のＢ画素についての画素信号のＲ成分，Ｇ１成分，Ｇ２成分は、それぞれ周囲の画素ブロック内のＲ画素，Ｇ１画素，Ｇ２画素の各出力信号に基づいて得られる。
【００３７】
次に、色変換回路１６は、式（１）のように画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）に対し３×４の色変換マトリクスＭを乗算することで色変換を施し、表示用の色信号（Ｒ，Ｇ，Ｂ）を生成する。
【数１】
ここで、本実施形態の色変換回路１６が乗算すべき色変換マトリクスＭは、マトリクスＡ，マトリクスＢ，マトリクスＣの何れかである。マトリクスＡ，マトリクスＢ，マトリクスＣは、色変換マトリクス決定回路１３により選択的に設定される。
【００３８】
色変換マトリクス決定回路１３は、選択に当たり、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分を参照し、そのＧ１成分の値に応じた選択を行う。また、色変換マトリクス決定回路１３は、選択の結果、必要がある場合には、ホワイトバランス再処理を行う（詳細は後述）。
マトリクスＡ，Ｂ，Ｃは、例えば、式（２）（３）（４）で表される。
【数２】
【数３】
【数４】
式（２）（３）を参照すれば明らかなように、マトリクスＡ又はマトリクスＢは、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）の各成分を色信号（Ｒ，Ｇ，Ｂ）に反映させるものである。
【００３９】
ここで、図３に示したように、Ｇ１画素の感度特性とＧ２画素の感度特性とのピークは近接している。よって、Ｇ１成分とＧ２成分とは、微妙な色の相違を正確に表す。
したがって、マトリクスＡ又はマトリクスＢは、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）の微妙な色の相違を、色信号（Ｒ，Ｇ，Ｂ）に対し正確に反映するものである。
【００４０】
なお、マトリクスＡ又はマトリクスＢにおいて、１行３列成分（Ｇ２の係数）の符号は、何れも負となっているので、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ２成分が大きいほど、色信号（Ｒ，Ｇ，Ｂ）のＲ成分は相対的に小さくなる。これにより、色信号（Ｒ，Ｇ，Ｂ）に対し、等色関数ｒ，ｇ，ｂ（図３参照、青色と緑色との間に負のピークを有している。）による色再現と似た色再現をさせることが可能となっている。
【００４１】
一方、式（４）を参照すれば明らかなように、マトリクスＣは、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分に代えてＧ２成分を緑色を示す信号とみなし、Ｒ成分、Ｇ２成分、Ｂ成分を色信号（Ｒ，Ｇ，Ｂ）に反映させるものである。
ここで、上述したように、Ｇ１画素の感度特性とＧ２画素の感度特性とのピークは近接しており、また、Ｇ２画素の飽和レベルはＧ１画素の飽和レベルよりも高い（２倍高い）。よって、Ｇ２成分は、Ｇ１成分が示す色（緑色）の近接色の輝度を、Ｇ１成分よりも高いレベルまで正確に表す。
【００４２】
したがって、マトリクスＣは、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）の高いレベルの輝度を、色信号（Ｒ，Ｇ，Ｂ）に対し正確に反映するものである。
図５は、色変換マトリクス決定回路１３による処理の手順を説明する図である。
【００４３】
色変換マトリクス決定回路１３は、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分を参照する。
そして、Ｇ１成分の値が飽和レベル（Ｇ１画素の出力信号の飽和レベルに相当する値、例えば、３５００）を超えていないとき（ステップＳ１１YES又はNOかつステップＳ１２YES）には、微妙な色の相違を正確に反映させるマトリクスＡ又はマトリクスＢを選択し（ステップＳ２１又はステップＳ２２）、Ｇ１成分の値が飽和レベル（例えば、３５００）を超えているとき（ステップＳ１１NOかつステップＳ１２NO）には、高いレベルの輝度を正確に反映するマトリクスＣを選択する（ステップＳ２３）。
【００４４】
すなわち、本実施形態では、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分がＧ１画素の飽和レベルを超えていないとき（ステップＳ１１YES、又はステップＳ１１NOかつステップＳ１２YES）には、検出色範囲が広がり、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分の値がＧ１画素の飽和レベルを超えているとき（ステップＳ１１NOかつステップＳ１２NO）には、検出色範囲は広がらないものの、高い輝度を正確に検出することができる。したがって、検出色範囲が拡大されつつも検出輝度範囲の縮小化は抑えられる。
【００４５】
なお、式（２）（３）に示すように、マトリクスＢとマトリクスＡとを比較すると、第二列の係数（Ｇ１の係数）及び第三列の係数（Ｇ２の係数）の絶対値は、マトリクスＢの方がマトリクスＡよりも全体的に小さい（マトリクスＢは、マトリクスＡよりも、Ｇ１成分の反映量が小さく、また、Ｇ２成分の負の反映量が小さい。）。
【００４６】
すなわち、マトリクスＢは、マトリクスＡとマトリクスＣ（Ｇ１成分の反映量が０であり、Ｇ２成分の反映量が大きい。）の中間の色変換を施すマトリクスである。
【００４７】
よって、図５に示したように、Ｇ１成分の値が飽和レベルよりも小さい閾値（例えば３０００）よりも低いときには（ステップＳ１１YES）マトリクスＡが選択され（ステップＳ２１）、その閾値よりも高く飽和レベルよりも低いときには（ステップＳ１１NOかつステップＳ１１YES）マトリクスＢを選択されることが好ましい（ステップＳ２２）。
【００４８】
このように、マトリクスＣとマトリクスＡだけでなく、両者の中間のマトリクスＢを含めた３種類を使い分ければ、色変換がＧ１成分の相違に応じて急激に変化することが防止でき、再現画像上に不自然な表現が現れることが避けられる。
なお、ホワイトバランス処理回路１４（図１参照）が各信号に対し乗算するホワイトバランスゲインは、マトリクスＡを使用する場合の最適値になっているとする。
【００４９】
このとき、マトリクスＢが使用される場合、及びマトリクスＣが使用される場合には、ステップＳ２２、ステップＳ２３の実行前に、ホワイトバランス再処理が施されることが好ましい（ステップＳ３２、Ｓ３３）。
なお、ステップＳ３２のホワイトバランス再処理にて乗算すべきホワイトバランスゲインは、マトリクスＡに代えてマトリクスＢを使用する場合の最適値であり、ステップＳ３３のホワイトバランス再処理にて乗算すべきホワイトバランスゲインは、マトリクスＡに代えてマトリクスＣを使用する場合の最適値である。
【００５０】
［その他］
なお、上記実施形態では、Ｇ２画素の感度がＧ１画素の感度の「１／２」であるとしたが、１／２よりも若干大きく設定すれば、「検出色範囲の拡大」を「検出輝度範囲の縮小化を抑えること」よりも重視した処理にすることができ、１／２よりも若干小さく設定すれば、「検出輝度範囲の縮小化を抑えること」を「検出色範囲の拡大」よりも重視した処理にすることができる。Ｇ２感度とＧ１感度との関係は、両者のバランスを考慮して設定されることが好ましい。
【００５１】
また、上記実施形態では、Ｇ２画素の検出色を、青色と緑色との間の色としたが、緑色と赤色との間の色に変更しても、その感度をＧ１画素よりも小さく（好ましくは約１／２に）設定すれば、上記実施形態と同様の効果を得ることができる。但し、色変換マトリクスの内容（行列要素の値）は、Ｇ２画素の感度特性に応じて適当なものに変更される。
【００５２】
また、上記実施形態では、カラー撮像素子として、カラーフィルタアレイとモノクロ撮像素子とを組み合わせたものを例示したが、カラーフィルタを使用していないカラー撮像素子を使用することもできる。また、従来のカラー撮像素子（ベイヤ配列のカラー撮像素子など）に、新たなカラーフィルタアレイを重ねることによっても、上記実施形態のカラー撮像素子と同様の分光感度特性を付与することができる。
【００５３】
【発明の効果】
以上、本発明によれば、検出色範囲を拡大しつつも検出輝度範囲の縮小化を抑えることが可能な単板式のカラー撮像素子が実現する。
また、本発明によれば、単板式のカラー撮像素子を構成するに当たり、検出色範囲を拡大しつつも検出輝度範囲の縮小化を抑えることが可能なカラーフィルタアレイが実現する。
【００５４】
また、本発明によれば、検出色範囲を拡大しつつも検出輝度範囲の縮小化が抑えられたカラー撮像装置が実現する。
【図面の簡単な説明】
【図１】本実施形態の電子カメラの概略構成を示す図である。
【図２】本実施形態のカラー撮像素子１１を説明する図である。
【図３】本実施形態のカラー撮像素子１１の分光感度特性を示す図である。
【図４】等色関数（公知）を示す図である。
【図５】色変換マトリクス決定回路１３による処理の手順を説明する図である。
【符号の説明】
１ 電子カメラ本体
２ 撮影レンズ
１１ カラー撮像素子
１２ Ａ／Ｄ変換器
１４ ホワイトバランス処理回路１４
１５ 画素補間回路
１６ 色変換回路
１３ 色変換マトリクス決定回路
１１ｂ カラーフィルタアレイ
１１ａ 撮像素子
本発明は、電子カメラ、ビデオカメラなどのカラー撮像装置に関する。
【０００２】
【従来の技術】
従来、電子カメラやビデオカメラなどのカラー撮像装置に、カラー撮像素子が適用されている。
一般に、カラー撮像装置においては、撮影レンズからカラー撮像素子に至る撮像光学系の分光感度特性をなるべく人間の眼の分光感度特性（又は公知の等色関数）に近づけることが望ましいとされている。
【０００３】
カラー撮像素子は、緑色光を検出するＧ画素と青色光を検出するＢ画素と赤色光を検出するＲ画素とをアレイ状に配置している。
特に、ベイヤ配列は、Ｇ画素を市松状に配置すると共に，そのＧ画素同士の間隙に、Ｂ画素とＲ画素とを交互に配置するものある。つまり、１単位（画素ブロック）は、２つのＧ画素、１つのＢ画素、１つのＲ画素からなる４つの画素である。
【０００４】
因みに、Ｇ画素の数がＲ画素及びＢ画素よりも多い理由は、次のとおりである。
人間の眼の特徴の１つに、緑色を検知する細胞の数が、他の色を検知する細胞の数よりも多いという特徴がある。よって、人間の眼は、緑色光の輝度を検知できる範囲が広い。よって、撮像素子においてもＧ画素を多く設けておけば、検出輝度範囲（所謂、ダイナミックレンジである。）を人間の眼と同様に広げることができる。
【０００５】
ところで、Ｒ画素，Ｇ画素，Ｂ画素の３種類の画素によって峻別することのできる色範囲は、人間の眼が峻別することのできる色範囲よりも若干狭いので、人間の眼にとっては異なる２つの色が互いに同じ色として検出されてしまうことがある。
このため近年になると、さらに別の種類の画素を追加したマルチバンド型のカラー撮像素子が提案された（例えば、特許文献１に記載されたカラー撮像素子）。
【０００６】
特許文献１に記載されたマルチバンド型のカラー撮像素子は、Ｒ画素、Ｇ画素、Ｂ画素の他に、緑色と赤色との間の色（黄色）を検出するＹ画素を追加することによって、検出色範囲を拡大している。
【特許文献１】
特開２００２−２７１８０４号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、この従来のマルチバンド型のカラー撮像素子では、画素ブロック内にＹ画素を追加するために、２つあったＧ画素を１つに減らさなければならない。したがって、緑色光の検出輝度範囲が縮小化し、カラー撮像素子の検出輝度範囲が縮小化される傾向にある。
【０００８】
なお、カラー撮像素子を多板式にすれば、Ｇ画素を減少させることなくＹ画素の追加が図れるのでこの問題は発生しないが、光路を分岐すると共に、各分岐路のそれぞれに撮像素子を配置する必要があるので、配置スペースが拡大され、小型化が求められている電子カメラやビデオカメラにはあまり適さない。
また、回動式の切り替えフィルタを適用すれば、Ｇ画素を減少させることなくＹ画素の追加が図れるのでこの問題は発生しないが、多板式にする場合と同様に配置スペースが拡大されるので、小型化が求められている電子カメラやビデオカメラにはあまり適さない。
【００１０】
また、本発明は、検出色範囲を拡大しつつも検出輝度範囲の縮小化が抑えられたカラー撮像装置を提供することを目的とする。
【００１１】
請求項１に記載のカラー撮像装置は、赤色光を検出する第１画素と、緑色光を検出する第２画素と、青色光を検出する第３画素と、前記緑色光と前記青色光との間又は前記緑色光と前記赤色光との間の波長の光を検出する第４画素とからなる画素ブロックをアレイ状に配置し、前記第４画素の前記光に対する感度は、前記第２画素の前記緑色光に対する感度よりも低く抑えられているカラー撮像素子と、前記第１画素、前記第２画素、前記第３画素の各出力に基づいて色信号を生成する信号処理手段とを備え、前記信号処理手段は、前記第２画素の出力が飽和レベルに達していない場合には、前記各出力に加えて前記第４画素の出力に基づいて前記色信号を生成し、前記第２画素の出力が飽和レベルに達している場合には、その第２画素の出力に基づく代わりに前記第４画素の出力に基づいて前記色信号を生成することを特徴とする。
【００１２】
請求項２に記載のカラー撮像装置は、請求項１に記載のカラー撮像装置において、前記第４画素の前記感度は、前記第２画素の前記感度の略１／２に抑えられていることを特徴とする。
【００１３】
請求項３に記載のカラー撮像装置は、請求項１又は請求項２に記載のカラー撮像装置において、前記第１画素の感度特性のピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、前記第２画素の感度特性のピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、前記第３画素の感度特性のピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にあり、前記第４画素の感度特性のピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内、又は５６０ｎｍ〜６４０ｎｍの範囲内にあることを特徴とする。
【００１４】
請求項４に記載のカラー撮像装置は、入射する可視光を赤色光に制限する第１フィルタ部と、入射する可視光を緑色に制限する第２フィルタ部と、入射する可視光を青色光に制限する第３フィルタ部と、入射する可視光を前記緑色光と前記青色光との間又は前記緑色光と前記赤色光との間の波長の光に制限する第４フィルタ部とからなるフィルタブロックをアレイ状に配置し、前記第４フィルタ部の前記光の透過率は、前記第２フィルタ部の前記緑色光の透過率よりも低く抑えられているカラーフィルタアレイと、可視光を検出する画素をアレイ状に配置した撮像素子と、前記撮像素子の前記画素のうち前記第１フィルタ部、前記第２フィルタ部、前記第３フィルタ部にそれぞれ対向する第１画素、第２画素、第３画素の各出力に基づいて色信号を生成する信号処理手段とを備え、前記信号処理手段は、前記第２画素の出力が飽和レベルに達していない場合には、前記各出力に加えて前記第４画素の出力に基づいて前記色信号を生成し、前記第２画素の出力が飽和レベルに達している場合には、その第２画素の出力に基づく代わりに前記第４画素の出力に基づいて前記色信号を生成することを特徴とする。
【００１５】
請求項５に記載のカラー撮像装置は、請求項４に記載のカラー撮像装置において、前記第４フィルタ部の前記透過率は、前記第２フィルタ部の前記透過率の略１／２に抑えられていることを特徴とする。
請求項６に記載のカラー撮像装置は、請求項４又は請求項５に記載のカラー撮像装置において、前記第１フィルタ部の透過特性の可視光領域でのピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、前記第２フィルタ部の透過特性の可視光領域でのピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、前記第３フィルタ部の透過特性の可視光領域でのピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にあり、前記第４フィルタ部の透過特性の可視光領域でのピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内、又は５６０ｎｍ〜６４０ｎｍの範囲内にあることを特徴とする。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
［実施形態］
本実施形態は、本発明のカラー撮像素子又は本発明のカラーフィルタアレイが適用された電子カメラ（本発明のカラー撮像装置に対応する。）の実施形態である。
【００１９】
図１は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラは、例えば、電子カメラ本体１と撮影レンズ２とからなる。
電子カメラ本体１には、カラー撮像素子１１、Ａ／Ｄ変換器１２、ホワイトバランス処理回路１４、画素補間回路１５、色変換回路１６、色変換マトリクス決定回路１３（信号処理手段に対応する。）などが備えられる。
【００２０】
カラー撮像素子１１上に、撮影レンズ２による被写体の像が形成される。カラー撮像素子１１の出力信号は、不図示のアナログゲイン回路を介してＡ／Ｄ変換器１２に入力され、ディジタル信号に変換される。ディジタル信号には、ホワイトバランス処理回路１４においてホワイトバランス処理が施され、補間回路１５において画素補間の処理が施され、色変換回路１６において階調変換処理が施され、その後、不図示のメモリに格納される。
【００２１】
図２は、本実施形態のカラー撮像素子１１を説明する図である。
図２（ａ）は、カラー撮像素子１１の各画素ブロックＢ及び各画素Ｐを説明する図、図２（ｂ）は、カラー撮像素子１１の構成例を示す図である。
図２（ａ）に示すように、カラー撮像素子１１の撮像面には、画素ブロックＢがアレイ状に配置される。
【００２２】
各画素ブロックＢには、赤色光を検出するＲ画素（第１画素に対応。）Ｐｒと、緑色光を検出するＧ１画素（第２画素に対応。）Ｐｇ１と、青色光を検出するＢ画素（第３画素に対応。）Ｐｂと、緑色光と青色光との間の波長の光を検出するＧ２画素（第４画素に対応。）Ｐｇ２とが田の字状に並べて配置される。
Ｇ２画素Ｐｇ２の前記光に対する感度は、Ｇ１画素Ｐｇ１の緑色光に対する感度よりも低く抑えられている。
【００２３】
なお、Ｇ１画素Ｐｇ１とＧ２画素Ｐｇ２とは、各画素ブロックＢ内で互いに非隣接関係（つまり、図示したように右上と左下との関係、又は左上と右下との関係）で配置されることが望ましい。
なぜなら、後述するように、本実施形態の電子カメラでは、Ｇ１画素Ｐｇ１の出力とＧ２画素Ｐｇ２の出力とは、異種の画素の出力として処理される場合と、同種の画素の出力として処理される場合との双方があるので、Ｇ１画素Ｐｇ１とＧ２画素Ｐｇ２とを撮像面上で市松状かつ交互に配置させることが望ましいからである。
【００２４】
このようなカラー撮像素子１１は、例えば、図２（ｂ）に示すように、可視光像を撮像する撮像素子１１ａ（以下、各画素の特性が互いに等しいモノクロ撮像素子とする。）を用意し、その撮像素子１１ａの入射側に、カラーフィルタアレイ１１ｂを配置することで構成される。
カラーフィルタアレイ１１ｂは、フィルタブロックをアレイ状に配置しており、各フィルタブロックには、入射する可視光を赤色光に制限するＲフィルタ部と、入射する可視光を緑色に制限するＧ１フィルタ部と、入射する可視光を青色光に制限するＢフィルタ部と、入射する可視光を前記緑色光と前記青色光との間の波長の光に制限するＧ２フィルタ部とが並べて配置される。
【００２５】
このうち、Ｇ２フィルタ部の前記光の透過率は、Ｇ１フィルタ部の前記緑色光の透過率よりも低く抑えられている。
このカラーフィルタアレイ１１ｂによれば、撮像素子１１ｂのうちＲフィルタ部に対向する画素を、赤色光を検出するＲ画素Ｐｒとして使用することができ、Ｇ１フィルタ部に対向する画素を、緑色光を検出するＧ１画素Ｐｇ１として使用することができ、Ｂフィルタ部に対向する画素を、青色光を検出するＢ画素Ｐｂとして使用することができ、Ｇ２フィルタ部に対向する画素を、緑色光と青色光との間の波長の光を検出するＧ２画素Ｐｇ２として使用することができる。
【００２６】
なお、Ｇ１画素Ｐｇ１とＧ２画素Ｐｇ２とを市松状に交互に配置するべく、Ｇ１フィルタ部とＧ２フィルタ部とは、各フィルタブロック内で互いに非隣接関係（つまり、右上と左下との関係、又は左上と右下との関係）で配置されることが望ましい。
図３は、本実施形態のカラー撮像素子１１の分光感度特性を示す図である。
【００２７】
図３中、符号「Ｒ」で示す曲線がＲ画素Ｐｒの感度特性カーブに相当し、符号「Ｇ１」で示す曲線がＧ１画素Ｐｇ１の感度特性カーブに相当し、符号「Ｂ」で示す曲線がＢ画素Ｐｂの感度特性カーブに相当し、符号「Ｇ２」で示す曲線がＧ２画素Ｐｇ２の感度特性カーブに相当する。
赤色光を検出するＲ画素Ｐｒの感度特性のピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、緑色光を検出するＧ１画素Ｐｇ１の感度特性のピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、青色光を検出するＢ画素Ｐｂの感度特性のピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にある。
【００２８】
また、青色光と緑色光との間の色を検出するＧ２画素Ｐｇ２の感度特性のピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内にある。
例えば、Ｒ画素Ｐｒの感度特性のピーク波長は、６００ｎｍであり、Ｇ１画素Ｐｇ１の感度特性のピーク波長は、５４０ｎｍであり、Ｂ画素Ｐｂの感度特性のピーク波長は、４６０ｎｍであり、Ｇ２画素Ｐｇ２の感度特性のピーク波長は、５００ｎｍである。
【００２９】
因みに、カラー撮像素子１１に対しこのような分光感度特性を付与するためのカラーフィルタアレイ１１ｂの分光透過特性は、次のとおりである。
カラーフィルタアレイ１１ｂのＲフィルタ部の透過特性のピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、Ｇ１フィルタ部の感度特性のピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、Ｂフィルタ部の感度特性のピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にある。
【００３０】
また、Ｇ２フィルタ部の感度特性のピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内にある。
例えば、Ｒフィルタ部の透過特性のピーク波長は、６００ｎｍであり、Ｇ１フィルタ部の透過特性のピーク波長は、５４０ｎｍであり、Ｂフィルタ部の透過特性のピーク波長は、４６０ｎｍであり、Ｇ２フィルタ部の透過特性のピーク波長は、５００ｎｍである。
【００３１】
図４は、等色関数（公知）を示す図である。
符号「ｒ」，「ｇ」，「ｂ」で示すのがそれぞれ、ＲＧＢ表色系の等色関数ｒ，ｇ，ｂである。
図３と図４とを比較すれば明らかなように、本実施形態のＲ画素の感度特性、Ｇ１画素の感度特性、Ｂ画素の感度特性は、それぞれ等色関数ｒ、等色関数ｇ、等色関数ｂに対応している。
【００３２】
但し、等色関数ｒは、正のピークだけでなく、負のピークも有する。
本実施形態のＧ２画素の感度特性は、その等色関数ｒの負のピークに対応する位置にピークを有している。
よって、Ｒ画素の出力値、Ｇ１画素の出力値、Ｂ画素の出力値、及び、Ｇ２画素の出力値の反対符号に基づけば、等色関数ｒ，ｇ，ｂが表す色範囲（すなわち、人間の眼の検知可能な色範囲）とほぼ同じ色範囲において、色検出をすることができる。
【００３３】
また、図３に明らかなように、Ｇ２画素の感度は、Ｇ１画素の感度よりも積極的に低く設定されている。例えば、Ｇ２画素の感度は、Ｇ１画素の感度の１／２程度であることが好ましい。
このように設定すれば、Ｇ２画素の飽和レベル（検出可能な輝度の上限を示す値）は、Ｇ１画素の飽和レベル（検出可能な輝度の上限を示す値）よりも高くなり、約２倍に設定される。
【００３４】
さて、図１に示す画素補間回路１５は、Ｒ画素Ｐｒの出力信号Ｒ，Ｇ１画素Ｐｇ１の出力信号Ｇ１、Ｂ画素Ｐｂの出力信号Ｂ、Ｇ２画素Ｐｇ２の出力信号Ｇ２（なお、これらはＡ／Ｄ変換、ホワイトバランス処理後の出力信号である。）に基づいて画素補間を行い、各画素に入射した光の各色成分を示す信号（画素信号）（Ｒ，Ｇ１，Ｇ２，Ｂ）を生成する。
【００３５】
なお、或る画素ブロックＢ内のＲ画素についての画素信号のＧ１成分，Ｇ２成分，Ｂ成分は、それぞれ周囲の画素ブロック内のＧ１画素，Ｇ２画素，Ｂ画素の各出力信号に基づいて得られる。
同様に、或る画素ブロックＢ内のＧ１画素についての画素信号のＲ成分，Ｇ２成分，Ｂ成分は、それぞれ周囲の画素ブロック内のＲ画素，Ｇ２画素，Ｂ画素の各出力信号に基づいて得られる。
【００３６】
同様に、或る画素ブロックＢ内のＧ２画素についての画素信号のＲ成分，Ｇ１成分，Ｂ成分は、それぞれ周囲の画素ブロック内のＲ画素，Ｇ１画素，Ｂ画素の各出力信号に基づいて得られる。
同様に、或る画素ブロックＢ内のＢ画素についての画素信号のＲ成分，Ｇ１成分，Ｇ２成分は、それぞれ周囲の画素ブロック内のＲ画素，Ｇ１画素，Ｇ２画素の各出力信号に基づいて得られる。
【００３７】
次に、色変換回路１６は、式（１）のように画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）に対し３×４の色変換マトリクスＭを乗算することで色変換を施し、表示用の色信号（Ｒ，Ｇ，Ｂ）を生成する。
【数１】
【００３８】
色変換マトリクス決定回路１３は、選択に当たり、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分を参照し、そのＧ１成分の値に応じた選択を行う。また、色変換マトリクス決定回路１３は、選択の結果、必要がある場合には、ホワイトバランス再処理を行う（詳細は後述）。
マトリクスＡ，Ｂ，Ｃは、例えば、式（２）（３）（４）で表される。
【数２】
【００３９】
ここで、図３に示したように、Ｇ１画素の感度特性とＧ２画素の感度特性とのピークは近接している。よって、Ｇ１成分とＧ２成分とは、微妙な色の相違を正確に表す。
したがって、マトリクスＡ又はマトリクスＢは、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）の微妙な色の相違を、色信号（Ｒ，Ｇ，Ｂ）に対し正確に反映するものである。
【００４０】
なお、マトリクスＡ又はマトリクスＢにおいて、１行３列成分（Ｇ２の係数）の符号は、何れも負となっているので、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ２成分が大きいほど、色信号（Ｒ，Ｇ，Ｂ）のＲ成分は相対的に小さくなる。これにより、色信号（Ｒ，Ｇ，Ｂ）に対し、等色関数ｒ，ｇ，ｂ（図３参照、青色と緑色との間に負のピークを有している。）による色再現と似た色再現をさせることが可能となっている。
【００４１】
一方、式（４）を参照すれば明らかなように、マトリクスＣは、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分に代えてＧ２成分を緑色を示す信号とみなし、Ｒ成分、Ｇ２成分、Ｂ成分を色信号（Ｒ，Ｇ，Ｂ）に反映させるものである。
ここで、上述したように、Ｇ１画素の感度特性とＧ２画素の感度特性とのピークは近接しており、また、Ｇ２画素の飽和レベルはＧ１画素の飽和レベルよりも高い（２倍高い）。よって、Ｇ２成分は、Ｇ１成分が示す色（緑色）の近接色の輝度を、Ｇ１成分よりも高いレベルまで正確に表す。
【００４２】
したがって、マトリクスＣは、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）の高いレベルの輝度を、色信号（Ｒ，Ｇ，Ｂ）に対し正確に反映するものである。
図５は、色変換マトリクス決定回路１３による処理の手順を説明する図である。
【００４３】
色変換マトリクス決定回路１３は、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分を参照する。
そして、Ｇ１成分の値が飽和レベル（Ｇ１画素の出力信号の飽和レベルに相当する値、例えば、３５００）を超えていないとき（ステップＳ１１YES又はNOかつステップＳ１２YES）には、微妙な色の相違を正確に反映させるマトリクスＡ又はマトリクスＢを選択し（ステップＳ２１又はステップＳ２２）、Ｇ１成分の値が飽和レベル（例えば、３５００）を超えているとき（ステップＳ１１NOかつステップＳ１２NO）には、高いレベルの輝度を正確に反映するマトリクスＣを選択する（ステップＳ２３）。
【００４４】
すなわち、本実施形態では、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分がＧ１画素の飽和レベルを超えていないとき（ステップＳ１１YES、又はステップＳ１１NOかつステップＳ１２YES）には、検出色範囲が広がり、画素信号（Ｒ，Ｇ１，Ｇ２，Ｂ）のＧ１成分の値がＧ１画素の飽和レベルを超えているとき（ステップＳ１１NOかつステップＳ１２NO）には、検出色範囲は広がらないものの、高い輝度を正確に検出することができる。したがって、検出色範囲が拡大されつつも検出輝度範囲の縮小化は抑えられる。
【００４５】
なお、式（２）（３）に示すように、マトリクスＢとマトリクスＡとを比較すると、第二列の係数（Ｇ１の係数）及び第三列の係数（Ｇ２の係数）の絶対値は、マトリクスＢの方がマトリクスＡよりも全体的に小さい（マトリクスＢは、マトリクスＡよりも、Ｇ１成分の反映量が小さく、また、Ｇ２成分の負の反映量が小さい。）。
【００４６】
すなわち、マトリクスＢは、マトリクスＡとマトリクスＣ（Ｇ１成分の反映量が０であり、Ｇ２成分の反映量が大きい。）の中間の色変換を施すマトリクスである。
【００４７】
よって、図５に示したように、Ｇ１成分の値が飽和レベルよりも小さい閾値（例えば３０００）よりも低いときには（ステップＳ１１YES）マトリクスＡが選択され（ステップＳ２１）、その閾値よりも高く飽和レベルよりも低いときには（ステップＳ１１NOかつステップＳ１１YES）マトリクスＢを選択されることが好ましい（ステップＳ２２）。
【００４８】
このように、マトリクスＣとマトリクスＡだけでなく、両者の中間のマトリクスＢを含めた３種類を使い分ければ、色変換がＧ１成分の相違に応じて急激に変化することが防止でき、再現画像上に不自然な表現が現れることが避けられる。
なお、ホワイトバランス処理回路１４（図１参照）が各信号に対し乗算するホワイトバランスゲインは、マトリクスＡを使用する場合の最適値になっているとする。
【００４９】
このとき、マトリクスＢが使用される場合、及びマトリクスＣが使用される場合には、ステップＳ２２、ステップＳ２３の実行前に、ホワイトバランス再処理が施されることが好ましい（ステップＳ３２、Ｓ３３）。
なお、ステップＳ３２のホワイトバランス再処理にて乗算すべきホワイトバランスゲインは、マトリクスＡに代えてマトリクスＢを使用する場合の最適値であり、ステップＳ３３のホワイトバランス再処理にて乗算すべきホワイトバランスゲインは、マトリクスＡに代えてマトリクスＣを使用する場合の最適値である。
【００５０】
［その他］
なお、上記実施形態では、Ｇ２画素の感度がＧ１画素の感度の「１／２」であるとしたが、１／２よりも若干大きく設定すれば、「検出色範囲の拡大」を「検出輝度範囲の縮小化を抑えること」よりも重視した処理にすることができ、１／２よりも若干小さく設定すれば、「検出輝度範囲の縮小化を抑えること」を「検出色範囲の拡大」よりも重視した処理にすることができる。Ｇ２感度とＧ１感度との関係は、両者のバランスを考慮して設定されることが好ましい。
【００５１】
また、上記実施形態では、Ｇ２画素の検出色を、青色と緑色との間の色としたが、緑色と赤色との間の色に変更しても、その感度をＧ１画素よりも小さく（好ましくは約１／２に）設定すれば、上記実施形態と同様の効果を得ることができる。但し、色変換マトリクスの内容（行列要素の値）は、Ｇ２画素の感度特性に応じて適当なものに変更される。
【００５２】
また、上記実施形態では、カラー撮像素子として、カラーフィルタアレイとモノクロ撮像素子とを組み合わせたものを例示したが、カラーフィルタを使用していないカラー撮像素子を使用することもできる。また、従来のカラー撮像素子（ベイヤ配列のカラー撮像素子など）に、新たなカラーフィルタアレイを重ねることによっても、上記実施形態のカラー撮像素子と同様の分光感度特性を付与することができる。
【００５３】
【発明の効果】
以上、本発明によれば、検出色範囲を拡大しつつも検出輝度範囲の縮小化を抑えることが可能な単板式のカラー撮像素子が実現する。
また、本発明によれば、単板式のカラー撮像素子を構成するに当たり、検出色範囲を拡大しつつも検出輝度範囲の縮小化を抑えることが可能なカラーフィルタアレイが実現する。
【００５４】
また、本発明によれば、検出色範囲を拡大しつつも検出輝度範囲の縮小化が抑えられたカラー撮像装置が実現する。
【図面の簡単な説明】
【図１】本実施形態の電子カメラの概略構成を示す図である。
【図２】本実施形態のカラー撮像素子１１を説明する図である。
【図３】本実施形態のカラー撮像素子１１の分光感度特性を示す図である。
【図４】等色関数（公知）を示す図である。
【図５】色変換マトリクス決定回路１３による処理の手順を説明する図である。
【符号の説明】
１ 電子カメラ本体
２ 撮影レンズ
１１ カラー撮像素子
１２ Ａ／Ｄ変換器
１４ ホワイトバランス処理回路１４
１５ 画素補間回路
１６ 色変換回路
１３ 色変換マトリクス決定回路
１１ｂ カラーフィルタアレイ
１１ａ 撮像素子
Claims (6)
- 赤色光を検出する第１画素と、
緑色光を検出する第２画素と、
青色光を検出する第３画素と、
前記緑色光と前記青色光との間又は前記緑色光と前記赤色光との間の波長の光を検出する第４画素と
からなる画素ブロックをアレイ状に配置し、
前記第４画素の前記光に対する感度は、前記第２画素の前記緑色光に対する感度よりも低く抑えられているカラー撮像素子と、
前記第１画素、前記第２画素、前記第３画素の各出力に基づいて色信号を生成する信号処理手段とを備え、
前記信号処理手段は、
前記第２画素の出力が飽和レベルに達していない場合には、前記各出力に加えて前記第４画素の出力に基づいて前記色信号を生成し、前記第２画素の出力が飽和レベルに達している場合には、その第２画素の出力に基づく代わりに前記第４画素の出力に基づいて前記色信号を生成する
ことを特徴とするカラー撮像装置。 - 請求項１に記載のカラー撮像装置において、
前記第４画素の前記感度は、前記第２画素の前記感度の略１／２に抑えられている
ことを特徴とするカラー撮像装置。 - 請求項１又は請求項２に記載のカラー撮像装置において、
前記第１画素の感度特性のピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、
前記第２画素の感度特性のピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、
前記第３画素の感度特性のピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にあり、
前記第４画素の感度特性のピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内、又は５６０ｎｍ〜６４０ｎｍの範囲内にある
ことを特徴とするカラー撮像装置。 - 入射する可視光を赤色光に制限する第１フィルタ部と、
入射する可視光を緑色に制限する第２フィルタ部と、
入射する可視光を青色光に制限する第３フィルタ部と、
入射する可視光を前記緑色光と前記青色光との間又は前記緑色光と前記赤色光との間の波長の光に制限する第４フィルタ部と
からなるフィルタブロックをアレイ状に配置し、
前記第４フィルタ部の前記光の透過率は、前記第２フィルタ部の前記緑色光の透過率よりも低く抑えられているカラーフィルタアレイと、
可視光を検出する画素をアレイ状に配置した撮像素子と、
前記撮像素子の前記画素のうち前記第１フィルタ部、前記第２フィルタ部、前記第３フィルタ部にそれぞれ対向する第１画素、第２画素、第３画素の各出力に基づいて色信号を生成する信号処理手段とを備え、
前記信号処理手段は、
前記第２画素の出力が飽和レベルに達していない場合には、前記各出力に加えて前記第４画素の出力に基づいて前記色信号を生成し、前記第２画素の出力が飽和レベルに達している場合には、その第２画素の出力に基づく代わりに前記第４画素の出力に基づいて前記色信号を生成する
ことを特徴とするカラー撮像装置。 - 請求項４に記載のカラー撮像装置において、
前記第４フィルタ部の前記透過率は、前記第２フィルタ部の前記透過率の略１／２に抑えられている
ことを特徴とするカラー撮像装置。 - 請求項４又は請求項５に記載のカラー撮像装置において、
前記第１フィルタ部の透過特性の可視光領域でのピーク波長は、５９０ｎｍ〜６４０ｎｍの範囲内にあり、
前記第２フィルタ部の透過特性の可視光領域でのピーク波長は、５２０ｎｍ〜５７０ｎｍの範囲内にあり、
前記第３フィルタ部の透過特性の可視光領域でのピーク波長は、４３０ｎｍ〜４８０ｎｍの範囲内にあり、
前記第４フィルタ部の透過特性の可視光領域でのピーク波長は、４９０ｎｍ〜５３０ｎｍの範囲内、又は５６０ｎｍ〜６４０ｎｍの範囲内にある
ことを特徴とするカラー撮像装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366296A JP4465958B2 (ja) | 2002-12-18 | 2002-12-18 | カラー撮像装置 |
| AT03778803T ATE546016T1 (de) | 2002-12-18 | 2003-12-11 | Farbabbildungselement, farbfiltergruppe und farbabbildungseinrichtung |
| PCT/JP2003/015859 WO2004056127A1 (ja) | 2002-12-18 | 2003-12-11 | カラ−撮像素子、カラ−フィルタアレイ、及びカラ−撮像装置 |
| EP03778803A EP1575304B1 (en) | 2002-12-18 | 2003-12-11 | Color imaging element, color filter array, and color imaging device |
| AU2003289025A AU2003289025A1 (en) | 2002-12-18 | 2003-12-11 | Color imaging element, color filter array, and color imaging device |
| CNB2003801069748A CN100481959C (zh) | 2002-12-18 | 2003-12-11 | 彩色图像传感器、滤色阵列和彩色成像装置 |
| US11/137,322 US7633537B2 (en) | 2002-12-18 | 2005-05-26 | Color image sensor, color filter array and color imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366296A JP4465958B2 (ja) | 2002-12-18 | 2002-12-18 | カラー撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004200357A JP2004200357A (ja) | 2004-07-15 |
| JP4465958B2 true JP4465958B2 (ja) | 2010-05-26 |
Family
ID=32588302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002366296A Expired - Fee Related JP4465958B2 (ja) | 2002-12-18 | 2002-12-18 | カラー撮像装置 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP1575304B1 (ja) |
| JP (1) | JP4465958B2 (ja) |
| CN (1) | CN100481959C (ja) |
| AT (1) | ATE546016T1 (ja) |
| AU (1) | AU2003289025A1 (ja) |
| WO (1) | WO2004056127A1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4118916B2 (ja) | 2003-11-11 | 2008-07-16 | オリンパス株式会社 | マルチスペクトル画像撮影装置 |
| JP4859502B2 (ja) * | 2005-03-30 | 2012-01-25 | Ｈｏｙａ株式会社 | 撮像装置 |
| US7864235B2 (en) | 2005-03-30 | 2011-01-04 | Hoya Corporation | Imaging device and imaging method including generation of primary color signals |
| JP4533261B2 (ja) * | 2005-06-30 | 2010-09-01 | 日本放送協会 | 撮像装置 |
| JP2007086178A (ja) * | 2005-09-20 | 2007-04-05 | Fujifilm Corp | カメラのストロボ装置及び撮像装置 |
| JP4874752B2 (ja) | 2006-09-27 | 2012-02-15 | Ｈｏｙａ株式会社 | デジタルカメラ |
| EP2380038B1 (en) * | 2008-12-22 | 2019-01-09 | Koninklijke Philips N.V. | Cmos imager |
| JP5146499B2 (ja) | 2009-08-08 | 2013-02-20 | 株式会社ニコン | 固体撮像素子 |
| CN103149733B (zh) * | 2013-03-29 | 2016-02-24 | 京东方科技集团股份有限公司 | 彩膜基板、显示面板及显示装置 |
| TWI781085B (zh) * | 2015-11-24 | 2022-10-21 | 日商索尼半導體解決方案公司 | 複眼透鏡模組及複眼相機模組 |
| GB201602272D0 (en) * | 2016-02-09 | 2016-03-23 | Univ Manchester | Improvements in image formation |
| CN115039402B (zh) * | 2020-02-06 | 2023-11-10 | 华为技术有限公司 | 用于图像处理的设备 |
| CN111918004B (zh) * | 2020-09-16 | 2023-07-04 | Oppo广东移动通信有限公司 | 图像传感器、终端、数据处理方法、装置及存储介质 |
| CN117280704A (zh) * | 2021-05-11 | 2023-12-22 | 索尼半导体解决方案公司 | 成像元件、成像装置和电子装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2872759B2 (ja) * | 1989-06-08 | 1999-03-24 | 富士写真フイルム株式会社 | 固体撮像システム |
| JP2001016598A (ja) * | 1999-04-30 | 2001-01-19 | Olympus Optical Co Ltd | カラー撮像素子及び撮像装置 |
| US6924841B2 (en) * | 2001-05-02 | 2005-08-02 | Agilent Technologies, Inc. | System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels |
-
2002
- 2002-12-18 JP JP2002366296A patent/JP4465958B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-11 AU AU2003289025A patent/AU2003289025A1/en not_active Abandoned
- 2003-12-11 EP EP03778803A patent/EP1575304B1/en not_active Expired - Lifetime
- 2003-12-11 AT AT03778803T patent/ATE546016T1/de active
- 2003-12-11 WO PCT/JP2003/015859 patent/WO2004056127A1/ja active Application Filing
- 2003-12-11 CN CNB2003801069748A patent/CN100481959C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1729697A (zh) | 2006-02-01 |
| CN100481959C (zh) | 2009-04-22 |
| JP2004200357A (ja) | 2004-07-15 |
| AU2003289025A1 (en) | 2004-07-09 |
| WO2004056127A1 (ja) | 2004-07-01 |
| ATE546016T1 (de) | 2012-03-15 |
| EP1575304B1 (en) | 2012-02-15 |
| EP1575304A1 (en) | 2005-09-14 |
| EP1575304A4 (en) | 2006-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7633537B2 (en) | Color image sensor, color filter array and color imaging device | |
| JP4453189B2 (ja) | 撮像装置 | |
| US8805070B2 (en) | Image processing apparatus and image processing method | |
| US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
| KR100580911B1 (ko) | 화상합성방법 및 촬상장치 | |
| US8508625B2 (en) | Image processing apparatus | |
| US20050248667A1 (en) | Extended dynamic range in color imagers | |
| JP4465958B2 (ja) | カラー撮像装置 | |
| US20070153099A1 (en) | Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof | |
| US8086032B2 (en) | Image processing device, image processing method, and image pickup apparatus | |
| US7864235B2 (en) | Imaging device and imaging method including generation of primary color signals | |
| US7880773B2 (en) | Imaging device | |
| JP2007243334A (ja) | 撮像装置 | |
| US7231085B2 (en) | Color image signal processing method for correcting hue turn and color image outputting device and imaging device | |
| US7046277B2 (en) | Image interpolating device, including interpolation and modification processors | |
| JP2003179819A (ja) | 撮像装置 | |
| US6747698B2 (en) | Image interpolating device | |
| JP3490888B2 (ja) | 色抑圧回路 | |
| US6900833B2 (en) | Image interpolating device | |
| US7512266B2 (en) | Method and device for luminance correction | |
| JP2013219452A (ja) | 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置 | |
| JP2003287674A (ja) | カメラ | |
| JPH08181909A (ja) | 撮像装置 | |
| JPH11164309A (ja) | 画像信号処理方法及び電子カメラ | |
| JP2005295419A (ja) | 撮像装置、カメラ、及び信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4465958 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |