JP6555530B2 - 固体撮像装置、撮像装置、および電子機器 - Google Patents

固体撮像装置、撮像装置、および電子機器 Download PDF

Info

Publication number
JP6555530B2
JP6555530B2 JP2015539111A JP2015539111A JP6555530B2 JP 6555530 B2 JP6555530 B2 JP 6555530B2 JP 2015539111 A JP2015539111 A JP 2015539111A JP 2015539111 A JP2015539111 A JP 2015539111A JP 6555530 B2 JP6555530 B2 JP 6555530B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
green
luminance
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015539111A
Other languages
English (en)
Other versions
JPWO2015045913A1 (ja
Inventor
功 広田
功 広田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015045913A1 publication Critical patent/JPWO2015045913A1/ja
Application granted granted Critical
Publication of JP6555530B2 publication Critical patent/JP6555530B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本技術は、固体撮像装置、撮像装置、および電子機器に関し、特に、高感度、高輝度解像度、および高色解像度を両立できるようにした固体撮像装置、撮像装置、および電子機器に関する。
固体撮像装置において、高感度化を目的とした、輝度信号の主成分となる色、例えば、白色(W:White)を用いたカラーコーディングの色フィルタアレイやその信号処理に関して、これまで多くの提案がなされている。この白色を用いたカラーコーディングには、例えば、白色を市松状に配列した白色市松(W市松)のカラーコーディングや、白色市松G斜めストライプなどがある(例えば、特許文献1参照)。
この一般的に広く利用されているW市松や、特許文献1にある配列において、4色の4画素×4画素の配列カラーコーディングに多く採用されている色配列は、白色W、緑色G、赤色R、および青色Bのそれぞれの画素比がW:G:B:R=8:4:2:2となるものが主流である。
特許第4683121号
しかしながら、W市松や特許文献1にあるW:G:B:R=8:4:2:2の配列は、一般的なベイヤ配列(RGB-Bayer)のG:B:R=8:4:4に対して、色解像度の低下と偽色が生じる恐れがあった。
特に、輝度画素となる白色Wの画素に対して赤色R、および青色Bの画素数が1/4になっているために、ナイキスト周波数fs/2(fs:サンプリング周波数)の抑圧フィルタでは偽色を抑制できないことがあり、解像度と偽色の抑制との両立を図れない恐れがあった。
本技術は、このような状況に鑑みてなされたものであり、特に、色の画素数のバランスを考慮しつつ、輝度画素を増やすことで、高感度、高輝度解像度、および高色解像度を両立させて、かつ、偽色の発生を抑制するものである。
本技術の一側面の固体撮像装置は、輝度を主成分とする光を検出する輝度画素と、第1の波長の光を検出する第1の画素と、第2の波長の光を検出する第2の画素と、第3の波長の光を検出する第3の画素とを含み、前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置され、前記第3の画素はランダムに配置される。
前記第1の画素、および前記第2の画素のそれぞれの欠損位置は、水平方向および垂直方向の両方、または、そのいずれかに等間隔に配置されるようにすることができる。
前記輝度画素は、前記輝度画素の欠損位置を均等に取り囲むように配置されるようにすることができる。
前記輝度画素、前記第3の画素、前記第1の画素、および前記第2の画素が、それぞれ6:4:3:3の画素数比となるように配置される場合、前記第3の画素は行および列のそれぞれにおいて同数となるように配置されるようにすることができる。
前記輝度画素、および第3の画素では、それぞれ斜め方向に隣接する画素間で画素値がアナログ加算されて転送され、前記第1の画素および前記第2の画素では、垂直方向に隣接する画素間で画素値がアナログ加算されて転送されるようにすることができる。
前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素の画素値は、それぞれの画素の重心位置における相互の相関により画素値が算出されるようにすることができる。
前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素には、それぞれ異なる複数の露光時間の画素が含まれるようにすることができる。
前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素には、それぞれ第1の露光時間、および第2の露光時間の画素が含まれるようにすることができる。
本技術の一側面の撮像装置は、固体撮像装置輝度を主成分とする光を検出する輝度画素と、第1の波長の光を検出する第1の画素と、第2の波長の光を検出する第2の画素と、第3の波長の光を検出する第3の画素とを含み、前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置され、前記第3の画素はランダムに配置され、前記輝度画素、前記第3の画素、前記第1の画素、および前記第2の画素は、それぞれ6:4:3:3、または、7:3:3:3の画素数比となるように配置される。
本技術の一側面の電子機器は、輝度を主成分とする光を検出する輝度画素と、第1の波長の光を検出する第1の画素と、第2の波長の光を検出する第2の画素と、第3の波長の光を検出する第3の画素とを含み、前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置され、前記第3の画素はランダムに配置され、前記輝度画素、前記第3の画素、前記第1の画素、および前記第2の画素は、それぞれ6:4:3:3、または、7:3:3:3の画素数比となるように配置される。
本技術の一側面においては、輝度を主成分とする光を検出する輝度画素と、第1の波長の光を検出する第1の画素と、第2の波長の光を検出する第2の画素と、第3の波長の光を検出する第3の画素とが含まれ、前記第1の画素、および前記第2の画素が、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置され、前記第3の画素はランダムに配置され、前記輝度画素、前記第3の画素、前記第1の画素、および前記第2の画素は、それぞれ6:4:3:3、または、7:3:3:3の画素数比となるように配置される。
本技術の一側面によれば、色の画素数のバランスを考慮しつつ、輝度画素を増やすことで、高感度、高輝度解像度、および高色解像度を両立させ、かつ、偽色の発生を抑制することが可能となる。
本技術を適用した固体撮像装置の構成例を説明する図である。 単位画素の構成例を説明する図である。 これまでのカラーコーディングの例を説明する図である。 本技術を適用した第1の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第1の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第2の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第2の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第3の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第3の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第4の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第4の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第5の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第5の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第6の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第6の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第7の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第7の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第8の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第8の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第9の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第9の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第10の実施の形態の構成例となるカラーコーディングの例を説明する図である。 第10の変形例となるカラーコーディングの例を説明する図である。 本技術を適用した第11の実施の形態の構成例となるカラーコーディングの例を説明する図である。 本技術を適用した第12の実施の形態の構成例となるカラーコーディングの例を説明する図である。
以下、発明を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1. 固体撮像装置の構成例
2. 単位画素の構成例
3. 第1の実施の形態(W:G:B:R=6:4:3:3にした一例)
4. 第1の変形例(第1の実施の形態を暗所でも撮像できるようにした一例)
5. 第2の実施の形態(W:G:B:R=7:3:3:3にした一例)
6. 第2の変形例(第2の実施の形態を暗所でも撮像できるようにした一例)
7. 第3の実施の形態(W:G:B:R=7:3:3:3における緑色Gの分散性を向上した一例)
8. 第3の変形例(第3の実施の形態を暗所でも撮像できるようにした一例)
9. 第4の実施の形態(W:G:B:R=7:3:3:3における緑色Gの分散性をさらに向上した一例)
10. 第4の変形例(第4の実施の形態を暗所でも撮像できるようにした一例)
11. 第5の実施の形態(W:G:B:R=7:3:3:3における緑色Gの分散性をさらに向上した一例)
12. 第5の変形例(第5の実施の形態を暗所でも撮像できるようにした一例)
13. 第6の実施の形態(W:G:B:R=6:4:3:3における緑色Gの分散性を向上した一例)
14. 第6の変形例(第6の実施の形態を暗所でも撮像できるようにした一例)
15. 第7の実施の形態(W:G:B:R=6:4:3:3における緑色Gの分散性をさらに向上した一例)
16. 第7の変形例(第7の実施の形態を暗所でも撮像できるようにした一例)
17. 第8の実施の形態(W:G:B:R=6:4:3:3における緑色Gの分散性を向上したその他の例)
18. 第8の変形例(第8の実施の形態を暗所でも撮像できるようにした一例)
19. 第9の実施の形態(W:G:B:R=6:4:3:3における緑色Gの分散性を向上したさらにその他の例)
20. 第9の変形例(第9の実施の形態を暗所でも撮像できるようにした一例)
21. 第10の実施の形態(W:G:B:R=6:4:3:3における輝度の主成分を白色Wとした一例)
22. 第10の変形例(第10の実施の形態を暗所でも撮像できるようにした一例)
23. 第11の実施の形態(W:G:B:R=6:4:3:3における画素加算の一例)
24. 第12の実施の形態(SVE制御を応用した一例)
<1. 固体撮像装置の構成例>
図1は、本技術に係る固体撮像装置、例えば、X−Yアドレス型固体撮像装置の一種であるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサの構成例を説明する図である。
図1のCMOSイメージセンサ1は、半導体基板(以下、単に「センサチップ」と記述する場合もある)11上に形成された画素アレイ部12と、画素アレイ部12と同じ半導体基板11上に集積された周辺回路部とを有する構成となっている。周辺回路部としては、例えば、垂直駆動部13、カラム処理部14、水平駆動部15、変換処理部16およびシステム制御部17が設けられている。
画素アレイ部12には、一点鎖線で示される可視光からなる入射光をその光量に応じた電荷量に光電変換する光電変換素子を含む図示せぬ単位画素(以下、単に「画素」とも称する)が行列状に2次元配置されている。単位画素の具体的な回路構成については後述する。この画素アレイ部12の受光面(光入射面)側には、色フィルタアレイ20が設けられている。本技術においては、この色フィルタアレイ20のカラーコーディングを特徴の一つとしており、その詳細については後述する。
画素アレイ部12には、さらに、行列状の画素配列に対して行ごとに画素駆動線が図中の左右方向(画素行の画素配列方向/水平方向)に沿って配線され、列ごとに垂直信号線19が図中の上下方向(画素列の画素配列方向/垂直方向)に沿って形成されている。図1では、画素駆動線について1本として示しているが、1本に限られるものではない。画素駆動線の一端は、垂直駆動部13の各行に対応した出力端に接続されている。
垂直駆動部13は、シフトレジスタやアドレスデコーダなどによって構成されている。ここでは、具体的な構成については図示を省略するが、垂直駆動部13は、読出し走査系と掃出し走査系とを有する構成となっている。読出し走査系は、信号を読み出す単位画素について行単位で順に選択走査を行う。
一方、掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して、読出し行の単位画素の光電変換素子から不要な電荷を掃き出す(リセットする)掃出し走査を行う。この掃出し走査系による不要電荷の掃き出し(リセット)により、いわゆる電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する(光電荷の蓄積を開始する)動作のことを言う。
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の蓄積時間(露光時間)となる。
垂直駆動部13によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線19の各々を通してカラム処理部14に供給される。カラム処理部14は、画素アレイ部12の画素列ごとに、選択行の各画素から出力されるアナログの画素信号に対してあらかじめ定められた信号処理を行う。
カラム処理部14での信号処理としては、例えばCDS(Correlated Double Sampling;相関二重サンプリング)処理が挙げられる。CDS処理は、選択行の各画素から出力されるリセットレベルと信号レベルとを取り込み、これらのレベル差を取ることによって1行分の画素の信号を得るとともに、画素の固定パターンノイズを除去する処理である。カラム処理部14に、アナログの画素信号をデジタル化するA/D変換機能を持たせる場合もある。
水平駆動部15は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部14の画素列に対応した回路部分を順番に選択走査する。この水平駆動部15による選択走査により、カラム処理部14で画素列ごとに信号処理された画素信号が順番に出力される。
変換処理部16は、画素アレイ部12の各画素から出力される、先述した色フィルタアレイ(色フィルタ部)20の色配列に対応した信号を、演算処理により変換する処理を行う。
システム制御部17は、センサチップ11の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、また、CMOSイメージセンサ1の内部情報などのデータを出力する。システム制御部17は、さらには、各種のタイミング信号を生成するタイミングジェネレータを有し、このタイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部13、カラム処理部14、水平駆動部15および変換処理部16などの駆動制御を行う。
<2. 単位画素の構成例>
次に、図2を参照して、画素単位の回路構成例について説明する。図2は、単位画素の回路構成の一例を示す回路図である。図2で示されるように、本回路例に係る単位画素は、光電変換素子、例えば、フォトダイオードPDと、例えば、転送トランジスタTr1、リセットトランジスタTr2、増幅トランジスタTr3および選択トランジスタTr4の4つのトランジスタとを有する構成となっている。
ここでは、4つのトランジスタTr1乃至Tr4として、例えばNチャネルのMOSトランジスタを用いている。ただし、ここで例示した転送トランジスタTr1、リセットトランジスタTr2、増幅トランジスタTr3および選択トランジスタTr4の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
図2の単位画素に対して、画素駆動線L1として、例えば、転送線L11、リセット線L12および選択線L13の3本の駆動配線が同一画素行の各画素について共通に設けられている。これら転送線L11、リセット線L12および選択線L13の各一端は、垂直駆動部13の各画素行に対応した出力端に、画素行単位で接続されている。
フォトダイオードPDは、アノード電極が負側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷(ここでは、光電子)に光電変換する。フォトダイオードPDのカソード電極は、転送トランジスタTr1を介して増幅トランジスタTr3のゲート電極と電気的に接続されている。増幅トランジスタTr3のゲート電極と電気的に繋がったノードをフローティングディフュージョンFDと称する。
転送トランジスタTr1は、フォトダイオードPDのカソード電極とフローティングディフュージョンFDとの間に接続されている。転送トランジスタTr1のゲート電極には、高レベル(例えば、Vddレベル)がアクティブ(以下、「Highアクティブ」と記述する)の転送パルスφTRFが転送線L11を介して与えられる。転送パルスφTRFが与えられることで、転送トランジスタTr1はオン状態となってフォトダイオードPDで光電変換された光電荷をフローティングディフュージョンFDに転送する。
リセットトランジスタTr2は、ドレイン電極が画素電源Vddに、ソース電極がフローティングディフュージョンFDにそれぞれ接続されている。リセットトランジスタTr2のゲート電極には、フォトダイオードPDからフローティングディフュージョンFDへの信号電荷の転送に先立って、HighアクティブのリセットパルスφRSTがリセット線L12を介して与えられる。リセットパルスφRSTが与えられることで、リセットトランジスタTr2はオン状態となり、フローティングディフュージョンFDの電荷を画素電源Vddに捨てることによってフローティングディフュージョンFDをリセットする。
増幅トランジスタTr3は、ゲート電極がフローティングディフュージョンFDに、ドレイン電極が画素電源Vddにそれぞれ接続されている。そして、増幅トランジスタTr3は、リセットトランジスタTr2によってリセットした後のフローティングディフュージョンFDの電位をリセット信号(リセットレベル)Vresetとして出力する。増幅トランジスタTr3はさらに、転送トランジスタTr1によって信号電荷を転送した後のフローティングディフュージョンFDの電位を光蓄積信号(信号レベル)Vsigとして出力する。
選択トランジスタTr4は、例えば、ドレイン電極が増幅トランジスタTr3のソース電極に、ソース電極が垂直信号線L2にそれぞれ接続されている。選択トランジスタTr4のゲート電極には、Highアクティブの選択パルスφSELが選択線L13を介して与えられる。選択パルスφSELが与えられることで、選択トランジスタTr4はオン状態となって単位画素を選択状態とし、増幅トランジスタTr3から出力される信号を垂直信号線19に中継する。
なお、選択トランジスタTr4については、画素電源Vddと増幅トランジスタTr3のドレインとの間に接続した回路構成を採ることも可能である。
また、単位画素としては、上記構成の4つのトランジスタからなる画素構成のものに限られるものではない。例えば、増幅トランジスタTr3と選択トランジスタTr4とを兼用した3つのトランジスタからなる画素構成のものなどであっても良く、その画素回路の構成は問わない。
<3. これまでのカラーコーディングの例>
図3は、色フィルタアレイ20に採用されている、これまでのカラーコーディングの例を示している。より詳細には、図3においては、上から、4画素×4画素のベイヤ(Bayer)配列、W市松(白色市松)配列、およびW市松G(緑)斜めストライプ配列のそれぞれの画素配列におけるカラーコーディングの例が示されている。また、図3の右側には、各色の空間周波数分布が示されている。図中において、各マスは画素を示し、マス内におけるW,R,G,Bは、それぞれ白色、赤色、緑色、および青色を示している。以降においては、各色については、原則的に白色W、赤色R、緑色G、および青色Bと称するものとする。
すなわち、図3の左最上段で示されるベイヤ配列においては、図中の左上端部および右下端部の画素を含めた画素に、緑色Gが市松状に配置されている。また、図3のベイヤ配列においては、右上端部の画素を含め、水平方向および垂直方向にそれぞれ1画素の緑色Gを挟んで、赤色Rが配置されている。さらに、図3のベイヤ配列においては、左下端部の画素を含め、水平方向および垂直方向にそれぞれ1画素の緑色Gを挟んで、青色Bが配置されている。
また、図3の左中段で示されるW市松配列においては、図中の左上端部および右下端部の画素を含めた画素に、白色Wが市松状に配置されている。さらに、図3のW市松配列においては、右上端部の画素を含め、水平方向および垂直方向にそれぞれ1画素の白色Wを挟んで、緑色Gが配置されている。また、図3のW市松配列においては、左下端部および上から2段目で、かつ、右から2列目の画素に青色Bが配置され、最左列であって、上から2段目の画素、および右から2列目であって、最下段の画素に赤色Rが配置されている。
さらに、図3の左下段で示されるW市松G斜めストライプ配列においては、図中の左上端部および右下端部の画素を含めた画素に、白色Wが市松状に配置されている。また、図3のW市松G斜めストライプ配列においては、右上端部の画素から左斜め下方向に、上から赤色R、青色B、赤色R、青色Bと交互に配置されている。さらに、左から2列目で、かつ、最上段の画素、および、最右列で、かつ、下から2段目の画素、並びに、それぞれ左斜め下方向に隣接する画素に緑色Gが配置されている。
ところで、図3のベイヤ配列の場合、緑色Gが市松状に配置されているので、図3の右上段で示されるように、空間周波数分布においては、二点鎖線で示される緑色Gの分布は、水平方向、および垂直方向で、一点鎖線で示されるナイキスト周波数の分布となり、斜め45°方向で、その半分の分布となる。
しかしながら、一方で、図3のベイヤ配列の場合、図3の右上段で示されるように、実線で示される赤色R、および点線で示される青色Bは、水平方向、垂直方向、および斜め45°方向のいずれにおいても、ナイキスト周波数の半分の分布となる。
すなわち、ベイヤ配列においては、緑色Gが水平方向、および垂直方向で、いずれの行列においても存在するが、45°方向に対しては、1行おきに存在することになる。このため、水平方向、および垂直方向に対しては、ナイキスト周波数と同等に分布することになるが、45°方向に対しては、その半分となる。
また、赤色Rおよび青色Bについては、水平方向、垂直方向、および45°方向のいずれにおいても1行おきに存在することになるので、いずれもナイキスト周波数の半分の分布となる。尚、図3の右上段で示される空間周波数分布において、赤色Rおよび青色Bの周波数分布を示す実線、および点線の表示位置は、ずれて示されているが、表示の関係上ずらしているのみであり、実際には、同一の位置に存在する。
さらに、W市松配列の場合、空間周波数分布は、図3の右中段で示されるように、グレーにハッチングされた点線で示される白色Wが、上述したベイヤ配列における緑色Gと同様に、水平方向および垂直方向に対しては、ナイキスト周波数と同一の分布となるが、斜め45°方向については、さらに、その半分の分布となる。
しかしながら、一方で、図3のW市松配列の場合、図3の右中段で示されるように、二点鎖線で示される緑色Gは、ベイヤ配列における赤色Rまたは青色Bと同様に、水平方向、垂直方向、および斜め45°方向のいずれにおいても、1行おきとなるので、いずれもナイキスト周波数の半分の分布となる。また、実線で示される赤色R、および点線で示される青色Bは、水平方向、および垂直方向では、1行おきとなるためナイキスト周波数に対して半分の分布になるものの、斜め45°方向については、4行おきになるため、ナイキスト周波数の1/4の分布となる。さらに、W市松配列の場合、グレーにハッチングされた点線で示される白色Wは、水平方向、および垂直方向に対しては、各行列に存在するので、ナイキスト周波数の分布と一致するが、斜め45°方向については、1行おきとなるため、ナイキスト周波数の半分の分布となる。
さらに、W市松G斜めストライプ配列の場合、空間周波数分布は、図3の右下段で示されるように、グレーにハッチングされた点線で示される白色Wが、上述したベイヤ配列における緑色Gと同様に、水平方向および垂直方向に対しては、ナイキスト周波数と同一の分布となるが、斜め45°方向については、その半分の分布となる。
一方で、図3のW市松G斜めストライプ配列の場合、図3の右下段で示されるように、二点鎖線で示される緑色Gは、水平方向、および垂直方向に全ての行列に存在するため、ナイキスト周波数と同等の分布となる。しかしながら、緑色Gについては、斜め45°方向については、左上がりの方向については、1行おきとなるので、いずれもナイキスト周波数の半分の分布となるが、右上がりの方向については、4行おきとなるので、ナイキスト周波数の1/4の分布となり、一部がくぼんだ形状となる。
また、実線で示される赤色R、および点線で示される青色Bは、水平方向、および垂直方向では、1行おきとなるためナイキスト周波数に対して半分の分布になるものの、斜め45°方向については、いずれの方向についても、4行おきとなるため、ナイキスト周波数に対して1/4の分布となる。
これらのことから、ベイヤ配列は、高解像度化と歪みの低減に効果が高いが、感度が低減し易い。これに対して、W市松配列やW市松配列G斜めストライプ配列は、白色Wが市松状に配置されていることから高解像度化しつつ感度を2倍程度とすることができ、さらに、W市松配列G斜めストライプ配列については、画素値のアナログ加算やベイヤ配列における画素値に変換し易い構成であった。
しかしながら、W市松配列やW市松G斜めストライプ配列においては、画素数比がW:G:B:R=8:4:2:2であることから、特に、青色Bや赤色Rについては、空間周波数分布が低いので、色解像度が低減し易く、さらに、W市松配列G斜めストライプ配列においては、斜め方向に偽色が生じ易かった。
<3. 第1の実施の形態>
図4は、ベイヤ配列、W市松配列、およびW市松G斜めストライプ配列における利点であった、高解像度、高感度を維持しつつ、色解像度を向上させ、偽色を低減させるカラーコーディングとなる画素配列の第1の実施の形態の構成例を示している。
図4には、第1の実施の形態の構成例となるカラーコーディングを説明する8画素×8画素の配置例21、空間周波数分布22、および配置例23乃至26が示されている。図4のカラーコーディングにおいては、各画素数比がW:G:R:B=6:4:3:3(図中の画素数は、それぞれの4倍)とされている。より詳細には、図4のカラーコーディングでは、配置例21の点線の枠で示されるように、8画素×8画素を上下左右の4領域に分割したときの、4画素×4画素の領域が繰り返し配置されており、その1領域において、左下端を除く全ての角の画素と、左から2列目でかつ、下から2段目の画素に緑色Gが配置されている。また、右から2列目で、かつ、最上段および上から3段目の画素、並びに最左列で、かつ、下から2段目の画素に赤色Rが配置されている。さらに、左から2列目で、かつ、最下段および下から3段目の画素、並びに最右列で、かつ、上から2段目の画素に青色Bが配置されている。そして、それ以外の画素に白色Wが配置されている。
このとき、空間周波数分布22で示されるように、ハッチが付された点線で示される白色Wは、水平方向、および垂直方向に対して全ての行列に存在するので、その分布はナイキスト周波数と同等となるが、斜め45°方向については、1行おきとなるため、その分布はナイキスト周波数の半分となる。また、赤色Rおよび青色Bは、配置例24,25で示されるように、いずれも水平方向、垂直方向および斜め45°方向の全てに対して、それぞれについて1行おきとなるため、その分布はナイキスト周波数に対して半分となる。さらに、緑色Gは、配置例26で示されるように、水平方向および垂直方向に対して、4行ごとに存在しない行列が存在することになるので、ナイキスト周波数に対して3/4となる。
このようなカラーコーディングとすることにより、図4の配置例23で示されるように、輝度主成分である白色Wを市松状に取得する際、白色Wは、その欠損位置(または孤立点位置)に配置された緑色Gを取り囲むように配置されている。このため、デモザイクの際には、欠損位置の周囲の白色Wの画素の情報を利用することで、白色Wの欠損位置となる緑色Gの位置の画素に白色Wの画素情報を補間生成することが容易とされる。
すなわち、白色Wを生成する必要がある緑色Gは、配置例23で示されるように、輝度主成分である白色Wを市松状に求める際の孤立点である。白色Wを市松状に求める際の孤立点となる緑色Gが配置された画素は、水平方向および垂直方向に対して1画素おきに略均等に白色Wの画素が配置され、さらに、斜め方向の4カ所に白色Wの画素と隣接している。このような配置により、白色Wを市松状に求める際の孤立点となる緑色Gが配置された画素は、周辺の白色Wの画素の情報より、容易で、かつ、適切に白色Wの画素の情報を補間生成することが可能となる。
尚、配置例23は、図4のカラーコーディングにおいて、白色Wとして求められる画素のみが抽出された配置例が示されている。このため、配置例23に含まれる緑色Gが存在する位置においては、後に、白色Wが補間生成される。同様に、配置例24乃至26は、図4のカラーコーディングにおいて、赤色R、青色B、および緑色Gとして求められる画素のみが抽出された配置例が示されている。
また、図4の配置例24で示されるように、赤色Rは、赤色Rを生成する必要がある、孤立点となっている緑色Gを略均等に取り囲むように配置されている。このため、デモザイクの際には、赤色Rの孤立点位置となる緑色Gの画素の周辺に存在する赤色Rの画素の情報を利用することで、赤色Rの孤立点位置となる緑色Gの位置における、赤色Rの画素情報を、容易で、かつ適切に補間生成することが可能となる。
すなわち、赤色Rを生成する必要がある緑色Gは、配置例24で示されるように、赤色Rを求める際の孤立点であり、水平方向、垂直方向、および斜め45°方向に対して1画素おきに略均等な間隔で赤色Rの画素が配置されている。このような配置により、赤色Rを求める際の孤立点となる緑色Gが配置された画素は、略均等に配置された周辺の赤色Rの画素の情報より、赤色Rの画素の情報を容易で、かつ適切に補間生成することが可能となる。
さらに、図4の配置例25で示されるように、青色Bが、青色Bを生成する必要がある、青色Bの孤立点位置の緑色Gを略均等に取り囲むように配置されている。このため、デモザイクの際には、これらの青色Bの画素の情報を利用することで、緑色Gの位置の画素に青色Bの画素情報を補間生成することが容易とされる。
すなわち、青色Bを生成する必要がある緑色Gは、配置例25で示されるように、青色Bを求める際の孤立点であり、水平方向、垂直方向、および斜め45°方向に対して1画素おきに略均等な間隔で青色Bの画素が配置されている。このような配置により、青色Bを求める際の孤立点となる緑色Gが配置された画素は、略均等に配置された周辺の青色Bの画素の情報より、青色Bの画素の情報を容易に補間生成することが可能となる。
また、図3を参照して説明したW市松配列、またはW市松G斜めストライプ配列においては、各色の比率がW:G:B:R=8:4:2:2であるのに対して、図4のカラーコーディングの配置例においては、各色の比率がW:G:B:R=6:4:3:3とされている。
すなわち、図3のW市松配列、またはW市松G斜めストライプ配列における、白色Wの2画素分を赤色Rおよび青色Bに振り分け、赤色Rおよび青色Bを行列で分離し、さらに、白色W、赤色R、および青色Bの画素配置のうち、補間生成し易い位置の画素を緑色Gに配置するようにし、W:G:B:R=6:4:3:3とした。
このため、青色Bと赤色Rの配置される行列が異なるためデモザイクの際、青色Bと赤色Rの孤立点における画素信号を、より容易で、かつ適切に補間生成することが可能となり、色解像度を向上させることが可能となる。また、白色Wは、補間により市松状に求められることにより輝度解像度と感度を向上させることが可能となる。
結果として、感度、輝度解像度、および色解像度を向上させることが可能となる。
<4. 第1の変形例>
以上においては、輝度主成分を白色Wとした場合について説明してきたが、輝度主成分を緑色Gとし、色成分として使用していた緑色Gに代えて、赤外光IRを用いるようにしてもよい。
すなわち、図5は、図4のカラーコーディングの例を、輝度主成分を緑色Gとして、色成分であった緑色Gに代えて赤外光IRを用いるようにした場合のカラーコーディングの例を示している。
すなわち、図5のカラーコーディングにおいては、図4における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えたものである。
尚、図5の配置例31、空間周波数分布32、および配置例33乃至36については、それぞれ図4における配置例21、空間周波数分布22、および配置例23乃至26に対応するものである。
このような構成により、暗所においても赤外光照明を利用することで、高解像度な撮像が可能となる。
尚、図5におけるカラーコーディングの例については、図4における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えた点を除き、図4におけるカラーコーディングの例と同様であるので、その説明は省略する。
<5. 第2の実施の形態>
以上においては、白色W、緑色G、青色B、および赤色Rの画素数比が、W:G:B:R=6:4:3:3の例について説明してきたが、緑色Gを1画素分だけ白色Wに置き換えて、W:G:B:R=7:3:3:3とし、輝度主成分である白色Wの欠損を低減させて感度と、輝度解像度を向上させるようにしてもよい。
図6は、緑色Gの画素配置の一部を、輝度主成分となる白色Wに置き換えることにより、輝度主成分である白色Wの欠損を低減させて解像度を向上させるようにしたカラーコーディングの例を示している。尚、図6のカラーコーディングにおける基本的な色配置は、図4のカラーコーディングの例と同様であるので、ここでは、図4のカラーコーディングの例との差異について説明する。
図6のカラーコーディングにおいて、図4のカラーコーディングと異なる点は、図6の配置例41の点線で示されるように、8画素×8画素で示される配置例を水平方向、および垂直方向に2分割することで、4領域に分割された4画素×4画素の領域における右上端部における画素が、図4の配置例11における緑色Gから白色Wに置き換えられている点である。
このような画素配置により、輝度主成分となる白色Wの欠損を最小とすることが可能となり、解像度を向上させることが可能となる。
また、色解像度を構成する青色Bおよび赤色R、並びに緑色Gは、4画素×4画素の領域において、それぞれ3画素ずつバランスよく設けられることになるため、色解像度の低下も抑制することが可能となる。
尚、図6における配置例41、空間周波数分布42、および配置例43乃至46については、それぞれ図4における配置例11、空間周波数分布12、および配置例13乃至16に対応するものである。すなわち、空間周波数分布42で示されるように、緑色Gについては、図4の例と比較すると1画素分少なくなることから、その分布が小さくなっているが、その他の色については、図4における分布と同様である。
結果として、感度、輝度解像度、および色解像度を向上させつつ、さらに輝度主成分である白色Wの欠損を低減させて感度と、さらに輝度解像度を向上させることが可能となる。
<6. 第2の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、色成分の緑色Gに代えて赤外光IRを用いてカラーコーディングするようにしてもよい。
すなわち、図7は、図6のカラーコーディングを応用して、輝度主成分を白色Wに代えて緑色Gとし、色成分を緑色Gに代えて赤外光IRとした場合のカラーコーディングの例を示している。すなわち、図7のカラーコーディングにおいては、図6における輝度主成分としての白色Wに代えて緑色Gが、色成分の緑色Gに代えて赤外光IRがそれぞれ置き換えられて配置されている。
尚、図7における配置例51、空間周波数分布52、および配置例53乃至56については、それぞれ図6における配置例41、空間周波数分布42、および配置例43乃至46に対応するものである。
以上のように、図7のカラーコーディングにより、暗所においても赤外光照明を利用することで、感度に優れた撮像を実現することが可能となる。
<7. 第3の実施の形態>
以上においては、白色W、緑色G、青色B、および赤色Rの画素数比が、W:G:B:R=7:3:3:3の例について説明してきたが、図6の配置例46において示されるような緑色Gの分散性(ランダム性)を向上させることで偽色をさらに抑制できるようにしてもよい。
図8は、図6におけるカラーコーディングにおける、緑色Gの配置を、さらに分散させたカラーコーディングの例を示している。尚、図8における配置例71、空間周波数分布72、および配置例73乃至76については、それぞれ図6における配置例41、空間周波数分布42、および配置例43乃至46に対応するものである。
図8のカラーコーディングにおいて、図6のカラーコーディングと異なる点は、市松状に求められるべき白色Wに対して、孤立点として配置される緑色Gの配置を、緑色Gの存在する行単位で、2種類設定し、それらを互い違いに配置している点である。
すなわち、図6の配置例41の点線で示されるように、8画素×8画素の領域を水平方向および垂直方向に2分割することで、4画素×4画素の領域に4分割した場合、全ての4画素×4画素の領域の左から2列目で、かつ、下から2段目の画素に孤立点となる緑色Gが配置されている。
これに対して、図8のカラーコーディングにおいては、配置例73で示されるように、4分割された上段の2の4画素×4画素の領域においては、白色Wの孤立点である緑色Gの位置が、配置例41と同様であるが、4分割された下段の4画素×4画素の領域においては、いずれも最右列で、かつ、下から2段目の画素に配置されている。
また、これに応じて、図8のカラーコーディングにおいては、配置例75で示されるように、4分割された上段の2の4画素×4画素の領域においては、青色Bの孤立点である緑色Gの位置が、配置例45と同様であるが、4分割された下段の4画素×4画素の領域においては、いずれも左から2列目で、かつ、最下段の画素に配置されている。
このように配置することにより、配置例73,75で示されるように、求められるべき白色Wおよび青色Bに対して、孤立点として配置される緑色Gの配置が、4画素×4画素の単位で(4行毎に)、水平方向に2列ずつ互い違いに変化する。結果として、緑色Gの画素の配置の分散性(ランダム性)が向上し、偽色を抑制することが可能となる。尚、このような構成から、原則として、図8で示されるカラーコーディングにおいては、図8の配置例71で示されるような8画素×8画素単位の構成が、水平方向および垂直方向に繰り返し配置される構成となる。
結果として、感度、輝度解像度、および色解像度を向上させつつ、さらに偽色を抑制させることが可能となる。
<8. 第3の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、色成分の緑色Gに代えて赤外光IRを用いてカラーコーディングするようにしてもよい。
すなわち、図9は、図8のカラーコーディングを応用して、白色Wに代えて緑色Gを輝度主成分とし、色成分の緑色Gに代えて赤外光IRを用いたカラーコーディングの例を示している。すなわち、図9のカラーコーディングにおいては、図8における白色Wが緑色Gに、緑色Gが赤外光IRにそれぞれ置き換えられて配置されている。
尚、図9における配置例81、空間周波数分布82、および配置例83乃至86については、それぞれ図8における配置例71、空間周波数分布72、および配置例73乃至76に対応するものである。
以上のように、図9のカラーコーディングにより、暗所においても赤外光照明を利用することで、感度に優れた撮像を実現することが可能となる。
<9. 第4の実施の形態>
以上においては、白色W、緑色G、青色B、および赤色Rの画素数比が、W:G:B:R=7:3:3:3の例であって、図8の配置例73(または76)で示されるように、市松状の白色Wおよび青色Bにおける孤立点となる緑色Gの配置を4行ずつ、水平方向に2列ずつずらすことにより分散性(ランダム性)を高める例について説明してきた。同様にして、市松状の白色Wにおける孤立点となる緑色Gの配置を水平方向に4列毎に、垂直方向に2行ずつずらして分散性を高めるようにしてもよい。
図10は、図6におけるカラーコーディングにおける、緑色Gの配置を4列毎に垂直方向にずらすことで、分散性(ランダム性)を高めたカラーコーディングの例を示している。尚、図10における配置例101、空間周波数分布102、および配置例103乃至106については、それぞれ図6における配置例41、空間周波数分布42、および配置例43乃至46に対応するものである。
図10のカラーコーディングにおいて、図6のカラーコーディングと異なる点は、市松状に求められるべき白色Wに対して、孤立点として配置される緑色Gの配置を、緑色Gの存在する列単位で、2種類設定し、それらを互い違いに配置している点である。
すなわち、図6の配置例41で示されるように、8画素×8画素の領域を水平方向および垂直方向に2分割することで、4画素×4画素の領域に4分割した場合、全ての4画素×4画素の領域の左から2列目で、かつ、下から2段目の画素に孤立点となる緑色Gが配置されている。
これに対して、図10のカラーコーディングにおいては、配置例103で示されるように、4分割された4画素×4画素の領域のうち、左列の2の領域における白色Wの孤立点となる緑色Gは、図6と同様に、領域の左から2列目で、かつ、下から2段目の画素位置に配置されているが、右列の2の領域における緑色Gは、いずれも左から2列目で、かつ、最上段の画素に配置されている。
これに対応して、図10のカラーコーディングにおいては、配置例104で示されるように、4分割された4画素×4画素の領域のうち、左列の2の領域における赤色Rの孤立点となる緑色Gは、図6と同様に、最左列で、かつ、最上段の画素位置に配置されているが、右列の2の領域における緑色Gは、いずれも最左列で、かつ、下から2段目の画素に配置されている。
このように配置することにより、配置例103で示されるように、求められるべき白色Wおよび赤色Rに対して、孤立点として配置される緑色Gの配置が、4画素×4画素の単位で(4列毎に)、垂直方向に2行ずつ互い違いに変化する。結果として、緑色Gの画素の配置の分散性(ランダム性)が向上し、偽色を抑制することが可能となる。また、画素信号の転送は、通常垂直方向になされるが、同色の画素信号については、相互に加算して転送する、いわゆる画素加算が可能となる。このため、図10の配置例101で示されるように、白色Wに対する孤立点となる緑色Gの画素間の相互の位置関係が、垂直方向に統一された構成となることにより、同一の条件で画素加算された画素信号を転送することが可能となるので、より偽色の発生を抑制することが可能となる。
<10. 第4の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、色成分の緑色Gに代えて赤外光IRを用いてカラーコーディングするようにしてもよい。
すなわち、図11は、図10のカラーコーディングを応用して、白色Wに代えて緑色Gを輝度主成分とし、色成分の緑色Gに代えて赤外光IRを用いたカラーコーディングの例を示している。すなわち、図11のカラーコーディングにおいては、図10における白色Wが緑色Gに、緑色Gが赤外光IRにそれぞれ置き換えられて配置されている。
尚、図11における配置例111、空間周波数分布112、および配置例113乃至116については、それぞれ図10における配置例101、空間周波数分布102、および配置例103乃至106に対応するものである。
以上のように、図11のカラーコーディングにより、暗所においても感度に優れた撮像を実現することが可能となる。
<11. 第5の実施の形態>
以上においては、白色W、緑色G、青色B、および赤色Rの画素数比が、W:G:B:R=7:3:3:3の例であって、図10の配置例113で示されるように、市松状の白色Wにおける孤立点となる緑色Gの配置を4列毎に、垂直方向に2行ずつずらすことにより分散性(ランダム性)を高める例について説明してきた。しかしながら、4画素×4画素の領域において、色成分となる緑色G、青色B、および赤色Rのそれぞれを1/4だけ欠損させて、白色Wを水平方向、垂直方向、および斜め方向に対して均一に分布させる構成としてもよい。
図12の配置例131は、点線で示される4画素×4画素の領域において、色成分となる緑色G、青色B、および赤色Rのそれぞれを1画素おきに正方形状の4頂点となる位置に配置した場合、そのうちの同一の位置の1画素を欠損させることで、1/4だけ欠損させて、白色Wを水平方向、垂直方向、および斜め方向に対して均一に分布させるようにしたカラーコーディングの例を示している。
すなわち、配置例134で示されるように、色成分となる赤色Rは、8画素×8画素の領域を水平方向、および垂直方向にそれぞれ2分割した、4画素×4画素の領域において、最上段、および下から2段目で、かつ、右から2列目、および最右列の4画素のうち、最上段で、かつ、右から2列目の画素を除く3画素に配置される。そして、最上段で、かつ、右から2列目の画素は、赤色Rの欠損画素とされ、白色Wが配置される。
また、配置例135で示されるように、色成分となる青色Bは、4画素×4画素の領域において、上から2段目、および最下段で、かつ、左から2列目、および最右列の4画素のうち、最下段で、かつ、最右列の画素を除く3画素に配置される。そして、最下段で、かつ、最右列の画素は、青色Bの欠損画素とされ、白色Wが配置される。
さらに、配置例136で示されるように、色成分となる緑色Gは、4画素×4画素の領域において、最上段、および下から2段目で、かつ、左から2列目、および最右列の4画素のうち、下から2段目で、かつ、左から2列目の画素を除く3画素に配置される。そして、下から2段目で、かつ、左から2列目の画素は、緑色Gの欠損画素とされ、白色Wが配置される。
そして、配置例133で示されるように、それ以外の画素位置に白色Wが配置される。
このような配置により、空間周波数分布132で示されるように、輝度主成分となる白色Wについては、水平方向、および垂直方向を含む、その方向に近い方向については、ナイキスト周波数とほぼ同様の分布となり、斜め45°方向についてもナイキスト周波数の半分の分布となる。また、色成分となる緑色G、青色B、および赤色Rは、いずれも水平方向、垂直方向、および斜め45°方向のいずれにおいてもナイキスト周波数の半分となる。
すなわち、図12の配置例131,133乃至136の点線で示されるように、8画素×8画素の領域を水平方向および垂直方向に2分割した4画素×4画素の領域内において、色成分となる緑色G、青色B、および赤色Rは、いずれも同色の相互位置関係が同一となるように3画素が配置され、それぞれ同一の位置関係となる1画素を欠損画素とすることで、相互のバランスを向上させることが可能になる。これにより、緑色G、青色B、および赤色Rの欠損画素は、容易で、かつ、適切に補間生成することが可能となる。また、欠損画素に白色Wが配置されることにより、水平方向、垂直方向、および斜め方向に対して、輝度主成分となる白色Wの分布をより均一な構成とすることが可能となる。
結果として、輝度主成分となる白色Wの欠損を低減することが可能となり、輝度解像度を向上させることが可能となる。
また、色解像度を構成する青色Bおよび赤色R、並びに緑色Gは、4画素×4画素の領域において、それぞれ3画素ずつ設けられているため、色解像度の低下も抑制することが可能となり、さらに、偽色の発生を抑制することが可能となる。
<12. 第5の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、色成分の緑色Gに代えて赤外光IRを用いてカラーコーディングするようにしてもよい。
すなわち、図13は、図12のカラーコーディングの例を、白色Wに代えて緑色Gを輝度主成分とし、緑色Gに代えて赤外光IRを色成分として用いた場合に応用したカラーコーディングの例を示している。
すなわち、図13のカラーコーディングにおいては、図12における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ置き換えたものである。
尚、図13の配置例141、空間周波数分布142、および配置例143乃至146については、それぞれ図12における配置例131、空間周波数分布132、および配置例133乃至136に対応するものである。
このような構成により、暗所においても赤外光照明を利用することで、高解像度な撮像が可能となる。
尚、図13におけるカラーコーディングの例については、図12における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えた点を除き、図12におけるカラーコーディングの例と同様であるので、その説明は省略する。
<13. 第6の実施の形態>
以上においては、白色W、緑色G、青色B、および赤色Rの画素数比が、W:G:B:R=7:3:3:3の例であって、図12の配置例134乃至136で示されるように、4画素×4画素における領域で、色成分となる緑色G、青色B、および赤色Rを、それぞれ同一の位置関係となるように3画素ずつ配置すると共に、欠損画素を同一位置に1画素設定することにより、色成分のバランスを整える例について説明してきた。ところで、図12の場合、緑色G、青色B、および赤色Rにおける欠損画素の位置が水平方向、および垂直方向に対して同一の位置に存在する。そこで、緑色G、青色B、および赤色Rにおける欠損画素の位置を水平方向、および垂直方向に対して同一位置とならないようにすることで、分散性(ランダム性)を向上させるようにしてもよい。
図14の配置例151は、図12の配置例131における緑色G、青色B、および赤色Rにおける欠損画素の位置を同一にしないようにすることで、分散性(ランダム性)を向上させるようにしたカラーコーディングの例を示している。
より具体的には、図14の配置例153乃至156で示されるように、緑色G、青色B、および赤色Rにおける欠損画素の位置となる白色Wが、4行おきに、水平方向に対して、2列ずれるように配置されている。
すなわち、赤色Rの場合、配置例154で示されるように、上段の2の4画素×4画素については、いずれも欠損位置が、最上段で、かつ、右から2列目の画素となるが、下段の2の4画素×4画素については、最上段で、かつ、最左列の画素となる。同様に、青色Bの場合、配置例155で示されるように、上段の2の4画素×4画素については、いずれも欠損位置が、最下段で、かつ、最右列の画素となるが、下段の2の4画素×4画素については、最下段で、かつ、左から2列目の画素となる。さらに、緑色Gの場合、配置例156で示されるように、上段の2の4画素×4画素については、いずれも欠損位置が、下から2段目で、かつ、左から2列目の画素となるが、下段の2の4画素×4画素については、下から2段目で、かつ、最右列の画素となる。
尚、図14の配置例151における空間周波数分布は、空間周波数分布152で示されるように、空間周波数分布132と同様であり、各色の空間周波数分布は図12の配置例131と同等である。
このように配置されることにより、緑色G、青色B、および赤色Rのバランスを維持しつつ、緑色G、青色B、および赤色Rにおける欠損画素の位置の分散性(ランダム性)を向上させることが可能となる。
結果として、輝度主成分となる白色Wの欠損を低減することが可能となり、解像度を向上させることが可能となる。
また、色成分を構成する青色Bおよび赤色R、並びに緑色Gは、4画素×4画素の領域において、それぞれ3画素ずつ設けられているため、色解像度の低下も抑制することが可能となる。また、色成分を構成する青色Bおよび赤色R、並びに緑色Gは、4画素×4画素の領域において、それぞれの欠損位置の分散性(ランダム性)を向上させることが可能となるので、色解像度を向上させ、さらに、偽色の発生を抑制することが可能となる。
尚、以上においては、色成分を構成する青色Bおよび赤色R、並びに緑色Gは、4画素×4画素の領域において、それぞれの欠損位置を、垂直方向に4行おきに、水平方向に2列ずつ交互にずらす例について説明してきたが、例えば、水平方向に4列ごとに、垂直方向に2行ずつずらすようにしてもよい。
<14. 第6の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、緑色Gに代えて赤外光IRを色成分として用いてカラーコーディングするようにしてもよい。
すなわち、図15は、図14のカラーコーディングの例における、白色Wに代えて緑色Gを輝度主成分とし、緑色Gに代えて赤外光IRを色成分として用いることで図14のカラーコーディングを応用した例を示している。
すなわち、図15のカラーコーディングにおいては、図14における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えたものである。
尚、図15の配置例161、空間周波数分布162、および配置例163乃至166については、それぞれ図14における配置例151、空間周波数分布152、および配置例153乃至156に対応するものである。
このような構成により、暗所においても赤外光照明を利用することで、高解像度な撮像が可能となる。
尚、図15におけるカラーコーディングの例については、図14における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えた点を除き、図14におけるカラーコーディングの例と同様であるので、その説明は省略する。
<15. 第7の実施の形態>
図4を参照して説明した白色W、緑色G、青色B、および赤色Rの各画素数比がW:G:R:B=6:4:3:3である場合について説明した第1の実施の形態においては、緑色Gが全ての行列に存在していなかったため、水平方向、および垂直方向の空間周波数分布が、ナイキスト周波数の分布に対して3/4となっていた。そこで、図4の配置例を応用して、水平方向、および垂直方向に対して、全ての行列に緑色Gが存在するような構成とするようにしてもよい。
すなわち、図16は、図4を参照して説明した第1の実施の形態のカラーコーディングの例における、緑色Gの一部を、白色Wの一部と入れ替えて配置し、水平方向、および垂直方向に対して、全ての行列に緑色Gが存在するようにしたカラーコーディングの例を示している。
より詳細には、図16の配置例171,173,176で示される第7の実施の形態におけるカラーコーディングでは、図4で示される第1の実施の形態の配置例11,13,16における4画素×4画素の領域における最右列で、かつ、最上段の画素に配置された緑色Gと、右から2列目で、かつ、上から2段目の画素に配置された白色Wとが入れ替えられた構成となっている。
このようなカラーコーディングにより各行列に緑色Gが配置されることになるので、緑色Gの分散性(ランダム性)が向上する。このため、空間周波数分布172で示されるように、緑色Gの水平方向、および垂直方向の空間周波数分布が、ナイキスト周波数と同等となる。
すなわち、図16の配置例171においては、図1のW市松配列、またはW市松G斜めストライプ配列における、白色Wの2画素分を赤色Rおよび青色Bに振り分け、赤色Rおよび青色Bを行列で分離し、白色W、赤色R、および青色Bの画素配置のうち、補間生成し易い位置の画素を緑色Gに配置するようにし、さらに、緑色Gの分散性を向上させたうえで、W:G:B:R=6:4:3:3とした。
このため、青色Bと赤色Rの配置される行列が異なるためデモザイクの際、青色Bと赤色Rの孤立点における画素信号を、より容易で、かつ適切に補間生成することが可能となる。また、緑色Gの分散性が向上するので、偽色の発生を抑制することができる。さらに、白色Wは、補間により市松状に求められることにより解像度と感度を向上させることが可能となる。
結果として、感度、輝度解像度、および色解像度を向上させることが可能となる。
尚、図16の配置例171、空間周波数分布172、および配置例173乃至176については、それぞれ図4における配置例11、空間周波数分布12、および配置例13乃至16に対応するものである。
<16. 第7の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、緑色Gに代えて赤外光IRを色成分として用いてカラーコーディングするようにしてもよい。
すなわち、図17は、図16のカラーコーディングにおける輝度主成分である白色Wを緑色Gとし、色成分である緑色Gを赤外光IRとして用いた場合に応用したカラーコーディングの例を示している。
すなわち、図17のカラーコーディングにおいては、図16における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えたものである。
尚、図17の配置例181、空間周波数分布182、および配置例183乃至186については、それぞれ図16における配置例171、空間周波数分布172、および配置例173乃至176に対応するものである。
このような構成により、暗所においても赤外光照明を利用することで、高解像度な撮像が可能となる。
尚、図17におけるカラーコーディングの例については、図16における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えた点を除き、図16におけるカラーコーディングの例と同様であるので、その説明は省略する。
<17. 第8の実施の形態>
図16を参照して説明したカラーコーディングを応用し、赤色Rおよび青色Bの水平方向、および垂直方向における空間周波数分布を向上させ、緑色Gの斜め45°方向における分散性を向上させるようにしてもよい。
図18は、図16を参照して説明した第7の実施の形態におけるカラーコーディングの例における、赤色Rおよび青色Bの水平方向、および垂直方向における空間周波数分布を向上させるようにすると共に、緑色Gの斜め45°方向における分散性を向上させるように配置したカラーコーディングの例を示している。
より詳細には、図18の配置例191,194,195で示されるように、8画素×8画素の領域における赤色R、および青色Bにおける欠損画素となる緑色Gが全ての行列に存在するように配置されている。また、配置例191,193,194,196で示されるように、赤色R、および青色Bにおける欠損画素となる緑色Gの置換画素と連続しない位置(隣接しない位置)に、欠損画素ではない緑色Gが配置されている。
このようなカラーコーディングにより、空間周波数分布192で示されるように、各行列に加えて、斜め45°方向における各行においても緑色Gは配置されることで、斜め45°方向における空間周波数分布が向上し、空間周波数分布172に比較して、緑色Gの分散性(ランダム性)が向上する。尚、空間周波数分布192における分布は、概算によるものである。
このように、緑色Gの分散性が向上するので、偽色の発生をより抑制することができる。さらに、白色Wは、補間により市松状に求められることにより解像度と感度を向上させることが可能となる。
結果として、感度、輝度解像度、および色解像度を向上させることが可能となる。
<18. 第8の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、緑色Gに代えて赤外光IRを色成分として用いてカラーコーディングするようにしてもよい。
すなわち、図19は、図18のカラーコーディングにおける輝度主成分である白色Wを緑色Gとし、色成分である緑色Gを赤外光IRとして用いた場合に応用したカラーコーディングの例を示している。
すなわち、図19のカラーコーディングにおいては、図18における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えたものである。
尚、図19の配置例201、空間周波数分布202、および配置例203乃至206については、それぞれ図18における配置例191、空間周波数分布192、および配置例193乃至196に対応するものである。
このような構成により、暗所においても赤外光照明を利用することで、高解像度な撮像が可能となる。
尚、図19におけるカラーコーディングの例については、図18における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えた点を除き、図18におけるカラーコーディングの例と同様であるので、その説明は省略する。
<19. 第9の実施の形態>
図18を参照して説明した第8の実施の形態のカラーコーティングにおいて、緑色Gの同一方向の連続画素数を2画素までにすることで、斜め45°方向に対する分散性を向上させるようにしてもよい。
図20は、図18を参照して説明した第8の実施の形態におけるカラーコーディングの例における、緑色Gの同一方向に連続する画素数を2画素までとすることで、分散性を向上させるように配置したカラーコーディングの例を示している。
より詳細には、図20の配置例221,223,226で示されるように、図18で示される8画素×8画素の領域における緑色Gが斜め45°方向(同一方向)に連続した配置が2画素までとなるように配置されている。また、配置例224,225で示されるように、赤色R、および青色Bの配置において、各行列のいずれにも欠損画素となる緑色Gが配置されている。
このようなカラーコーディングにより、空間周波数分布222で示されるように、各行列に加えて、斜め45°方向における各行においても緑色Gは配置されることになるので、斜め45°方向における空間周波数分布が向上し、緑色Gの分散性(ランダム性)が向上する。尚、空間周波数分布222における分布は、概算によるものである。
このため、緑色Gの分散性が向上すると共に、斜め解像度が向上するので、偽色の発生をより抑制することができる。さらに、白色Wは、補間により市松状に求められることにより解像度と感度を向上させることが可能となる。
結果として、感度、輝度解像度、および色解像度を向上させることが可能となる。
<20. 第9の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、緑色Gに代えて赤外光IRを色成分として用いてカラーコーディングするようにしてもよい。
すなわち、図21は、図20のカラーコーディングにおける輝度主成分である白色Wを緑色Gとし、色成分である緑色Gを赤外光IRとして用いた場合に応用したカラーコーディングの例を示している。
すなわち、図21のカラーコーディングにおいては、図20における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えたものである。
尚、図21の配置例251、空間周波数分布252、および配置例253乃至256については、それぞれ図20における配置例221、空間周波数分布222、および配置例223乃至226に対応するものである。
このような構成により、暗所においても赤外光照明を利用することで、高解像度な撮像が可能となる。
尚、図21におけるカラーコーディングの例については、図20における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えた点を除き、図20におけるカラーコーディングの例と同様であるので、その説明は省略する。
<21. 第10の実施の形態>
白色W、緑色G、青色B、および赤色Rの各画素数比がW:G:R:B=6:4:3:3である場合における、ベイヤ配列の赤色R、緑色G、および青色Bの欠損画素位置に、全波長帯域を持つ白色Wを配置し、赤色R、緑色G、および青色Bにおける空間サンプリングを均等化するようにしてもよい。
図22は、ベイヤ配列の赤色R、緑色G、および青色Bの欠損画素位置に、全波長帯域を持つ白色Wを配置し、赤色R、緑色G、および青色Bにおける空間サンプリングを均等化するように配置したカラーコーディングの例を示している。
より詳細には、図22の配置例271,273乃至276で示されるように、赤色Rおよび青色Bの欠損画素の位置に白色Wr,Wbが配置されている。このような配置により、欠損画素位置の赤色Rおよび青色Bを適切に補間生成することが可能となる。尚、図22において、白色Wrは、白色Wであって、赤色Rの欠損画素位置のものであり、白色Wbは、白色Wであって、青色Bの欠損画素位置のものであることを示している。
さらに、図22の配置例271,273で示されるように、8画素×8画素の領域において、緑色Gr,Gbが、各行列のそれぞれに2画素ずつ配置されている。このため、緑色Gにおける均一性を向上させることが可能となる。尚、図22において、緑色Grは、緑色Gであって、水平方向に赤色Rが隣接する画素位置のものであることを示し、緑色Gbは、緑色Gであって、水平方向に青色Bが隣接する画素位置のものであることを示している。
このため、緑色Gの分散性が向上するので、偽色の発生をより抑制することができる。さらに、白色Wは、補間により市松状に求められることにより解像度と感度を向上させることが可能となる。
また、このような配置により、赤色Rの欠損画素である白色Wrの周囲は、青色B、緑色G、および白色Wにより囲まれることにより、欠損画素となる赤色Rの補間生成が容易になる。同様に、青色Bの欠損画素である白色Wbの周囲は、赤色R、緑色G、および白色Wにより囲まれることにより、欠損画素となる青色Bの補間生成が容易になる。さらに、空間周波数分布272で示されるように、白色Wの斜め45°方向における分布が向上される。尚、図22の空間周波数分布272は、概算によるものである。
結果として、感度、輝度解像度、および色解像度を向上させることが可能となる。
<22. 第10の変形例>
以上においては、白色Wを輝度主成分とし、白色W、緑色G、青色B、および赤色Rを用いて、カラーコーディングする例について説明してきたが、白色Wに代えて緑色Gを輝度主成分とし、緑色Gに代えて赤外光IRを色成分として用いてカラーコーディングするようにしてもよい。
すなわち、図23は、図22のカラーコーディングにおける輝度主成分である白色Wを緑色Gとし、色成分である緑色Gを赤外光IRとして用いた場合に応用したカラーコーディングの例を示している。
すなわち、図23は、図22のカラーコーディングの例を、輝度主成分を緑色Gとして、赤外光IRを加えた場合に応用したカラーコーディングの例を示している。
すなわち、図23のカラーコーディングにおいては、図22における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えたものである。
尚、図23の配置例281、空間周波数分布282、および配置例283乃至286については、それぞれ図22における配置例271、空間周波数分布272、および配置例273乃至276に対応するものである。
このような構成により、暗所においても赤外光照明を利用することで高解像度な撮像が可能となる。
尚、図23におけるカラーコーディングの例については、図22における白色Wを緑色Gに、緑色Gを赤外光IRにそれぞれ代えた点を除き、図22におけるカラーコーディングの例と同様であるので、その説明は省略する。
<23. 第11の実施の形態>
<画素加算について>
次に、図22を参照して、画素加算について説明する。
同一の色の画素信号については、アナログ、またはデジタルで画素値を加算して処理することで、画素信号の転送効率を向上させると共に、解像度、および感度の向上、並びに、偽色の発生を抑制することが可能となる。
より具体的には、例えば、図24の左上部で示される、配置例171(図16)の場合、領域Z1,Z2でそれぞれ示される8画素が共通のフローティングディフュージョンFD(図2)を介して、共通の増幅トランジスタTr3(図2)を利用した増幅器を利用して画素信号を出力する。尚、図示しないが、領域Z1,Z2に隣接する、2画素(水平方向)×4画素(垂直方向)の合計8画素についても、同様の範囲で共通の増幅器が利用されて画素信号が出力される。
この結果、図24の加算例291で示されるように、共通の増幅器が利用される領域内であって、斜め方向に隣接する白色Wの画素値が、アナログ加算された後、増幅器で増幅して出力することが可能となる。
また、加算例292で示されるように、共通の増幅器が利用される領域内であって、斜め方向に隣接する緑色Gの画素値が、アナログ加算された後、増幅器で増幅されて出力される。
さらに、加算例293,294で示されるように、赤色Rおよび青色Bは、共通の増幅器が利用される領域Z1およびZ2において、それぞれ垂直方向に存在する画素間は、画素信号がアナログ加算される。この後、水平方向に異なる領域Z1およびZ2に存在する画素間においては、アナログ信号として出力された信号が増幅器により増幅されて、デジタル化された後に、デジタル加算される。
このように画素加算されて出力された画素信号により、画素重心分布295で示されるように、求められる白色W、緑色G、青色B、および赤色Rのそれぞれの色が、加算された画素間の重心位置の画素信号として求められる。
すなわち、画素重心分布295で示されるように、緑色G、青色B、および赤色Rのそれぞれがベイヤ配列におけるそれぞれの配置に似た配置になる。
このため、白色Wについては、欠損位置の画素信号を補間生成することにより、配置例296で示されるように求めることが可能となる。また、緑色G、青色B、および赤色Rについては、求められた白色Wとの相関処理により、配置例297で示されるように、ベイヤ配列からなる画素位置と画素信号を求めることが可能となる。
結果として、加算処理により画素信号を高速転送することが可能となるとともに、輝度解像度、色解像度、および感度を向上させるとともに、偽色の発生を抑制することが可能となる。
<24. 第12の実施の形態>
<SVE露光制御を用いた例>
次に、図25を参照して、SVE(Spatially Varying Exposure)露光制御を応用する例について説明する。
以上においては、各画素における露光時間が統一されている例について説明してきたが、SVE露光制御により画素毎に露光時間を変えて撮像し、ダイナミックレンジを拡張するようにしてもよい。
すなわち、例えば、配置例311(図16における配置例171)で示されるような画素配列である場合、SVE露光制御により、画素に露光時間が短時間のものと長時間の2種類のものを設定して、ダイナミックレンジを拡張しつつ高解像度化するようにしてもよい。
より詳細には、8画素×8画素で示される配置例311においては、マスに色が付されている短時間露光画素と、色が付されていない長時間露光画素(これまでの露光時間と同様の画素)とが設定される場合の構成が示されている。ところで、画素単位で露光時間を制御する都合上、ある程度纏まった画素を少ない条件で制御する必要がある。そこで、ここでは、各行毎に3条件を特定するコマンドにより露光を制御する。
より具体的には、白色W、および緑色Gは、比較的高感度の画素であるので、行単位で露光時間が共通に制御するものとし、赤色Rおよび青色Bについて、個別に制御するものとする。配置例311の左側には各行毎に露光を制御するための条件例が記載されている。尚、配置例311の左部に記載される条件は、WGRBwgrbが、それぞれの色と露光時間を指定するものであり、小文字が短時間露光画素を示し、大文字が長時間露光画素を示している。また、文字と共に表記される数値は列番号を示しており、ここでは、左から奇数列が1で表され、偶数列が2で表される。
すなわち、配置例311で示されるように、最上段の行においては、短時間露光の緑色Gの2画素、長時間露光の赤色Rの2画素、および短時間露光の白色Wの4画素の3条件に振り分けられることが示されている。すなわち、配置例311の最上段においては、緑色G、白色W、および赤色Rの3色があり、緑色Gの2画素を短時間露光に制御する「g1」、赤色Rの2画素を長時間露光に制御する「R1」、白色Wの4画素を短時間露光に制御する「w2」からなる3条件が「g1/R1/w2」として表されている。
上から2段目の行においては、長時間露光の白色Wの2画素、長時間露光の緑色Gの2画素、長時間露光の青色Bの3画素、および、短時間露光の青色Bの1画素が存在することが示されている。これらを個別に制御するには4条件が必要となるが、白色Wと緑色Gについては共通の露光時間として制御するものとしてもよいので、白色Wと緑色Gのそれぞれ2画素を長時間露光に制御する「WG1」、青色Bの3画素を長時間露光に制御する「B2」、青色Bの1画素を短時間露光に制御する「b2」からなる3条件が「WG1/B2/b2」と表されている。
上から3段目の行においては、短時間露光画素の赤色Rの3画素、長時間露光の赤色Rの1画素、短時間露光の白色Wの2画素、および、短時間露光の緑色Gの2画素が存在することが示されている。これらを個別に制御するには4条件が必要となるが、白色Wと緑色Gについては共通の露光時間として制御するものとしてもよいので、赤色Rの3画素を短時間露光に制御する「r2」、赤色Rの1画素を長時間露光に制御する「R2」、白色Wと緑色Gのそれぞれ2画素を短時間露光に制御する「wg2」からなる3条件が「r2/R2/wg2」と表されている。
上から4段目の行においては、長時間露光画素の白色Wの4画素、短時間露光の青色Bの2画素、および長時間露光の緑色Gの2画素が存在することが示されている。これらを個別に制御するので、白色Wの4画素を長時間露光に制御する「W1」、青色Bの2画素を短時間露光に制御する「b2」、緑色Gの2画素を長時間露光に制御する「G2」からなる3条件が「W1/b2/G2」と表されている。
尚、下から4段目の行乃至最下段の行においては、最上段の行乃至上から4段目の行と同様である。
このように制御することにより、8画素×8画素において、W:G:B:R:w:g:b:r=12:8:6:6:12:8:6:6となり、色解像度、および輝度解像度を向上させ、偽色を低減させると共にダイナミックレンジを拡張することが可能となる。
尚、以上のカラーコーディングにおける画素配置については、画素の位置関係が保たれる限り、その他の配列となってもよく、例えば、上述した画素配置を45°に回転させた画素配列であってもよいものである。また、以上においては、白色W、緑色G、青色B、および赤色Rの4色を利用した例について説明してきたが、その他の色を利用するようにしてもよく、例えば、波長または周波数などで定義される色の光を4種類定義し、輝度を主成分とする波長の色と、色成分となる3種類の波長の色を利用するようにしてもよい。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
尚、本技術は、以下のような構成も取ることができる。
(1) 輝度を主成分とする光を検出する輝度画素と、
第1の波長の光を検出する第1の画素と、
第2の波長の光を検出する第2の画素と、
第3の波長の光を検出する第3の画素とを含み、
前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置される
固体撮像装置。
(2) 前記第1の画素、および前記第2の画素のそれぞれの欠損位置は、水平方向および垂直方向の両方、または、そのいずれかに等間隔に配置される
(1)に記載の固体撮像装置。
(3) 前記輝度画素は、前記輝度画素の欠損位置を均等に取り囲むように配置される
(1)に記載の固体撮像装置。
(4) 前記第3の画素はランダムに配置される
(1)に記載の固体撮像装置。
(5) 前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素を、それぞれ6:4:3:3の画素数比となるように配置される
(1)に記載の固体撮像装置。
(6) 前記第3の画素は行および列のそれぞれにおいて同数となるように配置される
(5)に記載の固体撮像装置。
(7) 前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素は、それぞれ7:3:3:3の画素数比となるように配置される
(1)に記載の固体撮像装置。
(8) 前記輝度画素、および第3の画素では、それぞれ斜め方向に隣接する画素間で画素値がアナログ加算されて転送され、前記第1の画素および前記第2の画素では、垂直方向に隣接する画素間で画素値がアナログ加算されて転送される
(1)に記載の固体撮像装置。
(9) 前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素の画素値は、それぞれの画素の重心位置における相互の相関により画素値が算出される
(8)に記載の固体撮像装置。
(10) 前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素は、それぞれ異なる複数の露光時間の画素を含む
(1)に記載の固体撮像装置。
(11) 前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素は、それぞれ第1の露光時間、および第2の露光時間の画素を含む
(10)に記載の固体撮像装置。
(12) 輝度を主成分とする光を検出する輝度画素と、
第1の波長の光を検出する第1の画素と、
第2の波長の光を検出する第2の画素と、
第3の波長の光を検出する第3の画素とを含み、
前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置される
撮像装置。
(13) 輝度を主成分とする光を検出する輝度画素と、
第1の波長の光を検出する第1の画素と、
第2の波長の光を検出する第2の画素と、
第3の波長の光を検出する第3の画素とを含み、
前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置される
電子機器。
10 CMOSイメージセンサ, 11 半導体基板(センサチップ), 12 画素アレイ部, 13 垂直駆動部, 14 カラム処理部, 15 水平駆動部, 16 変換部, 17 システム制御部, 20 色フィルタアレイ

Claims (10)

  1. 輝度を主成分とする光を検出する輝度画素と、
    第1の波長の光を検出する第1の画素と、
    第2の波長の光を検出する第2の画素と、
    第3の波長の光を検出する第3の画素とを含み、
    前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置され、
    前記第3の画素はランダムに配置され
    前記輝度画素、前記第3の画素、前記第1の画素、および前記第2の画素は、それぞれ6:4:3:3、または、7:3:3:3の画素数比となるように配置され
    固体撮像装置。
  2. 前記第1の画素、および前記第2の画素のそれぞれの欠損位置は、水平方向および垂直方向の両方、または、そのいずれかに等間隔に配置される
    請求項1に記載の固体撮像装置。
  3. 前記輝度画素は、前記輝度画素の欠損位置を均等に取り囲むように配置される
    請求項1または2に記載の固体撮像装置。
  4. 前記輝度画素、前記第3の画素、前記第1の画素、および前記第2の画素が、それぞれ6:4:3:3の画素数比となるように配置される場合、前記第3の画素は、行および列のそれぞれにおいて同数となるように配置される
    請求項に記載の固体撮像装置。
  5. 前記輝度画素、および第3の画素では、それぞれ斜め方向に隣接する画素間で画素値がアナログ加算されて転送され、前記第1の画素および前記第2の画素では、垂直方向に隣接する画素間で画素値がアナログ加算されて転送される
    請求項1に記載の固体撮像装置。
  6. 前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素の画素値は、それぞれの画素の重心位置における相互の相関により画素値が算出される
    請求項に記載の固体撮像装置。
  7. 前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素は、それぞれ異なる複数の露光時間の画素を含む
    請求項1に記載の固体撮像装置。
  8. 前記輝度画素、前記第1の画素、前記第2の画素、および前記第3の画素は、それぞれ第1の露光時間、および第2の露光時間の画素を含む
    請求項に記載の固体撮像装置。
  9. 輝度を主成分とする光を検出する輝度画素と、
    第1の波長の光を検出する第1の画素と、
    第2の波長の光を検出する第2の画素と、
    第3の波長の光を検出する第3の画素とを含み、
    前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置され、
    前記第3の画素はランダムに配置され
    前記輝度画素、前記第3の画素、前記第1の画素、および前記第2の画素は、それぞれ6:4:3:3、または、7:3:3:3の画素数比となるように配置され
    撮像装置。
  10. 輝度を主成分とする光を検出する輝度画素と、
    第1の波長の光を検出する第1の画素と、
    第2の波長の光を検出する第2の画素と、
    第3の波長の光を検出する第3の画素とを含み、
    前記第1の画素、および前記第2の画素は、それぞれ前記第1の画素、および前記第2の画素の欠損位置を均等に取り囲むように配置され、
    前記第3の画素はランダムに配置され
    前記輝度画素、前記第3の画素、前記第1の画素、および前記第2の画素は、それぞれ6:4:3:3、または、7:3:3:3の画素数比となるように配置され
    電子機器。
JP2015539111A 2013-09-25 2014-09-12 固体撮像装置、撮像装置、および電子機器 Expired - Fee Related JP6555530B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013197871 2013-09-25
JP2013197871 2013-09-25
PCT/JP2014/074243 WO2015045913A1 (ja) 2013-09-25 2014-09-12 固体撮像装置、撮像装置、および電子機器

Publications (2)

Publication Number Publication Date
JPWO2015045913A1 JPWO2015045913A1 (ja) 2017-03-09
JP6555530B2 true JP6555530B2 (ja) 2019-08-07

Family

ID=52743055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539111A Expired - Fee Related JP6555530B2 (ja) 2013-09-25 2014-09-12 固体撮像装置、撮像装置、および電子機器

Country Status (6)

Country Link
US (1) US9883150B2 (ja)
JP (1) JP6555530B2 (ja)
KR (1) KR102255571B1 (ja)
CN (1) CN105556958B (ja)
TW (1) TWI690209B (ja)
WO (1) WO2015045913A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
US9467632B1 (en) 2015-07-13 2016-10-11 Himax Imaging Limited Dual exposure control circuit and associated method
US9998695B2 (en) * 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器(美国)知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
CN107121853B (zh) * 2017-06-21 2020-08-07 上海天马微电子有限公司 一种液晶显示面板和液晶显示装置
TWI661726B (zh) * 2018-01-09 2019-06-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
CN112331682A (zh) * 2020-11-02 2021-02-05 天津津航技术物理研究所 一体式生长的马赛克式图像传感器结构和制备方法
CN116847211B (zh) * 2023-06-13 2024-03-08 广州城建职业学院 一种颜色滤波阵列的插值方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165975A (ja) * 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
JP2007288294A (ja) * 2006-04-13 2007-11-01 Matsushita Electric Ind Co Ltd 固体撮像装置およびカメラ
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP4626706B2 (ja) * 2008-12-08 2011-02-09 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8350940B2 (en) * 2009-06-08 2013-01-08 Aptina Imaging Corporation Image sensors and color filter arrays for charge summing and interlaced readout modes
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US9137432B2 (en) * 2011-09-16 2015-09-15 Samsung Electronics Co., Ltd. Backside illumination image sensor, operating method thereof, image processing system and method of processing image using the same
JP5212536B2 (ja) * 2011-12-09 2013-06-19 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置

Also Published As

Publication number Publication date
JPWO2015045913A1 (ja) 2017-03-09
WO2015045913A1 (ja) 2015-04-02
KR102255571B1 (ko) 2021-05-25
KR20160058796A (ko) 2016-05-25
CN105556958A (zh) 2016-05-04
US9883150B2 (en) 2018-01-30
TWI690209B (zh) 2020-04-01
CN105556958B (zh) 2018-11-06
US20160205359A1 (en) 2016-07-14
TW201513664A (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
JP6555530B2 (ja) 固体撮像装置、撮像装置、および電子機器
JP5359465B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US9736447B2 (en) Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
JP4683121B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP4626706B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR100660865B1 (ko) 이미지 센서에서 공유된 배선/트랜지스터를 가지는 픽셀회로 및 구동 방법
JP6180882B2 (ja) 固体撮像装置、信号処理装置、および電子機器
JP5884847B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5500193B2 (ja) 固体撮像装置、撮像装置、撮像及び信号処理方法
JP5212536B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5141757B2 (ja) 撮像装置、撮像及び信号処理方法
JP4446259B2 (ja) 固体撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190626

R151 Written notification of patent or utility model registration

Ref document number: 6555530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees