JP5971530B2 - モザイク画像からカラー画像を形成する方法、前記方法を実行するカメラプロセッサ、およびコンピュータの不揮発性のデータ記憶媒体 - Google Patents

モザイク画像からカラー画像を形成する方法、前記方法を実行するカメラプロセッサ、およびコンピュータの不揮発性のデータ記憶媒体 Download PDF

Info

Publication number
JP5971530B2
JP5971530B2 JP2013529759A JP2013529759A JP5971530B2 JP 5971530 B2 JP5971530 B2 JP 5971530B2 JP 2013529759 A JP2013529759 A JP 2013529759A JP 2013529759 A JP2013529759 A JP 2013529759A JP 5971530 B2 JP5971530 B2 JP 5971530B2
Authority
JP
Japan
Prior art keywords
signal
region
image
red
magenta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013529759A
Other languages
English (en)
Other versions
JP2013539294A5 (ja
JP2013539294A (ja
Inventor
ナム タイ，ヒョク
ナム タイ，ヒョク
Original Assignee
ナム タイ，ヒョク
ナム タイ，ヒョク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ナム タイ，ヒョク, ナム タイ，ヒョク filed Critical ナム タイ，ヒョク
Publication of JP2013539294A publication Critical patent/JP2013539294A/ja
Publication of JP2013539294A5 publication Critical patent/JP2013539294A5/ja
Application granted granted Critical
Publication of JP5971530B2 publication Critical patent/JP5971530B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H01L27/14647—Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14689—MOS based technologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

（関連出願との関係）
本願は、２０１０年９月２６日に出願された米国仮特許出願番号６１／３８６５３３、２０１０年１０月１２日に出願された米国仮特許出願番号６１／３９２０６９、及び２０１１年９月２４日に出願された米国特許出願番号１３／２４４３３６の優先権を主張する。
ここに開示された主題は、概して固体状態イメージセンサでカラー画像をサンプリングしてそのカラー画像を再現するための構造及び方法に関する。
デジタルカメラやデジタルビデオのような撮影機器は、静止又はビデオ画像に処理するために光を取り込む電子イメージセンサーを有する。電子イメージセンサーは、一般にフォトダイオードのような光を取り込む素子を数百万含んでいる。
図１Ａおよび図１Ｂは、原色のベイヤーパターンに応じて、従来技術のカラーフィルター配列を示す説明図である。
図２Ａおよび図２Ｂは、緑とマゼンタだけの色を採用する従来技術のカラーフィルター配列を示す説明図である。
第１の面によれば、本発明は、第１の導電型の基板によってサポートされているイメージセンサに関し、そのイメージセンサは、隣接ピクセルの２×２配列の２次元配列を含み、その２×２の配列は、１つの対角線に沿って配置されている一対の緑色のピクセルと他の対角線に沿ってされている赤色のピクセル及びマゼンタピクセルの一対とを含み、各緑のピクセルは、緑色のカラーフィルタとその緑色のカラーフィルタからの光を受光する光検出器とを含み、その赤色のピクセルは、赤色のカラーフィルタとその赤色のカラーフィルタからの光を受光する光検出器とがあり、そのマゼンタピクセルは、（ａ）マゼンタ色のフィルタと、（ｂ）垂直に積層された第２の導電型の第２の領域のグループと、（ｃ）その浅い第２の領域から電荷を転送するように結合されている第１の転送スイッチと、（ｄ）その深い第２の領域から電荷を転送するように結合されている第２の転送スイッチと、含む。そのグループは、（ｉ）浅い第２の領域と、（ｉｉ）深い第２の領域と、（ｉｉｉ）その浅い第２の領域とその深い第２の領域との間に位置された中二階第２の領域とを含む。
前記第１の面で、第１の導電型はｐ型、第２導電型はｎ型であってもよい。
前記第１の面で、前記マゼンタ色のフィルターでは、その透過率の極小が５２０ｎｍと５７０ｎｍとの間にある空気中の光の波長であることがさらに望ましい。
前記第１の面で、前記マゼンタ色のフィルターは、その透過率の極大が空気中の光の波長の４２０ｎｍと４８０ｎｍとの間であることが望ましい。前記マゼンタカラーフィルタは、６５０ｎｍの空気中の光の波長での５０％を超える透過率があることをまださらに望ましい。代わりに、前記マゼンタカラーフィルタは、５５０ｎｍの光の波長での透過率の少なくとも４倍である６５０ｎｍの空気中の光の波長透過率があることがさらに望ましい。
前記第１の面で、前記赤の画素は、１つの光検出器があることがさらに望ましい。前記１つの光検出器は、少なくとも１．５μｍの深さまで延びている１つ以上の電気的に接続された第２の領域を含むことがまたさらに望ましい。あるいは、前記１つの光検出器は、１つの型のキャリアがリセットの間に完全に空乏化されている別の第２の領域と積層されていない第２の領域があり、電気的に接続されていないことがまたさらに望ましい。
前記第１の面で、前記マゼンタ画素は、前記浅い第２の領域と前記中二階第２の領域との間にある浅い第１の領域をさらに備えていることがさらに望ましい。これは、ピクセルアレイが前記深い第２の領域と前記中二階第２の領域との間にある深い第１の領域をさらに含むことさらに望ましい。前記浅い（または深さ）第１の領域は、前記深い第２の領域と前記浅い第２の領域とのどちらかまたは両方の電荷蓄積期間に自身を横切って水平方向に連続中性領域を維持することをまたさらに望ましい。前記中性領域は、前記中二階第２の領域から延びる第１の空乏領域と前記中性領域の向こう側にある深いか浅い第２の領域から延びる第２の空乏領域とに挟まれていることがまたさらに望ましい。
前記第１の面では、前記中二階第２の領域は、前記浅い第２の領域から成長した第１の空乏領域と前記深い２の領域から成長した第２の空乏領域との間に挟まれている中性領域を維持して、そしてそれによって前記浅い第２の領域と前記深い第２の領域の間の容量結合が減衰されることがさらに望ましい。前記中性領域は、電荷蓄積期間が前記浅い第２の領域または前記深い第２の領域に始まるときに所定の電圧レベルに保持され、そして、前記電荷蓄積期間が終了するときに所定の電圧レベルに保持されていることがまたさらに望ましい。あるいは、前記中性領域は、電荷蓄積期間が前記浅い第２の領域または前記深い第２の領域に始まるとき、第１の電圧レベルに保持され、そして、前記電荷蓄積期間が終了するとき、前記第１の電圧レベルに保持されていることがまた更に望ましい。
第２の面によれば、本発明は、画像画素の２×２配列の２次元アレイを含むモザイク画像からカラー画像を形成するための方法に関し、その２×２配列の各々は、１つの対角線に沿って配置された一対の緑色の画像画素と他の対角線に沿って配置された赤の画像画素及びマゼンタ画像画素の一対とを含み、その赤の画像画素は、基本的に赤のスペクトル応答がある第１の信号を含み、そのマゼンタ画像画素は、本質的に赤いスペクトル応答がある第２の信号を含み、その方法は、第３の信号を形成して、少なくともその第１の信号及び第２の信号の関数としてのマゼンタの画像画素の赤の色を表現することを含む。前記第２の信号に対する前記第３の信号の導関数が有する大きさは、極小があることが望ましい。前記第２の信号の範囲内の極小の位置は、前記第１の信号に応じて変化しることがさらに望ましい。前記大きさは、前記極小と前記大きさが最大であるところとの間に少なくとも２倍だけ変化することがさらに望ましい。あるいは、第１の信号に対する第３の信号の導関数は、第２の信号が極小を達成するところが、第２の信号が異なる状態になっている場所よりも大きいことがさらに望ましい。あるいは、前記マゼンタ画像画素に隣接する別の赤の画像画素が含む別の赤の画素信号が前記第１の信号と同一である場合、前記大きさに対する極小値は、前記第１の信号と前記モザイク画像の赤の画素信号値の範囲の４分の１だけ異なる場合よりも小さいことがさらに望ましい。
前記第２の面で、前記マゼンタの画像画素は、さらにマゼンタスペクトル応答を有する第４の信号を含むことができる。この方法は、さらに、前記第４の信号の第２の倍数から前記第２の信号の第１の倍数を差し引くことによって、前記マゼンタの画像画素に対する青色を表現する第５の信号を形成することを含んでもよい。代わりに、この方法は、前記第４の信号の第２の倍数から前記第３信号の第１の倍数を差し引くことによって、マゼンタ画像画素に対する青色を表現する第５の信号を形成することを含んでもよい。
第３の面によれば、本発明は、第２の面に関連して上記で説明したようのモザイク画像を受け取り、マゼンタ画像画素に対する第３の信号を出力するデモザイク部（または手段）に関する。前記第３信号は、本質的に赤色であるスペクトル応答があり、ＳＮ比が前記第２の信号より良い、少なくとも前記第１及び第２の信号の関数がである。前記第２の信号に対する前記第３信号の導関数が有する大きさは、極小があることが望ましい。前記第２の信号の範囲内で前記極小の値の位置は、前記第１の信号に従って変化することがさらに望ましい。前記大きさは、前記極小と前記大きさが最大であるところとの間、少なくとも２倍だけ変化することがさらに望ましい。代わりに、前記第２の信号が前記極小を達成した場合、前記第１の信号に対する前記第３の信号の導関数は、前記第２の信号が異なる状態になっている場合よりも大きいことがまたさらに望ましい。
第４の面によれば、本発明は、コンピュータ実行可能命令を載す不揮発性のコンピュータのデータ記憶媒体に関する。それらの命令は、前記デモザイク部によって実行されるとき、コンピュータ実行可能命令を実行するは、デモザイク部が前記方法の１以上の面をする。
本発明の第５の面によれば、マゼンタカラーフィルタが浅いフォトダイオードと深いフォトダイオードとに光を透過する。この浅いフォトダイオードは、第１の転送スイッチに接続されている。この深いフォトダイオードは、第２の転送スイッチに接続されている。この第２の転送スイッチは、深いフォトダイオードから発生する光の応答出力信号が第１および第２の転送スイッチと浅いおよび深いフォトダイオードと含まれているピクセルアレイ外のサンプリング・コンデンサにサンプリングされるときに、三極管領域にあるのに対し、前記浅いフォトダイオード上に集積した電荷が検出ノードに転送された後、第１の転送スイッチは、対応する出力信号がそのピクセルアレイ外のサンプリング・コンデンサにサンプリングされるときに、非導通状態にある。
図１Ａ、図１Ｂは、原色のベイヤーパターンに従って、従来技術のカラーフィルタの配列を示す説明図である。 図１Ａ、図１Ｂは、原色のベイヤーパターンに従って、従来技術のカラーフィルタの配列を示す説明図である。 図２Ａ、図２Ｂは、緑とマゼンタの色を採用した従来技術のカラーフィルタの配列を示す説明図である。 図２Ａ、図２Ｂは、緑とマゼンタの色を採用した従来技術のカラーフィルタの配列を示す説明図である。 イメージセンサの一実施例を示す概略図である。 画像キャプチャシステムの実施例を示す概略図である。 図５Ａ、図５Ｂは、カラーフィルターの配列を示す説明図である。 図５Ａ、図５Ｂは、カラーフィルターの配列を示す説明図である。 カラーフィルターとピクセルアレイの実施例での隣接するピクセルの２×２のグループの４つのピクセルの各々の対応する光検出器とを示す概略図である。 図７Ａ、図７Ｂ、図７Ｃは、ピクセルアレイ内の光検出器および関連する回路を示す概略図である。 図７Ａ、図７Ｂ、図７Ｃは、ピクセルアレイ内の光検出器および関連する回路を示す概略図である。 図７Ａ、図７Ｂ、図７Ｃは、ピクセルアレイ内の光検出器および関連する回路を示す概略図である。 積層されたフォトダイオードを含むマゼンタピクセルの実施例の垂直断面を示す説明図である。 ＹＹ’垂直単一点鎖線に沿って図８に示すマゼンタピクセルの積層フォトダイオードを通じる純ドーピング濃度の鉛直分布を示すグラフを示す説明図である。 図１０Ａ、図１０Ｂ、図１０Ｃは、フォトダイオードのスタック内の中二階フォトダイオードに接続する端子Ｖｓｉｎｋを駆動させるための３つの代替構成を示す説明図である。 貫通の深さの関数として、光子がシリコンを貫通する確率を示すグラフを示す説明図である。 空気中の光の波長の関数として、浅いフォトダイオードと深いフォトダイオードとによる光子の吸収の効率を示すグラフを示す説明図である。 空気中の光の波長の関数として、第１のマゼンタカラーフィルタの光透過率を示すグラフを示す説明図である。 第１マゼンタフィルターと一緒に深いと浅いフォトダイオードのスペクトル応答と、それらの間の加重の差である複合応答とを示すグラフを示す説明図である。 空気中の光の波長の関数として、第２のマゼンタカラーフィルタの光透過率を示すグラフを示す説明図である。 第２のマゼンタフィルターと一緒に深いと浅いフォトダイオードのスペクトル応答と、それらの間の加重の差である複合応答とを示すグラフを示す説明図である。 マゼンタピクセルの第２の実施例の縦断面を示す説明図である。 ＹＹ’垂直単一点鎖線に沿ってマゼンタ画素の第２の実施例の図１７に示すマゼンタピクセルの積層フォトダイオードを通じる純ドーピング濃度の鉛直分布を示すグラフを示す説明図である。 中二階第２の領域を横断して水平に延びる中性領域を挟む浅い第２の領域からの空乏領域と深い第２の領域からの空乏領域とを示す説明図である。 マゼンタピクセルの第３の実施例の垂直断面を示す説明図である。 マゼンタピクセルの第３の実施例の図２０の垂直単一点鎖線Ｙ−Ｙ’に沿っての純ドーピング濃度の鉛直分布を示す説明図である。 空気中の光の波長の関数として、第３の実施例の浅いと深いフォトダイオードによって光子を吸収する効率を示すグラフを示す説明図である。 第１のマゼンタフィルターと一緒に第３の実施例の深いと浅いフォトダイオードのスペクトル応答と、それらの間の加重の差である複合応答とを示すグラフを示す説明図である。 赤色のピクセルの一実施例の垂直断面を示す説明図である。 赤色のピクセルの別の実施例の垂直断面を示す説明図である。 空気中の光の波長の関数として第１の赤色のカラーフィルタの光の透過率を示すグラフを示す説明図である。 空気中の光の波長の関数として第２の赤色のカラーフィルタの光の透過率を示すグラフを示す説明図である。 ｂｅｔａの関数として、深いフォトダイオードから発生する信号Ｄのための重量ｗＤの変化を示すグラフを示す説明図である。ｂｅｔａは、Ｄのノイズの標準偏差の倍数に信号ＤとＤに関しない補間された信号Ｙとの間の差の比率を測定する。 マゼンタピクセルために深いフォトダイオード信号Ｄと生成された赤色の画素信号Ｒとの間の関係を示し、セクションを有するグラフを示す説明図である。 深いフォトダイオード信号Ｄに対する図２９の赤の画素信号Ｒの導関数を示すグラフを示す説明図である。 深いフォトダイオード信号Ｄと第１の赤の画素信号ＲＹと第２の赤色画素信号ＲＺとの関係を示すグラフを示す説明図である。 ２つの異なる平坦なセクションがあり、深いフォトダイオード信号Ｄと生成された赤の画素信号Ｒとの関係を示すグラフを示す説明図である。 深いフォトダイオード信号Ｄに対する図２８の赤の画素信号の導関数を示すグラフを示す説明図である。 カメラプロセッサのブロック図を示す説明図である。
ここは、基板によって支持されたピクセルアレイ上の赤、緑、マゼンタのカラーフィルタアレイを含むイメージセンサが開示される。
図３と図４は、それぞれ、本発明によるイメージセンサ１０と本発明による撮像システム２０２とを記述する。
さらに具体的に参照番号で図面を参照すると、図３は、ピクセルアレイ１２、ロウデコーダ２０、光リーダ１６、およびＡＤＣ２４を備えるイメージセンサ１０の実施例を示す。前記ピクセルアレイは、ピクセルの２×２のグループ１５の２次元配列を含み、各ピクセルは、１つ以上の光検出器とこの光検出器に達する前に光をフィルタリングするカラーフィルタとを備える。バス１８は、カラムに従ってピクセルを接続するカラム出力信号線を含む。光リーダ１６は、米国特許番号７２３３３５０に記載され、または、米国特許出願番号１２／６３９９４１で説明されている。それは、バス１８の各カラム出力信号をサンプリングするための１つ以上のコンデンサがある。光リーダ１６からのアナログ出力信号２６は、バス６６上に出力されるデジタル画像データに変換するために、ＡＤＣ ２４に供給される。ロウデコーダ２０は、行に従ってピクセルがリセットと選択と電荷の転送とを行ごとにするために、バス２２にロウ信号を提供する。カラーフィルタアレイ１３は、ピクセルアレイ１２のフォトディテクタをオーバーレイするカラーフィルタの２次元配列です。
図４は、イメージセンサ１０は、フォーカスレンズ２０４と、駆動モータや回路２１８と、プロセッサ２１２と、入力装置２０６と、ディスプレイ２１４と、記憶装置２１６とを含む撮像システム２０２の実施例を示す。
ピクセルアレイ
図５Ａ−７Ｃは、ピクセルアレイ１２を記述する。
図５Ａおよび５Ｂは、本発明のカラーフィルタアレイを示す説明図である；
図５Ａは、本発明に係るカラーフィルタアレイ１３を示す。ピクセルアレイ１２から出力する画像は、“垂直走査”を矢印の方向に、下部から始まってトップへ進行する。カラーフィルタアレイ１３は、緑（Ｇ）と、赤（Ｒ）と、マゼンタ（Ｍ）との色のカラーフィルタの２次元配列のように編成された。さらに具体的には、カラーフィルタアレイ１３は、１つの対角線に沿って配置された１対の緑（Ｇ）のカラーフィルタと他の対角線に沿って配置された赤（Ｒ）のカラーフィルタとマゼンタ（Ｍ）のカラーフィルタとの１対とで構成された２×２単位１３ａで構成された２次元配列のように編成された。
図５Ｂは、本発明に係るカラーフィルタアレイの代替実施例として、カラーフィルタアレイ１３’を示す。このカラーフィルタアレイ１３’は、垂直走査方向に対して４５度だけ回転している。さらに具体的に、カラーフィルタアレイ１３’は、垂直走査方向に対して４５度だけ回転されている２×２単位１３ａ’で構成された二次元配列のように構成されている。
図６は、その２×２のピクセル群１５にある４つのピクセルの概略図である。この概略図は、その４つのピクセルのそれぞれに対して、カラーフィルターとそれに対応する光検出器（複数可）とを示す。１対の緑色のカラーフィルタ１１４Ｇと、１つの赤色のカラーフィルタ１１４Ｒと、１つのマゼンタカラーフィルター１１４Ｍとは、図５Ａに示す２×２単位１３ａのような順序に配置されている。右上で、緑色のピクセル１４ａは、フォトダイオード１００のために光をフィルタリングする緑色のカラーフィルタ１１４Ｇがある。右下で、マゼンタのピクセル１４ｂは、フォトダイオード１１４ｅとフォトダイオード１００ｂとのために光をフィルタリングするマゼンタカラーフィルタ１１４Ｍがある。左下で、緑色のピクセル１４ｃは、フォトダイオード１００ｃために光をフィルタリングする緑色のカラーフィルタ１１４Ｇがある。左上で、赤色のピクセル１４ｄは、フォトダイオード１００ｄために光をフィルタリングする赤色のカラーフィルタ１１４Ｒがある。
図７Ａ、７Ｂおよび７Ｃは、光検出器１００Ａ−１００Ｅと模範的なピクセル群１５内の回路との概略図である。
図７Ａは、それぞれ２個の緑色のピクセル１４ａ、１４ｃの光検出器１００ａ、１００ｃを示す。それらは、それぞれ転送スイッチ１１７ａ、１１７ｃによって検出ノード１１１に接続されている。バス２２のロウ信号ＴＦ（ｎ＋１）１２１ａ（またはＴＦ（ｎ）１２１ｂ）の高いパルスは、オンに転送スイッチ１１７ａ（または１１７ｃ）をして検出ノード１１１にフォトダイオード１００（または１００ｃ）から電荷を転送する。出力トランジスタ１１６は、ロウデコーダ２０によってバス２２に出力されたロウ信号ＳＥＬ（ｎ）１２２によってオンにされる選択スイッチ１１４を介して、コラムの出力信号線ＯＵＴ（ｍ）１２４に、検出ノード１１１がある検出ノードの電圧信号をバッファする。
１つのモードでは、転送スイッチ１１７ａ、１１７ｃは、それぞれ信号ＴＦ（ｎ）と信号ＴＦ（ｎ＋１）との電荷転送パルスをオーバーラップすることなく、オンに別々にされず可能性がある。他のモードでは、転送スイッチ１１７ａ、１１７ｃは、同時に導通状態になってフォトダイオード１１０ａ、１００ｃからの電荷を加算する可能性がある。
コラム出力信号線ＯＵＴ（ｍ）１２４上に出力信号は、バス１８の一部であり、光リーダ１６によってサンプリングされてもよい。米国特許出願番号１２／６３９９４１は、このような回路のスイッチを操作してカラム出力信号をサンプリングする順序の様々な方法を示し、様々な方法は、参照により本明細書に組み込まれている。代わりに、固定されたフォトダイオード（”ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ”）のための従来の相関二重サンプリング（”ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ”）に従って、それらのスイッチが操作されてカラム出力信号がサンプリングされる可能性がある。
フォトダイオード１００ａ（または１００ｃ）と、転送スイッチ１１７ａ（または１１７ｃ）と、リセットスイッチ１１２と選択スイッチ１１４とは、米国特許出願番号１２／６３９９４１に示されている任意の方法に従って操作することができる。特に、リセットスイッチ１１２と転送スイッチ１１７Ａ（または１１７Ｃ）との両方が三極管領域であるとき、光リーダは、出力トランジスタ１１６によってコラム信号線ＯＵＴ（ｍ）１２４に送信された出力信号をサンプリングして、光検出器１００ａ（または１００ａ）の電荷の蓄積が開始する。そして、転送スイッチ１１７ａ（または１１７ｃ）が三極管領域に在留している間リセットスイッチ１１２がオフになって出力信号が再びサンプリングされる。出力信号は、転送スイッチ１１７ａ（または１１７ｃ）がオフになった後、最終的に再びサンプリングされる。その後、これらの３つのサンプル信号の間の記号された加重和は、形成されてノイズ信号を提供する。転送スイッチが非導電性であり、リセットスイッチ１１２が三極管領域である間、電荷蓄積を終了するためには、出力トランジスタ１１６からの出力信号がコラム信号線ＯＵＴ（ｍ）１２４にサンプリングされる。その後、リセットスイッチ１１２はオフになり、コラム信号線ＯＵＴ（ｍ）１２４での出力信号はサンプリングされる。転送スイッチ１１７ａ（または１１７ｃ）が三極管領域に切り替えられるときに、信号線ＯＵＴ（ｍ）１２４での出力信号は、再度サンプリングされる。そして、これらの３つのサンプリングされた信号の間の記号された加重和が形成されて、光の応答信号を提供する。ノイズ信号が光の応答信号から減算されて、雑音除去された光応答出力信号を提供する。この減算は、イメージセンサ１０またはプロセッサ２１２で行ってもよい。
別の方法として、フォトダイオード１００ａ（または１００ｃ）と、転送スイッチ１１７ａは（または１１７ｃ）と、リセットスイッチ１１２と、選択スイッチ１１４とは、固定されたフォトダイオード（”ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ”）のピクセルの相関二重サンプリング（”ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ”）方法に従って動作することができる。電荷蓄積を開始するには：（ｉ）転送スイッチ１１７ａ（または１１７ｃ）とリセットスイッチ１１２とをオンにして完全にフォトダイオード１００ａ（または１００Ｃ）を枯渇させる。（ｉｉ）転送スイッチ１１７ａ（または１１７ｃ）とリセットスイッチ１１２とを切る。電荷蓄積を終了するには：（Ａ）ロウ信号ＲＳＴ（ｎ）１１８が正のパルスがあるので、リセットスイッチ１１２がオンになり、そしてオフになる。センシングノード１１１をリセットする。（Ｂ）ロウ信号ＳＥＬ（ｎ）１２２は、選択スイッチ１１４を選択して、バッファリングされ、レベルシフトされたリセット出力信号が出力トランジスタ１１６から光リーダ１６に送信される。（Ｃ）光リーダは、出力信号をサンプリングする。（Ｄ）転送スイッチ１１７ａ（または１１７ｃ）がオンになって、電荷がフォトダイオード１００ａ（または１００ｃ）から検出ノード１１１に転送される。（Ｅ）光リーダは、出力トランジスタ１１６からの出力信号をサンプリングする。（Ｆ）それらの２つのサンプリングされた出力信号の間の差は取る。
図７Ｂは、それぞれマゼンタピクセル１４ｂの光検出器１００ｂと赤色ピクセル１４ｄの光検出器１００ｄとをサポートする回路の概略図を示す。図７Ｃは、マゼンタピクセル１４ｂの光検出器１００ｅをサポートする回路の概略図を示す。図７Ａに示すように、光検出器１００ｂと１００ｄと１００ｅとの各々は、その最初のリセットと最終のセンシングとは、米国特許出願番号１２／６３９９４１の方法または前記相関二重サンプリング方法のいずれかに従って動作することができる。
フォトダイオードおよびロウ制御信号ＲＳＴ（ｎ）とＴＦ（ｎ）とＴＦ（ｎ−１）との間及びフォトダイオードおよびコラム制御信号ＯＵＴ（ｍ）とＯＵＴ（ｍ＋１）とＯＵＴ２（ｍ）の間の配置と相互接続とは、図５Ｂに記載された４５度だけ回転されたカラーフィルタアレイに適応させるためのように、当業者がすることができるようなさまざまな方法で再配置することができる。
さらに、光検出器のいずれかの関連回路は、上記のように米国特許出願番号１２／６３９９４１の方法に従って操作されることができるのに対し、別の光検出器は、相関二重サンプリングの方法に従うことができる。例えば、光検出部１１０ｅは、それに関連するリセットスイッチ１１２”と転送スイッチ１１７ｅとが従来の固定されたフォトダイオード（”ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ”）の相関サンプリング方法に応じて操作されることができるが、一方では、同じマゼンタのピクセル１１４ｂの光検出器１００ｂは、その転送スイッチ１１７ｄが米国特許出願番号１２／６３９９４１の方法に従って操作されることができる。それは、フォトダイオード１００ｂからの光反応出力信号が光リーダ１６によってサンプリングされるときには、フォトダイオード１００ｂのための転送スイッチ１１７ｄが三極管領域であるが、一方では、フォトダイオード１１５ｅのための転送スイッチ１１７ｅは、フォトダイオード１００ｅに蓄積された電荷が検出ノード１１１に転送された後、ＯＵＴ２（ｍ）信号線での対応する出力信号がサンプリング・コンデンサにサンプリングされたとき、非導通状態にあることに注意されている。そうすることで、次のような利点がある。まず、完全に深いフォトダイオードから電子を枯渇させることが困難であるために、それが従来の固定されたフォトダイオード（”ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ”）の相関二重サンプリングによって完全にリセットすることが困難であるが、米国特許出願番号１２／６３９９４１の方法は、リセットノイズをキャンセルするために、フォトダイオードの電子を枯渇させることが必要ない。第二に、浅いフォトダイオードは、米国特許出願番号１２／６３９９４１の方法よりも簡単の回路がある従来の固定されたフォトダイオード（”ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ”）相関二重サンプリング（”ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ”）に従ってうまく機能することができる。さらに、相関二重サンプリング法に基づいて動作するような光検出器は、バス２２のロウ制御信号ＲＳＴ２（ｎ）および／またはＴＦ２（ｎ）の別個のセットを備えていてもよい。それらのロウ制御信号は、上記の相関二重サンプリング制御シーケンス（ｉ）〜（ｉｉ）及び（Ａ〜−（Ｅ）に従ってパルスをする。
マゼンタピクセル
図８から図２３までは、マゼンタピクセル１４ｂを説明する。
マゼンタ画素の第１の実施例
図８は、本発明に従う積み重ねられたフォトダイオード１００ｅと１００ｆと１００ｂとを含むマゼンタピクセル１４ｂの第１の実施例の縦断面を示す。深いフォトダイオード１００ｂと浅いフォトダイオード１００ｅは、第１の導電型、好ましくはｐ型の低濃度にドープされた半導体基板５６に形成されたおり、さらに好ましくは５ｅ１４／ｃｍ３と５ｅ１５／ｃｍ３との間のドーピング濃度がある。基板５６は、１ｅ１９／ｃｍ３を超えるドーピング濃度を有する高濃度にドープされたｐ−基板の上に軽くドープされたｐ−エピ層であってもよい。ダイオード１００ｂは、基板５６に最も深いであり、第２の導電型、好ましくは、ｎ型の深い第２の領域５４ｃを備えている。浅いフォトダイオード１００ｅは、基板５６に浅いであり、深い第２の領域５４ｃの上に積層されており、表面の第１の領域６３下にある第２の導電型の浅い第２の領域５４ａを備えている。その表面の第１の領域６３は、浅い第２の領域５４ａから成長する空乏領域を、基板５６の上面インターフェイスに到達するのから、防ぐ。浅い第１の領域６５ａと浅い第１の領域６５ａ下の深い第１の領域６５ｂとは、両方が第１の導電型に属し、フォトダイオード１００ｂと１００ｅとを分離した。さらに、浅い第１の領域６５ａと深い第１の領域６５ｂは、第２の導電型の中二階第２の領域５４ｂを備えている中二階フォトダイオード１００ｆを挟まる。一緒に、浅い１００ｅと中二階１００ｆと深い１００ｂフォトダイオードは、マゼンタピクセル１４ｂの積み重ねられたフォトダイオードを構成する。
浅い第２の領域５４ａは、好ましくは０４ｕｍと１．２ｕｍとの間の深さに達する。深い第２の領域５４ｃは、好ましくは、１．７ｕｍと２．５ｕｍとの間の深さから始まる。中二階第２の領域５４ｂは、好ましくは、１ｕｍと２ｕｍとの間、さらに好ましくは、１．２ｕｍと１．８ｕｍの間の深度を占めている。
この実施例では、マゼンタ画素１４ｂの上からの入射光は、まず、マゼンタカラーフィルタ１１４Ｍによってフィルタリングされ、その後、カスケード接続された光導波路１３０、１１６のペアを介して積層されたフォトダイオードに送信される。
第１の導電型のバリア領域６４は、深い第２の領域５４ｃの横に基板５６内に配置されており、隣接する緑色のピクセル１１４ａ、１１４ｃまたは赤色のピクセル１１４ｄのいずれかから生えている空乏領域から深い第２の領域５４ｃを分離する。バリア領域６４の純ドーピング濃度は、好ましくは１ｅ１６／ｃｍ３ と７ｅ１７／ｃｍ３との間にピークに達し、基板５６の背景ドーピング濃度よりも高い。バリア領域６４は、隣接した緑と赤のピクセルのいずれかから生えている空乏領域から、深い第２の領域５４ｃから生えている空乏領域を分離する中性領域を自体に維持して、基板５６を横切っての容量結合を介して起こるピクセル間のクロストークを低減する。
深い第２の領域５４ｃは、第２の導電型に属する第２の領域５７ｂと５５ｂとにより、転送スイッチ１１７ｂを接続されている。転送スイッチ１１７ｂは、ゲート５８ｂおよび検出ノード１１１である（第２導電型の、基板５６の上部界面で）ドレイン拡散を含む。検出ノード１１１は、さらに、（単に記号で示されている）出力トランジスタ１１６およびリセットスイッチ１１２に接続されている。
浅い第２の領域５４ａは、第２の導電型の第２の領域５５ｅによって転送スイッチ１１７ｅに接続されている。転送スイッチ１１７ｅは、ゲート５８ｅと検出ノード１１１”である（第２の導電型の）ドレイン拡散とを含む。検出ノード１１１”は、（単に記号で示されている）リセットスイッチ１１２”および出力トランジスタ１１６”にさらに接続されている。
中二階第２の領域５４ｂは、の第２の領域５５ｆの連鎖によって図８の拡散ノードＶｓｉｎｋに電気的に接続されているが、その拡散は、以下に説明する図１０Ｃに概略的に示すように、第２の領域５５ｅ及び表面第１の領域６６ａと同様である構成と、転送スイッチ１１７ｅと同様のスイッチと、に置き換えることができる。
追加の第１の領域６６ａと６６ｂは、マージとは異なるフォトダイオード１００ｂと１００ｅと１００ｆとから成長された空乏領域を、接合することから防ぐ。
図９は、図８に示すマゼンタピクセルの積層されたフォトダイオードを通じて純ドーピング濃度の鉛直分布を示すグラフである。”Ａ”は、浅い第２の領域５４Ａの純ドーピング濃度を標す。”Ｂ”は浅い第１の領域６５ａのことである。”Ｃ”は中二階第２の領域５４ｂのことである。”Ｄ”は深い第１の領域６５Ｂのです。”Ｅ”は深い第２の領域５４ｃです。”Ｅ”は基板５６のことである。
図１０Ａと図１０Ｂと図１０Ｃとは、フォトダイオードのスタック内の中二階フォトダイオード１００ｆに接続された端子Ｖｓｉｎｋを駆動するための３つの代わりの構成を示す。図１０Ａは、Ｖｓｉｎｋがグランドに接続されたことを示す。図１０Ｂは、グランドと調整可能な電圧レベルを提供することができる電圧源との間に切り替えるバッファにより駆動された端子Ｖｓｉｎｋを示す。図１０Ｃは、可変電圧源をバッファするバッファによりスイッチを介して駆動されている端子Ｖｓｉｎｋを示す。
Ｖｓｉｎｋ端子は、浅いフォトダイオード１００ｅまたは深いフォトダイオード１００ｂに、電荷蓄積期間が始まるときに所定の電圧レベルに保持されており、電荷蓄積期間が終了するときに所定の電圧レベルに保持することができる。より好ましくは、電荷蓄積期間が浅い第２の領域１００ｅまたは深い第２の領域１００ｂに始まるときに、Ｖｓｉｎｋ端子が第１の電圧レベルで保持され、この電荷蓄積期間が終了するときに、それが前記第１の電圧レベルに保持されることができる。さらに好ましくは、前記Ｖｓｉｎｋ端子が前記電荷蓄積期間を通じて一定の電圧に保持される。中性領域では、中二階第２の領域５４ｂからＶｓｉｎｋ端子に続けている。この中性領域はＶｓｉｎｋ端子の電圧があり、中二階第２の領域５４ｂ内の電子を一掃するように作用する。浅い第２の領域５４ａに吸収されなく、中二階第二領域５４ｂに吸収された約５００±２０ｎｍの波長の光子は、中二階第２の領域５４ｂ内に自由電子を生成する。これらの自由電子は、基板から一掃されて、深いフォトダイオード１００ｂによってキャプチャされることを防ぐ。さもなければ、そのキャプチャは、深いフォトダイオードが５００±２０ｎｍの波長の範囲のスペクトル応答を持たせることが引き起こす。
同様に、中二階第２の領域は、転送スイッチ１１７ｅ（または１１７ｂ）が浅い第２の領域５４ａと深い第２の領域５４ｃとのどちらか一方からフローティング状態にある検出ノード１１１”（または１１１）に電荷を転送するために導電性の状態にある時、電位に電気的に維持することができる。
図１１は、貫通の深さの関数として、光子がシリコンを貫通する確率を示すグラフです。特に、それはあることを示している：（Ａ）４５０ｎｍの波長（青）の光子は、約９０％がシリコンの最初の４５０μｍ以内に吸収されると、（Ｂ）６５０ｎｍの波長（赤）の光子は、４０％が２μｍを超えて生き残り、５０％が３μｍを超え生き残ると、（Ｃ）１μｍと２μｍの間には、シリコンは６５０ｎｍの波長の光子の２０％と５５０ｎｍの波長の光子（緑）光子の３０％と４５０ｎｍの波長（青）の光子の１０％とを吸収する。
図１２は、空気中の光の波長の関数として、それぞれ浅いフォトダイオード１００ｅと深いフォトダイオード１００ｂとによって光子を吸収する効率を示すグラフである。この吸収効率は、（空気中の）特定の波長の光子によって生成されたキャリアがフォトダイオードによって捕捉される確率である。中二階フォトダイオード１００ｆによってキャプチャされたキャリアは、Ｖｓｉｎｋ端子を介して削除される。図１２に示すように、浅いフォトダイオード１００ｅの吸収効率は、紫の範囲（波長＜４５０ｎｍ）で最高であり、波長が４５０ｎｍを超えて増加するにつれて赤の範囲（波長＞６００ｎｍ）内で約０．２に着実に低下する。深いフォトダイオード１００ｂとは、他方、吸収効率は、赤の範囲で最も高く、約０．２５であり、波長が５００ｎｍに減少するにつれて０．０５の下に着実に落ちる。
マゼンタカラーフィルタ１１４Ｍは、５００ｎｍと６００ｎｍとの間の波長の緑色の光の透過率が低い、１０％以下の最小値に達する必要がある。４００ｎｍと５００ｎｍとの間の波長の青色光に対して高い透過率があり、それは、４５０ｎｍ±２０ｎｍでピークして緑色の最小値の少なくとも４倍であるピーク透過率を達する必要がある。また、それは、６００ｎｍより大きい波長の赤色光に対して高い透過率があり、６５０ｎｍ±３０ｎｍでの最大の透過率の１０％以内に達するべきである。
図１３は、空気中の光波長の関数として第１のマゼンタカラーフィルタの光の透過率を示したグラフである。前記透過率は、２つのピークの範囲がおり、それらの中心がそれぞれ４５０ｎｍ（”青い山”）と６５０ｎｍ（”赤い山”）との周りの波長におり、谷が５００ｎｍおよび６００ｎｍの間の波長におり、４１０ｎｍの下の波長に対して青色ピークの最大透過率の１０％未満に減少する。
それは、ピクセルアレイ１２で採用されたマゼンタ色のカラーフィルタおよび／または赤色のカラーフィルタの透過率が赤の範囲（６００ｎｍから７００ｎｍまで）内に６５０±２０ｎｍの上で低下することの代わりに肩を図１３に示すように示す場合、赤外線フィルタは、６５０±２０ｎｍを超えてのマゼンタ／赤色のカラーフィルタと赤外線フィルターとの複合透過率が赤の範囲のピークの透過率よりかなり小さいように低下し、好ましくは７００ｎｍの波長で１０％未満ように、ピクセルアレイ１２の前の光の経路に配布されることができること留意すべきである。
図１４は、第１のマゼンタフィルター組み合わせて、深いフォトダイオード１００ｂと浅いフォトダイオード１００ｅのスペクトル応答と、それらの間の加重の差とのグラフを示している。Ｓｈａｌｌｏｗ１というラベルを付いた浅いフォトダイオード１００ｅからのスペクトル応答は、４３０ｎｍと４７０ｎｍの中央にピークがある青の範囲（４００ｎｍから５００ｎｍまで）内の釣鐘状を有しており、５５０ｎｍの付近で極小がある。Ｓｈａｌｌｏｗ１は、赤の範囲内の肩がおり、その高さが青色領域のピークの高さの約４分の１である。
他方、Ｄｅｅｐ１のラベルが付いた深いフォトダイオード１００ｂからのスペクトル応答は、Ｓｈａｌｌｏｗ１のように赤の範囲の肩があるが、青色領域では無視できる。
Ｓｈａｌｌｏｗ１とＤｅｅｐ１の両方は、第１のマゼンタカラーフィルタの透過率の極小値が波長のこの範囲にあることによって、５５０ｎｍ±２０ｎｍの周りでスペクトル応答の極小がある。
図１４は、Ｓｈａｌｌｏｗ１とＤｅｅｐ１間の加重の差、すなわちＳｈａｌｌｏｗ１−Ｋ・Ｄｅｅｐ１である複合スペクトル応答を示している。重量Ｋは、この例では１ですが、実際には１を上回ることも下回ることもある。複合スペクトル応答は、青色領域でＳｈａｌｌｏｗ１の応答に従っているが、赤色の範囲内にはるかに減衰され、本質的には青色光だけに応答する複合スペクトル応答を結果として、すなわち、青色スペクトル応答になる。
これは、前述のように、赤外線フィルタがピクセルアレイ１２の前の光の経路に配置されたとき、第１のマゼンタカラーフィルタと前述の赤外線フィルタを組み合わせた透過率は、６５０ｎｍ±２０ｎｍと７００ｎｍの間に衰退することに留意すべきである。したがって、前述の赤外線フィルターを考慮して、スペクトル応答Ｓｈａｌｌｏｗ１は、６５０ｎｍ±２０ｎｍを中心とするピークを示す。それは、本質的に赤いスペクトル応答であるが、０．２だけのピーク応答を有し非常に減衰したいスペクトル応答である。
図１５は、空気中の光の波長の関数として第２のマゼンタカラーフィルタの光の透過率を示したグラフである。第１のマゼンタカラーフィルタに対しての図１３と同様に、第２のマゼンタカラーフィルタの透過率は、２つのピークの範囲がおり、それらの中心がそれぞれ４５０ｎｍ（”青い山”）と６５０ｎｍ（”赤い山”）との周りの波長におり、谷が５００ｎｍおよび６００ｎｍの間の波長におり、４１０ｎｍの下の波長に対して青色ピークの最大透過率の１０％未満に減少する。
図１６は、第２マゼンタフィルターと一緒に深いフォトダイオード１００ｂと浅い１００ｅフォトダイオードとのスペクトル応答、およびそれらの間の加重の差を示すグラフである。Ｓｈａｌｌｏｗ２のラベルが付いた浅いフォトダイオード１００Ｅからのスペクトル応答は、青の範囲でベル形状を有し、これが４３０ｎｍと４７０ｎｍとの中央にピークを有し、極小が５５０ｎｍの周りの波長にある。Ｓｈａｌｌｏｗ２は、Ｓｈａｌｌｏｗ１異なり、第２の赤色カラーフィルタの透過率のビルトインされた赤外線カットによって、赤範囲内の肩の代わりにピークを有する。Ｓｈａｌｌｏｗ２の青い範囲内のピークレベルは、その赤色の範囲内のピークの約２倍です。
Ｄｅｅｐ２のラベルが付いた深いフォトダイオード１００ｂからのスペクトル応答は、赤の範囲にＳｈａｌｌｏｗ２と同様のピークがあるが、青の範囲の応答が無視できる。
Ｓｈａｌｌｏｗ２とＤｅｅｐ２と両方は、第２のマゼンタカラーフィルタの透過率の極小がこの波長範囲にあることに起因して、５５０ｎｍ±２０ｎｍの付近であるスペクトル応答の極小がある。
図１６も、Ｓｈａｌｌｏｗ２とＤｅｅｐ２と間の加重の差、すなわちＳｈａｌｌｏｗ２−Ｋ・Ｄｅｅｐ２である複合スペクトル応答を示している。重量Ｋは、この例では１ですが、実際には１を上回ることも下回ることもある。複合スペクトル応答は、青の範囲でＳｈａｌｌｏｗ２に従っているが、赤の範囲内に、本質的に青色光だけに敏感な応答スペクトルを結果としてあまり減衰され、すなわち、青色スペクトル応答です。
Ｋは、複合応答の赤色光の応答が青色光に比べて無視でき、１対７以下の割合によるように、赤い範囲内のＳｈａｌｌｏｗ２とＤｅｅｐ２（または同様に上記のＳｈａｌｌｏｗ１とＤｅｅｐ１、または下記のＳｈａｌｌｏｗ３とＤｅｅｐ３）のスペクトル応答の高さに応じて選択されるべきであることに注意する。上記の例では、Ｋは１ですが、実践には、Ｋは１よりも大きいか、または１未満か、別の数値であってもよい。さらに、上記のそれらの例は、浅いフォトダイオードからの信号のゲイン係数を示していないが、実際には、両方の信号が（浅いフォトダイオード及び深いフォトダイオードから）それぞれのゲインを受けることができる。共通のゲイン係数は、イラストの簡略化だけのために、浅いフォトダイオード信号のゲインが１であるように、上記の例で削除されている。言い換えれば、上記の例では、Ｋファクタが浅いフォトダイオード信号のゲイン係数に対して深いフォトダイオード信号のゲイン係数の比として考えることができる。
マゼンタ画素の第２の実施例
図１７は、本発明のマゼンタ画素の実施例１４ｂ’の垂直断面を示している。浅い第１の実施例の第１の領域６５ａと深い第１の領域６５ｂとはない。
図１８に、マゼンタ画素の第２の実施例１４ｂ’のドーピング濃度の垂直分布を示している。
図１９は、浅い第２の領域５４ａから延びている（中二階第２の領域５４ｂにある上位の点線より上）空乏領域と、深い第２の領域５４ｃから延びている（中二階第２の領域５４ｂにある下位の点線と深い第２の領域５４ｃにある上位の点線との間）空乏領域とが中二階第２の領域５４ｂを横切って水平に延び（”ＹＹＹＹＹ”のマークが付けられ、中二階第２の領域５４ｂ内の上部の点線と下部の点線とで囲まれた）中性領域を挟まることを示している。前記中性領域は、浅いフォトダイオード１００ｅ’と深いフォトダイオード１００ｂ’のいずれかまたは両方の電荷蓄積期間の全部に維持されることができる。前記の中性領域は、近くの空乏領域と自身の中の光子の吸収とのいずれかから入る電子のいずれかをＶｓｉｎｋ端子に離れて掃引する。また、前記中性領域は、中二階第２の領域５４ｂと図１７の右側にあるバリア領域６４との間の（”ｘｘｘｘｘ”はマークされている）狭い通路（あるなら）にそれぞれ第２の領域５４ａ、５４ｃから伸びる空乏領域の間の接続を収縮することによって、浅いフォトダイオード１００ｅ’と深いフォトダイオード１００ｂ’と間の容量結合を減衰する。
マゼンタの画素の第３の実施例
図２０は、本発明のマゼンタの画素の実施例１４ｂ”の垂直断面を示している。
マゼンタ画素１４ｂ”は、中二階第２の領域１００ｆと深い第１の領域６５ｂが存在しないので、マゼンタ画素１４ｂと異なる。したがって、深いフォトダイオード１００ｂ”の深い第２の領域５４ｄは、浅く、例えば１．７μｍから始まることができ、基板５６に下方に延びる。図２０は、第１の領域６５ａが終わるところから深い第２の領域５４ｄが始まることを示しているが、空乏領域が浅い第１の領域６５ａから前記のギャップを越えて深い第２の領域５４ｄに延びるので、ギャップは、これらの２つの領域の間にがあり、基板５６のドーピング濃度と導電型が有することができる。この空乏領域は、深い第２の領域５４ｄに電子を掃引するように電界を確立するために、十分である。
第１の領域６５ａは、基板５６よりも高い純ドーピング濃度を有し、浅い第２の領域５４ａと深い第２の領域５４ｄとの間に挟まれている。第１の領域６５ａは、浅い第２の領域５４ｄと深い第２の領域５４ｄとのどちらか一方から浮遊状態にある検出ノード１１１”（または１１１）に転送スイッチ１１７ｅ（または１１７ｂ）が電荷を転送するために導電性の状態にある間の一度に、それぞれ浅い第２領域５４ａと深い第２の領域５４ｄとから伸びるそれらの空乏領域の分離を維持する。第１の領域６５ａは、浅い第２領域５４ａと深い第２の領域５４ｄとのいずれかまたは両方の電荷が蓄積する間の一度に、それぞれ浅い第２領域５４ａと深い第２の領域５４ｄとから伸びるそれらの空乏領域の分離を維持する。５４ｄは深い第２の領域は、第１の領域６５ａは、それぞれ、浅い第２領域５４ａと深い二領域５４ｄとから伸びる空乏領域の分離を維持、浅い第２領域５４ａと深い二領域５４ｄ統合されている間、一度に。
図２１は、第３の実施例のマゼンタの画素１４ｂ”の垂直ドーピングプロファイルを示している。”Ａ”は、浅い第２の領域５４ａに亘る濃度を標識する。”Ｂ”は、浅い第１の領域６５ａのためのものです。”Ｅ”は、深い第２の領域５４ｄのためのものです。”Ｅ”を超えるところは、基板５６のためのものです。
図２２は、フィルタリングされていない光の波長の関数として、第３の実施例の浅いフォトダイオード１００ｅと深いフォトダイオード１００ｂ”とによる光子の吸収に対する効率を個別に示すグラフである。
吸収効率は、（空気中の）特定の波長の光子によって生成されたキャリアがフォトダイオードによって捕捉される確率です。図２に示すように、浅いフォトダイオード１００ｅの吸収効率は、紫色の範囲（波長＜４５０ｎｍ）が最高です。４５０ｎｍを超えて、赤範囲（波長＞６００ｎｍ）で、それは着実に約０．２に低下する。深いフォトダイオード１００ｂ”については、他方、赤の範囲で、５５０ｎｍと６５０ｎｍとの間の波長に対して、その吸収効率が最も高い、０．５の付近ある。その吸収効率は、波長が４５０ｎｍに減少すると、０．０５の下に着実に低下する。
図２３は、第３の実施例の深いフォトダイオード１００ｂ”と第１のマゼンタフィルターとの一緒のスペクトル応答と、第３の実施例の浅いフォトダイオード１００ｅと第１のマゼンタフィルターとの一緒のスペクトル応答と、それらの間の加重差である複合のスペクトル応答とを示すグラフである。
標識Ｓｈａｌｌｏｗ３を付いた浅いフォトダイオード１００ｅからのスペクトル応答は、青色の範囲内で、４３０ｎｍと４７０ｎｍとの中央のピークがあるベル形状を有しており、５５０ｎｍの周りの波長で極小値がある。Ｓｈａｌｌｏｗ３は、Ｓｈａｌｌｏｗ１のように、第１の赤色のカラーフィルタの透過率のビルトインされた赤外線カットオフないために、赤の範囲内で肩がある。赤の範囲内のＳｈａｌｌｏｗ３のピークレベルは、青色範囲でのピークレベルの約４分の１である。
Ｄｅｅｐ３として標識された深いフォトダイオード１００ｂ”からのスペクトル応答は、赤の範囲内での肩がある。これは、形状がＳｈａｌｌｏｗ３に似て、２倍高い。青の範囲内では、スペクトル応答は、４８０ｎｍの波長を中心とする小さなピークがある。そのピークは、その肩の半分と高い。
Ｓｈａｌｌｏｗ３とＤｅｅｐ３の両方は、５５０ｎｍ±２０ｎｍの付近で、この波長の範囲内である第１のマゼンタカラーフィルタの透過率の極小に起因して、スペクトル応答の極小がある。
図２３は、また、Ｓｈａｌｌｏｗ３とＤｅｅｐ３と間の加重差、すなわちＳｈａｌｌｏｗ３−Ｋ・Ｄｅｅｐ３である複合スペクトル応答を示している。その重量Ｋは０．５となるように選択される。その複合スペクトル応答は、青の範囲内で、Ｓｈａｌｌｏｗ３のスペクトル応答に接近するが、赤の範囲内で、Ｋの選択に対して、はるかに減衰される。これは、本質的に青色光だけに応答し、すなわち、青色スペクトル応答である。
赤色のピクセル
図２４−２７は、赤色のピクセル１４ｄの実施例を説明する。
図２４は、本発明の赤色のピクセル１４ｄの実施例の縦断面を示している。フォトダイオード１００ｄは、垂直に基板５６に積層され、相互接続された複数の第２の領域５４ｄ、５４ｅ、５４ｆを含む。第２の領域５４ｄ、５４ｅ、５４ｆは、第２導電型である。電荷の蓄積のときに、すべての３つの第２の領域を越えてそれらを接続する連続中性領域がある。一番上の第２の領域５４ｄは、表面第１の領域６３の下がある。この第１の領域は、一番上の第２の領域５４ｄから延ばす空乏領域が基板５６の上面インターフェーに到達すること（これは、高漏れ電流が発生するだろう）を防ぐ。赤色の画素１４ｄの上からの入射光は、赤色のカラーフィルタ１１４Ｒによってフィルタリングされ、光導波路１３０、１１６を介して継続し、第２の領域５４ｄ、５４ｅ、５４ｆを入力する。
第２の領域５４ｄと５４ｅと５４ｆとは、第２導電型の接続第２の領域５５ｄによって、転送スイッチ１１７ｄに電気的に接続されている。転送スイッチ１１７ｄは、ゲート５８ｄと検出ノード１１１’であるドレインの（第２導電型のとの界面での）拡散とを備える。検出ノード１１１’は、さらに、（シンボルだけで示されている）リセットスイッチ１１２’及び出力トランジスタ１１６’に接続されている。
３のスタックとして示されているが、それらの接続された第２の領域のスタックは、４またはそれ以上の接続された第２の領域を備えることができる。これは、電荷の蓄積のとき、一番下の第２の領域内から一番上の第２の領域５４ｄに伸びる連続中性領域を介してそれらの間の電気的接続を維持する。上記の一番下の第２の領域は、好ましくは、１．５μｍと３μｍの間の深さに達する。
それらのバリア領域６４は、各々第２の領域５４ｅ、５４ｆの側があり、中性領域が各々自体にある。この中性領域は、赤色のピクセル１４ｄ中の中性領域から横方向に成長する空乏領域が隣接する緑色部１４ａ、１４ｃとマゼンタ画素１４ｂのいずれかと合併することを防止する。
図２５は、本発明の赤の画素の代替実施態様１４ｄ’の垂直断面を示している。第２の領域５４ｄと５４ｅと５４ｆとのスタックには、ちょうど表面の第１の領域６３下の第２の領域５４ｄ’が置き換えられる。第２の領域５４ｄ’は、結ぶ第２の領域５５ｄ’によって転送スイッチ１１７ｄに接続されている。この実施１４ｄ’は、ピンドフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ）のように構築し、動作させることができる。そのように、リセット時に、転送スイッチ１１７ｄとリセットスイッチ１１２’の両方がオンになっているとき、第２の領域５４ｄ’と結ぶ第２の領域５５ｄ’とは、その電子が完全に空乏している。第２の領域５５ｄ’は、フォトダイオードを越える３ボルト以下の逆バイアス下で完全空乏化を確実にするために、好ましくは、基板５６の１μｍ未満の奥行さに達する。バリア領域６４は、第２の領域５４ｄ下部中央領域に向かって横方向に電子を働き掛ける横電界を発生させ、画素間のクロストークが低減する。
図２６は、光の波長の関数として第１の赤色のカラーフィルタの光の透過率を示したグラフである。
図２７は、光の波長の関数として第２の赤色のカラーフィルタの光の透過率を示すグラフである。
マゼンタ画素の赤のピクセル値の生成
図３４には、カメラプロセッサ２１２のブロック図である。プロセッサ２１２は、バスインターフェース２４０を介して、イメージセンサのピクセルアレイ１２から生成するモザイク画像を受信する。バスインタフェース２４０は、イメージセンサ１０から生成された画像データから一度に１つのデータ・ビットを受信するシリアルインターフェース、または同時にピクセルのすべてのデータ・ビットを受信するパラレルインタフェースであってもよいし。代わりには、ハイブリッドインターフェースがバス６６から画素の２つ以上のビットを１つの瞬間に受け、その画素の他の１つ以上のビットを他の瞬間に受けす。モザイク画像データは、バッファ２２０に格納されている。プロセッサは、大量の画像データを格納するために、プロセッサ２１２外のメモリ（図示せず）を往復するモザイク画像データの転送を制御するＤＭＡコントローラを備えることができる。上記のバッファは、デモザイク部２２２にモザイク画像データを出力する。デモザイク部２２２は、モザイク画像の欠落色を生成する。色補正部２２４は、デモザイク部２２２によって出力された色補間された画像に色補正を行いる。カメラプロセッサ２１２は、優れたホワイトバランスに画像を補正するホワイトバランス補正部（図示せず）が備えていてもよい。画像圧縮部２２６は、カラー画像を受信し、画像の圧縮を行いて画像データの縮小量がある圧縮された画像を生成する。圧縮された画像は、最終的に、出力インタフェース２４２でカメラプロセッサ２１２に接続されているデータバスを介して記憶装置２１６に格納さる。
ピクセルアレイ１２から、図５Ａまたは図５Ｂのいずれかに示されるように配置における複数の赤の画像画素と複数の緑色の画像画素と複数のマゼンタ色の画像画素とを備えているモザイク画像は生成される。このモザイク画像は、バッファ２２０にバス６６及びバスインターフェース２４０を介してイメージセンサ１０から図３４に示すように、プロセッサ２１２によって受信され、続いて、フルカラー画像を再構成するためにデモザイク単位２２２によって処理されることができる。デモザイク部２２２は、バス２４６上にフルカラー画像を出力する。モザイク画像では、赤の画像画素のそれぞれは、赤の画素値があり、青の画素値と緑の画素値がない。緑色の画像画素のそれぞれは、緑の画素値があり、青の画素値と赤の画素値がない。マゼンタの画像画素のそれぞれは、対応する浅いフォトダイオード１００Ｅから生成された浅いフォトダイオードの値と対応する深いフォトダイオード１００ｂから生成された深いフォトダイオード値とがある。浅いフォトダイオードの値は、強い青色のスペクトル応答がある。深いフォトダイオードの値は、赤の画像画素値のスペクトル応答の強の半分未満である主に赤色のスペクトル応答がある。モザイク画像からフルカラー画像を再構成するために、色補間方法は、デモザイク部２２２において使用することができ、緑の画像画素に対して赤画像画素値と青の画像画素値とを生成し、赤の画像画素に対して青の画素画像値と緑の画素画像値とを生成する。
マゼンタ画像の画素について、その青色の画像画素値は、上述の複合信号Ｓｈａｌｌｏｗ１−Ｋ・Ｄｅｅｐ１、Ｓｈａｌｌｏｗ２−Ｋ・Ｄｅｅｐ２とＳｈａｌｌｏｗ３−Ｋ・Ｄｅｅｐ３の生成についてのように、浅いフォトダイオード信号と深いフォトダイオード信号と間の加重の差によってデモザイク部２２２によって生成することができる。ここで、複合信号の赤い応答が無視できるようにＫが選択されている。別の方法として、上記複合信号は、主に青色の応答と無視できる赤色の応答とがあるように形成されており、浅いフォトダイオード信号の代わりに、イメージセンサ１０内に形成されてプロセッサ２１２に提供されることができる。
深いフォトダイオード１００ｂから生成された深いフォトダイオード信号Ｄのみからマゼンタの画像画素の赤の画像画素値を生成することは、他方、大きな欠点がある。そうすることで、得られたカラー画像は、赤チャンネルで画素間の不均一性に受ける。この不均一性は、赤画素のフォトダイオードの１００ｄのスペクトル応答とマゼンタ画素の深いフォトダイオード１００ｂのスペクトル応答との間の違いに起因する。また、赤色の範囲内に、深いフォトダイオード１００ｂは赤色ピクセルのフォトダイオード１００Ｄよりもはるかに弱いピークスペクトル応答があるので、深いフォトダイオード信号Ｄは、ＳＮＲがいっそう悪い。しかし、それは、深いフォトダイオード信号を考慮せずに、隣接する赤の画像画素（おそらく、隣接する緑の画素も）からの補間によって、マゼンタ画像画素に対して赤の画素値を生成することも適切ではない。
本発明の一態様は、上記の欠点がなく、深いフォトダイオード信号Ｄによってマゼンタの画素に対して赤の画素値Ｒを生成する方法を提供する。
図２８から３３は、赤の画素値がマゼンタの画素１４Ｂ、１４Ｂ’、１４Ｂ”に対して生成することができる方法を説明する。
それは、モザイク画像での（マゼンタ画像画素の）隣接する画像画素からの色補間（すなわちデモザイク）が（ピクセルアレイ１２内のマゼンタ画素１４ｂに対応する）マゼンタ画像画素の補間された赤の画素値Ｙが深いフォトダイオード信号Ｄのみから生成された赤の画素値に十分に近いことを結果にする場合に、補間された赤の画素値Ｙを選択または優先するが適切であり、この理由は、結果としてのＳＮＲと色の均一性とが優れてわい、その２つの赤の画素値の差がノイズによることであること観察される。そのノイズは、深いフォトダイオード１００ｂからの伝播に沿って弱い深いフォトダイオード信号を増幅する必要に主に起因する。
また、２つ（またはそれ以上）のマゼンタ画像画素の補間された赤の画素値ＹとＺが可能なことがある場合、深いフォトダイオード信号Ｄのみから生成される赤の画素値が補間された赤の画素値のいずれかに近い十分であると、違いが再びノイズに起因すること有り得るべきなので、最も近い補間された赤の画素値が選択（または優先）する必要があることが観察される。
さらに、他の一方で、１つでも補間された赤画素値が十分近くない場合は、深いフォトダイオード信号Ｄのみから生成された赤画素値が選択される（または優先される）べきであることが観察さされる。
上記の観察の全部では、補間された赤の画素値Ｙ（またはＺ）は、両者の違いが後者のノイズの標準偏差σＤの所定の複数の内にある場合、深いフォトダイオード信号Ｄのみから生成された赤の画素値に十分に近いと考えられている。たとえば、この複数は、２．５であてもよい、それから、補間された赤の画素値が深いフォトダイオード信号ＤのσＤの２．５倍以内にあるとは、この補間された赤の画素値が選択または優先（例えば、マゼンタ画素の赤の画素値を生成するための加重平均で大きな重みを与えること）されてわり、その逆があれば、この補間された赤の画素値が選択されていないか低い優先順位与えている（例えば、加重平均で低い重みを与えていること）。上記のノイズ標準偏差σＤが深いフォトダイオード信号Ｄと深いフォトダイオード信号Ｄの信号経路に沿っての増幅利得との関数であってもよいことに注意する。
言い換えれば、マゼンタ画素の生成された赤の画素値Ｒは、深いフォトダイオード信号Ｄが補間された赤の画素値Ｙに十分近い赤の画素値を示すとき、深いフォトダイオード信号Ｄに対する依存性を下げるが、逆の場合は、深いフォトダイオード信号Ｄに対する依存性を上げるべきである。
デモザイク部２２２の測定可能な入力／出力パラメータの観点において、本発明のこの態様の方法では、マゼンタ画素の生成された赤の画素値Ｒは、生成されたマゼンタ画素の赤の画素値Ｒの深いフォトダイオード信号Ｄに対する導関数が少なくとも一つの極小を持っており、かつ、少なくとも上記深いフォトダイオード信号Ｄと隣接する赤色の画像画素の赤の画素値との関数である。マゼンタ画素の生成された赤の画素値Ｒの深いフォトダイオード信号Ｄに対する依存性は、この極小から遠い位置よりこの極小の近傍で小さい（つまり深いフォトダイオード信号Ｄにあまり依存しない）。導関数が極小を持つことによって、この極小の近くの生成された赤の画素値Ｒは、深いフォトダイオードからのノイズの寄与が小さくなる。さらに、この極小により、この極小の近くの生成された赤の画素値Ｒは、上記補間された赤の画素値Ｙに対する依存性が大きくなる。したがって、深いフォトダイオード１００ｂのスペクトルの応答と隣接する赤ピクセルのフォトダイオード１００ｄのスペクトルの応答との間の違いにはあまり影響されない。導関数が極小となる深いフォトダイオード信号Ｄの値は、少なくとも一つのモザイク画像内の隣接する赤の画像画素からの赤の画素値の関数であるべきである（すなわち、赤の画素値に従って変わるべきである）。

本発明のこの態様では、別の方法でこれを見ると、深いフォトダイオード信号Ｄに対するマゼンタの画像画素の生成された赤画素値Ｒのプロットは、特定の範囲の生成された赤の画素値（例えば、図２９、信号Ｒは、１２０および１３０のＲ値との間）に対して、比較的平坦なセクションを有する曲線を示す。そのように、比較的平坦なセクションは、全体の曲線より平坦なである。換言すれば、比較的平坦なセクションでは、生成された赤の画素値Ｒは、曲線の全体の平均勾配より小さい微分値を持つ必要がある。このセクションでは、生成された赤の画素値Ｒは深いフォトダイオード信号Ｄと変更する気にならない。また、赤の画素値の全体の可能範囲内では、この比較的平坦なセクションの位置は、少なくとも１つの隣接する（マゼンタ画像のピクセルへ）赤の画素の赤の画素値関数でなければならない。上記位置は、同様に、隣接する緑の画像画素の緑色画素値の関数であってもよい。
この方法は、以下の２つの例で示されている。説明の簡略化のために、前記深いフォトダイオード信号Ｄどけから生成された赤の画素値は、深いフォトダイオード信号Ｄ自体であり。Ｄは、その赤の範囲のピーク応答が赤の画素値のピーク応答と等しいまたはほぼ等しいように増幅されたと想定される。（したがって、後者に比べて数倍高いノイズを持っている。）それはまた、再び説明を簡単にするために、深いフォトダイオード信号Ｄともっぱら深いフォトダイオード信号Ｄから生成する赤の画素値との間の関係が線形であるように、前置歪み（例えばガンマディストーションなど）が深いフォトダイオード信号Ｄに対してされていると仮定される。
図２８は、ｂｅｔａの関数として前記深いフォトダイオード信号Ｄに対する重みｗＤは、その例の変化を示したグラフである。ｂｅｔａは、前記深いフォトダイオード信号Ｄと補間された信号Ｙとの差と前記深いフォトダイオード信号Ｄのノイズの標準偏差の倍数の比を測定する。（ｂｅｔａ＝１／ａ・｜Ｙ−Ｄ｜／σＤ、ａ≧１）。この補間された信号Ｙは、深いフォトダイオード信号Ｄと独立している。
第一例として、図２８に示す重みｗＤは深いフォトダイオード信号Ｄに適用されるのに対し、（１−ｗＤ）は補間された赤の画素値Ｙに適用される。すなわち、Ｒ＝ｗＤ・Ｄ＋（１−ｗＤ）・Ｙ、Ｒはマゼンタ画像画素に対して生成された赤の画素値である。それは、隣接する画像画素の画素値が指定されている場合は、前記マゼンタ画像画素に対して単一だけの補間された赤の画素値が存在することを前提とする。図２９は、前記深いフォトダイオード信号Ｄと前記マゼンタ画像画素の生成された赤の信号Ｒと間の関係を示す。前記補間された赤の画素値Ｙは１２５に固定されている。ａ・σは、２０です。前記深いフォトダイオード信号Ｄは変化している。このグラフは、｜Ｙ−Ｄ｜が１５より小さい（従って、β＝１／ａ・｜Ｙ−Ｄ｜／σＤ＜０．７５）と、マゼンタ画像画素の生成されたＲは、補間された値Ｙ、すなわち１２５に向かって引っ張られるのに対し、それ以外の場合は、それは前記深いフォトダイオード信号Ｄと共に速く変化する。図２８のグラフに表示されている重みｗＤのように、これは次のように理解することができる。ｂｅｔａが０．７５を下回ると、マゼンタ画像画素の生成された赤の画素値に向かって深いフォトダイオード信号Ｄがらの寄与度は０．３に向かって減少するのに対し、補間された画素値Ｙの寄与度は０．７に向けて増加する。
図３０は、図２９の赤色の画素信号Ｒの深いフォトダイオード信号Ｄに関する導関数を示すグラフである。この導関数は、Ｄ＝１２５で０．４の極小値を有している。前記極小がらＤ＞１６０またはＤ＜１００のように遠く離れて、前記導関数は、基本的に一定の、より高い値１を取る。生成された赤の画素値が予歪する必要があるのに対し、デモザイク部２２２によって受信された深いフォトダイオード信号Ｄが予歪されていない場合は、導関数が赤の画素値Ｙの範囲の上端で徐々に再び減少させる。デモザイク部２２２によって受信された深いフォトダイオード信号Ｄが赤の画素の赤の画素値に赤の範囲内のそのスペクトル応答と一致するように事前に増幅されていない場合、またはモザイク画像の画素値信号がデモザイク部２２２によって出力された再構成されたフルカラー画像とは異なる範囲を占めている場合、導関数が１とは異なる値を持つかもしれない。
としてデモザイク部２２２によって受信された深いフォトダイオード信号Ｄが赤のピクセルの番目の電子の赤の画素値に赤の範囲内でそのスペクトル応答と一致するように事前に増幅されない場合や誘導体が１とは異なる値を持つことができないことにさらに注意モザイク画像の画素値信号がデモザイク部２２２によって再構築されたフルカラー画像出力とは異なる範囲を占める。
第二例として、図３１〜３３は、マゼンタ画素について赤の画素値Ｒを生成するために、異なる二つの補間された値ＹおよびＺを深いフォトダイオード信号Ｄと一緒に使用することができる方法を説明する。この例では、Ｙは１６５であり、Ｚは１３５であり、ａ・σＤは２０である。
図３１は、前記深いフォトダイオード信号Ｄと、第１の赤色の画素信号ＲＹと、第２の赤色画素信号ＲＺとの間の関係を示すグラフである。前記マゼンタの画像画素の近傍画素の画素値の集合が与えられると、前記第１の赤の画素信号ＲＹは、前記マゼンタの画像画素に対して生成された赤の画素値が行動する方法を示している。このため、第ー図のように、１つだけの補間された画素値が考えられている。この補間画素値は、Ｙです。一方、前記第２の赤色画素信号ＲＺは、Ｚのためのものです。このグラフは、ＲＹとＲＺは、ＹとＺのそれぞれの近くの変更は、”不本意”であることを示している。
しかし、本発明のこの面によれば、生成された赤色の画素は、２つの場所でこのような”不本意”（すなわち、比較的に平坦なセクション）を示すべきである。これは、以下の式に従って、赤のピクセル値Ｒを形成することによって達成することができる：
Ｒ＝ｗＤＹ・ｗＤＺ・Ｄ＋（１−ｗＤＹ・ｗＤＺ）＊［（１−ｗＤＹ）・Ｙ＋（１−ｗＤＺ）・Ｚ］／（２−ｗＤＹ−ｗＤＺ），
ｗＤＹは、補間された信号がＹであつて図２８のｗＤの関数である。ｗＤＺは、補間された信号がＺであつて図２８のｗＤの関数である。
図３２は、深いフォトダイオード信号Ｄと２つの比較的に平坦なセクションがある生成された赤のピクセル信号Ｒとの関係を示すグラフである。下部の比較的に平坦なセクションは、１３０と１４０との赤の値の間で見られる。上部の比較的に平坦なセクションは、１６０と１７０との赤の値の間で見られる。それは、これらの２つの比較的に平坦なセクション内に、深いフォトダイオード１００ｂからのノイズは、その外よりも小さいことは明らかである。これの原因は、比較的に平坦なセクションの内に、生成された赤のピクセル値Ｒは、深いフォトダイオード信号Ｄを応じる変化がその外よりも小さいことである。
図３３は、深いフォトダイオード信号Ｄに関する図２８の赤色のピクセル信号Ｒの導関数を示すグラフである。その導関数は、それぞれ約１３５及び１７０の深いフォトダイオード信号Ｄの値で０．４の極小のレベルを達した。
マゼンタピクセルの青のピクセル値の生成
マゼンタ画素のための青のピクセル値を生成するための簡単な方法は、図１４を参照して説明され、浅いフォトダイオード信号と深いフォトダイオード信号と間の加重の差を形成することを含む。
代替的な実施例では、青の画素値は、赤のピクセル信号Ｒに深いフォトダイオード信号を換えることによって形成することができる。
結び
図３４は、デモザイク部２２２がプロセッサ２１２にあることを示しているが、代替の実施例においてのデモザイク部２２２は、撮像素子１０の一部であり、ＡＤＣ２４の出力バス６６を介してピクセルアレイ１２から生成されてデジタル化された画像データを受信し、再構成されたフルカラー画像を別のバス上に出力することができる。
すべての緑、赤、マゼンタのピクセルに対してすべての不足しているす色を生成することの代わりに、デモザイク部２２２は、マゼンタピクセルに対してのみ赤のピクセル値Ｒを生成してもよい。異なるデモザイク回路は他の不足しているす色の一つ以上を生成するのに対し、それは、代わりに、バスにマゼンタピクセルの生成された赤のピクセル値を提供することができる。最終的に、すべての生成された不足しているす色は、モザイク画像の色と一緒に組み立てられて、フルカラー画像を形成する。
再現されたフルカラー画像は図３４に色補正部２２４に送信されるように示されているが、当該分野で公知の他の修正は配置されてもよい。例えば、マゼンタピクセルのための生成された赤のピクセル値を記憶装置２１６に格納され、そして、ために、コンピューティングデバイスによって他の色（モザイク画像の不足している他の色を含む）と一緒に組み立て再現されたフルカラー画像を形成する。
図３４に示す読み取り専用メモリ（ＲＯＭ）２２８のような、カメラプロセッサ２１２の外部またはそれの内にあってもよい不揮発性メモリは、デモザイク部２２２が本開示に記載された方法のいずれかまたはすべてに従って実行させる命令を記憶することができる。
例示的実施例を記述し、添付の図面により示してきたが、これらの実施例は単に例示的であって、広範囲の本発明に対して限定するものではなく、また、当業者においては様々な変更がなされるものであるから、本発明が上述及び例示の特定の構造及び構成に限定されるものではないことが理解される。

Claims (7)

  1. モザイク画像からカラー画像を形成する方法であって、
    前記モザイク画像は、
    本質的に赤色である第１のスペクトル応答を示す第１の信号を有する赤色の画像画素と、
    本質的に赤色である第２のスペクトル応答を示す第２の信号、および本質的にマゼンタである第３のスペクトル応答を示す第３の信号を有するマゼンタの画像画素と、
    本質的に緑色である第４のスペクトル応答を示す第４の信号を有し、前記マゼンタの画像画素に隣接する緑色の画像画素と、を含み
    前記方法は、
    少なくとも前記第１及び第２の信号の関数として、第５の信号を生成して前記マゼンタの画像画素のための赤色信号とするステップを含み、
    前記第５の信号の前記第２の信号に対する導関数の大きさは極小値を有し、
    前記第５の信号の前記第２の信号に対する導関数の大きさが極小となる前記第２の信号の値は、前記第１の信号および前記第４の信号に従って変化することを特徴とする方法。
  2. 前記第５の信号の前記第２の信号に対する導関数の大きさは、前記極小値と最大値の間で少なくとも２倍変化することを特徴とする請求項１に記載の方法。
  3. 前記第５の信号の前記第２の信号に対する導関数の大きさが極小となる前記第２の信号の値では、前記第５の信号の前記第１の信号に対する導関数は、前記第２の信号が他の値である場合よりも大きくなる請求項１に記載の方法。
  4. 前記方法は、
    前記第３の信号と第２の係数との積から前記第２の信号と第１の係数との積を減算して前記マゼンタの画像画素に対して本質的に青色である第５のスペクトル応答を示す第６の信号を形成するステップをさらに含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。
  5. 前記方法は、
    前記第３の信号と第２の係数との積から前記第５の信号と第１の係数との積を減算して前記マゼンタの画像画素に対して本質的に青色である第５のスペクトル応答を示す第６の信号を形成するステップをさらに含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。
  6. 請求項１から５までのいずれかに記載の方法を前記モザイク画像に実行してカラー画像を生成するデモザイク部と、
    イメージセンサから前記モザイク画像の画像データを受信するように構成された入力インターフェースと、を備えるカメラプロセッサ。
  7. コンピュータ可読命令を搭載し、
    前記コンピュータ可読命令がコンピューティングデバイスによって実行されるとき、前記コンピューティングデバイスが請求項１〜５のいずれか一項に記載の方法を実行する、コンピュータの不揮発性のデータ記憶媒体。
JP2013529759A 2010-09-26 2011-09-25 モザイク画像からカラー画像を形成する方法、前記方法を実行するカメラプロセッサ、およびコンピュータの不揮発性のデータ記憶媒体 Expired - Fee Related JP5971530B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US38653310P 2010-09-26 2010-09-26
US61/386,533 2010-09-26
US39206910P 2010-10-12 2010-10-12
US61/392,069 2010-10-12
US13/244,336 2011-09-24
US13/244,336 US8866945B2 (en) 2010-09-26 2011-09-24 Color image sampling and reconstruction
PCT/IB2011/054213 WO2012038939A2 (en) 2010-09-26 2011-09-25 Color image sampling and reconstruction

Publications (3)

Publication Number Publication Date
JP2013539294A JP2013539294A (ja) 2013-10-17
JP2013539294A5 JP2013539294A5 (ja) 2014-12-04
JP5971530B2 true JP5971530B2 (ja) 2016-08-17

Family

ID=45870298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013529759A Expired - Fee Related JP5971530B2 (ja) 2010-09-26 2011-09-25 モザイク画像からカラー画像を形成する方法、前記方法を実行するカメラプロセッサ、およびコンピュータの不揮発性のデータ記憶媒体

Country Status (10)

Country Link
US (2) US8866945B2 (ja)
JP (1) JP5971530B2 (ja)
CN (1) CN103119721B (ja)
AU (1) AU2011306393A1 (ja)
BR (1) BR112013007032A2 (ja)
DE (1) DE112011103229T5 (ja)
GB (2) GB2518561B (ja)
HK (2) HK1191779A1 (ja)
SG (1) SG188640A1 (ja)
WO (1) WO2012038939A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866945B2 (en) 2010-09-26 2014-10-21 Hiok Nam Tay Color image sampling and reconstruction
US9629308B2 (en) 2011-03-11 2017-04-25 Intelligent Agricultural Solutions, Llc Harvesting machine capable of automatic adjustment
US10321624B2 (en) 2011-03-11 2019-06-18 Intelligent Agriculture Solutions LLC Air seeder manifold system
US10318138B2 (en) 2011-03-11 2019-06-11 Intelligent Agricultural Solutions Llc Harvesting machine capable of automatic adjustment
US9631964B2 (en) 2011-03-11 2017-04-25 Intelligent Agricultural Solutions, Llc Acoustic material flow sensor
US20130300902A1 (en) * 2012-03-29 2013-11-14 Hiok Nam Tay Color image sensor pixel array
CN103067708B (zh) * 2012-12-25 2015-06-17 太原理工大学 基于w-z结构的贝尔模板数字图像编解码方法
TWI617198B (zh) * 2013-03-15 2018-03-01 開曼群島商普廷數碼影像控股公司 具有透明濾波器像素之成像系統
US9894336B2 (en) * 2013-08-03 2018-02-13 Ramot At Tel-Aviv University Ltd Color imaging using a monochromatic digital camera
US9337223B2 (en) * 2013-11-25 2016-05-10 Semiconductor Components Industriess, Llc Imaging systems with image pixels having adjustable responsivity
CN104934491B (zh) * 2014-03-19 2017-06-06 中芯国际集成电路制造(上海)有限公司 光电二极管、其制作方法及图像传感器件
AU2015314684B2 (en) * 2014-09-12 2020-09-03 Appareo Systems, Llc Non-image-based grain quality sensor
US10085379B2 (en) 2014-09-12 2018-10-02 Appareo Systems, Llc Grain quality sensor
CN104241311B (zh) * 2014-10-14 2017-02-15 中国电子科技集团公司第四十四研究所 可用于多种工作模式的cmos图像传感器
WO2016141545A1 (zh) * 2015-03-10 2016-09-15 华为技术有限公司 业务流分流的方法和装置
US9793306B2 (en) * 2015-04-08 2017-10-17 Semiconductor Components Industries, Llc Imaging systems with stacked photodiodes and chroma-luma de-noising
US10321496B2 (en) * 2015-06-03 2019-06-11 Parallel Wireless, Inc. Inter-PGW handover architecture
JP6293384B2 (ja) 2015-11-25 2018-03-14 オリンパス株式会社 内視鏡システム
US10690495B2 (en) * 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
CN109598686B (zh) * 2018-11-28 2020-07-10 珠海欧比特宇航科技股份有限公司 一种基于bayer模板的卫星影像重建方法
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
CN112490258B (zh) * 2020-12-25 2022-09-16 联合微电子中心有限责任公司 彩色cmos图像传感器像素阵列、传感器以及制备工艺

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56115085A (en) * 1980-02-15 1981-09-10 Canon Inc Color solid state pickup device
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
US6482669B1 (en) * 2001-05-30 2002-11-19 Taiwan Semiconductor Manufacturing Company Colors only process to reduce package yield loss
JP4641675B2 (ja) 2001-07-18 2011-03-02 三洋電機株式会社 画像信号処理装置
US6534759B1 (en) 2001-09-10 2003-03-18 National Semiconductor Corporation Vertical photodetector with improved photocarrier separation and low capacitance
US7233350B2 (en) 2002-01-05 2007-06-19 Candela Microsystems, Inc. Image sensor with interleaved image output
JP4154165B2 (ja) * 2002-04-05 2008-09-24 キヤノン株式会社 光電変換素子及びそれを用いた固体撮像装置、カメラ及び画像読み取り装置
US7283164B2 (en) * 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
JP4404561B2 (ja) * 2003-03-17 2010-01-27 富士フイルム株式会社 Ｍｏｓ型カラー固体撮像装置
US7554587B2 (en) * 2003-03-11 2009-06-30 Fujifilm Corporation Color solid-state image pickup device
US7929798B2 (en) * 2005-12-07 2011-04-19 Micron Technology, Inc. Method and apparatus providing noise reduction while preserving edges for imagers
US7419844B2 (en) * 2006-03-17 2008-09-02 Sharp Laboratories Of America, Inc. Real-time CMOS imager having stacked photodiodes fabricated on SOI wafer
JP2008072098A (ja) * 2006-08-17 2008-03-27 Sony Corp 半導体イメージセンサ
CN101459184B (zh) 2007-12-13 2011-03-23 中芯国际集成电路制造(上海)有限公司 在cmos上感测图像的系统和方法
US20090160981A1 (en) 2007-12-20 2009-06-25 Micron Technology, Inc. Apparatus including green and magenta pixels and method thereof
US8106426B2 (en) 2008-02-04 2012-01-31 Sharp Laboratories Of America, Inc. Full color CMOS imager filter
JP5320989B2 (ja) * 2008-11-07 2013-10-23 ソニー株式会社 固体撮像装置、及び電子機器
US8274587B2 (en) * 2010-04-13 2012-09-25 Aptina Imaging Corporation Image sensor pixels with vertical charge transfer
US8866945B2 (en) 2010-09-26 2014-10-21 Hiok Nam Tay Color image sampling and reconstruction

Also Published As

Publication number Publication date
SG188640A1 (en) 2013-04-30
GB2503308B (en) 2015-03-11
HK1203726A1 (en) 2015-10-30
US9136299B2 (en) 2015-09-15
WO2012038939A3 (en) 2012-06-14
HK1191779A1 (en) 2014-08-01
GB2503308A (en) 2013-12-25
WO2012038939A2 (en) 2012-03-29
CN103119721A (zh) 2013-05-22
US20120075511A1 (en) 2012-03-29
BR112013007032A2 (pt) 2019-09-24
JP2013539294A (ja) 2013-10-17
GB2518561A (en) 2015-03-25
GB201304979D0 (en) 2013-05-01
GB2518561B (en) 2015-04-29
DE112011103229T5 (de) 2013-07-04
US20150035107A1 (en) 2015-02-05
CN103119721B (zh) 2015-12-16
AU2011306393A1 (en) 2013-04-11
US8866945B2 (en) 2014-10-21

Similar Documents

Publication Publication Date Title
JP5971530B2 (ja) モザイク画像からカラー画像を形成する方法、前記方法を実行するカメラプロセッサ、およびコンピュータの不揮発性のデータ記憶媒体
US7218347B2 (en) Photoelectric conversion element and solid-state image sensing device using the same
KR101129128B1 (ko) 후면 조사 이미지 센서를 위한 회로 및 광센서 오버랩
JP4887079B2 (ja) 光電変換膜積層型固体撮像素子
US8243176B2 (en) Solid-state image sensor
JP5262180B2 (ja) 固体撮像装置及びカメラ
JP4618342B2 (ja) 固体撮像装置
JP4799594B2 (ja) 固体撮像装置およびその製造方法
JP4950703B2 (ja) 固体撮像素子
EP2980852B1 (en) Solid-state image sensing element and imaging system
JP4491323B2 (ja) 光電変換膜積層型カラー固体撮像装置
JP4154165B2 (ja) 光電変換素子及びそれを用いた固体撮像装置、カメラ及び画像読み取り装置
US20160071893A1 (en) Imaging device and imaging system
US20110042552A1 (en) Solid-state imaging device and method of manufacturing the same
US7679112B2 (en) Color image sensors having pixels with cyan-type and yellow-type color characteristics therein
KR101989907B1 (ko) 유기 이미지 센서 및 그 제조방법
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
JP2004281773A (ja) Ｍｏｓ型カラー固体撮像装置
JP2010153658A (ja) 固体撮像素子
EP2784820A1 (en) Solid state imaging device
JP2010087379A (ja) カラー撮像装置
KR20130007901A (ko) 후면 조사형 이미지 센서
JP2008300788A (ja) 固体撮像素子、撮像装置、およびカメラシステム
JP2007201713A (ja) カラー画像撮像装置及び固体撮像素子

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160629

R150 Certificate of patent or registration of utility model

Ref document number: 5971530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees