JP4232086B2 - 二色フォトディテクタのアレイを含むディジタルイメージセンサ、及び二色フォトディテクタのアレイのデモザイク方法 - Google Patents
二色フォトディテクタのアレイを含むディジタルイメージセンサ、及び二色フォトディテクタのアレイのデモザイク方法 Download PDFInfo
- Publication number
- JP4232086B2 JP4232086B2 JP2003016619A JP2003016619A JP4232086B2 JP 4232086 B2 JP4232086 B2 JP 4232086B2 JP 2003016619 A JP2003016619 A JP 2003016619A JP 2003016619 A JP2003016619 A JP 2003016619A JP 4232086 B2 JP4232086 B2 JP 4232086B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- photodetector
- light
- wavelength range
- photodetectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 39
- 239000003086 colorant Substances 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000000295 complement effect Effects 0.000 claims description 19
- 229910021417 amorphous silicon Inorganic materials 0.000 claims description 13
- 239000000758 substrate Substances 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000001012 protector Effects 0.000 claims 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 13
- 239000010410 layer Substances 0.000 description 13
- 229910052710 silicon Inorganic materials 0.000 description 13
- 239000010703 silicon Substances 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 239000004020 conductor Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000377 silicon dioxide Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 235000012239 silicon dioxide Nutrition 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Color Television Image Signal Generators (AREA)
- Light Receiving Elements (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は一般にディジタルカラーイメージセンサに関し、より具体的には単一のフォトディテクタ（光検出器）位置で２つの色を検出可能な二色フォトディテクタ及び二色フォトディテクタアレイのデモザイク法（demosaicing）に関する。
【０００２】
【従来の技術】
ディジタルカラーイメージセンサには、ＣＣＤ（電化結合素子）とＣＭＯＳ−ＡＰＳ（相補型金属酸化物半導体−アクティブフォトディテクタセンサ）の主に二種類がある。通常、どちらのタイプのセンサも、行及び列に配置されるかまたは他のパターンに配置されるフォトディテクタ（例えばピクセル）のアレイを含んでおり、これによって画像中の色をサンプリングする。各フォトディテクタは、１つまたは複数の知覚色に対応する１つ又は複数の波長範囲内の光の強度を測定する。
【０００３】
加えて、両タイプのセンサとも、参照により本明細書に援用されるＢａｙｅｒによる従来例（以下、単に「ベイヤー」と呼ぶ）のようなカラーフィルタアレイ（ＣＦＡ）を含むことができる（特許文献１参照）。各フォトディテクタは、ベイヤーのＣＦＡを用いて、赤、緑又は青に対応する１つの波長範囲のみを検出する。単一のフォトディテクタにおいて三原色全てのセンサ値を得るには、隣接するフォトディテクタからカラーセンサ値を補間しなければならない。この補間処理はデモザイク処理と呼ばれる。デモザイク処理された画像は、ＣＦＡを用いて適合されたイメージセンサにおいては、本質的に存在する色のアンダーサンプリングによるカラーエイリアシングアーチファクト（歪み）を呈することが多い。カラーエイリアシングアーチファクトに関連する問題の一部を解決するために、他のセンサ設計が提案されている。
【０００４】
例えば、ＣＦＡを用いない他のセンサ設計の１つとして、同じフォトディテクタ位置において特殊なプリズムにより三原色を分割して補足するものがあり、これは、参照により本明細書に援用されるRichard F. Lyonによる従来例に記載されている（非特許文献１参照）。しかしながら、この手法ではプリズムや光学部品のコストが非常に高くなる。加えて、３つのセンサと光学部品のアライメントをフォトディテクタの幅の数分の一よりも小さな単位（３μｍ程度）でＸ、Ｙ方向に手動で行わなければならず、多くの画像形成アプリケーションには適用することができない。
【０００５】
参照により本明細書に援用されるStiebigらによる従来例及びMerillによる従来例は、いずれも他のタイプのセンサ設計について記載している（特許文献２及び特許文献３参照）。Stiebigら及びMerillのセンサは、３つの別個のカラーフォトダイオードを重ね合わせ、これらのフォトダイオードを電気的に接続することにより、単一の空間位置で三原色全てを検出することができる１つのフォトディテクタを形成するというものである。しかしながら、Stiebigら及びMerillのセンサは共通の陽極（アノードコモン）を持っているため、１つの三色フォトディテクタ位置から出力される電流は２つ以上のフォトダイオード電流の組み合わせということになる（すなわち、フォトディテクタが相互に電気的に絶縁されていない）。したがって、３つのフォトダイオード全てから出力される電流の差を測定するには相当な量の回路が必要となり、コスト的にも面積的にも許容されない場合がある。
【０００６】
さらに他のセンサ設計として、参照により本明細書に援用されるK. M. Findlaterらによる従来例がある（非特許文献２参照）。Findlaterらの論文は、Stiebigら及びMerillにより記載された「三色フォトディテクタ」のかわりに、「二色フォトディテクタ」について述べている。Findlaterのセンサにおいては、各フォトディテクタはバルクシリコン中に存在する背中合わせの（back to back）２つのフォトダイオードを含んでいる。さらに、Findlaterのセンサは非ベイヤーのカラーフィルタアレイ（ＣＦＡ）モザイクに覆われている。したがって、２つのフォトディテクタ毎に４つの異なるカラー値が抽出されるのである。
【０００７】
【特許文献１】
米国特許第３，９７１，０６５号
【特許文献２】
米国特許第５，９９８，８０６号
【特許文献３】
米国特許第５，９６５，８７５号
【非特許文献１】
Richard F. Lyon, “Prism-Based Color Separation for Professional Digital Photography”, Proceedings of 2000 PICS Conference, IS&T, p.50-54
【非特許文献２】
K. M. Findlater et al., “Buried Double Junction Photo-detector Using Green and Magenta Filters”, 1999 IEEE Workshop on CCDs and Advanced Image Sensors, p.60-64
【０００８】
【発明が解決しようとする課題】
Findlaterの設計は従来のベイヤーパターンと比べるとより正確に色を再生できるが、センサ各々の吸収スペクトル（すなわち、感度領域）が固定されているため、２つのバルクフォトダイオードの色の分離は悪い。加えて、Findlaterの設計では、各フォトディテクタの２つのフォトダイオード及び全ての回路がバルクシリコン中に集積化されているため、フォトディテクタ自体が大きく、領域及びコストの両方が増大することになる。そこで、Findlaterの設計と比べて色分離が改善され面積が小さく、従来の三色センサ設計と比べてフォトディテクタ間の電気的絶縁性が改善された、各フォトディテクタ位置において２つ以上の色をサンプリングすることができる新たなセンサ設計が必要とされている。
【０００９】
【課題を解決するための手段】
本発明は、バルクシリコン中にある下部フォトディテクタ素子と、その下部フォトディテクタ素子の上に高架された上部フォトディテクタ素子とを有する二色フォトディテクタを含むセンサを提供する。これにより、センサは各フォトディテクタ位置において２つ以上の色をサンプリングすることができる。各フォトディテクタ素子の色感度は、上部フォトディテクタ素子の吸収曲線、及び上部フォトディテクタ素子とカラーフィルタアレイ（使用する場合）の厚さにより決まる。
【００１０】
一部の実施形態においては、高架された上部フォトディテクタ素子は、上部フォトディテクタ素子及び下部フォトディテクタ素子の両方に必要とされる回路上に配置することができる。他の実施形態においては、カラーフィルタアレイを用いることなく２つのカラーフォトディテクタアレイ内の色を正確にサンプリングするために、隣接する２つのフォトディテクタの上部フォトディテクタ素子が２つの異なる厚さにされる。これにより、アレイ内の二色フォトディテクタ対のそれぞれが４つの異なる色（例えば、青と青の補色及び赤と赤の補色）を検出することができる。
【００１１】
他の実施形態においては、圧縮・保存用に生のカラー値を処理するために、二色フォトディテクタの２ｘ２ブロックに色変換マトリクスを使用して４色（８つのカラー値）をＹＣｂＣｒ（４：１：１）等の新たな色空間に変換することができる。したがって、隣接画素処理（neighborhood operation）を用いたデモザイクにより各フォトディテクタ位置において全４色を補間し、その後ＹＣｂＣｒ（４：１：１）色空間へと変換する代わりに、隣接画素処理を全く必要とせず、生のカラー値自体からＹＣｂＣｒ（４：１：１）色空間へと直接変換できる、より簡単なデモザイク方法を実施することができる。
【００１２】
さらに、二色フォトディテクタ中の２つのフォトディテクタ素子は互いから電気的に絶縁されているため、各フォトディテクタ素子のダイナミックレンジが向上する。２つのフォトディテクタ素子間の電気的絶縁により、２つのフォトディテクタ素子間の色分離を改善することもできる。また、一方のフォトディテクタ素子をもう一方のフォトディテクタ素子及び回路の上に高架されたことにより、従来の二色センサ設計と比べて、二色フォトディテクタを製作するための空間を小さくすることができる。
【００１３】
本発明は、上述した特徴及び利点に付加される、又はこれらに代わる他の特徴及び利点を持つ実施形態をも提供する。これらの特徴及び利点の多くは、図面と共に以下の説明を参照することにより明らかとなる。
【００１４】
【発明の実施の形態】
実施形態を参照して本発明の新たな教示内容を説明する。しかしながら、これらの実施形態は、本発明に含まれる教示内容の多数の有利な用法のうちの一部のみを提供するものであることを理解されたい。
【００１５】
図１は、ディジタルイメージセンサ１０について、二色フォトディテクタ（例えば、ピクセル）５の２ｘ２ブロックの一例を示した図である。図２において、４つのフォトディテクタ領域内に８個のフォトディテクタ素子（例えばフォトダイオード、フォトコンダクタまたはフォトトランジスタ）がある。各フォトディテクタは、それぞれ異なる色を検出する２個のフォトディテクタ素子を含む二色フォトディテクタ５である。二色フォトディテクタ５の２ｘ２ブロック内には、２種類の二色フォトディテクタが存在する。二色フォトディテクタの一方のタイプは、それぞれ第１及び第２の波長範囲内の光（すなわち、赤の補色及び赤）を受けてこれを吸光し、この結果得られる電荷を集めることができる第１及び第２のフォトディテクタ素子１２、１３を有する。二色フォトディテクタのもう一方のタイプは、それぞれ第３及び第４の波長範囲内の光（すなわち、青及び青の補色）を受けてこれを吸光し、この結果得られる電荷を集めることができる第３及び第４のフォトディテクタ素子２１、２２を有する。本技術分野で理解されているように、ここで言うフォトディテクタ素子とは、フォトコンダクタまたはフォトダイオードと考えることができる。本明細書ではフォトディテクタ素子１２及び１３が第１及び第２の波長範囲（例えば赤色及びその補色の波長）を吸収し、他の二色フォトディテクタ素子２１及び２２が第３及び第４の波長範囲（例えば青色及びその補色の波長）を吸収するものとして説明しているが、センサ１０の設計及び用途に応じて、どのフォトディテクタ素子も任意の波長範囲を吸収可能であることは理解されよう。さらに、フォトディテクタ素子１２及び１３に吸収されるそれぞれの波長範囲がフォトディテクタ素子２１及び２２に吸収される波長範囲と部分的に重なっていても良く、センサ１０の感度に大きい影響を与えないことも理解されよう。
【００１６】
適正な厚さを持つアモルファスシリコン（αＳｉ：Ｈ）（点線で図示）の単層が、各二色フォトディテクタの上部フォトディテクタ素子１２又は２１として働く。二色フォトディテクタの下部フォトディテクタ素子１３又は２２は、バルクシリコン（実線で図示）中にある。図からわかるように、各二色フォトディテクタの上部フォトディテクタ素子１２又は２１は、各二色フォトディテクタの下部フォトディテクタ素子１３又は２２に対して「高架された（elevated）」位置関係（すなわち、下部フォトディテクタ素子の上部に空間をあけて置かれる関係）にある。上部フォトディテクタ素子は、アモルファスシリコン以外の材料で形成できることに注意されたい。
【００１７】
しかしながら、各二色フォトディテクタの上部フォトディテクタ素子にアモルファスシリコンを用いると、上部フォトディテクタ素子１２、２１と下部フォトディテクタ素子１３、２２を独立して制御することができる。さらに、アモルファスシリコンの利用により、アモルファスシリコン層の厚さを介して色応答（color response）の調整が可能となる。各二色フォトディテクタの色応答を調整するためには、上部フォトディテクタ素子１２又は２１のアモルファスシリコン層の厚さを変化させれば良い。例えば、薄いアモルファスシリコン層を上部フォトディテクタ素子１２に使用すると青色のみを吸収し、その下にあるバルクシリコン内の下部フォトディテクタ素子１３は青の補色（例えば黄色）を吸収するようになる。一方、上部フォトディテクタ素子１２のアモルファスシリコン層を厚くすると、上部フォトディテクタ素子１２は赤色の補色（例えばシアン）を抽出し、バルクシリコン内の下部フォトディテクタ素子１３は赤色を吸収するようになる。
【００１８】
種々のアモルファスシリコン層の厚さについて、波長に対する吸収率を図３に示す。図３から明らかなように、５０００Å厚のアモルファスシリコン層はスペクトルの青色部分（波長５００ｎｍ付近）を１００％、緑色部分（波長約５７５から６５０ｎｍ）の４０から８０％、そして赤色部分（波長約６７５から７５０ｎｍ）の２０％未満を吸収する。
【００１９】
図１に示した例には、カラーフィルタが示されていない。しかしながら、二色フォトディテクタ５の応答を調節するためにカラーフィルタを用いても良いことは理解されよう。例えば、二色フォトディテクタ５の１タイプはマゼンタフィルタを含んでも良く、二色フォトディテクタ５の別のタイプはシアンフィルタを含んでも良い。マゼンタフィルタは、スペクトルのうち赤色及び青色部分のみを２つのフォトディテクタ（すなわち１２及び１３）へと通す。スペクトルの青色部分は上部フォトディテクタ素子１２により吸収され、スペクトルの赤色部分は下部フォトディテクタ素子１３により吸収される。シアンフィルタは、スペクトルのうち青色及び緑色部分のみを２つのフォトディテクタ（すなわち２１及び２２）へと通す。スペクトルの青色部分は上部フォトディテクタ２１により吸収され、スペクトルの緑色部分は下部フォトディテクタ素子２２により吸収される。しかしながら、センサ１０に求められる色空間及び色サンプリングに応じて、他のカラーフィルタも使用できることは理解されよう。
【００２０】
図２は、図１に示した例示的な二色フォトディテクタ５の断面図である。カラーフィルタ３０は酸化インジウム錫のような透明金属導体４０上にある。透明金属導体４０の下には、高架されたフォトダイオード１２があるが、これはＰ層１２ａ、Ｉ層１２ｂ及びＮ層１２ｃを含む。逆バイアスがかけられた場合、高架されたフォトダイオード１２は受光すると電荷を収集する。
【００２１】
二酸化シリコン（ＳｉＯ２）等の誘電体５０（層間金属誘電体として図示）は、高架されたフォトダイオードをバルクシリコンフォトダイオード１３から分離している。誘電体５０は、２つのフォトダイオード１２及び１３の各々から出る電流を分離するために（そしてこれによりフォトダイオード間を電気的に絶縁するために）、フォトダイオード１２及び１３の陽極を分離する。バルクシリコンフォトダイオード１３は、シリコン基板６０中に形成される。Ｐ型シリコン基板６０中に浅いＮ＋領域が形成され、これにより高架されたフォトダイオード１２が検出する光の波長よりも長い波長を持つ光が検出される。これに加え、図示していないが、バルクシリコンフォトダイオード１３に隣接して、高架されたフォトダイオード１２とバルクシリコンフォトダイオード１３を駆動する回路がバルクシリコン内に存在する。
【００２２】
二色フォトディテクタアレイから生成された生のカラー値を圧縮・保存する目的で処理するために、いくつかの異なる種類のデモザイク処理及び色空間変換アルゴリズムを元の生のカラー値に適用することができる。カラーフィルタを用いた場合、各フォトディテクタ位置において３つのカラー値（すなわち赤色、青色及び緑色、あるいはシアン、マゼンタ及びイエロー）を補間するために、周知のデモザイク技術のいずれをも採用することができる。各フォトディテクタは三色のうちの二色を検出するので、デモザイク処理の結果は従来のベイヤーＣＦＡパターンよりも正確なものとなるはずである。生のカラー値及び補間カラー値は、既知の変換処理のいずれかによって他の色空間へと変換することができる。
【００２３】
カラーフィルタを使用しない場合、アレイ内の二色フォトディテクタ対の各々は、４つの異なる色（すなわち、青と青の補色及び赤と赤の補色）を検出する。図１に示したような二色フォトディテクタの２ｘ２ブロックを処理するためには、４つのカラー値を補間し、さらに例えばＪＰＥＧ（Joint Photographic Expert Group）を用いてカラー値を圧縮に適した色空間へと変換するための、新たなデモザイク技術が必要となる。ＪＰＥＧ技術については、参照により本明細書に援用される、W. Pennebaker及びJ. Mitchellによる“ＪＰＥＧ：Still Image Data Compression Standard”（New York: Van Nostrand Reinhold, 1993）に記載されている。
【００２４】
図４Ａ及び図４Ｂに示すように、一実施形態おいては、２ｘ２ブロックの二色フォトディテクタ５が生成した８個の生のカラー値ａ １１ 、ａ２２、ｂ１１、ｂ２２、ｃ１２、ｃ２１、ｄ１２及びｄ２１が、ＹＣｂＣｒ（４：１：１）等のカラー値ｙ１１、ｙ１２、ｙ２１、ｙ２２、ｃｂ及びｃｒを持つ新しい色空間へとデモザイクなしで直接的に変換される。以下では、４つの異なる色（すなわち、赤と赤の補色及び青と青の補色）を、Ａ、Ｂ、Ｃ及びＤとして示す。従って、図４Ａに示した２ｘ２ブロックの二色フォトディテクタ５の構成は以下の通りとなる。
【００２５】
左上のフォトディテクタ：基底関数Ａ、係数ａ１１、及び基底関数Ｂ、係数ｂ１１
右上のフォトディテクタ：基底関数Ｃ、係数ｃ１２、及び基底関数Ｄ、係数ｄ１２
左下のフォトディテクタ：基底関数Ｃ、係数ｃ２１、及び基底関数Ｄ、係数ｄ２１
右下のフォトディテクタ：基底関数Ａ、係数ａ２２、及び基底関数Ｂ、係数ｂ２２
【００２６】
図４Ｂに示すように、上記の８個のカラー値から６個の新たなカラー値ｙ１１、ｙ１２、ｙ２１、ｙ２２、ｃｂ及びｃｒが求められる。より具体的には、求める必要がある新たなカラー値は以下の通りである。
【００２７】
左上のフォトディテクタ：基底関数Ｙ、係数ｙ１１
右上のフォトディテクタ：基底関数Ｙ、係数ｙ１２
左下のフォトディテクタ：基底関数Ｙ、係数ｙ２１
右下のフォトディテクタ：基底関数Ｙ、係数ｙ２２
フォトディテクタ群の中心：基底関数Ｃｂ、係数ｃｂ；基底関数Ｃｒ、係数ｃｒ
【００２８】
図５は、図４Ａ及び図４Ｂに示した直接逆デモザイク法（direct inversion demosaicing）を実施するステップの一例を説明するフローチャートである。最初に、ＡＢＣＤ空間からＹＣｂＣｒ空間への色変換マトリクスが生成される（ステップ５００）。色変換マトリクスを得る最も単純な方法は、「最大無知法（maximum ignorance method）」であり、これは基底関数（例えば色）のスペクトル感度曲線しか必要としないものである。最大無知法を使用して色変換マトリクスを得るには、単純な擬似逆行列計算が行われる。例えば、最大無知法を実施した結果、以下の４ｘ３マトリクス（［Ｅ］）により４つの色Ａ、Ｂ、Ｃ及びＤをＹ、Ｃｂ及びＣｒカラー値へと変換することができる。
【００２９】
【数１】
【００３０】
人の目は、８つのカラー値を生成する２ｘ２ブロックの二色フォトディテクタに対して輝度よりもクロミナンス（chrominance）の高周波変化に対する感度が低いため、次式のように、上述のマトリクスを拡張したものによってこれらの８つの値を６つの値（例えば４つのＹ値、１つのＣｒ値、１つのＣｘ値）へと変換することができる（ステップ５１０）。
【００３１】
【数２】
【００３２】
生のカラー値を取得すると（ステップ５２０）、これらの生のカラー値が上記マトリクスへと適用される（ステップ５３０）。例えば、図４Ａの左上の二色フォトディテクタの生のカラー値を上記マトリクスに適用すると、次式が得られる。
【００３３】
【数３】
（式１）
（式２）
【００３４】
図４Ａの右上の二色フォトディテクタの生のカラー値を上記拡張マトリクスに適用すると、次式が得られる。
【００３５】
【数４】
（式３）
（式４）
【００３６】
図４Ａの左下の二色フォトディテクタの生のカラー値を上記拡張マトリクスに適用すると、次式が得られる。
【００３７】
【数５】
（式５）
（式６）
【００３８】
最後に、図４Ａの右下の二色フォトディテクタの生のカラー値を上記拡張マトリクスに適用すると、次式が得られる。
【００３９】
【数６】
（式７）
（式８）
【００４０】
上記８つの式は６つの未知の値（ｙ１１、ｙ１２、ｙ２１、ｙ２２、ｃｂ、ｃｒ）を含む。これらの８つの式は、最小二乗法を使用して解くことができ、６つの未知の値が求められる（ステップ５４０）。ここで説明したＹＣｒＣｂのかわりに、Ｌａｂ（Ｌ＊ａ＊ｂ＊）等の他の色空間を使用しても良いことは理解されよう。また、あらゆる新たな色空間に対して値が４：１：１でサンプリングされる点を理解されたい。すなわち、成分の１つが４つの値を持ち、他の２つがそれぞれ１つの値を持つということである。
【００４１】
デモザイクのかわりに、各フォトディテクタ位置において四色全てを補間し、その後生のカラー値自体からＹＣｂＣｒ（４：１：１）色空間へと変換する隣接画素処理を用いても良い。このような圧縮前の画像処理はセンサ自体で実施することが可能であり、これによりセンサが出力しなければならないデータ量を削減することができる。
【００４２】
他の実施形態では、二色フォトディテクタアレイにより生成される生のカラー値にエッジ加重補間（edge weighted interpolation）を適用することができる。画像内には光の強度が急峻に変化するエッジが多数ある。シャープな出力画像を生成するためには、エッジをまたいだ色補間よりもエッジに沿った色補間に向けられるべきである。各フォトディテクタ位置についてエッジをまたぐ色補間を回避するために、図７に関連して以下に説明するエッジ加重デモザイク法により、そのフォトディテクタがエッジにあるか否かが判断され、もしそうであればエッジの向きが推定される。本明細書において「エッジ」という語は、強度変化が急峻な画像特徴のオブジェクト又は他の境界に関連する値を生成するフォトディテクタを指す。「エッジ」という語は、画像の４つの自然境界の１つに位置するフォトディテクタ（すなわち、センサ自体の端部に位置するフォトディテクタ）を意味するものではない。
【００４３】
図６に示すように、二色フォトディテクタアレイにおいて、色Ｃ及びＤを検出する二色フォトディテクタ５は、色Ａ及びＢを検出する４つの二色フォトディテクタ５によって水平方向及び垂直方向に囲まれている。例えば、色Ａの値をＣ／Ｄフォトディテクタ位置で補間するために、次式を適用することができる。
【００４４】
【数７】
Ａ＝{（Ａ２＋Ａ３）／２*Ａｙ＋（Ａ１＋Ａ４）／２*Ａｘ}／（１＋Ａｘ＋Ａｙ）
（式９）
ここで、Ａｘ及びＡｙは水平方向及び垂直方向における勾配である。すなわち、以下の通りである。
【００４５】
【数８】
（式１０）
（式１１）
【００４６】
エッジ加重デモザイク処理は、最も変化の小さい方向において近隣からの補間を行って、エッジをぼやけさせるリスクを最小化するので、他よりも大きい勾配の１つがあると、反対側のフォトディテクタ対により大きい加重が割り当てられる。例えば、水平方向の勾配が垂直方向の勾配よりも大きい場合、ＡｘよりもＡｙにより大きな加重が割り当てられる。Ｃ／Ｄフォトディテクタ位置におけるＢ値の補間にも同様の式を使用することができる。
【００４７】
図７はエッジ加重デモザイク法の一例を示すフローチャートである。生のカラー値が取得されると（ステップ７００）、各二色フォトディテクタ位置について２つのカラー値が補間される（ステップ７１０）。２つの欠損（missing）カラー値をフォトディテクタ位置から補間する前に、上記の式１０及び１１を使用して水平方向の勾配及び垂直方向の勾配が求められる（ステップ７２０）。その後、上記式９を用いて２つの欠損値のエッジ加重補間が実施される（ステップ７３０）。各フォトディテクタ位置の欠損フォトディテクタ値は、全て同様の方法で計算される（ステップ７１０からステップ７３０）。
【００４８】
各二色フォトディテクタ位置について４つのカラー値が揃うと（ステップ７１０）、各二色フォトディテクタ位置の４つのカラー値が以下の色変換マトリクス（上述した変換マトリクスと同一のもの）に適用され、各二色フォトディテクタの４つの値がＹＣｂＣｒ等の他の色空間へと変換される（ステップ７４０）。
【００４９】
【数９】
ここで、マトリクス［Ｅ］は、基底関数（例えば色）のスペクトル感度曲線しか必要としない最大無知法から導出される。マトリクスを適用した結果、各二色フォトディテクタ位置はその位置に関連するＹ値、Ｃｂ値及びＣｒ値を持つことになる。当分野において周知の通り、ＹＣｂＣｒ（４：１：１）色空間への変換を完了するためにはＣｂ及びＣｒ値の追加サブサンプリングが必要である（ステップ７５０）。
【００５０】
エッジ加重デモザイク法は、直接逆デモザイク法よりもシャープな画像を生成することができるが、エッジ加重デモザイク法は２ｘ２フォトディテクタ上の閉じたオペレーションではない。従って、エッジ加重デモザイク法で画像をデモザイクするためには何らかのバッファリング（すなわち、２ラインバッファリング）が必要となる。
【００５１】
本発明には例として以下の実施形態が含まれる。
【００５２】
１．第１の波長範囲内の光を吸収可能な第１のフォトディテクタ素子（１２）と第２の波長範囲内の光を吸収可能な第２のフォトディテクタ素子（１３）とを有する二色フォトディテクタ（５）を含み、
前記第１のフォトディテクタ素子は前記第２のフォトディテクタ素子の上に高架された関係にあり、
前記第１のフォトディテクタ素子は前記第２のフォトディテクタ素子から電気的に絶縁されていることを特徴とする、ディジタルイメージセンサ（１０）。
【００５３】
２．基板（６０）をさらに含み、前記第２のフォトディテクタ素子（１３）が前記基板中に形成されている、上記１に記載のディジタルイメージセンサ。
【００５４】
３．前記第１のフォトディテクタ素子（１２）と前記第２のフォトディテクタ素子（１３）との間に誘電体層（５０）をさらに含み、前記誘電体層は前記第１のフォトディテクタ素子を前記第２のフォトディテクタ素子から電気的に絶縁する、上記２に記載のディジタルイメージセンサ。
【００５５】
４．前記第１のフォトディテクタ素子（１２）は、前記第１の波長範囲内の光を吸収すると共に前記第２の波長範囲内の光を通過させるように選択された厚さを持つアモルファスシリコンから形成されており、
前記第２のフォトディテクタ素子（１３）は、前記第１のフォトディテクタ素子が通過させた前記第２の波長範囲内の光を検出する、上記１に記載のディジタルイメージセンサ。
【００５６】
５．前記第１のフォトディテクタ素子（１２）と前記第２のフォトディテクタ素子（１３）を駆動するための回路をさらに含み、前記第１のフォトディテクタ素子は前記回路の上に高架された関係にある、上記１に記載のディジタルイメージセンサ。
【００５７】
６．二色フォトディテクタ（５）のアレイのデモザイク方法であって、
前記二色フォトディテクタのアレイ内にある４個の二色フォトディテクタから成るブロックから８つのカラー値を生成するステップ（ステップ５２０）であって、前記４個の二色フォトディテクタから成るブロック内にある各二色フォトディテクタは、下部フォトディテクタ素子（１３）の上に高架された関係にありかつ電気的に絶縁された上部フォトディテクタ素子（１２）を含み、前記４個の二色フォトディテクタのブロック内にある二色フォトディテクタの第１の対は前記８つのカラー値のうち受光した第１の波長範囲内の光に関連する２つのカラー値と、前記８つのカラー値のうち受光した第２の波長範囲内の光に関連する２つのカラー値とを生成し、前記４個の二色フォトディテクタのブロック内にある二色フォトディテクタの第２の対は前記８つのカラー値のうち受光した第３の波長範囲内の光に関連する２つのカラー値と、前記８つのカラー値のうち受光した第４の波長範囲内の光に関連する２つのカラー値とを生成し、前記８つのカラー値は第１の色空間を構成する、ステップと、
前記第１の色空間を第２の色空間へと変換するための色変換マトリクスを求めるステップ（ステップ５００と５１０）であって、前記第２の色空間は、輝度色平面、第１のクロミナンス色平面、及び第２のクロミナンス色平面を含む、ステップと、
前記８つのカラー値を前記色変換マトリクスに適用することにより、前記８つのカラー値を、前記輝度色平面内の４つの輝度値、前記第１のクロミナンス色平面内の１つの第１のクロミナンスカラー値、及び前記第２のクロミナンス色平面内の１つの第２のクロミナンスカラー値へと変換するステップ（ステップ５３０、５４０）と、
を含むデモザイク方法。
【００５８】
７．前記適用するステップが、
前記８つのカラー値を前記色変換マトリクスに適用することにより、前記４つの輝度値、前記１つの第１のクロミナンス値及び前記１つの第２のクロミナンス値に対応する６つの未知の値を含む８つの式を得るステップ（ステップ５３０）と、
最小二乗法を用いて前記８つの式を解いて、前記６つの未知の値を求めるステップ（ステップ５４０）と、
をさらに含む、上記６に記載のデモザイク方法。
【００５９】
８．前記色変換マトリクスを求めるステップが、
前記第１の色空間と前記第２の色空間との間で変換を行うための基本色変換マトリクスを求めるステップであって、前記基本色変換マトリクスは、前記第１、第２、第３及び第４の波長範囲からのカラー値を、前記輝度値、前記１つの第１のクロミナンス値及び前記１つの第２のクロミナンス値へと変換するものである、ステップ（ステップ５００）と、
前記基本色変換マトリクスを、前記８つのカラー値を前記４つの輝度値、前記１つの第１のクロミナンス値、及び前記１つの第２のクロミナンスカラー値へと変換可能な前記色変換マトリクスへと拡張するステップ（ステップ５１０）と、
をさらに含む、上記７に記載のデモザイク方法。
【００６０】
９．行及び列に配列された複数の二色フォトディテクタ（５）のフォトディテクタ位置を持つイメージセンサ（１０）から得られたディジタルイメージをデモザイクする方法であって、
前記二色フォトディテクタの各々が、下部フォトディテクタ素子（１３）から高架された関係にありかつ電気的に絶縁された上部フォトディテクタ素子（１２）を含み、前記イメージセンサが４つの異なる波長範囲内の光に関連するカラー値を生成するものであるとき、
前記方法が、
前記４つの異なる波長範囲内の光に関連するカラー値のセットを受け取るステップ（ステップ７００）と、
前記４つの異なる波長範囲のうち第１及び第２の波長範囲に関連する前記カラー値のセット内の第１及び第２のカラー値を生成する選択されたフォトディテクタ位置について、前記カラー値のセットを使用して前記４つの異なる波長範囲の第３の波長範囲に関連する水平方向の勾配及び垂直方向の勾配を求めるステップであって、前記水平方向の勾配及び垂直方向の勾配が前記フォトディテクタ位置の前記行及び列の配置に対応する、ステップ（ステップ７２０）と、
前記選択されたフォトディテクタ位置について前記第３の波長範囲内の光に関連する欠損した第３のカラー値を、前記水平方向の勾配及び垂直方向の勾配を用いて補間するステップ（ステップ７３０）と、
を含むデモザイク方法。
【００６１】
１０．前記補間するステップ（ステップ７３０）が、
前記水平方向の勾配と、前記第３の波長範囲内の光に関連し、かつ前記選択されたフォトディテクタ位置に垂直方向に隣接するフォトディテクタ位置に関連する前記カラー値のセット内のカラー値の平均とを乗じるステップと、
前記垂直方向の勾配と、前記第３の波長範囲内の光に関連し、かつ前記選択されたフォトディテクタ位置に水平方向に隣接するフォトディテクタ位置に関連する前記カラー値のセット内のカラー値の平均とを乗じるステップと、
をさらに含む、上記９に記載のデモザイク方法。
【００６２】
当業者には明らかなように、本明細書に述べた新たな概念は幅広いアプリケーションに対して変更及び改変可能である。したがって、本発明は記載した実施形態における特定の教示内容に限られない。
【図面の簡単な説明】
【図１】本発明の一実施形態による二色フォトディテクタアレイ用のフォトディテクタの２ｘ２ブロックの一例を表す図である。
【図２】図１に示した種類の二色フォトディテクタの断面図である。
【図３】アモルファスシリコンの様々な厚さに対する、波長対吸収率を示した図である。
【図４Ａ】二色フォトディテクタの２ｘ２ブロックから得られる生のカラー値を示す図である。
【図４Ｂ】本発明の一実施形態による、図４Ａに示した生のカラー値のデモザイク処理の結果を示す図である。
【図５】本発明の一実施形態による 直接変換デモザイク法の例示的なステップを示すフローチャートである。
【図６】二色フォトディテクタアレイから得られた生のカラー値を示す図である。
【図７】本発明の一実施形態によるエッジ加重デモザイク法の例示的なステップを示すフローチャートである。
【符号の説明】
５ 二色フォトディテクタ
１０ ディジタルイメージセンサ
１２ 第１のフォトディテクタ素子
１３ 第２のフォトディテクタ素子
２１ 第３のフォトディテクタ素子
２２ 第４のフォトディテクタ素子
３０ カラーフィルタ
４０ 透明金属導体
５０ 誘電体層
６０ 基板
【発明の属する技術分野】
本発明は一般にディジタルカラーイメージセンサに関し、より具体的には単一のフォトディテクタ（光検出器）位置で２つの色を検出可能な二色フォトディテクタ及び二色フォトディテクタアレイのデモザイク法（demosaicing）に関する。
【０００２】
【従来の技術】
ディジタルカラーイメージセンサには、ＣＣＤ（電化結合素子）とＣＭＯＳ−ＡＰＳ（相補型金属酸化物半導体−アクティブフォトディテクタセンサ）の主に二種類がある。通常、どちらのタイプのセンサも、行及び列に配置されるかまたは他のパターンに配置されるフォトディテクタ（例えばピクセル）のアレイを含んでおり、これによって画像中の色をサンプリングする。各フォトディテクタは、１つまたは複数の知覚色に対応する１つ又は複数の波長範囲内の光の強度を測定する。
【０００３】
加えて、両タイプのセンサとも、参照により本明細書に援用されるＢａｙｅｒによる従来例（以下、単に「ベイヤー」と呼ぶ）のようなカラーフィルタアレイ（ＣＦＡ）を含むことができる（特許文献１参照）。各フォトディテクタは、ベイヤーのＣＦＡを用いて、赤、緑又は青に対応する１つの波長範囲のみを検出する。単一のフォトディテクタにおいて三原色全てのセンサ値を得るには、隣接するフォトディテクタからカラーセンサ値を補間しなければならない。この補間処理はデモザイク処理と呼ばれる。デモザイク処理された画像は、ＣＦＡを用いて適合されたイメージセンサにおいては、本質的に存在する色のアンダーサンプリングによるカラーエイリアシングアーチファクト（歪み）を呈することが多い。カラーエイリアシングアーチファクトに関連する問題の一部を解決するために、他のセンサ設計が提案されている。
【０００４】
例えば、ＣＦＡを用いない他のセンサ設計の１つとして、同じフォトディテクタ位置において特殊なプリズムにより三原色を分割して補足するものがあり、これは、参照により本明細書に援用されるRichard F. Lyonによる従来例に記載されている（非特許文献１参照）。しかしながら、この手法ではプリズムや光学部品のコストが非常に高くなる。加えて、３つのセンサと光学部品のアライメントをフォトディテクタの幅の数分の一よりも小さな単位（３μｍ程度）でＸ、Ｙ方向に手動で行わなければならず、多くの画像形成アプリケーションには適用することができない。
【０００５】
参照により本明細書に援用されるStiebigらによる従来例及びMerillによる従来例は、いずれも他のタイプのセンサ設計について記載している（特許文献２及び特許文献３参照）。Stiebigら及びMerillのセンサは、３つの別個のカラーフォトダイオードを重ね合わせ、これらのフォトダイオードを電気的に接続することにより、単一の空間位置で三原色全てを検出することができる１つのフォトディテクタを形成するというものである。しかしながら、Stiebigら及びMerillのセンサは共通の陽極（アノードコモン）を持っているため、１つの三色フォトディテクタ位置から出力される電流は２つ以上のフォトダイオード電流の組み合わせということになる（すなわち、フォトディテクタが相互に電気的に絶縁されていない）。したがって、３つのフォトダイオード全てから出力される電流の差を測定するには相当な量の回路が必要となり、コスト的にも面積的にも許容されない場合がある。
【０００６】
さらに他のセンサ設計として、参照により本明細書に援用されるK. M. Findlaterらによる従来例がある（非特許文献２参照）。Findlaterらの論文は、Stiebigら及びMerillにより記載された「三色フォトディテクタ」のかわりに、「二色フォトディテクタ」について述べている。Findlaterのセンサにおいては、各フォトディテクタはバルクシリコン中に存在する背中合わせの（back to back）２つのフォトダイオードを含んでいる。さらに、Findlaterのセンサは非ベイヤーのカラーフィルタアレイ（ＣＦＡ）モザイクに覆われている。したがって、２つのフォトディテクタ毎に４つの異なるカラー値が抽出されるのである。
【０００７】
【特許文献１】
米国特許第３，９７１，０６５号
【特許文献２】
米国特許第５，９９８，８０６号
【特許文献３】
米国特許第５，９６５，８７５号
【非特許文献１】
Richard F. Lyon, “Prism-Based Color Separation for Professional Digital Photography”, Proceedings of 2000 PICS Conference, IS&T, p.50-54
【非特許文献２】
K. M. Findlater et al., “Buried Double Junction Photo-detector Using Green and Magenta Filters”, 1999 IEEE Workshop on CCDs and Advanced Image Sensors, p.60-64
【０００８】
【発明が解決しようとする課題】
Findlaterの設計は従来のベイヤーパターンと比べるとより正確に色を再生できるが、センサ各々の吸収スペクトル（すなわち、感度領域）が固定されているため、２つのバルクフォトダイオードの色の分離は悪い。加えて、Findlaterの設計では、各フォトディテクタの２つのフォトダイオード及び全ての回路がバルクシリコン中に集積化されているため、フォトディテクタ自体が大きく、領域及びコストの両方が増大することになる。そこで、Findlaterの設計と比べて色分離が改善され面積が小さく、従来の三色センサ設計と比べてフォトディテクタ間の電気的絶縁性が改善された、各フォトディテクタ位置において２つ以上の色をサンプリングすることができる新たなセンサ設計が必要とされている。
【０００９】
【課題を解決するための手段】
本発明は、バルクシリコン中にある下部フォトディテクタ素子と、その下部フォトディテクタ素子の上に高架された上部フォトディテクタ素子とを有する二色フォトディテクタを含むセンサを提供する。これにより、センサは各フォトディテクタ位置において２つ以上の色をサンプリングすることができる。各フォトディテクタ素子の色感度は、上部フォトディテクタ素子の吸収曲線、及び上部フォトディテクタ素子とカラーフィルタアレイ（使用する場合）の厚さにより決まる。
【００１０】
一部の実施形態においては、高架された上部フォトディテクタ素子は、上部フォトディテクタ素子及び下部フォトディテクタ素子の両方に必要とされる回路上に配置することができる。他の実施形態においては、カラーフィルタアレイを用いることなく２つのカラーフォトディテクタアレイ内の色を正確にサンプリングするために、隣接する２つのフォトディテクタの上部フォトディテクタ素子が２つの異なる厚さにされる。これにより、アレイ内の二色フォトディテクタ対のそれぞれが４つの異なる色（例えば、青と青の補色及び赤と赤の補色）を検出することができる。
【００１１】
他の実施形態においては、圧縮・保存用に生のカラー値を処理するために、二色フォトディテクタの２ｘ２ブロックに色変換マトリクスを使用して４色（８つのカラー値）をＹＣｂＣｒ（４：１：１）等の新たな色空間に変換することができる。したがって、隣接画素処理（neighborhood operation）を用いたデモザイクにより各フォトディテクタ位置において全４色を補間し、その後ＹＣｂＣｒ（４：１：１）色空間へと変換する代わりに、隣接画素処理を全く必要とせず、生のカラー値自体からＹＣｂＣｒ（４：１：１）色空間へと直接変換できる、より簡単なデモザイク方法を実施することができる。
【００１２】
さらに、二色フォトディテクタ中の２つのフォトディテクタ素子は互いから電気的に絶縁されているため、各フォトディテクタ素子のダイナミックレンジが向上する。２つのフォトディテクタ素子間の電気的絶縁により、２つのフォトディテクタ素子間の色分離を改善することもできる。また、一方のフォトディテクタ素子をもう一方のフォトディテクタ素子及び回路の上に高架されたことにより、従来の二色センサ設計と比べて、二色フォトディテクタを製作するための空間を小さくすることができる。
【００１３】
本発明は、上述した特徴及び利点に付加される、又はこれらに代わる他の特徴及び利点を持つ実施形態をも提供する。これらの特徴及び利点の多くは、図面と共に以下の説明を参照することにより明らかとなる。
【００１４】
【発明の実施の形態】
実施形態を参照して本発明の新たな教示内容を説明する。しかしながら、これらの実施形態は、本発明に含まれる教示内容の多数の有利な用法のうちの一部のみを提供するものであることを理解されたい。
【００１５】
図１は、ディジタルイメージセンサ１０について、二色フォトディテクタ（例えば、ピクセル）５の２ｘ２ブロックの一例を示した図である。図２において、４つのフォトディテクタ領域内に８個のフォトディテクタ素子（例えばフォトダイオード、フォトコンダクタまたはフォトトランジスタ）がある。各フォトディテクタは、それぞれ異なる色を検出する２個のフォトディテクタ素子を含む二色フォトディテクタ５である。二色フォトディテクタ５の２ｘ２ブロック内には、２種類の二色フォトディテクタが存在する。二色フォトディテクタの一方のタイプは、それぞれ第１及び第２の波長範囲内の光（すなわち、赤の補色及び赤）を受けてこれを吸光し、この結果得られる電荷を集めることができる第１及び第２のフォトディテクタ素子１２、１３を有する。二色フォトディテクタのもう一方のタイプは、それぞれ第３及び第４の波長範囲内の光（すなわち、青及び青の補色）を受けてこれを吸光し、この結果得られる電荷を集めることができる第３及び第４のフォトディテクタ素子２１、２２を有する。本技術分野で理解されているように、ここで言うフォトディテクタ素子とは、フォトコンダクタまたはフォトダイオードと考えることができる。本明細書ではフォトディテクタ素子１２及び１３が第１及び第２の波長範囲（例えば赤色及びその補色の波長）を吸収し、他の二色フォトディテクタ素子２１及び２２が第３及び第４の波長範囲（例えば青色及びその補色の波長）を吸収するものとして説明しているが、センサ１０の設計及び用途に応じて、どのフォトディテクタ素子も任意の波長範囲を吸収可能であることは理解されよう。さらに、フォトディテクタ素子１２及び１３に吸収されるそれぞれの波長範囲がフォトディテクタ素子２１及び２２に吸収される波長範囲と部分的に重なっていても良く、センサ１０の感度に大きい影響を与えないことも理解されよう。
【００１６】
適正な厚さを持つアモルファスシリコン（αＳｉ：Ｈ）（点線で図示）の単層が、各二色フォトディテクタの上部フォトディテクタ素子１２又は２１として働く。二色フォトディテクタの下部フォトディテクタ素子１３又は２２は、バルクシリコン（実線で図示）中にある。図からわかるように、各二色フォトディテクタの上部フォトディテクタ素子１２又は２１は、各二色フォトディテクタの下部フォトディテクタ素子１３又は２２に対して「高架された（elevated）」位置関係（すなわち、下部フォトディテクタ素子の上部に空間をあけて置かれる関係）にある。上部フォトディテクタ素子は、アモルファスシリコン以外の材料で形成できることに注意されたい。
【００１７】
しかしながら、各二色フォトディテクタの上部フォトディテクタ素子にアモルファスシリコンを用いると、上部フォトディテクタ素子１２、２１と下部フォトディテクタ素子１３、２２を独立して制御することができる。さらに、アモルファスシリコンの利用により、アモルファスシリコン層の厚さを介して色応答（color response）の調整が可能となる。各二色フォトディテクタの色応答を調整するためには、上部フォトディテクタ素子１２又は２１のアモルファスシリコン層の厚さを変化させれば良い。例えば、薄いアモルファスシリコン層を上部フォトディテクタ素子１２に使用すると青色のみを吸収し、その下にあるバルクシリコン内の下部フォトディテクタ素子１３は青の補色（例えば黄色）を吸収するようになる。一方、上部フォトディテクタ素子１２のアモルファスシリコン層を厚くすると、上部フォトディテクタ素子１２は赤色の補色（例えばシアン）を抽出し、バルクシリコン内の下部フォトディテクタ素子１３は赤色を吸収するようになる。
【００１８】
種々のアモルファスシリコン層の厚さについて、波長に対する吸収率を図３に示す。図３から明らかなように、５０００Å厚のアモルファスシリコン層はスペクトルの青色部分（波長５００ｎｍ付近）を１００％、緑色部分（波長約５７５から６５０ｎｍ）の４０から８０％、そして赤色部分（波長約６７５から７５０ｎｍ）の２０％未満を吸収する。
【００１９】
図１に示した例には、カラーフィルタが示されていない。しかしながら、二色フォトディテクタ５の応答を調節するためにカラーフィルタを用いても良いことは理解されよう。例えば、二色フォトディテクタ５の１タイプはマゼンタフィルタを含んでも良く、二色フォトディテクタ５の別のタイプはシアンフィルタを含んでも良い。マゼンタフィルタは、スペクトルのうち赤色及び青色部分のみを２つのフォトディテクタ（すなわち１２及び１３）へと通す。スペクトルの青色部分は上部フォトディテクタ素子１２により吸収され、スペクトルの赤色部分は下部フォトディテクタ素子１３により吸収される。シアンフィルタは、スペクトルのうち青色及び緑色部分のみを２つのフォトディテクタ（すなわち２１及び２２）へと通す。スペクトルの青色部分は上部フォトディテクタ２１により吸収され、スペクトルの緑色部分は下部フォトディテクタ素子２２により吸収される。しかしながら、センサ１０に求められる色空間及び色サンプリングに応じて、他のカラーフィルタも使用できることは理解されよう。
【００２０】
図２は、図１に示した例示的な二色フォトディテクタ５の断面図である。カラーフィルタ３０は酸化インジウム錫のような透明金属導体４０上にある。透明金属導体４０の下には、高架されたフォトダイオード１２があるが、これはＰ層１２ａ、Ｉ層１２ｂ及びＮ層１２ｃを含む。逆バイアスがかけられた場合、高架されたフォトダイオード１２は受光すると電荷を収集する。
【００２１】
二酸化シリコン（ＳｉＯ２）等の誘電体５０（層間金属誘電体として図示）は、高架されたフォトダイオードをバルクシリコンフォトダイオード１３から分離している。誘電体５０は、２つのフォトダイオード１２及び１３の各々から出る電流を分離するために（そしてこれによりフォトダイオード間を電気的に絶縁するために）、フォトダイオード１２及び１３の陽極を分離する。バルクシリコンフォトダイオード１３は、シリコン基板６０中に形成される。Ｐ型シリコン基板６０中に浅いＮ＋領域が形成され、これにより高架されたフォトダイオード１２が検出する光の波長よりも長い波長を持つ光が検出される。これに加え、図示していないが、バルクシリコンフォトダイオード１３に隣接して、高架されたフォトダイオード１２とバルクシリコンフォトダイオード１３を駆動する回路がバルクシリコン内に存在する。
【００２２】
二色フォトディテクタアレイから生成された生のカラー値を圧縮・保存する目的で処理するために、いくつかの異なる種類のデモザイク処理及び色空間変換アルゴリズムを元の生のカラー値に適用することができる。カラーフィルタを用いた場合、各フォトディテクタ位置において３つのカラー値（すなわち赤色、青色及び緑色、あるいはシアン、マゼンタ及びイエロー）を補間するために、周知のデモザイク技術のいずれをも採用することができる。各フォトディテクタは三色のうちの二色を検出するので、デモザイク処理の結果は従来のベイヤーＣＦＡパターンよりも正確なものとなるはずである。生のカラー値及び補間カラー値は、既知の変換処理のいずれかによって他の色空間へと変換することができる。
【００２３】
カラーフィルタを使用しない場合、アレイ内の二色フォトディテクタ対の各々は、４つの異なる色（すなわち、青と青の補色及び赤と赤の補色）を検出する。図１に示したような二色フォトディテクタの２ｘ２ブロックを処理するためには、４つのカラー値を補間し、さらに例えばＪＰＥＧ（Joint Photographic Expert Group）を用いてカラー値を圧縮に適した色空間へと変換するための、新たなデモザイク技術が必要となる。ＪＰＥＧ技術については、参照により本明細書に援用される、W. Pennebaker及びJ. Mitchellによる“ＪＰＥＧ：Still Image Data Compression Standard”（New York: Van Nostrand Reinhold, 1993）に記載されている。
【００２４】
図４Ａ及び図４Ｂに示すように、一実施形態おいては、２ｘ２ブロックの二色フォトディテクタ５が生成した８個の生のカラー値ａ １１ 、ａ２２、ｂ１１、ｂ２２、ｃ１２、ｃ２１、ｄ１２及びｄ２１が、ＹＣｂＣｒ（４：１：１）等のカラー値ｙ１１、ｙ１２、ｙ２１、ｙ２２、ｃｂ及びｃｒを持つ新しい色空間へとデモザイクなしで直接的に変換される。以下では、４つの異なる色（すなわち、赤と赤の補色及び青と青の補色）を、Ａ、Ｂ、Ｃ及びＤとして示す。従って、図４Ａに示した２ｘ２ブロックの二色フォトディテクタ５の構成は以下の通りとなる。
【００２５】
左上のフォトディテクタ：基底関数Ａ、係数ａ１１、及び基底関数Ｂ、係数ｂ１１
右上のフォトディテクタ：基底関数Ｃ、係数ｃ１２、及び基底関数Ｄ、係数ｄ１２
左下のフォトディテクタ：基底関数Ｃ、係数ｃ２１、及び基底関数Ｄ、係数ｄ２１
右下のフォトディテクタ：基底関数Ａ、係数ａ２２、及び基底関数Ｂ、係数ｂ２２
【００２６】
図４Ｂに示すように、上記の８個のカラー値から６個の新たなカラー値ｙ１１、ｙ１２、ｙ２１、ｙ２２、ｃｂ及びｃｒが求められる。より具体的には、求める必要がある新たなカラー値は以下の通りである。
【００２７】
左上のフォトディテクタ：基底関数Ｙ、係数ｙ１１
右上のフォトディテクタ：基底関数Ｙ、係数ｙ１２
左下のフォトディテクタ：基底関数Ｙ、係数ｙ２１
右下のフォトディテクタ：基底関数Ｙ、係数ｙ２２
フォトディテクタ群の中心：基底関数Ｃｂ、係数ｃｂ；基底関数Ｃｒ、係数ｃｒ
【００２８】
図５は、図４Ａ及び図４Ｂに示した直接逆デモザイク法（direct inversion demosaicing）を実施するステップの一例を説明するフローチャートである。最初に、ＡＢＣＤ空間からＹＣｂＣｒ空間への色変換マトリクスが生成される（ステップ５００）。色変換マトリクスを得る最も単純な方法は、「最大無知法（maximum ignorance method）」であり、これは基底関数（例えば色）のスペクトル感度曲線しか必要としないものである。最大無知法を使用して色変換マトリクスを得るには、単純な擬似逆行列計算が行われる。例えば、最大無知法を実施した結果、以下の４ｘ３マトリクス（［Ｅ］）により４つの色Ａ、Ｂ、Ｃ及びＤをＹ、Ｃｂ及びＣｒカラー値へと変換することができる。
【００２９】
【数１】
人の目は、８つのカラー値を生成する２ｘ２ブロックの二色フォトディテクタに対して輝度よりもクロミナンス（chrominance）の高周波変化に対する感度が低いため、次式のように、上述のマトリクスを拡張したものによってこれらの８つの値を６つの値（例えば４つのＹ値、１つのＣｒ値、１つのＣｘ値）へと変換することができる（ステップ５１０）。
【００３１】
【数２】
生のカラー値を取得すると（ステップ５２０）、これらの生のカラー値が上記マトリクスへと適用される（ステップ５３０）。例えば、図４Ａの左上の二色フォトディテクタの生のカラー値を上記マトリクスに適用すると、次式が得られる。
【００３３】
【数３】
【００３４】
図４Ａの右上の二色フォトディテクタの生のカラー値を上記拡張マトリクスに適用すると、次式が得られる。
【００３５】
【数４】
【００３６】
図４Ａの左下の二色フォトディテクタの生のカラー値を上記拡張マトリクスに適用すると、次式が得られる。
【００３７】
【数５】
【００３８】
最後に、図４Ａの右下の二色フォトディテクタの生のカラー値を上記拡張マトリクスに適用すると、次式が得られる。
【００３９】
【数６】
【００４０】
上記８つの式は６つの未知の値（ｙ１１、ｙ１２、ｙ２１、ｙ２２、ｃｂ、ｃｒ）を含む。これらの８つの式は、最小二乗法を使用して解くことができ、６つの未知の値が求められる（ステップ５４０）。ここで説明したＹＣｒＣｂのかわりに、Ｌａｂ（Ｌ＊ａ＊ｂ＊）等の他の色空間を使用しても良いことは理解されよう。また、あらゆる新たな色空間に対して値が４：１：１でサンプリングされる点を理解されたい。すなわち、成分の１つが４つの値を持ち、他の２つがそれぞれ１つの値を持つということである。
【００４１】
デモザイクのかわりに、各フォトディテクタ位置において四色全てを補間し、その後生のカラー値自体からＹＣｂＣｒ（４：１：１）色空間へと変換する隣接画素処理を用いても良い。このような圧縮前の画像処理はセンサ自体で実施することが可能であり、これによりセンサが出力しなければならないデータ量を削減することができる。
【００４２】
他の実施形態では、二色フォトディテクタアレイにより生成される生のカラー値にエッジ加重補間（edge weighted interpolation）を適用することができる。画像内には光の強度が急峻に変化するエッジが多数ある。シャープな出力画像を生成するためには、エッジをまたいだ色補間よりもエッジに沿った色補間に向けられるべきである。各フォトディテクタ位置についてエッジをまたぐ色補間を回避するために、図７に関連して以下に説明するエッジ加重デモザイク法により、そのフォトディテクタがエッジにあるか否かが判断され、もしそうであればエッジの向きが推定される。本明細書において「エッジ」という語は、強度変化が急峻な画像特徴のオブジェクト又は他の境界に関連する値を生成するフォトディテクタを指す。「エッジ」という語は、画像の４つの自然境界の１つに位置するフォトディテクタ（すなわち、センサ自体の端部に位置するフォトディテクタ）を意味するものではない。
【００４３】
図６に示すように、二色フォトディテクタアレイにおいて、色Ｃ及びＤを検出する二色フォトディテクタ５は、色Ａ及びＢを検出する４つの二色フォトディテクタ５によって水平方向及び垂直方向に囲まれている。例えば、色Ａの値をＣ／Ｄフォトディテクタ位置で補間するために、次式を適用することができる。
【００４４】
【数７】
Ａ＝{（Ａ２＋Ａ３）／２*Ａｙ＋（Ａ１＋Ａ４）／２*Ａｘ}／（１＋Ａｘ＋Ａｙ）
（式９）
ここで、Ａｘ及びＡｙは水平方向及び垂直方向における勾配である。すなわち、以下の通りである。
【００４５】
【数８】
【００４６】
エッジ加重デモザイク処理は、最も変化の小さい方向において近隣からの補間を行って、エッジをぼやけさせるリスクを最小化するので、他よりも大きい勾配の１つがあると、反対側のフォトディテクタ対により大きい加重が割り当てられる。例えば、水平方向の勾配が垂直方向の勾配よりも大きい場合、ＡｘよりもＡｙにより大きな加重が割り当てられる。Ｃ／Ｄフォトディテクタ位置におけるＢ値の補間にも同様の式を使用することができる。
【００４７】
図７はエッジ加重デモザイク法の一例を示すフローチャートである。生のカラー値が取得されると（ステップ７００）、各二色フォトディテクタ位置について２つのカラー値が補間される（ステップ７１０）。２つの欠損（missing）カラー値をフォトディテクタ位置から補間する前に、上記の式１０及び１１を使用して水平方向の勾配及び垂直方向の勾配が求められる（ステップ７２０）。その後、上記式９を用いて２つの欠損値のエッジ加重補間が実施される（ステップ７３０）。各フォトディテクタ位置の欠損フォトディテクタ値は、全て同様の方法で計算される（ステップ７１０からステップ７３０）。
【００４８】
各二色フォトディテクタ位置について４つのカラー値が揃うと（ステップ７１０）、各二色フォトディテクタ位置の４つのカラー値が以下の色変換マトリクス（上述した変換マトリクスと同一のもの）に適用され、各二色フォトディテクタの４つの値がＹＣｂＣｒ等の他の色空間へと変換される（ステップ７４０）。
【００４９】
【数９】
【００５０】
エッジ加重デモザイク法は、直接逆デモザイク法よりもシャープな画像を生成することができるが、エッジ加重デモザイク法は２ｘ２フォトディテクタ上の閉じたオペレーションではない。従って、エッジ加重デモザイク法で画像をデモザイクするためには何らかのバッファリング（すなわち、２ラインバッファリング）が必要となる。
【００５１】
本発明には例として以下の実施形態が含まれる。
【００５２】
１．第１の波長範囲内の光を吸収可能な第１のフォトディテクタ素子（１２）と第２の波長範囲内の光を吸収可能な第２のフォトディテクタ素子（１３）とを有する二色フォトディテクタ（５）を含み、
前記第１のフォトディテクタ素子は前記第２のフォトディテクタ素子の上に高架された関係にあり、
前記第１のフォトディテクタ素子は前記第２のフォトディテクタ素子から電気的に絶縁されていることを特徴とする、ディジタルイメージセンサ（１０）。
【００５３】
２．基板（６０）をさらに含み、前記第２のフォトディテクタ素子（１３）が前記基板中に形成されている、上記１に記載のディジタルイメージセンサ。
【００５４】
３．前記第１のフォトディテクタ素子（１２）と前記第２のフォトディテクタ素子（１３）との間に誘電体層（５０）をさらに含み、前記誘電体層は前記第１のフォトディテクタ素子を前記第２のフォトディテクタ素子から電気的に絶縁する、上記２に記載のディジタルイメージセンサ。
【００５５】
４．前記第１のフォトディテクタ素子（１２）は、前記第１の波長範囲内の光を吸収すると共に前記第２の波長範囲内の光を通過させるように選択された厚さを持つアモルファスシリコンから形成されており、
前記第２のフォトディテクタ素子（１３）は、前記第１のフォトディテクタ素子が通過させた前記第２の波長範囲内の光を検出する、上記１に記載のディジタルイメージセンサ。
【００５６】
５．前記第１のフォトディテクタ素子（１２）と前記第２のフォトディテクタ素子（１３）を駆動するための回路をさらに含み、前記第１のフォトディテクタ素子は前記回路の上に高架された関係にある、上記１に記載のディジタルイメージセンサ。
【００５７】
６．二色フォトディテクタ（５）のアレイのデモザイク方法であって、
前記二色フォトディテクタのアレイ内にある４個の二色フォトディテクタから成るブロックから８つのカラー値を生成するステップ（ステップ５２０）であって、前記４個の二色フォトディテクタから成るブロック内にある各二色フォトディテクタは、下部フォトディテクタ素子（１３）の上に高架された関係にありかつ電気的に絶縁された上部フォトディテクタ素子（１２）を含み、前記４個の二色フォトディテクタのブロック内にある二色フォトディテクタの第１の対は前記８つのカラー値のうち受光した第１の波長範囲内の光に関連する２つのカラー値と、前記８つのカラー値のうち受光した第２の波長範囲内の光に関連する２つのカラー値とを生成し、前記４個の二色フォトディテクタのブロック内にある二色フォトディテクタの第２の対は前記８つのカラー値のうち受光した第３の波長範囲内の光に関連する２つのカラー値と、前記８つのカラー値のうち受光した第４の波長範囲内の光に関連する２つのカラー値とを生成し、前記８つのカラー値は第１の色空間を構成する、ステップと、
前記第１の色空間を第２の色空間へと変換するための色変換マトリクスを求めるステップ（ステップ５００と５１０）であって、前記第２の色空間は、輝度色平面、第１のクロミナンス色平面、及び第２のクロミナンス色平面を含む、ステップと、
前記８つのカラー値を前記色変換マトリクスに適用することにより、前記８つのカラー値を、前記輝度色平面内の４つの輝度値、前記第１のクロミナンス色平面内の１つの第１のクロミナンスカラー値、及び前記第２のクロミナンス色平面内の１つの第２のクロミナンスカラー値へと変換するステップ（ステップ５３０、５４０）と、
を含むデモザイク方法。
【００５８】
７．前記適用するステップが、
前記８つのカラー値を前記色変換マトリクスに適用することにより、前記４つの輝度値、前記１つの第１のクロミナンス値及び前記１つの第２のクロミナンス値に対応する６つの未知の値を含む８つの式を得るステップ（ステップ５３０）と、
最小二乗法を用いて前記８つの式を解いて、前記６つの未知の値を求めるステップ（ステップ５４０）と、
をさらに含む、上記６に記載のデモザイク方法。
【００５９】
８．前記色変換マトリクスを求めるステップが、
前記第１の色空間と前記第２の色空間との間で変換を行うための基本色変換マトリクスを求めるステップであって、前記基本色変換マトリクスは、前記第１、第２、第３及び第４の波長範囲からのカラー値を、前記輝度値、前記１つの第１のクロミナンス値及び前記１つの第２のクロミナンス値へと変換するものである、ステップ（ステップ５００）と、
前記基本色変換マトリクスを、前記８つのカラー値を前記４つの輝度値、前記１つの第１のクロミナンス値、及び前記１つの第２のクロミナンスカラー値へと変換可能な前記色変換マトリクスへと拡張するステップ（ステップ５１０）と、
をさらに含む、上記７に記載のデモザイク方法。
【００６０】
９．行及び列に配列された複数の二色フォトディテクタ（５）のフォトディテクタ位置を持つイメージセンサ（１０）から得られたディジタルイメージをデモザイクする方法であって、
前記二色フォトディテクタの各々が、下部フォトディテクタ素子（１３）から高架された関係にありかつ電気的に絶縁された上部フォトディテクタ素子（１２）を含み、前記イメージセンサが４つの異なる波長範囲内の光に関連するカラー値を生成するものであるとき、
前記方法が、
前記４つの異なる波長範囲内の光に関連するカラー値のセットを受け取るステップ（ステップ７００）と、
前記４つの異なる波長範囲のうち第１及び第２の波長範囲に関連する前記カラー値のセット内の第１及び第２のカラー値を生成する選択されたフォトディテクタ位置について、前記カラー値のセットを使用して前記４つの異なる波長範囲の第３の波長範囲に関連する水平方向の勾配及び垂直方向の勾配を求めるステップであって、前記水平方向の勾配及び垂直方向の勾配が前記フォトディテクタ位置の前記行及び列の配置に対応する、ステップ（ステップ７２０）と、
前記選択されたフォトディテクタ位置について前記第３の波長範囲内の光に関連する欠損した第３のカラー値を、前記水平方向の勾配及び垂直方向の勾配を用いて補間するステップ（ステップ７３０）と、
を含むデモザイク方法。
【００６１】
１０．前記補間するステップ（ステップ７３０）が、
前記水平方向の勾配と、前記第３の波長範囲内の光に関連し、かつ前記選択されたフォトディテクタ位置に垂直方向に隣接するフォトディテクタ位置に関連する前記カラー値のセット内のカラー値の平均とを乗じるステップと、
前記垂直方向の勾配と、前記第３の波長範囲内の光に関連し、かつ前記選択されたフォトディテクタ位置に水平方向に隣接するフォトディテクタ位置に関連する前記カラー値のセット内のカラー値の平均とを乗じるステップと、
をさらに含む、上記９に記載のデモザイク方法。
【００６２】
当業者には明らかなように、本明細書に述べた新たな概念は幅広いアプリケーションに対して変更及び改変可能である。したがって、本発明は記載した実施形態における特定の教示内容に限られない。
【図面の簡単な説明】
【図１】本発明の一実施形態による二色フォトディテクタアレイ用のフォトディテクタの２ｘ２ブロックの一例を表す図である。
【図２】図１に示した種類の二色フォトディテクタの断面図である。
【図３】アモルファスシリコンの様々な厚さに対する、波長対吸収率を示した図である。
【図４Ａ】二色フォトディテクタの２ｘ２ブロックから得られる生のカラー値を示す図である。
【図４Ｂ】本発明の一実施形態による、図４Ａに示した生のカラー値のデモザイク処理の結果を示す図である。
【図５】本発明の一実施形態による 直接変換デモザイク法の例示的なステップを示すフローチャートである。
【図６】二色フォトディテクタアレイから得られた生のカラー値を示す図である。
【図７】本発明の一実施形態によるエッジ加重デモザイク法の例示的なステップを示すフローチャートである。
【符号の説明】
５ 二色フォトディテクタ
１０ ディジタルイメージセンサ
１２ 第１のフォトディテクタ素子
１３ 第２のフォトディテクタ素子
２１ 第３のフォトディテクタ素子
２２ 第４のフォトディテクタ素子
３０ カラーフィルタ
４０ 透明金属導体
５０ 誘電体層
６０ 基板
Claims (10)
- 二色フォトディテクタのアレイを含むディジタルイメージセンサであって、
前記二色フォトディテクタのアレイ内にある４個の二色フォトディテクタから成るブロック内に含まれる各二色フォトディテクタが、第１の波長範囲内の光を吸収可能な第１のフォトディテクタ素子と、第２の波長範囲内の光を吸収可能な第２のフォトディテクタ素子とを有し、
前記第１のフォトディテクタ素子は前記第２のフォトディテクタ素子の上に高架された関係にあり、
前記第１のフォトディテクタ素子は前記第２のフォトディテクタ素子から電気的に絶縁されており、
前記４個の二色フォトディテクタのブロック内にある二色フォトディテクタの第１の対における各第１のフォトディテクタ素子は、前記４個の二色フォトディテクタから生成される８つのカラー値のうち受光した第１の波長範囲内の光に対応するカラー値を生成し、前記第１の対における各第２のフォトディテクタ素子は、前記８つのカラー値のうち受光した第２の波長範囲内の光であって前記第１の波長範囲内の光とは補色の関係にある光に対応するカラー値を生成し、前記４個の二色フォトディテクタのブロック内にある二色フォトディテクタの第２の対における各第１のフォトディテクタ素子は、前記８つのカラー値のうち受光した第３の波長範囲内の光に対応するカラー値を生成し、前記第２の対における各第２のフォトディテクタ素子は、前記８つのカラー値のうち受光した第４の波長範囲内の光であって前記第３の波長範囲内の光とは補色の関係にある光に対応するカラー値を生成する、ディジタルイメージセンサ。 - 基板をさらに含み、前記第２のフォトディテクタ素子が前記基板中に形成されている、請求項１に記載のディジタルイメージセンサ。
- 前記第１のフォトディテクタ素子と前記第２のフォトディテクタ素子との間に誘電体層をさらに含み、前記誘電体層は前記第１のフォトディテクタ素子を前記第２のフォトディテクタ素子から電気的に絶縁する、請求項２に記載のディジタルイメージセンサ。
- 前記第１のフォトディテクタ素子が、前記第１の波長範囲内の光を吸収すると共に前記第２の波長範囲内の光を通過させるように選択された厚さを持つアモルファスシリコンから形成されており、
前記第２のフォトディテクタ素子が、前記第１のフォトディテクタ素子が通過させた前記第２の波長範囲内の光を検出する、請求項１乃至請求項３のいずれかに記載のディジタルイメージセンサ。 - 前記第１のフォトディテクタ素子および前記第２のフォトディテクタ素子を駆動するための回路をさらに含み、前記第１のフォトディテクタ素子が前記回路の上に高架された関係にある、請求項１乃至請求項４のいずれかに記載のディジタルイメージセンサ。
- 二色フォトディテクタのアレイのデモザイク方法であって、
前記二色フォトディテクタのアレイ内にある４個の二色フォトディテクタから成るブロックから８つのカラー値を生成するステップであって、前記４個の二色フォトディテクタから成るブロック内にある各二色フォトディテクタは、下部フォトディテクタ素子と、該下部フォトディテクタ素子の上に高架された関係にありかつ該下部フォトディテクタ素子から電気的に絶縁された上部フォトディテクタ素子とを含み、前記４個の二色フォトディテクタのブロック内にある二色フォトディテクタの第１の対における各上部フォトディテクタ素子は、前記８つのカラー値のうち受光した第１の波長範囲内の光に対応するカラー値を生成し、前記第１の対における各下部フォトディテクタ素子は、前記８つのカラー値のうち受光した第２の波長範囲内の光であって前記第１の波長範囲内の光とは補色の関係にある光に対応するカラー値を生成し、前記４個の二色フォトディテクタのブロック内にある二色フォトディテクタの第２の対における各上部フォトディテクタ素子は、前記８つのカラー値のうち受光した第３の波長範囲内の光に対応するカラー値を生成し、前記第２ の対における各下部フォトディテクタ素子は、前記８つのカラー値のうち受光した第４の波長範囲内の光であって前記第３の波長範囲内の光とは補色の関係にある光に対応するカラー値を生成し、前記８つのカラー値は第１の色空間を構成する、ステップと、
前記第１の色空間を第２の色空間へと変換するための色変換マトリクスを求めるステップであって、前記第２の色空間は、輝度色平面、第１のクロミナンス色平面、及び第２のクロミナンス色平面を含む、ステップと、
前記８つのカラー値を前記色変換マトリクスに適用することにより、前記８つのカラー値を、前記輝度色平面内の４つの輝度値、前記第１のクロミナンス色平面内の１つの第１のクロミナンスカラー値、及び前記第２のクロミナンス色平面内の１つの第２のクロミナンスカラー値へと変換するステップと、
を含むデモザイク方法。 - 前記適用するステップが、
前記８つのカラー値を前記色変換マトリクスに適用することにより、前記４つの輝度値、前記１つの第１のクロミナンス値及び前記１つの第２のクロミナンス値に対応する６つの未知の値を含む８つの式を得るステップと、
最小二乗法を用いて前記８つの式を解いて、前記６つの未知の値を求めるステップと、をさらに含む、請求項６に記載のデモザイク方法。 - 前記色変換マトリクスを求めるステップが、
前記第１の色空間と前記第２の色空間との間で変換を行うための基本色変換マトリクスを求めるステップであって、前記基本色変換マトリクスは、前記第１、第２、第３及び第４の波長範囲からのカラー値を、前記輝度値、前記１つの第１のクロミナンス値及び前記１つの第２のクロミナンス値へと変換するものである、ステップと、
前記基本色変換マトリクスを、前記８つのカラー値を前記４つの輝度値、前記１つの第１のクロミナンス値、及び前記１つの第２のクロミナンスカラー値へと変換可能な前記色変換マトリクスへと拡張するステップと、
をさらに含む、請求項７に記載のデモザイク方法。 - 行及び列に配列された複数の二色フォトディテクタのフォトディテクタ位置を持つイメージセンサから得られたディジタルイメージをデモザイクする方法であって、
前記二色フォトディテクタの各々は、下部フォトディテクタ素子と、該下部フォトディテクタ素子から高架された関係にありかつ該下部フォトディテクタ素子から電気的に絶縁された上部フォトディテクタ素子とを含んでおり、行及び列に配列された４個の二色フォトディテクタのブロック内にある、斜め方向に隣接する二色フォトディテクタの第１の対における各上部フォトディテクタ素子は、受光した第１の波長範囲内の光に対応するカラー値を生成し、前記第１の対における各下部フォトディテクタ素子は、受光した第２の波長範囲内の光であって前記第１の波長範囲内の光とは補色の関係にある光に対応するカラー値を生成し、前記４個の二色フォトディテクタのブロック内にある、前記斜め方向とは異なる斜め方向に隣接する二色フォトディテクタの第２の対における各上部フォトディテクタ素子は、受光した第３の波長範囲内の光に対応するカラー値を生成し、前記第２の対における各下部フォトディテクタ素子は、受光した第４の波長範囲内の光であって前記第３の波長範囲内の光とは補色の関係にある光に対応するカラー値を生成し、
前記方法が、
前記第１乃至第４の波長範囲内の各光に対応するカラー値のセットを受け取るステップと、
前記第１及び第２の波長範囲内の各光に対応する、前記カラー値のセット内の第１及び第２のカラー値、を生成する選択されたフォトディテクタ位置について、前記カラー値のセットを使用して前記第１乃至第４の波長範囲のうちの第３の波長範囲に対応する水平方向の勾配及び垂直方向の勾配を求めるステップであって、前記水平方向の勾配及び垂直方向の勾配が前記フォトディテクタ位置の前記行及び列の配置に対応する、ステップと、
前記選択されたフォトディテクタ位置について、前記第３の波長範囲内の光に対応する、前記第１及び第２のカラー値とは異なる第３のカラー値を、前記選択されたフォトディ テクタ位置に対して水平方向及び垂直方向にそれぞれ隣接するフォトディテクタから受け取った第３のカラー値と、前記水平方向の勾配及び垂直方向の勾配とを用いて補間するステップと、
を含み、
前記補間するステップは、前記水平方向の勾配が前記垂直方向の勾配よりも大きい場合、前記選択されたフォトディテクタ位置に対して垂直方向に隣接するフォトディテクタから受け取った前記第３のカラー値に、より大きな加重を割り当てるように補間し、一方、前記垂直方向の勾配が前記水平方向の勾配よりも大きい場合、前記選択されたフォトディテクタ位置に対して水平方向に隣接するフォトディテクタから受け取った前記第３のカラー値に、より大きな加重を割り当てるように補間する、デモザイク方法。 - 前記補間するステップが、
前記水平方向の勾配と、前記選択されたフォトディテクタ位置に対して垂直方向に隣接する各フォトディテクタから受け取った前記第３のカラー値の平均とを乗じるステップと、
前記垂直方向の勾配と、前記選択されたフォトディテクタ位置に対して水平方向に隣接する各フォトディテクタから受け取った前記第３のカラー値の平均とを乗じるステップと、
をさらに含む、請求項９に記載のデモザイク方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/086,125 | 2002-02-27 | ||
| US10/086,125 US6940061B2 (en) | 2002-02-27 | 2002-02-27 | Two-color photo-detector and methods for demosaicing a two-color photo-detector array |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003298039A JP2003298039A (ja) | 2003-10-17 |
| JP2003298039A5 JP2003298039A5 (ja) | 2006-02-16 |
| JP4232086B2 true JP4232086B2 (ja) | 2009-03-04 |
Family
ID=27733407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003016619A Expired - Fee Related JP4232086B2 (ja) | 2002-02-27 | 2003-01-24 | 二色フォトディテクタのアレイを含むディジタルイメージセンサ、及び二色フォトディテクタのアレイのデモザイク方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6940061B2 (ja) |
| EP (1) | EP1341234B1 (ja) |
| JP (1) | JP4232086B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7768500B2 (en) * | 2003-06-16 | 2010-08-03 | Humanscale Corporation | Ergonomic pointing device |
| US7557799B2 (en) | 2004-06-17 | 2009-07-07 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System for determining pointer position, movement, and angle |
| JP2006157882A (ja) * | 2004-10-28 | 2006-06-15 | Fuji Photo Film Co Ltd | 固体撮像装置 |
| US7646910B1 (en) * | 2006-04-19 | 2010-01-12 | Ambarella, Inc. | Digital video camera non-integer-ratio Bayer domain scaler |
| KR100875163B1 (ko) * | 2007-06-26 | 2008-12-22 | 주식회사 동부하이텍 | 수직형 씨모스 이미지 센서 제조 방법 |
| CN101345248B (zh) * | 2007-07-09 | 2010-07-14 | 博立码杰通讯(深圳)有限公司 | 多光谱感光器件及其制作方法 |
| JP2010039659A (ja) * | 2008-08-04 | 2010-02-18 | Hitachi Displays Ltd | 光センサ装置および認証機能付き画像表示装置 |
| US20160111460A1 (en) * | 2008-09-04 | 2016-04-21 | Zena Technologies, Inc. | Back-lit photodetector |
| US20100104178A1 (en) * | 2008-10-23 | 2010-04-29 | Daniel Tamburrino | Methods and Systems for Demosaicing |
| US8422771B2 (en) * | 2008-10-24 | 2013-04-16 | Sharp Laboratories Of America, Inc. | Methods and systems for demosaicing |
| CN101769784B (zh) * | 2008-12-27 | 2012-06-20 | 鸿富锦精密工业（深圳）有限公司 | 感测器组合 |
| US20100163759A1 (en) * | 2008-12-31 | 2010-07-01 | Stmicroelectronics S.R.L. | Radiation sensor with photodiodes being integrated on a semiconductor substrate and corresponding integration process |
| IT1392502B1 (it) * | 2008-12-31 | 2012-03-09 | St Microelectronics Srl | Sensore comprendente almeno un fotodiodo a doppia giunzione verticale integrato su substrato semiconduttore e relativo processo di integrazione |
| JP5446521B2 (ja) * | 2009-07-06 | 2014-03-19 | 株式会社リコー | 撮像装置 |
| JP6081694B2 (ja) * | 2010-10-07 | 2017-02-15 | 株式会社半導体エネルギー研究所 | 光検出装置 |
| US8753917B2 (en) * | 2010-12-14 | 2014-06-17 | International Business Machines Corporation | Method of fabricating photoconductor-on-active pixel device |
| JP6136669B2 (ja) * | 2013-07-08 | 2017-05-31 | 株式会社ニコン | 撮像装置 |
| US9392166B2 (en) * | 2013-10-30 | 2016-07-12 | Samsung Electronics Co., Ltd. | Super-resolution in processing images such as from multi-layer sensors |
| US10381502B2 (en) | 2015-09-09 | 2019-08-13 | Teledyne Scientific & Imaging, Llc | Multicolor imaging device using avalanche photodiode |
| US10366674B1 (en) * | 2016-12-27 | 2019-07-30 | Facebook Technologies, Llc | Display calibration in electronic displays |
| JP6399146B2 (ja) * | 2017-04-27 | 2018-10-03 | 株式会社ニコン | 撮像装置 |
| JP2019004507A (ja) * | 2018-09-06 | 2019-01-10 | 株式会社ニコン | 撮像装置 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4214264A (en) * | 1979-02-28 | 1980-07-22 | Eastman Kodak Company | Hybrid color image sensing array |
| JPS564987A (en) * | 1979-06-25 | 1981-01-19 | Matsushita Electric Ind Co Ltd | Color solid-state pickup unit |
| US4404586A (en) * | 1981-12-15 | 1983-09-13 | Fuji Photo Film Co., Ltd. | Solid-state color imager with stripe or mosaic filters |
| US4513305A (en) * | 1982-12-06 | 1985-04-23 | Gte Laboratories Incorporated | Multi-wavelength demultiplexer for fiber optical communication |
| JPS6177375A (ja) * | 1984-09-21 | 1986-04-19 | Sharp Corp | カラ−センサ |
| US4677289A (en) * | 1984-11-12 | 1987-06-30 | Kabushiki Kaisha Toshiba | Color sensor |
| JPS61193479A (ja) * | 1985-02-22 | 1986-08-27 | Fuji Photo Film Co Ltd | 固体カラ−撮像デバイス |
| JPS62111204A (ja) * | 1985-11-08 | 1987-05-22 | Matsushita Electronics Corp | 色分離フイルタ |
| JPH01185778A (ja) * | 1988-01-21 | 1989-07-25 | Canon Inc | 画像補間方法 |
| JPH01202859A (ja) * | 1988-02-09 | 1989-08-15 | Fuji Photo Film Co Ltd | 固体撮像素子 |
| JPH06204445A (ja) * | 1993-01-01 | 1994-07-22 | Canon Inc | 光センサ及びそれを有する画像情報処理装置 |
| DE19613820A1 (de) * | 1996-04-09 | 1997-10-23 | Forschungszentrum Juelich Gmbh | Struktur mit einer pin- oder nip-Schichtenfolge |
| EP0901614B1 (en) * | 1996-05-10 | 2005-08-10 | Eastman Kodak Company | Luminance-priority color sensor |
| JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| US5965875A (en) * | 1998-04-24 | 1999-10-12 | Foveon, Inc. | Color separation in an active pixel cell imaging array using a triple-well structure |
| JP4292625B2 (ja) * | 1998-06-01 | 2009-07-08 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| US6114739A (en) * | 1998-10-19 | 2000-09-05 | Agilent Technologies | Elevated pin diode active pixel sensor which includes a patterned doped semiconductor electrode |
| US6018187A (en) * | 1998-10-19 | 2000-01-25 | Hewlett-Packard Cmpany | Elevated pin diode active pixel sensor including a unique interconnection structure |
| US6111300A (en) * | 1998-12-01 | 2000-08-29 | Agilent Technologies | Multiple color detection elevated pin photo diode active pixel sensor |
| US6252218B1 (en) * | 1999-02-02 | 2001-06-26 | Agilent Technologies, Inc | Amorphous silicon active pixel sensor with rectangular readout layer in a hexagonal grid layout |
| US6016011A (en) * | 1999-04-27 | 2000-01-18 | Hewlett-Packard Company | Method and apparatus for a dual-inlaid damascene contact to sensor |
| US6215164B1 (en) * | 1999-07-26 | 2001-04-10 | Agilent Technologies, Inc. | Elevated image sensor array which includes isolation between uniquely shaped image sensors |
| US6933970B2 (en) * | 1999-12-20 | 2005-08-23 | Texas Instruments Incorporated | Digital still camera system and method |
-
2002
- 2002-02-27 US US10/086,125 patent/US6940061B2/en not_active Expired - Lifetime
- 2002-10-10 EP EP02022706A patent/EP1341234B1/en not_active Expired - Lifetime
-
2003
- 2003-01-24 JP JP2003016619A patent/JP4232086B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003298039A (ja) | 2003-10-17 |
| EP1341234A3 (en) | 2006-06-07 |
| EP1341234A2 (en) | 2003-09-03 |
| US6940061B2 (en) | 2005-09-06 |
| EP1341234B1 (en) | 2012-02-08 |
| US20030160157A1 (en) | 2003-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4232086B2 (ja) | 二色フォトディテクタのアレイを含むディジタルイメージセンサ、及び二色フォトディテクタのアレイのデモザイク方法 | |
| US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
| US10032810B2 (en) | Image sensor with dual layer photodiode structure | |
| US6330029B1 (en) | Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values | |
| US8723995B2 (en) | Extended dynamic range in color imagers | |
| US7456881B2 (en) | Method and apparatus for producing Bayer color mosaic interpolation for imagers | |
| Lyon et al. | Eyeing the camera: Into the next century | |
| US8704922B2 (en) | Mosaic image processing method | |
| US11812164B2 (en) | Pixel-interpolation based image acquisition method, camera assembly, and mobile terminal | |
| JP5106870B2 (ja) | 固体撮像素子 | |
| US8576313B2 (en) | Color filters and demosaicing techniques for digital imaging | |
| EP2683167B1 (en) | Color imaging device | |
| US20080246853A1 (en) | Solid-state imaging device and imaging apparatus | |
| US20030128409A1 (en) | Digital image system and method for combining sensing and image processing on sensor with two-color photo-detector | |
| WO2007082289A2 (en) | Color filter array with neutral elements and color image formation | |
| JP2004022565A (ja) | 受光素子及びそれを用いたカラーセンサ装置 | |
| DiBella et al. | Improved sensitivity high-definition interline CCD using the KODAK TRUESENSE Color Filter Pattern | |
| Tweet et al. | 2PFC CMOS image sensors: better image quality at lower cost | |
| JPH0420091A (ja) | カラー固体撮像素子 | |
| JPH0420090A (ja) | カラー固体撮像素子 | |
| JPS60139086A (ja) | 固体カラ−撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051226 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070727 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070807 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080616 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080818 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4232086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |