JP5155333B2 - イメージ・センサーにおける改善された光感度 - Google Patents

イメージ・センサーにおける改善された光感度 Download PDF

Info

Publication number
JP5155333B2
JP5155333B2 JP2009539266A JP2009539266A JP5155333B2 JP 5155333 B2 JP5155333 B2 JP 5155333B2 JP 2009539266 A JP2009539266 A JP 2009539266A JP 2009539266 A JP2009539266 A JP 2009539266A JP 5155333 B2 JP5155333 B2 JP 5155333B2
Authority
JP
Japan
Prior art keywords
pixel
color
pixels
image
panchromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009539266A
Other languages
English (en)
Other versions
JP2010512050A (ja
Inventor
トーマス コンプトン，ジョン
オブライエン，ミシェル
フランクリン，ジュニア ハミルトン，ジョン
Original Assignee
オムニビジョン テクノロジーズ， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムニビジョン テクノロジーズ， インコーポレイテッド filed Critical オムニビジョン テクノロジーズ， インコーポレイテッド
Publication of JP2010512050A publication Critical patent/JP2010512050A/ja
Application granted granted Critical
Publication of JP5155333B2 publication Critical patent/JP5155333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、光感度が改善された二次元イメージ・センサーに関する。
電子式イメージング・システムが画像を電子的に表現する能力は、電子式イメージ・センサーにかかっている。このような電子式イメージ・センサーとして、電荷結合デバイス（CCD）イメージ・センサーとアクティブ画素センサー（APS）デバイス（APSデバイスは相補型金属酸化物半導体プロセスで製造できるため、CMOSセンサーと呼ばれることがしばしばある）がある。一般に、これらイメージ・センサーには多数の感光画素が含まれていて、しばしば行と列の規則的なパターンに配置されている。カラー画像を捕獲するため、あるパターンのフィルタが一般に画素パターンの上に製造される。そのとき異なるフィルタ材料を用い、個々の画素が可視光スペクトルの一部だけに感度を持つようにする。カラー・フィルタは各画素に到達する光の量を必然的に減らすため、各画素の光感度が低下する。画像をより低いレベルの光で捕獲できるようにするため、またはより高いレベルの光で画像を捕獲して露出時間をより短くするため、電子式カラー・イメージ・センサーの光感度または写真感度を向上させることが相変わらず必要とされている。
イメージ・センサーは、直線状または二次元である。一般に、これらセンサーには異なる2つの用途がある。二次元センサーは、一般に、画像取得装置（例えばディジタル・カメラ、携帯電話、ならびに他の用途）に適している。直線状センサーは、文書のスキャニングにしばしば用いられる。いずれの場合にも、カラー・フィルタを用いるとイメージ・センサーの感度が低下する。
イーストマン・コダック社が製造したKLI-4104という直線状イメージ・センサーは、4つの直線状単一画素ワイド・アレイを備えており、そのうちの3つのアレイにカラー・フィルタが取り付けられていてそれぞれのアレイ全体が赤、緑、青いずれかに対する感度を持つようにされ、第4のアレイにはカラー・フィルタが取り付けられていない。さらに、3つのカラー・アレイは、カラー・フィルタに起因する光感度の低下を補償するため画素がより大きくなっているのに対し、第4のアレイはより小さくて、高解像度輝度画像を捕獲する。このイメージ・センサーを用いて画像が捕獲されると、その画像は、高解像度で高写真感度の1つの輝度画像と、写真感度がほぼ同じで解像度がより低い3つの画像として表わされる。3つの画像のそれぞれは、画像からの赤色光、緑色光、青色光いずれかに対応している。したがってこの電子画像の各点は、輝度値と、赤色値と、緑色値と、青色値とを有する。しかしこれは直線状イメージ・センサーであるため、画像を走査するのに4種類の直線状画素アレイの上を通過させるには、イメージ・センサーと画像の間の相対的な物理的運動が必要とされる。このようにすると画像を走査する速度が制限されるため、手で持つカメラや運動物体を含む光景の捕獲でこのセンサーを使用することはできない。
従来技術では、Muramatsu Akiraがアメリカ合衆国特許第4,823,186号に記載している電子式イメージング・システムも知られている。このシステムは2つのセンサーを備えていて、各センサーは二次元画素アレイを備えているが、1つのセンサーはカラー・フィルタを持たず、他方のセンサーは、画素とともに含まれたあるパターンのカラー・フィルタを備えていて、光ビーム・スプリッタが各イメージ・センサーに画像を提供する。カラー・センサーにはあるパターンのカラー・フィルタが取り付けられているため、カラー・センサーの各画素は1つの色だけを発生させる。画像がこのシステムで捕獲されるとき、電子的画像の各点は1つの輝度値と1つのカラー値を持つため、カラー画像は、近くの色から内挿される欠けた色を各画素位置に持つはずである。このシステムは従来の単一イメージ・センサーよりも光感度が改善されているとはいえ、2つのセンサーと1つのビーム・スプリッタを必要とするため、このシステムの複雑さ、サイズ、コストは、全体としてより大きくなる。さらに、ビーム・スプリッタは画像からの光の半分しか各センサーに向かわせないため、写真感度の改善が制限される。
上記の直線状イメージ・センサーに加え、二次元画素アレイを備えるイメージ・センサーが従来技術で知られている。その場合の画素は、カラー・フィルタが取り付けられていない画素を含んでいる。例えばSatoらのアメリカ合衆国特許第4,390,895号、Yamagamiらのアメリカ合衆国特許第5,323,233号、Gindeleらのアメリカ合衆国特許第6,476,865号、Frameのアメリカ合衆国特許出願公開2003/0210332を参照のこと。これら特許のそれぞれにおいて、カラー画素と輝度画素またはフィルタなしの画素のサンプリングは、カラー画像よりも輝度画像が優先されるかその逆となるようになされる、あるいはカラー画素と輝度画素が最適にはならないような何らかの別のやり方でなされる。
したがって二次元画素アレイを備えるイメージ・センサーを利用した電子式キャプチャ・デバイスのために光感度を向上させることが相変わらず必要とされている。
本発明は、カラー画素とパンクロ画素からなる二次元アレイを備えていて高感度でフル・カラー画像を生成させるのに有効なイメージ・センサーを提供することを目的とする。
簡単にまとめると、本発明の1つの特徴により、カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、5つのパンクロ画素と、色応答が異なる3つの画素を有する8つの画素からなるイメージ・センサーが提供される。
本発明のイメージ・センサーは、低レベルの照明条件に特に適している。そのような低レベルの照明条件は、光景の照明が少ないこと、露出時間が短いこと、アパーチャが小さいことの結果、またはセンサーに到達する光に関する他の制約の結果である。本発明のイメージ・センサーには多くの用途があり、多数のタイプの画像キャプチャ・デバイスでこのようなセンサーを有効に利用できる。それに加え、本発明のイメージ・センサーは、捕獲された画像の処理を容易にして最終的なフル・カラーのレンダリングされた画像を生成させる。
本発明のこれらの側面、目的、特徴、利点と他の側面、目的、特徴、利点は、好ましい実施態様に関する以下の詳細な説明と添付の請求項を検討することで、より明確に理解することができよう。
従来のセンサーと処理法、またはそのセンサーと本発明の処理法を利用できる従来のディジタル・スチール・カメラ・システムのブロック・ダイヤグラムである。 従来のベイヤー・カラー・フィルタ・アレイのパターン（従来技術）であり、最小繰り返しパターンと非最小繰り返しパターンを示してある。 赤色画素、緑色画素、青色画素の代表的な分光量子効率曲線と、それよりも広いパンクロ分光量子効率曲線であり、どれも赤外遮断フィルタの透過特性との積である。 パンクロ画素とカラー画素の両方を有するカラー・フィルタ・アレイのパターン（従来技術）である。 本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。 図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。 図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。 図5Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。 原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 原色カラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。 図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。 図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。 図7Aの最小繰り返し単位を敷き詰めるいくつかの方法を示している。 相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 相補的なカラー・フィルタを用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 写真感度が異なるパンクロ画素を用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 写真感度が異なるパンクロ画素を用いた本発明による別の一実施態様のカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位を示している。 図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。 図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。 図7A〜図7Cのカラー・フィルタ・アレイに代わる別の最小繰り返し単位であり、それを用いると図8Dと同様のタイル状配置が得られる。 図11Aの最小繰り返し単位のためのタイル状配置を示している。 本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が8角形のパターンに配置されている。 図13Aのためのタイル状配置である。 図8Dのタイル状配置から抜き出したカラー・サンプルの空間分布を示している。 本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が6角形に配置されている。 本発明のカラー・フィルタ・アレイのための1つの最小繰り返し単位であり、ここでは画素が6角形に配置されている。 図15Bのタイル状配置から抜き出したカラー・サンプルの空間分布を示している。 本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。 本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。 本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。 本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。 本発明のイメージ・センサーから低解像度ベイヤー画像を生成させる方法を示している。 本発明による処理ダイヤグラムであり、本発明のセンサーからのカラー画素データとパンクロ画素データを処理する方法を示している。 本発明のカラー画素とパンクロ画素の配置を示しており、内挿法を説明するため添字が付されている。
イメージング装置と、信号を捕獲して補正するとともに露出を制御するための関連回路とを利用したディジタル・カメラはよく知られているため、ここでの説明は、特に、本発明の方法および装置の一部を形成する要素、または本発明の方法および装置とより直接的に協働する要素を対象とする。この明細書に特に示したり説明したりしない要素は、従来技術で知られているものの中から選択する。ここで説明する実施態様のいくつかの特徴はソフトウエアとして提供される。以下に本発明のシステムを図示して説明していることを考えると、本発明の実施に役立つがこの明細書に特には図示、説明、示唆していないソフトウエアは、この分野の当業者にはありふれたものであり、当業者の能力の範囲にある。
ここで図1を参照すると、本発明を具体化したディジタル・カメラとしての画像キャプチャ・デバイスをブロック・ダイヤグラムとして示してある。ディジタル・カメラについてこれから説明するが、本発明を他のタイプの画像キャプチャ・デバイスにも適用できることは明らかである。ここに開示するカメラでは、対象となる光景からの光10がイメージング段11に入力され、そこで光はレンズ12によって集束されて固体イメージ・センサー20の上に画像を形成する。イメージ・センサー20は、各ピクチャ・エレメント（画素）のために入射光を電気信号に変換する。この好ましい実施態様のイメージ・センサー20は、電荷結合デバイス（CCD）タイプまたはアクティブ画素センサー（APS）タイプ（APSデバイスは、相補型金属酸化物半導体プロセスで製造できるためにCMOSセンサーと呼ばれることがしばしばある）である。本発明のパターンが利用されるのであれば、二次元画素アレイを有する他のタイプのイメージ・センサーも用いられる。本発明では、カラー画素とパンクロ画素からなる二次元アレイを有するイメージ・センサー20も利用される。これについては、この明細書で図1を説明した後に明らかになろう。イメージ・センサー20で使用される本発明のカラー画素とパンクロ画素のパターンの例は、図5A〜図5C、図7A〜図7C、図9A〜図9C、図10A〜図10B、図11A〜図11C、図13A、図15Aに見られるが、本発明の範囲で他のパターンも利用できる。
イメージ・センサー20に到達する光の量は、アパーチャを変化させる虹彩絞りブロック14と、光路の途中に配置された1つ以上の中性（ND）フィルタを有するNDフィルタ・ブロック13とによって調節される。全体的な光のレベルは、シャッター・ブロック18を開いている時間によっても調節される。露出制御装置ブロック40は、光景において利用可能な光の量を明るさセンサー・ブロック16が測定した値に応答し、これら3つの調節機能をすべて制御する。
特別な構成のカメラに関するこの説明は当業者にはありふれたものであろうし、多くのバリエーションや追加の特徴が存在することも明らかであろう。例えばオートフォーカス・システムを追加したり、レンズを取外し可能かつ交換可能にしたりする。本発明があらゆるタイプのディジタル・カメラに適用され、そこでは同様の機能が代替部品によって提供されることが理解できよう。例えばディジタル・カメラは、撮影対象に向けてシャッターを押す比較的単純なディジタル・カメラであり、シャッター18は、比較的簡単な可動ブレード・シャッターなどであり、より複雑な焦点面シャッターではない。本発明は、カメラではない装置（例えば携帯電話や自動車）に含まれるイメージング要素で実施することもできる。
イメージ・センサー20からのアナログ信号は、アナログ信号処理装置22によって処理され、アナログ／ディジタル（A/D）変換器24に送られる。タイミング発生装置26がさまざまなクロック信号を発生させて行と画素を選択するとともに、アナログ信号処理装置22とA/D変換器24の動作を同期させる。イメージ・センサー段28には、イメージ・センサー20と、アナログ信号処理装置22と、A/D変換器24と、タイミング発生装置26が含まれている。イメージ・センサー段28のこれらの要素は、別々の集積回路として製造されるか、CMOSイメージ・センサーで一般的なように単一の集積回路として製造される。A/D変換器24から得られる一連のディジタル画素値は、ディジタル信号処理装置（DSP）36に付随するメモリ32に記憶される。
ディジタル信号処理装置36は、この実施態様の3つの処理装置または制御装置のうち1つであり、他の2つはシステム制御装置50と露出制御装置40である。多数の制御装置と処理装置でカメラ機能の制御をこのように分担することが一般的だが、これらの制御装置または処理装置をいろいろな方法で組み合わせてもカメラの機能や本発明の用途が影響を受けることはない。これらの制御装置または処理装置は、1つ以上のディジタル信号処理装置、マイクロコントローラ、プログラム可能な論理装置、またはこれら以外のディジタル論理回路を備えることができる。このような制御装置または処理装置の1つの組み合わせについて説明したが、1つの制御装置または処理装置が必要な全機能を実施するようにできることは明らかであろう。これらのバリエーションはどれも同じ機能を実行できて本発明の範囲に含めることができ、“処理段”という用語は、必要に応じ、例えば図1の処理段38におけるようにこの機能を1つの文章ですべてカバーするものとする。
図示した実施態様では、DSP 36は、付随するメモリ32に記憶されたディジタル画像データをソフトウエアに従って処理する。このソフトウエアはプログラム用メモリ54に常時記憶されていて、画像を捕獲している間にメモリ32にコピーされて実行される。DSP 36は、図18に示した画像処理の実施に必要なソフトウエアを実行する。メモリ32は、任意のタイプのランダム・アクセス・メモリ（例えばSDRAM）を含んでいる。アドレス信号とデータ信号のための経路を含むバス30が、DSP 36を、付随するメモリ32、A/D変換器24、および他の関連した装置に接続している。
システム制御装置50は、プログラム用メモリ54（フラッシュEEPROMまたは他の不揮発性メモリを含むことができる）に記憶されたソフトウエア・プログラムに基づいてカメラの全動作を制御する。このメモリは、カメラのスイッチをオフにしたときに保存されるべきイメージ・センサーの較正データ、ユーザー設定の選択結果、ならびに他のデータを記憶させるのにも使用できる。システム制御装置50は、一連の画像捕獲操作を制御する。すなわち、露出制御装置40に命令することにより、すでに説明したレンズ12、NDフィルタ13、虹彩絞り14、シャッター18を動作させ、タイミング発生装置26に命令してイメージ・センサー20とそれに関連する素子を動作させ、DSP 36に命令して捕獲された画像データを処理する。画像が捕獲されて処理されると、メモリ32に記憶された最終画像ファイルはインターフェイス57を通じてホスト・コンピュータに移され、取外し可能なメモリ・カード64または他の記憶装置に記憶され、ユーザーのため画像ディスプレイ88に表示される。
バス52は、アドレス、データ、制御信号のための経路を含んでおり、システム制御装置50を、DSP 36、プログラム用メモリ54、システム用メモリ56、ホスト・インターフェイス57、メモリ・カードとのインターフェイス60、ならびに関連する他の装置に接続している。ホストとのインターフェイス57は、パーソナル・コンピュータ（PC）または他のホスト・コンピュータへの高速接続を提供し、表示、記憶、処理、印刷のための画像データを転送する。このインターフェイスは、IEEE1394またはUSB2.0インターフェイスであるか、適切な他の任意のディジタル・インターフェイスである。メモリ・カード64は一般にコンパクト・フラッシュ（CF）カードであり、ソケット62に挿入され、メモリ・カードとのインターフェイス60を通じてシステム制御装置50に接続される。使用される他のタイプの記憶装置として、PCカード、マルチメディア・カード（MMC）、セキュア・ディジタル（SD）カードなどがある。
処理された画像はシステム用メモリ56の表示用バッファにコピーされ、ビデオ・エンコーダ80を通じて連続的に読み出されてビデオ信号が生成される。この信号はカメラから直接出力されて外部モニタに表示されるか、表示制御装置82によって処理されて画像ディスプレイ88に表示される。このディスプレイは一般にアクティブ・マトリックス・カラー液晶ディスプレイ（LCD）だが、他のタイプのディスプレイも使用される。
ユーザー制御／状態インターフェイス68は、ビューファインダ・ディスプレイ70、露出ディスプレイ72、状態ディスプレイ76、画像ディスプレイ88、ユーザー入力74のすべてまたは任意の組み合わせを含んでおり、露出制御装置40とシステム制御装置50で実行されるソフトウエア・プログラムの組み合わせによって制御される。ユーザー入力74は、一般に、ボタン、ロッカー・スイッチ、ジョイスティック、回転ダイヤル、タッチスクリーンの何らかの組み合わせを備えている。露出制御装置40は、光の測定、露出モード、自動焦点合わせ、ならびに他の露出機能を実行する。システム制御装置50は、1つ以上のディスプレイ（例えば画像ディスプレイ88）に表示されるグラフィカル・ユーザー・インターフェイス（GUI）を管理する。GUIは、一般に、さまざまな選択を行なうためのメニューと、捕獲された画像を調べるための検査モードを含んでいる。
露出制御装置40は、露出モード、レンズのアパーチャ、露出時間（シャッター速度）、露出の指標またはISO感度を選択するユーザー入力を受け取り、それに応じてレンズとシャッターに対して命令を出してその後の捕獲を行なう。明るさセンサー16を用いて光景の明るさを測定して露出計の機能を提供することで、ユーザーがISO感度、アパーチャ、シャッター速度を手動で設定するときに参照できるようにする。この場合、ユーザーが1つ以上の設定を変えると、ビューファインダ・ディスプレイ70に表示される光測定インディケータが、ユーザーに、画像がどの程度露出過剰または露出不足になるかを知らせる。自動露出モードでは、ユーザーが1つの設定を変化させると露出制御装置40は自動的に他の設定を変えて正しい露出を維持する（例えば所定のISO感度でユーザーがレンズのアパーチャを小さくすると、露出制御装置40は自動的に露出時間を長くして全露出が同じになるように維持する）。
ISO感度は、ディジタル・スチール・カメラの1つの重要な属性である。露出時間と、レンズのアパーチャと、レンズの透過率と、光を受けている光景の光のレベルおよびスペクトル分布と、光景の反射率とが、ディジタル・スチール・カメラの露出レベルを決定する。ディジタル・スチール・カメラから露出が十分でない画像が得られた場合には、電子的利得またはディジタル利得を大きくすることによって適切な色調の再現性が一般に維持されるが、画像は許容できない量の雑音を含むことになろう。露出が多くなるのに合わせて利得を小さくできるため、通常は画像の雑音を許容可能なレベルに低下させることができる。露出が過度に大きい場合には、画像の明るい領域で得られる信号は、イメージ・センサーまたはカメラが信号を処理する最大信号レベルを超える可能性がある。すると画像のハイライトが生じる可能性があるため、その部分を切り取って一様な明るい領域を形成するか、曇らせて画像の周辺領域にとけ込ませる。ユーザーが適切な露出を設定するよう誘導することが重要である。ISO感度は、そのようなガイドとして機能することが想定されている。撮影者が容易に理解できるようにするため、ディジタル・スチール・カメラのISO感度は、写真フィルム式カメラのISO感度と直接関係している必要がある。例えばディジタル・スチール・カメラのISO感度がISO200だとすると、同じ露出時間とアパーチャがISO200のフィルム／処理システムにとって適切でなければならない。
ISO感度は、フィルムのISO感度と矛盾しないことが想定されている。しかし電子式イメージング・システムとフィルムに基づくイメージング・システムの間には差があるため、正確に同じにはならない。ディジタル・スチール・カメラは利得を可変にすることができ、画像データが捕獲された後にディジタル処理が可能である。そのためカメラのある露出範囲内で色調の再現が可能である。したがってディジタル・スチール・カメラの感度にはある程度の幅を持たせることができる。この幅は、ISO感度ラティチュードとして定義される。混乱を避けるため、固有ISO感度として単一の値を指定する。そのときISO感度ラティチュードの上限と下限が、感度の範囲、すなわち固有ISO感度とは異なる有効感度を含む範囲を示す。このことを念頭に置くと、固有ISO感度は、特定のカメラ出力信号特性を生み出すため、ディジタル・スチール・カメラの焦点面における露出から計算された数値である。固有感度は、通常は、あるカメラ・システムが与えられたとき、標準的な光景に関して画像品質を最大にする露出の指標値である。この露出の指標値は、イメージ・センサーの露出に逆比例する数値である。
ディジタル・カメラに関する上記の説明は、当業者にはありふれたものであろう。この実施態様に対して可能な多数のバリエーションが存在しており、コストを低下させるため、特徴を追加するため、カメラの性能を向上させるためにそうしたバリエーションが選択されることは明らかであろう。以下の説明には、本発明に従って画像を捕獲することに関するこのカメラの動作を詳細に開示する。この説明はディジタル・カメラについてのものだが、本発明が、カラー画素とパンクロ画素を有するイメージ・センサーを備えたあらゆるタイプの画像キャプチャ・デバイスで利用できることが理解されよう。
図1に示したイメージ・センサー20は、一般に、シリコン基板上に製造された二次元感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する手段を提供する。このセンサーに光が当たると、自由電子が発生して各画素の電子構造に捕獲される。その自由電子をある期間にわたって捕獲した後、捕獲した電子の数を測定するか、自由電子の発生速度を測定することで、各画素における光のレベルを測定できる。前者の場合、電荷結合デバイス（CCD）などにおけるように、蓄積された電荷が画素アレイからシフトし、電荷から電圧を測定する回路に入るか、アクティブ画素センサー（APSまたはCMOSセンサー）におけるように、電荷から電圧を測定する回路のエレメントを各画素の近くの領域に含んでいる。
以下の説明でイメージ・センサーに言及するときにはいつでも、図1からのイメージ・センサー20を表わしているものとする。さらに、イメージ・センサー20では、この明細書に開示した本発明のすべての実施態様と、それと同等な構成のイメージ・センサーおよび画素パターンを利用するものとする。
イメージ・センサーという文脈では、画素（“ピクチャ・エレメント”の縮約形）は、離散した感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。ディジタル・カラー画像の文脈では、画素という用語は、一般に、画像中で色値を伴った特定の位置を意味する。
カラー画像を生成させるため、イメージ・センサーの画素アレイは、一般に、その上に配置したあるパターンのカラー・フィルタを有する。図2は、赤色フィルタ、緑色フィルタ、青色フィルタからなるパターンであり、このパターンが一般に使用されている。この特別なパターンは、アメリカ合衆国特許第3,971,065号に開示されているように、発明者のブライス・ベイヤーにちなんでベイヤー・カラー・フィルタ・アレイ（CFA）として一般に知られている。このパターンは、二次元カラー画素アレイを有するイメージ・センサーで実際に用いられている。その結果、各画素は特定のカラー光応答を持つ。この場合には、赤色光、緑色光、青色光いずれかに対する感度が大きいカラー光応答である。カラー光応答の有用な別の一例では、マゼンタ色光、イエロー色光、シアン色光いずれかに対する感度が大きい。どの場合でも、特定のカラー光応答は、可視スペクトルのある部分に対する感度は大きいが、それと同時に可視スペクトルの他の部分に対する感度は低い。カラー画素という用語は、カラー光応答を有する画素を意味する。
センサーで利用するために選択されるカラー光応答のセットは、通常は、ベイヤーCFAに示してあるように3色だが、4色以上を含んでいてもよい。この明細書では、パンクロ光応答は、カラー光応答に関して選択したセットにおける分光感度よりも広い分光感度を持つ光応答を意味する。パンクロ光応答は、可視スペクトル全体にわたって大きな感度を持つことができる。パンクロ画素という用語は、パンクロ光応答を持つ画素を意味する。パンクロ画素は一般にカラー光応答のセットよりも広い分光感度を持つが、各パンクロ画素にはフィルタが取り付けられていてもよい。そのようなフィルタは、中性フィルタまたはカラー・フィルタである。
カラー画素とパンクロ画素からなるパターンがイメージ・センサーの表面にある場合には、そのような各パターンは繰り返し単位を有する。この繰り返し単位は、画素が切れ目なくつながって基本的構成ブロックとして機能するサブアレイである。この繰り返し単位のコピーを多数並置することにより、センサー・パターンの全体が得られる。繰り返し単位の多数のコピーは、斜め方向に並べることも、水平方向と鉛直方向に並べることもできる。
最小繰り返し単位は、より少ない画素からなる他の繰り返し単位が存在しない繰り返し単位である。例えば図2のCFAは、図2の画素ブロック100に示してあるように、2画素×2画素の最小繰り返し単位を含んでいる。この最小繰り返し単位の多数のコピーをタイルのように並べることでイメージ・センサーの画素アレイ全体がカバーされる。緑色画素が左上隈にある最小繰り返し単位を示してあるが、太線で囲まれた領域を1画素だけ右に、または1画素だけ下に、または1画素だけ対角方向に右下に移動させることにより、別の3つの最小繰り返し単位を容易に区別することができる。画素ブロック102は繰り返し単位だが、最小繰り返し単位ではない。なぜなら画素ブロック100も繰り返し単位であり、しかもブロック102よりも画素数が少ないからである。
図2のCFAを有する二次元アレイを備えたイメージ・センサーを用いて捕獲された画像は、画素ごとにカラー値を1つだけ持つ。フル・カラー画像を生成させるため、各画素に欠けている色を推定または内挿する多数の方法がある。こうしたCFA内挿法は従来技術でよく知られており、アメリカ合衆国特許第5,506,619号、第5,629,734号、第5,652,621号に記載されている。
図3は、典型的なカメラの用途において赤色フィルタ、緑色フィルタ、青色フィルタを有する画素の相対分光感度を示している。図3のX軸は波長をナノメートルを単位として表わしており、Y軸は効率を表わす。図3では、曲線110は、赤外光と紫外光がイメージ・センサーに到達しないようにするのに用いられる典型的なフィルタの分光透過特性を表わしている。このようなフィルタが必要なのは、イメージ・センサーで使用されるカラー・フィルタは一般に赤外光を阻止せず、したがって画素が、赤外光と、付随するカラー・フィルタの帯域内の光とを区別できないからである。曲線110で示した赤外阻止特性により、赤外光が可視光信号に影響を与えることが阻止される。赤色フィルタ、緑色フィルタ、青色フィルタが取り付けられた典型的なシリコン・センサーに関する分光量子効率（すなわち捕獲される入射フォトンと、測定可能な電気信号に変換されるフォトンの比）に、曲線110で表わされる赤外阻止フィルタの分光透過特性を掛けると、複合系の量子効率として、赤に関しては曲線114が、緑に関しては曲線116が、青に関しては曲線118が得られる。これらの曲線から、それぞれのカラー光応答は、可視スペクトルの一部だけに敏感であることがわかる。それとは逆に、カラー・フィルタが取り付けられていない（が、赤外阻止フィルタ特性は有する）同じシリコン・センサーの光応答を曲線112で示してある。カラー光応答曲線114、116、118をパンクロ光応答曲線112と比較することにより、パンクロ光応答は、広いスペクトルの光に対してどのカラー光応答よりも3〜4倍敏感であることが明らかである。別のタイプのセンサーは図3に示したのとは異なる光応答を持つ可能性があるが、そのより広いパンクロ応答が広いスペクトルの光に対して常にどのカラー光応答よりも敏感であることは明らかである。
図3に示したようにパンクロ感度のほうが大きいため、カラー・フィルタを有する画素とカラー・フィルタなしの画素を混合することにより、イメージ・センサーの全体的な感度を向上させることができる。しかしカラー・フィルタを有する画素は、パンクロ画素よりもはるかに感度が低いであろう。その場合、パンクロ画素が適切に露出されてある光景からの光の強度範囲がそのパンクロ画素の全測定範囲をカバーするとすれば、カラー画素は著しく露出不足になるであろう。したがってカラー・フィルタを有する画素の感度を調節し、パンクロ画素とほぼ同じ感度になるようにすることが望ましい。カラー画素の感度を大きくするには、例えばパンクロ画素よりもカラー画素のサイズを大きくし、それに伴って大きなスペースを占める画素を減らす。
パンクロ画素とカラー画素を有する画像キャプチャ・デバイスでは、画素アレイ中のパンクロ画素とカラー画素の配置が、その画像キャプチャ・デバイスの空間的サンプリング特性に影響を与える。パンクロ画素がカラー画素に置き換わる場合には、カラー・サンプリングの頻度は少なくなる。例えばGindeleらのアメリカ合衆国特許第6,476,865号におけるように図2の最小繰り返し単位の緑色画素のうちの1つをパンクロ画素で置き換える場合には、緑色のサンプリング頻度を少なくする。なぜなら図2に示した元のパターンの半分しか緑色画素が存在していないからである。この特別な場合には、パンクロ画素と各カラー画素のサンプリング頻度は同じである。
パンクロ画素は一般にカラー画素よりも敏感であるため、どのカラー画素よりもパンクロ画素のサンプリング頻度を多くすることが望ましい。するとロバストでより高感度なパンクロ表示の画像が得られ、以後の画像処理と各画素の位置における失われた色の内挿の基礎が提供される。例えばYamagamiらは、アメリカ合衆国特許第5,323,233号において、50％がパンクロ画素、25％が緑色画素、12.5％ずつが赤色画素と青色画素であるパターンを示している。このパターンの最小繰り返し単位を図4に示してある。緑色画素が他のカラー画素の2倍の数ある点が広く用いられているベイヤー・パターンと合致しているが、Yamagamiが示しているロバストなパンクロ・サンプリング法と組み合わせたときに利点となるとは限らない。緑色のサンプリング頻度を他の色と同程度に減らしても、完全に処理された画像に大きなマイナスの影響はなかろう。図4の緑色画素のうちの1つを異なる色の画素で置き換えると、パンクロ・サンプリング頻度に影響を与えることなく、そしてカラー・サンプリング頻度にも大きな影響を与えることなく、追加のスペクトル情報が得られる。
図5Aは本発明の1つの最小繰り返し単位を示しており、ここには、最小繰り返し単位全体に一様に配置された4つのパンクロ画素と、1つの赤色画素（R）と、1つの緑色画素（G）と、1つの青色画素（B）と、第4の明確に異なるスペクトル感度を持つ1つのカラー画素（Q）含まれている。図5Aの最小繰り返し単位ではYamagamiの追加の緑色画素（図4）が除去され、その代わりに他の3色とは明確に異なるスペクトル感度を持つ画素にされている。このパターンは、パンクロ画素が50％と、スペクトル感度が明確に異なる4つの画素それぞれが12.5％ずつになっている。Q画素は、可視光の範囲がR、G、Bとは異なっている。あるいはQ画素は、非可視光の範囲をカバーしている。Q画素は、例えば赤外光に対する感度を持つことができる。
図5Bは、本発明の別の最小繰り返し単位を示している。図5Bは図5Aと似ているが、緑色画素と青色画素が入れ代わっている点が異なっている。それぞれの色のカラー・サンプリング頻度は同じままに留まるが、4つの色のサンプリング間の位相関係が図5Aと図5Bで異なっている。図5Cは、本発明のさらに別の最小繰り返し単位を示している。図5Cは図5Aと似ているが、赤色画素、緑色画素、青色画素が、それぞれシアン色画素、イエロー画素、マゼンタ色画素で置き換えられている点が異なっている。これは、本発明のこの実施態様をスペクトル感度が明確に異なる4つの画素の任意の組み合わせで利用できることを示している。
図5Aの最小繰り返し単位をいくつかの方法でタイル状に敷き詰めると、失われた画素のないより大きな画素アレイが得られる。図6Aは、図5Aの最小繰り返し単位を行と列に均等に敷き詰めたタイル配置を示している。図6Bは、図5Aのための1つのタイル配置を示しており、隣の列に行くときに1画素だけ下に（またはそれと同じことだが上に）ずれている。言い換えるならば、図5Aの最小繰り返し単位が、隣の列に対して最小繰り返し単位の高さの半分だけ鉛直方向にずれた状態ですべての列に均等に敷き詰められている。図6Cは、すべての行が上の行に対して1画素分だけ右にずれたタイル配置を示している。言い換えるならば、図5Aの最小繰り返し単位が、上隣にある行に対して最小繰り返し単位の幅の1/4だけ右にずれた状態ですべての行に均等に敷き詰められている。図6Dは、隣の行に行くときに2画素（すなわち最小繰り返し単位の幅の半分）だけ右に（またはそれと同じことだが左に）ずれたタイル配置を示している。言い換えるならば、図5Aの最小繰り返し単位が、隣にある行に対して最小繰り返し単位の幅の半分だけ右にずれた状態ですべての行に均等に敷き詰められている。
図5Aの最小繰り返し単位を図6A〜図6Cに示したように配置したタイル状配置により、個々の色に関するサンプリング頻度が水平方向と鉛直方向で異なる画素アレイが得られる。図6Dのタイル状配置により得られる画素アレイは、個々の色に関するサンプリング頻度が水平方向と鉛直方向で同じであり、左上から右下への対角線（右下がりの斜線）と右上から左下への対角線（左下がりの斜線）の方向で同じである。さらに、サンプリング頻度はどの色でも同じであり、色に関する最大のサンプリング頻度は、水平方向と鉛直方向に関係している。最大のサンプリング頻度が水平方向と鉛直方向に関係するように配置することで、エイリアスの機会を最少の状態にして鉛直方向のエッジと水平方向のエッジをサンプリングすることができる。したがって上の説明に基づくと、図6Dにより、図5Aの最小繰り返し単位のための好ましい1つのタイル状配置が提供される。
一般に、3通りの異なるスペクトル感度を持つ画素があれば、捕獲されたカラー画像のカラー情報を提供するのに十分である。例えばよく知られたベイヤー・パターンは、一般に赤、緑、青の感度を持つ画素を用いて実現される。パンクロ／カラー画像キャプチャ・デバイスには、ロバストなパンクロ画像を捕獲するためにどのカラー画素よりもパンクロ画素の割合を大きくできるという利点がある。3つの異なるスペクトル感度を持つ画素があれば色情報として十分であると仮定すると、パンクロ・サンプリングの改善に興味があるという動機により、図5Aの第4のスペクトル感度を持つ画素Qをパンクロ画素にする。Qがパンクロ画素であれば、最小繰り返し単位は、62.5％がパンクロ画素であり、12.5％ずつが赤色画素、緑色画素、青色画素である。こうすると、ロバストなパンクロ表示の画像を提供するためのパンクロ・サンプリングと、画像内の色を同定するカラー・サンプリングの間のバランスが改善される。
図7Aは、8つの画素を備える本発明による別の一実施態様の最小繰り返し単位を示している。8つの画素のうちの5つはパンクロ画素であり、残りの3つの画素は異なる3色である。この最小繰り返し単位は、パンクロ画素とカラー画素が前段落で説明した割合になっている。図7Aでは、3つのカラー画素は、赤、緑、青である。3つのカラー画素と5つのパンクロ画素からなる配置はいくつか可能であることに注意されたい。例えば図7Bは図7Aと似ているが、赤色画素と青色画素が入れ代わっているため、新たな明確に異なる最小繰り返し単位が形成される。図7Cは図7Aと似ているが、緑色画素と青色画素が入れ代わっている。
図7Aの最小繰り返し単位をいくつかの方法でタイル状に敷き詰めると、失われた画素のないより大きな画素アレイが得られる。図8A〜図8Dは、図7Aの最小繰り返し単位のためのタイル状配置を示しており、図6A〜図6Dに示したタイル状配置に対応している。図6A〜図6Dに関する上記の説明に基づくと、図8Dにより、図7Aの最小繰り返し単位のための最適なタイル状配置が得られる。
上の説明ではカラー画素は赤、緑、青であったが、別の色の組み合わせ（例えばシアン、マゼンタ、イエロー）も利用できる。図9Aは図7Aと似ているが、赤色画素、緑色画素、青色画素の代わりにそれぞれシアン色画素、イエロー色画素、マゼンタ色画素にされている。これは、本発明のこの実施態様をスペクトル感度が明確に異なる3つの画素の任意の組み合わせで利用できることを示している。図9Bと図9Cは、シアン色画素、マゼンタ色画素、イエロー色画素の別の配置を示している。
本発明のパターンに含まれるパンクロ画素はどれも感度が同じである必要はない。例えば図10Aには図5Aと似た最小繰り返し単位が示してあり、ここではQ画素が、他のパンクロ画素とは異なる写真感度のパンクロ画素で置き換えられている。写真感度が異なるパンクロ画素を用いるとより広い範囲の光レベルが捕獲される。図10Bは、異なる2通りの写真感度を持つパンクロ画素が別の配置にされた別の最小繰り返し単位を示しており、この最小繰り返し単位の一方の行はある1つの写真感度を持ち、他方の行は異なる写真感度を持つ。
ここまで本発明を説明するのに用いた最小繰り返し単位はすべて、各行が4画素からなる2つの行を長方形に配置したものであったが、別の同等な最小繰り返し単位が存在している。例えば図11Aは、図7Aの最小繰り返し単位を図8Dのようにタイル状にしたものと同等な本発明の1つの最小繰り返し単位である。それに加え、図11Bは、図7Bを図8Dと同じようにタイル状にするのであれば図7Bと同等であり、図11Cは、図10Aを図8Dと同じようにタイル状にするのであれば図10Aと同等である。
図5A、図7A、図10A、図11Aいずれかのパターンの回転や、すでに説明した本発明の他の任意の実施態様の回転は、完全に本発明の範囲に含まれる。例えば図13Aは、図7Aの最小繰り返し単位を反時計回りに45°回転させたものと同等な8角形配置の最小繰り返し単位を示している。図13Bは、図13Aの最小繰り返し単位をタイル状に敷き詰めたものであり、図8Dを反時計回りに45°回転させたものと同等なパターンを形成している。
図6Dの4色または図8Dの3色の各色のサンプリング頻度は同じだが、色同士の間の位相関係は同じではない。例えば図8Dのそれぞれの色（すなわち赤、緑、青）の画素は、その3色に関して同じサンプリング・パターンを提供する。これは、図14でそれぞれの色を調べることによって明らかにわかる。図14は図8Dと同じパターンであり、カラー画素だけを示してある。しかしそれぞれの青色画素は近くの4つの赤色画素から等距離にあって赤色画素と青色画素の市松模様を形成している一方で、緑色画素は、45°の対角線上の赤色画素の間と、-45°の対角線上の青色画素の間に位置している。明らかに、赤、緑、青は同じサンプリング頻度であるにもかかわらず、緑色と他の2つの色の間の位相関係は、赤と青の間の位相関係とは異なっている。これは、パンクロ／3色イメージング装置をより最適化し、3色それぞれについての色サンプリング頻度が同じで、色のペアの間の位相関係に一貫性があるようにできる可能性があることを示唆している。
図15Aは、本発明のさらに別の一実施態様による最小繰り返し単位を示している。図15Aの最小繰り返し単位は9つの画素を含んでおり、そのうちの6つはパンクロ画素で、残りの3つの画素は3つの異なる色である。この最小繰り返し単位は、2/3がパンクロ画素、1/9が赤色画素、1/9が緑色画素、1/9が青色画素のパターンを表わす。これまでの最小繰り返し単位で説明したように、図15Aの3つのカラー画素は、赤、緑、青だが、これらはシアン、マゼンタ、イエローでもよく、何らかの別の3色のセットでもよい。さらに、図15Aのパンクロ画素は、どれも同じ写真感度を持つが、2通り以上の異なる写真感度を持っていてもよい。図15Bは、図15Aの最小繰り返し単位を列方向に均等に敷き詰め、各列を隣の列に対して最小繰り返し単位の半分だけ上または下にずらしたタイル状配置を示している。
図16は、図15Bのパターンからカラー画素だけを抜き出したものである。図16から、3色それぞれのサンプリング頻度が同じであることと、それぞれの色の間の位相関係に一貫性があることは明らかである。図14ではカラー画素のうちのいくつかが他のある色により近いが、図16ではすべてのカラー画素が互いに等距離に位置する。
いくつかの目的で、センサーから解像度がより低い画像を生成させることが有利である。それは例えば、ビデオ捕獲のフレーム速度をより大きくするため、または表示スクリーンにアクティブなプレビュー画像を表示するためである。図1において、DSP 36は、センサーとイメージング用サブシステムによって供給される生画像から処理された画像を生成させる。一連の処理された画像をビデオ・フレーム速度で供給するには、DSP 36は、多くの場合、（プログラム可能な画像処理経路ではなくて）ハードウエア方式の画像処理経路を実施する。このようなハードウエア方式の画像処理経路では、ベイヤー・フィルタ・パターン：
Ｇ Ｒ
Ｂ Ｇ
に合致したセンサー・データが必要とされることがしばしばある。したがって、本発明のセンサーから解像度が小さくなったベイヤー画像を簡単に読む能力を提供することが有利である。
図17Aを参照すると、カラー画素とパンクロ画素の本発明による配置が示されている。図17Aは図8Dと似ているが、本発明のイメージ・センサーから解像度が低下したベイヤー画像を生成させることの説明をわかりやすくため各画素に数字を付してある。図17Aでは、最小繰り返し単位120は図7Aに示したものと同じである。図17Aのすべての緑色画素（例えばG12、G16、G34、G38など）を変更せずに用いることにしよう。図17Bに丸で囲んで示したこれら緑色画素は、ベイヤー・パターンに存在する緑色画素による市松模様を形成する。ベイヤー・パターンに含まれる赤色画素と青色画素に関しては、赤色画素を組み合わせたペアと青色画素を組み合わせたペアを作り、赤色画素の平均と青色画素の平均を生成させる。例えばR21とR43が組み合わされ、図17Bの丸で囲んだ平均赤色画素R'32が緑色画素G12とG52の間に生成される。赤色画素に関する同様の対角線の組み合わせにより、解像度が低下したベイヤー画像の中の適切な位置に平均赤色画素が提供される。同様にしてB45とB63が組み合わされ、図17Bの丸で囲んだ平均青色画素B'54が緑色画素G34とG74の間に生成される。青色画素の同様の対角線の組み合わせにより、解像度が低下したベイヤー画像の中の適切な位置に平均青色画素が提供される。図17Cは得られた結果を示している。これは、元の画像の水平方向解像度の1/2、鉛直方向解像度の1/2になったベイヤー画像である。
図17A〜図17Cは、画素数が元の画像の1/4であるベイヤー画像の生成法を示している。図17Dと図17Eは、画素数が元の画像の1/16であるベイヤー画像を生成させる同様の方法を示している。図17Bと図17Eに示したように画素を組み合わせることは、例えば画素中の電荷を組み合わせることによって、またはサンプリングされる電圧を平均することによって、または画素信号のディジタル表示を組み合わせることによってなされる。
ここで図18に移ると、ディジタル信号処理装置ブロック36（図1）が、捕獲された生画像データをデータ・バス30（図1）から受け取ることが示されている。生画像データは、低高解像度不完全カラー・ブロック202と高解像度パンクロ・ブロック204の両方に送られる。本発明のイメージ・センサーのための最小繰り返し単位の一例はすでに図7Aに示した。
低解像度不完全カラー・ブロック202（図18）では、捕獲された生の画像データから不完全カラー画像が生成される。不完全カラー画像は、各画素が少なくとも1つのカラー値を持つとともに、各画素が少なくとも1つのカラー値を欠いているカラー画像である。所定のスペクトル応答をするカラー画素はパンクロ画素と比べて少ないため、不完全カラー画像は、パンクロ画素によって捕獲される画像と比べて空間解像度が低い。
低解像度不完全カラー・ブロック202は、不完全カラー画像の各画素を同様にして処理することでカラー値のアレイを得る。なお、それぞれの低解像度画素に1つのカラー値となる。ここには図示していないが、このステップにおいて低解像度不完全カラー画像のノイズを除去すると望ましいことがしばしばある。
ここで図19に移ると、図17Aに示したパターンと同等なフィルタ・パターンが示されている。最小繰り返し単位220（図19）は、最小繰り返し単位120（図17A）と一致していることがわかる。図19を再び参照すると、位置（a）、（b）、（c）、（d）の中間パンクロ値は、以下の式に従って計算できる。
a = (-P30 + 9×P21 + 9×P12 - P03)/16
b = (-P34 + 9×P23 + 9×P12 - P01)/16
c = (-P10 + 9×P21 + 9×P32 - P43)/16
d = (-P14 + 9×P23 + 9×P32 - P41)/16
したがって緑色値G22を含む画素は、近くにある菱形状の8つのパンクロ値、すなわちP21、a、P12、b、P23、d、P32、cを持つ。今や、水平方向、鉛直方向、右下がりの斜線方向、左下がりの斜線方向の4つの中心-差勾配の絶対値を用いて画素G22における分類値を計算できる。
clashorz = | P23 - P21 |
clasvert = | P12 - P32 |
classlash = | b - c |
clasback = | a - d |
これらの方向に関する対応する予想値は以下の通りである。
predhorz = (P23 + P21)/2
predvert = (P12 + P32)/2
predslash = (b + c)/2
predback = (a+ d)/2
最小分類値を持つ方向を選択した後、選択した方向に対応する予想パンクロ値から、内挿されたパンクロ値P22を生成させる。
緑色画素に関するパンクロ値が内挿されると、同じことを赤色画素と青色画素に対して実施するだけである。図19に示したCFAパターンを再び参照すると、緑色画素で利用したのと同じパンクロ内挿プロセスを赤色画素と青色画素にも同様にうまく適用できることがわかる。例えばパンクロ画素P12、P21、P23、P32が緑色画素G22を直接取り囲んでいるのと同様、パンクロ画素P23、P32、P34、P43が青色画素B33を直接取り囲んでいる。画素B33に関する近くの中間パンクロ値は、緑色画素G22について上に示したのと同様の式を用いて計算できる。
すべてのカラー画素の位置におけるパンクロ値を内挿した後は、センサー上の各画素の位置に、測定または内挿された1つのパンクロ値が存在している。これらのパンクロ値が、図18に示したように高解像度パンクロ画像204を作り出す。低解像度パンクロ画像206は、内挿されたパンクロ値を持つ画素だけを選択することによって生成される。そこで低解像度パンクロ画像206を低解像度不完全カラー画像202と組み合わせ、低解像度色差208を生成させる。次の処理ステップは、高解像度色差210を生成させるというものであり、それは、パンクロ画素からなるそれぞれの菱形の中心にあるパンクロ画素に関して緑色値-パンクロ値（G - P）を見いだすことによって開始される。G - P色差値が生成されると、その値を中心パンクロ値に加えて高解像度最終画像212の緑色値を生成させる。
図19を参照すると、このような中心画素はP24になろう。なぜならこの画素が、P14、P23、P24、P25、P34によって規定される菱形状のパンクロ画素の集合の中心にあるからである。最も近い4つの緑色値は、G04、G22、G26、G44である。これら4つの緑色画素のそれぞれも内挿されたパンクロ値を持つため、G - P色差値をそれぞれの位置で計算できる。水平方向と鉛直方向の分類値と予想値は、以下の式に従って計算できる。
clashorz = | (G22 - P22) - (G26 - P26) | + | P22 - 2×P24 + P26 |
clasvert = | (G04 - P04) - (G44 - P44) | + | P04 - 2×P24 + P44 |
predhorz = [ (G22 - P22) + (G26 - P26) ]/2
predvert = [ (G04 - P04) + (G44 - P44) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を中心画素P24のパンクロ値に加え、内挿された緑色値G24を生成させる。
パンクロ画素からなるそれぞれの菱形の中心画素に関する緑色値が計算されると、偶数の添字を2つ持つすべての画素の緑色値が存在していることになる。次のステップは、奇数の添字を2つ持つすべての画素の緑色値を計算することである。例えば青色画素B33を考えると、右下がりと左下がりの分類値と予想値は、以下の式に従って計算できる。
classlash = | (G42 - P42) - (G24 - P24) | + | P42 - 2×P33 + P24 |
clasback = | (G22 - P22) - (G44 - P44) | + | P22 - 2×P33 + P44 |
predslash = [ (G42 - P42) + (G24 - P24) ]/2
predback = [ (G22 - P22) + (G44 - P44) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を画素B33のパンクロ値に加え、内挿された緑色値G33を生成させる。これと同じ方法を赤色画素について実施する。すべての緑色値が計算されると、両方とも奇数または偶数という添字を持つすべての画素の位置に緑色値が存在していることになる。
緑色の内挿を完了させるため、1つの画素が、奇数の1つの添字と偶数の1つの添字を持つと考えよう（例えばP32）。水平方向と鉛直方向の分類値と予想置は、以下の式に従って計算できる。
clashorz = | (G31 - P31) - (G33 - P33) | + | P31 - 2×P32 + P33 |
clasvert = | (G22 - P22) - (G42 - P42) | + | P22 - 2×P32 + P42 |
predhorz = [ (G31 - P31) + (G33 - P33) ]/2
predvert = [ (G22 - P22) + (G42 - P42) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を中心画素P32のパンクロ値に加え、内挿された緑色値G32を生成させる。
今や、すべての画素の位置にパンクロ値と緑色値がある。残る作業は、失われたすべての赤色値と青色値を内挿することである。赤色画素、緑色画素、青色画素は同数であるため、そしてこれらの幾何学的レイアウト・パターンは同じであるため、緑色を内挿するための一連の式を変更して赤色画素と青色画素に適用することができる。一般に、赤色値を計算する方法は、R - G色差値を見いだした後、その値を存在している緑色値に加えて赤色値を生成させる操作を含んでいる。分類値を決定するのにパンクロ値がやはり用いられる。
例えば青色画素B33の位置の赤色値を計算することを考える。水平方向と鉛直方向の分類値と予想値は、以下の式に従ってR - G色差を用いて計算することができる。
clashorz = | (R31 - G31) - (R35 - G35) | + | P31 - 2×P33 + P35 |
clasvert = | (R13 - G13) - (R15 - G15) | + | P13 - 2×P33 + P15 |
predhorz = [ (R31 - G31) + (R35 - G35) ]/2
predvert = [ (R13 - G13) + (R35 - G35) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を青色画素B33における緑色値に加え、内挿された赤色値R33を生成させる。R - G色差を用いた同様の一連の式を利用し、赤色画素の位置における青色値を計算することができる。赤色値がすべての青色画素の位置で計算され、青色値が赤色画素の位置で計算されると、奇数の添字を2つ持つすべての画素位置での赤色値と青色値が存在していることになる。
次のステップは、偶数の添字を2つ持つ画素における赤色値と青色値を計算するというものである。例えば緑色画素G44の位置の赤色値を計算することを考える。右下がりと左下がりの分類値と予想値は、以下の式に従って計算できる。
classlash = | (R53 - G53) - (R35 - G35) | + | P53 - 2×P44 + P35 |
clasback = | (R33 - G33) - (R55 - G55) | + | P33 - 2×P44 + P55 |
predslash = [ (R53 - G53) + (R35 - G35) ]/2
predback = [ (R33 - G33) + (R55 - G55) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差を画素G44における緑色値に加え、内挿された赤色値R44を生成させる。同じ方法を青色画素で実施する。すべての赤色値と青色値が計算されると、両方とも奇数または両方とも偶数の添字を持つすべての画素位置に赤色値と青色値が存在していることになる。
色内挿プロセスを完了させるため、1つが奇数、1つが偶数の添字を持つ画素（例えばP32）を考え、赤色値を計算する。水平方向と鉛直方向の分類値と予想値は、以下の式に従ってR - G色差を用いて計算することができる。
clashorz = | (R31 - G31) - (R33 - G33) | + | P31 - 2×P32 + P33 |
clasvert = | (R22 - G22) - (R42 - G42) | + | P22 - 2×P32 + P42 |
predhorz = [ (R31 - G31) + (R33 - G33) ]/2
predvert = [ (R22 - G22) + (R42 - G42) ]/2
より小さな分類値が、どの予想値を用いるべきかを示している。次に、示された色差をパンクロ画素P32の位置における緑色値に加え、内挿された赤色値R32を生成させる。R - G色差を用い、同じ方法を利用して青色値B32を計算する。この時点で色の内挿が終了する。なぜなら各画素は、赤、緑、青という3つの色値をすべて持っているからである。これらの画素が、高解像度最終画像212を形成する。
10 対象となる光景からの光
11 イメージング段
12 レンズ
13 中性フィルタ
14 虹彩絞り
16 明るさセンサー
18 シャッター
20 イメージ・センサー
22 アナログ信号処理装置
24 アナログ／ディジタル（A/D）変換器
26 タイミング発生装置
28 イメージ・センサー段
30 ディジタル信号処理装置（DSP）のバス
32 ディジタル信号処理装置（DSP）のメモリ
36 ディジタル信号処理装置（DSP）
38 処理段
40 露出制御装置
50 システム制御装置
52 システム制御装置のバス
54 プログラム用メモリ
56 システム用メモリ
57 ホストとのインターフェイス
60 メモリ・カードとのインターフェイス
62 メモリ・カード用ソケット
64 メモリ・カード
68 ユーザー制御／状態インターフェイス
70 ビューファインダ・ディスプレイ
72 露出ディスプレイ
74 ユーザー入力
76 状態ディスプレイ
80 ビデオ・エンコーダ
82 ディスプレイ制御装置
88 画像ディスプレイ
100 ベイヤー・パターンのための最小繰り返し単位
102 ベイヤー・パターンのための最小ではない繰り返し単位
110 赤外阻止フィルタの分光透過曲線
112 フィルタのないセンサーの分光光応答曲線
114 センサーの赤色光応答曲線
116 センサーの緑色光応答曲線
118 センサーの青色光応答曲線
120 最小繰り返し単位
202 低解像度不完全カラー・ブロック
204 高解像度パンクロ・ブロック
206 低解像度パンクロ・ブロック
208 低解像度色差ブロック
210 高解像度色差ブロック
212 高解像度最終画像ブロック
220 本発明の最小繰り返し単位

Claims (1)

  1. カラー画像を捕獲するため、複数の最小繰り返し単位を有する二次元画素アレイを含むイメージ・センサーであって、それぞれの最小繰り返し単位が、4つのパンクロ画素と、色応答が異なる4つの画素を有する8つの画素からなるイメージ・センサーであって、
    以下の最小繰り返し単位：
    Ｐ Ｂ Ｐ Ｄ
    Ａ Ｐ Ｃ Ｐ
    を持つ（ただし、Pはパンクロ画素を表わし、A、B、C、Dは、色応答が異なる画素を表わす）、イメージ・センサー。
JP2009539266A 2006-12-01 2007-11-16 イメージ・センサーにおける改善された光感度 Active JP5155333B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/565,687 2006-12-01
US11/565,687 US7893976B2 (en) 2006-12-01 2006-12-01 Light sensitivity in image sensors
PCT/US2007/024162 WO2008069920A1 (en) 2006-12-01 2007-11-16 Improved light sensitivity in image sensors

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012226175A Division JP5547786B2 (ja) 2006-12-01 2012-10-11 イメージ・センサーにおける改善された光感度

Publications (2)

Publication Number Publication Date
JP2010512050A JP2010512050A (ja) 2010-04-15
JP5155333B2 true JP5155333B2 (ja) 2013-03-06

Family

ID=39307035

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009539266A Active JP5155333B2 (ja) 2006-12-01 2007-11-16 イメージ・センサーにおける改善された光感度
JP2012226175A Active JP5547786B2 (ja) 2006-12-01 2012-10-11 イメージ・センサーにおける改善された光感度

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012226175A Active JP5547786B2 (ja) 2006-12-01 2012-10-11 イメージ・センサーにおける改善された光感度

Country Status (5)

Country Link
US (1) US7893976B2 (ja)
EP (1) EP2087725B1 (ja)
JP (2) JP5155333B2 (ja)
TW (1) TWI435167B (ja)
WO (1) WO2008069920A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
JP5250315B2 (ja) * 2007-06-28 2013-07-31 富士フイルム株式会社 信号処理装置、撮像装置、及び同時化処理プログラム
DE102008027188A1 (de) * 2008-06-06 2009-12-10 Volkswagen Ag Bildaufnahmevorrichtung
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7948534B2 (en) * 2008-10-22 2011-05-24 Eastman Kodak Company Charge-coupled device image sensor with vertical binning of same-color pixels
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP4626706B2 (ja) * 2008-12-08 2011-02-09 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8610808B2 (en) 2008-12-22 2013-12-17 Koninklijke Philips N.V. Color CMOS imager with single photon counting capability
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8198578B2 (en) * 2009-06-23 2012-06-12 Nokia Corporation Color filters for sub-diffraction limit-sized light sensors
US20110115954A1 (en) * 2009-11-19 2011-05-19 Eastman Kodak Company Sparse color pixel array with pixel substitutes
JP2011199452A (ja) * 2010-03-18 2011-10-06 Fuji Xerox Co Ltd 処理装置及び制御プログラム
JP5757711B2 (ja) * 2010-09-27 2015-07-29 オリンパス株式会社 スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置
JP6035744B2 (ja) * 2012-01-10 2016-11-30 凸版印刷株式会社 固体撮像素子
DE102012021736B4 (de) 2012-03-22 2021-08-05 Volkswagen Aktiengesellschaft Bildsensor für sichtbares und infrarotes Licht und Kamerasystem
EP2833635B1 (en) * 2012-03-27 2018-11-07 Sony Corporation Image processing device, image-capturing element, image processing method, and program
EP2677732B1 (en) 2012-06-22 2019-08-28 Nokia Technologies Oy Method, apparatus and computer program product for capturing video content
DE102012110092A1 (de) * 2012-10-23 2014-04-24 Conti Temic Microelectronic Gmbh Sensoranordnung zur Bilderfassung
CN103051849B (zh) * 2012-12-18 2017-09-29 上海集成电路研发中心有限公司 新型结构的像素阵列
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9883149B2 (en) 2014-08-01 2018-01-30 Sri International Imaging sensor and method for color night vision
US9369681B1 (en) 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
US9998695B2 (en) * 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
JP6311771B2 (ja) * 2016-10-31 2018-04-18 凸版印刷株式会社 固体撮像素子
JP7281895B2 (ja) * 2018-12-06 2023-05-26 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器
KR102680865B1 (ko) * 2019-03-11 2024-07-04 삼성전자주식회사 Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체
US11470286B2 (en) * 2019-07-16 2022-10-11 Mritunjay Singh Image sensors with color, panchromatic and infrared pixels
CN113973184A (zh) * 2020-05-22 2022-01-25 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端
CN112702490A (zh) * 2020-12-25 2021-04-23 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
JPS5763983A (en) * 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
JPS5986982A (ja) * 1982-11-11 1984-05-19 Shoichi Tanaka 固体撮像装置
EP0119862B1 (en) * 1983-03-17 1990-12-27 Nec Corporation Solid-state color imaging apparatus
JPS60103790A (ja) * 1983-11-10 1985-06-08 Nec Corp カラ−固体撮像装置
JPS6238692A (ja) * 1985-08-13 1987-02-19 Mitsubishi Electric Corp カラ−固体撮像素子
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JPH0823542A (ja) * 1994-07-11 1996-01-23 Canon Inc 撮像装置
FR2755815B1 (fr) * 1996-11-08 1998-12-18 Commissariat Energie Atomique Dispositif et procede de determination de la position presumee d'un evenement par rapport a un ensemble de photodetecteurs, et application aux gamma-cameras
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US6765611B1 (en) * 2000-11-21 2004-07-20 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP2006165975A (ja) * 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
JP5183880B2 (ja) * 2006-03-14 2013-04-17 ソニー株式会社 カラーフィルタおよび撮像素子

Also Published As

Publication number Publication date
JP5547786B2 (ja) 2014-07-16
EP2087725B1 (en) 2018-10-10
EP2087725A1 (en) 2009-08-12
US7893976B2 (en) 2011-02-22
TWI435167B (zh) 2014-04-21
JP2013042530A (ja) 2013-02-28
TW200834227A (en) 2008-08-16
JP2010512050A (ja) 2010-04-15
US20080130073A1 (en) 2008-06-05
WO2008069920A1 (en) 2008-06-12

Similar Documents

Publication Publication Date Title
JP5547786B2 (ja) イメージ・センサーにおける改善された光感度
JP5462345B2 (ja) 光感度が改善されたイメージ・センサー
JP4971323B2 (ja) カラー画素とパンクロ画素の処理
JP5149279B2 (ja) 光感度が改善されたイメージ・センサー
USRE47458E1 (en) Pattern conversion for interpolation
JP5345944B2 (ja) 低解像度画像の生成
EP1977614B1 (en) Image sensor with improved light sensitivity
JP5603455B2 (ja) カラー画素およびパンクロマティック画素を有する画像の処理
US20090051984A1 (en) Image sensor having checkerboard pattern
JP2009506646A (ja) 光感度が改善されたイメージ・センサー
JP2013511909A (ja) ピクセル代替のある疎カラー・ピクセル・アレイ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101116

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5155333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250