JP6929929B2 - 複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置 - Google Patents

複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置 Download PDF

Info

Publication number
JP6929929B2
JP6929929B2 JP2019500300A JP2019500300A JP6929929B2 JP 6929929 B2 JP6929929 B2 JP 6929929B2 JP 2019500300 A JP2019500300 A JP 2019500300A JP 2019500300 A JP2019500300 A JP 2019500300A JP 6929929 B2 JP6929929 B2 JP 6929929B2
Authority
JP
Japan
Prior art keywords
filter element
filter
array
subset
binning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019500300A
Other languages
English (en)
Other versions
JP2019527501A (ja
Inventor
イー−チェン・チャン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2019527501A publication Critical patent/JP2019527501A/ja
Application granted granted Critical
Publication of JP6929929B2 publication Critical patent/JP6929929B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

関連出願の相互参照
本出願は、2017年7月3日に出願された米国特許出願第15／640，758号および2016年7月5日に出願された米国特許仮出願第62／358，523号の優先権を主張するものであり、これらの両方の全体は、参照により本明細書に組み込まれる。
本発明は、画像センサに関し、より詳細には画像センサ用のフィルタアレイ構成に関する。
一般的に、コンピュータビジョン用途（例えば、3次元深度検知用途など）は、動作に2つのカメラを必要とする。具体的には、このようなカメラは、3次元深度マップを生成するための少なくとも1つの専用赤外線カメラと、カラー画像を取得するための少なくとも1つのカメラとを含む。さらに、携帯電話などのデバイスは、現在より一般的には、デバイスの前面および背面の両方に少なくとも1つのカメラを含む。
したがって、このようなデバイスが前面カメラと背面カメラの両方を使用して前述の用途をサポートするためには、デバイスごとに合計で4（四）つのカメラ（すなわち、前面に2（二）つ、背面に2（二）つ）が必要である。しかしながら、このようなデバイスのサイズを縮小したいという継続的な要望により、デバイスごとにこのような4つのカメラを収めるのに十分なスペースがない。さらに、赤外画素とカラー画素の両方を単一のセンサに組み込むというこれまでの試みは、信号対ノイズ比（SNR）性能を向上させる他の技術（例えば、ビニングなど）をサポートすることができない。
画像センサ装置および方法は、複数の隣接する赤外線（IR）フィルタ要素を用いて提供される。光景の画像を表すための画素データとして出力信号を生成する2次元画素要素アレイを備える画像センサが含まれる。さらに含まれるのは、光景から入射する光を受光するように2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイである。フィルタアレイは、光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットをそれぞれ含む複数のフィルタ要素ブロックを含む。第1のサブセットの隣り合うフィルタ要素の各対は、光の可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成される。さらに、各フィルタ要素ブロックは、光の赤外線（IR）スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットも含む。第2のフィルタ要素サブセットは、隣接する少なくとも2（二）つのIRフィルタ要素を含む。
第1の実施形態では、画像センサは、電荷結合素子（CCD）画像センサを含んでもよい。
第2の実施形態では、画像センサは、相補型金属酸化膜半導体（CMOS）画像センサを含んでもよい。
第3の実施形態（第1および／または第2の実施形態と組み合わせられてもされなくてもよい）では、第2のフィルタ要素サブセットは、隣接する少なくとも4（四）つのIRフィルタ要素を含んでもよい。
第4の実施形態（第1、第2、および／または第3の実施形態と組み合わされてもされなくてもよい）では、第1のフィルタ要素サブセットは、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素の少なくとも2種類（またはさらにはすべての種類）を含んでもよい。
第5の実施形態（第1、第2、第3、および／または第4の実施形態と組み合わされてもされなくてもよい）では、フィルタアレイは、各ブロックのフィルタ要素の構成が対称になるように配置されてもよい。
第6の実施形態（第1、第2、第3、第4、および／または第5の実施形態と組み合わされてもされなくてもよい）では、第2のフィルタ要素サブセットは、第1のフィルタ要素サブセットのフィルタ要素の第2の数の分数である第1の数のフィルタ要素を含んでもよい。選択肢として、このような分数は、3分の1（1／3）であってもよい。
第7の実施形態（第1、第2、第3、第4、第5、および／または第6の実施形態と組み合わされてもされなくてもよい）では、第2のフィルタ要素サブセットは、対応する各フィルタ要素ブロック内の中央に配置されてもよい。
第8の実施形態（第1、第2、第3、第4、第5、第6、および／または第7の実施形態と組み合わされてもされなくてもよい）では、第2のフィルタ要素サブセットは、対応する各フィルタ要素ブロックの隅に配置されてもよい。
第9の実施形態（第1、第2、第3、第4、第5、第6、第7、および／または第8の実施形態と組み合わされてもされなくてもよい）では、第2のフィルタ要素サブセットの少なくとも一部に関してIRスペクトルのスペクトルエネルギーがビニングされてもよい。様々な選択肢として、ビニングにより電圧レベルおよび／または電荷レベルがビニングされてもよい。さらに別の選択肢として、第1のフィルタ要素サブセットの少なくとも一部に関して可視スペクトルの1つ以上の色のスペクトルエネルギーが、第1のタイプのビニングアルゴリズムを利用してビニングされてもよい。さらに、第2のフィルタ要素サブセットの少なくとも一部に関してIRスペクトルのスペクトルエネルギーが、第2のタイプのビニングアルゴリズムを利用してビニングされてもよい。選択肢として、第2のフィルタ要素サブセットの少なくとも一部に関して光のIRスペクトルのスペクトルエネルギーをビンニングするビニング回路が設けられてもよい。
第10の実施形態（第1、第2、第3、第4、第5、第6、第7、第8、および／または第9の実施形態と組み合わされてもされなくてもよい）では、第2のフィルタ要素サブセットの少なくとも1つに関して可視スペクトルの1つ以上の色のスペクトルエネルギーの値が、補間を利用して特定されてもよい。
第11の実施形態（第1、第2、第3、第4、第5、第6、第7、第8、第9、および／または第10の実施形態と組み合わされてもされなくてもよい）では、フィルタアレイの第1の横列に第1のフィルタ要素サブセットのみが含まれている場合は、より高い解像度を利用して第1の横列に関連する出力が処理されてもよい。さらに、フィルタアレイの第2の横列に第2のフィルタ要素サブセットの少なくとも1つのフィルタ要素が含まれている場合は、より低い解像度を利用して第2の横列に関連する出力が処理されてもよい。
第12の実施形態（第1、第2、第3、第4、第5、第6、第7、第8、第9、第10、および／または第11の実施形態と組み合わされてもされなくてもよい）では、第2のサブセットのフィルタ要素の少なくとも1つは、第1のサブセットのフィルタ要素の少なくとも1つより大きくてもよい。具体的には、任意選択の一実施形態では、第2のフィルタ要素サブセットの少なくとも一部分は、第1のサブセットのフィルタ要素の少なくとも1つよりも大きい、フィルタアレイの単一の構成要素を形成する。
第13の実施形態（第1、第2、第3、第4、第5、第6、第7、第8、第9、第10、第11、および／または第12の実施形態と組み合わされてもされなくてもよい）では、第1のサブセットのフィルタ要素は、ベイヤーパターンで構成されてもよい。
この目的のために、一部の任意選択の実施形態では、前述の装置および／または方法の前述の特徴の1つ以上は、ビニングなどの他の性能向上技術を可能にする仕方で、IRおよびカラー画像形成能力の両方を必要とする用途をサポートすることができるセンサを提供することができる。これは、複数の隣接するIRフィルタ要素を有するセンサを提供することによって達成される。結果として、これにより、必要なカメラをより少なくすることができ（またコストおよび／またはフォームファクタを低減することができ）、これは、そうでない場合、このような特徴を欠くデバイス、特に、このようなデバイスの前面および背面の両方にカメラシステムを有するデバイスでは当然である。前述の潜在的な利点は、例示目的のために説明されているに過ぎず、決して限定として解釈されるべきではないことに留意されたい。
一実施形態による、画像センサ装置の回路図である。 一実施形態による、ビニングの例を示す。 一実施形態による、複数の隣接する赤外線（IR）フィルタ要素を備えたフィルタアレイを示す。 さらに別の実施形態による、赤色カラーフィルタ要素および緑色カラーフィルタ要素によって囲まれている複数の隣接するIRフィルタ要素を備えたさらに別のフィルタアレイを示す。 別の実施形態による、交互に配置された赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含む各フィルタ要素グループの隅に配置された複数の隣接するIRフィルタ要素を備えた別のフィルタアレイを示す。 さらに別の実施形態による、交互に配置された赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含む各フィルタ要素グループの隅に配置された、大きな単一の画素の形態の複数の隣接するIRフィルタ要素を備えたさらに別のフィルタアレイを示す。 さらに別の実施形態による、複数の離れた隣接するIRフィルタ要素のセットとして構成された複数の隣接するIRフィルタ要素を備えたさらに別のフィルタアレイを示す。 一実施形態による、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含むより大きな5×5のフィルタ要素グループ内に配置された複数の隣接するIRフィルタ要素を備えたフィルタアレイを示す。 別の実施形態による、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含むより大きな5×5のフィルタ要素グループ内に配置された複数の隣接するIRフィルタ要素を備えた別のフィルタアレイを示す。 一実施形態による、画像センサ装置の分解図である。 一実施形態による、画像センサからの出力信号を処理するための方法を示す。 一実施形態による、図2のフィルタアレイの特定の構成を処理する例を示す。 可能な一実施形態によるネットワークアーキテクチャを示す。 一実施形態による例示的なシステムを示す。
ビニングなどの他の性能向上技術を可能にする仕方で、赤外線（IR）およびカラー画像形成能力の両方を必要とする用途をサポートすることができる単一のセンサを含む様々な実施形態が説明される。これは、複数の隣接するIRフィルタ要素を有する単一のセンサを提供することによって達成される。結果として、これにより、必要なカメラをより少なくすることができ（またコストおよび／またはフォームファクタを低減することができ）、これは、そうでない場合、このような特徴を欠くデバイス、特に、このようなデバイスの前面および背面の両方にカメラシステムを有するデバイスでは当然である。前述の潜在的な利点は、例示目的のために説明されているに過ぎず、決して限定として解釈されるべきではないことに留意されたい。とは言うものの、次に、下記の図に関連して様々な実施形態を説明する。
図1A−1は、一実施形態による、画像センサ装置10の回路図である。このような実施形態では、画像センサ装置10は、カラーおよびIR関連の出力信号を生成することができる単一のカメラの構成要素とすることができる。これを達成するために、画像センサ装置10は、単一のフィルタアレイ12を含むことができ、単一のフィルタアレイ12は、本説明との関連において、様々なスペクトルのスペクトルエネルギーを透過するように構成されたフィルタ要素（すなわち、フィルタアレイ部分など）のセットを含むことができる。一実施形態では、フィルタアレイ12は、複数のカラーフィルタ要素と複数のIRフィルタ要素とを含む2次元アレイ（2つ以上の次元を含むことができる）を含むことができる。様々な実施形態において、カラーフィルタ要素およびIRフィルタ要素は、じきに明らかになる理由から、複数のIRフィルタ要素が隣接する（例えば、各IRフィルタ要素が少なくとも1つの隣り合う、隣り合わせの、または隣のIRフィルタ要素と共に配置される）限り、任意の所望の方法で配置および／または構成され得る。
2次元画素要素（またはセンサ要素）アレイを備える単一の画像センサ14も含まれる。一実施形態では、単一の画像センサ14は、電荷結合素子（CCD）画像センサを含むことができる。他の実施形態では、単一の画像センサ14は、相補型金属酸化膜半導体（CMOS）画像センサを含むことができる。様々な実施形態において、CCD画像センサは、CMOS画像センサと比較して、任意選択の性能上の利点（例えば、より大きなSNRなど）を提供することができる。他の実施形態では、他の実現技術も考えられる。使用時に、このような単一の画像センサ14は、（画像センサ装置10によって受光される、光の反射を通して取得される）光景の画像を表す画素データとして各画素要素で出力信号を生成するように構成される。
フィルタアレイ12は、画像センサ14がその出力信号を生成する前にスペクトルエネルギーを選択的に透過（例えば、フィルタリングなど）するために、画像センサ14の2次元画素要素アレイに結合される。選択肢として、画像センサ14からのこのような出力信号は、画像センサ14からの出力信号に対して様々な技術（例えば、ビニング、補間など）を実行するために画像回路16によって処理されてもよい。回路16は、ビニングメカニズムをサポートするハードウェア論理および／または1つ以上のプロセッサを含むことができる。一実施形態による、画像センサ装置10を使用してビニングを実行するための特定の一方法に関するさらなる情報を次に説明する。
図1A−2は、一実施形態による、ビニング20の例を示す。一般に、ビニング20は、記録画像内の単一の画素を生成するために画像センサ21（例えば、図1A−1の画像センサ14）の隣り合うセンサ要素23の情報を合成することを含む。したがって、本説明との関連において、このようなビニング20は、フィルタ要素23のうちの第1のフィルタ要素の出力またはコンテンツとフィルタ要素23のうちの第2のフィルタ要素の出力またはコンテンツとの（少なくとも部分的な）合成、集約などが行われるアルゴリズムを含むことができる。
図1A−2に示すように、ビニング20は、画像センサ21のセンサ要素23の4つにわたる照射領域22を含むことができる。画像センサ21は、画像センサ21および／または画像回路（例えば、図1A−1の画像回路16）の一部とすることができる出力レジスタ24を備えるものとしてさらに示されている。
動作1に示すように、照射領域22に向けられた光信号は、4つのセンサ要素23のそれぞれに10電子の電荷を誘導する。動作2において、前述の電荷は出力レジスタ24にシフト（例えばクロック）される。動作3において、前述の電荷が（例えば、別のクロックによって）再びシフトされ、画像センサ21の第1横列からの電荷が出力レジスタ24の第1横列に加算される。次に、動作4において、2つの右側のセンサ要素23からの合計電荷が（例えばさらなるクロックによって）シフトされて、出力25が生成される。最後に、動作5において、出力レジスタ24のコンテンツが再びシフト（またはクロック）されて、出力レジスタ24内の、すべてのセンサ要素23からの電荷が合計され、これによって出力25の最終バージョンが生成される。このように、少なくとも2つの隣り合うセンサ要素の出力は、ビニングメカニズムによって合成される。ハードウェアベースのビニングメカニズムは、画素（またはセンサ要素）の読み出しノイズを低減するために好適に実行され得る（例えば、各画素要素23から読み出す代わりに、1つの合計結果25だけが読み出される）。
この設計により、センサ要素23における電荷が前述の方法で合成されるという事実のおかげで、出力25を得るために必要とされるステップが少なくなる。とは言うものの、交互の順序で配置される（すなわち、カラー要素の隣にIR要素があり、そのIR要素の隣にカラー要素がある等々）カラー要素とIR要素の両方を含むより複雑な画像センサとの関連において、このようなビニング20は、（ビニング20にまれにあるように）IR要素およびカラー要素の出力を必ず合成しなければならないわけではないという事実のために複雑になり得る。この目的のために、これから詳述するように、前述のビニング20は、前述のビニング20の前述の動作1〜5に適応する連続IR要素を有する画像センサを提供することよってさらにサポートされ得る。
図1Bは、一実施形態による、複数の隣接するIRフィルタ要素を備えたフィルタアレイ100を示す。様々な実施形態において後に説明されるように、フィルタアレイ100は、出力信号を生成するために単一の画像センサと協働するように構成され得る。
図示のように、フィルタアレイ100は、それぞれがフィルタ要素の「ブロック」を形成することができる複数のフィルタ要素グループ103を含む。フィルタ要素グループは、それぞれが2×2のマトリックスのフィルタ要素を含むものとして示されているが、N×Nのマトリックスのフィルタ要素（ただし、N＝2、3、5、6...または任意の整数）が考えられることに留意されたい。さらに図示されているように、フィルタアレイ100を形成するために、複数のフィルタ要素グループ103が含まれ得る。図1Bには2×2のマトリックスのフィルタ要素グループ103が示されているが、M×Mのマトリックスのフィルタ要素グループ103（ただし、M＝2、3、5、6...または任意の整数）が考えられることに留意されたい。選択肢として、フィルタアレイ100は、各フィルタ要素グループ103のフィルタ要素の構成が対称になり得るように配置されてもよい。言い換えれば、各フィルタ要素グループ103は、同じまたは実質的に同じ配置のフィルタ要素を含んでもよい。
各フィルタ要素グループ103は、入射光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過する（光の他の部分を除去しながら）ように構成された第1のフィルタ要素サブセット104（以下、「カラーフィルタ要素」104）を含むものとして示されている。様々な実施形態の下記の説明の間に明らかになるように、カラーフィルタ要素104は、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および／または青色カラーフィルタ要素の少なくとも2種類（またはさらにはすべての種類）を含むことができる。しかしながら、他のカラースキーム［例えば、シアン／マゼンタ／イエロー／ブラック（CMYK）など］も考えられるため、このような赤／緑／青（RGB）の実施形態は、例示目的のために説明されているに過ぎないことに留意されたい。
さらに、隣接するすべてのカラーフィルタ要素104（または2次元フィルタアレイ100内の2つの隣り合わせのカラーフィルタ要素）は、可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成される。本説明との関連において、2つのフィルタ要素は、これら2つのフィルタ要素が少なくとも1つのそれらの境界を共有して、第1のフィルタ要素の第1の境界が第2のフィルタ要素の第2の境界に接する場合に隣接することができる。例えば、後により詳細に説明される可能な一実施形態では、カラーフィルタ要素104は、ベイヤーパターンで構成されてもよい。ベイヤーパターンは、RGBカラーフィルタを正方格子に配置するための特定のモザイクを指す。ベイヤーパターンは、50％の緑色フィルタ要素、25％の赤色フィルタ要素、および25％の青色フィルタ要素を含む。このようなベイヤーパターンの例は、図2に示す別の実施形態に関連して後に説明される。
さらに含まれるのは、太陽光または他の人工光源の結果として環境において自然に発生し得る（例えば、入射光の不可視部分の）IRスペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセット106（以下、「IRフィルタ要素」106）である。IRフィルタ要素106は、IRスペクトル以外の、入射光の部分を除去することができる。本説明との関連において、このようなIRスペクトルは、IRスペクトルおよび／または近IRスペクトルの両方を含むことができる。さらに、一実施形態では、IRフィルタ要素106は、様々な用途に関連して利用され得る深度情報を含む3次元（3D）深度マップを生成するのに役立ち得る。このような深度情報は、特定の視点からの、1つ以上の光景の対象の表面の距離に関し、深度バッファ、すなわち異なるグラフィックアプリケーションにおけるZバッファに関連して使用され得る。
異なる実施形態では、IRフィルタ要素106は、カラーフィルタ要素104の第2の数の分数である第1の数のフィルタ要素を含むことができる。図1Bに示されている実施形態では、このような分数は3分の1（1／3）であってもよい。しかしながら、他の実施形態では、前述の分数は、任意の分数1／Q（ただし、Q＝2、4、5、6…または任意の整数）を含むことができる。
さらに、カラーフィルタ要素104およびIRフィルタ要素106は、それぞれ任意のサイズとすることができ、任意の所望の方法で（例えば、シリコン面積、構成部品、フィルタアレイ空間などに関して）組み合わされ得る。例えば、一実施形態では、カラーフィルタ要素104およびIRフィルタ要素106のサイズは均一であってもよい。しかしながら、後に説明される他の可能な実施形態では、IRフィルタ要素106の少なくとも1つは、カラーフィルタ要素104の少なくとも1つよりも大きな形態をとることができる。例えば、可能な一実施形態では、複数のIRフィルタ要素106（要素106の一部または全部を構成してもよい）は、カラーフィルタ要素104の少なくとも1つよりも大きな、フィルタアレイ100の単一の構成要素（例えば、面積、部品など）を集合的に形成してもよい。このような実施形態では、このようなより大きな形態を与えるために、IRフィルタ要素106の任意の部分／態様（例えば、構成部品、シリコン面積、フィルタアレイ空間など）が集約され、共有され、および／または組み合わされ得る。
引き続き図1Bを参照すると、IRフィルタ要素106は隣接している。図1Bには4（四）つのIRフィルタ要素106が示されているが、任意の複数P個のIRフィルタ要素106が隣接していてもよい（ただし、P＝2、3、5、6…または1よりも大きい任意の整数）ことに留意されたい。IRフィルタ要素106のすべてが各フィルタ要素グループ103において隣接する実施形態が考えられることにも留意されたい。さらに、IRフィルタ要素106の一部のみが各フィルタ要素グループ103において隣接する他の実施形態が考えられる。
異なる実施形態では、IRフィルタ要素106、より詳細には隣接するIRフィルタ要素106は、各フィルタ要素グループ103内の任意の位置に配置され得る。例えば、図1Bの実施形態に示されているように、IRフィルタ要素106は、（各フィルタ要素グループ103の）カラーフィルタ要素104内の中央に配置されてもよい。下記の図との関連において説明される他の実施形態では、IRフィルタ要素106は、各フィルタ要素グループ103の隅を含むがこれに限定されない、各フィルタ要素グループ103内の、カラーフィルタ要素104に対する任意の位置に配置されてもよい。厳密には選択肢として、可視スペクトルの1つ以上の色のスペクトルエネルギーの値は、1つ以上のカラーフィルタ要素104が1つ以上のIRフィルタ要素106に置き換えられた領域に関しては、補間を利用して特定されてもよい。
この目的のために、一部の任意選択の実施形態では、前述の隣接性により、ビニングなどの他の性能向上技術を可能にする仕方で、IRおよびカラー画像形成能力の両方を必要とする用途をサポートすることができる単一のカメラの製造および使用が可能になる。これは、複数の隣接するIRフィルタ要素を有する単一のセンサを提供することによって達成される。図1A−2に関連して前述したように、ビニングは、同種（例えば、カラー対IR）の隣り合う要素からの出力信号を合成することを含む。この目的のために、例えばIR要素が少なくとも部分的に隣接することを保証することによって、このような隣り合う要素に対してビニングを実行することができるが、これは、そうでない場合、合成不可能な要素が互いに隣り合う構成（すなわち、カラー要素の隣にIR要素があり、そのIR要素の隣にカラー要素がある等）では不可能である（または少なくともあまり実用的、効果的、および／もしくは効率的などではない）。
したがって、結果として、このような隣接性により、必要なカメラをより少なくすることができ（またコストおよび／またはフォームファクタを低減することができ）、これは、そうでない場合、このような特徴を欠くデバイス、特に、このようなデバイスの前面および背面の両方にカメラシステムを有するデバイスでは当然でる。前述の潜在的な利点は、例示目的のために説明されているに過ぎず、したがって厳密には任意選択であることに留意されたい。ユーザの望みに従って前述の方法が実施されてもされなくてもよい様々な任意選択のアーキテクチャおよび使用に関して、より例示的な情報を次に説明する。以下の特徴のいずれも、説明されている他の特徴を除外してまたは除外せずに任意選択的に組み込まれ得る。
図1Cは、さらに別の実施形態による、赤色カラーフィルタ要素114および緑色カラーフィルタ要素116によって囲まれている複数の隣接するIRフィルタ要素112を備えたさらに別のフィルタアレイ110を示す。図示のように、隣接するIRフィルタ要素112は、赤色カラーフィルタ要素114および緑色カラーフィルタ要素116内の中央に位置する2×2のマトリックスを形成している。さらに、赤色カラーフィルタ要素114および緑色カラーフィルタ要素116は、図示のように各フィルタ要素グループ118の各境界に沿って交互に配置されている。
図2は、別の実施形態による、交互に配置された赤色カラーフィルタ要素204、緑色カラーフィルタ要素206、および青色カラーフィルタ要素207を含む各フィルタ要素グループ208の隅に配置された複数の隣接するIRフィルタ要素202を備えた別のフィルタアレイ200を示す。図示のように、隣接するIRフィルタ要素202は、各フィルタ要素グループ208の右下隅に配置された2×2のマトリックスを形成している。
隣接するIRフィルタ要素202が他の隅（例えば、右上、左下、左上など）の隅に配置される他の実施形態が考えられることに留意されたい。さらに、隣接するIRフィルタ要素202は各フィルタ要素グループ208の境界に沿って存在する（例えば、各フィルタ要素グループ208の境界に隣接する）が、隣接するIRフィルタ要素202がこのような境界から離隔される他の実施形態が考えられる。上記の変形例については、上記および／または下記の図の両方との関連において本明細書に説明されている実施形態のすべてに応用され得るため、繰り返さないことに留意されたい。
さらに図示されているように、各フィルタ要素グループ208の第1横列および第3横列は、それぞれ交互に配置された赤色カラーフィルタ要素204および緑色カラーフィルタ要素206を含む。各フィルタ要素グループ208の第2横列および第4横列は、それぞれ交互に配置された青色カラーフィルタ要素207および緑色カラーフィルタ要素206を含む。この目的のために、赤色カラーフィルタ要素204、緑色カラーフィルタ要素206、および青色カラーフィルタ要素207は、図示のようにベイヤーパターンで構成される。
図3は、さらに別の実施形態による、交互に配置された赤色カラーフィルタ要素304、緑色カラーフィルタ要素306、および青色カラーフィルタ要素307を含む各フィルタ要素グループ308の隅に配置された、大きな単一の画素の形態の複数の隣接するIRフィルタ要素302を備えたさらに別のフィルタアレイ300を示す。前述のように、このようなより大きな形態を提供するために、IRフィルタ要素302の任意の部分／態様（例えば、構成部品、シリコン面積、フィルタアレイ空間など）が集約され、共有され、および／または組み合わされ得る。
例示的な一実施形態では、各フィルタ要素グループ308内の隣接するIRフィルタ要素302は、赤色カラーフィルタ要素304、緑色カラーフィルタ要素306、および青色カラーフィルタ要素307の画素のサイズ（例えば1.12μmなど）よりも大きい（例えば2.24μmなど）単一の画素を形成する。さらに図示されているように、各フィルタ要素グループ308の第1横列および第3横列は、それぞれ交互に配置された赤色カラーフィルタ要素304および緑色カラーフィルタ要素308を含む。各フィルタ要素グループ308の第2横列および第4横列は、それぞれ交互に配置された青色カラーフィルタ要素307および緑色カラーフィルタ要素306を含む。下記の実施形態の説明の間に後に説明されるように、このような異なる画素サイズを含む横列の処理は、このような設計に適応するように修正され得る（例えば、異なる横列の異なる要素を異なる方法で処理することなどによって）。
図4は、さらに別の実施形態による、複数の離れた1×2の隣接するIRフィルタ要素のセット403として構成された複数の隣接するIRフィルタ要素402を備えたさらに別のフィルタアレイ400を示す。これらは、各フィルタ要素グループ408内の任意の相対位置に配置され得るが、本実施形態では、隣接するIRフィルタ要素のセット403は、各フィルタ要素グループ408の右側に配置され、図示のように、境界を共有しないよう離隔／オフセットされている。
さらに、各フィルタ要素グループ408は、交互に配置された赤色カラーフィルタ要素404、緑色カラーフィルタ要素406、および青色カラーフィルタ要素407を含む。具体的には、各フィルタ要素グループ408の第1横列および第3横列は、それぞれ交互に配置された赤色カラーフィルタ要素404および緑色カラーフィルタ要素406を含む。各フィルタ要素グループ408の第2横列および第4横列は、それぞれ交互に配置された青色カラーフィルタ要素407および緑色カラーフィルタ要素406を含む。
図5は、一実施形態による、赤色カラーフィルタ要素504、緑色カラーフィルタ要素506、および青色カラーフィルタ要素507を含むより大きな5×5のフィルタ要素グループ508内に配置された複数の隣接するIRフィルタ要素502を備えたフィルタアレイ500を示す。図示のように、各フィルタ要素グループ508は、5×5のマトリックスのフィルタ要素を含むように増加され、隣接するIRフィルタ要素502は、図示のように、各フィルタ要素グループ508のすべての境界から離隔され、さらにはフィルタ要素グループ508の中央から（左上隅へ）オフセットされて配置された2×2のマトリックスを形成する。
さらに図示されているように、各フィルタ要素グループ508の第1横列、第3横列、および第5横列は、それぞれ交互に配置された青色カラーフィルタ要素507および緑色カラーフィルタ要素506を含む。さらに、各フィルタ要素グループ508の第2横列および第4横列は、それぞれ交互に配置された赤色カラーフィルタ要素504および緑色カラーフィルタ要素506を含む。
図6は、別の実施形態による、赤色カラーフィルタ要素604、緑色カラーフィルタ要素606、および青色カラーフィルタ要素607を含むより大きな5×5のフィルタ要素グループ608内に配置された複数の隣接するIRフィルタ要素602を備えた別のフィルタアレイ600を示す。図示のように、各フィルタ要素グループ608は、5×5のマトリックスのフィルタ要素を含むように増加され、隣接するIRフィルタ要素602は、図示のように、各フィルタ要素グループ608のすべての境界から離隔され、さらにはフィルタ要素グループ608の中央から（右下隅へ）オフセットされて配置された2×2のマトリックスを形成する。
さらに図示されているように、各フィルタ要素グループ608の第1横列、第3横列、および第5横列は、それぞれ交互に配置された赤色カラーフィルタ要素604および緑色カラーフィルタ要素606を含む。さらに、各フィルタ要素グループ608の第2横列および第4横列は、それぞれ交互に配置された青色カラーフィルタ要素607および緑色カラーフィルタ要素606を含む。
図7は、一実施形態による、画像センサ装置700の分解図である。選択肢として、装置700は、上記および／もしくは下記の図ならびに／またはそれらの説明で説明されている実施形態のうちの任意の1つ以上との関連において実施されてもよい。例えば、図1〜図6のフィルタアレイのいずれが、図7の画像センサ装置700との関連において実施されてもよい。しかしながら、装置700は任意の所望の環境との関連において実施され得ることを理解されたい。
一実施形態では、画像センサ装置700は、カラーおよびIR関連の出力信号を生成することができる単一のカメラの構成要素とすることができる。これを達成するために、画像センサ装置700は、複数のカラーフィルタ要素と複数のIRフィルタ要素とを含む2次元アレイを含む単一のフィルタアレイ702の形態の単一のフィルタアレイ手段を含む。一実施形態では、単一のフィルタアレイ702は、図1A−1のフィルタアレイ12を含むことができる。様々な実施形態において、カラーフィルタ要素およびIRフィルタ要素は、複数のIRフィルタ要素が隣接する限り、任意の所望の方法（例えば、図1〜図6などを参照）で配置および／または構成され得る。
2次元画素要素アレイを備える単一の画像センサ704の形態の単一の画像センサ手段も含まれる。一実施形態において、単一の画像センサ704は、図1A−1の画像センサ14を含むことができる。使用時に、このような単一の画像センサ704は、（画像センサ装置700によって受光される、光の反射を通して取得される）光景の画像を表す画素データとして各画素要素で出力信号を生成するように構成される。
フィルタアレイ702は、画像センサ704がその出力信号を生成する前にスペクトルエネルギーを選択的に透過（例えば、フィルタリングなど）するために、画像センサ704の2次元画素要素アレイに結合される。選択肢として、画像センサ704からのこのような出力信号は、画像センサ704からの出力信号に対して様々な技術（例えば、ビニング、補間など）を実行するために画像プロセッサ706によって処理されてもよい。一実施形態による、画像センサ704からの出力信号を処理するための特定の一方法に関するさらなる情報を次に説明する。
図8Aは、一実施形態による、画像センサからの出力信号を処理するための方法800を示す。選択肢として、方法800は、上記および／もしくは下記の図ならびに／またはそれらの説明で説明されている実施形態のうちの任意の1つ以上との関連において実施されてもよい。例えば、方法800は、図7の画像センサ装置700との関連において実施されてもよく、特に、その画像プロセッサ706によって実行されてもよい。しかしながら、方法800は任意の所望の環境との関連において実施され得ることを理解されたい。
図示のように、方法800は、画像センサ（例えば、図7の画像センサ704など）の各画素要素の出力を処理するが、その場合、このような出力は、画像センサに結合されたフィルタアレイ（例えば、図7のフィルタアレイ702など）によってフィルタリングされた後に画像センサによって受光される光の関数である。図示の実施形態では、このような処理は、画像センサの2次元画素要素アレイの複数の横列の中で横列ごとに進行する。これは、例えば、最初に、動作802で特定の横列を選択し（例えば、第1横列から開始される）、次に、現在の横列がIRフィルタ要素を含むかどうかを判断することによって達成される。判定804を参照されたい。
前述のように、フィルタアレイは、任意の構成（例えば、図1〜図6などを参照）をとることができ、したがって、一部の横列は必ずしもIRフィルタ要素を含まない。このような場合、カラー画像データは、動作806によって通常通りに処理される。様々な実施形態において、動作806の通常の処理は、IRフィルタ要素に関して以下に説明される技術のいずれかを含んでも含まなくてもよいことに留意されたい。
一方、現在の横列が判定804によって1つ以上のIRフィルタ要素を実際に含むと判断された場合、このようなIRフィルタ要素は、さらなる技術を使用して処理され得る。動作808を参照されたい。例えば、IRスペクトルのスペクトルエネルギーは、IRフィルタ要素の少なくとも一部（またはさらにはIRフィルタ要素のそれぞれ）に関してビニングされてもよい。
さらに、IRフィルタ要素の隣接性により、このようなビニングが可能になるが、ビニングは、このような設計構成がなければ不可能である（または少なくともあまり実用的、効果的、および／または効率的などではない）。これは、このようなビニングアルゴリズムを実行するハードウェア／ソフトウェアが、一般的に、（例えばシフトレジスタまたは他のメカニズムを使用して）隣り合う要素をこれらが配置された順序で1つずつ処理するように構成されるためである。具体的には、図1A−2に関連して前述したように、ビニングは、同種（例えば、カラー対IR）の隣り合う要素からの出力信号を合成することを含む。この目的のために、例えばIR要素が少なくとも部分的に隣接することを保証することによって、このような隣り合う要素に対してビニングを実行することができるが、これは、そうでない場合、合成不可能な要素が互いに隣り合う構成（すなわち、カラー要素の隣にIR要素があり、そのIR要素の隣にカラー要素がある等）では不可能である（または少なくともあまり実用的でない、効果的でない、および／もしくは効率的でない等々）。隣接するフィルタ要素はこのような方法でビニングを容易にすることができるが、隣接していないフィルタ要素にわたってビニングが行われる他のタイプのビニングアルゴリズムが考えられることに留意されたい。
様々な選択肢として、ビニングは、様々なフィルタ要素（例えば、カラーフィルタ要素、IRフィルタ要素）によって示される電圧レベルおよび／または電荷レベルをビニングすることができる。電圧レベルのビニングの場合、このようなビニングは、画像センサのIRまたはカラーフィルタ要素の電荷レベルを処理する後処理回路の出力で電圧のレベルを集約することができる。一方、電荷レベルのビニングの場合、このようなビニングは、このような電荷レベルを処理する後処理回路の前に、画像センサのIRまたはカラーフィルタ要素によって実際に蓄積された電荷のレベルを集約することができる。
可能な一実施形態では、前述のビニングは、カラーフィルタ要素およびIRフィルタ要素に関して実行され得る。さらに、少なくとも一部（またはさらにはそれぞれ）のカラーフィルタ要素に関して可視スペクトルの1つ以上の色のスペクトルエネルギーを、第1のタイプのビニングアルゴリズムを利用してビニングすることができ、一方、IRフィルタ要素の少なくとも一部（またはさらにはそれぞれ）に関してIRスペクトルのスペクトルエネルギーを、第2のタイプのビニングアルゴリズムを利用してビニングすることができる。様々な実施形態において、このような異なるタイプのビニングアルゴリズムは、カラーフィルタ要素とIRフィルタ要素との異なる相対的配置、構成、一般的性質などに適応する任意のビニングアルゴリズムを含むことができる。
任意選択の一実施形態では、少なくとも1つのIRフィルタ要素を有する横列の処理は、同じ横列内のカラーフィルタ要素に適応するように（このような横列の処理中に）修正され得る。例えば、一実施形態では、電荷／電圧の収集は、フィルタ要素ごとに行われ得るため、IRフィルタ要素とカラーフィルタ要素とに対処するときにこのような電荷／電圧の収集は混合されない。他の実施形態では、カラーフィルタ要素は、少なくとも1つのIRフィルタ要素を含む横列に関しては単に無視されてもよい（カラーに関連する電荷／電圧の収集が行われないように）。さらに別の実施形態では、少なくとも1つのIRフィルタ要素を含む横列に関して、要素がカラー関連かIR関連かに関係なく、要素は、（電荷／電圧の収集に関して）全く同じように扱われてもよい。このような実施形態では、カラーまたはIR関連のフィルタ要素の電荷／電圧の収集を区別するために、様々なフィルタリング技術が使用されてもされなくてもよい。別の選択肢として、アレイの他の横列からの値を使用して、カラーまたはIR関連のフィルタ要素の値を特定するために、補間技術が使用されてもよい。
さらなる選択肢として、動作806および808の処理は、フィルタ要素が処理される解像度に関して異なってもよく、このような異なる処理は、処理される特定の横列内のIRフィルタ要素の存在によって制御されてもよい。本説明との関連において、このような解像度特有の処理は、一度に処理される複数のフィルタ要素を参照してもよい。ほんの一例として、より高い解像度の処理は、各フィルタ要素を個別に処理してもよく、より低い解像度の処理は、複数のフィルタ要素を同時に処理してもよい。したがって、一実施形態では、第1の横列にカラーフィルタ要素のみが含まれている場合、フィルタアレイの第1の横列に関連する（例えば、これから導出される／これに関連したなど）出力は、より高い解像度を利用して処理されてもよい。さらに、第2の横列に少なくとも1つのIRフィルタ要素が含まれている場合、フィルタアレイの第2の横列に関連する出力は、より低い解像度を利用して処理されてもよい。
さらなる実施形態では、フレームレート［例えば、1秒当たりのフレーム数（fps）など］も、このような横列内の1つ以上のIRフィルタ要素の存在（または非存在）に基づいて横列ごとに変更されてもよい。例えば、フレームレートは、グローバルシャッタの必要性を回避するために、IRフィルタ要素を有する横列に関して十分に増加されてもよい。例えば、120fpsを有する一実施形態では、30fpsは、カラー画像形成専用であってもよく、90fpsは、IR画像形成専用であってもよい。
したがって、同じ単一のカメラが十分な解像度の深度マップを提供することを可能にしながらカラー画像の解像度を少しまたは無視できる程度低下させることができる様々な実施形態が考えられる。さらに、このようなカラー画像の劣化は、他の技術（例えば、補間など）を使用して補償されてもよい。
図8Bは、一実施形態による、図2のフィルタアレイ200の特定の構成を処理する例を示す。復元された元のベイヤーパターンのカラーRGBのイメージが示されている。具体的には、隣接するIRフィルタ要素202との置き換えがなければカラーフィルタ要素を使用して生成されたであろう、1つの特定のフィルタ要素グループ208のカラー値850が示されている。このようなカラー値850は、それぞれの隣り合う赤色カラーフィルタ要素204、緑色カラーフィルタ要素206、および青色カラーフィルタ要素207から生成されるカラー値を使用して、補間によって計算される。
特定のベイヤーパターンのおかげで、空間解像度（より高いサンプリングレート）における潜在的な利点は、カラーアーチファクトを生じにくい方法でもたらされ得る。さらに、隣接するIRフィルタ要素202、すなわち要素851のIR1、IR2、IR3、IR4は、図示のように、抽出IRビニング画像852をもたらすようにビニングされ得る（例えば、対応する値が加算される：IR1＋IR2＋IR3＋IR4＝IR＊など）。フィルタ要素グループ208が16個（4×4のグループマトリックス）のうちの1つである実施形態との関連において、このような抽出IRビニング画像852は、より高いSNRを示すことができる。2×2のビニングモードの12MB画像センサを想定すると、0．75MPの深度マップ（高感度、2．0umの有効性）を提供することができ、これは、通常の深度マップ解像度（例えば、0．3MPなど）を上回る。このように考えると、フル解像度カラーRGB画像を提供するためにベイヤーデモザイクアルゴリズムを使用して画像処理を進めることができる。
図9は、一実施形態によるネットワークアーキテクチャ900を示す。図示のように、少なくとも1つのネットワーク902が提供される。様々な実施形態では、上記の図の説明の間に説明された任意の1つ以上の構成要素／特徴は、少なくとも1つのネットワーク902の構成要素の任意の1つ以上に関連して実施され得る。
本ネットワークアーキテクチャ900との関連において、ネットワーク902は、電気通信ネットワーク、ローカルエリアネットワーク（LAN）、無線ネットワーク、インターネットなどの広域ネットワーク（WAN）、ピアツーピアネットワーク、ケーブルネットワークなどを含むがこれらに限定されない任意の形態をとることができる。1つのネットワークしか示されていないが、2つ以上の同様のまたは異なるネットワーク902が提供され得ることを理解されたい。
ネットワーク902には、複数のデバイスが結合される。例えば、サーバコンピュータ912およびエンドユーザコンピュータ908は、通信目的のために、ネットワーク902に結合され得る。このようなエンドユーザコンピュータ908は、デスクトップコンピュータ、ラップトップコンピュータ、および／または任意の他のタイプの論理を含むことができる。さらに、携帯情報端末（PDA）デバイス910、携帯電話デバイス906、テレビ904などを含む様々な他のデバイスが、ネットワーク902に結合され得る。
図10は、一実施形態による、例示的なシステム1000を示す。選択肢として、システム1000は、図9のネットワークアーキテクチャ900のデバイスのうちのいずれかとの関連において実施されてもよい。しかしながら、システム1000は任意の所望の環境で実施され得ることを理解されたい。
図示のように、バス1012に接続される少なくとも1つの中央処理装置1002を含むシステム1000が提供される。さらに含まれるのは、通信インタフェース1008（例えば、ローカル／リモートネットワークインタフェース、メモリアクセスインタフェースなど）および入力／出力（I／O）インタフェース1010（例えば、ディスプレイ、スピーカ、マイクロフォン、タッチスクリーン、タッチパッド、マウスインタフェース、図7に示されている画像センサ装置700など）である。
システム1000は、メインメモリ1004［例えば、ハードディスクドライブ、ソリッドステートドライブ、ランダムアクセスメモリ（RAM）など］も含む。システム1000はまた、二次記憶装置1006を含むことができる。二次記憶装置1006は、例えば、フロッピーディスクドライブ、磁気テープドライブ、コンパクトディスクドライブなどを表すハードディスクドライブおよび／またはリムーバブル記憶ドライブを含む。リムーバブル記憶ドライブは、周知の方法でリムーバブル記憶ユニットからの読み出しおよび／またはへの書き込みを行う。
なお、コンピュータプログラムまたはコンピュータ制御論理アルゴリズムが、メインメモリ1004、二次記憶装置1006、および／または任意の他のメモリに格納され得る。このようなコンピュータプログラムは、実行されると、システム1000が様々な機能（例えば、図8Aの方法800を含むがこれに限定されない上で説明したような機能）を実行することを可能にする。メモリ1004、二次記憶装置1006、および／または任意の他の記憶装置は、非一時的コンピュータ可読媒体の可能な例である。
本明細書に説明されている技術は、一態様では、コンピュータベースのまたはプロセッサを含むマシン、装置、またはデバイスなどの命令実行マシン、装置、またはデバイスによって使用されるまたはこれらに関連して使用されるコンピュータ可読媒体に格納される実行可能命令で具現化されることに留意されたい。一部の実施形態では、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ（RAM）、または読み出し専用メモリ（ROM）などの、コンピュータによってアクセス可能なデータを格納することができる他のタイプのコンピュータ可読媒体が含まれることが当業者によって理解されよう。
本明細書で使用される場合、「コンピュータ可読媒体」は、コンピュータプログラムの実行可能命令を格納するための1つ以上の任意の適切な媒体を含み、これにより、命令実行マシン、システム、装置、またはデバイスは、説明されている方法を実行するためにコンピュータ可読媒体から命令を読み出し（またはフェッチし）、この命令を実行することができる。適切な記憶フォーマットは、電子フォーマット、磁気フォーマット、光学フォーマット、および電磁フォーマットのうちの1つ以上を含む。従来の例示的なコンピュータ可読媒体の非網羅的リストは、
ポータブルコンピュータディスケット、RAM、ROM、消去可能なプログラマブル読み出し専用メモリ（EPROMもしくはフラッシュメモリ）、またはポータブルコンパクトディスク（CD）、ポータブルデジタルビデオディスク（DVD）、ハイデフィニションDVD（HD-DVD（登録商標））、BLU-RAYディスクを含む光記憶デバイスなどを含む。
非一時的コンピュータ可読媒体は、磁気記憶媒体、光記憶媒体、および固体記憶媒体を含むあらゆるタイプのコンピュータ可読媒体を含み、厳密には信号を除外する。ソフトウェアは、本明細書に説明されているデバイスにインストールされ、これと共に販売され得ることを理解されたい。あるいは、ソフトウェアは入手されてデバイスにロードされてもよい（ディスク媒体を介してまたはネットワークもしくは配布システムの方法（例えば、ソフトウェア作成者によって所有されているサーバまたはソフトウェア作成者によって所有されていないが使用されるサーバからを含む）によりソフトウェアを入手することを含む）。ソフトウェアは、例えばインターネットを介して配布するためにサーバに格納され得る。
説明されている図に示されている構成要素の配置は例示的であり、他の配置も可能であることを理解されたい。特許請求の範囲によって規定され、以下で説明され、様々なブロック図に示されている様々なシステム構成要素（および手段）は、本明細書に開示されている主題に従って構成される一部のシステムの論理的構成要素を表すことも理解されたい。
例えば、これらのシステム構成要素（および手段）のうちの1つ以上は、全体的または部分的に、説明されている図に示されている配置に示されている構成要素の少なくとも一部によって実現されてもよい。さらに、これらの構成要素の少なくとも1つは、少なくとも部分的に電子ハードウェア構成要素として実施され、したがってマシンを構成するが、他の構成要素は、ソフトウェアで実施され、実行環境に含まれるときにマシン、ハードウェア、またはソフトウェアとハードウェアの組み合わせを構成してもよい。
より詳細には、特許請求の範囲によって規定される少なくとも1つの構成要素は、少なくとも部分的に、命令実行マシン（例えば、プロセッサベースのもしくはプロセッサを含むマシン）および／または専用の回路もしくは電気回路（例えば、専用の機能を実行するように相互接続されたディスクリート論理ゲート）などの電子ハードウェア構成要素として実施される。他の構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで実施され得る。さらに、これらの他の構成要素の一部または全部を組み合わせることができ、一部を完全に省略することができ、本明細書に説明されている機能を達成しながら追加の構成要素を追加することができる。したがって、本明細書に説明されている主題は多くの異なる変形例で具現化することができ、このような変形例のすべては特許請求の範囲内にあると考えられる。
上記の説明では、他に示さない限り、主題は、1つ以上のデバイスによって実行される挙動および動作の記号表現を参照して説明されている。このような場合、コンピュータによって実行されると場合により言われるこのような挙動および動作は、構造化された形式のデータの、プロセッサによる操作を含むことが理解されよう。この操作は、データを変換するかまたはこれをコンピュータのメモリシステム内の位置に保持し、当業者にはよく理解されている方法でデバイスの動作を再構成するかそうでなければ変更する。データは、データのフォーマットによって定義された特定の性質を有するデータ構造としてメモリの物理的位置に保持される。しかしながら、主題は前述の文脈で説明されているが、これは限定であることを意図されていない。なぜなら、当業者ならば、以下に説明する様々な挙動および動作がハードウェアでも実施され得ることを理解するであろうからである。
本明細書に説明されている主題の理解を容易にするために、多くの態様が一連の挙動に関して説明されている。特許請求の範囲によって規定されるこれらの態様の少なくとも1つは、電子ハードウェア構成要素によって実行される。例えば、様々な挙動が専用の回路または電気回路によって、1つ以上のプロセッサによって実行されるプログラム命令によって、またはこれら両方の組み合わせによって実行され得ることが認められよう。一連の挙動に関する本明細書の説明は、その一連の挙動を実行するために説明された特定の順序に従わなければならないことを含意することを意図するものではない。本明細書に説明されているすべての方法は、本明細書中に別段の指示がない限りまたは文脈が明らかに矛盾しない限り、任意の適切な順序で実施され得る。
主題を説明する文脈における（特に以下の特許請求の範囲の文脈における）用語「ある（a）」および「ある（an）」および「その（the）」ならびに同様の指示語の使用は、本明細書中に別段の指示がない限りまたは文脈が明らかに矛盾しない限り、単数形および複数形の両方を含むと解釈されるべきである。本明細書中の値の範囲の記載は、本明細書中に別段の指示がない限り、その範囲内に含まれる個別の各値を個々に指す簡略な方法としての役割を果たすように意図されているに過ぎず、個別の各値は、本明細書に個々に記載されているかのように本明細書に含まれる。さらに、求められる保護の範囲は、権利が与えられるその均等物と共に以下に説明される特許請求の範囲によって規定されるため、前述の説明は例示のみを目的としており、限定を目的としていない。本明細書で提供されるありとあらゆる例または例示的な語（例えば、「など」）の使用は、単に主題をよりよく示すことを意図したものであり、特に特許請求されない限り主題の範囲を限定するものではない。特許請求の範囲および明細書の両方における、結果をもたらすための条件を示す用語「基づく」および他の同様の句の使用は、その結果をもたらす他の条件を排除することを意図しない。本明細書中のいかなる語も、特許請求されない要素を特許請求される本発明の実施に必須なものとして示すと解釈されるべきではない。
本明細書に説明されている実施形態は、特許請求されている主題を実行するための、本発明者に知られている1つ以上のモードを含む。これらの実施形態の変形例は、前述の説明を読むことにより当業者には明らかになるであろうことを理解されたい。本発明者は、当業者がこのような変形例を適切に使用することを期待しており、本発明者は、特許請求されている主題が本明細書に具体的に説明されているのとは別の方法で実施されることを意図している。したがって、この特許請求されている主題は、適用可能な法律によって許容されるように、本明細書に添付の特許請求の範囲に記載されている主題のすべての修正例および均等物を含む。さらに、本明細書中に別段の指示がない限りまたは文脈が明らかに矛盾しない限り、そのすべての可能な変形例における上で説明した要素の任意の組み合わせは包含される。
10 画像センサ装置
12 フィルタアレイ
14 画像センサ
16 画像回路
20 ビニング
21 画像センサ
22 照射領域
23 センサ要素、画素要素
24 出力レジスタ
25 出力、合計結果
100 2次元フィルタアレイ
103 フィルタ要素グループ
104 カラーフィルタ要素、第1のフィルタ要素サブセット
106 IRフィルタ要素、第2のフィルタ要素サブセット
110 フィルタアレイ
112 IRフィルタ要素
114 赤色カラーフィルタ要素
116 緑色カラーフィルタ要素
118 フィルタ要素グループ
200 フィルタアレイ
202 IRフィルタ要素
204 赤色カラーフィルタ要素
206 緑色カラーフィルタ要素
207 青色カラーフィルタ要素
208 フィルタ要素グループ
300 フィルタアレイ
302 IRフィルタ要素
304 赤色カラーフィルタ要素
306 緑色カラーフィルタ要素
307 青色カラーフィルタ要素
308 フィルタ要素グループ
400 フィルタアレイ
402 IRフィルタ要素
403 隣接するIRフィルタ要素のセット
404 赤色カラーフィルタ要素
406 緑色カラーフィルタ要素
407 青色カラーフィルタ要素
408 フィルタ要素グループ
500 フィルタアレイ
502 IRフィルタ要素
504 赤色カラーフィルタ要素
506 緑色カラーフィルタ要素
507 青色カラーフィルタ要素
508 フィルタ要素グループ
600 フィルタアレイ
602 IRフィルタ要素
604 赤色カラーフィルタ要素
606 緑色カラーフィルタ要素
607 青色カラーフィルタ要素
608 フィルタ要素グループ
700 画像センサ装置
702 フィルタアレイ
704 画像センサ
706 画像プロセッサ
804 判定
850 カラー値
851 IRフィルタ要素
852 抽出IRビニング画像
900 ネットワークアーキテクチャ
902 ネットワーク
904 テレビ
906 携帯電話デバイス
908 エンドユーザコンピュータ
910 携帯情報端末（PDA）デバイス
912 サーバコンピュータ
1000 システム
1002 中央処理装置
1004 メインメモリ
1006 二次記憶装置
1008 通信インタフェース
1010 入力／出力（I／O）インタフェース
1012 バス

Claims (26)

  1. 装置であって、
    2次元画素要素アレイを備える画像センサであって、各画素要素が、光景の画像を表すための画素データとして出力信号を生成する、画像センサと、
    前記光景から入射する光を受光するように前記2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイであって、前記フィルタアレイが、複数のフィルタ要素ブロックとして配置され、前記複数のフィルタ要素ブロックが、それぞれ、
    前記光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットであって、第1のフィルタ要素サブセットの隣り合うフィルタ要素の各対が、前記可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成されている、第1のフィルタ要素サブセット、および
    前記光の赤外線（IR）スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットであって、前記第2のフィルタ要素サブセットが、隣接する少なくとも2（二）つのIRフィルタ要素を含む、第2のフィルタ要素サブセット
    を含む、フィルタアレイと
    を備え、
    前記装置が、第1のタイプのビニングアルゴリズムを利用して前記第1のフィルタ要素サブセットの少なくとも一部に関して前記光の前記可視スペクトルの前記1つ以上の色の前記スペクトルエネルギーをビニングし、第2のタイプのビニングアルゴリズムを利用して前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするために構成され、
    前記装置が、前記フィルタアレイの第1の横列に前記第1のフィルタ要素サブセットのみが含まれている場合は、前記第1の横列に対して第1の処理を実行し、前記フィルタアレイの第2の横列に前記第2のフィルタ要素サブセットの少なくとも1つのフィルタ要素が含まれている場合は、前記第2の横列に対して、前記第1の処理とは異なる第2の処理を実行するために構成され、前記第2の処理は、隣接する少なくとも2（二）つのIRフィルタ要素に対してビニングを実行することを含む、
    装置。
  2. 前記画像センサが、電荷結合素子（CCD）画像センサを含む、請求項1に記載の装置。
  3. 前記画像センサが、相補型金属酸化膜半導体（CMOS）画像センサを含む、請求項1に記載の装置。
  4. 前記第2のフィルタ要素サブセットが、隣接する少なくとも4（四）つのIRフィルタ要素を含む、請求項1に記載の装置。
  5. 前記第1のフィルタ要素サブセットが、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素のうちの少なくとも2種類を含む、請求項1に記載の装置。
  6. 前記第1のフィルタ要素サブセットが、赤色カラーフィルタ要素、緑色カラーフィルタ要素、および青色カラーフィルタ要素を含む、請求項1に記載の装置。
  7. 前記フィルタアレイが、それぞれのブロックのフィルタ要素の構成が対称になるように配置される、請求項1に記載の装置。
  8. 前記第2のフィルタ要素サブセットが、前記第1のフィルタ要素サブセットのフィルタ要素の第2の数の分数である第1の数のフィルタ要素を含む、請求項1に記載の装置。
  9. 前記分数が、3分の1（1／3）である、請求項8に記載の装置。
  10. 前記装置が、前記第2のフィルタ要素サブセットが、前記フィルタ要素ブロックの対応するそれぞれの内の中央に配置されるように構成される、請求項1に記載の装置。
  11. 前記装置が、前記第2のフィルタ要素サブセットが、前記フィルタ要素ブロックの対応するそれぞれの隅に配置されるように構成される、請求項1に記載の装置。
  12. 前記装置が、前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするために構成される、請求項1に記載の装置。
  13. 前記装置が、前記ビニングにより電圧レベルがビニングされるように構成される、請求項12に記載の装置。
  14. 前記装置が、前記ビニングにより電荷レベルがビニングされるように構成される、請求項12に記載の装置。
  15. 前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビンニングするビニング回路をさらに備える、請求項1に記載の装置。
  16. 前記装置が、補間を利用して前記第2のフィルタ要素サブセットの少なくとも1つに関して前記光の前記可視スペクトルの前記1つ以上の色のスペクトルエネルギーの値を特定するために構成される、請求項1に記載の装置。
  17. 前記装置が、前記フィルタアレイの第1の横列に前記第1のフィルタ要素サブセットのみが含まれている場合は、より高い解像度を利用して前記第1の横列に関連する出力を処理し、前記フィルタアレイの第2の横列に前記第2のフィルタ要素サブセットの少なくとも1つのフィルタ要素が含まれている場合は、より低い解像度を利用して前記第2の横列に関連する出力を処理するために構成される、請求項1に記載の装置。
  18. 前記装置が、前記第2のフィルタ要素サブセットの少なくとも一部分が、前記第1のフィルタ要素サブセットの前記フィルタ要素の少なくとも1つよりも大きい、前記フィルタアレイの単一の構成要素を形成するように構成される、請求項1に記載の装置。
  19. 前記装置が、前記第1のフィルタ要素サブセットの前記フィルタ要素がベイヤーパターンで構成されるように構成される、請求項1に記載の装置。
  20. 方法であって、
    装置で光を受光するステップであって、前記装置が、2次元画素要素アレイを備える画像センサと、光景から入射する光を受光するように前記2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイであって、前記フィルタアレイが、複数のフィルタ要素ブロックとして配置され、前記複数のフィルタ要素ブロックが、それぞれ、前記光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットであって、第1のフィルタ要素サブセットの隣り合うフィルタ要素の各対が、前記光の前記可視スペクトルの異なる色のスペクトルエネルギーを透過するように構成されている、第1のフィルタ要素サブセットおよび前記光の赤外線（IR）スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットであって、前記第2のフィルタ要素サブセットが、隣接する少なくとも2（二）つのIRフィルタ要素を含む、第2のフィルタ要素サブセットを含む、フィルタアレイとを備える、ステップと、
    前記光景の画像を表す画素データを含む、前記画像センサの画素要素のそれぞれに関する出力信号を生成するステップと
    を含み、
    第1のタイプのビニングアルゴリズムを利用して前記第1のフィルタ要素サブセットの少なくとも一部に関して前記光の前記可視スペクトルの前記1つ以上の色の前記スペクトルエネルギーをビニングするステップと、
    第2のタイプのビニングアルゴリズムを利用して前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするステップと
    をさらに含み、
    前記フィルタアレイの第1の横列に前記第1のフィルタ要素サブセットのみが含まれている場合は、前記第1の横列に対して第1の処理を実行するステップと、
    前記フィルタアレイの第2の横列に前記第2のフィルタ要素サブセットの少なくとも1つのフィルタ要素が含まれている場合は、前記第2の横列に対して、前記第1の処理とは異なる第2の処理を実行するステップとをさらに含み、前記第2の処理は、隣接する少なくとも2（二）つのIRフィルタ要素に対してビニングを実行することを含む、
    方法。
  21. 前記第2のフィルタ要素サブセットが、隣接する少なくとも4（四）つのIRフィルタ要素を含む、請求項20に記載の方法。
  22. 前記第2のフィルタ要素サブセットが、前記第1のフィルタ要素サブセットのフィルタ要素の第2の数の分数である第1の数のフィルタ要素を含む、請求項20に記載の方法。
  23. 前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするステップをさらに含む、請求項20に記載の方法。
  24. 前記第1のフィルタ要素サブセットの前記フィルタ要素が、ベイヤーパターンで構成される、請求項20に記載の方法。
  25. 装置であって、
    2次元画素要素アレイを備える画像センサであって、各画素要素が、光景の画像を表すための画素データとして出力信号を生成する、画像センサと、
    前記光景から入射する光を受光するように前記2次元画素要素アレイに結合された2次元フィルタ要素アレイを備えるフィルタアレイであって、前記フィルタアレイが、複数のフィルタ要素ブロックとして配置され、前記複数のフィルタ要素ブロックが、それぞれ、前記光の可視スペクトルの1つ以上の色のスペクトルエネルギーを透過するように構成された第1のフィルタ要素サブセットおよび前記光の赤外線（IR）スペクトルのスペクトルエネルギーを透過するように構成された第2のフィルタ要素サブセットであって、前記第2のフィルタ要素サブセットのフィルタ要素の少なくとも1つが、第1のフィルタ要素サブセットのフィルタ要素の少なくとも1つよりも大きい、第2のフィルタ要素サブセットを含む、フィルタアレイと
    を備え、
    前記装置が、第1のタイプのビニングアルゴリズムを利用して前記第1のフィルタ要素サブセットの少なくとも一部に関して前記光の前記可視スペクトルの前記1つ以上の色の前記スペクトルエネルギーをビニングし、第2のタイプのビニングアルゴリズムを利用して前記第2のフィルタ要素サブセットの少なくとも一部に関して前記光のIRスペクトルのスペクトルエネルギーをビニングするために構成され、
    前記装置が、前記フィルタアレイの第1の横列に前記第1のフィルタ要素サブセットのみが含まれている場合は、前記第1の横列に対して第1の処理を実行し、前記フィルタアレイの第2の横列に前記第2のフィルタ要素サブセットの少なくとも1つのフィルタ要素が含まれている場合は、前記第2の横列に対して、前記第1の処理とは異なる第2の処理を実行するために構成され、前記第2の処理は、隣接する少なくとも2（二）つのIRフィルタ要素に対してビニングを実行することを含む、
    装置。
  26. 前記装置が、前記第1のフィルタ要素サブセットの前記フィルタ要素がベイヤーパターンで構成されるように構成される、請求項25に記載の装置。
JP2019500300A 2016-07-05 2017-07-05 複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置 Active JP6929929B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662358523P 2016-07-05 2016-07-05
US62/358,523 2016-07-05
US15/640,758 US10764515B2 (en) 2016-07-05 2017-07-03 Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
US15/640,758 2017-07-03
PCT/CN2017/091836 WO2018006822A1 (en) 2016-07-05 2017-07-05 Image sensor method and apparatus equipped with multiple contiguous infrared filter elements

Publications (2)

Publication Number Publication Date
JP2019527501A JP2019527501A (ja) 2019-09-26
JP6929929B2 true JP6929929B2 (ja) 2021-09-01

Family

ID=60911246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019500300A Active JP6929929B2 (ja) 2016-07-05 2017-07-05 複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置

Country Status (5)

Country Link
US (1) US10764515B2 (ja)
EP (1) EP3461306B1 (ja)
JP (1) JP6929929B2 (ja)
CN (1) CN109417613B (ja)
WO (1) WO2018006822A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3348974A1 (en) * 2017-01-17 2018-07-18 IMEC vzw An image sensor, an imaging device, an imaging system and a method for spectral imaging
CN107370918B (zh) * 2017-06-30 2020-09-25 联想(北京)有限公司 图像采集装置、电子设备及其使用方法
CN110830675B (zh) * 2018-08-10 2022-05-03 株式会社理光 读取装置、图像形成装置及读取方法
JP2020038107A (ja) * 2018-09-04 2020-03-12 株式会社三井フォトニクス 温度計測装置
WO2020177123A1 (en) * 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
CN110730318B (zh) * 2019-09-30 2022-01-04 上海集成电路研发中心有限公司 一种用于消除莫尔条纹的像素单元和像素阵列
US11595625B2 (en) * 2020-01-02 2023-02-28 Qualcomm Incorporated Mechanical infrared light filter
JP7459739B2 (ja) 2020-09-17 2024-04-02 株式会社デンソー 固体撮像素子
WO2023095827A1 (ja) * 2021-11-25 2023-06-01 三菱ケミカル株式会社 構造体及び固体撮像素子

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5258618A (en) * 1991-12-12 1993-11-02 General Electric Company Infrared imager forming two narrow waveband images of the same object field
US8139141B2 (en) 2004-01-28 2012-03-20 Microsoft Corporation Single chip red, green, blue, distance (RGB-Z) sensor
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070201859A1 (en) 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
JP2008177738A (ja) 2007-01-17 2008-07-31 Casio Comput Co Ltd 撮像装置及び撮像素子
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
CA2666470A1 (en) * 2009-05-21 2010-11-21 Pierre Benoit Boulanger Multi-spectral color and ir camera based on multi-filter array
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
US20110175981A1 (en) 2010-01-19 2011-07-21 Chun-Hung Lai 3d color image sensor
US8619143B2 (en) * 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
FR2975829A1 (fr) 2011-05-26 2012-11-30 St Microelectronics Sa Dispositif imageur utilisant des resonateurs optiques et procede de fabrication correspondant
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
JP6150508B2 (ja) 2012-12-07 2017-06-21 キヤノン株式会社 撮像装置及び撮像システム
JP6308760B2 (ja) 2012-12-20 2018-04-11 キヤノン株式会社 光電変換装置および光電変換装置を有する撮像装置
JP2014127945A (ja) * 2012-12-27 2014-07-07 Rohm Co Ltd 検査システム、検査方法、画素回路及びイメージセンサ
EP2763397A1 (de) 2013-02-05 2014-08-06 Burg-Wächter Kg Fotosensor
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9451152B2 (en) * 2013-03-14 2016-09-20 Apple Inc. Image sensor with in-pixel depth sensing
US20140347442A1 (en) 2013-05-23 2014-11-27 Yibing M. WANG Rgbz pixel arrays, imaging devices, controllers & methods
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
EP2871843B1 (en) 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
JP2015195550A (ja) * 2014-03-28 2015-11-05 パナソニックＩｐマネジメント株式会社 撮像素子および撮像装置
US9438866B2 (en) * 2014-04-23 2016-09-06 Omnivision Technologies, Inc. Image sensor with scaled filter array and in-pixel binning
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US10582175B2 (en) * 2014-06-24 2020-03-03 Maxell, Ltd. Imaging sensor and imaging device
WO2016084385A1 (ja) * 2014-11-27 2016-06-02 京セラ株式会社 撮像装置および車両
KR102360424B1 (ko) 2014-12-24 2022-02-09 삼성전자주식회사 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels

Also Published As

Publication number Publication date
US20180013962A1 (en) 2018-01-11
WO2018006822A1 (en) 2018-01-11
CN109417613B (zh) 2021-01-29
JP2019527501A (ja) 2019-09-26
US10764515B2 (en) 2020-09-01
CN109417613A (zh) 2019-03-01
EP3461306A1 (en) 2019-04-03
EP3461306B1 (en) 2021-05-26
EP3461306A4 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
JP6929929B2 (ja) 複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置
JP6492055B2 (ja) 双峰性の画像を取得するための装置
EP2415254B1 (en) Exposing pixel groups in producing digital images
US9392236B2 (en) Image processing method, image signal processor, and image processing system including the same
EP2529555B1 (en) Denoising cfa images using weighted pixel differences
US10531067B2 (en) Enhancing spatial resolution in a stereo camera imaging system
KR20190003524A (ko) 컬러 및 모노 이미지들의 쉬프트 및 매칭 융합
TW200915861A (en) Method and apparatus for improving low-light performance for small pixel image sensors
CN102450020A (zh) 四通道滤色器阵列内插
TW201225656A (en) Dual image sensor image processing system and method
KR102224851B1 (ko) 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
EP2529554A1 (en) Iteratively denoising color filter array images
WO2014205055A1 (en) System and method for single-frame based super resolution interpolation for digital cameras
KR20210018136A (ko) 영상 처리 방법 및 장치
KR101332689B1 (ko) 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
US10171782B2 (en) Image sensor and method of generating restoration image
TWI302292B (ja)
CN110517189B (zh) 图像处理方法和装置，及存储介质
US20240073547A1 (en) Sparse color image sensor system
TWI528820B (zh) 空間併鄰方法、空間併鄰電路以及電腦可讀媒體
JP5574608B2 (ja) カラーイメージセンサ
JP2016015667A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
Kim Camera Image Interpolation using Directional Information
Klima et al. Selected problems of color image demosaicing in security imaging
Gupta A NEW APPROACH FOR DENOISING CFA IMAGE

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210811

R150 Certificate of patent or registration of utility model

Ref document number: 6929929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150