JP6492055B2 - 双峰性の画像を取得するための装置 - Google Patents
双峰性の画像を取得するための装置 Download PDFInfo
- Publication number
- JP6492055B2 JP6492055B2 JP2016508143A JP2016508143A JP6492055B2 JP 6492055 B2 JP6492055 B2 JP 6492055B2 JP 2016508143 A JP2016508143 A JP 2016508143A JP 2016508143 A JP2016508143 A JP 2016508143A JP 6492055 B2 JP6492055 B2 JP 6492055B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- image acquisition
- infrared
- image
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002902 bimodal effect Effects 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 21
- 238000005286 illumination Methods 0.000 claims description 17
- 230000000737 periodic effect Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000001429 visible spectrum Methods 0.000 claims description 5
- 238000002329 infrared spectrum Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 1
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 1
- 244000145845 chattering Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Optical Filters (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
Description
本発明は、画像取得装置の分野に関し、特に、カラー配列フィルタを使用する装置に関する。
デジタルスチルカメラやビデオカメラなどの大部分の画像取得装置は、画素とも呼ばれる基本感光センサの配列からなるセンサ（ＣＣＤまたはＣＭＯＳ）を使用する。カラー情報が、画素の配列上に配された基本カラーフィルタ配列（ＣＦＡ）を介して取得される。その配置は、各画素がカラーフィルタ配列のうちの１つの基本フィルタで覆われようになっている。基本フィルタは可視スペクトルの一部分のみを通過させる。
カラーフィルタ配列に関して、また、別々の画素で受けた信号から画像を再構成する技術に関して、膨大な研究が行われた。
現在使用されている最も普及したカラーフィルタ配列が特許文献１に開示され、図１に示されている。
ベイヤー配列と呼ばれるこの配列は、４つの基本フィルタからなる以下のパターンの周期的反復によって得られる。すなわち、
ここで、Ｇはグリーンのみを通過させるフィルタ、Ｒはレッドのみを通過させるフィルタ、Ｂはブルーのみを通過させるフィルタである。基本Ｇ，Ｒ，Ｂフィルタの下に位置する画素は、それぞれグリーンフィルタ、レッドフィルタ、ブルーフィルタと呼ばれる。ベイヤー配列は、グリーン画素５０％、レッド画素２５％、ブルー画素２５％から構成されることがわかる。
センサ内の個別の画素が受け取る強度からカラー画像を再構成することからなる操作は、デモザイキングと呼ばれる。このデモザイキング操作は、例えば非特許文献１などの文献で精力的に研究されている。
低照度条件下におけるセンサの感度を向上させるために、他のカラーフィルタ配列が開示されている。こういった配列の大部分は、白画素と呼ばれる追加の画素を使用する。白画素は透明画素、ニュートラル画素、またはパンクロ画素とも呼ばれる。この白画素は、色信号に加えて輝度信号を取得するために使用されうる。このような配列の例が、特許文献２に示されている。
低照度条件下で良好な感度を得るためにしばしば使用されるフィルタ配列が、以下の基礎パターンで生成されるいわゆるコダック（Ｋｏｄａｋ、登録商標）配列である。
ここで、要素Ｒ，Ｇ，Ｂは上記と同じ意味を有し、Ｗは白画素、つまり色のフィルタリングが無いことを表す。このフィルタ配列が図２に示されている。
低照度条件下でのセンサの感度をさらに向上させるための第１の単純な解決策は、近赤外線におけるセンサ応答を利用することである。しかしながら、大部分の画像取得装置は、ＣＣＤまたはＣＭＯＳセンサからの出力雑音を低減するために、入力のところに赤外線カットオフ・フィルタを備える。第１に、現在しばしば使用されている基本センサはシリコンでできており、その結果近赤外線を感知しやすく、第２に、個別の画素の前面に配置された基本カラーフィルタでは、スペクトルの赤外線部分を効率的に遮断できない。
特許文献３は、カラー画素に加えての赤外線画素の使用を開示している。昼間視にカラー画素が使用され、夜間視に赤外線画素が使用される。したがって、この場合、センサは赤外線入力フィルタで保護できない。その結果、センサが昼間視で動作しているときに、雑音が大きくなる。
ディー．アリソン（D. Alleyson）他、「周波数選択デモザイキング：レビューと見通し（Frequency selection demosaicking: a review and a look-ahead）」、 IS&T／SPIE VCIP会報、カルフォルニア州サンノゼ、２００８年１月
本発明の目的は、良好な信号対雑音比で昼間視と夜間視で機能できる画像取得システムを開示することである。
本発明は、画素と呼ばれる感光素子の配列からなるセンサと、上記センサを覆う、対応する画素とそれぞれ関連付けられた基本フィルタの配列と、処理手段とを備える、画像取得装置によって定義される。上記装置は、
上記基本フィルタ配列が、原色を１つだけ透過させる原色フィルタと、パンクロフィルタと呼ばれる可視スペクトル全体を透過させるフィルタと、近赤外線を透過させる赤外線フィルタとを備え、上記パンクロフィルタが上記基本フィルタの少なくとも５０％を占め、
処理手段は、
少なくとも１つのセンサ区画が低照度条件下にあるか高照度条件下にあるかを判定するために、パンクロ画素一式に対する平均輝度を計算し、
上記センサ区画が低照度条件下にある場合、上記パンクロ画素を使用して上記区画のモノクロ画像を形成し、
上記センサ区画が高照度条件下にある場合、原色画素を使用して上記センサ区画のカラー画像を形成し、赤外線画素から取得される赤外線画像を上記センサ区画から減算するように、設計されることを特徴とする。
上記基本フィルタ配列が、原色を１つだけ透過させる原色フィルタと、パンクロフィルタと呼ばれる可視スペクトル全体を透過させるフィルタと、近赤外線を透過させる赤外線フィルタとを備え、上記パンクロフィルタが上記基本フィルタの少なくとも５０％を占め、
処理手段は、
少なくとも１つのセンサ区画が低照度条件下にあるか高照度条件下にあるかを判定するために、パンクロ画素一式に対する平均輝度を計算し、
上記センサ区画が低照度条件下にある場合、上記パンクロ画素を使用して上記区画のモノクロ画像を形成し、
上記センサ区画が高照度条件下にある場合、原色画素を使用して上記センサ区画のカラー画像を形成し、赤外線画素から取得される赤外線画像を上記センサ区画から減算するように、設計されることを特徴とする。
有利には、上記センサ区画の上記モノクロ画像が、上記センサ区画の一部分を形成するパンクロ画素の補間によって取得される。
同様に、上記センサ区画の上記カラー画像が、上記センサ区画の原色画像同士の結合によって取得され、１つの原色画像は、上記センサ区画の原色画素の補間によって取得される。
最後に、上記センサ区画の上記赤外線画像が、上記センサ区画の赤外線画素の補間によって取得されうる。
有利には、パンクロフィルタが、上記基本フィルタの少なくとも７５％を占める。
有利な一実施形態によると、上記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
ここで、Ｒ，Ｇ，Ｂはそれぞれレッド、グリーンおよびブルーの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、上記パターンが、Ｒ，Ｇ，Ｂ，ＩＲからなる１組の順列の範囲内で定義される。
第２の有利な実施形態によると、上記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
ここで、Ｙｅ，Ｍａ，Ｃｙはそれぞれイエロー、マゼンタおよびシアンの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、上記パターンが、Ｙｅ，Ｍａ，Ｃｙ，ＩＲからなる１組の順列の範囲内で定義される。
第３の有利な実施形態によると、上記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
ここで、Ｒ，Ｇ，Ｂはそれぞれレッド、グリーンおよびブルーの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、上記パターンが、Ｒ，Ｇ，Ｂ，ＩＲからなる１組の順列の範囲内で定義される。
第４の有利な実施形態によると、上記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
ここで、Ｙｅ，Ｍａ，Ｃｙはそれぞれイエロー、マゼンタおよびシアンの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、上記パターンが、Ｙｅ，Ｍａ，Ｃｙ，ＩＲからなる１組の順列の範囲内で定義される。
好ましくは、上記処理手段が、上記センサ区画内にある全てのパンクロ画素に対する平均輝度が第１の閾値より低い場合、上記センサ区画が低照度を有すると判定し、上記センサ区画内にある全てのパンクロ画素に対する平均輝度が第２の閾値より高い場合、上記センサ区画が高照度を有すると判定し、上記第２の閾値が上記第１の閾値より大きい。
上記センサ区画内にある全てのパンクロ画素に対する平均輝度が上記第１の閾値と上記第２の閾値の間にある場合、上記処理手段が、上記センサ区画の上記モノクロ画像と上記カラー画像の結合を行いうる。
上記センサ区画がセンサ全体であるとき、上記処理手段が、上記センサが低照度条件下にあるか高照度条件下にあるかを判定する。
あるいは、上記センサ区画の上記モノクロ画像が、均一領域にセグメント化され、上記処理手段が、上記センサの各均一な区画に対して別々に動作する。
本発明の他の特徴および利点は、本発明の好ましい実施形態の説明を添付の図を参照して読むと明らかになるであろう。
画素とも呼ばれる基本感光センサの配列からなるセンサ（ＣＣＤまたはＣＭＯＳ）とそのセンサを覆う基本フィルタ配列とを備える画像取得装置について、以下で再度検討する。上記基本フィルタはそれぞれ１つの画素と関連付けられる。より正確には、基本フィルタはそれぞれ、関連付けられた画素に対する入射光をフィルタリングする。
配列内の基本フィルタは、３つの異なるタイプすなわちカラーフィルタ、透明（またはパンクロ）フィルタおよび赤外線フィルタからなる透過フィルタである。
カラー基本フィルタは原色一式を通過させ、それによって、可視スペクトル内における全てのカラーの加算または減算合成が可能になる。したがってカラーフィルタは、加算合成の場合、冒頭で定義したＲ，Ｇ，Ｂフィルタであってもよく、あるいは減算合成の場合、Ｙｅ，Ｍａ，Ｃｙフィルタであってもよい。Ｙｅはイエローを通過させ、Ｍａはマゼンタを通過させ、Ｃｙはシアンを通過させる。他の原色ベースも本発明の範囲から逸脱することなしに当業者により予想されうる。
パンクロ基本フィルタは可視スペクトル全体を通過させる。実際には、パンクロ基本フィルタは、配列された単なるステンシルまたは透明フィルタ（可視光において透明）によって形成され得る。この場合、このようなパンクロ基本フィルタの下に位置する画素は、フィルタリングされていない光を受ける。
赤外線基本フィルタは例えば［７００ｎｍ−１７００ｎｍ］帯域、より詳細には［７００ｎｍ−１１００ｎｍ］帯域など、近赤外線のスペクトル帯域のみを通過させる。
基本フィルタは、有利には、周期的に繰り返すパターンの形で、センサの平面内で２つの異なる方向（通常は直交）に沿って配列される。
基本フィルタは、ポリマー材料から形成され得る、あるいはそれ自体周知の形の干渉フィルタであり得る。
好ましくは、配列におけるパンクロ基本フィルタの割合は、５０％以上であり、他の基本フィルタ（カラーフィルタおよび赤外線フィルタ）は、等しい割合で分散配置される。有利には、パンクロ基本フィルタの割合は７５％に等しく、他の基本フィルタのそれぞれの割合は６．２５％である。
図３Ａに、本発明の第１の例示的実施形態による画像取得システムのための基本フィルタの配列が示されている。
基本フィルタごとに１つのセンサ画素が存在する。
この場合、カラー基本フィルタはＲ，Ｇ，Ｂフィルタである。赤外線基本フィルタはＩＲと表され、パンクロフィルタはＷと表される。
なお、基本配列は、以下の４×４基礎パターンの２次元の周期的反復によって生成される。
この配列の変形形態が、パターン（７）におけるＲ，Ｇ，Ｂ，ＩＲフィルタの順列によって得られうる。
図３Ｂに、本発明の第２の例示的実施形態による画像取得システムのための基本フィルタの配列が示されている。
この場合、カラー基本フィルタはＹｅ，Ｍａ，Ｃｙフィルタであり、基礎パターンは以下のとおりである。
第１の例と同様に、この配列の変形形態は、パターン（８）におけるＹｅ，Ｍａ，Ｃｙ，ＩＲフィルタの順列によって得られうる。
なお、図３Ａおよび３Ｂの例では、この配列におけるパンクロフィルタの割合は７５％、カラーフィルタおよび赤外線フィルタのそれぞれの割合は６．２５％である。
図４Ａに、本発明の第３の例示的実施形態による画像取得システムのための基本フィルタ配列が示されている。
この配列に使用される基本フィルタはＲ，Ｇ，Ｂ，ＩＲフィルタであり、この場合の基礎パターンは以下のとおりである。
第１の例と同様に、この配列の変形形態は、パターン（９）におけるＲ，Ｇ，Ｂ，ＩＲフィルタの順列によって得られうる。
図４Ｂに、本発明の第４の例示的実施形態による画像取得システムのための基本フィルタ配列が示されている。
この配列を構成する基本フィルタはＹｅ，Ｍａ，Ｃｙ，ＩＲフィルタであり、基礎パターンは以下のとおりである。
第２の例と同様に、この配列の変形形態は、パターン（１０）におけるＹｅ，Ｍａ，Ｃｙ，ＩＲフィルタの順列によって得られうる。
なお、図４Ａおよび４Ｂの例では、この配列におけるパンクロフィルタの割合は５０％のみであり、カラーフィルタおよび赤外線フィルタのそれぞれの割合は１２．５％である。
図５に、本発明の第１の実施形態による画像取得システムにおける画素の処理が模式的に示されている。
以下では、画素に対する操作は、その画素が受ける信号に対する操作であると解釈される。
第１のステップ５１０で、上記装置で取得された画像の平均輝度
が、パンクロ画素の平均を計算することによって推定される。
ステップ５２０で、こうして得られた平均が、所定の閾値Ｉｔｈと比較される。平均が上記の閾値を超えている場合、取得装置は昼（または高照度）モードで動作し、そうでなければ夜（低照度）モードで動作する。
取得装置が昼モードで動作している場合、ステップ５３０で、１つの画像を取得するために、Ｒ，Ｇ，ＢまたはＹｅ，Ｍａ，Ｃｙの各原色ごとにカラー画素が補間される。より正確には、上述のように、所与のカラーの画素の割合が比較的小さいので、欠落した画素の値が、配列内に存在する近傍の画素の補間によって取得される。例えば、図３Ａを参照すると、ブルー画素３１０は、欠落しており（その画素がレッド基本フィルタの下に位置しているため）、したがって、４つの隣接するブルー画素３１１、３１２、３１３、３１４の間で補間することによって取得される。
原色画像は、任意選択で、画像鮮鋭化のために処理されうる。例えば、パンクロ画素を補間することによって、モノクロ画像が取得されうる。このモノクロ画像が、おそらくはハイパス・フィルタリング後に、各原色画像と結合されうる。配列におけるパンクロ画素の割合は、カラー画素の割合よりも高く、したがって原色画像の解像度が向上する。
ステップ５４０で、近赤外線の画像が、カラー画素に対して上述した原理と同じ原理を使用して配列内の赤外線画素の間で補間することによって、取得される。
ステップ５５０で、カラー画像を取得するために原色画像が加算され（加算合成の場合）、そこから赤外線画像が画素毎に減算される。より一般的には、カラー画像を取得するために原色画像が結合される。赤外線画像の減算は、信号対雑音比を大幅に向上しうる。必要なら、彩度上の問題が生じるのを防止するために、原色画像を加算する（または、より一般的には原色画像を結合する）前に、その各原色画像から、重み係数（同等または同一の係数）によって重み付けされた赤外線画像が、雑音の無い原色画像を取得するために減算される。その結果取得された画像は表示、またはその後の処理のためにメモリに保存されうる。
ステップ５６０は、夜モード（または低照度下）での操作に対応する。
このモードでは、モノクロ画像がパンクロ画素の補間によって取得される。配列内にはパンクロ画素の大部分が存在するので、高い解像度が得られる。この画像は表示、またはその後の処理のためにメモリに保存されうる。
全ての場合において、ステップ５７０で処理が終了する。
上述の画素の処理は、画像取得装置が昼モードで動作しているか夜モードで動作しているかどうかで非常に異なり、一方のモードからもう一方のモードへの切り替えは、平均輝度と所定の閾値との比較によって行われることが理解できよう。
この実施形態の第１の変形形態によると、一方のモードからもう一方のモードへの切り替えは、切り替え雑音（チャタリング）を回避するために、ヒステリシスを用いて行われる。これを実現するために、第１の輝度閾値が、昼モードから夜モードへの移行のために設定され、第２の輝度閾値が、夜モードから昼モードへの移行のために設定され、第１の閾値は、第２の閾値より小さくなるように選択される。
第１の実施形態の第２の変形形態によると、一方のモードから他方のモードへの切り替えは、移行段階を徐々に通過しながら行われる。したがって、画像取得装置は、平均輝度が第１の閾値より小さい場合、夜モードで動作し、第２の閾値より大きい場合、昼モードで動作し、第２の閾値は、第１の閾値より大きくなるように選択される。平均輝度が第１の閾値と第２の閾値の間にある場合、画像取得装置は、昼モードで処理することによって取得された画像と夜モードで処理することによって取得された画像の線形結合を実行し、重み係数はそれぞれ、平均輝度と第１の閾値との差、第２の閾値との差によって与えられる。
図６に、本発明の第２の実施形態による画像取得装置における画素の処理が模式的に示されている。
第１の実施形態と異なり、昼モード（高照度）と夜モード（低照度）との切り替えは、取得された画像の均一領域に対して作動し、各均一領域が個別に処理される。
ステップ６０３で、モノクロ画像が、パンクロ画素を補間することによって取得される。より正確には、配列内の欠落したパンクロ画素（例えばカラー画素や赤外線画素）ごとに、近傍のパンクロ画素から強度が計算される。
ステップ６０５で、こうして得られたモノクロ画像が、均一領域にセグメント化される。これは、現況技術で知られているスイッチング技術を使用して行われうる。この技術は例えば、エス．トゥリパーティー（S．Tripathi）他、「画像セグメント化:レビュー（Image Segmentation : a review）」コンピュータサイエンスおよびマネジメント研究の国際ジャーナル（International Journal of Computer Science and Management Research）、第１巻、第４号、２０１２年１１月、ｐ．８３８−８４３による記事に記載されているものなどがある。こうして得られた結果は、Ｐ個の均一領域になる。
ステップ６１０で、領域Ｚｐ、ｐ＝１，…，Ｐごとに、
と表される平均輝度が計算される。
ステップ６２０で、こうして得られた平均輝度が、所定の閾値値と比較される。平均
がその閾値値を超えている場合、領域Ｚｐは高照度であるとみなされる。逆に、平均
がその閾値値より小さい場合、領域Ｚｐは低照度とみなされる。
なお、所与の区画に対する低照度と高照度の区別は、パンクロ画素から得られる平均輝度によって決まる。つまり、平均輝度はスペクトル全体に対して得られる。
ステップ６３０で、高照度の領域が処理される。高照度領域ごとに、その領域の画像を取得するために、この区画に属するカラー画素がＲ，Ｇ，ＢまたはＹｅ，Ｍａ，Ｃｙの各原色ごとに補間される。
ステップ６４０で、各高照度領域の近赤外線における画像が、その領域に属する赤外線画素を補間することによって取得される。
ステップ６５０で、高照度領域ごとに原色画像が結合され（加算合成の場合、単純加算）、画素毎に赤外線画像が減算される。こうして得られた結果が、高照度領域ごとのカラー画像を形成するカラー画素になる。
ステップ６６０で、ステップ６０３で取得されたモノクロ画像における高照度領域のパンクロ画素が、ステップ６５０で取得されたカラー画素に置き換えられる。あるいは、パンクロ画素（つまりモノクロ画像における画素）とステップ６５０で取得されたカラー画素の線形結合が、高照度領域に属する画素ごとに行われる。したがって、低照度領域では、モノクロ画像（ステップ６０３で取得される）がカラー画像（６５０で取得される）と重ねられる。
第１の実施形態と同様に、第１の変形形態では、２つの異なる閾値、領域が低照度レベルから高照度レベルに変化する場合に判定するための第１の閾値と、領域が高照度レベルから低照度レベルに変化する場合に判定するための第２の閾値が使用されうる。第１の閾値は第２の閾値より小さい。
第２の変形形態では、やはり、２つの閾値の間に移行段階を使用することが可能なはずである。つまり、第１の閾値より下の領域は、パンクロ画素の補間によるモノクロモードで表され、第２の閾値より上の領域はカラーで表され、２つの閾値の間の領域は、モノクロ画像とカラー画像の線形結合で表されうる。
したがって、非常に良好な信号対雑音比を有しながら、照度条件に関係なく機能できる、画像取得装置が存在することが理解できよう。
第２の実施形態の別の変形形態（図示せず）によると、ステップ６２０で、一区画が低照度を有すると判定された場合、その区画の一部分を形成する赤外線画素の強度が、所定のＩＲ閾値より大きいかどうか判定される。強度がそのＩＲ閾値より大きい赤外線画素は、疑似カラーで表され、この疑似カラーはその区画のモノクロ画像と重ねられる。したがって、低照度区画の下位区画が赤外線域で高い強度を有する場合、その下位区画がその低照度区画のモノクロ画像の中で容易に識別されうる。あるいはやはり、モノクロ表示と疑似カラー表示との切り替え基準が、低照度区画の均一下位区画別に作成されうる。この場合、まず、低照度区画が、ステップ６０３およびステップ６０５に関して述べたのと同じ原理を使用して補間された後に、赤外線画素に基づいてセグメント化される。上記で定義した均一下位区画ごとに、この下位区画における赤外線画素の平均強度が計算され、上述のＩＲ閾値と比較される。この平均がＩＲ閾値より大きい場合、その下位区画は疑似カラーで表され、この疑似カラーはその区画のモノクロ画像に重ねられる。疑似カラーの下位区画の画像は、その下位区画における赤外線画素の補間によって取得される。したがって、この場合、照度は低いが下位区画の赤外線強度が高い区画の画像は、基本カラー画素（ＲＧＢ）または（シアン、マゼンタ、イエロー）を除いた、パンクロ画素（モノクロ部分）と赤外線画素（疑似カラー部分）の結合によって取得されると理解されよう。
Claims (18)
- 画素と呼ばれる感光素子の配列からなるセンサと、前記センサを覆い、対応する画素とそれぞれ関連付けられた基本フィルタの配列と、処理手段とを備える、画像取得装置であって、
前記基本フィルタの配列が、原色を１つだけ透過させる原色フィルタと、パンクロフィルタと呼ばれる可視スペクトル全体を透過させるフィルタと、近赤外線を透過させる赤外線フィルタとを備え、前記パンクロフィルタが前記基本フィルタの少なくとも５０％を占め、
前記処理手段は、
少なくとも１つのセンサ区画が低照度条件下にあるか高照度条件下にあるかを判定するために、一組のパンクロ画素に対する平均輝度を計算し、
前記センサ区画が低照度条件下にある場合、前記パンクロ画素を使用して前記センサ区画のモノクロ画像を形成し、
前記センサ区画が高照度条件下にある場合、原色画素を使用して前記センサ区画のカラー画像を形成し、赤外線画素から取得される赤外線画像を前記センサ区画から減算するように、
設計されることを特徴とする、画像取得装置。 - 前記センサ区画の前記モノクロ画像が、前記センサ区画の一部分を形成するパンクロ画素の補間によって取得されることを特徴とする、請求項１に記載の画像取得装置。
- 前記センサ区画の前記カラー画像が、前記センサ区画の原色画像同士の結合によって取得され、１つの原色画像は、前記センサ区画の原色画素の補間によって取得されることを特徴とする、請求項１に記載の画像取得装置。
- 前記センサ区画の前記赤外線画像が、前記センサ区画の赤外線画素の補間によって取得されることを特徴とする、請求項１に記載の画像取得装置。
- 前記パンクロフィルタが、前記基本フィルタの少なくとも７５％を占めることを特徴とする、請求項１から４のいずれか一項に記載の画像取得装置。
- 前記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
ここで、Ｒ，Ｇ，Ｂはそれぞれレッド、グリーンおよびブルーの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、前記パターンが、Ｒ，Ｇ，Ｂ，ＩＲからなる１組の順列の範囲内で定義されることを特徴とする、請求項５に記載の画像取得装置。 - 前記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
ここで、Ｙｅ，Ｍａ，Ｃｙはそれぞれイエロー、マゼンタおよびシアンの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、前記パターンが、Ｙｅ，Ｍａ，Ｃｙ，ＩＲからなる１組の順列の範囲内で定義されることを特徴とする、請求項５に記載の画像取得装置。 - 前記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
ここで、Ｒ，Ｇ，Ｂはそれぞれレッド、グリーンおよびブルーの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、前記パターンが、Ｒ，Ｇ，Ｂ，ＩＲからなる１組の順列の範囲内で定義されることを特徴とする、請求項１から４のいずれか一項に記載の画像取得装置。 - 前記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
ここで、Ｙｅ，Ｍａ，Ｃｙはそれぞれイエロー、マゼンタおよびシアンの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、前記パターンが、Ｙｅ，Ｍａ，Ｃｙ，ＩＲからなる１組の順列の範囲内で定義されることを特徴とする、請求項１から４のいずれか一項に記載の画像取得装置。 - 前記処理手段が、前記センサ区画内にある全てのパンクロ画素に対する平均輝度が第１の閾値より低い場合、前記センサ区画が低照度を有すると判定し、前記センサ区画内にある全てのパンクロ画素に対する平均輝度が第２の閾値より高い場合、前記センサ区画が高照度を有すると判定し、前記第２の閾値が前記第１の閾値より大きいことを特徴とする、請求項１から９のいずれか一項に記載の画像取得装置。
- 前記センサ区画内にある全てのパンクロ画素に対する平均輝度が前記第１の閾値と前記第２の閾値の間にある場合、前記処理手段が、前記センサ区画の前記モノクロ画像と前記カラー画像の結合を行うことを特徴とする、請求項１０に記載の画像取得装置。
- 前記センサ区画がセンサ全体であり、前記処理手段が、前記センサが低照度条件下にあるか高照度条件下にあるかを判定することを特徴とする、請求項１から１１のいずれか一項に記載の画像取得装置。
- 前記センサ区画の前記モノクロ画像が、均一領域にセグメント化され、前記処理手段が、前記センサの各均一領域に対して別々に動作することを特徴とする、請求項１から１１のいずれか一項に記載の画像取得装置。
- 一つのセンサ区画が低照度条件下にある場合、そのセンサ区画の一部分を形成する赤外線画素の強度が所定のＩＲ閾値より高いかどうかを判定するためにテストが実行され、前記赤外線画素の強度が前記所定のＩＲ閾値より高い場合、疑似カラーで表された赤外線画素が、そのセンサ区画の前記モノクロ画像と重ねられることを特徴とする、請求項１から１３のいずれか一項に記載の画像取得装置。
- 一つのセンサ区画が低照度条件下にある場合、このセンサ区画内で、赤外線スペクトルが均一な強度を有する下位区画が識別され、こうして識別された下位区画ごとに、その下位区画における赤外線の平均強度が所定のＩＲ閾値より高いかどうかが判定され、前記赤外線の平均強度が前記所定のＩＲ閾値より高い場合、前記下位区画が、その下位区画内の赤外線画素に基づいた疑似カラー画像によって表され、次に前記下位区画の前記疑似カラー画像が、その疑似カラー画像が一部分を形成する前記センサ区画の前記モノクロ画像と重ねられて表示されることを特徴とする、請求項１から１３のいずれか一項に記載の画像取得装置。
- 前記下位区画の前記疑似カラー画像が、その下位区画の一部分を形成する前記赤外線画素の補間によって取得されることを特徴とする、請求項１５に記載の画像取得装置。
- 前記赤外線フィルタが、７００ｎｍ〜１１００ｎｍの帯域を透過させることを特徴とする、請求項１から１６のいずれか一項に記載の画像取得装置。
- 前記赤外線フィルタが、７００ｎｍ〜１７００ｎｍの帯域を透過させることを特徴とする、請求項１から１６のいずれか一項に記載の画像取得装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1353482A FR3004882B1 (fr) | 2013-04-17 | 2013-04-17 | Dispositif d'acquisition d'images bimode |
| FR1353482 | 2013-04-17 | ||
| PCT/EP2014/057698 WO2014170359A1 (fr) | 2013-04-17 | 2014-04-16 | Dispositif d'acquisition d'images bimode |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016523013A JP2016523013A (ja) | 2016-08-04 |
| JP6492055B2 true JP6492055B2 (ja) | 2019-03-27 |
Family
ID=48979925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016508143A Active JP6492055B2 (ja) | 2013-04-17 | 2014-04-16 | 双峰性の画像を取得するための装置 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US9736437B2 (ja) |
| EP (1) | EP2987321B1 (ja) |
| JP (1) | JP6492055B2 (ja) |
| KR (1) | KR102170410B1 (ja) |
| CN (1) | CN105210369B (ja) |
| CA (1) | CA2909554C (ja) |
| FR (1) | FR3004882B1 (ja) |
| IL (1) | IL242097B (ja) |
| SG (1) | SG11201508579VA (ja) |
| TW (1) | TWI669963B (ja) |
| WO (1) | WO2014170359A1 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9692992B2 (en) | 2013-07-01 | 2017-06-27 | Omnivision Technologies, Inc. | Color and infrared filter array patterns to reduce color aliasing |
| US9667933B2 (en) * | 2013-07-01 | 2017-05-30 | Omnivision Technologies, Inc. | Color and infrared filter array patterns to reduce color aliasing |
| DE102013223699A1 (de) * | 2013-11-20 | 2015-05-21 | Takata AG | Filteranordnung und Verfahren zum Herstellen einer Filteranordnung |
| US10582175B2 (en) * | 2014-06-24 | 2020-03-03 | Maxell, Ltd. | Imaging sensor and imaging device |
| FR3026223B1 (fr) * | 2014-09-22 | 2016-12-23 | Photonis France | Dispositif d'acquisition d'images bimode a photocathode. |
| TWI577971B (zh) * | 2015-10-22 | 2017-04-11 | 原相科技股份有限公司 | 雙孔徑測距系統 |
| FR3045263B1 (fr) * | 2015-12-11 | 2017-12-08 | Thales Sa | Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique |
| CN106878690A (zh) * | 2015-12-14 | 2017-06-20 | 比亚迪股份有限公司 | 图像传感器的成像方法、成像装置和电子设备 |
| FR3048800B1 (fr) * | 2016-03-11 | 2018-04-06 | Bertin Technologies | Procede de traitement d'images |
| US10574909B2 (en) | 2016-08-08 | 2020-02-25 | Microsoft Technology Licensing, Llc | Hybrid imaging sensor for structured light object capture |
| CN107786857B (zh) * | 2016-08-25 | 2019-07-19 | 杭州海康威视数字技术股份有限公司 | 一种图像还原方法及装置 |
| CN108419061B (zh) * | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 基于多光谱的图像融合设备、方法及图像传感器 |
| US9986128B1 (en) * | 2017-03-10 | 2018-05-29 | Kabushiki Kaisha Toshiba | Image forming apparatus and image forming method facilitating processing color |
| CN106911919A (zh) * | 2017-03-24 | 2017-06-30 | 陈兵 | 彩色图像传感器及彩色图像成像方法 |
| CN106713878A (zh) * | 2017-03-24 | 2017-05-24 | 陈兵 | 一种新型图像传感器 |
| WO2018183206A1 (en) | 2017-03-26 | 2018-10-04 | Apple, Inc. | Enhancing spatial resolution in a stereo camera imaging system |
| CN107370917B (zh) * | 2017-06-30 | 2020-01-10 | Oppo广东移动通信有限公司 | 控制方法、电子装置和计算机可读存储介质 |
| CN109327665A (zh) * | 2017-07-26 | 2019-02-12 | 聚晶半导体股份有限公司 | 图像获取装置及其红外线感测方法 |
| CN109756713B (zh) * | 2017-11-08 | 2021-12-21 | 超威半导体公司 | 图像捕获装置、执行处理的方法以及计算机可读介质 |
| CN110493583B (zh) * | 2018-08-03 | 2021-12-17 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109905681B (zh) * | 2019-02-01 | 2021-07-16 | 华为技术有限公司 | 图像传感器、从其获取图像数据的方法及摄像设备 |
| CN111447380B (zh) * | 2020-05-22 | 2022-03-22 | Oppo广东移动通信有限公司 | 控制方法、摄像头组件和移动终端 |
| CN113418864B (zh) * | 2021-06-03 | 2022-09-16 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器及其制造方法 |
| CN113660415A (zh) * | 2021-08-09 | 2021-11-16 | Oppo广东移动通信有限公司 | 对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质 |
| CN113676617B (zh) * | 2021-08-12 | 2023-08-18 | Oppo广东移动通信有限公司 | 运动检测方法、装置、电子设备和计算机可读存储介质 |
| KR102579742B1 (ko) * | 2021-11-15 | 2023-09-19 | 주식회사 넥스트칩 | 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| US6211521B1 (en) * | 1998-03-13 | 2001-04-03 | Intel Corporation | Infrared pixel sensor and infrared signal correction |
| US5914749A (en) * | 1998-03-31 | 1999-06-22 | Intel Corporation | Magenta-white-yellow (MWY) color system for digital image sensor applications |
| JP3583952B2 (ja) * | 1999-08-04 | 2004-11-04 | 三洋電機株式会社 | 白黒／カラー切換カメラ |
| US7012643B2 (en) * | 2002-05-08 | 2006-03-14 | Ball Aerospace & Technologies Corp. | One chip, low light level color camera |
| US20040174446A1 (en) * | 2003-02-28 | 2004-09-09 | Tinku Acharya | Four-color mosaic pattern for depth and image capture |
| US7477304B2 (en) * | 2004-08-26 | 2009-01-13 | Micron Technology, Inc. | Two narrow band and one wide band color filter for increasing color image sensor sensitivity |
| JP4678172B2 (ja) * | 2004-11-22 | 2011-04-27 | 株式会社豊田中央研究所 | 撮像装置 |
| JP4984634B2 (ja) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置 |
| US7688368B2 (en) | 2006-01-27 | 2010-03-30 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| KR101276757B1 (ko) * | 2006-05-26 | 2013-06-20 | 삼성전자주식회사 | 이미지 촬상 장치, 및 그 동작 방법 |
| KR20070115243A (ko) * | 2006-06-01 | 2007-12-05 | 삼성전자주식회사 | 이미지 촬상 장치, 및 그 동작 방법 |
| JP5106870B2 (ja) * | 2006-06-14 | 2012-12-26 | 株式会社東芝 | 固体撮像素子 |
| US7769229B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Processing images having color and panchromatic pixels |
| US8031243B2 (en) * | 2007-07-06 | 2011-10-04 | Samsung Electronics Co., Ltd. | Apparatus, method, and medium for generating image |
| US8446470B2 (en) * | 2007-10-04 | 2013-05-21 | Magna Electronics, Inc. | Combined RGB and IR imaging sensor |
| US20090159799A1 (en) * | 2007-12-19 | 2009-06-25 | Spectral Instruments, Inc. | Color infrared light sensor, camera, and method for capturing images |
| JP2009253447A (ja) * | 2008-04-02 | 2009-10-29 | Panasonic Corp | 近赤外光／可視光共用の固体撮像素子及び固体撮像装置 |
| JP4618342B2 (ja) * | 2008-05-20 | 2011-01-26 | 日本テキサス・インスツルメンツ株式会社 | 固体撮像装置 |
| JP2010062604A (ja) | 2008-09-01 | 2010-03-18 | Rohm Co Ltd | 撮像センサ |
| US8203633B2 (en) * | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
| JP2011259060A (ja) * | 2010-06-07 | 2011-12-22 | Konica Minolta Opto Inc | 撮像装置 |
| KR101739880B1 (ko) * | 2010-12-01 | 2017-05-26 | 삼성전자주식회사 | 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치 |
| CN102957917B (zh) * | 2011-08-30 | 2016-03-30 | 比亚迪股份有限公司 | 一种像素阵列、摄像头及基于该阵列的色彩处理方法 |
| US9191635B2 (en) * | 2012-03-19 | 2015-11-17 | Semiconductor Components Industries, Llc | Imaging systems with clear filter pixels |
| US9231015B2 (en) * | 2012-09-24 | 2016-01-05 | Omnivision Technologies, Inc. | Backside-illuminated photosensor array with white, yellow and red-sensitive elements |
-
2013
- 2013-04-17 FR FR1353482A patent/FR3004882B1/fr active Active
-
2014
- 2014-04-16 JP JP2016508143A patent/JP6492055B2/ja active Active
- 2014-04-16 TW TW103113899A patent/TWI669963B/zh active
- 2014-04-16 CN CN201480025311.1A patent/CN105210369B/zh active Active
- 2014-04-16 KR KR1020157032475A patent/KR102170410B1/ko active IP Right Grant
- 2014-04-16 CA CA2909554A patent/CA2909554C/fr active Active
- 2014-04-16 US US14/785,037 patent/US9736437B2/en active Active
- 2014-04-16 SG SG11201508579VA patent/SG11201508579VA/en unknown
- 2014-04-16 WO PCT/EP2014/057698 patent/WO2014170359A1/fr active Application Filing
- 2014-04-16 EP EP14718066.5A patent/EP2987321B1/fr active Active
-
2015
- 2015-10-15 IL IL242097A patent/IL242097B/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| US9736437B2 (en) | 2017-08-15 |
| CN105210369A (zh) | 2015-12-30 |
| CA2909554A1 (fr) | 2014-10-23 |
| KR102170410B1 (ko) | 2020-10-28 |
| EP2987321A1 (fr) | 2016-02-24 |
| CN105210369B (zh) | 2017-06-27 |
| FR3004882A1 (fr) | 2014-10-24 |
| FR3004882B1 (fr) | 2015-05-15 |
| JP2016523013A (ja) | 2016-08-04 |
| WO2014170359A1 (fr) | 2014-10-23 |
| US20160080706A1 (en) | 2016-03-17 |
| SG11201508579VA (en) | 2015-11-27 |
| EP2987321B1 (fr) | 2018-05-30 |
| CA2909554C (fr) | 2021-08-10 |
| TW201507473A (zh) | 2015-02-16 |
| TWI669963B (zh) | 2019-08-21 |
| KR20150140832A (ko) | 2015-12-16 |
| IL242097B (en) | 2018-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6492055B2 (ja) | 双峰性の画像を取得するための装置 | |
| EP3093819B1 (en) | Imaging apparatus, imaging system, and signal processing method | |
| EP3038356B1 (en) | Exposing pixel groups in producing digital images | |
| JP5527448B2 (ja) | 画像入力装置 | |
| US7830426B2 (en) | Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms | |
| US8125543B2 (en) | Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection | |
| JP4466569B2 (ja) | カラー画像再生装置 | |
| US8248496B2 (en) | Image processing apparatus, image processing method, and image sensor | |
| CN108370422B (zh) | 利用单个矩阵传感器采集可见和近红外图像的系统和方法 | |
| US20070159542A1 (en) | Color filter array with neutral elements and color image formation | |
| JP2004153823A (ja) | 局部線形回帰法を用いた画像処理システム | |
| JP2023166546A (ja) | カラーフィルタアレイ及びカメラ | |
| JP5698875B2 (ja) | カラー撮像素子および撮像装置 | |
| US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
| JP5702895B2 (ja) | カラー撮像素子および撮像装置 | |
| JP2006222961A (ja) | 電子画像のエイリアシングを低減する方法 | |
| JP5698873B2 (ja) | カラー撮像素子および撮像装置 | |
| JP5702892B2 (ja) | カラー撮像素子および撮像装置 | |
| TWI751124B (zh) | 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器 | |
| JP2010276469A (ja) | 画像処理装置及び測距装置の画像処理方法 | |
| WO2009098619A2 (en) | Method and device for reconstructing a color image | |
| JP5753395B2 (ja) | 撮像装置 | |
| JP5305992B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5574608B2 (ja) | カラーイメージセンサ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180619 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6492055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |