KR20180094029A - 단일 매트릭스 센서에 의해 가시 및 근적외 이미지들을 획득하는 시스템 및 방법 - Google Patents
단일 매트릭스 센서에 의해 가시 및 근적외 이미지들을 획득하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR20180094029A KR20180094029A KR1020187019757A KR20187019757A KR20180094029A KR 20180094029 A KR20180094029 A KR 20180094029A KR 1020187019757 A KR1020187019757 A KR 1020187019757A KR 20187019757 A KR20187019757 A KR 20187019757A KR 20180094029 A KR20180094029 A KR 20180094029A
- Authority
- KR
- South Korea
- Prior art keywords
- pixels
- image
- images
- sensitive
- full
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 50
- 239000003086 colorant Substances 0.000 claims abstract description 10
- 230000003595 spectral effect Effects 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 23
- 230000000737 periodic effect Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000001429 visible spectrum Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000012886 linear function Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 description 17
- 238000013459 approach Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001720 vestibular Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 102100038247 Retinol-binding protein 3 Human genes 0.000 description 1
- 101710137010 Retinol-binding protein 3 Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H04N9/045—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
컬러 및 근적외선 이미지들의 동시적 획득을 위한 시스템으로서, 각각의 가시 컬러들에 민감한 제 1, 제 2 및 제 3 타입의 화소들 및 전정색인 제 4 타입의 화소를 포함하는 단일 매트릭스 센서로서, 이들 화소들은 또한 근적외선에서 민감한, 상기 단일 매트릭스 센서; 및 신호들을 프로세싱하기 위한 회로를 포함하고, 그 회로는: 각각 제 1, 제 2 및 제 3 타입의 화소들에 의해 생성된 신호들에 기초하여 단색 이미지들의 제 1 세트를 재구성하고; 제 4 타입의 화소들에 의해 생성된 신호들에 기초하여 전정색 이미지를 재구성하며; 제 1, 제 2 및 제 3 타입의 화소들에 의해 생성된 신호들 및 상기 전정색 이미지에 기초하여 단색 이미지들의 제 2 세트를 재구성하고; 제 1 세트의 이미지들 그리고 전정색 이미지에 기초하여 컬러 이미지를 재구성하며; 제 2 세트의 이미지들 그리고 전정색 이미지에 기초하여 적어도 하나의 근적외선 이미지를 재구성하도록 구성된, 시스템. 그러한 획득 시스템을 포함하는 가시-근적외 바이스펙트랄 카메라 및 그러한 카메라에 의해 구현된 방법.
Description
본 발명은 가시 및 근적외 이미지들을 획득하는 시스템을 포함하는 가시-근적외 바이스펙트랄 카메라상에서, 가시 및 근적외 이미지들을 획득하는 시스템 및 그러한 카메라의 사용에 의해 컬러들에서 및 근적외선에서의 이미지들의 동시적인 획득을 위한 방법에 관한 것이다.
"근적외선" (또는 "Near InfraRed" 에 대한 축약어인 "NIR") 은 700 - 1100 nm 스펙트럼 대역에 대응하는 반면, 가시광은 350 과 700 nm 사이에 연장된다. 때때로, 근적외선은 800 nm 에서 시작하며, 중간의 700 - 800 nm 대역은 광학 필터를 사용하여 제거된다.
본 발명은 방어 및 보안 섹터들 (예를 들어 야간 시각) 에 및 소비자 전자제품들에서 동일하게 적용될 수 있다.
종래에, 일반적으로 컬러인, 가시광에서의 이미지들 (이하 간결성을 위해 "가시 이미지들" 로 칭함), 및 근적외선에서의 이미지들은 2 개의 별개의 매트릭스 센서들에 의해 독립적으로 획득된다. 벌크를 감소시키기 위해, 이들 2 개의 센서들은 바이스펙트랄 카메라를 형성하도록 다이크로익 (dichroic) 빔 스플릿터를 통해 단일 이미지 형성 광학 시스템과 연관될 수 있다.
그러한 구성은 소정의 수의 단점들을 제공한다. 첫째, 2 개의 독립적인 센서들의 그리고 빔 스플릿터의 사용은 비용들, 벌크, 전기 소비 및 바이스펙트랄 카메라의 중량을 증가시키며, 이것은 무엇보다도 임베딩된 애플리케이션들, 예를 들어, 비행 중인 경우에 문제가 있다. 더욱이, 광학 시스템은 이러한 애플리케이션에 대해 특별히 적응되어야 하며, 이것은 상업적인 기성제품 광학을 사용하는 가능성들을 제한하며, 심지어 추가로 비용들을 증가시킨다.
주로 아카데믹-타입 작업들에서, 가시 및 근적외 이미지들의 획득을 위해 단일의 매트릭스 센서를 사용하는 것이 또한 제안되었다. 실제로, 디지털 카메라들에서 통상 사용되는 실리콘 센서들은 가시광선으로부터 근적외선까지 연장하는 감도를 나타내며; 이것은 가시광에서만 동작하도록 의도된 카메라들이 적외선 성분들에 의한 이미지의 오염을 피하도록 의도된 광학 필터가 구비되는 것을 의미한다.
문서들:
- D. Kiku et al. "Simultaneously Capturing of RGB and Additional Band Images using Hybrid Color Filter Array", Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol. 9023 (2014); 및
- US 8,619,143
은 4 개의 상이한 타입들의 화소들: 종래의 "RVB" 센서들에서와 같은 청색광, 녹색광 및 적색광에 민감한 화소들 뿐아니라, NIR 방사선에만 민감한 "회색" 화소들을 포함하는 매트릭스 센서들을 기술한다. 종래에, 이들 상이한 타입들의 화소들은 그들 단독으로 "전정색 (panchromatic) 인", 즉 모든 가시 및 근적외 대역에 민감한 기초적인 실리콘 센서들 상에 컬러 필터들의 매트릭스를 형성하는 흡수식 필터들의 증착에 의해 획득된다. 일반적으로, 이들 필터들을 생성하기 위해 사용되는 안료들은 근적외선에서 투명하며; "적색", "녹색" 및 "청색" 화소들에 의해 획득되는 이미지들은 따라서 (종래의 카메라들에서 사용되는 광학 필터가 명백히 존재하지 않기 때문에) 입사광의 적외선 성분에 의해 영향을 받고 디지털 프로세싱은 실재에 가까운 컬러들을 복구하기 위해 필요하다.
문서들:
- Z. Sadeghipoor et al. "Designing Color Filter Arrarys for the Joint Capture of Visible and Near-Infrared images", 16th IEEE Conference on Image Precessing (2009);
- Z. Sadeghipoor et al. "Correlation-Based Joint Acquisition and Demosaicing of Visible and Near-Infrared images", 18th IEEE Conference on Image Precessing (2011)
은 가시 및 적외 이미지들의 재구성을 최적화하도록 의도된, 컬러 필터들의 더 복잡한 매트릭스를 갖는 센서들을 기술한다.
역으로, 문서
- Z. Sadeghipoor et al. “A Novel Compressive Sensing Approach to Simultaneously Acquire Color and Near Infrared Images on a Single Sensor” Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Vancouver, Canada (2013)
은 컬러 필터들의 매트릭스를 갖는 센서가 컬러 카메라들에서 가장 통상적으로 사용되는 것인, 소위 “베이어 (Bayer)” 매트릭스에 가깝지만, 그것과는 약간 다르다는 것을 기술하고 있다. 종래의 베이어 매트릭스는 가시 및 적외 성분들을 분리하는 것을 가능하게 하지 않을 것이다.
이들 접근법들은 모든 화소들이 특별 필터가 구비되는 센서들을 사용한다. 이제, 높은 감도를 갖는 카메라들을 제조하기 위해, 필터들 없이 전정색 화소들을 또한 포함하는 센서들을 사용하는 것이 이롭다. 일부 경우들에서, 대부분의 입사 방사선을 픽업하기 위해 높은 퍼센티지의 전정색 화소들을 포함하는 심지어 소위 “스파스 (sparse)” 센서들이 사용된다. 이들 센서들은 이미지의 크로미넌스가 관찰자가 그것의 품질의 상당한 열화를 감지하지 않고 그것의 루미넌스에 대해 언더샘플링될 수 있다는 사실을 활용한다.
문서:
- D. Hertel et al. “A low-cost VIS-NIR true color night vision video system based on a wide dynamic range CMOS imager”, IEEE Intelligent Vehicles Symposium, 2009, pages 273-278
는 가시 및 근적외 이미지들의 동시 획득을 위한 유색 화소들 및 전정색 화소들을 포함하는 센서의 사용을 기술한다. PIR 이미지들을 구성하는 방법은 설명되지 않고 그러한 이미지들의 어떠한 예도 도시되지 않는다; 낮은 광 조건들에서 활용될 수 있는 “전대역” 단색 이미지들만이 도시된다. 게다가, 이러한 기사는 달성될 수 있는 감도 이득을 크게 제한하는, 단지 25% 전정색 화소들을 포함하는 “RGBM” 센서의 경우에만 관련된다.
본 발명은 종래 기술의 상술된 단점들을 극복하는 것을 목적으로 한다. 더욱 구체적으로는, 큰 감도를 나타내고 높은 품질의 이미지들을 획득하는 것을 가능하게 하는 가시 및 NIR 이미지들의 동시 획득을 위한 시스템을 획득하는 것을 목적으로 한다. 바람직하게는, 본 발명은 “상업적 기성제품 (commercial off-shelf” (COTS) 매트릭스 센서들 및 광학 시스템들의 사용을 허용한다.
본 발명에 따르면, 높은 감도가 (NIR 에 민감한 “회색” 화소들을 포함하거나 포함하지 않는) 유색 화소들 및 (바람직하게는 화소들의 1/4 보다 많은) 꽤 높은 수의 전정색 화소들 양자를 포함하는 센서들, 및 바람직하게는 스파스 센서들의 사용을 통해 획득되며; 높은 이미지 품질이 혁신적인 디지털 프로세싱의 구현에 의해 획득된다. 더욱 구체적으로는, 이러한 프로세싱은 전정색 이미지 및 2 컬러 “중간” 가시 이미지들의 재구성을 포함한다. 이들 2 중간 가시 이미지들은 2 개의 상이한 프로세싱 동작들에 의해 획득된다: “인트라-채널” 로서 칭해질 수 있는 하나의 프로세싱 동작은 유색 화소들로부터의 신호들만을 사용하는 반면, “인터-채널” 로서 칭해질 수 있는 다른 프로세싱 동작은 또한 전정색 이미지를 사용한다. NIR 이미지는 “인터-채널” 컬러 이미지로부터 그리고 전정색 이미지로부터 회득되는 반면, 컬러 이미지는 “인트라-채널” 중간 이미지를 전정색 이미지와 결합함으로써 획득된다.
본 발명의 주제는 따라서:
각각의 화소가 장면의 광학 이미지의 포인트에서 광 강도를 나타내는 전기 신호를 생성하도록 구성되는 화소들의 2 차원 배열을 포함하는 매트릭스 센서; 및 상기 장면의 디지털 이미지들을 생성하도록 상기 화소들에 의해 생성된 전기 신호들을 프로세싱하도록 구성된 신호 프로세싱 회로를 포함하는 이미지 획득 시스템이며, 여기서 상기 매트릭스 센서는: 제 1 스펙트럼 대역에서 가시광에 민감한, 적어도 하나의 제 1 타입; 제 1 스펙트럼 대역과는 상이한 제 2 스펙트럼 대역에서 가시광에 민감한, 제 2 타입; 및 제 1 및 제 2 와는 상이한 제 3 스펙트럼 대역에서 가시광에 민감한 제 3 타입의 소위 유색 화소들로서, 상이한 타입들의 유색 화소들의 스펙트럼 대역들의 결합은 모든 가시 스펙트럼을 구성하는, 상기 유색 화소들; 및 모든 가시 스펙트럼에 민감한 소위 전정색 화소들로서, 적어도 전정색 화소들은 또한 근적외선에 민감한, 상기 전정색 화소들의 2차원 배열을 포함하고; 상기 신호 프로세싱 회로는 유색 화소들에 의해 생성된 전기 신호들로부터 단색 이미지들의 제 1 세트를 재구성하고; 전정색 화소들에 의해 생성된 전기 신호들로부터 전정색 이미지를 재구성하며; 유색 화소들에 의해 생성된 전기 신호들로부터, 그리고 상기 전정색 이미지로부터 단색 이미지들의 제 2 세트를 재구성하고; 제 1 세트의 단색 이미지들에 그리고 상기 전정색 이미지에 제 1 측색 매트릭스의 적용에 의해 컬러 이미지를 재구성하며; 적어도 제 2 세트의 단색 이미지들에 그리고 상기 전정색 이미지에 제 2 측색 매트릭스의 적용에 의해 근적외선에서의 적어도 하나의 이미지를 재구성하고; 및 상기 컬러 이미지 및 근적외선에서의 적어도 하나의 상기 이미지를 출력으로서 공급하도록 구성되는 것을 특징으로 한다.
바람직하게는, 제 1 세트의 이미지들은 전정색 화소들에 의해 생성된 전기 신호들로부터의 기여 없이, 유색 화소들에 의해 생성된 전기 신호들로부터만 획득된다. 더욱이, 제 1 측색 매트릭스는 출력으로서 생성된 컬리 이미지가 광학 이미지의 적외 성분으로부터 기원하는 기여들로부터 실질적으로 자유롭도록 하는 것인 반면, 제 2 세트의 이미지들이 그러한 기여들을 일반적으로 포함할 것이다.
본 발명의 특정의 실시형태들에 따르면:
- 상기 유색 화소들은 근적외선에 또한 민감한 상기 제 1, 제 2 및 제 3 타입들의 화소들만을 포함할 수 있다. 보다 구체적으로, 제 1, 제 2 및 제 3 타입들 중 하나의 화소들은 녹색광에 민감할 수 있고, 제 1, 제 2 및 제 3 타입들 중 다른 것의 화소들은 청색광에 민감할 수 있으며, 제 1, 제 2 및 제 3 타입들 중 나머지 타입의 화소들은 적색광에 민감할 수 있다.
- 상기 매트릭스 센서는 스파스 타입일 수 있으며, 1/4 이상 및 바람직하게는 적어도 1/2 의 화소들이 전정색이다.
- 상기 신호 프로세싱 회로는 다음의 단계들을 포함하는 방법의 적용에 의해 상기 제 1 세트의 단색 이미지들을 재구성하도록 구성될 수 있다: 상기 제 1 타입의 각각의 화소와 연관된 광 강도를 결정하고 상기 광 강도들의 내삽에 의해 상기 제 1 세트로부터 제 1 단색 이미지를 재구성하는 단계; 다른 타입들의 각 유색 화소와 연관된 광 강도를 결정하고, 상기 제 1 단색 이미지의 대응하는 화소와 연관된 강도를 나타내는 값을 그것으로부터 감산하는 단계; 상기 제 1 단색 이미지의 대응하는 화소와 연관된 강도를 나타내는 상기 값들이 그것으로부터 감산된 상기 다른 타입들의 각각의 유색 화소들의 광 강도 값들의 내삽에 의해 새로운 단색 이미지들을 재구성하고, 그 후 상기 제 1 세트의 각각의 최종 단색 이미지들을 획득하기 위해 상기 제 1 단색 이미지와 이들 새로운 재구성된 이미지들을 결합하는 단계.
- 상기 신호 프로세싱 회로는 전정색 화소들에 의해 생성된 전기 신호들의 내삽에 의해 상기 전정색 이미지를 재구성하도록 구성될 수 있다.
- 상기 신호 프로세싱 회로는 전정색 이미지에서의 대응하는 화소의 루미넌스에, 국부적으로 정의된 선형 함수의 적용에 의해 각각의 상기 이미지의 각각의 화소의 루미넌스 레벨을 컴퓨팅함으로써 상기 제 2 세트의 단색 이미지들을 재구성하도록 구성될 수 있다.
- 변형으로서, 상기 신호 프로세싱 회로는 복수의 유색 화소들의 광 강도 및/또는 제 2 세트의 상기 이미지의 상기 화소에 대응하는 상기 전정색 이미지의 화소의 이웃에서 전정색 이미지의 복수의 화소들의 루미넌스 레벨들의 비선형 함수에 의해 각각의 상기 이미지의 각각의 화소의 루미넌스 레벨을 컴퓨팅함으로써 상기 제 2 세트의 단색 이미지들을 재구성하도록 구성될 수 있다.
- 상기 매트릭스 센서는 상이한 타입들의 화소들의 의사 랜덤 분포를 포함하는 블록들의 주기적 반복으로 이루어질 수 있으며, 여기서 상기 신호 프로세싱 회로는 상기 매트릭스 센서로부터의 동일한 타입들의 화소들의 규칙적인 패턴들을 추출하고; 동일한 타입들의 화소들의 상기 규칙적인 패턴들의 병렬 프로세싱에 의해 단색 이미지들의 상기 제 1 및 제 2 세트들을 재구성하도록 구성된다.
- 상기 신호 프로세싱 회로는 또한 적어도 제 2 세트의 단색 이미지들에 그리고 상기 전정색 이미지에 제 3 측색 매트릭스의 적용에 의해 낮은 휘도 레벨을 갖는 단색 이미지를 재구성하도록 구성될 수 있다.
- 상기 매트릭스 센서는 또한 근적외선에만 민감한 화소들의 2차원 배열을 포함할 수 있고, 여기서 상기 신호 프로세싱 회로는 또한 이들 화소들에 의해 생성된 전기 신호들로부터의 근적외선에서의 상기 이미지를 재구성하도록 구성된다.
- 시스템은 또한 매트릭스 센서와 광학 이미지 사이의 상대적인 주기적 변위를 생성하는 액츄에이터를 포함할 수 있으며, 매트릭스 센서는 광학 이미지의 및 매트릭스 센서의 복수의 별개의 상대적인 위치들에 대응하는 매트릭스 센서의 화소들에 의해 생성된 전기 신호들로부터 상기 전정색 이미지 및 상기 제 1 및 제 2 세트들의 단색 이미지들을 재구성하도록 구성된다.
- 상기 신호 프로세싱 회로는 프로그램 가능한 논리 회로로부터 생성될 수 있다.
본 발명의 다른 목적은 근적외선의 필터링 없이 이미지 획득 시스템의 매트릭스 센서상에 장면의 광학 이미지를 형성하도록 구성된 그러한 이미지 획득 시스템 및 광학 시스템을 포함하는 가시-근적외 바이스펙트랄 카메라이다.
본 발명의 또 다른 목적은 그러한 바이스펙트랄 카메라의 사용에 의한 컬러에서 및 근적외에서의 이미지들의 동시적인 획득을 위한 방법이다.
본 발명의 다른 특징들, 상세들 및 이점들은 예로써 주어진 첨부된 도면들을 참조하여 주어진 설명을 읽을 때 나타날 것이다.
- 도 1a 는 본 발명의 실시형태에 따른 카메라의 기능 다이어그램이다.
- 도 1b 는 도 1a 의 카메라의 매트릭스 센서의 화소들의 스펙트럼 응답을 도시하는 그래프들이다.
- 도 2 는 본 발명의 실시형태에 따른 도 1a 의 카메라의 프로세서에 의해 구현되는 프로세싱의 기능 다이어그램이다.
- 도 3a 내지 도 6c 는 도 2 의 프로세싱의 상이한 단계들을 도시하는 다이어그램들이다.
- 도 7a 및 도 7b 는 본 발명의 특정의 실시형태에서 구현된 프로세싱의 2 개의 변형들을 도시하는 2 개의 다이어그램들이다.
- 도 8 은 본 발명의 다른 변형에 따른 이미지 획득 시스템의 매트릭스 센서이다.
- 도 9a 및 도 9b 는 본 발명의 기술적 결과들을 도시하는 이미지들이다.
- 도 1b 는 도 1a 의 카메라의 매트릭스 센서의 화소들의 스펙트럼 응답을 도시하는 그래프들이다.
- 도 2 는 본 발명의 실시형태에 따른 도 1a 의 카메라의 프로세서에 의해 구현되는 프로세싱의 기능 다이어그램이다.
- 도 3a 내지 도 6c 는 도 2 의 프로세싱의 상이한 단계들을 도시하는 다이어그램들이다.
- 도 7a 및 도 7b 는 본 발명의 특정의 실시형태에서 구현된 프로세싱의 2 개의 변형들을 도시하는 2 개의 다이어그램들이다.
- 도 8 은 본 발명의 다른 변형에 따른 이미지 획득 시스템의 매트릭스 센서이다.
- 도 9a 및 도 9b 는 본 발명의 기술적 결과들을 도시하는 이미지들이다.
도 1a 는 본 발명의 실시형태에 따른 가시, 근적외 바이스펙트랄 카메라 (CBS) 의 고도로 단순화된 기능 다이어그램을 보여준다. 카메라 (CBS) 는 관찰된 장면 (SO) 의 광학 이미지 (IO) 를 형성하는, 일반적으로 렌즈들에 기초하는 광학 시스템 (SO) 을 포함한다. 이미지 (IO) 는 화소들의 2차원 배열을 포함하는 매트릭스 센서 (CM) 의 표면상에 형성되며; 각 화소는 그것의 스펙트럼 감도 곡선에 의해 가중된, 광학 이미지의 (사실상, 작은 영역의) 대응하는 도트의 광 강도를 나타내는 전기 신호를 생성한다. 이들 전기 신호들은, 일반적으로 디지털 포맷으로 변환된 후, 그것의 출력에서의 디지털 이미지들: (상이한 컬러들의 3 개의 단색 이미지들로 구성된) 컬러들에서의 제 1 이미지 및 근적외선에서 단색인 제 2 이미지를 공급하는 프로세싱 회로 (CTS) 에 의해 프로세싱된다. 선택적으로, 프로세싱 회로 (CTS) 는 관찰된 장면이 낮은 휘도 레벨을 나타낼 때 특히 유용한 가시 단색 이미지 (IBNL) 를 또한 출력으로서 공급할 수 있다. 매트릭스 센서 (CM) 및 프로세싱 회로 (CTS) 가 이하에 이미지 획득 시스템으로 칭해질 것을 구성한다. 프로세싱 회로 (CTS) 는 적절하게 프로그램된 디지털 신호 프로세싱 (DSP, "Digital Signal Processor") 을 위해 바람직하게 특수화된 마이크로프로세서, 또는 그밖에 예를 들어 FPGA 와 같은 프로그램가능 논리 회로로부터 생성된 전용 디지털 회로일 수 있다; 그것은 그러나 또한 주문형 반도체 (ASIC) 일 수 있다.
매트릭스 센서는 CCD 또는 CMOS 타입일 수 있으며; 후자의 경우에, 그것은 그것의 출력에서 디지털 신호들을 직접 공급하도록 아날로그-디지털 변환기를 포함할 수 있다. 어느 경우에나, 그것은 적어도 4 개의 상이한 타입들의 화소들을 포함한다: 혼합되어 가시 스펙트럼 대역의 백색을 재생하는 컬러들 (통상, 적색, 녹색 및 청색) 에 대응하는 스펙트럼 대역들에 민감한 3 개의 제 1 타입들 및 "전정색" 의 제 4 타입을 포함한다. 바람직한 실시형태에서, 모든 이들 타입들의 화소들은 또한 근적외선에서의 넌-제로 감도를 나타내고 - 이것은 실리콘 센서들의 경우이다. 근적외선에서의 이러한 감도는 일반적으로 골칫거리로서 고려되고, 광학 필터를 사용하여 제거되지만, 본 발명에 의해 활용된다. 이롭게는, 화소들은 모두 동일한 구조를 갖고, 일반적으로 폴리머 기반인 (전정색 화소들의 경우에 존재하지 않는) 그들의 표면상의 필터링 코팅에 의해서만 상이하다. 도 1b 는 적색 (RPB), 녹색 (VPB), 청색 (BPB) 및 전정색 (MPB) 화소들의 감도 곡선들을 보여준다. 근적외선에서의 감도는 모든 4 개의 타입들의 화소들에 대해 실질적으로 동일하다. 인덱스 "PB" 는 입사 방사선의 적외선 성분이 필터링되지 않은 것을 나타내는 "전대역 (full band)" 을 의미한다.
도 8 을 참조하여 이후에 더욱 상세히 설명되지만, 센서는 또한 근적외선에만 민감한 제 5 타입의 화소들을 포함할 수 있다.
도면은 가시 (350-700 nm) VIS 및 근적외 (800-1100) PIR 스펙트럼 대역들을 식별한다. 중간 대역 (700-800 nm) 은 필터링될 수 있지만, 그것은 본 발명의 경우에 이롭지 않으며; 더욱 유용하게, 그것은 근적외선으로서 고려될 수 있다.
이롭게는, 매트릭스 센서 (CM) 는 또한 "스파스" 일 수 있으며, 그것은 전정색 화소들이 3 개의 컬러들 각각의 그것들과 적어도 동일한 수이고, 바람직하게는 그것들보다 더 많은 수라는 것을 의미한다. 이롭게는, 화소들의 적어도 반은 전정색이다. 그것은 전정색 화소들이, 임의의 필터를 포함하지 않고, 유색 화소들보다 더 많은 광을 수광하기 때문에 센서의 감도를 향상시키는 것을 가능하게 한다.
화소들의 배열은 의사 랜덤일 수 있지만, 바람직하게는 이미지 프로세싱 동작들을 용이하게 하기 위해 규칙적이다 (즉 2 개의 공간 디멘젼들에 따라 주기적이다). 그것은 특히 랜덤 패턴, 즉 화소들이 의사 램덤으로 분포되는 블록들의 주기적 반복으로 주기성일 수 있다.
예로서, 도 3a 의 좌측 부분은 2 개중 하나의 화소가 전정색 타입 (PM) 이고, 4 개중 하나가 녹색 (PV) 이며, 8 개중 하나가 적색 (PR) 이고 8 개중 하나가 청색 (PB) 인 매트릭스 센서의 패턴을 보여준다. 이러한 예에서 녹색 화소들이 적색 또는 청색보다 더 많은 수라는 사실은 인간 눈이 이러한 색에 대한 감도 피크를 나타낸다는 사실을 반영하지만, 녹색, 청색, 및 적색 화소들 사이의 이러한 비율은 본 발명에서 필수적이지 않다 (그것은 이들 상이한 타입들의 화소들 사이에 존재하는 임의의 다른 비율을 관리한다).
의사 랜덤인 (그러나 이들 상이한 타입들의 화소들 사이의 제어된 분포를 갖는) 유색 및 전정색 화소들의 분포를 포함하는 디멘져들 MxN 의 블록의 규칙적인 반복에 의해 획득된 센서를 사용하는 것이 또한 가능하다.
예를 들어, 도 3b 는 4x4 화소들의 구별된 반복된 패턴들이 존재할 수 있는 "1/16" ("1/N" 은 N 개 중 하나의 화소가 청색 또는 적색이라는 것을 의미함) 로 지칭되는 센서 패턴을 보여주며, 여기서 전정색 타입의 12 개의 화소들, 적색 타입의 1 개의 화소, 청색 타입의 1 개의 화소 및 녹색 타입의 2 개의 화소들이 램덤으로 분포된다. 랜덤 분포 패턴들의 수개의 구성들이 그것이 도 3a ("1/8" 타입의 스파스) 에서 이든, 또는 도 3b ("1/16" 타입의 스파스) 이든 관계없이 가능하다는 것이 잘 이해될 것이다. 일부 패턴들은 이후에 기술될 프로세싱 동작들로 출력 이미지들에 대해 획득된 그들의 성능 레벨들에 대해 바람직하게 선택될 수 있다.
이들 대역들에 대응하는 복수의 단색 가시 (및, 적절하다면, 근적외선에서의) 이미지들을 획득하기 위해 상이한 감도 대역들을 나타내는 4 개 이상의 타입들의 유색 화소들을 사용하는 것이 또한 가능하다. 그것은 따라서 하이퍼스펙트럼 이미지들을 획득하는 것이 가능하다.
게다가, 유색 화소들 (또는 그것들 모두) 가 근적외선에 민감한 것은 본질적인 것이 아니며: 전정색 화소들이 그렇게 되는 것은 충분할 수 있다.
도 2 는 프로세싱 회로 (CTS) 에 의해 구현되는 프로세싱을 개략적으로 도시한다. 이러한 프로세싱의 여러 단계들은 도 3a 내지 도 6c 를 참조하여 이후에 상세화될 것이다.
프로세싱 회로 (CTS) 는 매트릭스 센서 (CM) 의 상이한 화소들에 의해 검출된 광 강도 값들을 나타내는 디지털 신호들의 세트를 입력으로서 수신한다. 도면에서, 신호들의 이러한 세트는 표현 "전대역 스파스 이미지" 에 의해 지정된다. 제 1 프로세싱 동작은 상이한 타입들의 화소들에 대응하는 신호들을 이러한 세트로부터 추출하는 것에 있다. 화소들 MxN (M>1 및/또는 N>1) 의 블록들의 규칙적인 배열의 경우를 고려함으로써, 이것은 RPB (전대역 적색), VPB (전대역 녹색), BPB (전대역 청색) 및 MPB (전대역 전정색) "패턴들" 의 추출로 지칭될 수 있다. 이들 패턴들은 다운샘플링된 이미지들에 또는 "홀들 (holes) 에" 대응하며; 그것은 따라서 매트릭스 센서의 피치에서 샘플링된, 완전한 이미지들의 재구성으로 프로세싱하기 위해 필요하다.
전대역 전정색 이미지 (IMPB) 의 재구성은 특히 전정색 화소들이 가장 많은 수인 경우에 가장 간단한 동작이다. 그러한 것은 2 개 중 하나의 화소가 전정색인 도 3 의 경우이다. "손실된" 화소들 (즉, 청색, 녹색 또는 적색, 및 따라서 전정색 이미지를 재구성하기 위해 직접 사용가능하지 않은) 에 대응하는 광 강도는 예를 들어 간단한 쌍일차 내삽에 의해 컴퓨팅될 수 있다. 가장 효과적인 것으로 증명된 방법은 소위 "중간값" 방법이다: 각각의 "손실된" 화소는 그것의 가장 가까운 이웃들을 구성하는 전정색 화소들에 의해 측정된 광 강도 값들의 중간값인 광 강도 값이 할당된다.
전대역 유색 이미지들 (적색, 녹색, 청색) 의 재구성은 2 개의 상이한 방법들에 의해 2 회 수행된다. 제 1 방법은 그것이 유색 이미지들을 재구성하기 위해 유색 화소들만을 사용하기 때문에 "인트라-채널" 로 칭해지며; 제 2 방법은 그것이 또한 전정색 화소들로부터의 정보를 사용하기 때문에 "인터-채널" 로 지칭된다. 그러한 방법들의 예들은 도 4a 내지 도 4d (인트라-채널) 및 도 5 (인터-채널) 을 참조하여 이후에 기술될 것이다. 종래에는, 인트라-채널 방법들만이 사용된다.
인트라-채널 또는 인터-채널 방법에 의해 획득되는지에 관계없이 전대역 이미지들은 그들이 광학 시스템에 의해 필터링된 않은 NIR (near-infrared) 성분에 의해 "오염"되기 때문에 직접 사용가능하지 않다. 이러한 NIR 성분은 제 1 측색 매트릭스 (도 6a 에서의 참조 부호 MCol1) 에 의해 전대역 전정색 이미지를 갖는 인트라-채널 방법에 의해 획득된 전대역 이미지들 IRPB, IVPB, IBPB 을 결합함으로써 제거될 수 있다. 컬러들에서의 가시 이미지 IVIS 는 따라서 각각 3 개의 적색, 녹색, 및 청색 단색 서브-이미지들 IR, IV, IB 에 의해 형성되어 획득된다.
인터-채널 방법에 의해 획득된 전대역 이미지들 IR*PB, IV*PB, IB*PB 은 또한 제 2 측색 매트릭스 (도 6b 에서의 참조 부호 MCol2) 에 의해 전대역 전정색 이미지와 또한 결합된다. 결합의 계수들로서 작용하는, 이러한 매트릭스의 엘리먼트들은 근적외선에서의 이미지 IPIR (또는, 더 구체적으로는, 근적외선의 스펙트럼 대역에서의 이미지 IO 의 루미넌스를 나타내는, 일반적으로 흑색 및 백색에서의 단색 이미지) 를 획득하는 것을 가능하게 하도록 선택된다.
선택적으로, 제 3 측색 매트릭스 (도 6c 에서의 참조 부호 MCol3) 에 의해 전대역 전정색 이미지를 갖는 인터-채널에 의해 획득된 전대역 이미지들 IR*PB, IV*PB, IB*PB 의 결합은 모든 가시 스펙트럼 대역에서, 그러나 적외선 성분들에 의한 오염 없이 이미지 IO 의 루미넌스를 나타내는 단색 이미지 IBNL 을 획득하는 것을 가능하게 한다. 그것이 더 많은 수로 그리고 필터 없이 전정색 센서들로부터의 신호들을 활용하기 때문에, 이러한 이미지는 컬러들에서의 이미지 IVIS 보다 더 밝을 수 있고 따라서 낮은 조명 조건들에 특별히 적합될 수 있다. 이미지 IBNL 가 근적외선에서 임의의 기여를 포함하지 않는 것을 유의하는 것이 중요하며, 그것은 따라서 디지털적으로 필터링된다. 대조적으로, D. Hertel 등에 의한 상술된 기사는 가시에서 및 근적외에서의 이미지들을 결합하는 "낮은 광 레벨을 갖는" 이미지를 획득하는 것을 기술한다. 그러한 이미지는 순수하게 가시선에서의 이미지, 예를 들어 IBNL 과는 시각적으로 상이하다.
일부 경우들에서, 관심은 근적외선에서의 이미지 IPIR 에만 및 가능하게는 낮은 휘도를 갖는 단색 가시 이미지 IBNL 에 포커싱될 수 있을 것이다. 이들 경우들에서, 인트라-채널 재구성 방법을 구현하는 것은 필요하지 않을 것이다.
"인트라-채널" 타입의 이로운 이미지 재구성 방법이 이제 도 4a 내지 도 4d 를 참조하여 기술될 것이다. 이러한 기술은 문헌에 알려져 있는 다수의 다른 방법들 (확산, 웨이블릿, 휴 컨스턴시, 및 다른 그러한 접근법들) 은 본 발명의 구현에 적합될 수 있기 때문에 예로서만 주어진다.
도 3a 의 매트릭스 센서에서, 청색 화소들은 규칙적인 서브패턴들로 함께 그룹핑된다. 이들 화소들에 의해 형성된 패턴 MPB 는 서로 동일하지만 공간적으로 오프셋된 2 개의 서브패턴들 SMPB1, SMPB2 로 분할될 수 있으며; 이들 서브패턴들 각각은 5 x 5 화소들의 정사각형의 코너들에서 4 개의 청색 화소들을 가지며; 그것은 도 4a 에 도시된다. 규칙적인 서브-패턴들로의 분할의 이러한 방법은 M x N 화소들의 블록에서 정의된 그것의 랜덤 배열에 관계없이 상이한 타입들의 화소들에 적용가능하다. 특히, 프로세싱 회로 (CTS) 가 전용 디지털 회로에 의해 생성되는 경우, 패턴 MPV 를 병렬로 프로세싱될 수 있는 서브패턴들로 분할하는 것은 이롭다.
도 4b 는 녹색 화소들의 패턴이 4 개의 서브패턴들 SMPV1, SMPV2, SMPV3, 및 SMPV4 로 분할되는 경우를 도시한다. 완전한 녹색 단색 이미지들, IVPB 1, IVPB 2, IVPB 3, IVPB 4 은 이들 서브패턴들의 쌍일차 내삽에 의해 획득된다. 그 후, "전대역" 녹색 단색 이미지 IVPB 는 그들을 평균함으로써 획득된다.
전대역 적색 및 청색 이미지들의 재구성은 조금 더 복잡하다. 그것은 US 4,642,678 에 기술된 "휴 컨스턴시" 와 유사한 방법에 기초한다.
먼저, 전대역 녹색 이미지 IVPB 는 적색 및 청색 화소들의 패턴들로부터 감산된다. 더욱 구체적으로, 그것은 전대역 녹색 이미지 IVPB 의 대응하는 화소의 강도를 나타내는 값이 각각의 적색 또는 청색 화소로부터 도출된 신호로부터 감산된다는 것을 의미한다. 적색 화소들의 패턴은 2 개의 서브패턴들 SMPR1, SMPR2 로 분할된다; 감산 후, 변경된 서브패턴들 SMPR1', SMPR2' 가 획득되며; 마찬가지로 청색 화소들의 패턴은 2 개의 서브패턴들 SMPB1, SMPB2 로 분할된다; 감산 후, 변경된 서브패턴들 SMPB1', SMPB2' 가 획득된다. 그것은 도 4c 에 도시된다.
다음에, 도 4d 에 도시된 바와 같이, 이미지들 IR1'PB, IR2'PB 는 적색 서브패턴들의 쌍일차 내삽에 의해 획득되고, 변경된 적색 이미지 IRPB' 를 공급하기 위해 평균된다. 마찬가지로, 이미지들 IB1'PB, IB2'PB 은 적색 서브패턴들의 쌍일차 내삽에 의해 획득되고, 변경된 청색 이미지 IBPB' 를 공급하기 위해 평균된다.
전대역 적색 이미지 IRPB 및 전대역 청색 이미지 IBPB 는 변경된 적색 및 청색 이미지들 IRPB', IBPB' 에 전대역 녹색 이미지 IVPB 를 가산함으로써 획득된다.
이러한 방식으로 프로세싱하는 것이 이익은, 프로세싱의 종단에서 그것을 가산하기 위해 적색 및 청색 화소들의 패턴드로부터 재구성된 녹색 이미지를 감산함으로써, 변경된 패턴들이 저 강도 동적 범위를 나타낸다는 것이며, 이것은 내삽 에러들을 감소시키는 것을 가능하게 한다. 문제는 더 미세하게 샘플링되는 녹색에 대해 덜 예민하다.
인터-채널 재구성은 상이하게 수행된다. 그것은 적색, 녹색, 청색 화소들만을 활용하는 인트라-채널 재구성과 대조적으로 전정색 화소들을 명시적으로 활용한다. 예로서, 그것은 도 5a 및 도 5b 를 사용하여 도시되는 "단색법" 으로서 칭해질 수 있는 알고리즘에 의해 수행될 수 있다. 이러한 알고리즘이 기초하는 이러한 아이디어는 유색 성분들 - 녹색, 적색 및 청색 - 이 일반적으로 전정색 성분의 그것을 대략 "추종하는" 공간적 변동들을 나타낸다는 것이다. 따라서, 유색 성분들의 손실된 화소들의 루미넌스 레벨을 컴퓨팅하기 위해, 그것의 더 밀집한 공간적 샘플링으로부터 이익을 얻음으로써 쌍일차 내삽에 의해 재구성되는, 전정색 성분을 사용하는 것이 가능하다. 더욱 구체적으로는, 각각의 유색 화소의 루미넌스 레벨은 전정색 이미지의 대응하는 화소의 루미넌스에 대한 선형 또는 아핀 (affine) 함수의 적용에 의해 결정될 수 있다. 관계된 선형 또는 아핀 함수는 국부적으로 결정되고 (직접 측정되거나 이미 컴퓨팅되기 때문에) 이미 알려져 있는 가까운 유색 화소들의 루미넌스 레벨에 의존한다.
도 5a 는 4 개 중에 하나의 행만이 청색 화소들을 포함하며; 이들 행들 내에서는, 4 개 중에 하나의 화소가 청색인 스파스 센서의 경우에 관한 것이다. 도 3 을 참조하여 상술된 바와 같이 획득된, 센서의 모든 화소들에 대해 정의된 "풀 (full)" 전정색 이미지가 또한 존재한다. 도 5b 는 청색 성분이 정의되지 않은 3 개의 화소들에 의해 분리된 2 개의 청색 화소들을 포함하는 매트릭스 센서의 세그먼트를 보여주며; 행의 이러한 부분에 중첩되어, 모든 화소들에 대해 정의된 전정색 이미지의 부분이 존재한다. C1 및 C5 는 행 세그먼트의 종단들에서 2 개의 청색 화소들 (더 일반적으로는, 유색 화소들) 의 기지의 루미넌스들을 지정하기 위해 사용되고, C2, C3, 및 C4 는 3 개의 중간 화소들에 대응하는 청색 성분의 - 컴퓨팅될 - 루미넌스들을 지정하기 위해 사용되며, M1 - M5 는 이들 동일한 화소들에 대응하는 전정색 이미지의 기지의 루미넌스들을 지정하기 위해 사용된다.
방법의 제 1 단계는 전정색 이미지를 사용하여 이미지의 청색 성분의 행들을 재구성하는 것에 있으며; 청색 화소들을 포함하는 행들만이 이러한 방식으로, 즉 4 개 중 하나의 라인으로 재구성된다. 이러한 단계의 종단에서, 청색 성분이 정의되지 않은 행들에 의해 분리된 완전한 청색 행들이 존재한다. 열들을 보면, 각각의 열에서, 4 개 중 하나의 화소가 청색이다. 따라서, 행들에 대해 행해진 것과 같이, 전정색 이미지의 지식에 의해 도움을 받은 내삽에 의해 청색 열들을 재구성하는 것이 가능하다. 동일한 프로세스가 녹색 및 적색 성분들에 대해 적용된다.
이미지의 유색 성분을 재구성하기 위한 색법의 적용은 다음의 방식으로 진행된다.
관심은 이들 2 개의 유색 화소들과 함께 동일 장소에 위치되는 종단 화소들 M1, M5 을 포함하는, 관계된 컬러의 패턴의 2 개의 화소들 C1 및 C5 사이에 위치되는 재구성된 전정색 이미지의 화소들 M1 내지 M5 에 포커싱된다. 그 후, 전정색 이미지의 대응하는 부분이 균일한 것으로 고려될 수 있는지 여부에 대한 결정이 행해진다. 이것을 행하기 위해, M1 및 M5 사이의 전정색 루미넌스의 총 변동이 임계값 Th 와 비교된다. 만일 |M5 - M1| < Th 라면, 그 구역은 균일한 것으로 고려되며, 그렇지 않은 경우 불균일한 것으로 고려된다.
전정색 이미지의 구역이 균일한 것으로 고려되면, 총 전정색 루미넌스 M1 + M2 + M3 + M4 + M5 가 임계값, 특히 열 잡음의 함수 이하인지 여부를 알기 위해 체크가 행해지며, 그 경우에 전정색 이미지는 사용가능한 정보를 포함하지 않고, 유색 성분의 재구성 (더욱 구체적으로는: 유색 화소들 C2, C3 및 C4 의 루미넌스의 계산) 이 C1 및 C5 사이에 선형 내삽에 의해 행해진다. 즉, 단계적인 재구성이 행해진다:
즉, 재구성될 각 유색 화소의 루미넌스는 전정색 이미지상에서 측정된 국부적 변동 레이트를 그것에 적용함으로써, 재구성의 순서에서 즉시 선행하는 유색 화소의 루미넌스로부터 결정된다.
루미넌스가 정수 값이어야 하는 경우, 컴퓨팅된 값은 라운딩된다.
전정색 이미지의 구역이 균일한 것으로 고려되지 않는 경우 (|M5 - M1| ≥ Th), "단색법", 즉 Ci 를 Mi (i = 1 - 5) 의 함수로서 및 C1 및 C5 의 컴퓨팅된 값들이 측정된 값들과 일치하도록 표현하는 아핀 함수의 적용에 의해 유색 화소들 C2 - C4 를 직접 재구성하는 것이 가능하며:
여기서,
이고,
다시, 루미넌스가 정수값이어야 하는 경우, 컴퓨팅된 결과는 라운딩된다.
단색법의 직접적인 적용에 의한 재구성은 재구성된 유색 성분의 과도하게 큰 동적 범위를, 또는 그렇지 않으면 그것의 포화를 야기할 수 있다. 이 경우, 단계적인 재구성으로 되돌아가는 것이 가치가 있을 수도 있다. 예를 들어, 과도하게 큰 동적 범위 조건은
일 때 관찰될 수 있고, 여기서 Th1 은 Th 와는 일반적으로 상이한 임계값이다.
포화는 min(Ci) < 0 이거나 Max(Ci) 가 최대 허용가능한 값 (16 비트들로 코딩된 정수에 의해 표현된 루미넌스의 경우를 고려할 때 65535) 보다 큰 경우 관찰될 수 있다.
명확하게, 도 5a 및 도 5b 의 구성 - 5 개의 화소들의 세그먼트들에 의한 유색 성분들의 재구성을 수반함 - 은 예시로써만 주어지고 다른 구성들로의 그 방법의 일반화는 임의의 상당한 곤란성을 부과하지 않는다.
이러한 방법의 변경들이 가능하다. 예를 들어, (관계된 유색 화소들의 패턴에 의존하는 소정의 거리에 위치된) 양 근접한 유색 화소들을 사용함으로써 유색 화소들 및 재구성된 이웃 전정색 화소들의 루미넌스를 결정하는 다른 접근법은 예를 들어 이웃 전정색 화소들의 다항식 근사화 (및 더욱 일반적으로 비선형 공간 표면 함수의 근사화) 를 사용함으로써 유색 화소들의 분포를 근사화하는 비선형 함수들을 사용하는 것에 있다. 이들 모노-축 비선형 함수들, 또는 대조적으로 표면 2-축 비선형 함수들의 이점은 그들이 재구성되어야 하는 화소에 가장 가까운 유색 화소들보다 큰 스케일로 유색 화소들의 분포를 고려한다는 것이다. 아이디어들의 이러한 프레임워크 내에서, 전정색 화소들의 루미넌스 값에 나타나는 국부적인 기울기들 및 갑작스런 점프들을 활용하는 더 일반적인 값 확산 함수들을 사용하는 것이 또한 가능하다. 어느 방법이 사용되든지, 원리는 동일하다: 유색 화소들보다 더 많은 수인 전정색 화소들의 활용, 및 유색 화소들을 재구성하기 위해 그것의 변형의 법칙.
단색법 방법이 2 개의 연속적인 모노-축 패스들 (passes) 을 갖는 접근법을 수반하지만, 표현 함수들 또는 확산 방정식들의 사용은 유색 화소들을 재구성하기 위해 단일-매스 접근법을 통해 진행하는 것을 가능하게 한다.
프로세싱의 이러한 단계에서, 전대역 전정색 이미지 IMPB 및 3 개의 전대역 단색 이미지들 (IRPB, IVPB, IBPB) 및 (IR*PB, IV*PB, IB*PB) 의 2 개의 세트들이 존재한다. 상술된 바와 같이, 이들 이미지들 중 어느 것도 직접 사용가능하지 않다. 그러나, 가시광선 IVIS 에서의 컬러 이미지는 3x4 측색 매트릭스 MCol1 를 통해 제 1 세트 (IRPB, IVPB, IBPB) 의 전대역 이미지들 및 전대역 전정색 이미지 IMPB 를 결합함으로써 획득될 수 있다. 더욱 상세하게는, 가시광선 IVIS 의 적색 성분 IR 은 계수들 a11, a12, a13, 및 a14 를 갖는 IRPB, IVPB, IBPB, 및 IMPB 의 선형 결합에 의해 주어진다. 유사하게, 녹색 성분 IV 은 계수들 a21, a22, a23, 및 a24 를 갖는 IRPB, IVPB, IBPB, 및 IMPB 의 선형 결합에 의해 주어지고, 청색 성분 IB 은 계수들 a31, a32, a33, 및 a34 를 갖는 IMPB, IVPB, IBPB, 및 IRPB 의 선형 결합에 의해 주어진다. 그것은 도 6a 에 도시된다.
다음에, 가시 이미지 IVIS 는 측색 매트릭스의 계수들을 확립하기 위해 사용된 것에 대해 장면의 조명에서의 차이를 고려하기 위해 종래의 화이트 밸런스 동작에 의해 향상될 수 있다.
마찬가지로, 근적외선에서의 이미지 IPIR 은 제 2 의 1x4 측색 매트릭스 MCol2 를 통해 제 2 세트 (IRPB*, IVPB*, IBPB*) 의 전대역 이미지들 및 전대역 전정색 이미지 IMPB 를 결합함으로써 획득될 수 있다. 즉, 근적외선에서의 이미지 IPIR 은 계수들 a41, a42, a43, 및 a44 를 갖는 IVPB*, IBPB*, IRPB* 및 IRBB 의 선형 결합에 의해 주어진다. 그것은 도 6b 에 의해 도시된다.
화소들의 수개의 타입들이 근적외선에서 상이한 스펙트럼 감도들을 나타내는 경우, NPIR 개의 상이한 스펙트럼 서브대역들 (NPIR > 1)에 대응하는, 상이한 근적외선에서의 복수의 이미지들을 획득하는 것이 가능하다. 이러한 경우, 제 2 측색 매트릭스 MCol2 는 NPIR x (NPIR+3) 매트릭스가 되고, NPIR 은 획득되어야 하는 근적외선에서의 이미지들의 수이다. 이전에 다루어진 경우는 NPIR = 1 인 특정의 경우이다.
다음에, 근적외선에서의 이미지 IPIR 은 종래의 공간 필터링 동작에 의해 향상될 수 있다. 이러한 동작은 예를 들어 잡음의 적응적 필터링과 연관되거나 연관되지 않은 아웃라인 향상 동작일 수 있다 (인용될 수 있는 가능한 아웃라인 향상 기법들은 이미지에 대한 고역통과 컨볼루션 필터를 통과하는 것에 있는 동작을 포함한다).
매트릭스들 MCol1 및 MCol2 는 사실, 그와 같이 사용되지 않는, NPIR = 1 인 그리고 유색 화소들의 3 개의 타입들이 존재하는 특정의 경우에 디멘젼들 4x4 의, 동일한 측색 매트릭스 “A” 의 서브 매트릭스들이다.
측색 매트릭스들의 사이즈는 매트릭스 센서들이 4 개 이상의 상이한 타입들의 유색 화소들을 갖는다면 변경되어야 한다. 예로서, 적외선에서 상이한 스펙트럼 감도들을 갖는 NPIR 개의 화소들에 대해, 필터링되지 않은 전정색 화소들에 더하여 가시선에서의 상이한 서브대역들에 민감한 화소들의 NVIS (NVIS ≥ 3) 개의 타입들이 존재할 수 있다. 이들 NVIS 개의 타입들의 화소들은 게다가 NPIR 개의 PIR 이미지들의 획득을 허용하기 위해 근적외선에서 상이한 스펙트럼 감도들을 나타낼 수 있다. 적외선에서만 민감한 화소들이 존재하지 않는다고 가정하면, 측색 매트릭스 Mcol1 은 디멘젼들 3x(NVIS+1) 이다.
게다가, 단색 가시 이미지 IBNL 은 제 2 의 1x4 측색 매트릭스 MCol3 를 통해 제 2 세트 (IVPB*, IBPB*, IRPB*) 의 전대역 이미지들 및 전대역 전정색 이미지 IMPB 를 결합함으로써 획득될 수 있다. 즉, 이미지 IBNL 는, 또한 그와 같이 사용되지 않는, 다른 4x4 측색 매트릭스 "
" 의 마지막 행을 형성하는 계수들 
을 갖는 IRPB *, IVPB *, IBPB * 및 IMPB 의 선형 결합에 의해 주어진다. 그것은 도 6c 에 의해 도시된다.
이미지 IBNL 는 결국 종래의 공간적 필터링 동작에 의해 향상될 수 있다.
측색 매트릭스들 A 및 
는 캘리브레이션 방법에 의해 획득될 수 있다. 후자는 예를 들어 가시선 및 NIR 에서 반사하는 상이한 페인트들이 증착된 패턴을 사용하고, 제어된 조명에 의해 디바이스를 조명하며 가시선 및 NIR 에서 이들 페인트들이 가져야 하는 이론적 루미넌스 값들을 계수들이 최소 제곱에 의해 최선으로 적응되는 4x4 측색 매트릭스를 사용하여 측정된 루미넌스 값들과 비교하는 것에 있다. 측색 매트릭스는 또한 드러나야 하는 컬러들을 우선순위로서 가중함으로써 또는 장면에서 존재하는 자연적 물체들에 대해 행해진 측정들을 가산함으로써 향상될 수 있다. 제안된 방법 (컬러에 더하여 NIR 의 사용, 4x4 매트릭스의 사용, 가시선 및 NIR 양자 모두에서 발광하는 상이한 페인트들의 사용) 은 3x3 매트릭스 및 "X-Rite 체커보드" 와 같은 종래의 테스트 패턴, 또는 멕베스 매트릭스를 활용하는 컬러에 한정된 종래의 방법들과 상이하다.
도 7a 및 도 7b 는 센서의 마이크로-스캐닝을 구현하는, 본 발명의 가능한 향상을 도시한다. 마이크로-스캐닝은 센서에 대해 이미지의, 또는 이미지 평면에서의 매트릭스 센서의 주기적 변위 (발진) 에 있다. 이러한 변위는 매트릭스 센서 상에서 또는 적어도 하나의 이미지-형성 광학 엘리먼트 상에서 작동하는, 직류 모터 타입의 액츄에이터 또는 피에조전기 액츄에이터를 사용하여 획득될 수 있다. 수개의 (일반적으로 2 개의) 이미지 획득들이 이러한 변위 동안 수행되며, 이것은 공간 샘플링을 향상시키고 따라서 이미지들의 재구성을 용이하게 하는 것을 가능하게 한다. 명백하게, 그것은 마이크로-스캐닝이 이용가능하지 않은 경우보다 더 높은 획득 레이트를 요구한다.
도 7a 의 예에서, 매트릭스 센서 CM 은 특정의 구조를 갖는다; 2 개 중 하나의 열이 전정색 화소들 PM 으로 이루어지고, 4 개 중 하나의 열이 녹색 PV 및 청색 PB 화소들의 교대로 이루어지며, 4 개 중 하나의 열이 적색 PR 및 녹색 PV 화소들의 교대로 이루어진다. 마이크로-스캐닝은 열들의 방향에 직각의 방향으로 화소의 폭과 동일한 진폭의 발진에 의해 수행된다. 센서가 그것의 변위의 종단에 위치될 때의 "전정색" 행에 의해 점유된 공간은 그것이 반대 종단에 위치될 때 "유색" 행에 의해 점유되며, 그 역이 성립함을 알 수 있다. 이미지 획득 레이트는 마이크로-스캐닝 없이 획득된 이미지들에 정보를 더할 수 있도록 (예를 들어 마이크로-스캐닝 없이 획득된 주파수의 2 배로) 마이크로-스캐닝 없이 수행된 것보다 높다.
이중 획득 주파수의 예를 취함으로써, 센서의 2 개의 반대의 극단 위치들에 대응하는 2 개의 획득된 이미지들로부터 (도 7a 의 좌측 부분), 다음을 재구성하는 것이 가능하다 (그 도면의 우측):
- 4 개의 화소들 - 2 의 폼 비율을 갖는 변위의 방향으로 기다란 형태를 갖는 재구성된 화소들에 의해 형성된 대각선을 따라 배열된 2 개의 녹색들, 하나의 청색 및 하나의 적색 (소위 "베이어" 매트릭스) - 의 패턴의 반복에 의해 형성된 컬러에서의 이미지; 및
- 내삽을 위한 필요가 없이 직접 사용가능한 "풀" 전정색 이미지;
이들 2 개의 재구성된 이미지들은 획득 주파수보다 2 배 낮은 레이트로 획득된다.
실제로, 마이크로-스캐닝은 전정색 및 유색 화소 정보를 완성하고, 본 발명의 콘텍스트에서 제시되는 프로세싱 동작들은 서브스캐닝 후에 획득된 추가적인 패턴들로부터 그리고 마이크로-스캐닝 전에 검출기로부터 생성되 패턴들에 적접 적용될 수 있으며, 따라서 도 7a 에 제시된 특정 패턴을 사용하는 것이 본질적인 것은 아니며, 후자는 그러나 단순화된 알고리즘들로 적용될 수 있다. 게다가, 마이크로-스캐닝은 2 개의 축들 상에서 수행되고 및/또는 화소의 폭보다 더 큰 진폭을 가질 수 있다.
예로서, 도 7b 는 도 3a 의 센서 CM 에 대한 마이크로-스캐닝의 적용을 도시한다. 1/8 타입의 스파스 구성의 이러한 예에서, 마이크로-스캐닝은 모든 전정색 화소들의 커버링, 이전에 전정색인 포인트들에서 중첩되는 그리고 총, 처음보다 2 배 더 많은 서브패턴들에 프로세싱 동작들을 적용하는 것을 가능하게 하는 2 개의 청색 서브패턴들, 2 개의 적색 서브패턴들 및 4 개의 녹색 서브패턴들의 추가를 수반한다. 더욱 복잡한 스파스 구성들 (N >= 16 을 갖는 1/N) 에서, 동시에 매트릭스의 2 개의 디멘젼들에서 M 개의 위치들에 대한 마이크로-스캐닝을 일반화하고, 서브패턴들의 수에 대한 팩터 M 을 저장하는 것이 가능하다.
지금까지, 정확히 4 개의 타입들의 화소들 - 적색, 녹색, 청색 및 전정색 - 을 포함하는 매트릭스 센서의 경우만이 고려되었지만, 그것은 본질적인 제한이 아니다. 도 1b 에 도시된 것들과 상이한 감도 곡선들을 나타내는 3 개의 타입들의 유색 화소들, 심지어 그 이상을 사용하는 것이 가능하다. 더욱이, 근적외선에서의 방사선에만 민감한 제 5 타입의 화소를 사용하는 것이 가능하다. 예로서, 도 8 은 4 개 중 하나의 화소가 전정색 (참조 부호 PM) 이고, 4 개 중 하나의 화소가 근적외선 (PI) 에만 민감하며, 4 개 중 하나의 화소가 녹색 (PV) 이고, 8 개 중 하나의 화소가 적색 (PR) 이고 8 개 중 하나의 화소가 청색 (PB) 인 매트릭스 센서를 나타낸다.
제 5 타입의 화소들로부터의 신호들은 상이한 방식들로 사용될 수 있다. 예를 들어, 도 4a 내지 도 4d 의 "인트라-채널" 방법에 의해, 이미지들 IRPB *, IVPB *, IBPB * 및 IMPB 에 대한 측색 매트릭스 MCol2 의 적용에 의해 획득된 이미지 IPIR 로 평균될 수 있는, 예를 들어 IPIR D (지수 "D" 는 그것이 "직접" 획득된 이미지라는 것을 의미함) 에 의해 지정된, 근적외선에서의 이미지를 재구성하는 것이 가능하다. 디멘젼들 1x5 의 측색 매트릭스 MCol2 를 사용하는 것 및 매트릭스 계수들 a41, a42, a43, a44 및 a45 를 갖는 IRPB *, IVPB *, IBPB *, IMPB 및 IPIR D 의 선형 결합에 의해 근적외선에서의 이미지 IPIR 을 획득하는 것이 또한 가능하다. 이미지 IPIR D 는 또한 측색 매트릭스 MCol1 을 캘리브레이팅하기 위해 사용될 수 있으며, 그것은 그 후 추가적인 열을 포함하고 사이즈 3x(NVIS+2) 가 된다: 재생된 각각의 적색, 녹색, 청색 성분은 그 후 전대역에서 재생된 NVIS 평면들의, 재구성된 전정색 평면의 및 화소들 IPIR D 로부터 재구성된 PIR 평면의 함수로서 표현된다.
도 9a 는 가시광선에서 관찰된 장면의 합성 이미지이다. 이미지 IVIS 의 좌측 부분은 도 3 의 "스파스" 매트릭스 센서를 사용하여 본 발명에 따라 획득되었다. 우측 부분 I'VIS 은 넌-스파스 센서를 사용하여 종래의 방법에 의해 획득되었다. 그 2 개의 이미지들의 품질은 비교할만하다.
도 9b 는 적외선에서 관찰된 동일한 장면의 합성 이미지이다. 이미지 IPIR 의 좌측 부분은 도 3 의 "스파스" 매트릭스 센서를 사용하여 본 발명에 따라 획득되었다. 우측 부분 I'PIR 은 넌-스파스 센서를 갖는 NIR 카메라를 사용하여 획득되었다. 그 이미지들은 비교할만한 품질을 갖지만, 본 발명에 따라 획득된 이미지 IPIR 는 스파스 센서의 사용 덕분에 더 밝다.
Claims (15)
- 이미지 획득 시스템 (SAI) 으로서,
- 각각의 화소가 장면 (SC) 의 광학 이미지 (IO) 의 포인트에서 광 강도를 나타내는 전기 신호를 생성하도록 구성되는 화소들의 2 차원 배열을 포함하는 매트릭스 센서 (CM); 및
- 상기 장면의 디지털 이미지들 (IVIS, IPIR) 을 생성하도록 상기 화소들에 의해 생성된 상기 전기 신호들을 프로세싱하도록 구성된 신호 프로세싱 회로 (CTS) 를 포함하고,
상기 매트릭스 센서는:
- 제 1 스펙트럼 대역에서의 가시광에 민감한, 적어도 하나의 제 1 타입 (PV); 상기 제 1 스펙트럼 대역과는 상이한 제 2 스펙트럼 대역에서의 가시광에 민감한, 제 2 타입 (PB); 및 상기 제 1 및 상기 제 2 스펙트럼 대역과는 상이한 제 3 스펙트럼 대역에서의 가시광에 민감한 제 3 타입 (PR) 의 소위 유색 화소들로서, 상이한 타입들의 유색 화소들의 스펙트럼 대역들의 결합은 모든 가시 스펙트럼을 재구성하는, 상기 유색 화소들의; 및
- 모든 가시 스펙트럼에 민감한 소위 전정색 화소들 (PM) 로서, 적어도 상기 전정색 화소들은 또한 근적외선에 민감한, 상기 전정색 화소들 (PM) 의
2차원 배열을 포함하고;
상기 신호 프로세싱 회로는:
- 상기 유색 화소들에 의해 생성된 상기 전기 신호들로부터 단색 이미지들 (IVPB, IBPB, IRPB) 의 제 1 세트를 재구성하고;
- 상기 전정색 화소들에 의해 생성된 상기 전기 신호들로부터 전정색 이미지 (IMPB) 를 재구성하며;
- 상기 유색 화소들에 의해 생성된 상기 전기 신호들로부터, 그리고 상기 전정색 이미지로부터 단색 이미지들 (IV*PB, IB*PB, IR*PB) 의 제 2 세트를 재구성하고;
- 상기 제 1 세트의 상기 단색 이미지들에 그리고 상기 전정색 이미지에 제 1 측색 매트릭스 (MCol1) 의 적용에 의해 컬러 이미지 (IVIS) 를 재구성하며;
- 적어도 상기 제 2 세트의 상기 단색 이미지들에 그리고 상기 전정색 이미지에 제 2 측색 매트릭스 (MCol2) 의 적용에 의해 상기 근적외선에서의 적어도 하나의 이미지 (IPIR) 를 재구성하고; 및
- 상기 컬러 이미지 및 상기 근적외선에서의 상기 또는 적어도 하나의 상기 이미지를 출력으로서 공급하도록 구성되는 것을 특징으로 하는, 이미지 획득 시스템. - 제 1 항에 있어서,
상기 유색 화소들은 상기 근적외선에 또한 민감한, 상기 제 1, 제 2 및 제 3 타입들의 화소들만을 포함하는, 이미지 획득 시스템. - 제 1 항 또는 제 2 항에 있어서,
상기 제 1, 상기 제 2 및 상기 제 3 타입들 중 하나의 타입의 상기 화소들은 녹색광에 민감하고,
상기 제 1, 상기 제 2 및 상기 제 3 타입들 중 다른 타입의 상기 화소들은 청색광에 민감하며,
상기 제 1, 상기 제 2 및 상기 제 3 타입들 중 나머지 타입의 상기 화소들은 적색광에 민감한, 이미지 획득 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 매트릭스 센서는 스파스 타입일 수 있으며, 1/4 이상 및 바람직하게는 적어도 1/2 의 화소들이 전정색인, 이미지 획득 시스템. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 신호 프로세싱 회로는 다음의 단계들을 포함하는 방법의 적용에 의해 상기 제 1 세트의 단색 이미지들을 재구성하도록 구성되는, 이미지 획득 시스템:
- 상기 제 1 타입의 각각의 화소와 연관된 광 강도를 결정하고 상기 광 강도들의 내삽에 의해 상기 제 1 세트의 제 1 단색 이미지 (IVPB) 를 재구성하는 단계;
- 다른 타입들의 각 유색 화소와 연관된 광 강도를 결정하고, 상기 제 1 단색 이미지의 대응하는 화소와 연관된 강도를 나타내는 값을 그것으로부터 감산하는 단계;
- 상기 제 1 단색 이미지의 대응하는 화소와 연관된 강도를 나타내는 상기 값들이 감산된, 상기 다른 타입들의 각각의 유색 화소들의 광 강도 값들의 내삽에 의해 새로운 단색 이미지들 (IB'PB, IR'PB) 을 재구성하고, 그 후 상기 제 1 세트의 각각의 최종 단색 이미지들 (IBPB, IRPB) 을 획득하기 위해 상기 제 1 단색 이미지 (IVPB) 와 이들 새로운 재구성된 이미지들을 결합하는 단계. - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 신호 프로세싱 회로는 상기 전정색 화소들에 의해 생성된 상기 전기 신호들의 내삽에 의해 상기 전정색 이미지를 재구성하도록 구성되는, 이미지 획득 시스템. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 신호 프로세싱 회로는 상기 전정색 이미지에서의 상기 대응하는 화소의 루미넌스에, 국부적으로 정의된 선형 함수의 적용에 의해 각각의 상기 이미지의 각각의 화소의 루미넌스 레벨을 컴퓨팅함으로써 상기 제 2 세트의 상기 단색 이미지들을 재구성하도록 구성되는, 이미지 획득 시스템. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 신호 프로세싱 회로는 복수의 유색 화소들의 광 강도 및/또는 상기 제 2 세트의 상기 이미지의 상기 화소에 대응하는 상기 전정색 이미지의 화소의 이웃에서 상기 전정색 이미지의 복수의 화소들의 루미넌스 레벨들의 비선형 함수에 의해 각각의 상기 이미지의 각각의 화소의 루미넌스 레벨을 컴퓨팅함으로써 상기 제 2 세트의 단색 이미지들을 재구성하도록 구성되는, 이미지 획득 시스템. - 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 매트릭스 센서는 상이한 타입들의 화소들의 의사 랜덤 분포를 포함하는 블록들의 주기적 반복으로 이루어지고,
상기 신호 프로세싱 회로는,
- 상기 매트릭스 센서로부터의 동일한 타입들의 화소들의 규칙적인 패턴들을 추출하고;
- 동일한 타입들의 화소들의 상기 규칙적인 패턴들의 병렬 프로세싱에 의해 단색 이미지들의 상기 제 1 세트 및 제 2 세트를 재구성하도록
구성되는, 이미지 획득 시스템. - 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 신호 프로세싱 회로는 또한 적어도 상기 제 2 세트의 상기 단색 이미지들에 그리고 상기 전정색 이미지에 제 3 측색 매트릭스 (MCol3) 의 적용에 의해 낮은 휘도 레벨을 갖는 단색 이미지를 재구성하도록 구성되는, 이미지 획득 시스템. - 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 매트릭스 센서 (CM) 는 또한 상기 근적외선에만 민감한 화소들 (PI) 의 2차원 배열을 포함하고,
상기 신호 프로세싱 회로는 또한 이들 화소들에 의해 생성된 상기 전기 신호들로부터의 상기 근적외선 (IPIR) 에서의 상기 이미지를 재구성하도록 구성되는, 이미지 획득 시스템. - 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 시스템은 또한 상기 매트릭스 센서와 상기 광학 이미지 사이의 상대적인 주기적 변위를 생성하는 액츄에이터를 포함하고,
상기 매트릭스 센서는 상기 광학 이미지의 및 상기 매트릭스 센서의 복수의 별개의 상대적인 위치들에 대응하는 상기 매트릭스 센서의 화소들에 의해 생성된 전기 신호들로부터 상기 전정색 이미지 및 단색 이미지들의 상기 제 1 및 제 2 세트들을 재구성하도록 구성되는, 이미지 획득 시스템. - 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 신호 프로세싱 회로는 프로그램 가능한 논리 회로로부터 생성되는, 이미지 획득 시스템. - 가시-근적외 바이스펙트랄 카메라 (CBS) 로서,
- 제 1 항 내지 제 13 항 중 어느 한 항에 기재된 이미지 획득 시스템 (SAI); 및
- 상기 근적외선의 필터링 없이, 상기 이미지 획득 시스템의 매트릭스 센서 (SC) 상에 장면 (SC) 의 광학 이미지 (IO) 를 형성하도록 구성된 광학 시스템 (SO) 을 포함하는, 가시-근적외 바이스펙트랄 카메라. - 제 14 항에 기재된 바이스펙트랄 카메라의 사용에 의한 컬러에서 및 상기 근적외선에서의 이미지들의 동시적인 획득을 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1502572 | 2015-12-11 | ||
| FR1502572A FR3045263B1 (fr) | 2015-12-11 | 2015-12-11 | Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique |
| PCT/EP2016/080139 WO2017097857A1 (fr) | 2015-12-11 | 2016-12-07 | Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180094029A true KR20180094029A (ko) | 2018-08-22 |
| KR102605761B1 KR102605761B1 (ko) | 2023-11-23 |
Family
ID=55759641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187019757A KR102605761B1 (ko) | 2015-12-11 | 2016-12-07 | 단일 매트릭스 센서에 의해 가시 및 근적외 이미지들을 획득하는 시스템 및 방법 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US10477120B2 (ko) |
| EP (1) | EP3387824B1 (ko) |
| JP (1) | JP6892861B2 (ko) |
| KR (1) | KR102605761B1 (ko) |
| CN (1) | CN108370422B (ko) |
| ES (1) | ES2837055T3 (ko) |
| FR (1) | FR3045263B1 (ko) |
| IL (1) | IL259620B (ko) |
| WO (1) | WO2017097857A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021033787A1 (ko) * | 2019-08-19 | 2021-02-25 | 한국전기연구원 | 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017098015A1 (en) * | 2015-12-10 | 2017-06-15 | Qiagen Gmbh | Background compensation |
| FR3071328B1 (fr) * | 2017-09-18 | 2019-09-13 | Thales | Imageur infrarouge |
| CN108282644B (zh) * | 2018-02-14 | 2020-01-10 | 北京飞识科技有限公司 | 一种单摄像头成像方法及装置 |
| GB2586980B (en) * | 2019-09-10 | 2023-02-15 | Advanced Risc Mach Ltd | Contrast-based autofocus |
| CN110611779B (zh) * | 2019-09-27 | 2021-11-26 | 华南师范大学 | 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法 |
| FR3126799B1 (fr) * | 2021-09-09 | 2024-05-24 | Xyzed | Système de suivi d’acteurs sur au moins une scène de spectacle |
| US20230388667A1 (en) * | 2022-05-25 | 2023-11-30 | Samsung Electronics Co., Ltd. | Rgb-nir processing and calibration |
| US11818474B1 (en) * | 2022-08-25 | 2023-11-14 | Meta Platforms Technologies, Llc | Sparse RGB cameras for image capture |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001061156A (ja) * | 1999-08-24 | 2001-03-06 | Olympus Optical Co Ltd | 電子カメラ |
| JP2002142228A (ja) * | 2000-10-31 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | 撮像装置 |
| JP2009153013A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
| WO2014170359A1 (fr) * | 2013-04-17 | 2014-10-23 | Photonis France | Dispositif d'acquisition d'images bimode |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4642678A (en) | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
| US7012643B2 (en) * | 2002-05-08 | 2006-03-14 | Ball Aerospace & Technologies Corp. | One chip, low light level color camera |
| EP1528791A1 (de) * | 2003-10-29 | 2005-05-04 | Thomson Licensing S.A. | Verfahren zur Farbkorrektur von digitalen Bilddaten |
| KR20100103504A (ko) * | 2007-12-05 | 2010-09-27 | 일렉트로 싸이언티픽 인더스트리이즈 인코포레이티드 | 칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치 |
| KR20090120159A (ko) * | 2008-05-19 | 2009-11-24 | 삼성전자주식회사 | 영상합성장치 및 영상합성방법 |
| US8619143B2 (en) | 2010-03-19 | 2013-12-31 | Pixim, Inc. | Image sensor including color and infrared pixels |
| CN102404581A (zh) * | 2011-11-02 | 2012-04-04 | 清华大学 | 基于插值与近红外的彩色图像处理的方法和装置 |
| US20140320602A1 (en) * | 2011-12-02 | 2014-10-30 | Nokia Corporation | Method, Apparatus and Computer Program Product for Capturing Images |
| US10051211B2 (en) * | 2013-12-05 | 2018-08-14 | Omnivision Technologies, Inc. | Image sensors for capturing both visible light images and infrared light images, and associated systems and methods |
| JP6364667B2 (ja) * | 2014-04-14 | 2018-08-01 | シャープ株式会社 | 光検出装置および固体撮像装置並びにそれらの製造方法 |
| FR3026223B1 (fr) * | 2014-09-22 | 2016-12-23 | Photonis France | Dispositif d'acquisition d'images bimode a photocathode. |
| CN104301634A (zh) * | 2014-10-24 | 2015-01-21 | 四川大学 | 基于随机采样的短波红外单像素相机 |
-
2015
- 2015-12-11 FR FR1502572A patent/FR3045263B1/fr not_active Expired - Fee Related
-
2016
- 2016-12-07 JP JP2018530147A patent/JP6892861B2/ja active Active
- 2016-12-07 EP EP16808629.6A patent/EP3387824B1/fr active Active
- 2016-12-07 ES ES16808629T patent/ES2837055T3/es active Active
- 2016-12-07 WO PCT/EP2016/080139 patent/WO2017097857A1/fr active Application Filing
- 2016-12-07 KR KR1020187019757A patent/KR102605761B1/ko active IP Right Grant
- 2016-12-07 CN CN201680072568.1A patent/CN108370422B/zh active Active
- 2016-12-07 US US15/779,050 patent/US10477120B2/en active Active
-
2018
- 2018-05-27 IL IL259620A patent/IL259620B/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001061156A (ja) * | 1999-08-24 | 2001-03-06 | Olympus Optical Co Ltd | 電子カメラ |
| JP2002142228A (ja) * | 2000-10-31 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | 撮像装置 |
| JP2009153013A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
| WO2014170359A1 (fr) * | 2013-04-17 | 2014-10-23 | Photonis France | Dispositif d'acquisition d'images bimode |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021033787A1 (ko) * | 2019-08-19 | 2021-02-25 | 한국전기연구원 | 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2837055T3 (es) | 2021-06-29 |
| EP3387824A1 (fr) | 2018-10-17 |
| FR3045263B1 (fr) | 2017-12-08 |
| FR3045263A1 (fr) | 2017-06-16 |
| JP6892861B2 (ja) | 2021-06-23 |
| CN108370422A (zh) | 2018-08-03 |
| CN108370422B (zh) | 2021-03-16 |
| IL259620B (en) | 2021-07-29 |
| US20180359432A1 (en) | 2018-12-13 |
| EP3387824B1 (fr) | 2020-09-30 |
| KR102605761B1 (ko) | 2023-11-23 |
| US10477120B2 (en) | 2019-11-12 |
| IL259620A (en) | 2018-07-31 |
| WO2017097857A1 (fr) | 2017-06-15 |
| JP2018538753A (ja) | 2018-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102605761B1 (ko) | 단일 매트릭스 센서에 의해 가시 및 근적외 이미지들을 획득하는 시스템 및 방법 | |
| JP6492055B2 (ja) | 双峰性の画像を取得するための装置 | |
| JP4930109B2 (ja) | 固体撮像装置、撮像装置 | |
| EP2664153B1 (en) | Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating | |
| EP3093819B1 (en) | Imaging apparatus, imaging system, and signal processing method | |
| US8294797B2 (en) | Apparatus and method of generating a high dynamic range image | |
| KR102286136B1 (ko) | 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법 | |
| US20080068477A1 (en) | Solid-state imaging device | |
| US10212401B2 (en) | Image generation device and imaging device | |
| KR20170074602A (ko) | 영상 출력 장치 및 영상 출력 방법 | |
| CN209345244U (zh) | 成像系统和相机模块 | |
| JP6182396B2 (ja) | 撮像装置 | |
| US10446600B2 (en) | Imaging system and imaging device having a random optical filter array | |
| Aggarwal et al. | Multi-spectral demosaicing technique for single-sensor imaging | |
| TWI751124B (zh) | 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器 | |
| WO2018186201A1 (ja) | 撮像素子および撮像装置 | |
| US10868987B2 (en) | Light-sensor module, method for operating a light-sensor module and method for producing a light-sensor module | |
| TWI601427B (zh) | 具有透明濾波器像素之成像系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |