KR20100103504A - 칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치 - Google Patents
칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치 Download PDFInfo
- Publication number
- KR20100103504A KR20100103504A KR1020107012779A KR20107012779A KR20100103504A KR 20100103504 A KR20100103504 A KR 20100103504A KR 1020107012779 A KR1020107012779 A KR 1020107012779A KR 20107012779 A KR20107012779 A KR 20107012779A KR 20100103504 A KR20100103504 A KR 20100103504A
- Authority
- KR
- South Korea
- Prior art keywords
- color
- filter
- response
- wavelength
- video sensor
- Prior art date
Links
- 230000004044 response Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000005286 illumination Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims 3
- 239000007787 solid Substances 0.000 abstract description 15
- 230000005855 radiation Effects 0.000 abstract description 8
- 238000004040 coloring Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 11
- 238000004566 IR spectroscopy Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000011247 coating layer Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- LFZDEAVRTJKYAF-UHFFFAOYSA-L barium(2+) 2-[(2-hydroxynaphthalen-1-yl)diazenyl]naphthalene-1-sulfonate Chemical compound [Ba+2].C1=CC=CC2=C(S([O-])(=O)=O)C(N=NC3=C4C=CC=CC4=CC=C3O)=CC=C21.C1=CC=CC2=C(S([O-])(=O)=O)C(N=NC3=C4C=CC=CC4=CC=C3O)=CC=C21 LFZDEAVRTJKYAF-UHFFFAOYSA-L 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000009257 reactivity Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- FTWRSWRBSVXQPI-UHFFFAOYSA-N alumanylidynearsane;gallanylidynearsane Chemical compound [As]#[Al].[As]#[Ga] FTWRSWRBSVXQPI-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
저렴한 칼라 이미저로부터 흑백의 응답을 성취하기 위한 방법 및 장치가 제공된다. 본 방법 및 장치에 있어서, 적외선(IR)에 대한 밴드 외 응답은 흑백 이미지를 생성하기 위해 개발된 솔리드 스테이트 센서에 의한다. 이 흑백 이미지는 센서로부터의 IR 차단 필터를 제거하고 LED로부터의 IR 복사로 이미지화될 장면을 채색함으로써 생성된다. LED로부터 방사되는 파장은, 센서에 영구적으로 부착되는 칼라-모자이크 필터에도 불구하고, IR 광에 대한 센서의 응답이 비교적 균등한 영역에 상응하는 파장 또는 파장들에 합치된다.
Description
본 발명은 이미징 시스템, 특히 머신 비젼(machine vision) 시스템에 적용되는 이미징 시스템에 관한 것이다. 특히 본 발명은 머신 비젼 시스템에 있어서의 칼라 이미저의 사용에 관한 것이다. 더욱 상세하게는 본 발명은 머신 비젼 프로세싱을 위한 흑백 이미지를 생성하는 칼라 이미저의 사용에 관한 것이다.
일반적으로, 기본 기술(즉, 전하 결합 소자(Charge Coupled Devices; CCD) 또는 상보성 금속 산화막 반도체(Complimentary Metal Oxide Semiconductor; CMOS)로 종래기술에서 언급되는, 초점면 배열 솔리드 스테이트 이미저(focal-plane array solid state imagers)를 위한 시장은, CCD 또는 CMOS 센서가 주된 구성요소인 비디오 카메라를 위한 시장에 의해 움직이고 있다. 스튜디오 방송, ENG (electronic news gathering), 및 가정용 캠코더(consumer camcorder)로 사용되는 비디오 카메라들(여기에서 비디오 카메라 및 테이프 데크 또는 디스크 드라이브 레코더는 단일의 패키지로 통합되어 있다) 모두는 전형적으로 칼라 신호를 제공한다. 이 신호는 전형적으로 2가지 방법 중 어느 하나에 의해 생성되고 있다.
첫 번째 방법은 전문적인 사양의 장비 및 고사양의 소비자용 장비에 전형적으로 적용되고 있다. 이 방법에 있어서 들어오는 이미지는 비디오 렌즈를 통과한 후, 이색성 프리즘 클러스터(dichroic prism cluster)를 통과한다. 이색성 프리즘 클러스터는 3개의 프리즘의 조립체이며, 그 중 2개는 이색성(색-밴드 선택) 코팅층을 갖는다. 제1 프리즘은 제1 CCD 또는 유사한 이미저에 대해 하나의 색 밴드, 전형적으로 청색을 반사시키고 나머지 색을 통과시키는 표면을 가진다. 제2 프리즘은 제2 CCD 또는 유사한 이미저에 대해 두 번째 색 밴드, 전형적으로 녹색을 반사시키는 표면을 가진다. 제3 프리즘은, 이 경우에는 적색 밴드에 있어서의 신호의 밸런스를 받아들여, 제3 CCD 또는 유사한 이미저에 전송한다. 제3 프리즘 상에 코팅층이 존재한다면, 전형적으로 이것은 CCD가 민감하게 반응할 수는 있지만 예를 들어 적외선과 같이 바람직하지 않은 것으로 간주되는 밴드 외의 광(out-of-band light)을 거부하기 위한 코팅층이다. 적외선(IR)을 거부하기 위한 이 코팅층은, 프리즘 클러스터의 전방에 위치될 수도 있고, 또는 렌즈에 통합될 수도 있다. 이러한 첫 번째 방법에 있어서, 각각의 CCD 또는 유사한 센서는, 색-분리가 이색성 프리즘 클러스터에서 이루어짐에 따라 총천연색 스펙트럼 응답을 그대로 사용할 수 있다는 것에 주목해야 한다. 더욱이 각각의 센서는 전체 고유 해상도(full intrinsic resolution)로 이미지 데이터를 획득하여, 이미지화된 장면(scene)으로부터 3가지 색을 나타내는 3개의 전체 해상도 이미지들을 만들어낸다.
두 번째 방법은 저가의 및/또는 매우 컴팩트한 ENG 시스템과 같은 보다 낮은 사양의 장비 그리고 대부분의 가정용-사양 캠코더 시스템에 전형적으로 이용된다. 여기서는 단일 CCD 또는 유사한 이미저가 사용된다. 칼라-모자이크 필터는 솔리드 스테이트 이미저와 일체화되어 있으며, 여기에서 이미저 장치의 각각의 화소(픽셀)는 상응하는 색-밴드 필터에 의해 덮여 있다. 도 1에는 일반적인 적색(12), 녹색(14) 및 청색(16)의 칼라 필터 소자를 나타내는 칼라-모자이크 필터(13)의 도면이 도시되어 있다. 전형적으로, 픽셀들 중 절반은 녹색 이미지 성분을 주로 전송하는 색-밴드 필터와 결부되고, 픽셀들 중 사분의 일은 청색 이미지 성분을 주로 전송하는 색 밴드 필터와 결부되고, 픽셀들 중 사분의 일은 적색 이미지 성분을 주로 전송하는 색 밴드 필터와 결부된다. 이러한 타입의 필터는 때때로 베이어 필터(Bayer filter)라고 언급된다. 이러한 시스템은 인간 관찰자를 가장 잘 만족시키는 의도적인 절충안으로서 녹색 스펙트럼 쪽으로 편향되어 있다. 인간은 녹색 광에 가장 민감하고 청색 및 적색 광에는 보다 덜 민감하다. 녹색 성분은 인간이 특히 민감한 사람 얼굴에 관한 대부분의 정보를 지닌다. 이 방법에 있어서, 칼라-모자이크 필터는 제조 프로세스 도중에 센서의 신중한 감광성 소자(discreet photosensitive elements)와 정밀하게 정렬되고 적절하게 작동하기 위해 정렬된 상태를 유지해야만 하므로, 칼라-모자이크 필터는 솔리드 스테이트 이미저와 불가분의 관계에 있다는 것에 주목해야 한다. 도 2에는 부착된 칼라-모자이크 필터(22)를 갖는 센서(20), 선택적인 IR 차단 필터(24), 광학 조립체(26), 및 케이블(28)에 의해 센서에 부착되는 컨트롤러(30)를 나타내는, 칼라-모자이크 필터를 갖는 종래기술의 솔리드 스테이트 비디오 센서의 개략적인 도면이 도시되어 있다.
머신 비젼을 포함하는 2차 산업은, 방송, ENG 및 가정용 캠코더 산업에 비해 상대적으로 적은 비디오 센서 및 카메라 사용자를 가진다. 결과적으로 생산자들은 일반적으로 이들 2차 시장을 위하여 특별히 센서를 생산하지 않으며, 따라서 이러한 제품은 다른 용도를 위하여 제조된 센서에 의존할 수밖에 없다. 머신 비젼 제품들은 성공을 위해 고속 처리, 및 높은 민감도, 고해상도 및 저비용 센서를 종종 요구한다. 이러한 이유, 및 또 다른 이유로, 머신 비젼 제품들은 전형적으로 흑백 센서를 사용하며, 여기에서 이미지화된 장면으로부터의 이미지 데이터는 회색의 색조로 렌더링된다. 흑백 이미지화를 성취하기 위해, 머신 비젼 제품들은 3-채널 이색성 프리즘 클러스터의 전문가용 장비에 사용되기 위해 개발된 센서를 때때로 사용한다. 이것은, 색 정보가 처리될 필요가 없으므로 고속 처리를 가능하게 하고, 전체 센서가 넓은 밴드의 빛을 감지할 수 있으므로 높은 민감도를 가지도록 하고, 모든 화소 즉 픽셀이 사용되므로 고해상도를 가지도록 한다. 그렇지만 이것은, 이들 센서가 전형적으로 대량 생산된 칼라 모자이크 센서들보다 더욱 비싸므로 저렴한 해결책은 아니다.
칼라 모자이크 센서는 저렴하기 때문에 머신 비젼 제품에 사용될 것이 소망되고 있다. 칼라 필터가 영구적으로 부착되는 결과, 이들 센서는 흑백 센서처럼 잘 작동하지 못하며, 색 정보를 제거하기 위한 추가 프로세싱을 전형적으로 필요로 하며, 그에 따라 흑백 이미지를 형성한다. 이들 카메라가 색 정보를 생성하도록 설계되어 있으므로, 이들 센서로부터의 이미지 데이터는 전형적으로 3개의 분리된 (적색, 녹색 및 청색의) 이미지로서 각각 전송되거나 많은 사용가능한 칼라 포맷들 중 하나로 인코딩된다. 공간적으로 분리된 적색, 녹색 및 청색 픽셀들이 단일의 흑백 픽셀을 형성하기 위해 결합되어야만 하고, 그에 따라 공간적인 해상도가 감소하므로, 이러한 프로세싱의 결과 해상도가 감소된다. 게다가, 칼라 필터는 각각의 픽셀 민감도를 감소시키고, 보다 긴 노출 시간 및/또는 장면에 대한 보다 많은 광 에너지를 필요로 하는데, 이것들 중 어떤 것도 바람직하지 않다.
IR에 대한 솔리드 스테이트 이미저의 민감도는 잘 알려져 있다. 가시광선 및 적외선을 동시에 이미지화하기 위한 방법 및 장치는 개발되어 있다. 예를 들어, 미국특허 US 3,806,633 호 "다중 스펙트럼 데이터 센서 및 디스플레이 시스템"에는 가시광선 이미지로 등록되는 IR 이미지를 생성하기 위한 광학수단을 갖는 이중 센서 장치가 개시되어 있다. 미국특허 US 4,651,001 호 "적층된 셀 구조를 갖는 가시광선 적외선 이미지화 장치"는 신규한 센서 구성을 사용하여 가시광선 및 IR 이미지를 동시에 생성하고자 하는 것이다. 가시광선 및 IR 데이터 양쪽 모두를 획득하기 위한 솔리드 스테이트 센서의 능력은 미국특허 US 5,555,464 호 "CCD 카메라를 위한 적색/근적외선 필터링"에서 개발되었으며, 여기에서 신규한 모자이크-칼라 필터가 가시광선에 더하여 IR광을 받아들이기 위해 표준 필터를 대신하여 사용되고 있다. 이러한 접근 방법들은 모두 IR 이미지에 더하여 칼라 이미지를 생성하거나 IR 데이터 또는 결합된 IR 및 가시광선 데이터의 가색상 이미지(false color images)를 생성하며, 이들 모두는 저렴하고, 빠르고, 고해상도 프로세싱의 머신 비젼을 목표로 한다.
최근, 칼라-모자이크 필터 타입의 칼라 센서를 사용하는 디지털 카메라 및 휴대폰과 같이, CCD, CMOS 및 유사한 센서들을 위한 다른 주요한 시장이 형성되고 있다. 이러한 발전은 머신 비젼 시스템에 적용될 수 있는 매우 저렴한 가격의 센서를 가능하게 하며 그에 따라 그러한 시스템의 가격을 감소시킨다. IR 데이터를 이미지화하기 위한 저렴한 센서를 이용하는 하나의 시스템이 미국특허 US 7,235,775 호 "적외선 및 가시광선 스펙트럼에 있어서의 방출을 처리하기 위한 적외선 이미지화 장치"에 개시되어 있다. 여기에 설명된 시스템은 센서로부터 IR 필터를 제거하고, IR 데이터만 통과하는 필터로 그것을 대체한다. 그 다음 이 시스템은 가시광선 칼라-모자이크 필터로 IR 응답에 있어서 별개의 3개의 피크를 형성하도록 하고 그에 따라 IR 파장 영역에 있어서 3개의 스펙트럼 밴드의 가색상 이미지를 형성한다. 이러한 접근방법은 IR 데이터를 획득하기 위해 칼라-모자이크 센서를 사용하는 것의 2개의 중요한 문제점을 다루는 것에 실패하였다. 우선, 이 시스템은 3개의 별개의 이미지를 처리해야만 하며, 이것은 표준 가시광선 프로세싱에 비해 개선된 것이 아니다. 둘째로, 획득된 3개의 가색상 이미지는, 이것들이 공간적으로 멀리플렉스되기 때문에, 센서의 잠재 해상도에 대해 떨어진 해상도를 갖는다.
그러므로 칼라-모자이크 센서가 전술된 제한으로 인한 머신 비젼과 관련된 특별한 요구사항들에 적합하다는 것은 분명하다. 따라서, 칼라-모자이크 필터식 솔리드 스테이트 이미저로부터의 전정색 응답(panchromatic response)를 획득함으로써 머신 비젼 제품들에 적용될 수 있는 저렴한 센서에 대한 요구가 여전히 남아 있다.
본 발명은 칼라-모자이크 비디오 센서로부터의 전정색 응답을 시뮬레이션하기 위한 방법 및 장치에 관한 것이다. 본 발명의 일 실시형태에 있어서 파장의 함수로서 다중-칼라 비디오 센서의 응답을 묘사하는 색체 응답 곡선의 세트가 시험되고, 다중-칼라 비디오 센서가 각각의 파장에 대한 실질적으로 균일한 응답을 가지는 상기 색체 응답 곡선들의 영역을 찾아낸다. 도 3에는 전형적인 칼라-모자이크 필터의 스펙트럼 응답을 나타내는 그래프(40)가 도시되어 있다. 이 그래프는 파장의 함수로서 청색(42), 녹색(44) 및 적색(36) 필터의 퍼센트 양자 효율(quantum efficiency)에 있어서의 응답을 나타낸다. 스펙트럼의 IR 부분에 있어서 3개의 필터 모두의 균일한 응답에 주목해야 한다. 이러한 파장 영역은 대략 850nm를 중심으로 대략 700nm 내지 1000nm의 파장 내의 IR 파장 밴드 내에 존재한다. 이러한 파장 영역은, IR 복사(radiation)가 센서에 도달하여 이미지에 적합하지 않은 영향을 주는 것을 방지하기 위해서, 상업적으로 사용되는 카메라에서는 전형적으로 차단된다. 본 발명은 이러한 IR 필터를 제거하고 이것을 가시광선을 차단하고 IR 복사를 통과시키는 필터로 선택적으로 대체한다. 본 발명에 있어서, 이 파장 영역으로부터 하나의 파장 또는 파장들이 선택되어 다중-칼라 비디오 센서에 의해 이미지화될 이미지 장면은 인식된 영역 내에서 선택된 파장(들)으로 채색되며, 그에 따라 이미지화된 장면에 관련된 센서로부터 IR 데이터를 획득한다. 본 발명에 따라 구성된 시스템의 개략 도면은, 부착된 칼라-모자이크 필터(52)를 갖는 센서(50), 선택적인 IR 통과 필터(54), 광학 조립체(56), 컨트롤러(60)에 광원(62)을 작동적으로 연결하는 케이블(64)을 갖는 광원(62)과 함께 컨트롤러(60)에 센서(50)를 연결하는 케이블(58)을 나타내는 도 4에 도시되어 있다.
도 1은 모자이크 필터를 갖는 종래기술의 이미지 센서의 개략적인 도면이다.
도 2는 종래기술의 칼라-모자이크 솔리드 스테이트 카메라의 개략적인 도면이다.
도 3은 3가지 색상의 모자이크 필터의 스펙트럼 응답을 나타내는 그래프이다.
도 4는 칼라-모자이크 센서를 사용하는 흑백 머신 비젼의 개략적인 도면이다.
도 2는 종래기술의 칼라-모자이크 솔리드 스테이트 카메라의 개략적인 도면이다.
도 3은 3가지 색상의 모자이크 필터의 스펙트럼 응답을 나타내는 그래프이다.
도 4는 칼라-모자이크 센서를 사용하는 흑백 머신 비젼의 개략적인 도면이다.
도 1은 CCD 또는 CMOS 솔리드 스테이트 이미저(solid state imager)와 정렬되는 칼라 모자이크 필터(color mosaic filter)(10)를 위하여 배열되는 표준 베이어(standard Bayer)를 나타낸다. 예를 들어 적색(12), 녹색(14) 및 청색(16)의 필터 소자들이 표시되어 있다. 솔리드 스테이트 이미지화 센서에 대한 이러한 타입의 필터의 적절한 적용은 필터의 각 색상 구역이 센서 내의 단일의 액티브 화소와 정렬될 것을 요구한다. 이것은 각각의 센서 소자 또는 픽셀이 단지 하나의 필터링되는 색상에 노출되도록 한다. 이것은 필터가 조심스럽게 정렬되고 센서에 대해 영구적으로 부착될 것을 요구한다. 도면을 분석해 보면, 녹색광의 도움으로 형성된 이미지에 있어서 이 이미지는 동등한 전정색 센서의 해상도의 본질적으로 절반으로 형성되며, 청색 또는 적색광에 있어서 그 이미지는 동등한 전정색 이미저의 해상도의 사분의 일임을 알 수 있을 것이다.
머신 비젼에 있어서, 빛의 최적의 기하학적 구조를 위하여 또한 빛의 타이밍(스트로보스코프 또는 플래시 제품)을 위하여 조명을 제어하는 것은 통상적인 관행이다. 종종 이들 제품을 위한 가장 현실적인 발광체는 전형적으로 단지 수 나노미터의 파장에 걸쳐 이어지는 유사-단색성(quasi-monochromatic)인 발광 다이오드(LED) 광이다. 비록 백색 LED가 적어도 2가지 상이한 기술(3-자극(tri-stimulus) 및 2차 방출 타입(secondary emission type))에서 사용되고 있지만, 어느 하나도 더욱 인정받는 단색 LED의 패키지 타입 및 스타일의 다양성에 있어서 활용가능하지 않다. 더욱이, 적절한 광대역 광이 활용되더라도, 물체의 색상이 아니라 종종 물체의 형태를 연구하고 있으며, 색정보가 제공된다면(칼라 이미지 및 광대역 발광체를 사용함과 같이) 연산적으로 필터링되거나 무시되어야만 하는 겉으로만 그럴싸한 정보를 제공하게 된다.
도 2는 부착된 칼라-모자이크 필터(22)를 갖는 솔리드 스테이트 센서(20)를 포함하는 전형적인 종래기술의 칼라-모자이크 솔리드 스테이트 비디오 시스템을 나타낸다. 빛은 광학 조립체(26)를 통해 시스템으로 들어가서; IR 광이 센서에 도달하지 않도록 차단하기 위한 선택적인 IR 필터(24)를 통과하고 난 다음, 칼라-모자이크 필터(22)를 통하여 솔리드 스테이트 센서(20)에 도달한다. 센서(20)에 의해 형성되는 이미지 데이터는 처리를 위해 케이블(28)을 경유하여 컨트롤러(30)에 전송된다. 대부분의 칼라-모자이크 이미저는 IR 필터를 포함하지만 모두 그런 것은 아니다. IR 필터의 목적은 이미저의 칼라 응답을 왜곡시킬 수 있는, 장면(scene) 내의 IR 복사로부터 오는 관련없는 정보를 걸러내고자 하는 것이다. 대부분의 상업적인 제품에 있어서, 이 목표는 최대 민감도 또는 해상도가 아니라 정확한 색상 충실도(color fidelity)이다. IR 필터가 영구적이고 정확한 정렬을 요구하지 않기 때문에, 전형적으로 이것은 칼라 모자이크 필터(22)의 상단에서 센서(20)의 외부표면에 부착되거나, 또는 광학 조립체 내에 포함된다. 이것이 시스템 내의 어느 곳에서 발견되는지에 관계없이, 필요시 IR 필터를 제거하고 또 다른 타입의 필터로 교체하는 것이 통상적으로 가능하다.
도 3은 전형적인 칼라-모자이크 필터의 스펙트럼 응답을 나타내는 그래프(40)이다. 이 그래프는 파장의 함수로서 청색(42), 녹색(44) 및 적색(36) 필터의 퍼센트 양자 효율에 있어서의 응답을 나타낸다. 이러한 이미지의 해석에 의해 알 수 있는 것은 모든 밴드가 적외선 영역에서의 "누출(leakage)"을 가진다는 것이다. 전형적으로, 이러한 누출은 이러한 "밴드 외(out-of-band)" 복사(radiation)를 거부하는 광학 필터를 가지고 다루어진다. 그렇지만, 본 발명은 이러한 누출을 활용한다. 바람직한 실시형태에 있어서, 발광체는 반응도(responsivity)가 가장 높고 가장 가깝게 합치되는 지점에서 선택된다. 이러한 합치된 반응도는 전형적으로 700nm와 1000nm 사이에서 야기된다. 본 발명의 일 실시형태에 있어서, 850nm에서의 광은 실질적으로 전정색 응답을 초래할 것이다. 또한 이 색상은 통상적인 LED 타입이며 매우 다양한 패키지 및 크기 중에서 손쉽게 활용가능하다. 그러한 장치는 전형적으로, 850nm에서 또는 그 근처에서의 방출에 상응하는 밴드 갭을 가지는, 반도체 물질 알루미늄 갈륨 비화물(arsenide)에 기초한다.
도 4는 본 발명에 따라서 구성된 시스템을 나타낸다. 본 발명의 실시형태는 부착된 칼라-모자이크 필터(52)와 같은 것에 기초하는 상업적으로 이용가능한 칼라-모자이크 이미저(50) 또는 카메라를 사용한다. 근(near) 전정색 응답은, IR-차단 필터를 제거하고, 선택된 파장 내의 IR 복사를 통과시키고 가시광선을 차단하는 필터(54)로 선택적으로 교체함으로써 상기 이미저 또는 카메라로 성취된다. 바람직한 실시형태에 있어서, 특정 파장 영역, 상세하게는 3개의 색상 채널 모두가 실질적으로 동일하거나 그 부분집합인 이미저의 스펙트럼 응답에 상응하는 파장 영역의 유사-단색성 조명(62)이 사용된다. 본 경우에 있어서 파장 영역은 700과 1000nm 사이에 있다. 특히 대략 850nm의 파장이 사용된다. 바람직한 실시형태에 있어서, 유사-단색성 조명은 3개의 색상 채널 모두에 대한 응답이 실질적으로 동일한 영역 내에서의 반응도의 상대적인 피크에서 선택된다. 컨트롤러의 제어 하에서 그리고 케이블(64)을 경유하여 컨트롤러(60)에 접속되는 조명(62)은 적절한 시간에 그리고 선택된 파장 또는 파장들로 장면(도시생략)을 비춘다. 이 장면은, 조명(62)에 의해 방사되어 장면(도시생략)에 의해 반사되고 칼라-모자이크 필터(52) 및 선택적인 IR 통과 필터(54)를 통하여 센서(50) 상에 이미지화되는 IR 복사에 초점이 맞춰지도록 작동하는 렌즈 또는 렌즈들을 포함하는 광학 조립체(56)를 경유하여 이미지화된다. 이렇게 하여 센서(50)에 의해 획득된 이미지 데이터는 이어지는 프로세싱을 위하여 케이블(58)을 경유하여 컨트롤러(60)에 전송된다.
본 발명의 실시형태에 있어서, 최초의 프로세싱은 센서에 의해 컨트롤러에 전송된 3개의 의사-칼라 이미지(pseudo-color images)로부터 단일의 흑백 이미지를 형성하는 단계를 포함한다. 색상 정보는 다양한 방식으로 인코딩될 수 있음에 주목해야 한다. 가장 간단한 것은 센서 영역의 감소된 샘플링과 비슷한 감소된 해상도를 갖는 3개의 별개의 이미지들이 전송되는 RGB 포맷이다. 비록 공간적인 해상도 또는 동적 범위가 감소될 수는 있지만, YUV 또는 NTSC와 같은 또 다른 인코딩도 가능하며 본 발명과 함께 동작될 수 있다. 이러한 최초 프로세싱은 3개의 의사 칼라 이미지로부터의 데이터를 갖는 원래의 풀 사이즈 센서(full size sensor)와 같은 크기로 2D 배열 내에 채워짐으로써 흑백 이미지를 생성한다. "적색", "청색" 및 "녹색" 이미지들로부터의 데이터는 원래의 센서로부터 획득되며 그에 따라 특정 픽셀이 원래의 센서와 동일한 고유의 해상도를 갖는 흑백 이미지를 생성한다. 더욱이, 3개의 색상 모두에 의해 균등하게 전송되도록 선택되는 IR 광으로 장면이 조명되었기 때문에, 광에 대한 시스템의 민감도는 최대화된다.
본 발명의 또 다른 실시형태는 필터링된 IR 데이터에 대한 칼라-모자이크 센서에 의한 응답에 있어서의 어떠한 변화도 제거하기 위해 데이터를 더욱 처리한다. 칼라-모자이크 필터/센서 조합물에 있어서의 상이한 색상이 IR 복사에 대해 상이하게 응답할 수 있다는 것을 상상할 수 있을 것이다. 본 발명이 필터와 관계없이 센터로부터의 균일한 응답을 가지는 것에 의존하기 때문에, 응답에 있어서의 이러한 차이는 선택된 IR 광의 파장으로 센서의 동적 범위에 걸쳐 응답을 측정하여 이 응답에 기초하여 정정 인자(correction factors)를 연산함으로써 제거될 수 있다. 이들 인자는 칼라-모자이크 필터의 다양한 색상들 사이에서 응답에 있어서의 변화를 제거 또는 감소시키기 위해서 어느 칼라 필터가 획득되는가에 따라 컨트롤러에 의해 더해지거나 곱해져(additive or multiplicative) 각각의 픽셀에 적용된다.
당해 기술분야의 통상의 지식을 가진 자라면 본 발명의 기초가 되는 원리로부터 벗어남 없이 본 발명의 전술된 실시형태의 상세에 대해 많은 변형을 만들어 낼 수 있음이 분명하다. 그러므로 본 발명의 범위는 이어지는 청구항에 의해서만 결정되어야 할 것이다.
Claims (13)
- 다중-칼라 비디오 센서로부터의 전정색 응답을 시뮬레이션하는 개선된 방법으로서, 상기 다중-칼라 비디오 센서는 색체 응답 곡선을 가지며 칼라 필터와 선택적으로 적외선 필터를 포함하고, 상기 칼라 비디오 센서는 이미지 장면을 이미지화하여 이미지 데이터를 획득하도록 작동하고, 상기 데이터는 컨트롤러에 전송되고, 상기 시뮬레이션 방법은:
상기 다중-칼라 비디오 센서가 각각의 파장에 대해 실질적으로 균일한 응답을 가지는 상기 색체 응답 곡선의 영역을 찾아내는 단계;
상기 찾아진 영역 내에서의 파장으로 상기 다중-칼라 비디오 센서에 의해 상기 이미지화된 장면을 조명하는 단계;
상기 이미지화된 장면에 관련된 상기 다중-칼라 비디오 센서로부터의 상기 데이터를 획득하는 단계; 및
상기 컨트롤러에 상기 획득된 데이터를 전송하여 상기 데이터를 흑백 이미지 로 결합시키는 단계
를 포함하는, 시뮬레이션 방법. - 청구항 1에 있어서,
필요시 상기 실질적으로 균일한 응답 영역에 걸쳐서 응답에 있어서의 차이를 결정하는 단계; 및
상기 결정된 차이에 기초하여 상기 데이터에 대해 보정을 실시하는 단계
를 더 포함하는, 시뮬레이션 방법. - 청구항 1에 있어서, 상기 칼라 필터는 적색, 녹색 및 청색 필터 성분을 가지는 베이어(Bayer) 필터인 것인, 시뮬레이션 방법.
- 청구항 1에 있어서, 각각의 파장에 대한 상기 실질적으로 균일한 응답은 상기 칼라 비디오 센서로부터 상기 적외선 필터를 제거함으로써 개선되는 것인, 시뮬레이션 방법.
- 청구항 1에 있어서, 상기 실질적으로 균일한 응답은 상기 칼라 비디오 센서에 가시광선 필터를 부가함으로써 개선되는 것인, 시뮬레이션 방법.
- 청구항 1에 있어서, 상기 조명은 대략 700nm 내지 1000nm 사이의 파장을 가지는 것인, 시뮬레이션 방법.
- 청구항 1에 있어서, 상기 조명은 대략 850nm의 파장을 가지는 것인, 시뮬레이션 방법.
- 다중-칼라 비디오 센서로부터의 전정색 응답을 시뮬레이션하는 개선된 시스템으로서, 상기 다중-칼라 비디오 센서는 색체 응답 곡선을 가지는 칼라 필터를 포함하며 관련된 적외선 필터를 가질 수 있고, 상기 칼라 비디오 센서는 이미지 장면을 이미지화하여 이미지 데이터를 획득하도록 작동하고, 컨트롤러는 상기 데이터를 처리하도록 작동하고, 상기 시스템은:
상기 색체 응답 곡선의 실질적으로 균일한 응답 영역에 합치하는 광원
을 포함하는, 시스템. - 청구항 8에 있어서, 상기 칼라 필터는 적색, 녹색 및 청색 필터 성분을 가지는 베이어(Bayer) 필터인 것인, 시스템.
- 청구항 8에 있어서, 각각의 파장에 대한 상기 실질적으로 균일한 응답은 상기 칼라 비디오 센서로부터 상기 적외선 필터를 제거함으로써 개선되는 것인, 시스템.
- 청구항 8에 있어서, 각각의 파장에 대한 상기 실질적으로 균일한 응답은 상기 칼라 비디오 센서에 가시광선 필터를 부가함으로써 개선되는 것인, 시스템.
- 청구항 8에 있어서, 상기 광원은 대략 700nm 내지 1000nm 사이의 파장을 가지는 것인, 시스템.
- 청구항 8에 있어서, 상기 광원은 대략 850nm의 파장을 가지는 것인, 시스템.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US99264307P | 2007-12-05 | 2007-12-05 | |
US60/992,643 | 2007-12-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20100103504A true KR20100103504A (ko) | 2010-09-27 |
Family
ID=40721225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107012779A KR20100103504A (ko) | 2007-12-05 | 2008-12-05 | 칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8259203B2 (ko) |
JP (1) | JP2011507353A (ko) |
KR (1) | KR20100103504A (ko) |
CN (1) | CN101878653B (ko) |
TW (1) | TWI444050B (ko) |
WO (1) | WO2009076184A2 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9743065B2 (en) | 2013-09-30 | 2017-08-22 | Samsung Electronics Co., Ltd. | Method and apparatus generating color and depth images |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4630781B2 (ja) * | 2005-09-26 | 2011-02-09 | キヤノン株式会社 | 波長成分の割合検出装置及びそれを用いた撮像装置 |
EP2359593B1 (en) * | 2008-11-25 | 2018-06-06 | Tetravue, Inc. | Systems and methods of high resolution three-dimensional imaging |
TW201208350A (en) * | 2010-08-06 | 2012-02-16 | Hon Hai Prec Ind Co Ltd | Image sensing board inspecting device, system and method |
EP2702375A2 (en) | 2011-04-25 | 2014-03-05 | Skybox Imaging, Inc. | Systems and methods for overhead imaging and video |
WO2013015145A1 (ja) * | 2011-07-22 | 2013-01-31 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
EP3138285A4 (en) | 2014-04-26 | 2018-01-03 | Tetravue, Inc. | Method and system for robust and extended illumination waveforms for depth sensing in 3d imaging |
US10230925B2 (en) | 2014-06-13 | 2019-03-12 | Urthecast Corp. | Systems and methods for processing and providing terrestrial and/or space-based earth observation video |
WO2016153914A1 (en) | 2015-03-25 | 2016-09-29 | King Abdulaziz City Of Science And Technology | Apparatus and methods for synthetic aperture radar with digital beamforming |
WO2017044168A2 (en) | 2015-06-16 | 2017-03-16 | King Abdulaziz City Of Science And Technology | Efficient planar phased array antenna assembly |
US10178360B2 (en) | 2015-08-03 | 2019-01-08 | Sony Corporation | Imaging sensor coupled with layered filters |
US10955546B2 (en) | 2015-11-25 | 2021-03-23 | Urthecast Corp. | Synthetic aperture radar imaging apparatus and methods |
FR3045263B1 (fr) * | 2015-12-11 | 2017-12-08 | Thales Sa | Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique |
CN108780142B (zh) | 2016-02-29 | 2023-10-31 | 恩耐股份有限公司 | 3d成像系统和方法 |
CN106502027A (zh) * | 2016-11-22 | 2017-03-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种双摄像头模组及智能设备 |
WO2018217814A1 (en) | 2017-05-23 | 2018-11-29 | Urthecast Corp. | Synthetic aperture radar imaging apparatus and methods |
WO2018217902A1 (en) | 2017-05-23 | 2018-11-29 | King Abdullah City Of Science And Technology | Synthetic aperture radar imaging apparatus and methods for moving targets |
EP3698167A4 (en) | 2017-11-22 | 2021-11-17 | Urthecast Corp. | SYNTHETIC OPENING RADAR FORMING APPARATUS AND ASSOCIATED PROCESSES |
US11212512B2 (en) | 2017-12-28 | 2021-12-28 | Nlight, Inc. | System and method of imaging using multiple illumination pulses |
JP7354802B2 (ja) * | 2019-11-29 | 2023-10-03 | 株式会社サタケ | 光学式選別機 |
JP2022148303A (ja) * | 2021-03-24 | 2022-10-06 | i-PRO株式会社 | 監視カメラ、画像処理方法、およびプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3806633A (en) | 1972-01-18 | 1974-04-23 | Westinghouse Electric Corp | Multispectral data sensor and display system |
JPS60130274A (ja) | 1983-12-19 | 1985-07-11 | Toshiba Corp | 固体撮像装置 |
JPH06169461A (ja) | 1992-11-30 | 1994-06-14 | Ikegami Tsushinki Co Ltd | 固体撮像素子を有するカラーカメラ |
US5555464A (en) | 1995-07-28 | 1996-09-10 | Lockheed Martin Corporation | Red/near-infrared filtering for CCD cameras |
JPH10108206A (ja) * | 1996-09-27 | 1998-04-24 | Toshiba Lighting & Technol Corp | カラービデオカメラ、テレビドアホン及び監視装置 |
US6999119B1 (en) * | 1998-04-10 | 2006-02-14 | Nikon Corporation | Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element |
JP2001195688A (ja) * | 2000-01-17 | 2001-07-19 | Mitsubishi Electric Corp | 撮像装置 |
US20030016290A1 (en) * | 2001-07-18 | 2003-01-23 | Oh-Bong Kwon | Multi-functional image sensing device |
JP2006109120A (ja) * | 2004-10-06 | 2006-04-20 | Funai Electric Co Ltd | 赤外線撮像装置 |
JP4678172B2 (ja) | 2004-11-22 | 2011-04-27 | 株式会社豊田中央研究所 | 撮像装置 |
JP4630781B2 (ja) * | 2005-09-26 | 2011-02-09 | キヤノン株式会社 | 波長成分の割合検出装置及びそれを用いた撮像装置 |
JP4466569B2 (ja) * | 2006-01-10 | 2010-05-26 | 株式会社豊田中央研究所 | カラー画像再生装置 |
JP4310317B2 (ja) * | 2006-02-06 | 2009-08-05 | キヤノン株式会社 | 可視成分割合算出方法、およびそれを用いた光学機器 |
JP4375348B2 (ja) | 2006-03-08 | 2009-12-02 | ソニー株式会社 | 撮像装置及び撮像装置の制御方法 |
JP4930109B2 (ja) * | 2007-03-06 | 2012-05-16 | ソニー株式会社 | 固体撮像装置、撮像装置 |
-
2008
- 2008-12-05 US US12/328,881 patent/US8259203B2/en not_active Expired - Fee Related
- 2008-12-05 KR KR1020107012779A patent/KR20100103504A/ko not_active Application Discontinuation
- 2008-12-05 WO PCT/US2008/085629 patent/WO2009076184A2/en active Application Filing
- 2008-12-05 CN CN2008801182353A patent/CN101878653B/zh not_active Expired - Fee Related
- 2008-12-05 TW TW097147519A patent/TWI444050B/zh not_active IP Right Cessation
- 2008-12-05 JP JP2010537098A patent/JP2011507353A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9743065B2 (en) | 2013-09-30 | 2017-08-22 | Samsung Electronics Co., Ltd. | Method and apparatus generating color and depth images |
Also Published As
Publication number | Publication date |
---|---|
CN101878653B (zh) | 2013-06-12 |
WO2009076184A2 (en) | 2009-06-18 |
WO2009076184A3 (en) | 2009-07-30 |
US20090147112A1 (en) | 2009-06-11 |
JP2011507353A (ja) | 2011-03-03 |
TW200943983A (en) | 2009-10-16 |
US8259203B2 (en) | 2012-09-04 |
CN101878653A (zh) | 2010-11-03 |
TWI444050B (zh) | 2014-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8259203B2 (en) | Method and apparatus for achieving panchromatic response from a color-mosaic imager | |
JP4118916B2 (ja) | マルチスペクトル画像撮影装置 | |
US7235775B2 (en) | Infrared imaging apparatus for processing emissions in infrared and visible spectrum | |
JP6582987B2 (ja) | 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ | |
JP4633129B2 (ja) | マルチスペクトル画像撮影装置 | |
US20060125936A1 (en) | Multi-lens imaging systems and methods | |
JP2004228662A (ja) | 撮像装置 | |
US20070153099A1 (en) | Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof | |
CN1441603A (zh) | 四色图像感测装置 | |
US11747533B2 (en) | Spectral sensor system using optical filter subarrays | |
JP4874752B2 (ja) | デジタルカメラ | |
US20190058837A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
JP5927570B2 (ja) | 3次元撮像装置、光透過部、画像処理装置、およびプログラム | |
JP5108013B2 (ja) | カラー撮像素子及びこれを用いた撮像装置及びフィルタ | |
TW202205847A (zh) | 攝像元件及電子機器 | |
US20050219659A1 (en) | Reproduction of alternative forms of light from an object using digital imaging system | |
JPH03139084A (ja) | 固体カラー撮像装置 | |
JP4533261B2 (ja) | 撮像装置 | |
Maeda et al. | Acquiring multispectral light transport using multi-primary DLP projector | |
JP2006033483A (ja) | カラー撮像装置 | |
Skorka et al. | Color correction for RGB sensors with dual-band filters for in-cabin imaging applications | |
JP2005223700A (ja) | 撮影装置及び色分解光学系 | |
JP2006311524A (ja) | 撮像装置 | |
KR101242929B1 (ko) | 다파장 구별 촬영 장치 | |
JP2011254265A (ja) | 多眼カメラ装置および電子情報機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |