KR20100103504A - 칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치 - Google Patents

칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치 Download PDF

Info

Publication number
KR20100103504A
KR20100103504A KR1020107012779A KR20107012779A KR20100103504A KR 20100103504 A KR20100103504 A KR 20100103504A KR 1020107012779 A KR1020107012779 A KR 1020107012779A KR 20107012779 A KR20107012779 A KR 20107012779A KR 20100103504 A KR20100103504 A KR 20100103504A
Authority
KR
South Korea
Prior art keywords
color
filter
response
wavelength
video sensor
Prior art date
Application number
KR1020107012779A
Other languages
English (en)
Inventor
레오 볼드윈
Original Assignee
일렉트로 싸이언티픽 인더스트리이즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 일렉트로 싸이언티픽 인더스트리이즈 인코포레이티드 filed Critical 일렉트로 싸이언티픽 인더스트리이즈 인코포레이티드
Publication of KR20100103504A publication Critical patent/KR20100103504A/ko

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

저렴한 칼라 이미저로부터 흑백의 응답을 성취하기 위한 방법 및 장치가 제공된다. 본 방법 및 장치에 있어서, 적외선(IR)에 대한 밴드 외 응답은 흑백 이미지를 생성하기 위해 개발된 솔리드 스테이트 센서에 의한다. 이 흑백 이미지는 센서로부터의 IR 차단 필터를 제거하고 LED로부터의 IR 복사로 이미지화될 장면을 채색함으로써 생성된다. LED로부터 방사되는 파장은, 센서에 영구적으로 부착되는 칼라-모자이크 필터에도 불구하고, IR 광에 대한 센서의 응답이 비교적 균등한 영역에 상응하는 파장 또는 파장들에 합치된다.

Description

칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치{METHOD AND APPARATUS FOR ACHIEVING PANCHROMATIC RESPONSE FROM A COLOR-MOSAIC IMAGER}
본 발명은 이미징 시스템, 특히 머신 비젼(machine vision) 시스템에 적용되는 이미징 시스템에 관한 것이다. 특히 본 발명은 머신 비젼 시스템에 있어서의 칼라 이미저의 사용에 관한 것이다. 더욱 상세하게는 본 발명은 머신 비젼 프로세싱을 위한 흑백 이미지를 생성하는 칼라 이미저의 사용에 관한 것이다.
일반적으로, 기본 기술(즉, 전하 결합 소자(Charge Coupled Devices; CCD) 또는 상보성 금속 산화막 반도체(Complimentary Metal Oxide Semiconductor; CMOS)로 종래기술에서 언급되는, 초점면 배열 솔리드 스테이트 이미저(focal-plane array solid state imagers)를 위한 시장은, CCD 또는 CMOS 센서가 주된 구성요소인 비디오 카메라를 위한 시장에 의해 움직이고 있다. 스튜디오 방송, ENG (electronic news gathering), 및 가정용 캠코더(consumer camcorder)로 사용되는 비디오 카메라들(여기에서 비디오 카메라 및 테이프 데크 또는 디스크 드라이브 레코더는 단일의 패키지로 통합되어 있다) 모두는 전형적으로 칼라 신호를 제공한다. 이 신호는 전형적으로 2가지 방법 중 어느 하나에 의해 생성되고 있다.
첫 번째 방법은 전문적인 사양의 장비 및 고사양의 소비자용 장비에 전형적으로 적용되고 있다. 이 방법에 있어서 들어오는 이미지는 비디오 렌즈를 통과한 후, 이색성 프리즘 클러스터(dichroic prism cluster)를 통과한다. 이색성 프리즘 클러스터는 3개의 프리즘의 조립체이며, 그 중 2개는 이색성(색-밴드 선택) 코팅층을 갖는다. 제1 프리즘은 제1 CCD 또는 유사한 이미저에 대해 하나의 색 밴드, 전형적으로 청색을 반사시키고 나머지 색을 통과시키는 표면을 가진다. 제2 프리즘은 제2 CCD 또는 유사한 이미저에 대해 두 번째 색 밴드, 전형적으로 녹색을 반사시키는 표면을 가진다. 제3 프리즘은, 이 경우에는 적색 밴드에 있어서의 신호의 밸런스를 받아들여, 제3 CCD 또는 유사한 이미저에 전송한다. 제3 프리즘 상에 코팅층이 존재한다면, 전형적으로 이것은 CCD가 민감하게 반응할 수는 있지만 예를 들어 적외선과 같이 바람직하지 않은 것으로 간주되는 밴드 외의 광(out-of-band light)을 거부하기 위한 코팅층이다. 적외선(IR)을 거부하기 위한 이 코팅층은, 프리즘 클러스터의 전방에 위치될 수도 있고, 또는 렌즈에 통합될 수도 있다. 이러한 첫 번째 방법에 있어서, 각각의 CCD 또는 유사한 센서는, 색-분리가 이색성 프리즘 클러스터에서 이루어짐에 따라 총천연색 스펙트럼 응답을 그대로 사용할 수 있다는 것에 주목해야 한다. 더욱이 각각의 센서는 전체 고유 해상도(full intrinsic resolution)로 이미지 데이터를 획득하여, 이미지화된 장면(scene)으로부터 3가지 색을 나타내는 3개의 전체 해상도 이미지들을 만들어낸다.
두 번째 방법은 저가의 및/또는 매우 컴팩트한 ENG 시스템과 같은 보다 낮은 사양의 장비 그리고 대부분의 가정용-사양 캠코더 시스템에 전형적으로 이용된다. 여기서는 단일 CCD 또는 유사한 이미저가 사용된다. 칼라-모자이크 필터는 솔리드 스테이트 이미저와 일체화되어 있으며, 여기에서 이미저 장치의 각각의 화소(픽셀)는 상응하는 색-밴드 필터에 의해 덮여 있다. 도 1에는 일반적인 적색(12), 녹색(14) 및 청색(16)의 칼라 필터 소자를 나타내는 칼라-모자이크 필터(13)의 도면이 도시되어 있다. 전형적으로, 픽셀들 중 절반은 녹색 이미지 성분을 주로 전송하는 색-밴드 필터와 결부되고, 픽셀들 중 사분의 일은 청색 이미지 성분을 주로 전송하는 색 밴드 필터와 결부되고, 픽셀들 중 사분의 일은 적색 이미지 성분을 주로 전송하는 색 밴드 필터와 결부된다. 이러한 타입의 필터는 때때로 베이어 필터(Bayer filter)라고 언급된다. 이러한 시스템은 인간 관찰자를 가장 잘 만족시키는 의도적인 절충안으로서 녹색 스펙트럼 쪽으로 편향되어 있다. 인간은 녹색 광에 가장 민감하고 청색 및 적색 광에는 보다 덜 민감하다. 녹색 성분은 인간이 특히 민감한 사람 얼굴에 관한 대부분의 정보를 지닌다. 이 방법에 있어서, 칼라-모자이크 필터는 제조 프로세스 도중에 센서의 신중한 감광성 소자(discreet photosensitive elements)와 정밀하게 정렬되고 적절하게 작동하기 위해 정렬된 상태를 유지해야만 하므로, 칼라-모자이크 필터는 솔리드 스테이트 이미저와 불가분의 관계에 있다는 것에 주목해야 한다. 도 2에는 부착된 칼라-모자이크 필터(22)를 갖는 센서(20), 선택적인 IR 차단 필터(24), 광학 조립체(26), 및 케이블(28)에 의해 센서에 부착되는 컨트롤러(30)를 나타내는, 칼라-모자이크 필터를 갖는 종래기술의 솔리드 스테이트 비디오 센서의 개략적인 도면이 도시되어 있다.
머신 비젼을 포함하는 2차 산업은, 방송, ENG 및 가정용 캠코더 산업에 비해 상대적으로 적은 비디오 센서 및 카메라 사용자를 가진다. 결과적으로 생산자들은 일반적으로 이들 2차 시장을 위하여 특별히 센서를 생산하지 않으며, 따라서 이러한 제품은 다른 용도를 위하여 제조된 센서에 의존할 수밖에 없다. 머신 비젼 제품들은 성공을 위해 고속 처리, 및 높은 민감도, 고해상도 및 저비용 센서를 종종 요구한다. 이러한 이유, 및 또 다른 이유로, 머신 비젼 제품들은 전형적으로 흑백 센서를 사용하며, 여기에서 이미지화된 장면으로부터의 이미지 데이터는 회색의 색조로 렌더링된다. 흑백 이미지화를 성취하기 위해, 머신 비젼 제품들은 3-채널 이색성 프리즘 클러스터의 전문가용 장비에 사용되기 위해 개발된 센서를 때때로 사용한다. 이것은, 색 정보가 처리될 필요가 없으므로 고속 처리를 가능하게 하고, 전체 센서가 넓은 밴드의 빛을 감지할 수 있으므로 높은 민감도를 가지도록 하고, 모든 화소 즉 픽셀이 사용되므로 고해상도를 가지도록 한다. 그렇지만 이것은, 이들 센서가 전형적으로 대량 생산된 칼라 모자이크 센서들보다 더욱 비싸므로 저렴한 해결책은 아니다.
칼라 모자이크 센서는 저렴하기 때문에 머신 비젼 제품에 사용될 것이 소망되고 있다. 칼라 필터가 영구적으로 부착되는 결과, 이들 센서는 흑백 센서처럼 잘 작동하지 못하며, 색 정보를 제거하기 위한 추가 프로세싱을 전형적으로 필요로 하며, 그에 따라 흑백 이미지를 형성한다. 이들 카메라가 색 정보를 생성하도록 설계되어 있으므로, 이들 센서로부터의 이미지 데이터는 전형적으로 3개의 분리된 (적색, 녹색 및 청색의) 이미지로서 각각 전송되거나 많은 사용가능한 칼라 포맷들 중 하나로 인코딩된다. 공간적으로 분리된 적색, 녹색 및 청색 픽셀들이 단일의 흑백 픽셀을 형성하기 위해 결합되어야만 하고, 그에 따라 공간적인 해상도가 감소하므로, 이러한 프로세싱의 결과 해상도가 감소된다. 게다가, 칼라 필터는 각각의 픽셀 민감도를 감소시키고, 보다 긴 노출 시간 및/또는 장면에 대한 보다 많은 광 에너지를 필요로 하는데, 이것들 중 어떤 것도 바람직하지 않다.
IR에 대한 솔리드 스테이트 이미저의 민감도는 잘 알려져 있다. 가시광선 및 적외선을 동시에 이미지화하기 위한 방법 및 장치는 개발되어 있다. 예를 들어, 미국특허 US 3,806,633 호 "다중 스펙트럼 데이터 센서 및 디스플레이 시스템"에는 가시광선 이미지로 등록되는 IR 이미지를 생성하기 위한 광학수단을 갖는 이중 센서 장치가 개시되어 있다. 미국특허 US 4,651,001 호 "적층된 셀 구조를 갖는 가시광선 적외선 이미지화 장치"는 신규한 센서 구성을 사용하여 가시광선 및 IR 이미지를 동시에 생성하고자 하는 것이다. 가시광선 및 IR 데이터 양쪽 모두를 획득하기 위한 솔리드 스테이트 센서의 능력은 미국특허 US 5,555,464 호 "CCD 카메라를 위한 적색/근적외선 필터링"에서 개발되었으며, 여기에서 신규한 모자이크-칼라 필터가 가시광선에 더하여 IR광을 받아들이기 위해 표준 필터를 대신하여 사용되고 있다. 이러한 접근 방법들은 모두 IR 이미지에 더하여 칼라 이미지를 생성하거나 IR 데이터 또는 결합된 IR 및 가시광선 데이터의 가색상 이미지(false color images)를 생성하며, 이들 모두는 저렴하고, 빠르고, 고해상도 프로세싱의 머신 비젼을 목표로 한다.
최근, 칼라-모자이크 필터 타입의 칼라 센서를 사용하는 디지털 카메라 및 휴대폰과 같이, CCD, CMOS 및 유사한 센서들을 위한 다른 주요한 시장이 형성되고 있다. 이러한 발전은 머신 비젼 시스템에 적용될 수 있는 매우 저렴한 가격의 센서를 가능하게 하며 그에 따라 그러한 시스템의 가격을 감소시킨다. IR 데이터를 이미지화하기 위한 저렴한 센서를 이용하는 하나의 시스템이 미국특허 US 7,235,775 호 "적외선 및 가시광선 스펙트럼에 있어서의 방출을 처리하기 위한 적외선 이미지화 장치"에 개시되어 있다. 여기에 설명된 시스템은 센서로부터 IR 필터를 제거하고, IR 데이터만 통과하는 필터로 그것을 대체한다. 그 다음 이 시스템은 가시광선 칼라-모자이크 필터로 IR 응답에 있어서 별개의 3개의 피크를 형성하도록 하고 그에 따라 IR 파장 영역에 있어서 3개의 스펙트럼 밴드의 가색상 이미지를 형성한다. 이러한 접근방법은 IR 데이터를 획득하기 위해 칼라-모자이크 센서를 사용하는 것의 2개의 중요한 문제점을 다루는 것에 실패하였다. 우선, 이 시스템은 3개의 별개의 이미지를 처리해야만 하며, 이것은 표준 가시광선 프로세싱에 비해 개선된 것이 아니다. 둘째로, 획득된 3개의 가색상 이미지는, 이것들이 공간적으로 멀리플렉스되기 때문에, 센서의 잠재 해상도에 대해 떨어진 해상도를 갖는다.
그러므로 칼라-모자이크 센서가 전술된 제한으로 인한 머신 비젼과 관련된 특별한 요구사항들에 적합하다는 것은 분명하다. 따라서, 칼라-모자이크 필터식 솔리드 스테이트 이미저로부터의 전정색 응답(panchromatic response)를 획득함으로써 머신 비젼 제품들에 적용될 수 있는 저렴한 센서에 대한 요구가 여전히 남아 있다.
본 발명은 칼라-모자이크 비디오 센서로부터의 전정색 응답을 시뮬레이션하기 위한 방법 및 장치에 관한 것이다. 본 발명의 일 실시형태에 있어서 파장의 함수로서 다중-칼라 비디오 센서의 응답을 묘사하는 색체 응답 곡선의 세트가 시험되고, 다중-칼라 비디오 센서가 각각의 파장에 대한 실질적으로 균일한 응답을 가지는 상기 색체 응답 곡선들의 영역을 찾아낸다. 도 3에는 전형적인 칼라-모자이크 필터의 스펙트럼 응답을 나타내는 그래프(40)가 도시되어 있다. 이 그래프는 파장의 함수로서 청색(42), 녹색(44) 및 적색(36) 필터의 퍼센트 양자 효율(quantum efficiency)에 있어서의 응답을 나타낸다. 스펙트럼의 IR 부분에 있어서 3개의 필터 모두의 균일한 응답에 주목해야 한다. 이러한 파장 영역은 대략 850nm를 중심으로 대략 700nm 내지 1000nm의 파장 내의 IR 파장 밴드 내에 존재한다. 이러한 파장 영역은, IR 복사(radiation)가 센서에 도달하여 이미지에 적합하지 않은 영향을 주는 것을 방지하기 위해서, 상업적으로 사용되는 카메라에서는 전형적으로 차단된다. 본 발명은 이러한 IR 필터를 제거하고 이것을 가시광선을 차단하고 IR 복사를 통과시키는 필터로 선택적으로 대체한다. 본 발명에 있어서, 이 파장 영역으로부터 하나의 파장 또는 파장들이 선택되어 다중-칼라 비디오 센서에 의해 이미지화될 이미지 장면은 인식된 영역 내에서 선택된 파장(들)으로 채색되며, 그에 따라 이미지화된 장면에 관련된 센서로부터 IR 데이터를 획득한다. 본 발명에 따라 구성된 시스템의 개략 도면은, 부착된 칼라-모자이크 필터(52)를 갖는 센서(50), 선택적인 IR 통과 필터(54), 광학 조립체(56), 컨트롤러(60)에 광원(62)을 작동적으로 연결하는 케이블(64)을 갖는 광원(62)과 함께 컨트롤러(60)에 센서(50)를 연결하는 케이블(58)을 나타내는 도 4에 도시되어 있다.
도 1은 모자이크 필터를 갖는 종래기술의 이미지 센서의 개략적인 도면이다.
도 2는 종래기술의 칼라-모자이크 솔리드 스테이트 카메라의 개략적인 도면이다.
도 3은 3가지 색상의 모자이크 필터의 스펙트럼 응답을 나타내는 그래프이다.
도 4는 칼라-모자이크 센서를 사용하는 흑백 머신 비젼의 개략적인 도면이다.
도 1은 CCD 또는 CMOS 솔리드 스테이트 이미저(solid state imager)와 정렬되는 칼라 모자이크 필터(color mosaic filter)(10)를 위하여 배열되는 표준 베이어(standard Bayer)를 나타낸다. 예를 들어 적색(12), 녹색(14) 및 청색(16)의 필터 소자들이 표시되어 있다. 솔리드 스테이트 이미지화 센서에 대한 이러한 타입의 필터의 적절한 적용은 필터의 각 색상 구역이 센서 내의 단일의 액티브 화소와 정렬될 것을 요구한다. 이것은 각각의 센서 소자 또는 픽셀이 단지 하나의 필터링되는 색상에 노출되도록 한다. 이것은 필터가 조심스럽게 정렬되고 센서에 대해 영구적으로 부착될 것을 요구한다. 도면을 분석해 보면, 녹색광의 도움으로 형성된 이미지에 있어서 이 이미지는 동등한 전정색 센서의 해상도의 본질적으로 절반으로 형성되며, 청색 또는 적색광에 있어서 그 이미지는 동등한 전정색 이미저의 해상도의 사분의 일임을 알 수 있을 것이다.
머신 비젼에 있어서, 빛의 최적의 기하학적 구조를 위하여 또한 빛의 타이밍(스트로보스코프 또는 플래시 제품)을 위하여 조명을 제어하는 것은 통상적인 관행이다. 종종 이들 제품을 위한 가장 현실적인 발광체는 전형적으로 단지 수 나노미터의 파장에 걸쳐 이어지는 유사-단색성(quasi-monochromatic)인 발광 다이오드(LED) 광이다. 비록 백색 LED가 적어도 2가지 상이한 기술(3-자극(tri-stimulus) 및 2차 방출 타입(secondary emission type))에서 사용되고 있지만, 어느 하나도 더욱 인정받는 단색 LED의 패키지 타입 및 스타일의 다양성에 있어서 활용가능하지 않다. 더욱이, 적절한 광대역 광이 활용되더라도, 물체의 색상이 아니라 종종 물체의 형태를 연구하고 있으며, 색정보가 제공된다면(칼라 이미지 및 광대역 발광체를 사용함과 같이) 연산적으로 필터링되거나 무시되어야만 하는 겉으로만 그럴싸한 정보를 제공하게 된다.
도 2는 부착된 칼라-모자이크 필터(22)를 갖는 솔리드 스테이트 센서(20)를 포함하는 전형적인 종래기술의 칼라-모자이크 솔리드 스테이트 비디오 시스템을 나타낸다. 빛은 광학 조립체(26)를 통해 시스템으로 들어가서; IR 광이 센서에 도달하지 않도록 차단하기 위한 선택적인 IR 필터(24)를 통과하고 난 다음, 칼라-모자이크 필터(22)를 통하여 솔리드 스테이트 센서(20)에 도달한다. 센서(20)에 의해 형성되는 이미지 데이터는 처리를 위해 케이블(28)을 경유하여 컨트롤러(30)에 전송된다. 대부분의 칼라-모자이크 이미저는 IR 필터를 포함하지만 모두 그런 것은 아니다. IR 필터의 목적은 이미저의 칼라 응답을 왜곡시킬 수 있는, 장면(scene) 내의 IR 복사로부터 오는 관련없는 정보를 걸러내고자 하는 것이다. 대부분의 상업적인 제품에 있어서, 이 목표는 최대 민감도 또는 해상도가 아니라 정확한 색상 충실도(color fidelity)이다. IR 필터가 영구적이고 정확한 정렬을 요구하지 않기 때문에, 전형적으로 이것은 칼라 모자이크 필터(22)의 상단에서 센서(20)의 외부표면에 부착되거나, 또는 광학 조립체 내에 포함된다. 이것이 시스템 내의 어느 곳에서 발견되는지에 관계없이, 필요시 IR 필터를 제거하고 또 다른 타입의 필터로 교체하는 것이 통상적으로 가능하다.
도 3은 전형적인 칼라-모자이크 필터의 스펙트럼 응답을 나타내는 그래프(40)이다. 이 그래프는 파장의 함수로서 청색(42), 녹색(44) 및 적색(36) 필터의 퍼센트 양자 효율에 있어서의 응답을 나타낸다. 이러한 이미지의 해석에 의해 알 수 있는 것은 모든 밴드가 적외선 영역에서의 "누출(leakage)"을 가진다는 것이다. 전형적으로, 이러한 누출은 이러한 "밴드 외(out-of-band)" 복사(radiation)를 거부하는 광학 필터를 가지고 다루어진다. 그렇지만, 본 발명은 이러한 누출을 활용한다. 바람직한 실시형태에 있어서, 발광체는 반응도(responsivity)가 가장 높고 가장 가깝게 합치되는 지점에서 선택된다. 이러한 합치된 반응도는 전형적으로 700nm와 1000nm 사이에서 야기된다. 본 발명의 일 실시형태에 있어서, 850nm에서의 광은 실질적으로 전정색 응답을 초래할 것이다. 또한 이 색상은 통상적인 LED 타입이며 매우 다양한 패키지 및 크기 중에서 손쉽게 활용가능하다. 그러한 장치는 전형적으로, 850nm에서 또는 그 근처에서의 방출에 상응하는 밴드 갭을 가지는, 반도체 물질 알루미늄 갈륨 비화물(arsenide)에 기초한다.
도 4는 본 발명에 따라서 구성된 시스템을 나타낸다. 본 발명의 실시형태는 부착된 칼라-모자이크 필터(52)와 같은 것에 기초하는 상업적으로 이용가능한 칼라-모자이크 이미저(50) 또는 카메라를 사용한다. 근(near) 전정색 응답은, IR-차단 필터를 제거하고, 선택된 파장 내의 IR 복사를 통과시키고 가시광선을 차단하는 필터(54)로 선택적으로 교체함으로써 상기 이미저 또는 카메라로 성취된다. 바람직한 실시형태에 있어서, 특정 파장 영역, 상세하게는 3개의 색상 채널 모두가 실질적으로 동일하거나 그 부분집합인 이미저의 스펙트럼 응답에 상응하는 파장 영역의 유사-단색성 조명(62)이 사용된다. 본 경우에 있어서 파장 영역은 700과 1000nm 사이에 있다. 특히 대략 850nm의 파장이 사용된다. 바람직한 실시형태에 있어서, 유사-단색성 조명은 3개의 색상 채널 모두에 대한 응답이 실질적으로 동일한 영역 내에서의 반응도의 상대적인 피크에서 선택된다. 컨트롤러의 제어 하에서 그리고 케이블(64)을 경유하여 컨트롤러(60)에 접속되는 조명(62)은 적절한 시간에 그리고 선택된 파장 또는 파장들로 장면(도시생략)을 비춘다. 이 장면은, 조명(62)에 의해 방사되어 장면(도시생략)에 의해 반사되고 칼라-모자이크 필터(52) 및 선택적인 IR 통과 필터(54)를 통하여 센서(50) 상에 이미지화되는 IR 복사에 초점이 맞춰지도록 작동하는 렌즈 또는 렌즈들을 포함하는 광학 조립체(56)를 경유하여 이미지화된다. 이렇게 하여 센서(50)에 의해 획득된 이미지 데이터는 이어지는 프로세싱을 위하여 케이블(58)을 경유하여 컨트롤러(60)에 전송된다.
본 발명의 실시형태에 있어서, 최초의 프로세싱은 센서에 의해 컨트롤러에 전송된 3개의 의사-칼라 이미지(pseudo-color images)로부터 단일의 흑백 이미지를 형성하는 단계를 포함한다. 색상 정보는 다양한 방식으로 인코딩될 수 있음에 주목해야 한다. 가장 간단한 것은 센서 영역의 감소된 샘플링과 비슷한 감소된 해상도를 갖는 3개의 별개의 이미지들이 전송되는 RGB 포맷이다. 비록 공간적인 해상도 또는 동적 범위가 감소될 수는 있지만, YUV 또는 NTSC와 같은 또 다른 인코딩도 가능하며 본 발명과 함께 동작될 수 있다. 이러한 최초 프로세싱은 3개의 의사 칼라 이미지로부터의 데이터를 갖는 원래의 풀 사이즈 센서(full size sensor)와 같은 크기로 2D 배열 내에 채워짐으로써 흑백 이미지를 생성한다. "적색", "청색" 및 "녹색" 이미지들로부터의 데이터는 원래의 센서로부터 획득되며 그에 따라 특정 픽셀이 원래의 센서와 동일한 고유의 해상도를 갖는 흑백 이미지를 생성한다. 더욱이, 3개의 색상 모두에 의해 균등하게 전송되도록 선택되는 IR 광으로 장면이 조명되었기 때문에, 광에 대한 시스템의 민감도는 최대화된다.
본 발명의 또 다른 실시형태는 필터링된 IR 데이터에 대한 칼라-모자이크 센서에 의한 응답에 있어서의 어떠한 변화도 제거하기 위해 데이터를 더욱 처리한다. 칼라-모자이크 필터/센서 조합물에 있어서의 상이한 색상이 IR 복사에 대해 상이하게 응답할 수 있다는 것을 상상할 수 있을 것이다. 본 발명이 필터와 관계없이 센터로부터의 균일한 응답을 가지는 것에 의존하기 때문에, 응답에 있어서의 이러한 차이는 선택된 IR 광의 파장으로 센서의 동적 범위에 걸쳐 응답을 측정하여 이 응답에 기초하여 정정 인자(correction factors)를 연산함으로써 제거될 수 있다. 이들 인자는 칼라-모자이크 필터의 다양한 색상들 사이에서 응답에 있어서의 변화를 제거 또는 감소시키기 위해서 어느 칼라 필터가 획득되는가에 따라 컨트롤러에 의해 더해지거나 곱해져(additive or multiplicative) 각각의 픽셀에 적용된다.
당해 기술분야의 통상의 지식을 가진 자라면 본 발명의 기초가 되는 원리로부터 벗어남 없이 본 발명의 전술된 실시형태의 상세에 대해 많은 변형을 만들어 낼 수 있음이 분명하다. 그러므로 본 발명의 범위는 이어지는 청구항에 의해서만 결정되어야 할 것이다.

Claims (13)

  1. 다중-칼라 비디오 센서로부터의 전정색 응답을 시뮬레이션하는 개선된 방법으로서, 상기 다중-칼라 비디오 센서는 색체 응답 곡선을 가지며 칼라 필터와 선택적으로 적외선 필터를 포함하고, 상기 칼라 비디오 센서는 이미지 장면을 이미지화하여 이미지 데이터를 획득하도록 작동하고, 상기 데이터는 컨트롤러에 전송되고, 상기 시뮬레이션 방법은:
    상기 다중-칼라 비디오 센서가 각각의 파장에 대해 실질적으로 균일한 응답을 가지는 상기 색체 응답 곡선의 영역을 찾아내는 단계;
    상기 찾아진 영역 내에서의 파장으로 상기 다중-칼라 비디오 센서에 의해 상기 이미지화된 장면을 조명하는 단계;
    상기 이미지화된 장면에 관련된 상기 다중-칼라 비디오 센서로부터의 상기 데이터를 획득하는 단계; 및
    상기 컨트롤러에 상기 획득된 데이터를 전송하여 상기 데이터를 흑백 이미지 로 결합시키는 단계
    를 포함하는, 시뮬레이션 방법.
  2. 청구항 1에 있어서,
    필요시 상기 실질적으로 균일한 응답 영역에 걸쳐서 응답에 있어서의 차이를 결정하는 단계; 및
    상기 결정된 차이에 기초하여 상기 데이터에 대해 보정을 실시하는 단계
    를 더 포함하는, 시뮬레이션 방법.
  3. 청구항 1에 있어서, 상기 칼라 필터는 적색, 녹색 및 청색 필터 성분을 가지는 베이어(Bayer) 필터인 것인, 시뮬레이션 방법.
  4. 청구항 1에 있어서, 각각의 파장에 대한 상기 실질적으로 균일한 응답은 상기 칼라 비디오 센서로부터 상기 적외선 필터를 제거함으로써 개선되는 것인, 시뮬레이션 방법.
  5. 청구항 1에 있어서, 상기 실질적으로 균일한 응답은 상기 칼라 비디오 센서에 가시광선 필터를 부가함으로써 개선되는 것인, 시뮬레이션 방법.
  6. 청구항 1에 있어서, 상기 조명은 대략 700nm 내지 1000nm 사이의 파장을 가지는 것인, 시뮬레이션 방법.
  7. 청구항 1에 있어서, 상기 조명은 대략 850nm의 파장을 가지는 것인, 시뮬레이션 방법.
  8. 다중-칼라 비디오 센서로부터의 전정색 응답을 시뮬레이션하는 개선된 시스템으로서, 상기 다중-칼라 비디오 센서는 색체 응답 곡선을 가지는 칼라 필터를 포함하며 관련된 적외선 필터를 가질 수 있고, 상기 칼라 비디오 센서는 이미지 장면을 이미지화하여 이미지 데이터를 획득하도록 작동하고, 컨트롤러는 상기 데이터를 처리하도록 작동하고, 상기 시스템은:
    상기 색체 응답 곡선의 실질적으로 균일한 응답 영역에 합치하는 광원
    을 포함하는, 시스템.
  9. 청구항 8에 있어서, 상기 칼라 필터는 적색, 녹색 및 청색 필터 성분을 가지는 베이어(Bayer) 필터인 것인, 시스템.
  10. 청구항 8에 있어서, 각각의 파장에 대한 상기 실질적으로 균일한 응답은 상기 칼라 비디오 센서로부터 상기 적외선 필터를 제거함으로써 개선되는 것인, 시스템.
  11. 청구항 8에 있어서, 각각의 파장에 대한 상기 실질적으로 균일한 응답은 상기 칼라 비디오 센서에 가시광선 필터를 부가함으로써 개선되는 것인, 시스템.
  12. 청구항 8에 있어서, 상기 광원은 대략 700nm 내지 1000nm 사이의 파장을 가지는 것인, 시스템.
  13. 청구항 8에 있어서, 상기 광원은 대략 850nm의 파장을 가지는 것인, 시스템.
KR1020107012779A 2007-12-05 2008-12-05 칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치 KR20100103504A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US99264307P 2007-12-05 2007-12-05
US60/992,643 2007-12-05

Publications (1)

Publication Number Publication Date
KR20100103504A true KR20100103504A (ko) 2010-09-27

Family

ID=40721225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107012779A KR20100103504A (ko) 2007-12-05 2008-12-05 칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치

Country Status (6)

Country Link
US (1) US8259203B2 (ko)
JP (1) JP2011507353A (ko)
KR (1) KR20100103504A (ko)
CN (1) CN101878653B (ko)
TW (1) TWI444050B (ko)
WO (1) WO2009076184A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743065B2 (en) 2013-09-30 2017-08-22 Samsung Electronics Co., Ltd. Method and apparatus generating color and depth images

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4630781B2 (ja) * 2005-09-26 2011-02-09 キヤノン株式会社 波長成分の割合検出装置及びそれを用いた撮像装置
EP2359593B1 (en) * 2008-11-25 2018-06-06 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
TW201208350A (en) * 2010-08-06 2012-02-16 Hon Hai Prec Ind Co Ltd Image sensing board inspecting device, system and method
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
WO2013015145A1 (ja) * 2011-07-22 2013-01-31 三洋電機株式会社 情報取得装置および物体検出装置
EP3138285A4 (en) 2014-04-26 2018-01-03 Tetravue, Inc. Method and system for robust and extended illumination waveforms for depth sensing in 3d imaging
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
WO2016153914A1 (en) 2015-03-25 2016-09-29 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
WO2017044168A2 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
US10178360B2 (en) 2015-08-03 2019-01-08 Sony Corporation Imaging sensor coupled with layered filters
US10955546B2 (en) 2015-11-25 2021-03-23 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
FR3045263B1 (fr) * 2015-12-11 2017-12-08 Thales Sa Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
CN108780142B (zh) 2016-02-29 2023-10-31 恩耐股份有限公司 3d成像系统和方法
CN106502027A (zh) * 2016-11-22 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种双摄像头模组及智能设备
WO2018217814A1 (en) 2017-05-23 2018-11-29 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
WO2018217902A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
EP3698167A4 (en) 2017-11-22 2021-11-17 Urthecast Corp. SYNTHETIC OPENING RADAR FORMING APPARATUS AND ASSOCIATED PROCESSES
US11212512B2 (en) 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
JP7354802B2 (ja) * 2019-11-29 2023-10-03 株式会社サタケ 光学式選別機
JP2022148303A (ja) * 2021-03-24 2022-10-06 i-PRO株式会社 監視カメラ、画像処理方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3806633A (en) 1972-01-18 1974-04-23 Westinghouse Electric Corp Multispectral data sensor and display system
JPS60130274A (ja) 1983-12-19 1985-07-11 Toshiba Corp 固体撮像装置
JPH06169461A (ja) 1992-11-30 1994-06-14 Ikegami Tsushinki Co Ltd 固体撮像素子を有するカラーカメラ
US5555464A (en) 1995-07-28 1996-09-10 Lockheed Martin Corporation Red/near-infrared filtering for CCD cameras
JPH10108206A (ja) * 1996-09-27 1998-04-24 Toshiba Lighting & Technol Corp カラービデオカメラ、テレビドアホン及び監視装置
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP2001195688A (ja) * 2000-01-17 2001-07-19 Mitsubishi Electric Corp 撮像装置
US20030016290A1 (en) * 2001-07-18 2003-01-23 Oh-Bong Kwon Multi-functional image sensing device
JP2006109120A (ja) * 2004-10-06 2006-04-20 Funai Electric Co Ltd 赤外線撮像装置
JP4678172B2 (ja) 2004-11-22 2011-04-27 株式会社豊田中央研究所 撮像装置
JP4630781B2 (ja) * 2005-09-26 2011-02-09 キヤノン株式会社 波長成分の割合検出装置及びそれを用いた撮像装置
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
JP4310317B2 (ja) * 2006-02-06 2009-08-05 キヤノン株式会社 可視成分割合算出方法、およびそれを用いた光学機器
JP4375348B2 (ja) 2006-03-08 2009-12-02 ソニー株式会社 撮像装置及び撮像装置の制御方法
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743065B2 (en) 2013-09-30 2017-08-22 Samsung Electronics Co., Ltd. Method and apparatus generating color and depth images

Also Published As

Publication number Publication date
CN101878653B (zh) 2013-06-12
WO2009076184A2 (en) 2009-06-18
WO2009076184A3 (en) 2009-07-30
US20090147112A1 (en) 2009-06-11
JP2011507353A (ja) 2011-03-03
TW200943983A (en) 2009-10-16
US8259203B2 (en) 2012-09-04
CN101878653A (zh) 2010-11-03
TWI444050B (zh) 2014-07-01

Similar Documents

Publication Publication Date Title
US8259203B2 (en) Method and apparatus for achieving panchromatic response from a color-mosaic imager
JP4118916B2 (ja) マルチスペクトル画像撮影装置
US7235775B2 (en) Infrared imaging apparatus for processing emissions in infrared and visible spectrum
JP6582987B2 (ja) 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
JP4633129B2 (ja) マルチスペクトル画像撮影装置
US20060125936A1 (en) Multi-lens imaging systems and methods
JP2004228662A (ja) 撮像装置
US20070153099A1 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof
CN1441603A (zh) 四色图像感测装置
US11747533B2 (en) Spectral sensor system using optical filter subarrays
JP4874752B2 (ja) デジタルカメラ
US20190058837A1 (en) System for capturing scene and nir relighting effects in movie postproduction transmission
JP5927570B2 (ja) 3次元撮像装置、光透過部、画像処理装置、およびプログラム
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
TW202205847A (zh) 攝像元件及電子機器
US20050219659A1 (en) Reproduction of alternative forms of light from an object using digital imaging system
JPH03139084A (ja) 固体カラー撮像装置
JP4533261B2 (ja) 撮像装置
Maeda et al. Acquiring multispectral light transport using multi-primary DLP projector
JP2006033483A (ja) カラー撮像装置
Skorka et al. Color correction for RGB sensors with dual-band filters for in-cabin imaging applications
JP2005223700A (ja) 撮影装置及び色分解光学系
JP2006311524A (ja) 撮像装置
KR101242929B1 (ko) 다파장 구별 촬영 장치
JP2011254265A (ja) 多眼カメラ装置および電子情報機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application