KR20010072091A - 적외선 보정을 행하는 컬러 이미징 시스템 - Google Patents

적외선 보정을 행하는 컬러 이미징 시스템 Download PDF

Info

Publication number
KR20010072091A
KR20010072091A KR1020017001216A KR20017001216A KR20010072091A KR 20010072091 A KR20010072091 A KR 20010072091A KR 1020017001216 A KR1020017001216 A KR 1020017001216A KR 20017001216 A KR20017001216 A KR 20017001216A KR 20010072091 A KR20010072091 A KR 20010072091A
Authority
KR
South Korea
Prior art keywords
infrared
color
imaging system
output
shutter
Prior art date
Application number
KR1020017001216A
Other languages
English (en)
Inventor
바월렉에드워드
코르타장-찰즈
맥월터
아키르야팅쿠
차이핑-싱
스태르그레고리
Original Assignee
피터 엔. 데트킨
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피터 엔. 데트킨, 인텔 코오퍼레이션 filed Critical 피터 엔. 데트킨
Priority claimed from PCT/US1999/013772 external-priority patent/WO2000007365A1/en
Publication of KR20010072091A publication Critical patent/KR20010072091A/ko

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G01J2003/516—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs with several stacked filters or stacked filter-detector pairs

Abstract

컬러 셔터를 사용하는 이미징 시스템은 적외선 정보와 함께 복수의 평면에서 색 정보를 표시하는 신호 및 적외선만을 표시하는 신호를 수신한다. 적외선 신호는 각각의 필요한 색 평면에 대한 적외선 효과가 없는 신호를 나타내기 위해 색 평면과 관련된 신호로부터 감산된다. 추가로 어떤 상황에서 유용한 적용을 갖는 적외선 신호를 사용할 수 있다. 이런 방법으로, 색 정보 색 밴드는 적외선 필터의 필요 없이 얻어지고 적외선 정보는 필요하다면 다른 적용에서 사용하기 위해 보유된다. 추가로 암전류 보정을 위해 사용될 수 있는 적외선 및 암전류 정보가 얻어진다.

Description

적외선 보정을 행하는 컬러 이미징 시스템{COLOR IMAGING SYSTEM WITH INFRARED CORRECTION}
실리콘 기술에 기초한 이미징 센서는 보통 광학 체인에서 적외선 차단 요소를 사용한다. 이런 적외선 차단 요소의 목적은 적외선(IR) 또는 (보통 780㎚보다 긴 파장을 갖는 광으로 여겨지는)광이 이미징 어레이에 들어가는 것을 방지하는 것이다.
실리콘을 기초로 하는 장치는 보통 약 1200㎚에 이르는 파장을 갖는 광에 민감하다. IR이 어레이에 들어가는 것이 허용된다면, 어레이는 IR에 응답하고, 출력 영상 신호를 발생한다. 이미징 시스템의 한 목적이 가시광선에 의한 표현을 생성하는 것이기 때문에, IR은 오응답을 유도하고 이미징 시스템에 의해 생산되는 이미지를 일그러뜨린다. 모노크롬(흑백) 이미징 시스템에서, 결과는 확실히 일그러질 수 있다. 예를 들어, 잎 및 인간 피부 색조는 드물게 광으로 나타난다. 컬러 이미징 시스템에서, IR의 도입은 착색을 일그러뜨리고 부정확한 색을 갖는 이미지를 생성한다.
이미징 시스템에서 IR에 기초한 변형을 방지하기 위한 일반적인 방법은 (보통 380㎚에서 780㎚까지의)가시광선을 통과시키고 IR을 차단하는 광학 요소를 생성하기 위해 아이러니하게도 채색 유리 또는 박막 광학 코팅된 유리를 사용한다. 이런 요소는 렌즈 시스템의 전방에 놓일 수 있거나 렌즈 시스템내에 위치될 수 있거나, 그것은 이미징 시스템 패키지로 통합될 수 있다. 이런 방법의 주요 단점은 비용 및 추가되는 시스템 복잡성이다. 박막 코팅은 다소 저비용으로 실현될 수 있지만, 각도의 함수로서 스펙트럼 시프트를 나타내는 또다른 단점을 갖는다. 이렇게, 이미징 시스템에서 이런 요소들은 이미지 필드의 중앙으로부터 에지로의 균등한 투과율 특성을 제공하지 않는다. 두 필터형 양쪽 모두는 이미징 시스템에 조합되어야 하는 별도의 부품을 도입함으로써 시스템에 복잡성을 더한다.
디지털 이미징 시스템은 보통 암전류로 불리는 것을 보정한다. 암전류는 사실 어떠한 입력 이미지도 수신되지 않았을 때 이미징 시스템에 의해 탐지되는 것이다. 보통 암전류는 카메라의 교정 프로세스 동안에 또는 온고잉 베이시스에 따라서 분리되고 감산(subtract)된다. 기계 셔터는 암전류 노이즈의 연속적인 표시를 제공하기 위해 프레임사이 내에서 광학 시스템을 차단하기 위해 사용된다. 이것은 암전류가 온도의 강한 함수이기 때문에 값진 것이다. 따라서 현재 암전류 조건을 연속적으로 표시하는 것이 바람직하다. 또한 암전류는 진행되는 암전류 조건의 표시를 제공하기 위해 광으로부터 차폐되는 어떤 화소를 제공함으로써 연속적으로 결정된다.
이렇게, 복잡성 및 비용을 감소시키는 이미징 시스템이 계속해서 필요하게된다. 특히 적외선 필터의 필요 없이, 가시광선 스펙트럼내의 광에 반응하고 적외선 스펙트럼내의 광에 반응하지 않는 시스템이 필요하다. 더구나, 암전류 및 적외선 노이즈의 효과에 대해 계속 보정할 수 있는 시스템이 필요하다.
일반적으로 본 발명은 예를 들어 디지털 카메라, 스캐너등과 접속하여 사용되는 이미징 시스템에 관한 것이다.
도 1은 종래 적, 녹, 청 CFA필터의 투과율 특성을 설명하는 도면,
도 2는 적, 청 CFA필터를 포함하는 IR 패스 필터의 투과율 특성을 설명하는 도면,
도 3은 화소 회로 위에 배치된 적, 청 CFA필터를 갖는 화소 회로의 간략화된 단면도,
도 4는 이미지 신호내의 IR신호를 보정하기 위한 차동 회로의 간략화된 고레벨의 회로,
도 5-7는 색 센서 어레이를 위한 타일 패턴을 설명하는 도면,
도 8은 흑백 센서 어레이를 위한 타일 패턴을 설명하는 도면,
도 9는 컬러 셔터를 사용하는 카메라의 개략도,
도 10은 도 9내에 도시된 적외선 감산 회로를 형성하는 성분을 도시하는 블록도,
도 11은 도 9 및 도 10내에 도시된 예를 들어 하드웨어를 사용하여 적외선 및 세가지 색 정보를 얻어내는 공정을 도시하는 순서도.
일 실시예에 따라서, 이미징 시스템은 가시광선 스펙트럼내의 방사선으로 통과하는 제 1상태에서 선택적으로 조정할 수 있는 셔터를 포함한다. 제 2상태에서, 셔터는 적외선을 통과시키는 한편 가시광선 스펙트럼내의 광을 실질상 차단한다. 감산기는 제 1 및 제 2 상태에서 통과된 방사선을 나타내는 신호를 감산한다.
본 발명의 실시예에서, 이미지 신호상의 IR 효과는 IR 및 가시광선에 반응하는 화소 센서에 의해 발생된 신호로부터 IR 화소 센서에 의해 발생된 신호를 전자적으로 감산함으로써 상당히 감소된다. IR 화소 센서는 센서를 포함하는 어레이상의 IR 입사에 반응하고, 컬러 채널(예를 들어, RGB)로부터 개별적으로 이미지의 IR 성분을 제공한다.
IR 센서는 기존의 상업용 색 필터 어레이(CFA) 성분을 사용하여 생성될 수 있고, 이런 성분들이 IR 방사선에 트랜스페어런트하다는 장점을 취한다. 스펙트럼의 가시광선 부분내에 사실상 어떠한 중복 투과율도 갖지 않는 두 CFA 색(예로서, R,B)에 의한 단순한 오버레이에 의해서, 실질상 가시광선을 차단하고 IR만을 투과시키는 합성 필터 요소를 생성하는 것이 가능하다. 두 필터가 합성 필터를 형성하기 위해 사용된다면, 두 필터의 각각은 상대측으로부터 분리된 가시 방사선 패스 스펙트럼을 가져서 두 필터의 조합으로부터 형성되는 결과 합성 필터를 통해서 가시광선의 투과율은 실질상 전혀 없다. 둘 이상의 필터가 사용된다면, 각각의 필터는 가시 방사선 패스 스펙트럼을 가져서 결과 합성 필터는 실질상 가시광선에 불투명하다. 그래서 합성 필터를 형성하기 위해 사용되는 각각의 성분 필터가 실질상 IR에 트랜스페어런트하기 때문에 이런 합성 필터 요소는 IR 패스 필터이다.
예로써, 도 1은 종래 적, 녹, 청 CFA(착색된 아크릴 플라스틱) 필터에 대한 투과율 특성을 도시한다. 각각의 필터는 실질상 IR에 트랜스페어런트하다는 것에 주목하라. 적, 청 CFA 필터를 오버레잉함으로써, 합성 IR 패스 필터의 결과 투과율은 도 2에 표시되고, 이것은 가시광선 스펙트럼이 실질상 차단되는 것을 도시한다.
IR 패스 필터는 화소 회로상에 IR 패스 필터를 구성하는 구성 필터를 배치함으로써 IR 감지 화소 또는 IR 화소 센서를 생성하기 위해 사용된다. 이런 배치는 반도체 산업에 잘 알려진 포토리소그래피 기술에 의해 실현될 수 있다. 화소 회로는 방사선을 흡수하고 흡수된 방사선을 표시하는 신호를 제공하는 임의의 회로이다. 예를 들어, 화소 회로는 광다이오드에 의해 흡수된 광자의 수를 표시하는 전압 또는 전류 신호중 어느 하나의 전기 신호를 제공하기 위해 부가된 회로와 함께 광다이오드를 포함하는데, 여기에서 광다이오드에 의해 흡수된 광자는 전자공(electron-hole) 쌍을 발생한다.
일 실시예에서, 도 3은 화소 회로(310)상에 배치된 적 CFA(320) 및 청 CFA(330)를 갖는 화소 회로(310)를 포함하는 IR 화소 센서(300)의 간략화된 단면도를 설명한다. 방향(340)에 의해 그림으로 표시되는 것과 같이 화소 회로상에 발생하는 가시광선 영역내의 광자는 거의 차단되거나 화소 회로(310)에 의해 흡수되는 것이 방지된다.
일 실시예는 4 종류의 화소 센서, 즉, 모두 상업적으로 유용한 CFA 물질성분으로 제조되는 3 색(예를 들어, RGB)종류 및 하나의 IR 종류를 갖는 이미징 어레이를 사용한다. 이것은 표 1에서 표시된 바와 같이, 4 채널, 또는 4 종류의 신호를제공하고, 여기서 각각의 채널 또는 화소 종류를 위해 측정된 스펙트럼이 표시된다.
4개의 출력 채널을 위한 스펙트럼
출력채널 스펙트럼
채널 1 적+IR
채널 2 녹+IR
채널 3 청+IR
채널 4 오직+IR
이미지 신호의 IR 성분은 일단 알려지면, IR 보정된 색 출력을 주기 위해 이미지로부터 감산될 수 있다. 이것은 도 4에서 도시된 바와 같이 고레벨의 회로에 의해 표시되고, 여기서 채널 4에 있는 IR 신호는 멀티플렉서(MUX)(410) 및 차동 회로(420)에 의해 채널(1-3)에 있는 각각의 신호로부터 감산된다. 명백하게, 세 차동 회로가 각각의 색 채널을 위한 IR 신호의 감산을 수행하기 위해 사용가능하다면 MUX(410)는 필요하지 않다.
색 이미지를 위한 가능한 타일 패턴은 도 5-7에서 표시되고, 모노크롬 이미지를 위한 타일 패턴은 도 8에서 표시되는데, 여기서 W는 전체 가시광선 스펙트럼에 반응하는 화소 센서를 의미한다. 도 5-8에 도시된 각각의 패턴은 단위 셀로 여겨진다. 단위 셀은 이미징 어레이를 통해 정규 방식으로 반복된다.
도 5-7에서, R,G, 및 B로 표기된 화소 센소는 각각 적, 녹 및 청 CFA필터를 사용하는 화소 센서를 표시한다. 도 5-8에서, IR(R+B)로 표기된 화소 센서는 합성 IR 패스 필터가 적, 및 청 CFA필터를 포함하는 IR 화소 센서이다.
화소 센서는 실제로 서로에게 물리적으로 접촉할 필요가 없다. 화소 센서를구성하는 화소 회로는 보통 다른 화소 회로로부터 전기적으로 분리된다. 제 1 및 제 2 화소사이에 개입하는 아무런 화소 센서가 없다면 그리고 없기만 한다면 제 1 화소 센소가 제 2 화소 센서에 인접하는 것으로 이해해야 한다. 예를 들어, 도 7에서, 상부 좌측 화소 센서 R은 하부 좌측 화소 센서 G, 상부 화소 센서 G , 및 화소 센서 B에 인접하지만, 그것은 하부 우측 화소 센서 G 및 IR 화소 센서에 인접하지 않는다. 두 화소 센서는 실제 물리적으로 서로에게 접촉하지 않으면서 인접한다.
이미징 렌즈 시스템내의 색수차로 인해, 이미징된 장면의 IR 성분은 선명하게 초점이 맞지 않는다. 이것은 높은 공간 주파수를 갖는 IR 성분을 샘플링할 필요가 없다는 것을 의미하기 때문에 본 명세서에 개시된 실시예에 실제로 유익하다. 이것은 각각 색 및 모노크롬 이미저를 위해 도 7 및 8에 표시된 타일 패턴내에 반사된다.
IR 화소 센서를 갖는 이미징 어레이는 모노크롬이든 색이든간에, IR 이미징 어레이로서 제 2모드에 사용되는데, 여기서 IR 화소 센서로부터 나온 신호만이 IR 이미지를 형성하기 위해 사용된다. 이렇게, 본 명세서에 개시된 실시예에 따라 만들어진 이미징 어레이는 듀얼 모드 이미징 어레이로서 구성되고, IR 보정된 가시광선 이미지 또는 IR 이미지중 어느 하나를 제공한다.
시안, 마젠타 및 옐로우(CMY)시스템 및 마젠차, 화이트, 및 옐로우(MWY) 시스템과 같은 다른 색 시스템을 갖는 실시예가 실현된다. CMY 색 시스템의 경우에, 가시광선을 차단하기 위해 3색 모두를 오버레이할 필요가 있다. 그런 접근법은 MWY색 시스템에도 물론 확대될 수 있지만, 제 3색(예를 들어, 청 또는 시안)을 첨가하기 위해 추가 처리를 필요로 한다. 이런 색은 IR 감지 화소내에 가시광선의 차단을 완료할 수 있기 위해 필요하다.
도 9내에 도시된 바와 같이, 디지털 이미징 시스템(910)은 스틸 및 모션 픽쳐 비디오를 제공하는 디지털 카메라에 연관하여 사용된다. 추가로 이미징 시스템(910)은 스캐너등과 같은 디지털 이미지 센서를 사용하는 다른 적용에 사용된다.
액정 컬러 셔터(912)는 렌즈 시스템(914) 및 이미지 센서(916)의 앞에 위치된다. 이미지 센서(916)는 액티브 화소 센소(APS), 패시브 화소 센서(PPS)시스템 또는 다른 알려진 기술중 어느 하나를 사용하는 상보형 MOS(CMOS) 이미지 센서이다. 대안적으로, 전하 결합 소자(CCD)센서를 사용한다.
컬러 셔터(912)는 적, 녹 및 청(RGB) 또는 시안, 마젠타, 옐로우(CMY) 원색 밴드와 같은 다른 색 밴드내의 전자적으로 변경가능한 투과 스펙트럼을 제공한다. 한 예인 색 셔터는 콜로라도 80301, Boulder의 ColorLink, Inc.로부터 유용할 수 있는 KALA필터이다. 셔터(912)는 각각이 필요한 밴드내의 색 정보를 연속으로 제공하기 위해 동기적으로 스위칭된다. KALA필터는 추가 원색(RGB) 보상 감법혼색의 원색(complementary subtractive primary color)(CMY)간에 스위칭한다. 입력 백색광은 직교 편광 보색으로 전환된다.
컬러 셔터는 적, 녹 및 청(RGB)원색 평면과 같은 각각의 복수의 추가 색 평면내에서 중앙에 두어진 투과 스펙트럼사이에서 전자적으로 스위칭가능하다. 컬러셔터는 이미지의 3컬러 표시를 생성하기 위해 조합된 세 색 평면을 제공하기 위해 연속적으로 스위칭된다.
이미징 시스템내의 컬러 셔터를 사용하는 것은 유익하게 각각의 화소 이미지 센서가 각각의 3 색 밴드에 연속적으로 반응할 수 있게 한다. 그렇지 않으면, 분리된 화소 이미지 센서는 각각의 필요한 색 밴드를 위한 어레이내에 산재되어야 한다. 그다음, 나머지 두 색 평면을 위한 각각의 화소 사이트를 위한 부재(missing) 정보는 보간 기술을 사용하여 추론한다. 컬러 셔터로, 모든 화소는 각각의 세 색 밴드를 탐지할 수 있고, 이것은 보간 없이 색 해상도를 증가시켜야 한다.
이미지 센서(916)는 이미지 센서(916)로부터의 정보를 처리하고 필요한 형태로 출력을 제공하는 화상 처리 장치(918)에 연결된다. 화상 처리 장치(918)는 적외선 감산 회로(infrared subtraction circuit)(920)를 포함한다. 회로(920)는 컬러 셔터(912)에 의해 동기적으로 제공된 각각의 색 밴드 신호로부터 적외선 성분을 제거하기 위해 감산 프로세스를 사용한다. 더 상세하게는, 컬러 셔터(912)는 화상 처리 장치(918)에 전달된 휘도 신호를 발생하기 위해 센서(916)내의 화소를 활성화하는 각각의 필요한 색 평면내에 일련의 광 이미지를 제공한다.
또한 감산처리는 소프트웨어로 실현된다. 예를 들어, 감산은 분리된 컴퓨터(도시되지 않음)내에 실현될 수 있다. 컴퓨터는 카메라에 멜 수 있다.
도 10에서, 센서(916)로부터 취해진 정보는 네 신호로 분리된다. 센서(916)에 의해 제공된 휘도 신호는 각각의 색 밴드 신호를 갖는 적외선 성분을 포함한다. RGB 색 밴드를 사용하는 예에서, 적색 신호(1024), 녹색 신호(1026), 및 청색신호(1028)가 발생되고 이들 신호의 각각은 연관된 적외선 성분을 갖는다. 또한 셔터(912)는 실질상 아무 색 정보도 존재하지 않아서 단지 적외선 정보만을 가진 블랙 신호(1030)를 발생한다.
이렇게, (셔터(12)상에 존재하는 적외선에 관한 정보만을 갖는) 블랙 신호(1030)는 적외선 성분이 없는 신호(1034 내지 1038)를 발생하기 위하여 각각의 신호 (1024 내지 1028)로부터 감산기(1032)내에서 감산된다. 적외선 성분은 라인(1040)에서 유용하게 만들어진다. 적외선 성분은 나이트 카메라, 감시 동작 및 3차원 이미징 적용을 포함하는 다수의 저광 상황에서 사용된다.
이런 방법으로, 필요한 색 평면은 적외선 필터를 사용하지 않고 적외선 노이즈없이 산출된다. 더욱이, 본 기술로 다수의 적용분야에서 사용되는 적외선 신호는 유용하게 된다. 적외선 필터가 사용될 때, 유용한 적외선 신호는 얻어지지 않는다.
도 11에서, 화상 처리 장치(918)내에 색 정보를 취하기 위한 프로세스는 블록(1144)에서 시작한다. 초기에, 컬러 셔터(912)는 블랙으로 설정되고 적외선 기준 신호를 제공하기 위해 프레임을 얻는다(블록(1146)에 표시된 바와 같이). 다음으로 셔터는 적색으로 설정되고(블록(1148)에 도시된 바와 같이) 적외선 성분과 함께 적색 정보를 포함하는 프레임을 얻는다(블록(1150)에 표시된 바와 같이). 유사하게 녹 및 청색 정보를 블록(1152 내지 1158)에 표시된 바와 같이 얻는다.
블록(1160, 1162, 1164)에서, 적, 녹 및 청색 평면은 블록(1150, 1154, 1158)에서 얻어진 적, 녹 및 청색 프레임으로부터 블록(1146)에서 얻어진 적외선기준신호를 감산함으로써 얻어진다. 결과적으로, RGB 색 평면 정보는 적외선 성분 없이 출력된다(블록(1166)에서 표시된 바와 같이).
또한 상술된 실시예는 암전류를 위한 보상에 사용된다. 각각의 실시예는 기준 IR 방사 효과 및 암전류 양쪽 모두 실질상 없는 색 밴드를 생산한다. IR 기준 신호(1146)는 (색 정보 없이) 암전류 노이즈를 포함한다. 이렇게 IR 기준신호 또는 블랙 프레임이 감산될 때, IR 및 암전류 노이즈 양쪽 모두 제거된다. 이것은 기계 셔터 또는 차폐된 화소 필요없이, IR 노이즈가 제거됨과 동시에 이루어진다. 암전류가 연속적으로 감해지기 때문에, 암전류상의 전류 온도의 효과는 항상 고려되어진다.
본 발명이 제한된 수의 실시예에 관하여 설명되었음에도 불구하고, 당업자들은 그것으로부터의 다수의 변형과 변화를 이해할 것이다. 첨부된 청구항들은 본 발명의 취지 및 정신내에 이런 모든 변형 및 변화를 포함하도록 의도되었다.

Claims (14)

  1. 입사 가시광선의 부재 및 입사 적외선을 표시하는 제 1 출력을 발생하는 제 1센서;
    가시 및 적외선 스펙트럼 양쪽 모두에서 입사 방사선을 표시하는 제 2출력을 발생하는 제 2센서; 및
    상기 제 1 및 제 2 출력을 감산하기 위해 배치된 감산기를 포함하는 것을 특징으로 하는 이미징 시스템.
  2. 제 1 항에 있어서, 상기 감산기는 상기 제 1 및 제 2 출력을 연속적으로 감산하는 것을 특징으로 하는 이미징 시스템.
  3. 제 1 항에 있어서, 실질상 가시광선이 없는 제 1출력을 형성하기 위해 가시광선의 실질상 비중첩 투과율을 가지고 있는 한 쌍의 필터를 포함하는 것을 특징으로 하는 이미징 시스템.
  4. 제 1 항에 있어서, 실질상 가시광선 정보가 없는 제 1출력을 형성하는 액정 컬러 셔터를 포함하는 것을 특징으로 하는 이미징 시스템.
  5. 제 1 항에 있어서, 상기 제 1 및 제 2 상태에서 통과된 방사선을 표시하는신호를 감산하는 감산기를 포함하는 것을 특징으로 하는 이미징 시스템.
  6. 제 5 항에 있어서, 상기 셔터가 액정 컬러 셔터인 것을 특징으로 하는 이미징 시스템.
  7. 제 6 항에 있어서, 복수의 색 평면내에서 셔터로부터 광 정보를 수신하는 이미지 센서를 포함하고, 이미지 센서로부터 수신된 정보를 처리하기 위해 상기 이미지 센서에 접속된 화상 처리 장치를 더 포함하는 것을 특징으로 하는 이미징 시스템.
  8. 제 7 항에 있어서, 상기 이미지 센서는 컬러 셔터가 노출되는 적어도 세 개의 색 평면 및 적외선을 표시하는 신호를 제공하는 것을 특징으로 하는 이미징 시스템.
  9. 입사 가시광선의 부재 및 입사 적외선을 표시하는 제 1출력을 발생하는 단계;
    가시 및 적외선 스펙트럼 양쪽에서 입사 방사선을 표시하는 제 2출력을 발생하는 단계; 및
    상기 제 1 및 제 2 출력을 감산하는 단계를 포함하는 것을 특징으로 하는 이미징 방법.
  10. 제 9 항에 있어서, 상기 제 1 및 제 2 출력을 연속적으로 감산하는 단계를 포함하는 것을 특징으로 하는 이미징 방법.
  11. 제 9 항에 있어서, 가시광선의 실질상 비중첩 투과율을 갖는 한 쌍의 필터를 사용하는 상기 제 1출력을 형성하는 단계를 포함하는 것을 특징으로 하는 이미징 방법.
  12. 제 10 항에 있어서, 액정 컬러 셔터를 사용하여 상기 제 1출력을 형성하는 단계를 포함하는 것을 특징으로 하는 이미징 방법.
  13. 제 11 항에 있어서, 각각의 색 평면을 연속으로 필터링하는 단계를 포함하는 것을 특징으로 하는 이미징 방법.
  14. 제 9 항에 있어서, 적외선 및 암전류 노이즈에 대해 보정된 출력을 발생하는 단계를 포함하는 것을 특징으로 하는 이미징 방법.
KR1020017001216A 1998-03-13 1999-06-17 적외선 보정을 행하는 컬러 이미징 시스템 KR20010072091A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US09/041,976 US6211521B1 (en) 1998-03-13 1998-03-13 Infrared pixel sensor and infrared signal correction
US09/126,203 US6825470B1 (en) 1998-03-13 1998-07-30 Infrared correction system
US09/126,203 1998-07-30
PCT/US1999/013772 WO2000007365A1 (en) 1998-07-30 1999-06-17 Color imaging system with infrared correction

Publications (1)

Publication Number Publication Date
KR20010072091A true KR20010072091A (ko) 2001-07-31

Family

ID=21919375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017001216A KR20010072091A (ko) 1998-03-13 1999-06-17 적외선 보정을 행하는 컬러 이미징 시스템

Country Status (5)

Country Link
US (2) US6211521B1 (ko)
KR (1) KR20010072091A (ko)
AU (1) AU5078599A (ko)
TW (1) TW482893B (ko)
WO (1) WO1999050682A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800310B1 (ko) * 2006-02-16 2008-02-01 마루엘에스아이 주식회사 가시광선 및 적외선을 감지할 수 있는 광 감지 소자 및 그제조 방법
KR100866718B1 (ko) * 2005-06-17 2008-11-05 도판 인사츠 가부시키가이샤 촬상 소자
KR101244147B1 (ko) * 2005-07-21 2013-03-14 소니 주식회사 물리 정보 취득 방법, 물리 정보 취득 장치 및 반도체 장치
KR20170073811A (ko) * 2015-12-18 2017-06-29 경기대학교 산학협력단 비가시 표시 장치

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
US6252220B1 (en) 1999-04-26 2001-06-26 Xerox Corporation Sensor cover glass with infrared filter
US6515275B1 (en) * 2000-04-24 2003-02-04 Hewlett-Packard Company Method and apparatus for determining the illumination type in a scene
US6768565B1 (en) 2000-09-07 2004-07-27 Xerox Corporation Infrared correction in color scanners
US6316284B1 (en) 2000-09-07 2001-11-13 Xerox Corporation Infrared correction in color scanners
US6563439B1 (en) 2000-10-31 2003-05-13 Intel Corporation Method of performing Huffman decoding
US6636167B1 (en) 2000-10-31 2003-10-21 Intel Corporation Method of generating Huffman code length information
JP4098237B2 (ja) * 2001-09-11 2008-06-11 フィリップス ルミレッズ ライティング カンパニー リミテッド ライアビリティ カンパニー カラーフォトセンサ
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
EP1540641A2 (en) * 2002-06-26 2005-06-15 VKB Inc. Multifunctional integrated image sensor and application to virtual interface technology
US20040042551A1 (en) * 2002-09-04 2004-03-04 Tinku Acharya Motion estimation
US7266151B2 (en) * 2002-09-04 2007-09-04 Intel Corporation Method and system for performing motion estimation using logarithmic search
US20040057626A1 (en) * 2002-09-23 2004-03-25 Tinku Acharya Motion estimation using a context adaptive search
US7417782B2 (en) 2005-02-23 2008-08-26 Pixtronix, Incorporated Methods and apparatus for spatial light modulation
JP4578797B2 (ja) * 2003-11-10 2010-11-10 パナソニック株式会社 撮像装置
US7746396B2 (en) * 2003-12-17 2010-06-29 Nokia Corporation Imaging device and method of creating image file
JP4286123B2 (ja) * 2003-12-22 2009-06-24 三洋電機株式会社 カラー撮像素子およびカラー信号処理回路
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP2006109120A (ja) * 2004-10-06 2006-04-20 Funai Electric Co Ltd 赤外線撮像装置
KR100682898B1 (ko) * 2004-11-09 2007-02-15 삼성전자주식회사 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
US8159428B2 (en) 2005-02-23 2012-04-17 Pixtronix, Inc. Display methods and apparatus
US9082353B2 (en) 2010-01-05 2015-07-14 Pixtronix, Inc. Circuits for controlling display apparatus
US7755582B2 (en) 2005-02-23 2010-07-13 Pixtronix, Incorporated Display methods and apparatus
US8482496B2 (en) 2006-01-06 2013-07-09 Pixtronix, Inc. Circuits for controlling MEMS display apparatus on a transparent substrate
US7999994B2 (en) 2005-02-23 2011-08-16 Pixtronix, Inc. Display apparatus and methods for manufacture thereof
US9261694B2 (en) 2005-02-23 2016-02-16 Pixtronix, Inc. Display apparatus and methods for manufacture thereof
US20070205969A1 (en) 2005-02-23 2007-09-06 Pixtronix, Incorporated Direct-view MEMS display devices and methods for generating images thereon
US9229222B2 (en) 2005-02-23 2016-01-05 Pixtronix, Inc. Alignment methods in fluid-filled MEMS displays
US7746529B2 (en) 2005-02-23 2010-06-29 Pixtronix, Inc. MEMS display apparatus
US8310442B2 (en) 2005-02-23 2012-11-13 Pixtronix, Inc. Circuits for controlling display apparatus
US7742016B2 (en) 2005-02-23 2010-06-22 Pixtronix, Incorporated Display methods and apparatus
US7675665B2 (en) 2005-02-23 2010-03-09 Pixtronix, Incorporated Methods and apparatus for actuating displays
US9158106B2 (en) 2005-02-23 2015-10-13 Pixtronix, Inc. Display methods and apparatus
US8519945B2 (en) 2006-01-06 2013-08-27 Pixtronix, Inc. Circuits for controlling display apparatus
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
US20070001094A1 (en) * 2005-06-29 2007-01-04 Micron Technology, Inc. Infrared filter for imagers
JP4630781B2 (ja) * 2005-09-26 2011-02-09 キヤノン株式会社 波長成分の割合検出装置及びそれを用いた撮像装置
JP4730082B2 (ja) * 2005-12-22 2011-07-20 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
US8526096B2 (en) 2006-02-23 2013-09-03 Pixtronix, Inc. Mechanical light modulators with stressed beams
KR101276757B1 (ko) * 2006-05-26 2013-06-20 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
KR20070115243A (ko) 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
US7876489B2 (en) 2006-06-05 2011-01-25 Pixtronix, Inc. Display apparatus with optical cavities
US20070177004A1 (en) * 2006-06-08 2007-08-02 Timo Kolehmainen Image creating method and imaging device
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
KR100818987B1 (ko) * 2006-09-19 2008-04-04 삼성전자주식회사 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
EP2080045A1 (en) 2006-10-20 2009-07-22 Pixtronix Inc. Light guides and backlight systems incorporating light redirectors at varying densities
JP4949806B2 (ja) * 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
US9176318B2 (en) 2007-05-18 2015-11-03 Pixtronix, Inc. Methods for manufacturing fluid-filled MEMS displays
US7852546B2 (en) 2007-10-19 2010-12-14 Pixtronix, Inc. Spacers for maintaining display apparatus alignment
US7960807B2 (en) * 2007-02-09 2011-06-14 Intersil Americas Inc. Ambient light detectors using conventional CMOS image sensor process
US7435943B1 (en) * 2007-03-29 2008-10-14 Avago Technologies Ecbu Ip Pte Ltd Color sensor with infrared correction having a filter layer blocking a portion of light of visible spectrum
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
US8169518B2 (en) * 2007-08-14 2012-05-01 Fujifilm Corporation Image pickup apparatus and signal processing method
US8395686B2 (en) * 2007-12-06 2013-03-12 Sony Corporation Solid-state imaging device, method of manufacturing the same, and camera
FR2929477B1 (fr) * 2008-03-25 2010-04-09 E2V Semiconductors Camera a prise de vue simultanee couleur et infrarouge
US8248560B2 (en) 2008-04-18 2012-08-21 Pixtronix, Inc. Light guides and backlight systems incorporating prismatic structures and light redirectors
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
US8169679B2 (en) 2008-10-27 2012-05-01 Pixtronix, Inc. MEMS anchors
JP4647004B2 (ja) * 2008-11-25 2011-03-09 シャープ株式会社 光検出半導体装置およびモバイル機器
JP5259381B2 (ja) * 2008-12-25 2013-08-07 京セラ株式会社 撮像装置および撮像方法
US8445849B2 (en) * 2009-03-18 2013-05-21 Pixart Imaging Inc. IR sensing device
US8008613B2 (en) * 2009-05-05 2011-08-30 Apple Inc. Light sensing device having a color sensor and a clear sensor for infrared rejection
US20110068426A1 (en) * 2009-09-22 2011-03-24 Intersil Americas Inc. Photodiodes and methods for fabricating photodiodes
CN104916258B (zh) 2010-02-02 2018-02-16 追踪有限公司 用于控制显示装置的电路
CN102834763B (zh) 2010-02-02 2015-07-22 皮克斯特罗尼克斯公司 用于制造填充冷密封流体的显示装置的方法
US9200895B2 (en) * 2010-11-16 2015-12-01 Konica Minolta, Inc. Image input device and image processing device
US9639178B2 (en) * 2010-11-19 2017-05-02 Apple Inc. Optical stylus
TWI559023B (zh) 2011-03-25 2016-11-21 原相科技股份有限公司 可同時偵測紅外光和可見光之光學感測裝置
US9570492B2 (en) 2011-03-25 2017-02-14 Pixart Imaging Inc. Pixel array of image sensor and method of fabricating the same
KR101695252B1 (ko) 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
JP2016012746A (ja) 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
US9398272B2 (en) * 2012-11-07 2016-07-19 Google Inc. Low-profile lens array camera
US8779542B2 (en) 2012-11-21 2014-07-15 Intersil Americas LLC Photodetectors useful as ambient light sensors and methods for use in manufacturing the same
JPWO2014091706A1 (ja) * 2012-12-14 2017-01-05 コニカミノルタ株式会社 撮像装置
JP6076093B2 (ja) * 2013-01-08 2017-02-08 オリンパス株式会社 撮像装置
KR101926489B1 (ko) 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
US9134552B2 (en) 2013-03-13 2015-09-15 Pixtronix, Inc. Display apparatus with narrow gap electrostatic actuators
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
KR102071325B1 (ko) * 2013-09-27 2020-04-02 매그나칩 반도체 유한회사 조도와 물체의 거리를 측정하는 광 센서
US9404795B2 (en) * 2013-10-03 2016-08-02 Infineon Technologies Ag Opitical detector with adjustable spectral response
US10136107B2 (en) 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
US9625370B2 (en) 2014-08-26 2017-04-18 Empire Technology Development Llc Microscope with spectroscopic capability
TWI536831B (zh) * 2014-09-03 2016-06-01 聯詠科技股份有限公司 彩色濾波陣列及其影像接收方法
KR20170048454A (ko) 2014-09-16 2017-05-08 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 프로세싱 방법 및 장치
US9719851B2 (en) 2015-01-06 2017-08-01 Vizio Inc IR sensor embedded in direct LED backlight and LCD panels and assemblies for receiving IR command codes from a remote
CN107810395B (zh) 2015-05-22 2020-05-05 瑞典爱尔诺红外有限公司 红外成像检测器
TWI577971B (zh) * 2015-10-22 2017-04-11 原相科技股份有限公司 雙孔徑測距系統
FR3082385B1 (fr) * 2018-06-08 2021-05-14 Ulis Dispositif et procede de compensation de chaleur parasite dans une camera infrarouge
US20200213486A1 (en) * 2018-12-27 2020-07-02 Chongqing Jinkang New Energy Vehicle Co., Ltd. Vehicle camera system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
JPH0229877A (ja) * 1988-07-20 1990-01-31 Victor Co Of Japan Ltd 粒状ノイズ低減機能を有する画像読取り装置
JPH04315950A (ja) * 1991-04-15 1992-11-06 Toshiba Corp 画像処理装置
JPH06217123A (ja) * 1993-01-19 1994-08-05 Canon Inc 画像処理装置
JPH07246185A (ja) * 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 可視画像及び赤外画像を形成する撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4016597A (en) * 1975-09-11 1977-04-05 Eastman Kodak Company Color video camera with selectively expanded sensitivity
US5453611A (en) 1993-01-01 1995-09-26 Canon Kabushiki Kaisha Solid-state image pickup device with a plurality of photoelectric conversion elements on a common semiconductor chip
US5509086A (en) 1993-12-23 1996-04-16 International Business Machines Corporation Automatic cross color elimination
WO1996041481A1 (en) 1995-06-07 1996-12-19 Stryker Corporation Imaging system with independent processing of visible and infrared light energy
US5929432A (en) * 1996-05-30 1999-07-27 Kabushiki Kaisha Toshiba Solid state image sensing device and image sensor using the same
US6057586A (en) * 1997-09-26 2000-05-02 Intel Corporation Method and apparatus for employing a light shield to modulate pixel color responsivity
US6163026A (en) * 1998-03-31 2000-12-19 Intel Corporation Chemically stabilized light selective element for imaging applications
US6020582A (en) * 1998-03-31 2000-02-01 Intel Corporation Light selective element for imaging applications
US5914749A (en) * 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications
US6459450B2 (en) * 1998-06-24 2002-10-01 Intel Corporation Infrared filterless pixel structure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
JPH0229877A (ja) * 1988-07-20 1990-01-31 Victor Co Of Japan Ltd 粒状ノイズ低減機能を有する画像読取り装置
JPH04315950A (ja) * 1991-04-15 1992-11-06 Toshiba Corp 画像処理装置
JPH06217123A (ja) * 1993-01-19 1994-08-05 Canon Inc 画像処理装置
JPH07246185A (ja) * 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 可視画像及び赤外画像を形成する撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100866718B1 (ko) * 2005-06-17 2008-11-05 도판 인사츠 가부시키가이샤 촬상 소자
KR101244147B1 (ko) * 2005-07-21 2013-03-14 소니 주식회사 물리 정보 취득 방법, 물리 정보 취득 장치 및 반도체 장치
KR100800310B1 (ko) * 2006-02-16 2008-02-01 마루엘에스아이 주식회사 가시광선 및 적외선을 감지할 수 있는 광 감지 소자 및 그제조 방법
KR20170073811A (ko) * 2015-12-18 2017-06-29 경기대학교 산학협력단 비가시 표시 장치

Also Published As

Publication number Publication date
WO1999050682A2 (en) 1999-10-07
US6825470B1 (en) 2004-11-30
TW482893B (en) 2002-04-11
AU5078599A (en) 1999-10-18
US6211521B1 (en) 2001-04-03
WO1999050682A3 (en) 1999-11-25

Similar Documents

Publication Publication Date Title
US6825470B1 (en) Infrared correction system
EP1101353A1 (en) Color imaging system with infrared correction
JP6725613B2 (ja) 撮像装置および撮像処理方法
US6759646B1 (en) Color interpolation for a four color mosaic pattern
US7508431B2 (en) Solid state imaging device
US7460160B2 (en) Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor
CN102007761B (zh) 用于图像传感器的同心曝光序列
JP4453189B2 (ja) 撮像装置
US7483065B2 (en) Multi-lens imaging systems and methods using optical filters having mosaic patterns
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
JPS63155893A (ja) 映像信号の形成装置
US20230239589A1 (en) Solid state image sensor and electronic equipment
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
JP6640555B2 (ja) カメラシステム
KR100905269B1 (ko) 적외선 보정 기능을 구비한 이미지센서
JPS60254977A (ja) カラ−固体撮像装置
CN112335233B (zh) 图像生成装置以及摄像装置
JPH077736A (ja) 固体撮像装置
JPS61127290A (ja) 単板式カラ−撮像装置
JPH05103330A (ja) カラー固体撮像装置
JP3515585B2 (ja) ２板式撮像装置
JPS60254978A (ja) カラ−固体撮像装置
JPS59127495A (ja) ２板式スチルカメラ
JPS60134582A (ja) カラ−固体撮像装置
Dyck et al. A 1024-Pixel CCD Line-Scan Image Sensor With Color Sensitivity

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application