KR102100031B1 - 카메라 및 컬러 이미지 생성 방법 - Google Patents

카메라 및 컬러 이미지 생성 방법 Download PDF

Info

Publication number
KR102100031B1
KR102100031B1 KR1020180050062A KR20180050062A KR102100031B1 KR 102100031 B1 KR102100031 B1 KR 102100031B1 KR 1020180050062 A KR1020180050062 A KR 1020180050062A KR 20180050062 A KR20180050062 A KR 20180050062A KR 102100031 B1 KR102100031 B1 KR 102100031B1
Authority
KR
South Korea
Prior art keywords
radiation
pixels
pixel
aperture
camera
Prior art date
Application number
KR1020180050062A
Other languages
English (en)
Other versions
KR20190002289A (ko
Inventor
룬드베르그 스테판
히젤스트롬 요나스
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP17209246.2A external-priority patent/EP3343897B1/en
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20190002289A publication Critical patent/KR20190002289A/ko
Application granted granted Critical
Publication of KR102100031B1 publication Critical patent/KR102100031B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H04N9/07—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Blocking Light For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Diaphragms For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

카메라가 제공된다. 상기 카메라는: 어퍼쳐(110); 쌍을 이루는 복수의 쌍들의 픽셀들을 포함하는 이미지 센서(102), 이때 제1 픽셀(200)은, 상기 어퍼쳐(110)를 통해 카메라로 진입하고, 제1 방사선 경로를 통해 어퍼쳐(110)로부터 이미지 센서(102)로 이동해온 방사선을 검출하도록 구성되고, 제2 픽셀(202)은, 어퍼쳐(110)를 통해 카메라로 진입하고, 제2 방사선 경로를 통해 어퍼쳐(110)로부터 이미지 센서(102)로 이동해온 방사선을 검출하도록 구성되며, 상기 제2 방사선 경로는 제1 방사선 경로와 상이함; 및 상기 어퍼쳐(110) 내에, 또는 그 부근에 배치된 필터(112)를 포함하되, 상기 필터(112)는 IR-방사선 또는 가시광선을 차단하도록 구성된 제1 부분(300) 및 제1 부분(300)에 의해 차단된 파장들에 투명하도록 구성된 제2 부분(302)을 포함하고, 상기 필터(112)는, 제1 부분(300)를 통과하는 방사선이 복수의 쌍들의 픽셀들의 제1 픽셀들(200)로 이동하고, 제2 부분(302)을 통과하는 방사선이 복수의 쌍들의 픽셀들의 제2 픽셀들(202)로 이동하도록 배치된다.

Description

카메라 및 컬러 이미지 생성 방법{CAMERA AND METHOD OF PRODUCING COLOR IMAGES}
본 발명은 컬러 이미지들을 생성하는 것에 관한 것이며, 특히 저조도 조건들 하에서 컬러 이미지들을 생성하는 것을 가능하게 하는 카메라 디자인에 관한 것이다.
디지털 카메라들에 사용되는 이미지 센서들은 적외선(IR)의 무시할 수 없는 요소를 갖는 스펙트럼 응답을 갖는다. 이는 도전들뿐만 아니라 기회들을 야기한다.
기회는 야간 동안, 또는 저조도 조건들에서, IR-요소가 이미지화된 장면에 대한 유용한 정보를 제공할 수 있다는 점에 있다. 일반적으로, 저조도 조건들은 황혼 또는 새벽 동안 일어난다. 다른 저조도 조건 장면들은 불량하게 조명되는 방들이다. 저조도 조건은 또한 가시광 및 IR-방사선의 양이 비교할만한 조건들로서 정의될 수 있고, 따라서, 저조도 조건은 혼합광 조건이라고도 할 수 있다.
야간 동안, 또는 저조도 조건들에서는 스펙트럼의 IR 부분으로부터 입사하는 방사선으로 이루어질 수 있다. IR 방사선은 어떠한 컬러 정보도 포함하지 않을 것이고, 색분리를 수행하는 대신에, 유일한 파라미터는 입사 방사선의 강도이며, 이는 흑색 및 백색 강도 이미지로서(또는 임의의 바람직한 컬러 스케일) 제공될 수 있다.
도전은 주간 이미징 동안 발견되는데, IR-요소의 추가는 디지털 카메라를 사용하여 캡처된 이미지들 내의 컬러 밸런스를 왜곡할 수 있다. 어떤 상황들에는 이미지 센서의 일부 또는 모든 픽셀들은 적외선 요소에 의해 완전히 포화될 수도 있다.
덜 유리한 효과들을 억제하면서 유리한 효과들을 유지하는 방법은 이미지 센서 전방에 있는 빔 경로 내에 이동식 IR-컷 필터를 추가하는 것이다. 이러한 방식으로, IR-컷 필터는 주간 조건들 동안 사용될 수 있어 컬러 이미지들의 획득을 가능하게 할 수 있다. 이후, 이미지 센서의 픽셀들은, 입사광이 색들로 분리되고 개별 광 검출기들 상에 전하로서 검출되어 색분리를 가능하게 하는 제1 방식으로 작동할 것이다. IR-컷 필터는 야간 동안, 또는 저조도 조건들에서 제거될 수 있어, IR-방사선이 이미지 센서에 도달하는 것을 가능하게 한다. 이후, 이미지 센서의 픽셀들은 픽셀들에 의해 측정된 유일한 파라미터가 입사 방사선의 강도인 제2 방식으로 작동할 것이다. 따라서, 강도 기반 이미지들이 캡처될 수 있고, 흑색 및 백색으로 제공될 수 있다.
그러나, 저조도 조건들에서도 색분리된 이미지들을 캡처할 수 있는 것이 바람직할 수 있는 예들이 있을 수 있다.
상기와 관련하여, 본 발명의 목적은 저조도 조건들에서도 색분리된 이미지들을 캡처하는 수단을 제공하는 것이다.
제1 양태에 따르면, 카메라가 제공된다. 카메라는 어퍼처; 복수의 픽셀 쌍들을 포함하는 이미지 센서: 제1 픽셀은 어퍼처를 통해 카메라로 진입해오고, 제1 방사선 경로를 통해 어퍼처로부터 이미지 센서로 이동해온 방사선을 검출하도록 구성되며, 제2 픽셀은 어퍼처를 통해 카메라로 진입해오고, 제2 방사선 경로를 통해 어퍼처로부터 이미지 센서로 이동해온 방사선을 검출하도록 구성되며, 상기 제2 방사선 경로는 제1 방사선 경로와 상이함; 및 어퍼처 내에 또는 그 부근에 배치된 필터를 포함하되, 상기 필터는 IR-방사선 또는 가시광을 차단하도록 구성된 제1 부분 및 제1 부분에 의해 차단된 파장들에 대해 투명하도록 구성된 제2 부분을 포함하고, 상기 필터는, 제1 부분을 통과하는 방사선이 복수의 픽셀 쌍들 중 제1 픽셀들로 이동하도록, 및 상기 제2 부분을 통과하는 방사선이 복수의 픽셀 쌍들 중 제2 픽셀들로 이동하도록 배치된다.
따라서, 개선된 이미징이 가능해진다. 이는 IR-방사선의 요소들이, 제1 및 제2 픽셀들의 각 쌍에서 제1 및 제2 픽셀들에 의해 검출된 방사선을 비교하고, 그 IR 부분을 보상함으로써 결정될 수 있기 때문이다. 예를 들어, 컬러 이미지는 이미지 센서에 의해 검출된 방사선의 IR-부분을 결정함으로써 생성될 수 있다. 이러한 방식으로, 이미지화된 장면이 이미지 센서에 의해 캡처된 IR-방사선을 포함하더라도, 실제 컬러 표현이 얻어질 수 있다.
용어 "방사선"은 적외선 스펙트럼 범위 및 가시광 스펙트럼 범위에서 모두 스펙트럼 요소들을 포함하는 방사선으로서 해석되어야 한다.
필터의 제1 부분은 IR-방사선을 차단하도록 구성될 수 있다.
필터의 제1 부분은 가시광을 차단하도록 구성될 수 있다.
필터의 제2 부분은 IR-방사선 및 가시광 모두에 대해 투명하도록 구성될 수 있다.
필터의 제1 부분은 IR-방사선을 차단하도록 구성될 수 있고, 필터의 제2 부분은 가시광을 차단하도록 구성될 수 있다.
필터는 어퍼처 내에 또는 그 부근에 고정식으로 위치될 수 있다. 따라서 거의 없는 이동식 부품들을 갖는 간단한 카메라가 제공될 수 있다. 필터는 어퍼처 면에 정확하게 있을 필요는 없지만(종종 그러할 수 없음), 충분히 가깝다면 어퍼처의 어느 면이든 상관 없다.
필터는 어퍼처에 가까워야 한다. 이는 어퍼처 면에 정확하게 있을 필요는 없지만(종종 그러할 수 없음), 충분히 가깝다면, 어퍼처의 어느 면이든 상관 없다.
필터는 제1 및 제2 방사선 경로들 내에 위치되고, 그로부터 후퇴될 수 있도록 이동가능할 수 있다. 따라서, 카메라를 상이한 모드들로 배치하는 것이 가능할 것이고, 예를 들어, 주간 모드, 제1 및 제2 부분들을 갖는 필터는 복수의 픽셀 쌍들 중 제1 및 제2 픽셀들 각각에 의해 검출된 방사선의 양에 기초하여 장면 내의 IR-방사선의 비율을 계산하는데 사용되고, 야간 모드이며, 필터가 제거되고, 이미지 센서의 전체 스펙트럼 응답이 흑색 및 백색 이미지들을 생성하는데 사용된다.
이 필터는 장면이 가시광 및 IR-방사선을 모두 포함할 때 유용하다. 이들 상황들에서는 IR-방사선을 보상하고, 양호한 컬러 충실도를 얻는 것이 가능하다. 이는 오늘날의 실행에서, IR 컷 필터를 제거하는 방사선의 양을 단지 등록하는 스위치가 사용된 경우, 혼합광(황혼 및 새벽과 같은 저조도)에서 특히 유용하다. 이는 가시광 수준이 매우 낮을 때 필요하다. 일광 또는 양호한 광에서는, 많은 가시광이 있기 때문에, IR-방사선이 필요하지 않다. 그러나, 본 발명에 따른 설정된 카메라는 IR-방사선을 보상하는 것이 가능하다. 전통적인 모니터링 카메라들에서, 이는 IR 컷 필터가 삽입될 때이다.
야간에, 또는 다른 실제로 저조도에서는, 기본적으로 가시광이 없고 가시광보다 적어도 더 많은 IR 방사선이 있고, 그래서 컬러 이미지들을 생성하는 것이 매우 어려울 것이다. 따라서, 필터는 야간에 제거될 수 있다. 따라서 가능한 한 많은 방사선이 (임의의 IR-방사선을 차단하지 않음으로써) 이미지 센서에 도달하기 위한 것이다. 야간 모드로의 이러한 스위치는 본 발명을 이용하여 저조도 레벨들이 연기될 수 있다.
필터의 분할은 IR-방사선이 픽셀 쌍에서 제1 픽셀들에 도달하지 않도록, 및 IR-방사선이 픽셀 쌍에서 제2 픽셀들에 도달할 수 있도록 제1 및 제2 픽셀들로 정렬될 수 있다.
이미지 센서의 각각의 픽셀은 각각의 픽셀 쌍에 속할 수 있다.
이미지 센서는, 카메라가 가시광 및 IR-방사선 모두를 포함하는 방사선에 노출될 때, 복수의 픽셀 쌍들 각각에 도달하는 방사선의 양을 나타내는 값을 등록하도록 구성될 수 있다. 카메라는, 복수의 픽셀 쌍들 중 제1 픽셀들 각각에 대해, 각각의 제1 픽셀에 의해 검출된 방사선의 제1 양을 나타내는 값을 검출하고, 복수의 픽셀 쌍들 중 제2 픽셀들 각각에 대해, 각각의 제2 픽셀들에 의해 검출된 방사선의 제2 양을 나타내는 값을 검출하며, 복수의 픽셀 쌍들 중 제1 및 제2 픽셀들 각각에 대해 결정된 제1 및 제2 방사선 양에 기초하여 장면 내의 IR-방사선의 비율을 계산하고, 그리고 IR-방사선의 계산된 비율에 기초하여 카메라에 의해 캡처된 이미지 내의 IR-기여분을 보상함으로써 장면의 컬러 이미지를 생성하도록 구성된 프로세싱 유닛을 더 포함할 수 있다.
제2 양태에 따르면, 가시광 및 IR-방사선을 모두 포함하는 방사선에 노출된 카메라에 의해 캡처된 장면의 컬러 이미지를 생성하는 방법이 제공된다. 상기 방법은: 복수의 픽셀 쌍들의 각각의 방사선의 양을 나타내는 값을 검출하는 단계, 각각의 쌍은 제1 픽셀 및 제2 픽셀을 포함함, 상기 복수의 픽셀 쌍들 중 제1 픽셀들 각각에 대해, 상기 각각의 제1 픽셀에 의해 검출된 방사선의 제1 양을 나타내는 값을 결정하는 단계; 상기 복수의 픽셀 쌍들 중 제2 픽셀들 각각에 대해, 각각의 제2 픽셀에 의해 검출된 방사선의 제2 양을 나타내는 값을 결정하는 단계; 상기 복수의 픽셀 쌍들 중 제1 및 제2 픽셀들 각각에 대해 결정된 방사선의 제1 및 제2 양에 기초하여 장면 내의 IR-방사선의 비율을 계산하는 단계, 및 상기 IR-방사선의 계산된 비율에 기초하여 카메라에 의해 캡처된 이미지의 IR-기여분을 보상함으로써 장면의 컬러 이미지를 생성하는 단계를 포함한다.
방법은 IR-방사선 또는 가시광이 복수의 픽셀 쌍들 중 제1 픽셀들에 도달하는 것을 차단하는 단계, 및 복수의 픽셀 쌍들 중 제1 픽셀들에 도달하는 것이 차단된 파장들이, 복수의 픽셀 쌍들 중 제2 픽셀들에 도달하는 것을 가능하게 하는 단계를 더 포함할 수 있다.
위에서 언급된 카메라의 기능들은, 가능한 경우, 제2 양태에도 적용된다. 지나친 반복을 회피하기 위해, 상기가 참조된다.
제3 양태에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 비일시적 컴퓨터 판독 가능 저장 매체는 처리 능력을 갖는 디바이스 상에 실행될 때 제2 양태에 따른 방법을 수행하도록 구성된, 저장된 컴퓨터 판독 가능 프로그램 코드를 갖는다.
본 발명의 추가의 적용가능성 범위는 이하에 주어진 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 범위 내에 다양한 변경 및 수정이 이 상세한 설명으로부터 통상의 기술자에게 명백해질 것이기 때문에, 본 발명의 바람직한 실시예들을 나타내는 상세한 설명 및 특정 예들이 단지 예로서 주어진다는 것이 이해되어야 한다.
따라서, 본 발명은 기재된 디바이스의 특정 구성 요소 부분들 또는 그러한 디바이스 및 방법이 다양할 수 있는 것으로 설명된 방법들의 단계들에 제한되지 않는다는 것이 이해되어야 한다. 여기에 사용된 용어는 단지 특정 실시예들을 설명하기 위한 것이고, 제한하려는 것이 아님이 또한 이해되어야 한다. 명세서 및 첨부된 청구 범위에서 사용된 바와 같이, "하나" 및 "상기"는 문맥이 달리 명확하게 지시하지 않는 한, 하나 이상의 요소들이 있다는 것을 의미하려는 것을 유의해야 한다. 따라서, 예를 들어, "유닛"또는 "상기 유닛"에 대한 언급은 여러 개의 디바이스들 등을 포함할 수 있다. 또한, 단어들 "포함하는", "포함하는" 및 "함유하는" 및 유사 단어들은 다른 요소들 또는 단계들을 배제하지 않는다.
본 발명의 상기 및 다른 양태들은 본 발명의 실시예들을 도시하는 첨부된 도면들을 참조하여 보다 상세히 설명될 것이다. 도면들은 본 발명을 특정 실시예로 제한하는 것으로 고려되어서는 안되며; 대신에 그들은 발명을 설명하고 이해하기 위해 사용된다.
도면들에 도시된 바와 같이, 층들 및 영역들의 크기는 설명의 목적으로 과장될 수 있으며, 따라서 본 발명의 실시예들의 일반적인 구조들을 예시하기 위해 제공된다. 동일한 도면 부호는 전체적으로 동일한 요소를 나타낸다.
도 1은 카메라를 도시한다.
도 2a, 2b 및 2c는 픽셀 쌍들을 포함하는 이미지 센서의 상이한 실시예들을 도시한다.
도 3a, 도 3b, 및 도 3c는 필터의 상이한 실시예들을 도시한다.
도 4a, 도 4b 및, 도 4c는 상이한 구성들의 필터들 및 이들이 IR-방사선 및/또는 가시광을 차단하는 방법을 도시한다.
도 5는 이미지 센서의 적색, 녹색, 및 청색 픽셀들에 대한 응답 곡선들을 도시한다.
도 6은 컬러 이미지를 생성하는 방법의 흐름도이다.
이하, 본 발명은 첨부된 도면을 참조하여 보다 완전히 설명될 것이고, 본 발명의 현재 바람직한 실시예들이 도시되어 있다. 그러나, 본 발명은 여러 개의 상이한 형태들로 구체화될 수 있으며, 여기에 설명된 실시예들에 제한되는 것으로 해석되어서는 안되며; 오히려, 이들 실시예들은 전체적으로 완전함을 위해 제공되고, 본 발명의 범위를 통상의 기술자에게 완전히 전달하기 위해 제공된다.
도 1은 이미지 센서(102) 및 카메라 렌즈 하우징(104)을 갖는 카메라(100)를 도시한다. 카메라는 비디오 카메라일 수 있다. 카메라(100)는 모니터링 카메라일 수 있다.
카메라 렌즈 하우징(104) 및 이미지 센서(102)는 카메라 렌즈 하우징(104)을 통해 카메라(100)로 진입하는 방사선이 이미지 센서(102)와 상호작용하도록 배치된다. 따라서, 카메라는 카메라 렌즈 하우징(104)의 렌즈 시스템(108)에 의해 보여진 장면의 이미지들을 캡처하도록 구성된다. 카메라(100)로 진입하는 방사선은 일반적으로 가시광 및 IR-방사선 모두를 포함한다.
장면의 이미지들을 캡처하기 위해, 이미지 센서(102)는 이미지 센서(102)의 면 상에 분포된 복수의 픽셀들을 포함한다. 이미지 센서의 픽셀들은 일반적으로 가시광 및 IR-방사선 모두에 대해, 또는 더욱 특히 NIR(near-infrared radiation)에 대해 민감하다. 투과된 방사선이 완전히 스펙트럼적으로 분해되면, 가시광 및 IR-방사선의 상이한 컬러들의 비율들을 모니터하고 평가하는 것이 쉽게 가능할 것이지만, 일반적으로 이미지 센서(102)(및 예를 들어, 이미지 프로세서(120)를 포함하는 관련 구성 요소들)가 입사 방사선을 최대한 적색, 녹색, 및 청색 요소들로 분류할 것이고, 컬러 요소들 각각은 도 5에 나타낸 IR 요소를 포함하여, 컬러 이미지를 재생성할 수 있다는 것을 유의해야 한다. 도 5에는 이미지 센서의 적색, 녹색, 및 청색 픽셀들에 대한 응답 곡선들이 예시되어 있다. 일반적으로 IR-요소는 분리시키는 것이 전혀 가능하지 않다. 일부 실행의 경우, IR-컷 필터는 방사선이 이미지 센서에 도달하기 전에 방사선의 IR-요소를 차단하는데 사용된다. 그 이유는, IR-방사선의 이미지 센서로의 도입이 카메라 컨트롤러에 의해 수행되는 색 보정을 왜곡할 것이고, 이는 IR-방사선이 모든 픽셀들에 영향을 줄 것이기 때문이며, 도 5를 참조하면, IR-컷 필터는 실제 컬러 표현을 제공할 필요가 있다.
카메라 렌즈 하우징(104)은 렌즈 시스템(108) 및 어처퍼(110)를 포함한다.
어퍼처(110)는 조리개라고도 할 수 있다. 어퍼처(110)의 역할은 어퍼처(110)를 통과하는 광을 제외하고, 광의 통과를 정지시키는 것이다. 어퍼처(110)는 고정된 크기의 개구를 갖는 고정된 어퍼처일 수 있다. 고정된 크기의 개구를 갖는 고정된 어퍼처를 가짐으로써, 덜 이동가능한 부품들을 갖는 카메라가 제공된다. 대안적으로, 어퍼처(110)는 조리개 어퍼처일 수 있고, 어퍼처 개구의 크기는 변화될 수 있다. 어퍼처(110)의 개구의 크기를 제어함으로써, 이미지 센서(102)에 도달하는 방사선의 양을 제어하는 것이 가능하고, 이는 물론 카메라들에 사용되는 레귤러 조리개 어퍼처들로부터 잘 알려져 있다.
어퍼처(110)는 렌즈 시스템(108)의 소위 어퍼처 구경면에 배치되거나, 오히려 물리적으로 가능한 한 어퍼처 구경면(stop plane)에 가깝게 배치된다. 본 발명의 나머지 부분에서, 어퍼처 구경면은 간단히 어퍼처 구경으로서 언급될 것이다. 정상적인 구성에서, 어퍼처 구경면은, 이미지 센서(102)의 면과 공강적인 상관이 없는 위치를 나타낸다. 이상적인 단일 렌즈 시스템의 경우, 구경 어퍼처는 광축에 직교한, 렌즈의 중앙에 위치될 것이다. 구경 어퍼처는 공액 이미지 지점(이 경우에는 이미지 센서)에 도달하는 객체의 각 지점에서 얼마나 많은 광을 제한하다. 따라서 구경 어퍼처는 빔 경로에서 면을 정의하며, 종종 용어 "어퍼처 면"은 동일한 특징에 사용된다. 이 면의 특징은 적어도 이상적인 상황에서, 어퍼처 크기의 변경이 전체 이미지면에 동등하게 영향을 줄 위치라는 것이다. 이미 논의된 것에 추가로, 구경 어퍼처의 특징들은 어퍼처의 크기가 실제 이미지가 아니라, 이미지 센서(102)에 도달하는 광량에만 영향을 줄 것임을 의미한다. 보다 구체적으로, 이미지면에서, 즉 이미지 센서(102)의 면에서 임의의 그림자 또는 유사한 효과들 또는 아티팩트들을 생성하지 않을 것이다. 이러한 이유로, 어퍼처(110)(조리개)를 구경 어퍼처 내에 위치시키는 것이 표준 관행이다. 본 설명의 문맥에서, "어퍼처"는 조리개 어퍼처 또는 구경 어퍼처 내에 또는 그 부근에 배치된 고정된 크기의 어퍼처에 대응한다. 필터는 바람직하게는 필터를 통과하는 모든 광이 이미지 센서에 동등하게 영향을 주는 어퍼처에 충분히 가까울 것이다.
이미지 센서(102)로 돌아가서, 이미지 센서(102)의 적어도 일부 픽셀들은 복수의 픽셀 쌍들에 속한다. 따라서, 이미지 센서(102)는 복수의 픽셀 쌍들을 포함한다. 문헌에서 복수의 픽셀 쌍들은 종종 위상 픽셀들, 위상 검출 픽셀들, 또는 이중 픽셀들로 명명된다. 본 발명에 사용된 바와 같이, 복수의 픽셀 쌍들을 갖는 이미지 센서들은 오늘날 위상 검출 자동 초점 수행을 위해 이미 사용된다. 일부 이러한 알려진 센서들은 센서 위에 분산된 상대적으로 적은 수의 위상 픽셀들을 갖는 한편, 다른 것들에서 모든 픽셀들은 위상 픽셀들이다.
이미지 센서(102)의 모든 픽셀들은 위상 픽셀들일 수 있다. 따라서, 도 2a에 도시된 바와 같이, 이미지 센서(102)의 각 픽셀은 각각의 픽셀 쌍에 속할 수 있다. 픽셀들의 각 쌍은 제1 픽셀(200) 및 제2 픽셀(202)를 포함한다. 대안적으로, 이미지 센서(102)는 센서 영역 위로 분산되는 더 적은 수의 위상 픽셀들을 가질 수 있다. 따라서, 도 2b 및 도 2c에 도시된 바와 같이, 이미지 센서(102)의 픽셀들의 서브세트는 각각의 픽셀 쌍에 속할 수 있다.
각각의 픽셀 쌍에서, 제1 픽셀(200)은, 어퍼처(110)를 통해 카메라(100)로 진입해오고, 제1 방사선 경로를 통해 어퍼처(110)로부터 이미지 센서(102)로 이동해온 방사선을 검출하도록 구성되고, 제2 픽셀(202)은 어퍼처(110)를 통해 카메라(100)로 진입해오고, 제2 방사선 경로를 통해 어퍼처(110)로부터 이미지 센서(102)를 통해 이동해온 방사선을 검출하도록 구성된다. 제2 방사선 경로는 제1 방사선 경로와 상이하다. 제2 방사선 경로는 제1 방사선 경로와 별도일 수 있다. 따라서, 제1 및 제2 방사선 경로들은 오버랩되지 않을 수 있다.
각각의 픽셀 쌍에서, 제1 픽셀(200)의 제1 절반은, 제1 픽셀(200)이 어퍼처(110)를 통해 카메라(100)에 진입해오고, 제1 방사선 경로를 통해 어퍼처(110)로부터 이미지 센서(102)로 이동해온 방사선을 검출하도록 마스킹될 수 있고, 제2 픽셀(200)의 제2 절반은, 제2 픽셀(202)이 어퍼처(110)를 통해 카메라(100)로 진입해오고, 제2 방사선 경로를 통해 어퍼처(110)로부터 이미지 센서(102)로 이동해온 방사선을 검출하도록 마스킹될 수 있다. 제2 절반은 제1 절반에 상보적일 수 있다.
각각의 픽셀 쌍에서, 제1 픽셀(200)은, 제1 픽셀(200)이 어퍼처(110)를 통해 카메라(100)로 진입해오고, 제1 방사선 경로를 통해 어퍼처(110)로부터 이미지 센서(102)로 이동해온 방사선을 검출하도록 형상화될 수 있고, 제2 픽셀(202)은, 제2 픽셀(202)이 어퍼처(110)를 통해 카메라(100)를 진입해오고, 제2 방사선 경로를 통해 제1 어퍼처(110)로부터 이미지 센서(102)로 이동해온 방사선을 검출하도록 형상될 수 있다.
카메라 렌즈 하우징(104)은 필터(112)를 더 포함한다. 필터(112)는 어퍼처(110) 내에 또는 그 부근에 배치된다. 필터(112)는 바람직하게는 공간 이미지가 아니라, 광의 양만이 영향을 받도록 어퍼처 면에 충분히 가깝다. 어퍼처(110) 내에 또는 그 부근에 필터(112)를 갖는 추가된 이점이 있고, 그에 의해 구경 어퍼처의 면에 가깝다. 이는 정상적인 구성에서 구경 어퍼처의 면이 이미지 센서(102)의 면과 공간 상관이 없는 위치를 나타내기 때문이다.
필터(112)가 어퍼처(110)의 부근에 배치되는 경우, 필터(112)는 어퍼처(110)와 이미지 센서(102) 사이, 또는 어퍼처의 외부에 배치될 수 있다.
도 3a, 도 3b, 및 도 3c에 도시된 바와 같이, 필터(112)는 IR-방사선 또는 가시광을 차단하도록 구성된 제1 부분(300) 및 제1 부분에 의해 차단된 파장들에 대해 투명하도록 구성된 제2 부분(302)을 포함한다.
필터(112)는 가시광 및 IR-방사선에 대해 투명한 물질로 제조될 수 있다. 이러한 재료의 예들은 유리 및 플라스틱이다. 필터는 고체 시트를 포함할 수 있다. 시트는 부분적으로 하나 이상의 코팅들로 커버될 수 있다. 하나 이상의 코팅들을 갖는 필터(112)의 부분은 필터(112)의 제1 부분(300)일 수 있다. 또한 필터(112)의 제2 부분(302)은 하나 이상의 코팅들로 커버될 수 있다. 그러나, 필터의 제2 부분(302)은 임의의 파장 차단 코팅들에 의해 커버되지 않을 수도 있다. 하나 이상의 코팅들의 특정 조성은 특정 파장 범위의 파장들을 갖는 방사선을 차단할 수 있으며, 다른 특정 파장 범위의 파장들을 갖는 방사선이 통과하는 것을 가능하게 할 수 있다. 이는 도 4a, 도 4a, 및 도 4c에 관하여 더 논의될 것이다.
제1 부분(300)이 필터(112)의 제1 절반을 나타내고 제2 부분(302)이 필터(112)의 제2 절반을 나타내도록, 도 3a에 도시된 바와 같이, 필터(112) 분할이 이루어질 수 있고, 제2 절반은 제1 절반에 상보적이다. 그러나, 분할은 상이하게 이루어질 수 있으며, 이는 이제 도 3b 및 3c에 관하여 더 논의될 것이다.
도 3b 및 도 3c는 제2 부분(302)보다 큰 제1 부분(300)을 갖는 필터(112)의 2개의 상이한 예시적인 실시예들을 도시한다. 이들 예시적인 실시예들에 따르면, 제1 부분(300)은 IR-방사선을 차단하도록 구성된다. 도 3b 및 도 3c에 예시된 필터 디자인은 제1 부분(300)이 제2 부분(302)보다 큰, 많은 가능한 디자인들 중 단지 2개의 예들이다. 필터(112)의 IR-차단 부분을 필터(112)의 비-IR-차단 부분보다 더 크게 함으로써, IR-방사선을 검출하지 않기로 되어 있는 픽셀 쌍들 중 IR-방사선의 픽셀들로의 누출의 위험이 감소된다. 여전히, 이는 제2 경로의 픽셀들이 필터링된 및 필터링되지 않은 방사선의 혼합물을 얻을 것이기 때문에, 장면 내의 IR-방사선의 추정이 정확하지 않을 수 있다는 희생을 야기할 수 있다. 도 3c에 도시된 필터 디자인에 따르면, 필터(112)는 이중 기능을 가질 수 있다. 본 발명의 문맥에서 논의된 바와 같이 저조도 조건들에 유용한 바와 같이, IR-방사선을 부분적으로 차단하는 것에 추가로, 필터(112)는 또한 일광 조건들 동안 IR-컷 필터로서 사용될 수 있다. 이는, 일광 조건들 동안, 조리개 어퍼처의 형태의 어퍼처(110)는 일반적으로, 필터(112)의 제1 부분(300) 내의 위치된 영역(306) 내에 작동할 수 있는 크기로 감소된다. 필터의 이러한 디자인으로, 제2 경로 내의 혼합 필터링된 및 필터링되지 않은 방사선을 갖는 전술한 문제는, 픽셀 쌍들 내의 픽셀들이, 상이한 양의 광을 수신할 수 있도록 상이한 크기들로 형성되는 경우 완화될 수 있다.
필터(112)는, 제1 및 제2 방사선 경로들 내에 위치되고 그로부터 후퇴될 수 있도록 이동가능할 수 있다. 대안적으로, 필터(112)는 어퍼처(110) 내에 또는 그 부근에 고정식으로 위치될 수 있다.
필터(112) 및 이미지 센서(102)는 필터(112)의 분할이 복수의 픽셀 쌍들 중 제1 및 제2 픽셀들(200, 202)의 배향으로 정렬되거나 또는 이에 평행하도록 배치된다. 정렬은 제1 픽셀들(200)이 필터(112)의 제1 부분(300)을 통과한 방사선을 수신할 것이고, 제2 픽셀들(202)이 필터(112)의 제2 부분(302)을 통과한 방사선을 수신할 것을 야기할 것이다. 따라서, 필터(112) 및 이미지 센서(102)는, 필터(112)의 제1 부분(300)을 통과하는 방사선이 복수의 픽셀 쌍들 중 제1 픽셀들(200)로 이동하도록, 및 필터(112)의 제2 부분(302)을 통과하는 방사선이 복수의 픽셀 쌍들 중 제2 픽셀들(202)로 이동하도록, 서로에 대해 배치된다. 필터(112)와 이미지 센서(102)의 정렬은, 필터(112)의 분할이 이미지 센서(102)의 제1 및 제2 픽셀들(200,202)의 배향에 평행하게 배치되도록 이루어질 수 있다.
도시된 실시예들에서, 필터뿐만 아니라 픽셀 쌍들은 좌측 부분 및 우측 부분으로 분할된다. 상부 및 하부, 또는 임의의 다른 배향과 같은, 다른 분할들이 가능하다는 것을 유의해야 한다.
IR-방사선 또는 가시광을 차단하도록 구성된 제1 부분(300) 및 제1 부분에 의해 차단된 파장들에 대해 투명하도록 구성된 제2 부분(302)을 갖는 필터(112), 및 상기 정의된 바와 같은 복수의 픽셀 쌍들을 포함하는 이미지 센서(102)와의 설정은 카메라(100)로 진입하는 방사선 내에 포함된 IR-방사선의 양의 추정을 가능하게 한다. 이는 가시광과 IR-방사선을 구별하지 않는 이미지 센서를 사용한다. IR-방사선의 양의 추정은, 예를 들어, 저조도 조건들 동안에도 컬러 이미지들을 생성하는데 사용될 수 있다. 이는 이 설명에서 보다 상세히 더 논의될 것이다.
본 발명에 관하여 사용될 수 있는 필터(112)의 가능한 다수의 구성들이 있다.
제1 구성에 따르면, 제1 부분(300)은 IR-방사선을 차단하도록 구성되고, 제2 부분(302)은 IR-방사선에 대해 투명하도록 구성된다. 제1 구성의 경우, 필터(112)의 제1 부분(300) 및 제2 부분(302)은 모두 가시광이 통과하는 것을 가능하게 하도록 구성된다. 따라서, 필터(112)의 제1 부분(300)은 IR-방사선을 차단하고, 가시광을 통과하는 것을 가능하게 하도록 구성되고, 필터(112)의 제2 부분(302)은 가시광 및 IR-방사선 모두가 통과하는 것을 가능하게 하도록 구성된다. 이는 도 4a에 도시되어 있다. 가시 스펙트럼 범위 Ivis 및 IR 스펙트럼 범위 IIR 모두에서 강도를 갖는 방사선은 필터(112)로 진입한다. 필터(112)의 제1 부분(300)은 IR 방사선을 차단하고, 가시광이 통과하는 것을 가능하게 할 것이며, 따라서 필터(112)의 제1 부분(300)을 통과하는 방사선은 가시 스펙트럼 범위(Ivis)에서의 강도만을 가질 것이다. 필터(112)의 제2 부분(302)은 IR 방사선 및 가시광 모두가 통과하는 것을 가능하게 할 것이며, 따라서 필터(112)의 제2 부분(302)을 통과하는 방사선은 IR 스펙트럼 범위(IIR)및 가시 스펙트럼 범위(Ivis) 모두에서 강도를 가질 것이다. 이후, 복수의 픽셀들 중 제1 픽셀들(200)은 Ivis에 비례하는 신호(S1)를 생성할 것이고, 이후, 복수의 픽셀들 중 제2 픽셀들(202)은 Ivis+IIR에 비례하는 신호(S2)를 생성할 것이다. 이로부터 IR 방사선의 양은 S2-S1로서 추정될 수 있다. 또한, 이후, IR-방사선 및 가시광 모두를 검출하는 이미지 센서(102)의 픽셀들로부터의 신호(Stot)에서의 가시광으로부터의 기여분은 Stot-(S2-S1)로 추정될 수 있다.
제2 구성에 따르면, 제1 부분(300)은 가시광을 차단하도록 구성되고, 제2 부분(302)은 가시광에 대해 투명하도록 구성된다. 이러한 제2 구성의 경우, 필터(112)의 제1 부분(300) 및 제2 부분(302) 모두는 IR-방사선이 통과하는 것을 가능하게 하도록 구성된다. 따라서, 필터(112)의 제1 부분(300)은 가시광을 차단하고, IR-방사선이 통과하는 것을 가능하게 하도록 구성되고, 필터(112)의 제2 부분(302)은 가시광 및 IR-방사선 모두가 통과하는 것을 가능하게 하도록 구성된다. 이는 도 4b에 도시되어 있다. 가시 스펙트럼 범위(Ivis) 및 IR 스펙트럼 범위(IIR) 모두에서 강도를 갖는 방사선은 필터(112)로 진입한다. 필터(112)의 제1 부분(300)은 가시광을 차단하고, IR 방사선이 통과하는 것을 가능하게 할 것이며, 필터(112)의 제1 부분(300)을 통과하는 방사선은 IR 스펙트럼 범위(IIR)에서만 강도를 가질 것이다. 필터(112)의 제2 부분(302)은 IR 방사선 및 가시광 모두가 통과하는 것을 가능하게 할 것이고, 필터(112)의 제2 부분(302)을 통과하는 방사선이 IR 스펙트럼 범위(IIR) 및 가시광 스펙트럼 범위(Ivis) 모두에서 강도를 가질 것이다. 이후, 복수의 픽셀들 중 제1 픽셀들(200)은 IIR에 비례하는 신호(S1)를 생성할 것이고, 이후, 복수의 픽셀들 중 제2 픽셀들(202)은 IVIS+IIR에 비례하는 신호(S2)를 생성할 것이다. 이로부터, IR 방사선의 양은 S1로서 추정될 수 있다. 또한, 이후, IR-방사선 및 가시광 모두를 검출하는 이미지들 센서(102)의 픽셀들로부터, 신호들(Stot)의 가시광으로부터의 기여분은 Stot-S1로 추정될 수 있다.
제3 구성에 따르면, 제1 부분(300)은 IR-방사선을 차단하도록 구성되고, 제2 부분(302)은 IR-방사선에 대해 투명하도록 구성된다. 또한, 제1 부분(300)은 가시광에 대해 투명하도록 구성되고, 제2 부분(302)은 가시광을 차단하도록 구성된다. 따라서, 필터(112)의 제1 부분(300)은 IR-방사선을 차단하고 가시광이 통과하는 것을 가능하게 하도록 구성되고, 필터(112)의 제2 부분(302)은 IR-방사선이 통과하고 가시광을 차단하는 것을 가능하게 하도록 구성된다. 이는 도 4c에 도시되어 있다. 가시 스펙트럼 범위(Ivis) 및 IR 스펙트럼 범위(IIR) 모두에서 강도를 갖는 방사선은 필터(112)로 진입하고 있다. 필터(112)의 제1 부분(300)은 IR 방사선을 차단하고, 가시광이 통과하는 것을 가능하게 할 것이며, 따라서 필터(112)의 제1 부분(300)을 통과하는 방사선은 가시 스펙트럼 범위(Ivis)에서의 강도만을 가질 것이다. 필터(112)의 제2 부분(302)은 IR 방사선이 통과하는 것을 가능하게 할 것이지만 가시광을 차단할 것이며, 따라서 필터(112)의 제2 부분(302)을 통과하는 방사선은 IR 스펙트럼 범위(IIR)에서 강도를 가질 것이다. 이후, 복수의 픽셀들 중 제1 픽셀들(200)은 Ivis에 비례하는 신호(S1)를 생성할 것이고, 이후, 복수의 픽셀들 중 제2 픽셀(202)은 IIR에 비례하는 신호(S2)를 생성할 것이다. 이로부터 IR 방사선의 양은 S2로서 추정될 수 있다. 또한, 이후, IR-방사선 및 가시광 모두를 검출하는 이미지 센서(102)의 픽셀로부터의, 신호들(Stot)에서의 가시광으로부터의 기여분은 Stot-S2로 추정될 수 있다.
따라서, 필터(112)의 구성에 관계없이 장면 내의 IR-방사선의 비율이 계산될 수 있다.
카메라(100)는 프로세서(124)를 포함할 수 있다. 프로세서(124)는 단일 코어 프로세서 또는 멀티코어 프로세서일 수 있다. 프로세서(124)는 디지털 데이터 프로세싱을 수행하기 위한 임의의 적합한 프로세서일 수 있다. 프로세서(124)는 복수의 픽셀 쌍들 중 제1 픽셀들(200)로부터의 신호들 및 복수의 픽셀 쌍들 중 제2 픽셀들(202)로부터의 신호들을 처리하도록 구성될 수 있다. 대안적으로, 이미지 프로세서(120)는 복수의 픽셀 쌍들 중 제1 픽셀들(200)로부터의 신호들 및 복수의 픽셀 쌍들 중 제2 픽셀(202)로부터의 신호를 처리하도록 구성될 수 있다. 또한, 대안적으로, 제1 및 제2 픽셀(200, 202)로부터의 신호들은 부분적으로 프로세서(124)에 의해, 및 부분적으로 이미지 프로세서(120)에 의해 처리될 수 있다.
카메라(100)는 메모리(122)를 더 포함할 수 있다. 메모리(122)는 임의의 종류의 휘발성 또는 비휘발성 메모리일 수 있다. 또한, 메모리(122)는 복수의 메모리 유닛들을 포함할 수 있다. 메모리(122)는 프로세서(124) 및/또는 이미지 프로세서(120)에 의한 프로세싱을 수행하면서 데이터를 버퍼링하기 위한 버퍼 메모리로서 사용될 수 있다. 예를 들어, 메모리는 이미지 센서(102)의 픽셀들에 대한 픽셀 값 신호들에 관한 정보를 버퍼링하도록 구성될 수 있다.
이미지 프로세서(120), 메모리(122), 및 프로세서(124)는 데이터 버스(126)를 통해 통신할 수 있다.
카메라(100)의 프로세서(124), 이미지 프로세서(120), 또는 이들의 조합의의 프로세싱 유닛은 복수의 픽셀 쌍들 중 제1 픽셀들(200) 각각에 대해 각각의 제1 픽셀(200)에 의해 검출된 방사선의 제1 양을 나타내는 값을 결정하도록 구성될 수 있다. 카메라(100)의 프로세싱 유닛은 복수의 픽셀 쌍들 중 제2 픽셀들(202) 각각에 대해, 각각의 제2 픽셀(200)에 의해 검출된 방사선의 제2 양을 나타내는 값을 결정하도록 더 구성될 수 있다. 복수의 픽셀 쌍들 중 제1 및 제2 픽셀들(200, 202)의 각각의 대해 결정된 방사선의 제1 및 제2 양을 나타내는 값들에 기초하여, 프로세싱 유닛은 장면 내에 IR-방사선의 비율을 계산하도록 구성될 수 있다. IR-방사선의 비율은 장면의 상이한 영역들에 대해 상이할 수 있다. 이미지 센서(102)는 복수의 픽셀 쌍들을 포함하기 때문에, 장면의 상이한 영역들의 IR-방사선의 비율이 결정될 수 있다. 이는 특히, 픽셀 쌍들이 이미지 센서(102)의 영역에 걸쳐 균일하게 분포되는 경우이다.
IR-방사선의 비율을 결정함으로써, 가시광의 기여도를 평가하는 것이 가능할 것이다. 평가는 개별 픽셀들 또는 픽셀들의 그룹들에서 이미지 프레임의 더 큰 부분들, 또는 전체 이미지 프레임에 이르는 이미지의 임의의 레벨의 해상도 상에서 수행될 수 있다. 또한, 평가는 단일 프레임들에 기초할 수 있지만, 양호한 통계를 위해, 평가가 수행되기 전에 다수의 이미지 프레임들이 결합되어 평균값을 형성할 수 있다.
평가 이후에, 가시광 및 적외선 파장들로부터 기여도를 분리시키고, 이에 따라 생성된 이미지를 보정하는 것이 가능할 것이다. 따라서, 장면 내의 IR-방사선의 계산된 비율에 기초하여, 프로세싱 유닛은 카메라(100)에 의해 캡처된 이미지의 IR-기여도를 보상함으로써 장면의 컬러 이미지를 생성하도록 구성될 수 있다.
요약하면, 저조도 조건들에서도 컬러 이미지들을 생성하기 위해서는 다음이 양호한 결과들을 제공할 것이 인식된다:
● 가능한 한 많은 방사선, 즉 가시광 및 IR-방사선 모두를 이미지 센
서(102)에 도달하게 한다. 이는 이미지 센서 상에 필요한 이득을 감소시키
고, 따라서 이미지 센서로부터 신호의 잡음 레벨을 감소시키기 위한 것이
다.
● 가시광 및 IR-방사선 모두를 검출하는 이미지 센서(102)의 픽셀들에 도달
하는 방사선 내의 IR-방사선의 비율을 결정한다. 이는 픽셀 쌍들 중
제1 및 제2 픽셀들(200, 202)에 도달하는 방사선을 상이하게 필터링함으로
써 이루어진다.
● 카메라에 의해 캡처된 이미지 내의 IR-기여분을 보상함으로써 컬러 이미
지를 생성한다.
도 6에 관하여, 가시광 및 IR-방사선 모두를 포함하는 방사선에 노출된 카메라에 의해 캡처된 장면의 컬러 이미지를 생성하는 방법이 논의될 것이다. 상기 방법은: 복수의 픽셀 쌍들 각각에서 방사선의 양을 나타내는 값을 검출하는 단계(S602)를 포함하며, 각 쌍은 제1 픽셀 및 제2 픽셀을 포함한다. 따라서, 카메라는 상기 논의된 바와 같이 복수의 픽셀 쌍들을 포함하는 이미지 센서를 포함한다. 복수의 픽셀 쌍들 중 제1 픽셀들 각각에 대해, 각각의 제1 픽셀에 의해 검출된 방사선의 제1 양을 나타내는 값을 결정하는 단계(S604). 복수의 픽셀 쌍들 중 제2 픽셀들 각각에 대해, 각각의 제2 픽셀에 의해 검출된 방사선의 제2 양을 나타내는 값을 결정하는 단계(S606). 복수의 픽셀 쌍들 중 제1 및 제2 픽셀들 각각에 대해 결정된 방사선의 제1 및 제2 양에 기초하여 장면 내의 IR-방사선의 비율을 계산하는 단계(S608). IR-방사선의 계산된 비율에 기초하여 카메라에 의해 캡처된 이미지 내의 IR-기여분을 보상함으로써 장면의 컬러 이미지를 생성하는 단계(S610).
방법은 IR-방사선 또는 가시광이 복수의 픽셀 쌍들 중 제1 픽셀들에 도달하는 것을 차단하는 단계, 및 복수의 픽셀 쌍들 중 제1 픽셀들에 도달하는 것이 차단된 파장들이, 복수의 픽셀 쌍들 중 제2 픽셀들에 도달하는 것을 가능하게 하는 단계를 더 포함할 수 있다.
통상의 기술자는 본 발명이 위에서 설명한 바람직한 실시예들로 결코 제한되지 않는다는 것을 인식한다. 반대로, 첨부된 청구항의 범위 내에 많은 수정들 및 변형들이 가능하다.
예를 들어, 그 정상 동작에 추가로, 어퍼처(110)는 제어 및 디자인면에서 일부 추가 특징들을 가질 수 있다. 디자인 특징은 필터(112)의 결합을 수반할 수 있다.
또한, 필터(112)는 제1 및 제2 방사선 경로들에서 IR-방사선을 상이하게 필터링하도록 구성될 수 있다. 예를 들어, 필터(112)의 제1 부분(300)은 모든 IR-방사선을 차단하도록 구성될 수 있고, 필터(112)의 제2 부분(302)은 IR-스펙트럼 내의 파장들의 미리 결정된 서브 부분을 제외하고 모든 IR-방사선을 차단하도록 구성될 수 있다. 이는, 예를 들어, IR 조명기가 카메라(100)에 의해 보여진 장면을 조명하는데 사용될 때 실행들에 유용할 수 있으며, IR 조명기는 IR-스펙트럼 내의 파장들의 미리 결정된 서브 부분 내에 파장들을 갖는 장면을 조명하도록 구성된다. 이후, 필터의 제2 부분은 IR-스펙트럼 내의 파장들의 미리 결정된 서브 부분 내의 IR-방사선이 이미지 센서에 도달하게 하는 것을 가능하게 하도록 구성된다. 이후, IR-스펙트럼 내의 파장들의 미리 결정된 서브 부분 내의 IR-방사선이 보상될 수 있다. IR 조명기는 카메라 내에 또는 그 상에, 또는 장면 내의 어느 곳에서나 배치될 수 있다.
또한, 다른 유형의 필터가 픽셀 쌍들 중 제1 및 제2 픽셀들에 상이하게 도달하는 방사선을 필터링하는데 사용될 수 있다. 예를 들어, 가시 스펙트럼의 상이한 부분들이 상이하게 필터링될 수 있다. 하나의 가능한 실행을 언급하면, 녹색 광이 식물들을 연구하기 위해 상이하게 필터링될 수 있다. 환경에서 하나 이상의 방해 광원들에 대한 스펙터름 정보를 알면, 그러한 광원들의 기여분은, 복수의 픽셀 쌍들을 포함하는 이미지 센서와 함께, 하나 이상의 방해 광원들의 파장들을 차단하는 제1 부분 및 동일한 파장들을 통과하는 것을 가능하게 하는 제2 부분을 갖는 필터를 사용함으로써 보상될 수 있다. 방사선 스펙트럼의 다른 부분들에 민감한 센서들에 의해, 예를 들어, UV 방사선을 선택적으로 차단 또는 투과함으로써, 입사 방사선 내의 자외선 조사량을 연구함으로써, 동일한 원리가 사용될 수 있다.
또한, 복수의 픽셀 쌍들 각각의 방사선의 양을 나타내는 값의 검출, 복스의 픽셀 쌍들 중 제1 픽셀들 각각에 대해, 각각의 제1 픽셀에 의해 검출된 방사선의 제1 양을 나타내는 값을 결정, 복수의 픽셀 쌍들 중 제2 픽셀들 각각에 대해, 각각의 제2 픽셀에 의해 검출된 방사선의 제2 양을 나타내는 값을 결정, 복수의 픽셀 쌍들 중 제1 및 제2 픽셀들 각각에 대해 결정된 방사선의 제1 및 제2 양에 기초하여 장면 내의 IR-방사선의 비율을 계산, 및 IR-방사선의 계산된 비율에 기초하여 카메라에 의해 캡처된 이미지 내의 IR-기여분을 보상함으로써 장면의 컬러 이미지 생성 중 하나 이상이 카메라(100)로부터 분리된 디바이스 내에 이루어질 수 있다. 따라서, 카메라(100)는 카메라와 별도의 디바이스와 통신하도록 구성될 수 있다. 이러한 디바이스는 예를 들어 서버일 수 있다. 서버는, 예를 들어, 컬러 이미지들의 생성을 갖는 복수의 카메라들을 서비스하도록 구성될 수 있다. 서버는, 주간 모드 또는 야간 모드에서 하나 이상의 카메라들을 설정하는 상기 논의된 카메라(100)로서 하나 이상의 카메라들을 제어하도록 구성될 수 있다. 주간 모드에서, 필터(112)는 바람직하게는 사용되지 않지만, 대신에, 모든 IR-방사선이 이미지 센서에 도달하는 것을 차단하는 IR-컷 필터가 사용된다. 따라서, 필터(112)는 각각의 카메라(100)의 빔 경로로부터 후퇴될 수 있고 IR-컷 필터는 각각의 카메라(100)의 빔 경로 내로 삽입될 수 있다. 야간 모드에서, 필터(112)는 각각의 카메라(100)의 빔 경로 내로 삽입되고, IR-컷 필터는 각각의 카메라(100)의 빔 경로로부터 후퇴된다.
전술한 바와 같이, 필터(112)의 제1 부분(300)은 모든 IR-방사선을 차단하도록 구성될 수 있고, 필터(112)의 제2 부분(302)은 카메라 내에 또는 장면 내의 어느 곳에 배치된 IR 조명기에 의해 방출된 파장들에 대응하는 IR-스펙트럼 내의 파장들의 미리 결정된 서브 부분을 제외하고, 모든 IR-방사선을 차단하도록 구성될 수 있다. 이러한 구성의 변형예에서, 필터의 제1 부분은 IR 방사선의 IR 조명기 서브 부분 및 가시광에 투명할 수 있는 한편, 필터의 제2 부분은 모든 IR 방사선을 차단하고, 가시광 통과만을 가능하게 한다. 혼합광 장면, 즉, IR 방사선 및 낮은 레벨의 가시광을 갖는 장면에서, 이러한 구성은, IR 조명기가 장면 내의 모든 또는 거의 모든 IR 방사선을 제공하고, 조명기 서브-스펙트럼 밖에 IR 방사선이 거의 없거나 전혀 없는 경우 유용할 수 있다. 조명기에 의해 추가된 IR-방사선은 장면 내의 방사선의 전체 양을 증가시키고, 따라서 이미지 센서에 대한 이득에 대한 필요성을 감소시킨다. 픽셀 쌍들 및 스플릿 필터는 IR 요소를 결정하고, 이를 보상하는 것을 가능하게 하여, 양호한 컬러 충실도를 갖는 컬러 이미지들이 황혼 및 새벽과 같은 저조도에서도 생성될 수 있다. 여전히, 일광에서 태양은 IR 조명기의 스펙트럼 범위 밖의 IR 방사선의 상당한 양에 기여할 수 있고, 따라서 입사 방사선 내의 IR 방사선의 전체 양을 결정하는 것이 가능하지 않을 수 있다. 따라서, 필터 장치에는 추가적인, 이동식 필터가 구비될 수 있으며, 이는 모든 IR 방사선, 또는 IR 조명기의 적어도 스펙트럼 범위를 차단하지만, 가시광에 투명하다. 고정된 필터 및 이동식 필터의 조합을 사용하는 필터 장치는 출원인의 유럽 특허 출원 제16207126.0호에 설명되어 있다. 추가적인 필터는, 장면 내의 높은 광 레벨이 있을 때 삽입될 수 있다. 이러한 조명 조건에서, IR 요소는 충분히 낮은 잡음을 유지하기에 필요하지 않다. 혼합광에서, 가시광 레벨이 허용가능한 신호 대 잡음비를 제공하기에 매우 낮을 때, 이동식 IR 컷 필터가 제거될 수 있고, IR 조명기는 스위칭되어, 조명기로부터 IR 방사선이 각 픽셀 쌍의 하나의 픽셀에 도달하는 것을 가능하게 할 수 있다. 야간과 같은 어둠에서, 이동식 IR 컷 필터는 제거되어 유지되어야 하며, 흑색 및 백색 이미지들은 조명기 및 다른 소스들로부터 IR 방사선에 기초하여 생성될 수 있는 한편, 가시광 기여분은 미미하다.
도 2a-c에 도시된 실시예들에서, 제1 및 제2 픽셀들은 픽셀 쌍의 각각의 부분이다. 그러나, 제1 및 제2 픽셀들은, 픽셀들의 트리플렛 또는 쿼드플렛과 같은, 픽셀들의 더 큰 그룹들의 일부일 수 있다. 픽셀들의 트리플렛에서, 예를 들어, 하나의 제1 픽셀 및 두개의 제2 픽셀들이 있을 수 있으며, 또는 그 반대일 수 있다. 픽셀들의 쿼드플렛에서, 두개의 제1 픽셀들 및 두개의 제2 픽셀들이 있을 수 있지만, 하나의 제1 픽셀 및 세개의 제2 픽셀들이 있을 수 있으며, 또는 그 반대일 수 있다.
추가적으로, 개시된 실시예들에 대한 변형예들은 도면들, 본 발명, 및 첨부된 청구항의 연구로부터, 청구된 발명을 실행하는데 있어 통상의 기술자에 의해 이해되고 영향을 받을 수 있다.

Claims (15)

  1. 카메라로서,
    어퍼처(110);
    쌍을 이루는 복수의 픽셀 쌍들을 포함하는 이미지 센서(102)로서, 각각의
    픽셀 쌍은 하기의 구성을 포함함:
    제1 픽셀(200)이 상기 어퍼처(110)를 통해 카메라로 진입해오고 제1 방사선 경로를 통해 상기 어퍼처(110)로부터 상기 이미지 센서(102)로 이동해온 방사선을 검출하도록 구성되며,
    제2 픽셀이(202)이 상기 어퍼처(110)를 통해 카메라로 진입해오고, 상기 제1 방사선 경로와 상이한 제2 방사선 경로를 통해 상기 어퍼처(110)로부터 상기 이미지 센서(102)로 이동해온 방사선을 검출하도록 구성됨;
    상기 어퍼처(110) 내에 또는 상기 어퍼처(110) 부근에 배치된 필터(112)를 포함하고, 상기 필터(112)는 IR-방사선 또는 가시광을 차단하도록 구성된 제1 부분(300) 및 IR-방사선과 가시광 모두를 투과하도록 구성된 제2 부분(302)을 포함하고, 상기 필터(112)는, 상기 제1 부분(300)을 통과하는 방사선이 상기 복수의 픽셀 쌍들의 상기 제1 픽셀들(200)로 이동하고 상기 제2 부분(302)을 통과하는 방사선이 상기 복수의 픽셀 쌍들의 제2 픽셀들(202)로 이동하도록 배치되는, 카메라.
  2. 제1항에 있어서,
    상기 필터(112)는 상기 어퍼처(110) 내에 또는 상기 어퍼처(110) 부근에 고정식으로 위치되는, 카메라.
  3. 제1항에 있어서,
    상기 필터(112)는 상기 제1 및 제2 방사선 경로들 내에 위치되고 그로부터 후퇴될 수 있도록, 이동가능한, 카메라.
  4. 제1항에 있어서,
    상기 필터의 분할이:
    IR-방사선이 상기 픽셀 쌍들의 상기 제1 픽셀들에 도달하지 않고 IR-방사선 및 가시광 모두가 상기 제2 픽셀들에 도달하도록 상기 제1 및 제2 픽셀들로 정렬되는, 카메라.
  5. 제1항에 있어서,
    상기 이미지 센서(102)의 픽셀 각각은 각각의 픽셀 쌍에 속하는, 카메라.
  6. 제1항에 있어서,
    상기 이미지 센서(102)는, 카메라가 가시광 및 IR-방사선 모두를 포함하는 방사선에 노출될 때, 복수의 픽셀 쌍들 각각에 도달하는 방사선의 양을 나타내는 값을 등록하도록 구성되고, 상기 카메라는:
    상기 복수의 픽셀 쌍들의 제1 픽셀들(200) 각각에 대해, 각각의 제1 픽셀(200)에 의해 검출된 방사선의 제1 양을 나타내는 값을 결정하고,
    상기 복수의 픽셀 쌍들의 제2 픽셀들(202) 각각에 대해, 각각의 제2 픽셀(202)에 의해 검출된 방사선의 제2 양을 나타내는 값을 결정하고,
    상기 복수의 픽셀 쌍들의 제1 및 제2 픽셀들(200; 202) 각각에 대해 결정된 방사선의 상기 제1 및 제2 양에 기초하여 장면 내의 IR-방사선의 비율을 계산하고, 및
    IR-방사선의 계산된 비율에 기초하여 카메라에 의해 캡처된 이미지의 IR-기여분을 보상함으로써 장면의 컬러 이미지를 생성하도록 구성된 프로세싱 유닛을 더 포함하는, 카메라.
  7. 가시광 및 IR-방사선을 모두 포함하는 방사선에 노출된 카메라에 의해 캡처된 장면의 컬러 이미지를 생성하는 방법으로서, 상기 방법은:
    복수의 픽셀 쌍들 각각에서 방사선의 양을 나타내는 값을 검출하는 단계로서, 각각의 쌍은 제1 픽셀 및 제2 픽셀을 포함하고, 상기 제1 픽셀은 어퍼처를 통해 카메라로 진입해오고 제1 방사선 경로를 통해 상기 어퍼처로부터 이미지 센서로 이동해온 방사선을 검출하도록 구성되며, 상기 제2 픽셀은 상기 어퍼처를 통해 카메라로 진입해오고, 상기 제1 방사선 경로와 상이한 제2 방사선 경로를 통해 상기 어퍼처로부터 상기 이미지 센서로 이동해온 방사선을 검출하도록 구성됨,
    IR-방사선 또는 가시광이 상기 복수의 픽셀 쌍들의 제1 픽셀들에 도달하는 것을 차단하는 단계,
    IR-방사선 및 가시광 모두는 상기 복수의 픽셀 쌍들의 제2 픽셀들에 도달하는 것을 허용하는 단계,
    상기 복수의 픽셀 쌍들의 제1 픽셀들 각각에 대해, 각각의 제1 픽셀에 의해 검출된 방사선의 제1 양을 나타내는 값을 결정하는 단계,
    상기 복수의 픽셀 쌍들의 제2 픽셀들 각각에 대해, 각각의 제2 픽셀에 의해 검출된 방사선의 제2 양을 나타내는 값을 결정하는 단계,
    상기 복수의 픽셀 쌍들의 제1 및 제2 픽셀들 각각에 대해 결정된 방사선의 제1 및 제2 양에 기초하여 장면에서 IR-방사선의 비율을 계산하는 단계, 및
    IR-방사선의 계산된 비율에 기초하여 카메라에 의해 캡처된 이미지의 IR-기여분을 보상함으로써 장면의 컬러 이미지를 생성하는 단계를 포함하는, 방법.
  8. 처리 능력을 갖는 디바이스 상에 실행될 때 제7항의 방법을 수행하도록 구성된 컴퓨터 판독 가능 프로그램 코드가 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020180050062A 2017-06-29 2018-04-30 카메라 및 컬러 이미지 생성 방법 KR102100031B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP17178716.1 2017-06-29
EP17178716.1A EP3422700B1 (en) 2017-06-29 2017-06-29 A method for enhancing color images, and an assembly performing such method
EP17209246.2A EP3343897B1 (en) 2016-12-28 2017-12-21 Camera and method of producing color images
EP17209246.2 2017-12-21

Publications (2)

Publication Number Publication Date
KR20190002289A KR20190002289A (ko) 2019-01-08
KR102100031B1 true KR102100031B1 (ko) 2020-04-10

Family

ID=59298216

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180050062A KR102100031B1 (ko) 2017-06-29 2018-04-30 카메라 및 컬러 이미지 생성 방법
KR1020180074453A KR102113488B1 (ko) 2017-06-29 2018-06-28 컬러 이미지를 향상시키기 위한 방법, 및 이러한 방법을 수행하는 어셈블리

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020180074453A KR102113488B1 (ko) 2017-06-29 2018-06-28 컬러 이미지를 향상시키기 위한 방법, 및 이러한 방법을 수행하는 어셈블리

Country Status (6)

Country Link
US (1) US10531058B2 (ko)
EP (1) EP3422700B1 (ko)
JP (2) JP6606231B2 (ko)
KR (2) KR102100031B1 (ko)
CN (2) CN109218691A (ko)
TW (2) TWI708510B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3840362B1 (en) * 2019-12-19 2022-05-04 Axis AB A video camera system with a light sensor and a method for operating said video camera
US11595625B2 (en) * 2020-01-02 2023-02-28 Qualcomm Incorporated Mechanical infrared light filter
CN113365034B (zh) * 2020-03-04 2022-09-06 合肥君正科技有限公司 一种基于rgb-ir图像传感器的色彩校准方法
EP3930307B1 (en) * 2020-06-25 2022-06-01 Axis AB A method for enhancing the performance of a video camera
EP4086688A1 (en) * 2021-05-06 2022-11-09 Nokia Technologies Oy Apparatus for positioning components in optical systems
TWI806226B (zh) * 2021-11-08 2023-06-21 宏碁股份有限公司 影像感測方法與影像感測裝置
US12015835B2 (en) * 2022-01-25 2024-06-18 Qualcomm Incorporated Multi-sensor imaging color correction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274229A (ja) * 2002-03-15 2003-09-26 Mitsubishi Electric Corp 監視カメラ装置
JP2010068020A (ja) * 2008-09-08 2010-03-25 Konica Minolta Opto Inc 画像入力装置
US20110228145A1 (en) * 2008-12-10 2011-09-22 Canon Kabushiki Kaisha Focus detection apparatus and method for controlling the same
JP2015200640A (ja) * 2014-03-31 2015-11-12 パナソニックＩｐマネジメント株式会社 撮像装置、およびそれを用いた分析装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0386673U (ko) * 1989-12-20 1991-09-02
JP2001036807A (ja) * 1999-07-19 2001-02-09 Hitachi Ltd 撮像装置
JP2003264842A (ja) * 2002-03-08 2003-09-19 Hitachi Kokusai Electric Inc フィルタ及び調光板及び固体撮像素子
JP2004361590A (ja) 2003-06-03 2004-12-24 Sony Corp 光学装置及び撮像装置
TWI257486B (en) * 2004-05-13 2006-07-01 Prodisc Technology Inc Camera lens
JP2006078666A (ja) 2004-09-08 2006-03-23 Fujinon Corp レンズ装置
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
TWI362562B (en) * 2005-12-09 2012-04-21 Hon Hai Prec Ind Co Ltd Aperture and method
KR101276757B1 (ko) * 2006-05-26 2013-06-20 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
US7915652B2 (en) * 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
CN101482686B (zh) * 2009-02-09 2013-05-15 Tcl数码科技（深圳）有限责任公司 一种可用于数码摄影机的红外滤光片自动切换装置
JP2011029810A (ja) * 2009-07-23 2011-02-10 Sony Ericsson Mobile Communications Ab 撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置
EP2537345A1 (en) * 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
US9091903B2 (en) 2010-07-29 2015-07-28 Logitech Europe S.A. Optimized movable IR filter in cameras
US8408821B2 (en) * 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
TWI475246B (zh) * 2011-04-15 2015-03-01 Largan Precision Co 具濾光元件之光學取像鏡頭
JP2013152369A (ja) 2012-01-25 2013-08-08 Nippon Seimitsu Sokki Kk 絞り装置およびカメラ
JP6230265B2 (ja) 2013-05-17 2017-11-15 キヤノン株式会社 撮像装置
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
US20160161332A1 (en) * 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
CN104536074A (zh) * 2014-12-24 2015-04-22 电子科技大学 一种可调近红外滤波片
JP6732726B2 (ja) * 2015-02-26 2020-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
JP6530215B2 (ja) 2015-03-26 2019-06-12 マクセル株式会社 レンズユニットおよびカメラモジュール
WO2016171090A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
US9671537B2 (en) * 2015-10-22 2017-06-06 Omnivision Technologies, Inc. Multi-layer color filter for low color error and high SNR
JP2017092898A (ja) * 2015-11-17 2017-05-25 ソニー株式会社 撮像装置、撮像方法、およびプログラム
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
CN105430363B (zh) * 2015-12-18 2018-07-17 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
US9848118B2 (en) 2016-03-11 2017-12-19 Intel Corporation Phase detection autofocus using opposing filter masks
US10574872B2 (en) 2016-12-01 2020-02-25 Semiconductor Components Industries, Llc Methods and apparatus for single-chip multispectral object detection
EP3343287B1 (en) * 2016-12-28 2018-11-21 Axis AB A method for sequential control of ir-filter, and an assembly performing such method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274229A (ja) * 2002-03-15 2003-09-26 Mitsubishi Electric Corp 監視カメラ装置
JP2010068020A (ja) * 2008-09-08 2010-03-25 Konica Minolta Opto Inc 画像入力装置
US20110228145A1 (en) * 2008-12-10 2011-09-22 Canon Kabushiki Kaisha Focus detection apparatus and method for controlling the same
JP2015200640A (ja) * 2014-03-31 2015-11-12 パナソニックＩｐマネジメント株式会社 撮像装置、およびそれを用いた分析装置

Also Published As

Publication number Publication date
KR102113488B1 (ko) 2020-05-22
JP6606231B2 (ja) 2019-11-13
TWI708510B (zh) 2020-10-21
CN109218691A (zh) 2019-01-15
EP3422700A1 (en) 2019-01-02
US10531058B2 (en) 2020-01-07
US20190007665A1 (en) 2019-01-03
JP2019036947A (ja) 2019-03-07
JP6803355B2 (ja) 2020-12-23
EP3422700B1 (en) 2021-03-10
TW201911860A (zh) 2019-03-16
TW201906400A (zh) 2019-02-01
KR20190002348A (ko) 2019-01-08
CN109218696A (zh) 2019-01-15
TWI684365B (zh) 2020-02-01
JP2019012267A (ja) 2019-01-24
CN109218696B (zh) 2021-01-22
KR20190002289A (ko) 2019-01-08

Similar Documents

Publication Publication Date Title
KR102100031B1 (ko) 카메라 및 컬러 이미지 생성 방법
US11962902B2 (en) Image sensor and electronic apparatus
US7460160B2 (en) Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor
KR101404298B1 (ko) 화상 입력 처리 장치 및 그 방법
US20170330053A1 (en) Color night vision system and operation method thereof
US20070177004A1 (en) Image creating method and imaging device
WO2016137239A1 (en) Generating an improved depth map usinga multi-aperture imaging system
CA2812860A1 (en) Digital multi-spectral camera system having at least two independent digital cameras
KR101504564B1 (ko) 디지털 이미지 상의 상대 조도 현상의 처리 방법 및 그에 관련된 처리 시스템
TW202021339A (zh) 用於相機之紅外光預閃光
WO2015149711A1 (zh) 红外控制装置、方法及摄像机
US9906705B2 (en) Image pickup apparatus
US10567713B2 (en) Camera and method of producing color images
Mauer et al. Measuring the spectral response with a set of interference filters
JP4413385B2 (ja) 測光装置
JP2016200742A (ja) 撮像装置
JP2016004133A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180430

PG1501 Laying open of application
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190322

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180430

Comment text: Patent Application

PA0302 Request for accelerated examination

Patent event date: 20190322

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20180430

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190510

Patent event code: PE09021S01D

AMND Amendment
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190926

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200129

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190926

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20190510

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20200129

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20190611

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20190322

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20200311

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20200227

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200129

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20190611

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190322

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200406

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200406

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240401

Start annual number: 5

End annual number: 5