KR102113488B1 - 컬러 이미지를 향상시키기 위한 방법, 및 이러한 방법을 수행하는 어셈블리 - Google Patents

컬러 이미지를 향상시키기 위한 방법, 및 이러한 방법을 수행하는 어셈블리 Download PDF

Info

Publication number
KR102113488B1
KR102113488B1 KR1020180074453A KR20180074453A KR102113488B1 KR 102113488 B1 KR102113488 B1 KR 102113488B1 KR 1020180074453 A KR1020180074453 A KR 1020180074453A KR 20180074453 A KR20180074453 A KR 20180074453A KR 102113488 B1 KR102113488 B1 KR 102113488B1
Authority
KR
South Korea
Prior art keywords
image
radiation
aperture
ratio
filter
Prior art date
Application number
KR1020180074453A
Other languages
English (en)
Other versions
KR20190002348A (ko
Inventor
요나스 흐젤름스트룀
슈테판 룬드베르크
잉게마르 라르손
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20190002348A publication Critical patent/KR20190002348A/ko
Application granted granted Critical
Publication of KR102113488B1 publication Critical patent/KR102113488B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/32—Transforming X-rays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Blocking Light For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Diaphragms For Cameras (AREA)

Abstract

가시 광선 뿐만 아니라, IR 방사선에 노출된 이미지 센서에 의해 캡쳐(capture)된 장면의 컬러 이미지를 생성하는 방법이 개시되고, 방법은:
- IR 차단 필터(IR-cut filter)에 의해 커버된 조리개 개구의 제 1 비율로 제 1 이미지를 캡쳐하는 단계,
- 제 1 이미지에서 캡쳐된 방사선의 제 1 양을 결정하는 단계,
- IR 차단 필터에 의해 커버된 조리개의 제 2 비율로 제 2 이미지를 캡쳐하는 단계,
- 제 2 이미지에서 캡쳐된 방사선의 제 2 양을 결정하는 단계,
- 광의 제 1 양, 광의 제 2 양, 제 1 IR 차단 필터 비율, 및 제 2 IR 차단 필터 비율에 기초하여, 장면에서 IR 방사선의 비율을 산출하는 단계, 및
- IR 방사선의 산출된 비율을 이용함으로써 이미지로부터 IR 기여를 제거하는 단계를 포함한다.

Description

컬러 이미지를 향상시키기 위한 방법, 및 이러한 방법을 수행하는 어셈블리{A METHOD FOR ENHANCING COLOR IMAGES, AND AN ASSEMBLY PERFORMING SUCH METHOD}
본 발명은 적외선 및 가시 광선 둘 모두로부터 나오는 기록된 신호를 포함하는 이미지로부터의 적외선 구성요소의 기여의 제거에 관한 것이다. 본 발명은 또한 이러한 방법을 수행하도록 구성된 디바이스에 관한 것이다.
카메라 용 IR(적외선) 필터의 이용은 본 분야, 특히 디지털 카메라와 관련하여 잘 알려져 있다. 요약하면, 카메라의 이미지 센서는 적외선에서 무시할 수 없는 구성요소를 갖는 스펙트럼 반응을 갖는다. 이것은 기회 뿐만 아니라, 도전을 야기한다. 저 조도 조건에서, IR 구성요소가 IR 광원에 의해 더욱 더 향상될 수 있는, 이미징된 장면에 관한 유용한 정보를 제공할 수 있는 기회가 있다. IR 구성요소의 부가가 이미지의 컬러 밸런스를 왜곡할 것이고, 그것이 또한, 이미지 센서를 완전히 포화시킬 수 있는 주간 이미징 동안에 도전이 발견된다.
덜 유익한 효과를 억제하면서 유익한 효과를 유지하는 방식은 이미지 센서 앞에 있는 빔 경로에 이동가능한 IR 차단 필터(IR-cut filter)를 부가하는 것이다. 이러한 방식으로, IR(차단) 필터는 주간 조건 동안 이용될 수 있어서, 컬러 이미지의 획득을 가능하게 한다. 출원에 걸쳐, "IR 차단 필터"와 "IR 필터"는 상호교환적으로 이용될 수 있고, 명시적으로 언급하지 않는 한, "IR 필터"는 본 문맥에서 IR 차단 필터에 대응할 것이다. 이미지 센서의 픽셀은 그 다음, 입사광이 컬러로 분할되고 개별적인 광검출기 상에서 전하로서 검출되고 따라서, 색 분리가 가능한 제 1 방식으로 동작할 것이다. 야간 동안, 또는 저 조도 조건에서 IR 필터는 제거될 수 있으며, 이용은 스펙트럼의 IR 부분으로부터의 입사 방사선의 결과로 발생하는 증가로 이루어진다. IR 방사선은 임의의 컬러 정보를 포함하지 않을 것이고, 컬러 분리를 수행하는 대신, 유일한 파라미터는 입사 방사선의 세기이며, 상기 입사 방사선은 흑백 세기 이미지(또는 임의의 바람직한 컬러 스케일을 갖는)로서 제공될 수 있다. IR 광원의 부가는 이미지를 더욱 더 향상시킬 수 있다.
그러나, 진정한(true) 컬러 이미지를 생성할 목적으로 이러한 이미지로부터 IR 기여를 제거하는 것이 바람직할 경우가 있을 수 있다. 본 발명은 이러한 제거를 수행하기 위한 방법 및 이러한 방법을 수행하도록 구성된 디바이스를 제공할 것이다.
장면이 IR 방사선 및 가시 광선 둘 모두를 포함할 때의 이미징을 개선하기 위한 노력으로, 본 발명은 가시 광선 뿐만 아니라, IR 방사선에 노출된 이미지 센서에 의해 캡쳐(capture)된 장면의 컬러 이미지를 생성하는 방법을 제공한다. 방법은 IR 차단 필터에 의해 커버된 조리개의 제 1 비율로 제 1 이미지를 캡쳐하는 단계, 제 1 이미지에서 캡쳐된 방사선의 제 1 양을 결정하는 단계, IR 차단 필터에 의해 커버된 조리개의 제 2 비율로 제 2 이미지를 캡쳐하는 단계, 제 2 이미지에서 캡쳐된 방사선의 제 2 양을 결정하는 단계를 포함한다. 이 측정에 이어서, 장면에서의 IR 방사선의 비율은 캡쳐된 방사선의 제 1 양, 캡쳐된 방사선의 제 2 양, 제 1 IR 차단 필터 비율, 및 제 2 IR 차단 필터 비율에 기초하여 산출된다. 이 산출에 이어서, IR 기여는 IR 방사선의 산출된 비율을 이용함으로써 이미지로부터 제거될 수 있다. 이 방식으로, 이미징된 장면이 이미지 센서에 의해 캡쳐된 IR 방사선을 포함할지라도, 진정한 컬러 표현이 얻어질 수 있다.
하나 이상의 실시예에서, 산출은 단일 이미지 측정에 기초하고, 다른 실시예에 대해, 통계를 개선하기 위해 몇몇 이미지 프레임에 대한 평균값이 산출된다.
하나 또는 몇몇 실시예에서, 제 1 IR 차단 필터 비율로부터 제 2 IR 차단 필터 비율로의 변경은 조리개의 크기를 변경함으로써 달성되고, 이는 비율을 변경하는 간단하고 단순한 방식이다. 변경 따라서, 측정은 적어도 일부 이용 사례에 대해, 표시되거나 녹화된 비디오에 대해 거의 또는 전혀 시각적 효과없이 신속하게 수행될 수 있다. 다른 실시예에서, 측정 동안 영향을 받는 이미지 프레임을 숨기는 것이 바람직할 수 있다. 또 다른 장점으로서, 조리개 크기가 변경되는 실시예는 부가적인 이동가능한 메카닉이 방법을 수행하는 카메라에 부가될 것을 요구하지 않을 것이다.
여전히 다른 실시예에서, 제 1 IR 차단 필터 비율로부터 제 2 IR 차단 필터 비율로의 변경은 조리개의 일부에 IR 차단 필터를 삽입하거나 제거함으로써 달성되는다. IR 필터에 의해 커버된 부분을 다르게 함으로써, 그의 몇몇 실시예에 따른 방법을 결론 짓기 위해 필요한 측정 데이터를 신속하게 얻는 것이 가능하다.
여전히 다른 실시예에서, IR 차단 필터는 액정 필터(LC 필터)일 수 있고 제 1 IR 차단 필터 비율로부터 제 2 IR 차단 필터 비율로의 변경은 LC 필터를 제 1 상태로부터 제 2 상태로 전환시킴으로써 달성되는다. LC 필터를 이용하는 것은 임의의 이동 부품의 도입 없이 고도로 제어가능한 기능을 도입한다. LC 필터의 이용은 다른 실시예에서와 같이 상세한 설명에서 보다 완전하게 논의될 것이다.
하나 또는 임의의 실시예에서, IR 기여는 IR 방사선의 산출된 비율을 이용함으로써 제 1 이미지, 제 2 이미지 또는 제 3 획득 이미지로부터 제거된다. 기본적으로, 진정한 컬러 정보를 얻기 위해 IR 기여의 제거가 수행되어야 한다. 이것은 기여를 산출할 때 제 1 또는 제 2 이미지가 존재하므로, 상기 제 1 또는 제 2 이미지를 이용할 때 사소할 것이다. 그러나, IR 기여가 급격하게 변화하지 않으면, 제 1 및 제 2 이미지에 대해 산출이 수행되더라도 그것은 제 3 이미지로부터 상당히 똑같이 제거될 수 있다. 또한, 평균값이 산출에 이용되면, 제 1 및 제 2 이미지는 이미지의 제 1 및 제 2 세트에 대응할 수 있다. 중요하게, 요구된 프로세싱은 각각의 이미지 쌍에 대해 산출이 수행되는 것을 방지할 수는 없지만 대부분의 애플리케이션에서 이것이 필요하지 않으므로 그것은 회피될 수 있다. 일부 실시예에서, 이미징된 장면에서 변경이 검출되지 않는 한, 몇몇 연속적인 이미지로부터 동일한 IR 기여가 제거될 수 있다.
임의의 실시예에서, 이미지에서의 IR 비율의 산출은 이미지의 픽셀의 개별적인 그룹 또는 개별적인 픽셀의 레벨에 대해 수행될 수 있다. 이러한 방식으로, IR 기여의 하나 이상의 소스가 위치될 수 있으며, 이러한 지식에 기초하여 이미징을 개선하기 위한 조치가 취해질 수 있다. 하나 이상의 실시예에서, 국부화된 IR 소스는 보상(IR 기여의 제거)이 관련 영역에 대해 분리되는 반면, 작거나 심지어 극소의 IR 기여를 갖는 영역이 영향을 받지 않은 상태로 남는 것을 야기할 수 있다. 이것은 프로세싱 파워를 절약하고, 방법의 적용이 잡음의 레벨을 상승시키는 실시예에서, 그러한 불필요한 상승이 회피된다. 지식은 또한 IR의 강한 소스가 존재하더라도, 색 정보의 검색을 가능하게 하고 이러한 강한 소스 또는 IR의 위치에서 픽셀의 포화를 회피하도록 적어도 하나의 노출이 더 긴 노출 시간을 갖고 적어도 하나의 노출이 더 짧은 노출 시간을 갖는 다중 노출을 이용하는 것이 적절하다고 결정하기 위해 이용될 수 있다.
조리개 개구의 바로 근처에서, 구경 조리개(aperture stop)에 배열된 임의의 실시예의 IR 차단 필터를 갖는 것에 실질적인 이점이 존재한다. "구경 조리개에서"는 실제로, "물리적으로 가능한 한 구경 조리개에 가깝게"로 판독할 것이다. 구경 조리개에 위치된 조리개 개구가 존재하고, IR 차단 필터가 조리개 개구의 직접적인 부품이 아니면, 조리개 개구 스톱에 바로 인접한 위치가 최상으로 가능한 이용가능한 해법일 것이다.
또 다른 발명의 개념에 따르면, 본 발명은 카메라, 카메라 제어기, 카메라 렌즈 및 카메라의 이미지 센서에 도달하는 방사선의 양을 제어하기 위한 조리개 장치를 포함하는 어셈블리에 관한 것이고, IR 차단 필터는 조리개 장치에 집적된다. 어셈블리는 상기 또는 하기에 주어진 설명에 따라 방법을 수행하도록 구성된다. 특히, 본 발명의 어셈블리는 단일의 실시예에서 모든 방법을 수행할 필요는 없지만, 본 발명의 방법과 관련하여 실시예가 존재하는 만큼의 적어도 많은 실시예에 의해 표현될 것이다.
이것의 일례로서, 하나 이상의 실시예에서, 어셈블리의 조리개는 적어도 2개의 다이어프램 블레이드(diaphragm blades)를 포함할 수 있고, IR 차단 필터는 다이어프램 블레이드 중 적어도 하나 상에 배열될 수 있다.
적어도 하나의 실시예에서, IR 차단 필터는 조리개에 인접하여 배열되고 그의 중심 부분에서 IR 차단 속성을 가질 수 있는 반면, 중심 부분의 반경 방향 외부에서 상기 IR 차단 속성을 갖지 않는다. 이 실시예는 본 발명의 방법이 임의의 부가적인 이동가능한 요소의 부가 없이 수행되는 것을 가능하게 한다.
이전의 실시예의 정반대는 또한, IR 차단 필터가 그의 표면 위에서 달라지는 IR 차단 속성을 가지며 다이어프램에 인접하여 이동가능하게 배열되는 어셈블리에 의해 실현될 수 있다. IR 차단 필터를 이동시키는 것은 추구된 효과를 효과적으로 달성할 것이다.
하나 이상의 다른 실시예에서, IR 차단 필터는 제 1 상태 및 제 2 상태를 갖는 LC 필터일 수 있거나, IR 차단 필터는 회전가능하게 배열된다. 실시예의 이들 2개의 분야 중에서, LC 필터는 이미 개시된 장점을 제공할 것이지만, 회전가능하게 배열된 필터는 다른 장점을 야기할 수 있다.
하나 또는 임의의 실시예에서, IR 차단 필터는 본 발명의 방법의 실시예와 관련하여 논의된 바와 같이, 구경 조리개에 또는 상기 구경 조리개의 바로 부근에 배열될 수 있다.
본 발명의 제 3 양태에 따르면, 본 발명은 카메라 프로세서로 하여금 임의의 실시예의 방법을 수행하게 하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능한 매체에 관한 것이다.
본 발명의 또 다른 적용성의 범위는 하기에 주어진 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 바람직한 실시예를 나타내는 동안, 상세한 설명 및 특정 예는 단지 예시로서 주어지는데, 이는 본 발명의 범위 내에서 다양한 변경 및 수정이 이 상세한 설명으로부터 당업자에게 명백해질 것이기 때문임이 이해되어야 한다. 따라서, 본 발명이 설명된 디바이스의 특정 구성요소 부품 또는 그러한 디바이스 및 방법이 다양할 수 있는 것으로서 설명된 방법의 단계로 제한되지 않음이 이해될 것이다. 또한, 본 명세서에서 이용된 용어가 단지 특정한 실시예를 설명하기 위한 것일 뿐이며, 제한하도록 의도되지 않음이 이해될 것이다. 명세서 및 첨부된 청구항에서 이용된 바와 같이, 관사("a", "an", "the" 및 "상기(said)")는 문맥이 달리 명확하게 기술되지 않는 한 요소 중 하나 이상이 존재함을 의미하도록 의도된다. 따라서, 예를 들면, "센서" 또는 "그 센서"에 대한 언급은 몇몇 센서, 등을 포함할 수 있다. 또한, 단어 "포함하는"은 다른 요소 또는 단계를 배제하지 않는다.
도 1은 카메라 셋업의 개략도.
도 2는 본 발명의 실시예에서 이용될 수 있는 다이어프램의 개략도.
도 3은 본 발명의 하나 이상의 실시예에 따른 그의 주요 단계를 개요하는 흐름도.
도 4a, 도 4b 및 도 5a, 도 5b는 도 3의 방법에서의 실제 단계를 도시하는 조합도.
도 6a 및 도 6b는 본 발명을 가능하게 할 목적을 위해 활용될 수 있는 다이어프램/필터 조합의 도면.
도 7a, 도 7b 및 도 7c는 본 발명의 또 다른 실시예에 따른 본 발명을 가능하게 할 목적을 위해 활용될 수 있는 다이어프램/필터 조합의 다른 조합의 도면.
도 8은 또 다른 실시예에 따른 본 발명을 가능하게 할 수 있는 또 다른 다이어프램/필터 조합의 도면.
도 9는 이미지 센서의 컬러 픽셀의 스펙트럼 응답을 개략적으로 도시하는 그래프.
도 1은 본 장치 및 방법이 일부를 형성할 수 있는 셋업을 도시하는 개략도이다. 도시된 것은 이미지 센서(102) 및 카메라 렌즈 하우징(104)을 갖는 비디오 카메라와 같은 카메라(100)이다. 도시된 예의 카메라 렌즈 하우징(104)은 렌즈 시스템(106) 및 다이어프램(108) 예로서, 조리개 개구를 갖는 표준 레이아웃을 갖는다. 이것은 명백하게 카메라 렌즈 하우징에 대한 매우 단순한 설명이지만, 본 출원의 목적을 위해서는 충분하다고 여겨진다.
다이어프램(108)은 렌즈 시스템(106)의 구경 조리개에(또는 물리적으로 가능한 한 조리개 평면에 가깝게) 배치된다. 이상적인 단일 렌즈 시스템에 대해, 구경 조리개는 렌즈의 중간에, 광축에 직각으로 배치될 것이다. 이미 말한 것에 더하여, 구경 조리개의 특징은 다이어프램의 크기가 실제 이미지가 아닌, 이미지 센서(102)에 도달하는 광의 양에만 영향을 미칠 것이라는 것을 의미한다. 보다 구체적으로, 그것은 이미지 평면에서, 즉 이미지 센서의 평면에서 임의의 그림자 또는 유사한 효과 또는 아티팩트를 생성하지 않을 것이다. 이러한 이유로, 다이어프램(조리개)을 구경 조리개에 배치하는 것이 표준 관행이다. 본 설명의 맥락 내에서, "조리개"는 다이어프램, 예로서 구경 조리개에 또는 그 근처에 배열된 조리개 개구에 대응할 수 있지만, 반드시 그럴 필요는 없다. 임의의 경우에, 본 발명의 방법 또는 디바이스의 이용은 다이어프램을 통과하는 방사선의 스펙트럼 조성을 변경시킬 것이다.
조리개의 개구부의 크기를 제어함으로써, 센서에 도달하는 방사선의 양을 제어하는 것이 가능하며, 그것은 물론 카메라에서 이용된 규칙적인 조리개 다이어프램으로부터 잘 알려져 있다.
제 1 실시예에서 이용될 수 있는 조리개 개구(210)가 도 2에 도시되어 있고, 실제 설계가 크게 상이할 수 있을지라도, 도 2는 그 기능을 만족스러운 범위로 설명하는 것으로 여겨진다. 조리개 개구(210)는 각각이 삼각형의 컷아웃(cutout)(214)을 갖는 2개의 다이어프램 블레이드(212)를 포함한다. 각각의 블레이드 상의 화살표는 바람직하게 동기화된 방식으로 그들이 앞뒤로 이동할 수 있는 방법을 도시하며, 이는 삼각형 컷아웃에 의해 조합하여 정의된 조리개 개구의 크기의 변동을 야기할 것이다.
본 발명의 제 1 실시예에 따라 본 발명에 접근하면, IR 필터(216)는 각각의 삼각형 컷아웃의 정점에 배열된다. 예시된 실시예에서, 필터는 정사각형 형상으로 주어졌지만, 형상은 상이할 수 있다. 또한, 컷아웃(214)의 형상은 상이할 수 있다. 어느 정도까지, 컷아웃의 형상은 매우 자유롭게 설계될 수 있으며, 상이한 제조자는 상이한 형상을 제공한다. 일반적인 특징은 조리개 개구 블레이드가 폐쇄됨에 따라, 슬릿 형상의 조리개의 형성이 회피되어야 하는 것일 수 있는데, 이는 이것이 원하지 않는 효과를 초래할 수 있기 때문이다. 필터 또는 필터들의 형상은 분명히, 대응하는 컷아웃의 형상에 적응될 것이다. IR 필터로 돌아가면, 그들은 IR 차단 필터여서, 적외 방사선의 투과를 방지하면서 가시 광선의 투과를 허용한다. 조리개 개구가 도 2에 도시된 정도로 개방될 때, 가시 광선 및 IR 방사선 둘 모두가 개구부를 통과할 것이 명백하다. 또한, 조리개 개구의 크기가 감소됨에 따라, 조리개가 IR 필터에 의해 완전히 커버되는 지점에 도달할 것이고, 따라서 단지 가시 광선의 투과를 허용함이 용이하게 이해된다. 이 지점 및 그 아래로부터(즉, 더 작은 조리개를 향하여), IR 필터는 조리개를 완전히 커버할 것이고, 범위는 따라서 풍부한 주변 광이 존재하는 조건 예로서, 주간 동안에 적합하다.
컷아웃의 조합에 의해 정의된 전체 영역이 가시 광선의 투과를 허용할 것이고, IR 방사선의 투과가 전체 영역에서 필터가 차지하는 영역을 뺀 것으로 정의될 것임을 고려한다. 결과적으로, 유효 조리개 크기는 2개의 파장 영역에 대해 달라질 것이다. 보다 구체적으로, IR 차단 필터에 의해 점유된 영역은 일정하며(도시된 실시예에서 임의의 중첩을 무시함), 이는 가시 광선과 IR 방사선 사이의 비가 조리개 개구의 블레이드의 위치, 즉 조리개 개구의 크기에 따라 달라질 것임을 의미한다. 투과된 가시 광선 및 IR 방사선 둘 모두는 조리개의 크기에 비례하여 달라질 것이지만, 그들이 상이한 유효 조리개를 가질 것이기 때문에 상이한 비율로 달라질 것이고, 결과적으로 IR 방사선과 가시 방사선 사이의 비가 달라질 것이다.
투과된 방사선이 완전히 스펙트럼적으로 분해되었으면, 그 비율을 모니터링하고 평가하는 것이 용이하게 가능할 것이지만, 일반적으로 이미지 센서 및 연관 구성요소는 기껏해야, 입사 방사선을 적색, 녹색 및 청색 구성요소로 분류할 것이고, 컬러 구성요소의 각각은 컬러 이미지를 재생성할 수 있도록 IR 구성요소(도 9에 표시되는)를 포함함에 유의해야 하며, 일반적으로 적외선 구성요소를 분리하는 것이 전혀 가능하지 않다. 이러한 스펙트럼 분해를 가능하게 하는 이미지 센서는 특허 문헌에 개시되어 있고 NIR 픽셀을 포함하지만, 그러한 이미지 센서에 대한 비용은 현재 상당히 비싸다. 게다가, NIR 픽셀은 해상도의 손실을 희생하면서 센서에 포함되며, 매우 종종 녹색 컬러 구성요소에 포함된다.
IR 차단 필터가 조리개 평면에 배열될지라도, 다른 필터가 센서의 전방 또는 심지어 렌즈의 전방에 배치될 수 있는데, 하나의 이유는 주변 광 조건 및 효과에 의존하여 특정 필터가 변경되거나(이러한 필터는 전형적으로 렌즈 전방에 배열되거나, 그에 부착됨), 필터가 제거되거나 교환되는 것으로 간주되지 않거나, 제어가 별도의 액츄에이터(이미지 센서 바로 전방에 배열된 필터의 경우에)에 의해 수행되는 것이다.
도 2로 돌아가서, 본 실시예의 조리개 개구(210)가 IR 방사선이 완전히 차단되는 순수한 주간 모드와, IR 방사선의 이미지 센서로의 투과가 허용되는 야간 모드 사이를 어떻게 이동할 수 있는지가 분명해야 한다. 예로서, 장면에 존재하는 IR 광의 양을 추론하기 위해, 주간 모드 및 야간 모드 둘 모두 내에서 조리개의 크기가 어떻게 달라질 수 있는지를 실현하는 것이 또한 간단해야 한다.
전통적인 해법에서, 이동가능한 IR 차단 필터는 주간 모드에서 이미지 센서 전방에 배열되고 야간 모드에서는 빔 경로로부터 제거된다. 따라서, 전통적인 해법에서, 다이어프램 조리개가 주간 모드 및 야간 모드 둘 모두에서 동일한 범위에 걸쳐 달라질 수 있는데, 이는 실제 상황에서 다이어프램이 야간 모드에서 완전하게 개방될지라도, 그것의 기능이 필터의 기능으로부터 분리되기 때문이다. 대조적으로, 본 실시예에 대해, 필터(216)의 크기는 IR 방사선이 다이어프램 조리개를 통해 투과되기 시작하기 전에 얼마나 많이 다이어프램이 개방될 수 있는지에 영향을 미칠 것이다. 이러한 이유로, 본 발명의 실시예는 야간 모드로 전환해야 한다. 즉, 전통적인 해법에서의 경우보다 일찍 흑백 이미지를 생성해야 한다.
그 이유는, 이미지 센서에 대한 IR 방사선의 도입이 IR 방사선이 모든 픽셀에 영향을 미칠 것이고(도 9 참조), IR 필터가 진정한 컬러 표현을 제공할 수 있는 것이 필요하기 때문에 카메라 제어기에 의해 수행된 컬러 보정을 왜곡할 것이라는 점이다. 따라서 야간 모드는 일반적으로 흑백으로만 제공된다(스펙트럼 정보보다는 세기 정보만 디스플레이함). 본 발명을 위해, 그의 일부 실시예에 따르면, 주간 모드와 야간 모드 사이에 중간 상태의 범위가 존재할 수 있다. 이들 중간 상태에서, 디스플레이된 컬러가 왜곡될 수 있을지라도 컬러 정정 알고리즘이 유지된다. 이용자는 수용가능한 것으로 간주될 수 있고 진정한 주간 모드 또는 진정한 야간 모드에 대한 전환이 수행되어야 할 때 왜곡의 양을 선택할 수 있다. 컬러 차에 대한 정보는 컬러가 왜곡될지라도, 감시 상황에 의존하여 이용자에게 가치가 있을 수 있다. 본 출원의 명세서 내에서, 적절한 보상이 수행될 수 있도록 이미지 세기에 대한 IR 기여를 어떻게 추출할 수 있는지가 개시될 것이다. 이러한 방식으로, 이미지 센서에 도달하는 방사선이 가시 광선 및 적외 방사선 둘 모두를 포함하더라도, 진정한 컬러 이미지가 달성될 수 있다.
지금까지, 우리는 본 발명을 가능하게 하는 셋업에 대해서만 설명하였다. 다음 단락에서, 제 1 실시예에 따른 방법이 도 3, 도 4, 및 도 5를 참조하여 개시될 것이다. 도 3은 방법의 흐름도이고, 도 4 및 도 5는 2개의 다이어프램 설정 및 파장의 함수로서 연관된 투과된 방사선을 도시하는 도면이다. 그래프는 정량적인 것이 아니라 질적인 것이다.
도 4는 가시 광선 파장 만이 그것의 제 1 설정에서 조리개 개구를 통과하도록 허용되는 순수한 주간 모드로부터 시작할 때의 방법의 일부를 도시하고, 도 5는 야간 모드로부터 시작하는 방법의 일부를 도시하며, 여기서 가시 광선 및 IR 파장의 혼합이 시작 위치에서 통과하도록 허용된다.
제 1 단계(318)에서, 방법이 개시된다. 개시는 자동으로 또는 이용자 요청에 기초하여 행해질 수 있다. 이용자가 특정 디스플레이 모드를 선택했고, 그 디스플레이 모드의 프레임워크 내에서 방법이 수행되는 상황이 있을 수 있다.
제 2 단계(320)에서, 또한 별개의 조리개일 수 있는 조리개 개구는 미리 결정된 양(도 4b의 하부 부분) 만큼 개방되어, 투과된 방사선이 도 4b의 그래프에 표시된 바와 같이, 적외선 파장 영역에서의 파장을 포함하기 시작함을 야기한다. 제 1 이미지(또는 조리개 개구가 도 4a에 도시된 바와 같이 그것의 제 1 위치에 있을 때 촬영된 이미지)에는 어떠한 IR 기여도 존재하지 않는다.
제 3 단계(322)에서, 미리 결정된 개구부의 효과가 평가된다. 미리 결정된 개구부의 효과를 평가함으로써, 가시 광선 및 IR 방사선의 기여를 각각 추론하는 것이 가능할 것이다. 이러한 실시예 및 임의의 실시예에 대해, 평가는 그 범위가 개별적인 픽셀 또는 픽셀의 그룹으로부터 이미지 프레임 또는 전체 이미지 프레임의 더 큰 부분에 이르는 이미지에 대한 임의의 레벨의 해상도에 대해 수행될 수 있다. 또한, 평가는 단일 프레임에 기초할 수 있지만, 더 나은 통계를 위해 평가가 수행되기 전에 평균값을 형성하기 위해 복수의 이미지 프레임이 각각의 설정에 대해 조합될 수 있다. 이것은 본 실시예 뿐만 아니라 본 명세서에 개시되고 첨부된 청구항에 정의된 바와 같은 본 발명의 모든 다른 실시예에 대해서도 마찬가지이다.
평가에 이어, 가시 광선 및 적외선 파장으로부터 기여를 분리하고, 그에 따라 결과적인 이미지를 보상하는 것이 가능할 것이고, 이는 제 5 단계에서 행해진다.
스펙트럼으로 분해된 정보가 이용가능하지 않음에 다시 주의하면, 이미지 센서는 단지 세기를 검출할 수 있다. 그러나 전체 이미지 센서에 걸친 평균값 또는 전체값이 더 신뢰할 수 있는 통계를 제공할 수 있을지라도, 세기는 공간적으로 분해될 수 있고, 최소 및 최대 세기를 찾는 것은 또한, 중요한 정보를 제공할 수 있다. 다이어프램의 속성을 앎으로써, 그러나 가시 광선을 투과하는 영역이 얼마나 증가했는지, 그리고 IR 방사선을 투과하는 영역이 얼마나 증가했는지(기본적으로 도 4의 예에서는 0으로부터 또 다른 것으로)를 알게 된다.
도 5에 의존하면, 초기 이미지가 IR 기여를 포함한다는 점에서 차이가 있다. 제 1 위치에서 다이어프램이 거의 완전하게 개방되어, IR과 가시 광선의 투과를 허용한다. 그것을 별도로 하고, 도 5의 상황에 대한 본 발명의 적용은 도 4를 참조하여 설명된 적용과 유사할 것이다.
개시에 이어서, 조리개 개구는 제 2 단계에서 도 5b의 하부에 도시된 제 1 미리 결정된 상태로 폐쇄될 수 있다(그것은 물론, 미리 결정된 상태로 동일하게 상당히 개방될 수 있음). 이 시점에서, 투과된 IR 방사선의 양은 도 5b의 그래프에서 명백한 비의 시프트로 도시되는 가시 광선의 양보다 많은 정도로 감소될 것이다. IR 투과 다이어프램 영역 및 가시 광선 투과 다이어프램 영역이 얼마나 많이 변경되었는지를 아는 것은 2개의 파장 영역; 가시 광선 및 적외선 각각으로부터 기여를 추론하는 것을 가능하게 한다. 후속적으로, 보상 또는 정정이 달성될 수 있다.
도 6a 및 도 6b는 조리개 및 필터에 대한 일부 대안적인 실시예의 도면이다. 도 6a에서, 삼각형 단면을 갖는 필터(616a)는 각각의 블레이드 상에 배열되어, 중첩 필터 없이 완전한 IR 차단을 가능하게 하고, 도 6b에서 IR 블록을 가능하게 하고 임의의 필터 중첩 없이 조리개 크기를 다르게 하는 블레이드 중 하나 상에 배열된 단일 필터(616b)가 존재한다.
도 7a는 조리개 블레이드에 IR 차단 필터를 포함시키는 것, 즉 그 표면에 걸쳐 달라지는 분광 투과율(spectral transmittance)을 갖는 IR 차단 필터(716)를 갖는 일 대안을 도시한다. 도시된 예에서, IR 차단 필터는 그 중앙 부분(724)에서 유일한 진정한 IR 차단 필터이며, 필터(716)의 나머지는 가시 광선 및 IR 방사선 둘 모두를 투과시킨다. 이러한 IR 차단 필터를 다이어프램의 평면에 또는 그 근처에 고정 배열하는 것은 이미 개시된 실시예에 따른 방법의 이용을 가능하게 한다. IR 차단 필터가 다이어프램 블레이드보다는 다이어프램 장치에 포함되는 실시예는 보다 정교한 다이어프램 구조의 이용을 가능하게 한다. 일례는 도 7b에 도시된 바와 같이 조리개 다이어프램(712b)과의 조합이다. 도 7c는 필터 배열의 또 다른 실시예, 또는 실제로는 2개를 도시한다. 공통 분모는 IR 차단 724 필터가 회전될 수 있도록 배열되는 것이다. 또한, IR 차단 필터를 포함하는 구성요소는 또한 필터가 없는 영역, 즉 IR 방사선 및 가시 광선 둘 모두를 투과시키는 영역을 포함한다. 또한, 구성요소의 일부는 조리개 개구로 연장될 것이고, 구성요소의 회전에 의해, IR 차단 필터에 의해 커버되는 조리개 개구의 영역을 다르게 하는 것이 가능할 것이다. 좌측의 배열에서, 구성요소는 2개의 영역을 포함하고, 그 중 해칭(hatching)된 영역은 IR 차단 필터에 대응하며, 채워지지 않은 영역은 필터가 적은 영역에 대응한다. 우측의 배열에서, 대신에 4개의 영역이 존재한다. 구성요소 중 단지 하나 만이 단일의 실시예에서 이용될 것이고, 청구항에 의해 정의된 바와 같은 본 발명의 적용을 여전히 가능하게 하면서 필터의 형상 및 설계가 크게 달라질 수 있음에 주의한다. 회전은 전기 액츄에이터를 통해 달성될 수 있다. 상이한 설계와는 별도로, 도 7c의 실시예는 하나 또는 그의 임의의 실시예에 따른 본 발명의 실현을 가능하게 할 것이다. 이 분야에서의 실시예의 또 다른 정교화(elaboration)는 필터에 의해 커버된 영역이 필터를 제어함으로써 뿐만 아니라, 조리개의 크기를 제어함으로써 달라질 수 있도록 편심적으로 회전가능한 필터를 배열하는(또는 편심적으로 형성된 필터를 갖는) 것일 것이다.
도 8은 본 발명의 또 다른 실시예를 도시한다. 이 실시예에서, IR 차단 필터는 액정 필터(LC 필터)(816)로 구현된다. LC 필터는 그것이 가시 광선을 투과시키고 IR 방사선을 차단하는 상태와 그것이 가시 광선과 IR 방사선 둘 모두를 차단하는 상태 사이를 전환하도록 구성된다. LC 필터는 IR 필터 상에 중첩된다. 따라서, LC 필터가 제 1 상태에 있을 때, 가시 광선은 조합된 필터를 통과할 수 있지만, IR 방사선은 차단되고, 제 2 상태에서 가시 광선 및 IR 방사선 둘 모두 차단된다. 이 배열을 이용함으로써, 매우 편리한 방식으로 그리고 임의의 부가적인 기계적 부품 없이 본 발명의 방법을 수행하는 것이 가능할 것이다. LC 필터는 다이어프램 블레이드(812) 상에 배열될 수 있지만, 그것은 또한, 구경 조리개의 부근에 또는 상기 구경 조리개에 정적으로 배열될 수 있다. 구경 조리개의 위치에 또는 그 근방에 정적으로 배열된 후자는 그것이 이동 구성요소의 수를 최소화하기 때문에 대부분의 실시예에 대한 바람직한 대안이 될 것이다. 다른 실시예에서, LC 필터는 제 1 상태에서 모든 파장(이미지 센서가 무시할 수 없는 응답을 갖는 적어도 가시 광선 및 NIR 파장)을 투과시키고, 제 2 상태에서 가시 광선만을 투과시키도록 배열될 수 있다. 이러한 실시예에서, IR 필터 상에 LC 필터를 중첩할 필요가 없다.
LC 필터가 상태 사이를 매우 신속하게 이동할 수 있지만, 각각의 천이는 일부 시간 스케일에서 기울기를 가질 것이다. 예를 들면, 그것이 모든 방사선을 거의 즉시 차단하는 상태로 이동될 수 있으며, 부분적으로 투과되는 상태로 되돌아가는 천이는 더 느려진다. 이용된 이미지 센서가 롤링 셔터와 함께 작동하면, 개별적인 행이 상이하게 영향을 받아 이미지에 아티팩트를 야기할 것이다. 그러나 그 거동(behavior)은 예측가능하고, 아티팩트를 보상하는 것은 간단한 방식으로 수행될 수 있으며, 이는 방법이 수행되는 동안 이미지의 연속적인 흐름이 제공될 수 있음을 의미한다. 이러한 아티팩트를 정정하는 것은 회전 필터가 이용되는 실시예에서 보다 어려울 수 있으며, 따라서 측정 중에 획득된 이미지 프레임이 표시되는 것을 방지하는 것이 바람직할 수 있다. 일 대안은 현재 디지털 비디오에서 이용 빈도가 낮지만, 점점 일반화되는 글로벌 셔터를 이용하는 것일 것이다.
LC 필터가 조리개의 전체 영역(A)의 일부(Av)를 커버하고, LC 필터가 IR 필터 상에 중첩되는 일례에서, 개시된 실시예의 일례는 다음과 같은 방식으로 IR 기여를 산출하기 위해 이용될 수 있다:
Figure 112018063479204-pat00001
Iv: 가시 광선 범위에서의 세기
In: 근적외선 범위에서의 세기
Av: IR 차단 필터에 의해 커버된 영역
A: 전체 영역
P1: LC 필터가 투과시킬 때의 픽셀로부터의 판독
P2: LC 필터가 차단할 때의 픽셀로부터의 판독
실제 수학식 및 입력으로서 이용된 파라미터는 물론 셋업에 의존하여 상이할 수 있지만, 수학식의 우측 항의 모든 파라미터가 측정 다음에 또는 특정한 셋업에 대한 룩업 테이블(look-up table)로부터 알 수 있음에 주의한다. 또한, 수학식이 필터가 구경 조리개에 또는 그 근처에 배열되는 경우, 그 범위가 단일 픽셀 또는 픽셀의 그룹으로부터 전체 이미지까지인 이미지의 모든 부분에 적용가능함에 주의한다.
이 실시예의 효과는 상태 중 하나에서, IR 차단 필터가 조리개 개구의 일부 위에 배열될 것이고, 다른 상태에서는 조리개 개구의 부분이 IR 방사선 뿐만 아니라 가시 광선을 차단할 것이라는 점이다. 그러나, 각각의 상태에 대해, 커버되고 커버되지 않는 조리개의 치수가 알려질 것이며, 이는 산출이 이전에 개시된 실시예에서와 같이 간단함을 야기한다.
도 8의 실시예에서, LC 필터의 배열은 도 2의 배열 및 유사한 실시예를 모방하지만, 그것은 도 7a 및 도 7b의 실시예에 대응하는 방식으로 또한 배열될 수 있으며, 이는 IR 차단 필터의 활성 영역이 전체 필터의 (더 작은) 일부에 대응할 수 있고, 필터가 정적으로 배열될 수 있거나, 그의 조합임을 의미한다. 상기 언급된 바와 같이, 조정가능한(tunable) 통과대역 LC 필터가 이용될 수 있는데, 이는 하나의 상태에서 가시 광선 및 IR 방사선을 투과시키고, 또 다른 상태에서는 가시 광선을 투과시키지만, IR 방사선은 차단한다. 이러한 필터를 이용하여, 전체 조리개 개구를 필터로 커버하고, LC 필터를 조정함으로써 조리개를 통과하도록 허용된 IR 방사선의 비율의 변화에 영향을 미치는 것이 가능하다. 그러나 이러한 접근법의 단점은 LC 필터가 그것이 가시 광선 및 IR 방사선 둘 모두의 투과를 허용하는 상태에서도 LC 필터가 완전히 "개방"되지 않기 때문에 일부 광도가 항상 손실된다는 것이다.
도면 전체에 걸쳐, 유사한 구성요소에는 유사한 참조 부호가 주어졌고, 단지 도면의 번호와 관련된 식별자가 상이하다. 도면 사이의 유사성은 독자가 상이한 도면을 용이하게 이해할 수 있게 할 것이고, 따라서 참조 부호를 과도하게 이용하는 것을 불필요하게 만든다.
개시된 실시예에서의 조리개 장치의 거동에 관한 일반적인 특징은, 그 장치를 통해 투과된 IR 방사선과 가시 광선 사이의 비가 가능한 조리개 개구부의 범위에 걸쳐 달라질 것이라는 점이다. 개구부가 작을수록, 본질적으로 어떠한 IR 방사선도 투과되지 않는 지점(IR 차단 필터의 속성에 의해 감쇠가 제한될 것이다)까지의 비(즉, 시각적 부분이 증가할 것이다)가 더 작아지고 비는 기본적으로 0이다. 비는 조리개 개구부의 크기에 따라 증가할 것이지만, IR 차단 필터에 의해 커버되는 조리개 개구부의 일부가 항상 존재할 것이기 때문에 비는 결코 1에 도달하지 않을 것이다. 또한, 조리개 개구부는 본질적으로 어떠한 IR 광도 존재하지 않는 영역을 가질 것이고, 따라서 비가 일정한 완전하게 폐쇄된 위치에 가까운 간격이 존재할 것이다. 이 간격의 크기는 IR 차단 필터의 크기에 영향을 받을 것이다.
본 발명의 방법은 전체 이미지 센서로부터의 신호의 합을 단지 이용함으로써 달성될 수 있다. 원래 이미지와 조리개의 또 다른 비율이 IR 차단 필터로 커버되는 이미지 사이의 비를 형성하는 것은 수학식의 시스템의 형성을 가능하게 한다. 수학식의 시스템의 해법은 간단하며 그것은 이미지 센서에 의해 획득된 이미지에 대한 상이한 파장 영역의 기여의 예측을 결과적으로 가능하게 하는 파라미터를 나타낸다.

Claims (16)

  1. 가시 광선 및 IR 방사선에 노출된 이미지 센서에 의해 캡쳐(capture)된 장면의 컬러 이미지를 생성하는 방법에 있어서:
    IR 차단 필터(IR-cut filter)에 의해 커버된 조리개의 제 1 비율로 제 1 이미지를 캡쳐하는 단계;
    상기 제 1 이미지에서 캡쳐된 방사선의 제 1 양을 결정하는 단계;
    상기 IR 차단 필터에 의해 커버된 상기 조리개의 제 2 비율로 제 2 이미지를 캡쳐하는 단계;
    상기 제 2 이미지에서 캡쳐된 방사선의 제 2 양을 결정하는 단계;
    상기 캡쳐된 방사선의 제 1 양, 상기 캡쳐된 방사선의 제 2 양, 상기 제 1 IR 차단 필터 비율, 및 상기 제 2 IR 차단 필터 비율에 기초하여, 상기 장면에서 IR 방사선의 비율을 산출하는 단계; 및
    상기 IR 방사선의 산출된 비율을 이용함으로써 이미지로부터 IR 기여를 제거하는 단계를 포함하는, 컬러 이미지를 생성하는 방법.
  2. 제 1 항에 있어서, 상기 제 1 IR 차단 필터 비율로부터 상기 제 2 IR 차단 필터 비율로의 변경은 상기 조리개의 크기를 변경함으로써 달성되는, 컬러 이미지를 생성하는 방법.
  3. 제 1 항에 있어서, 상기 제 1 IR 차단 필터 비율로부터 상기 제 2 IR 차단 필터 비율로의 변경은 상기 조리개의 일부에 IR 차단 필터를 삽입 또는 제거함으로써 달성되는, 컬러 이미지를 생성하는 방법.
  4. 제 1 항에 있어서, 상기 IR 차단 필터는 액정 필터이고, 상기 제 1 IR 차단 필터 비율로부터 상기 제 2 IR 차단 필터 비율로의 변경은 LC 필터를 제 1 상태에서 제 2 상태로 전환함으로써 달성되는, 컬러 이미지를 생성하는 방법.
  5. 제 1 항에 있어서, 상기 IR 기여는 상기 IR 방사선의 산출된 비율을 이용함으로써 상기 제 1 이미지, 상기 제 2 이미지 또는 제 3 획득 이미지로부터 제거되는, 컬러 이미지를 생성하는 방법.
  6. 제 1 항에 있어서, 상기 이미지에서 상기 IR 방사선의 비율을 산출하는 단계는 상기 이미지의 픽셀들의 개별적인 그룹들 또는 개별적인 픽셀들의 레벨에 대해 수행되는, 컬러 이미지를 생성하는 방법.
  7. 제 6 항에 있어서, 상기 이미지에서 상기 IR 방사선의 비율을 비교함으로써 IR 방사선의 증가된 양을 갖는 이미지의 영역들을 국부화하는 단계를 더 포함하는, 컬러 이미지를 생성하는 방법.
  8. 제 1 항에 있어서, 상기 제 1 이미지와 상기 제 2 이미지 중 적어도 하나는 다중 노출들의 결과이고, 상기 다중 노출들은 더 긴 노출 시간을 갖는 적어도 하나의 노출 및 더 짧은 노출 시간을 갖는 적어도 하나의 노출을 갖는, 컬러 이미지를 생성하는 방법.
  9. 제 1 항에 있어서, 상기 IR 차단 필터는 조리개 개구의 바로 근처에서 구경 조리개에 배열되는, 컬러 이미지를 생성하는 방법.
  10. 이미지 센서를 갖는 카메라;
    카메라 제어기;
    카메라 렌즈; 및
    상기 카메라의 이미지 센서에 도달하는 방사선의 양을 제어하도록 구성된 조리개 장치를 포함하는 어셈블리로서,
    상기 조리개 장치는 조리개 및 IR 차단 필터를 포함하고,
    상기 카메라 제어기는,
    IR 차단 필터에 의해 커버된 상기 조리개의 제 1 비율로 제 1 이미지를 캡쳐하고,
    상기 제 1 이미지에서 캡쳐된 방사선의 제 1 양을 결정하고,
    상기 IR 차단 필터에 의해 커버된 상기 조리개의 제 2 비율로 제 2 이미지를 캡쳐하고,
    상기 제 2 이미지에서 캡쳐된 방사선의 제 2 양을 결정하고,
    상기 캡쳐된 방사선의 제 1 양, 상기 캡쳐된 방사선의 제 2 양, 상기 제 1 IR 차단 필터 비율, 및 상기 제 2 IR 차단 필터 비율에 기초하여, 장면에서 IR 방사선의 비율을 산출하고,
    상기 IR 방사선의 산출된 비율을 이용함으로써 이미지로부터 IR 기여를 제거하도록 구성되는, 어셈블리.
  11. 제 10 항에 있어서, 상기 조리개는 적어도 2개의 다이어프램 블레이드들(diaphragm blades)을 포함하고, 상기 IR 차단 필터는 상기 적어도 2개의 다이어프램 블레이드들 중 적어도 하나 상에 배열되는, 어셈블리.
  12. 제 10 항에 있어서, 상기 IR 차단 필터는 상기 조리개에 인접하여 배열되고 상기 조리개의 중심 부분에서 IR 차단 속성을 가질 수 있는 반면, 상기 중심 부분의 반경 방향 외부에서 상기 IR 차단 속성을 갖지 않는, 어셈블리.
  13. 제 10 항에 있어서, 상기 IR 차단 필터는 그 표면에 걸쳐 달라지는 IR 차단 속성을 갖고 상기 조리개에 인접하여 이동가능하게 배열되는, 어셈블리.
  14. 제 10 항에 있어서, 상기 IR 차단 필터는 제 1 상태 및 제 2 상태를 갖는 LC 필터인, 어셈블리.
  15. 제 10 항에 있어서, 상기 IR 차단 필터는 회전가능하게 배열되는, 어셈블리.
  16. 제 10 항에 있어서, 상기 IR 차단 필터는 상기 조리개의 구경 조리개에 또는 상기 구경 조리개의 바로 근처에 배열되는, 어셈블리.
KR1020180074453A 2017-06-29 2018-06-28 컬러 이미지를 향상시키기 위한 방법, 및 이러한 방법을 수행하는 어셈블리 KR102113488B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17178716.1A EP3422700B1 (en) 2017-06-29 2017-06-29 A method for enhancing color images, and an assembly performing such method
EP17178716.1 2017-06-29

Publications (2)

Publication Number Publication Date
KR20190002348A KR20190002348A (ko) 2019-01-08
KR102113488B1 true KR102113488B1 (ko) 2020-05-22

Family

ID=59298216

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180050062A KR102100031B1 (ko) 2017-06-29 2018-04-30 카메라 및 컬러 이미지 생성 방법
KR1020180074453A KR102113488B1 (ko) 2017-06-29 2018-06-28 컬러 이미지를 향상시키기 위한 방법, 및 이러한 방법을 수행하는 어셈블리

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180050062A KR102100031B1 (ko) 2017-06-29 2018-04-30 카메라 및 컬러 이미지 생성 방법

Country Status (6)

Country Link
US (1) US10531058B2 (ko)
EP (1) EP3422700B1 (ko)
JP (2) JP6606231B2 (ko)
KR (2) KR102100031B1 (ko)
CN (2) CN109218691A (ko)
TW (2) TWI708510B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3840362B1 (en) * 2019-12-19 2022-05-04 Axis AB A video camera system with a light sensor and a method for operating said video camera
US11595625B2 (en) * 2020-01-02 2023-02-28 Qualcomm Incorporated Mechanical infrared light filter
CN113365034B (zh) * 2020-03-04 2022-09-06 合肥君正科技有限公司 一种基于rgb-ir图像传感器的色彩校准方法
EP3930307B1 (en) * 2020-06-25 2022-06-01 Axis AB A method for enhancing the performance of a video camera
TWI806226B (zh) * 2021-11-08 2023-06-21 宏碁股份有限公司 影像感測方法與影像感測裝置
US12015835B2 (en) * 2022-01-25 2024-06-18 Qualcomm Incorporated Multi-sensor imaging color correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036807A (ja) 1999-07-19 2001-02-09 Hitachi Ltd 撮像装置
JP2003264842A (ja) 2002-03-08 2003-09-19 Hitachi Kokusai Electric Inc フィルタ及び調光板及び固体撮像素子
WO2011101036A1 (en) 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0386673U (ko) * 1989-12-20 1991-09-02
JP3861241B2 (ja) * 2002-03-15 2006-12-20 三菱電機株式会社 フィルタ移動型カメラ装置
JP2004361590A (ja) 2003-06-03 2004-12-24 Sony Corp 光学装置及び撮像装置
TWI257486B (en) * 2004-05-13 2006-07-01 Prodisc Technology Inc Camera lens
JP2006078666A (ja) 2004-09-08 2006-03-23 Fujinon Corp レンズ装置
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
TWI362562B (en) * 2005-12-09 2012-04-21 Hon Hai Prec Ind Co Ltd Aperture and method
KR101276757B1 (ko) * 2006-05-26 2013-06-20 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
JP5098908B2 (ja) * 2008-09-08 2012-12-12 コニカミノルタアドバンストレイヤー株式会社 画像入力装置
US7915652B2 (en) * 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
CN101482686B (zh) * 2009-02-09 2013-05-15 Tcl数码科技（深圳）有限责任公司 一种可用于数码摄影机的红外滤光片自动切换装置
JP2011029810A (ja) * 2009-07-23 2011-02-10 Sony Ericsson Mobile Communications Ab 撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置
US9091903B2 (en) 2010-07-29 2015-07-28 Logitech Europe S.A. Optimized movable IR filter in cameras
US8408821B2 (en) * 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
TWI475246B (zh) * 2011-04-15 2015-03-01 Largan Precision Co 具濾光元件之光學取像鏡頭
JP2013152369A (ja) 2012-01-25 2013-08-08 Nippon Seimitsu Sokki Kk 絞り装置およびカメラ
JP6230265B2 (ja) 2013-05-17 2017-11-15 キヤノン株式会社 撮像装置
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
US9509893B2 (en) * 2014-03-31 2016-11-29 Panasonic Intellectual Property Management Co., Ltd. Imaging device and analyzing apparatus using the imaging device
US20160161332A1 (en) * 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
CN104536074A (zh) * 2014-12-24 2015-04-22 电子科技大学 一种可调近红外滤波片
CN107534759B (zh) * 2015-02-26 2020-06-16 索尼半导体解决方案公司 摄像装置、摄像方法和计算机可读介质
JP6530215B2 (ja) 2015-03-26 2019-06-12 マクセル株式会社 レンズユニットおよびカメラモジュール
WO2016171090A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
US9671537B2 (en) * 2015-10-22 2017-06-06 Omnivision Technologies, Inc. Multi-layer color filter for low color error and high SNR
JP2017092898A (ja) * 2015-11-17 2017-05-25 ソニー株式会社 撮像装置、撮像方法、およびプログラム
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
CN105430363B (zh) * 2015-12-18 2018-07-17 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
US9848118B2 (en) 2016-03-11 2017-12-19 Intel Corporation Phase detection autofocus using opposing filter masks
US10574872B2 (en) 2016-12-01 2020-02-25 Semiconductor Components Industries, Llc Methods and apparatus for single-chip multispectral object detection
EP3343287B1 (en) * 2016-12-28 2018-11-21 Axis AB A method for sequential control of ir-filter, and an assembly performing such method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036807A (ja) 1999-07-19 2001-02-09 Hitachi Ltd 撮像装置
JP2003264842A (ja) 2002-03-08 2003-09-19 Hitachi Kokusai Electric Inc フィルタ及び調光板及び固体撮像素子
WO2011101036A1 (en) 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data

Also Published As

Publication number Publication date
KR20190002348A (ko) 2019-01-08
TW201911860A (zh) 2019-03-16
KR20190002289A (ko) 2019-01-08
JP6606231B2 (ja) 2019-11-13
JP2019012267A (ja) 2019-01-24
CN109218691A (zh) 2019-01-15
EP3422700B1 (en) 2021-03-10
JP2019036947A (ja) 2019-03-07
JP6803355B2 (ja) 2020-12-23
TWI684365B (zh) 2020-02-01
CN109218696B (zh) 2021-01-22
CN109218696A (zh) 2019-01-15
US10531058B2 (en) 2020-01-07
EP3422700A1 (en) 2019-01-02
KR102100031B1 (ko) 2020-04-10
US20190007665A1 (en) 2019-01-03
TW201906400A (zh) 2019-02-01
TWI708510B (zh) 2020-10-21

Similar Documents

Publication Publication Date Title
KR102113488B1 (ko) 컬러 이미지를 향상시키기 위한 방법, 및 이러한 방법을 수행하는 어셈블리
JP6404923B2 (ja) 撮像センサおよび撮像装置
JP6717858B2 (ja) 欠陥イメージセンサ素子の較正
KR102010628B1 (ko) 카메라용 광학 필터링
JP6467028B2 (ja) 赤外線フィルタを逐次制御するための方法、及び該方法を実行するアセンブリ
WO2015149711A1 (zh) 红外控制装置、方法及摄像机
CN109862332B (zh) 用于检测并减小彩色边纹效应的方法、装置和系统
US9692983B2 (en) Apparatus, method, and medium for correcting pixel switching pattern
US20210377510A1 (en) Imaging apparatus, portable terminal apparatus, and imaging method
JP6360816B2 (ja) 撮像装置及び撮像方法
EP3343897B1 (en) Camera and method of producing color images
JP7410621B2 (ja) 撮像装置およびその制御方法、プログラム
JP2016200742A (ja) 撮像装置
JP5359330B2 (ja) 露光量制御装置および露光量制御方法
JP5495008B2 (ja) 露光量制御装置および露光量制御方法
Cao et al. Characterization and measurement of color fringing
JP2018189856A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right