KR20190099044A - 비네팅에 대한 보상 - Google Patents

비네팅에 대한 보상 Download PDF

Info

Publication number
KR20190099044A
KR20190099044A KR1020197021424A KR20197021424A KR20190099044A KR 20190099044 A KR20190099044 A KR 20190099044A KR 1020197021424 A KR1020197021424 A KR 1020197021424A KR 20197021424 A KR20197021424 A KR 20197021424A KR 20190099044 A KR20190099044 A KR 20190099044A
Authority
KR
South Korea
Prior art keywords
illumination
image data
illuminator
image capture
view
Prior art date
Application number
KR1020197021424A
Other languages
English (en)
Other versions
KR102258568B1 (ko
Inventor
롭 작크 폴 엥겔렌
Original Assignee
루미레즈 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/851,240 external-priority patent/US10582169B2/en
Application filed by 루미레즈 엘엘씨 filed Critical 루미레즈 엘엘씨
Publication of KR20190099044A publication Critical patent/KR20190099044A/ko
Application granted granted Critical
Publication of KR102258568B1 publication Critical patent/KR102258568B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/3572—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N5/217—
    • H04N5/2256—
    • H04N5/2354—
    • H04N5/3452—
    • H04N5/347—
    • H04N5/3537—
    • H04N9/045—
    • H04N9/04511—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

영상 캡처 시스템의 시야에 걸쳐 변화하는 감지 효율을 갖는 영상 캡처 시스템을 포함하는 시스템은 감지 효율의 변화를 보상하기 위해 성형된 조명을 이용할 수 있다. 조명기는 감지 효율이 더 낮은 곳에서, 예를 들어, 시야의 주변에서 더 높은 세기를 갖도록 성형된 조명으로 영상 캡처 시스템의 시야를 조명하도록 구성될 수 있다. 촬영 시스템은 그러므로 보다 균일한 신호 대 잡음비들을 갖는 영상 데이터를 제공할 수 있다. 조명된 장면으로부터의 영상 데이터는 개선된 영상 데이터를 생성하기 위해 비조명된 장면으로부터의 데이터를 사용하여 조작될 수 있다.

Description

비네팅에 대한 보상
관련 출원들과의 상호 참조
본원은 2016년 12월 23일자 출원된 미국 가특허 출원 번호 62/438,956호, 2017년 4월 28일자 출원된 유럽 특허 출원 번호 17168779.1호, 및 2017년 12월 21일자 출원된 미국의 가출원이 아닌 출원 번호 15/851,240호를 우선권 주장하고, 이들 출원은 본원에 완전히 제시된 것처럼 참조로 포함된다.
사진 또는 촬영 시의 비네팅은 영상의 주변과 같은 부분이 영상의 다른 부분보다 더 어둡거나 덜 포화되는 현상이다. 비네팅은 원하는 영상 효과 또는 미관을 달성하기 위해 일부 사진에서 의도적이거나 바람직한 것일 수 있다. 다른 경우들에서, 의도하지 않고 바람직하지 않은 비네팅은 카메라의 제한들 또는 부적절한 설정들로부터 야기된다. 디지털 영상 보정은 원하지 않은 비네팅을 감소시키거나 제거할 수 있지만, 디지털 영상 처리가 영상의 겉보기를 개선시킬 수 있는 반면, 디지털 처리는 영상 데이터의 정확성을 개선시키지 못할 수 있다. 결과적으로, 타임-오브-플라이트(time-of-flight) 카메라들 또는 머신 비전 촬영과 같은 일부 응용들에서, 영상 사후 처리는 비효과적일 수 있는데 왜냐하면 추가적인 처리가 영상 데이터의 신호 대 잡음비들(SNR들)을 개선시키지 못하고 악화시킬 수 있기 때문이다.
본 발명의 양태에 따르면, 장면 또는 물체가 그렇지 않으면 촬영 시스템에서 야기했었을 비네팅을 보상하기 위해 조명될 수 있다. 한 예로서, 촬영 시스템의 시야의 모서리들에 대응하는 영역들 내의 조명은 시야의 중심에 대응하는 영역들 내의 조명보다 강할 수 있다. 또한, 촬영 시스템들은 영상 캡처 시스템들의 능력들에 따라 특정적으로 성형된 조명을 제공하는 조명기들을 사용할 수 있다. 일부 시스템들은 예를 들어, 제2 버전으로부터의 영상 데이터에 기초하여 제1 버전으로부터의 데이터를 제거함으로써 장면에 대해 수집된 영상 데이터의 2개 이상의 버전에 기초하여 영상 데이터를 조작할 수 있다. 일부 시스템들은 시스템을 위한 조명기로부터의 방출된 광만 감지하는 영상 캡처 기술들을 이용할 수 있으므로, 제어되지 않은 주위 조명의 효과들이 피해질 수 있다. 이들 촬영 시스템의 일부는 3D 카메라들, 제스처 제어 카메라들, 또는 어두운 설정들에서 사용되는 카메라 시스템들에 특히 맞을 수 있다.
한 구현예에 따르면, 촬영 시스템은 영상 캡처 시스템 및 조명기를 포함한다. 영상 캡처 시스템은 영상 캡처 시스템의 시야에 걸쳐 변화하는 감지 효율을 갖고, 조명기는 감지 효율이 더 낮은 곳에서 더 높은 세기를 갖도록 성형된 분포를 갖는 조명으로 영상 캡처 시스템의 시야를 조명한다.
또 하나의 구현예에 따르면, 영상 데이터를 수집하는 방법은 영상 캡처 시스템의 감지 효율이 더 낮은 곳에서 더 높은 세기를 갖는 성형된 분포를 갖는 조명으로 장면을 조명하는 단계를 포함한다. 다음에 영상 캡처 시스템은 성형된 분포를 갖는 조명으로 조명된 장면을 나타내는 영상 데이터를 캡처할 수 있다. 영상 데이터는 실질적으로 균일한 신호 대 잡음비를 가질 수 있거나 실질적으로 균일한 신호 대 잡음비를 갖는 영상 데이터를 생성하기 위해 사용될 수 있다.
개시된 주제의 추가 이해를 제공하기 위해 포함된 첨부 도면은 본 명세서 내에 포함되고 그 일부를 구성한다. 도면은 또한 개시된 주제의 구현예들의 원리들을 설명하는 역할을 하는 상세한 설명과 함께 개시된 주제의 구현예들을 도시한다. 개시된 주제의 기본적인 이해 및 그것이 실행될 수 있는 다양한 방식들에 필요할 수 있는 것보다 더 상세히 구조적 상세들을 도시하고자 하는 것은 아니다.
도 1은 영상 데이터에서의 비네팅의 효과들을 감소시키거나 피하도록 성형된 조명을 제공하는 조명기를 포함하는 시스템의 블록도를 도시하고;
도 2a는 영상 캡처 시스템에서의 감지 효율이 영상 캡처 시스템의 시야의 에지들을 향해 어떻게 줄어들 수 있는지를 도시한 윤곽 플롯을 도시하고;
도 2b는 도 2a에 도시된 감지 효율 변화들을 보상하도록 성형된 조명의 각도 의존성을 도시한 윤곽 플롯을 도시하고;
도 3a는 회전 대칭 성형된 조명을 제공하기 위해 광학계를 사용하는 조명기의 사시도를 도시하고;
도 3b는 촬영 시스템의 시야로 조명을 효율적으로 제한하는 성형 렌즈를 사용하여 성형된 조명을 제공하는 조명기의 사시도를 도시하고;
도 4는 성형된 분포를 갖는 조명을 생성하기 위해 발산 광의 소스를 사용하는 조명기의 단면도를 도시하고;
도 5a 및 5b는 각각 반도체 레이저들의 어레이를 이용하는 조명기의 분해도 및 조립도를 도시한다.
도 6은 각도적으로 비균일한 세기 분포를 갖는 조명을 생성하기 위해 공간적으로 비균일한 세기 분포를 갖는 광을 생성하는 광원을 사용하는 조명기를 도시하고;
도 7은 영상 캡처 시스템의 특성들을 보상하도록 성형된 조명을 제공하는 조명기를 이용하는 처리 시스템의 블록도를 도시한다.
여기에 설명된 실시들에 따르면, 촬영 시스템은 비네팅 또는 영상들 내의 다른 변화들을 감소시키거나 피하기 위해 및/또는 비균일한 및/또는 더 높은 SNR들을 야기하는, 사후 처리 스테이지 동안 비네팅을 보정할 수 있는 전통적인 영상 데이터와 특히 비교하여 보다 균일한 신호 대 잡음비들(SNR들)을 갖는 영상 데이터를 제공하기 위해 성형된 조명을 제공하도록 구성되는 조명기를 이용할 수 있다. 조명기는 영상 캡처 시스템의 특성들, 예를 들어, 촬영 광학계 및 감지 어레이의 능력들에 기초하여 특정적으로 형상을 갖는 세기 분포를 갖는 조명을 제공하도록 특히 적응될 수 있다. 조명기는 조명을 위한 고정된 형상, 예를 들어, 조명기 하드웨어, 렌즈들, 및 광원들로부터 비롯되는 형상을 제공할 수 있거나, 예를 들어, 현재의 주위 조명 조건들 또는 영상 캡처 시스템의 현재의 설정에 따라 프로그램 또는 변경될 수 있는 조명을 제공할 수 있다. 일부 구현예들에서, 촬영 시스템은 조명이 영상 캡처 시스템의 비균일한 감지 효율을 보상하도록 그리고 영상 캡처 시스템이 단지 조명기로부터의 조명만 감지하도록 매치된 조명기와 영상 캡처 시스템을 포함할 수 있다.
도 1은 본 발명의 한 구현예에 따른 시스템(100)의 블록도이다. 시스템(100)은 영상 데이터를 캡처하는 임의의 유형의 디바이스 또는 디바이스들의 집합일 수 있다. 예를 들어, 시스템(100)은 보안 카메라, 3D 카메라, 깊이 감지 카메라, 나이트 비전 카메라, 또는 생체 측정 식별 카메라, 또는 생체 측정 감지 카메라와 같은 카메라일 수 있고, 촬영 능력들을 갖거나 이용하는 이동 전화, 컴퓨터, 로봇, 또는 산업용 시스템, 또는 차량과 같은 다기능 디바이스 또는 그 일부일 수 있거나, 시야 내의 장면을 나타내거나 캡처하는 데이터를 요구하는 임의의 유형의 시스템일 수 있다. 시스템(100)은 특히 영상 데이터를 처리하는 시스템일 수 있거나 그를 포함할 수 있고, 아래에 더 설명되는 것과 같이, 영상의 상이한 영역들에 걸쳐 SNR들을 갖는 영상 데이터를 캡처 또는 생성할 수 있다. 시스템은 이 구현예를 설명하기 위해 사용되지만, 시스템은 여기에 개시되는 것과 같이, 단일 디바이스 또는 디바이스들의 조합일 수 있다는 것을 이해하여야 한다.
도시된 것과 같은 시스템(100)은 시야(150)로부터 영상들 또는 영상 데이터를 캡처하도록 동작하는 조명기(110), 영상 캡처 시스템(120), 및 처리 시스템(130)을 포함한다. 촬영 시스템(100)(또는 특히 조명기(110)와 영상 캡처 시스템(120) 간의 분리)은 시야(150) 내에서 물체 또는 장면에 비해 작을 수 있으므로, 조명기(110)와 영상 캡처 시스템(120)의 광학 축들은 서로 근사하게 동일-선형일 수 있다.
조명기(110)는 영상 캡처 시스템(120)의 시야(150) 내에 있는 물체 또는 장면의 적어도 일부를 덮는 조명을 제공할 수 있는 조명 시스템일 수 있다. 조명기(110)는 성형된, 예를 들어, 변화하는 세기 프로필을 갖고 특히 조명기(110)의 광학 축들에 대해 조명기(110)로부터의 광선들의 각도에 따라 변화하는 조명의 플래시들 또는 버스트들 또는 연속하는 조명을 제공하도록 함께 구성된 발광 다이오드들(LED들) 또는 반도체 레이저들 및 광학계와 같은 하나 이상의 광원을 포함할 수 있다. 적합한 조명기들의 구현예들의 일부 예들이 여기에 설명되고 조명기(110)는 하나 이상의 적합한 조명기에 적용할 수 있는 조명기를 일반적으로 참조하여 여기에 사용된다.
영상 캡처 시스템(120)은 정지 영상들 또는 영상들의 시퀀스들, 예를 들어, 비디오를 캡처할 수 있는 카메라일 수 있다. 영상 캡처 시스템(120)은 카메라들용으로 널리 공지된 것들을 포함하는 임의의 설계로 될 수 있다. 도 1에 도시된 일반적인 구성에서, 영상 캡처 시스템(120)은 촬영 광학계(122) 및 영상 센서(124)를 포함한다. 촬영 광학계(122)는 전형적인 구성에서, 예를 들어, 하나 이상의 렌즈, 집속 시스템들, 및 영상 센서(124) 상에 영상을 형성하도록 동작하는 개구 제어 시스템들을 포함할 수 있다. 예를 들어, 전하 결합 소자(CCD) 또는 CMOS 센서 어레이일 수 있는 영상 센서(124)는 촬영 광학계(122)에 의해 형성된 영상으로부터의 광을 감지하고 영상 데이터를 처리 시스템(130)에 제공한다. 영상 데이터는 예를 들어, 하나 이상의 어레이 화소 값을 포함할 수 있고 각각의 화소 값은 세기, 색, 그림자, 반사, 또는 화소 센서가 시야(150) 내의 대응하는 영역 또는 각도 범위에 대해 감지되는 스펙트럼 내용을 나타낸다.
처리 시스템(130)은 예를 들어, 영상 캡처를 위한 파라미터들을 설정하기 위해 또는 영상 캡처를 개시하기 위해, 영상 캡처 시스템(120)의 일반적인 제어를 제공할 수 있고, 처리 시스템(130)은 그들 기능을 위한 적합한 소프트웨어 또는 펌웨어를 갖는 통상적인 마이크로컨트롤러를 포함할 수 있다. 처리 시스템(130)은 시야(150)의 경계들 및 영상 센서(124) 내의 화소 센서들이 시야(150)의 각각의 영역들로부터의 광을 감지하는 효율을 제어하는 영상 캡처 시스템의 설정들 또는 특성들을 특히 설정 또는 검출할 수 있다. 처리 시스템(130)은 영상 캡처 시스템(120)의 현재 구성, 예를 들어, 영상 캡처 시스템(120)의 초점 또는 배율, 또는 영상 캡처 중에 존재할 수 있는 주위 조명에 대한 올바른 조명을 제공하기 위해 조명기(110)를 추가로 제어할 수 있다. 처리 시스템(130)은 예를 들어, 데이터 스토리지(도시 안됨) 내에 영상 데이터를 간단히 저장하기 위해 또는 물체들을 인식하고, 깊이 정보를 추출하고, 색 보정들을 하고, 또는 스펙트럼 분석 등을 수행하는 것 등과 같은 기능을 수행하기 위해, 영상 캡처 시스템(120)으로부터의 영상 데이터를 추가로 처리할 수 있다. 처리 시스템(130)은 여기에 추가로 개시되는 것과 같이, 예를 들어 제2 영상 데이터로부터 제1 영상 데이터를 뺌으로서, 2개 이상의 캡처된 영상 데이터에 기초하여 영상 데이터의 조작을 추가로 처리할 수 있다.
촬영 광학계(122)의 구성 및 영상 센서(124)의 크기 및 구성은 시야(150)의 경계들을 결정하거나 정할 수 있다. 그러나, 많은 구성들에서, 영상 캡처 시스템(120)은 시야(150)의 전체에 대한 균일한 감도 또는 균일한 감지 효율을 제공할 수 없다. 예를 들어, 촬영 광학계(122) 내의 개구들의 크기들은 영상 캡처 시스템(120)이 시야(150)의 주변으로부터 광을 덜 수집하게 할 수 있어서, 비네팅을 야기한다. 도 2a는 예시적인 영상 캡처 시스템의 감지 효율의 예를 도시한다. 촬영 시스템 내의 화소 센서의 감지 효율은 화소에 대응하는 시야 내의 영역 또는 각도 범위로부터 유래하는 광의 세기에 대한 화소 센서에 의해 감지된 세기의 비로서 정해지거나 그로부터 결정될 수 있다. 이러한 감지 효율은 균일한 시야, 예를 들어, 균일하게 비추어지고, 균일하게 비추어지는 것과 같이, 영상 캡처 시스템 내의 감지 어레이에 의해 감지된 백색 스크린을 고려함으로써 이상적인 영상 캡처 시스템에 대해 예증될 수 있다. 이 경우에, 영상 캡처 시스템 내의 센서 어레이는 센서 어레이의 영역에 걸쳐 균일한 세기를 이상적으로 측정하였을 것이다. 실제 영상 캡처 시스템들에서, 영상 센서 내의 상이한 화소 센서들은 예를 들어, 시야 내의 상이한 영역들로부터 광을 수집하는 영상 캡처 시스템의 능력의 제한들로 인해, 상이한 세기들을 측정할 수 있다. 도 2a에 도시한 것과 같이, 비네팅을 겪는 전형적인 영상 캡처 시스템은 영상 캡처 시스템의 시야의 중심에서 가장 높은 감지 효율을 가질 수 있는데, 시스템은 시야의 중심에서 유래하는 광의 더 많은 비율을 캡처할 수 있기 때문일 수 있다. 도 2a는 (상대적 값 1.0이 할당된) 피크 감지 효율을 갖는 시야의 중심을 도시한다. 도 2a 내의 윤곽들은 감지 감도가 영상 센서의 에지들에 더 가깝게 배치되는 화소 센서들에 대해 어떻게 떨어지고, 그래서 영상들의 비네팅 및 시야의 에지들에 가까운 화소 데이터 관련 화소들에서 더 높은 신호 대 잡음비들을 야기할 것이라는 것을 도시한다. 도 2a의 예에 도시한 것과 같은 감지 효율을 갖는 영상 캡처 시스템으로, 균일하게 비추어지는 장면의 영상은 이상적인 촬영 시스템이 측정했었을 것의 약 40%인 시야의 모서리들에서의 측정된 세기 레벨들을 가질 것이다.
도 2a의 예에서 모서리들을 향해 도시한 것들과 같이, 낮게 측정된 세기 레벨들은 신호 대 잡음비가 흔히 측정된 세기 레벨들에 의존함에 따라 신호 대 잡음비를 악화시킬 수 있다. 여기서, 더 낮은 세기 레벨들은 도 2a 내의 시야의 모서리들에서의 더 높은 신호 대 잡음비에 대응할 수 있다. 시야의 모서리들에서의 영상 품질들을 개선시키고자 사후 처리 기술들을 적용하면 훨씬 더 높은(더 나쁜) 신호 대 잡음비를 야기할 수 있다. 이것은 보안 카메라들, 타임-오브-플라이트 카메라들, 깊이 감지 카메라들, 3D 촬영기들, 나이트 비전 카메라들 등과 같은 소정의 촬영 시스템들에서 특히 문제가 될 수 있다.
조명기(110)는 비네팅 또는 감지 감도의 다른 변화들을 보상하도록 성형된 세기 분포를 갖는 조명을 제공할 수 있다. 특히, 조명은 각도 공간에서 성형된 패턴을 가질 수 있다. 도 2b는 도 2a에 도시된 비균일한 감지 효율을 보상하는 개시된 주제의 구현예에 따른, 세기 분포를 나타낸 윤곽 플롯을 도시한다. 도 2b에 도시한 시야 내의 조명 세기는 도 2a에 도시한 시야 내의 대응하는 감지 효율과 반비례할 수 있다. 도 2b 내의 조명은 조명기(110)로부터 조명기(110)의 시야의 중심까지의 광선에 대한 각도의 함수로서 플롯된다. 영상 캡처 시스템 내의 대응하는 화소 센서들은 영상 캡처 시스템의 시야 내의 장면으로부터의 광에 대한 각각의 각도들로부터의 광을 검출할 수 있다. 도 2b는 촬영 시스템의 시야 밖의 영역들을 조명했었을 조명을 도시하지 않는다. 촬영 시스템의 시야 밖의 촬영을 위해 조명이 필요하지 않으므로, 조명기(110)로부터의 조명기 세기는 중요하지 않고 시야 각도들의 범위들 밖에서 제로일 수 있다.
조명기(110)에 의해 제공된 조명이 도 2b에 나타내지고 시야의 중심에서 (1.0의 상대적 세기 팩터가 할당된) 가장 낮은 조명 세기를 갖는다. 조명은 시야의 에지들을 향해 세기가 증가한다. 예를 들어, 시야의 모서리들에서, 조명은 시야의 중심의 조명의 250%인 2.5의 상대적 세기를 갖는다. 이러한 조명을 사용하는 촬영 시스템은 조명 세기의 증가가 영상 캡처를 위한 감지 효율의 감소를 보상한다면 감지 어레이에 걸쳐 균일한 유효 감지 효율을 달성할 수 있다. 도시된 예에서, 각각의 화소 센서에 대해, 도 2a로부터의 상대적 감도 팩터와 도 2b로부터의 대응하는 상대적 세기 팩터의 곱은 균일하다. 중심에서, 상대적 캡처 팩터 1.0과 상대적 조명 팩터 1.0의 곱은 1이고, 모서리들에서 상대적 캡처 팩터 0.4와 상대적 조명 팩터 2.5의 곱도 또한 1이다.
도 2a에 도시된 조명은 도 2a에 도시된 가변 감지 효율에 의해 비네팅 또는 영상 또는 영상 데이터에서 야기된 SNR의 변화들을 완전히 또는 실질적으로 완전히 보상할 수 있다. 개시된 주제의 구현예에 따라, 영상 캡처 시스템은 조명기(110)가 원래의 소소인 반사된 광만을 캡처할 수 있다. 이것은 조명기(110)로부터의 광의 특성들, 예를 들어, 편광, 주파수, 또는 파장을 갖는 광에만 감지되는 영상 캡처 시스템을 통해, 적어도 거의 달성될 수 있다. 예를 들어, 조명기(110)는 좁은 스펙트럼 대역에서의 조명을 생성할 수 있고, 영상 캡처 시스템은 조명 대역으로 조정되고 조명기(110)로부터의 대부분의 광을 통과하게 하는 스펙트럴 필터를 포함할 수 있다. 또한, 조명기(110)는 장면의 캡처 영상들에 대해 "어두운" 및 "밝은" 조명들로 하기 위해 턴 오프 및 오프될 수 있고, 처리 시스템은 장면이 단지 조명기(110)로부터의 조명 하에 있을 때 야기하였을 영상에 대응하는 영상 데이터를 생성하기 위해 밝은 영상 데이터로부터 어두운 영상에 대응하는 영상 데이터를 뺄 수 있다. 동기 영상 검출 기술들이 카메라들의 프레임 레이트 또는 영상 캡처 타이밍에 따라 선택된 주파수들 및 위상들에서 조명기(110)로부터의 광을 (온과 오프로) 유사하게 변조할 수 있었다. 예를 들어, 조명기(110)로부터의 조명의 플래시들의 주파수는 카메라의 프레임 레이트보다 훨씬 높을 수 있고/있거나 타임-오브-플라이트 계산들이 영상 데이터를 사용하고 조명기(110)가 조명하는 물체들까지의 거리를 결정할 수 있도록 카메라 내의 영상 캡처에 대한 위상 차이를 제공할 수 있다. 동기 영상 검출 기술들에 대한 변화들이 타임-오브-플라이트 촬영에서 사용될 수 있다.
카메라 또는 영상 캡처 시스템은 주위 광 및 시야 내의 물체들로부터 반사된 조명기(110)로부터의 광을 캡처할 수 있다. 개시된 주제의 구현예에 따라, 조명기(110)는 시야에 대해 예상되거나 측정될 수 있는 주위 조명에 기초하여 변경 또는 그에 따라 적응되는 조명을 제공할 수 있다. 예를 들어, 균일하게 비추어지는 장면에 대해, 조명기(110)는 균일한 주위 광에 추가될 때, 도 2b에 도시한 것과 같은 전체 세기들을 제공하고 그럼으로써 도 2a에 도시된 상대적 감지 효율을 보상하는 조명을 제공하도록 동작될 수 있다. 일반적으로, 장면 내의, 예를 들어, 실내 조명 또는 통상적인 카메라 플래시 시스템들과 같은 통상적인 광원으로부터의 주위 광은 균일하지 않을 수 있고 비네팅을 악화시킬 수 있고, 이러한 주위 광과 함께 사용된 조명기(110)는 영상 캡처 시스템과 주위 조명 둘 다의 제한들에 의해 야기된 효과들을 보상하도록 성형되는 조명을 제공할 필요가 있을 수 있다. 특히, 조명기(110)는 그러므로 조명 비네팅 및 촬영 비네팅을 보상할 필요가 있을 수 있고, 조명기(110)가 도 2a 및 도 2b의 예로 도시된 것보다 더 강한 보상을 생성할 필요가 생긴다.
영상 캡처 시스템은 주어진 장면을 위해 영상 데이터의 2개 이상의 세트를 캡처할 수 있다. 영상 데이터의 2개 이상의 세트는 예를 들어, 백-투-백 영상 데이터를 캡처함으로써 수집될 수 있다. 제1 영상 데이터는 조명기(110)가 장면을 조명할 때 수집될 수 있다. 제2 영상 데이터는 조명기(110)로부터의 조명 없이 수집될 수 있고 장면을 조명하는 주위 광을 받는 장면에 대한 영상 데이터를 캡처할 수 있다. 마이크로프로세서, 마이크로컨트롤러, 또는 기타 적용가능한 처리 컴포넌트와 같은 처리 컴포넌트는 보안 시스템들, 3D 시스템들, 깊이 감지, 물체 인식, 나이트 비전, 생체 측정 식별 및 감지 등에 사용될 수 있는 개선된 영상 데이터를 생성하기 위해 영상 데이터의 2개 이상의 세트를 조작하도록 구성될 수 있다. 개선된 영상 데이터는 결과적인 개선된 영상 데이터가 균일한 신호 대 잡음비를 포함하도록 제1과 제2 영상 데이터를 조합할 수 있다. 대안적으로, 개선된 영상 데이터는 조명기(110)가 장면을 조명할 때 캡처된 제1 영상 데이터로부터 주위 광에서 캡처된 제2 영상 데이터를 뺀 결과일 수 있다. 이 개선된 영상 데이터는 예를 들어, 처리 컴포넌트로 하여금 비교할만한 데이터가 시스템 내에 저장되는 동일한 포맷으로 영상 데이터를 수집하게 할 수 있다. 개선된 영상 데이터는 얼굴 인식과 같은 물체 인식을 위한 비교할만한 영상 데이터와 비교될 수 있다. 보다 구체적으로, 조명기의 광 하에서 캡처된 제1 영상 데이터로부터 주위 광 하에서 캡처된 제2 영상 데이터를 빼는 것은 데이터의 표준화된 포맷에 대응할 수 있는 개선된 영상 데이터를 가져다 줄 수 있다. 이 예에서, 장면 상으로의 주위 광의 영향은 그것이 다른 표준화된 영상 데이터와 비교될 수 있도록 개선된 영상 데이터에서 제거될 수 있다.
도 1의 조명기(110)는 다양한 상이한 아키텍처들을 사용하여 구현될 수 있다. 도 3a는 예를 들어, 광원(310) 및 광학계(320)를 포함하는 조명기(300)의 컴포넌트들을 도시한다. 광원(310)은 LED 또는 LED들의 어레이와 같은 광을 방출하도록 구성되는 임의의 컴포넌트일 수 있고, 광학계(320)는 광학계(320)에서 나가는 조명의 각도적 분포들 또는 형상을 변경 또는 제어하는 프레넬 렌즈들, 격자들, 또는 다른 구조들과 같은 하나 이상의 광학 소자를 포함할 수 있다. 조립된 조명기(300)에서, 광학계(320)는 광원(310)에 부착될 수 있다.
도 3a의 조명기(300)를 위한 광학계(320)는 회전 대칭 조명 패턴을 생성할 수 있고 예를 들어, 원형 광학 소자들로 설계 및 제조하기가 더 쉬울 수 있다. 그러나, 회전 대칭 조명 패턴은 상당량의 버려지는 광, 즉, 영상 캡처 시스템이 직사각형 시야를 가질 때, 시야 밖의 광을 야기할 수 있다. 도 3b는 직사각형 시야에 조명을 제공하기 위해 광원(360)으로부터의 방사를 보다 효율적으로 사용하기 위해 직사각형 광학 소자들을 포함하는 광학계(370)를 이용하는 조명기(350)를 도시한다.
광원, 예를 들어, 광원(310 또는 360)으로서 LED를 사용하는 조명기는 광학 시스템, 예를 들어, 광원으로부터 방출된 광의 세기 분포의 각도 의존성을 재성형하는 광학계(320 또는 370)를 필요로 할 수 있다. 따라서, 광학 시스템은 광원의 발광 특성들에 따라 설계될 수 있다. 도 4는 예를 들어, 소스 영역으로부터 발산하는 광(415)을 방출하는 LED 또는 다른 발광 디바이스들일 수 있는 광원(410)을 포함하는 조명기(400)의 단면도를 도시한다. 광원(410)으로부터의 광(415)의 세기는 광원(410)의 구조에 의존하고, 전형적인 광원은 예들 들어, 균일한 또는 램버시안인 각도 세기 분포를 가질 수 있다. 위에 기재된 것과 같이, 조명기(400)로부터의 조명(425)의 원하는 각도적 분포는 상이한 분포, 예를 들어, 조명기의 광학 축으로부터 더 큰 각도들에서 보다 강한 분포를 요구할 수 있다. 시야의 에지들에서의 세기를 증가시키기 위해, 광학 소자(420)는 광선들이 보다 집중하도록, 즉, 더 많은 광이 요구되는 영역들 또는 방향들에서 더 밝도록, 예를 들어, 발산의 각도가 클수록 더 밝도록 LED로부터 발산하는 광선들을 중첩시킬 수 있다.
발산 광의 단일 광원(410)을 위해 도 4에 도시된 동일한 원리들이 이러한 광원들의 어레이를 위해 이용되고 반복될 수 있다. 예를 들어, 또 다른 대안적 구성에서, 조명기(110)는 조명을 성형하고 LED들로부터의 조명을 직사각형 시야 내로 향하게 위해 LED들의 어레이 및 광학 소자들의 어레이를 포함한다. 예를 들어, "Multiple die LED and lens optical system"이라고 하는 미국 특허 번호 8,729,571호는 광의 제어된 분포들을 갖는 LED 어레이들 또는 시스템을 위한 아키텍처들을 개시하고 있다.
도 5a는 예를 들어, 주 광학계로서 확산기를 갖는 반도체 레이저들의 어레이가 이용되는 조명기(500)의 컴포넌트들을 도시한다. 조명기(500)는 수직 캐비티 표면 방출 레이저들(VCSEL들) 또는 다른 반도체 레이저들의 어레이(512)를 포함하는 집적 회로 패키지(510)를 포함한다. 확산기(520)는 확산기(520)의 제조 중에 또는 도 5b에 도시한 것과 같이 조립된 조명기(500) 내의 집적 회로 패키지(510)에 확산기(520)의 부착을 위해 사용될 수 있는 캐리어(522) 상에 도 5a에 도시된다. 확산기(520)는 세심하게 제어된 특성들을 갖는 가공된 확산기, 예를 들어, 마이크로렌즈들 또는 미리 정해진 형상들 및 위치들을 갖는 광학 소자들의 어레이일 수 있다. 어레이(512) 내의 단일 레이저는 약 20도의 발산으로 광을 생성할 수 있다. 어레이(512) 내의 레이저들의 간격 및 확산기(520) 내의 작은 렌즈들 또는 다른 광학 소자들의 간격에 따라, 각각의 레이저는 확산기(520) 내의 하나 또는 다수의 작은 렌즈 또는 광학 소자를 조명할 수 있다. 한 구성에서, 확산기(520)는 어레이(512) 내의 각각의 레이저로부터 광을 따로따로 성형할 수 있다. 보다 일반적으로, 확산기(520)는 어레이(512)로부터의 광을 발산 빔, 예를 들어, 원하는 각도 세기 분포를 갖는 직사각형 각도 팬으로 변환한다. 도 5b에 도시한 것과 같이, 확산기(520)는 확산기(520)가 어레이(512)로부터 광을 수신하도록 패키지(510)에 부착될 수 있다.
조명기(500)로부터의 조명의 분포는 어레이(512) 내의 레이저들에 각각 인가된 전기 전력 또는 전류들에 의해 추가로 제어될 수 있다. 보다 일반적으로, 일부 발광기들은 포인트 광원들에 가까울 수 있지만 각각의 발광 영역에 대한 일부 크기 또는 범위를 가질 것이고, 광학 시스템은 발광 영역의 왜곡된 영상을 생성하는 경향이 있다. 일반적으로, 발광 영역의 주변, 예를 들어, LED 칩의 에지들로부터의 광은 스폿 또는 장면의 주변을 조명하는 경향이 있다. 어레이(512)와 같은 연장된 광원으로부터의 광의 공간적 분포는 그러므로 확산기(520)와 같은 광학계로부터의 조명의 각도 방사 패턴에 영향을 주도록 설정 또는 변경될 수 있다.
개시된 주제의 구현예에 따라, 도 6은 출력 조명에서의 세기에 대한 원하는 각도적 분포를 생성하기 위해 연장되고 공간적으로 비균일한 광원(610)을 사용하는 조명기(600)를 도시한다. 광원(610)은 다수의 그리고 아마 개별적으로 어드레스가능한 개별 방출기, 예를 들어, VCSEL 어레이로 만들어질 수 있거나, 연장된 광원의 발광 영역에 걸쳐 변화하는 조명의 공간적 분포를 생성하는 하나의 연장된 광원일 수 있다. 도시된 구성에서, 광원(610)은 광학 시스템(620)의 초점 평면으로부터 유래하는 광을 생성하도록 배치된다. 도 6은 광학 시스템(620)이 렌즈이지만, 다른 또는 더 많은 복합 광학 시스템들이 광원(610) 상의 공간적 위치들을 먼 시야 각도들로 변환하거나 다르게는 광의 공간적 및 각도적 분포들을 상관시키기 위해 이용될 수 있는 특히 간단한 구현예를 도시한다. 도시된 구성으로, 광학 시스템(620)은 광원(610)의 상이한 영역들로부터의 광을 상이한 먼 시야 각도들로 향하게 하거나 투사한다. 예를 들어, 광학 시스템(620)은 광학 시스템(620)의 광학 축 상의 광원(610)의 영역(612)으로부터 유래되는 광을 광학 축에 평행한 광(622)으로서 향하게 하지만, 광학 시스템(620)은 광학 시스템(620)의 초점 길이 f 및 광학 시스템(620)의 광학 축에 대한 영역(614)의 위치에 의존하는 방향을 따라 광원(610)의 오프-축 영역(614)으로부터의 광(624)을 향하게 한다. 따라서, 조명기(600)로부터의 광의 각도적 분포는 광원(610)으로부터 방출된 광의 공간적 분포와 상관되고, 광원(610)의 더 밝은 영역들은 조명기(600)로부터의 조명의 방사 패턴 내에 더 밝은 각도 영역들을 생성한다. 따라서, 더 큰 각도들에서 더 밝은 조명을 생성하기 위해, 광원(610)은 그것의 주변에서 더 밝도록 설계될 수 있거나 동작될 수 있다.
광원(610)은 한 구현예에서, 방출된 조명에 대한 원하는 형상을 달성하도록 프로그램되거나 제어될 수 있는 세기들을 갖는 따로따로 제어가능한 또는 어드레스가능한 광 소자들의 집합 또는 어레이일 수 있다. 예를 들어, 광원(610) 내의 따로따로 제어가능한 광 소자들의 어레이로, 제어 또는 처리 시스템이 광원(610)이 조명기(600)로부터의 원하는 먼 시야 조명을 가져다 주는 광의 공간적 분포를 생성하도록 어레이 내의 광 소자들을 독립적으로 동작시킬 수 있다. 조명기(600)로부터의 조명은 그러므로 영상 캡처 시스템의 감지 효율에 따라 조정될 수 있고 필요하다면 영상 캡처 시스템이 에이징 또는 변경된 설정들로 인해 변화할 때 변경될 수 있다. 한 구현예에서, 처리 시스템은 조명기(600)로 사용되는 영상 캡처 시스템의 초점, 배율, 또는 다른 특성의 변화들에 따라 광원(610)으로부터의 조명을 변화시키는 소프트웨어를 실행할 수 있다.
도 7은 영상 캡처 시스템(720)의 시야(750) 내로 향해지는 조명을 성형하는 조명기(710)를 이용하는 처리 시스템(700)의 또 하나의 구현예의 블록이다. 처리 시스템(700)은 컴퓨터, 예를 들어, 범용 컴퓨팅 시스템일 수 있거나, 특정한 기능들의 세트를 주로 수행하기 위한 시스템, 예를 들어, 이동 전화, 태블릿, 웨어러블 디바이스, 또는 타임-오브-플라이트 카메라일 수 있고, 처리 시스템(700)의 컴포넌트들은 단일 디바이스, 예를 들어, 휴대용 또는 핸드헬드 디바이스 내로 통합될 수 있거나, 다수의 착탈가능한 컴포넌트, 예를 들어, 하나 이상의 주변 디바이스를 갖는 컴퓨터로 구성될 수 있다. 처리 시스템(700)은 프로세서(730)가 데이터, 예를 들어, 영상 데이터(745)에 액세스하고, 명령어들, 예를 들어, 메모리(740) 내에 저장될 수 있는 소프트웨어 또는 펌웨어를 실행하게 하는 연관된 처리 하드웨어를 갖는 프로세서(730)를 특정적으로 포함할 수 있다. 프로세서(730)는 예를 들어, 프로그램 명령어들을 실행할 수 있는 하나 이상의 중앙 처리 장치(CPU) 또는 처리 코어를 포함할 수 있고 CPU들 또는 코어들이 조명기(710) 및 영상 캡처(720)와 같은 접속된 디바이스들의 동작을 제어하게 하는 하드웨어를 포함할 수 있다.
메모리(740)는 프로세서(730)의 어드레스 공간의 일부를 구성하는 휘발성 또는 비휘발성 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 도 7은 프로세서(730)를 위한 메모리(740)가 실행가능한 프로그램 모듈들(742, 744, 746, 및 748)의 세트를 포함하는 예시적인 구현예를 도시한다. (이러한 모듈들(742, 744, 746, 및 748)은 또한 예를 들어, 어드레스가능한 메모리 대신에 또는 그에 부가하여, 하드 드라이브 또는 제거가능한 메모리 디바이스를 포함할 수 있는, 저장 매체 또는 디바이스(770) 내에 또는 상에 저장될 수 있다.) 모듈들(742, 744, 746, 및 748)은 다양한 목적들을 가질 수 있고 시스템(700)이 특정한 처리들 또는 기능들을 수행할 때 선택적으로 실행될 수 있다. 예를 들어, 프로세서(730)는 시스템(700) 내의 입력 및 출력 디바이스들을 제어하고 명령들 또는 정보를 수신하기 위해 또는 정보 또는 콘텐트를 제공하기 위해 사용자 인터페이스(742)를 실행할 수 있다. 특히, 조명기(710) 및 영상 캡처 시스템(720) 외에도, 시스템(700)은 사용자가 입력 또는 명령들을 제공하도록 동작할 수 있는 스위치들, 버튼들, 키패드, 키보드, 마우스, 터치 스크린, 또는 마이크로폰과 같은 입력 디바이스들을 포함할 수 있는 인터페이스 하드웨어(760)를 포함하고, 프로세서(730)는 입력 디바이스들을 제어하고 사용자 동작들을 해석하기 위해 사용자 인터페이스(742)를 실행할 수 있다. 인터페이스 하드웨어(760)는 또한 스피커들, 오디오 시스템, 또는 터치 스크린 또는 다른 디스플레이와 같은 통상적인 출력 디바이스들을 포함할 수 있고, 프로세서(730)는 출력 디바이스들을 통해 정보를 출력하기 위해 사용자 인터페이스(742)를 실행할 수 있다. 인터페이스 하드웨어(760)는 시스템(700)이 근거리 네트워크, 광역 네트워크, 원거리 통신 네트워크, 또는 인터넷과 같은 네트워크를 통해 정보를 수신 또는 송신하게 하는 네트워크 인터페이스들을 추가로 포함할 수 있다.
프로세서(730)는 예를 들어, 영상 캡처 시스템(720)으로 영상을 캡처하라는 명령 또는 설정들, 예를 들어, 영상 캡처 시스템(720)에서 사용된 초점, 개구, 필터, 또는 렌즈를 변경하라는 명령에 응답하여, 데이터를 캡처하기 위해 영상 캡처 시스템(720)을 사용할 때 영상 캡처 제어 모듈(744)을 실행할 수 있다. 여기에 개시된 양태에 따라, 영상 캡처가 개시될 때, 조명기(710)는 예를 들어, 캡처된 영상 데이터에서의 비네팅을 감소시키기 위해, 영상 캡처 시스템(720)의 제한들을 보상하도록 성형된 조명을 생성한다. 시스템(700)에서, 프로세서(730)는 조명기(710)가 언제 그리고 어떻게 동작하는지를 제어하기 위해 조명기 제어 모듈(746)을 실행할 수 있다. 특정한 조명기 제어 처리는 일반적으로 조명기(710)의 능력들에 의존할 것이다. 예를 들어, 조명기(710)가 하나의 고정된 형상을 갖는 조명을 제공하면, 하나의 조명 제어 처리가 예를 들어, 영상 캡처와 동일한 시간에, 영상 캡처(720)와 동기하여 또는 영상 캡처에 대한 특정된 시간 오프셋으로 조명기(710)를 동작시킬 수 있다. 조명기(710)가 프로그램가능한 형상을 갖는 조명을 생성할 수 있으면, 예를 들어, 조명기(710)가 도 6의 조명기(600)와 유사하거나 동일하면, 프로세서(730)는 조명기(710)로부터의 조명을 위한 원하는 형상을 선택 및 생성하기 위해 조명기 제어 처리(746)를 실행할 수 있다. 한 이러한 구현예에서, 조명기 제어 모듈(746)의 실행은 영상 캡처 시스템(720)의 현재의 설정들에 기초하여, 즉, 영상 캡처 시스템(720)에서 현재 사용되고 있는 초점, 개구, 필터, 또는 다른 특징들에 기초하여 타깃 조명을 식별할 수 있다. 조명기 제어 모듈(746)의 실행으로부터 야기된 처리는 시야(750) 내의 주위 조명을 추가로 검출할 수 있고 단독으로 또는 주위 조명과 조합하여 시야(750)에 대한 식별된 타깃 조명을 달성하는 시야(750) 내로 조명을 향하게 하도록 조명기(710)를 동작시킬 수 있다. 고정된 조명으로 또는 프로그램가능한 조명으로, 캡처된 영상 데이터는 주위 조명으로 또는 통상적인 플래시 또는 조명 시스템들로 달성되었을 것보다 균일한 SNR을 가질 수 있다.
메모리(740)(또는 스토리지(770)) 내의 영상 데이터(745)는 시스템(700)에 의해 캡처된 하나 이상의 영상 또는 프레임을 나타낼 수 있다. 영상 데이터(745)를 캡처하는 것에 부가하여 시스템(700)은 영상 데이터를 처리할 수 있다. 특히, 프로세서(730)는 영상 데이터(745)로 나타내진 물체들을 인식하고, 영상 데이터(745)로 나타내진 물체들에 대한 깊이 또는 거리 정보를 추출하고, 영상 데이터(745)의 색 보정들을 하고, 또는 영상 데이터(745)의 스펙트럼 분석을 수행하는 것과 같은 처리 기능을 수행하기 위해 영상 처리 모듈(748)을 실행할 수 있다.
위에 설명된 것과 같은 시스템들 및 방법들은 비네팅과 같은 원하지 않은 효과들을 보상하기 위해 성형된 조명을 이용할 수 있고 영상에 걸쳐 보다 균일한 SNR을 갖는 영상 데이터를 제공할 수 있다. 이러한 시스템들 및 방법들은 영상 데이터가 머신 비전, 물체 인식, 3D 모델링, 또는 다른 목적들을 위해 추가로 처리될 필요가 있는 경우에 특히 유용할 수 있다. 이들 능력으로부터 이득을 특히 얻을 수 있는 일부 응용들은 보안 카메라들, 3D 카메라들, 깊이 감지, 물체 인식, 나이트 비전 카메라들, 생체 측정 식별 카메라들, 및 생체 측정 감지 카메라들을 포함하지만 이들로 제한되지 않는다.
본 발명의 특정한 실시예들 또는 구현예들이 도시되고 설명되었지만, 본 발명에서 벗어나지 않고서 그것의 더 넓은 양태들에서 변화들 및 수정들이 이루어질 수 있으므로, 첨부된 청구범위는 본 발명의 진정한 취지 및 범위 내에 드는 것과 같은 모든 그러한 변화들 및 수정들을 그들의 범위 내에 포함시키고자 하는 것이 본 기술 분야의 기술자들에게는 명백하다.
특징들 및 요소들이 특정한 조합들에서 위에 설명되지만, 본 기술 분야의 통상의 기술자는 각각의 특징 또는 요소가 단독으로 또는 다른 특징들 및 요소들과 임의로 조합하여 사용될 수 있다는 것을 알 것이다. 또한, 여기에 설명된 방법들은 컴퓨터 또는 프로세서에 의해 실행하기 위해 컴퓨터 판독가능 매체 내에 포함된 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어에서 구현될 수 있다. 컴퓨터 판독가능 매체의 예들은 (유선 또는 무선 접속들을 통해 전송되는) 전기적 신호들 및 컴퓨터 판독가능 저장 매체를 포함한다. 컴퓨터 판독가능 저장 매체의 예들은 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 내부 하부 디스크들 및 제거가능한 디스크들과 같은 자기 매체, 자기-광 매체, 및 CD-ROM 디스크들, 및 디지털 다기능 디스크들(DVD들)과 같은 광학 매체를 포함하지만, 이들로 제한되지 않는다.

Claims (20)

  1. 시스템으로서,
    영상 캡처 시스템 - 상기 영상 캡처 시스템은 상기 영상 캡처 시스템의 시야에 걸쳐 변화하는 감지 효율을 가짐 -;
    상기 영상 캡처 시스템의 상기 시야를 조명하도록 구성되는 조명기 - 상기 조명기는 상기 감지 효율이 더 낮은 곳에서 더 높은 세기를 갖도록 성형된 분포를 갖는 조명을 생성함 - ; 및
    주위 조명을 받는 장면에 대응하는 제2 영상 데이터를 사용하여 상기 조명기에 의해 조명된 상기 장면에 대응하는 제1 영상 데이터를 조작하도록 구성되는 처리 컴포넌트
    를 포함하는 시스템.
  2. 제1항에 있어서, 장면을 나타내고 상기 영상 캡처 시스템에 의해 캡처된 영상 데이터는 상기 조명의 결과로서 실질적으로 균일한 신호 대 잡음비를 갖는 시스템.
  3. 제1항에 있어서, 상기 제1 영상 데이터는 상기 제2 영상 데이터와 조합되는 시스템.
  4. 제1항에 있어서, 상기 제2 영상 데이터는 상기 제1 영상 데이터로부터 제거되는 시스템.
  5. 제1항에 있어서, 상기 조명은 상기 시야의 에지에서의 상기 조명의 세기보다 낮은 상기 시야의 중심에서의 세기를 갖는 시스템.
  6. 제1항에 있어서, 상기 조명기는
    광원; 및
    상기 광원으로부터의 제1 세기의 광을 상기 시야의 제1 영역에 향하게 하고 상기 광원으로부터의 제2 세기의 광을 상기 시야의 제2 영역에 향하게 하는 성형 광학계를 포함하고, 상기 제2 영역은 상기 영상 캡처 시스템의 감지 효율이 더 낮은 곳에 대응하고;
    상기 제2 세기는 상기 제1 세기보다 큰 시스템.
  7. 제6항에 있어서, 상기 광원은 소스 영역으로부터 광을 생성하고 상기 소스 영역으로부터의 상기 광은 공간적으로 비균일한 시스템.
  8. 제7항에 있어서, 상기 광원은 상기 소스 영역에 걸쳐 분포되고 상기 공간적으로 비균일한 조명을 생성하도록 동작되는 복수의 광 소자를 포함하는 시스템.
  9. 제6항에 있어서, 상기 성형 광학계는 상기 조명기로부터의 상기 조명이 직사각형 단면을 갖도록 상기 광원으로부터의 조명을 변경하는 시스템.
  10. 제6항에 있어서, 상기 성형 광학계는 렌즈를 포함하고, 상기 소스 영역은 상기 렌즈의 초점 평면 내에 위치하는 시스템.
  11. 제1항에 있어서, 상기 조명기는 회전 대칭 조명을 생성하는 시스템.
  12. 제1항에 있어서, 상기 조명기는 반도체 레이저들의 어레이를 포함하는 시스템.
  13. 제12항에 있어서, 상기 조명기는 상기 반도체 레이저들로부터 빔들의 발산을 제어하도록 배치되는 확산기를 추가로 포함하는 시스템.
  14. 제1항에 있어서, 상기 시스템은 카메라, 이동 전화, 컴퓨터, 물체 인식 시스템 및 타임-오브-플라이트 측정 시스템으로 구성된 그룹으로부터 선택되는 시스템.
  15. 영상 데이터를 수집하는 방법으로서,
    복수의 포인트에서 영상 캡처 시스템의 감지 효율을 결정하는 단계;
    상기 영상 캡처 시스템의 상기 감지 효율이 더 낮은 곳에서 더 높은 세기를 갖는 성형된 분포를 갖는 조명으로 장면을 조명하는 단계;
    상기 영상 캡처 시스템을 사용하여 상기 성형된 분포를 갖는 상기 조명으로 조명된 상기 장면을 나타내는 제1 영상 데이터를 캡처하는 단계; 및
    상기 영상 캡처 시스템을 사용하여 상기 성형된 분포를 갖는 상기 조명 없이 주위 광에서의 상기 장면을 나타내는 제2 영상 데이터를 캡처하는 단계
    를 포함하는 방법.
  16. 제15항에 있어서, 상기 조명은 촬영 시스템의 시야의 중심에서의 조명보다 상기 촬영 시스템의 시야의 주변에서 더 밝은 방법.
  17. 제15항에 있어서, 실질적으로 균일한 신호 대 잡음비를 갖는 제3 영상 데이터를 생성하기 위해 상기 제1 영상 데이터와 상기 제2 영상 데이터를 조합하는 단계를 추가로 포함하는 방법.
  18. 제15항에 있어서, 실질적으로 균일한 신호 대 잡음비를 갖는 제3 영상 데이터를 생성하기 위해, 상기 성형된 분포를 갖는 상기 조명으로 조명된 상기 장면을 나타내는 상기 제1 영상 데이터로부터, 주위 광에서의 상기 장면을 나타내는 제2 영상 데이터의 적어도 일부를 빼는 단계를 추가로 포함하는 방법.
  19. 제15항에 있어서, 상기 영상 캡처 시스템은 상기 조명의 특성에 기초하여 상기 성형된 분포를 갖는 상기 조명으로 조명된 상기 장면을 나타내는 상기 제1 영상 데이터를 캡처하도록 구성되는 방법.
  20. 제19항에 있어서, 상기 조명의 상기 특성은 편광, 파장, 및 주파수로 구성된 그룹으로부터 선택되는 방법.
KR1020197021424A 2016-12-23 2017-12-22 비네팅에 대한 보상 KR102258568B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662438956P 2016-12-23 2016-12-23
US62/438,956 2016-12-23
EP17168779.1 2017-04-28
EP17168779 2017-04-28
US15/851,240 US10582169B2 (en) 2016-12-23 2017-12-21 Compensating for vignetting
US15/851,240 2017-12-21
PCT/US2017/068087 WO2018119345A1 (en) 2016-12-23 2017-12-22 Compensating for vignetting

Publications (2)

Publication Number Publication Date
KR20190099044A true KR20190099044A (ko) 2019-08-23
KR102258568B1 KR102258568B1 (ko) 2021-05-28

Family

ID=60955412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197021424A KR102258568B1 (ko) 2016-12-23 2017-12-22 비네팅에 대한 보상

Country Status (4)

Country Link
EP (1) EP3560184B1 (ko)
JP (1) JP7386703B2 (ko)
KR (1) KR102258568B1 (ko)
CN (2) CN110383803A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582169B2 (en) 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting
WO2022241778A1 (zh) * 2021-05-21 2022-11-24 深圳市汇顶科技股份有限公司 飞行时间深度检测的发射装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1233606A2 (en) * 2001-02-16 2002-08-21 Hewlett-Packard Company, A Delaware Corporation Digital cameras
WO2007078961A2 (en) * 2005-12-29 2007-07-12 Motorola, Inc. Illumination mechanism for mobile digital imaging
US20080106636A1 (en) * 2006-11-08 2008-05-08 Sony Ericsson Mobile Communications Ab Camera and method in a camera
US20100020227A1 (en) * 2008-07-25 2010-01-28 Research In Motion Limited Electronic device having a camera and method of controlling a flash
WO2014087301A1 (en) * 2012-12-05 2014-06-12 Koninklijke Philips N.V. Illumination array with adapted distribution of radiation
US20160016511A1 (en) * 2013-02-22 2016-01-21 Schaeffler Technologies AG & Co. KG Audio signal for a synthetic noise of a motor vehicle as well as method for generating said audio signal

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050046739A1 (en) * 2003-08-29 2005-03-03 Voss James S. System and method using light emitting diodes with an image capture device
JP4747065B2 (ja) * 2006-09-29 2011-08-10 富士通株式会社 画像生成装置、画像生成方法および画像生成プログラム
US8371713B2 (en) * 2007-09-13 2013-02-12 Koninklijke Philips Electronics N.V. Illumination device for pixelated illumination
US8922672B2 (en) * 2008-01-03 2014-12-30 Apple Inc. Illumination systems and methods for imagers
JP2009176471A (ja) 2008-01-22 2009-08-06 Stanley Electric Co Ltd Ｌｅｄ光源用レンズ
JP5756722B2 (ja) * 2011-06-22 2015-07-29 株式会社エンプラス 光束制御部材、発光装置および照明装置
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1233606A2 (en) * 2001-02-16 2002-08-21 Hewlett-Packard Company, A Delaware Corporation Digital cameras
WO2007078961A2 (en) * 2005-12-29 2007-07-12 Motorola, Inc. Illumination mechanism for mobile digital imaging
US20080106636A1 (en) * 2006-11-08 2008-05-08 Sony Ericsson Mobile Communications Ab Camera and method in a camera
US20100020227A1 (en) * 2008-07-25 2010-01-28 Research In Motion Limited Electronic device having a camera and method of controlling a flash
WO2014087301A1 (en) * 2012-12-05 2014-06-12 Koninklijke Philips N.V. Illumination array with adapted distribution of radiation
US20160016511A1 (en) * 2013-02-22 2016-01-21 Schaeffler Technologies AG & Co. KG Audio signal for a synthetic noise of a motor vehicle as well as method for generating said audio signal

Also Published As

Publication number Publication date
JP2020515100A (ja) 2020-05-21
CN113329140A (zh) 2021-08-31
EP3560184A1 (en) 2019-10-30
JP7386703B2 (ja) 2023-11-27
CN110383803A (zh) 2019-10-25
EP3560184B1 (en) 2021-04-21
KR102258568B1 (ko) 2021-05-28

Similar Documents

Publication Publication Date Title
US10893244B2 (en) Compensating for vignetting
TWI565323B (zh) 分辨前景的成像裝置及其運作方法、以及影像感測器
US11405535B2 (en) Quad color filter array camera sensor configurations
JP5734425B2 (ja) 多開口撮像のためのフラッシュシステム
US9613433B2 (en) Method of characterizing a light source and a mobile device
TW201544848A (zh) 包括用於不同波長之獨立成像器之結構化立體成像組件
US20150131051A1 (en) Eye detecting device and methods of detecting pupil
WO2015130226A1 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
US9894255B2 (en) Method and system for depth selective segmentation of object
TWI801637B (zh) 用於相機之紅外光預閃光
TWI625588B (zh) Camera control device
KR102258568B1 (ko) 비네팅에 대한 보상
JP7401013B2 (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
CN110809111B (zh) 镜头组件、终端设备及终端设备的补光控制方法
US10853935B2 (en) Image processing system, computer readable recording medium, and image processing method
JP2017107309A (ja) 指静脈認証装置
US10859506B2 (en) Image processing system for processing image data generated in different light emission states, non-transitory computer readable recording medium, and image processing method
JP7080724B2 (ja) 配光制御装置、投光システム及び配光制御方法
JP6386837B2 (ja) 画像処理プログラム、情報処理システム、情報処理装置、画像処理方法
US11985739B2 (en) Low light exposure control using infrared light-emitting diode zones during night vision
US11688046B2 (en) Selective image signal processing
JP2023175404A (ja) 撮像装置、撮像装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant