KR20180123641A - 적응형 광원 - Google Patents

적응형 광원 Download PDF

Info

Publication number
KR20180123641A
KR20180123641A KR1020180053076A KR20180053076A KR20180123641A KR 20180123641 A KR20180123641 A KR 20180123641A KR 1020180053076 A KR1020180053076 A KR 1020180053076A KR 20180053076 A KR20180053076 A KR 20180053076A KR 20180123641 A KR20180123641 A KR 20180123641A
Authority
KR
South Korea
Prior art keywords
scene
light
image
face
light source
Prior art date
Application number
KR1020180053076A
Other languages
English (en)
Inventor
아르젠 반 데르 시데
니콜라 페퍼
유리 마르티노브
퀸트 반 부스트 바데르
찰스 쉬라마
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20180123641A publication Critical patent/KR20180123641A/ko

Links

Images

Classifications

    • G06K9/00228
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G06K9/4661
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H04N5/2256
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0564Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567Solid-state light source, e.g. LED, laser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Led Devices (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)
  • Image Input (AREA)

Abstract

방법은 장면의 제1 영상을 캡처하는 단계, 제1 영상으로부터의 장면의 단면에서 얼굴을 검출하는 단계, 및 IR 광으로 장면의 단면을 선택적으로 조명하기 위해 적외선(IR) 광원을 작동시키는 단계를 포함한다. IR 광원은 IR 발광 다이오드들(LED들)의 어레이를 포함한다. 방법은 IR 광원으로부터의 선택적 IR 조명 하에서 장면의 제2 영상을 캡처하는 단계, 제2 영상에서 얼굴을 검출하는 단계, 및 제2 영상 내의 얼굴에 기초하여 사람을 식별하는 단계를 포함한다.

Description

적응형 광원{ADAPTIVE LIGHT SOURCE}
관련 출원들에 대한 상호 참조
본원은 2015년 11월 10일자 출원된 미국 가 특허 출원 제62/253,580호 및 2016년 3월 1일자 출원된 유럽 특허 출원 제16158004.8호를 우선권 주장한, 2016년 11월 2일자 출원된 국제 출원 제PCT/EP2016/076360호의 부분 연속 출원이다. 국제 출원 제PCT/EP2016/076360호, 미국 가 특허 출원 제62/253,580호, 및 유럽 특허 출원 제16158004.8호는 본원에 포함된다.
발광 다이오드들(LED들), 공진 캐비티 발광 다이오드들(RCLED들), 수직 캐비티 레이저 다이오드들(VCSEL들), 및 에지 방출 레이저들을 포함하는 반도체 발광 디바이스들은 현재 가용한 가장 효율적인 광원들에 속한다. 가시 스펙트럼에 걸쳐 동작할 수 있는 고휘도 발광 디바이스들의 제조를 위해 현재 관심 있는 재료 시스템들은 Ⅲ-Ⅴ족 반도체들, 특히 Ⅲ-질화물 재료들이라고도 하는 갈륨, 알루미늄, 인듐, 및 질소의 2원, 3원, 및 4원 합금들을 포함한다. 전형적으로, Ⅲ-질화물 발광 디바이스들은 금속-유기 화학 증착(MOCVD), 분자 빔 에피택시(MBE), 또는 다른 에피택셜 기술들에 의해 사파이어, 실리콘 탄화물, Ⅲ-질화물, 또는 다른 적합한 기판 상에 상이한 조성들 및 도펀트 농도들의 반도체 층의 스택을 에피택셜 성장함으로써 제조된다. 스택은 보통 기판 위에 형성된, 예를 들어, Si로 도핑된 하나 이상의 n형 층, n형 층 또는 층들 위에 형성된 활성 영역 내의 하나 이상의 발광 층, 및 활성 영역 위에 형성된, 예를 들어, Mg로 도핑된 하나 이상의 p형 층을 포함한다. 전기 접점들이 n형 및 p형 영역들 상에 형성된다.
그들의 소형 크기 및 저 전력 요건들로 인해, 반도체 발광 디바이스들은 카메라들 및 휴대 전화기들과 같은 휴대형의 배터리 전원 디바이스들용의 카메라 플래시들과 같은 광원들의 매력적인 후보들이다.
본 개시내용의 예들에서, 방법은 장면의 제1 영상을 캡처하는 단계, 제1 영상으로부터의 장면의 단면에서 얼굴을 검출하는 단계, 및 적외선(IR) 광으로 장면의 단면을 선택적으로 조명하기 위해 IR 광원을 작동시키는 단계를 포함한다. IR 광원은 IR 발광 다이오드들(LED들)의 어레이를 포함한다. 방법은 IR 광원으로부터의 선택적 IR 조명 하에서 장면의 제2 영상을 캡처하는 단계, 제2 영상에서 얼굴을 검출하는 단계, 및 제2 영상 내의 얼굴에 기초하여 사람을 식별하는 단계를 포함한다.
도 1a는 광원으로서 적어도 하나의 반도체 발광 디바이스를 포함하는 시스템을 도시한 블록도이다.
도 1b, 1c, 2a, 2b, 및 2c는 예를 들어, 도 1a의 시스템을 사용하여, 장면을 조명하는 방법들을 도시한다.
도 3은 조명될 장면을 도시한다.
도 4는 도 3에 도시된 장면의 3차원(3D) 지도를 도시한다.
도 5는 도 3에 도시된 장면에 대한 플래시 세기 프로필을 도시한다.
도 6은 광원의 한 예의 단면도이다.
도 7은 LED들의 어레이의 상면도이다.
도 8은 도 7의 어레이 내의 하나의 LED의 단면도이다.
도 9는 다음의 도면들에서의 예들에서 조명된 장면을 도시한다.
도 10a, 11a, 12a, 13a, 14a, 및 15a는 도 9에 도시된 장면에 대한 상이한 조도 프로필들을 도시한다.
도 10b, 11b, 12b, 13b, 14b, 및 15b는 도 10a, 11a, 12a, 13a, 14a, 및 15a에 도시된 조도 프로필들을 발생하기 위해 도 7의 어레이 내의 LED들에 인가된 전류의 양을 도시한다.
도 16, 17a, 및 17b는 줌 적용을 위한 조도 프로필들을 발생하기 위해 도 7의 어레이 내의 LED들에 인가된 전류의 양을 도시한다.
도 18a 및 18b는 광각 적용을 위한 조도 프로필을 발생하기 위해 도 7의 어레이 내의 LED들에 인가된 전류의 양을 도시한다.
도 19는 개별 광학계를 갖는 LED들의 어레이의 단면도이다.
도 20은 다수의 LED 어레이들을 갖는 광원을 도시한다.
도 21은 스캔하는, 좁은-빔 광원을 도시한다.
도 22는 매트릭스 제어 요소를 갖는 광원을 도시한다.
도 23은 상이한 색들 또는 색 온도들의 광을 방출하는 발광기들을 갖는 광원을 도시한다.
아래의 설명에서, 본 발명의 실시예들이 카메라 플래시들로서 설명되지만 다른 용도들이 고려되고 본 발명의 범위 내에 있다.
모든 카메라 플래시들이 갖는 한가지 문제는 카메라에 가까운 물체들은 보통 과도 노출되는 반면 카메라로부터 멀리 있는 물체들은 충분한 광을 받지 못한다는 것이다. 본 발명의 실시예들은 예를 들어 휴대용 또는 배터리 전원 디바이스를 위한, 또는 배터리 전원이 아닌 대형의 포토 스튜디오 플래시를 위한, 카메라 플래시와 같은 광원을 포함한다. 본 발명의 실시예들에 따른 광원들은 그들의 조도 프로필들을 장면에 적응시키고 알맞은 양의 광을 장면 상의 모든 물체들에 전달할 수 있다. 본 발명의 실시예들에 따른 적응형 조명 시스템은 반도체 발광 디바이스와 같은 반도체 광원을 포함할 수 있지만, 임의의 적합한 광이 사용될 수 있다.
도 1a는 본 발명의 실시예들에 따른 적응형 조명 시스템(1)의 예를 도시한다. 시스템(1)은 스마트폰, 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 컴퓨터 모니터, 디지털 카메라, 또는 임의의 적합한 디바이스일 수 있다. 시스템(1)은 또한 임의의 적합한 디바이스를 위한 카메라 모듈일 수 있다. 시스템(1)은 구동기(12)에 접속된 광원(10)을 포함한다. 구동기(12)는 아래에 설명되는 바와 같이, 전력을 광원(10)에 공급한다. 광원(10)은 적외선(IR) 발광 다이오드들(LED들)의 하나 이상의 어레이일 수 있다. 구동기(12)는 마이크로프로세서(14)에 접속된다. 마이크로프로세서(14)는 호출들을 하고 수신하기 위해 무선 주파수(RF) 송수신기(13)에 접속될 수 있는, 애플리케이션 프로세서 및 기저대역 프로세서를 포함할 수 있다. 비휘발성 메모리(15)는 얼굴 검출 및 인식 애플리케이션(17)과 같은 애플리케이션들을 저장하고, 마이크로프로세서(14)는 그들을 실행하기 위해 휘발성 메모리(19)에 로드한다. 마이크로프로세서(14)는 입력 디바이스(18) 및 카메라(11)로부터 입력을 수신한다. 시스템(1)은 또한 3D 센서(16)를 포함할 수 있다. 입력 디바이스(18)는 예를 들어, 사용자가 사진을 찍기 위해 누르는 버튼과 같은 사용자 작동 입력 디바이스일 수 있다. 입력 디바이스(18)는 사진이 자동으로 찍히는 경우에서와 같은, 일부 실시예들에서 사용자 입력을 필요로 하지 않을 수 있다. 입력 디바이스(18)는 일부 실시예들에서 생략될 수 있다.
3D 센서(16)는 사진을 찍기 전에, 장면의 3D 프로필을 만들 수 있는 임의의 적합한 센서일 수 있다. 일부 실시예들에서, 3D 센서(16)는 비행 시간(time of flight)(ToF) 카메라일 수 있다. ToF 카메라는 물체들로부터 반사된 광이 ToF 카메라로 다시 이동하는 데 걸리는 시간을 측정한다. 이 시간은 장면 내의 각각의 물체까지의 거리를 계산하기 위해 사용될 수 있다. 일부 실시예들에서, 3D 센서(16)는 구성된 광 센서일 수 있다. 구성된 광 센서는 장면 상의 광의 특별히 설계된 패턴을 투사하는 투사 디바이스를 포함한다. 구성된 광 센서 내에 또한 포함된 카메라는 장면의 물체들로부터 반사된 광 패턴의 각각의 부분의 위치를 측정하고 이들 물체까지의 거리를 삼각측량법에 의해 결정한다. 일부 실시예들에서, 3D 센서(16)는 디바이스의 본체에서 서로로부터 일정 거리에 위치된 보조 카메라 또는 카메라들일 수 있다. 보조 카메라들에 의해 보여진 대로의 물체들의 위치를 비교함으로써, 각각의 물체까지의 거리들이 삼각측량법에 의해 결정될 수 있다. 일부 실시예들에서, 3D 센서(16)는 디바이스 내의 주 카메라의 오토포커스 신호이다. 카메라 렌즈의 포커스 위치를 스캔하는 동안, 시스템은 장면의 부분들이 포커스 내에 있는 그 위치들이 어디인지 검출할 수 있다. 장면의 3D 프로필이 다음에 대응하는 렌즈 위치들을 이들 위치에 대해 포커스 내에 있는 물체까지의 거리로 변환함으로써 구축된다. 적합한 오토포커스 신호가 통상적인 방법들에 의해, 예를 들어 콘트라스트를 측정함으로써 또는 카메라 센서 내의 위상 검출 센서들을 이용함으로써 도출된다. 위상 검출 센서들이 일부 실시예들에서, 적응형 플래시의 최적 기능을 위해 사용될 때, 개별 위상 검출 센서들의 위치들이 아래에 설명되는 바와 같이, 광원(10)의 별개의 세그먼트들에 의해 조명되는 영역들에 대응할 수 있다.
도 1b는 본 개시내용의 일부 실시예들에서 시스템(1)(도 1a)을 사용하는 방법(300B)의 플로우차트이다. 방법(300B)은 비휘발성 메모리(15)로부터의 애플리케이션(17)의 명령어들을 휘발성 메모리(19)에 로드하고 다음에 명령어들을 실행하는 마이크로프로세서(14)에 의해 구현될 수 있다. 방법(300B), 및 여기에 설명되는 임의의 방법은 하나 이상의 블록에 의해 나타내진 하나 이상의 동작, 기능, 또는 액션을 포함할 수 있다. 블록들이 순차적 순서들로 도시되지만, 이들 블록은 또한 병렬로, 및/또는 여기에 설명된 것들 이외의 상이한 순서로 수행될 수 있다. 또한, 다양한 블록들이 원하는 구현에 기초하여 더 적은 수의 블록들로 조합되고, 추가의 블록들로 나누어지고/지거나, 제거될 수 있다. 방법(300B)은 블록 304에서 시작할 수 있다.
블록 304에서, 마이크로프로세서(14)는 카메라(11)가 (카메라의 시야에 대응하는) 장면의 제1 영상을 캡처하게 한다. 블록 304 다음에 블록 306이 이어질 수 있다.
블록 306에서, 마이크로프로세서(14)는 제1 영상으로부터의 장면의 단면에서 얼굴을 검출한다. 마이크로프로세서(14)는 Open Source Computer Vision(OpenCV) 라이브러리 내의 얼굴 검출기와 같은 얼굴 검출 알고리즘을 사용하여, 장면에서 얼굴을 찾을 수 있다. 블록 306 다음에 블록 318이 이어질 수 있다.
블록 318에서, 마이크로프로세서(14)는 IR 광으로 장면의 단면을 선택적으로 조명하기 위해 광원(10)을 작동시킨다. 예를 들어, 마이크로프로세서(14)는 장면(장면의 단면) 내의 얼굴의 위치에 기초하여 광원(10) 내의 IR LED들의 그룹을 선택하고, 구동기(12)가 단지 선택된 IR LED들만을 구동시키게 한다. 블록 318 다음에 블록 320이 이어질 수 있다.
블록 320에서, 마이크로프로세서(14)는 카메라(11)가 블록 318에서 발생된 선택적 IR 조명 하에서 장면의 제2 영상을 캡처하게 한다. 블록 320 다음에 블록 322가 이어질 수 있다.
블록 322에서, 마이크로프로세서(14)는 제2 영상에서 얼굴을 검출한다. 제2 영상 내의 얼굴은 최적 노출을 가질 수 있다. 블록 322 다음에 블록 324가 이어질 수 있다.
블록 324에서, 마이크로프로세서(14)는 제2 영상 내의 얼굴에 기초하여 사람을 식별 또는 검증한다. 마이크로프로세서(14)는 OpenCV 라이브러리 내의 얼굴 인식기와 같은 얼굴 인식 알고리즘을 사용하여, 제2 영상 내의 얼굴에 기초하여 사람을 식별 또는 검증할 수 있다. 방법(300B)은 블록 324에서 종료할 수 있다.
도 1c는 본 개시내용의 일부 실시예들에서 시스템(1)(도 1a)을 사용하는 방법(300C)의 플로우차트이다. 방법(300B)은 방법(300B)(도 1b)의 변형일 수 있다. 방법(300B)은 블록 302에서 시작할 수 있다.
블록 302에서, 마이크로프로세서(14)는 IR 광으로 장면을 균일하게 조명하기 위해 광원(10)을 작동시킨다. 예를 들어, 마이크로프로세서(14)는 구동기(12)가 제1 개별 전류로 광원(10) 내의 IR LED들 각각을 구동시키게 한다. 블록 302 다음에 블록 304가 이어질 수 있다.
블록 304에서, 마이크로프로세서(14)는 카메라(11)가 (카메라의 시야에 대응하는) 장면의 제1 영상을 캡처하게 한다. 블록 304 다음에 블록 306이 이어질 수 있다.
블록 306에서, 마이크로프로세서(14)는 제1 영상으로부터의 장면의 단면에서 얼굴을 검출한다. 블록 306 다음에 블록 318이 이어질 수 있다.
블록 318에서, 마이크로프로세서(14)는 IR 광으로 장면의 단면을 선택적으로 조명하기 위해 광원(10)을 작동시킨다. 예를 들어, 마이크로프로세서(14)는 장면(장면의 단면) 내의 얼굴의 위치에 기초하여 광원(10) 내의 IR LED들의 그룹을 선택하고, 구동기(12)가 제2 개별 전류로 선택된 IR LED들 각각을 구동시키게 한다. 제2 개별 전류는 제1 개별 전류보다 클 수 있고, 광원(10)을 구동시키기 위해 사용되는 제2 개별 전류들의 총합("제2 총 전류")은 광원(10)을 구동시키기 위해 사용되는 제1 개별 전류들의 총합("제1 총 전류")과 동일할 수 있다. 대안적으로, 제2 개별 전류는 제1 개별 전류보다 적을 수 있고, 제2 총 전류는 제1 총 전류보다 적을 수 있다. 블록 318 다음에 블록 320이 이어질 수 있다.
블록 320에서, 마이크로프로세서(14)는 카메라(11)가 블록 318에서 발생된 선택적 IR 조명 하에서 장면의 제2 영상을 캡처하게 한다. 블록 320 다음에 블록 322가 이어질 수 있다.
블록 322에서, 마이크로프로세서(14)는 제2 영상에서 얼굴을 검출한다. 제2 영상 내의 얼굴은 최적 노출을 가질 수 있다. 예를 들어, 장면 내의 얼굴이 제1 영상에서 부족하게 노출될 때, 제2 영상 내의 얼굴은 얼굴을 향해 겨냥된 선택된 IR LED들로부터 보다 많은 IR 광으로 조명되고 총 전류 사용량을 증가시키지 않고 보다 높은 전류들로 구동된다. 또 하나의 예에서, 장면 내의 얼굴이 제1 영상에서 과도하게 노출될 때, 제2 영상 내의 얼굴은 얼굴을 향해 겨냥된 선택된 IR LED들로부터 보다 적은 IR 광으로 조명되고 총 전류 사용량을 감소시키면서 보다 적은 전류들로 구동된다. 블록 322 다음에 블록 324가 이어질 수 있다.
블록 324에서, 마이크로프로세서(14)는 제2 영상 내의 얼굴에 기초하여 사람을 식별 또는 검증한다. 방법(300C)은 블록 324에서 종료할 수 있다.
도 2a는 본 개시내용의 일부 실시예들에서 시스템(1)(도 1a)을 사용하는 방법(200A)의 플로우차트이다. 방법(200A)은 방법(300B)(도 1b)의 변형일 수 있다. 방법(200A)은 블록 202에서 시작할 수 있다.
블록 202에서 예를 들어, 사진을 찍으라고 명령하는 입력이 발생된다. 블록 204에서 카메라(11)는 플래시(광원(10))가 꺼진 상태에서 (카메라의 시야에 대응하는) 장면의 제1 영상을 찍는다. 블록 206에서 얼굴이 제1 영상으로부터의 장면의 단면에서 검출된다. 블록 210에서 광원(10)이 낮은 광 출력 모드(전형적으로 "토치 모드"라고 함)로 켜진다. 이 때 광원(10)의 조도 프로필은 균일하게 유지되는데 여기서 "균일한"은 장면의 모든 부분들이 알려진 조도 프로필로 조명된다는 것을 의미한다. 블록 212에서 광원(10)이 균일한 조도 프로필 및 낮은 휘도로 계속 켜져 있는 동안 중간 영상이 캡처된다. 블록 214에서 얼굴이 중간 영상으로부터의 영상의 단면에서 검출된다. 블록 216A에서 시스템(예를 들어, 마이크로프로세서(14))은 최적 노출을 달성하기 위해 얼굴(또는 전체 장면)의 모든 부분들에 대한 최적 휘도를 계산한다. 이것은 제2 영상 내의 얼굴(또는 장면)의 각각의 화소 휘도 값들로부터 제1 영상 내의 얼굴(또는 장면)의 화소 휘도 값들을 감산하고, 최적 노출 레벨들을 달성하기 위해 그 차이들을 스케일함으로써 이루어질 수 있다. 블록 218에서 광원(10)이 블록 216A에서 계산된 조도 프로필에 따라 작동된다. 블록 220에서, 광원(10)이 블록 216A에서 계산된 조도 프로필에 따라 작동되는 동안 제2 영상이 카메라(11)에 의해 찍힌다. 블록 222에서 얼굴이 제2 영상에서 검출된다. 블록 224에서 제2 영상 내의 얼굴에 기초하여 사람이 식별 또는 검증된다.
도 2b는 본 개시내용의 일부 실시예들에서 시스템(1)(도 1a)을 사용하는 방법(200B)의 플로우차트이다. 방법(200B)은 방법(300B)(도 1b)의 변형일 수 있다. 방법(200B)은 블록 202에서 시작할 수 있다.
블록 202에서, 예를 들어, 사진을 찍으라고 명령하는 입력이 발생된다. 블록 204에서 카메라(11)는 플래시(광원(10))가 꺼진 상태에서 (카메라의 시야에 대응하는) 장면의 제1 영상을 찍는다. 블록 206에서 얼굴이 제1 영상으로부터의 장면의 단면에서 검출된다. 블록 208에서, 얼굴(또는 전체 장면)의 3D 프로필이 발생된다. 예를 들어, 3D 센서(16)는 얼굴(또는 장면)의 3D 프로필을 발생할 수 있고, 또는 3D 센서(16)는 얼굴(또는 장면)에 관한 데이터를 감지하고 이 데이터를 얼굴(또는 장면)의 3D 프로필을 발생할 수 있는 마이크로프로세서(14)에 송신할 수 있다. 블록 216B에서 시스템(예를 들어, 마이크로프로세서(14))은 3D 프로필에 기초하여 최적 노출을 달성하기 위해 얼굴(또는 장면)의 모든 부분들에 대한 최적 휘도를 계산한다. 예를 들어, 마이크로프로세서는 카메라(11)로부터 먼 얼굴(또는 장면)의 부분들에 추가의 IR 조명을 제공하기로 결정할 수 있다. 블록 218에서, 블록 216B에서 수행된 계산에 기초하여, 장면이 광원(10)에 의해 조명된다. 블록 220에서, 광원(10)이 블록 216A에서 계산된 조도 프로필에 따라 작동되는 동안 제2 영상이 카메라(11)에 의해 찍힌다. 블록 222에서 얼굴이 제2 영상에서 검출된다. 블록 224에서 제2 영상 내의 얼굴에 기초하여 사람이 식별 또는 검증된다.
도 2c는 본 개시내용의 일부 실시예들에서 시스템(1)(도 1a)을 사용하는 방법(200C)의 플로우차트이다. 방법(200C)은 방법(300B)(도 1b)의 변형일 수 있다. 방법(200C)은 블록 202에서 시작할 수 있다.
블록 202에서 예를 들어, 사진을 찍으라고 명령하는 입력이 발생된다. 블록 204에서 카메라(11)는 플래시(광원(10))가 꺼진 상태에서 (카메라의 시야에 대응하는) 장면의 제1 영상을 찍는다. 블록 206에서 얼굴이 제1 영상으로부터의 장면의 단면에서 검출된다. 블록 208에서, 얼굴(또는 전체 장면)의 3D 프로필이 발생된다. 블록 210에서, 광원(10)이 낮은 광 출력 모드(전형적으로 "토치 모드"라고 함)로 켜진다. 이 때 광원(10)의 조도 프로필은 균일하게 유지되는데 여기서 "균일한"은 장면의 모든 부분들이 조명된다는 것을 의미한다. 블록 212에서 토치 모드의 광원(10)으로 중간 영상이 캡처된다. 블록 214에서 얼굴이 중간 영상으로부터의 영상의 단면에서 검출된다. 블록 216C에서 시스템(예를 들어, 마이크로프로세서(14))은 도 2a 및 도 2b를 동반하는 텍스트에서 위에 설명된 바와 같이 찍혀진 제1 영상 및 중간 영상의 입력 및 3D 프로필에 기초하여 최적 노출을 달성하기 위해 얼굴(또는 전체 장면)의 모든 부분들에 대한 최적 휘도를 계산한다. 블록 218에서 블록 216B에서 수행된 계산에 기초하여, 장면이 광원(10)에 의해 조명된다. 블록 220에서, 광원(10)이 블록 216A에서 계산된 조도 프로필에 따라 작동되는 동안 제2 영상이 카메라(11)에 의해 찍힌다. 블록 222에서 얼굴이 제2 영상에서 검출된다. 블록 224에서 제2 영상 내의 얼굴에 기초하여 사람이 식별 또는 검증된다.
도 2a, 2b, 및 2c의 각각에서, 사용자 입력은 예를 들어, 사용자가 누르는 버튼과 같은 사용자 입력, 마이크로프로세서(14)에 의해 발생된 입력(예를 들어, 마이크로프로세서(14)가 미리 결정된 시간에, 또는 미리 결정된 간격으로 사진을 찍도록 프로그램되는 경우), 또는 기타 적합한 입력일 수 있다. 도 3은 입력이 발생될 때 사진에서 캡처될 장면을 도시한다. 도 3에 도시된 장면은 전경 내의 첫 번째 사람(30), 및 배경 내의 두 번째 사람(32)을 포함한다. 이 장면은 단지 예시 목적들을 위해 선택된다. 카메라로부터 다양한 거리들에 있는 다수의 물체 또는 사람이 있는 다른 장면들이 또한 본 발명의 사용을 위해 적합하다.
도 4는 도 3에 도시된 장면에 대한 3D 프로필을 도시한다. 도 4에서, 밝은 그림자들은 카메라로부터 짧은 거리에 대응하고, 어두운 그림자들은 카메라로부터 긴 거리에 대응한다. 따라서, 전경 내의 사람(30)은 가장 밝은 그림자를 가지어, 사람(30)이 카메라에 가장 가깝다는 것을 나타낸다. 배경 내의 사람(32)은 가장 어두운 그림자를 가지어, 사람(32)이 카메라로부터 멀다는 것을 나타낸다. 배경은 까맣고, 이는 카메라로부터 가장 먼 거리를 나타낸다.
플래시로부터 멀리 위치한 물체들은 더 높은 광 세기를 수신할 수 있고; 플래시에 보다 가깝게 위치한 물체들은 보다 적은 광을 수신할 수 있다. 널리 공지된 바와 같이, 광의 조도는 거리의 역 제곱 법칙에 따라 감소한다(조도~ 1/거리2). 장면의 3D 프로필로 장면의 어떤 부분들에 분배하도록 요구된 양의 광이 그러므로 계산될 수 있다. 요구된 세기 프로필을 계산하는 알고리즘은 또한 장면 내의 물체들 각각이 주변 광으로부터 수신하는 조도, 제1 영상의 캡처로 수집된 정보를 고려할 수 있고, 그에 따라 플래시 광의 양을 조절할 수 있다. 예를 들어, 이미 잘 조명된 물체들(30)은 예들 들어 그들이 밝은 색상 또는 반사성이기 때문에 더 적은 광을 수신할 수 있고; 그리 잘 조명되지 않은 물체들(32)은 예들 들어 그들이 어둡고 또는 반사성이 아니기 때문에 3D 프로필에 의해 결정된 바와 같이, 광원으로부터의 그들의 거리에 기초하여서만 계산될 수 있는 것보다 더 많은 광을 수신할 수 있다.
디지털 카메라들 및 그들의 영상 프로세서들은 전형적으로 얼굴 인식 알고리즘들을 포함한다. 일부 실시예들에서, 얼굴 인식 알고리즘으로부터의 정보는 다른 물체들과 비교하여 얼굴을 더 양호하게 조명하기 위해 사용될 수 있다. 완전한 사진을 잘 노출하기에 충분한 광이 없으면, 얼굴들은 보다 많은 광을 받는다. 사람이 너무 가깝고 과도 노출의 위험이 있으면, 보다 많은 광이 얼굴로 향하지 않도록 이 특징은 꺼져야 한다. 일부 실시예들에서, 3D 프로필로부터의 상대적 광의 계산은 사진 내의 "적목 현상(red eye)"을 최소화하기 위해 사람의 눈을 향해 보내진 광의 양을 감소시킬 수 있다.
일부 실시예들에서, 3D 프로필로부터의 상대적 광의 계산은 플래시로부터 아주 멀고 적절히 조명될 수 없는 장면(예를 들어, 배경 내의 얼굴들)의 부분들을 식별할 수 있다. 최소 양의 광이 장면(예를 들어, 전경 내의 얼굴들)의 유용한 부분들을 향해 보내지는 광을 양을 최대화하기 위해 장면의 이들 부분에 보내지므로 가용한 구동 전류 능력의 더 양호한 사용을 제공한다.
일부 실시예들에서, 사용자 인터페이스(예를 들어, 스마트폰 상의 터치 화면)는 장면의 각각의 부분에 보내지는 광의 상대적 양을 사용자가 제어하게 할 수 있다. 예를 들어, 사용자는 플래시의 적응적 특징들을 켜고 끌 수 있고, (위에 설명된) 3D 프로필로부터의 상대적 광을 계산하기 위해 사용되는 알고리즘의 다양한 부분들을 켜고 끌 수 있고, 장면 상에 플래시 액센트들을 수동으로 생성할 수 있다.
여러가지 조명 모드들이 본 발명의 실시예들에 의해 고려된다.
일부 실시예들에서, 조명 모드들의 제1 그룹에서, 광원(10)으로부터의 조명이 가장 균일하게 조명된 유용한 사진을 달성하기 위해 장면에 걸쳐 분배된다. 특히, 일부 실시예들에서, 과도 노출이 최소화되고: 전경이 주변 광에 의해 잘 조명되는 경우에, 광원(10)으로부터의 모든 광은 배경으로 향해진다. 일부 실시예들에서, 광원(10)은 플래시 내의 필로서 동작하고: 배경이 주변 광에 의해 잘 조명되는 경우에, 광원(10)으로부터의 모든 광은 전경으로 향해진다. 일부 실시예들에서, 전경과 배경이 주변 조명에 의해 고르게 조명될 때, 광원(10)으로부터의 광은 대부분 배경으로 보내질 수 있다. 일부 실시예들에서, 어두운 배경의 경우에, 광원(10)으로부터의 광은 양호한 사진을 위해 단지 충분한 전경을 조명하고, 광원(10)으로부터의 광의 나머지는 배경으로 보내진다.
일부 실시예들에서, 조명 모드들의 제2 그룹에서, 선택된 물체들이 조명된다. 특히, 일부 실시예들에서, 얼굴 인식과 조합하여, 얼굴들은 최상의 조명을 위해 가장 높게 가중될 수 있다. 일부 실시예들에서, 얼굴 인식과 조합하여, 얼굴(또는 다른 물체들) 주위의 배경은 예를 들어 조명된 얼굴과 얼굴에 가장 가까운 배경 사이의 콘트라스트를 증가시키기 위해, 보다 적은 광을 수신할 수 있다. 일부 실시예들에서, 장면의 선택된 존들이 예를 들어 사용자 입력에 의해 식별될 수 있다. 광원(10)으로부터의 광은 선택된 존 내에서만 향해질 수 있다. 선택된 존들의 예들은 줌-인 영상들, 또는 장면의 다르게 식별된 부분들을 포함한다. 일부 실시예들에서, 예를 들어 명함들의 사진들을 위해, 광원(10)으로부터의 광은 매우 높은 균일성 레벨로 방출될 수 있다.
도 5는 도 4에 도시된 계산에 기초하여 도 3의 장면에 제공되는 광을 도시한다. 도 5에서, 보다 밝은 그림자는 광원(10)으로부터의 보다 많은 광에 대응하고 보다 어두운 그림자는 광원(10)으로부터의 보다 적은 광에 대응한다. 도 5에 도시된 바와 같이, 보다 많은 광이 배경 사람(32)에 대응하는 영역(42)에서 제공되고, 보다 적은 광이 전경 사람(30)에 대응하는 영역(40)에서 제공된다. 여분의 광이 배경 내의 사람의 얼굴(52)에 제공된다. 최소 양의 광이 사람(30)이나 사람(32)이 나타나지 않는 배경에 제공될 수 있다(도시 안됨).
도 6, 7, 및 8은 도 1a에 도시된 시스템(1)에서 사용될 수 있는 광원(10)의 한 예를 도시한다. 임의의 적합한 광원이 사용될 수 있고 본 발명의 실시예들은 도 6, 7, 및 8에 도시된 구조들로 제한되지 않는다.
도 7은 LED들(62)의 정사각형 어레이(60)의 상면도이다. LED들(62)은 백색 LED들, IR LED들, 또는 이들의 조합일 수 있다. LED들(62)은 단일 기판 상에 모놀리식 성장할 수 있다. 대안적으로, LED들(62)은 단일 기판 상에 모놀리식 성장할 필요가 없고, 다이스된 다음에 이웃하는 LED들이 함께 매우 가깝게 있도록 마운트 상에 배열될 수 있다. 일부 실시예들에서, LED들(62) 간의 갭은 개개의 LED(62)의 치수(예를 들어, 폭)의 1/3이다. 3×3 정사각형 어레이가 도시되지만, 임의의 적합한 수의 LED들이 사용될 수 있고, 어레이는 정사각형일 필요는 없고, 그것은 직사각형 또는 임의의 적합한 형상일 수 있다. 개개의 LED들의 크기는 예를 들어, 광학 렌즈가 포함되는 구축 체적, 카메라의 시야 및 어레이 내의 LED들의 수로서 여러가지 설계 파라미터들에 의존할 수 있다. 예를 들어, 어레이는 카메라의 전체 시야(즉, 전체 장면)를 조명하기에 충분한 LED들을 포함하여야 한다. 스마트폰 응용들을 위해, 어레이의 전체 폭은 일부 실시예들에서 2㎜ 이하일 수 있다. 대형 카메라들을 위해, 어레이의 전체 폭은 일부 실시예들에서 10㎜ 이하일 수 있다. 개개의 LED들이 정사각형이지만, 이것은 요구되지 않고; 직사각형 LED들 또는 임의의 적합한 형상의 LED들이 사용될 수 있다.
도 6은 광원(10)의 단면도이다. LED들(62)의 어레이(60)는 어레이(60)로부터 추출된 광의 대부분이 광학계(64)를 향해 방출되도록 배치된다. 도시된 예에서, 광학계(64)는 어레이(60)와 이격된다. 대안적으로, 광학계(64)는 어레이(60)의 상부 상에 배치될 수 있다. 광학계(64)는 광을 시준하고 광을 장면의 적절한 영역으로 향하게 하는 임의의 적합한 구조일 수 있다. 광학계(64)는 예를 들어, 렌즈, 다중 렌즈들, 하나 이상의 프레넬 렌즈, 하나 이상의 굴절 렌즈, 하나 이상의 전반사 렌즈 요소, 하나 이상의 반사기, 하나 이상의 시준기, 또는 기타 적합한 광학계일 수 있다. 아래의 예들에서, 광학계(64)는 프레넬 렌즈이다. 광원(10)은 박스(66)의 형상으로 될 수 있고, 어레이(60)는 박스의 하부 상에 배치되고, 광학계(64)는 박스의 상부를 형성한다. 박스(66)의 내부 측벽들(68), 어레이(60)에 의해 차지되지 않은 하부의 어떤 부분, 및 광학계(64)에 의해 차지되지 않은 상부의 어떤 부분은 광학 설계의 일부이므로, 적절하게 반사성 또는 광 흡수성일 수 있다.
도 8은 도 6 및 7에 도시된 어레이 내의 단일 LED(62)의 한 예의 단면도이다. 임의의 적합한 LED가 사용될 수 있고 본 발명의 실시예들은 도 8에 도시된 구조로 제한되지 않는다. 도 8의 디바이스에서, 광의 대부분은 성장 기판을 통해 LED로부터 추출된다. 이러한 디바이스는 플립 칩 디바이스라고 할 수 있다. 도 8의 LED는 본 기술 분야에 공지된 바와 같이 성장 기판(70) 상에 Ⅲ-질화물(예를 들어, 청색 또는 UV LED들을 위한 갈륨 질화물) 또는 Ⅲ-비소화물(예를 들어, IR LED들을 위한 갈륨 비소화물) 반도체 구조체를 성장함으로써 형성된다. 성장 기판(70)은 보통 사파이어이지만 예를 들어, 비 Ⅲ-질화물 재료인, SiC, Si, GaN, 또는 합성 기판과 같은 임의의 적합한 기판일 수 있다. Ⅲ-질화물 또는 Ⅲ-비소화물 반도체 구조체가 그 위에 성장하는 성장 기판의 표면은 성장 전에 패턴되고, 거칠어지거나, 텍스처화되어, 디바이스로부터의 광 추출을 개선시킬 수 있다. 성장 기판에 대향하는 성장 기판의 표면(즉, 광의 대부분이 플립 칩 구성에서 추출되는 표면)은 성장 후에 패턴되고, 거칠어지거나 텍스처화되어, 디바이스로부터의 광 추출을 개선시킬 수 있다.
반도체 구조체는 n형 영역과 p형 영역 사이에 샌드위치된 발광 또는 활성 영역을 포함한다. n형 영역(72)이 먼저 성장할 수 있고 예를 들어, n형일 수 있거나 또는 의도적으로 도핑되지 않은 버퍼 층들 또는 핵형성 층들과 같은 준비 층들, 및 발광 영역이 광을 효율적으로 방출하기 위해 바람직한 특정한 광학적, 재료적, 또는 전기적 특성들을 위해 설계된 n형 또는 심지어 p형 디바이스 층들을 포함하는, 상이한 조성들 및 도펀트 농도의 다중 층들을 포함할 수 있다. 발광 또는 활성 영역(74)은 n형 영역(72) 위에 성장한다. 적합한 발광 영역들의 예들은 단일의 두껍거나 얇은 발광 층, 또는 장벽 층들에 의해 분리된 다중의 두껍거나 얇은 발광 층들을 포함하는 다중의 퀀텀 웰 발광 영역을 포함한다. p형 영역(76)은 다음에 발광 영역(74) 위에 성장할 수 있다. n형 영역(72)과 유사하게, p형 영역(76)은 의도적으로 도핑되지 않은 층들, 또는 n형 층들을 포함하는, 상이한 조성들 및 도펀트 농도의 다중 층들을 포함할 수 있다.
반도체 구조체의 성장 이후에, 반사 p-접점(78)이 p형 영역(76)의 표면 상에 형성된다. p-접점(78)은 보통 반사 금속 및 반사 금속의 일렉트로마이그레이션을 방지하거나 감소시킬 수 있는 보호 금속과 같은 다중의 도전성 층들을 포함한다. 반사 금속은 보통 은이지만 임의의 적합한 재료 또는 재료들이 사용될 수 있다. p-접점(78)을 형성한 후에, p-접점(78), p형 영역(76), 및 활성 영역(74)의 일부가 n-접점(80)이 형성되는 n형 영역(72)의 부분을 노출시키기 위해 제거된다. 다음에 n-및 p-접점들(80 및 78)은 갭(82)에 의해 서로 전기적으로 분리되고 갭(82)은 실리콘의 산화물 또는 기타 적합한 재료와 같은 유전체로 채워질 수 있다. 다중 n-접촉 비아들이 형성될 수 있고; n-및 p-접점들(80 및 78)은 도 8에 도시된 배열로 제한되지 않는다. n-및 p-접점들은 본 기술 분야에 공지된 바와 같이, 유전체/금속 스택으로 본드 패드들을 형성하기 위해 재분배될 수 있다(도시 안됨).
위에 설명된 바와 같이, 어레이(60) 내의 LED들(62)이 단일 웨이퍼 상에 형성되고, 다음에 단일 성장 기판 부분에 여전히 부착된 어레이 내에 개별 LED들(62)을 갖는 어레이(60)로서 웨이퍼로부터 다이스(dice)될 수 있다. 대안적으로, 많은 LED들(62)이 단일 웨이퍼 상에 형성된 다음에, 웨이퍼로부터 다이스되어, 이미 다이스된 개별 LED들이 어레이(60)를 형성하기 위해 마운트 상에 배치된다.
기판(70)은 반도체 구조체의 성장 후에 또는 개별 디바이스들을 형성한 후에 얇게 될 수 있다. 일부 실시예들에서, 기판이 도 8의 디바이스로부터 제거된다. 도 8의 디바이스로부터 추출된 광의 대부분은 기판(70)(또는 기판(70)을 제거함으로써 노출된 반도체 구조체의 표면)을 통해 추출된다. 본 발명의 실시예들은 플립 칩 LED들로 제한되지 않고 - 임의의 적합한 디바이스가 사용될 수 있다.
파장 변환 구조(84)가 발광 디바이스로부터 추출된 광의 경로 내에 배치된다. 파장 변환 구조는 예를 들어, 통상적인 인광체들, 유기 인광체들, 퀀텀 닷들, 유기 반도체들, Ⅱ-Ⅵ 또는 Ⅲ-Ⅴ 반도체들, Ⅱ-Ⅵ 또는 Ⅲ-Ⅴ 반도체 퀀텀 닷들 또는 나노결정들, 다이들, 중합체들, 또는 발광하는 다른 재료일 수 있는 하나 이상의 파장 변환 재료를 포함한다. 파장 변환 재료는 LED에 의해 방출된 광을 흡수하고 하나 이상의 상이한 파장의 광을 방출한다. LED에 의해 방출된 비변환된 광은 보통 구조로부터 추출된 광의 최종 스펙트럼의 일부이지만, 반드시 그럴 필요는 없다. 구조로부터 추출된 광의 최종 스펙트럼은 백색, 다색, 또는 단색일 수 있다. 공통 조합의 예들은 황색-방출 파장 변환 재료와 조합된 청색-방출 LED, 녹색- 및 적색-방출 파장 변환 재료들과 조합된 청색-방출 LED, 청색- 및 황색-방출 파장 변환 재료들과 조합된 UV-방출 LED, 및 청색-, 녹색-, 및 적색-방출 파장 변환 재료들과 조합된 UV-방출 LED를 포함한다. 다른 색들의 광을 방출하는 파장 변환 재료들이 구조로부터 추출된 광의 스펙트럼을 조정하도록 첨가될 수 있다. 파장 변환 구조(84)는 TiO2와 같은 광 산란 또는 광 확산 요소들을 포함할 수 있다.
일부 실시예들에서, 파장 변환 구조(84)는 LED와 별도로 제조되고, 예를 들어 웨이퍼 본딩 또는 실리콘 또는 에폭시와 같은 적합한 접착제를 통해, LED에 부착된 구조이다. 이러한 사전 제조된 파장 변환 요소의 한 예는 예를 들어, 분말 인광체 또는 인광체의 전구체 재료들을 다음에 개별 파장 변환 요소들로 다이스될 수 있는 세라믹 슬랩으로 소결함으로써 형성된 세라믹 인광체이다. 세라믹 인광체는 또한, 예를 들어 세라믹이 다이싱 또는 컷팅이 필요 없이, 올바른 형상으로 제조되는 테이프 캐스팅에 의해 형성될 수 있다. 적합한 비세라믹 사전 형성된 파장 변환 요소들의 예들은 롤링, 캐스팅되거나, 또는 그렇지 않으면 시트로 형성되는 실리콘 또는 유리와 같은 투명 재료 내에 분산되고, 다음에 개별 파장 변환 요소들로 싱귤레이트되는 분말 인광체들, 실리콘과 같은 투명 재료 내에 분산되고 LED들 또는 개별 LED들의 웨이퍼 위에 적층된 분말 인광체들, 및 실리콘과 혼합되고 투명 기판 상에 배치된 인광체를 포함한다. 파장 변환 요소는 사전 형성될 필요가 없고, 그것은 예를 들어, LED들의 의해 방출된 광의 경로 내에 적층, 디스펜스, 퇴적, 스크린 프린트, 전기영동 퇴적되거나, 또는 그렇지 않으면 배치된 투명한 바인더와 혼합된 파장 변환 재료일 수 있다.
파장 변환 구조(84)는 도 8에 도시된 바와 같이 LED들과 직접 접촉하여 배치될 필요가 없고; 일부 실시예들에서, 파장 변환 구조(84)는 LED들과 이격된다.
파장 변환 구조(84)는 어레이 내의 다중 또는 모든 LED들을 덮는 모놀리식 요소일 수 있거나, 대응하는 LED에 각각 부착된 별개의 세그먼트들로 형성될 수 있다. 파장 변환 구조(84)의 이들 별개의 세그먼트들 간의 갭들은 각각의 세그먼트로부터 이 세그먼트로만 발광을 한정하기 위해 광학적 반사 재료로 채워질 수 있다.
예를 들어, 솔더, 스터드 범프들, 금 층들, 또는 기타 적합한 구조와 같은 상호 접속들(도시 안됨)이 마운트, 인쇄 회로 보드, 또는 기타 적합한 구조와 같은 구조에 어레이(60) 내의 LED들(62)을 전기적으로 및 물리적으로 접속하기 위해 사용될 수 있다. 마운트는 개별 LED들(62)이 도 1a의 구동기(12)에 의해 개별적으로 제어될 수 있도록 구성될 수 있다. 개별 LED들(62)에 의해 방출된 광은 장면의 상이한 부분을 조명한다. 개별 LED들로의 전류를 변화시킴으로써, 장면의 대응하는 부분에 제공된 광이 수정될 수 있다. 위에 설명된 바와 같이 계산된, 장면에 대한 최적 조도 프로필은 각각의 LED(62)에 적절한 레벨의 전류를 제공함으로써 획득될 수 있다.
이동 또는 배터리 전원 디바이스들과 같은 일부 디바이스들에서, 도 1a의 적응형 조명 시스템(1)에 가용한 전류의 최대 양은 디바이스 배터리의 능력들에 의해 자주 제한된다. 모든 LED들(62)로의 구동 전류 레벨들을 정할 때, 시스템(1)은 전형적으로 최대 가용한 전류 예산을 고려하고, 그럼으로써 총 구동 전류가 최대를 초과하지 않고, LED들 간의 세기의 올바른 비율이 유지되고 총 광 출력이 최대화되도록 각각의 LED(62)에 대한 구동 전류 레벨을 정한다.
도 9는 도 10a, 11a, 12a, 13a, 14a, 및 15a에서 아래에 예시된 예들에서 조명될 장면을 도시한다. 각각의 예에 대해 각각의 LED(62)에 제공된 전류의 양이 도 10b, 11b, 12b, 13b, 14b, 및 15b에 도시된다. 도 9에서 파선으로 표시된 얼굴일 수 있는 타깃(88)은 위에 설명된 바와 같이 3D 프로필로부터의 계산에 따라 장면의 나머지보다 많은 광을 필요로 한다. 도 10a, 11a, 12a, 13a, 14a, 및 15a 각각에서, 영역에 제공된 광의 양은 그림자의 어두움이 증가함에 따라 감소한다. 각각의 도면에 도시된 광 분포들은 상대적일 수 있다.
도 10a는 모든 LED들(62)에 도 10b에 도시된 바와 같이, 동일한 양의 전류가 공급될 때 장면이 어떻게 조명되는지를 도시한다. 장면의 중심이 밝게 조명되고, 장면의 외부 에지들은 덜 조명된다. 따라서, 장면의 중심에 가까운 타깃의 부분은 장면의 에지에 가까운 타깃의 부분보다 많이 조명된다.
도 11a는 단지 3개의 LED에만 전류가 공급되고, 이들 3개 각각은 동일한 양의 전류를 수신하고, 다른 6개의 LED는 전류를 수신하지 않을 때 장면이 어떻게 조명되는지를 도시한다. 도 11b에 도시된 바와 같이, 전류가 공급되는 3개의 LED(91, 92, 및 93)는 중심 LED와, 최좌측 열의 2개의 하부 LED이다. 도 11a에 도시된 바와 같이, 타깃에 거의 대응하는 장면의 우측이 장면의 나머지보다 더 밝게 조명된다. 도 11b 내의 LED들(91, 92, 및 93)에 대한 전류 밀도는 모든 LED들에 동일한 전류가 공급되는 10b에 도시된 경우보다 3배 높을 수 있다. 도 11a 내의 타깃의 조도는 도 10a 내의 타깃의 조도보다 약 1.6배 높다.
더 높은 조도를 획득하기 위해, 도 12a, 12b, 13a, 및 13b에 도시한 2개의 예들에서 예시된 바와 같이, 보다 적은 수의 세그먼트들이 온으로 스위치될 수 있다.
도 12a는 단지 2개의 LED에만 전류가 공급되고, 이들 각각은 동일한 양의 전류를 수신하고, 다른 7개의 LED는 전류를 수신하지 않을 때 장면이 어떻게 조명되는지를 도시한다. 전류가 공급되는 2개의 LED(94 및 95)는 도 12b에 도시된 바와 같이, 최좌측 열의 2개의 하부 LED이다. 도 12a에 도시된 바와 같이, 타깃에 거의 대응하는 장면의 우측이 장면의 나머지보다 더 밝게 조명된다. 도 12a 내의 타깃의 조도는 도 11a 내의 타깃의 조도보다 크다.
도 13a는 단지 1개의 LED에만 전류가 공급되고 다른 8개의 LED는 전류를 수신하지 않을 때 장면이 어떻게 조명되는지를 도시한다. 전류가 공급되는 LED(96)는 도 12b에 도시된 바와 같이, 최좌측 열의 중심 LED이다. 도 13a에 도시된 바와 같이, 타깃에 거의 대응하는 장면의 우측이 장면의 나머지보다 더 밝게 조명되지만, 높게 조명되는 지점은 도 12a 및 11a에서보다 작다. 도 13a 내의 타깃의 조도는 도 11a 내의 타깃의 조도보다 크다.
전체 타깃에 걸쳐 조도의 균일성을 개선하기 위해, 상이한 LED들에 공급되는 전류가 도 14a, 14b, 15a, 및 15b에 도시한 2개의 예에서 예시된 바와 같이, 변화될 수 있다.
도 14a는 6개의 LED에 가변 레벨들의 전류가 공급되고 3개의 LED가 전류를 수신하지 않을 때 장면이 어떻게 조명되는지를 도시한다. 좌측 열의 중심 LED(96)에 LED(96)를 둘러싸는 5개의 LED(97, 98, 99, 100, 및 101)보다 5배 많은 전류가 공급된다. 우측 열의 3개의 LED는 도 14b에 도시된 바와 같이, 전류를 수신하지 않는다. 도 14a에 도시된 바와 같이, 타깃에 거의 대응하는 장면의 우측이 장면의 나머지보다 더 밝게 조명된다. 타깃의 조도는 예를 들어, 도 13a에서보다 더 균일하다.
도 15a는 4개의 LED에 가변 레벨들의 전류가 공급되고 5개의 LED가 전류를 수신하지 않을 때 장면이 어떻게 조명되는지를 도시한다. 좌측 열의 중심 LED(102)에 중심 열의 하부 LED(105)보다 4배 많고, 중심 LED(104) 및 좌측 열의 하부 LED(103)보다 2배 많은 전류가 공급된다. 상부 행의 LED들 및 우측 열의 LED들은 도 15b에 도시된 바와 같이, 전류를 수신하지 않는다. 도 15a에 도시된 바와 같이, 타깃에 거의 대응하는 장면의 우측이 장면의 나머지보다 더 밝게 조명된다. 타깃의 조도는 예를 들어, 도 13a에서보다 더 균일하다.
도 16, 17b, 및 18b는 줌 및 광각 적용들을 위해, 도 6 내의 LED들(62)의 어레이(60)에 얼마나 많은 전류가 인가될 수 있는지를 도시한다. 카메라 렌즈를 줌 인하는 명령이 수신될 때, 어레이의 중심에 가까운 LED들은 도 16 및 17b에 도시된 바와 같이, 보다 많은 전류를 수신한다. 도 17a는 LED들에 도 17b에 도시된 바와 같이 가변 레벨들의 전류가 공급될 때 장면이 어떻게 조명되는지를 도시한다.
카메라 렌즈를 줌 아웃하는 명령이 수신될 때, 어레이의 에지에 가까운 LED들은 도 18b에 도시된 바와 같이, 보다 많은 전류를 수신한다. 도 18a는 LED들에 도 18b에 도시된 바와 같이 가변 레벨들의 전류가 공급될 때 장면이 어떻게 조명되는지를 도시한다.
도 16에서, 줌 적용을 위해, 단지 중심 LED(110)에만 전류가 공급되고, 중심 LED를 둘러싸는 8개의 LED는 전류를 수신하지 않는다. 장면의 중심은 밝게 조명될 것이고, 장면의 에지들은 보다 적은 광을 수신할 것이다. 장면의 중심의 조도는 모든 9개의 LED가 동일한 전류를 수신하는 도 10a 내의 장면의 중심보다 2.2배 만큼 증가될 수 있다.
도 17b에서, 줌 적용을 위해, 중심 LED(111)에 LED들(112)보다 2배 많고, LED들(114)보다 4배 많은 전류가 공급된다. 장면의 중심은 장면의 에지들보다 밝게 조명된다. 장면의 중심의 조도는 모든 9개의 LED가 동일한 전류를 수신하는 도 10a 내의 장면의 중심보다 1.15배 만큼 증가될 수 있다.
도 18b에서, 광각 적용을 위해, 어레이의 에지들의 8개의 LED(118)는 동일한 전류를 수신하고, 중심 LED(116)는 전류를 수신하지 않는다. 장면의 중심의 조도는 모든 9개의 LED가 동일한 전류를 수신하는 도 10a 내의 장면의 중심의 조도의 0.85배로 감소될 수 있다.
도 1a의 적응형 조명 시스템(1)은 각각의 타깃에 대응하는 LED들에만 전류를 제공함으로써, 또는 각각의 타깃에 대응하는 LED들에 보다 많은 전류를 제공함으로써, 다수의 타깃들(예를 들어, 얼굴들)을 조명하기 위해 사용될 수 있다. 적응형 조명 시스템(1)은 카메라로부터 먼 요소들에 대응하는 LED들에만 전류를 제공함으로써, 또는 카메라로부터 먼 요소들에 대응하는 LED들에 더 많은 전류를 제공함으로써, 카메라에 가깝고 카메라로부터 먼 요소들을 포함하는 장면의 과도 노출을 감소시키기 위해 사용될 수 있다.
위의 예들에 대해 주어진 조도 값들은 단일 프레넬 렌즈를 갖는 예시된 3×3 어레이에 대해 계산된다. 위의 예들에서의 각각의 LED의 광 출력은 LED의 구동기 전류에 의해, 또는 고정된 전류를 갖는 펄스 기간에 의해 제어될 수 있다.
도 19, 20, 21, 22, 및 23은 대안적인 광원들을 도시한다.
도 19의 광원에서, 어레이 내의 각각의 LED(62)는 도 6에 도시된 바와 같이, 전체 어레이를 위한 단일 광학계라기보다는, 개별 광학계(122)를 갖는다. 각각의 광학계(122)는 그것의 LED로부터의 광을 장면의 특정한 부분으로 향하게 한다. 광학계(122)는 예를 들어, 렌즈들, 돔 렌즈들, 프레넬 렌즈들, 반사기들, 전반사 렌즈들, 또는 기타 적합한 구조를 포함하는 임의의 적합한 광학계일 수 있다. 광학계(122)는 동일할 필요는 없고; 상이한 광학계가 어레이 내의 상이한 LED들(62)을 위해 사용될 수 있다.
도 20의 광원은 다수의 광학 요소들을 갖는 다수의 LED 어레이들을 포함한다. 예를 들어, 도 20은 각각이 단일의 대응하는 프레넬 렌즈를 갖는 2개의 3×3 어레이를 도시한다. 보다 많거나 적은 수의 어레이들이 사용될 수 있고, 어레이들은 도시된 디바이스로 제한되지 않는다. 일부 실시예들에서, 각각의 어레이는 장면의 부분을 조명한다. 도 20 내의 어레이(124)는 장면의 상부(128)를 조명하고, 어레이(126)는 장면의 하부(130)를 조명한다. 일부 실시예들에서, 어레이들은 중첩 부분들에 보다 많은 광을 제공하기 위해 장면의 중첩 부분들을 조명한다. 예를 들어, 어레이들은 에지들보다 더 많은 광을 자주 필요로 하는 장면의 부분일 수 있는, 장면의 중심에서 중첩할 수 있다.
도 21의 광원은 예를 들어, 레이저와 같은 좁은-빔 발광 디바이스를 사용한다. 도 21의 광원은 레이저로부터의 광 경로 내에 배치된 파장 변환 요소(142)를 갖는 레이저(140)를 포함한다. 집속 광학계(144)는 원하는 크기의 광 빔을 생성할 수 있다. 빔은 장면(150)에 입사되기 전에, 제1 스캐닝 미러(146), 및 제2 스캐닝 미러(148)에 입사된다. 스캐닝 미러들은 광 빔이 전체 장면을 스캔하도록 이동될 수 있고, 구동기는 장면의 상이한 부분들이 상이한 양들의 광을 수신할 수 있도록, 광원의 세기를 제어한다. 빔이 보다 높은 세기를 필요로 하는 장면의 부분들을 스캔할 때, 레이저에 공급되는 전류는 증가하고; 빔이 보다 낮은 세기를 필요로 하는 장면의 부분들을 스캔할 때, 레이저에 공급되는 전류는 감소한다.
도 22의 광원은 디지털 마이크로미러 스위칭 디바이스 또는 멀티-세그먼트 액정 디스플레이와 같은, 매트릭스 제어 요소를 포함한다. LED 또는 레이저(152)로부터의 광은 매트릭스 제어 요소(154)를 조명한다. 반사 또는 투과된 광의 세기는 계산된 조도 프로필에 따라 수정된다. 매트릭스 스위칭 요소(154)로부터 반사 또는 투과된 광은 장면(156) 상에 투사된다. 매트릭스 스위칭 요소(154)는 화소들로서 많은 작은 미러들을 가질 수 있다. 각각의 미러의 배향은 각각의 화소에서의 세기를 조정하도록 변화될 수 있다. 미러들의 배향은 또한 상이한 미러들로부터의 빔들을 중첩함으로써, 보다 밝은 영역들을 생성하기 위해 사용될 수 있다.
도 23의 광원은 색 조정가능하다. 도 23의 광원은 그들이 장면(164)을 조명할 때 중첩하는, 각각 빔들(166 및 168)을 방출하도록 배열된 2개의 어레이(160 및 162)를 포함한다. 도 6에 도시된 어레이와 같은 2개의 어레이가 예시되지만, 다른 적합한 발광기들이 사용될 수 있다. 시스템은 상이한 방출 스펙트럼들을 갖는 3개 이상의 어레이를 포함할 수 있다. 어레이들(160 및 162)은 상이한 색들의 광을 방출한다. 예를 들어, 어레이들(160 및 162)은 둘 다 백색 광을 방출할 수 있지만, 어레이(160)는 어레이(162)와 상이한 색 온도를 갖는 백색 광을 방출할 수 있고 - 즉, 어레이(160) 및 어레이(162) 중 하나는 웜 백색 광(warm white light)을 방출한다. 예를 들어, 웜 백색 광을 방출하는 어레이는 1700K 만큼 낮은 색 온도를 갖는 광을 방출할 수 있고, 쿨 백색 광을 방출하는 어레이는 10000K 만큼 높은 색 온도를 갖는 광을 방출할 수 있다. 2개의 어레이 간의 색 온도의 차이는 일부 실시예들에서 적어도 1000K, 일부 실시예들에서 적어도 2000K, 일부 실시예들에서 적어도 3000K, 및 일부 실시예들에서 적어도 4000K일 수 있다. 대안적으로, 어레이들(160 및 162)은 상이한 단색광 색들의 광을 방출할 수 있다. 각각의 어레이 내의 각각의 LED에 공급되는 적절한 전류는 어레이들(160 및 162)로부터의 광의 합이 장면의 각각의 부분에 대해 적절한 조도 및 색 온도를 갖도록 계산된다. 추가의 색들 또는 색 온도들의 광을 방출하는 어레이들(또는 다른 발광기들)이 추가될 수 있다.
일부 실시예들에서, 다수의 스펙트럼들을 방출하는 LED들은 도 6에 도시된 것과 같은 단일 광학계 또는 도 19에 도시된 것과 같은 개별 광학계를 갖는 단일의 인터리브된 어레이 내에 조합될 수 있다. 상이한 색들의 LED들이 그룹들로 배열될 수 있고, 각각의 그룹은 장면의 부분을 조명하고, 각각의 그룹은 각각의 상이한 색의 적어도 하나의 LED를 포함한다.
위에 설명된 색 조정가능한 광원은 상이한 상관된 색 온도(CCT)의 광으로 장면의 상이한 부분들을 조명하기 위해 사용될 수 있다. 예를 들어, 색 조정가능한 광원은 상이한 주변 발광체들의 CCT와 등화하기 위해 사용될 수 있다. 낮은 CCT 주변 광을 갖는 장면의 단면들은 보다 높은 CCT 광으로 조명될 수 있고, 높은 CCT 주변 광을 갖는 장면의 단면들은 보다 낮은 CCT 광으로 조명될 수 있다.
일부 실시예들에서, 광원(10)은 상이한 카메라들에서 사용될 수 있다. 예를 들어, 스마트폰은 다수의 카메라들을 가질 수 있고, 또는 상이한 스마트폰 모델들은 상이한 카메라들을 사용할 수 있다. 카메라들은 각각 특정한 시야를 갖고, 그에 대해 그 카메라를 위한 플래시가 조정된다(예를 들어, 시야의 모서리에서 최소 레벨의 조명을 제공하도록 조정된다). 따라서, 통상적인 플래시를 위해, 각각의 카메라는 그 카메라의 시야로 조정된 별개의 플래시를 필요로 한다. 본 발명의 실시예들에 따른 적응형 조명 시스템으로, 각각의 카메라에 대한 디폴트 전류 분배가 카메라가 선택될 때 정의되어 선택될 수 있으므로, 단일 광원이 다수의 카메라들을 위해 사용될 수 있다. 각각의 카메라에 대한 디폴트가 상기 실시예들에서 설명된 바와 같이, 사진 찍힌 장면에 따라 수정될 수 있다.
위의 예들에서 반도체 발광 디바이스들은 청색 또는 UV 광을 방출하는 Ⅲ-질화물 LED들 및 IR 광을 방출하는 Ⅲ-비소화물 LED들이지만, 다른 Ⅲ-Ⅴ 재료들, Ⅲ-인화물, Ⅱ-Ⅵ 재료들, ZnO, 또는 Si 계 재료들과 같은 다른 재료들 시스템들로 만들어진 레이저 다이오드들 및 반도체 발광 디바이스들과 같은 LED들 이외의 반도체 발광 디바이스들이 사용될 수 있다.
본 발명을 상세히 설명하였지만, 본 기술 분야의 통상의 기술자들은 본 개시내용이 주어지는 경우에, 여기서 설명된 발명 개념의 취지에서 벗어나지 않고서 본 발명에 대해 수정들이 이루어질 수 있다는 것을 알 것이다. 특히, 상이한 예들 또는 실시예들로부터의 상이한 요소들이 조합될 수 있다. 본 발명의 범위는 도시되고 설명된 특정한 실시예들로 제한되는 것으로 의도하지 않는다.

Claims (29)

  1. 방법으로서,
    장면의 제1 영상을 캡처하는 단계;
    상기 제1 영상으로부터의 상기 장면의 단면에서 얼굴을 검출하는 단계;
    적외선(IR) 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 IR 광원을 작동시키는 단계 - 상기 IR 광원은 IR 발광 다이오드(LED)들의 어레이를 포함함 -;
    상기 IR 광원으로부터의 선택적 IR 조명 하에서 상기 장면의 제2 영상을 캡처하는 단계;
    상기 제2 영상에서 상기 얼굴을 검출하는 단계; 및
    상기 제2 영상 내의 상기 얼굴에 기초하여 사람을 식별하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 장면의 제1 영상을 캡처하는 단계 전에, 상기 어레이 내의 상기 IR LED들 각각을 제1 개별 전류로 구동시킴으로써 IR 광으로 상기 장면을 균일하게 조명하기 위해 상기 IR 광원을 작동시키는 단계를 추가로 포함하는 방법.
  3. 제2항에 있어서, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키는 단계는 상기 어레이 내의 IR LED들의 그룹을 선택하고 상기 제1 개별 전류보다 큰 제2 개별 전류로 상기 그룹 내의 상기 IR LED들 각각을 구동시키는 단계를 포함하는 방법.
  4. 제3항에 있어서, 상기 제1 개별 전류들의 합을 포함하는 제1 총 전류와 상기 제2 개별 전류들의 합을 포함하는 제2 총 전류는 동일한 방법.
  5. 제2항에 있어서, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키는 단계는 상기 어레이 내의 IR LED들의 그룹을 선택하고 상기 제1 개별 전류보다 적은 제2 개별 전류로 상기 그룹 내의 상기 IR LED들 각각을 구동시키는 단계를 포함하고, 상기 제1 개별 전류들의 합을 포함하는 제1 총 전류는 상기 제2 개별 전류들의 합을 포함하는 제2 총 전류보다 큰 방법.
  6. 제1항에 있어서, 상기 장면의 제1 영상을 캡처하는 단계는 주변 조명 하에서 발생하는 방법.
  7. 제6항에 있어서, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키는 단계 전에,
    IR 광으로 상기 장면을 균일하게 조명하기 위해 상기 IR 광원을 작동시키는 단계;
    상기 IR 광원으로부터의 균일한 IR 조명 하에서 상기 장면의 중간 영상을 캡처하는 단계;
    상기 중간 영상에서 상기 얼굴을 검출하는 단계; 및
    상기 제1 영상 및 상기 중간 영상 내의 상기 얼굴의 휘도 값들에 기초하여 상기 장면의 단면을 조명할 IR 광의 양을 계산하는 단계
    를 추가로 포함하는 방법.
  8. 제7항에 있어서, 상기 장면의 단면을 조명할 상기 IR 광의 양을 계산하는 단계는 상기 제1 영상과 상기 중간 영상으로부터의 상기 얼굴의 대응하는 휘도 값 사이의 차이에 기초하는 방법.
  9. 제1항에 있어서, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키는 단계 전에,
    상기 얼굴의 3차원 프로필을 생성하는 단계; 및
    상기 제1 영상 및 상기 얼굴의 3차원 프로필에 기초하여 상기 장면의 단면을 조명할 IR 광의 양을 계산하는 단계
    를 추가로 포함하는 방법.
  10. 제1항에 있어서, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키는 단계 전에,
    상기 얼굴의 3차원 프로필을 생성하는 단계;
    IR 광으로 상기 장면을 균일하게 조명하기 위해 상기 IR 광원을 작동시키는 단계;
    상기 IR 광원으로부터의 균일한 IR 조명 하에서 상기 장면의 중간 영상을 캡처하는 단계;
    상기 중간 영상에서 상기 얼굴을 검출하는 단계; 및
    상기 제1 영상 및 상기 중간 영상 내의 상기 얼굴의 휘도 값들 및 상기 얼굴의 3차원 프로필에 기초하여 상기 장면의 단면을 조명할 IR 광의 양을 계산하는 단계
    를 추가로 포함하는 방법.
  11. 제1항에 있어서, 상기 어레이 내의 제1 LED는 상기 어레이 내의 제2 LED에 의해 방출된 IR 광과 상이한 방출 스펙트럼의 IR 광을 방출하는 방법.
  12. 제1항에 있어서, 상기 어레이는 IR LED들의 제1 어레이이고, 상기 IR 광원은 IR LED들의 제2 어레이를 추가로 포함하고, IR LED들의 상기 제1 및 상기 제2 어레이들은 상기 얼굴의 동일한 부분 또는 상이한 부분들을 조명하는 방법.
  13. 제12항에 있어서, 상기 어레이 내의 상기 제1 LED는 상기 어레이 내의 상기 제2 LED에 의해 방출된 IR 광과 상이한 방출 스펙트럼의 IR 광을 방출하는 방법.
  14. 제1항에 있어서, 상기 제2 영상 내의 상기 얼굴에 기초하여 사람을 식별하는 단계는 상기 제2 영상 내의 상기 얼굴을 데이터베이스 내의 얼굴 영상들과 비교하고 일치(match)를 발견하는 단계를 포함하는 방법.
  15. 시스템으로서,
    시야를 갖는 카메라;
    적외선(IR) 발광 다이오드(LED)들의 어레이를 포함하는 IR 광원;
    얼굴 검출 및 인식 애플리케이션을 위한 명령어들을 저장하는 비휘발성 메모리;
    상기 카메라로, 장면의 제1 영상을 캡처하고;
    상기 제1 영상으로부터의 상기 장면의 단면에서 얼굴을 검출하고;
    IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키고 - 상기 IR 광원은 IR 발광 다이오드(LED)들의 어레이를 포함함 -;
    상기 카메라로, 상기 IR 광원으로부터의 선택적 IR 조명 하에서 상기 장면의 제2 영상을 캡처하고;
    상기 제2 영상에서 상기 얼굴을 검출하고;
    상기 제2 영상 내의 상기 얼굴에 기초하여 사람을 식별하기 위한
    명령어들로 인코딩되는 마이크로프로세서
    를 포함하는 시스템.
  16. 제15항에 있어서, 상기 마이크로프로세서는 장면의 상기 제1 영상을 캡처하기 전에, 상기 어레이 내의 상기 IR LED들 각각을 제1 개별 전류로 구동시킴으로써 IR 광으로 상기 장면을 균일하게 조명하기 위해 상기 IR 광원을 작동시키기 위한 명령어들로 추가로 인코딩되는 시스템.
  17. 제16항에 있어서, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키는 것은 상기 어레이 내의 IR LED들의 그룹을 선택하고 상기 제1 개별 전류보다 큰 제2 개별 전류로 상기 그룹 내의 상기 IR LED들 각각을 구동시키는 것을 포함하는 시스템.
  18. 제17항에 있어서, 상기 제1 개별 전류들의 합을 포함하는 제1 총 전류와 상기 제2 개별 전류들의 합을 포함하는 제2 총 전류는 동일한 시스템.
  19. 제16항에 있어서, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 상기 작동시키는 것은 상기 어레이 내의 IR LED들의 그룹을 선택하고 상기 제1 개별 전류보다 적은 제2 개별 전류로 상기 그룹 내의 상기 IR LED들 각각을 구동시키는 것을 포함하고, 상기 제1 개별 전류들의 합을 포함하는 제1 총 전류는 상기 제2 개별 전류들의 합을 포함하는 제2 총 전류보다 큰 시스템.
  20. 제15항에 있어서, 장면의 상기 제1 영상을 상기 캡처하는 것은 주변 조명 하에서 발생하는 시스템.
  21. 제20항에 있어서, 상기 마이크로프로세서는, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키기 전에,
    IR 광으로 상기 장면을 균일하게 조명하기 위해 상기 IR 광원을 작동시키고;
    상기 IR 광원으로부터의 균일한 IR 조명 하에서 상기 장면의 중간 영상을 캡처하고;
    상기 중간 영상에서 상기 얼굴을 검출하고;
    상기 제1 영상 및 상기 중간 영상 내의 상기 얼굴의 휘도 값들에 기초하여 상기 장면의 단면을 조명할 IR 광의 양을 계산하기 위한
    명령어들로 추가로 인코딩되는 시스템.
  22. 제21항에 있어서, 상기 장면의 단면을 조명할 상기 IR 광의 양을 계산하는 것은 상기 제1 영상과 상기 중간 영상으로부터의 상기 얼굴의 대응하는 휘도 값 사이의 차이에 기초하는 시스템.
  23. 제15항에 있어서, 상기 마이크로프로세서는, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키기 전에,
    상기 얼굴의 3차원 프로필을 생성하고;
    상기 제1 영상 및 상기 얼굴의 3차원 프로필에 기초하여 상기 장면의 단면을 조명할 IR 광의 양을 계산하기 위한
    명령어들로 추가로 인코딩되는 시스템.
  24. 제15항에 있어서, 상기 마이크로프로세서는, IR 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 상기 IR 광원을 작동시키기 전에,
    상기 얼굴의 3차원 프로필을 생성하고;
    IR 광으로 상기 장면을 균일하게 조명하기 위해 상기 IR 광원을 작동시키고;
    상기 IR 광원으로부터의 균일한 IR 조명 하에서 상기 장면의 중간 영상을 캡처하고;
    상기 중간 영상에서 상기 얼굴을 검출하고;
    상기 제1 영상 및 상기 중간 영상 내의 상기 얼굴의 휘도 값들 및 상기 얼굴의 3차원 프로필에 기초하여 상기 장면의 단면을 조명할 IR 광의 양을 계산하기 위한
    명령어들로 추가로 인코딩되는 시스템.
  25. 제15항에 있어서, 상기 어레이 내의 제1 LED는 상기 어레이 내의 제2 LED에 의해 방출된 IR 광과 상이한 방출 스펙트럼의 IR 광을 방출하는 시스템.
  26. 제15항에 있어서, IR LED들의 상기 어레이는 IR LED들의 제1 어레이이고, 상기 IR 광원은 IR LED들의 제2 어레이를 추가로 포함하고, IR LED들의 상기 제1 및 상기 제2 어레이들은 상기 얼굴의 동일한 부분 또는 상이한 부분들을 조명하는 시스템.
  27. 제26항에 있어서, 상기 어레이 내의 상기 제1 LED는 상기 어레이 내의 상기 제2 LED에 의해 방출된 IR 광과 상이한 방출 스펙트럼의 IR 광을 방출하는 시스템.
  28. 제15항에 있어서, 상기 제2 영상 내의 상기 얼굴에 기초하여 사람을 식별하는 것은 상기 제2 영상 내의 상기 얼굴을 데이터베이스 내의 얼굴 영상들과 비교하고 일치를 발견하는 것을 포함하는 시스템.
  29. 장면을 선택적으로 조명하기 위해, 마이크로프로세서에 의해 실행가능한 명령어들로 인코딩되는 비일시적, 컴퓨터 판독가능 매체로서, 상기 명령어들은
    장면의 제1 영상을 캡처하고;
    상기 제1 영상으로부터의 상기 장면의 단면에서 얼굴을 검출하고;
    적외선(IR) 광으로 상기 장면의 단면을 선택적으로 조명하기 위해 IR 광원을 작동시키고 - 상기 IR 광원은 IR 발광 다이오드(LED)들의 어레이를 포함함 -;
    상기 IR 광원으로부터의 선택적 IR 조명 하에서 상기 장면의 제2 영상을 캡처하고;
    상기 제2 영상에서 상기 얼굴을 검출하고;
    상기 제2 영상 내의 상기 얼굴에 기초하여 사람을 식별하는
    것을 포함하는 비일시적, 컴퓨터 판독가능 매체.
KR1020180053076A 2016-03-01 2018-05-09 적응형 광원 KR20180123641A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16158004 2016-03-01
US15/591,040 2017-05-09
US15/591,040 US10484616B2 (en) 2015-11-10 2017-05-09 Adaptive light source

Publications (1)

Publication Number Publication Date
KR20180123641A true KR20180123641A (ko) 2018-11-19

Family

ID=55446718

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020187016280A KR102555029B1 (ko) 2015-11-10 2016-11-02 적응형 광원
KR1020227043560A KR20230004905A (ko) 2015-11-10 2016-11-02 적응형 광원
KR1020180053076A KR20180123641A (ko) 2016-03-01 2018-05-09 적응형 광원

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020187016280A KR102555029B1 (ko) 2015-11-10 2016-11-02 적응형 광원
KR1020227043560A KR20230004905A (ko) 2015-11-10 2016-11-02 적응형 광원

Country Status (6)

Country Link
US (7) US10602074B2 (ko)
EP (4) EP3374827A1 (ko)
JP (4) JP6960915B2 (ko)
KR (3) KR102555029B1 (ko)
CN (4) CN113433775B (ko)
WO (1) WO2017080875A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11803104B2 (en) 2015-11-10 2023-10-31 Lumileds Llc Adaptive light source

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016104381A1 (de) * 2016-03-10 2017-09-14 Osram Opto Semiconductors Gmbh Optoelektronische Leuchtvorrichtung, Verfahren zum Beleuchten einer Szene, Kamera sowie mobiles Endgerät
US10222681B2 (en) 2016-11-07 2019-03-05 Limileds LLC Segmented light or optical power emitting device with fully converting wavelength converting material and methods of operation
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックIpマネジメント株式会社 画像認識装置
US10083352B1 (en) * 2017-05-22 2018-09-25 Amazon Technologies, Inc. Presence detection and detection localization
US10684635B2 (en) * 2017-07-14 2020-06-16 Lite-On Electronics (Guangzhou) Limited Illumination system and operating method thereof
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
JP2019046141A (ja) * 2017-09-01 2019-03-22 アルパイン株式会社 運転者監視装置、運転者監視方法、及びプログラム
SE541493C2 (en) * 2017-10-26 2019-10-15 Ivisys Aps System and method for optical inspection of an object
US10321534B1 (en) 2017-11-21 2019-06-11 Lumileds Llc Color error corrected segmented LED array
KR102553496B1 (ko) 2017-11-21 2023-07-10 루미레즈 엘엘씨 컬러 오류 보정된 세그먼트화된 led 어레이
JP7132502B2 (ja) * 2018-03-09 2022-09-07 日亜化学工業株式会社 光源装置
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
EP3871146A4 (en) * 2018-12-10 2021-12-29 Gentex Corporation Scanning apparatus for reducing field of view search space
US11252336B2 (en) * 2019-05-31 2022-02-15 Samsung Electronics Co.. Ltd. Electronic device obtaining skin image and method of controlling the same
CN112313941A (zh) * 2019-09-20 2021-02-02 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序
EP3805979A1 (en) 2019-10-11 2021-04-14 Lumileds Holding B.V. User controlled imaging device
JP7298459B2 (ja) * 2019-12-03 2023-06-27 富士通株式会社 監視システム及び監視方法
US11680696B2 (en) 2019-12-13 2023-06-20 Lumileds Llc Segmented LED arrays with diffusing elements
US11489005B2 (en) 2019-12-13 2022-11-01 Lumileds Llc Segmented LED arrays with diffusing elements
US20210231302A1 (en) * 2020-01-23 2021-07-29 Nichia Corporation Light source device
US11649945B2 (en) 2020-01-23 2023-05-16 Nichia Corporation Light source device
DE102020104522A1 (de) 2020-02-20 2021-08-26 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Strahlungsemittierende vorrichtung und verfahren zur herstellung einer strahlungsemittierenden vorrichtung
US20210358149A1 (en) * 2020-05-18 2021-11-18 Nec Laboratories America, Inc Anti-spoofing 3d face reconstruction using infrared structure light
US11892750B2 (en) 2021-11-15 2024-02-06 Lumileds Llc Multiple LED arrays with non-overlapping segmentation
GB202117026D0 (en) * 2021-11-25 2022-01-12 Ams Int Ag Illumination device
EP4192000B1 (en) * 2021-11-29 2024-04-17 Tata Consultancy Services Limited Method and system for zone-wise adaptive illumination of objects
CN114698182B (zh) * 2022-05-31 2022-08-12 江苏邑文微电子科技有限公司 Uv led面光源光强均匀性的控制方法和系统

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01184879A (ja) * 1988-01-13 1989-07-24 Sunx Ltd 発光ダイオードアレイチップ
CN1627317A (zh) * 2003-12-12 2005-06-15 北京阳光奥森科技有限公司 利用主动光源获取人脸图像的方法
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
JP2005338280A (ja) * 2004-05-25 2005-12-08 Nikon Corp 撮影用照明装置およびカメラ
JP2006010745A (ja) * 2004-06-22 2006-01-12 Sony Corp 照明装置
CN102006346A (zh) * 2004-09-21 2011-04-06 株式会社尼康 投影仪装置
JP4115467B2 (ja) * 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
EP1742462A1 (en) * 2005-07-08 2007-01-10 Koninklijke Philips Electronics N.V. Digital image capturing device with scan type flash
JP4431532B2 (ja) 2005-09-16 2010-03-17 富士フイルム株式会社 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
KR20070081773A (ko) * 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
US7886979B2 (en) * 2006-09-19 2011-02-15 Microscan Systems, Inc. Methods for illuminating barcodes
US20080266438A1 (en) * 2007-04-30 2008-10-30 Henrik Eliasson Digital camera and method of operation
CN101378613B (zh) 2007-08-27 2012-07-04 佶益投资股份有限公司 发光二极管光源以及发光二极管灯体
WO2009064813A1 (en) * 2007-11-12 2009-05-22 Bally Gaming, Inc. Networked gaming system including anonymous player biometric identification and tracking
RU2010128573A (ru) * 2007-12-11 2012-01-20 Конинклейке Филипс Электроникс Н.В. (Nl) Осветительное устройство камеры
JP2009182455A (ja) 2008-01-29 2009-08-13 Duaxes Corp レイヤ2スイッチ装置
JP5069578B2 (ja) 2008-01-29 2012-11-07 パナソニック株式会社 撮像装置
JP2009204734A (ja) * 2008-02-26 2009-09-10 Sharp Corp 配光調整方法、照明装置及び撮像装置
EP2128693A1 (en) * 2008-05-28 2009-12-02 ETH Zurich Spatially Adaptive Photographic Flash Unit
US20100317398A1 (en) * 2009-06-10 2010-12-16 Ola Thorn Camera system and method for flash-based photography
US8553103B1 (en) * 2009-09-30 2013-10-08 Hewlett-Packard Development Company, L.P. Compensation of ambient illumination
JP2011123529A (ja) 2009-12-08 2011-06-23 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
CN101917795A (zh) * 2010-07-06 2010-12-15 上海洪剑智能科技有限公司 一种人脸识别用的调制光补光装置和补光方法
CN201788518U (zh) * 2010-09-04 2011-04-06 东莞市中控电子技术有限公司 具有脸像和虹膜采集功能的识别装置
US8285133B2 (en) * 2010-12-03 2012-10-09 Research In Motion Limited Dynamic lighting control in hybrid camera-projector device
JP2013042099A (ja) 2011-07-15 2013-02-28 Mitsubishi Chemicals Corp 半導体発光装置を搭載するための回路基板、発光モジュール、照明器具、及び照明システム
JP5366028B2 (ja) * 2011-08-25 2013-12-11 株式会社デンソー 顔画像撮像装置
US20130064531A1 (en) * 2011-09-13 2013-03-14 Bruce Harold Pillman Zoom flash with no moving parts
DE112013000590B4 (de) * 2012-01-17 2016-05-04 Leap Motion, Inc. Verbesserter Kontrast zur Objekterfassung und Charakterisierung durch optisches Abbilden
US8831295B2 (en) * 2012-03-21 2014-09-09 Authentec, Inc. Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
JP5979973B2 (ja) * 2012-05-18 2016-08-31 キヤノン株式会社 発光制御装置、その制御方法、および制御プログラム
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
JP6200151B2 (ja) * 2012-12-26 2017-09-20 キヤノン株式会社 撮像装置および調光制御方法
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems
KR102099635B1 (ko) * 2013-04-09 2020-04-13 삼성전자 주식회사 카메라의 가이드 제공 방법 및 그 전자 장치
WO2014169263A2 (en) * 2013-04-11 2014-10-16 Van De Roer Carlo System and method for producing virtual light source movement in motion pictures and other media
JP2014219602A (ja) * 2013-05-09 2014-11-20 オリンパス株式会社 撮影装置
JP2015034850A (ja) * 2013-08-07 2015-02-19 オリンパス株式会社 撮影装置および撮影方法
US9292765B2 (en) * 2014-01-07 2016-03-22 Microsoft Technology Licensing, Llc Mapping glints to light sources
US9330302B2 (en) * 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
JP2016032257A (ja) 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
TWI604320B (zh) 2014-08-01 2017-11-01 緯創資通股份有限公司 巨量資料存取方法以及使用該方法的系統
CN104580886B (zh) * 2014-12-15 2018-10-12 小米科技有限责任公司 拍摄控制方法及装置
US9918073B2 (en) * 2014-12-22 2018-03-13 Google Llc Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
US9674415B2 (en) 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
US20160182891A1 (en) * 2014-12-22 2016-06-23 Google Inc. Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With A Partitioned Field of View
US9894257B2 (en) 2015-05-13 2018-02-13 Apple Inc. Light source module with adjustable diffusion
US10785393B2 (en) * 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
KR101627264B1 (ko) 2015-08-10 2016-06-03 주식회사 홍인터내셔날 복수의 카메라를 구비한 다트 게임 장치 및 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램
US9571748B1 (en) * 2015-10-27 2017-02-14 International Business Machines Corporation Camera flash light direction management
CN113433775B (zh) 2015-11-10 2023-01-17 亮锐控股有限公司 自适应光源

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11803104B2 (en) 2015-11-10 2023-10-31 Lumileds Llc Adaptive light source
US11988943B2 (en) 2015-11-10 2024-05-21 Lumileds Llc Adaptive light source

Also Published As

Publication number Publication date
JP2023144049A (ja) 2023-10-06
US11803104B2 (en) 2023-10-31
US20220094836A1 (en) 2022-03-24
CN108369364B (zh) 2021-07-16
CN108881735B (zh) 2021-11-26
CN113433775A (zh) 2021-09-24
US11223777B2 (en) 2022-01-11
JP7334026B2 (ja) 2023-08-28
US20170249501A1 (en) 2017-08-31
US20200154027A1 (en) 2020-05-14
US20200259987A1 (en) 2020-08-13
US10484616B2 (en) 2019-11-19
JP7341202B2 (ja) 2023-09-08
EP3374827A1 (en) 2018-09-19
EP3401841B1 (en) 2021-10-27
CN108369364A (zh) 2018-08-03
US20180324343A1 (en) 2018-11-08
US20230266639A1 (en) 2023-08-24
US10602074B2 (en) 2020-03-24
EP3964889A1 (en) 2022-03-09
JP2019502294A (ja) 2019-01-24
JP2018191293A (ja) 2018-11-29
EP3401841A1 (en) 2018-11-14
JP2022003832A (ja) 2022-01-11
WO2017080875A1 (en) 2017-05-18
JP6960915B2 (ja) 2021-11-05
US20220046162A1 (en) 2022-02-10
KR102555029B1 (ko) 2023-07-14
EP3885988A1 (en) 2021-09-29
US12025902B2 (en) 2024-07-02
US11184552B2 (en) 2021-11-23
CN108881735A (zh) 2018-11-23
KR20180084865A (ko) 2018-07-25
US11988943B2 (en) 2024-05-21
CN113433775B (zh) 2023-01-17
KR20230004905A (ko) 2023-01-06
CN114070986A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US12025902B2 (en) Adaptive light source
US11988942B2 (en) Driver for an adaptive light source

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination