KR20170042226A - 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스 - Google Patents

멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스 Download PDF

Info

Publication number
KR20170042226A
KR20170042226A KR1020160123315A KR20160123315A KR20170042226A KR 20170042226 A KR20170042226 A KR 20170042226A KR 1020160123315 A KR1020160123315 A KR 1020160123315A KR 20160123315 A KR20160123315 A KR 20160123315A KR 20170042226 A KR20170042226 A KR 20170042226A
Authority
KR
South Korea
Prior art keywords
image
api
rti
infrared
frames
Prior art date
Application number
KR1020160123315A
Other languages
English (en)
Inventor
앤드류 웨이제이에스
데이빗 이
류승오
우대근
Original Assignee
주식회사 듀얼어퍼처인터네셔널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 듀얼어퍼처인터네셔널 filed Critical 주식회사 듀얼어퍼처인터네셔널
Publication of KR20170042226A publication Critical patent/KR20170042226A/ko

Links

Images

Classifications

    • H04N5/332—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H04N5/2256—
    • H04N5/23222—
    • H04N5/235—
    • H04N9/045—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Abstract

애플리케이션 프로그래밍 인터페이스(API)는 멀티-애퍼처 이미징 시스템에 대한 액세스를 제공한다. 상기 API를 이용함으로써, 더 높은 레벨의 애플리케이션들이 액세스할 수 있고, 및/또는, 상기 멀티-애퍼처 이미징 디바이스에 의해 상기 이미지 캡처를 규정할 수 있다. 예를 들어, 상기 API는 다양한 이미지 캡처 파라미터들-해상도, 프레임 레이트, 노출, 플래시, 필터링 및 적용될 추가적인 처리-의 사양을 지원할 수 있다. 이것들은 모든 프레임들 및 모든 채널들(Red, Green, Blue 및 적외선)에 대해 규정되거나, 프레임 내 구체적인 서브프레임들 및/또는 구체적인 채널들에 대하여 규정될 수 있다. 상기 API는 멀티-애퍼처 이미징 디바이스로부터 출력 데이터 역시 규정할 수 있다. 이것은 로(raw) 픽셀 데이터, 이미지 데이터(컬러 및 적외선), 깊이 맵들 및 다른 처리된 이미지 데이터를 포함할 수 있다. 그것은 메타데이터 및 상기 멀티-애퍼처 이미징 디바이스의 상태에 관한 데이터를 역시 포함할 수 있다.

Description

멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스{APPLICATION PROGRAMMING INTERFACE FOR MULTI-APERTURE IMAGING SYSTEMS}
본 발명은 예컨대, 듀얼-애퍼처 카메라들과 같은 멀티-애퍼처 이미징 시스템의 제어에 관한 것이다.
듀얼-애퍼처 카메라는 두 개의 애퍼처들을 갖는다. 좁은 애퍼처는, 일반적으로 적외선(IR)과 같이 하나의 스펙트럼 범위(spectral range)에서, 포커스의 긴 깊이를 통하여 상대적으로 선명한 이미지들을 생성한다. 넓은 애퍼처는, RGB와 같이 다른 스펙트럼 범위에서, 객체들의 아웃포커스로 때로는 흐린 이미지들을 생성한다. 상기 두 개의 다른 애퍼처들을 이용하여 캡처된 이미지들의 쌍은 예컨대, 본원에서 참고로 인용된 미국 특허 출원번호 13/579,568에 설명된 오브젝트의 거리 정보를 생성하는 것과 같이 다른 목적들을 위해 처리될 수 있다.
그러나, 캡처될 상기 이미지들은 원하는 최종 결과에 따라 달라질 수 있다. 특정 이미지 캡처 조건은 애플리케이션에 따라 선호될 수 있다. 만약, 상기 이미징 시스템이 어떤 처리를 수행하면, 처리의 특정 타입 및 어마운트 역시 상기 애플리케이션에 따라 선호될 수 있다. 다른 애플리케이션들은 다른 요구사항들을 가질 수 있기 때문에, 편리한 방식으로 상기 이미지 캡처 및 처리를 제어하는 것이 유용할 것이다.
본 발명은 멀티-애퍼처 이미징 시스템에 애플리케이션 프로그래밍 인터페이스(API)를 제공함으로써, 종래 기술의 한계를 극복한다. 상기 API를 이용함으로써, 더 높은 레벨의 애플리케이션들이 액세스할 수 있고, 및/또는, 상기 멀티-애퍼처 이미징 디바이스에 의해 상기 이미지 캡처를 규정(specify)할 수 있다. 예를 들어, 상기 API는 다양한 이미지 캡처 파라미터들-해상도, 프레임 레이트, 노출, 플래시, 필터링 및 적용될 추가적인 처리-의 사양을 지원할 수 있다. 이것들은 모든 프레임들 및 모든 채널들(Red, Green, Blue 및 적외선)에 대해 규정되거나, 프레임 내 구체적인 서브프레임들 및/또는 구체적인 채널들에 대해 규정될 수 있다.
상기 API는 상기 멀티-애퍼처 이미징 디바이스로부터 출력 데이터 역시 규정할 수 있다. 이것은 로(raw) 픽셀 데이터, 이미지 데이터(컬러 및 적외선), 깊이 맵들 및 다른 처리된 이미지 데이터를 포함할 수 있다. 그것은 메타데이터 및 상기 멀티-애퍼처 이미징 디바이스의 상태에 관한 데이터를 역시 포함할 수 있다. IR 이미지들의 유용성 및 깊이 정보는 컬러 이미지들만 이용될 때에 비해 추가적인 처리를 용이하게 한다. 예를 들어, 깊이 정보는 오브젝트 추적 및/또는 3D 압축(예컨대, 깊이 변화들을 차지하는 압축)을 용이하게 하기 위해 이용될 수 있다. 상기 API는 다른 디바이스들에 의해 추가적인 처리를 용이하게 하기 위해, 점상 강도 분포 함수(point spread function)들의 출력 역시 규정할 수 있다.
다른 측면들은 구성요소들, 디바이스들, 시스템들, 개량, 방법들, 처리들, 애플리케이션들, 컴퓨터 기록 매체들 및 상기와 관련된 다른 기술을 포함한다.
본 발명의 실시예들은 첨부 도면을 참조하여 다음의 설명 및 청구 범위로부터 더욱 명백해질 수 있는 다른 이점들 및 특징들을 갖는다.
도 1은 본 발명의 일실시예에 따른 공유 센서 이미징 시스템인, 멀티-애퍼처의 블록 다이어그램이다.
도 2a는 디지털 카메라의 스펙트럼 응답들(spectral responses)을 나타낸 그래프이다.
도 2b는 실리콘의 스펙트럼 감도를 나타낸 그래프이다.
도 3a-3c는 본 발명의 일실시예에 따른 멀티-애퍼처 이미징 시스템의 동작을 도시한다.
도 4는 본 발명의 일실시예에 따른 멀티-애퍼처 이미지 시스템에 대한 데이터 플로우의 블록 다이어그램이다.
도 5a-5b는 멀티-애퍼처 이미징 시스템에서 이용되는 API를 나타내는 블록 다이어그램들이다.
도 6은 프레임 내 서브프레임들을 나타낸 다이어그램이다.
도면들은 단지 예시의 목적을 위하여 다양한 실시예들을 나타낸다. 당업자는 다음의 설명으로부터 본 명세서에 나타낸 상기 구조들 및 방법들의 다른 실시예들이 본 명세서에서 설명된 원리로부터 벗어나지 않고 이용될(employed) 수 있는 것을 쉽게 인식할 것이다.
도면들 및 아래의 설명은 단지 바람직한 실시예들에 관한 예시이다. 본 명세서에서 설명된 상기 구조들 및 방법들의 다른 실시예들은 설명된 원리로부터 벗어나지 않고 이용될(employed) 수 있는 가능한 대안으로 쉽게 인식될 수 있음을 주목해야 한다.
도 1은 본 발명의 일실시예에 따른 공유 센서 이미징 시스템 100인, 멀티-애퍼처의 블록 다이어그램이다. 상기 이미징 시스템은 디지털 카메라의 일부이거나, 모바일 폰, 웹캡, 생체 인식 센서, 이미지 스캐너 또는 이미지-캡처 기능을 필요로 하는 다른 멀티미디어 디바이스에 집적될 수 있다. 도 1에 도시된 상기 시스템은 이미징 광학계 110(예컨대, 렌즈 및/또는 미러 시스템), 멀티-애퍼처 시스템 120 및 이미지 센서 130를 포함한다. 상기 이미징 광학계 110은 신(scene)으로부터 오브젝트들 150을 상기 이미지 센서 130로 이미지화한다. 도 1에서, 상기 오브젝트 150은 상기 대응하는 이미지 160이 상기 이미지 센서 130의 평면에 위치하도록 포커스에 있다. 후술하는 바와 같이, 항상 그렇지는 않을 것이다. 다른 깊이들에 위치하는 오브젝트들은 상기 이미지 센서 130에 포커스가 맞지 않을 것이다.
상기 멀티-애퍼처 시스템 120은 애퍼처들 122 및 124와 같이 도 1에서 보여지듯이, 적어도 두 개의 애퍼처들을 포함한다. 이 예시에서, 애퍼처 122는 가시 광의 전파를 제한하는 애퍼처이고, 애퍼처 124는 적외선 또는 다른 비-가시 광의 전파를 제한한다. 이 예시에서, 상기 두 개의 애퍼처들 122, 124는 함께 배치되어 있지만 그들은 또한 분리될 수도 있다. 멀티-애퍼처 시스템 120의 이 타입은 파장 필터들과 같은 파장-선택적 광학 구성요소들에 의해 구현될 수 있다. 본 명세서에서 이용되는, "광", "광학계" 및 "광학"과 같은 용어들은 전자기 스펙트럼의 가시 파트로 제한되도록 의도되지 않으며, 가시 보다 짧은 파장들(예컨대, 자외선) 및 가시 보다 긴 파장들(예컨대, 적외선)을 포함하는, 이미징이 발생할 수 있는 상기 전자기 스펙트럼의 다른 파트들을 또한 포함한다.
상기 이미지 센서 130는 애퍼처 122에 대응하는 상기 가시 이미지 및 애퍼처 124에 대응하는 상기 적외선 이미지 모두를 감지한다. 사실상, 싱글 센서 어레이 130를 공유하는 두 개의 이미징 시스템들이 있다: 광학계 110, 애퍼처 122 및 이미지 센서 130를 이용하는 가시 이미징 시스템; 및 광학계 110, 애퍼처 124 및 이미지 센서 130를 이용하는 적외선 이미징 시스템. 이 예시에서, 상기 이미징 광학계 110은 상기 두 개의 이미징 시스템들에 의해 충분히 공유되지만, 이것은 필요하지 않다. 게다가, 상기 두 개의 이미징 시스템들은 가시 및 적외선일 필요가 없다. 그것들은 다른 스펙트럼 조합들(spectral combinations)일 수 있다: 예를 들면, 레드 및 그린 또는 적외선 및 화이트(예컨대, 컬러를 제외한 가시).
전자기 복사(electromagnetic radiation)에 대한 상기 이미지 센서 130의 노출은 전형적으로 셔터 170 및 상기 멀티-애퍼처 시스템 120의 상기 애퍼처들에 의해 제어된다. 상기 셔터 170이 개방될 때, 상기 애퍼처 시스템은 상기 광의 양 및 상기 이미지 센서 130에 노출하는 상기 광의 콜리미네이션의 정도를 제어한다. 상기 셔터 170은 기계식 셔터이거나, 그렇지 않으면, 상기 이미지 센서에 집적되는 전자 셔터일 수 있다. 상기 이미지 센서 130은 전형적으로 이차원 픽셀 어레이를 형성하는 감광성(photosensitive) 사이트들(픽셀들)의 로우들(rows) 및 컬럼들(columns)을 포함한다. 상기 이미지 센서는 CMOS(complimentary metal oxide semiconductor) 액티브 픽셀 센서 또는 CCD(charge coupled device) 이미지 센서일 수 있다. 대안으로, 상기 이미지 센서는 다른 Si(예컨대, a-Si), III-V(예컨대, GaAs) 또는 도전성 폴리머 기반의 이미지 센서 구조들과 관련될 수 있다.
상기 광이 상기 이미지 광학계 110에 의해 상기 이미지 센서 130으로 투영되는 경우, 각 픽셀은 그 픽셀에 전자기 복사(에너지) 입사(incident)를 나타내는 전기 신호를 생산한다. 상기 이미지 센서의 상기 이미징 평면으로 투영되는 이미지의 컬러 정보를 획득하고, 상기 컬러 구성요소들을 분리하기 위하여, 전형적으로 컬러 필터 어레이 132는 상기 이미징 광학계 110 및 상기 이미지 센서 130 사이에 개재된다. 상기 컬러 필터 어레이 132는 상기 이미지 센서의 각 픽셀이 대응하는 픽셀 필터를 갖도록 상기 이미지 센서 130에 집적될 수 있다. 각 컬러 필터는 상기 픽셀 상에 미리 결정된 컬러 밴드의 광을 투과하도록 조정될 수 있다. 일반적으로 레드, 그린 및 블루(RGB) 필터들의 조합이 이용된다. 그러나 다른 필터 방식들 또한 가능하다, 예컨대, CYGM(사이언, 옐로우, 그린, 마젠타), RGBE(레드, 그린, 블루, 에메랄드), 등. 대안으로, 상기 이미지 센서는 레드, 그린 및 블루 센서 엘리먼트들이 개별적인 픽셀 필터들에 의존하는 대신에 각각의 상부에 적층되는 적층된 디자인(stacked design)을 가질 수 있다.
상기 노출된 이미지 센서 130의 각 픽셀은 상기 픽셀과 연관된 상기 컬러 필터 132를 통하여 투과되는 상기 전자기 복사에 비례하는 전기 신호를 생산한다. 상기 픽셀들의 어레이는 따라서 상기 컬러 필터 어레이 132를 통하여 투과되는 상기 전자기 에너지(복사)의 상기 공간 분포를 나타내는 이미지 데이터(프레임)을 생성한다. 상기 픽셀들로부터 수신되는 상기 신호들은 하나 또는 그 이상의 온-칩 앰프들을 이용하여 증폭될 수 있다. 일실시예에서, 상기 이미지 센서의 각 컬러 채널은 별도의 앰프를 이용하여 증폭됨으로써, 다른 컬러들에 대해 개별적으로 ISO 속도를 제어하도록 허용한다.
또한(further), 픽셀 신호들은 상기 이미지 센서 130의 상기 칩 상에 집적되는 하나 또는 그 이상의 아날로그 투 디지털(A/D) 컨버터들 140을 이용하여, 디지털 포맷의 워드들로 샘플링되고, 양자화되며, 변환될 수 있다. 상기 디지털화된 이미지 데이터는 보간, 필터링, 화이트 밸런스, 휘도 보정, 및/또는 데이터 압축 기술(예컨대, MPEG 또는 JPEG 타입 기술)과 같은 알려진 신호 처리 기능들을 수행하도록 구성되는, 상기 이미지 센서에 연결된 디지털 신호 프로세서(DSP)와 같은 프로세서 180에 의해 처리된다.
상기 프로세서 180은 상기 멀티-애퍼처 이미징 시스템에 의해 캡처된 이미지와 관련된 깊이 정보를 획득하기 위한 신호 처리 기능들 184을 포함할 수 있다. 이러한 신호 처리 기능들은 포커스의 가변 깊이, 포커스 제어 및 스테레오스코픽 3D 이미지 뷰잉 기능들을 포함하는 확장된 이미징 기능을 갖춘 멀티-애퍼처 이미징 시스템을 제공할 수 있다. 이러한 신호 처리 기능들과 연관된 세무사항들 및 이점들은 이하에서 보다 상세하게 설명된다.
상기 프로세서 180은 또한 추가적인 프로세서들, 캡처된 이미지들을 저장하기 위한 스토리지 메모리 및 소프트웨어 프로그램들을 저장하기 위한 프로그램 메모리와 같은 추가적인 컴퓨팅 리소스들에 결합될 수 있다. 컨트롤러 190은 또한 이미징 시스템 100의 구성요소들의 동작을 조정하고 제어하기 위해 이용될 수 있다. 상기 프로세서 180에 의해 수행되는 것으로 설명된 기능들은 대신에 상기 프로세서 180, 상기 컨트롤러 190 및 추가적인 컴퓨팅 리소스들 사이에 할당될 수 있다.
상술한 바와 같이, 상기 이미징 시스템 100의 상기 감도는 적외선 이미징 기능을 이용하여 확장된다. 이를 위해, 상기 이미징 광학계 110은 가시 광 및 적외선 광 또는 상기 이미징 시스템에 유입되는 상기 적외선 스펙트럼의 적어도 일부 모두를 허용하도록 구성될 수 있다. 상기 이미징 광학계 110의 유입 애퍼처(entrance aperture)에 위치하는 필터들은 상기 이미징 시스템에 유입되는 상기 적외선 스펙트럼의 적어도 일부를 허용하도록 구성된다. 특히, 이미징 시스템 100은 카메라로 유입되는 적외선 광을 블로킹하기 위하여 종래의 컬러 이미징 카메라들에서 이용되는, 일반적으로 핫-미러 필터들이라고 언급되는, 적외선 블로킹 필터들을 전형적으로 이용하지 않는다. 따라서, 상기 멀티-애퍼처 이미징 시스템으로 유입되는 상기 광은 가시 광 및 적외선 광 모두를 포함함으로써, 상기 적외선 스펙트럼에 대한 상기 이미지 센서의 포토-반응의 확장을 허용한다. 상기 멀티-애퍼처 이미징 시스템이 가시 및 적외선 이외의 스펙트럼 조합들에 기반하는 경우, 대응하는 파장 필터들이 이용될 수 있다.
도 2a 및 2b는 디지털 카메라의 상기 스펙트럼 응답들을 보여주는 그래프이다. 도 2a에서, 커브 202는 적외선 블로킹 필터(핫 미러 필터)가 없는 디지털 카메라의 전형적인 컬러 응답을 나타낸다. 보여지는 바와 같이, 어떤 적외선 광은 상기 컬러 픽셀 필터들을 투과한다. 도 2a는 종래의 블루 픽셀 필터 204, 그린 픽셀 필터 206 및 레드 픽셀 필터 208의 상기 포토-응답들을 보여준다. 상기 컬러 필터 필터들은, 특히 상기 레드 픽셀 필터, 상기 픽셀 신호의 일부가 상기 적외선에 기인할 수 있도록 적외선 광을 투과할 수 있다. 도 2b는 실리콘(예컨대, 디지털 카메라들에서 이용되는 이미지 센서의 상기 주요 반도체 구성요소)의 상기 응답 220을 도시한다. 적외선 복사에 대한 실리콘 이미지 센서의 상기 감도는 가시 광에 대한 감도보다 약 네 배 높다.
도 2a 및 2b에 나타내는 바와 같은 상기 이미지 센서에 의해 제공되는 상기 스펙트럼 감도를 활용하기 위해, 도 1의 상기 이미징 시스템에서 상기 이미지 센서 130은 종래의 이미지 센서일 수 있다. 종래의 RGB 센서에서, 상기 적외선 광은 상기 레드 픽셀들에 의해 주로 센싱된다. 그 경우, 상기 DSP 180은 상기 낮은-노이즈 적외선 정보를 추출하기 위하여 상기 레드 픽셀 신호들을 처리할 수 있다. 이 처리 과정에 대하여 아래에서 상세히 설명한다. 대안으로, 상기 이미지 센서는 특별히 상기 적외선 스펙트럼의 적어도 일부를 이미징하기 위하여 구성될 수 있다. 상기 이미지 센서는 예를 들어, 상기 컬러 픽셀들 이외에 하나 또는 그 이상의 적외선(I) 픽셀들을 포함함으로써, 상기 이미지 센서가 RGB 컬러 이미지 및 상대적으로 낮은-노이즈 적외선 이미지를 생산하도록 허용한다.
적외선 픽셀은 실질적으로 가시 광을 블록킹하고, 바람직하게 약 700 내지 1100 nm 범위 내 적외선 광을 투과하는 필터 물질로 픽셀을 커버링함으로써 실현될 수 있다. 상기 적외선 투과 픽셀 필터(infrared transmissive pixel filter)는 예를 들어, 상표 "DARC 400"로 브루어 사이언스에 의해 판매되는 블랙 폴리이미드 물질과 같이, 상기 스펙트럼의 상기 적외선 밴드에서 파장들에 대해 높은 투과율을 갖는 널리 알려진 필터 물질들을 이용함으로써 실현될 수 있고, 적외선/컬러 필터 어레이(ICFA)에 제공될 수 있다.
이러한 필터들은 본원에 참고로 인용된 US2009/0159799, "이미지들을 캡처하는 컬러 적외선 광 센서, 카메라 및 방법"에 보다 상세히 설명된다. 하나의 디자인에서, ICFA는 예컨대, 각 블록이 레드, 그린 블루 및 적외선 픽셀로 구성되는, 2*2 픽셀들의 블록과 같이, 픽셀들의 블록들을 포함한다. 이와 같은 ICFA 이미지 센서가 노출되면, RGB 컬러 정보 및 적외선 정보 모두를 포함하는 로(raw) 모자이크 이미지를 생산한다. 상기 로(raw) 모자이크 이미지를 처리한 후, RGB 컬러 이미지 및 적외선 이미지는 획득될 수 있다. 적외선 광에 대한 이와 같은 ICFA 이미지 센서의 감도는 블록에서 적외선 픽셀들의 개수를 증가시킴으로써, 증가될 수 있다. 하나의 구성(미도시)에서, 상기 이미지 센서 필터 어레이는 네 개의 컬러 픽셀들(RGGB) 및 열두 개의 적외선 픽셀들인 열여섯 개의 픽셀들의 블록들을 이용한다.
ICFA 이미지 센서(개별 센서 픽셀들에 대해 컬러 필터들을 이용하여 구현되는 컬러 픽셀들) 대신에, 다른 접근 방법에서, 상기 이미지 센서 130은 각각의 포토-사이트가 적층된 포토다이오드들 몇몇을 포함하는 구조를 이용할 수 있다. 바람직하게는, 상기 적층(stack)은 각각 상기 기본 컬러들 RGB 및 적외선에 반응하는 네 개의 적층된 포토다이오드들을 포함한다. 이러한 적층된 포토다이오드들은 상기 이미지 센서의 상기 실리콘 기판 상에 집적될 수 있다.
상기 멀티-애퍼처 시스템은, 예컨대, 멀티-애퍼처 다이어프램(diaphragm), DOF(the depth of field) 또는 상기 카메라의 다른 깊이 측면들을 개선하기 위하여 이용될 수 있다. 상기 DOF는 상기 이미지가 캡처될 때, 포커스에 있는 상기 카메라로부터의 거리들의 상기 범위를 결정한다. 이 범위 내의 상기 오브젝트는 샤프하게 받아들여진다. 적당히 큰 거리들 및 주어진 이미지 포맷에 대해, DOF는 상기 이미징 광학계 N의 상기 포컬 길이, 상기 렌즈 오프닝(상기 애퍼처)과 연관된 f-넘버, 및/또는 상기 오브젝트 투 카메라(object-to-camera) 거리 s에 의해 결정된다. 상기 넓은 애퍼처(광이 더 수신됨)는 상기 DOF를 더 제한했다. 멀티-애퍼처 이미징 시스템의 DOF 측면들은 도 4에 나타난다.
도 3b를 첫 번째로 고려하면, 상기 이미지 센서 330 상에 오브젝트 150의 상기 이미징을 보여준다. 가시 및 적외선 광은 상기 멀티-애퍼처 시스템 320을 통하여 상기 이미징 시스템으로 유입될 수 있다. 일실시예에서, 상기 멀티-애퍼처 시스템 320은 필터에 코팅된 투명 기판일 수 있다. 필터 코팅 324는 직경 D1의 중심 원형 구멍을 가질 수 있다. 상기 필터 코팅 324는 가시 광을 투과하고, 적외선 광을 반사 및/또는 흡수한다. 불투명 커버 322는 직경 D2를 갖는 큰 원형 오프닝을 갖는다. 상기 커버 322는 가시 또는 적외선 광을 투과하지 않는다. 그것은 적외선 및 가시 광을 반사하거나, 대안으로, 상기 광학 시스템에서 상기 기판에 위치하고, 홀딩하는 불투명 홀더의 일부인 얇은-필름 코팅일 수 있다. 이런 식으로, 상기 멀티-애퍼처 시스템 320은 적외선 광에 대한 작은 직경 D1의 원형 애퍼처 및 가시 광에 대한 직경 D2의 원형 애퍼처로서 역할을 한다. 상기 가시 광 시스템은 상기 적외선 광 시스템보다 큰 애퍼처 및 빠른 f-넘버를 갖는다. 상기 애퍼처 시스템을 투과하는 가시 및 적외선 광은 상기 이미지 센서 330 상에 상기 이미징 광학계 310에 의해 투영된다.
상기 이미지 센서의 상기 픽셀들은 이와 같이 적외선 광에 대한 제2 좁은-애퍼처 광학 이미지 신호 354B를 오버레이하면서, 가시 광에 대한 넓은-애퍼처 광학 이미지 신호 352B를 수신할 수 있다. 상기 넓은-애퍼처 가시 이미지 신호 352B는 짧은 DOF를 갖는 반면, 상기 좁은-애퍼처 적외선 이미지 신호 354는 긴 DOF를 가질 수 있다. 도 3b에서, 상기 오브젝트 150B는 상기 해당 이미지 160B가 상기 이미지 센서 330에서 포커스에 있도록 포커스 N의 상기 평면에 위치한다.
상기 렌즈의 포커스 N의 상기 평면에 가까운 오브젝트들 150은 상대적으로 작은 디포커스 블러를 갖는 상기 이미지 센서 평면 330 상에 투영된다. 포커스 N의 상기 평면으로부터 먼 오브젝트들은 상기 이미지 센서 330의 앞 또는 뒤의 이미지 평면들 상에 투영된다. 따라서, 상기 이미지 센서 330에 의해 캡처되는 상기 이미지는 흐릿하다. 상기 가시 광 352B가 상기 적외선 광 354B보다 빠른 f-넘버를 갖기 때문에, 상기 가시 이미지는 상기 오브젝트 150이 포커스 N의 상기 평면으로부터 멀어지는 것과 같이, 상기 적외선 이미지보다 더 빠르게 블러될 것이다. 이것은 도 3a 및 3c와 각 도면의 오른쪽에 있는 블러 다이어그램들에 의해 보여진다.
도 3b의 대부분은 오브젝트 150B로부터 상기 이미지 센서 330으로의 광선들의 상기 전파를 보여준다. 도 3b의 상기 오른쪽 부분(side)은 또한 상기 오브젝트의 온-액시스 포인트(on-axis point) 152로부터 가시 광 및 적외선 광의 이미징으로부터 야기되는 상기 블러들을 보여주는 블러 다이어그램 335를 포함한다. 도 3b에서, 상기 온-액시스 포인트 152는 상대적으로 작은 가시 블러 332B를 생산하고, 역시(also) 상대적으로 작은 적외선 블러 334B를 또한 생산한다. 즉, 도 3b에서, 상기 오브젝트가 포커스에 있기 때문이다.
도 3a 및 3c는 디포커스의 상기 영향들을 보여준다. 도 3a에서, 상기 오브젝트 150A는 포커스 N의 상기 공칭 평면(nominal plane)의 일측에 위치한다. 결과적으로, 상기 해당 이미지 160A는 상기 이미지 센서 330의 앞에 위치하도록 형성된다. 상기 광은 상기 이미지 센서 330으로 상기 추가적인 거리를 이동함으로써, 도 3b에서 보다 큰 블러 스팟들을 생산한다. 상기 가시 광 352A는 빠른 f-넘버이기 때문에, 그것은 보다 빠르게 발산하고. 큰 블러 스팟 332A를 생산한다. 상기 적외선 광 354는 느린 f-넘버를 가지므로, 그것은 도 3b보다 훨씬 크지 않은 블러 스팟 334A를 생산한다. 만약 상기 f-넘버가 충분히 느리다면, 상기 적외선 블러 스팟은 관심의 깊이들의 상기 범위를 가로지르는 일정 크기일 것으로 추측될 수 있다.
도 3c는 동일한 효과를 보여주나, 그 반대 방향이다. 여기서, 상기 오브젝트 150C는 상기 이미지 센서 330의 뒤로 떨어지는 이미지 160C를 생산한다. 상기 이미지 센서 330은 블러의 결과, 상기 실제 이미지 평면에 도달하기 전에, 상기 광을 캡처한다. 상기 가시 블러 스팟 332C는 상기 빠른 f-넘버 때문에, 더 클 수 있다. 상기 적외선 광 스팟 334C는 상기 느린 f-넘버 때문에, 디포커스에서 더 느리게 커질 수 있다. 상기 DSP 180은 상기 캡처된 컬러 및 적외선 이미지들을 처리하도록 구성될 수 있다.
도 4는 멀티-애퍼처 이미징 시스템에 대해 가능한 데이터 플로우를 나타낸 블록 다이어그램이다. 도 1에서 언급된 바와 같이 왼쪽으로부터 오른쪽으로, 상기 이미지 센서 130은 예를 들어 R(레드), G(그린), B(블루) 및 I(적외선) 스펙트럼 채널들과 같이 로 이미지 데이터 435를 캡처한다.
상기 DSP 180은 몇 가지 초기 처리(initial processing)를 수행한다. 이 예시에서, 이 초기 처리는 이미지 처리 442, 깊이 처리 444 및 오브젝트 추적 446을 포함한다. 상기 이미지 처리 442는 상기 큰 가시 애퍼처 122 때문에 디포커스에 더 민감한 가시 이미지 451 및 상기 작은 적외선 애퍼처 124 때문에 디포커스에 덜 민감한 적외선 이미지 453을 생산한다. 상기 깊이 처리 444는 상기 신의 깊이 맵 455를 생산한다. 상기 깊이 맵은 도 3에 나타낸 바와 같이, 상기 가시 및 IR 스펙트럼 채널들 사이에서 디포커스에 대해 상이한 감도들에 기초하여 생산될 수 있다. 상기 오브젝트 추적 446은 프레임에서 프레임으로 오브젝트들을 추적하는 광학 플로우 457을 생산한다.
도 4에서 더 처리될 수 있는 이러한 결과는 애플리케이션 프로세서 480(도 1에 보여지지 않음)에 의해 수행될 수 있다. 상기 가시 이미지의 샤프닝 491 및 상기 가시 이미지의 리포커싱 493을 포함하는 추가 처리의 몇 가지 예들은 상기 적외선 이미지 453에서 추가적인 정보 그리고 가능하게는 상기 깊이 맵 455 및 광학 플로우 457를 이용할 수 있다. 상기 가시 및 컬러 이미지들은 3D 이미지 쌍 495를 생성하도록 처리될 수 있다. 마지막 예시는 제스처들의 식별 497이다.
도 4는 DSP 180 및 애플리케이션 프로세서 480 사이의 처리의 부분을 보여준다. 이것은 단지 예시이다. 상기 다른 처리 단계들은 다른 디바이스들 사이에서 다른 방법들로 분할될 수 있다. 모든 처리 단계들이 구현되지 않을 수 있고, 도시되지 않은 처리 단계들이 포함될 수도 있다.
일부 애플리케이션들에서, 처리는 상기 멀티-애퍼처 이미징 시스템이 저조도 상황들에서 효과적인 동작을 위하여 큰 애퍼처를 갖는 동시에 선명한 픽처들의 결과로 큰 DOF를 갖도록 효과적으로 허용할 수 있다. 또한, 상기 방법은 렌즈들의 상기 광학 성능과 동일한 성능을 달성하는데 요구되는 렌즈의 비용을 절감하면서, 렌즈들의 상기 광학 성능을 효과적으로 향상시킨다. 상기 멀티-애퍼처 이미징 시스템은 전형적인 2의 f-넘버(예컨대, 3 mm의 포컬 길이 및 1.5 mm의 직경)를 갖는 간단한 모바일 폰 카메라가 예컨대, 0.5 mm 또는 0.2 mm 미만의 직경에 대해 6 내지 최대 15 사이의 변화하는 f-넘버를 갖는 제2 애퍼처를 통하여 그것의 DOF를 향상시키도록 허용한다. 상기 f-넘버는 상기 애퍼처의 상기 유효 직경 및 상기 포컬 길이 f의 비율로 정의된다. 바람직한 구현 예는 근접한 오브젝트들의 샤프니스를 향상시키기 위한 약 2 내지 4의 상기 가시 애퍼처에 대한 f-넘버와 거리 오브젝트들의 샤프니스를 향상시키기 위한 약 16 내지 22의 상기 적외선 애퍼처에 대한 f-넘버의 조합을 갖는 광학 시스템들을 포함한다.
상기 DOF 및 상기 ISO 속도 개선의 또 다른 예들은 US13/144499의 "이미징 시스템에서의 DOF 개선", US13/392101의 "컬러 이미지에서 노이즈 감소", US13/579568의 "멀티-애퍼처 이미지 데이터 처리", US13/579569의 "멀티-애퍼처 이미지 데이터 처리" 및 US13/810227의 "멀티-애퍼처 이미징을 위한 플래시 시스템"에서 상세히 설명되는 멀티-애퍼처 이미징 시스템에 의해 제공된다. 이들 모두는 그 전체가 본원에 참고로 인용된다.
이미지 샤프니스 및/또는 깊이를 계산하기 위한 다른 변형들을 포함하는 처리 기능들의 예들은 US13/144499의 "이미징 시스템에서의 DOF 개선", US13/392101의 "컬러 이미지에서 노이즈 감소", US13/579568의 "멀티-애퍼처 이미지 데이터 처리", US13/579569의 "멀티-애퍼처 이미지 데이터 처리", US13/810227의 "멀티-애퍼처 이미징을 위한 플래시 시스템" 및 US14/832062의 "블러 커널들 및 다운-샘플링을 이용하는 멀티-애퍼처 깊이 맵"에서 설명된다. 이들 모두는 그 전체가 본원에 참고로 인용된다.
바람직할 수 있는 처리의 많은 다양성 때문에(심지어 처리는 더 높은 애플리케이션 레이어들에 의해 수행될 수 있음), 상기 이미지 캡처 및 상기 멀티-애퍼처 이미징 시스템의 의해 수행되는 처리를 규정하기 위한 표준화된 방식을 제공하는 것이 유용하다. 도 5a-5b에서, 처리는 멀티-애퍼처 이미징 디바이스 500 및 애플리케이션 소프트웨어 550 사이에서 분할된다. 예를 들어, 상기 멀티-애퍼처 이미징 디바이스 500은 핸드헬드(handheld) 카메라, 휴대폰의 카메라 또는 유사한 폼 팩터(form factor)일 수 있다. 상기 휴대폰 예시에서, 상기 애플리케이션 소프트웨어 550은 상기 휴대폰을 실행시키기 위한 여러 가지 애플리케이션들 중에 하나일 수 있다. 상기 디바이스 500 및 상기 애플리케이션 소프트웨어 550 사이의 상기 인터페이스는 API 510에 의해 정의된다.
도 5a에서, 상기 디바이스 500은 기본적인 것이다. 상기 센서는 로 이미지 데이터 및 상기 디바이스 출력 RGB 및 I 이미지 562 그리고 연관된 메타데이터를 캡처한다. 상기 애플리케이션 레이어 550은 이미지들 샤프닝, 이미지들 리포커싱, 깊이 정보 생성, 오브젝트 추적, 3D 이미지 생성 및 제스처 식별을 포함하는 더 많은 상기 처리를 한다. 상기 API 510은 플래시, 노출, 해상도, 프레임 레이트 등과 같은 이미지 캡처 파라미터들을 규정하는 상기 애플리케이션을 허용하는, 상기 애플리케이션 550으로부터 상기 디바이스 500 으로의 기본 제어 데이터 520의 송신을 지원한다. 상기 API 510은 또한 상기 디바이스 500으로부터 상기 애플리케이션 550으로의 이미지 데이터 562의 송신을 지원한다. 그것은 또한 상기 디바이스 상태 또는 디바이스 파라미터들 560의 리포팅을 지원한다.
도 5b에서, 상기 디바이스 500은 상기 처리의 일부를 포함한다. 이 예시에서, 깊이 처리 및 몇 가지 기본적인 이미지 개선은 상기 디바이스 500에 의해 수행된다. 상기 API 510은 도 5a에서 보여준 상기 기본적인 기능들(기본적인 제어 데이터 520, RGBI 이미지 데이터 562 및 디바이스 상태 560)을 지원한다. 그러나, 상기 API 510은 또한, 추가적인 기능들과 관련된 확장들을 지원한다. 예를 들어, 상기 API 510은 상기 애플리케이션 550이 깊이 처리 또는 이미지 개선을 위하여 상기 디바이스 500으로 보다 개선된 파라미터들 521을 전달하는 것을 허용한다. 반대 방향에서, 상기 API는 상기 깊이 정보 또는 다른 처리된 이미지 데이터 564의 송신을 규정한다. 또한, 상기 API는 메타데이터 및 이러한 추가적인 기능들과 관련된 상태들 561의 리포팅의 송신을 지원한다.
API 기능들은 다양한 카테고리들로 분할될 수 있다. 예를 들어, 이미지 캡처 및 카메라 제어, 이미지 개선 및 제어, 깊이 측정 및 오브젝트 추적. 기본 이미지 캡처에 있어서, 상기 API는 캡처된 이미지의 해상도 또는 상기 이미지 캡처, 상기 이미지 캡처의 프레임 레이트, 캡처를 위한 스펙트럼 채널들의 캡처될 프레임들의 개수 및/또는 상기 이미지 캡처의 듀레이션(duration)에 대한 비닝(binning) 설정 등과 같은, 다른 이미지 캡처 파라미터들을 규정하는 것을 지원한다.
상기 API는 또한 플래시 및 노출을 규정하는 것을 지원할 수 있다. 플래시 옵션들은 상기 플래시의 발광, 상기 플래시를 발광하지 않는 것, 부분적으로 상기 플래시를 발광하는 것 및 플래시를 계속하는 것을 포함할 수 있다. 노출 옵션들은 자동 노출을 켜는 것을 포함할 수 있다. 다른 이미지 캡처 파라미터들은 노이즈 감소 활성화, 프리-이미지 캡처 시퀀스들 활성화 또는 프리셋 이미지 캡처 구성들 활성화를 포함한다. 이러한 옵션들은 또한 각 스펙트럼 채널에 대해 개별적으로 또는 가시 및 IR 이미지들에 대해 개별적으로 규정될 수 있다.
보다 일반적으로, 이미지 캡처 파라미터들은 가시 및 IR 이미지들에 대해 개별적으로 및/또는 각 스펙트럼 채널에 대해 개별적으로(예컨대, R, G 및 B 채널들에 대해 다른 파라미터들), 모든 이미지 캡처에 대하여 규정될 수 있다. 개별 스펙트럼 채널들의 제어는 더 많은 유연성을 제공한다. 예를 들어, 개별적인 컬러 채널들에 대한 상기 노출 레벨들을 조절하는 것은 상기 이미지 캡처 동안에 보다 나은 화이트 밸런스를 달성할 수 있다. 이것은 특정 광 조건들에서 상기 이미지의 전체적인 노이즈를 개선할 수 있다. 다른 예로서, 상기 IR 노출 레벨은 상이한 광 조건들 또는 상이한 애퍼처 조건들에 따라 조정될 수 있다. 이것은 상기 IR 레벨이 매우 낮은 광 조건들에서 중요할 수 있다.
캡처되어야 하는 스펙트럼 채널들을 규정할 수 있는 것은 또한 추가적인 유연성을 제공한다. 몇몇 깊이 애플리케이션들은 두 개의 채널들-상기 큰 애퍼처 R, G, B 가시 채널들 중 하나 및 상기 작은 애퍼처 IR 채널-만을 필요로 한다. 만약, 상기 깊이 측정을 위해 상기 네 개의 채널들 중 두 개만이 판독되면, 상기 프레임 레이트는 두 배가 되거나, 상기 동일한 프레임 레이트는 저전력 소비로 유지될 수 있다.
상기 API는 프레임들에 대한 상기 이미지 캡처 조건들을 규정하는 파라미터들을 지원하지만, 상기 API는 또한 프레임 내 서브프레임들에 대한 다른 파라미터들을 규정하는 것을 지원할 수도 있다. 도 6은 프레임 610 내 서브프레임들 615A-C를 나타낸 다이어그램이다. 이 예시에서, 상기 API는 사각 서브프레임들(세 개)의 개수 및 반대 모서리의 (x, y) 좌표들에 의해 정의되는 서브프레임 615 각각의 위치를 규정한다. 상기 API는 상기 서브프레임들에 대해 상이한 이미지 캡처 파라미터들을 규정하는 것을 지원한다.
예를 들어, 만약 하나의 서브프레임 615A가 더 관심인 경우, 상기 API는 더 높은 해상도, 더 빠른 프레임 레이트, 더 많은 스펙트럼 채널들, 더 많은 후-처리 등과 같이 서브프레임 내 이미지 데이터를 캡처하는 것을 규정할 수 있다. 반대의 경우도 마찬가지일 수 있다. 유연한 API로, 상기 이미지 캡처 파라미터들은 각 서브프레임 별로, 그리고 상기 서브프레임들 및 상기 백그라운드 프레임 영역(예컨대, 상기 서브프레임 외부 영역) 사이에서 다르게 설정될 수 있다.
사실, 상기 백그라운드는 전혀 캡처되지 않을 수 있다. 예를 들어, 아마도 하나의 서브프레임이 규정되고, 이미지 데이터는 해당 서브프레임 내에서만 캡처될 수 있다. 전체 프레임보다 작은 캡처는 사용되지 않는 상기 이미지 센서 및 상기 대응 회로의 대기 픽셀들로 배치하거나, 종료함으로써, 전력 소비를 줄일 수 있다. 게다가, 상기 센서는 최대 클록 레이트로 구동될 필요가 없다. 대안으로, 작은 서브프레임은 빠른 프레임 레이트로 캡처될 수 있다. 캡처된 이미지를 출력하는 것은 종종 병목 현상을 야기한다. 출력될 이미지 데이터의 양을 감소시킴으로써, 상기 판독 시간이 단축되고, 상기 프레임 레이트가 증가될 수 있다.
유사한 트레이드오프들(tradeoffs)은 다른 서브프레임들에 대해 다른 이미지 캡처 파라미터들을 규정함으로써, 발생할 수 있다. 서브프레임에 대한 낮은 해상도, 느린 프레임 레이트 및 더 적은 스펙트럼 채널들은 해당 서브프레임에 대해 더 적게 수집되는 이미지 데이터에 기여할 것이다. 결과적으로, 그것은 전력 소비를 감소하는데 및/또는 다른 서브프레임들에서 높은 품질의 이미지 캡처를 허용하는데 이용될 수 있다.
예를 들어, 감시(surveillance) 애플리케이션에서, 더 많은 관심이 하나에 대한 입구 및 출입구 보다 특정 영역들에 지급될 수 있다. 상기 API를 통해, 상기 감시 애플리케이션은 이러한 핫 스팟들에 대한 서브프레임들을 정의할 수 있고, 이러한 서브프레임들은 더 높은 해상도, 빠른 프레임 레이트들 등으로 캡처될 수 있다. 따라서, 필요한 경우, 개별적인 것들은 상기 캡처된 이미지들로부터 식별될 수 있다. 이러한 서브프레임들 외부에서, 상기 감시 애플리케이션은 이미지 캡처에서의 낮은 요구사항들에 맞게 움직임 감지에 제한될 수 있다.
다른 예로서, 애플리케이션은 상기 캡처된 이미지들에 기초하여 깊이 추정을 수행할 수 있다. 그러나. 특정 깊이 해상도를 달성하기 위해 요구되는 상기 이미지 해상도는 상기 깊이의 함수로 변할 수 있다. 아마도 더 멀리 있는 오브젝트들은 가까이 있는 오브젝트들에 비해 더 높은 해상도 이미지들을 요구한다. 상기 API를 통하여, 상기 깊이 처리 애플리케이션은 더 먼 깊이들에 대응하는 서브프레임들을 정의할 수 있고, 이러한 서브프레임들에 대해 더 높은 해상도 이미지 캡처를 규정할 수 있다.
상기 실시예들 모두에서, 상기 서브프레임들은 정적 또는 동적으로 정의될 수 있다. 상기 감시 예시에서, 영구적인 출입구(permanent doorway)는 관심의 서브프레임으로 정적으로 식별될 수 있다. 대안으로, 개별적인 것들에 대해 묘사된 서브프레임들은 상기 개별적인 것의 움직임 추적에 의해 정의될 수 있다. 유사한 상황이 상기 깊이 처리에 대해 존재한다. 특정 영역들은 특정 깊이들에서 알려지거나 가정되지만, 다른 서브프레임들은 이전 서브프레임들로부터 또는 인접한 영역들에 대해 깊이 추정에 기초하여 식별될 수 있다.
기본적인 이미지 캡처를 넘어, 상기 API는 또한 더 복잡한 처리를 규정하는 것을 지원할 수 있다. 예들은 광학 플로우, 깊이 처리, 이미지 개선, 오브젝트 추적, 3D 이미지 생성 및 디스플레이를 포함한다.
광학 플로우는 움직임이 있는 상기 이미지의 영역들(regions)을 식별하는데 이용된다. 이것은 관심의 영역들을 식별하고, 전반적인 처리 요구사항들을 감소시키기 위하여 비디오 시퀀스에서 오브젝트들을 추적할 때, 이용될 수 있다. 예를 들어, 두 개의 프레임들을 처리할 때, 두 개의 프레임들 사이에서 움직이는 것을 검출하는 것은 깊이 맵 처리를 감소시킬 수 있다. 첫 번째로, 아무런 움직임이 발생되지 않는 지역들에 대해, 제2 프레임에서의 상기 깊이는 상기 제1 프레임에서 계산된 상기 깊이로부터 유도될 수 있다. 대안은 움직임이 발생하는 그 지역들에 대해서만 집중하는 것이고, 움직임의 지역들에서의 깊이만을 측정하는 것이다. 이것은 제스처 추적에 특히 유용하다.
광학 플로우는 상기 API를 통하여 애플리케이션들에 의해 제어될 수 있고, 광학 플로우 분석의 결과는 상기 API를 통하여 애플리케이션들에 송신될 수 있다. 예를 들어, 상기 API를 통하여, 상기 애플리케이션은 추적에 대한 특정 서브프레임들을 규정할 수 있다. 상기 광학 플로우는 또한 움직임이 상기 프레임들의 일부에 대해 검출되거나, 모든 프레임들에 대해서 검출되지 않도록 설정될 수 있다. 이들 모두는 전체 계산 요건들 및 전력 소비를 감소시킬 수 있다.
광학 플로우가 계산되는 상기 프레임 카운트를 감소시키는 하나의 접근법은 예를 들어, 프레임 5개 중 4개를 폐기하는 것과 같이, 프레임들을 폐기하는 것이다. 하나의 접근법에서, 상기 움직임 감지 비교는 프레임 2, 3 및 4를 폐기하며, 프레임 1 및 5 사이에서 수행된다. 다른 대안은 두 개의 인접한 프레임들을 비교하고, 나머지를 폐기하는 것이다. 이 경우 비교는 프레임 3, 4 및 5를 폐기하며, 프레임 1 및 2 사이에서 이루어진다. 서브프레임들에 대하여, 상기 관심의 영역은 먼저 전체 프레임에 대한 상기 광학 플로우를 계산함으로써, 결정될 수 있다. 그러나, 광학 플로우의 다음 계산은 제1 프레임에서 움직임이 감지되는 상기 영역들에서만 수행될 수 있다. 상기 API는 예를 들어, 얼마나 많은 프레임들이 폐기되는지, 광학 플로우에 대해 어떤 프레임들이 이용되는지, 서브프레임들을 추적하는지 여부 등의 이러한 변화들을 지원하도록 설계될 수 있다.
깊이 처리의 제어는 필요한 계산의 양을 감소시킴으로써, 전력 소비를 줄일 수 있다. 깊이 처리는 상기 이미지의 서브프레임들에 대해서만 깊이 맵 계산을 규정함으로써, 상기 API를 통하여 규정될 수 있다. 상기 관심의 서브프레임들은 예를 들어, 움직임, 과거 깊이 정보 및/또는 에지 정보에 기초하여 선택될 수 있다. 상기 이미지의 해상도는 또한 계산을 감소시키기 위해 스케일링될 수 있다. 높은 레벨 기능들 또한 상기 API에 의해 지원될 수 있다. 예를 들어, 상기 API는 규정된 깊이 레벨에서의 모든 픽셀들, 또는 상기 카메라에 가장 가까운 깊이에서의 모든 픽셀들, 또는 상기 카메라로부터 가장 먼 깊이에서의 모든 픽셀들(또는 특정 서브프레임 내 모든 픽셀들)을 반환하는 명령을 포함할 수 있다. 대안으로, 오히려 모든 픽셀들을 반환하는 대신에, 상기 명령들은 관심의 상기 깊이 레벨에서의 상기 픽셀들에 대해 바운딩 박스들의 세트를 반환할 수 있다.
이미지 개선에 대해, 상기 API는 예를 들어, 로(raw) R, G, B, I 스펙트럼 채널들로부터 개선된 컬러 이미지의 생성의 제어를 지원할 수 있다. 리포커싱 및 재-노출(re-exposure)은 또한 깊이 레벨들의 개수, 포커스 평면들의 개수 및 블러 레벨 및 노출 레벨과 같은 파라미터들을 설정함으로써, 제어될 수 있다. 이들은 다른 깊이 레벨들에 대해 상이하게 설정될 수 있다. 예를 들어, 상기 API를 통하여, 상기 애플리케이션은 4m의 깊이에서 샤프 이미지들을 규정할 뿐만 아니라, 6m의 깊이에서 블러된 이미지들을 더 규정할 수 있다. 마찬가지로, 상기 이미지에서 오브젝트는 밝은 깊이에서 모든 것들을 만들거나, 덜 밝은 다른 깊이들에서 모든 것들을 만듦으로써, 강조될 수 있다.
오브젝트 추적은 또한 상기 API를 통하여 규정될 수 있다. 지원되는 명령은 상기 애플리케이션이 상기 추적에 대한 파라미터들 뿐만 아니라, 추적될 오브젝트를 규정하는 것을 허용할 수 있다. 상기 오브젝트는 특별한 프레임에서 사각 영역을 규정함으로써 식별될 수 있다. 그 오브젝트는 후속 프레임들을 통하여 추적된다. 추적 파라미터들은 추적의 듀레이션(N 프레임들에 대한 추적), 및 추적에 대해 프레임들을 얼마나 자주 처리하는지(예컨대, 처리 모든 프레임에 대해, 매 k번째 프레임에 대해 등)를 포함할 수 있다. 상기 명령은 원래 식별된 오브젝트에 최고로 대응하는 각 프레임에서 사각 영역을 반환한다. 비디오 압축에서 움직임 추정 벡터들이 이용되는 것과 유사한 기술이 이용될 수 있다. 깊이 정보는 오브젝트 움직임을 결정하기 위하여 이용될 수 있고, 상기 명령은 후속하는 프레임들에서 결정된 오브젝트들에 대해 깊이 정보를 반환할 수 있다.
깊이 정보는 예를 들어, 이미지들의 왼쪽 및 오른쪽 눈 쌍과 같은 3D 이미지들을 생성하는데 이용될 수 있다. 상기 API는 3D 이미지 생성에 대한 파라미터들을 규정하는데 이용될 수 있다. 이것들은 해상도, 프레임 레이트 및 노출과 같은 더 일반적인 파라미터들 뿐만 아니라, 3D에 더 구체적인 파라미터들을 포함할 수 있다. 예들은 깊이의 함수로서 상기 두 개의 이미지들 사이의 시프트를 제어하는 깊이 오프셋을 포함한다. 음의 값(negative values)은 상기 3D 이미지가 상기 스크린 뒤에 배치되도록 규정하는 반면, 양의 값(positive values)은 상기 3D 이미지가 상기 스크린의 앞에 배치되도록 규정한다. 또 다른 예는 왼쪽 및 오른쪽 눈 시야들 사이의 차dl(divergence)의 양을 규정하는 시차(parallax)이다.
만약 멀티-애퍼처 이미징 디바이스가 카메라 상의 뷰파인더 또는 모바일 디바이스 상의 스크린과 같은 자체 디스플레이를 갖는 경우, 상기 API는 상기 디스플레이의 이용을 제어하는 파라미터들을 포함할 수 있다. 하나의 예는 RGB 이미지들, IR 이미지들 깊이 맵들 또는 이것들의 조합을 디스플레이할 것인지를 제어하는 것이다.
상기 멀티-애퍼처 이미징 디바이스의 제어를 허용하는 것뿐만 아니라, 상기 API는 또한 상기 멀티-애퍼처 이미징 디바이스로부터 데이터 출력에 대한 포맷을 규정한다. 출력 데이터의 예들은 다음의 일부 또는 전부를 포함할 수 있다. 이 모든 경우들은 메타데이터를 더 포함한다.
● 로 이미지 - 이것은 처리 전의 상기 카메라로부터 상기 픽셀 데이터를 포함함. 이것은 다음의 구성요소들을 포함함:
○ 로 이미지 - 상기 센서의 크기를 어레이함.
● 처리된 이미지 - 디스플레이됨. 이것은 다음의 구성요소들을 포함함:
○ RGB 이미지(TIFF, BMP or JPEG 포맷)
○ IR 이미지(TIFF, BMP or JPEG 포맷)
○ 깊이 맵(깊이 값들의 어레이) - 정규화되거나, 에지들에 대해서만
● 조절 가능한 이미지 - 추가 처리를 위하여 의도됨. 이것은 다음의 구성요소들을 포함함:
○ RGB 이미지(TIFF, BMP or JPEG 포맷)
○ 깊이 맵(깊이 값들의 어레이)
● 스테레오 이미지
○ 오른쪽 이미지(TIFF, BMP or JPEG 포맷)
○ 왼쪽 이미지(TIFF, BMP or JPEG 포맷)
○ 깊이 맵(깊이 값들의 어레이)
● 비디오
○ RGB에 대해 MPEG 압축된 미디어(컬러)
○ IR에 대해 MPEG 압축된 미디어(그레이스케일)
○ 각 프레임에 대한 깊이 맵들의 시퀀스
상기 로(raw) 이미지 파일은 예를 들어, 상기 센서에서 각 픽셀에 대응하는 16비트 값들의 어레이와 같은 간단한 파일 포맷일 수 있다. 추가적인 메타데이터 또한 지원된다. 메타데이터의 예들은 캡처의 시간, 카메라 식별 또는 구성, 렌즈 설정, 노출 설정, 위치, 다른 상태 정보 등을 포함한다.
상기 처리된 이미지 데이터는 처리된 깊이 데이터, 컬러 이미지 및 IR 이미지를 포함한다. 이러한 데이터는 종래의 RGB 포맷, 상기 IR 정보를 포함하는 모노크롬 이미지 파일 및 픽셀들의 어레이에 의해 표시되는 깊이 데이터로 변환될 수 있다. 이 어레이는 무손실 압축 모드에서 JPEG을 이용하여 압축될 수 있다. 메타데이터에 대한 하나의 접근법은 TIFF 포맷에 가능한 동일한 데이터 구조들을 가지나, IR 이미지들 및 깊이 맵들을 포함하도록 확장 가능하다. 예를 들어, 상기 TIFF 포맷에서 상기 메타데이터는 또한 IR 노출 시간, IR 애퍼처 및/또는 IR 플래시를 포함하도록 확장될 수 있다. 깊이 맵들에 있어서, 추가적인 메타데이터는 상기 이미징 시스템들에 대한 점상 강도 분포 함수, 에러의 마진을 고려한 실제 거리에 대한 깊이 레벨의 맵핑, 깊이 레벨들의 개수 및 상기 깊이 맵을 생성하는데 이용되는 알고리즘을 포함한다.
하나의 접근법에서, 이들 각 구성요소들은 종래의 이미지 뷰어에 의해 보여질 수 있다. 상기 RGB 이미지에 대해, 종래의 RGB 뷰어는 종래의 RGB 이미지를 디스플레이할 수 있다. 상기 IR 채널에 대해, 상기 IR은 그레이스케일 이미지로서 디스플레이될 수 있다. 상기 깊이 맵은 히트 맵을 이용하거나, 그레이스케일 이미지로서 디스플레이될 수 있다.
위의 목록에서, 깊이 맵들은 두 가지 타입들이 있다. 제1 깊이 맵은 이미지에서 에지들에 의해서만 계산된다. 상기 이미지에서 에지에 가까이 위치하지 않는 영역은 깊이 정보를 갖지 않고, 상기 픽셀에 대해 0이 저장된다. 깊이 맵의 제2 타입에서, 정규화된 알고리즘은 에지들 사이에서 상기 깊이 정보를 채워 넣기 위해 적용되어 왔다. 상기 깊이 정보는 16 비트 값들로서 캡처된다. 상기 파일에서 상기 메타데이터는 상기 카메라로부터 물리적인 깊이 및 깊이 레벨 사이에서 상기 맵핑을 설명한다.
조절 가능한 이미지 데이터는 추가 처리를 위하여 의도된 것이다. 전형적으로, 이 추가 처리는 상기 깊이 정보를 이용하여 상기 이미지 데이터를 조작한다. 추가 처리의 예들은 상기 이미지의 리포커싱 또는 상기 이미지에서 포커스 포인트 변경, 특정 거리에 있는 오브젝트들이 다른 거리들에서 오브젝트들에 비해 다르게 조명되도록 상기 이미지를 재조명하는 것 및 상기 이미지를 샤프닝 또는 블러링하는 것을 포함한다. 점상 강도 분포 함수들과 같은 메타데이터는 특별히 추가 처리에 대해 유용하다.
비디오 시퀀스들 또한 이러한 방식으로 처리될 수 있다. 비디오가 갖는 과제들 중 하나는 상기 비디오의 포커싱을 관리하는 것이다. 상기 비디오 시퀀스의 포커싱에 대한 하나의 접근법은 다음의 후 처리로 달성될 수 있다.
● 상기 비디오로부터 프레임 선택
● 최대 DOF를 생성하기 위하여 상기 이미지 샤프닝
● 상기 포커스의 포인트가 되어야 할 상기 프레임에서 상기 객체를 선택
● 상기 카메라로부터 다른 거리들에서 오브젝트들에 대한 블러의 정도를 선택
● 상기 비디오 시퀀스의 나머지 부분에 대한 모드 선택:
○ 고정된 포커스 모드 - 상기 이미지에 대한 포커스 깊이는 예를 들어, 선택된 오브젝트가 상기 카메라로부터 2m에 있는 경우, 2m에 있는 오브젝트가 상기 비디오 시퀀스에 대해 포커스가 되듯이 일정하게 유지됨.
○ 추적 포커스 모드 - 상기 오브젝트는 상기 후속 프레임들을 통하여 추적되고, 상기 포커스는 상기 오브젝트를 따름. 상기 깊이는 각 프레임에서 상기 오브젝트에 대해 측정됨. 이 거리는 인위적으로 리포커스된 이미지들에서 포커스의 포인트로 이용됨.
유사한 접근법들은 상기 이미지의 재조명과 같은 다른 기능들에 대해 수행될 수 있다.
비디오는 종래의 포맷들을 포함할 수 있다. 하나의 접근법에서, 상기 RGB 이미지들, IR 이미지 및 깊이 맵 각각은 MPEG와 같은 방식을 이용하여 인코딩될 수 있다. 이 접근 방식은 서로 동기화된 세 개의 비디오 시퀀스를 생성한다. 각 비디오 시퀀스는 자신의 프레임 레이트, 비트 깊이 및 공간 해상도를 가질 수 있다. 하나의 변형에서, 비디오 시퀀스 각각이 자신의 움직임 벡터들의 시퀀스를 갖는 대신에, 움직임 벡터들은 상기 비디오 시퀀스들 사이에서 공유될 수 있다. 예를 들어, 상기 IR 및 깊이 맵 채널들에 대한 움직임 벡터들은 반대로, 상기 RGB 채널에 대한 상기 움직임 벡터들로부터 유도될 수 있다.
IR 및 깊이 정보의 유용성(availability)은 상기 비디오를 개선하는데 이용될 수 있다. 예를 들어, 깊이 정보는 또한 인코드, 압축 또는 상기 이미지에 대한 포맷을 결정하는데 이용될 수 있다. 일반적으로 비디오 압축은 어떠한 깊이 정보를 이용하는 대신에, 다른 프레임들 사이의 비교를 이용한다. 전형적으로, 프레임의 영역을 압축하기 위하여, 탐색은 최상의 매치를 제공하는 영역에 대한 기준 프레임으로 이루어 진다. 이 영역은 상기 존재하는 프레임에서의 영역을 재생하는 기준으로 이용된다. 깊이 변화를 설명하려는 어떠한 시도도 없다. 그러나, 깊이 맵 정보는 또한 표면 또는 에지들이 z 축에서 어떻게 움직이는지(예컨대, 상기 카메라를 향하는지 멀어지는지)에 대한 표시(indication)를 제공할 수 있다. 이 정보는 상기 기준 매크로블록에 의해 정의된 상기 표면이 어떻게 변화되는지를 식별하는데 이용될 수 있다. 깊이 정보를 효과적으로 이용함으로써, 상기 기준 매크로블록은 상기 매크로 블록이 상기 카메라로부터 가까이 또는 멀리 움직이는 상기 매크로 블록에서 엘리먼트들로서 변경되는 방법에 매치되도록 변형될 수 있다. 하나의 접근법에서, 상기 기준 프레임 또는 상기 관심의 프레임은 거리에 대해 스케일링 되고, 매치될 수 있다. 스케일링 후, 상기 기준은 선택되고, 상기 움직임 벡터들은 계산된다.
또 다른 접근법에서, 상기 깊이 정보는 MPEG 또는 HEVC와 같이 기존의 압축 방식들에서 구현되는 2-차원 기술들 오직(x 및 y)와 상반되게, 3 차원(x, y 및 z)에서 엘리먼트들의 움직임을 고려하는 3-차원 움직임 추정 벡터를 생성하는데 이용될 수 있다. 또 다른 접근법은 비주얼 프레임들에 대해 2-차원 움직임 추정 벡터를 이용하고, 상기 인코딩될 현재 프레임에 최상으로 매치되는 기준 프레임의 변형을 생성하기 위해 상기 이미지에 대해 계산된 상기 깊이 맵을 이용하는 것이다.
상기 깊이 맵은 그 자체가 압축될 수 있다. 상기 깊이 맵은 엔트로피 인코딩과 같은 종래의 데이터 압축 기술들을 이용하여 압축될 수 있다. 상기 깊이 맵을 압축하는데 사용될 수 있는 추가적인 기술들은 에지들 사이에서 평면들에 대해 상기 깊이 정보를 갖는 오브젝트에서 기준 포인트들을 갖는 에지 정보 또는 평면들에 채우기 위한 보간 기술들을 이용하는 것 및 에지 정보만을 전송하는 것을 포함한다.
게다가, 상기 깊이 정보는 정보의 손실에 의해 야기되는 상기 깊이 맵의 변형이 상기 비디오 시퀀스의 품질에 대한 시청자의 비주얼 인식에 영향을 주지 않는 것과 같은 손실 기술들을 이용하여 압축될 수 있다. 예를 들어, 급변하는 신(scene)에서, 상기 깊이 정보는 제한된 움직임이 있는 신에 비해 더 손실이 발생되며 인코딩될 수 있다. 상기 깊이 맵은 상기 깊이가 절대적으로 인코딩되거나 이전 기준 프레임으로부터 생성되는 소위 기준 프레임을 참조함으로써, 움직임 추정을 이용하여 인코딩될 수 있다.
이러한 접근법들로, 상기 카메라로부터 더 가까이 또는 더 멀리 움직이는 오브젝트에 의해 야기되는 변형이 설명되기 때문에, 상기 기준 프레임 및 상기 현재 프레임 사이의 에러가 감소된다. 이것은, 차례로, 상기 압축의 효율을 증가시킨다.
비록 상기 상세한 설명이 많은 특성들을 포함하지만, 이것들은 본 발명의 범위를 제한하는 것으로 해석되어서는 안되며, 단지 다른 실시예들 및 본 발명의 측면들을 나타낸다. 본 발명의 범위는 상술되지 않은 다른 실시예들을 포함하도록 이해되어야 한다. 예를 들어, 상기 함수 및 기능은 API를 이용하지 않고 구현될 수도 있다. 당업자에게 명백한 다양한 다른 수정들, 변경들 및 변형들은 상기 첨부된 청구항들에 기재된 본 발명의 사상 및 범위로부터 벗어나지 않고, 본 명세서에 개시된 방법 및 장치들의 구성, 동작 및 세부 사항(details)에서 이루어질 수 있다. 그러므로, 본 발명의 범위는 첨부된 청구항들 및 그 법적 균등물에 의해 결정되어야 한다.
다른 실시예에서, 본 발명의 양상은 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 본 발명의 장치는 프로그래머블 프로세서에 의해 실행하기 위한 기계-판독 가능 저장 장치에 명백히 포함되는 컴퓨터 프로그램 프로덕트로 구현될 수 있고, 본 발명의 방법 단계들은 입력 데이터에 대해 동작하고 출력을 생성함으로써, 본 발명의 기능들을 수행하도록 명령 프로그램을 실행하는 프로그래머블 프로세서에 의해 수행될 수 있다. 본 발명은 데이터 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 명령 및 데이터를 수신하고, 명령을 및 데이터를 송신하도록 결합되는 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행되는 하나 또는 그 이상의 컴퓨터 프로그램들로 유리하게 구현될 수 있다. 각 컴퓨터 프로그램은 높은-레벨 절차 또는 객체-지향 프로그래밍 언어로 구현되거나, 어셈블리 또는 기계 언어 그리고 필요에 의해 어떤 경우에는 컴파일되거나 해석된 언어로 구현될 수 있다. 적합한 프로세서는, 예시적으로, 모두 일반적이고 특별한 목적의 마이크로프로세서를 포함한다. 일반적으로, 프로세서는 판독-전용 메모리 및/또는 랜덤 액세스 메모리로부터 데이터 및 명령을 수신할 수 있다. 일반적으로, 컴퓨터는 자기 디스크. 내부 하드 디스크 및 탈착 가능한 디스크, 광-가지 디스크 및 광학 디스크와 같은 데이터 파일들을 저장하기 위한 하나 또는 그 이상의 대용량 저장 디바이스들을 포함할 수 있다. 데이터 및 컴퓨터 프로그램 명령을 구현하기에 적합한 저장 디바이스들은 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들; 내부 하드 디스크 및 탈착 가능한 디스크와 같은 자기 디스크; 광-가지 디스크; 및 CD-ROM 디스크와 같은 반도체 메모리 디바이스들에 의해 포함되는 비-휘발성 메모리의 모든 형태를 포함한다. 이들은 ASIC(주문형 반도체) 및 하드웨어의 다른 형태로서 임의로 보충되거나 통합될 수 있다.

Claims (25)

  1. 멀티-애퍼처 카메라가 동작하는 방법에 있어서,
    상기 멀티-애퍼처 카메라에 대한 제어 데이터-상기 제어 데이터는 상기 멀티-애퍼처 카메라에 대한 애플리케이션 프로그래밍 인터페이스(API)에 따라 수신됨-를 수신하는 단계; 및
    상기 수신된 제어 데이터에 따라 가시(visible) 및/또는 적외선 이미지들의 프레임들-상기 가시 및 적외선 이미지 프레임들은 다른 애퍼처들을 이용하여 캡처됨-을 캡처하는 단계
    를 포함하는 멀티-애퍼처 카메라가 동작하는 방법.
  2. 제1항에 있어서,
    상기 API는
    서브프레임에 대해 이미지 캡처 파라미터-상기 가시 및 적외선 이미지 프레임들은 상기 이미지 캡처 파라미터에 따라 캡처됨-를 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  3. 제2항에 있어서,
    상기 API는
    상기 서브프레임의 이미지 캡처에 대한 해상도를 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  4. 제2항에 있어서,
    상기 API는
    상기 서브프레임의 이미지 캡처에 대한 프레임 레이트를 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  5. 제2항에 있어서,
    상기 API는
    상기 캡처된 서브프레임에 대한 추가적인 처리를 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  6. 제2항에 있어서,
    상기 API는
    상기 캡처된 서브프레임에 대한 깊이 처리를 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  7. 제2항에 있어서,
    상기 API는
    상기 서브프레임에 대해, 상기 서브프레임 외부 이미지 영역들과 상이한 상기 이미지 캡처 파라미터에 대한 값을 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  8. 제2항에 있어서,
    상기 API는
    상기 서브프레임에 대해, 상기 서브프레임 외부 이미지 영역들에서보다 더 높은 품질의 이미지 캡처를 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  9. 제2항에 있어서,
    상기 API는
    상기 서브프레임들의 외부 이미지 영역들이 캡처되지 않음을 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  10. 제1항에 있어서,
    상기 API는
    상기 가시 이미지의 노출 및 상기 적외선 이미지의 노출을 독립적으로 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  11. 제10항에 있어서,
    상기 가시 및 적외선 이미지들은
    적어도 세 개의 스펙트럼 채널들을 포함하고,
    상기 API는
    상기 스펙트럼 채널들 각각의 노출을 독립적으로 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  12. 제1항에 있어서,
    상기 API는
    상기 가시 이미지에 대한 플래시 및 상기 적외선 이미지에 대한 플래시를 독립적으로 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  13. 제12항에 있어서,
    상기 가시 및 적외선 이미지들은
    적어도 세 개의 스펙트럼 채널들을 포함하고,
    상기 API는 상기 스펙트럼 채널들 각각에 대한 플래시를 독립적으로 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  14. 제1항에 있어서,
    상기 가시 및 적외선 이미지들은
    적어도 세 개의 스펙트럼 채널들을 포함하고,
    상기 API는
    상기 스펙트럼 채널들 각각의 이미지 캡처 파라미터를 독립적으로 규정하는 것을 지원하는, 멀티-애퍼처 카메라가 동작하는 방법.
  15. 제1항에 있어서,
    상기 API는
    처리 파라미터를 규정하는 것을 지원하고,
    상기 수신된 처리 파라미터에 따라 상기 캡처된 프레임들을 처리하는 단계
    를 더 포함하는 멀티-애퍼처 카메라가 동작하는 방법.
  16. 제15항에 있어서,
    상기 캡처된 프레임들을 처리하는 단계는
    상기 캡처된 프레임들을 깊이 처리하는 단계
    를 포함하는 멀티-애퍼처 카메라가 동작하는 방법.
  17. 제15항에 있어서,
    상기 캡처된 프레임들을 처리하는 단계는
    컬러 이미지들을 생성하기 위해 상기 캡처된 프레임들을 처리하는 단계
    를 포함하는 멀티-애퍼처 카메라가 동작하는 방법.
  18. 제15항에 있어서,
    상기 캡처된 프레임들을 처리하는 단계는
    3D 디스플레이에 대한 이미지들을 생성하기 위해 상기 캡처된 프레임들을 처리하는 단계
    를 포함하는 멀티-애퍼처 카메라가 동작하는 방법.
  19. 제1항에 있어서,
    상기 API에 따라 이미지 데이터-상기 이미지 데이터는 상기 이미지들의 가시 및/또는 적외선 프레임들을 포함함-를 송신하는 단계
    를 더 포함하는 멀티-애퍼처 카메라가 동작하는 방법.
  20. 제19항에 있어서,
    상기 이미지 데이터는
    상기 이미지 캡처에 대한 점상 강도 분포 함수를 더 포함하는, 멀티-애퍼처 카메라가 동작하는 방법.
  21. 제19항에 있어서,
    상기 API는
    상기 이미지 데이터에 대한 압축을 규정하는, 멀티-애퍼처 카메라가 동작하는 방법.
  22. 제19항에 있어서,
    상기 API는
    상기 이미지 데이터에 대한 3D 압축을 규정하는, 멀티-애퍼처 카메라가 동작하는 방법.
  23. 제1항에 있어서,
    상기 API에 따라 카메라 상태 데이터-상기 카메라 상태 데이터는 상기 이미지들의 가시 및/또는 적외선 프레임들을 캡처하는데 이용되는 이미지 캡처 파라미터를 포함함-를 송신하는 단계
    를 더 포함하는 멀티-애퍼처 카메라가 동작하는 방법.
  24. 제1항에 있어서,
    깊이 정보를 획득하기 위하여 상기 캡처된 프레임들을 깊이 처리하는 단계; 및
    상기 API에 따라 깊이 데이터-상기 깊이 데이터는 상기 캡처된 프레임들이 처리됨에 의해 획득되는 상기 깊이 정보를 포함함-를 송신하는 단계
    를 더 포함하는 멀티-애퍼처 카메라가 동작하는 방법.
  25. 전자 기기를 구현하는 컴퓨터와 결합하여 멀티-애퍼처 카메라 동작 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 멀티-애퍼처 카메라 동작 방법은
    상기 멀티-애퍼처 카메라에 대한 제어 데이터-상기 제어 데이터는 상기 멀티-애퍼처 카메라에 대한 애플리케이션 프로그래밍 인터페이스(API)에 따라 수신됨-를 수신하는 단계; 및
    상기 수신된 제어 데이터에 따라 가시 및/또는 적외선 이미지들의 프레임들-상기 가시 및 적외선 이미지 프레임들은 다른 애퍼처들을 이용하여 캡처됨-을 캡처하는 단계
    를 포함하는 컴퓨터 프로그램.
KR1020160123315A 2015-10-08 2016-09-26 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스 KR20170042226A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/878,938 US9456195B1 (en) 2015-10-08 2015-10-08 Application programming interface for multi-aperture imaging systems
US14/878,938 2015-10-08

Publications (1)

Publication Number Publication Date
KR20170042226A true KR20170042226A (ko) 2017-04-18

Family

ID=56883540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160123315A KR20170042226A (ko) 2015-10-08 2016-09-26 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스

Country Status (3)

Country Link
US (2) US9456195B1 (ko)
EP (1) EP3154251A1 (ko)
KR (1) KR20170042226A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020222477A1 (ko) * 2019-04-29 2020-11-05 엘지이노텍 주식회사 카메라 모듈

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491916B2 (en) * 2013-10-01 2019-11-26 Advanced Micro Devices, Inc. Exploiting camera depth information for video encoding
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
JP2018074445A (ja) * 2016-10-31 2018-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
CN107105217B (zh) * 2017-04-17 2018-11-30 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN109003313B (zh) * 2017-06-06 2021-09-03 腾讯科技（深圳）有限公司 一种传输网页图片的方法、装置和系统
CN108848207B (zh) * 2018-05-30 2021-04-02 Oppo广东移动通信有限公司 光电投射模组的控制系统及控制方法和终端
EP3657774A4 (en) 2018-04-28 2021-03-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. CONTROL SYSTEM, CONTROL PROCESS AND CONTROL DEVICE FOR CAMERA MODULE, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIA
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110966920B (zh) * 2018-09-29 2022-01-25 北京金风科创风电设备有限公司 风力发电机组的扭缆检测方法及系统
CN111835959B (zh) * 2019-04-17 2022-03-01 杭州海康微影传感科技有限公司 用于双光融合的方法和装置
US20230128031A1 (en) * 2020-03-19 2023-04-27 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus
US11276154B2 (en) * 2020-07-17 2022-03-15 Samsung Electronics Co., Ltd. Multi-frame depth-based multi-camera relighting of images
CN114615425B (zh) * 2020-12-21 2024-04-16 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8327388B2 (en) * 2005-12-07 2012-12-04 Nvidia Corporation Cloth application programmer interface
JP5315574B2 (ja) * 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
US20090159799A1 (en) 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5486017B2 (ja) 2009-01-16 2014-05-07 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
US20120154596A1 (en) 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
KR101660312B1 (ko) * 2009-09-22 2016-09-27 삼성전자주식회사 3차원 비디오의 움직임 탐색 장치 및 방법
JP5670481B2 (ja) 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
US20130033579A1 (en) 2010-02-19 2013-02-07 Dual Aperture Inc. Processing multi-aperture image data
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
KR101655742B1 (ko) 2010-07-16 2016-09-09 주식회사 듀얼어퍼처인터네셔널 다중 조리개 촬영용 플래시 시스템
WO2012174212A1 (en) * 2011-06-15 2012-12-20 King Abdullah University Of Science And Technology Apparatus, system, and method for 3d patch compression
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
KR20150056980A (ko) * 2013-11-18 2015-05-28 삼성전자주식회사 멀티 디스플레이의 색편차 보정용 카메라의 제어 방법 및 장치
KR20150077646A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 이미지 처리 장치 및 방법
US10789554B2 (en) * 2014-01-08 2020-09-29 Stubhub, Inc. Validity determination of an event ticket and automatic population of admission information
US20150242922A1 (en) * 2014-02-25 2015-08-27 Ebay Inc. Systems and methods for automatic product information at a merchant location

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020222477A1 (ko) * 2019-04-29 2020-11-05 엘지이노텍 주식회사 카메라 모듈
CN113767621A (zh) * 2019-04-29 2021-12-07 Lg伊诺特有限公司 相机模块
CN113767621B (zh) * 2019-04-29 2023-12-01 Lg伊诺特有限公司 相机模块
US11863735B2 (en) 2019-04-29 2024-01-02 Lg Innotek Co., Ltd. Camera module

Also Published As

Publication number Publication date
US20170105020A1 (en) 2017-04-13
US9774880B2 (en) 2017-09-26
EP3154251A1 (en) 2017-04-12
US9456195B1 (en) 2016-09-27

Similar Documents

Publication Publication Date Title
KR20170042226A (ko) 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
US9918065B2 (en) Depth-assisted focus in multi-camera systems
US9721344B2 (en) Multi-aperture depth map using partial blurring
US9495751B2 (en) Processing multi-aperture image data
US9191578B2 (en) Enhanced image processing with lens motion
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
US9635275B2 (en) Flash system for multi-aperture imaging
JP5728673B2 (ja) 多開口画像データの処理
US20170034456A1 (en) Sensor assembly with selective infrared filter array
US20120050490A1 (en) Method and system for depth-information based auto-focusing for a monoscopic video camera
US20220138964A1 (en) Frame processing and/or capture instruction systems and techniques
Wang Active entropy camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application