KR20200097865A - 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법 - Google Patents

깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법 Download PDF

Info

Publication number
KR20200097865A
KR20200097865A KR1020190015109A KR20190015109A KR20200097865A KR 20200097865 A KR20200097865 A KR 20200097865A KR 1020190015109 A KR1020190015109 A KR 1020190015109A KR 20190015109 A KR20190015109 A KR 20190015109A KR 20200097865 A KR20200097865 A KR 20200097865A
Authority
KR
South Korea
Prior art keywords
image
disparity
pixel
objective lens
processing system
Prior art date
Application number
KR1020190015109A
Other languages
English (en)
Inventor
강희
송용준
강석재
김택선
민동기
유종민
이지홍
임준혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190015109A priority Critical patent/KR20200097865A/ko
Priority to US16/595,798 priority patent/US11233961B2/en
Publication of KR20200097865A publication Critical patent/KR20200097865A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/14—Optical objectives with means for varying the magnification by axial movement of one or more lenses or groups of lenses relative to the image plane for continuously varying the equivalent focal length of the objective
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법에 관한 것이다. 본 발명의 실시예에 따른 이미지 처리 시스템은 대물 렌즈, 이미지 센서, 및 프로세서를 포함한다. 이미지 센서는 이미지 신호를 생성하는 픽셀 어레이를 포함하고, 이미지 신호에 기초하여 이미지 데이터를 생성한다. 프로세서는 보정 데이터 및 이미지 데이터에 기초하여 깊이 맵을 생성한다. 보정 데이터는 대물 렌즈의 위치 및 픽셀 어레이에 포함된 픽셀의 위치에 의존하는 값을 갖는다. 본 발명에 따르면, 픽셀의 위치에 따른 디스패리티 왜곡 및 대물 렌즈의 위치 변화를 고려하여, 정확성을 향상시킨 깊이 맵이 생성될 수 있다.

Description

깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법{IMAGE PROCESSING SYSTEM FOR MEASURGING DEPTH AND OPERATING METHOD OF THE SAME}
본 발명은 이미지 처리에 관한 것으로, 좀 더 상세하게는 깊이 측정을 위한이미지 처리 시스템 및 이의 동작 방법에 관한 것이다.
외부의 이미지를 촬영하고자 하는 요구에 따라, 디지털 카메라 및 디지털 캠코더뿐만 아니라, 스마트폰, 스마트 TV, 및 PC 등 다양한 전자 장치들에 이미지 센서가 구비되고 있다. 이러한 전자 장치들은 이미지를 표시하거나 획득하기 위한 이미지 처리를 수행할 수 있다. 이를 위하여, 전자 장치들은 이미지 신호 프로세서 등을 포함할 수 있다.
최근의 이미지 처리 시스템은 다양한 목적의 이미지 처리를 수행할 수 있다. 예를 들어, 외부로부터 획득된 이미지는 객체와 이미지 처리 시스템 사이의 거리를 측정하는데 사용될 수 있다. 이를 위하여, 이미지 처리 시스템은 거리에 관한 정보를 포함하는 깊이 맵을 생성할 수 있다. 일례로, 깊이 맵은 3차원 이미지를 생성하기 위하여 활용될 수 있다.
깊이 맵을 생성하기 위하여, 다양한 장치들 및 방법들이 이용되고 있다. 예를 들어, 깊이 맵은 특정 파형을 갖는 광을 객체로 조사한 후 반사된 광의 파형을 관찰하거나, 광이 되돌아오는 시간을 측정하거나, 복수의 카메라들을 통하여 스테레오 정보를 획득함으로써, 생성될 수 있다. 최근에는, 하나의 카메라에서 획득된 이미지들 사이의 위상 차(디스패리티)를 이용하여 깊이 맵을 생성하는 방법이 각광받고 있으며, 깊이 맵의 정확성을 향상시키기 위한 요구가 제기되고 있다.
본 발명은 픽셀의 위치에 따른 디스패리티 왜곡을 개선하고, 대물 렌즈의 위치에 따른 디스패리티 변화를 반영하여 깊이를 측정하기 위한 이미지 처리 시스템 및 이의 동작 방법을 제공할 수 있다.
본 발명의 실시예에 따른 이미지 처리 시스템은 대물 렌즈, 이미지 센서, 및 프로세서를 포함한다. 대물 렌즈는 외부의 광을 전달하고, 포커스 정보에 기초하여 이동한다. 이미지 센서는 광에 기초하여 이미지 신호를 생성하는 픽셀 어레이를 포함하고, 이미지 신호에 기초하여 이미지 데이터를 생성한다. 프로세서는 포커스 정보를 생성하고, 보정 데이터 및 이미지 데이터에 기초하여 깊이 맵을 생성한다. 보정 데이터는 대물 렌즈의 위치 및 픽셀 어레이에 포함된 픽셀의 위치에 의존하는 값을 갖는다.
본 발명의 실시예에 따른 이미지 처리 시스템의 동작 방법은, 제1 위치의 대물 렌즈를 통하여 타겟 이미지를 캡처하여, 제1 이미지 데이터를 생성하는 단계, 제2 위치의 대물 렌즈를 통하여 타겟 이미지를 캡처하여, 제2 이미지 데이터를 생성하는 단계, 제1 이미지 데이터에 기초하여, 이미지 센서에 포함된 픽셀의 위치에 따른 제1 디스패리티 값을 계산하는 단계, 제2 이미지 데이터에 기초하여, 픽셀의 위치에 따른 제2 디스패리티 값을 계산하는 단계, 제1 및 제2 디스패리티 값들에 기초하여, 대물 렌즈의 위치에 따른 디스패리티 변화율을 계산하는 단계, 및 디스패리티 변화율을 포함하는 보정 데이터를 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 이미지 처리 시스템의 동작 방법은, 복수의 픽셀들을 포함하는 이미지 센서로 외부 이미지를 캡처하여, 이미지 데이터를 생성하는 단계, 외부 이미지의 캡처 시 대물 렌즈의 위치 및 보정 데이터에 기초하여, 디스패리티 범위를 생성하는 단계, 디스패리티 범위에 대응되는 비용 함수를 생성하는 단계, 및 비용 함수 및 상기 보정 데이터에 기초하여, 깊이 맵을 생성하는 단계를 포함한다. 보정 데이터는 복수의 픽셀들 각각의 대물 렌즈의 위치 변화에 따른 디스패리티 변화율을 포함한다.
본 발명의 실시 예에 따르면, 픽셀의 위치에 따른 디스패리티 왜곡을 보정함과 동시에, 자동 초점 기능에 따른 대물 렌즈의 위치 변화를 고려하여, 정확성을 향상시킨 깊이 맵이 생성될 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 처리 시스템의 예시적인 블록도이다.
도 2은 도 1의 이미지 센서의 예시적인 블록도이다.
도 3 및 도 4는 도 2의 픽셀 어레이에 포함된 픽셀들의 예시적인 구조를 도시한 도면이다.
도 5는 도 1의 이미지 처리 시스템이 자동 초점 기능을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 객체와 이미지 처리 시스템 사이의 거리와 디스패리티의 관계를 설명하기 위한 그래프이다.
도 7은 도 1의 이미지 처리 시스템에서 픽셀의 위치에 따른 디스패리티 왜곡을 설명하기 위한 도면이다.
도 8은 픽셀의 위치에 따른 디스패리티 왜곡을 설명하기 위한 디스패리티 맵을 도시한 도면이다.
도 9는 대물 렌즈의 위치와 디스패리티의 관계를 설명하기 위한 그래프이다.
도 10은 도 9에서 설명된 보정 데이터를 생성하는 방법을 설명하기 위한 순서도이다.
도 11은 도 9에서 설명된 보정 데이터를 이용하여 깊이 맵을 생성하는 방법을 설명하기 위한 순서도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.
도 1은 본 발명의 실시예에 따른 이미지 처리 시스템의 예시적인 블록도이다. 도 1을 참조하면, 이미지 처리 시스템(100)은 렌즈 유닛(110), 이미지 센서(120), 프로세서(130), 및 액츄에이터(140)를 포함할 수 있다. 이미지 처리 시스템(100)은 외부의 이미지를 획득하고, 획득된 이미지를 처리 및 저장하도록 구성될 수 있다.
렌즈 유닛(110)은 외부의 광을 굴절시켜 이미지 센서(120)에 전달할 수 있다. 이러한 광은 하나 이상의 광원으로부터 방출된 후 객체에 의하여 반사된 광일 수 있다. 렌즈 유닛(110)은 외부의 객체에 초점을 맞추도록 광을 굴절시킬 수 있다. 이를 위하여, 렌즈 유닛(110)은 복수의 대물 렌즈들(La, Lb)을 포함할 수 있다. 객체와 이미지 처리 시스템(100) 사이의 거리에 따라, 객체에 대한 이미지를 획득하기 위한 초점이 변화할 수 있다. 이를 위하여, 복수의 대물 렌즈들(La, Lb) 중 적어도 하나는 이동할 수 있다.
적어도 하나의 이동하는 대물 렌즈는 초점을 맞추기 위하여, 이미지 센서(120)로부터 멀어지거나 가까워질 수 있다. 객체가 대물 렌즈로부터 멀어질수록, 객체에 대응되는 결상면의 위치는 렌즈 유닛(110)에 가까워질 수 있다. 즉, 객체가 이미지 처리 시스템(100)으로부터 멀어질수록, 객체에 초점을 맞추기 위하여, 적어도 하나의 대물렌즈는 이미지 센서(120)에 가깝도록 이동할 수 있다. 적어도 하나의 대물 렌즈는 포커스 정보에 기초하여, 액츄에이터(140)의 제어 하에 이동할 수 있다. 포커스 정보는 프로세서(130)에 의하여 생성될 수 있다.
이미지 센서(120)는 렌즈 유닛(110)으로부터 전달된 광에 기초하여 이미지 데이터를 생성한다. 이미지 센서(120)는 광을 감지하여 전기 신호인 이미지 신호로 변환할 수 있다. 이를 위하여, 이미지 센서(120)는 복수의 픽셀들을 포함하는 픽셀 어레이를 포함할 수 있다. 이미지 센서(120)는 아날로그 신호인 이미지 신호를 디지털 신호인 이미지 데이터로 변환할 수 있다.
복수의 픽셀들 각각은 객체의 위치 또는 깊이(depth)를 측정하기 위하여, 복수의 포토 다이오드들을 포함할 수 있다. 예를 들어, 복수의 픽셀들 각각은 제1 포토 다이오드 및 제2 포토 다이오드를 포함한다고 가정한다. 복수의 픽셀들의 제1 포토 다이오드로부터 생성된 데이터에 의하여 제1 이미지 (일례로, 좌측 이미지)가 생성될 수 있고, 제2 포토 다이오드로부터 생성된 데이터에 의하여 제2 이미지 (일례로, 우측 이미지)가 생성될 수 있다. 여기에서, 제1 및 제2 이미지들은 이미지 데이터에 포함된다. 제1 이미지 및 제2 이미지의 위상 차 (또는 디스패리티(disparity))는 객체의 깊이를 측정하기 위하여 이용될 수 있다.
프로세서(130)는 이미지 데이터에 기초하여 다양한 이미지 처리를 수행할 수 있다. 프로세서(130)는 다양한 이미지 처리를 위한 연산 동작들을 수행할 수 있다. 일반적인 동작 모드에서, 프로세서(130)는 이미지 데이터가 디스플레이 장치(미도시)를 통하여 표시되도록 처리할 수 있다. 또한, 객체의 깊이를 측정하기 위한 동작 모드에서, 프로세서(130)는 객체에 대응되는 깊이 맵(depth map)을 생성할 수 있다. 이외에도, 프로세서(130)는 이미지 데이터를 압축하거나, 객체를 인식하는 등 다양한 동작 등을 수행할 수 있다.
프로세서(130)는 객체의 위치에 따라 초점을 맞추고, 객체의 깊이를 측정하기 위한 자동 초점 모듈(131) 및 깊이 모듈(132)을 포함할 수 있다. 설명의 편의상, 도 1에서, 자동 초점 모듈(131) 및 깊이 모듈(132)이 분리된 것으로 표현되나, 자동 초점 모듈(131) 및 깊이 모듈(132)은 하나의 기능 블록으로 구현될 수 있다. 자동 초점 모듈(131) 및 깊이 모듈(132)은 하드웨어로 구현되거나, 펌웨어, 소프트웨어, 또는 이의 조합으로 구현될 수 있다.
자동 초점 모듈(131)은 이미지 데이터를 분석하여, 객체에 초점이 맞는지 판단할 수 있다. 자동 초점 모듈(131)은 객체에 초점이 맞을 때까지 대물 렌즈를 이동시키도록 포커스 정보를 생성할 수 있다. 자동 초점 모듈(131)은 상술된 제1 및 제2 이미지들의 디스패리티에 기초하여, 객체에 초점이 맞는지 판단할 수 있다. 디스패리티는 제1 이미지 (또는 제2 이미지)의 한 점의 위치와 제2 이미지 (또는 제1 이미지)의 대응되는 점의 위치의 차이로 정의될 수 있다. 자동 초점 모듈(131)은 디스패리티 값이 기준 디스패리티를 만족하는지 판단하여, 객체에 초점이 맞는지 판단할 수 있다. 기준 디스패리티는 초점이 맞는 것으로 판단되는 디스패리티의 범위로 정의될 수 있다. 초점이 맞지 않는 경우, 자동 초점 모듈(131)은 대물 렌즈의 위치를 이동시키도록, 포커스 정보를 액츄에이터(140)에 제공할 수 있다.
깊이 모듈(132)은 이미지 데이터를 분석하여, 객체에 대한 깊이 맵을 생성할 수 있다. 깊이 모듈(132)은 상술된 제1 및 제2 이미지들의 디스패리티에 기초하여, 객체의 깊이를 측정할 수 있다. 객체와 이미지 처리 시스템(100) 사이의 거리가 변화에 따라, 디스패리티 값은 변화할 수 있다. 깊이 모듈(132)은 객체와 이미지 처리 시스템(100) 사이의 거리와 디스패리티 값의 관계를 통하여, 객체의 깊이를 측정할 수 있고, 깊이 맵을 생성할 수 있다.
깊이 모듈(132)은 보정 데이터를 이용하여, 깊이 맵의 정확도를 향상시킬 수 있다. 예를 들어, 깊이 모듈(132)은 광을 감지한 픽셀 어레이의 영역별로 다른 가중치 또는 비용 함수를 적용하여, 깊이 맵을 생성할 수 있다. 예를 들어, 동일한 거리에 존재하는 객체를 캡처한다고 하더라도, 픽셀 어레이의 영역마다 다른 디스패리티 값이 계산될 수 있다. 예를 들어, 픽셀 어레이의 중심으로부터 먼 영역의 픽셀들에 기초하여 생성된 이미지들의 디스패리티 값은, 픽셀 어레이의 중심과 가까운 픽셀들에 기초하여 생성된 이미지들의 디스패리티 값보다 작을 수 있다. 깊이 모듈(132)은 이러한 디스패리티의 왜곡을 보정 데이터를 이용하여 감소시킬 수 있다.
깊이 모듈(132)은 자동 초점 모듈(131)에 의한 대물 렌즈의 이동을 고려하여, 깊이 맵을 생성할 수 있다. 보정 데이터는 대물 렌즈의 위치 변화에 따른 디스패리티 변화율 정보를 포함할 수 있다. 깊이 모듈(132)은 보정 데이터를 이용하여, 대물 렌즈의 이동에 따른, 디스패리티 왜곡률의 변화를 계산할 수 있다. 깊이 모듈(132)은 변화된 디스패리티 왜곡률을 깊이 맵에 반영함으로써, 깊이 맵의 정확도를 향상시킬 수 있다. 예를 들어, 대물 렌즈가 이미지 센서(120)로부터 멀어질수록, 디스패리티 값이 증가할 수 있고, 픽셀의 위치에 따른 디스패리티 왜곡도 이에 따라 변할 수 있다. 보정 데이터는 픽셀의 위치 및 대물 렌즈의 위치 모두를 고려하여, 디스패리티 왜곡을 보정하도록 생성되어 프로세서(130)에 의하여 저장 및 관리될 수 있다.
액츄에이터(140)는 포커스 정보에 기초하여, 렌즈 유닛(110)의 적어도 하나의 대물 렌즈의 이동을 기계적으로 제어할 수 있다. 일례로, 액츄에이터(140)는 대물 렌즈의 이동을 위한 모터를 포함할 수 있다. 포커스 정보에 따라, 액츄에이터(140)는 객체에 초점을 맞추도록, 대물 렌즈를 이동시킬 수 있다.
도 2은 도 1의 이미지 센서의 예시적인 블록도이다. 도 2를 참조하면, 이미지 센서(120)는 픽셀 어레이(121), 로우 드라이버(122), 아날로그-디지털 변환 회로(123), 컬럼 드라이버(124), 및 타이밍 컨트롤러(125)를 포함할 수 있다. 도 2의 이미지 센서(120)는 하나의 실시예로 이해될 것이고, 도 1의 이미지 센서(120)가 이에 제한되지 않는다.
픽셀 어레이(121)는 제1 방향(DR1) 및 제2 방향(DR2)에 의하여 정의되는 평면 상에 배열된 복수의 픽셀들(PX)을 포함한다. 제1 방향(DR1)은 행 방향으로 정의되고, 제2 방향(DR2)은 열 방향으로 정의된다. 복수의 픽셀들(PX)의 구조는 도 3 및 도 4에서 후술된다. 복수의 픽셀들(PX) 각각은 외부로부터 감지된 광 신호를 전기 신호인 이미지 신호로 변환한다. 픽셀 어레이(121)는 구동 신호들에 응답하여 센싱된 이미지 신호를 출력한다. 픽셀 어레이(121)는 센싱된 이미지 신호를 복수의 컬럼 라인들을 통하여 아날로그-디지털 변환 회로(123)에 제공할 수 있다.
로우 드라이버(122)는 픽셀 어레이(121)에 포함된 하나 이상의 행을 선택할 수 있다. 선택된 행에 포함된 픽셀들(PX) 중 적어도 일부는 이미지 신호를 아날로그-디지털 변환 회로(123)에 제공할 수 있다. 이를 위하여, 로우 드라이버(122)는 행 선택 신호를 생성하여 픽셀 어레이(121)에 제공할 수 있다. 로우 드라이버(122)는 타이밍 컨트롤러(125)의 제어 하에 행 선택 신호를 생성할 수 있다.
아날로그-디지털 변환 회로(123)는 픽셀 어레이(121)로부터 출력된 이미지 신호를 디지털 신호인 이미지 데이터(ID)로 변환한다. 아날로그-디지털 변환 회로(123)는 타이밍 컨트롤러(125)의 제어 하에 이미지 신호를 디지털 샘플링할 수 있다.
컬럼 드라이버(124)는 픽셀 어레이(121)에 포함된 하나 이상의 열을 선택할 수 있다. 선택된 열에 포함된 픽셀들(PX) 중 적어도 일부는 이미지 신호를 아날로그-디지털 변환 회로(123)에 제공하고, 이미지 신호에 기초하여 생성된 이미지 데이터(ID)는 컬럼 드라이버(124)에 제공될 수 있다. 이를 위하여, 컬럼 드라이버(124)는 타이밍 컨트롤러(125)의 제어 하에 열 선택 신호를 생성할 수 있다. 이미지 데이터(ID)는 도 1의 프로세서(130)에 출력될 수 있다.
타이밍 컨트롤러(125)는 이미지 센서(120)의 전반적인 동작을 제어한다. 타이밍 컨트롤러(125)는 프로세서(130)로부터 제어 신호(CS)를 수신할 수 있다. 타이밍 컨트롤러(125)는 제어 신호(CS)에 기초하여, 로우 드라이버(122), 아날로그-디지털 변환 회로(123), 및 컬럼 드라이버(124)를 제어할 수 있고, 이미지 센서(120)를 구동시킬 수 있다.
도 3은 도 2의 픽셀 어레이에 포함된 픽셀들의 예시적인 구조를 도시한 도면이다. 도 3을 참조하면, 픽셀(PXa)은 제1 포토 다이오드부(PD1), 제2 포토 다이오드부(PD2), 및 마이크로 렌즈(ML)를 포함할 수 있다. 도 3의 픽셀(PXa)은 간략화된 하나의 실시예로 이해될 것이고, 도 2의 픽셀(PX) 구조가 이에 제한되지 않는다. 예를 들어, 픽셀(PXa)은 컬러 필터(미도시) 등을 더 포함할 수 있다.
제1 포토 다이오드부(PD1) 및 제2 포토 다이오드부(PD2)는 제1 방향(DR1)으로 인접하게 배치될 수 있다. 제1 방향(DR1) 및 제2 방향(DR2)은 도 2의 제1 방향(DR1) 및 제2 방향(DR2)에 대응된다. 제1 및 제2 포토 다이오드부들(PD1, PD2)은 도 1의 렌즈 유닛(110)을 통하여 입사된 광을 감지하여 전기 신호인 이미지 신호로 변환할 수 있다. 제1 포토 다이오드부(PD1)는 도 1에서 설명된 제1 이미지(좌측 이미지)의 일부를 생성하기 위하여 사용될 수 있다. 제2 포토 다이오드부(PD2)는 도 1에서 설명된 제2 이미지(우측 이미지)의 일부를 생성하기 위하여 사용될 수 있다.
제1 포토 다이오드부(PD1)와 제2 포토 다이오드부(PD2)의 위치가 서로 다르므로, 제1 이미지와 제2 이미지는 서로 다를 수 있다. 인간의 좌측 눈의 이미지와 우측 눈의 이미지가 서로 다르듯이, 제1 이미지와 제2 이미지는 서로 다를 수 있다. 제1 이미지와 제2 이미지의 위상 차 (또는 디스패리티)는 객체와 이미지 센서(120) 사이의 거리에 의존하며, 깊이 맵을 생성하거나 자동 초점 기능을 수행하기 위하여 이용될 수 있다. 즉, 제1 및 제2 포토 다이오드부들(PD1, PD2)에 의하여 이미지 센서(120)는 자동 초점 기능을 위한 센서의 역할도 수행할 수 있다. 따라서, 도 1의 이미지 처리 시스템(100)은 자동 초점 기능을 위한 별도의 위상 차 검출 센서를 요구하지 않고, 외부 이미지 전체에 대한 깊이를 측정할 수 있다.
마이크로 렌즈(ML)는 제1 및 제2 방향들(DR1, DR2)에 수직한 제3 방향(DR3)으로 제1 및 제2 포토 다이오드부들(PD1, PD2) 상에 배치된다. 마이크로 렌즈(ML)는 제1 및 제2 포토 다이오드부들(PD1, PD2)로 들어가는 광을 집광시켜, 광의 센싱 효과를 증가시킬 수 있다. 마이크로 렌즈(ML)는 도 2의 픽셀 어레이(121) 상에 복수로 제공될 수 있다.
도 4는 도 2의 픽셀 어레이에 포함된 픽셀들의 예시적인 구조를 도시한 도면이다. 도 4를 참조하면, 픽셀(PXb)은 제1 내지 제4 포토 다이오드부들(PD1~PD4) 및 마이크로 렌즈(ML)를 포함할 수 있다. 도 3과 마찬가지로, 도 4의 픽셀(PXb)은 간략화된 하나의 실시예로 이해될 것이고, 도 2의 픽셀(PX) 구조가 이에 제한되지 않는다.
제1 및 제2 포토 다이오드부들(PD1, PD2)은 제1 방향(DR1)으로 인접하게 배치될 수 있다. 제3 포토 다이오드부(PD3)는 제1 포토 다이오드부(PD1)와 제2 방향(DR2)으로 인접하게 배치될 수 있다. 제4 포토 다이오드부(PD4)는 제2 포토 다이오드부(PD2)와 제2 방향(DR2)으로 인접하게 배치되고, 제3 포토 다이오드부(PD3)와 제1 방향(DR1)으로 인접하게 배치될 수 있다. 마이크로 렌즈(ML)는 제3 방향(DR3)으로 제1 내지 제4 포토 다이오드부들(PD1~PD4) 상에 배치된다.
제1 내지 제4 포토 다이오드부들(PD1~PD4) 각각은 서로 다른 4개의 이미지들을 생성하기 위하여 사용될 수 있다. 도 3과 달리, 도 4의 픽셀(PXb) 구조를 통하여 4개의 이미지들(제1 내지 제4 이미지들)이 생성될 수 있다. 일례로, 제1 및 제2 이미지들의 위상 차, 제1 및 제3 이미지들의 위상 차, 및 제1 및 제4 이미지들의 위상 차 중 적어도 하나에 기초하여, 깊이 맵이 생성되고, 자동 초점 기능이 수행될 수 있다. 이 경우, 제1 방향(DR1), 제2 방향(DR2), 및 제4 방향(DR4)의 위상 차들이 깊이 측정을 위하여 고려될 수 있고, 객체의 깊이가 더욱 정확하게 측정될 수 있다.
도 5는 도 1의 이미지 처리 시스템이 자동 초점 기능을 수행하는 과정을 설명하기 위한 도면이다. 도 5의 렌즈 유닛(110)은 도 1의 렌즈 유닛(110)에 대응되고, 픽셀(PX)은 도 2의 픽셀(PX)에 대응된다. 설명의 편의상, 도 1 및 도 2의 도면 부호를 참조하여, 도 5가 설명된다.
렌즈 유닛(110)은 객체에 의하여 반사된 광을 픽셀 어레이(121)에 전달한다. 픽셀 어레이(121)에 포함된 복수의 픽셀들(PX) 각각은 마이크로 렌즈(ML)를 통하여 집광된 광을 센싱한다. 픽셀 어레이(121)에 포함된 제1 포토 다이오드부들(PD1)이 생성한 이미지 신호들에 의하여 제1 이미지(LI) (좌측 이미지)가 생성될 수 있다. 픽셀 어레이(121)에 포함된 제2 포토 다이오드부들(PD2)이 생성한 이미지 신호들에 의하여 제2 이미지(RI) (우측 이미지)가 생성될 수 있다.
프로세서(130)는 제1 이미지(LI) 및 제2 이미지(RI)를 매칭할 수 있다. 매칭 결과 생성된 결합 이미지(CI)를 참조하면, 예시적인 객체 a의 위치가 제1 이미지(LI) 및 제2 이미지(RI)에서 서로 다를 수 있다. 객체 a의 위치들의 차이에 기초하여, 디스패리티가 계산될 수 있다. 이미지 처리 시스템(100)과 객체 사이의 거리 변화에 따라, 디스패리티 값은 변할 수 있다. 디스패리티 값이 기준 디스패리티를 만족하지 않은 경우, 프로세서(130)는 객체에 초점이 맞지 않는 것으로 판단할 수 있다. 이 경우, 프로세서(130)는 렌즈 유닛(110)에 포함된 적어도 하나의 대물 렌즈를 이동시킬 수 있다. 프로세서(130)는 디스패리티 값이 기준 디스패리티를 만족할 때가지 액츄에이터(140)를 통하여 대물 렌즈를 이동시킬 수 있다.
도 5의 픽셀(PX)이 도 4의 픽셀(PXb)인 경우, 이미지 센서(120)는 제3 이미지 및 제4 이미지를 더 생성할 수 있다. 프로세서(130)는 제1 내지 제4 이미지들 중 2개의 이미지들을 매칭할 수 있다. 즉, 프로세서(130)는 다양한 방향들의 디스패리티를 계산하여, 자동 초점 기능을 수행하거나, 깊이 맵을 생성할 수 있다.
도 6은 객체와 이미지 처리 시스템 사이의 거리와 디스패리티의 관계를 설명하기 위한 그래프이다. 도 6을 참조하면, 가로축은 객체로부터 렌즈 유닛(110) 사이의 거리로 정의되고, 세로축은 픽셀 단위의 디스패리티 값의 크기로 정의된다. 디스패리티 값은 기설정된 디스패리티 0 값에 대한 상대적인 크기를 나타내는 것으로 이해될 것이다.
객체와 이미지 처리 시스템(100) 사이의 거리가 감소할수록, 디스패리티 값은 감소할 수 있다. 도 5를 참조하면, 객체와 이미지 처리 시스템(100) 사이의 거리가 감소할수록, 제1 이미지(LI)를 기준으로, 제2 이미지(RI)에서의 객체 a의 위치가 좌측으로 이동할 수 있다. 이는 디스패리티 값이 네거티브로 진행하는 것으로 도 6의 그래프에서 설명될 수 있다.
노멀(normal) 모드는 일반적인 이미지 캡처 동작을 위한 모드로 이해될 것이다. 이 경우, 객체와 이미지 처리 시스템(100) 사이의 거리에 따른 디스패리티 값의 크기는 제1 디스패리티(da)로 가정한다. 제1 디스패리티(da)는 제1 디스패리티 범위(dra)에 형성될 수 있다.
인피니티(infinity) 모드는 풍경을 캡처하는 것과 같이, 원거리의 이미지 캡처 동작을 위한 모드로 이해될 것이다. 즉, 대물 렌즈의 초점 위치가 원거리에 있는 경우이다. 이 경우, 객체와 이미지 처리 시스템(100) 사이의 거리에 따른 디스패리티 값의 크기는 제2 디스패리티(db)로 가정한다. 제2 디스패리티(db)는 제2 디스패리티 범위(drb)에 형성될 수 있다. 제2 디스패리티 범위(drb)의 상한 및 하한 각각은 제1 디스패리티 범위(dra)의 상한 및 하한보다 작은 값을 가질 수 있다. 동일한 객체의 위치에서, 제2 디스패리티(db)는 제1 디스패리티(da)보다 작은 값을 가질 수 있다.
대물 렌즈의 초점 위치가 원거리에 위치할 때, 제1 디스패리티(da)는 기준 디스패리티를 벗어나고, 제2 디스패리티(db)는 기준 디스패리티를 만족할 수 있다. 일례로, 객체가 이미지 처리 시스템(100)으로부터 1m에 떨어져 있을 때, 노멀 모드에서의 디스패리티는 약 10 픽셀 정도이나, 인피니티 모드에서의 디스패리티는 약 -15 픽셀 정도로 계산된다.
매크로(macro) 모드는 클로즈업과 같이, 근거리의 이미지 캡처 동작을 위한 모드로 이해될 것이다. 이 경우, 객체와 이미지 처리 시스템(100) 사이의 거리에 따른 디스패리티 값의 크기는 제3 디스패리티(dc)로 가정한다. 제3 디스패리티(dc)는 제3 디스패리티 범위(drc)에 형성될 수 있다. 제3 디스패리티 범위(drc)의 상한 및 하한 각각은 제1 디스패리티 범위(dra)의 상한 및 하한보다 큰 값을 가질 수 있다. 동일한 객체의 위치에서, 제3 디스패리티(dc)는 제1 디스패리티(da)보다 큰 값을 가질 수 있다.
대물 렌즈의 초점 위치가 근거리에 위치할 때, 제1 디스패리티(da)는 기준 디스패리티를 벗어나고, 제3 디스패리티(dc)는 기준 디스패리티를 만족할 수 있다. 일례로, 객체가 이미지 처리 시스템(100)으로부터 1m에 떨어져 있을 때, 노멀 모드에서의 디스패리티는 약 10 픽셀 정도이나, 매크로 모드에서의 디스패리티는 약 30 픽셀 정도로 계산된다.
이미지 처리 시스템(100)은 객체의 거리(깊이)에 따라, 대물 렌즈를 이동시켜 자동으로 초점을 맞출 수 있다. 다만, 대물 렌즈의 이동에 따라, 유효한 디스패리티 범위가 제1 내지 제3 디스패리티 범위들(dra~drc)과 같이 변화할 수 있다. 이미지 처리 시스템(100)이 깊이 맵을 생성할 때, 자동 초점 기능에 따른 대물 렌즈의 이동을 고려하지 않는다면, 디스패리티 값에 대응되는 깊이가 다르게 측정될 수 있다. 즉, 대물 렌즈의 위치 변화에 따라, 디스패리티 값과 객체의 깊이 사이의 상관 관계는 변화할 수 있다. 도 1의 프로세서(130)는 이러한 상관 관계의 변화를 고려한 보정 데이터를 관리할 수 있다.
도 7은 도 1의 이미지 처리 시스템에서 픽셀의 위치에 따른 디스패리티 왜곡을 설명하기 위한 도면이다. 도 7의 렌즈 유닛(110) 및 이미지 센서(120)는 도 1의 렌즈 유닛(110) 및 이미지 센서(120)에 대응된다. 렌즈 유닛(110)은 복수의 대물 렌즈들을 포함하며, 편의상 제1 및 제2 대물 렌즈들(La, Lb)을 포함하는 것으로 설명된다. 설명의 편의상, 도 1 및 도 2의 도면 부호를 참조하여, 도 7이 설명된다.
제1 및 제2 대물 렌즈들(La, Lb)을 통하여, 광은 이미지 센서(120)에 전달된다. 이미지 센서(120)는 픽셀 어레이(121)를 포함하며, 픽셀 어레이(121)는 제1 내지 제3 픽셀들(PX1~PX3)을 포함한다. 제1 내지 제3 픽셀들(PX1~PX3)은 제1 방향(DR1)으로 배열된 것으로 가정한다. 제1 픽셀(PX1)은 제1 및 제2 포토 다이오드부들(PD1, PD2)을 포함한다. 제2 픽셀(PX2)은 제3 및 제4 포토 다이오드부들(PD3, PD4)을 포함한다. 제3 픽셀(PX3)은 제5 및 제6 포토 다이오드부들(PD5, PD6)을 포함한다. 제1, 제3, 및 제5 포토 다이오드부들(PD1, PD3, PD5)은 도 3의 제1 포토 다이오드부(PD1)에 대응되고, 제2, 제4, 및 제6 포토 다이오드부들(PD2, PD4, PD6)은 도 3의 제2 포토 다이오드부(PD2)에 대응된다.
동일한 객체의 거리에 대응되는 디스패리티 값은 제1 내지 제3 픽셀들(PX1~PX3) 각각의 위치에 따라, 서로 다를 수 있다. 예를 들어, 제1 픽셀(PX1)의 광 감지에 기초하여 생성된 이미지의 디스패리티 값은 제2 픽셀(PX2)의 광 감지에 기초하여 생성된 이미지의 디스패리티 값과 다를 수 있다. 이는 픽셀의 위치에 따라, 디스패리티가 왜곡될 수 있기 때문이다. 특히, 픽셀 어레이(121)의 엣지 영역에서 디스패리티의 왜곡이 증가할 수 있다.
구체적으로, 픽셀의 위치에 따라, 렌즈 유닛(110)의 형상이 다르게 관찰될 수 있다. 일례로, 픽셀 어레이(121)의 중심부에 위치한 제2 픽셀(PX2)을 기준으로 제2 대물 렌즈(Lb)는 원형으로 보일 수 있다. 반면, 픽셀 어레이(121)의 엣지 영역에 위치한 제1 픽셀(PX1) 또는 제3 픽셀(PX3)을 기준으로 제2 대물 렌즈(Lb)의 형상은 왜곡될 수 있다.
제1 내지 제3 형상들(S1~S3) 각각은 제1 내지 제3 픽셀들(PX1~PX3)을 기준으로 보여지는 제2 대물 렌즈(Lb)의 형상을 나타낸다. 제1 형상(S1) 및 제3 형상(S3)은 제2 형상(S2)에 비하여 제1 방향(DR1)의 폭이 작다. 즉, 엣지 영역에서의 디스패리티 값인 제1 및 제3 디스패리티 값(d1, d3)은 제2 디스패리티 값(d2)보다 작을 수 있다. 도 1의 프로세서(130)는 픽셀 어레이(121)의 위치에 따른 디스패리티 왜곡을 보정하기 위한 보정 데이터를 관리할 수 있다. 동일한 거리에 있는 객체를 캡처한다고 가정할 때, 제1 및 제3 디스패리티 값(d1, d3)은 제2 디스패리티 값(d2)을 갖도록 보정될 수 있다.
제1 내지 제3 픽셀들(PX1~PX3)이 도 4의 픽셀(PXb)인 경우, 디스패리티 왜곡은 제1 방향(DR1)뿐만 아니라, 제2 방향(DR2)으로 발생될 수 있다. 이 경우, 보정 데이터는 제1 방향(DR1)의 디스패리티 왜곡 및 제2 방향(DR2)의 디스패리티 왜곡을 보정하는 값들을 더 포함할 수 있다. 나아가, 보정 데이터는 제1 및 제2 방향들(DR1, DR2)과 교차하는 방향(도 4의 제4 방향(DR4))의 디스패리티 왜곡을 보정하는 값들을 더 포함할 수 있다.
도 8은 픽셀의 위치에 따른 디스패리티 왜곡을 설명하기 위한 디스패리티 맵을 도시한 도면이다. 도 8의 디스패리티 맵은 균일한 거리에 형성된 타겟 이미지를 캡처한 결과 생성된 것으로 이해될 것이다. 타겟 이미지는 픽셀 어레이 전반에 걸쳐 동일한 거리에 동일한 패턴을 캡처할 수 있도록 구성될 수 있다.
디스패리티 맵은 도 5의 제1 이미지(LI) 및 제2 이미지(RI)를 매칭한 결과 계산되는 픽셀별 디스패리티를 반영한다. 또는 도 4의 픽셀(PXb)이 이미지 센서에 적용되는 경우, 디스패리티 맵은 제1 내지 제4 이미지들을 매칭한 결과 계산되는 픽셀별 디스패리티를 반영한다. 일례로, 디스패리티 값이 작을수록, 해당 영역은 디스패리티 맵에서 밝게 표시될 수 있다. 상술한 바와 같이, 객체의 깊이가 작을수록, 디스패리티 값이 작아지고, 해당 영역이 밝게 표시될 수 있다. 이상적인 디스패리티 맵은 균일한 거리에 형성된 타겟 이미지에 기초하여 생성되므로, 전반적으로 일정한 밝기를 가질 수 있다.
타겟 이미지에 기초하여 생성된 실제의 디스패리티 맵은 일정한 밝기를 갖지 않을 수 있다. 도 7에서 상술된 바와 같이, 엣지 영역에서 디스패리티는 왜곡되어 실제보다 작은 값을 가질 수 있다. 그 결과, 도 8에 도시된 바와 같이, 실제의 디스패리티 맵은 중심부에서 멀어질수록 밝게 표시될 수 있다. 실제의 디스패리티 맵에 기초하여 깊이 맵이 생성되는 경우, 엣지 영역에서 객체의 깊이가 실제보다 작게 깊이 맵에 나타날 수 있다. 보정 데이터는 이상적인 디스패리티 맵과 같도록 픽셀의 위치에 따른 디스패리티 왜곡을 보정하는데 사용될 수 있다.
도 9는 대물 렌즈의 위치와 디스패리티의 관계를 설명하기 위한 그래프이다. 도 9에서, 대물 렌즈의 위치와 디스패리티의 관계, 그리고 픽셀의 위치에 따른 디스패리티 왜곡을 고려한 보정 데이터가 구체적으로 설명된다. 도 9를 참조하면, 가로축은 대물 렌즈의 위치로 정의되고, 세로축은 픽셀 단위의 디스패리티 값의 크기로 정의된다. 대물 렌즈의 위치는 이동 가능한 대물 렌즈와 이미지 센서 사이의 거리로 이해될 것이다. 디스패리티 값은 기설정된 디스패리티 0 값에 대한 상대적인 크기를 나타내는 것으로 이해될 것이다. 객체의 깊이는 일정한 것으로 가정한다.
대물 렌즈와 이미지 센서 사이의 거리가 증가할수록, 디스패리티 값은 증가할 수 있다. 다만, 픽셀의 위치에 따라, 디스패리티의 변화율은 서로 다를 수 있다. 제1 함수(x1)는 제1 위치에 존재하는 픽셀에 대응되는 디스패리티 값을 나타내고, 제2 함수(x2)는 제2 위치에 존재하는 픽셀에 대응되는 디스패리티 값을 나타낸다. 제1 위치 및 제2 위치는 도 2의 픽셀 어레이(121)를 기준으로 제1 방향(DR1)으로 서로 다른 변위를 갖는다. 픽셀의 위치에 따른 디스패리티 왜곡은 제1 함수(x1) 및 제2 함수(x2)의 디스패리티의 변화율이 서로 다르게 되는 하나의 요인일 수 있다.
제1 함수(x1) 및 제2 함수(x2)를 참조하면, 대물 렌즈 위치의 변화에 따라 디스패리티 변화가 선형적이다. 제1 함수(x1) 및 제2 함수(x2)는 일차 함수로 근사될 수 있으며, 수학식 1과 같이 정의될 수 있다.
Figure pat00001
수학식 1을 참조하면, Δ(l,x)는 제1 방향(DR1)으로 x 위치의 픽셀 및 l 위치의 대물 렌즈에서의 디스패리티 값을 나타낼 수 있다. l0는 대물 렌즈의 타겟 위치로 정의되며, 타겟 위치는 보정 데이터의 생성 시에 기준이 되는, 대물 렌즈와 이미지 센서 사이의 거리로 정의될 수 있다. Δ(l0,x)는 x 위치의 픽셀 및 타겟 위치의 대물 렌즈에서의 디스패리티 값을 나타내며, 특정 픽셀 위치에 대하여 일정한 값을 가질 수 있다. r(x)는 x 위치의 픽셀에서, 대물 렌즈의 위치 변화에 따른 디스패리티 변화율을 나타낸다. 디스패리티 변화율은 특정 픽셀 위치에 대하여 일정한 값을 가질 수 있다.
보정 데이터는 픽셀의 위치별 디스패리티 변화율(r(x)), 타겟 위치(l0), 및 타겟 위치(l0)에 대응되는 디스패리티 정보를 포함할 수 있다. 여기에서, 픽셀의 위치는 픽셀 개개의 위치로 특정될 수 있으나, 이에 제한되지 않고, 인접한 복수의 픽셀들의 위치들을 포괄하는 픽셀 범위의 개념일 수 있다. 디스패리티 정보는 디스패리티 값(Δ(l0,x))을 포함할 수 있으나, 이에 제한되지 않고, 이상적인 디스패리티 값과 실제 디스패리티 값의 편차를 포함할 수 있다.
이미지 처리 시스템(100)은 깊이 맵을 생성하기 위하여, 사전에 보정 데이터를 생성할 수 있다. 이를 위하여, 이미지 처리 시스템(100)은 타겟 위치(l0) (제1 렌즈 위치)의 대물 렌즈를 통하여 타겟 이미지를 캡처하여 제1 이미지 데이터를 생성할 수 있다. 또한, 이미지 처리 시스템(100)은 타겟 위치(l0)와 다른 제2 렌즈 위치(l1)의 대물 렌즈를 통하여 동일한 타겟 이미지를 캡처하여 제2 이미지 데이터를 생성할 수 있다. 이미지 처리 시스템(100)은 제1 이미지 데이터에 기초하여, 디스패리티 값(Δ(l0,x))을 생성하고, 제2 이미지 데이터에 기초하여 디스패리티 값(Δ(l1,x))을 생성할 수 있다. 제1 및 제2 렌즈 위치들(l0, l1) 및 디스패리티 값들(Δ(l0,x), Δ(l1,x))을 수학식 1에 적용함으로써, 디스패리티 변화율(r(x))이 계산될 수 있고, 보정 데이터가 생성될 수 있다.
아울러, 픽셀이 도 4의 픽셀(PXb)인 경우, 제1 방향(DR1)뿐만 아니라, 제2 방향(DR2), 제4 방향(DR4)에 대응되는 디스패리티 변화율, 및 디스패리티 정보가 더 생성될 수 있다. 이 경우, 보정 데이터는 타겟 위치(l0), 다양한 방향들에 대응되는 디스패리티 변화율들 (일례로, r(x), r(y) 등), 및 타겟 위치(l0)에 대응되는 디스패리티 정보 (일례로, Δ(l0,x), Δ(l0,y) 등)를 포함할 수 있다.
도 10은 도 9에서 설명된 보정 데이터를 생성하는 방법을 설명하기 위한 순서도이다. 도 10의 방법은 도 1의 이미지 처리 시스템(100)을 이용하여 수행될 수 있으며, 해당 방법을 통하여 생성되는 보정 데이터는 외부 이미지에 대한 깊이 맵을 생성하기 전에 미리 프로세서(130)에 의하여 관리될 수 있다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 10이 설명된다.
S110 단계에서, 이미지 처리 시스템(100)은 제1 렌즈 위치에 기초하여, 타겟 이미지를 캡처한다. 제1 렌즈 위치는 이동 가능한 대물 렌즈와 이미지 센서(120) 사이의 거리를 의미할 수 있다. 일례로, 제1 렌즈 위치는 도 10의 타겟 위치(l0) 또는 제1 렌즈 위치에 대응된다. 타겟 이미지는 도 8에서 설명된 타겟 이미지에 대응된다. 캡처 결과, 이미지 처리 시스템(100)은 서로 다른 위상 차를 갖는 2개 이상의 이미지들을 생성할 수 있다. 이러한 이미지들은 제1 이미지 데이터로 설명된다.
S120 단계에서, 이미지 처리 시스템(100)은 제2 렌즈 위치에 기초하여, 타겟 이미지를 캡처한다. 일례로, 제2 렌즈 위치는 도 10의 제2 렌즈 위치(l1)에 대응되며, 제1 렌즈 위치와 다를 수 있다. 타겟 이미지는 S110 단계의 타겟 이미지와 동일하다. 캡처 결과, 이미지 처리 시스템(100)은 서로 다른 위상 차를 갖는 2개 이상의 이미지들을 생성할 수 있다. 이러한 이미지들은 제2 이미지 데이터로 설명된다.
S130 단계에서, 이미지 처리 시스템(100)은 제1 이미지 데이터 및 제2 이미지 데이터의 디스패리티 값들을 계산한다. 이미지 처리 시스템(100)은 제1 이미지 데이터에 기초하여, 제1 렌즈 위치에 대응되는 디스패리티 값들 (제1 디스패리티 값)을 픽셀의 위치에 따라 계산할 수 있다. 이미지 처리 시스템(100)은 제2 렌즈 위치에 대응되는 디스패리티 값들 (제2 디스패리티 값)을 픽셀의 위치에 따라 계산할 수 있다.
S140 단계에서, 이미지 처리 시스템(100)은 제1 디스패리티 값이 제1 기준 범위에 포함되는지 판단하고, 제2 디스패리티 값이 제2 기준 범위에 포함되는지 판단할 수 있다. 예를 들어, 제1 렌즈 위치가 도 6의 노멀 모드의 대물 렌즈의 위치에 대응되는 경우, 제1 기준 범위는 제1 디스패리티 범위(dra)를 포함할 수 있다. 제2 렌즈 위치가 도 6의 인피니티 모드의 대물 렌즈의 위치에 대응되는 경우, 제2 기준 범위는 제2 디스패리티 범위(drb)를 포함할 수 있다. 제1 및 제2 디스패리티 값들 각각이 제1 및 제2 기준 범위에 포함되는 경우, S150 단계가 진행된다. 제1 및 제2 디스패리티 값들 각각이 제1 및 제2 기준 범위를 벗어나는 경우, S160 단계가 진행된다.
S150 단계에서, 이미지 처리 시스템(100)은 보정 데이터를 생성한다. 이미지 처리 시스템(100)은 제1 및 제2 렌즈 위치들 및 제1 및 제2 디스패리티 값들을 수학식 1에 적용함으로써, 대물 렌즈의 위치 변화에 다른 디스패리티 변화율을 계산할 수 있다. 이미지 처리 시스템(100)은 제1 렌즈 위치 (또는 제2 렌즈 위치), 제1 디스패리티 값 (또는 제2 디스패리티 값), 및 디스패리티 변화율을 보정 데이터로 관리할 수 있다. 보정 데이터는 이미지 처리 시스템(100)의 메모리(미도시) 등에 저장될 수 있고, 추후 깊이 맵 생성시에 사용할 수 있다.
S160 단계에서, 제1 및 제2 기준 범위를 벗어나는 제1 및 제2 디스패리티 값들은 걸러진다(screen out). 일례로, 기준 범위를 벗어나는 것은 제1 이미지에서 캡처된 영역이 제2 이미지에 존재하지 않거나, 제2 이미지에서 캡처된 영역이 제1 이미지에 존재하지 않는 것으로 이해될 수 있다. 이러한 이미지 영역은 위상 차가 계산될 수 없으므로, 걸러질 수 있다.
도 11은 도 9에서 설명된 보정 데이터를 이용하여 깊이 맵을 생성하는 방법을 설명하기 위한 순서도이다. 도 11의 방법은 도 1의 이미지 처리 시스템(100) 및 도 10의 방법을 통하여 생성되는 보정 데이터를 이용하여 수행될 수 있다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 11이 설명된다.
S210 단계에서, 이미지 처리 시스템(100)은 외부 이미지를 캡처한다. 외부 이미지를 캡처할 때, 자동 초점 모듈(131)에 의하여 렌즈 유닛(110)의 적어도 하나의 대물 렌즈가 이동할 수 있다. 일례로, 이미지 처리 시스템(100)은 제1 포토 다이오드부 및 제2 포토 다이오드부를 이용하여 외부 이미지를 캡처함으로써, 제1 및 제2 이미지들을 생성할 수 있다. 자동 초점 모듈(131)은 제1 및 제2 이미지들 사이의 위상 차 (또는 디스패리티)에 기초하여 초점을 맞추도록 대물 렌즈의 위치를 조절할 수 있다.
일례로, 도 6에서 설명된 바와 같이, 자동 초점 모듈(131)은 제1 및 제2 이미지들에 의하여 계산된 디스패리티가 기준 디스패리티에 포함되는지 판단할 수 있다. 기준 디스패리티에 포함되지 않는 경우, 자동 초점 모듈(131)은 포커스 정보를 생성하여, 대물 렌즈의 위치를 이동시킬 수 있다. 아울러, 이미지 센서(120)에 도 4의 픽셀(PXb)이 적용되는 경우, 자동 초점 모듈(131)은 제1 내지 제4 이미지들에 의하여 계산된 디스패리티들을 모두 고려하여, 대물 렌즈를 이동시킬 수 있다.
S220 단계에서, 이미지 처리 시스템(100)은 대물 렌즈의 위치에 기초하여, 디스패리티 범위를 결정할 수 있다. 디스패리티 범위는 보정 데이터에 기초하여 추정될 수 있다. 일례로, 보정 데이터의 디스패리티 변화율을 참조하여, 대물 렌즈의 위치에 따른 디스패리티 범위가 계산될 수 있다. 도 6에서 설명된 바와 같이, 대물 렌즈의 위치 변화에 따라, 디스패리티 범위는 변할 수 있다. 대물 렌즈의 위치가 이미지 센서(120)로부터 가까울수록, 디스패리티 범위의 상한 및 하한은 감소할 수 있다.
디스패리티 왜곡을 보정하기 위한 비용 함수를 참조하면, 대물 렌즈의 위치에 따라, 디스패리티 범위는 이동할 수 있다. 일례로, 객체가 근거리에 위치하여, 대물 렌즈의 위치가 이미지 센서(120)로부터 멀어질 수 있다. 이 경우, 디스패리티 범위는 제1 디스패리티 범위(dr1)에서 제2 디스패리티 범위(dr2)로 변경될 수 있다.
S230 단계에서, 이미지 처리 시스템(100)은 픽셀의 위치에 따른 디스패리티 왜곡을 보정하기 위하여 비용 함수를 보정할 수 있다. S220 단계에서, 결정된 디스패리티 범위(dr) 하에서, 디스패리티 값은 보정 데이터에 기초하여 조절될 수 있다. 보정 데이터는 픽셀의 위치별 디스패리티 정보를 포함한다. 이미지 처리 시스템(100)은 픽셀의 위치별 디스패리티 정보에 기초하여, 영역별 비용 함수를 조절할 수 있다.
비용 함수에서 가장 작은 값에 대응되는 디스패리티가 추정된 디스패리티 값일 수 있다. 도 7에서 설명된 바와 같이, 엣지 영역의 디스패리티 값(d1)은 실제 디스패리티 값(d2)보다 작을 수 있다. 이미지 처리 시스템(100)은 왜곡된 디스패리티 값을 비용 함수에 반영하여, 엣지 영역에 대응되는 디스패리티 값을 조절할 수 있다. 비용 함수의 조절에 따라, 깊이 맵 생성의 정확도가 향상될 수 있다.
S240 단계에서, 이미지 처리 시스템(100)은 S220 및 S230 단계들로부터 결정된 비용 함수에 기초하여, 깊이 맵을 생성할 수 있다. S220 단계에서 추정된 디스패리티 범위 및 S230 단계에서 조절될 디스패리티 값에 기초하여, 깊이 모듈(132)은 디스패리티를 깊이 정보로 변환할 수 있다. 이러한 깊이 정보에 기초하여, 외부 이미지에 대응되는 깊이 맵이 생성될 수 있다.
도 11은 보정 데이터에 기초하여, 비용 함수를 선행적으로 보정한 후, 보정된 비용 함수를 이용하여 깊이 맵을 생성하는 것으로 설명하나, 이에 제한되지 않는다. 예를 들어, 이미지 처리 시스템(100)은 보정 데이터를 반영하지 않고 선행적으로 깊이 맵을 생성한 후, 보정 데이터에 기초하여 깊이 맵을 후처리할 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100: 이미지 처리 시스템 110: 렌즈 모듈
120: 이미지 센서 130: 프로세서
131: 자동 초점 모듈 132: 깊이 모듈
140: 액츄에이터 PX, PXa, PXb: 픽셀
PD1~PD6: 포토 다이오드부

Claims (10)

  1. 외부의 광을 전달하고, 포커스 정보에 기초하여 이동하는 대물 렌즈;
    상기 광에 기초하여 이미지 신호를 생성하는 픽셀 어레이를 포함하고, 상기 이미지 신호에 기초하여 이미지 데이터를 생성하는 이미지 센서; 및
    상기 포커스 정보를 생성하고, 보정 데이터 및 상기 이미지 데이터에 기초하여 깊이 맵을 생성하는 프로세서를 포함하되,
    상기 보정 데이터는, 상기 대물 렌즈의 위치 및 상기 픽셀 어레이에 포함된 픽셀의 위치에 의존하는 값을 갖는 이미지 처리 시스템.
  2. 제1 항에 있어서,
    상기 픽셀은,
    상기 광에 기초하여 제1 신호를 생성하는 제1 포토 다이오드부; 및
    상기 광에 기초하여 제2 신호를 생성하는 제2 포토 다이오드부를 포함하고,
    상기 이미지 데이터는 상기 제1 신호에 기초하여 생성되는 제1 이미지 및 상기 제2 신호에 기초하여 생성되는 제2 이미지를 포함하고,
    상기 프로세서는 상기 제1 이미지 및 상기 제2 이미지의 위상 차를 상기 보정 데이터로 보정하여 상기 깊이 맵을 생성하는 이미지 처리 시스템.
  3. 제2 항에 있어서,
    상기 프로세서는 상기 위상 차에 기초하여 상기 포커스 정보를 생성하는 이미지 처리 시스템.
  4. 제1 항에 있어서,
    상기 프로세서는 상기 보정 데이터에 기초하여, 상기 대물 렌즈의 상기 위치에 대응되는 디스패리티 범위를 생성하고, 상기 디스패리티 범위에 대응되는 이미지 데이터의 일부를 선택하는 이미지 처리 시스템.
  5. 제4 항에 있어서,
    상기 대물 렌즈의 상기 위치가 상기 이미지 센서로부터 멀어질수록, 상기 디스패리티 범위의 상한 및 하한은 증가하는 이미지 처리 시스템.
  6. 제1 항에 있어서,
    상기 프로세서는 상기 보정 데이터 및 상기 픽셀의 상기 위치에 기초하여, 디스패리티 값을 조절하는 이미지 처리 시스템.
  7. 제6 항에 있어서,
    상기 픽셀의 상기 위치가 상기 픽셀 어레이의 중심으로부터 멀어질수록, 상기 디스패리티 값의 조절되는 크기는 증가하는 이미지 처리 시스템.
  8. 제1 항에 있어서,
    상기 보정 데이터는, 상기 대물 렌즈의 타겟 위치, 상기 타겟 위치에서 상기 픽셀의 상기 위치에 따른 디스패리티 정보, 및 상기 대물 렌즈의 위치 변화에 따른 디스패리티 변화율을 포함하는 이미지 처리 시스템.
  9. 이미지 처리 시스템의 동작 방법에 있어서,
    제1 위치의 대물 렌즈를 통하여 타겟 이미지를 캡처하여, 제1 이미지 데이터를 생성하는 단계;
    제2 위치의 상기 대물 렌즈를 통하여 상기 타겟 이미지를 캡처하여, 제2 이미지 데이터를 생성하는 단계;
    상기 제1 이미지 데이터에 기초하여, 이미지 센서에 포함된 픽셀의 위치에 따른 제1 디스패리티 값을 계산하는 단계;
    상기 제2 이미지 데이터에 기초하여, 상기 픽셀의 상기 위치에 따른 제2 디스패리티 값을 계산하는 단계;
    상기 제1 및 제2 디스패리티 값들에 기초하여, 상기 대물 렌즈의 위치에 따른 디스패리티 변화율을 계산하는 단계; 및
    상기 디스패리티 변화율을 포함하는 보정 데이터를 생성하는 단계를 포함하는 방법.
  10. 제9 항에 있어서,
    상기 제1 이미지 데이터는, 상기 픽셀의 제1 포토 다이오드부로부터 생성된 제1 이미지 및 상기 픽셀의 제2 포토 다이오드부로부터 생성된 제2 이미지를 포함하고,
    상기 제2 이미지 데이터는, 상기 제1 포토 다이오드부로부터 생성된 제3 이미지 및 상기 제2 포토 다이오드부로부터 생성된 제4 이미지를 포함하고,
    상기 제1 디스패리티 값은 상기 제1 이미지 및 상기 제2 이미지의 위상 차에 기초하여 계산되고,
    상기 제2 디스패리티 값은 상기 제3 이미지 및 상기 제4 이미지의 위상 차에 기초하여 계산되는 방법.
KR1020190015109A 2019-02-08 2019-02-08 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법 KR20200097865A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190015109A KR20200097865A (ko) 2019-02-08 2019-02-08 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법
US16/595,798 US11233961B2 (en) 2019-02-08 2019-10-08 Image processing system for measuring depth and operating method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190015109A KR20200097865A (ko) 2019-02-08 2019-02-08 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20200097865A true KR20200097865A (ko) 2020-08-20

Family

ID=71946352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190015109A KR20200097865A (ko) 2019-02-08 2019-02-08 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법

Country Status (2)

Country Link
US (1) US11233961B2 (ko)
KR (1) KR20200097865A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
US11615594B2 (en) * 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2948521B1 (fr) 2009-07-21 2012-01-27 Dxo Labs Procede d'estimation d'un defaut d'un systeme de capture d'images et systemes associes
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US20120007954A1 (en) 2010-07-08 2012-01-12 Texas Instruments Incorporated Method and apparatus for a disparity-based improvement of stereo camera calibration
US9485495B2 (en) * 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
KR101905408B1 (ko) 2012-01-17 2018-10-08 엘지이노텍 주식회사 카메라 모듈, 그의 오토 포커스 방법 및 오토 포커스 캘리브레이션하는 방법
JP2014220704A (ja) 2013-05-09 2014-11-20 ソニー株式会社 画像処理装置および画像処理方法
JP2015156607A (ja) 2014-02-21 2015-08-27 ソニー株式会社 画像処理装置、画像処理装置、及び電子機器
US9445018B2 (en) 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
US9628695B2 (en) 2014-12-29 2017-04-18 Intel Corporation Method and system of lens shift correction for a camera array
US10091409B2 (en) 2014-12-30 2018-10-02 Nokia Technologies Oy Improving focus in image and video capture using depth maps
US9704254B2 (en) * 2015-03-27 2017-07-11 Intel Corporation Stereo image matching by shape preserving filtering of a cost volume in a phase domain
US10070042B2 (en) * 2016-12-19 2018-09-04 Intel Corporation Method and system of self-calibration for phase detection autofocus
KR102441363B1 (ko) 2017-07-13 2022-09-07 삼성전자주식회사 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법
US11463677B2 (en) 2017-07-13 2022-10-04 Samsung Electronics Co., Ltd. Image signal processor, image processing system and method of binning pixels in an image sensor
WO2019048904A1 (en) * 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA

Also Published As

Publication number Publication date
US20200260029A1 (en) 2020-08-13
US11233961B2 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
US8018524B2 (en) Image-pickup method and apparatus having contrast and phase difference forcusing methods wherein a contrast evaluation area is changed based on phase difference detection areas
US9832362B2 (en) Image-capturing apparatus
KR101093383B1 (ko) 영상 포착 장치를 위한 시스템 및 방법
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
US8648961B2 (en) Image capturing apparatus and image capturing method
KR20180066116A (ko) 스테레오 카메라 및 구조화 광을 사용하는 헤드 마운트 디스플레이로의 깊이 맵핑
JP2008026802A (ja) 撮像装置
KR20200097865A (ko) 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법
US9667853B2 (en) Image-capturing apparatus
KR20150074641A (ko) 자동 초점 조절 방법 및 자동 초점 조절 장치
CN102928197B (zh) 聚焦检测器和包括聚焦检测器的镜头装置和图像拾取装置
US20110228100A1 (en) Object tracking device and method of controlling operation of the same
US20140022636A1 (en) Optical apparatus used in 3d image pickup system
WO2016140066A1 (ja) 信号処理装置、信号処理方法、プログラム、電子機器、及び、撮像素子
JP2019082468A (ja) 撮像装置及び撮像装置の制御方法
WO2016080153A1 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
US8792048B2 (en) Focus detection device and image capturing apparatus provided with the same
US7831091B2 (en) Pattern matching system
JP6967464B2 (ja) 画像処理装置
CN105472237A (zh) 摄像设备和摄像方法
JP2023115356A (ja) 計測装置、撮像装置、制御方法及びプログラム
US20150281552A1 (en) Image-capturing apparatus
WO2016080157A1 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP2019168479A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US9578230B2 (en) Image capturing apparatus that performs shading correction and control method therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal