KR102562360B1 - 깊이 정보를 획득하는 방법 및 카메라 모듈 - Google Patents

깊이 정보를 획득하는 방법 및 카메라 모듈 Download PDF

Info

Publication number
KR102562360B1
KR102562360B1 KR1020180119341A KR20180119341A KR102562360B1 KR 102562360 B1 KR102562360 B1 KR 102562360B1 KR 1020180119341 A KR1020180119341 A KR 1020180119341A KR 20180119341 A KR20180119341 A KR 20180119341A KR 102562360 B1 KR102562360 B1 KR 102562360B1
Authority
KR
South Korea
Prior art keywords
phase
pixel
light
period
information
Prior art date
Application number
KR1020180119341A
Other languages
English (en)
Other versions
KR20200039418A (ko
Inventor
김형진
박주언
김윤성
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020180119341A priority Critical patent/KR102562360B1/ko
Priority to PCT/KR2019/013133 priority patent/WO2020071883A1/ko
Priority to CN201980065857.2A priority patent/CN112806000B/zh
Priority to US17/277,157 priority patent/US20210373163A1/en
Priority to EP19868600.8A priority patent/EP3863283A4/en
Priority to JP2021517366A priority patent/JP7498703B2/ja
Publication of KR20200039418A publication Critical patent/KR20200039418A/ko
Application granted granted Critical
Publication of KR102562360B1 publication Critical patent/KR102562360B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

일 실시 예에 따라, 깊이 정보를 획득할 수 있는 카메라 모듈에 있어서 제 1 주기 및 제 2 주기 동안 획득한 광을 이용하여 객체에 대한 깊이 이미지를 획득하는 방법이 개시된다. 카메라 모듈은 제 1 수신 픽셀 및 제 2 수신 픽셀에서 제 1 주기 및 제 2 주기 동안 획득한 광을 이용하여 객체에 대한 깊이 이미지를 획득할 수 있다.

Description

깊이 정보를 획득하는 방법 및 카메라 모듈 {Method and camera module for acquiring depth information}
본 개시는 깊이 정보를 획득하는 방법 및 카메라 모듈에 대한 것이다.
광을 출력하여 객체에 반사시킴으로서 정보를 획득하는 장치가 여러 분야에서 이용되고 있다. 예를 들면, 3D 카메라에서부터 거리 측정 기법에 이르기 까지, 광을 출력하여 정보를 획득하는 기술은 여러 방식으로 이용되고 있다.
일 예로, TOF(Time of Flight)는 광이 출력된 시점과 객체에서 반사되어 되돌아온 수신광의 수신시점 사이의 시간차를 측정하여 거리를 측정하는 원리를 나타내는 용어로서, TOF 기술은 구현 방법이 간단하기 때문에 항공, 조선, 토목, 카메라, 측량 등 다양 한 분야에서 이용되고 있다.
또한 이와 관련하여 하드 웨어 대비 좋은 성능을 갖는 카메라에 대한 니즈가 증가하고 있다.
본 개시는 하나 이상의 실시 예에 따라 깊이 정보를 획득하는 방법 및 카메라 모듈을 제공할 수 있다. 일 실시 예에 따라, 깊이 정보를 획득할 수 있는 카메라 모듈에 있어서 제 1 주기 및 제 2 주기 동안 획득한 광을 이용하여 객체에 대한 깊이 이미지를 획득하는 방법이 개시된다. 카메라 모듈은 제 1 수신 픽셀 및 제 2 수신 픽셀에서 제 1 주기 및 제 2 주기 동안 획득한 광을 이용하여 객체에 대한 깊이 이미지를 획득할 수 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제들이 더 포함될 수 있다.
제 1 측면에 따른 카메라 모듈은 광을 객체로 출력하는 광원; 상기 객체로부터 반사된 광을 수신 픽셀들을 통해 수신하는 리시버; 및 상기 광원이 출력한 광과 상기 리시버가 수신한 광의 위상 차를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 프로세서;를 포함하고, 상기 수신 픽셀들은 제 1 수신 픽셀 및 제 2 수신 픽셀을 포함하고, 상기 제 1 수신 픽셀은 제 1 주기의 제 1 위상 시점 및 제 2 주기의 제 2 위상 시점에 각각 광을 수신하고, 상기 제 2 수신 픽셀은 제 1 주기의 제 3 위상 시점 및 제 2 주기의 제 4 위상 시점에 각각 광을 수신하고, 상기 프로세서는 상기 제 1 주기 및 상기 제 2 주기 동안 획득된 정보를 이용하여 상기 객체에 대한 깊이 이미지를 획득할 수 있다.
또한, 상기 제 1 위상 시점 내지 제 4 위상 시점은 0°, 90°, 180° 및 270°중 어느 하나에 대응하고 서로 상이할 수 있다.
또한, 상기 제 1 수신 픽셀 및 상기 제 2 수신 픽셀은 서로 인접할 수 있다.
또한, 프로세서는 상기 제 1 수신 픽셀에서의 상기 제 3 위상 시점에 대한 정보를 상기 제 1 수신 픽셀과 인접한 픽셀이 상기 제 3 위상 시점에서 획득한 정보로 보간할 수 있다.
상기 제 3 위상 시점에 대한 정보는 상기 제 3 위상 시점에 수신된 광에 대한 전하량 정보를 포함할 수 있다.
또한,상기 프로세서는 초해상 기법(super resolution)을 적용하여 해상도를 높일 수 있다.
또한, 상기 리시버는 상기 수신 픽셀들을 구획하여 획득된 제 1 블록과 제 2 블록을 포함하고, 상기 프로세서는 상기 제 1 블록을 통해 수신된 광과 상기 제 2 블록을 통해 수신된 광을 모두 이용하여 상기 깊이 정보를 획득할 수 있다.
또한, 상기 제 1 블록에 포함된 2개의 픽셀들과 상기 제 2 블록에 포함된 2개의 픽셀들 중 1개의 픽셀이 중복될 수 있다.
제 2 측면에 따른 깊이 정보 획득 방법은 광을 객체로 출력하는 단계; 제 1 주기의 제 1 위상 시점에 제 1 수신 픽셀을 이용하여 광을 수신하고, 제 1 주기의 제 3 위상 시점에 제 2 수신 픽셀을 이용하여 광을 수신하는 단계; 제 2 주기의 제 2 위상 시점에 제 1 수신 픽셀을 이용하여 광을 수신하고, 제 2 주기의 제 4 위상 시점에 제 2 수신 픽셀을 이용하여 광을 수신하는 단계; 및 상기 제 1 주기 및 상기 제 2 주기 동안 획득된 정보를 이용하여 상기 객체에 대한 깊이 이미지를 획득하는 단계;를 포함할 수 있다.
또한, 상기 제 1 위상 시점 내지 제 4 위상 시점은 0°, 90°, 180° 및 270°중 어느 하나에 대응하고 서로 상이할 수 있다.
또한, 상기 제 1 수신 픽셀 및 상기 제 2 수신 픽셀은 서로 인접할 수 있다.
또한, 상기 제 1 수신 픽셀이 상기 제 1 주기 동안 획득한 광을 이용하여 획득한 깊이 정보를 상기 제 1 수신 픽셀과 대각선으로 인접한 하나 이상의 픽셀이 상기 제 1 주기 동안 획득한 광에 대한 정보를 이용하여 보간하는 단계를 더 포함할 수 있다.
제 3 측면은 제 2 측면에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 개시는 하나 이상의 실시 예에 따라 깊이 정보를 획득하는 방법 및 카메라 모듈을 제공할 수 있다. 일 실시 예에 따라, 깊이 정보를 획득할 수 있는 카메라 모듈에 있어서 제 1 주기 및 제 2 주기 동안 획득한 광을 이용하여 객체에 대한 깊이 이미지를 획득하는 방법이 개시된다.
도 1은 일 실시 예에 따른 카메라 모듈의 구성 및 동작을 나타내는 블록도이다.
도 2는 일 실시 예에 따른 카메라 모듈의 단면도를 도시한다.
도 3은 일 실시 예에 따른 카메라 모듈이 제 1 픽셀 및 제 2 픽셀이 제 1 주기 및 제 2 주기 동안 획득한 광을 이용하여 객체에 대한 깊이 이미지를 획득하는 일 예를 도시한다.
도 4는 도 3에 따른 카메라 모듈의 동작을 시간의 흐름에 따라 설명하는 타이밍도이다.
도 5는 일 실시 예에 따라 제 1 주기 동안 제 1 픽셀에 phase 0°의 위상 신호가 인가되고, 제 2 픽셀에 phase 180°의 위상 신호가 인가되고, 제 2 주기 동안 제 1 픽셀에 phase 90°의 위상 신호가 인가되고, 제 2 픽셀에 phase 270°의 위상 신호가 인가되는 일 예를 나타내는 도면이다.
도 6은 도 5에 따른 카메라 모듈의 동작을 시간의 흐름에 따라 설명하는 타이밍도이다.
도 7은 일 실시 예에 따라 제 1 주기 동안 제 1 픽셀에 phase 0°의 위상 신호가 인가되고, 제 2 픽셀에 phase 90°의 위상 신호가 인가되고, 제 2 주기 동안 제 1 픽셀에 phase 270°의 위상 신호가 인가되고, 제 2 픽셀에 phase 180°의 위상 신호가 인가되는 일 예를 나타내는 도면이다.
도 8은 도 7에 따른 카메라 모듈의 동작을 시간의 흐름에 따라 설명하는 타이밍도이다.
도 9는 일 실시 예에 따라 제 1 픽셀 및 제 2 픽셀이 가로로 인접하는 일 예를 나타내는 도면이다.
도 10은 일 실시 예에 따라 제 1 픽셀 및 제 3 픽셀이 가로로 인접하고, 제 2 픽셀 및 제 4 픽셀이 가로로 인접하여 카메라 모듈이 동작하는 일 예를 나타내는 도면이다.
도 11은 카메라 모듈이 초해상도(Super resolution) 기법을 이용하여 이미지의 해상도를 높이는 방법을 나타내는 도면이다.
도 12는 일 실시 예에 따라 초해상도 기법에 따라 해상도가 높아지는 일 예를 설명하기 위한 도면이다.
도 13은 일 실시 예에 따라 보간을 수행하여 해상도를 높이는 일 예를 설명하기 위한 도면이다.
도 14는 일 실시 예에 따라 객체에 대한 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합 또는 치환하여 사용할 수 있다.
또한, 본 발명의 실시 예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시 예에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성 요소에 ‘연결’, ‘결합’, 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 ‘연결’, ‘결합’, 또는 ‘접속’되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’, 또는 ‘접속’되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 “상(위)” 또는 “하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, “상(위)” 또는 “하(아래)”는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라, 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위)” 또는 “하(아래)”로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함될 수 있다.
또한, 이하에서 기재되는 수치는 오차에 따른 합리적인 범위 내의 수치로 해석될 수 있다. 예를 들면, “1”이라고 기재된 수치가 “1.01”로 해석될 수 있다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 이하에서 '광'은 '광 신호'를 포함하는 개념으로 이해될 수 있으며, '신호'는 '광 신호'를 포함하는 개념으로 이해될 수 있으며, 혼용되어 사용될 수 있다.
도 1은 일 실시 예에 따른 카메라 모듈(100)의 구성 및 동작을 나타내는 블록도이다.
도 1에 도시된 바와 같이, 카메라 모듈(100)는 광원(1100), 프로세서(1000) 및 리시버(120)를 포함할 수 있다.
그러나, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 카메라 모듈(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 카메라 모듈(100)는 광원에 서 출력된 광이 투과하는 디퓨저, 광원(1100)에 포함되는 광변조기(미도시) 또는 프로세서(1000)와 연결되는 메모리(미도시) 등을 더 포함할 수 있다. 용어 "메모리" 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석될 수 있다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들, 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서(1000)가 메모리에 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서(1000)에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
또한, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 광원(1100)은 광을 출력할 수 있다. 광원(1100)에서 출력되는 광은 기설정된 범위 내의 파장일 수 있다.
광원(1100)은, 예를 들어, 적외선 파장을 갖는 광, 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 예를 들면, 광원(1100)에서 출력하는 광의 파장은 가시광선 영역에 포함될 수도 있으며, 자외선 영역에 포함될 수도 있다.
프로세서(1000)로부터 수신된 제어 신호에 따라 광원(1100)은 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조를 수행하여 광을 출력할 수 있다. 프로세서(1000)의 제어 신호에 따라 광원(1100)으로부터 객체(130)로 출력되는 광은 기설정 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 광은 사인파, 램프파, 사각파, 펄스파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
리시버(120)는 객체(130)에서 반사된 광을 수신할 수 있다. 리시버(120)가 수신하는 수신 광을 통해 카메라 모듈(100)는 여러 정보를 획득할 수 있다.
일 실시 예에 따른 카메라 모듈(100)는 수신 광을 통해, 객체(130)에 대한 정보를 획득할 수 있다. 예를 들면, 프로세서(1000)는 객체(130)의 형상, 크기, 색상, 깊이 등 객체에 대한 여러 정보를 획득할 수 있다.
리시버(120)는 리시버(120)로 유입되는 여러 광 중 광원(1100)에서 출력된 광이 객체(130)에 반사되어 획득되는 수신 광을 구별할 수 있다. 예를 들면, 광원(1100)이 750nm~950nm 범위의 광을 출력하는 경우, 리시버(120)는 필터링을 통해 750nm~950nm 범위의 광을 선별적으로 획득할 수 있다. 또한, 리시버(120)는 광에 대응되는 수신 광을 선별적으로 획득함으로써, 객체(130)에 대한 정확한 정보를 획득할 수 있다.
일 실시 예에 따른 카메라 모듈(100)는 ToF 기능을 이용하여 깊이 정보를 추출할 수 있기 때문에, 본 개시에서 ToF 카메라 모듈 또는 ToF 모듈과 혼용되어 이해될 수 있다.
광원(1100)은 출력할 광을 생성하여 객체(130)에 조사할 수 있다. 이때, 광원(1100)은 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광을 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 광을 펄스파나 지속파 형태로 생성함으로써, 카메라 모듈(100)는 광원(1100)로부터 출력된 광과 객체로부터 반사된 후 카메라 모듈(100)가 수신한 광 사이의 위상 차를 결정할 수 있다.
광원(1100)은 생성된 광을 기설정 노출주기 동안 객체(130)에 조사할 수 있다. 노출주기란 1개의 프레임 주기를 의미할 수 있다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복될 수 있다. 예를 들어, 카메라 모듈(100)가 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
광원(1100)은 서로 다른 주파수를 가지는 복수의 광을 생성할 수 있다. 광원(1100)은 서로 다른 주파수를 가지는 복수의 광을 순차적으로 반복하여 생성할 수 있다. 또는, 광원(1100)은 서로 다른 주파수를 가지는 복수의 광을 동시에 생성할 수도 있다.
일 실시 예에 따른 광원(1100)은 출력 픽셀들을 통해 광을 객체(1100)로 출력할 수 있다. 광원(1100)은 출력 픽셀들을 포함할 수 있으며 출력 픽셀들 각각은 서로 독립적으로 광을 출력할 수 있다. 예를 들면, 출력 픽셀들은 서로 상이한 세기의 광을 출력할 수 있고, 서로 상이한 주파수의 광을 출력할 수 있고, 서로 상이한 위상의 광을 출력할 수 있고, 서로 상이한 딜레이 타임을 갖는 광을 출력할 수 있다. 각각의 출력 픽셀들은 발광 다이오드를 포함할 수 있다.
일 실시 예에 따른 리시버(120)는 수신 픽셀들을 통해 광을 수신할 수 있다. 리시버(120)는 광원(1100)에서 출력된 광이 객체(130)에 반사되어 획득되는 반사광을 수신할 수 있다. 리시버(120)는 수신 픽셀들을 포함할 수 있으며 수신 픽셀들 각각은 서로 독립적으로 광을 수신할 수 있다. 예를 들면, 수신 픽셀들은 서로 상이한 타이밍에 광을 수신할 수 있고, 서로 상이한 필터링 방식으로 광을 수신할 수 있다.
일 실시 예에 따른 리시버(120)는 렌즈(미도시) 및 이미지 센서를 포함할 수 있다. 렌즈는 객체(130)로부터 반사된 광을 집광하여 이미지 센서(미도시)에 전달할 수 있다. 이미지 센서는 광을 수신하고, 수신한 광에 대응되는 전기 신호를 생성할 수 있다.
일 실시 예에 따를 때, 광원(1100)은 시간의 흐름에 따라 상이한 주파수의 광을 출력할 수 있다. 예를 들면, 광원(1100)은 노출주기의 첫 절반 동안은 주파수 f1인 광을 출력하고, 나머지 절반의 노출주기 동안은 주파수 f2인 광을 출력할 수 있다.
일 실시 예에 따를 때, 광원(1100)에 포함된 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 광을 출력하고, 나머지 발광 다이오드는 주파수 f2인 광을 출력할 수 있다.
광원(1100)에 포함된 복수의 발광 다이오드를 제어하기 위해서, 광원(1100)은 광변조기를 포함할 수 있다.
광원(1100)은 광을 생성할 수 있다. 광원(1100)이 생성하는 광은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(1100)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 광원(1100)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(1100)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광으로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
광원(1100)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 광을 생성할 수 있다. 일정 시간 간격은 광의 주파수일 수 있다. 광원의 점멸은 광변조기에 의해 제어될 수 있다.
광변조기는 광원(1100)의 점멸을 제어하여 광원(1100)이 지속파나 펄스파 형태의 광을 생성하도록 제어할 수 있다. 광변조기는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(1100)이 지속파나 펄스파 형태의 광을 생성하도록 제어할 수 있다.
일 실시 예에 따른 프로세서(1000)는 광원(1100)이 출력한 광과 리시버(120)가 수신한 광의 위상 차를 이용해서 객체(130)에 대한 깊이 정보를 획득할 수 있다. 리시버(120)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 광원(1100)으로부터 출력된 광의 주파수와 동일하게 결정될 수 있다. 따라서, 광원(1100)이 복수의 주파수로 광을 생성하는 경우, 리시버(120)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성할 수 있다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
일 실시 예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 광원(1100)이 출력한 광과 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 광원(1100)이 출력한 광과 동일한 위상을 가질 수 있다. 객체(130)로부터 반사되어 획득된 광은 광원(1100)이 출력한 광이 객체(130)로부터 반사되어 돌아오는 거리만큼 위상이 지연될 수 있다. 리시버(120)는 수신된 광과 각 참조 신호를 각각 믹싱(mixing)하여 Q1 내지 Q4 신호를 각 참조 신호별로 생성할 수 있다.
리시버(120)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성된 이미지 센서를 포함할 수 있다. 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서는 객체로부터 반사되는 적외선 광을 수신하여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
구체적으로, 프로세서(1000)는 전기신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.
상술된 바와 같이, 광원(1100)에서 출력되는 광의 주파수마다 4개의 전기 신호가 생성될 수 있다. 따라서, 프로세서(1000)는 아래의 수학식 1을 이용하여 광원(1100)에서 출력되는 광과 리시버(120)가 수신하는 광 사이의 위상차(td)를 결정할 수 있다.
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량일 수 있다. Q1은 광원(1100)에서 출력되는 광과 동일한 위상의 기준신호에 대응하는 전기 신호의 전하량이고, Q2는 광원(1100)에서 출력되는 광보다 위상이 180도 느린 기준신호에 대응하는 전기 신호의 전하량이고, Q3는 광원(1100)에서 출력되는 광보다 위상이 90도 느린 기준신호에 대응하는 전기 신호의 전하량이고, Q4는 광원(1100)에서 출력되는 광보다 위상이 270도 느린 기준신호에 대응하는 전기 신호의 전하량일 수 있다.
그러면, 프로세서(1000)는 광원(1100)에서 출력되는 광과 리시버(120)가 수신하는 광의 위상차를 이용하여 객체(130)와 카메라 모듈 (100) 사이의 거리를 결정할 수 있다. 이때, 일 실시 예에 따른 프로세서(1000)는 수학식 2를 이용하여 객체(130)와 카메라 모듈(100) 사이의 거리(d)를 결정할 수 있다.
여기서, c는 빛의 속도이고, f는 출력광의 주파수일 수 있다.
일 실시 예에 따를 때, 카메라 모듈 (100)로부터 ToF IR 이미지 및 깊이(depth) 이미지를 획득할 수 있다.
일 실시 예에 따른 프로세서(1000)는 광원(1100)이 광을 출력한 시점과 리시버(120)가 광을 수신한 시점의 차이를 이용해서 객체(130)에 대한 깊이 정보를 획득할 수 있다. 광원(1100)은 레이저나 적외선 등의 광을 객체(130)에 출력하고, 반사되어 되돌아오는 광을 수신하여 시간 차이를 계산함으로써 깊이 정보를 획득할 수 있다.
도 2는 일 실시 예에 따른 카메라 모듈(100)의 단면도를 도시한다.
도 2를 참조하면, 카메라 모듈(100)는 렌즈 어셈블리(200), 이미지 센서(250) 및 인쇄회로기판(260)을 포함한다. 도 1의 프로세서(1000) 등은 인쇄회로기판(260) 내에서 구현될 수 있다. 도시되지 않았으나, 도 1의 광원(1100)은 인쇄회로기판(260) 상에서 이미지 센서(250)의 측면에 배치되거나, 카메라 모듈(100)의 외부, 예를 들어 카메라 모듈(100)의 측면에 배치될 수 있으나, 이에 제한되지 않는다.
렌즈 어셈블리(200)는 렌즈(230), 렌즈 배럴(210), 렌즈 홀더(221, 222) 및 IR 필터(240)를 포함할 수 있다.
렌즈(230)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(230)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(210)은 렌즈 홀더(221, 222)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(210)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(221, 222)는 렌즈 배럴(210)과 결합되어 렌즈 배럴(210)을 지지하고, 이미지 센서(250)가 탑재된 인쇄회로기판(260)에 결합될 수 있다. 렌즈 홀더(221, 222)에 의하여 렌즈 배럴(210) 하부에 IR 필터(240)가 부착될 수 있는 공간이 형성될 수 있다. 렌즈 홀더(221, 222)의 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(210)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(221, 222)와 렌즈 배럴(210)은 접착제를 통해 결합되거나, 렌즈 홀더(221, 222)와 렌즈 배럴(210)이 일체형으로 형성될 수도 있다.
렌즈 홀더(221, 222)는 렌즈 배럴(210)과 결합되는 상부 홀더(221) 및 이미지 센서(250)가 탑재된 인쇄회로기판(260)과 결합되는 하부 홀더(222)로 구분될 수 있으며, 상부 홀더(221) 및 하부 홀더(222)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(221)의 직경은 하부 홀더(222)의 직경보다 작게 형성될 수 있으나, 이에 제한되지 않는다..
상기의 예시는 일 실시 예에 불과하며, 렌즈(230)는 카메라 모듈(100)로 입사되는 광을 집광하여 이미지 센서(250)로 전달할 수 있는 다른 구조로 구성될 수도 있다.
이미지 센서(250)는 렌즈(230)를 통해 집광된 광을 이용하여 전기 신호를 생성할 수 있다.
이미지 센서(250)는 광원(1100)의 점멸 주기와 동기화되어 입력되는 광을 검출할 수 있다. 구체적으로 이미지 센서(250)는 광원(1100)으로부터 출력된 광과 동상(in phase) 및 이상(out phase)에서 각각 광을 검출할 수 있다. 즉, 이미지 센서(250)는 광원(1100)이 켜져 있는 시간에 광을 흡수하는 단계와 광원(1100)이 꺼져 있는 시간에 광을 흡수하는 단계를 반복적으로 수행할 수 있다.
이미지 센서(250)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 광원(1100)으로부터 출력된 광의 주파수와 동일하게 결정될 수 있다. 따라서, 광원(1100)이 복수의 주파수로 광을 생성하는 경우, 이미지 센서(250)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성할 수 있다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
도 3은 일 실시 예에 따른 카메라 모듈(100)가 제 1 픽셀(310) 및 제 2 픽셀(320)이 제 1 주기 및 제 2 주기 동안 획득한 광을 이용하여 객체에 대한 깊이 이미지를 획득하는 일 예를 도시한다. 제 1 픽셀(310) 및 제 2 픽셀(320)은 수신 픽셀일 수 있다.
도 3을 참조하면, 카메라 모듈은 제 1 깊이 이미지(1), 제 2 깊이 이미지(2), 제 3 깊이 이미지(3)을 순차적으로 획득할 수 있다. 구체적으로, 카메라 모듈(100)는 phase 0°에 대한 위상 이미지, phase 90°에 대한 위상 이미지, phase 180°에 대한 위상 이미지 및 phase 270°에 대한 위상 이미지를 첫 번째 제 1 주기 및 제 2 주기에 획득하여 제 1 깊이 이미지(1)을 획득하고, phase 0°에 대한 위상 이미지, phase 90°에 대한 위상 이미지, phase 180°에 대한 위상 이미지 및 phase 270°에 대한 위상 이미지를 두 번째 제 1 주기 및 제 2 주기에 획득하여 제 2 깊이 이미지(2)을 획득하고, phase 0°에 대한 위상 이미지, phase 90°에 대한 위상 이미지, phase 180°에 대한 위상 이미지 및 phase 270°에 대한 위상 이미지를 세 번째 제 1 주기 및 제 2 주기에 획득하여 제 3 깊이 이미지(3)을 획득할 수 있다.
구체적으로, 블록(300)에 포함된 제 1 픽셀(310)은 제 1 주기 동안 phase 0°에 대한 위상 이미지를 획득하고, 제 2 주기 동안 phase 180°에 대한 위상 이미지를 획득할 수 있다. 블록(300)에 포함된 제 2 픽셀(320)은 제 1 주기 동안 phase 90°에 대한 위상 이미지를 획득하고, 제 2 주기 동안 phase 270°에 대한 위상 이미지를 획득할 수 있다. 그러나, 도 3에 개시된 실시 예로 한정되지 않으며, 제 1 픽셀(310) 또는 제 2 픽셀(320)이 제 1 주기 또는 제 2 주기에서 어떤 위상 이미지를 획득하는지는 미리 정해진 설정에 따라 결정될 수 있다.
픽셀이 1회 개방된 후 닫힐 때까지 수신한 신호의 세기가 미약하므로, 일 실시 예에 따른 카메라 모듈(100)는 동일한 과정을 수회 반복하여 깊이 이미지를 획득할 수 있다. 예를 들면 블록(300)은 위상 이미지를 획득하는 과정을 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)하여 깊이 이미지를 획득할 수 있다.
도 3을 참조하면 각 주기(T) 동안 블록(300)에 포함된 픽셀 별로 상이한 위상 신호가 인가될 수 있다. 예를 들어, 블록(300)은 제 1 픽셀(310) 및 제 2 픽셀(320)을 포함할 수 있고, 제 1 픽셀(310)에는 제 1 주기 동안 phase 0°에 대한 위상 신호가 인가되고, 제 2 주기 동안 phase 180°에 대한 위상 신호가 인가될 수 있다. 블록(300)에 포함된 제 2 픽셀(320)에는 제 1 주기 동안 phase 90°에 대한 위상 신호가 인가되고, 제 2 주기 동안 phase 270°에 대한 위상 신호가 인가될 수 있으나, 이에 제한되지 않는다.
한 주기(T) 동안 각 픽셀이 수신한 신호의 세기가 미약하므로, 동일한 과정이 수회 반복될 수 있다. 카메라 모듈(100)는 픽셀 별로 상이한 위상 신호가 인가되는 주기(T)를 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)할 수 있다. 카메라 모듈(100)는 제 1 주기에 제 1 픽셀(310)로부터 phase 0°에 대한 정보를 리드아웃(read out)하고, 제 2 픽셀(320)로부터 phase 90°에 대한 정보를 리드아웃할 수 있다. 또한, 제 카메라 모듈(100)는 2 주기에 제 1 픽셀(310)로부터 phase 180°에 대한 정보를 리드아웃하고, 제 2 픽셀(320)로부터 phase 270°에 대한 정보를 리드아웃할 수 있다. 그리고, 제 1 깊이 이미지(1)는 제 1 픽셀(310)로부터 얻은 phase 0°에 대한 정보 및 phase 180°에 대한 정보, 제 2 픽셀(320)로부터 얻은 phase 90°에 대한 정보 및 phase 270°에 대한 정보를 이용하여 획득될 수 있다.
이와 같이, 각 주기(T) 동안 하나의 블록(30)에 포함된 픽셀 별로 상이한 위상 신호가 인가되며, 각 픽셀로부터 얻은 각 위상에 대한 정보를 이용하여 깊이 이미지를 추출하는 경우, 깊이 이미지를 획득하기까지 소요되는 시간이 감소될 수 있다.
각 주기(T) 동안 이웃하는 픽셀에는 서로 다른 위상 신호가 인가될 수 있으며, 각 주기(T) 동안 제 1 픽셀에 phase 0°의 위상 신호 또는 phase 180°의 위상 신호가 인가되는 구간, 및 제 2 픽셀에 phase 90°의 위상 신호 또는 phase 270°의 위상 신호가 인가되는 구간 중 적어도 2개의 적어도 일부는 서로 겹쳐질 수 있다. 이에 따라, phase 0°의 위상 신호가 인가되는 구간, phase 90°의 위상 신호가 인가되는 구간, phase 180°의 위상 신호가 인가되는 구간 및 phase 270°의 위상 신호가 인가되는 구간이 겹쳐지지 않는 경우에 비하여, 하나의 깊이 이미지를 획득하기 위하여 소요되는 시간이 줄어들 수 있다.
도 4는 도 3에 따른 카메라 모듈(100)의 동작을 시간의 흐름에 따라 설명하는 타이밍도이다. 제 1 픽셀(310) 및 제 2 픽셀(320)은 수신 픽셀일 수 있다.
제 1 픽셀(310)은 제 1 주기의 제 1 위상 시점 및 제 2 주기의 제 2 위상 시점에 각각 광을 수신하고, 제 2 픽셀(320)은 제 1 주기의 제 3 위상 시점 및 제 2 주기의 제 4 위상 시점에 각각 광을 수신할 수 있다.
도 4를 참조하면, 제 1 주기에서 제 1 픽셀(310)은 0˚만큼 지연하여 광을 수신하므로, 제 1 픽셀(310)은 phase 0°의 위상 신호를 수신할 수 있다.
제 1 주기에서 제 2 픽셀(320)은 90˚만큼 지연하여 광을 수신하므로, 제 2 픽셀(320)은 phase 90°의 위상 신호를 수신할 수 있다.
제 2 주기에서 제 1 픽셀(310)은 180˚만큼 지연하여 광을 수신하므로, 제 1 픽셀(310)은 phase 180°의 위상 신호를 수신할 수 있다.
제 2 주기에서 제 2 픽셀(320)은 270˚만큼 지연하여 광을 수신하므로, 제 2 픽셀(320)은 phase 270°의 위상 신호를 수신할 수 있다.
그러나, 도 4에 개시된 실시 예로 제한되지 않으며, 제 1 위상 시점 내지 제 4 위상 시점은 0°, 90°, 180° 및 270°중 어느 하나에 대응하고 서로 상이한 임의의 조합일 수 있다.
제 1 픽셀(310)과 제 2 픽셀(320)은 서로 인접할 수 있다. 도 4에 도시된 바와 같이 제 1 픽셀(310)과 제 2 픽셀(320)이 세로로 인접할 수 있으나, 이에 제한되지 않는다. 예를 들면, 제 1 픽셀(310)과 제 2 픽셀(320)은 가로로 인접할 수 있다. 또는 제 1 픽셀(310)과 제 2 픽셀(320)은 대각선으로 인접할 수 있다.
도 5는 일 실시 예에 따라 제 1 주기 동안 제 1 픽셀(310)에 phase 0°의 위상 신호가 인가되고, 제 2 픽셀(320)에 phase 180°의 위상 신호가 인가되고, 제 2 주기 동안 제 1 픽셀(310)에 phase 90°의 위상 신호가 인가되고, 제 2 픽셀(320)에 phase 270°의 위상 신호가 인가되는 일 예를 나타내는 도면이다. 제 1 픽셀(310), 제 2 픽셀(320), 제 3 픽셀(330), 제 4 픽셀(340)은 수신 픽셀일 수 있다.
구체적으로, 블록(300)에 포함된 제 1 픽셀(310)은 제 1 주기 동안 phase 0°에 대한 위상 이미지를 획득하고, 제 2 주기 동안 phase 90°에 대한 위상 이미지를 획득할 수 있다. 블록(300)에 포함된 제 2 픽셀(320)은 제 1 주기 동안 phase 180°에 대한 위상 이미지를 획득하고, 제 2 주기 동안 phase 270°에 대한 위상 이미지를 획득할 수 있다. 그러나, 도 5에 개시된 실시 예로 한정되지 않으며, 제 1 픽셀(310) 또는 제 2 픽셀(320)이 제 1 주기 또는 제 2 주기에서 어떤 위상 이미지를 획득하는지는 미리 정해진 설정에 따라 결정될 수 있다.
픽셀이 1회 개방된 후 닫힐 때까지 수신한 신호의 세기가 미약하므로, 일 실시 예에 따른 카메라 모듈(100)는 동일한 과정을 수회 반복하여 깊이 이미지를 획득할 수 있다. 예를 들면 블록(300)은 위상 이미지를 획득하는 과정을 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)하여 깊이 이미지를 획득할 수 있다.
제 3 픽셀(330)은 제 1 픽셀(310)에 대응되고, 제 4 픽셀(340)은 제 2 픽셀(320)에 대응될 수 있다. 예를 들면, 제 3 픽셀(330)은 제 1 픽셀(310)과 같이, 제 1 주기 동안 phase 0°에 대한 위상 이미지를 획득하고, 제 2 주기 동안 phase 90°에 대한 위상 이미지를 획득할 수 있다. 또한, 이 경우, 제 4 픽셀(340)은 제 2 픽셀(320)과 같이, 제 1 주기 동안 phase 180°에 대한 위상 이미지를 획득하고, 제 2 주기 동안 phase 270°에 대한 위상 이미지를 획득할 수 있다.
도 6은 도 5에 따른 카메라 모듈(100)의 동작을 시간의 흐름에 따라 설명하는 타이밍도이다.
도 6을 참조하면, 제 1 주기에서 제 1 픽셀(310)은 0˚만큼 지연하여 광을 수신하므로, 제 1 픽셀(310)은 phase 0°의 위상 신호를 수신할 수 있다.
제 1 주기에서 제 2 픽셀(320)은 180˚만큼 지연하여 광을 수신하므로, 제 2 픽셀(320)은 phase 180°의 위상 신호를 수신할 수 있다.
제 1 주기에서 제 3 픽셀(330)은 0˚만큼 지연하여 광을 수신하므로, 제 3 픽셀(330)은 phase 0°의 위상 신호를 수신할 수 있다.
제 1 주기에서 제 4 픽셀(340)은 180˚만큼 지연하여 광을 수신하므로, 제 4 픽셀(340)은 phase 180°의 위상 신호를 수신할 수 있다.
제 2 주기에서 제 1 픽셀(310)은 90˚만큼 지연하여 광을 수신하므로, 제 1 픽셀(310)은 phase 90°의 위상 신호를 수신할 수 있다.
제 2 주기에서 제 2 픽셀(320)은 270˚만큼 지연하여 광을 수신하므로, 제 2 픽셀(320)은 phase 270°의 위상 신호를 수신할 수 있다.
제 2 주기에서 제 3 픽셀(330)은 90˚만큼 지연하여 광을 수신하므로, 제 3 픽셀(330)은 phase 90°의 위상 신호를 수신할 수 있다.
제 2 주기에서 제 4 픽셀(340)은 270˚만큼 지연하여 광을 수신하므로, 제 4 픽셀(340)은 phase 270°의 위상 신호를 수신할 수 있다.
도 7은 일 실시 예에 따라 제 1 주기 동안 제 1 픽셀(310)에 phase 0°의 위상 신호가 인가되고, 제 2 픽셀(320)에 phase 90°의 위상 신호가 인가되고, 제 2 주기 동안 제 1 픽셀(310)에 phase 270°의 위상 신호가 인가되고, 제 2 픽셀(320)에 phase 180°의 위상 신호가 인가되는 일 예를 나타내는 도면이다.
구체적으로, 블록(300)에 포함된 제 1 픽셀(310)은 제 1 주기 동안 phase 0°에 대한 위상 이미지를 획득하고, 제 2 주기 동안 phase 270°에 대한 위상 이미지를 획득할 수 있다. 블록(300)에 포함된 제 2 픽셀(320)은 제 1 주기 동안 phase 90°에 대한 위상 이미지를 획득하고, 제 2 주기 동안 phase 180°에 대한 위상 이미지를 획득할 수 있다. 그러나, 도 7에 개시된 실시 예로 한정되지 않으며, 제 1 픽셀(310) 또는 제 2 픽셀(320)이 제 1 주기 또는 제 2 주기에서 어떤 위상 이미지를 획득하는지는 미리 정해진 설정에 따라 결정될 수 있다.
픽셀이 1회 개방된 후 닫힐 때까지 수신한 신호의 세기가 미약하므로, 일 실시 예에 따른 카메라 모듈(100)는 동일한 과정을 수회 반복하여 깊이 이미지를 획득할 수 있다. 예를 들면 블록(300)은 위상 이미지를 획득하는 과정을 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)하여 깊이 이미지를 획득할 수 있다.
도 8은 도 7에 따른 카메라 모듈(100)의 동작을 시간의 흐름에 따라 설명하는 타이밍도이다.
도 8을 참조하면, 제 1 주기에서 제 1 픽셀(310)은 0˚만큼 지연하여 광을 수신하므로, 제 1 픽셀(310)은 phase 0°의 위상 신호를 수신할 수 있다.
제 1 주기에서 제 2 픽셀(320)은 90˚만큼 지연하여 광을 수신하므로, 제 2 픽셀(320)은 phase 90°의 위상 신호를 수신할 수 있다.
제 2 주기에서 제 1 픽셀(310)은 270˚만큼 지연하여 광을 수신하므로, 제 1 픽셀(310)은 phase 270°의 위상 신호를 수신할 수 있다.
제 2 주기에서 제 2 픽셀(320)은 180˚만큼 지연하여 광을 수신하므로, 제 2 픽셀(320)은 phase 180°의 위상 신호를 수신할 수 있다.
도 9는 일 실시 예에 따라 제 1 픽셀(310) 및 제 2 픽셀(320)이 가로로 인접하는 일 예를 나타내는 도면이다.
도 9에 도시된 바와 같이 제 1 픽셀(310) 및 제 2 픽셀(320)의 상대적 위치는 다양하게 결정될 수 있다. 제 1 픽셀(310) 및 제 2 픽셀이 수시하는 위상 신호에 대한 구체적인 내용은 도 3을 참조할 수 있다.
도 10은 일 실시 예에 따라 제 1 픽셀(310) 및 제 3 픽셀(330)이 가로로 인접하고, 제 2 픽셀(320) 및 제 4 픽셀(340)이 가로로 인접하여 카메라 모듈(100)가 동작하는 일 예를 나타내는 도면이다.
도 10을 참조하면 도 5의 경우와는 달리, 제 1 픽셀(310) 및 제 3 픽셀(330)이 가로로 인접하고, 제 2 픽셀(320) 및 제 4 픽셀(340)이 가로로 인접한다. 즉, 동일한 방식으로 동작하는 픽셀이 가로로 인접함으로써, 프로세서(1000)는 라인 단위로 픽셀을 제어할 수 있다. 동일한 가로 라인의 픽셀들이 동일한 방식으로 동작하기 때문에, 프로세서(1000)는 라인 단위로 픽셀을 제어할 수 있고, 그에 따라 회로의 복잡도가 감소할 수 있다. 또한, 블록(300) 내에 동작 방식이 상이한 2개의 픽셀(310, 320)이 포함되는 것은 도 5의 경우와 동일하다.
도 10에서는 가로 라인의 픽셀들이 동일한 동작을 수행하는 경우에 대해 도시하였으나, 이에 제한되지 않는다. 예를 들면, 세로 라인의 픽셀들이 동일한 동작을 수행하도록 리시버(120) 내의 픽셀들이 설정될 수 있다.
도 11은 카메라 모듈(100)가 초해상도(Super resolution) 기법을 이용하여 이미지의 해상도를 높이는 방법을 나타내는 도면이다.
한편, 카메라 모듈(100)는 일 실시 예에 따라 깊이 이미지의 해상도를 높이기 위하여, 초해상도(Super Resolution, SR) 기법을 이용할 수 있다. SR 기법은 복수의 저해상 이미지로부터 고해상 이미지를 얻는 방법을 폭넓게 지칭할 수 있다.
구체적으로, 프로세서(1000)는 블록 단위로 하나의 깊이 정보를 획득할 수 있다. 만약 픽셀 단위로 하나의 깊이 정보를 획득할 수 있다면, 25개의 픽셀로부터 25개의 깊이 정보를 획득할 수 있다. 그러나, 블록 단위로 하나의 깊이 정보를 획득할 수 있다면 획득할 수 있는 정보가 감소한다. 2개의 픽셀의 정보를 모아서 하나의 깊이 정보를 획득할 수 있기 때문에, 원칙적으로 획득할 수 있는 정보가 2분의 1로 감소할 수 있다. 예를 들면, 프로세서(1000)는 제 1 블록(1110) 및 제 2 블록(1120)으로부터 2개의 깊이 정보를 획득할 수 있다.
그러나, 2개의 픽셀로부터 획득되는 정보를 모아서 하나의 깊이 정보를 획득할 때, 이용되는 픽셀을 중복적으로 이용하는 경우 보다 많은 정보를 획득할 수 있다. 예를 들면, 프로세서(1000)는 제 1 블록(1110) 및 제 2 블록(1120) 뿐 아니라, 제 3 블록(1130)을 더 이용할 수 있다. 또한, 경우에 따라 인접하지 않은 픽셀 2개를 통해 하나의 깊이 정보를 획득할 수도 있다.
도 11에서는 일 실시 예에 따라, 블록에 포함된 픽셀의 수가 2개이고, 겹치는 블록간 겹치는 픽셀의 수가 1개인 경우에 대해 설명하였으나, 이에 제한되지 않는다.
도 12는 일 실시 예에 따라 초해상도 기법에 따라 해상도가 높아지는 일 예를 설명하기 위한 도면이다.
제 1 해상도 도면(1210)을 참조하면, 픽셀 단위로 정보를 획득하는 경우, 픽셀 수에 대응하는 해상도를 획득할 수 있다. 그러나 블록 단위로 정보를 획득하는 경우, 하나의 픽셀을 한번만 이용할 대, 블록에 포함된 픽셀의 수만큼 해상도가 감소할 수 있다. 예를 들면, 제 1 해상도 도면(1210)에 비해 제 2 해상도 도면(1220)의 해상도는 2분의 1로 감소하였다. 그러나, 상술한 바와 같은 SR 기법을 이용할 경우, 상당 부분 해상도를 증가시킬 수 있으며, 추가적인 알고리즘을 통해서 제 3 해상도 도면(1230)에서 표현된 해상도보다 더 높은 해상도도 구현이 가능하다.
도 13은 일 실시 예에 따라 보간을 수행하여 해상도를 높이는 일 예를 설명하기 위한 도면이다.
제 1 주기 동안 수신 픽셀들이 수신한 광의 위상이 제 1 주기 도면(1350)에 개시되고, 제 2 주기 동안 수신 픽셀들이 수신한 광의 위상이 제 2 주기 도면(1360)에 개시된다. 제 1 픽셀(1310) 및 제 2 픽셀(1320)은 수신 픽셀일 수 있다.
제 1 주기(1350)에서, 일 실시 예에 따른 프로세서(1000)는 제 1 픽셀(1310)에서의 phase 90° 위상 신호(90°위상 시점에 대한 정보)를 제 1 픽셀(1310)과 인접한 픽셀(1311, 1312, 1313, 1320)이 획득한 phase 90° 위상 신호(90°위상 시점에 대한 정보)를 보간하여 획득할 수 있다. 제 1 픽셀(1310)에서는 phase 0° 위상 신호와 phase 180° 위상 신호를 각각 제 1 주기 및 제 2 주기에 획득할 수 있을 뿐, phase 90° 위상 신호가 획득되지 않는다. 그러나, 프로세서(1000)는 제 1 픽셀(1310)에서의 phase 90° 위상 신호를 인접 픽셀이 획득한 위상 신호를 보간하여 획득할 수 있다.
제 1 주기(1350)에서, 일 실시 예에 따른 프로세서(1000)는 제 2 픽셀(1320)에서의 phase 0° 위상 신호(0°위상 시점에 대한 정보)를 제 2 픽셀(1320)과 인접한 픽셀(1321, 1322, 1123, 1310)이 획득한 phase 0° 위상 신호(0°위상 시점에 대한 정보)를 보간하여 획득할 수 있다. 제 2 픽셀(1320)에서는 phase 90° 위상 신호와 phase 270° 위상 신호를 각각 제 1 주기 및 제 2 주기에 획득할 수 있을 뿐, phase 0° 위상 신호가 획득되지 않는다. 그러나, 프로세서(1000)는 제 2 픽셀(1320)에서의 phase 0° 위상 신호를 인접 픽셀이 획득한 위상 신호를 보간하여 획득할 수 있다.
제 2 주기(1360)에서, 일 실시 예에 따른 프로세서(1000)는 제 1 픽셀(1310)에서의 phase 270° 위상 신호(270°위상 시점에 대한 정보)를 제 1 픽셀(1310)과 인접한 픽셀(1311, 1312, 1313, 1320)이 획득한 phase 270° 위상 신호(270°위상 시점에 대한 정보)를 보간하여 획득할 수 있다. 제 1 픽셀(1310)에서는 phase 0° 위상 신호와 phase 180° 위상 신호를 각각 제 1 주기 및 제 2 주기에 획득할 수 있을 뿐, phase 270° 위상 신호가 획득되지 않는다. 그러나, 프로세서(1000)는 제 1 픽셀(1310)에서의 phase 270° 위상 신호를 인접 픽셀이 획득한 위상 신호를 보간하여 획득할 수 있다.
제 2 주기(1360)에서, 일 실시 예에 따른 프로세서(1000)는 제 2 픽셀(1320)에서의 phase 180° 위상 신호(180°위상 시점에 대한 정보)를 제 2 픽셀(1320)과 인접한 픽셀(1321, 1322, 1123, 1310)이 획득한 phase 180° 위상 신호(180°위상 시점에 대한 정보)를 보간하여 획득할 수 있다. 제 2 픽셀(1320)에서는 phase 90° 위상 신호와 phase 270° 위상 신호를 각각 제 1 주기 및 제 2 주기에 획득할 수 있을 뿐, phase 180° 위상 신호가 획득되지 않는다. 그러나, 프로세서(1000)는 제 2 픽셀(1320)에서의 phase 180° 위상 신호를 인접 픽셀이 획득한 위상 신호를 보간하여 획득할 수 있다.
도 14는 일 실시 예에 따라 객체에 대한 깊이 정보를 획득하는 방법을 나타내는 흐름도이다. 도 14는 상술된 도 1 내지 도 13의 내용을 참조하여 이해될 수 있다.
단계 S1310에서 일 실시 예에 따른 카메라 모듈(100)는 출력 픽셀들을 통해 광을 객체로 출력한다. 일 실시 예에 따를 때, 각각의 출력 픽셀들은 각각의 수신 픽셀들에 대응될 수 있다.
단계 S1320에서 일 실시 예에 따른 카메라 모듈(100)는 제 1 주기의 제 1 위상 시점에 제 1 수신 픽셀을 이용하여 광을 수신하고, 제 1 주기의 제 3 위상 시점에 제 2 수신 픽셀을 이용하여 광을 수신한다. 예를 들면, 제 1 주기에서 제 1 픽셀은 phase 0°의 위상 신호를 수신하고, 제 2 픽셀은 phase 90°의 위상 신호를 수신할 수 있다.
단계 S1330에서 일 실시 예에 따른 카메라 모듈(100)는 제 2 주기의 제 2 위상 시점에 제 1 수신 픽셀을 이용하여 광을 수신하고, 제 2 주기의 제 4 위상 시점에 제 2 수신 픽셀을 이용하여 광을 수신한다. 예를 들면, 제 2 주기에서 제 1 픽셀은 phase 180°의 위상 신호를 수신하고, 제 2 픽셀은 phase 270°의 위상 신호를 수신할 수 있다. 제 1 픽셀 및 제 2 픽셀은 수신 픽셀일 수 있다.
그러나, 본 실시 예로 제한되지 않으며, 제 1 위상 시점 내지 제 4 위상 시점은 0°, 90°, 180° 및 270°중 어느 하나에 대응하고 서로 상이한 임의의 조합일 수 있다.
단계 S1340에서 일 실시 예에 따른 카메라 모듈(100)는 제 1 주기 및 제 2 주기 동안 획득된 정보를 이용하여 객체에 대한 깊이 이미지를 획득한다. 프로세서(1000)는 두 개의 주기 동안 획득된 정보만으로 하나의 깊이 이미지를 획득할 수 있다.
또한 도 13에 도시되지는 않았으나, 제 1 수신 픽셀에서의 제 3 위상 시점에 대한 정보를 제 1 수신 픽셀과 인접한 픽셀이 제 3 위상 시점에서 획득한 정보로 보간하는 단계가 더 포함될 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 카메라 모듈 1100: 광원
120: 센서 1000: 프로세서
200: 렌즈 어셈블리 210: 렌즈 배럴
221: 상부 홀더 222: 하부 홀더
230: 렌즈 240: IR 필터
250: 이미지 센서 260: 인쇄회로기판

Claims (13)

  1. 객체로 광을 출력하는 광원;
    상기 객체로부터 반사된 광을 수신 픽셀들을 통해 수신하는 리시버; 및
    상기 광원이 출력한 광과 상기 리시버가 수신한 광의 위상 차를 이용해서 상기 객체에 대한 깊이 정보를 획득하는 프로세서;를 포함하고,
    상기 수신 픽셀들은 제 1 수신 픽셀 및 제 2 수신 픽셀을 포함하고,
    상기 제 1 수신 픽셀은 제 1 주기의 제 1 위상 시점 및 제 2 주기의 제 2 위상 시점에 각각 광을 수신하고,
    상기 제 2 수신 픽셀은 제 1 주기의 제 3 위상 시점 및 제 2 주기의 제 4 위상 시점에 각각 광을 수신하고,
    상기 프로세서는 상기 제 1 주기 및 상기 제 2 주기 동안 획득된 정보를 이용하여 상기 객체에 대한 깊이 이미지를 획득하고,
    상기 리시버는 상기 수신 픽셀들을 구획하여 획득된 제 1 블록과 제 2 블록을 포함하고,
    상기 제 1 블록에 포함된 2개의 픽셀들과 상기 제 2 블록에 포함된 2개의 픽셀들 중 1개의 픽셀이 중복되고,
    상기 프로세서는,
    상기 제 1 블록을 통해 수신된 광과 상기 제 2 블록을 통해 수신된 광을 모두 이용하여 상기 깊이 정보를 획득하는, 카메라 모듈.
  2. 제 1 항에 있어서,
    상기 제 1 위상 시점 내지 제 4 위상 시점은 0°, 90°, 180° 및 270°중 어느 하나에 대응하고 서로 상이한, 카메라 모듈.
  3. 제 1 항에 있어서,
    상기 제 1 수신 픽셀 및 상기 제 2 수신 픽셀은 서로 인접한, 카메라 모듈.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 제 1 수신 픽셀에서의 상기 제 3 위상 시점에 대한 정보를 상기 제 1 수신 픽셀과 인접한 픽셀이 상기 제 3 위상 시점에서 획득한 정보로 보간하는, 카메라 모듈.
  5. 제 4 항에 있어서,
    상기 제 3 위상 시점에 대한 정보는 상기 제 3 위상 시점에 수신된 광에 대한 전하량 정보를 포함하는, 카메라 모듈.
  6. 제 1 항에 있어서,
    상기 프로세서는 초해상 기법(super resolution)을 적용하여 해상도를 높이는, 카메라 모듈.
  7. 삭제
  8. 삭제
  9. 광을 객체로 출력하는 단계;
    제 1 주기의 제 1 위상 시점에 제 1 수신 픽셀을 이용하여 광을 수신하고, 제 1 주기의 제 3 위상 시점에 제 2 수신 픽셀을 이용하여 광을 수신하는 단계;
    제 2 주기의 제 2 위상 시점에 제 1 수신 픽셀을 이용하여 광을 수신하고, 제 2 주기의 제 4 위상 시점에 제 2 수신 픽셀을 이용하여 광을 수신하는 단계; 및
    상기 제 1 주기 및 상기 제 2 주기 동안 획득된 깊이 정보를 이용하여 상기 객체에 대한 깊이 이미지를 획득하는 단계;를 포함하고,
    상기 깊이 정보는 제 1 블록을 통해 수신된 광과 상기 제 2 블록을 통해 수신된 광을 모두 이용하여 획득되고,
    상기 제 1 블록에 포함된 2개의 픽셀들과 상기 제 2 블록에 포함된 2개의 픽셀들 중 1개의 픽셀이 중복되는, 깊이 정보 획득 방법.
  10. 제 9 항에 있어서,
    상기 제 1 위상 시점 내지 제 4 위상 시점은 0°, 90°, 180° 및 270°중 어느 하나에 대응하고 서로 상이한, 깊이 정보 획득 방법.
  11. 제 9 항에 있어서,
    상기 제 1 수신 픽셀 및 상기 제 2 수신 픽셀은 서로 인접한, 깊이 정보 획득 방법.
  12. 제 9 항에 있어서,
    상기 제 1 수신 픽셀에서의 상기 제 3 위상 시점에 대한 정보를 상기 제 1 수신 픽셀과 인접한 픽셀이 상기 제 3 위상 시점에서 획득한 정보로 보간하는 단계를 더 포함하는, 깊이 정보 획득 방법.
  13. 제 9 항의 방법을 구현하기 위하여 기록매체에 저장된 컴퓨터 프로그램.
KR1020180119341A 2018-10-05 2018-10-05 깊이 정보를 획득하는 방법 및 카메라 모듈 KR102562360B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020180119341A KR102562360B1 (ko) 2018-10-05 2018-10-05 깊이 정보를 획득하는 방법 및 카메라 모듈
PCT/KR2019/013133 WO2020071883A1 (ko) 2018-10-05 2019-10-07 깊이 정보를 획득하는 방법 및 카메라 모듈
CN201980065857.2A CN112806000B (zh) 2018-10-05 2019-10-07 获得深度信息的方法和相机模块
US17/277,157 US20210373163A1 (en) 2018-10-05 2019-10-07 Method for obtaining depth information, and camera module
EP19868600.8A EP3863283A4 (en) 2018-10-05 2019-10-07 METHOD OF OBTAINING DEPTH INFORMATION AND CAMERA MODULE
JP2021517366A JP7498703B2 (ja) 2018-10-05 2019-10-07 深さ情報を取得する方法及びカメラモジュール

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180119341A KR102562360B1 (ko) 2018-10-05 2018-10-05 깊이 정보를 획득하는 방법 및 카메라 모듈

Publications (2)

Publication Number Publication Date
KR20200039418A KR20200039418A (ko) 2020-04-16
KR102562360B1 true KR102562360B1 (ko) 2023-08-02

Family

ID=70054440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180119341A KR102562360B1 (ko) 2018-10-05 2018-10-05 깊이 정보를 획득하는 방법 및 카메라 모듈

Country Status (5)

Country Link
US (1) US20210373163A1 (ko)
EP (1) EP3863283A4 (ko)
KR (1) KR102562360B1 (ko)
CN (1) CN112806000B (ko)
WO (1) WO2020071883A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625303A (zh) * 2021-08-05 2021-11-09 思特威(上海)电子科技股份有限公司 像素阵列的信号采集方法、飞行时间传感器、终端及介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623726B1 (en) * 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
KR101887099B1 (ko) * 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
KR101828814B1 (ko) * 2011-07-07 2018-02-13 삼성전자주식회사 깊이 영상 변환 장치 및 방법
EP2733928B1 (en) * 2011-07-12 2021-09-22 Samsung Electronics Co., Ltd. Device and method for blur processing
KR102007275B1 (ko) * 2012-12-27 2019-08-05 삼성전자주식회사 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US10268885B2 (en) * 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
KR102136850B1 (ko) * 2013-11-12 2020-07-22 삼성전자 주식회사 깊이 센서, 및 이의 동작 방법
CN105917738B (zh) * 2014-01-06 2018-09-18 飞利浦照明控股有限公司 基于纹波的发光二极管驱动
EP2894492B1 (en) * 2014-01-13 2020-10-28 Sony Depthsensing Solutions SA/NV A method for driving a time-of-flight system
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
US20160290790A1 (en) * 2015-03-31 2016-10-06 Google Inc. Method and apparatus for increasing the frame rate of a time of flight measurement
US9921298B2 (en) * 2015-07-20 2018-03-20 Google Llc Method and apparatus for increasing the resolution of a time of flight pixel array
EP3379291A4 (en) * 2015-11-16 2018-12-05 Panasonic Intellectual Property Management Co., Ltd. Imaging device and solid-state imaging element used in same
EP3193190B1 (en) * 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
US9921359B2 (en) * 2016-07-26 2018-03-20 Harvatek Corporation Light source module
US10189400B2 (en) * 2016-08-08 2019-01-29 Ford Global Technologies, Llc Mobile device tracking for control of vehicle subsystems
JP6862255B2 (ja) * 2017-04-12 2021-04-21 キヤノン株式会社 撮像装置、撮像方法および撮像プログラム

Also Published As

Publication number Publication date
CN112806000A (zh) 2021-05-14
EP3863283A4 (en) 2022-07-06
WO2020071883A1 (ko) 2020-04-09
JP2022502652A (ja) 2022-01-11
EP3863283A1 (en) 2021-08-11
KR20200039418A (ko) 2020-04-16
CN112806000B (zh) 2023-12-12
US20210373163A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
CN111758047B (zh) 单芯片rgb-d相机
KR102562361B1 (ko) 깊이 정보를 획득하는 방법 및 카메라 모듈
US20160306045A1 (en) A method for driving a time-of-flight system
US20130229491A1 (en) Method of operating a three-dimensional image sensor
KR102112298B1 (ko) 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
US8809764B2 (en) Absolute position measuring encoder
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
CN105372667A (zh) 飞行时间装置和照明源
KR102590900B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR102562360B1 (ko) 깊이 정보를 획득하는 방법 및 카메라 모듈
US9392196B2 (en) Object detection and tracking with reduced error due to background illumination
KR20120111013A (ko) 3차원 이미지 센서 및 이를 이용한 거리 측정 방법
KR102571864B1 (ko) 카메라 장치
KR102630250B1 (ko) 깊이 정보를 획득하는 방법 및 카메라 모듈
CN113325439B (zh) 一种深度相机及深度计算方法
US10212358B2 (en) Imaging devices with optical shutters and low-power drivers therefor
KR20210036200A (ko) 라이다 장치 및 그 동작 방법
JP7498703B2 (ja) 深さ情報を取得する方法及びカメラモジュール
US20220321789A1 (en) Camera module
KR20210007336A (ko) 이미지를 획득하는 방법 및 카메라
JP2006337309A (ja) 形状測定装置
CN114207474A (zh) 飞行时间调制光的展开相位
US10225505B2 (en) Electronic device for analyzing a scene
Baranov et al. Multi-Pulse Active CCD Television System Model for 3D Imaging
RU2004118096A (ru) Способ обнаружения оптических и оптоэлектронных средств наблюдения и устройство для его осуществления

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right