KR102560397B1 - 카메라 장치 및 그의 깊이 정보 추출 방법 - Google Patents

카메라 장치 및 그의 깊이 정보 추출 방법 Download PDF

Info

Publication number
KR102560397B1
KR102560397B1 KR1020180116464A KR20180116464A KR102560397B1 KR 102560397 B1 KR102560397 B1 KR 102560397B1 KR 1020180116464 A KR1020180116464 A KR 1020180116464A KR 20180116464 A KR20180116464 A KR 20180116464A KR 102560397 B1 KR102560397 B1 KR 102560397B1
Authority
KR
South Korea
Prior art keywords
light
light source
output
signal
light signal
Prior art date
Application number
KR1020180116464A
Other languages
English (en)
Other versions
KR20200036614A (ko
Inventor
이창혁
장성하
박주언
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020180116464A priority Critical patent/KR102560397B1/ko
Priority to US17/280,781 priority patent/US20220003873A1/en
Priority to PCT/KR2019/012525 priority patent/WO2020067738A1/ko
Publication of KR20200036614A publication Critical patent/KR20200036614A/ko
Application granted granted Critical
Publication of KR102560397B1 publication Critical patent/KR102560397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/489—Gain of receiver varied automatically during pulse-recurrence period
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른 카메라 장치는 객체에 조사되는 출력광 신호를 출력하며, 소정의 규칙으로 배열된 복수의 광원을 포함하는 광출력부; IR(InfraRed) 필터, 그리고 상기 IR 필터 상에 배치되는 적어도 1매의 렌즈를 포함하며, 상기 객체로부터 반사된 입력광 신호를 집광하는 렌즈부; 상기 렌즈부에 의하여 집광된 상기 입력광 신호로부터 전기 신호를 생성하는 이미지 센서; 상기 출력광 신호 및 상기 이미지 센서에 수신된 상기 입력광 신호 간 위상 차 또는 시간 차를 이용하여 상기 객체의 깊이 정보를 획득하는 영상 처리부; 및 상기 광출력부, 상기 렌즈부, 상기 이미지 센서 및 상기 영상 처리부를 제어하는 제어부를 포함하고, 상기 복수의 광원은 적어도 2개의 광원 그룹으로 구분되고, 상기 제어부는 광원 그룹 별로 순차적으로 상기 출력광 신호를 출력하도록 제어하고, 상기 이미지 센서는 상기 광원 그룹 별로 구분되는 적어도 2개의 픽셀 그룹을 포함하고, 상기 제어부는 픽셀 그룹 별로 순차적으로 상기 입력광 신호를 집광하도록 제어한다.

Description

카메라 장치 및 그의 깊이 정보 추출 방법{CAMERA DEVICE AND DEPTH MAP EXTRACTION METHOD OF THE SAME}
본 발명은 카메라 장치 및 그의 깊이 정보 추출 방법에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, ToF(Time of Flight) 방식 등이 이용되고 있다. ToF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리 정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
다만, ToF 방식에 따르면, 광출력부에서 광을 출력해야 하는데, 아이세이프티(eye safety) 기준을 만족시키기 위하여 출력되는 광의 전체 평균 전력(total average power, total Pavg)에 제한이 가해지게 된다. 이에 따라, 출력되는 광의 인텐시티(intensity)가 제한되며, 객체로부터 반사되는 신호의 감쇠로 인하여 측정 거리가 짧아지는 문제가 있다.
이에 따라, 아이세이프티 기준을 만족시키면서도 측정 거리를 넓힐 수 있는 장치 및 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 ToF 방식을 이용하여 깊이 정보를 추출하는 카메라 장치 및 그의 깊이 정보 추출 방법을 제공하는데 있다.
본 발명의 실시예에 따른 카메라 장치는 객체에 조사되는 출력광 신호를 출력하며, 소정의 규칙으로 배열된 복수의 광원을 포함하는 광출력부; IR(InfraRed) 필터, 그리고 상기 IR 필터 상에 배치되는 적어도 1매의 렌즈를 포함하며, 상기 객체로부터 반사된 입력광 신호를 집광하는 렌즈부; 상기 렌즈부에 의하여 집광된 상기 입력광 신호로부터 전기 신호를 생성하는 이미지 센서; 상기 출력광 신호 및 상기 이미지 센서에 수신된 상기 입력광 신호 간 위상 차 또는 시간 차를 이용하여 상기 객체의 깊이 정보를 획득하는 영상 처리부; 및 상기 광출력부, 상기 렌즈부, 상기 이미지 센서 및 상기 영상 처리부를 제어하는 제어부를 포함하고, 상기 복수의 광원은 적어도 2개의 광원 그룹으로 구분되고, 상기 제어부는 광원 그룹 별로 순차적으로 상기 출력광 신호를 출력하도록 제어하고, 상기 이미지 센서는 상기 광원 그룹 별로 구분되는 적어도 2개의 픽셀 그룹을 포함하고, 상기 제어부는 픽셀 그룹 별로 순차적으로 상기 입력광 신호를 집광하도록 제어한다.
상기 제어부는 상기 적어도 2개의 광원 그룹의 개수를 적응적으로 조절하며, 상기 적어도 2개의 광원 그룹의 개수는 상기 객체의 거리가 커질수록 많아질 수 있다.
상기 적어도 2개의 광원 그룹의 개수가 많아질수록, 상기 광원 그룹 별로 포함된 복수의 광원의 개수는 적어지며, 상기 광원 그룹 별로 출력하는 상기 출력광 신호의 인텐시티는 커질 수 있다.
각 광원 그룹에 포함되는 복수의 광원의 배치 패턴은 다른 광원 그룹에 포함되는 복수의 광원의 배치 패턴과 동일할 수 있다.
각 광원 그룹에 포함되는 복수의 광원은 상기 광출력부에 포함된 복수의 광원 전체에 대하여 균일하게 분포될 수 있다.
상기 적어도 2개의 광원 그룹은 홀수 열에 배치된 복수의 광원을 포함하는 제1 광원 그룹 및 짝수 열에 배치된 복수의 광원을 포함하는 제2 광원 그룹을 포함할 수 있다.
각 픽셀 그룹은 복수의 픽셀을 포함하고, 상기 입력광 신호의 인텐시티는 상기 복수의 픽셀에 고르게 분배될 수 있다.
상기 적어도 2개의 픽셀 그룹은 체크무늬 형상으로 공간적으로 구분되는 제1 픽셀 그룹 및 제2 픽셀 그룹을 포함할 수 있다.
상기 영상 처리부는 상기 픽셀 그룹 별로 집광된 입사광 신호로부터 추출된 적어도 2개의 서브프레임을 이용하여 하나의 깊이 영상을 획득할 수 있다.
본 발명의 한 실시예에 따른 카메라 장치를 이용하면, 아이세이프티 기준을 만족시키면서도 깊이 정보의 측정 거리를 넓힐 수 있다. 또한, 본 발명의 한 실시예에 따른 카메라 장치를 이용하면, 측정 거리에 따라 광원의 개수 및 광의 인텐시티를 적응적으로 조절할 수 있으며, 이에 따라 전력 소비를 크게 늘리지 않고도 근거리뿐만 아니라 원거리에서의 깊이 정보를 추출하는 것이 가능하다.
도 1은 본 발명의 한 실시예에 따른 카메라 장치의 블록도이다.
도 2는 출력광 신호의 주파수를 설명하기 위한 도면이다.
도 3은 카메라 장치의 단면도의 한 예이다.
도 4는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 카메라 장치로부터 얻은 4개의 위상에 대한 로우(raw) 영상의 예이다.
도 7은 도 6의 로우 영상으로부터 얻은 ToF IR 영상의 예이다.
도 8은 도 6의 로우 영상으로부터 얻은 깊이 영상의 예이다.
도 9는 출력되는 광의 평균 파워(Pavg)와 출력되는 광의 인텐시티(Ppk) 간 관계를 설명하는 도면이다.
도 10은 본 발명의 한 실시예에 따른 카메라 장치에 포함되는 광출력부의 광원, 그의 인텐시티 및 광출력부와 이미지 센서 간 타이밍도를 나타낸다.
도 11은 본 발명의 한 실시예에 따른 카메라 장치의 광출력부 측의 제어 방법을 설명하는 도면이다.
도 12는 본 발명의 한 실시예에 따른 카메라 장치의 이미지 센서 측의 제어 방법을 설명하는 도면이다.
도 13은 본 발명의 한 실시예에서 객체의 거리에 따라 광원 그룹이 적응적으로 제어되는 방법을 설명하는 도면이다.
도 14는 본 발명의 한 실시예에서 픽셀 그룹이 적응적으로 제어되는 방법을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
도 1은 본 발명의 한 실시예에 따른 카메라 장치의 블록도이다.
도 1을 참조하면, 카메라 장치(100)는 광출력부(110), 렌즈부(120), 이미지 센서(130), 영상 처리부(140) 및 제어부(150)를 포함한다. 여기서, 제어부(150)는 광출력부(110), 렌즈부(120), 이미지 센서(130) 및 영상 처리부(140)를 제어한다.
본 발명의 실시예에 따른 카메라 장치(100)는 ToF 기능을 이용하여 깊이 정보를 추출하므로, 본 명세서에서 ToF 카메라 장치 또는 ToF 카메라 모듈과 혼용될 수 있다.
광출력부(110)는 출력광 신호를 생성한 후 객체에 조사한다. 이때, 광출력부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 출력광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 출력광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 장치(100)는 광출력부(110)로부터 출력된 출력광 신호와 객체로부터 반사된 후 카메라 장치(100)로 입력된 입력광 신호 사이의 시간 차 또는 위상 차를 검출할 수 있다. 본 명세서에서, 출력광은 광출력부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 광출력부(110)로부터 출력되어 객체에 도달하여 객체로부터 반사된 후 카메라 장치(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.
광출력부(110)는 생성된 출력광 신호를 소정의 노출주기 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 장치(100)가 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
광출력부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 생성할 수 있다. 광출력부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 동시에 생성할 수도 있다.
도 2는 출력광 신호의 주파수를 설명하기 위한 도면이다. 본 발명의 실시예에 따르면, 광출력부(110)는 도 2에서와 같이 노출주기의 첫 절반은 주파수 f1인 출력광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f2인 출력광 신호가 생성되도록 제어할 수 있다.
다른 실시예에 따르면, 광출력부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 출력광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2인 출력광 신호가 생성되도록 제어할 수도 있다.
이를 위하여, 광출력부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다.
우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 출력광 신호를 생성한다. 일정 시간 간격은 출력광 신호의 주파수일 수 있다.
광변조부(114)는 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어할 수 있다.
한편, 렌즈부(120)는 객체로부터 반사된 입력광 신호를 집광하여 이미지 센서(130)에 전달한다.
도 3은 카메라 장치의 단면도의 한 예이다.
도 3을 참조하면, 카메라 장치(300)는 렌즈 어셈블리(310), 이미지 센서(320) 및 인쇄회로기판(330)을 포함한다. 여기서, 렌즈 어셈블리(310)는 도 1의 렌즈부(120)에 대응하고, 이미지 센서(320)는 도 1의 이미지 센서(130)에 대응할 수 있다. 그리고, 도 1의 영상 처리부(140) 등은 인쇄회로기판(330) 내에서 구현될 수 있다. 도시되지 않았으나, 도 1의 광출력부(110)는 인쇄회로기판(330) 상에서 이미지 센서(320)의 측면에 배치되거나, 카메라 장치(300)의 외부, 예를 들어 카메라 장치(300)의 측면에 배치될 수도 있다.
렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다.
렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 이미지 센서(320)가 탑재된 인쇄회로기판(330)에 결합될 수 있다. 렌즈 홀더(316)에 의하여 렌즈 배럴(314) 하부에 IR 필터(318)가 부착될 수 있는 공간이 형성될 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 이미지 센서(320)가 탑재된 인쇄회로기판(330)과 결합되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다.
상기의 예시는 일 실시예에 불과하며, 렌즈부(120)는 카메라 장치(100)로 입사되는 입력광 신호를 집광하여 이미지 센서(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다.
다시 도 1을 참조하면, 이미지 센서(130)는 렌즈부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성한다.
이미지 센서(130)는 광출력부(110)의 점멸 주기와 동기화되어 입력광 신호를 검출할 수 있다. 구체적으로 이미지 센서(130)는 광출력부(110)로부터 출력된 출력광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 검출할 수 있다. 즉, 이미지 센서(130)는 광원이 켜져 있는 시간에 입사광 신호를 흡수하는 단계와 광원이 꺼져 있는 시간에 입사광 신호를 흡수하는 단계를 반복 수행할 수 있다.
다음으로, 이미지 센서(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 광출력부(110)로부터 출력된 출력광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 광출력부(110)가 복수의 주파수로 출력광 신호를 생성하는 경우, 이미지 센서(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 4에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 출력광 신호, 즉 객체의 입장에서 입사광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 출력광 신호와 동일한 위상을 가질 수 있다. 입력광 신호, 즉 객체의 입장에서 반사광 신호는 출력광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서(130)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서(130)는 도 4의 음영 부분에 대응하는 전기 신호를 각 참조 신호별로 생성할 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 출력광 신호가 생성된 경우, 이미지 센서(130)는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 출력광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
이미지 센서(130)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 이미지 센서를 설명하기 위한 도면이다. 예를 들어, 도 5에서와 같이 320x240 해상도의 이미지 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열된다. 이때, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다.
본 발명의 실시예에 따르면, 각 픽셀(132)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 장치(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 장치(100)와 소정 거리 떨어져 위치하는 경우, 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다. 다시 도 1을 참조하면, 영상 처리부(140)는 이미지 센서(130)로부터 수신한 전기신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라 장치(100) 사이의 거리를 계산한다.
구체적으로, 영상 처리부(140)는 전기신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 출력광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 영상 처리부(140)는 아래의 수학식 1을 이용하여 출력광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 출력광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 출력광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 출력광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 출력광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그러면, 영상 처리부(140)는 출력광 신호와 입력광 신호의 위상차를 이용하여 객체와 카메라 장치(100) 사이의 거리를 계산할 수 있다. 이때, 영상 처리부(140)는 아래의 수학식 2를 이용하여 객체와 카메라 장치(100) 사이의 거리(d)를 계산할 수 있다.
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
본 발명의 실시예에 따르면, 카메라 장치(100)로부터 ToF IR 영상 및 깊이(depth) 영상을 얻을 수 있다.
이와 관련하여 더욱 구체적으로 설명하면, 도 6에 예시된 바와 같이 본 발명의 실시예에 따른 카메라 장치(100)로부터 4개의 위상에 대한 로우(raw) 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.
도 6의 4 개의 위상 영상을 이용하여 수학식 3과 같이 연산하면, 도 7의 ToF IR 영상인 앰플리튜드 영상(amplitude image)을 얻을 수 있다.
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
또는, 도 6의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
이와 같이, ToF IR 영상은 4 개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성되는 영상으로, 이러한 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.
본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 7에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.
한편, 도 6의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 8의 깊이 영상도 얻을 수 있다.
한편, 도 4에서 설명한 In-direct ToF 방식에 따르면, 모듈레이션 주파수(modulation frequency)를 감소시킬수록 객체에 대한 측정 거리는 증대시킬 수 있으나, 해상도(resolution)가 떨어지고, 모듈레이션 주파수를 증가시킬수록 해상도는 높아질 수 있으나 객체에 대한 측정 거리가 짧아질 수 있다. 본 발명의 실시예에서는, 조도량(E, illuminance)이 광의 인텐시티(Intensity)에 비례하고 객체와의 거리(d)의 제곱에 반비례하는 In-direct ToF 방식의 특성을 이용하여 조도량(E)은 일정하게 유지하되, 광의 인텐시티(I)를 증가시켜 객체와의 거리(d)를 증가시키고자 한다.
본 발명의 실시예는 In-direct ToF 방식뿐만 아니라, Direct ToF 방식에도 적용될 수 있다. Direct ToF 방식에 따르면, 아이세이프티 기준을 만족시키기 위하여 출력되는 광의 평균 파워를 소정 수준 이하로 제어할 필요가 있다.
도 9는 출력되는 광의 평균 파워(Pavg)와 출력되는 광의 인텐시티(Ppk) 간 관계를 설명하는 도면이다.
도 9를 참조하면, 출력되는 광의 평균 파워(Pavg)는 수학식 7과 같이 나타낼 수 있다.
여기서, Pavg는 소정 시간 동안 소정 면적에 대하여 출력되는 광의 평균 파워이고, Ppk는 출력되는 광의 인텐시티, 즉 피크 파워이며, PW는 펄스 폭이고, Prt는 펄스의 반복 시간을 의미한다.
이를 참조하면, PW 및 Prt를 제어하면 Ppk는 일정하게 유지하되, 광의 인텐시티(Ppk)를 증가시켜 객체와의 거리(d)를 증가시키는 것이 가능함을 알 수 있다.
도 10은 본 발명의 한 실시예에 따른 카메라 장치에 포함되는 광출력부의 광원, 그의 인텐시티 및 광출력부와 이미지 센서 간 타이밍도를 나타낸다.
도 10(a)를 참조하면, 본 발명의 한 실시예에 따른 카메라 장치(100)에 포함되는 광출력부(110)의 광원(112)은 소정의 규칙으로 배열되는 복수의 광원(1000)을 포함한다. 여기서, 복수의 광원(1000)은 복수의 행 및 복수의 열로 배열된 어레이 형상일 수 있다. 여기서, 짝수 행에 배치된 복수의 광원과 홀수 행에 배치된 복수의 광원은 서로 엇갈리게 배치되고, 짝수 열에 배치된 복수의 광원과 홀수 열에 배치된 복수의 광원은 서로 엇갈리게 배치되는 것으로 예시되어 있으나, 이로 제한되는 것은 아니다. 복수의 광원(1000)은 소정의 규칙을 가지고 전체적으로 고르게 배치될 수 있다.
여기서, 복수의 광원(1000) 전체가 출력광 신호를 출력하는 경우, 도 10(b)에 도시된 바와 같이 아이세이프티 기준인 전체 평균 전력(total Pavg)를 만족시키기 위하여 인텐시티 I0의 출력광 신호를 출력할 수 있으며, 도 10(c)에 도시된 바와 같은 타이밍도를 얻을 수 있다.
한편, 본 발명의 실시예에 따르면, 복수의 광원을 공간적으로 구분하여 출력광 신호를 순차적으로 출력하고자 한다. 이에 따라, 전체 평균 전력(total Pavg)를 소정의 아이세이프티 기준에 따라 유지하되, 광원 별 인텐시티를 증가시켜 측정 거리를 증가시킬 수 있다.
도 11은 본 발명의 한 실시예에 따른 카메라 장치의 광출력부 측의 제어 방법을 설명하는 도면이고, 도 12는 본 발명의 한 실시예에 따른 카메라 장치의 이미지 센서 측의 제어 방법을 설명하는 도면이다.
도 11(a)를 참조하면, 광출력부(110)는 복수의 광원(1000)을 포함하며, 복수의 광원(1000)은 적어도 2개의 광원 그룹으로 구분된다. 이하, 설명의 편의를 위하여 2개의 광원 그룹인 제1 광원 그룹 및 제2 광원 그룹으로 예를 들어 설명하나, 이로 제한되는 것은 아니다.
본 발명의 실시예에 따르면, 제1 광원 그룹(1010)에 포함되는 복수의 광원의 배치 패턴은 제2 광원 그룹1020)에 포함되는 복수의 광원의 배치 패턴과 동일할 수 있으며, 각 광원 그룹에 포함되는 복수의 광원은 광출력부(110)에 포함된 복수의 광원(1000) 전체에 대하여 균일하게 분포될 수 있다. 예를 들어, 제1 광원 그룹(1010)에 포함되는 복수의 광원은 홀수 열에 배치된 복수의 광원을 포함할 수 있고, 제2 광원 그룹(1020)에 포함되는 복수의 광원은 짝수 열에 배치된 복수의 광원을 포함할 수 있다. 또는 제1 광원 그룹(1010)에 포함되는 복수의 광원은 홀수 행에 배치된 복수의 광원을 포함할 수 있고, 제2 광원 그룹(1020)에 포함되는 복수의 광원은 짝수 행에 배치된 복수의 광원을 포함할 수 있다.
이에 따르면, 공간적으로 구분된 복수의 광원 그룹이 순차적으로 출력광 신호를 출력하더라도, 출력광 신호가 고른 분포로 객체에 도달한 후 이미지 센서(130)에 수신될 수 있으므로, 고품질의 깊이 정보를 획득하는 것이 가능하다.
이때, 제어부(150)는 제1 광원 그룹(1010) 및 제2 광원 그룹(1020)이 순차적으로 출력광 신호를 출력하도록 제어할 수 있다. 제어부(150)는 제1 광원 그룹(1010) 및 제2 광원 그룹(1020)의 출력광 신호의 인텐시티를 더 제어할 수 있다. 즉, 도 11(b)를 참조하면, 제어부(150)는 제1 광원 그룹(1010)이 인텐시티 PI0(P는 1보다 크다)의 출력광 신호를 출력하고, 제2 광원 그룹(1020)이 인텐시티 PI0(P는 1보다 크다)의 출력광 신호를 출력하도록 제어할 수 있다. 이에 따르면, 출력광 신호의 순간적인 인텐시티를 높일 수 있으므로, 아이세이프티 기준인 전체 평균 전력(total Pavg)은 만족시키면서도 측정 거리를 증대시키는 것이 가능하며, 도 11(c)의 타이밍도를 얻을 수 있다.
한 실시예에서, 제어부(150)가 제1 광원 그룹(1010) 및 제2 광원 그룹(1020)이 순차적으로 출력광 신호를 출력하도록 제어하기 위하여, 제어부(150)는 제1 광원 그룹(1010) 및 제2 광원 그룹(1020)을 순차적으로 온오프시킬 수 있다. 예를 들어, 제어부(150)는 제1 광원 그룹(1010)에 포함되는 복수의 광원이 온(on) 될 때, 제2 광원 그룹(1020)에 포함되는 복수의 광원이 오프(off)되도록 제어하고, 제1 광원 그룹(1010)에 포함되는 복수의 광원이 오프(off) 될 때, 제2 광원 그룹(1020)에 포함되는 복수의 광원이 온(on)되도록 제어할 수 있다.
다른 실시예에서, 제어부(150)가 제1 광원 그룹(1010) 및 제2 광원 그룹(1020)이 순차적으로 출력광 신호를 출력하도록 제어하기 위하여, 카메라 장치(100)는 광원을 틸팅하는 틸팅 소자 및 회절 소자를 더 포함할 수도 있다. 제어부(150)는 틸팅 소자 및 회절 소자를 제어하여 를 제어하여 복수의 광원을 틸팅한 후, 회절 소자를 제어하여 제1 광원 그룹(1010)에 포함되는 복수의 광원으로부터 출력광 신호가 출력될 때 제2 광원 그룹(1020)에 포함되는 복수의 광원으로부터 출력광 신호가 출력되지 않도록 제어하고, 제1 광원 그룹(1010)에 포함되는 복수의 광원으로부터 출력광 신호가 출력되지 않을 때 제2 광원 그룹(1020)에 포함되는 복수의 광원으로부터 출력광 신호가 출력되도록 제어할 수 있다. 이때, 틸팅 소자는 MEMS(micro electro mechanical systems)를 포함할 수 있다. 그리고, 회절 소자는 회절 격자(diffraction grating) 또는 액체 렌즈를 포함할 수 있다.
도 12(a) 및 12(b)를 참조하면, 이미지 센서(130)는 광원 그룹 별로 구분되는 적어도 2개의 픽셀 그룹(1210, 1220)을 포함한다. 예를 들어, 광원 그룹이 홀수 열에 배치된 복수의 광원을 포함하는 제1 광원 그룹(1010) 및 짝수 열에 배치된 복수의 광원을 포함하는 제2 광원 그룹(1020)을 포함하는 경우, 제1 픽셀 그룹(1210) 및 제2 픽셀 그룹(1220)은 체크무늬 형상으로 공간적으로 구분되도록 배치될 수 있다. 여기서, 픽셀은 본 발명의 실시예에 따른 방법을 설명하기 위하여 임의로 정의한 영역으로, 주소화될 수 있는 화면의 가장 작은 단위인 화소를 의미할 수 있으나 이로 제한되는 것은 아니며, 복수의 화소를 포함하는 영역이 하나의 픽셀로 정의될 수도 있다.
도 11(a) 및 도 11(b)에서 설명한 바와 같이, 제1 광원 그룹(1010)과 제2 광원 그룹(1020)이 순차적으로 인텐시티 2I0의 출력광 신호를 출력하는 경우, 도 12(b)에 도시된 바와 같이 이미지 센서(130)에도 인텐시티가 약 2I0인 입력광 신호가 공간적으로 구분되어 순차적으로 입력될 수 있다. 이미지 센서(130)에 인텐시티가 약 2I0인 입력광 신호가 입력되더라도, 이는 이미지 센서(130)의 일부 공간, 즉 일부 픽셀 그룹에만 입력되는 것이므로, 전체 평균 전력은 아이세이프티 기준으로 맞추는 것이 가능하다.
이에 따라, 도 12(a)에 도시된 바와 같이, 제어부(150)는 픽셀 그룹 별로 순차적으로 입력광 신호를 집광하도록 제어할 수 있다. 즉, 제어부(150)는 제1 광원 그룹 및 제2 광원 그룹이 순차적으로 출력광 신호를 출력하는 주기에 대응하여 제1 픽셀 그룹(1210)과 제2 픽셀 그룹(1220)이 순차적으로 입력광 신호를 집광하도록 제어할 수 있다. 한 예로, 카메라 장치(100)가 Direct ToF 방식에 기반하는 경우, 영상 처리부(140)는 제1 픽셀 그룹(1210)으로부터 집광된 입사광 신호로부터 제1 서브프레임을 추출하고, 제2 픽셀 그룹(1220)으로부터 집광된 입사광 신호로부터 제2 서브프레임을 추출하며, 이들 제1 서브프레임과 제2 서브프레임을 이용하여 하나의 깊이 영상을 획득할 수 있다. 다른 예로, 카메라 장치(100)가 In-Direct ToF 방식에 기반하는 경우, 영상 처리부(140)는 제1 픽셀 그룹(1210)으로부터 집광된 입사광 신호로부터 phase 0°, phase 90°, phase 180°, phase 270° 각각에 대한 4개의 서브프레임을 추출하고, 제2 픽셀 그룹(1220)으로부터 집광된 입사광 신호로부터 phase 0°, phase 90°, phase 180°, phase 270° 각각에 대한 4개의 서브프레임을 추출하며, 이들 8개의 서브프레임을 이용하여 하나의 깊이 영상을 획득할 수도 있다.
이와 같이, 영상 처리부(140)가 복수의 서브프레임을 이용하여 하나의 깊이 영상을 획득하면, 스캐닝 수의 증가로 인하여 신호대잡음비(SNR)가 줄어들 수 있으며, 이에 따라 깊이 영상의 품질을 높일 수 있다.
한 실시예에서, 제어부(150)가 픽셀 그룹 별로 순차적으로 입력광 신호를 집광하도록 제어하기 위하여, 제어부(150)는 제1 광원 그룹(1010) 및 제2 광원 그룹(1020)이 순차적으로 출력광 신호를 출력하는 주기에 대응하여 제1 픽셀 그룹(1210)과 제2 픽셀 그룹(1220)을 순차적으로 온오프시킬 수 있다. 예를 들어, 제어부(150)는 제1 픽셀 그룹(1210)에 포함되는 복수의 픽셀의 동작이 리드아웃(readout) 온(on) 될 때, 제2 픽셀 그룹(1220)에 포함되는 복수의 픽셀의 동작이 리드아웃 오프(off)되도록 제어하고, 제1 픽셀 그룹(1210)에 포함되는 복수의 픽셀의 동작이 리드아웃 오프(off) 될 때, 제2 픽셀 그룹(1220)에 포함되는 복수의 픽셀의 동작이 리드아웃 온(on)되도록 제어할 수 있다. 이에 따르면, 이미지 센서(130)의 저전력 구동이 가능하다.
여기서, 광출력부(110) 및 이미지 센서(130)의 듀티비가 각각 50%인 것을 예로 들어 설명하고 있으나, 이로 제한되는 것은 아니며, 광출력부(110) 및 이미지 센서(130)의 듀티비는 각각 25 내지 75%의 범위 내일 수 있다.
한편, 본 발명의 실시예에 따르면, 제어부는 객체의 거리에 따라 광원 그룹을 적응적으로 제어할 수도 있다.
도 13은 본 발명의 한 실시예에서 객체의 거리에 따라 광원 그룹이 적응적으로 제어되는 방법을 설명하는 도면이다.
도 13(a)를 참조하면, 본 발명의 한 실시예에 따른 카메라 장치(100)에 포함되는 광출력부(110)의 광원(112)은 소정의 규칙으로 배열되는 복수의 광원(1300)을 포함한다. 여기서, 복수의 광원(1300)은 복수의 행 및 복수의 열로 배열된 어레이 형상일 수 있다. 여기서, 짝수 행에 배치된 복수의 광원과 홀수 행에 배치된 복수의 광원은 서로 엇갈리게 배치되고, 짝수 열에 배치된 복수의 광원과 홀수 열에 배치된 복수의 광원은 서로 엇갈리게 배치되는 것으로 예시되어 있으나, 이로 제한되는 것은 아니다. 복수의 광원(1300)은 소정의 규칙을 가지고 전체적으로 고르게 배치될 수 있다.
여기서, 복수의 광원(1300) 전체가 출력광 신호를 출력하는 경우, 아이세이프티 기준인 전체 평균 전력(total Pavg)를 만족시키기 위하여 인텐시티 I0의 출력광 신호를 출력할 수 있으며, 이에 따라 측정 거리는 d가 되는 것을 전제로 설명한다.
한 실시예에서, 제어부(150)는 객체의 거리에 따라 광원 그룹의 개수를 적응적으로 조절할 수 있다. 즉, 제어부(150)는 객체의 거리가 커질수록 광원 그룹의 개수가 많아지도록 제어할 수 있다. 광원 그룹의 개수가 많아지면, 광원 그룹 별로 포함된 복수의 광원의 개수는 적어지며, 광원 그룹 별로 출력하는 출력광 신호의 인텐시티는 커질 수 있다. 이에 따라, 전체 평균 전력(total Pavg)을 아이세이프티 기준으로 만족시키면서도 카메라 장치(100)의 측정 거리는 넓어질 수 있다.
예를 들어, 카메라 장치(100)의 측정 거리를 d보다 큰 d1으로 넓히고자 하는 경우, 도 13(b)에 도시한 바와 같이 제어부(150)는 복수의 광원(1300)을 홀수 열에 배치된 복수의 광원을 포함하는 제1 광원 그룹(1310) 및 짝수 열에 배치된 복수의 광원을 포함하는 제2 광원 그룹(1320)으로 구분할 수 있고, 제1 광원 그룹(1310)과 제2 광원 그룹(1320)이 순차적으로 출력광 신호를 출력하도록 제어할 수 있다. 이때, 각 광원 그룹이 출력하는 출력광 신호의 인텐시티는 인텐시티 I0보다 큰 인텐시티, 예를 들어 인텐시티 2I0일 수 있다.
만약, 카메라 장치(100)의 측정 거리를 d1보다 더 큰 d2로 넓히고자 하는 경우, 제어부(150)는 도 13(c)에 도시한 바와 같이 복수의 광원(1300)을 2개의 광원 그룹보다 큰 4개의 광원 그룹으로 구분할 수 있고, 4개의 광원 그룹이 순차적으로 출력광 신호를 출력하도록 제어할 수 있다. 이때, 각 광원 그룹이 출력하는 출력광 신호의 인텐시티는 인텐시티 2I0보다 큰 인텐시티, 예를 들어 인텐시티 4I0일 수 있다.
이를 위하여, 제어부(150)는 측정 거리에 대한 피드백 정보를 이용하여 광원 그룹의 개수를 적응적으로 조절할 수 있다. 예를 들어, 제어부(150)는 카메라 장치(100) 내 센서 또는 영상 처리부(140)로부터 객체와의 거리에 관한 정보를 수신할 수 있으며, 객체와의 거리가 소정 기준 이상이면 광원 그룹의 개수를 늘리고, 소정 기준 미만이면 광원 그룹의 개수를 줄일 수 있다.
이때, 각 광원 그룹에 포함되는 복수의 광원의 배치 패턴은 다른 광원 그룹에 포함되는 복수의 광원의 배치 패턴과 동일할 수 있으며, 각 광원 그룹에 포함되는 복수의 광원은 광출력부(110)에 포함된 복수의 광원 전체에 대하여 균일하게 분포될 수 있다.
한편, 본 발명의 실시예에 따르면, 제어부는 픽셀 그룹을 적응적으로 제어할 수도 있다.
도 14는 본 발명의 한 실시예에서 픽셀 그룹이 적응적으로 제어되는 방법을 설명하는 도면이다.
도 14를 참조하면, 아이세이프티 기준인 전체 평균 전력(total Pavg)를 만족시키기 위하여 이미지 센서(130)는 소정의 제한 영역(M*N)을 만족시키는 것을 가정한다. 즉, 이미지 센서(130)의 소정의 제한 영역(M*N) 내에 전체 평균 전력(total Pavg)이 입사되어야 한다.
도 13(a)에 예시한 바와 같이 복수의 광원(1300)이 모두 인텐시티 I0의 출력광 신호를 출력하는 경우, 각 픽셀에는 I0/(M*N)의 인센시티로 입력광 신호가 입력될 수 있다.
이에 반해, 도 13(b)에 예시한 바와 같이, 복수의 광원(1300)이 제1 광원 그룹(1310) 및 제2 광원 그룹(1320)으로 구분되며 인텐시티 2I0의 출력광 신호를 순차적으로 출력하는 경우, 이미지 센서(130)의 소정의 제한 영역(M*N)은 제1 픽셀 그룹(1410) 및 제2 픽셀 그룹(1420)으로 구분될 수 있으며, 제어부(150)는 각 픽셀 그룹에 포함되는 복수의 픽셀로 인텐시티 약 2I0의 입력광 신호가 고르게 분배되도록 제어할 수 있다. 예를 들어, 각 픽셀에는 (2I0/(M*N))*2의 입력광 신호가 입력될 수 있다.
이에 따라, 입력광 신호는 이미지 센서(130)의 전체 영역에 고르게 분배될 수 있으며, 높은 품질의 깊이 영상을 획득할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 카메라 장치 110: 광출력부
120: 렌즈부 130: 이미지 센서
140: 영상 처리부 150: 제어부

Claims (9)

  1. 객체에 조사되는 출력광 신호를 출력하며, 소정의 규칙으로 배열된 복수의 광원을 포함하는 광출력부;
    IR(InfraRed) 필터, 그리고 상기 IR 필터 상에 배치되는 적어도 1매의 렌즈를 포함하며, 상기 객체로부터 반사된 입력광 신호를 집광하는 렌즈부;
    상기 렌즈부에 의하여 집광된 상기 입력광 신호로부터 전기 신호를 생성하는 이미지 센서;
    상기 출력광 신호 및 상기 이미지 센서에 수신된 상기 입력광 신호 간 위상 차 또는 시간 차를 이용하여 상기 객체의 깊이 정보를 획득하는 영상 처리부; 및
    상기 광출력부, 상기 렌즈부, 상기 이미지 센서 및 상기 영상 처리부를 제어하는 제어부를 포함하고,
    상기 복수의 광원은 적어도 2개의 광원 그룹으로 구분되고,
    상기 제어부는 광원 그룹 별로 순차적으로 상기 출력광 신호를 출력하도록 제어하고,
    상기 이미지 센서는 상기 광원 그룹 별로 구분되는 적어도 2개의 픽셀 그룹을 포함하고,
    상기 제어부는 픽셀 그룹 별로 순차적으로 상기 입력광 신호를 집광하도록 제어하고,
    상기 제어부는 상기 적어도 2개의 광원 그룹의 개수를 적응적으로 조절하며,
    상기 적어도 2개의 광원 그룹의 개수는 상기 객체의 거리가 커질수록 많아지는 카메라 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 적어도 2개의 광원 그룹의 개수가 많아질수록, 상기 광원 그룹 별로 포함된 복수의 광원의 개수는 적어지며, 상기 광원 그룹 별로 출력하는 상기 출력광 신호의 인텐시티는 커지는 카메라 장치.
  4. 제3항에 있어서,
    각 광원 그룹에 포함되는 복수의 광원의 배치 패턴은 다른 광원 그룹에 포함되는 복수의 광원의 배치 패턴과 동일한 카메라 장치.
  5. 제3항에 있어서,
    각 광원 그룹에 포함되는 복수의 광원은 상기 광출력부에 포함된 복수의 광원 전체에 대하여 균일하게 분포되는 카메라 장치.
  6. 제3항에 있어서,
    상기 적어도 2개의 광원 그룹은 홀수 열에 배치된 복수의 광원을 포함하는 제1 광원 그룹 및 짝수 열에 배치된 복수의 광원을 포함하는 제2 광원 그룹을 포함하는 카메라 장치.
  7. 제3항에 있어서,
    각 픽셀 그룹은 복수의 픽셀을 포함하고,
    상기 입력광 신호의 인텐시티는 상기 복수의 픽셀에 고르게 분배되는 카메라 장치.
  8. 제1항에 있어서,
    상기 적어도 2개의 픽셀 그룹은 체크무늬 형상으로 공간적으로 구분되는 제1 픽셀 그룹 및 제2 픽셀 그룹을 포함하는 카메라 장치.
  9. 제1항에 있어서,
    상기 영상 처리부는 상기 픽셀 그룹 별로 집광된 입사광 신호로부터 추출된 적어도 2개의 서브프레임을 이용하여 하나의 깊이 영상을 획득하는 카메라 장치.
KR1020180116464A 2018-09-28 2018-09-28 카메라 장치 및 그의 깊이 정보 추출 방법 KR102560397B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180116464A KR102560397B1 (ko) 2018-09-28 2018-09-28 카메라 장치 및 그의 깊이 정보 추출 방법
US17/280,781 US20220003873A1 (en) 2018-09-28 2019-09-26 Camera device and depth information extraction method of same
PCT/KR2019/012525 WO2020067738A1 (ko) 2018-09-28 2019-09-26 카메라 장치 및 그의 깊이 정보 추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180116464A KR102560397B1 (ko) 2018-09-28 2018-09-28 카메라 장치 및 그의 깊이 정보 추출 방법

Publications (2)

Publication Number Publication Date
KR20200036614A KR20200036614A (ko) 2020-04-07
KR102560397B1 true KR102560397B1 (ko) 2023-07-27

Family

ID=69953234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180116464A KR102560397B1 (ko) 2018-09-28 2018-09-28 카메라 장치 및 그의 깊이 정보 추출 방법

Country Status (3)

Country Link
US (1) US20220003873A1 (ko)
KR (1) KR102560397B1 (ko)
WO (1) WO2020067738A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021216479A1 (en) * 2020-04-22 2021-10-28 Apple Inc. Event sensor-based depth estimation
KR20220147899A (ko) * 2021-04-28 2022-11-04 엘지이노텍 주식회사 카메라 장치
CN113298778B (zh) * 2021-05-21 2023-04-07 奥比中光科技集团股份有限公司 一种基于飞行时间的深度计算方法、系统及存储介质
EP4432050A1 (en) * 2021-12-20 2024-09-18 Samsung Electronics Co., Ltd. Device and method for controlling light sources in gaze tracking using glint
WO2023219440A1 (ko) * 2022-05-11 2023-11-16 엘지이노텍 주식회사 카메라 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147132A (ja) 2011-01-07 2012-08-02 Canon Inc 映像生成装置及び映像生成方法
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244181B2 (en) * 2009-02-17 2019-03-26 Trilumina Corp. Compact multi-zone infrared laser illuminator
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US10120076B2 (en) * 2015-05-07 2018-11-06 GM Global Technology Operations LLC Spatio-temporal scanning patterns for array lidar systems
WO2017126711A1 (ko) * 2016-01-19 2017-07-27 전자부품연구원 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
EP3423865B1 (en) * 2016-03-01 2024-03-06 Brightway Vision Ltd. Gated imaging apparatus, system and method
EP4194888A1 (en) * 2016-09-20 2023-06-14 Innoviz Technologies Ltd. Lidar systems and methods
KR101877128B1 (ko) * 2016-11-04 2018-08-07 한국광기술원 동적 제어를 이용한 적응형 발광 신호의 광량 제어장치
US10401481B2 (en) * 2017-03-30 2019-09-03 Luminar Technologies, Inc. Non-uniform beam power distribution for a laser operating in a vehicle
CN110998365B (zh) * 2017-07-05 2024-08-13 奥斯特公司 具有电子扫描发射器阵列和同步传感器阵列的光测距装置
US12085675B2 (en) * 2018-04-09 2024-09-10 Sense Photonics, Inc. Automatic gain control for LIDAR for autonomous vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147132A (ja) 2011-01-07 2012-08-02 Canon Inc 映像生成装置及び映像生成方法
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법

Also Published As

Publication number Publication date
WO2020067738A1 (ko) 2020-04-02
US20220003873A1 (en) 2022-01-06
KR20200036614A (ko) 2020-04-07

Similar Documents

Publication Publication Date Title
KR102560397B1 (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
EP3163316B1 (en) Apparatus and method for obtaining a depth image
KR102163728B1 (ko) 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
RU2672767C1 (ru) Устройство инфракрасного лазерного освещения
KR20160019385A (ko) 비행 시간 장치 및 조명원
US11539873B2 (en) Camera apparatus and autofocusing method therefor
CN111025315A (zh) 一种深度测量系统及方法
CN114930192A (zh) 红外成像组件
TWI829828B (zh) 攝影裝置
US11659155B2 (en) Camera
KR20200049152A (ko) 카메라 장치
KR102596053B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR102513680B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR20220147899A (ko) 카메라 장치
KR20220147901A (ko) 카메라 장치
KR102523762B1 (ko) 이미지 센서 및 이를 이용하는 카메라 모듈
KR20210034301A (ko) 카메라 모듈
CN110954917A (zh) 一种深度测量装置和深度测量方法
CN111045030A (zh) 一种深度测量装置和方法
KR20200036613A (ko) 카메라 장치
KR102553555B1 (ko) 카메라 모듈
KR102710469B1 (ko) 카메라 모듈
CN116746144A (zh) 相机模块
KR102561532B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR20200073673A (ko) 카메라 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant