KR20170050059A - 영상 획득 장치 및 영상 획득 방법 - Google Patents

영상 획득 장치 및 영상 획득 방법 Download PDF

Info

Publication number
KR20170050059A
KR20170050059A KR1020150151103A KR20150151103A KR20170050059A KR 20170050059 A KR20170050059 A KR 20170050059A KR 1020150151103 A KR1020150151103 A KR 1020150151103A KR 20150151103 A KR20150151103 A KR 20150151103A KR 20170050059 A KR20170050059 A KR 20170050059A
Authority
KR
South Korea
Prior art keywords
time
light
region
depth image
image
Prior art date
Application number
KR1020150151103A
Other languages
English (en)
Other versions
KR102372088B1 (ko
Inventor
유장우
박용화
윤희선
전명제
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150151103A priority Critical patent/KR102372088B1/ko
Priority to US15/081,407 priority patent/US10760906B2/en
Priority to EP16172379.6A priority patent/EP3163316B1/en
Priority to CN201610796927.XA priority patent/CN106657969B/zh
Publication of KR20170050059A publication Critical patent/KR20170050059A/ko
Application granted granted Critical
Publication of KR102372088B1 publication Critical patent/KR102372088B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • H04N5/217—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • H04N13/0003—
    • H04N13/0022—
    • H04N5/23258—

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

깊이 영상을 획득하는 영상 획득 장치 및 그 방법을 제공한다. 본 영상 획득 장치는 대상체를 복수 개의 영역으로 구분하여 각 영역별 부분 깊이 영상을 획득하며, 각 영역별 부분 깊이 영상을 이용하여 깊이 영상을 획득할 수 있다.

Description

영상 획득 장치 및 영상 획득 방법{Method for generating depth image and image generating apparatus using thereof}
본 개시는 깊이 영상을 획득하는 장치 및 그 방법에 관한 것이다.
피사체의 깊이(depth) 영상을 취득하는 방법으로서, 적외선(infrared Ray: IR)을 피사체에 조사한 후 조사된 적외선이 반사되어 돌아오는 시간을 이용하는 ToF(Time of Flight) 방법이 있다. 이러한 방법을 채용한 ToF 깊이 카메라는 피사체의 깊이 영상을 획득하는 종전의 다른 카메라(예를 들어, 스테레오(stereo) 카메라, 구조 광(structured light) 카메라)들에 비하여 실시간으로 모든 화소에서 피사체의 깊이를 취득할 수 있다는 장점이 있다.
ToF(Time of Flight) 방식의 깊이 영상은 피사체로 조사된 광과 광이 피사체로부터 반사되어 돌아오는 반사광 간의 위상차를 이용하여 획득할 수 있다.
본 개시는 깊이 영상을 획득할 수 있는 영상 획득 장치 및 그 방법을 제공한다.
본 개시는 모션 블러가 줄어든 깊이 영상을 획득할 수 있는 영상 획득 장치 및 그 방법을 제공한다.
본 개시는 깊이 영상의 프레임율을 높일 수 있는 영상 획득 장치 및 그 방법을 제공한다.
일 유형에 따르는 영상 획득 장치는, 제1 시간에 대상체의 제1 영역에 광을 조사하고, 제2 시간에 상기 대상체의 제2 영역에 상기 광을 조사하는 광원; 및 상기 제1 영역에서 반사된 반사광을 이용하여 제1 부분 깊이 영상을 획득하고, 상기 제2 영역에서 반사된 반사광을 이용하여 제2 부분 깊이 영상을 획득하며, 상기 제1 부분 깊이 영상과 상기 제2 부분 깊이 영상을 이용하여 상기 대상체의 제1 깊이 영상을 획득하는 영상 획득부;를 포함한다.
그리고, 상기 제1 시간과 상기 제2 시간은 적어도 일부 시간이 중첩되지 않을 수 있다.
또한, 상기 제2 시간은 상기 제1 시간의 다음 시간일 수 있다.
그리고, 상기 제1 시간은 상기 영상 획득부에 포함된 이미지 센서의 기준 프레임율의 역수보다 작을 수 있다.
또한, 상기 제1 시간은, 상기 대상체에 대한 상기 제1 영역의 비를 상기 기준 프레임율의 역수에 곱한 값 이하일 수 있다.
그리고, 상기 제1 영역에 조사되는 광량은, 기준 광량보다 클 수 있다.
또한, 상기 제1 영역에 조사되는 광량은, 상기 제1 영역에 대한 상기 대상체의 비를 상기 기준 광량에 곱한 값 이상일 수 있다.
그리고, 상기 제1 영역과 상기 제2 영역은 적어도 일부 영역이 중첩되지 않을 수 있다.
또한, 상기 제1 영역은 상기 대상체의 상부 영역이고, 상기 제2 영역은 상기 대상체의 하부 영역일 수 있다.
그리고, 상기 광원은, 상기 제1 시간 동안 위상이 서로 다른 복수 개의 광을 상기 제1 영역에 조사할 수 있다.
또한, 상기 복수 개의 광 중 이웃하는 광의 위상차는 90도일 수 있다.
그리고, 상기 제1 부분 깊이 영상은, 위상이 서로 다른 복수 개의 부분 영상으로부터 획득될 수 있다.
또한, 상기 광원은, 제3 시간에 상기 대상체의 상기 제1 영역에 광을 조사하고, 상기 영상 획득부는, 상기 제1 영역에서 반사된 반사광을 이용하여 상기 제1 영역의 제3 부분 깊이 영상을 획득하고, 상기 제2 부분 깊이 영상과 상기 제3 부분 깊이 영상을 이용하여 상기 대상체의 제2 깊이 영상을 획득할 수 있다.
그리고, 상기 제2 시간과 상기 제3 시간은 적어도 일부 시간이 중첩되지 않을 수 있다.
또한, 상기 제3 시간은 상기 제2 시간의 다음 시간일 수 있다.
그리고, 상기 제3 시간은 상기 제2 시간에서 일정 시간 경과한 후의 다음 시간일 수 있다.
또한, 상기 영상 획득부는, 상기 제1 영역에서 반사된 반사광을 이용하여 복수 개의 제1 부분 영상을 획득하고, 상기 제2 영역에서 반사된 반사광을 이용하여 복수 개의 제2 부분 영상을 획득하는 이미지 센서; 및 상기 복수 개의 제1 부분 영상으로부터 상기 제1 부분 깊이 영상을 획득하고, 상기 복수 개의 제2 부분 영상으로부터 상기 제2 부분 깊이 영상을 획득하며, 상기 제1 부분 깊이 영상과 상기 제2 부분 깊이 영상을 이용하여 상기 대상체의 제1 깊이 영상을 획득하는 프로세서;를 포함할 수 있다.
그리고, 상기 복수 개의 반사광을 서로 다른 이득 파형으로 광 변조할 수 있다.
한편, 일 실시예에 따른 영상 획득 장치는, 제1 시간에 대상체의 제1 영역에 광을 조사하는 단계; 제2 시간에 상기 대상체의 제2 영역에 광을 조사하는 단계; 상기 제1 영역에서 반사된 반사광을 이용하여 제1 부분 깊이 영상을 획득하는 단계; 상기 제2 영역에서 반사된 반사광을 이용하여 제2 부분 깊이 영상을 획득하는 단계; 및 상기 제1 및 제2 부분 깊이 영상을 이용하여 상기 대상체의 제1 깊이 영상을 획득하는 단계;를 포함한다.
그리고, 상기 제1 시간과 상기 제2 시간은 적어도 일부 시간이 중첩되지 않을 수 있다.
또한, 상기 제2 시간은 상기 제1 시간의 다음 시간일 수 있다.
그리고, 상기 제1 시간은 상기 반사광을 수광하는 이미지 센서의 기준 프레임율의 역수보다 작을 수 있다.
또한, 상기 제1 시간은, 상기 대상체에 대한 상기 제1 영역의 비를 상기 기준 프레임율의 역수에 곱한 값 이하일 수 있다.
그리고, 상기 제1 영역에 조사되는 광량은, 기준 광량보다 클 수 있다.
또한, 상기 제1 영역에 조사되는 광량은, 상기 제1 영역에 대한 상기 대상체의 비를 상기 기준 광량에 곱한 값 이상일 수 있다.
그리고, 상기 제1 영역과 상기 제2 영역은 적어도 일부 영역이 중첩되지 않을 수 있다.
또한, 상기 제1 영역은 상기 대상체의 상부 영역이고, 상기 제2 영역은 상기 대상체의 하부 영역일 수 있다.
그리고, 상기 제1 영역에 광을 조사하는 단계는, 상기 제1 시간 동안 위상이 서로 다른 복수 개의 광이 상기 제1 영역에 조사될 수 있다.
또한, 상기 복수 개의 광 중 이웃하는 광의 위상차는 90도일 수 있다.
그리고, 제3 시간에 상기 대상체의 상기 제1 영역에 상기 광을 조사하는 단계; 상기 제1 영역에서 반사된 반사광을 이용하여 상기 제1 영역의 제3 부분 깊이 영상을 획득하는 단계; 및 상기 제2 부분 깊이 영상과 상기 제3 부분 깊이 영상을 이용하여 상기 대상체의 제2 깊이 영상을 획득하는 단계;를 더 포함할 수 있다.
또한, 상기 제2 시간과 상기 제3 시간은 적어도 일부 시간이 중첩되지 않을 수 있다.
그리고, 상기 제3 시간은 상기 제2 시간의 다음 시간일 수 있다.
또한, 상기 제3 시간은 상기 제2 시간에서 일정 시간 경과한 후의 다음 시간일 수 있다.
도 1은 일 실시예에 따른 영상 획득 장치를 나타내는 블록도이다.
도 2는 일 실시예에 따른 깊이 영상을 획득하는 방법을 설명하는 흐름도이다.
도 3은 일 실시예에 따른 복수 개의 깊이 영상을 획득하는 방법을 설명하는 흐름도이다.
도 4는 일 실시예에 따른 깊이 영상을 획득하는 방법을 모식적으로 도시한 참조도면이다.
도 5는 비교예로서 이미지 센서가 대상체 전체에 대한 영상을 획득한 후 깊이 영상을 획득하는 방법을 설명하는 참조도면이다.
도 6a는 도 5에서 설명하는 방법으로 획득한 깊이 영상이고, 도 6b는 도 4에서 설명한 방법으로 획득한 깊이 영상이다.
도 7은 다른 실시예에 따른 깊이 영상을 획득하는 방법을 모식적으로 도시한 참조도면이다.
도 8a 및 도 8b는 또 다른 실시예에 따른 듀티비가 50%인 경우의 깊이 영상 획득 방법을 모식적으로 도시한 도면이다.
이하 첨부된 도면을 참조하면서 본 발명을 한정하지 아니하고 오로지 예시를 위한 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
본 실시예들은 깊이 영상의 모션 블러를 줄일 수 있는 방법, 이를 이용한 신호 처리 장치 및 영상 획득 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일 실시예에 따른 영상 획득 장치(100)를 나타내는 블록도이다. 도 1를 참조하면, 영상 획득 장치(100)는 대상체(10)에 광을 조사하는 광원(110), 대상체(10)로부터 반사된 광을 이용하여 대상체(10)에 대한 깊이 영상을 획득하는 영상 획득부(120) 및 광원(110)과 영상 획득부(120)의 동작을 제어하는 제어부(130)를 포함할 수 있다.
또한, 영상 획득 장치(100)는 반사광을 영상 획득에 집광하기 위한 제1 렌즈(140)와 소정의 파장을 갖는 광만을 투과시키고, 배경 광 또는 잡광을 제거하는 필터(150)가 더 포함될 수 있다.
광원(110)은, 예를 들어, 인간의 눈에는 보이지 않는 약 850nm의 근 적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다.
광원(110)은 대상체(10)를 복수 개의 영역으로 분리하여 분리된 영역을 시간별로 순차적으로 광을 조사할 수 있다. 예를 들어, 광원(110)은 제1 시간에 대상체(10)의 제1 영역(11)을 광을 조사하고, 제2 시간에 대상체(10)의 제2 영역(12)을 광을 조사할 수 있다. 제1 영역(11)과 제2 영역(12)은 적어도 일부 영역이 중첩되지 않을 수 있다. 제1 영역(11)은 대상체(10)의 상부 영역일 수 있고, 제2 영역(12)은 대상체(10)의 하부 영역일 수 있다. 또한, 제1 시간과 제2 시간도 적어도 일부 시간이 중첩되지 않을 수 있다. 예를 들어, 제2 시간은 제1 시간의 다음 시간일 수 있다.
또는 광원(110)은 대상체(10)의 제1 영역(11)을 광을 조사하는 제1 광원(112)과 대상체(10)의 제2 영역(12)을 광을 조사하는 제2 광원(114)을 포함할 수 있다. 그리하여, 제1 및 제2 광원(112, 114)은 제어부(130)의 제어 신호에 따라 교번적으로 광을 조사하도록 스위칭 온 또는 오프될 수 있다. 예를 들어, 제1 시간 동안 제1 광원(112)이 스위칭 온되어 광을 조사하고, 제2 시간 동안 제2 광원(114)이 스위칭 온되어 광을 조사할 수 있다.
광원(110)은 제어부(130)의 제어 신호에 따라 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조하여 출력할 수 있다. 제어부(130)의 제어 신호에 따라, 광원(110)으로부터 대상체(10)로 조사되는 광 조사 신호는 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 광 조사 신호는 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
영상 획득부(120)는 대상체(10)로부터 반사된 광을 수광하여 영상을 획득하는 이미지 센서(122) 및 상기한 영상으로부터 대상체(10)에 대한 깊이 정보가 포함된 깊이 영상을 획득하는 프로세서(124)를 포함할 수 있다.
이미지 센서(122)는 대상체(10)로부터 반사된 광을 제어부(130)로부터 수신된 제어 신호에 따라 광 변조한다. 예를 들어, 이미지 센서(122)는 제어부(130)에 의해 제공된 소정의 파형을 갖는 광 변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 이미지 센서(122)는 가변 이득을 갖는다.
이미지 센서(122)는 거리에 따른 빛의 위상 차 또는 이동 시간을 식별하기 위해 수십 내지 수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 이미지 센서(122)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 위상 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등을 포함할 수 있다.
이미지 센서(122)는 검출된 반사광으로부터 영상을 획득할 수도 있다. 만약 대상체(10)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 이미지 센서(122)는 예를 들어 포토 다이오드나 적분기와 같은 하나의 단일한 광센서를 포함할 수 있다. 그러나 대상체(10) 상의 다수의 점들까지의 거리를 동시에 측정하고자 하는 경우, 이미지 센서(122)는 다수의 포토 다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 이미지 센서(122)는 2차원 어레이를 갖는 CCD 이미지 센서(122) 또는 CIS일 수도 있다.
이미지 센서(122)는 제어부(130)의 제어 신호에 따라 픽셀들을 복수 개의 영역으로 분리할 수 있다. 이미지 센서(122)의 영역 분리는 광원(110)의 영역 분리와 대응할 수 있다. 예를 들어, 광원(110)이 대상체(10)를 상부 영역과 하부 영역으로 분리하는 경우, 제어부(130)는 이미지 센서(122)의 픽셀들을 상부 영역의 필셀들과 하부 영역의 픽셀들로 분리할 수 있다.
그리고, 제어부(130)는 광원(110)과 이미지 센서(122)를 동기화시킬 수 있다. 구체적으로, 제어부(130)는 광원(110)이 대상체(10)의 제1 영역(11)에 광을 조사할 때 제1 영역(11)에 대응하는 이미지 센서(122)의 영역이 동작하도록 이미지 센서(122)를 제어하고, 광원(110)이 대상체(10)의 제1 영역(11)에 광을 조사할 때 제1 영역(11)에 대응하는 이미지 센서(122)의 영역이 동작하도록 이미지 센서(122)를 제어할 수 있다.
예를 들어, 광원(110)이 대상체(10)의 상부 영역에 광을 조사할 때 이미지 센서(122)의 상부 영역이 대상체(10)의 상부 영역에서 반사된 광을 수광하고, 광원(110)이 대상체(10)의 하부 영역에 광을 조사할 때 이미지 센서(122)의 상부 영역이 대상체(10)의 하부 영역에서 반사된 광을 수광할 수 있다.
프로세서(124)는 이미지 센서(122)의 출력을 기초로 깊이 영상을 획득할 수 있다. 프로세서(124)는 이미지 센서(122) 중 대상체(10)의 제1 영역(11)에 대응하는 출력을 기초로 제1 부분 깊이 영상을 획득하고, 이미지 센서(122) 중 대상체(10)의 제2 영역(12)에 대응하는 출력을 기초로 제2 부분 깊이 영상을 획득할 수 있다. 그리고, 제1 부분 깊이 영상과 제2 부분 깊이 영상을 이용하여 깊이 영상을 생성할 수 있다. 깊이 영상은 이미지 센서(122)의 좌표 정보를 기초로 제1 및 제2 부분 깊이 영상을 결합으로써 획득될 수 있다.
프로세서(124)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 영상 획득 장치(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 프로세서(124) 별도의 이동 가능한 저장 매체에 저장될 수도 있다.
도 2는 일 실시예에 따른 깊이 영상을 획득하는 방법을 설명하는 흐름도이다. 도 2를 참조하면, 광원(110)은 제1 시간에 대상체(10)의 제1 영역(11)을 광을 조사할 수 있다(S210). 광원(110)이 제1 및 제2 광원(112, 114)으로 구성된 경우, 제1 광원(112)은 대상체(10)의 제1 영역(11)을 광을 조사할 수 있다. 또는 이에 한정되지 않는다. 광원(110)이 조명 각도를 조절하여 대상체(10)의 제1 영역(11)을 광을 조사할 수 있다. 상기한 제1 영역(11)은 대상체(10)의 일부 영역이며, 예를 들어, 대상체(10)의 상부 영역일 수 있다.
먼저, 광원(110)은 제어부(130)의 제어에 따라 소정의 주기 및 파형을 갖는 복수 개의 광을 대상체(10)의 제1 영역(11)에 순차적으로 조사할 수 있다. 상기한 복수 개의 광은 소정의 주기 및 파형을 가지며 서로 상이할 수 있다. 광원(110)은 복수 개의 광을 연속하여 순차적으로 조사할 수도 있고, 일정 시간 간격으로 복수 개의 광을 순차적으로 조사할 수도 있다.
예를 들어, 4개의 상이한 광을 사용하는 경우, 광원(110)은 시간 t1 동안 광 1을 발생시켜 대상체(10)의 제1 영역(11)에 조사하고, 다음의 시간 t2 동안 광 2를 발생시켜 대상체(10)의 제1 영역(11)에 조사하고, 시간 t3 동안 광 3을 발생시켜 대상체(10)의 제1 영역(11)에 조사하고, 이어서 시간 t4 동안 광 4를 대상체(10)의 제1 영역(11)에 조사할 수 있다. 이렇게 대상체(10)의 제1 영역(11)에 순차적으로 조사되는 광들은 사인파, 펄스파와 같은 특정 주기를 갖는 연속 함수의 형태를 가질 수 있다. 예를 들어, 광 1-4는 동일한 주기 및 파형을 가지면서 위상만이 서로 다른 주기파(periodic wave)일 수 있다.
광이 복수 개인 경우, 인접한 시간대에 조사되는 광의 위상 차는 360/n일 수 있으며, 각 광의 주기는 광원(110)의 구동 시간보다 작을 수 있다. 광원(110)의 구동 시간내에 n 개의 광 모두가 순차적으로 대상체(10)의 제1 영역(11)에 조사될 수 있다.
한편, 광원(110)은 대상체(10)의 일부 영역에 광을 조사하기 때문에 조사되는 광량은 기준 광량보다 클 수 있다. 여기서, 기준 광량이라 함은 이미지 센서(122) 전체가 하나의 프레임 영상을 생성하기 위해 필요한 최소한의 평균 광량을 의미할 수 있다. 광원(110)은 대상체(10)의 일부 영역을 조명하고 나머지 영역을 조명하지 않기 때문에 광량을 기준 광량보다 크게 함으로써 대상체(10)에 대한 평균 광량은 기준 광량이 될 수 있다. 예를 들어, 광원(110)이 대상체(10)의 1/N(여기서, N은 2이상의 자연수)영역에 광을 조사하는 경우, 광원(110)은 기준 광량의 N배의 광량을 갖는 광을 조사할 수 있다. 또는 광원(110)이 광을 불연속적으로 조사하는 경우, 기준 광량의 N배 이상의 광량을 갖는 광을 조사할 수도 있다.
또한, 제1 시간은 이미지 센서(122)의 기준 프레임율의 역수(T)보다 작을 수 있다. 여기서 기준 프레임율의 역수는 이미지 센서(122)가 하나의 프레임 영상을 생성하는데 소요되는 시간을 의미한다. 이는 광원(110)이 대상체(10)의 일부 영역에 광을 조사하고, 이미지 센서(122)도 대상체(10)의 일부 영역에서 반사된 광을 수광하기 때문에 제1 시간은 기준 프레임율의 역수보다 작다. 예를 들어, 광원(110)이 대상체(10)의 1/N(여기서, N은 2이상의 자연수)영역에 광을 조사하는 경우, 광원(110)은 기준 프레임율의 역수에 1/N을 곱한 시간 동안 광을 조사할 수 있고, 이미지 센서(122)도 기준 프레임율의 역수에 1/N을 곱한 시간 동안 광을 수광할 수 있다. 또는 광이 불연속적으로 대상체(10)의 제1 영역(11)에 조사되는 경우, 기준 프레임율의 역수에 1/N을 곱한 시간보다 짧은 시간 동안 대상체(10)의 제1 영역(11)에 조사될 수도 있다.
또한, 광원(110)은 제2 시간에 대상체(10)의 제2 영역(12)에 광을 조사할 수 있다(S220). 광원(110)이 제1 및 제2 광원(112, 114)으로 구성된 경우, 제2 광원(114)은 대상체(10)의 제2 영역(12)을 광을 조사할 수 있다. 또는 이에 한정되지 않는다. 광원(110)이 조명 각도를 변경하여 대상체(10)의 제2 영역(12)을 광을 조사할 수 있다. 상기한 제2 영역(12)은 대상체(10)의 일부 영역이며 제1 영역(11)의 크기와 동일할 수 있다. 그리고, 제2 영역(12)은 제1 영역(11)과 적어도 일부 영역이 중첩되지 않을 수 있다. 예를 들어, 제2 영역(12)은 대상체(10)의 하부 영역일 수 있다.
광원(110)은 제어부(130)의 제어에 따라 소정의 주기 및 파형을 갖는 복수 개의 광을 대상체(10)의 제2 영역(12)에 순차적으로 조사할 수 있다. 상기한 복수 개의 광은 소정의 주기 및 파형을 가지며 서로 상이할 수 있다. 광원(110)은 복수 개의 광을 연속하여 순차적으로 조사할 수도 있고, 일정 시간 간격으로 복수 개의 광을 순차적으로 조사할 수도 있다.
제2 시간도 제1 시간과 적어도 일부 시간이 중첩되지 않을 수 있다. 예를 들어, 제2 시간은 제1 시간의 다음 시간일 수 있다. 그러나, 이에 한정되지 않음은 물론이다. 제1 시간과 제2 시간의 크기도 동일할 수 있다. 예를 들어, 광원(110)은 대상체(10)의 일부 영역인 제2 영역(12)에 광을 조사하기 때문에 조사되는 광량은 기준 광량보다 클 수 있다. 그리고, 제2 시간은 이미지 센서(122)의 기준 프레임율의 역수보다 작을 수 있다. 광원(110)이 대상체(10)의 제2 영역(12)에 광을 조사하는 방법은 광원(110)이 대상체(10)의 제1 영역(11)에 광을 조사하는 방법과 동일하므로 구체적인 방법을 생략한다.
영상 획득부(120)는 제1 영역(11)에서 반사된 광을 이용하여 제1 부분 깊이 영상을 획득할 수 있다(S230). 대상체(10)의 제1 영역(11)에 조사된 광은 대상체(10)의 표면에서 반사된 후, 렌즈(140)로 입사한다. 일반적으로 대상체(10)의 제1 영역(11)은 영상 획득 장치(100)로부터의 거리, 즉 깊이(depth)가 서로 다른 다수의 표면들을 가질 수 있다. 예를 들어, 광 1이 대상체(10)의 제1 영역(11) 표면에서 반사되면서 반사광 1이 발생하며, 광 2가 대상체(10)의 제1 영역(11) 표면에서 반사되면서 반사광 2가 발생하고, 마찬가지로 광 n도 대상체(10)의 제1 영역(11) 표면에서 반사되면서 반사광 n이 발생할 수 있다.
렌즈(140)는 반사광을 이미지 센서(122)의 영역 내에 포커싱한다. 렌즈(140)와 이미지 센서(122) 사이에는 사용 파장 이외의 배경광 등의 외광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(150)가 배치될 수 있다. 예를 들어, 광원(110)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 상기 필터(150)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(150)(IR band pass Filter)일 수 있다. 따라서, 이미지 센서(122)에 입사하는 광은 광원(110)으로부터 방출되어 대상체(10)의 제1 영역(11)에서 반사된 광이 지배적일 수 있지만, 외광도 포함되어 있다. 도 1에는 렌즈(140)와 이미지 센서(122) 사이에 필터(150)가 배치된 것으로 도시되어 있지만, 렌즈(140)와 필터(150)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(150)를 먼저 통과한 근적외선광이 렌즈(140)에 의해 이미지 센서(122)로 포커싱될 수도 있다.
그러면, 이미지 센서(122)는 소정의 파형을 갖는 광변조 신호로 반사광을 변조한다. 이미지 센서(122)에서의 이득 파형의 주기는 광의 파형 주기와 동일할 수 있다. 도 1에 도시된 예에서, 이미지 센서(122)는 대상체(10)의 제1 영역(11)의 표면에서 반사된 반사광 1을 변조하고, 이어서 반사광 2 내지 반사광 n을 차례로 변조할 수 있다. 반사광은 그 크기가 광변조 신호를 곱한 양만큼 변조될 수 있다. 광변조 신호는 그 주기가 광과 같도록 할 수 있다.
그리고, 이미지 센서(122)는 크기가 변조된 광을 일정 시간 동안 수광함으로써 각 반사광에 대한 영상을 획득할 수 있다. 예를 들어, 이미지 센서(122)는 제1 영역(11)의 표면에서 각각 반사된 후 변조된 반사광 1을 소정의 노출 시간 동안 수광하여 부분 영상 1을 획득한다. 이미지 센서(122)가 획득한 영상은 대상체(10)의 일부 영상이기 때문에 부분 영상이라고 칭한다. 이어서, 이미지 센서(122)는 제1 영역(11)의 표면에서 반사된 후 변조된 반사광 2를 소정의 노출 시간 동안 수광하여 부분 영상 2를 획득한다. 이와 같은 과정을 반복하면서 이미지 센서(122)는 제1 영역(11) 표면에서 각각 반사된 후 변조된 반사광 n을 소정의 노출 시간 동안 수광하여 부분 영상 n을 획득한다. 이러한 방식으로, 이미지 센서(122)는 n개의 상이한 영상들을 순차적으로 획득할 수 있다. 이렇게 얻은 영상 1~n은 깊이 정보를 갖는 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. n개의 상이한 부분 영상들은 위상이 서로 다를 수 있다.
지금까지 n개의 상이한 광을 이용하여 서로 다른 n개의 부분 영상을 획득하는 방법에 대해 설명하였다. 그러나, 동일한 광을 사용하고, 각 반사광에 대해 이미지 센서(122)가 상이한 이득 파형으로 반사광을 변조함으로서 서로 다른 n개의 부분 영상을 획득할 수도 있다.
예를 들어, 이미지 센서(122)는 광변조 신호 1로 반사광을 변조하고, 광변조 신호 1과 다른 광변조 신호 2로 반사광을 변조하며, 이미지 센서(122)는 또 다른 광변조 신호 n으로 반사광을 변조한다. 여기서, 광변조 신호 1~n은 완전히 서로 다른 파형의 신호일 수도 있지만, 주기와 파형은 동일하고 단지 위상만이 다른 신호일 수도 있다. 그러면, 이미지 센서(122)는 서로 다른 n개의 부분 영상을 얻을 수 있다.
복수 개의 부분 영상은 광의 변조 또는 반사광의 변조에 의해 위상이 서로 다를 수 있다. 복수 개의 부분 영상이 n개 인 경우, 이웃하는 부분 영상간의 위상 차는 360도/n일 수 있다. 예를 들어, 이미지 센서(122)는 각각 0도, 90도, 180도, 270도의 위상을 가지는 4 개의 부분 영상을 획득할 수 있다. 그러나, 이에 한정되지 않는다. 2개 이상의 부분 영상을 획득할 수도 있다.
프로세서(124)는 제1 영역(11)에 대한 복수 개의 부분 영상을 이용하여 대상체(10)에 대한 깊이 정보를 갖는 제1 부분 깊이 영상을 획득할 수 있다. 예를 들어, 4개의 위상이 다른 부분 영상을 부분 깊이 영상에 대한 깊이 정보 획득할 때, 프로세서(124)는 하기 수학식 1과 같은 깊이 정보(Depth)를 갖는 제1 부분 깊이 영상을 획득할 수 있다.
[수학식 1]
Depth=tan-1((I1-I2)/(I3-I4))×Rmax
여기서, Rmax는 일 실시예에 따른 영상 획득 장치(100)가 촬영할 수 있는 피사체(10)에 대한 최대 거리를 의미하며, 광의 변조 주파수와 광의 속도에 의해 결정된다. 그리고, I1, I2, I3, I4 각각은 부분 영상 1 내지 4이다.
영상 획득부(120)는 제2 영역(12)에서 반사된 광을 이용하여 제2 부분 깊이 영상을 획득할 수 있다(S240). 제2 부분 깊이 영상을 획득하는 방법은 제1 부분 깊이 영상을 획득하는 방법과 동일하므로 구체적인 방법은 생략한다.
영상 획득부(120)는 제1 및 제2 부분 깊이 영상을 이용하여 대상체(10)의 제1 깊이 영상을 획득할 수 있다(S250). 픽셀들의 좌표 정보를 기초로 제1 및 제2 부분 깊이 결합함으로써 제1 깊이 영상의 획득될 수 있다. 상기와 같이 대상체(10)를 복수 개의 영역으로 분할하여 부분 깊이 영상으로부터 깊이 영상을 획득하기 때문에 모션 블러를 줄일 수 있다.
도 3은 일 실시예에 따른 복수 개의 깊이 영상을 획득하는 방법을 설명하는 흐름도이다. 도 3을 참조하면, 영상 획득부(120)는 제1 및 제2 부분 깊이 영상을 이용하여 제1 깊이 영상을 획득할 수 있다(S310). 제1 깊이 영상을 획득하는 방법은 앞서 설명하였기 때문에 생략한다.
다시, 광원(110)은 제3 시간에 대상체(10)의 제1 영역(11)에 광을 조사할 수 있다(S320). 광원(110)이 제1 및 제2 광원(112, 114)으로 구성된 경우, 제1 광원(112)은 대상체(10)의 제1 영역(11)에 광을 조사할 수 있다. 또는 이에 한정되지 않는다. 광원(110)이 조명 각도를 변경하여 대상체(10)의 제1 영역(11)에 광을 조사할 수 있다.
제3 시간은 제2 시간과 적어도 일부 시간이 중첩되지 않을 수 있다. 예를 들어, 제3 시간은 제2 시간의 다음 시간일 수 있다. 그러나, 이에 한정되지 않음은 물론이다. 제3 시간은 제2 시간 이후 일정 시간이 경과한 후의 다음 시간일 수도 있다. 제3 시간의 크기도 제2 시간 또는 제1 시간의 크기와 동일할 수 있다. 즉, 제3 시간은 이미지 센서(122)의 기준 프레임율의 역수(T)보다 짧을 수 있다. 이는 이미지 센서(122)의 일부 픽셀만이 광을 수광하여도 되기 때문이다.
제3 시간 동안 제1 영역(11)에 조사되는 광량은 기준 광량보다 크며, 제1 시간 동안 제1 영역(11)에 조사되는 광량 또는 제2 시간 동안 제2 영역(12)에 조사된 광량과 같을 수 있다. 제3 시간 동안 조사되는 광량은 제1 영역(11)에 대한 대상체(10) 전체의 비를 상기 기준 광량에 곱한 값과 같을 수 있다. 예를 들어, 제1 영역(11)가 대상체(10)의 1/2일 경우, 제3 시간 동안 조사되는 광량은 기준 광량의 2배일 수 있다.
영상 획득부(120)는 제3 시간 동안의 제1 영역(11)에서 반사된 광을 이용하여 제3 부분 깊이 영상을 획득할 수 있다(S330). 구체적으로, 이미지 센서(122)는 복수 개의 부분 영상을 획득할 수 있다. 예를 들어, 복수 개의 부분 영상은 0도, 90도, 180도, 270도의 위상을 가지는 4 개의 부분 영상(I1, I2, I3, I4)일 수 있다. 그러나, 이에 한정되지 않는다. 그리고, 프로세서(124)는 4개의 부분 영상을 이용하여 제3 부분 깊이 영상을 획득할 수 있다. 제3 부분 깊이 영상을 획득하는 방법은 제1 부분 깊이 영상을 획득하는 방법과 동일하므로 구체적인 방법은 생략한다.
프로세서(124)는 제2 및 제3 부분 깊이 영상을 이용하여 대상체(10)의 제2 깊이 영상을 획득할 수 있다(S340). 이와 같이 제2 깊이 영상을 획득하기 위해 이전에 획득한 제2 부분 깊이 영상과 새로 획득한 제3 부분 깊이 영상을 결합하기 때문에 깊이 영상의 프레임율은 이미지 센서(122)의 기준 프레임율보다 짧아질 수 있다. 예를 들어, 이미지 센서(122)의 기준 프레임율이 60fps인 경우, 초기 깊이 영상을 획득할 때에는 1/60초가 소요된다 하더라도 그 다음의 깊이 영상의 프레임율은 30fps이 될 수 있다. 이는 이전에 기획득된 부분 깊이 영상을 이용하기 때문이다. 또한 부분 깊이 영상을 이용하여 깊이 영상을 획득하기 때문에 모션 블록가 줄어듬도 물론이다.
도 4는 일 실시예에 따른 깊이 영상을 획득하는 방법을 모식적으로 도시한 참조도면이다. 설명의 편의를 도모하기 위해 대상체(10)를 상부 영역(H)과 하부 영역(L)으로 구분하고, 광원(110)은 상부 영역(H)과 하부 영역(L)을 교번적으로 복수 개의 광을 조사할 수 있다. 상기한 복수 개의 광은 소정의 주기 및 파형을 가지며 서로 상이할 수 있다. 광원(110)은 복수 개의 광을 연속하여 순차적으로 조사할 수 있다. 예를 들어, 광원(110)은 제1 시간 동안 위상이 다른 복수 개의 광, 예를 들어, 이웃하는 광의 위상차가 90도인 4개의 광을 대상체(10)의 상부 영역에 조사하고, 제2 시간 동안 위상이 다른 4개의 광을 대상체(10)의 하부 영역에 조사할 수 있다. 계속하여, 광원(110)은 상부 영역과 하부 영역을 교번적으로 조사할 수 있다.
영상 획득부(120)는 제어부(130)의 제어 신호 하에 광원(110)과 동기화될 수 있다. 그리하여, 제1 시간 동안 이미지 센서(122)는 대상체(10)의 상부 영역(H)에 대한 0도, 90도, 180도 및 270도의 부분 영상(I1, I2, I3, I4)을 획득할 수 있다. 여기서 T가 이미지 센서(122)의 프레임율의 역수인 경우, 이미지 센서(122)는 T/2 시간 간격으로 부분 영상을 하나씩 획득할 수 있다. 그리하여, 제1 시간 즉, 0 내지 2T 동안 4개의 부분 영상을 획득할 수 있다.
그리고, 프로세서(124)는 상기한 4개의 부분 영상(I1, I2, I3, I4)을 이용하여 대상체(10)의 상부 영역(H)에 대한 제1 부분 깊이 영상(PD1)을 획득할 수 있다. 뿐만 아니라, 그 다음 제2 시간 동안, 예를 들어, 2T 내지 4T 시간 동안, 이미지 센서(122)는 대상체(10)의 하부 영역(L)에 대한 0도, 90도, 180도 및 270도의 부분 영상(I1, I2, I3, I4)을 획득할 수 있고, 프로세서(124)는 상기한 4개의 부분 영상(I1, I2, I3, I4)을 이용하여 대상체(10)의 하부 영역에(L) 대한 제2 부분 깊이 영상(PD2)을 획득할 수 있다.
그리고, 제1 및 제2 시간이 경과한 후 프로세서(124)는 상부 영역(H)에 대한 제1 부분 깊이 영상(PD1)과 하부 영역(L)에 대한 제2 부분 깊이 영상(PD2)을 이용하여 대상체(10)의 제1 깊이 영상(D1)을 획득할 수 있다.
동일한 방법으로, 광원(110)은 제3 시간, 예를 들어, 4T 내지 6T 시간 동안 위상이 다른 복수 개의 광을 대상체(10)의 상부 영역(H)에 조사할 수 있다. 이미지 센서(122)는 광원(110)과 동기화되어 대상체(10)의 상부 영역에 대한 0도, 90도, 180도 및 270도의 부분 영상(I1, I2, I3, I4)을 획득할 수 있고, 프로세서(124)는 상기한 4개의 부분 영상(I1, I2, I3, I4)을 이용하여 대상체(10)의 상부 영역(H)에 대한 제3 부분 깊이 영상(PD3)을 획득할 수 있다. 그리고, 프로세서(124)는 하부 영역(L)에 대한 제2 부분 깊이 영상(PD2)과 상부 영역(H)에 대한 제3 부분 깊이 영상(PD3)을 결합하여 대상체(10)의 제3 깊이 영상(D2)을 획득할 수 있다.
도 5는 비교예로서 이미지 센서(122)가 대상체(10) 전체에 대한 영상을 획득한 후 깊이 영상을 획득하는 방법을 설명하는 참조도면이다. 이미지 센서(122)의 기준 프레임율이 60fps인 경우, 도 5에 도시된 바와 같이, 이미지 센서(122)는 1/60초마다 영상을 획득하고, 1/15초 이후에 4개 영상을 이용하여 깊이 영상을 획득할 수 있다. 그리하여, 깊이 영상의 플레임율은 15fps가 된다.
도 4와 도 5를 비교하면, 도 4의 두번째 이후의 깊이 영상에 대한 프레임율은 도 5의 깊이 영상에 대한 프레임율보다 짧다. 이는 기획득된 부분 깊이 영상과 새로 획득된 부분 깊이 영상을 이용하기 때문이다. 물론 도 5에서도 두 번째 이후의 깊이 영상은 이전에 획득된 영상,즉 T 내지 4T 동안 획득된 영상과 새로 획득된 영상, 즉 4T 내지 5T 동안 획득된 영상을 이용하여 획득될 수 있다. 그러나, 상기와 같은 경우, 깊이 영상에 노이즈가 많이 포함되어 깊이 정보를 획득하는데 어려움이 발생할 수 있다.
도 6a는 도 5에서 설명하는 방법으로 획득한 깊이 영상이고, 도 6b는 도 4에서 설명한 방법으로 획득한 깊이 영상이다. 도 6a 및 도 6b에 도시된 바와 같이, 모션 블러가 줄어들었음을 확인할 수 있다.
도 4에서는 대상체(10)를 상하로 2등분하여 광을 조사하고, 영상 획득부(120)도 광원(110)과 동기화되어 상하로 구분된 부분 깊이 영상을 획득한다고 하였다. 그러나, 이에 한정되지 않는다. 일 실시예에 따른 영상 획득 장치(100)는 대상체(10)를 3개 이상의 영역으로 구분하고, 영상 획득부(120)도 대상체(10)에 대한 3개 이상의 부분 깊이 영상을 획득할 수 있다.
도 7은 다른 실시예에 따른 깊이 영상을 획득하는 방법을 모식적으로 도시한 참조도면이다. 도 7를 참조하면, 광원(110)은 대상체(10)를 상부 영역(H), 중앙 영역(C) 및 하부 영역(L)으로 구분하고, 복수 개의 광을 상부 영역(H)에서 하부 영역(L) 순으로 순차적으로 조사할 수 있다. 광원(110)의 광량은 기준 광량의 3배일 수 있다.
또한, 영상 획득부(120)는 기준 프레임율의 3배의 속도로 부분 영상을 획득할 수 있다. 예를 들어, 프로세서(124)는 0 내지 4T/3 동안 획득된 부분 영상을 이용하여 제1 부분 깊이 영상(PD1)을 획득하고, 4T/3 내지 8T/3 동안 획득된 부분 영상을 이용하여 제2 부분 깊이 영상(PD2)을 획득하며, 8T/3 내지 4T 동안 획득된 부분 영상을 이용하여 제3 부분 깊이 영상(PD3)을 획득할 수 있다. 그리하여, 프로세서(124)는 제1 내지 제3 부분 깊이 영상(PD1, PD2, PD3)을 결합하여 제1 깊이 영상(D1)을 획득할 수 있다. 또한, 영상 획득부(120)는 4T내지 4T+4T/3 동안 대상체(10)의 상부 영역(H)에 대한 제4 부분 깊이 영상(PD4)을 획득하고, 제2 내지 제4 부분 깊이 영상(PD2, PD3, PD4)을 결합함으로써 제2 깊이 영상(D2)을 획득할 수 있다.
상기와 같이 대상체(10)를 3개의 영역으로 구분하여 각각의 부분 깊이 영상을 획득하면 모션 블록가 더 줄어들 수 있고, 깊이 영상의 프레임율도 더 향상될 수 있다. 물론 대상체(10)를 4개 이상의 영역으로 구분할 수 있음도 물론이다.
지금까지 대상체(10)를 상하 방향으로 구분하여 설명하였다. 그러나, 이에 한정되지 않는다. 대상체(10)를 좌우 방향으로 구분할 수 있으며, 이미지 센서(122)도 좌우 방향으로 동기화될 수 있음도 물론이다. 이외에도 다른 방향으로 구분될 수 있음도 물론이다.
또한, 영상 획득 장치(100)는 대상체(10)를 복수 개의 영역으로 구분하고, 각 영역마다 광을 불연속적으로 조사할 수 있다. 그리고, 영상 획득부(120)는 광원(110)과 동기화되어 광이 대상체(10)의 일부 영역에 조사할 때만 부분 영상을 획득할 수 있다. 상기와 같이 광원(110)과 이미지 센서(122)를 동기화시켜 광이 일정 시간 동안 집중 조사되도록 하고 상기한 일정 시간 동안 이미지 센서(122) 구동되어 반사된 광을 변조할 수 있다. 그리고, 광이 조사되지 않는 시간 구간에는 이미지 센서(122)가 구동하지 않아 최소의 수광을 유지함으로써 이미지 센서(122)에 외광이 수광되는 것을 방지할 수 있다. 여기서 광의 조사 시간과 광이 조사되지 않는 시간의 비율을 듀티비라고 칭할 수 있다. 듀티비가 100%미만인 경우, 광은 불연속적으로 조사된다고 할 수 있다.
도 8a 및 도 8b는 또 다른 실시예에 따른 듀티비가 50%인 경우의 깊이 영상 획득 방법을 모식적으로 도시한 도면이다. 도 8a를 참조하면, 광원(110)은 4T 시간 중 2T 시간 동안 광을 대상체(10)에 조사할 수 있다. 예를 들어, 0내지 T시간 동안 4개의 서로 다른 광을 대상체(10)의 상부 영역(H)에 조사하고, T 내지 2T 시간 동안 4개의 서로 다른 광을 대상체(10)의 하부 영역(L)에 조사할 수 있다. 대상체(10)에 조사되는 광의 광량 각각은 기준 광량의 4배일 수 있다. 이는 듀티비가 50%이고, 대상체(10)의 1/2 영역만을 조사하기 때문이다. 상기와 같이 광이 불연속적으로 대상체(10)에 조사되면 외광을 줄일 수 있다.
도 8a에서는 0내지 T시간 동안 광이 대상체(10)의 상부 영역(H)에 조사되고 T 내지 2T 시간 동안 광이 대상체(10)의 하부 영역(L)에 조사되며, 2T 내지 4T 시간 동안 광이 조사되지 않는다고 하였으나, 이에 한정되지 않는다. 도 8b에 도시된 바와 같이, 0내지 T시간 동안 광이 대상체(10)의 상부 영역(H)에 조사되고, 2T 내지 3T 시간 동안 광이 대상체(10)의 하부 영역(L)에 조사되며, T 내지 2T 시간, 3T 내지 4T 시간 동안 광이 대상체(10)에 조사되지 않을 수도 있다. 도 8b에 도시된 바와 같이 광이 대상체(10)의 일부 영역에 불연속적으로 조사됨으로써, 외광 및 모션 블러를 줄일 수 있을 뿐만 아니라 깊이 영상에 대한 프레임율도 향상시킬 수 있다. 도 8a 및 도 8b에는 대상체를 상하로 2등분 하였으나, 이에 한정되지 않음은 물론이다.
한편, 상술한 본 발명의 실시예에 따른 부분 영상으로부터 깊이 영상을 획득하는 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 영상 획득 장치 110: 광원
112: 제1 광원 114: 제2 광원
120: 영상 획득부 122: 이미지 센서
124: 프로세서 130: 제어부
140: 렌즈 150: 필터

Claims (33)

  1. 제1 시간에 대상체의 제1 영역에 광을 조사하고, 제2 시간에 상기 대상체의 제2 영역에 상기 광을 조사하는 광원; 및
    상기 제1 영역에서 반사된 반사광을 이용하여 제1 부분 깊이 영상을 획득하고, 상기 제2 영역에서 반사된 반사광을 이용하여 제2 부분 깊이 영상을 획득하며, 상기 제1 부분 깊이 영상과 상기 제2 부분 깊이 영상을 이용하여 상기 대상체의 제1 깊이 영상을 획득하는 영상 획득부;를 포함하는 영상 획득 장치.
  2. 제 1항에 있어서,
    상기 제1 시간과 상기 제2 시간은 적어도 일부 시간이 중첩되지 않는 영상 획득 장치.
  3. 제 2항에 있어서,
    상기 제2 시간은 상기 제1 시간의 다음 시간인 영상 획득 장치.
  4. 제 1항에 있어서,
    상기 제1 시간은 상기 영상 획득부에 포함된 이미지 센서의 기준 프레임율의 역수보다 작은 영상 획득 장치.
  5. 제 1항에 있어서,
    상기 제1 시간은,
    상기 대상체에 대한 상기 제1 영역의 비를 상기 기준 프레임율의 역수에 곱한 값 이하인 은 영상 획득 장치.
  6. 제 1항에 있어서,
    상기 제1 영역에 조사되는 광량은,
    기준 광량보다 큰 영상 획득 장치.
  7. 제 6항에 있어서,
    상기 제1 영역에 조사되는 광량은,
    상기 제1 영역에 대한 상기 대상체의 비를 상기 기준 광량에 곱한 값 이상인 영상 획득 장치.
  8. 제 1항에 있어서,
    상기 제1 영역과 상기 제2 영역은 적어도 일부 영역이 중첩되지 않는 영상 획득 장치.
  9. 제 8항에 있어서,
    상기 제1 영역은 상기 대상체의 상부 영역이고,
    상기 제2 영역은 상기 대상체의 하부 영역인 영상 획득 장치.
  10. 제 1항에 있어서,
    상기 광원은,
    상기 제1 시간 동안 위상이 서로 다른 복수 개의 광을 상기 제1 영역에 조사하는 영상 획득 장치.
  11. 제 10항에 있어서,
    상기 복수 개의 광 중 이웃하는 광의 위상차는 90도인 영상 획득 장치.
  12. 제 1항에 있어서,
    상기 제1 부분 깊이 영상은
    위상이 서로 다른 복수 개의 부분 영상으로부터 획득된 영상 획득 장치.
  13. 제 1항에 있어서,
    상기 광원은,
    제3 시간에 상기 대상체의 상기 제1 영역에 광을 조사하고
    상기 영상 획득부는,
    상기 제1 영역에서 반사된 반사광을 이용하여 상기 제1 영역의 제3 부분 깊이 영상을 획득하고,
    상기 제2 부분 깊이 영상과 상기 제3 부분 깊이 영상을 이용하여 상기 대상체의 제2 깊이 영상을 획득하는 영상 획득 장치.
  14. 제 13항에 있어서,
    상기 제2 시간과 상기 제3 시간은 적어도 일부 시간이 중첩되지 않는 영상 획득 장치.
  15. 제 14항에 있어서,
    상기 제3 시간은 상기 제2 시간의 다음 시간인 영상 획득 장치.
  16. 제 14항에 있어서,
    상기 제3 시간은 상기 제2 시간에서 일정 시간 경과한 후의 다음 시간인 영상 획득 장치.
  17. 제 1항에 있어서,
    상기 영상 획득부는,
    상기 제1 영역에서 반사된 반사광을 이용하여 복수 개의 제1 부분 영상을 획득하고, 상기 제2 영역에서 반사된 반사광을 이용하여 복수 개의 제2 부분 영상을 획득하는 이미지 센서; 및
    상기 복수 개의 제1 부분 영상으로부터 상기 제1 부분 깊이 영상을 획득하고, 상기 복수 개의 제2 부분 영상으로부터 상기 제2 부분 깊이 영상을 획득하며, 상기 제1 부분 깊이 영상과 상기 제2 부분 깊이 영상을 이용하여 상기 대상체의 제1 깊이 영상을 획득하는 프로세서;를 포함하는 영상 획득 장치.
  18. 제 17항에 있어서,
    상기 복수 개의 반사광을 서로 다른 이득 파형으로 광 변조하는 영상 획득 장치.
  19. 제1 시간에 대상체의 제1 영역에 광을 조사하는 단계;
    제2 시간에 상기 대상체의 제2 영역에 광을 조사하는 단계;
    상기 제1 영역에서 반사된 반사광을 이용하여 제1 부분 깊이 영상을 획득하는 단계;
    상기 제2 영역에서 반사된 반사광을 이용하여 제2 부분 깊이 영상을 획득하는 단계; 및
    상기 제1 및 제2 부분 깊이 영상을 이용하여 상기 대상체의 제1 깊이 영상을 획득하는 단계;를 포함하는 영상 획득 방법.
  20. 제 19항에 있어서,
    상기 제1 시간과 상기 제2 시간은 적어도 일부 시간이 중첩되지 않는 영상 획득 방법.
  21. 제 20항에 있어서,
    상기 제2 시간은 상기 제1 시간의 다음 시간인 영상 획득 방법.
  22. 제 19항에 있어서,
    상기 제1 시간은 상기 반사광을 수광하는 이미지 센서의 기준 프레임율의 역수보다 작은 영상 획득 방법.
  23. 제 22항에 있어서,
    상기 제1 시간은,
    상기 대상체에 대한 상기 제1 영역의 비를 상기 기준 프레임율의 역수에 곱한 값 이하인 영상 획득 방법.
  24. 제 19항에 있어서,
    상기 제1 영역에 조사되는 광량은,
    기준 광량보다 큰 영상 획득 방법.
  25. 제 24항에 있어서,
    상기 제1 영역에 조사되는 광량은,
    상기 제1 영역에 대한 상기 대상체의 비를 상기 기준 광량에 곱한 값 이상인 영상 획득 방법.
  26. 제 19항에 있어서,
    상기 제1 영역과 상기 제2 영역은 적어도 일부 영역이 중첩되지 않는 영상 획득 방법.
  27. 제 26항에 있어서,
    상기 제1 영역은 상기 대상체의 상부 영역이고,
    상기 제2 영역은 상기 대상체의 하부 영역인 영상 획득 방법.
  28. 제 19항에 있어서,
    상기 제1 영역에 광을 조사하는 단계는,
    상기 제1 시간 동안 위상이 서로 다른 복수 개의 광이 상기 제1 영역에 조사되는 영상 획득 방법.
  29. 제 28항에 있어서,
    상기 복수 개의 광 중 이웃하는 광의 위상차는 90도인 영상 획득 방법.
  30. 제 19항에 있어서,
    제3 시간에 상기 대상체의 상기 제1 영역에 상기 광을 조사하는 단계;
    상기 제1 영역에서 반사된 반사광을 이용하여 상기 제1 영역의 제3 부분 깊이 영상을 획득하는 단계; 및
    상기 제2 부분 깊이 영상과 상기 제3 부분 깊이 영상을 이용하여 상기 대상체의 제2 깊이 영상을 획득하는 단계;를 더 포함하는 영상 획득 방법.
  31. 제 30항에 있어서,
    상기 제2 시간과 상기 제3 시간은 적어도 일부 시간이 중첩되지 않는 영상 획득 방법.
  32. 제 31항에 있어서,
    상기 제3 시간은 상기 제2 시간의 다음 시간인 영상 획득 방법.
  33. 제 31항에 있어서,
    상기 제3 시간은 상기 제2 시간에서 일정 시간 경과한 후의 다음 시간인 영상 획득 방법.
KR1020150151103A 2015-10-29 2015-10-29 영상 획득 장치 및 영상 획득 방법 KR102372088B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150151103A KR102372088B1 (ko) 2015-10-29 2015-10-29 영상 획득 장치 및 영상 획득 방법
US15/081,407 US10760906B2 (en) 2015-10-29 2016-03-25 Apparatus and method for obtaining three-dimensional depth image
EP16172379.6A EP3163316B1 (en) 2015-10-29 2016-06-01 Apparatus and method for obtaining a depth image
CN201610796927.XA CN106657969B (zh) 2015-10-29 2016-08-31 用于获得图像的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150151103A KR102372088B1 (ko) 2015-10-29 2015-10-29 영상 획득 장치 및 영상 획득 방법

Publications (2)

Publication Number Publication Date
KR20170050059A true KR20170050059A (ko) 2017-05-11
KR102372088B1 KR102372088B1 (ko) 2022-03-08

Family

ID=56119315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150151103A KR102372088B1 (ko) 2015-10-29 2015-10-29 영상 획득 장치 및 영상 획득 방법

Country Status (4)

Country Link
US (1) US10760906B2 (ko)
EP (1) EP3163316B1 (ko)
KR (1) KR102372088B1 (ko)
CN (1) CN106657969B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071886A1 (ko) * 2018-10-05 2020-04-09 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
KR20220002848A (ko) * 2018-10-15 2022-01-07 주식회사 고영테크놀러지 무 초점(Focus-less) 검사 장치 및 검사 방법
KR20220020471A (ko) * 2020-08-11 2022-02-21 주식회사 슈프리마아이디 조명 제어를 이용하는 이미지 생성 장치
US11360031B2 (en) 2018-10-15 2022-06-14 Koh Young Technology Inc Focus-less inspection apparatus and method
KR102529593B1 (ko) * 2022-10-25 2023-05-08 성형원 대상체에 대한 3d 정보를 획득하는 디바이스 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469775B2 (en) * 2017-03-31 2019-11-05 Semiconductor Components Industries, Llc High dynamic range storage gate pixel circuitry
US10489925B2 (en) * 2017-08-13 2019-11-26 Shenzhen GOODIX Technology Co., Ltd. 3D sensing technology based on multiple structured illumination
JP7028588B2 (ja) * 2017-09-04 2022-03-02 株式会社日立エルジーデータストレージ ３次元距離測定装置
CN111433631B (zh) 2017-12-29 2023-11-03 索尼半导体解决方案公司 成像装置和方法
US10837795B1 (en) 2019-09-16 2020-11-17 Tusimple, Inc. Vehicle camera calibration system
US11435215B2 (en) * 2019-11-14 2022-09-06 Pixart Imaging Inc. Electric pot and liquid level determining method which can determine liquid level and solid height by light with different wave lengths
CN112929516B (zh) * 2019-12-05 2023-08-08 北京小米移动软件有限公司 图像采集模组、终端设备、图像处理方法及装置
WO2021122641A1 (en) * 2019-12-16 2021-06-24 Sony Semiconductor Solutions Corporation Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
CN112615979B (zh) * 2020-12-07 2022-03-15 江西欧迈斯微电子有限公司 图像获取方法、图像获取装置、电子装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214564A (ja) * 2006-02-06 2007-08-23 Avago Technologies General Ip (Singapore) Private Ltd 面発光レーザ（ｖｃｓｅｌ）アレイ・レーザスキャナ
KR20120071970A (ko) * 2010-12-23 2012-07-03 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR20130027671A (ko) * 2011-09-08 2013-03-18 한국전자통신연구원 깊이 정보 획득장치 및 이를 포함하는 3차원 정보 획득 시스템
JP2015513825A (ja) * 2012-02-15 2015-05-14 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ストライプ照明の飛行時間型カメラ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10305010B4 (de) 2003-02-07 2012-06-28 Robert Bosch Gmbh Vorrichtung und Verfahren zur Bilderzeugung
JP3962929B2 (ja) 2004-05-18 2007-08-22 防衛省技術研究本部長 レーザ距離画像生成装置及び方法
EP2275833A1 (en) 2009-07-01 2011-01-19 IEE International Electronics & Engineering S.A.R.L. Range camera and range image acquisition method
US9599715B2 (en) * 2010-08-03 2017-03-21 Faro Technologies, Inc. Scanner display
KR101798063B1 (ko) 2010-12-14 2017-11-15 삼성전자주식회사 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치
JP5858688B2 (ja) 2011-08-30 2016-02-10 スタンレー電気株式会社 距離画像生成装置
KR101854188B1 (ko) 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR101871235B1 (ko) 2012-06-05 2018-06-27 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
KR102040152B1 (ko) 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US20150260830A1 (en) * 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
KR102194237B1 (ko) * 2014-08-29 2020-12-22 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214564A (ja) * 2006-02-06 2007-08-23 Avago Technologies General Ip (Singapore) Private Ltd 面発光レーザ（ｖｃｓｅｌ）アレイ・レーザスキャナ
KR20120071970A (ko) * 2010-12-23 2012-07-03 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR20130027671A (ko) * 2011-09-08 2013-03-18 한국전자통신연구원 깊이 정보 획득장치 및 이를 포함하는 3차원 정보 획득 시스템
JP2015513825A (ja) * 2012-02-15 2015-05-14 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ストライプ照明の飛行時間型カメラ

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071886A1 (ko) * 2018-10-05 2020-04-09 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
KR20200039420A (ko) * 2018-10-05 2020-04-16 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
US11875525B2 (en) 2018-10-05 2024-01-16 Lg Innotek Co., Ltd. Method and camera module for acquiring depth information
KR20220002848A (ko) * 2018-10-15 2022-01-07 주식회사 고영테크놀러지 무 초점(Focus-less) 검사 장치 및 검사 방법
US11360031B2 (en) 2018-10-15 2022-06-14 Koh Young Technology Inc Focus-less inspection apparatus and method
KR20220101048A (ko) * 2018-10-15 2022-07-19 주식회사 고영테크놀러지 무 초점(Focus-less) 검사 장치 및 검사 방법
US11821846B2 (en) 2018-10-15 2023-11-21 Koh Young Technology Inc. Focus-less inspection apparatus and method
KR20220020471A (ko) * 2020-08-11 2022-02-21 주식회사 슈프리마아이디 조명 제어를 이용하는 이미지 생성 장치
US11546522B2 (en) 2020-08-11 2023-01-03 Suprema Id Inc. Image generating device using lighting control
US11836588B2 (en) 2020-08-11 2023-12-05 Xperix Inc. Image generating device using lighting control
KR102529593B1 (ko) * 2022-10-25 2023-05-08 성형원 대상체에 대한 3d 정보를 획득하는 디바이스 및 방법

Also Published As

Publication number Publication date
US20170122731A1 (en) 2017-05-04
CN106657969A (zh) 2017-05-10
CN106657969B (zh) 2020-08-11
US10760906B2 (en) 2020-09-01
EP3163316A1 (en) 2017-05-03
EP3163316B1 (en) 2022-11-16
KR102372088B1 (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
KR102372088B1 (ko) 영상 획득 장치 및 영상 획득 방법
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
US11680789B2 (en) Device for extracting depth information and method thereof
KR101753312B1 (ko) 뎁스 영상 생성 장치 및 방법
KR102163728B1 (ko) 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
KR101613133B1 (ko) 3차원 영상 처리 장치 및 그 방법
KR102040152B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
US10237534B2 (en) Imaging device and a method for producing a three-dimensional image of an object
WO2019133631A3 (en) System and method of imaging using multiple illumination pulses
JP2000121339A (ja) 立体情報検出方法及び装置
CN108616735B (zh) 用于获得对象的三维深度图像的装置和方法
US20100097459A1 (en) Device for recording images of an object scene
KR20130045018A (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR102590900B1 (ko) 영상 처리 장치 및 영상 처리 방법
US10205933B2 (en) Depth image acquisition apparatus and method of acquiring depth information
JP2017201760A (ja) 撮像装置および測距装置
US20120162370A1 (en) Apparatus and method for generating depth image
JP2013096941A (ja) 撮像装置、撮像方法、及びプログラム
US20210389465A1 (en) Electronic device, method and computer program
KR20150133086A (ko) 깊이 영상 획득 방법 및 그 영상 획득 장치
CN106791497B (zh) 一种脉冲增益调制式单像素三维成像系统及方法
JP2021013179A (ja) 撮像装置および測距装置
KR102389380B1 (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법
JP4385384B2 (ja) 受光素子の感度制御方法、強度変調光を用いた空間情報の検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant