KR102194237B1 - 깊이 영상 촬영 장치 및 깊이 정보 획득 방법 - Google Patents

깊이 영상 촬영 장치 및 깊이 정보 획득 방법 Download PDF

Info

Publication number
KR102194237B1
KR102194237B1 KR1020140114239A KR20140114239A KR102194237B1 KR 102194237 B1 KR102194237 B1 KR 102194237B1 KR 1020140114239 A KR1020140114239 A KR 1020140114239A KR 20140114239 A KR20140114239 A KR 20140114239A KR 102194237 B1 KR102194237 B1 KR 102194237B1
Authority
KR
South Korea
Prior art keywords
phase
light
projection
projection light
read
Prior art date
Application number
KR1020140114239A
Other languages
English (en)
Other versions
KR20160026189A (ko
Inventor
박용화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140114239A priority Critical patent/KR102194237B1/ko
Priority to US14/622,283 priority patent/US10205933B2/en
Publication of KR20160026189A publication Critical patent/KR20160026189A/ko
Application granted granted Critical
Publication of KR102194237B1 publication Critical patent/KR102194237B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Abstract

깊이 영상 촬영 장치가, 광원으로부터 생성된 N개(N은 3 이상의 자연수)의 서로 상이한 투사광을 투사광 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 피사체에 순차적으로 투사하고, 투사광이 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하고, 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 촬영하여, 투사광 각각에 대응하는 N개의 위상 이미지를 획득하고, N개의 위상 이미지를 이용하여 깊이 정보를 획득하는, 방법이 개시된다.

Description

깊이 영상 촬영 장치 및 깊이 정보 획득 방법{METHOD AND APPARATUS FOR GENERATING DEPTH IMAGE}
개시된 실시 예들은 롤링 셔터(rolling shutter)방식을 사용하여 깊이 영상을 촬영하는 장치 및 깊이 정보 획득 방법에 관한 것이다.
최근에 사물의 거리 정보를 촬영하는 3D 카메라 또는 LADAR(Laser Detection And Ranging)기술이 연구 중에 있는데, 그 중 하나가 빛의 왕복시간 측정법(Time Of Flight, 이하 TOF라 한다)으로서 촬상 장치와 피사체 간의 거리를 측정하여, 깊이 영상(depth image)을 생성하는 기능을 갖는다.
TOF 방법은 기본적으로 특정 파장의 빛, 예를 들면 근 적외선(850nm)을 LED 또는 LD를 이용하여 피사체로 투사하고, 피사체로부터 반사된 동 파장의 빛을 포토 다이오드 또는 카메라에서 측정 또는 촬영하고 깊이 영상을 추출하는 프로세싱을 거치게 된다. 이러한 광 처리 과정 즉, 광원 투사, 피사체 반사, 광 변조, 촬영, 프로세싱의 일련의 과정에 대한 다양한 TOF 방법이 소개되었다.
그 중, 광학 셔터(Optical Shutter) 방식은 촬영 대상으로 특정 파장의 빛(예를 들면 NIR 850nm)을 LED(Light-Emitting Diode) 또는 LD(Laser Diode)를 이용하여 투사하고 피사체로부터 반사된 동 파장의 광 이미지를 이미지 강조기(Image Intensifier) 또는 특정 고체 변조기 소자를 이용하여 광 변조를 하고, 그 후단의 PD(PhotoDiode) 또는 CCD(Charge Coupled Device), CIS(CMOS Image Sensor, 이하 CIS라 한다) 등의 이미지 센서로 영상을 촬영하고 그 강도(Intensity) 값을 처리하여 결과적으로 깊이 영상을 얻는 방법이다.
CCD는 각각의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이다. CMOS 이미지 센서는 제어회로(control circuit) 및 신호처리회로(signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼 MOS 트랜지스터를 만들고 이것을 이용하여 차례차례 출력을 검출하는 스위칭 방식을 채용하는 소자이다.
종래의 이미지 센서로 가장 주목을 받는 것은 CCD로서 현재 디지털 카메라, 카메라 폰 등에 널리 사용되고 있다. 그러나 카메라 폰의 중요성이 부각되면서 카메라 폰의 소비전력을 줄이는 것이 중요한 문제로 대두되고 있으며, 이에 따라 CMOS 이미지 센서에 대한 관심이 증대되고 있다. 그 이유는 CMOS 이미지 센서는 일반 실리콘 반도체를 생산하는 CMOS 공정으로 제작돼 크기가 작고 가격이 저렴하며, 소비전력이 작다는 장점이 있기 때문이다.
한편, 촬상 소자의 촬상 영역에 맺힌 피사체의 광학상을 독출하는 방식으로는 글로벌 셔터(Global Shutter) 방식과 롤링 셔터(Rolling Shutter) 방식이 있다. 글로벌 셔터 방식은 촬상 영역의 모든 화소들이 일시에 광학상을 독출하는 방식이다. 반면, 롤링 셔터 방식은 촬상 영역 내의 한 개 내지 수개의 화소들이 순차적으로 광학상을 독출하는 방식이다.
CMOS 촬상 소자는 글로벌 셔터 방식과 롤링 셔터 방식이 모두 적용될 수 있다. 글로벌 셔터 방식이 적용될 경우, 피사체의 광학상을 모든 화소가 일시에 독출하므로, 피사체가 움직이는 경우에도 촬영된 영상이 변형되지 않는다. 반면, 롤링 셔터 방식이 적용된 CMOS 촬상 소자는 한 개 내지 수개의 화소들이 순차적으로 광학상을 독출하기 때문에, 각각의 스캔 라인에 대한 촬상 시간의 차이로 인하여, 영상이 왜곡될 수 있다.
개시된 일 실시예는, 광원으로부터 생성된 N개(N은 3 이상의 자연수)의 서로 상이한 투사광을 투사광 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 피사체에 순차적으로 투사하고, 투사광이 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하고, 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 촬영하여, 투사광 각각에 대응하는 N개의 위상 이미지를 획득하고, N개의 위상 이미지를 이용하여 깊이 정보를 획득하는 방법을 제공한다.
개시된 다른 실시예는, 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 위상을 갖는 투사광을 피사체에 순차적으로 투사하고, 투사광이 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하고, 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 투사광 각각에 대응하는 N개의 위상 이미지를 독출(readout)하고, 독출된 위상 이미지는 이전 스캔 라인에 대한 독출 시간에 따라 x번째 투사광에 의해 생성된 위상 이미지의 일부 및 x+1번째 투사광에 의해 생성된 위상 이미지의 일부를 포함하며, 각각의 스캔 라인에 대해, N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 투사광으로부터 생성되는 위상 이미지 사이의 제1 관계식을 N개의 투사광 각각에 대해 획득하고, 획득된 N개의 제1 관계식을 이용하여, 각각의 스캔 라인에 대한 깊이 정보를 획득하는 방법을 제공한다.
일 실시예에 따른 깊이 정보 획득 방법은, 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 투사광을 상기 투사광 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 피사체에 순차적으로 투사하는 단계; 상기 투사광이 상기 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하는 단계; 상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 촬영하여, 상기 투사광 각각에 대응하는 N개의 위상 이미지를 획득하는 단계; 및 상기 N개의 위상 이미지를 이용하여 깊이 정보를 획득하는 단계를 포함한다.
또한, 상기 유휴 시간은 전체 스캔 라인(scan line)에 대한 독출 시간(readout time)을 포함할 수 있다.
다른 실시예에 따른 깊이 정보 획득 방법은, 광원으로부터 생성된 투사광을 피사체에 투사하는 단계; 상기 투사광이 상기 피사체로부터 반사된 반사광을 서로 다른 위상을 갖는 N개의 광 변조 신호를 순차적으로 이용하여, 상기 광 변조 신호 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 변조하는 단계; 상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 촬영하여, 상기 광 변조 신호 각각에 대응하는 N개의 위상 이미지를 획득하는 단계; 및 상기 N개의 위상 이미지를 이용하여 깊이 정보를 획득하는 단계를 포함한다.
또 다른 실시예에 따른 깊이 정보 획득 방법은, 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 위상을 갖는 투사광을 피사체에 순차적으로 투사하는 단계; 상기 투사광이 상기 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하는 단계; 상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 상기 투사광 각각에 대응하는 N개의 위상 이미지를 독출(readout)하는 단계; 각각의 스캔 라인에 대해, 상기 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 투사광으로부터 생성되는 위상 이미지 사이의 제1 관계식을 상기 N개의 투사광 각각에 대해 획득하는 단계; 및 상기 획득된 N개의 제1 관계식을 이용하여, 상기 각각의 스캔 라인에 대한 깊이 정보를 획득하는 단계를 포함하고, 상기 독출된 위상 이미지는 상기 이전 스캔 라인에 대한 독출 시간에 따라 상기 x번째 투사광에 의해 생성된 위상 이미지의 일부 및 x+1번째 투사광에 의해 생성된 위상 이미지의 일부를 포함한다.
또한, 깊이 정보를 획득하는 단계는, 상기 N개의 제1 관계식으로부터 상기 독출된 위상 이미지와 상기 단일한 투사광으로부터 생성된 위상 이미지 사이의 변환 행렬을 획득하는 단계; 상기 획득된 변환 행렬의 역행렬을 상기 독출된 위상 이미지에 적용하여, 상기 단일한 투사광으로부터 생성되는 위상 이미지를 획득하는 단계; 및 상기 단일한 투사광으로부터 생성되는 위상 이미지를 이용하여, TOF(time of flight)로 인한 위상 지연을 획득하는 단계를 포함할 수 있다.
또한, 상기 N개의 서로 상이한 위상을 갖는 투사광은, 진폭 및 주기가 서로 동일하고, 상기 N은 4이고, 상기 위상은 0도, 90도, 180도, 및 270도일 수 있다.
또한, 상기 TOF로 인한 위상 지연을 획득하는 단계는, 수학식 1
<수학식 1>
Figure 112014082845679-pat00001
에 의해 획득하고, 상기 수학식 1에서, 상기
Figure 112014082845679-pat00002
은 상기 투사광 중 0도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
Figure 112014082845679-pat00003
은 상기 투사광 중 90도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
Figure 112014082845679-pat00004
은 상기 투사광 중 180도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
Figure 112014082845679-pat00005
은 상기 투사광 중 270도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를 나타낼 수 있다.
또한, 상기 독출된 위상 이미지는 수학식 2
<수학식 2>
Figure 112014082845679-pat00006
의 형태를 갖으며, 상기 수학식 2에서, 상기
Figure 112014082845679-pat00007
는 투사광의 위상을, 상기 r은 상기 피사체의 표면 반사도를, 상기 A는 상기 투사광과 상기 광 변조 신호의 크기를 나타내는 계수를, 상기 B는 상기 투사광과 상기 광 변조 신호의 직류 성분을 나타내는 계수를, 상기
Figure 112014082845679-pat00008
는 TOF(time of flight)로 인한 위상 지연을 나타낼 수 있다.
또한, 상기 깊이 정보를 획득하는 단계는, 상기 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 x+1번째 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식 획득하는 단계; 및 상기 N개의 제2 관계식 중 적어도 두 개를 선택하여, 수학식 3
<수학식 3>
Figure 112014082845679-pat00009
으로부터 상기 위상 지연을 산출하는 단계를 포함하고, 상기 수학식 3에서, 상기 Vi는 상기 N개의 제2 관계식을 이용하여
Figure 112014082845679-pat00010
을 상기 N개의 독출된 위상 이미지와 상기 독출 시간으로 나타낸 식을, 상기 Ui는 상기 N개의 제2 관계식을 이용하여
Figure 112014082845679-pat00011
을 상기 N개의 독출된 위상 이미지와 상기 독출 시간으로 나타낸 식을 나타낼 수 있다.
또한, 상기 위상 이미지를 독출하는 단계는, 상기 각각의 스캔 라인에 대해, 상기 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여, 상기 투사광 각각에 대응하는 상기 N개의 위상 이미지를 독출할 수 있다.
또한, 상기 깊이 정보를 획득하는 단계는, 상기 각각의 스캔 라인에 대해, 상기 N개의 독출된 위상 이미지를 이용하여 상기 반사광의 TOF(time of flight)로 인한 위상 지연을 획득하는 단계; 및 상기 위상 지연을 이용하여, 상기 피사체로부터 상기 피사체를 촬영하는 깊이 영상 촬영 장치까지의 거리를 획득하는 단계를 포함할 수 있다.
또한, 상기 깊이 정보를 이용하여, 깊이 영상(depth image)을 생성하는 단계를 더 포함할 수 있다.
다른 실시예에 따른 깊이 정보 획득 방법은, 광원으로부터 생성된 투사광을 피사체에 투사하는 단계; 상기 투사광이 상기 피사체로부터 반사된 반사광을 서로 다른 위상을 갖는 N개의 광 변조 신호를 순차적으로 이용하여 변조하는 단계; 상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 상기 광 변조 신호 각각에 대응하는 N개의 위상 이미지를 독출(readout)하는 단계; 각각의 스캔 라인에 대해, 상기 N개의 광 변조 신호 중 x번째 광 변조 신호에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 광 변조 신호로부터 생성되는 위상 이미지 사이의 제1 관계식을 상기 N개의 광 변조 신호 각각에 대해 획득하는 단계; 및 상기 획득된 N개의 제1 관계식을 이용하여, 상기 각각의 스캔 라인에 대한 깊이 정보를 획득하는 단계를 포함하고, 상기 독출된 위상 이미지는 상기 이전 스캔 라인에 대한 독출 시간에 따라 상기 x번째 광 변조 신호에 의해 생성된 위상 이미지의 일부 및 x+1번째 광 변조 신호에 의해 생성된 위상 이미지의 일부를 포함한다.
일 실시예에 따른 깊이 영상 촬영 장치는, 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 투사광을 상기 투사광 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 피사체에 순차적으로 투사하는 광 투사부; 상기 투사광이 상기 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하는 광 변조부; 상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 촬영하여, 상기 투사광 각각에 대응하는 N개의 위상 이미지를 획득하는 촬상부; 및 상기 N개의 위상 이미지를 이용하여 깊이 정보를 획득하는 깊이 영상 처리부를 포함한다.
다른 실시예에 따른 깊이 영상 촬영 장치는, 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 위상을 갖는 투사광을 피사체에 순차적으로 투사하는 광 투사부; 상기 투사광이 상기 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하는 광 변조부; 상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 상기 투사광 각각에 대응하는 N개의 위상 이미지를 독출(readout)하는 촬상부; 및 각각의 스캔 라인에 대해, 상기 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 투사광으로부터 생성되는 위상 이미지 사이의 제1 관계식을 상기 N개의 투사광 각각에 대해 획득하고, 상기 획득된 N개의 제1 관계식을 이용하여, 상기 각각의 스캔 라인에 대한 깊이 정보를 획득하는 깊이 영상 처리부를 포함하고, 상기 독출된 위상 이미지는 상기 이전 스캔 라인에 대한 독출 시간에 따라 상기 x번째 투사광에 의해 생성된 위상 이미지의 일부 및 x+1번째 투사광에 의해 생성된 위상 이미지의 일부를 포함한다.
또한, 상기 깊이 영상 처리부는, 상기 N개의 제1 관계식으로부터 상기 독출된 위상 이미지와 상기 단일한 투사광으로부터 생성된 위상 이미지 사이의 변환 행렬을 획득하고, 상기 획득된 변환 행렬의 역행렬을 상기 독출된 위상 이미지에 적용하여, 상기 단일한 투사광으로부터 생성되는 위상 이미지를 획득하고, 상기 단일한 투사광으로부터 생성되는 위상 이미지를 이용하여, TOF(time of flight)로 인한 위상 지연을 획득할 수 있다.
또한, 상기 N개의 서로 상이한 위상을 갖는 투사광은, 진폭 및 주기가 서로 동일하고, 상기 N은 4이고, 상기 위상은 0도, 90도, 180도, 및 270도일 수 있다.
또한, 상기 깊이 영상 처리부는, 상기 TOF로 인한 위상 지연을 상기 수학식 1에 의해 획득할 수 있다.
또한, 상기 독출된 위상 이미지는 상기 수학식 2의 형태를 갖을 수 있다.
또한, 상기 깊이 영상 처리부는, 상기 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 x+1번째 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식 획득하고, 상기 N개의 제2 관계식 중 적어도 두 개를 선택하여, 상기 수학식 3으로부터 상기 위상 지연을 산출할 수 있다.
일 실시 예에 따른 깊이 정보 획득 방법은, 롤링 셔터 방식이 적용됨에 따라 각각의 스캔 라인에 대한 촬상 시간의 차이로 인하여 발생하는 영상 왜곡을 개선시킬 수 있다.
도 1은 일 실시 예에 따른 TOF를 이용하여 깊이 영상을 생성하는 깊이 영상 촬영 장치의 예시적인 구조를 개략적으로 도시한다.
도 2는 일 실시 예에 따른 광원에서 서로 다른 4개의 광 투사 신호를 피사체에 투사한 후, 촬상 소자에서 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정을 도시한다.
도 3은 일 실시 예에 따른 광 변조기에서 서로 다른 4개의 광 변조 신호를 이용하여 변조한 후, 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정을 도시한다.
도 4는 일 실시 예에 따른 광 처리 흐름을 도시한다.
도 5는 일 실시 예에 따른 광원의 출력 파형 및 광 변조기의 출력 파형을 설명하기 위한 도면들이다.
도 6은 일 실시 예에 따른 롤링 셔터 방식에 따라 영상을 촬영하는 깊이 영상 촬영 장치의 각 구성의 동작을 설명하기 위한 타임 차트를 도시한 도면이다.
도 7은 일 실시 예에 따른 깊이 정보 획득 방법을 설명하기 위한 흐름도이다.
도 8은 도 7에 도시된 방법을 적용하여 롤링 셔터 방식에 따라 영상을 촬영하는 깊이 영상 촬영 장치의 각 구성의 동작을 설명하기 위한 타임 차트를 도시한 도면이다.
도 9는 다른 실시 예에 따른 깊이 정보 획득 방법을 설명하기 위한 흐름도이다.
도 10은 단일한 투사광으로부터 생성되는 위상이미지와 독출된 위상 이미지 사이의 관계를 설명하기 위한 도면이다.
도 11은 서로 다른 실시 예에 따라 획득한 변환 행렬에 대한 행렬식(determinant)의 값을 보여주는 예시도이다.
도 12는 일 실시 예에 따른 깊이 영상 촬영 장치를 설명하기 위한 블록도이다.
도 13은 기울어진 벽(slanted wall)에 대한 서로 다른 위상을 갖는 투사광에 의해 생성된 위상 이미지를 나타내는 예시도이다.
도 14는 개시된 실시예를 적용하여 롤링 셔터 방식으로 깊이 영상을 촬영한 효과를 보여주는 예시도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 TOF를 이용하여 깊이 영상을 생성하는 깊이 영상 촬영 장치의 예시적인 구조를 개략적으로 도시한다.
도 1을 참조하면, 깊이 영상 촬영 장치(100)는 소정의 파장을 갖는 광을 발생시키는 광원(101), 광원(101)을 구동시키기 위한 광원 구동부(102), 피사체(200)로부터 반사된 광을 광 변조하기 위한 광 변조기(103), 광 변조기(103)를 구동시키기 위한 광 변조기 구동부(104), 광 변조기(103)에 의해 광 변조된 광으로부터 영상을 생성하는 촬상 소자(105), 촬상 소자(105)의 출력을 기초로 깊이 영상을 생성하기는 깊이 영상 처리부(depth image processor)(107), 및 광원 구동부(102), 광 변조기 구동부(104), 촬상 소자(105), 깊이 영상 처리부(107)의 동작을 제어하기 위한 제어부(106)를 포함할 수 있다. 또한, 광 변조기(103)의 광 입사 면에는 반사광을 광 변조기(103)의 영역 내에 집광하기 위한 제1 렌즈(108)와 소정의 파장을 갖는 광만을 투과시키고, 배경 광 또는 잡광을 제거하는 필터(109)가 더 배치될 수 있다. 그리고 광 변조기(103)와 촬상 소자(105) 사이에는 광 변조된 영상을 촬상 소자(105)의 영역 내에 집광하기 위한 제2 렌즈(110)가 더 배치될 수 있다.
광원(101)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 800 ~ 1000nm의 근 적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(102)는 제어부(106)로부터 수신된 제어 신호에 따라 광원(101)을 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(102)의 구동 신호에 따라, 광원(101)으로부터 피사체(200)로 투사되는 광 투사 신호는 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 광 투사 신호는 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
광 변조기(103)는 피사체(200)로부터 반사된 광을 광 변조기 구동부(104)의 제어에 따라 광 변조한다. 광 변조기 구동부(104)는 제어부(106)로부터 수신된 제어 신호에 따라 광 변조기(103)를 구동시킨다. 예를 들어, 광 변조기(103)는 광 변조기 구동부(104)에 의해 제공된 소정의 파형을 갖는 광 변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 광 변조기(103)는 가변 이득을 갖는다. 광 변조기(103)는 거리에 따른 빛의 위상 차 또는 이동 시간을 식별하기 위해 수십 내지 수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 광 변조기(103)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등이 사용될 수 있다. 도 1에는 광 변조기(103)가 투과형인 것으로 도시되어 있지만, 반사형 광 변조기를 사용하는 것도 가능하다.
촬상 소자(105)는 광 변조기(103)에 의해 광 변조된 반사광을 제어부(106)의 제어에 따라 검출하여 영상을 생성하는 역할을 한다. 만약 피사체(200)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 촬상 소자(105)는 예를 들어 포토 다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체(200) 상의 다수의 점들까지의 거리를 동시에 측정하고자 하는 경우, 촬상 소자(105)는 다수의 포토 다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 촬상 소자(105)는 2차원 어레이를 갖는 CCD 이미지 센서 또는 CIS 센서일 수도 있다.
깊이 영상 처리부(107)는 촬상 소자(105)의 출력을 기초로, 후술할 깊이 영상 생성 알고리즘에 따라 깊이 영상을 생성한다. 깊이 영상 처리부(107)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 깊이 영상 촬영 장치(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 깊이 영상 처리부(107)는 별도의 이동 가능한 저장 매체에 저장될 수도 있다.
이하에서는, 상술한 구조를 갖는 깊이 영상 촬영 장치(100)의 동작을 개략적으로 설명한다.
일 실시 예에서, 광원(101)의 투사광 또는 광 투사 신호는 사인파 또는 사각파와 같은 특정 주기를 갖는 함수 형태일 수 있다. 제어부(106)는 각각의 파형이 형태는 같고 4개의 서로 다른 위상 차이를 갖도록 제어 신호로 조절할 수 있다. 여기서, 4개의 서로 다른 위상 차이를 갖도록 광원(101)의 투사광을 구현하는 것으로 설명하였지만, 동일한 위상을 갖는 광원(101)의 투사광을 구현하고, 광 변조기(103)의 광 변조 신호를 4개의 서로 다른 위상 차이를 갖도록 구현하는 것도 가능하다. 여기서는, 4개의 서로 다른 위상 차이를 갖는 광 투사 신호를 0도, 180도, 90도 및 270도의 순서로 순차적으로 투사하는 실시예를 중심으로 설명한다.
광원(101)은 제어부(106) 및 광원 구동부(102)의 제어에 따라 소정의 주기 및 파형을 갖는 4개의 상이한 투사광을 차례로 피사체(200)에 투사할 수 있다. 예를 들어, 광원(101)은 순차적으로 제1 시간 동안 위상이 0도인 투사광1을 발생시켜 피사체(200)에 투사하고, 제2 시간 동안 위상이 90도인 투사광2를 발생시켜 피사체(200)에 투사하고, 제3 시간 동안 위상이 180도인 투사광3을 발생시켜 피사체(200)에 투사하고, 제4 시간 동안 위상이 270도인 투사광4를 피사체(200)에 투사할 수 있다. 이렇게 피사체(200)에 순차적으로 투사되는 투사광들은 사인파와 같은 특정 주기를 갖는 연속 함수의 형태를 가질 수 있다.
피사체(200)에 투사된 투사광은 피사체(200)의 표면에서 반사된 후, 제 1 렌즈(108)로 입사한다. 일반적으로 피사체(200)는 깊이 영상 촬영 장치(100)로부터의 거리, 즉 깊이(depth)가 서로 다른 표면들을 갖는다. 도 1에는 설명의 단순화를 위하여 깊이가 서로 다른 5개의 표면(P1 내지 P5)을 갖는 피사체(200)가 예시적으로 도시되어 있다. 깊이가 상이한 5개의 표면(P1 내지 P5)에서 각각 투사광이 반사되면서, 깊이에 따라 시간이 지연된(즉, 위상이 상이한) 5개의 반사광이 각각 발생한다. 예를 들어, 투사광 1이 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광 1이 발생하며, 투사광 2가 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광 2가 발생하고, 마찬가지로 투사광 4도 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광 4가 발생한다. 깊이 영상 촬영 장치(100)로부터의 거리가 가장 먼 표면(P1)에서 반사된 반사광은 ΦP1만큼의 시간 지연 후 제1 렌즈(108)에 도달하고, 깊이 영상 촬영 장치(100)로부터의 거리가 가장 가까운 표면(P5)에서 반사된 반사광은 ΦP1보다 작은 ΦP5만큼의 시간 지연 후 제1 렌즈(108)에 도달한다.
제1 렌즈(108)는 반사광을 광 변조기(103)의 영역 내에 포커싱할 수 있다. 제1 렌즈(108)와 광 변조기(103) 사이에는 사용 파장 이외의 배경광이나 잡광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 예를 들어, 광원(101)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 필터(109)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 광 변조기(103)에 입사하는 광은 광원(101)으로부터 방출되어 피사체(200)에서 반사된 광이 지배적일 수 있다. 도 1에는 제1 렌즈(108)와 광 변조기(103) 사이에 필터(109)가 배치된 것으로 도시되어 있지만, 제 1 렌즈(108)와 필터(109)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(109)를 먼저 통과한 근적외선 광이 제1 렌즈(108)에 의해 광 변조기(103)로 포커싱될 수도 있다.
광 변조기(103)는 소정의 파형을 갖는 광 변조 신호로 반사광을 변조한다. 광 변조기(103)에서의 이득 파형의 주기는 투사광의 파형 주기와 동일할 수 있다. 도 1에 도시된 예에서, 광 변조기(103)는 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사된 5개의 반사광 1을 광 변조하여 촬상 소자(105)에 제공하고, 이어서 5개의 반사광 2 내지 5개의 반사광 4를 차례로 광 변조하여 촬상 소자(105)에 제공할 수 있다.
광 변조기(103)에 의해 크기가 변조된 광은 제2 렌즈(110)를 통과하면서 배율 조정 및 재포커싱된 후 촬상 소자(105)에 도달한다. 따라서, 변조된 광은 제2 렌즈(110)에 의해 촬상 소자(105)의 영역 내에 집광된다. 촬상 소자(105)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 영상을 생성한다.
도 2는 일 실시 예에 따른 광원에서 서로 다른 4개의 광 투사 신호를 피사체에 투사한 후, 촬상 소자에서 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정을 도시한다.
촬상 소자(105)는, 도 2에서 (A)로 표시된 바와 같이, 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사된 후 변조된 5개의 반사광 1을 소정의 노출 시간 동안 수광하여 영상 1(CIS Image 1)을 생성한다. 이어서, 도 2에서 (B)로 표시된 바와 같이, 촬상 소자(105)는 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사된 후 변조된 5개의 반사광 2를 소정의 노출 시간 동안 수광하여 영상 2(CIS Image 2)를 생성한다. 이와 같은 과정을 반복하면서 마지막으로, 도 2에서 (C)로 표시된 바와 같이, 촬상 소자(105)는 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사된 후 변조된 5개의 반사광 4를 소정의 노출 시간 동안 수광하여 영상 4(CIS Image 4)를 생성한다. 이러한 방식으로, 도 2에서 (D)로 표시된 바와 같이, 4 개의 상이한 영상들을 순차적으로 얻을 수 있다. 이렇게 얻은 각각의 영상 1 내지 4는 깊이 정보를 갖는 한 프레임의 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. 예를 들어, 한 프레임의 주기를 Td라고 한다면, 4개의 영상 1 내지 4 각각을 얻기 위한 촬상 소자(105)에서의 노출 시간은 대략 Td/4일 수 있다.
도 2의 (A)를 참조하면, 첫 번째 서브 프레임에서, 광원(101)으로부터 피사체(200)에 투사된 투사광 1이 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사되어 5개의 반사광 1이 생성된다. 5개의 반사광 1은 광 변조기(103)에 의해 변조된 후 촬상 소자(105)에 도달한다. 도 2에는, 설명의 용이함을 위해 촬상 소자(105)가 5개의 표면(P1 내지 P5)에 각각 대응하는 5개의 픽셀만을 갖는 것으로 도시되어 있다. 따라서, 5개의 반사광 1은 대응하는 5개의 픽셀에 각각 입사할 수 있다. 도 2의 (A)에 도시된 바와 같이, 각각의 표면(P1 내지 P5)에서 반사된 5개의 반사광 1은 깊이 영상 촬영 장치(100)로부터 표면(P1 내지 P5)까지의 거리에 따라 상이한 위상 지연(ΦP1~ΦP5)을 각각 갖는다. 촬상 소자(105)는 예컨대 대략 Td/4의 노출 시간 동안 반사광 1을 촬영하여 영상 1을 생성할 수 있다. 위와 동일한 방식으로, 두 번째 서브 프레임부터 네 번째 서브 프레임까지 영상 2 내지 영상 4가 생성될 수 있다. 도 2의 (B) 및 (C)에 도시된 바와 같이, 2 내지 4번째 서브 프레임에서도 깊이가 다른 5개의 표면(P1 내지 P5)으로부터 상이한 위상 지연(ΦP1~ΦP5)이 발생한다.
도 2에서는 서로 다른 4개의 광 투사 신호를 피사체에 투사한 후, 촬상 소자에서 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정에 대해 설명하였지만, 모든 서브 프레임에서 동일한 투사광을 사용하고, 각각의 서브 프레임마다 광 변조기(103)가 상이한 이득 파형으로 반사광을 변조하는 것도 가능하다.
도 3은 일 실시 예에 따른 광 변조기에서 서로 다른 4개의 광 변조 신호를 이용하여 변조한 후, 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정을 도시한다.
여기서는, 4개의 서로 다른 위상 차이를 갖는 광 변조 신호를 0도, 180도, 90도 및 270도의 순서로 순차적으로 이용하는 실시예를 중심으로 설명한다.
도 3을 참조하면, 피사체(200)로부터 반사된 반사광은 각 서브 프레임에서 동일한 파형과 위상을 갖는다. 각 서브 프레임의 반사광에는 앞서 설명한 바와 같이 피사체(200)의 표면(P1 내지 P5)에 따라 상이한 위상 지연(ΦP1~ΦP5)들이 존재한다.
도 3의 (A)~(C)에 각각 도시된 바와 같이, 첫 번째 서브 프레임에서 광 변조기(103)는 광 변조 신호 1(0도)로 반사광을 변조하며, 두 번째 서브 프레임에서 광 변조기(103)는 광 변조 신호 1과 위상이 다른 광 변조 신호 2(180도)로 반사광을 변조하고, 도시되지는 않았지만, 세 번째 서브 프레임에서 광 변조기(103)는 또 다른 위상을 갖는 광 변조 신호 3(90도)으로 반사광을 변조하고, 네 번째 서브 프레임에서 광 변조기(103)는 또 다른 광 변조 신호 4(270도)로 반사광을 변조한다. 여기서, 광 변조 신호 1 내지 4는 위상 차이가 0도, 180도, 90도 및 270도인 신호이다. 또한, 주기와 파형은 동일할 수 있다. 그러면, 도 3의 (D)에 각각 도시된 바와 같이, 서로 다른 4개의 영상 1 내지 4를 얻을 수 있다.
도 2 및 3에서, 변조된 영상의 표시를 CIS 이미지 1 내지 4로 표시하였지만, 촬상 소자(106)는 CIS로 한정되지 않음은 전술한 바와 같다.
상술한 방식(도 2에 도시된 상이한 위상 차(0도, 180도, 90도 및 270도)를 갖는 광 투사 신호를 투사한 경우와 도 3에 도시된 상이한 위상 차(0도, 180도, 90도 및 270도)를 갖는 광 변조 신호로 얻은 4개의 영상들은 깊이 영상 처리부(107)로 전달된다. 깊이 영상 처리부(107)는 상기 4개의 영상들을 이용하여 후술할 방법에 따라 깊이 영상 또는 깊이 정보를 생성한다.
도 4는 일 실시 예에 따른 광 처리 흐름을 도시하며, 도 5는 일 실시 예에 따른 광원의 출력 파형 및 광 변조기의 출력 파형을 설명하기 위한 도면들이다.
도 4 및 5를 참조하면, 깊이 영상 촬영 장치(100) 내에서 일어나는 적외선 광의 광 처리 과정이 도시되어 있다. IR 필터(예를 들면, 중심 파장 850nm)를 투과한 적외선 광은 광 변조기(103)에 도달, 변조되어 후단의 촬상 소자(105)에 도달할 수 있다. 이와 같은 일련의 광 처리 과정을 수식으로 전개하면 다음 설명하는 바와 같다.
도 5a는 광 출력 파형의 예시도이고, 도 5b는 광 변조기의 구동 파형으로서, 각각의 파형은 사인파, 구형파, 램프파 등 다양한 주기파를 가질 수 있다. 편의상 광 출력 파형(광 투사 신호)이 구형파이고, 광 변조기의 구동 파형이 사인파인 경우에 대해 수식 전개한다.
적외선 광 출력(또는 광 투사 신호)은 구형파 형태이고, 광 출력 파워(emitting light optical power)는 수학식 4와 같이 정의될 수 있다.
<수학식 4>
Figure 112014082845679-pat00012
여기서, a는 구형파 성분의 크기를, s는 서로 다른 투사광의 투사 순서를 나타내며,
Figure 112014082845679-pat00013
는 출력 광의 DC 성분인 DC 오프셋을 나타낸다. 또한, 순차적으로 투사되는 투사광은 각각 0도, 180도, 90도 및 270도의 위상을 갖는다.
IR 필터 투과 후 반사광은 수학식 5와 같다.
<수학식 5>
Figure 112014082845679-pat00014
반사광은 피사체의 표면에 반사되어 돌아오므로 피사체 표면반사도, 렌즈의 크기 등 종합적으로 고려된 반사도(r)가 곱해진 형태이다. 또한, 반사광에는 TOF에 의한 위상 차(
Figure 112014082845679-pat00015
)가 존재하고 외광이 적외선 광과 마찬가지로 존재한다.
광 변조기(광 셔터)의 변조 파형(이득) 또는 광 변조 신호는 수학식 6과 같다.
<수학식 6>
Figure 112014082845679-pat00016
광 변조 신호는 사인파(AC성분)에 DC 성분이 더해진 형태로, 여기서, c는 사인파 성분의 크기를,
Figure 112014082845679-pat00017
는 출력 광의 DC 성분인 DC 오프셋을 나타낸다.
촬상 소자에 도달하는 광신호는 반사광과 광 변조 신호를 곱한 값으로, 수학식 7과 같다.
<수학식 7>
Figure 112014082845679-pat00018
촬상 소자에서의 출력 신호(또는 출력 영상)는 수학식 7의 광 신호를 적분한 형태로 수학식 8과 같다.
<수학식8 >
Figure 112014082845679-pat00019
수학식 8로부터, 서로 다른 위상을 갖는 투사광에 대응하여 순차적으로 촬영되는 4개의 영상은 다음 수학식 9 내지 12와 같다.
<수학식 9>
Figure 112014082845679-pat00020
<수학식 10>
Figure 112014082845679-pat00021
<수학식 11>
Figure 112014082845679-pat00022
<수학식 12>
Figure 112014082845679-pat00023
수학식 9 내지 12에서, A와 B는 수학식 13과 같다.
<수학식 13>
Figure 112014082845679-pat00024
한편, 광원의 출력 파형 또는 광 투사 신호가 구형파가 아닌 사인파인 경우에도 상기 수학식들과 마찬가지로 수식 전개가 가능하며, A값만이 다음 수학식 14과 같이 다른 결과를 나타낸다.
<수학식 14>
Figure 112014082845679-pat00025
수학식 9 내지 12를 연립하여, 미지수인 r, A 및 B를 소거해서, 위상 지연(ΦTOF)에 대해 풀면 수학식 1 같이 깊이에 의한 위상 지연을 구할 수 있다.
또한, 위상 지연을 이용하여, 수학식 15와 같이 피사체로부터 피사체를 촬영하는 깊이 영상 촬영 장치(100)까지의 거리(depth)를 획득할 수 있다.
<수학식 15>
Figure 112014082845679-pat00026
여기서, 상기 c는 광속을, 상기 f는 상기 투사광의 주파수를, 상기
Figure 112014082845679-pat00027
은 상기 투사광 중 0도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
Figure 112014082845679-pat00028
은 상기 투사광 중 90도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
Figure 112014082845679-pat00029
은 상기 투사광 중 180도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
Figure 112014082845679-pat00030
은 상기 투사광 중 270도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를 나타낸다.
여기서 수학식 9 내지 15는 글로벌 셔터를 이용하여 깊이 영상을 생성한 경우를 가정한 것이다. 즉, 롤링 셔터 방식이 적용됨에 따라 각각의 스캔 라인에 대한 촬상 시간의 차이로 인하여 발생하는 왜곡을 반영하지 않은 식이다. 위 관계식, 특히 수학식 9 내지 15는 롤링 셔터 방식을 사용하여 깊이 영상을 촬영할 때, 각각의 스캔 라인에 대한 촬상 시간의 차이로 인하여 발생하는 왜곡을 개선시키는 데 이용된다.
도 6은 일 실시 예에 따른 롤링 셔터 방식에 따라 영상을 촬영하는 깊이 영상 촬영 장치의 각 구성의 동작을 설명하기 위한 타임 차트를 도시한 도면이다.
TOF 방식을 이용한 3차원 센서(depth camera)는 서로 다른 위상을 갖는 구동 신호를 이용하여 적어도 3 상의 위상 이미지(phase image)를 순차적으로 얻어 하나의 깊이 영상을 생성한다.
도 6a는 일 실시 예에 따라 서로 상이한 위상을 갖는 투사광을 투사하여, 롤링 셔터 방식에 따라 영상을 촬영하는 깊이 영상 촬영 장치의 각 구성의 동작을 설명하기 위한 타임 차트를 도시한 도면이다.
도 6a의 (a)는 투사광을 나타낸다. 즉, 광원(101)은 네 개의 서로 상이한 위상을 갖는 투사광을 일정 시간 간격으로 피사체에 순차적으로 투사할 수 있다. 서로 상이한 위상을 갖는 투사광은, 진폭 및 주기가 서로 동일하고, 각각의 위상은 0도, 90도, 180도, 및 270도인 것을 예를 들어 설명한다.
도 6a의 (b)는 광 변조 신호를 나타낸다. 광 변조 신호(103)는 진폭 및 주기가 일정하며, 투사광과 동일한 주파수를 갖을 수 있다.
도 6a의 (c)는 촬상 소자(105)가 변조된 광을 롤링 셔터(rolling shutter) 방식에 의해 소정의 노출 시간(
Figure 112014082845679-pat00031
) 동안 수광하여 영상을 생성하고, 독출하는 것을 나타낸다.
롤링 셔터 방식은 CIS(CMOS Image Sensor)에서 깊이 영상을 촬영하는 방식 중 하나이다. 롤링 셔터 방식에 따르면, 2차원 매트릭스(2D matrix) 형태로 이루어진 영상의 각각의 스캔 라인(scan line)에 대한 독출(readout)이 순차적으로 행해진다. 예를 들어, CIS는 2차원 매트릭스(2D matrix) 형태로 이루어진 영상을 가장 상단의 열(row)부터 하단의 열까지 순차적으로 독출한다.
하나의 스캔 라인 예를 들어, 하나의 열에 대한 이미지를 추출하여 외부 저장장치에 기록하는 시간을 독출 시간(readout time (
Figure 112014082845679-pat00032
))이라 할 때, 하나의 스캔 라인을 독출하는 데 필요는 시간 즉,
Figure 112014082845679-pat00033
가 경과된 후에 그 다음 스캔 라인을 독출한다. 따라서 영상의 모든 스캔 라인을 독출하는 데 필요한 시간은 수학식 16과 같다.
<수학식 16>
Figure 112014082845679-pat00034
여기서, N은 전체 스캔 라인의 개수를,
Figure 112014082845679-pat00035
는 하나의 스캔 라인을 독출하는 데 필요한 시간을 나타낸다.
즉, 가장 처음의 스캔 라인의 촬영 시간대와 가장 마지막 스캔 라인의 촬영 시간대가 전체 스캔 라인에 대한 독출 시간(
Figure 112014082845679-pat00036
)만큼 차이가 나므로, 최종 깊이 영상은 스캔 라인 별로 다른 시간대를 촬영한 것이 된다.
깊이 영상을 생성하기 위하여, 전술한 롤링 셔터 방식을 이용하여 위상 이미지를 촬영하는 경우, 최초의 스캔라인을 제외한 각각의 스캔라인에 대한 위상 이미지는 위상이 서로 다른 투사광으로부터 생성된 위상 이미지가 포함되는 현상이 발생한다. 예를 들어, 촬상 소자(105)는 소정의 노출 시간(
Figure 112014082845679-pat00037
) 동안(610a~620a) 0도의 위상을 갖는 투사광으로부터 생성된 위상 이미지의 일부와 90도의 위상을 갖는 투사광으로부터 생성된 위상 이미지의 일부를 수광하여 0도의 위상을 갖는 투사광에 대응되는 위상 이미지를 독출한다. 첫 번째 스캔 라인의 경우, 직전 스캔라인에 대한 독출 시간이 없으므로, x번째 투사광(예를 들어, 위상이 0도인 투사광)에 대응하는 독출된 위상 이미지는 x번째 투사광(예를 들어, 위상이 0도인 투사광)에 의해 생성된 위상 이미지와 같게 된다. 한편, 두 번째 스캔 라인의 경우, 직전 스캔라인에 대한 독출 시간(
Figure 112014082845679-pat00038
)만큼 노출 시간(
Figure 112014082845679-pat00039
)이 지연된다. 따라서, x번째 투사광(예를 들어, 위상이 0도인 투사광)에 대응하는 독출된 위상 이미지는 x번째 투사광(예를 들어, 위상이 0도인 투사광)에 의해 생성된 위상 이미지의 일부와 x+1번째 투사광(예를 들어, 위상이 90도인 투사광)에 의해 생성된 위상 이미지의 일부를 포함한다.
이처럼 독출된 위상 이미지가 서로 다른 위상을 갖는 투사광으로부터 생성된 위상 이미지를 포함함에 따라, 생성된 깊이 영상이 왜곡되는 문제가 발생한다. 개시된 실시예들은 상술한 바와 같이 롤링 셔터 방식을 이용함에 있어서, 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 투사광으로부터 생성된 위상 이미지를 포함함에 따라, 생성된 깊이 영상이 왜곡되는 문제를 해결하기 위한 것이다.
도 6b는 일 실시 예에 따라 서로 상이한 위상을 갖는 광 변조 신호를 이용하여, 롤링 셔터 방식에 따라 영상을 촬영하는 깊이 영상 촬영 장치의 각 구성의 동작을 설명하기 위한 타임 차트를 도시한 도면이다.
도 6b의 (a)는 투사광을 나타낸다. 광원(101)은 진폭 및 주기가 일정하고 위상이 단일한 투사광을 피사체에 투사할 수 있다.
도 6b의 (b)는 광 변조 신호를 나타낸다. 광 변조 신호(103)는 진폭 및 주기가 일정하며, 투사광과 동일한 주파수를 갖으며, 서로 상이한 위상을 갖는 N개의 광 변조 신호를 포함할 수 있다. 서로 상이한 위상을 갖는 N개의 광 변조 신호는 각각의 위상이 0도, 90도, 180도, 및 270도인 네 개의 서로 상이한 위상을 갖는 광 변조 신호(103)의 것을 예를 들어 설명한다.
도 6b의 (c)는 촬상 소자(105)가 변조된 광을 롤링 셔터(rolling shutter) 방식에 의해 소정의 노출 시간(
Figure 112014082845679-pat00040
) 동안 수광하여 영상을 생성하고, 독출하는 것을 나타낸다.
깊이 영상을 생성하기 위하여, 전술한 롤링 셔터 방식을 이용하여 위상 이미지를 촬영하는 경우, 최초의 스캔라인을 제외한 각각의 스캔라인에 대한 위상 이미지는 위상이 서로 다른 광 변조 신호를 이용하여 생성된 위상 이미지가 포함되는 현상이 발생한다. 예를 들어, 촬상 소자(105)는 소정의 노출 시간(
Figure 112014082845679-pat00041
) 동안(610b~620b) 0도의 위상을 갖는 광 변조 신호를 이용하여 생성된 위상 이미지의 일부와 90도의 위상을 갖는 광 변조 신호를 이용하여 생성된 위상 이미지의 일부를 수광하여 0도의 위상을 갖는 광 변조 신호에 대응되는 위상 이미지를 독출한다. 첫 번째 스캔 라인의 경우, 직전 스캔라인에 대한 독출 시간이 없으므로, x번째 광 변조 신호(예를 들어, 위상이 0도인 광 변조 신호)에 대응하는 독출된 위상 이미지는 x번째 광 변조 신호(예를 들어, 위상이 0도인 광 변조 신호)를 이용하여 생성된 위상 이미지와 같게 된다. 한편, 두 번째 스캔 라인의 경우, 직전 스캔라인에 대한 독출 시간(
Figure 112014082845679-pat00042
)만큼 노출 시간(
Figure 112014082845679-pat00043
)이 지연된다. 따라서, x번째 광 변조 신호(예를 들어, 위상이 0도인 광 변조 신호)에 대응하는 독출된 위상 이미지는 x번째 광 변조 신호(예를 들어, 위상이 0도인 광 변조 신호)를 이용하여 생성된 위상 이미지의 일부와 x+1번째 광 변조 신호(예를 들어, 위상이 90도인 광 변조 신호)를 이용하여 생성된 위상 이미지의 일부를 포함한다.
이처럼 독출된 위상 이미지가 서로 다른 위상을 갖는 광 변조 신호를 이용하여 생성된 위상 이미지를 포함함에 따라, 생성된 깊이 영상이 왜곡되는 문제가 발생한다. 개시된 실시예들은 상술한 바와 같이 롤링 셔터 방식을 이용함에 있어서, 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 광 변조 신호로부터 생성된 위상 이미지를 포함함에 따라, 생성된 깊이 영상이 왜곡되는 문제를 해결하기 위한 것이다.
도 7은 일 실시 예에 따른 깊이 정보 획득 방법을 설명하기 위한 흐름도이다.
도 7a는 일 실시 예에 따라 서로 상이한 위상을 갖는 투사광을 투사하여, 깊이 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
도 6a에서 전술한 문제점은 서로 상이한 각각의 투사광을 유휴 시간(idle time)을 포함하는 시간 동안 피사체에 순차적으로 투사함으로써 해결 수 있다.
단계 710에서, 깊이 영상 촬영 장치(100)는 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 투사광을 투사광 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 피사체에 순차적으로 투사한다.
유휴 시간은 전체 스캔 라인에 대한 독출 시간을 포함할 수 있다.
단계 720에서, 깊이 영상 촬영 장치(100)는 투사광이 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조한다.
단계 730에서, 깊이 영상 촬영 장치(100)는 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 촬영하여, 투사광 각각에 대응하는 N개의 위상 이미지를 획득한다.
깊이 영상 촬영 장치(100)는 각각의 스캔 라인에 대해, 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여, 투사광 각각에 대응하는 N개의 위상 이미지를 독출할 수 있다.
단계 740에서, 깊이 영상 촬영 장치(100)는 N개의 위상 이미지를 이용하여 깊이 정보를 획득한다.
깊이 영상 촬영 장치(100)는 각각의 스캔 라인에 대해, N개의 독출된 위상 이미지를 이용하여 반사광의 TOF(time of flight)로 인한 위상 지연을 획득할 수 있다. 깊이 영상 촬영 장치(100)는 획득된 위상 지연을 이용하여, 피사체로부터 피사체를 촬영하는 깊이 영상 촬영 장치(100)까지의 거리를 획득할 수 있다.
또한, 깊이 영상 촬영 장치(100)는 획득된 깊이 정보를 이용하여, 깊이 영상(depth image)을 생성하고, 디스플레이할 수 있다.
즉, 투사광을 유휴 시간(idle time)을 포함하는 시간 동안 더 투사함으로써, 각각의 스캔 라인에 대해 독출된 위상 이미지는 단일한 투사광으로부터 생성된 위상 이미지만을 포함하게 된다. 따라서, 일 실시예에 따른 깊이 정보 획득 방법에 의하면, 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 투사광으로부터 생성된 위상 이미지를 포함하게 되는 문제를 근본적으로 해결할 수 있다.
도 7b는 일 실시 예에 따라 서로 상이한 위상을 갖는 광 변조 신호를 이용하여, 깊이 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
도 6b에서 전술한 문제점은 서로 상이한 각각의 광 변조 신호를 유휴 시간(idle time)을 포함하는 시간 동안 순차적으로 이용함으로써 해결 수 있다.
단계 750에서, 깊이 영상 촬영 장치(100)는 광원으로부터 생성된 진폭 및 주기가 일정하고 위상이 단일한 투사광을 피사체에 투사한다.
단계 760에서, 깊이 영상 촬영 장치(100)는 투사광이 피사체로부터 반사된 반사광을, N개(상기 N은 3 이상의 자연수)의 서로 상이한 광 변조 신호를 광 변조 신호 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 순차적으로 이용하여 변조한다.
유휴 시간은 전체 스캔 라인에 대한 독출 시간을 포함할 수 있다.
단계 770에서, 깊이 영상 촬영 장치(100)는 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 촬영하여, 투사광 각각에 대응하는 N개의 위상 이미지를 획득한다.
단계 780에서, 깊이 영상 촬영 장치(100)는 N개의 위상 이미지를 이용하여 깊이 정보를 획득한다.
도 7b의 단계 770 및 단계 780은 도 7a의 단계 730 및 단계 470과 동일 대응되므로, 도 7a에서와 중복되는 설명은 생략한다.
서로 상이한 위상을 갖는 광 변조 신호를 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 이용하여 변조함으로써, 각각의 스캔 라인에 대해 독출된 위상 이미지는 단일한 광 변조 신호로부터 생성된 위상 이미지만을 포함하게 된다. 따라서, 일 실시예에 따른 깊이 정보 획득 방법에 의하면, 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 광 변조 신호로부터 생성된 위상 이미지를 포함하게 되는 문제를 근본적으로 해결할 수 있다.
도 8a는 도 7a에 도시된 방법을 적용하여 롤링 셔터 방식에 따라 영상을 촬영하는 깊이 영상 촬영 장치의 각 구성의 동작을 설명하기 위한 타임 차트를 도시한 도면이다.
도 8a의 (a)는 투사광을 나타낸다. 즉, 광원(101)은 네 개의 서로 상이한 위상을 갖는 투사광을 일정 시간 간격으로 피사체에 순차적으로 투사할 수 있다.
일 실시예에 따른 깊이 영상 촬영 장치(100)는, 서로 상이한 위상을 갖는 각각의 투사광에 대한 투사 시간을 늘려서 즉, 유휴 시간을 삽입하여 순차적으로 투사할 수 있다. 이 때, 유휴 시간은 전체 스캔 라인에 대한 독출 시간 이상이 되도록 한다.
도 8a의 (b)는 광 변조 신호를 나타낸다. 광 변조 신호(103)는 진폭 및 주기가 일정하며, 투사광과 동일한 주파수를 갖을 수 있다.
도 8a의 (c)는 촬상 소자(105)가 변조된 광을 롤링 셔터(rolling shutter) 방식에 의해 소정의 노출 시간(
Figure 112014082845679-pat00044
) 동안 수광하여 영상을 생성하고, 독출하는 것을 나타낸다.
예를 들어, 촬상 소자(105)는 소정의 노출 시간(
Figure 112014082845679-pat00045
) 동안(810a~820a) 0도의 단일한 위상을 갖는 투사광으로부터 생성된 위상 이미지를 수광하여 0도의 위상을 갖는 투사광에 대응되는 위상 이미지를 독출한다. 즉, 일 실시예에 따른 방법에 의하면, 상이한 위상을 갖는 각각의 투사광에 대한 투사 시간을 연장하여, 독출된 위상 이미지가 단일한 위상을 갖는 투사광으로부터 생성된 위상 이미지만을 포함하게 된다. 따라서, 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 투사광으로부터 생성된 위상 이미지를 포함하게 되는 문제를 해결할 수 있다.
그러나, 전술한 실시예에 따른 방법에 의하면, 서로 상이한 위상을 갖는 N개의 투사광으로부터 생성된 N개의 위상 이미지를 획득하는 데 필요한 시간이 추가된 유휴 시간의 N배 만큼 늘어난다. 즉, 각각의 위상 이미지를 획득하는 데 필요한 시간이 늘어남에 따라, 프레임 레이트(Frame rate)가 감소된다. 또한, 깊이 영상 촬영 장치(100)에서 사용하는 소비 전력이 증가한다.
도 8b는 도 7B에 도시된 방법을 적용하여 롤링 셔터 방식에 따라 영상을 촬영하는 깊이 영상 촬영 장치의 각 구성의 동작을 설명하기 위한 타임 차트를 도시한 도면이다.
도 8b의 (a)는 투사광을 나타낸다. 광원(101)은 진폭 및 주기가 일정하고 위상이 단일한 투사광을 피사체에 투사할 수 있다.
도 8b의 (b)는 광 변조 신호를 나타낸다. 광 변조 신호(103)는 진폭 및 주기가 일정하며, 투사광과 동일한 주파수를 갖으며, 서로 상이한 위상을 갖는 N개의 광 변조 신호를 포함할 수 있다. 서로 상이한 위상을 갖는 N개의 광 변조 신호는 각각의 위상이 0도, 90도, 180도, 및 270도인 네 개의 서로 상이한 위상을 갖는 광 변조 신호(103)의 것을 예를 들어 설명한다.
도 8b의 (c)는 촬상 소자(105)가 변조된 광을 롤링 셔터(rolling shutter) 방식에 의해 소정의 노출 시간(
Figure 112014082845679-pat00046
) 동안 수광하여 영상을 생성하고, 독출하는 것을 나타낸다.
예를 들어, 촬상 소자(105)는 소정의 노출 시간(
Figure 112014082845679-pat00047
) 동안(810b~820b) 0도의 단일한 위상을 갖는 투사광으로부터 생성된 위상 이미지를 수광하여 0도의 위상을 갖는 광 변조 신호에 대응되는 위상 이미지를 독출한다. 즉, 일 실시예에 따른 방법에 의하면, 상이한 위상을 갖는 각각의 광 변조 신호에 대한 광 변조 시간을 연장하여, 독출된 위상 이미지가 단일한 위상을 갖는 광 변조 신호로부터 생성된 위상 이미지만을 포함하게 된다. 따라서, 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 광 변조 신호로부터 생성된 위상 이미지를 포함하게 되는 문제를 해결할 수 있다.
그러나, 전술한 실시예에 따른 방법에 의하면, 서로 상이한 위상을 갖는 N개의 광 변조 신호로부터 생성된 N개의 위상 이미지를 획득하는 데 필요한 시간이 추가된 유휴 시간의 N배 만큼 늘어난다. 즉, 각각의 위상 이미지를 획득하는 데 필요한 시간이 늘어남에 따라, 프레임 레이트(frame rate)가 감소된다. 또한, 깊이 영상 촬영 장치(100)에서 사용하는 소비 전력이 증가한다.
도 9는 다른 실시 예에 따른 깊이 정보 획득 방법을 설명하기 위한 흐름도이다.
도 9a는 서로 상이한 위상을 갖는 투사광을 투사하여, 다른 실시 예에 따른 깊이 정보 획득 방법을 설명하기 위한 흐름도이다.
본 실시예에서는 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 투사광으로부터 생성된 위상 이미지를 포함함에 따라, 생성된 깊이 영상이 왜곡되는 문제를 해결하기 위하여, 수학적 모델식을 이용한다.
단계 910에서, 깊이 영상 촬영 장치(100)는 광원으로부터 생성된 N개(N은 3 이상의 자연수)의 서로 상이한 위상을 갖는 투사광을 피사체에 순차적으로 투사한다.
이하에서는, N은 4이고, N개의 서로 상이한 위상을 갖는 투사광은, 진폭 및 주기가 서로 동일하고, 위상은 각각 0도, 90도, 180도, 및 270도인 실시예를 중심으로 설명한다.
단계 920에서, 깊이 영상 촬영 장치(100)는 투사광이 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조한다.
일 실시예에서, N개의 서로 상이한 투사광의 주기와 광 변조 신호의 주기는 동일할 수 있다.
단계 930에서, 깊이 영상 촬영 장치(100)는 변조된 반사광을 롤링 셔터 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 투사광 각각에 대응하는 N개의 위상 이미지를 독출한다.
깊이 영상 촬영 장치(100)는 각각의 스캔 라인에 대해, 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여, 투사광 각각에 대응하는 N개의 위상 이미지를 독출할 수 있다.
독출된 위상 이미지는 이전 스캔 라인에 대한 독출 시간에 따라 x번째 투사광에 의해 생성된 위상 이미지의 일부 및 x+1번째 투사광에 의해 생성된 위상 이미지의 일부를 포함한다.
단계 940에서, 깊이 영상 촬영 장치(100)는 각각의 스캔 라인에 대해, N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 투사광으로부터 생성되는 위상 이미지 사이의 제1 관계식을 N개의 투사광 각각에 대해 획득한다.
제1 관계식은 예를 들어, 수학식 17과 같으며, 구체적인 유도 과정은 이하에서 도 10을 참조하여 상세히 설명한다.
<수학식 17>
Figure 112014082845679-pat00048
Figure 112014082845679-pat00049
Figure 112014082845679-pat00050
Figure 112014082845679-pat00051
여기서, e는 수학식 18에 의해 정의된다.
<수학식 18>
Figure 112014082845679-pat00052
단계 950에서, 획득된 N개의 제1 관계식을 이용하여, 각각의 스캔 라인에 대한 깊이 정보를 획득한다.
일 실시예에 따른 깊이 영상 촬영 장치(100)는 독출된 위상 이미지로부터 단일한 투사광으로부터 생성된 위상 이미지를 획득할 수 있다.
깊이 영상 촬영 장치(100)는 N개의 제1 관계식으로부터 독출된 위상 이미지와 단일한 투사광으로부터 생성된 위상 이미지 사이의 변환 행렬을 획득할 수 있다.
예를 들어, 깊이 영상 촬영 장치(100)는 수학식 17로부터 수학식 19과 같은 행렬식을 획득할 수 있고,
<수학식 19>
Figure 112014082845679-pat00053
수학식 19로부터 수학식 20과 같은 변환 행렬을 획득할 수 있다.
<수학식 20>
Figure 112014082845679-pat00054
깊이 영상 촬영 장치(100)는 획득된 변환 행렬의 역행렬을 독출된 위상 이미지에 적용하여, 단일한 투사광으로부터 생성되는 위상 이미지를 획득할 수 있다.
예를 들어, 깊이 영상 촬영 장치(100)는 수학식 20의 변환 행렬의 역행렬을 독출한 위상 이미지에 적용하여, 수학식 21과 같이 단일한 투사광으로부터 생성되는 위상 이미지를 획득할 수 있다.
<수학식 21>
Figure 112014082845679-pat00055
깊이 영상 촬영 장치(100)는 단일한 투사광으로부터 생성되는 위상 이미지를 이용하여, TOF(time of flight)로 인한 위상 지연을 획득할 수 있다.
예를 들어, 깊이 영상 촬영 장치(100)는 수학식 21로부터 획득한 단일한 투사광으로부터 생성되는 위상 이미지를 수학식 1에 대입하여, TOF로 인한 위상 지연을 획득할 수 있다.
상술한 실시예에 따른 깊이 정보 획득 방법은, 변환 행렬의 행렬식(determinant)이 0이 되는 경우, 역행렬을 산출할 수 없기 때문에, 단일한 투사광으로부터 생성되는 위상 이미지를 획득할 수 없다.
후술하는 다른 실시예에 따른 깊이 정보 획득 방법은, 변환 행렬의 행렬식(determinant)이 0이 되는 경우에도 TOF로 인한 위상 지연을 획득할 수 있다.
독출된 위상 이미지는 수학식 2의 형태를 갖는다. 예를 들어, 독출된 위상 이미지는 수학식 22와 같다.
<수학식 22>
Figure 112014082845679-pat00056
Figure 112014082845679-pat00057
Figure 112014082845679-pat00058
Figure 112014082845679-pat00059
여기서, r은 상기 피사체의 표면 반사도를, A는 투사광과 광 변조 신호의 크기를 나타내는 계수를, B는 투사광과 광 변조 신호의 직류 성분을 나타내는 계수를,
Figure 112014082845679-pat00060
는 TOF(time of flight)로 인한 위상 지연을,
Figure 112014082845679-pat00061
은 0도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를,
Figure 112014082845679-pat00062
은 90도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를,
Figure 112014082845679-pat00063
은 180도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를,
Figure 112014082845679-pat00064
은 270도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를 나타낸다.
깊이 영상 촬영 장치(100)는 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 x+1번째 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식 획득할 수 있다.
예를 들어, 0도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지와 90도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지의 차에 관한 제2 관계식은 수학식 23과 같이 획득될 수 있다.
<수학식 23>
Figure 112014082845679-pat00065
이와 마찬가지의 방법으로 90도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지와 180도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지의 차에 관한 제2 관계식은 수학식 24과 같이 획득될 수 있다.
<수학식 24>
Figure 112014082845679-pat00066
이와 마찬가지의 방법으로 180도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지와 270도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지의 차에 관한 제2 관계식은 수학식 25과 같이 획득될 수 있다.
<수학식 25>
Figure 112014082845679-pat00067
이와 마찬가지의 방법으로 270도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지와 0도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지의 차에 관한 제2 관계식은 수학식 26과 같이 획득될 수 있다.
<수학식 26>
Figure 112014082845679-pat00068
깊이 영상 촬영 장치(100)는 N개의 제2 관계식 중 적어도 두 개를 선택하여, 수학식 3으로부터 위상 지연을 산출할 수 있다.
예를 들어, 수학식 23 내지 수학식 26을 행렬로 표현하면 수학식 27과 같다.
<수학식 27>
Figure 112014082845679-pat00069
수학식 27에 수학식 22의 , , 및 을 각각 대입하여 정리하면, 수학식 28과 같다.
<수학식 28>
Figure 112014082845679-pat00070
Figure 112014082845679-pat00071
깊이 영상 촬영 장치(100)는 수학식 28의 적어도 두 개의 행을 선택하여,
Figure 112014082845679-pat00072
을 N개의 독출된 위상 이미지와, 독출 시간 구체적으로는, 하나의 위상 이미지를 획득하기 위한 소정의 노출 시간(
Figure 112014082845679-pat00073
)에 대한, 이전 스캔 라인들을 독출하는 데 필요한 시간
Figure 112014082845679-pat00074
즉, ie로 나타낸 식(
Figure 112014082845679-pat00075
)을 획득할 수 있다. 또한, 깊이 영상 촬영 장치(100)는 수학식 28의 적어도 두 개의 행을 선택하여,
Figure 112014082845679-pat00076
을 N개의 독출된 위상 이미지와, 독출 시간 구체적으로는, 하나의 위상 이미지를 획득하기 위한 소정의 노출 시간(
Figure 112014082845679-pat00077
)에 대한, 이전 스캔 라인들을 독출하는 데 필요한 시간
Figure 112014082845679-pat00078
즉, ie로 나타낸 식(
Figure 112014082845679-pat00079
)을 획득할 수 있다.
깊이 영상 촬영 장치(100)는 획득된 및 를 수학식 3에 대입하여, TOF로 인한 위상 지연을 획득할 수 있다.
예를 들어, 1행과 2행을 더하여 하나의 식으로 나타내고, 3행과 4행을 더하여 하나의 식으로 나타내면, 수학식 29와 같다.
<수학식 29>
Figure 112014082845679-pat00080
수학식 29로부터 및 를 획득하는 과정은 수학식 30과 같다.
<수학식 30>
Figure 112014082845679-pat00081
여기서,
Figure 112014082845679-pat00082
이다.
따라서,
Figure 112014082845679-pat00083
Figure 112014082845679-pat00084
수학식 30으로부터 획득한 TOF로 인한 위상 지연은 수학식 31과 같다.
<수학식 31>
Figure 112014082845679-pat00085
수학식 29 내지 수학식 31 외에도, 수학식 28에서 선택된 적어도 두 개의 행에 따라 위상 지연을 얻기 위한 산출식은 다양하게 표현될 수 있다.
상기 식(26) 이외에 연립방정식 (19)를 푸는 방법에 따라 최종 적용 식이 다양하게 유도될 수 있다.
즉, 상술한 실시예에 따른 깊이 정보 획득 방법은, 변환 행렬의 행렬식(determinant)이 0이 되는 경우에도 TOF로 인한 위상 지연을 획득할 수 있다. 상술한 실시예에 따른 깊이 정보 획득 방법은, 단일한 투사광으로부터 생성되는 위상 이미지를 획득하는 과정을 거치지 않고 독출된 위상 이미지로부터 TOF로 인한 위상 지연을 획득할 수 있다.
도 9b는 서로 상이한 위상을 갖는 광 변조 신호를 이용하여, 다른 실시 예에 따른 깊이 정보 획득 방법을 설명하기 위한 흐름도이다.
본 실시예에서는 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 광 변조 신호로부터 생성된 위상 이미지를 포함함에 따라, 생성된 깊이 영상이 왜곡되는 문제를 해결하기 위하여, 수학적 모델식을 이용한다.
단계 960에서, 깊이 영상 촬영 장치(100)는 광원으로부터 생성된, 진폭 및 주기가 일정하고 위상이 단일한 투사광을 피사체에 순차적으로 투사한다.
단계 970에서, 깊이 영상 촬영 장치(100)는 투사광이 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조한다.
광 변조 신호는 진폭 및 주기가 일정하며, 투사광과 동일한 주파수를 갖으며, 서로 상이한 위상을 갖는 N개의 광 변조 신호를 포함할 수 있다. 이하에서는, N은 4이고, N개의 서로 상이한 위상을 갖는 투사광은, 진폭 및 주기가 서로 동일하고, 위상은 각각 0도, 90도, 180도, 및 270도인 실시예를 중심으로 설명한다.
단계 980에서, 깊이 영상 촬영 장치(100)는 변조된 반사광을 롤링 셔터 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 광 변조 신호 각각에 대응하는 N개의 위상 이미지를 독출한다.
깊이 영상 촬영 장치(100)는 각각의 스캔 라인에 대해, 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여, 광 변조 신호 각각에 대응하는 N개의 위상 이미지를 독출할 수 있다.
독출된 위상 이미지는 이전 스캔 라인에 대한 독출 시간에 따라 x번째 광 변조 신호를 이용하여 생성된 위상 이미지의 일부 및 x+1번째 광 변조 신호를 이용하여 생성된 위상 이미지의 일부를 포함한다.
단계 990에서, 깊이 영상 촬영 장치(100)는 각각의 스캔 라인에 대해, N개의 광 변조 신호 중 x번째 광 변조 신호에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 광 변조 신호로부터 생성되는 위상 이미지 사이의 제1 관계식을 N개의 광 변조 신호 각각에 대해 획득한다.
제1 관계식은 예를 들어, 수학식 17과 같으며, 구체적인 유도 과정은 이하에서 도 10을 참조하여 상세히 설명한다.
단계 1000에서, 획득된 N개의 제1 관계식을 이용하여, 각각의 스캔 라인에 대한 깊이 정보를 획득한다.
일 실시예에 따른 깊이 영상 촬영 장치(100)는 독출된 위상 이미지로부터 단일한 광 변조 신호로부터 생성된 위상 이미지를 획득할 수 있다.
깊이 영상 촬영 장치(100)는 N개의 제1 관계식으로부터 독출된 위상 이미지와 단일한 광 변조 신호로부터 생성된 위상 이미지 사이의 변환 행렬을 획득할 수 있다.
예를 들어, 깊이 영상 촬영 장치(100)는 수학식 17로부터 수학식 19과 같은 행렬식을 획득할 수 있고, 수학식 19로부터 수학식 20과 같은 변환 행렬을 획득할 수 있다.
깊이 영상 촬영 장치(100)는 획득된 변환 행렬의 역행렬을 독출된 위상 이미지에 적용하여, 단일한 광 변조 신호로부터 생성되는 위상 이미지를 획득할 수 있다.
예를 들어, 깊이 영상 촬영 장치(100)는 수학식 20의 변환 행렬의 역행렬을 독출한 위상 이미지에 적용하여, 수학식 21과 같이 단일한 광 변조 신호로부터 생성되는 위상 이미지를 획득할 수 있다.
깊이 영상 촬영 장치(100)는 단일한 광 변조 신호로부터 생성되는 위상 이미지를 이용하여, TOF(time of flight)로 인한 위상 지연을 획득할 수 있다.
예를 들어, 깊이 영상 촬영 장치(100)는 수학식 21로부터 획득한 단일한 광 변조 신호로부터 생성되는 위상 이미지를 수학식 1에 대입하여, TOF로 인한 위상 지연을 획득할 수 있다.
상술한 실시예에 따른 깊이 정보 획득 방법은, 변환 행렬의 행렬식(determinant)이 0이 되는 경우, 역행렬을 산출할 수 없기 때문에, 단일한 광 변조 신호로부터 생성되는 위상 이미지를 획득할 수 없다.
후술하는 다른 실시예에 따른 깊이 정보 획득 방법은, 변환 행렬의 행렬식(determinant)이 0이 되는 경우에도 TOF로 인한 위상 지연을 획득할 수 있다.
독출된 위상 이미지는 수학식 2의 형태를 갖는다. 예를 들어, 독출된 위상 이미지는 수학식 32와 같다.
<수학식 32>
Figure 112014082845679-pat00086
Figure 112014082845679-pat00087
Figure 112014082845679-pat00088
Figure 112014082845679-pat00089
여기서, r은 상기 피사체의 표면 반사도를, A는 투사광과 광 변조 신호의 크기를 나타내는 계수를, B는 투사광과 광 변조 신호의 직류 성분을 나타내는 계수를,
Figure 112014082845679-pat00090
는 TOF(time of flight)로 인한 위상 지연을,
Figure 112014082845679-pat00091
은 0도의 위상을 갖는 광 변조 신호로부터 생성되는 위상 이미지를,
Figure 112014082845679-pat00092
은 90도의 위상을 갖는 광 변조 신호로부터 생성되는 위상 이미지를,
Figure 112014082845679-pat00093
은 180도의 위상을 갖는 광 변조 신호로부터 생성되는 위상 이미지를,
Figure 112014082845679-pat00094
은 270도의 위상을 갖는 광 변조 신호로부터 생성되는 위상 이미지를 나타낸다.
깊이 영상 촬영 장치(100)는 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 x+1번째 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식 획득할 수 있다.
예를 들어, 0도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지와 90도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지의 차에 관한 제2 관계식은 수학식 23과 같이 획득될 수 있다.
이와 마찬가지의 방법으로 90도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지와 180도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지의 차에 관한 제2 관계식은 수학식 24과 같이 획득될 수 있다.
이와 마찬가지의 방법으로 180도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지와 270도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지의 차에 관한 제2 관계식은 수학식 25과 같이 획득될 수 있다.
이와 마찬가지의 방법으로 270도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지와 0도의 위상을 갖는 투사광에 대응하는 독출된 위상 이미지의 차에 관한 제2 관계식은 수학식 26과 같이 획득될 수 있다.
깊이 영상 촬영 장치(100)는 N개의 제2 관계식 중 적어도 두 개를 선택하여, 수학식 3으로부터 위상 지연을 산출할 수 있다.
예를 들어, 수학식 23 내지 수학식 26을 행렬로 표현하면 수학식 27과 같다.
수학식 27에 수학식 32의
Figure 112014082845679-pat00095
,
Figure 112014082845679-pat00096
,
Figure 112014082845679-pat00097
및
Figure 112014082845679-pat00098
을 각각 대입하여 정리하면, 수학식 28과 같다.
깊이 영상 촬영 장치(100)는 수학식 28의 적어도 두 개의 행을 선택하여,
Figure 112014082845679-pat00099
을 N개의 독출된 위상 이미지와, 독출 시간 구체적으로는, 하나의 위상 이미지를 획득하기 위한 소정의 노출 시간(
Figure 112014082845679-pat00100
)에 대한, 이전 스캔 라인들을 독출하는 데 필요한 시간
Figure 112014082845679-pat00101
즉, ie로 나타낸 식(
Figure 112014082845679-pat00102
)을 획득할 수 있다. 또한, 깊이 영상 촬영 장치(100)는 수학식 28의 적어도 두 개의 행을 선택하여,
Figure 112014082845679-pat00103
을 N개의 독출된 위상 이미지와, 독출 시간 구체적으로는, 하나의 위상 이미지를 획득하기 위한 소정의 노출 시간(
Figure 112014082845679-pat00104
)에 대한, 이전 스캔 라인들을 독출하는 데 필요한 시간 즉, ie로 나타낸 식(
Figure 112014082845679-pat00105
)을 획득할 수 있다.
깊이 영상 촬영 장치(100)는 획득된
Figure 112014082845679-pat00106
및
Figure 112014082845679-pat00107
를 수학식 3에 대입하여, TOF로 인한 위상 지연을 획득할 수 있다.
예를 들어, 1행과 2행을 더하여 하나의 식으로 나타내고, 3행과 4행을 더하여 하나의 식으로 나타내면, 수학식 29와 같다.
수학식 29로부터
Figure 112014082845679-pat00108
및
Figure 112014082845679-pat00109
를 획득하는 과정은 수학식 30과 같다.
수학식 30으로부터 획득한 TOF로 인한 위상 지연은 수학식 31과 같다.
수학식 29 내지 수학식 31 외에도, 수학식 28에서 선택된 적어도 두 개의 행에 따라 위상 지연을 얻기 위한 산출식은 다양하게 표현될 수 있다.
상기 식(26) 이외에 연립방정식 (19)를 푸는 방법에 따라 최종 적용 식이 다양하게 유도될 수 있다.
도 10은 단일한 투사광으로부터 생성되는 위상이미지와 독출된 위상 이미지 사이의 관계를 설명하기 위한 도면이다.
도 10의 (a)는 단일한 투사광으로부터 생성되는 위상 이미지를 나타내고, 도 10의 (b)는 (i+1)번째 스캔 라인에 대해 독출된 위상 이미지를 나타낸다.
(i+1)번째 스캔 라인에 대해, x번째 투사광에 대응하는 독출된 위상 이미지는, 이전 스캔 라인(첫 번째 스캔라인 내지 i번째 스캔 라인)에 대한 독출 시간에 따라 x번째 투사광에 의해 생성된 위상 이미지의 일부 및 x+1번째 투사광에 의해 생성된 위상 이미지의 일부를 포함한다.
도 10을 참조하면, x번째 투사광에 대응하는 독출된 위상 이미지는,
Figure 112014082845679-pat00110
시간 동안에는 x번째 투사광으로부터 생성되는 위상 이미지를 독출하고,
Figure 112014082845679-pat00111
시간 동안에는 x+1번째 투사광으로부터 생성되는 위상 이미지를 독출하여 획득된 것이다.
따라서, (i+1)번째 스캔 라인에 대해 독출된 위상 이미지는, 수학식 17과 같이 N개의 투사광 각각에 대해, 이전 스캔 라인에 대한 독출 시간과 단일한 투사광으로부터 생성되는 위상 이미지와의 관계식으로 나타낼 수 있다.
도 11은 서로 다른 실시 예에 따라 획득한 변환 행렬에 대한 행렬식(determinant)의 값을 보여주는 예시도이다.
도 11(a)는, 변환 행렬을 이용하여 획득된 단일한 투사광으로부터 생성되는 위상 이미지를 이용하여, TOF로 인한 위상 지연을 획득하는 방법을 적용하는 경우, 변환 행렬의 행렬식의 그래프를 나타낸다.
예를 들어, 변환 행렬이 수학식 20과 같은 경우, ie가 0.5인 경우, 행렬식의 값이 0이 되어(1110), 역행렬이 존재하지 않게 된다.
도 11(b)는, N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 x+1번째 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식을 이용하여 TOF로 인한 위상 지연을 획득하는 방법을 적용하는 경우, N개의 제2 관계식 중 적어도 두 개를 선택하여 획득한 행렬식의 그래프를 나타낸다.
예를 들어, 수학식 29 및 30으로부터 획득한 행렬식은 수학식 33을 만족한다.
<수학식 33>
Figure 112014082845679-pat00112
즉, 행렬식의 값이 0이 되지 않으므로 깊이 영상 촬영 장치(100)는 언제나
Figure 112014082845679-pat00113
및
Figure 112014082845679-pat00114
를 산출할 수 있고,
Figure 112014082845679-pat00115
및
Figure 112014082845679-pat00116
를 수학식 3에 대입하여 TOF로 인한 위상 지연을 획득할 수 있다.
도 12는 일 실시 예에 따른 깊이 영상 촬영 장치를 설명하기 위한 블록도이다.
도 12에 도시된 바와 같이, 일 실시예에 따른 깊이 영상 촬영 장치(100)는, 광 투사부(1210), 광 변조부(1220), 촬상부(1230) 및 깊이 영상 처리부(1240)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 깊이 영상 촬영 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 깊이 영상 촬영 장치(100)는 구현될 수 있다.
광 투사부(1210)는 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 위상을 갖는 투사광을 피사체에 순차적으로 투사한다.
광 투사부(1210)는 소정의 파장을 갖는 광을 발생시키는 광원(101) 및 광원(101)을 구동시키기 위한 광원 구동부(102)를 포함할 수 있다.
N개의 서로 상이한 위상을 갖는 투사광은 불연속적으로 투사될 수 있다. N개의 서로 상이한 위상을 갖는 투사광은 하나 이상의 광원에서 발생될 수 있다.
광 투사부(1210)는 N개의 서로 상이한 위상을 갖는 투사광을 일정 시간 간격으로 순차적으로 투사할 수 있다.
N개의 서로 상이한 위상을 갖는 투사광 중 인접한 시간대에 투사되는 광의 위상차는 360도를 N개로 등분한 값일 수 있다.
예를 들어, N개의 서로 상이한 위상을 갖는 투사광은, 진폭 및 주기가 서로 동일하고, N은 4이고, 위상은 0도, 90도, 180도, 및 270도인 경우를 중심으로 설명한다.
제1 실시예에 따른 광 투사부(1210)는 광원으로부터 생성된 N개의 서로 상이한 투사광을 투사광 각각에 대한 유휴 시간(idle time)을 포함하는 시간 동안 피사체에 순차적으로 투사할 수 있다. 투사광을 유휴 시간(idle time)을 포함하는 시간 동안 더 투사함으로써, 각각의 스캔 라인에 대해 독출된 위상 이미지는 단일한 투사광으로부터 생성된 위상 이미지만을 포함하게 된다. 따라서, 각각의 스캔 라인에 대해 독출된 위상 이미지가 서로 다른 위상을 갖는 투사광으로부터 생성된 위상 이미지를 포함하게 되는 문제가 근본적으로 해결될 수 있다.
광 변조부(1220)는 N개의 서로 상이한 투사광이 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조한다.
광 변조부(1220)는 피사체(200)로부터 반사된 광을 광 변조하기 위한 광 변조기(103) 및 광 변조기(103)를 구동시키기 위한 광 변조기 구동부(104)를 포함할 수 있다.
촬상부(1230)는 변조된 반사광을 롤링 셔터 방식을 이용하여 촬영하여 N개의 투사광 각각에 대응하는 N개의 위상 이미지를 획득한다.
촬상부(1230)는 각각의 스캔 라인에 대해, 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여, 투사광 각각에 대응하는 N개의 위상 이미지를 독출할 수 있다.
제2 및 제3 실시예에 따른 독출된 위상 이미지는 이전 스캔 라인에 대한 독출 시간에 따라 x번째 투사광에 의해 생성된 위상 이미지의 일부 및 x+1번째 투사광에 의해 생성된 위상 이미지의 일부를 포함할 수 있다.
깊이 영상 처리부(1240)는 N개의 위상 이미지를 이용하여 깊이 정보를 획득한다.
제2 및 제3 실시예에 따른 깊이 영상 처리부(1240)는, 각각의 스캔 라인에 대해, N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간 및 단일한 투사광으로부터 생성되는 위상 이미지 사이의 제1 관계식을 N개의 투사광 각각에 대해 획득할 수 있다. 깊이 영상 처리부(1240)는 획득된 N개의 제1 관계식을 이용하여, 각각의 스캔 라인에 대한 깊이 정보를 획득할 수 있다. 예를 들어, 제1 관계식은 수학식 17 및 수학식 18에 의해 정의될 수 있다.
제2 실시예에 따른 깊이 영상 처리부(1240)는, N개의 제1 관계식으로부터 획득된, 독출 시간에 관한 변환 행렬을 획득할 수 있다. 예를 들어, 변환 행렬은 수학식 19 및 20과 같이 획득될 수 있다. 깊이 영상 처리부(1240)는 획득된 변환 행렬의 역행렬을 독출된 위상 이미지에 적용하여, 단일한 투사광으로부터 생성되는 위상 이미지를 획득할 수 있다. 예를 들어, 깊이 영상 처리부(1240)는 수학식 20의 변환 행렬의 역행렬을 독출한 위상 이미지에 적용하여, 수학식 21과 같이 단일한 투사광으로부터 생성되는 위상 이미지를 획득할 수 있다. 깊이 영상 처리부(1240)는 단일한 투사광으로부터 생성되는 위상 이미지를 이용하여, TOF로 인한 위상 지연을 획득할 수 있다. 깊이 영상 처리부(1240)는 TOF로 인한 위상 지연을 수학식 1을 이용하여 획득할 수 있다.
제3 실시예에 따른 깊이 영상 처리부(1240)는, 인접한 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식을 이용하여 TOF로 인한 위상 지연을 획득할 수 있다. 예를 들어, 독출된 위상 이미지는 수학식 2의 형태를 갖는다. 깊이 영상 처리부(1240)는, N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 x+1번째 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식 획득할 수 있다. 예를 들어, N개의 제2 관계식은 수학식 23 내지 수학식 26으로 표현될 수 있다. 깊이 영상 처리부(1240)는, N개의 제2 관계식 중 적어도 두 개를 선택하여, 수학식 3으로부터 위상 지연을 산출할 수 있다. 예를 들어, 깊이 영상 처리부(1240)는 수학식 27에 수학식 22의
Figure 112014082845679-pat00117
,
Figure 112014082845679-pat00118
,
Figure 112014082845679-pat00119
및
Figure 112014082845679-pat00120
을 각각 대입하여 정리하여, 수학식 28을 획득하고, 수학식 28의 적어도 두 개의 행을 선택하여 획득된
Figure 112014082845679-pat00121
및
Figure 112014082845679-pat00122
를 수학식 3에 대입하여, TOF로 인한 위상 지연을 획득할 수 있다.
또한, 깊이 영상 처리부(1240)는 획득된 위상 지연을 이용하여, 피사체로부터 피사체를 촬영하는 깊이 영상 촬영 장치까지의 거리를 획득할 수 있다. 예를 들어, 깊이 영상 처리부(1240)는 수학식 15를 이용하여, 피사체로부터 피사체를 촬영하는 깊이 영상 촬영 장치(100)까지의 거리를 획득할 수 있다.
또한, 깊이 영상 처리부(1240)는 깊이 정보를 이용하여, 깊이 영상(depth image)을 생성할 수 있다. 깊이 영상 촬영 장치(100)는 생성된 깊이 영상을 디스플레이할 수 있다.
도 13 및 도 14는 개시된 실시예들에 따른 깊이 정보 획득 방법의 효과를 검증하기 위하여 행한 시뮬레이션 결과를 도시한 것이다. 도 13 및 도 14는 상하 방향은 카메라로부터의 거리가 같고 좌우 방향으로 좌측은 가깝고 우측은 거리가 먼 기울어진 평판(이하, 기울어진 벽(slanted wall))을 이용한 시뮬레이션을 수행한 결과를 나타낸다.
도 13은 기울어진 벽(slanted wall)에 대한 서로 다른 위상을 갖는 투사광에 의해 생성된 위상 이미지를 나타내는 예시도이다.
도 13의 x축은 거리 참값 (이미지 좌우 방향)을, y축은 이미지 상하 방향 열 번호(row number)를, z축은 해당 열에서의 위상 이미지를 나타낸다.
도 13 (a)는,
Figure 112014082845679-pat00123
의 위상 이미지를 나타낸다. 즉, 상하 방향(y축) 으로 위상 이미지가 단일하지 않고 변화하고 있다.
도 13 (b)는,
Figure 112014082845679-pat00124
의 위상 이미지를 나타낸다. 즉, 상하 방향(y축) 으로 위상 이미지가 단일하지 않고 변화하고 있다.
도 13 (c)는,
Figure 112014082845679-pat00125
의 위상 이미지를 나타낸다. 즉, 상하 방향(y축) 으로 위상 이미지가 단일하지 않고 변화하고 있다.
도 13 (d)는,
Figure 112014082845679-pat00126
의 위상 이미지를 나타낸다. 즉, 상하 방향(y축) 으로 위상 이미지가 단일하지 않고 변화하고 있다.
도 14는 개시된 실시예를 적용하여 롤링 셔터 방식으로 깊이 영상을 촬영한 효과를 보여주는 예시도이다.
도 14 (a)는 개시된 실시예에 따른 방법을 적용하지 않고 획득한 위상 이미지들로부터 획득한 깊이(depth)를 나타낸다. 이다. 열 번호에 따른 상하 방향으로 깊이가 단일하지 않고 변화하고 있다. 즉, 실제의 깊이와는 다른 결과를 나타내고 있다.
도 14(b)는 개시된 실시예에 따른 방법에 의해 획득된 위상 이미지들로부터 획득한 깊이(depth)를 나타낸다. 실제의 깊이와 같은 결과를 나타낸다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
100: 깊이 영상 촬영 장치

Claims (20)

  1. 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 투사광을 상기 투사광 각각에 대한 노출 시간 및 상기 노출 시간에 연속되는 유휴 시간(idle time)을 포함하는 시구간 동안 피사체에 순차적으로 투사하는 단계;
    상기 투사광이 상기 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하는 단계;
    상기 노출 시간 동안 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인으로 상기 변조된 반사광을 촬영함으로써, 상기 투사광 각각에 대응하는 N개의 위상 이미지를 획득하는 단계; 및
    상기 N개의 위상 이미지를 이용하여 깊이 정보를 획득하는 단계를 포함하고,
    상기 유휴 시간은 상기 롤링 셔터 방식을 이용한 전체 스캔 라인(scan line)에 대한 독출 시간(readout time)을 포함하는, 깊이 정보 획득 방법.
  2. 삭제
  3. 광원으로부터 생성된 투사광을 피사체에 투사하는 단계;
    상기 투사광이 상기 피사체로부터 반사된 반사광을 서로 다른 위상을 갖는 N개의 광 변조 신호를 순차적으로 이용하여, 상기 광 변조 신호 각각에 대한 노출 시간 및 상기 노출 시간에 연속되는 유휴 시간(idle time)을 포함하는 시구간 동안 변조하는 단계;
    상기 노출 시간 동안 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인으로 상기 변조된 반사광을 촬영함으로써, 상기 광 변조 신호 각각에 대응하는 N개의 위상 이미지를 획득하는 단계; 및
    상기 N개의 위상 이미지를 이용하여 깊이 정보를 획득하는 단계를 포함하고,
    상기 유휴 시간은 상기 롤링 셔터 방식을 이용한 전체 스캔 라인(scan line)에 대한 독출 시간(readout time)을 포함하는, 깊이 정보 획득 방법.
  4. 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 위상을 갖는 투사광을 피사체에 순차적으로 투사하는 단계;
    상기 투사광이 상기 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하는 단계;
    상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 상기 투사광 각각에 대응하는 N개의 위상 이미지를 독출(readout)하는 단계;
    각각의 스캔 라인에 대해, 상기 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 투사광으로부터 생성되는 위상 이미지 사이의 제1 관계식을 상기 N개의 투사광 각각에 대해 획득하는 단계; 및
    상기 x번째 투사광으로부터 생성된 위상 이미지의 일부 및 x+1번째 투사광으로부터 생성된 위상 이미지의 일부에 의하여 야기되는 왜곡(distortion)을 감소시키기 위하여, 상기 획득된 N개의 제1 관계식을 이용하여, 상기 각각의 스캔 라인에 대한 깊이 정보를 획득하는 단계를 포함하고,
    상기 독출된 위상 이미지는 상기 이전 스캔 라인에 대한 독출 시간에 따라 상기 x번째 투사광에 의해 생성된 위상 이미지의 일부 및 상기 x+1번째 투사광에 의해 생성된 위상 이미지의 일부를 포함하는, 깊이 정보 획득 방법.
  5. 제4항에 있어서,
    상기 깊이 정보를 획득하는 단계는,
    상기 N개의 제1 관계식으로부터 상기 독출된 위상 이미지와 상기 단일한 투사광으로부터 생성된 위상 이미지 사이의 변환 행렬을 획득하는 단계;
    상기 획득된 변환 행렬의 역행렬을 상기 독출된 위상 이미지에 적용하여, 상기 단일한 투사광으로부터 생성되는 위상 이미지를 획득하는 단계; 및
    상기 단일한 투사광으로부터 생성되는 위상 이미지를 이용하여, TOF(time of flight)로 인한 위상 지연을 획득하는 단계를 포함하는, 깊이 정보 획득 방법.
  6. 제5항에 있어서,
    상기 N개의 서로 상이한 위상을 갖는 투사광은, 진폭 및 주기가 서로 동일하고,
    상기 N은 4이고,
    상기 위상은 0도, 90도, 180도, 및 270도인, 깊이 정보 획득 방법.
  7. 제6항에 있어서,
    상기 TOF로 인한 위상 지연을 획득하는 단계는, 수학식 1
    <수학식 1>
    Figure 112014082845679-pat00127

    에 의해 획득하고,
    상기 수학식 1에서, 상기
    Figure 112014082845679-pat00128
    는 TOF로 인한 위상 지연을, 상기
    Figure 112014082845679-pat00129
    은 상기 투사광 중 0도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
    Figure 112014082845679-pat00130
    은 상기 투사광 중 90도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
    Figure 112014082845679-pat00131
    은 상기 투사광 중 180도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를, 상기
    Figure 112014082845679-pat00132
    은 상기 투사광 중 270도의 위상을 갖는 투사광으로부터 생성되는 위상 이미지를 나타내는, 깊이 정보 획득 방법.
  8. 제4항에 있어서,
    상기 독출된 위상 이미지는 수학식 2
    <수학식 2>
    Figure 112014082845679-pat00133

    의 형태를 갖으며,
    상기 수학식 2에서, 상기
    Figure 112014082845679-pat00134
    는 투사광의 위상을, 상기 r은 상기 피사체의 표면 반사도를, 상기 A는 상기 투사광과 상기 광 변조 신호의 크기를 나타내는 계수를, 상기 B는 상기 투사광과 상기 광 변조 신호의 직류 성분을 나타내는 계수를, 상기
    Figure 112014082845679-pat00135
    는 TOF(time of flight)로 인한 위상 지연을 나타내는, 깊이 정보 획득 방법.
  9. 제8항에 있어서,
    상기 깊이 정보를 획득하는 단계는,
    상기 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 x+1번째 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식 획득하는 단계; 및
    상기 N개의 제2 관계식 중 적어도 두 개를 선택하여, 수학식 3
    <수학식 3>
    Figure 112014082845679-pat00136

    으로부터 상기 위상 지연을 산출하는 단계를 포함하고,
    상기 수학식 3에서, 상기
    Figure 112014082845679-pat00137
    는 TOF로 인한 위상 지연을, 상기
    Figure 112014082845679-pat00138
    는 상기 N개의 제2 관계식을 이용하여
    Figure 112014082845679-pat00139
    을 상기 N개의 독출된 위상 이미지와 상기 독출 시간으로 나타낸 식을, 상기
    Figure 112014082845679-pat00140
    는 상기 N개의 제2 관계식을 이용하여
    Figure 112014082845679-pat00141
    을 상기 N개의 독출된 위상 이미지와 상기 독출 시간으로 나타낸 식을 나타내는, 깊이 정보 획득 방법.
  10. 제9항에 있어서,
    상기 N개의 서로 상이한 위상을 갖는 투사광은, 진폭 및 주기가 서로 동일하고,
    상기 N은 4이고,
    상기 위상은 0도, 90도, 180도, 및 270도인, 깊이 정보 획득 방법.
  11. 제4항에 있어서,
    상기 N개의 서로 상이한 투사광의 주기와 상기 광 변조 신호의 주기는 동일한, 깊이 정보 획득 방법.
  12. 제4항에 있어서,
    상기 위상 이미지를 독출하는 단계는,
    상기 각각의 스캔 라인에 대해, 상기 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여, 상기 투사광 각각에 대응하는 상기 N개의 위상 이미지를 독출하는, 깊이 정보 획득 방법.
  13. 제4항에 있어서,
    상기 깊이 정보를 획득하는 단계는,
    상기 각각의 스캔 라인에 대해, 상기 N개의 독출된 위상 이미지를 이용하여 상기 반사광의 TOF(time of flight)로 인한 위상 지연을 획득하는 단계; 및
    상기 위상 지연을 이용하여, 상기 피사체로부터 상기 피사체를 촬영하는 깊이 영상 촬영 장치까지의 거리를 획득하는 단계를 포함하는, 깊이 정보 획득 방법.
  14. 제5항에 있어서,
    상기 깊이 정보를 이용하여, 깊이 영상(depth image)을 생성하는 단계를 더 포함하는, 깊이 정보 획득 방법.
  15. 광원으로부터 생성된 투사광을 피사체에 투사하는 단계;
    상기 투사광이 상기 피사체로부터 반사된 반사광을 서로 다른 위상을 갖는 N개의 광 변조 신호를 순차적으로 이용하여 변조하는 단계;
    상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 상기 광 변조 신호 각각에 대응하는 N개의 위상 이미지를 독출(readout)하는 단계;
    각각의 스캔 라인에 대해, 상기 N개의 광 변조 신호 중 x번째 광 변조 신호에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 광 변조 신호로부터 생성되는 위상 이미지 사이의 제1 관계식을 상기 N개의 광 변조 신호 각각에 대해 획득하는 단계; 및
    상기 x번째 광 변조 신호로부터 생성된 위상 이미지의 일부 및 x+1번째 광 변조 신호로부터 생성된 위상 이미지의 일부에 의하여 야기되는 왜곡(distortion)을 감소시키기 위하여, 상기 획득된 N개의 제1 관계식을 이용하여, 상기 각각의 스캔 라인에 대한 깊이 정보를 획득하는 단계를 포함하고,
    상기 독출된 위상 이미지는 상기 이전 스캔 라인에 대한 독출 시간에 따라 상기 x번째 광 변조 신호에 의해 생성된 위상 이미지의 일부 및 상기 x+1번째 광 변조 신호에 의해 생성된 위상 이미지의 일부를 포함하는, 깊이 정보 획득 방법.
  16. 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 투사광을 상기 투사광 각각에 대한 노출 시간 및 상기 노출 시간에 연속되는 유휴 시간(idle time)을 포함하는 시구간 동안 피사체에 순차적으로 투사하는 광 투사부;
    상기 투사광이 상기 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하는 광 변조부;
    상기 노출 시간 동안 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인으로 상기 변조된 반사광을 촬영함으로써, 상기 투사광 각각에 대응하는 N개의 위상 이미지를 획득하는 촬상부; 및
    상기 N개의 위상 이미지를 이용하여 깊이 정보를 획득하는 깊이 영상 처리부를 포함하고,
    상기 유휴 시간은 상기 롤링 셔터 방식을 이용한 전체 스캔 라인(scan line)에 대한 독출 시간(readout time)을 포함하는, 깊이 영상 촬영 장치.
  17. 광원으로부터 생성된 N개(상기 N은 3 이상의 자연수)의 서로 상이한 위상을 갖는 투사광을 피사체에 순차적으로 투사하는 광 투사부;
    상기 투사광이 상기 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조하는 광 변조부;
    상기 변조된 반사광을 롤링 셔터(rolling shutter) 방식을 이용하여 각각의 스캔 라인에 대해 촬영하여, 상기 투사광 각각에 대응하는 N개의 위상 이미지를 독출(readout)하는 촬상부; 및
    각각의 스캔 라인에 대해, 상기 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 이전 스캔 라인에 대한 독출 시간(readout time) 및 단일한 투사광으로부터 생성되는 위상 이미지 사이의 제1 관계식을 상기 N개의 투사광 각각에 대해 획득하고, 상기 x번째 투사광으로부터 생성된 위상 이미지의 일부 및 x+1번째 투사광으로부터 생성된 위상 이미지의 일부에 의하여 야기되는 왜곡(distortion)을 감소시키기 위하여, 상기 획득된 N개의 제1 관계식을 이용하여, 상기 각각의 스캔 라인에 대한 깊이 정보를 획득하는 깊이 영상 처리부를 포함하고,
    상기 독출된 위상 이미지는 상기 이전 스캔 라인에 대한 독출 시간에 따라 상기 x번째 투사광에 의해 생성된 위상 이미지의 일부 및 x+1번째 투사광에 의해 생성된 위상 이미지의 일부를 포함하는, 깊이 영상 촬영 장치.
  18. 제17항에 있어서,
    상기 깊이 영상 처리부는,
    상기 N개의 제1 관계식으로부터, 상기 독출된 위상 이미지와 상기 단일한 투사광으로부터 생성된 위상 이미지 사이의 변환 행렬을 획득하고, 상기 획득된 변환 행렬의 역행렬을 상기 독출된 위상 이미지에 적용하여, 상기 단일한 투사광으로부터 생성되는 위상 이미지를 획득하고, 상기 단일한 투사광으로부터 생성되는 위상 이미지를 이용하여, TOF(time of flight)로 인한 위상 지연을 획득하는, 깊이 영상 촬영 장치.
  19. 제17항에 있어서,
    상기 독출된 위상 이미지는 수학식 2
    <수학식 2>
    Figure 112014082845679-pat00142

    의 형태를 갖으며,
    상기 수학식 2에서, 상기
    Figure 112014082845679-pat00143
    는 투사광의 위상을, 상기 r은 상기 피사체의 표면 반사도를, 상기 A는 상기 투사광과 상기 광 변조 신호의 크기를 나타내는 계수를, 상기 B는 상기 투사광과 상기 광 변조 신호의 직류 성분을 나타내는 계수를, 상기
    Figure 112014082845679-pat00144
    는 TOF(time of flight)로 인한 위상 지연을 나타내는, 깊이 영상 촬영 장치.
  20. 제19항에 있어서,
    상기 깊이 영상 처리부는,
    상기 N개의 투사광 중 x번째 투사광에 대응하는 독출된 위상 이미지와 x+1번째 투사광에 대응하는 독출된 위상 이미지의 차에 관한 N개의 제2 관계식 획득하고, 상기 N개의 제2 관계식 중 적어도 두 개를 선택하여, 수학식 3
    <수학식 3>
    Figure 112020054309726-pat00145

    으로부터 상기 위상 지연을 산출하며,
    상기 수학식 3에서, 상기
    Figure 112020054309726-pat00146
    는 TOF로 인한 위상 지연을, 상기
    Figure 112020054309726-pat00147
    는 상기 N개의 제2 관계식을 이용하여
    Figure 112020054309726-pat00148
    을 상기 N개의 독출된 위상 이미지와 상기 독출 시간으로 나타낸 식을, 상기
    Figure 112020054309726-pat00149
    는 상기 N개의 제2 관계식을 이용하여
    Figure 112020054309726-pat00168
    을 상기 N개의 독출된 위상 이미지와 상기 독출 시간으로 나타낸 식을 나타내는, 깊이 영상 촬영 장치.



KR1020140114239A 2014-08-29 2014-08-29 깊이 영상 촬영 장치 및 깊이 정보 획득 방법 KR102194237B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140114239A KR102194237B1 (ko) 2014-08-29 2014-08-29 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US14/622,283 US10205933B2 (en) 2014-08-29 2015-02-13 Depth image acquisition apparatus and method of acquiring depth information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140114239A KR102194237B1 (ko) 2014-08-29 2014-08-29 깊이 영상 촬영 장치 및 깊이 정보 획득 방법

Publications (2)

Publication Number Publication Date
KR20160026189A KR20160026189A (ko) 2016-03-09
KR102194237B1 true KR102194237B1 (ko) 2020-12-22

Family

ID=55404092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140114239A KR102194237B1 (ko) 2014-08-29 2014-08-29 깊이 영상 촬영 장치 및 깊이 정보 획득 방법

Country Status (2)

Country Link
US (1) US10205933B2 (ko)
KR (1) KR102194237B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102372088B1 (ko) * 2015-10-29 2022-03-08 삼성전자주식회사 영상 획득 장치 및 영상 획득 방법
KR102610830B1 (ko) 2015-12-24 2023-12-06 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
KR20180021509A (ko) 2016-08-22 2018-03-05 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
US10557925B2 (en) 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
KR102561099B1 (ko) * 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
KR102562361B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
KR102613608B1 (ko) * 2021-12-14 2023-12-15 한국과학기술원 고속 이미징을 위한 마이크로 어레이 렌즈 카메라

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162197A1 (en) * 2010-12-23 2012-06-28 Samsung Electronics Co., Ltd. 3-dimensional image acquisition apparatus and method of extracting depth information in the 3d image acquisition apparatus
US20130101176A1 (en) * 2011-10-25 2013-04-25 Samsung Electronic Co.,Ltd. 3d image acquisition apparatus and method of calculating depth information in the 3d image acquisition apparatus

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6057909A (en) 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
WO1999040478A1 (en) 1998-02-08 1999-08-12 3Dv Systems Ltd. Large aperture optical image shutter
US6856355B1 (en) 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
US6794628B2 (en) 2000-01-03 2004-09-21 3Dv Systems, Ltd. Solid state optical shutter
US7095487B2 (en) 2003-10-09 2006-08-22 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
KR20070039641A (ko) * 2005-10-10 2007-04-13 주식회사 팬택 하나의 카메라를 이용하여 3차원 이미지를 생성하는 방법및 그 장치
KR100730406B1 (ko) 2005-11-16 2007-06-19 광운대학교 산학협력단 중간 요소 영상을 이용한 입체 영상 표시 장치
KR101450670B1 (ko) 2007-06-11 2014-10-15 삼성전자 주식회사 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
US8619354B2 (en) 2008-12-24 2013-12-31 Samsung Electronics Co., Ltd. High speed optical shutter, method of operating the same and apparatus including the same
KR101520029B1 (ko) 2008-12-31 2015-05-15 삼성전자주식회사 고정세화 패턴을 갖는 광 변조기
KR101547327B1 (ko) 2009-01-15 2015-09-07 삼성전자주식회사 광 이미지 변조기와 이를 포함하는 광학장치와 광 이미지 변조기의 제조 및 구동방법
KR101603778B1 (ko) 2009-01-19 2016-03-25 삼성전자주식회사 광 이미지 셔터
KR101623960B1 (ko) 2009-06-04 2016-05-25 삼성전자주식회사 광전자 셔터, 이의 동작 방법 및 광전자 셔터를 채용한 광학 장치
KR101638974B1 (ko) 2009-06-17 2016-07-13 삼성전자주식회사 광 변조기와 그 제조 및 동작방법과 광 변조기를 포함하는 광학장치
KR101706354B1 (ko) 2009-06-24 2017-02-13 삼성전자주식회사 고속 광 변조기 및 이를 이용한 광 변조방법
KR101675111B1 (ko) 2010-01-08 2016-11-11 삼성전자주식회사 광 이미지 셔터 및 그 제조 방법
KR101675112B1 (ko) 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101638973B1 (ko) 2010-01-22 2016-07-12 삼성전자주식회사 광변조기 및 그 제조 방법
KR101340797B1 (ko) * 2010-09-01 2013-12-11 주식회사 팬택 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
KR101753312B1 (ko) 2010-09-17 2017-07-03 삼성전자주식회사 뎁스 영상 생성 장치 및 방법
KR101598547B1 (ko) 2010-12-03 2016-03-02 삼성전자주식회사 광 이미지 변조기 및 그 제조 방법
KR20120075182A (ko) 2010-12-28 2012-07-06 삼성전자주식회사 다중 패브리-페로 공진 모드를 이용한 광변조기 및 상기 광변조기를 포함하는 3차원 영상 획득 장치
KR101669219B1 (ko) 2010-12-30 2016-10-26 삼성전자주식회사 광변조기 및 이를 채용한 광학장치
KR101723642B1 (ko) * 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
JP2012182657A (ja) 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
KR101799521B1 (ko) 2011-05-24 2017-11-20 삼성전자 주식회사 광결정형 광변조기 및 이를 구비하는 3차원 영상 획득 장치
US8823813B2 (en) 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
KR101955334B1 (ko) 2012-02-07 2019-03-07 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR20130134103A (ko) * 2012-05-30 2013-12-10 삼성전자주식회사 단말기의 이미지 제공 장치 및 방법
KR102040152B1 (ko) 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162197A1 (en) * 2010-12-23 2012-06-28 Samsung Electronics Co., Ltd. 3-dimensional image acquisition apparatus and method of extracting depth information in the 3d image acquisition apparatus
US20130101176A1 (en) * 2011-10-25 2013-04-25 Samsung Electronic Co.,Ltd. 3d image acquisition apparatus and method of calculating depth information in the 3d image acquisition apparatus

Also Published As

Publication number Publication date
KR20160026189A (ko) 2016-03-09
US20160065942A1 (en) 2016-03-03
US10205933B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
KR102040152B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
JP5739174B2 (ja) 距離情報抽出方法及び該方法を採用した光学装置
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
KR101854188B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR101613133B1 (ko) 3차원 영상 처리 장치 및 그 방법
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
KR101722641B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
EP3163316B1 (en) Apparatus and method for obtaining a depth image
JP5448617B2 (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
KR101955334B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR20120030196A (ko) 뎁스 영상 생성 장치 및 방법
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
US9746547B2 (en) Method and apparatus for generating depth image
JP6025081B2 (ja) 距離画像センサ
KR102610830B1 (ko) 거리 정보를 획득하는 방법 및 디바이스
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
KR20150133086A (ko) 깊이 영상 획득 방법 및 그 영상 획득 장치
KR102061087B1 (ko) 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램
WO2021166523A1 (ja) 距離測定装置及び距離測定方法
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法
KR20150090679A (ko) 깊이 정보 추출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant