KR102372087B1 - 깊이 영상 촬영장치 및 방법 - Google Patents

깊이 영상 촬영장치 및 방법 Download PDF

Info

Publication number
KR102372087B1
KR102372087B1 KR1020150150476A KR20150150476A KR102372087B1 KR 102372087 B1 KR102372087 B1 KR 102372087B1 KR 1020150150476 A KR1020150150476 A KR 1020150150476A KR 20150150476 A KR20150150476 A KR 20150150476A KR 102372087 B1 KR102372087 B1 KR 102372087B1
Authority
KR
South Korea
Prior art keywords
optical shutter
subject
light source
light
depth information
Prior art date
Application number
KR1020150150476A
Other languages
English (en)
Other versions
KR20170049274A (ko
Inventor
전명제
박용화
유장우
조용철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150150476A priority Critical patent/KR102372087B1/ko
Priority to US15/196,710 priority patent/US10264240B2/en
Priority to EP16194853.4A priority patent/EP3163317B1/en
Priority to CN201610972498.7A priority patent/CN107018295B/zh
Publication of KR20170049274A publication Critical patent/KR20170049274A/ko
Application granted granted Critical
Publication of KR102372087B1 publication Critical patent/KR102372087B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/33—Acousto-optical deflection devices
    • G02F1/335—Acousto-optical deflection devices having an optical waveguide structure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/749—Circuitry for compensating brightness variation in the scene by influencing the pick-up tube voltages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Abstract

깊이 영상 촬영장치 및 방법이 개시된다. 개시된 실시예들에 따르면, 광 셔터의 온도 변화에 따라 광 셔터 및 광원에 인가하는 구동전압을 적절히 제어함으로써 깊이 영상 촬영장치의 동작을 최적화 시킨다. 또한, 광원과 피사체 사이의 거리에 따라 광원의 광 출력량을 적절히 제어한다.

Description

깊이 영상 촬영장치 및 방법{METHOD AND APPARATUS FOR GENERATING DEPTH IMAGE}
개시된 실시 예들은 깊이 영상을 촬영하는 장치 및 깊이 영상 촬영방법에 관한 것이다.
피사체(object)와의 거리 정보를 획득할 수 있는 3D 카메라, 모션 캡처 센서(motion sensor), 레이저 레이더(Laser Radar; LADAR) 등에 관한 연구가 최근 증가하는 추세이다. 특히, 깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 다양한 3차원 영상 획득 장치가 연구되고 있다.
피사체의 표면들과 3차원 영상 획득 장치 사이의 거리에 관한 깊이 정보는, 두 대의 카메라를 이용한 양안 입체시(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 그러나 이러한 방법은 피사체의 거리가 멀어질수록 깊이 정보에 대한 정확도가 급격히 저하되고 피사체의 표면 상태에 의존적이어서 정밀한 깊이 정보를 얻기 어렵다.
이러한 문제를 개선하기 위하여 광시간비행법(Time-of-Flight; TOF)이 도입되었다. TOF 기술은 조명광을 피사체에 조사한 후, 피사체로부터 반사되는 광이 수광부에서 수광되기까지의 광 비행시간을 측정하는 방법이다. TOF 기술에 따르면, 발광 다이오드(LED) 또는 레이저 다이오드(LD)를 포함하는 조명 광학계를 이용하여 특정 파장의 빛(예컨대, 850nm의 근적외선)을 피사체에 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 수광부에서 수광한 후, 기지의 이득 파형을 갖는 광 셔터로 상기 수광된 빛을 변조하는 등 깊이 정보를 추출하기 위한 일련의 처리 과정을 거치게 된다. 이러한 일련의 광 처리 과정에 따라 다양한 TOF 기술이 개발되고 있다.
광 셔터를 이용한 TOF 기술에서 광 셔터 및 광원의 구동을 최적으로 제어하는 방법 및 장치를 제공한다.
일 측면에 있어서,
피사체에 광을 조사하는 광원;
상기 피사체에서 반사된 반사광이 진행하는 경로에 마련되어 상기 반사광의 투과율을 변화시킴으로써 상기 반사광의 파형을 변조하는 광 셔터(optical shutter);
상기 광원 및 상기 광 셔터에 구동 전압들을 인가하는 구동부;
상기 광 셔터의 온도를 측정하는 온도 측정부;
상기 온도 측정부에서 측정된 온도에 기초하여 상기 구동부의 구동전압들을 제어하는 제어부; 및
상기 광 셔터를 통과한 상기 반사광을 촬영하여 상기 광원으로부터 상기 피사체에 조사되는 광과 상기 반사광 사이의 위상차이를 추출하고, 상기 위상차이에 근거하여 상기 피사체의 깊이 정보를 획득하는 깊이 정보 획득부;를 포함하는 깊이 영상 촬영장치가 제공된다.
상기 구동부는 상기 제어부에 의해 상기 광 셔터에 인가하는 구동 전압을 변화시킴으로써 상기 광 셔터의 투과율을 변화시킬 수 있다.
상기 구동부는 상기 광 셔터에 인가되는 구동 전압이 바이어스 전압을 중심으로 진동하도록 할 수 있다.
상기 제어부는, 상기 온도 측정부에서 측정된 상기 광 셔터의 온도에 기초하여 상기 바이어스 전압을 제어할 수 있다.
상기 제어부는, 상기 온도 측정부에서 측정된 상기 광 셔터의 온도에 기초하여 상기 광 셔터에 인가되는 구동 전압의 진폭 크기를 제어할 수 있다.
상기 구동부는 상기 광원에 인가하는 구동 전압을 변화시킴으로써 상기 피사체에 조사되는 광의 파장 및 세기 중 적어도 하나를 변화시킬 수 있다.
상기 제어부는 상기 깊이 정보 획득부에서 획득된 상기 피사체의 깊이 정보에 따라 상기 광원에 인가되는 구동 전압의 크기가 달라지도록 상기 구동부를 제어할 수 있다.
상기 제어부에는 상기 구동부를 제어하기 위한 제어변수들을 호출하는 룩업 테이블(Lookup table)이 내장될 수 있다.
상기 룩업 테이블에는 상기 광 셔터의 온도 및 상기 피사체와 상기 광원 사이의 거리에 기초한 복수의 샘플링 포인트(sampling point)에 의해 결정되는 상기 제어변수들이 저장될 수 있다.
상기 제어변수들은 상기 광 셔터의 구동 전압에 대한 바이어스 전압을 포함할 수 있다.
상기 구동부는 상기 광 셔터에 인가하는 전압의 크기가 바이어스 전압을 중심으로 진동하도록 할 수 있다.
상기 제어변수들은 상기 광 셔터에 인가되는 전압의 진동 폭을 포함할 수 있다.
상기 제어변수들은 상기 광원에 인가되는 전압의 크기를 포함할 수 있다.
상기 제어변수들은 상기 광 셔터의 동작 특성을 고려하여 상기 깊이 정보 획득부에서 얻어진 상기 피사체의 깊이 정보를 보정하기 위한 보정값을 포함하고,
상기 깊이 정보 획득부는, 상기 제어부로부터 전송받은 상기 보정값을 이용하여 상기 피사체의 깊이 정보를 보정할 수 있다.
상기 깊이 영상 촬영장치는, 상기 광 셔터 및 상기 광원의 누적 작동시간을 측정하는 작동시간 측정부;를 더 포함하고,
상기 제어변수들은 상기 누적 작동시간에 대응하여 변화되도록 설정될 수 있다.
상기 광원은 복수개의 광을 소정의 유휴 시간(idle time) 두고 상기 피사체에 순차적으로 조사하고,
상기 깊이 정보 획득부는, 상기 복수개의 광이 상기 피사체에 반사되어 상기 광 셔터를 통과하면서 변조된 광들의 세기를 측정함으로써 상기 광원으로부터 출사되는 광과 상기 반사광 사이의 위상차이를 추출할 수 있다.
다른 측면에 있어서,
깊이 영상 촬영장치의 광 셔터의 온도 및 광원과 피사체 사이의 거리에 따라 상기 깊이 영상 촬영장치의 동작을 제어하기 위한 룩업 테이블을 생성하는 방법으로서,
상기 광 셔터의 온도 및 상기 광원과 피사체 사이의 거리에 대응하여 복수의 샘플링 포인트를 결정하는 단계; 및
상기 샘플링 포인트들 각각에 대해서 상기 피사체의 깊이 정보를 반복 측정함으로써 상기 깊이 영상 촬영장치가 최적으로 동작하도록 하는 제어변수들을 결정하는 단계;를 포함하는 깊이 영상 촬영장치의 룩업 테이블 생성방법이 제공된다.
상기 제어변수들은 상기 광 셔터의 구동 전압에 대한 바이어스 전압을 포함할 수 있다.
상기 제어변수들은 상기 바이어스 전압을 중심으로 하여 상기 광 셔터에 인가되는 전압이 진동하는 진동 폭을 포함할 수 있다.
상기 제어변수들은 상기 광원에 인가되는 구동전압의 크기를 포함할 수 있다.
상기 제어변수들을 결정하는 단계는,
상기 샘플링 포인트들 각각에 대응하는 상기 제어변수들을 변화시켜가면서 상기 피사체의 깊이 정보를 반복 측정하여, 측정되는 상기 깊이 정보의 편차를 최소화 시키는 조건에서 상기 제어변수들을 결정할 수 있다.
상기 깊이 영상 촬영장치의 룩업 테이블 형성방법은, 상기 광 셔터 및 상기 광원의 누적 작동시간에 따라 상기 샘플 포인트들 각각에 대응되는 상기 제어변수의 변화 값을 저장하는 단계;를 포함할 수 있다.
다른 측면에 있어서,
광원을 이용하여 피사체에 광을 조사하는 단계;
광 셔터를 이용하여 상기 피사체에서 반사된 반사광의 투과율을 변화시킴으로써 상기 반사광의 파형을 변조하는 단계;
상기 광 셔터의 온도를 측정하는 단계;
상기 광 셔터의 온도 값에 기초하여 상기 광 셔터 및 상기 광원에 인가되는 구동전압들을 인가하는 구동부를 제어하는 단계; 및
상기 광 셔터를 통과한 상기 반사광의 세기를 측정하여 상기 광원으로부터 상기 피사체에 조사되는 광과 상기 반사광 사이의 위상차이를 추출하고, 상기 위상차이에 근거하여 상기 피사체의 깊이 정보를 획득하는 단계;를 포함하는 깊이 영상 촬영방법이 제공된다.
상기 구동부는 상기 광 셔터에 인가하는 전압의 크기가 바이어스 전압을 중심으로 진동하도록 할 수 있다.
상기 구동부를 제어하는 단계는, 상기 온도 측정부에서 측정된 상기 광 셔터의 온도에 기초하여 상기 바이어스 전압 및 상기 구동 전압의 진폭 크기를 제어할 수 있다.
상기 구동부를 제어하는 단계는, 상기 깊이 정보를 획득하는 단계에서 획득된 상기 피사체의 깊이 정보에 따라 상기 광원에 인가되는 구동 전압의 크기가 달라지도록 상기 구동부를 제어할 수 있다.
상기 구동부를 제어하는 단계는, 룩업 테이블로부터 상기 구동회로를 제어하기 위한 제어변수들을 호출하는 단계 및 상기 제어변수들에 따라 상기 구동부를 제어하는 단계를 포함할 수 있다.
상기 룩업 테이블에는 상기 광 셔터의 온도 및 상기 피사체와 상기 광원 사이의 거리에 기초한 복수의 샘플링 포인트에 의해 결정되는 상기 제어변수들이 저장될 수 있다.
상기 광 셔터 및 상기 광원의 누적 작동시간을 측정하는 작동시간 측정하는 단계;를 더 포함하고,
상기 제어변수들은 상기 누적 작동시간에 대응하여 변화되도록 설정될 수 있다.
상기 피사체에 광을 조사하는 단계는, 복수개의 광을 소정의 유휴 시간(idle time) 두고 상기 피사체에 순차적으로 조사하고,
상기 피사체의 깊이 정보를 획득하는 단계는, 상기 복수개의 광이 상기 피사체에 반사되어 상기 광 셔터를 통과하면서 변조된 광들의 세기를 측정함으로써 상기 광원으로부터 출사되는 광과 상기 반사광 사이의 위상차이를 추출할 수 있다.
실시예들에 따르면, 광 셔터의 온도 변화에 따라 광 셔터 및 광원의 구동 전압을 적절히 조절함으로써 광 셔터에 의한 광 변조가 효과적으로 일어나도록 할 수 있다.
또한, 광원과 피사체 사이의 거리에 따라 광원의 출력 세기를 적절히 조절함으로써 소모전력을 절약하고 부품의 손상을 방지할 수 있다.
도 1은 예시적인 실시예에 따른 깊이 영상 촬영장치(100)를 대략적으로 나타낸 도면이다.
도 2는 예시적인 실시예에 따른 깊이 영상 촬영장치의 작동 방식을 설명하기 위한 도면이다.
도 3은 도 1에서 나타낸 광 셔터의 일 예를 나타낸 도면이다.
도 4는 도 2에서 나타낸 광 셔터의 전기적 특성을 나타낸 그래프이다.
도 5는 구동부가 광 셔터에 인가하는 구동전압의 예를 나타낸 도면이다.
도 6은 광 셔터에 입사된 광의 파장에 따른 광 셔터의 투과율 변화를 나타낸 그래프이다.
도 7은 서로 다른 온도에서 파장에 따른 광 셔터의 최대 투과율 변화를 나타낸 도면이다.
도 8은 서로 다른 온도에서 광 셔터에 인가되는 구동전압의 변화에 따른 투과율 변화를 나타낸 그래프이다.
도 9는 광원과 피사체 사이의 거리에 따라 광원으로부터 조사되는 광의 출력량 변화를 나타낸 그래프이다.
도 10은 제어부에 내장된 룩업 테이블을 개념적으로 나타낸 도면이다.
도 11은 실제 광 셔터의 투과율 변화를 나타낸 도면이다.
도 12는 도 10에서 나타낸 룩업 테이블의 다른 예를 개념적으로 나타낸 도면이다.
도 13은 예시적인 실시예에 따른 깊이 영상 촬영장치를 나타낸 도면이다.
도 14는 도 10에서 나타낸 룩업 테이블을 생성하는 과정을 나타낸 흐름도이다.
도 15는 도 도 12에서 나타낸 룩업 테이블을 생성하는 과정을 나타낸 흐름도이다.
도 16은 전술한 룩업 테이블 생성과정을 대략적으로 나타낸 도면이다.
도 17은 예시적인 실시예에 따른 깊이 영상 촬영장치를 이용하여 피사체의 깊이 영상을 촬영하는 방법을 나타낸 흐름도이다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시예들에 대한 설명들에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시예들에 기재된 “...부”, “...모듈”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 실시예들에서 사용되는 “제 1” 또는 “제 2” 등과 같이 서수를 포함하는 용어는 다양한 대상들을 설명하는데 사용할 수 있지만, 상기 대상들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 대상을 다른 대상과 구별하는 목적으로만 사용된다.
하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.
도 1은 예시적인 실시예에 따른 깊이 영상 촬영장치(100)를 대략적으로 나타낸 도면이다.
도 1을 참조하면, 예시적인 실시예에 따른 깊이 영상 촬영장치(100)는 피사체(10)에 광을 조사하는 광원(120)과, 피사체(10)에서 반사된 반사광이 진행하는 경로에 마련되어 반사광의 투과율을 변화시킴으로써 반사광의 파형을 변조하는 광 셔터(optical shutter; 130)와, 광원(120) 및 광 셔터(130)에 구동 전압들을 인가하는 구동부(140)를 포함할 수 있다. 또한, 깊이 영상 촬영장치(100)는 광 셔터(130)를 통과한 반사광을 촬영하여, 광원(120)으로부터 피사체(10)에 조사되는 광과 반사광 사이의 위상차이를 추출하고, 상기 위상차이에 근거하여 피사체(10)의 깊이 정보를 획득하는 깊이 정보 획득부(160)를 포함할 수 있다.
광원(120)은 피사체(10)를 향해 광을 조사할 수 있다. 광원(120)은 800nm ~ 1000nm의 근 적외선(NIR) 영역의 파장을 가지는 광을 조사할 수 있다. 상기 파장의 광을 조사함으로써 광원(120)에서 조사되는 광이 사람의 눈에는 보이지 않을 수 있다. 광원(120)은 발광 다이오드(LED) 또는 레이저 다이오드(LD)로 구성될 수 있다. 광원(120)은 구동부(140)와 연결될 수 있다. 구동부(140)는 광원(120)에 구동 전압(Vd1)을 인가하여 광원(120)을 작동시킬 수 있다. 구동부(140)가 인가하는 구동 전압(Vd1)의 크기에 따라 광원(120)에서 조사되는 광의 세기와 파장이 변할 수 있다. 예를 들어, 광원(120)에 인가되는 구동 전압(Vd1)의 크기가 커지면 광원(120)으로부터 조사되는 광의 파장과 출력이 커질 수 있다.
또한 광원(120)에서 조사되는 광은 소정의 모양을 가지는 펄스파일 수 있다. 예를 들어 광원(120)에서 조사되는 광은 사인파, 램프파, 사각파와 같은 파형을 가질 수 있다. 광원(120)에서 조사된 광은 피사체(10)에서 반사될 수 있다. 피사체(10)와 광원(120) 사이의 거리에 따라 광원(120)에서 조사되는 광의 위상과 피사체(10)에서 반사되어 광 셔터(130)에 입사되는 광 사이에 위상의 차이가 달라질 수 있다.
광 셔터(130)는 피사체(10)로부터 반사된 반사광의 투과 정도를 달리하여, 상기 반사광의 파형을 변조할 수 있다. 이때 광 셔터(130)에 의해서 반사광이 변조되는 모양은 광 셔터(130)에 입사하는 반사광의 위상에 따라 달라질 수 있다. 즉, 피사체(10)와 광원(120) 사이의 거리에 따라 광 셔터(130)에 입사되는 반사광의 위상이 달라지고, 이로 인해 광 셔터(130)에 의해서 변조된 반사광의 파형이 달라질 수 있다. 광 셔터(130)의 투과율은 구동부(140)가 광 셔터(130)에 인가하는 구동전압(Vd2)에 따라 달라질 수 있다.
깊이 정보 획득부(160)는 광 셔터(130)를 통과한 반사광을 촬영하여 피사체(10)의 깊이 정보를 획득할 수 있다. 깊이 정보 획득부(160)는 촬상 소자(162)과 깊이 정보를 계산하는 계산 모듈을 포함할 수 있다. 촬상 소자(162)는 광 셔터(130)에 의해 변조된 반사광을 검출할 수 있다. 만약 피사체(10)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 촬상 소자(162)는 예를 들어 포토 다이오드나 적분기와 같은 하나의 단일한 광센서로 구성될 수 있다. 그러나 피사체(10) 상의 다수의 점(P1, P2, P3, P4, P5)들까지의 거리를 동시에 측정하고자 하는 경우, 촬상 소자(162)는 다수의 포토 다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 촬상 소자(162)는 2차원 어레이를 갖는 CCD 이미지 센서 또는 CIS 센서일 수도 있다. 촬상 소자(162)는 광 셔터(130)를 통과한 반사광의 세기를 측정할 수 있다. 촬상 소자(162)에서 측정된 광의 세기는 광이 변조된 파형에 의존할 수 있다.
계산 모듈(164)은 촬상 소자(162)에서 측정된 영상정보로부터 피사체(10)의 깊이 정보를 계산할 수 있다. 계산 모듈(164)은 촬상 소자(162)에서 측정된 반사광의 세기를 이용하여 반사광과 광원(120)에서 조사되는 광의 위상 차이를 계산할 수 있다. 또한, 계산 모듈(164)은 상기 위상 차이를 이용하여 광원(120)과 피사체(10) 사이의 거리를 계산함으로써 피사체(10)의 깊이 정보를 획득할 수 있다.
도 2는 예시적인 실시예에 따른 깊이 영상 촬영장치의 작동 방식을 설명하기 위한 도면이다.
도 2에서 (a) 그래프는 광원(120)에서 조사되는 광의 시간에 따른 강도 변화를 나타낸 그래프이다. 또한, 도 2에서 (b) 그래프는 광 셔터(130)에 입사되는 반사광의 시간에 따른 강도 변화를 나타낸 그래프이다. 또한, 도 2에서 (c) 그래프는 광 셔터(130)의 투과율의 시간에 따른 변화를 나타낸 그래프이다.
도 2를 참조하면, 광원(120)은 복수의 조사광(ILIT)을 피사체(10)에 순차적으로 투사할 수 있다. 복수의 조사광(ILIT)은 소정의 유휴시간(Idle time)을 두고 피사체(10)에 조사될 수 있다. 또한, 복수의 조사광(ILIT)은 각각 서로 상이한 위상을 가지고 광원(120)으로부터 조사될 수 있다. 예를 들어, 광원(110)이 N개의 조사광을 피사체(10)에 조사하는 경우, 조사광들(ILIT) 중 인접한 시간대에 조사되는 광의 위상차는 360도를 N등분 한 값일 수 있다. 즉, N이 4인 경우, 조사되는 광들(ILIT)의 위상은 0도, 90도, 180도, 270도 일 수 있다.
광원(120)이 복수의 조사광(ILIT)을 유휴시간을 두고 피사체(10)에 조사하면, 조사광들(ILIT) 각각이 반사된 반사광들(RLIT)은 서로 독립적으로 광 셔터(130)를 통과하여 깊이 정보 획득부(160)에 입사될 수 있다. 광 셔터(130)의 투과율은 도 2의 (c)에서 나타낸 바와 같이 시간에 따라 변할 수 있다. 따라서, 반사광들(RLIT)이 광 셔터(130)를 투과하면 반사광들(RLIT)의 파형이 변조될 수 있다. 변조된 반사광들(RLIT)의 파형은 반사광들(RLIT)의 위상 및 광 셔터(130)의 시간에 따른 투과율 변화에 의존할 수 있다. 깊이 정보 획득부(160)는 광 셔터(130)에 의해 변조된 반사광들(RLIT)을 촬영함으로써 반사광들(RLIT)과 조사광들(ILIT) 사이의 위상 차이를 추출할 수 있다.
전술한 바와 같이, 반사광들(RLIT)의 파형 변화는 반사광들(RLIT)의 위상과 광 셔터(130)의 시간에 따른 투과율 변화에 의존할 수 있다. 따라서, 광 셔터(130)의 투과율을 정확히 제어하고 광 셔터(130)의 동작 특성에 따라 획득되는 피사체(10)의 깊이 정보를 보정해야 정확한 깊이 정보를 얻을 수 있다.
도 3은 도 1에서 나타낸 광 셔터(130)의 일 예를 나타낸 도면이다.
도 3을 참조하면, 광 셔터(130)는 제1 전극(131), 제2 전극(132), 제1 도전형 반도체층(133), 제2 도전형 반도체층(134), 스페이서(spacer, 135) 및 다중 양자 우물(multiple quantum well, 136)을 포함할 수 있다. 다만, 도 3은 광 셔터(120)의 일 예를 나타낸 것이고, 깊이 영상 촬영장치(100)는 도 3과 다른 구조의 광 셔터(130)를 구비할 수도 있다.
구동부(140)에 의해 제1 전극(131) 및 제2 전극(132) 사이에 구동 전압(Vd2)이 인가될 수 있다. 제1 전극(131)은 p형 전극이고, 제2 전극(132)은 n형 전극일 수 있다. 이 경우, 제1 도전형 반도체층(133)은 p형 DBR(Distributed Bragg Rectifier)이고, 제2 도전형 반도체층(134)은 n형 DBR일 수 있다. 예를 들어, 제1 도전형 반도체층(133) 및 제2 도전형 반도체층(134)은 각각, Al0.31GaAs와 Al0.84GaAs가 교대로 적층되는 구조로 형성될 수 있다. 제1 도전형 반도체층(133) 및 제2 도전형 반도체층(134)과 다중 양자 우물(136) 사이에는 각각, 스페이서(135)가 위치한다. 스페이서(135)는 Al0.31GaAs로 형성될 수 있다. 다중 양자 우물(136)은 GaAs 및 Al0.31GaAs로 형성될 수 있다.
제1 도전형 반도체층(133) 및 제2 도전형 반도체층(134)은 한 쌍의 공진 미러(resonating mirror)로 동작하고, 다중 양자 우물(136)은 전계 흡수를 수행하여 공진 공동(resonance cavity)으로 기능한다. 제1 전극(131) 및 제2 전극(132) 사이에는 역 바이어스 전압(구동 전압(Vd2))이 인가될 수 있다. 역 바이어스 전압의 크기에 따라 광 셔터(130)의 투과율이 달라질 수 있다.
도 4는 도 2에서 나타낸 광 셔터(130)의 전기적 특성을 나타낸 그래프이다.
도 4를 참조하면, 광 셔터(130)에 인가되는 구동전압(Vd2)의 범위는 역 바이어스 전압 범위에 포함될 수 있다. 또한, 구동전압(Vd2)은 광 셔터(130)의 항복전압보다 클 수 있다. 구동전압(Vd2)을 항복전압보다 크게 함으로서 광 셔터(130)의 항복현상이 일어나는 것을 방지할 수 있다. 또한, 구동전압(Vd2)이 역 바이어스 전압 범위로 설정됨으로써, 광 셔터(130)가 광을 흡수하도록 할 수 있다. 광 셔터(130)의 투과율은 광 셔터(130)에 입사되는 반사광의 파장과 광 셔터(130)에 인가되는 구동전압(Vd2)의 크기에 따라 달라질 수 있다.
도 5는 구동부(140)가 광 셔터(130)에 인가하는 구동전압(Vd2)의 예를 나타낸 도면이다.
도 5를 참조하면, 구동부(140)는 광 셔터(130)에 음의 전압, 즉 역 바이어스 전압을 가할 수 있다. 구동부(140)는 광 셔터(130)에 인가되는 구동 전압(Vd2)이 바이어스 전압(Vbias)을 중심으로 소정의 진동 폭(Vac)을 가지고 진동하도록 할 수 있다. 구동부(140)가 구동전압(Vd2)을 진동시킴으로써 광 셔터(130)의 투과율이 주기적으로 변할 수 있다.
도 6은 광 셔터(130)에 입사된 광의 파장에 따른 광 셔터(130)의 투과율 변화를 나타낸 그래프이다.
도 6에서 S1 그래프는 광 셔터(130)에 인가되는 구동전압(Vd2)을 변화시키면서 나타나는 광 셔터(130)의 최소 투과율을 나타낸다. 또한, S2그래프는 광 셔터(130)에 인가되는 구동전압(Vd2)을 변화시키면서 나타나는 광 셔터(130)의 최대 투과율을 나타낸다.
도 6을 참조하면, 광 셔터(130)에 입사되는 광의 파장에 따라 광 셔터(130)의 최대 투과율과 최소 투과율 사이의 차이가 달라질 수 있다. 예를 들어, 도 5에서 나타낸 바와 같이 광 셔터(130)는 특정 파장(약 850nm)에서 반사광(RLIT)의 투과율이 구동 전압(Vd2)의 레벨에 따라 가장 크게 변화될 수 있다. 따라서, 광 셔터(130)가 효과적으로 동작하기 위해, 광원(120)은 광 셔터(130)의 투과율 변화가 가장 커지도록 하는 파장의 광을 조사할 수 있다.
도 6의 그래프는 광 셔터(130)의 온도가 일정하다는 가정 하에 얻어진 그래프이다. 그런데, 깊이 영상 촬영장치의 작동시간이 늘어나게 되면, 광 셔터(130)의 온도가 변할 수 있다. 그렇게 되면, 광 셔터(130)의 동작특성이 변경되면서, 도 6에서 나타낸 광 셔터(130)의 투과율 특성이 달라질 수 있다.
도 7은 서로 다른 온도에서 파장에 따른 광 셔터(130)의 최대 투과율 변화를 나타낸 도면이다. 도 7에서는 편의 상 구동 전압(Vd2)의 변화에 따른 광 셔터(130)의 최대 투과율 만을 나타내었다.
도 7을 참조하면, 광 셔터(130)에 입사되는 광의 파장에 따라 광 셔터(130)의 최대 투과율이 변할 수 있다. 그런데, 광 셔터(130)의 온도가 변하게 되면, 광 셔터(130)의 최대 투과율 그래프의 피크(peak)가 형성되는 광의 파장이 달라지게 됨을 알 수 있다. 예를 들어 도 7에서 나타낸 바와 같이, 광 셔터(130)의 온도가 높아질수록 광 셔터(130)의 투과율 변화를 가장 크게 하는 파장 또한 점점 커질 수 있다. 따라서, 광 셔터(130)의 온도에 따라 광원(120)이 조사하는 광의 파장을 다르게 설정할 필요가 있다.
도 8은 서로 다른 온도에서 광 셔터(130)에 인가되는 구동전압(Vd2)의 변화에 따른 투과율 변화를 나타낸 그래프이다.
도 8을 참조하면 구동전압(Vd2)에 따른 광 셔터(130)의 투과율 변화 곡선이 광 셔터(130)의 온도에 따라 달라질 수 있다. 예를 들어, 광 셔터(130)의 온도가 50℃인 경우, 구동전압(Vd2)의 크기가 10V 내지 18V 사이에서 변하는 동안 광 셔터(130)의 투과율의 변화가 클 수 있다. 따라서, 광 셔터(130)의 온도가 50℃인 경우, 구동전압(Vd2)이 제1 바이어스 전압(Vbias1)을 중심으로 제1 진폭(Vac1) 만큼 변할 때 광 셔터(130)의 투과율이 효과적으로 변할 수 있다. 반면, 광 셔터(130)의 온도가 40℃인 경우, 구동전압(Vd2)의 크기가 12V 내지 20V 사이에서 변하는 동안 광 셔터(130)의 투과율의 변화가 클 수 있다. 따라서, 광 셔터(130)의 온도가 40℃인 경우, 구동 전압(Vd2)이 제2 바이어스 전압(Vbias1)을 중심으로 제2 진폭(Vac2) 만큼 변할 때 광 셔터(130)의 투과율이 효과적으로 변할 수 있다.
전술한 바와 같이, 광 셔터(130)의 온도 변화에 따라 광 셔터(130)의 동작을 최적화 시키기 위한 광의 파장 및 광 셔터(130)에 인가되는 구동전압(Vd2)이 달라질 수 있다.
다시 도 1을 참조하면, 예시적인 실시예에 따른 깊이 영상 촬영장치는, 광 셔터(130)의 온도를 측정하는 온도 측정부(150)와, 온도 측정부(150)에서 측정된 온도에 기초하여 구동부(140)의 구동전압들(Vd1, Vd2)을 제어하는 제어부(110)를 포함할 수 있다. 제어부(110)는 도 7 및 도 8에서 나타낸 온도 변화에 따른 광 셔터(130)의 특성 변화를 고려하여, 광 셔터(130)의 투과율 변화가 최적화 될 수 있도록 구동부(140)를 제어할 수 있다.
온도 측정부(150)는 광 셔터(130)의 온도를 측정할 수 있다. 온도 측정부(150)는 광 셔터(130)에 접촉되어 있을 수도 있고 그렇지 않을 수도 있다. 온도 측정부(150)는 광 셔터(130)의 온도를 측정하고 측정된 결과를 실시간 혹은 일정한 시간간격으로 제어부(110)에 전송할 수 있다.
제어부(110)는 온도 측정부(150)에서 측정된 광 셔터(130)의 온도에 따라 구동부(140)가 광원(120)인가하는 구동전압(Vd1)을 제어할 수 있다. 예를 들어, 도 7에서 나타낸 바와 같이, 광 셔터(130)의 온도가 변하면, 광 셔터(130)의 투과율 변화를 최대로 만들어주는 광의 파장이 변할 수 있다. 제어부(110)는 광 셔터(130)의 온도에 따라 구동부(140)가 광원(120)에 인가하는 구동전압(Vd1)을 다르게 제어함으로써, 광 셔터(130)에 입사되는 반사광의 파장을 최적화 시킬 수 있다.
또한, 제어부(110)는 온도 측정부(150)에서 측정된 광 셔터(130)의 온도에 따라 구동부(140)가 광 셔터(130)인가하는 구동전압(Vd2)을 제어할 수 있다. 예를 들어, 도 8에서 나타낸 바와 같이, 광 셔터(130)의 온도가 변하면, 광 셔터(130)의 투과율 변화가 잘 일어나는 구동전압(Vd2)의 범위가 달라질 수 있다. 따라서, 제어부(110)는 광 셔터(130)의 온도에 따라 구동부(140)가 광 셔터(130)에 인가하는 구동전압(Vd2)을 다르게 제어함으로써 광 셔터(130)의 투과율 변화가 잘 일어나도록 할 수 있다.
제어부는(110) 온도 측정부(150)에서 측정된 광 셔터(130)의 온도에 기초하여 도 5에서 나타낸 바이어스 전압(Vbias)을 조절할 수 있다.또한, 제어부(110)는 온도 측정부(150)에서 측정된 광 셔터(130)의 온도에 기초하여 도 5에서 나타낸 구동전압(Vd2)이 변하는 진폭 크기(Vac)를 조절할 수 있다.
예를 들어, 다시 도 7을 참조하면, 광 셔터(130)의 온도가 50℃인 경우, 제어부(110)는 구동부(140)가 인가하는 구동 전압(Vd2)이 제1 바이어스 전압(Vbias1)을 중심으로 제1 진폭(Vac1)만큼 진동하도록 제어할 수 있다. 또한, 광 셔터(130)의 온도가 40℃인 경우, 제어부(110)는 구동부(140)가 인가하는 구동 전압(Vd2)이 제2 바이어스 전압(Vbias1)을 중심으로 제2 진폭(Vac1)만큼 진동하도록 제어할 수 있다. 이는 예시적인 것에 불과할 뿐 실시예가 이에 제한되는 것은 아니다. 예를 들어, 제어부(110)는 구동전압(Vd2)이 진동하는 양 끝점을 조절할 수도 있다. 또한, 같은 온도에서도 제어부(110)에 의해 제어되는 구동전압(Vd2)의 변화 범위은 설정에 따라 달라질 수 있다.
제어부(110)는 광원(120)에 인가되는 구동전압(Vd1)을 조절함으로써 광원(120)에서 조사되는 광의 출력량을 조절할 수도 있다. 예를 들어, 광원(120)과 피사체(10) 사이의 거리가 큰 경우 광원(120)은 높은 출력으로 광을 조사할 수 있다. 하지만, 광원(120)과 피사체(10) 사이의 거리가 작은 경우, 광원(120)이 낮은 출력으로 광을 조사하더라도 깊이 정보 획득부(160)가 피사체(10)의 깊이 정보를 획득할 수 있다. 따라서, 광원(120)과 피사체(10) 사이의 거리가 작은 경우에는 광원(120)의 광 출력량을 줄이는 것이 전력 소비 효율 면에서 좋을 수 있다. 또한, 광원(120) 광 출력량을 조절함으로써 깊이 정보 획득부(160)의 촬상 소자(162)에서 광의 포화상태(saturation)가 일어나는 것을 방지할 수 있다.
도 9는 광원(120)과 피사체(10) 사이의 거리에 따라 광원(120)으로부터 조사되는 광의 출력량 변화를 나타낸 그래프이다.
도 9를 참조하면, 광원(120)과 피사체(10) 사이의 거리가 작은 제1 영역(Region 1)에서는 광원(120)의 광 출력량이 최대 광출력량(Imax)보다 작게 설정될 수 있다. 제1 영역(Region 1)에서는 피사체(10)와 광원(120) 사이의 거리가 증가할수록 광원(120)의 광 출력량도 함께 증가할 수 있다. 광원(120)의 광 출력량이 적절히 변함으로써 깊이 정보 획득부(160)가 깊이 정보를 획득하기에 충분한 광 출력량이 유지될 수 있다. 또한, 광원(120)과 피사체(10) 사이의 거리가 가까울 때는 광원(120)의 광 출력량을 작게 함으로써 전력 소모량을 줄이고 촬상소자(162)가 파손되는 것을 방지할 수 있다. 그리고, 광원(120)과 피사체(10) 사이의 거리가 일정 거리 이상인 제2 영역(region 2)에서는 광원(120)의 광 출력량을 항상 최대 출력량(Imax)로 유지함으로써 촬상 소자(162)에 입사되는 광량을 크게 할 수 있다.
광원(120)과 피사체(10) 사이의 거리에 따라 광원(120)의 광 출력량을 조절하기 위해, 제어부(110)는 구동부(140)가 광원(10)에 인가하는 구동전압(Vd1)의 크기를 조절할 수 있다. 예를 들어, 제어부(110)는 깊이 정보 획득부(160)로부터 피사체(10)의 깊이 정보를 전달받을 수 있다. 제어부(110)는 피사체(10)의 깊이 정보로부터 피사체(10)와 광원(120) 사이의 거리를 추출할 수 있다. 또한, 제어부(110)는 추출한 피사체(10)와 광원(120) 사이의 거리에 따라 구동부(140)가 광원(120)에 인가하는 구동전압(Vd1)의 크기를 조절할 수 있다. 예를 들어, 제어부(110)는 피사체(10)와 광원(120) 사이의 거리가 도 9의 제1 영역(region 1) 안에 포함된다고 판단한 경우, 피사체(10)와 광원(120) 사이의 거리에 변화에 따라 구동전압(Vd1)이 변하도록 구동부(140)를 제어할 수 있다. 반면, 제어부(110)는 피사체(10)와 광원(120) 사이의 거리가 도 9의 제2 영역(region 2) 안에 포함된다고 판단한 경우, 광원(120)이 항상 최대 광 출력을 내도록 구동전압(Vd1)을 제어할 수 있다.
전술한 바와 같이, 제어부(110)는 광 셔터(130)의 온도 및 깊이 정보 획득부(160)에서 획득된 피사체(10)의 깊이 정보에 따라 구동부(140)가 인가하는 구동전압들(Vd1, Vd2)을 다르게 제어할 수 있다. 제어부(110)는 구동부(140)를 효과적으로 제어하기 위해 내부에 룩업 테이블을 내장하고 있을 수 있다.
예를 들어, 제어부(110)는 온도 측정부(150)로부터 광 셔터(130)의 온도 정보를 수신할 수 있다. 또한, 제어부(110)는 깊이 정보 획득부(160)로부터 피사체(10)의 깊이 정보를 수신할 수 있다. 그리고, 제어부(110)는 상기 룩업 테이블로부터 광 셔터(130)의 온도 및 피사체(10)의 깊이 정보에 대응되는 제어변수들을 호출할 수 있다. 여기서, 제어변수들이란 전술한 구동전압들(Vd1, Vd2)을 제어량에 따라 달라지는 변수들을 의미한다. 제어부(110)는 룩업 테이블로부터 상기 제어변수들을 호출하여 상기 제어변수들에 따라 결정되는 제어명령을 구동부(140)에 전달할 수 있다.
도 10은 제어부(110)에 내장된 룩업 테이블을 개념적으로 나타낸 도면이다.
도 10을 참조하면, 룩업 테이블에는 상기 광 셔터의 온도 및 상기 피사체와 상기 광원 사이의 거리에 기초한 복수의 샘플링 포인트(sampling point)에 의해 결정되는 상기 제어변수들이 저장될 수 있다. 샘플링 포인트들(Rm ,n)은 광 셔터의 온도 축과 피사체(10)와 광원 사이의 거리 축에 의해 나타내어지는 가상의 2차원 공간에서 정의되는 점들일 수 있다. 예를 들어, m번째 샘플링 온도 tm과 n번째 거리 dn 의 교차점이 상기 온도 tm , 거리 dn 에 의해 결정되는 샘플링 포인트 Rm ,n가 될 수 있다.
룩업 테이블에는 복수의 샘플링 포인트들 각각에 대응하는 제어변수들이 저장되어 있을 수 있다. 제어변수들은 광원(120)에 인가되는 구동전압(Vd1)과 광 셔터(130)에 인가되는 구동전압(Vd2)를 제어하기 위한 변수들을 포함할 수 있다. 예를 들어, 제어변수들은 광 셔터(130)에 인가되는 구동전압(Vd2)의 바이어스 전압(Vbias)을 포함할 수 있다. 또한, 제어변수들은 광 셔터(130)에 인가되는 구동전압(Vd2)의 진폭(Vac)를 포함할 수 있다. 이는 예시적인 것에 불과할 뿐 제어변수들의 구성이 이에 제한되는 것은 아니다. 예를 들어, 제어변수들은 구동전압(Vd2)가 변하는 범위의 양 끝 전압을 포함할 수도 있다. 또한, 제어변수들은 광원(110)에 인가하는 구동전압(Vd1)을 포함할 수도 있다.
제어부(110)는 온도 측정부(150)와 깊이 정보 획득부(160)로부터 광 셔터(130)의 온도 및 피사체(10)의 깊이에 대한 정보를 수신하면 수신한 정보에 대응하는 샘플링 포인트를 결정할 수 있다. 이때, 제어부(110)는 수신한 정보에 정확히 대응하는 샘플링 포인트가 없으면, 가장 근접한 샘플링 포인트를 결정할 수 있다. 그리고, 제어부(110)는 결정된 룩업 테이블로부터 샘플링 포인트에 대응하는 제어변수들을 호출할 수 있다. 그리고 상기 제어변수들에 따라 구동부(140)를 제어할 수 있다.
제어변수들은 깊이 정보 획득부(160)에서 얻어진 피사체(10)의 깊이 정보를 보정하기 위한 보정 값(K)를 포함할 수 있다. 상기 보정 값 K는 광 셔터(130)의 동작 특성을 고려하여 정해질 수 있다. 도 2의 (c)에서는 광 셔터(130)의 투과율이 사인파 모양으로 변하는 예를 나타냈지만, 이는 이상적인 경우이다. 실제 광 셔터(130)의 투과율을 완벽하게 사인파 모양으로 변하게 만들기는 어려우며 불규칙하게 변할 수 있다.
도 11은 실제 광 셔터(130)의 투과율 변화를 나타낸 도면이다.
도 11을 참조하면, 광 셔터(130)에 인가되는 구동전압(Vd2)의 크기를 사인파 모양으로 하더라도 광 셔터(130)의 시간에 따른 투과율 변화가 사인파 모양이 아닐 수 있다. 광 셔터(130)의 투과율 변화가 불규칙한 이유는 도 8에서 나타낸 바와 같이, 구동전압(Vd2)의 변화에 대해 광 셔터(130)의 투과율이 비선형적으로 변하기 때문이다. 광 셔터(130)의 투과율 변화가 완벽한 사인파 모양으로 일어나지 않기 때문에 깊이 정보 획득부(160)에서 얻어진 피사체(10)의 깊이 정보를 보정해줄 필요가 있다. 제어부(110)는 피사체(10)의 깊이 정보의 보정 값 K를 깊이 정보 획득부(160)에 전송할 수 있다. 깊이 정보 획득부(160)는 상기 보정 값 K를 이용하여 피사체(10)의 깊이 정보를 보정함으로써 상기 광 셔터(130)의 동작특성에 따른 효과를 보정할 수 있다. 여기서, 광 셔터(130)의 동작특성이란 도 11에서 나타낸 광 셔터(130)의 투과율 변화를 포함할 수 있다.
그런데, 도 8을 참조하면, 구동전압(Vd2)와 광 셔터(130)의 투과율 사이의 관계가 광 셔터(130)의 온도에 따라 변할 수 있다. 따라서, 광 셔터(130)의 동작 특성 또한, 광 셔터(130)의 온도에 따라 변할 수 있다. 그러므로, 광 셔터(130)의 동작특성을 보정하기 위한 보정 값(K) 또한 광 셔터(130)의 온도에 따라 바뀌어야 한다. 룩업 테이블은 샘플링 포인트 각각에 대해 상기 샘플링 포인트 각각이 나타내는 광 셔터(130)의 온도에 대응하는 보정 값(K)를 저장할 수 있다. 제어부(110)는 온도 측정부(150)로부터 수신한 광 셔터(130)의 온도에 대응하는 샘플링 포인트를 결정할 수 있다. 그리고 제어부(110)는 룩업 테이블로부터 결정된 샘플링 포인트에 대응하여 저장된 보정 값 K를 호출하여 깊이 정보 획득부(160)에 전달할 수 있다. 그리고, 깊이 정보 획득부(160)는 광 셔터(130)의 온도에 따라 적절한 보정상수(K)를 이용하여 피사체(10)의 깊이 정보를 보정할 수 있다. 이를 통해 깊이 정보 획득부(160)에서 획득된 피사체(10)의 깊이 정보의 신뢰도가 높아질 수 있다.
실시예에 따른 깊이 영상 촬영장치(100)의 누적 작동시간이 늘어나면, 깊이 영상 촬영장치(100)의 부품들이 열화될 수 있다. 즉, 깊이 영상 촬영장치(100)에 포함된 광 셔터(130) 및 광원(120)의 누적 작동시간이 증가되면, 광 셔터(130) 및 광원(120)의 성능이 열화 될 수 있다. 광 셔터(130)의 성능이 열화 되면 도 7 및 도 8에서 나타낸 광 셔터(130)의 투과율 변화 그래프가 달라질 수 있다. 따라서, 광 셔터(130)의 온도가 같더라도 광 셔터(130)의 누적작동시간이 늘어나면, 광 셔터(130)가 최적으로 작동하기 위한 구동전압(Vd2)의 범위가 달라질 수 있다. 또한, 광원(120)의 성능이 열화되면 광원(120)이 소정 파장 및 소정 출력의 광을 조사하기 위해 요구되는 구동전압(Vd1)이 달라질 수 있다.
도 12는 도 10에서 나타낸 룩업 테이블의 다른 예를 개념적으로 나타낸 도면이다.
도 12를 참조하면, 룩업 테이블에 저장된 제어변수들이 누적 작동시간에 대응하여 변화되도록 설정될 수 있다. 즉, 룩업 테이블의 각 샘플링 포인트들에는 광 셔터(130) 및 광원(120)의 누적 작동시간 별로 다른 제어변수들이 저장되어 있을 수 있다. 제어부(110)는 광원(120) 및 광 셔터(130)의 누적작동 시간에 따라 그에 대응하는 제어변수들을 호출하여 구동부(140)를 제어할 수 있다. 이를 통해 광원(120) 및 광 셔터(130)의 작동시간이 누적됨에 따른 성능 변화를 보상할 수 있다.
도 13은 예시적인 실시예에 따른 깊이 영상 촬영장치를 나타낸 도면이다.
도 13을 참조하면, 예시적인 실시예에 따른 깊이 영상 촬영장치는 광 셔터(130) 및 상기 광원(120)의 누적 작동시간을 측정하는 작동시간 측정부(170)를 더 포함할 수 있다. 예시적으로, 작동시간 측정부(170)는 광원(120)의 누적 작동시간을 측정하는 제1 작동시간 측정부(170a) 및 광 셔터(130)의 누적 작동시간을 측정하는 제2 작동시간 측정부(170b)를 포함할 수 있다. 하지만, 대부분의 경우 광원(120)과 광 셔터(130)가 함께 작동되므로, 작동시간 측정부(170)는 제1 및 제2 작동시간 측정부(170a, 170b) 가운데 어느 하나만 포함할 수도 있다.
작동시간 측정부(170)는 광원(120) 및 광 셔터(130)의 누적 작동시간을 측정하여 제어부(110)에 측정결과를 전송할 수 있다. 제어부(110)는 상기 광원(120) 및 광 셔터(130)의 누적 작동시간에 대응하는 제어변수를 룩업 테이블로부터 호출할 수 있다.
도 14는 도 10에서 나타낸 룩업 테이블을 생성하는 과정을 나타낸 흐름도이다.
도 14를 참조하면, 예시적인 실시예에 따른 깊이 영상 촬영장치의 룩업 테이블 생성방법은, 광 셔터(130)의 온도를 변화시키는 단계(1110)와 광원(120)과 피사체(10) 사이의 거리를 변화시키는 단계(1120)와, 광 셔터(130)의 온도 및 광원(120)과 피사체(10) 사이의 거리에 대응하여 복수의 샘플링 포인트를 결정하는 단계(1130) 및 샘플링 포인트들 각각에 대해서 피사체(10)의 깊이 정보를 반복 측정함으로써 깊이 영상 촬영장치(100)가 최적으로 동작하도록 하는 제어변수들을 결정하는 단계(1140)를 포함할 수 있다.
1110 단계에서는 도 10 및 도 12에서 나타낸 룩업 테이블의 샘플링 포인트들 중 어느 하나에 대응하는 온도로 광 셔터(130)의 온도를 변화시킬 수 있다. 또한, 1120 단계에서는 도 10 및 도 12에서 나타낸 룩업 테이블의 샘플링 포인트들 중 어느 하나에 대응하는 거리로 광원(120)과 피사체(10) 사이의 거리를 변화시킬 수 있다.
1130 단계에서는 1110, 1120 단계에서 변화된 광 셔터(130)의 온도 및 광원(120)과 피사체(10) 사이의 거리에 대응하여 샘플링 포인트를 결정할 수 있다. 상기 1110, 1120 단계에서 상기 온도 및 거리를 변화시키면서 1130 단계를 반복하여 서로 다른 온도 및 거리에 대응하는 복수의 샘플링 포인트를 결정할 수 있다.
1140 단계에서는 샘플링 포인트들 각각에 대해서 깊이 영상 촬영장치(100)를 이용하여 피사체(10)의 깊이 정보를 반복 측정할 수 있다. 즉, 샘플링 포인트 각각에서 제어변수들을 변화시켜가면서 피사체(10)의 깊이 정보를 측정함으로써 상기 샘플링 포인트 각각에서 깊이 영상 촬영장치(100)가 최적으로 동작하도록 하는 제어변수들을 찾을 수 있다.
전술한 바와 같이 제어변수들은 광 셔터(130)에 인가되는 구동전압(Vd2)에 대한 바이어스 전압(Vbias)과 구동전압(Vd2)의 진폭을 포함할 수 있다. 또한, 제어변수들은 광원(120)에 인가되는 구동전압(Vd1)과 깊이 정보 획득부(160)에서 획득된 피사체(10)의 깊이정보를 보정하기 위한 보정 값(K)를 포함할 수 있다.
1140 단계에서 샘플링 포인트들 각각에 대해서 깊이 영상 촬영장치(100)가 최적으로 동작하는 제어변수들을 결정하는 과정은 다양한 방식으로 이루어질 수 있다. 예를 들어, 각각의 샘플링 포인드를에 대해서 도 6 내지 도 8에서 나타낸 광 셔터(130)의 투과율 변화 그래프를 분석함으로써 상기 제어변수들을 결정할 수 있다. 다른 예로, 샘플링 포인트들 각각에 대해 제어변수들을 변화시키면서 피사체(10)의 깊이 정보를 반복 측정하여, 측정되는 깊이 정보의 편차(deviation)를 최소화 시키는 조건에서 제어변수들을 결정할 수 있다. 여기서, 깊이 정보의 편차란 동일한 조건에서 깊이 정보를 측정하였을 때 깊이 정보가 변하는 범위를 의미한다. 예를 들어, 동일한 샘플링 포인트에 대해 동일한 제어변수를 이용하여 구동부(140)를 조작하여 깊이 정보 측정을 반복하더라도 측정되는 깊이 정보가 일정하지 않을 수 있다. 동일한 조건에서 측정된 깊이 정보들 사이의 차이에 의해 편차가 결정될 수 있다. 그리고, 상기 편차를 최소화 시키는 제어변수들을 상기 샘플링 포인트에 대응하는 제어변수들로 결정할 수 있다.
도 15는 도 도 12에서 나타낸 룩업 테이블을 생성하는 과정을 나타낸 흐름도이다.
도 15를 참조하면, 예시적인 실시예에 따른 깊이 영상 촬영장치의 룩업 테이블 생성방법은, 광 셔터(130) 및 광원(120)의 누적 작동시간에 따라 샘플 포인트들 각각에 대응되는 상기 제어변수의 변화 값을 저장하는 단계(1150)를 더 포함할 수 있다.
1150 단계에서는 광 셔터(130) 및 광원(120)의 누적 작동시간을 변화시키면서 상기 1110 내지 1140 단계를 반복하여 누적 작동시간 별 제어변수들을 룩업 테이블에 더 저장할 수 있다. 이를 통해 도 12에서 나타낸 바와 같이 샘플링 포인트들 각각에서 누적 작동시간 따라 제어변수들이 변하도록 할 수 있다.
이상에서 도 14 및 도 15에서는 깊이 영상 촬영장치(100)의 룩업 테이블 형성방법에 대하여 설명하였다. 그런데, 동일한 공정조건에서 깊이 영상 촬영장치(100) 제품이 대량 생산되는 경우, 모든 제품들에 대해 도 14 또는 도 15에서 나타낸 과정을 반복하는 것은 비용 및 시간 측면에서 비효율 적일 수 있다. 따라서, 동일한 공정조건에서 복수개의 깊이 영상 촬영장치(100)를 생산하는 경우, 하나의 제품에 대해서 도 14 또는 도 15의 과정을 거쳐 룩업 테이블을 생성하고 나머지 제품에 대해서는 상기 하나의 제품에 대해 생성된 룩업 테이블을 참조하여 룩업 테이블 생성과정을 단축시킬 수 있다.
도 16은 전술한 룩업 테이블 생성과정을 대략적으로 나타낸 도면이다.
도 16을 참조하면, 하나의 제품에 대해 형성된 룩업 테이블이 다른 제품의 룩업 테이블을 생성할 때 참조용 룩업 테이블로 활용될 수 있다. 예를 들어, 제1 제품의 대해 생성된 룩업 테이블을 참조용 룩업 테이블로 활용할 수 있다. 그리고, 제2 제품에 대해서는 제1 샘플링 포인트 하나에 대해서만 제어변수를 결정할 수 있다. 이때 제2 제품의 제어변수들은 참조용 룩업 테이블의 제어변수들과 크게 차이가 나지 않을 것이라는 가정할 수 있다. 따라서, 제2 제품의 제어변수들을 룩업 테이블의 제어변수들 근처에서 스캔 해가면서 제2 제품의 동작을 최적화 시키는 제어변수들을 결정할 수 있다.
제1 샘플링 포인트에서 결정된 제2 제품의 제어변수들과 참조용 룩업 테이블에서 상기 제1 샘플링 포인트에 대응하는 제어변수들의 차이(ΔV1, ΔV2, ΔV3, ΔK)가 계산될 수 있다. 그리고, 제2 제품의 룩업 테이블 중 나머지 샘플링 포인트들 각각에 대해서는 참조용 룩업 테이블의 나머지 샘플링 포인트들 각각에 대응하는 제어변수들을 상기 차이(ΔV1, ΔV2, ΔV3, ΔK) 만큼 전이(shift) 시킴으로써 제어변수들을 결정할 수 있다. 이를 통해, 제품의 대량 생산 시 룩업 테이블 형성과정을 간소화 시킬 수 있다.
도 17은 예시적인 실시예에 따른 깊이 영상 촬영장치(100)를 이용하여 피사체(10)의 깊이 영상을 촬영하는 방법을 나타낸 흐름도이다.
도 17을 참조하면, 예시적인 실시예에 따른 깊이 영상 촬영방법은, 광원(120)을 이용하여 피사체(10)에 광을 조사하는 단계(1210)와, 광 셔터(130)를 이용하여 피사체(10)에서 반사된 반사광의 투과율을 변화시킴으로써 반사광의 파형을 변조하는 단계(1220), 광 셔터(130)의 온도를 측정하는 단계(1230), 광 셔터(130)의 온도 값에 기초하여 광 셔터(130) 및 광원(120)에 인가되는 구동전압들(Vd1, Vd2)을 인가하는 구동부(140)를 제어하는 단계(1240) 및 광 셔터(130)를 통과한 반사광의 세기를 측정하여 광원(120)으로부터 피사체(10)에 조사되는 광과 반사광 사이의 위상차이를 추출하고, 상기 위상차이에 근거하여 피사체(10)의 깊이 정보를 획득하는 단계(1150)를 포함할 수 있다.
1210 단계에서는, 광원(120)이 피사체(10)를 향해 광을 조사할 수 있다. 광원(120)이 조사하는 광은 800nm ~ 1000nm의 근 적외선(NIR) 영역의 파장을 가질 수 있다. 광원(120)에서 조사되는 광은 소정의 모양을 가지는 펄스파일 수 있다. 예를 들어 광원(120)에서 조사되는 광은 사인파, 램프파, 사각파와 같은 파형을 가질 수 있다.
1220 단계에서는, 광 셔터(130)가 반사광의 투과율을 변화시킴으로써 반사광의 파형을 변조할 수 있다. 변조되는 반사광의 파형은 반사광의 위상과 광 셔터(130)의 투과율 변화에 의존할 수 있다. 광 셔터(130)의 투과율 변화는 광 셔터(130)에 인가되는 구동전압(Vd2)의 변화에 의해 일어날 수 있다. 구동부(140)는 광 셔터(130)에 인가하는 구동전압(Vd2)이 바이어스 전압(Vbias)를 중심으로 진동하도록 할 수 있다.
1230 단계에서는 온도 측정부(150)가 광 셔터(130)의 온도를 측정할 수 있다. 온도 측정부(150)는 측정결과를 제어부(110)에 전송할 수 있다.
1240 단계에서는 광 셔터(130)의 온도에 기초하여 제어부(110)가 구동부(140)의 동작을 제어할 수 있다. 제어부(110)는 구동부(140)가 인가하는 구동전압들(Vd1, Vd2)을 제어할 수 있다. 1240 단계에서 제어부(110)는 깊이 정보 획득부(160)에서 획득된 깊이 정보를 더 고려하여 구동부(140)가 광원(120)에 인가하는 구동전압(Vd1)을 조절할 수 있다.
또한, 1240 단계에서 제어부(110)는 구동부(140)의 제어를 위한 제어변수들을 룩업 테이블로부터 호출할 수 있다. 룩업 테이블은 도 10 및 도 12에서 나타낸 바와 같이 생성될 수 있다.
1250 단계에서는 깊이 정보 획득부(160)가 광 셔터(130)를 통과한 반사광을 촬영함으로써 반사광과 광원(120)에서 조사되는 조사광의 위상차이를 추출할 수 있다. 그리고, 깊이 정보 획득부(160)는 상기 위상차이로부터 피사체(10)의 깊이 정보를 획득할 수 있다.
이상에서 도 1 내지 도 17을 참조하여 예시적인 실시예들에 따른 깊이 영상 촬영장치와, 깊이 영상 촬영방법 및 깊이 영상 촬영장치용 룩업 테이블 생성방법에 관하여 설명하였다. 전술한 실시예들에 따르면, 광 셔터(130)의 온도 변화에 따른 광 셔터(130)의 동작변화를 고려하여 광 셔터(130) 및 광원(120)에 인가되는 구동전압들(Vd1, Vd2)을 효과적으로 제어함으로써 획득되는 깊이 영상의 신뢰도를 높일 수 있다. 또한, 광원(120)과 피사체(10) 사이의 거리에 따라 광원(120)의 광 출력량을 효과적으로 제어할 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
100: 깊이 영상 촬영장치
110 : 제어부
120 : 광원
130 : 광 셔터
140 : 구동부
150 : 온도 측정부
160 : 깊이 정보 획득부
RLIT: 반사광
Vbias: 바이어스 전압

Claims (30)

  1. 피사체에 광을 조사하는 광원;
    상기 피사체에서 반사된 반사광이 진행하는 경로에 마련되어 상기 반사광의 투과율을 변화시킴으로써 상기 반사광의 파형을 변조하는 광 셔터(optical shutter);
    상기 광원 및 상기 광 셔터에 구동 전압들을 인가하는 구동부 ;
    상기 광 셔터의 온도를 측정하는 온도 측정부;
    상기 온도 측정부에서 측정된 온도에 기초하여 상기 광원 및 상기 광 셔터에 인가되는 상기 구동전압들을 제어하는 제어부; 및
    상기 광 셔터를 통과한 상기 반사광을 촬영하여 상기 광원으로부터 상기 피사체에 조사되는 광과 상기 반사광 사이의 위상차이를 추출하고, 상기 위상차이에 근거하여 상기 피사체의 깊이 정보를 획득하는 깊이 정보 획득부;를 포함하는 깊이 영상 촬영장치.
  2. 제 1 항에 있어서,
    상기 구동부는 상기 제어부에 의해 상기 광 셔터에 인가하는 구동 전압을 변화시킴으로써 상기 광 셔터의 투과율을 변화시키는 깊이 영상 촬영장치.
  3. 제 2 항에 있어서,
    상기 구동부는 상기 광 셔터에 인가되는 구동 전압이 바이어스 전압을 중심으로 진동하도록 하는 깊이 영상 촬영장치.
  4. 제 3 항에 있어서,
    상기 제어부는, 상기 온도 측정부에서 측정된 상기 광 셔터의 온도에 기초하여 상기 바이어스 전압을 제어하는 깊이 영상 촬영장치.
  5. 제 4 항에 있어서,
    상기 제어부는, 상기 온도 측정부에서 측정된 상기 광 셔터의 온도에 기초하여 상기 광 셔터에 인가되는 구동 전압의 진폭 크기를 제어하는 깊이 영상 촬영장치.
  6. 제 1 항에 있어서,
    상기 구동부는 상기 광원에 인가하는 구동 전압을 변화시킴으로써 상기 피사체에 조사되는 광의 파장 및 세기 중 적어도 하나를 변화시키는 깊이 영상 촬영장치.
  7. 제 6 항에 있어서,
    상기 제어부는 상기 깊이 정보 획득부에서 획득된 상기 피사체의 깊이 정보에 따라 상기 광원에 인가되는 구동 전압의 크기가 달라지도록 상기 구동부를 제어하는 깊이 영상 촬영장치.
  8. 제 1 항에 있어서,
    상기 제어부에는 상기 구동부를 제어하기 위한 제어변수들을 호출하는 룩업 테이블(Lookup table)이 내장된 깊이 영상 촬영장치.
  9. 제 8 항에 있어서,
    상기 룩업 테이블에는 상기 광 셔터의 온도 및 상기 피사체와 상기 광원 사이의 거리에 기초한 복수의 샘플링 포인트(sampling point)에 의해 결정되는 상기 제어변수들이 저장되는 깊이 영상 촬영장치.
  10. 제 9 항에 있어서,
    상기 제어변수들은 상기 광 셔터의 구동 전압에 대한 바이어스 전압을 포함하는 깊이 영상 촬영장치.
  11. 제 10 항에 있어서,
    상기 구동부는 상기 광 셔터에 인가하는 전압의 크기가 바이어스 전압을 중심으로 진동하도록 하는 깊이 영상 촬영장치.
  12. 제 11 항에 있어서,
    상기 제어변수들은 상기 광 셔터에 인가되는 전압의 진동 폭을 포함하는 깊이 영상 촬영장치.
  13. 제 9 항에 있어서,
    상기 제어변수들은 상기 광원에 인가되는 전압의 크기를 포함하는 깊이 영상 촬영장치.
  14. 제 9 항에 있어서,
    상기 제어변수들은 상기 광 셔터의 동작 특성을 고려하여 상기 깊이 정보 획득부에서 얻어진 상기 피사체의 깊이 정보를 보정하기 위한 보정값을 포함하고,
    상기 깊이 정보 획득부는, 상기 제어부로부터 전송받은 상기 보정값을 이용하여 상기 피사체의 깊이 정보를 보정하는 깊이 영상 촬영장치.
  15. 제 9 항에 있어서,
    상기 광 셔터 및 상기 광원의 누적 작동시간을 측정하는 작동시간 측정부;를 더 포함하고,
    상기 제어변수들은 상기 누적 작동시간에 대응하여 변화되도록 설정되는 깊이 영상 촬영장치.
  16. 제 1 항에 있어서,
    상기 광원은 복수개의 광을 소정의 유휴 시간(idle time) 두고 상기 피사체에 순차적으로 조사하고,
    상기 깊이 정보 획득부는, 상기 복수개의 광이 상기 피사체에 반사되어 상기 광 셔터를 통과하면서 변조된 광들의 세기를 측정함으로써 상기 광원으로부터 출사되는 광과 상기 반사광 사이의 위상차이를 추출하는 깊이 영상 촬영장치.
  17. 깊이 영상 촬영장치의 광 셔터의 온도 및 광원과 피사체 사이의 거리에 따라 상기 깊이 영상 촬영장치의 동작을 제어하기 위한 룩업 테이블을 생성하는 방법으로서,
    상기 광 셔터의 온도 및 상기 광원과 피사체 사이의 거리에 대응하여 복수의 샘플링 포인트를 결정하는 단계; 및
    상기 샘플링 포인트들 각각에 대해서 상기 피사체의 깊이 정보를 반복 측정함으로써 상기 깊이 영상 촬영장치의 동작과 관련된 제어변수들을 결정하는 단계;를 포함하는 깊이 영상 촬영장치의 룩업 테이블 생성방법.
  18. 제 17 항에 있어서,
    상기 제어변수들은 상기 광 셔터의 구동 전압에 대한 바이어스 전압을 포함하는 깊이 영상 촬영장치의 룩업 테이블 생성방법.
  19. 제 18 항에 있어서,
    상기 제어변수들은 상기 바이어스 전압을 중심으로 하여 상기 광 셔터에 인가되는 전압이 진동하는 진동 폭을 포함하는 깊이 영상 촬영장치의 룩업 테이블 생성방법.
  20. 제 17 항에 있어서,
    상기 제어변수들은 상기 광원에 인가되는 구동전압의 크기를 포함하는 깊이 영상 촬영장치의 룩업 테이블 생성방법.
  21. 제 17 항에 있어서,
    상기 제어변수들을 결정하는 단계는,
    상기 샘플링 포인트들 각각에 대응하는 상기 제어변수들을 변화시켜가면서 상기 피사체의 깊이 정보를 반복 측정하여, 측정되는 상기 깊이 정보의 편차를 최소화 시키는 조건에서 상기 제어변수들을 결정하는 깊이 영상 촬영장치의 룩업 테이블 생성방법.
  22. 제 17 항에 있어서,
    상기 광 셔터 및 상기 광원의 누적 작동시간에 따라 상기 샘플링 포인트들 각각에 대응되는 상기 제어변수의 변화 값을 저장하는 단계;를 포함하는 깊이 영상 촬영장치의 룩업 테이블 생성방법.
  23. 광원을 이용하여 피사체에 광을 조사하는 단계;
    광 셔터를 이용하여 상기 피사체에서 반사된 반사광의 투과율을 변화시킴으로써 상기 반사광의 파형을 변조하는 단계;
    상기 광 셔터의 온도를 측정하는 단계;
    상기 광 셔터의 온도 값에 기초하여 상기 광 셔터 및 상기 광원에 인가되는 구동전압들을 인가하는 구동부를 제어하는 단계; 및
    상기 광 셔터를 통과한 상기 반사광의 세기를 측정하여 상기 광원으로부터 상기 피사체에 조사되는 광과 상기 반사광 사이의 위상차이를 추출하고, 상기 위상차이에 근거하여 상기 피사체의 깊이 정보를 획득하는 단계;를 포함하는 깊이 영상 촬영방법.
  24. 제 23 항에 있어서,
    상기 구동부는 상기 광 셔터에 인가하는 전압의 크기가 바이어스 전압을 중심으로 진동하도록 하는 깊이 영상 촬영방법.
  25. 제 24 항에 있어서,
    상기 구동부를 제어하는 단계는, 상기 광 셔터의 온도를 측정하는 단계에서 측정된 상기 광 셔터의 온도에 기초하여 상기 바이어스 전압 및 상기 구동 전압의 진폭 크기를 제어하는 깊이 영상 촬영방법.
  26. 제 23 항에 있어서,
    상기 구동부를 제어하는 단계는, 상기 깊이 정보를 획득하는 단계에서 획득된 상기 피사체의 깊이 정보에 따라 상기 광원에 인가되는 구동 전압의 크기가 달라지도록 상기 구동부를 제어하는 깊이 영상 촬영방법.
  27. 제 23 항에 있어서,
    상기 구동부를 제어하는 단계는, 룩업 테이블로부터 상기 구동부를 제어하기 위한 제어변수들을 호출하는 단계 및 상기 제어변수들에 따라 상기 구동부를 제어하는 단계를 포함하는 깊이 영상 촬영방법.
  28. 제 27 항에 있어서,
    상기 룩업 테이블에는 상기 광 셔터의 온도 및 상기 피사체와 상기 광원 사이의 거리에 기초한 복수의 샘플링 포인트에 의해 결정되는 상기 제어변수들이 저장되는 깊이 영상 촬영방법.
  29. 제 27 항에 있어서,
    상기 광 셔터 및 상기 광원의 누적 작동시간을 측정하는 작동시간 측정하는 단계;를 더 포함하고,
    상기 제어변수들은 상기 누적 작동시간에 대응하여 변화되도록 설정되는 깊이 영상 촬영방법.
  30. 제 25 항에 있어서,
    상기 피사체에 광을 조사하는 단계는, 복수개의 광을 소정의 유휴 시간(idle time) 두고 상기 피사체에 순차적으로 조사하고,
    상기 피사체의 깊이 정보를 획득하는 단계는, 상기 복수개의 광이 상기 피사체에 반사되어 상기 광 셔터를 통과하면서 변조된 광들의 세기를 측정함으로써 상기 광원으로부터 출사되는 광과 상기 반사광 사이의 위상차이를 추출하는 깊이 영상 촬영방법.
KR1020150150476A 2015-10-28 2015-10-28 깊이 영상 촬영장치 및 방법 KR102372087B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150150476A KR102372087B1 (ko) 2015-10-28 2015-10-28 깊이 영상 촬영장치 및 방법
US15/196,710 US10264240B2 (en) 2015-10-28 2016-06-29 Method and apparatus for generating depth image
EP16194853.4A EP3163317B1 (en) 2015-10-28 2016-10-20 Method and apparatus for generating depth image
CN201610972498.7A CN107018295B (zh) 2015-10-28 2016-10-28 用于产生深度图像的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150150476A KR102372087B1 (ko) 2015-10-28 2015-10-28 깊이 영상 촬영장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170049274A KR20170049274A (ko) 2017-05-10
KR102372087B1 true KR102372087B1 (ko) 2022-03-08

Family

ID=57256057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150150476A KR102372087B1 (ko) 2015-10-28 2015-10-28 깊이 영상 촬영장치 및 방법

Country Status (4)

Country Link
US (1) US10264240B2 (ko)
EP (1) EP3163317B1 (ko)
KR (1) KR102372087B1 (ko)
CN (1) CN107018295B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107607957B (zh) * 2017-09-27 2020-05-22 维沃移动通信有限公司 一种深度信息获取系统及方法、摄像模组和电子设备
CN109031252B (zh) * 2018-08-22 2020-12-18 Oppo广东移动通信有限公司 标定方法、标定控制器及标定系统
KR102562361B1 (ko) 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
KR102553487B1 (ko) * 2018-10-26 2023-07-07 엘지전자 주식회사 카메라, 및 이를 구비하는 단말기
JP7151519B2 (ja) * 2019-02-01 2022-10-12 株式会社デンソーウェーブ 距離画像測定装置
CN112363181B (zh) * 2019-07-26 2024-04-05 现代摩比斯株式会社 车辆的激光雷达装置、激光雷达传感器控制装置及方法
US10996483B1 (en) * 2019-12-24 2021-05-04 Himax Technologies Limited Structured light projector and method for structured light projection using the same
CN113156458A (zh) * 2020-01-03 2021-07-23 华为技术有限公司 一种tof深度传感模组和图像生成方法
US20220394221A1 (en) * 2021-06-08 2022-12-08 Himax Technologies Limited Structured-light scanning system with thermal compensation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090116850A1 (en) * 2007-10-29 2009-05-07 Cubic Corporation Resonant quantum well modulator driver
US20090220256A1 (en) * 2008-02-28 2009-09-03 Hiroyuki Suhara Electrostatic latent image measuring device
US20130021325A1 (en) * 2011-07-22 2013-01-24 Bo-Ram Kim Three-dimensional image display device and a driving method thereof
US20130050426A1 (en) * 2011-08-30 2013-02-28 Microsoft Corporation Method to extend laser depth map range
US20140098192A1 (en) * 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Imaging optical system and 3d image acquisition apparatus including the imaging optical system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7616877B2 (en) * 2004-08-25 2009-11-10 Panavision Imaging, Llc Method and apparatus for controlling a lens, and camera module incorporating same
US7603041B2 (en) 2005-06-09 2009-10-13 Cubic Corporation Temperature compensated dynamic optical tag modulator system and method
JP2008058882A (ja) 2006-09-04 2008-03-13 Citizen Holdings Co Ltd カメラモジュール
EP1944622B1 (en) 2006-10-18 2013-04-10 Panasonic Corporation Spatial information detecting device
JP5320745B2 (ja) * 2008-01-11 2013-10-23 沖電気工業株式会社 キャリア抑圧光パルス列生成装置及びキャリア抑圧光パルス列生成方法
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
KR101697519B1 (ko) 2010-09-08 2017-01-19 삼성전자주식회사 깊이 센싱 장치 및 방법
KR20120026204A (ko) 2010-09-09 2012-03-19 (주)세미솔루션 광 발생 장치 및 그의 제어 방법
JP2012120764A (ja) 2010-12-10 2012-06-28 Fujifilm Corp 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
WO2012083968A1 (en) * 2010-12-21 2012-06-28 3Shape A/S Motion blur compensation
JP5477432B2 (ja) 2012-03-15 2014-04-23 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
US9653935B2 (en) * 2012-04-20 2017-05-16 Medtronic, Inc. Sensing temperature within medical devices
CN104871093B (zh) * 2012-12-19 2018-11-02 佳能株式会社 电子照相用定影构件、定影设备和电子照相图像形成设备
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR102056904B1 (ko) 2013-05-22 2019-12-18 삼성전자주식회사 3차원 영상 획득 장치 및 그 구동 방법
KR20130114032A (ko) 2013-08-30 2013-10-16 (주)세미솔루션 광 발생 장치 및 그의 제어 방법
KR102277900B1 (ko) * 2014-11-13 2021-07-15 삼성전자주식회사 3차원 이미지 센서 모듈을 포함하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090116850A1 (en) * 2007-10-29 2009-05-07 Cubic Corporation Resonant quantum well modulator driver
US20090220256A1 (en) * 2008-02-28 2009-09-03 Hiroyuki Suhara Electrostatic latent image measuring device
US20130021325A1 (en) * 2011-07-22 2013-01-24 Bo-Ram Kim Three-dimensional image display device and a driving method thereof
US20130050426A1 (en) * 2011-08-30 2013-02-28 Microsoft Corporation Method to extend laser depth map range
US20140098192A1 (en) * 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Imaging optical system and 3d image acquisition apparatus including the imaging optical system

Also Published As

Publication number Publication date
KR20170049274A (ko) 2017-05-10
US20170127047A1 (en) 2017-05-04
CN107018295B (zh) 2021-01-05
US10264240B2 (en) 2019-04-16
EP3163317A1 (en) 2017-05-03
EP3163317B1 (en) 2021-11-17
CN107018295A (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
KR102372087B1 (ko) 깊이 영상 촬영장치 및 방법
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR102056904B1 (ko) 3차원 영상 획득 장치 및 그 구동 방법
KR102040152B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US9696424B2 (en) Optical area monitoring with spot matrix illumination
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
US10760906B2 (en) Apparatus and method for obtaining three-dimensional depth image
KR102460659B1 (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
US20170184722A1 (en) Method and device for acquiring distance information
WO2020104296A2 (en) Time-of-flight light source, time-of-flight imaging sensor, time-of-flight device and method
US20210389465A1 (en) Electronic device, method and computer program
KR102101865B1 (ko) 카메라 장치
US11131772B2 (en) LiDAR device and method of operating the same
US10362294B2 (en) 3D camera and method of measuring transmittance using the same
JP2016502068A (ja) 奥行き撮像器のための光源駆動回路
KR102368105B1 (ko) 거리 정보 추출 장치 및 광학 기기
KR102389380B1 (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법
KR20220147899A (ko) 카메라 장치
US20180038946A1 (en) 3d depth sensor and method of measuring distance using the 3d depth sensor
EP4330714A1 (en) Time-of-flight system and time-of-flight methods
CN113424072A (zh) 飞行时间装置和方法
KR20230046736A (ko) 카메라 장치
KR20220115304A (ko) 레이저 방출 각도 가변 소자와 2차원 영상 획득 장치
KR20230160598A (ko) 카메라 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant