KR101955334B1 - 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 - Google Patents

3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 Download PDF

Info

Publication number
KR101955334B1
KR101955334B1 KR1020120012526A KR20120012526A KR101955334B1 KR 101955334 B1 KR101955334 B1 KR 101955334B1 KR 1020120012526 A KR1020120012526 A KR 1020120012526A KR 20120012526 A KR20120012526 A KR 20120012526A KR 101955334 B1 KR101955334 B1 KR 101955334B1
Authority
KR
South Korea
Prior art keywords
light
images
phase
different
waveform
Prior art date
Application number
KR1020120012526A
Other languages
English (en)
Other versions
KR20130091194A (ko
Inventor
박용화
유장우
윤희선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120012526A priority Critical patent/KR101955334B1/ko
Priority to US13/759,566 priority patent/US9123164B2/en
Publication of KR20130091194A publication Critical patent/KR20130091194A/ko
Application granted granted Critical
Publication of KR101955334B1 publication Critical patent/KR101955334B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 피사체의 깊이 정보를 추출하는 동시에 광원, 광변조기, 촬상소자 등에서 발생할 수 있는 불규칙 잡음(random noise)에 의한 오차를 효율적으로 제거할 수 있는 깊이 정보 추출 방법을 제공한다. 개시된 깊이 정보 추출 방법은 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 고려하여 거리 정보를 추출하고, 촬영된 영상들에 대해 단순한 곱셈 및 덧셈 연산과 1회의 룩업 테이블 검색을 수행하여 불규칙 잡음을 제거할 수 있다. 따라서, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있으며, 불규칙 잡음을 제거하는 데 필요한 메모리 사용량 및 연산량을 감소시킬 수 있다.

Description

3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 {3D image acquisition apparatus and method of extractig depth information in the 3D image acquisition apparatus}
개시된 실시예들은 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 관한 것으로, 더욱 상세하게는 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 피사체의 깊이 정보를 추출하는 동시에 광원, 광변조기, 촬상소자 등에서 발생할 수 있는 불규칙 잡음(random noise)에 의한 오차를 효율적으로 제거할 수 있는 깊이 정보 추출 방법에 관한 것이다.
최근, 깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 3D 카메라와 같은 3차원 영상 획득 장치가 연구되고 있다. 이러한 3D 카메라는 한번의 촬영으로 기존의 2차원 컬러 영상 정보와 함께 깊이(depth) 정보도 얻을 수 있어야 한다.
피사체의 표면들과 3D 카메라 사이의 거리에 관한 깊이 정보는, 두 대의 카메라를 이용한 양안 입체시(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 그러나 이러한 방법은 피사체의 거리가 멀어질수록 깊이 정보에 대한 정확도가 급격히 저하되고 피사체의 표면 상태에 의존적이어서 정밀한 깊이 정보를 얻기 어렵다.
이러한 문제를 개선하기 위하여 광시간비행법(Time-of-Flight; TOF)이 도입되었다. TOF 기술은 조명광을 피사체에 조사한 후, 피사체로부터 반사되는 광이 수광부에서 수광되기까지의 광 비행시간을 측정하는 방법이다. TOF 기술에 따르면, 발광 다이오드(LED) 또는 레이저 다이오드(LD)를 포함하는 조명 광학계를 이용하여 특정 파장의 빛(예컨대, 850nm의 근적외선)을 피사체에 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 수광부에서 수광한 후, 기지의 이득 파형을 갖는 변조기로 상기 수광된 빛을 변조하는 등 깊이 정보를 추출하기 위한 일련의 처리 과정을 거치게 된다. 이러한 일련의 광 처리 과정에 따라 다양한 TOF 기술이 소개되어 있다.
또한, TOF 기술의 깊이 정보 추출을 위한 광처리 과정에서, 광원과 광변조 소자를 펄스 구동하는 방법, 삼각형파(예컨대, 램프(ramp) 파형) 등의 특별한 파형을 이용하는 방법, 또는 사인파를 사용하는 방법 등이 소개되었다. 또한 각각의 사용 파형에 따라 광원과 광변조 소자의 다양한 구동 방법이 소개되어 있으며, 촬영된 세기 값으로부터 깊이 정보를 추출하기 위한 다양한 알고리즘이 소개되어 있다.
그런데, 상술한 TOF 방법의 경우, 다음의 2가지 요인에 의해 깊이 정보에 오차가 발생할 수 있다. 먼저, 광의 파형의 구조적인 왜곡(structural distortion)에 의한 오차이다. 통상적으로, 광의 파형은 펄스, 삼각형파, 사인파 등과 같은 이상적인 파형을 갖는 것으로 가정하고 깊이 정보를 추출한다. 그러나 실제로는, 광원 또는 광변조 소자의 작동 오차 및 비선형성 등으로 인하여 정확한 이상적인 파형의 구현이 어려울 수 있다. 이상적인 파형과 실제 사용된 파형 사이의 차이는 깊이 정보를 계산하는데 있어서 오차의 요인으로 작용한다. 또한, 실제의 광원, 광변조기, CCD와 같은 촬상소자 등에서는 전원의 불안정, 열, 외부의 전자기파 등과 같은 다양한 원인으로 인해 불규칙 잡음(random noise)이 항상 존재한다. 이러한 불규칙 잡음은 깊이 정보를 추출하는 과정에서 오차를 발생시키는 원인이 된다. 불규칙 잡음을 제거하기 위하여, 한 프레임의 시간 주기 내에서 다수의 영상들을 얻고, 상기 다수의 영상들을 평균하여 하나의 영상을 만드는 것이 통상적이다. 그러나 CCD와 같은 촬상소자는 수십만에서 수천만의 매우 많은 화소를 갖기 때문에 통상적인 평균화 방법의 경우, 메모리의 사용량 및 연산량이 기하급수적으로 증가할 수 있다.
수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 피사체의 깊이 정보를 추출하는 방법을 제공한다.
또한, 3차원 영상 획득 장치에서 사용되는 광원, 광변조기, 촬상소자 등에서 발생할 수 있는 불규칙 잡음(random noise)에 의한 오차를 효율적으로 제거할 수 있는 깊이 정보 추출 방법이 제공된다.
또한, 상기 방법을 채용하여 거리 정보를 추출할 수 있는 3차원 영상 획득 장치를 제공한다.
일 실시예에 따른 깊이 정보 추출 방법은, N개(여기서, N은 3 이상의 자연수)의 상이한 투사광을 피사체에 순차적으로 투사하는 단계; 피사체에서 반사된 N개의 반사광을 광변조 신호로 변조하는 단계; 상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계; 상기 N개의 영상들에 각각 제 1 가중치를 곱한 후 가중된 각각의 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성하고, 상기 N개의 영상들에 상기 제 1 가중치와 다른 제 2 가중치를 각각 곱한 후 가중된 각각의 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성하는 단계; 및 N개의 상이한 투사광과 광변조 신호를 미리 실측하여 구성한 룩업 테이블을 참조하여, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)를 기초로 피사체까지의 거리를 계산하는 단계;를 포함할 수 있다.
상기 N개의 상이한 투사광은 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파일 수 있다.
또한, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파일 수 있다.
예를 들어, 상기 투사광과 광변조 신호의 파형은 다수의 사인 및 코사인의 고차항의 합으로 나타낼 수 있는 사인파, 삼각파, 사각파, 구형파 및 이들을 조합한 일반적인 파형 중에서 적어도 하나를 가질 수 있다.
또한, 상기 제 1 가중 영상은 상기 N개의 영상들의 각각에 그에 각각 대응하는 제 1 가중치(A1~AN)를 곱한 후 가중된 각각의 영상들을 합산하여 생성되며, 상기 제 2 가중 영상은 상기 N개의 영상들의 각각에 그에 각각 대응하는 제 2 가중치(B1~BN)를 곱한 후 가중된 각각의 영상들을 합산하여 생성될 수 있다.
상기 제 1 및 제 2 가중치들은 N개의 상이한 투사광과 광변조 신호를 실측하여 미리 계산될 수 있다.
상기 N개의 투사광과 광변조 신호의 다수의 상이한 조합별로 각각 별도의 룩업 테이블이 존재할 수 있으며, 상기 피사체까지의 거리를 계산하는 단계는 상기 N개의 투사광과 광변조 신호의 실제 사용한 조합에 해당하는 룩업 테이블을 참조하는 것을 포함할 수 있다.
예를 들어, 상기 룩업 테이블은, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)에 대한 아크탄젠트 값과 위상 지연 사이의 관계를 정의하는 제 1 룩업 테이블; 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)에 대한 아크탄젠트 값과 상기 피사체까지의 거리 사이의 관계를 정의하는 제 2 룩업 테이블; 및 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)와 상기 피사체까지의 거리 사이의 관계를 정의하는 제 3 룩업 테이블; 중에서 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 룩업 테이블은, 상기 N개의 상이한 투사광과 상기 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계; 상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식을 이용하여 상기 N개의 영상에 관한 다항식을 구하는 단계; 상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계; 상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계; 상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계; 상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및 상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계;를 포함하는 방식으로 구성될 수 있다.
상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식은 실측 결과를 기초로 푸리에 분석을 통해 다수의 사인과 코사인의 고차항의 합으로 나타낼 수 있다.
또한, 상기 N개의 영상에 관한 다항식을 구하는 단계는, 상기 N개의 상이한 투사광이 피사체에서 반사된 후의 반사광에 관한 N개의 다항식을 상기 N개의 상이한 투사광에 관한 다항식으로부터 유도하는 단계; 상기 반사광에 관한 N개의 다항식과 상기 광변조 신호에 관한 다항식을 곱하여 광변조된 광에 대한 N개의 다항식을 구하는 단계; 및 상기 광변조된 광에 대한 N개의 다항식을 적분하여 상기 N개의 상이한 투사광에 각각 대응하는 N개의 영상에 관한 다항식을 구하는 단계;를 포함할 수 있다.
예를 들어, 상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계는, 상기 N개의 영상에 관한 다항식에 존재하는 직류 항만을 고려할 수 있다.
예를 들어, 상기 위상 벡터 함수는
Figure 112012010046345-pat00001
로 정의되며, 여기서
Figure 112012010046345-pat00002
이고(i, j = 1, 2, ..., N, i≠j),
F(i)(ΦTOF)는 i번째 투사광에 대한 위상 함수를 나타낼 수 있다.
또한, 상기 제 1 기준 벡터는
Figure 112012010046345-pat00003
로 정의되며 여기서
Figure 112012010046345-pat00004
이고,
상기 제 2 기준 벡터는
Figure 112012010046345-pat00005
로 정의되며, 여기서
Figure 112012010046345-pat00006
일 수 있다.
예를 들어, 상기 제 1 가중치는 상기 N개의 영상들에 각각 곱해지는 N개의 상이한 가중치 성분 A1~AN을 포함하며, 여기서
Figure 112012010046345-pat00007
이고,
상기 제 2 가중치는 상기 N개의 영상들에 각각 곱해지는 N개의 상이한 가중치 성분 B1~BN을 포함하며, 여기서
Figure 112012010046345-pat00008
일 수 있다.
또한, 상기 깊이 정보 추출 방법은, N개 미만의 상이한 투사광을 피사체에 더 투사하여 N개 미만의 신규 영상을 추가적으로 생성하는 단계; 가장 먼저 생성된 N개 미만의 기존 영상을 제거하는 단계; 남아 있는 N개의 영상들에 각각 제 1 및 제 2 가중치들을 곱하여 새로운 제 1 및 제 2 가중 영상을 생성하는 단계; 상기 새로운 제 1 가중 영상과 제 2 가중 영상의 비를 계산하는 단계; 및 상기 룩업 테이블을 참조하여, 상기 새로운 제 1 가중 영상과 제 2 가중 영상의 비를 기초로 피사체까지의 거리를 추가적으로 계산하는 단계;를 더 포함할 수 있다.
한편, 다른 실시예에 따른 깊이 정보 추출 방법은, N개(여기서, N은 3 이상의 자연수)의 동일한 투사광을 피사체에 순차적으로 투사하는 단계; N개의 상이한 광변조 신호로 상기 피사체에서 반사된 N개의 반사광을 각각 변조하는 단계; 상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계; 상기 N개의 영상들에 각각 제 1 가중치를 곱한 후 가중된 각각의 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성하고, 상기 N개의 영상들에 상기 제 1 가중치와 다른 제 2 가중치를 각각 곱한 후 가중된 각각의 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성하는 단계; 및 상기 투사광과 상기 N개의 상이한 광변조 신호를 미리 실측하여 구성한 룩업 테이블을 참조하여, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)를 기초로 피사체까지의 거리를 계산하는 단계;를 포함할 수 있다.
이 경우, 상기 룩업 테이블은, 상기 투사광과 상기 N개의 상이한 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계; 상기 투사광과 상기 N개의 상이한 광변조 신호의 파형에 관한 다항식을 이용하여 상기 N개의 영상에 관한 다항식을 구하는 단계; 상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계; 상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계; 상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계; 상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및 상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계를 포함하는 방식으로 구성될 수 있다.
또한, 상기 투사광과 상기 N개의 상이한 광변조 신호의 다수의 상이한 조합별로 각각 별도의 룩업 테이블이 존재할 수 있으며, 상기 피사체까지의 거리를 계산하는 단계는 상기 투사광과 상기 N개의 상이한 광변조 신호의 실제 사용한 조합에 해당하는 룩업 테이블을 참조하는 것을 포함할 수 있다.
또한, 본 발명의 일 유형에 따른 저장 매체는 상술한 방법으로 구성된 룩업 테이블을 저장할 수 있다.
또한, 본 발명의 일 유형에 따르면, 피사체를 향해 투사광을 투사하는 광원; 피사체로부터 반사된 반사광을 광변조 신호로 변조하는 광변조기; 상기 광변조기에 의해 변조된 광을 촬영하여 영상을 생성하는 촬상소자; 및 상기 촬상소자에서 생성된 영상을 이용하여 피사체와의 거리를 계산하기 위한 깊이 정보 영상 처리부;를 포함하는 3차원 영상 획득 장치가 제공될 수 있으며, 여기서 상기 깊이 정보 영상 처리부는 상술한 방법으로 깊이 정보를 추출할 수 있다.
상기 3차원 영상 획득 장치는, 상기 광원을 구동시켜 투사광의 파형을 제어하는 광원 구동부; 상기 광변조기를 구동시켜 광변조 신호의 이득 파형을 제어하는 광변조기 구동부; 및 상기 광원 구동부, 광변조기 구동부 및 촬상소자의 동작을 제어하기 위한 제어부;를 더 포함할 수 있다.
예를 들어, 상기 촬상소자는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토다이오드 어레이를 사용하거나 또는 단일 지점의 거리 측정을 위한 1개의 포토다이오드를 사용할 수도 있다.
또한, 상기 3차원 영상 획득 장치는, 상기 투사광과 광변조 신호를 미리 실측하여 구성한 상기 룩업 테이블 및 상기 투사광과 광변조 신호를 미리 실측하여 미리 계산되어 있는 상기 제 1 및 제 2 가중치들이 저장되어 있는 메모리를 더 포함할 수 있다.
개시된 깊이 정보 추출 방법에 따르면, 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 고려하여 거리 정보를 추출하기 때문에, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있다. 또한, 촬영된 영상들에 대해 단순 곱셈 및 덧셈 연산과 1회의 룩업 테이블 검색만으로 불규칙 잡음을 제거할 수 있기 때문에, 불규칙 잡음을 제거하는 데 필요한 메모리 사용량 및 연산량을 크게 감소시킬 수 있다. 따라서, 깊이 정보를 갖는 영상을 실시간으로 촬영하는 것이 가능하다. 또한, 파형의 왜곡이나 불규칙 잡음이 극도로 억제된 고가의 장비를 사용할 필요 없이, 기존의 광원, 광변조기, 촬상장치 등을 사용할 수 있으므로 추가 비용이 소요되지 않아서, 정밀한 3차원 영상 획득 장치를 비교적 저렴하게 제작할 수 있다.
도 1은 광시간비행법(TOF)을 이용하여 깊이 정보를 추출할 수 있는 3차원 영상 획득 장치의 예시적인 구조를 개략적으로 도시한다.
도 2는 광원에서 실제로 출력되는 출력광의 파형을 예시적으로 도시한다.
도 3은 광변조기의 실제 이득 파형을 예시적으로 도시한다.
도 4는 N개의 상이한 반사광을 변조한 후 촬상소자에서 N개의 상이한 영상을 생성하는 과정을 도시한다.
도 5는 하나의 동일한 투사광과 N개의 상이한 광변조 신호로 N개의 상이한 영상을 생성하는 과정을 도시한다.
도 6은 일 실시예에 따라 N개의 상이한 영상으로부터 깊이 정보를 추출하는 과정을 개략적으로 보인다.
도 7은 다른 실시예에 따라 N개의 상이한 영상으로부터 깊이 정보를 추출하는 과정을 개략적으로 보인다.
도 8은 4개의 투사광을 사용하는 경우에 위상 지연에 관한 이론적인 벡터 함수를 3차원 공간 상에 표시한 예를 도시한다.
도 9는 벡터 함수의 경사 각도와 깊이 사이의 관계에 관한 룩업 테이블을 예시적으로 도시하는 그래프이다.
도 10은 일 실시예에 따라 거리 정보를 추출하기 위한 방법을 설명하는 흐름도이다.
이하, 첨부된 도면들을 참조하여, 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.
도 1은 광시간비행법(TOF)을 이용하여 깊이 정보를 추출할 수 있는 일 실시예에 따른 3차원 영상 획득 장치(100)의 예시적인 구조를 개략적으로 도시하고 있다. 도 1을 참조하면, 일 실시예에 따른 3차원 영상 획득 장치(100)는 소정의 파장을 갖는 광을 발생시키는 광원(101), 상기 광원(101)을 구동시키기 위한 광원 구동부(102), 피사체(200)로부터 반사된 광을 광변조하기 위한 광변조기(103), 상기 광변조기(103)를 구동시키기 위한 광변조기 구동부(104), 광변조기(103)에 의해 광변조된 광으로부터 세기 영상(intensity image)을 생성하는 촬상소자(105), 촬상소자(105)에서 출력된 세기 영상을 기초로 깊이 정보를 계산하기 위한 깊이 정보 영상 처리부(depth image processor)(107), 및 상기 광원 구동부(102), 광변조기 구동부(104), 촬상소자(105), 깊이 정보 영상 처리부(107)의 동작을 제어하기 위한 제어부(106)를 포함할 수 있다. 또한, 광변조기(103)의 광입사면에는 반사광을 광변조기(103)의 영역 내에 집광하기 위한 제 1 렌즈(108)와 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 더 배치될 수 있다. 그리고, 광변조기(103)와 촬상소자(105) 사이에는 광변조된 영상을 촬상소자(105)의 영역 내에 집광하기 위한 제 2 렌즈(110)가 더 배치될 수 있다.
광원(101)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(102)는 제어부(106)로부터 수신된 제어 신호에 따라 광원(101)을 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(102)의 구동 신호에 따라, 광원(101)으로부터 피사체(200)로 투사되는 투사광은 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광은 사인파, 삼각파, 사각파, 구형파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 이들 조합한 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다. 이러한 투사광의 파형은 후술할 푸리에 분석을 위하여 예를 들어 다수의 사인 및 코사인의 고차항의 합으로 나타낼 수 있는 것을 사용할 수 있다.
그런데, 통상적으로 광원(101)은 그 자체의 동작 비선형성 및 신호 왜곡 등에 의해, 이상적인 파형을 구동신호로 입력하는 경우에도 이상적인 파형을 그대로 출력하지 않는다. 이는 깊이 정보를 추출하는데 있어서 오차의 요소로서 작용한다. 도 2는 광원(101)에서 실제로 출력되는 출력광의 파형을 예시하고 있다. 도 2에 도시된 바와 같이, 실제 출력광의 파형은 이상적인 사인파에 비하여 일그러져 있거나 약간의 DC 오프셋도 가질 수 있다. 본 실시예에 따른 3차원 영상 획득 장치(100)의 경우, 후술하는 바와 같이 실제의 출력 파형을 측정하고 그 측정 결과를 깊이 정보 계산에 적용한다. 따라서, 3차원 영상 획득 장치(100)는 왜곡이 있는 출력광을 그대로 이용할 수 있으므로, 고가의 파형 발생기나 고가의 광원을 사용하지 않는다. 또한, 3차원 영상 획득 장치(100)의 광원(101)은 단일한 파형이 아닌 사인파, 삼각파, 사각파, 구형파 등을 조합한 일반적인 파형을 갖는 광을 투사광으로서 출력할 수도 있다.
광변조기(103)는 피사체(200)로부터 반사된 광을 광변조기 구동부(104)의 제어에 따라 광변조한다. 광변조기 구동부(104)는 제어부(106)로부터 수신된 제어 신호에 따라 광변조기(103)를 구동시킨다. 예를 들어, 광변조기(103)는 광변조기 구동부(104)에 의해 제공된 소정의 파형을 갖는 광변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 광변조기(103)는 가변 이득을 갖는다. 광변조기(103)는 거리에 따른 빛의 위상차 또는 이동 시간을 식별하기 위해 수십~수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 광변조기(103)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등이 사용될 수 있다. 도 1에는 광변조기(103)가 투과형인 것으로 도시되어 있지만, 반사형 광변조기를 사용하는 것도 가능하다.
도 3은 광변조기(103)의 실제 광변조 신호의 파형, 즉 투과율의 시간축 파형을 예시적으로 도시하고 있다. 광변조기(103)의 동작 주파수는 광원(101)의 동작 주파수와 같도록 구성될 수 있다. 도 3에 예시적으로 도시된 바와 같이, 광원(101)과 마찬가지로 광변조기(103)도 역시 비선형성과 DC-오프셋을 가질 수 있다. 따라서, 광변조기(103)의 실제 이득 파형에는 이상적인 광변조기의 이득 파형과 달리 왜곡이 존재하게 된다. 이러한 광변조기(103)의 이득 파형의 왜곡도 역시 오차의 원인이 된다. 본 실시예에 따른 3차원 영상 획득 장치(100)의 경우, 후술하는 바와 같이 광변조기(103)의 실제 이득 파형을 측정하고, 그 측정 결과를 깊이 정보 계산에 반영한다. 따라서, 본 실시예에 따른 3차원 영상 획득 장치(100)는 왜곡이 존재하는 일반적인 광변조기를 그대로 이용할 수 있다. 또한, 광변조기(103)의 이득 파형은 사인파 형태뿐만 아니라 다양한 형태의 일반적인 다른 파형을 가질 수도 있다. 이러한 광변조 신호의 이득 파형도 역시, 후술할 푸리에 분석을 위하여 다수의 사인 및 코사인의 고차항의 합으로 나타낼 수 있는 것을 사용할 수 있다.
촬상소자(105)는 광변조기(103)에 의해 광변조된 반사광을 제어부(106)의 제어에 따라 검출하여 세기 영상을 생성하는 역할을 한다. 만약 피사체(200)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 촬상소자(105)는 예를 들어 포토다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체(200) 상의 다수의 점들까지의 거리들을 동시에 측정하고자 하는 경우, 촬상소자(105)는 다수의 포토다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 촬상소자(105)는 2차원 어레이를 갖는 CCD 이미지 센서 또는 CMOS 이미지 센서일 수도 있다. 깊이 정보 영상 처리부(107)는 촬상소자(105)의 출력을 기초로, 후술할 깊이 정보 추출 알고리즘에 따라 깊이 정보를 계산하는 역할을 한다. 깊이 정보 영상 처리부(107)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 3차원 영상 획득 장치(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 깊이 정보 영상 처리부(107)는 별도의 이동 가능한 저장 매체에 저장될 수도 있다.
이하에서는, 상술한 구조를 갖는 3차원 영상 획득 장치(100)의 동작을 개략적으로 설명한다.
먼저, 광원(101)은 제어부(106) 및 광원 구동부(102)의 제어에 따라 소정의 주기 및 파형을 갖는 N개의 상이한 투사광을 차례로 피사체(200)에 투사한다. 여기서 N은 3 이상의 자연수일 수 있다. 예를 들어, 4개의 상이한 투사광을 사용하는 경우, 시간 T1 동안 투사광1을 발생시켜 피사체(200)에 투사하고, 다음의 시간 T2 동안 투사광2를 발생시켜 피사체(200)에 투사하고, 시간 T3 동안 투사광3을 발생시켜 피사체(200)에 투사하고, 이어서 시간 T4 동안 투사광4를 피사체(200)에 투사할 수 있다. 이렇게 피사체(200)에 순차적으로 투사되는 투사광들은 사인파와 같은 특정 주기를 갖는 파형을 가질 수 있다. 예를 들어, 투사광1-4는 동일한 주기를 가지면서 파형, 크기 또는 위상만이 서로 다른 주기파(periodic wave)일 수 있다. 본 실시예의 경우, 실제 투사되는 투사광의 파형을 실측하여 깊이 정보를 계산하기 때문에, 투사광의 파형의 형태 및 주기와 위상의 크기에는 특별한 제한이 없다. 다만, 모든 투사광들은 동일한 주기를 가질 수 있다.
피사체(200)에 투사된 투사광은 피사체(200)의 표면에서 반사된 후, 제 1 렌즈(108)로 입사한다. 일반적으로 피사체(200)는 3차원 영상 획득 장치(100)로부터의 거리, 즉 깊이(depth)가 서로 다른 다수의 표면들을 갖는다. 도 1에는 설명의 단순화를 위하여 깊이가 서로 다른 5개의 표면(P1~P5)을 갖는 피사체(200)가 예시적으로 도시되어 있다. 깊이가 상이한 5개의 표면(P1~P5)에서 각각 투사광이 반사되면서, 상이하게 시간 지연된(즉, 위상이 상이한) 5개의 반사광이 각각 발생한다. 예를 들어, 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광1이 발생하며, 투사광2가 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광2가 발생하고, 마찬가지로 투사광N도 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광N이 발생한다. 3차원 영상 획득 장치(100)로부터의 거리가 가장 먼 표면(P1)에서 반사된 반사광은 3차원 영상 획득 장치(100)로부터의 거리가 가장 가까운 표면(P5)에서 반사된 반사광보다 긴 시간 지연 후 제 1 렌즈(108)에 도달할 것이다.
제 1 렌즈(108)는 반사광을 광변조기(103)의 영역 내에 포커싱한다. 제 1 렌즈(108)와 광변조기(103) 사이에는 사용 파장 이외의 배경광이나 잡광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 예를 들어, 광원(101)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 상기 필터(109)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 광변조기(103)에 입사하는 광은 광원(101)으로부터 방출되어 피사체(200)에서 반사된 광이 지배적일 수 있다. 도 1에는 제 1 렌즈(108)와 광변조기(103) 사이에 필터(109)가 배치된 것으로 도시되어 있지만, 제 1 렌즈(108)와 필터(109)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(109)를 먼저 통과한 근적외선광이 제 1 렌즈(108)에 의해 광변조기(103)로 포커싱될 수도 있다.
그러면, 광변조기(103)는 소정의 파형을 갖는 광변조 신호로 반사광을 변조한다. 광변조기(103)에서의 이득 파형의 주기는 투사광의 파형 주기와 동일할 수 있다. 본 실시예의 경우, 광변조기(103)의 실제 이득 파형을 실측하여 깊이 정보를 계산하기 때문에, 광변조기(103)의 파형의 형태에는 특별한 제한이 없다. 도 1에 도시된 예에서, 광변조기(103)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 반사광1을 광변조하여 촬상소자(105)에 제공하고, 이어서 5개의 반사광2 내지 5개의 반사광N을 차례로 광변조하여 촬상소자(105)에 제공할 수 있다.
광변조기(103)에 의해 크기가 변조된 변조된 광은 제 2 렌즈(110)를 통과하면서 배율 조정 및 재포커싱된 후 촬상소자(105)에 도달한다. 따라서, 변조된 광은 제 2 렌즈(110)에 의해 촬상소자(105)의 영역 내에 집광된다. 촬상소자(105)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 세기 영상을 생성한다. 예를 들어 촬상소자(105)는, 도 4에서 (A)로 표시된 바와 같이, 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광1을 소정의 노출 시간 동안 수광하여 세기 영상1을 생성한다. 이러한 세기 영상1은 예를 들어 흑백(BW)으로만 표현된 영상일 수 있다. 이어서, 도 4에서 (B)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광2를 소정의 노출 시간 동안 수광하여 세기 영상2를 생성한다. 이와 같은 과정을 반복하면서 마지막으로, 도 4에서 (C)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광N을 소정의 노출 시간 동안 수광하여 세기 영상N을 생성한다. 이러한 방식으로, 도 4에서 (D)로 표시된 바와 같이, N 개의 상이한 세기 영상들을 순차적으로 얻을 수 있다. 이렇게 얻은 각각의 세기 영상1~N은 깊이 정보를 갖는 한 프레임의 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. 예를 들어, 한 프레임의 주기를 Td라고 한다면, N개의 세기 영상1~N의 각각을 얻기 위한 촬상소자(105)에서의 노출 시간은 대략적으로 Td/N일 수 있다.
다시 도 4의 (A)를 참조하면, 첫번째 서브 프레임에서, 광원(101)으로부터 피사체(200)에 투사된 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되어 5개의 반사광1이 생성된다. 5개의 반사광1은 광변조기(103)에 의해 변조된 후 촬상소자(105)에 도달한다. 도 4에는, 설명의 용이함을 위해 촬상소자(105)가 5개의 표면(P1~P5)에 각각 대응하는 5개의 화소만을 갖는 것으로 도시되어 있다. 그러나 실제의 촬상소자(105)는 매우 많은 수의 화소들이 2차원 배열될 수 있다. 도 4에 예에서, 5개의 반사광1은 대응하는 5개의 화소에 각각 입사할 수 있다. 도 4의 (A)에 도시된 바와 같이, 각각의 표면(P1~P5)에서 반사된 5개의 반사광1은 3차원 영상 획득 장치(100)로부터 표면(P1~P5)까지의 거리에 따라 상이한 위상 지연(ΦP1~ΦP5)을 각각 갖는다. 촬상소자(105)는 예컨대 대략 Td/N의 노출 시간 동안 반사광1을 촬영하여 세기 영상1을 생성할 수 있다. 위와 동일한 방식으로, 두 번째 서브 프레임부터 N번째 서브 프레임까지 세기 영상2 내지 세기 영상N이 생성될 수 있다. 도 4의 (B) 및 (C)에 도시된 바와 같이, 2~N번째 서브 프레임에서도 깊이가 다른 5개의 표면(P1~P5)으로부터 상이한 위상 지연(ΦP1~ΦP5)이 발생한다.
도 4에서는 N개의 상이한 투사광과 반사광을 사용하여 서로 다른 N개의 세기 영상을 생성하는 경우에 대해 설명하였다. 그러나, 모든 서브 프레임에서 동일한 투사광을 사용하고, 각각의 서브 프레임마다 광변조기(103)가 상이한 이득 파형으로 반사광을 변조하는 것도 가능하다. 도 5는 하나의 동일한 투사광과 N개의 상이한 이득 파형으로 N개의 상이한 세기 영상을 생성하는 과정을 도시하고 있다. 도 5를 참조하면, 피사체(200)로부터 반사된 반사광은 모든 서브 프레임에서 동일한 파형과 위상을 갖는다. 각 서브 프레임의 반사광에는 앞서 설명한 바와 같이 피사체(200)의 표면(P1~P5)에 따라 상이한 위상 지연(ΦP1~ΦP5)들이 존재한다. 도 5의 (A)~(C)에 각각 도시된 바와 같이, 첫 번째 서브 프레임에서 광변조기(103)는 광변조 신호1로 반사광을 변조하며, 두 번째 서브 프레임에서 광변조기(103)는 광변조 신호1과 다른 광변조 신호2로 반사광을 변조하고, N 번째 서브 프레임에서 광변조기(103)는 또 다른 광변조 신호N으로 반사광을 변조한다. 여기서, 광변조 신호1~N은 완전히 서로 다른 파형의 신호일 수도 있지만, 주기와 파형은 동일하고 단지 위상만이 다른 신호일 수도 있다. 그러면, 도 5의 (D)에 각각 도시된 바와 같이, 서로 다른 N개의 세기 영상1~N을 얻을 수 있다.
상술한 방식으로 얻은 N개의 세기 영상들은 깊이 정보 영상 처리부(107)로 전달된다. 깊이 정보 영상 처리부(107)는 상기 N개의 세기 영상들을 이용하여 후술할 알고리즘에 따라 깊이 정보를 추출할 수 있다. 도 6은 N개의 세기 영상으로 깊이 정보를 추출하는 과정을 개략적으로 도시하고 있다. 예를 들어, 도 6에 도시된 바와 같이, N개의 세기 영상들에 각각 가중치 A1~AN을 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성한다. 그리고, 동일한 N개의 세기 영상들에 또 다른 가중치 B1~BN을 각각 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성한다. 그런후, 제 1 가중 영상(U)과 제 2 가중 영상(V)과의 비율(V/U)에 대한 아크탄젠트 θ = tan-1(V/U) 값을 구한다.
깊이 정보 영상 처리부(107)는, θ와 실제 깊이 사이의 관계에 관한 정보를 미리 담고 있는 룩업 테이블을 참조하여, 이렇게 구해진 θ 값으로부터 깊이 정보를 추출할 수 있다. 다른 실시예에서는, θ 값을 구하지 않고, 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비율(V/U)과 실제 깊이 사이의 관계에 관한 정보를 미리 담고 있는 룩업 테이블로부터 깊이 정보를 추출하는 것도 가능하다. 후술하는 바와 같이, 최적의 가중치 A1~AN과 B1~BN의 값은 사용된 투사광 및 광변조 신호의 파형과 세기 영상의 개수 N에 따라 미리 계산되어 정해질 수 있다. 따라서, 본 실시예에 따르면, 복잡한 평균화 알고리즘을 수행하지 않고도, 간단한 곱셈 및 덧셈 연산과 룩업 테이블의 참조만으로도 불규칙 잡음이 제거된 정확한 깊이 정보를 구하는 것이 가능하다. 가중치를 구하는 방법과 룩업 테이블을 생성하기 위한 알고리즘에 대해서는 이후에 보다 상세하게 설명한다.
도 6에 도시된 실시예는, N개의 서브 프레임 영상들을 모두 얻은 후 한 프레임의 영상에 대한 깊이 정보를 추출하고, 그 다음에 다시 N개의 새로운 서브 프레임 영상들을 모두 얻은 후 다음 프레임의 영상에 대한 깊이 정보를 추출하는 방식이다. 그러나, 다른 실시예에 따르면, 매 서브 프레임마다 깊이 정보를 새로 갱신하는 것도 가능하다. 예를 들어, 도 7을 참조하면, 최초 N개의 서브 프레임에서 얻은 N개의 세기 영상으로부터 깊이 정보를 추출하는 방식은 도 6에 도시된 방식과 같다. 그런 후, N+1 번째 서브 프레임에서 세기 영상N+1을 얻게 되면, 첫번째 세기 영상1을 제거하고 세기 영상2 내지 세기 영상N+1을 이용하여 상술한 가중 방식으로 깊이 정보를 새로 추출할 수 있다. 마찬가지로, N+2 번째 서브 프레임에서 세기 영상N+2를 얻게 되면, 세기 영상2를 제거하고 세기 영상3 내지 세기 영상N+2를 이용하여 깊이 정보를 새로 추출할 수 있다. 도 7에 도시된 바와 같이, 이렇게 선입 선출(FIFO) 방식으로 메모리 내에 N개의 세기 영상들을 유지하면서, 매 서브 프레임마다 새로운 깊이 정보를 추출하는 것도 가능하다. 도 7에서는 새로운 세기 영상을 하나씩 추가하는 동시에 기존의 세기 영상을 하나씩 제거하는 예가 도시되어 있으나, 다수의 새로운 세기 영상을 추가하는 동시에 같은 수의 기존 세기 영상을 제거하는 것도 가능하다. 예를 들어, N개 미만의 신규 세기 영상을 추가하고, 동일한 수의 가장 오래된 세기 영상을 제거하면서 전체적으로 N개의 세기 영상을 유지할 수도 있다.
이하에서는, N개의 세기 영상들을 이용하여 깊이 정보 영상 처리부(107)가 깊이 정보를 추출하는 구체적인 알고리즘에 대해 상세하게 설명한다.
이하에서 설명하는 깊이 정보 추출 알고리즘의 개요는, 광원(101)에서 방출된 투사광의 실제 파형과 광변조기(103)의 실제 이득 파형을 측정 및 분석하여 푸리에 급수로 나타내고, 이러한 푸리에 급수를 이용하여 수학적 모델을 세운 다음, 이를 기초로 상술한 제 1 및 제 2 가중 영상과 깊이 사이의 이론적인 관계를 결정하여 룩업 테이블을 구성하고, 실제 촬영하여 얻은 세기 영상을 룩업 테이블과 비교하여 깊이 정보를 실시간으로 추출하는 것이다.
이하의 이론적인 설명은, 도 4에 도시된 바와 같이, 광원(101)이 N개의 상이한 투사광을 피사체(200)에 투사하고 및 광변조기(103)은 하나의 동일한 광변조 신호를 사용하는 실시예를 위주로 기술된다. 그러나 하나의 동일한 투사광과 N개의 상이한 광변조 신호를 사용하는 경우에도 이하의 이론적인 설명은 동일하게 적용될 수 있다. 또한, 촬상소자(105)의 출력이 2차원 어레이 영상인 경우라도, 각각의 화소에 적용되는 깊이 정보 추출 방법은 동일하므로, 하나의 화소에 적용되는 방법만을 설명한다. 다만, 2차원 어레이 영상에서 다수의 화소로부터 깊이 정보를 동시에 추출하는 경우에, 데이터 관리 및 메모리 할당 등을 효율적으로 처리하여 중복 처리되는 부분을 생략함으로써 계산양을 줄일 수도 있을 것이다.
먼저, 주기 Tmod를 갖는 일반적인 투사광의 파형을 분석하여 다항식으로 나타낼 수 있다. 예를 들어, 아래의 수학식(1)과 같이, 푸리에 분석을 통해 다수의 사인과 코사인의 고차항의 합으로 투사광의 파형을 나타낼 수도 있으며, 또는 체비셰프 다항식(Chebyshev polynomial)과 같은 일반적인 다항식으로 나타낼 수도 있다. 이하에서는 투사광의 파형을 푸리에 급수로 나타내는 경우를 중심으로 설명한다.
Figure 112012010046345-pat00009
여기서, s는 서로 다른 투사광1 내지 투사광N을 구분하는 식별자이다. 예를 들어, N개의 투사광을 사용하는 경우에 s = 1,2,...,N이다. ω는 투사광의 파형의 각주파수로서 ω=2π/Tmod의 관계를 갖는다. 또한, ak (s)는 투사광 (s)의 k차 고조파의 사인항의 계수이며, bk (s)는 투사광 (s)의 k차 고조파의 코사인항의 계수이다. 상기 계수 ak (s)와 bk (s)는 광원(101)의 광출력을 직접 계측하여 얻을 수 있다. 예를 들어, 광원(101)에서 방출된 투사광의 파형을 측정하고, 측정된 파형에 대한 고속 푸리에 변환(FFT) 등과 같은 푸리에 변환을 통해 주파수 성분을 파악하여 상기 계수들을 구할 수 있다. 그리고, Φ(s)는 투사광 (s)의 위상이며 PDC는 투사광에 존재할 수 있는 DC 오프셋 값이다. 최고차항의 차수 m은 광원(101)에서 출력된 투사광의 파형 계측치를 적절히 표현할 수 있도록 충분히 크게 잡을 수 있다. 실제 깊이 정보를 추출하는 과정에서는 미리 계산된 룩업 테이블을 사용하기 때문에, 차수 m의 크기와 상관 없이 깊이 정보의 계산 속도는 동일할 수 있다.
예컨대, 도 2에 도시된 4개의 투사광의 경우, Tmod = 50ns, m = 5, PDC = 0.5W이며, 각 차수의 계수는 아래와 같을 수 있다.
(a1, a2, a3, a4, a5) = (0.4600, -0.0460, 0.0460, 0.0230, 0.0046)
(b1, b2, b3, b4, b5) = (0.0920, -0.0092, 0.0092, 0.0046, 0.0009)
투사광의 파형으로는 상기 수학식(1)로 표현 가능한 모든 형태의 파형이 제한 없이 사용될 수 있다. 예를 들어, 사인파, 삼각형파, 사각파 또는 이들의 조합, 그리고 왜곡이 존재하는 경우까지 모두 사용 가능하다.
위와 같은 투사광이 피사체(200)에서 반사된 후, 위상 지연 ΦTOF를 갖고 3차원 영상 획득 장치(100)로 되돌아오는 반사광의 파형 Pr은 다음의 수학식(2)와 같이 표현될 수 있다.
Figure 112012010046345-pat00010
위의 수학식(2)에서, r은 반사도이며, Pa는 투사광과 관계 없이 3차원 영상 획득 장치(100)에 유입되는 외광(ambient light) 성분이다. 반사도 r은 투사광이 피사체(200)에서 반사된 후 3차원 영상 획득 장치(100)로 입사되는 비율로 정의될 수 있으며, 피사체(200)와의 거리, 피사체(200)의 표면의 재질 및 기울기, 제 1 렌즈(108)의 크기 등 다양한 요소와 연관되어 있는 변수이다. 위상지연 ΦTOF는 피사체(200)와 3차원 영상 획득 장치(100) 사이의 거리에 따라 달라지게 된다. 위의 수학식(2)에서, 반사도 r, 외광 성분 Pa, 위상지연 ΦTOF가 미지의 값이며, 나머지는 측정을 통해 이미 알고 있는 값이다.
한편, 광변조기(103)의 일반적인 이득 파형도 역시, 아래의 수학식(3)과 같이, 푸리에 급수와 같은 일반적인 다항식으로 나타낼 수 있다. 여기서, 광변조 신호의 각주파수가 투사광과 동일한 각주파수 ω를 갖는 것으로 가정한다.
Figure 112012010046345-pat00011
수학식(3)에서, ck는 이득 파형의 k차 고조파의 사인항의 계수이며, dk는 이득 파형의 k차 고조파의 코사인항의 계수이다. 상기 계수 ck와 dk는 광변조기(103)의 이득 파형을 직접 계측하고, 계측된 이득 파형에 대한 고속 푸리에 변환(FFT) 등과 같은 푸리에 변환을 통해 실험적으로 구한 값을 사용할 수 있다. 이때, 최고차항의 차수 n은 계측치를 적절히 표현할 수 있도록 충분히 크게 잡을 수 있으며, 투사광에 대한 최고차항의 차수 m과 같을 수도 있다. 그리고, GDC는 이득 파형에 존재할 수 있는 DC 오프셋 값이다.
예컨대, 도 3에 도시된 이득 파형의 경우, Tmod = 50ns, n = 5, GDC = 0.35W이며, 각 차수의 계수는 아래와 같을 수 있다.
(c1, c2, c3, c4, c5) = (0.2500, -0.0500, 0.0125, 0.0025, 0.0003)
(d1, d2, d3, d4, d5) = (-0.0500, 0.0100, 0.0025, 0.0005, 0.0003)
광변조기(103)를 통과하여 촬상소자(105)에 도달하는 광의 파형은 수학식(2)의 반사광과 수학식(3)의 광변조 신호를 곱함으로써 얻을 수 있다. 따라서, 촬상소자(105)에 도달하는 광의 순시적인 파형 Iinst.는 다음의 수학식(4)와 같이 표현될 수 있다.
Figure 112012010046345-pat00012
촬상소자(105)는 소정의 노출 시간(T) 동안 입사광을 수광하여 세기 영상을 생성할 수 있다. 따라서, 촬상소자(105)의 각 화소에서 생성된 세기 영상은 수학식(4)에 표현된 순시적인 파형을 시간 T 동안 적분한 것과 같다. 여기서, 노출 시간 T는 서브 프레임의 주기와 같을 수 있다. 예를 들어, 초당 30프레임의 속도로 촬영하고, 각 프레임 당 N개의 서브 프레임이 존재하는 경우, 노출 시간 T는 약 0.033/N초가 될 수 있다. 촬상소자(105)의 감도에 따라, 촬상소자(105)에 도달하는 광량과 촬상소자(105)의 출력값 사이에 소정의 변환 비율이 존재할 수 있지만, 편의상 이를 단순화하여 촬상소자(105)의 출력 세기 영상 ICIS를 아래의 수학식(5)로 정의할 수 있다.
Figure 112012010046345-pat00013
위의 수학식(5)에서 세기 영상을 정의할 때, 촬상소자(105)로의 입력광 세기와 촬상소자(105)로부터의 출력값 사이의 스케일 계수(scale factor)를 1로 가정하였다. 따라서, 실제 계산시에는 촬상소자(105)에 대한 보정(calibration)을 통해 스케일 계수를 결정하여 수학식(5)에 적용할 필요가 있을 것이다. 그러나, 스케일 계수의 실제 값이 이하의 수식 전개의 일반성을 해치는 것은 아니므로, 수학식(5)에서는 편의상 1로 가정하였다.
일반적으로, 투사광의 주기 Tmod(예컨대, 50ns)는 촬상소자(105)의 노출 시간 T(예컨대, 0.033/N)에 비해서 매우 작다. 따라서, 수학식(5)의 적분시, 수학식(4) 내의 직류 항(DC term)이 주요한 기여를 하며, 교류 항(AC term)은 음수와 양수로 서로 상쇄되므로 그 적분 결과에 기여하는 양이 매우 작다. 따라서, 수학식(4)를 수학식(5)에 대입하여 그 직류 항만을 고려하면, 아래와 같은 관계의 수학식(6)을 얻을 수 있다. 이에 대한 상세한 유도 과정은 생략한다.
Figure 112012010046345-pat00014
위의 수학식(6)에서, 오른쪽 항의 첫 번째 항인 F(S)(ΦTOF)는 미지수인 위상 지연 ΦTOF의 함수(이하, 위상 함수)이며, 두 번째 항인 B는 위상 지연과 관련 없는 미지수들의 상수항이다. F(S)(ΦTOF)와 B는 다음의 수학식(7)과 수학식(8)로 나타낼 수 있다.
Figure 112012010046345-pat00015
Figure 112012010046345-pat00016
수학식(7)에서 차수 l은 차수 m과 차수 n중 작은 값이다. 따라서, 수학식(6) 내지 수학식(8)로부터 알 수 있듯이, 세기 영상 ICIS는 미지수인 위상 지연에 관한 항과 위상 지연과 관련 없는 상수항의 합으로 정리될 수 있다.
N회의 촬영을 통해 깊이 정보를 추출하고자 하는 경우 N개의 세기 영상 ICIS을 얻을 수 있으며, N개의 세기 영상 ICIS으로부터 깊이 정보를 추출하기 위한 문제는 아래와 같이 정의될 수 있다.
ㆍ 풀이할 대상인 미지수: ΦTOF r Pa
ㆍ 측정으로부터 구할 수 있는 기지의 파라미터
Figure 112012010046345-pat00017
: 광출력을 측정하여 구함
Figure 112012010046345-pat00018
: 광변조기(103)의 이득을 측정하여 구함
Figure 112012010046345-pat00019
: 광원 구동부(102)의 위상 시프트 제어 신호로부터 구함
Figure 112012010046345-pat00020
: 촬상소자(105)의 측정 결과
풀어야 할 미지수가 3개이므로 적어도 3개의 독립적인 방정식이 필요하다. 또한, 독립적인 방정식이 4개 이상이면 불규칙 잡음의 제거도 가능하다. 이를 위하여, N(N ≥ 3)개의 세기 영상을 순차적으로 촬영한 후, 수학식(6)을 이용하여 아래의 수학식(9)와 같이 위상 지연 ΦTOF에 대한 N개의 독립적인 방정식을 포함하는 비선형 연립 방정식을 얻을 수 있다.
Figure 112012010046345-pat00021
위의 수학식(9)는 상수항 rB를 소거하기 위하여 아래의 수학식(10) 및 (11)과 같이 정리될 수 있다.
Figure 112012010046345-pat00022
Figure 112012010046345-pat00023
여기서, i, j = 1, 2, ..., N 이며, i≠j 이다.
또한, r을 소거하기 위하여 수학식(10)의 각각의 독립적인 방정식을 서로 나누면, 수학식(10)은 아래의 수학식(12)과 같이 정리될 수 있다.
Figure 112012010046345-pat00024
위의 수학식(12)는 미지수인 위상 지연 ΦTOF에 대해서 비선형 함수이므로, 수치해석을 통해 직접 미지수를 추출하는 것이 가능하다. 그러나, 수치해석을 통해 직접 미지수를 추출하는 것은 많은 계산 시간이 소요되기 때문에, 깊이 정보 영상 처리부(107)가 실시간으로 깊이 정보를 추출하는 것이 어려울 수 있다. 따라서, 수학식(12)의 연립방정식을 푸는데 있어서, 벡터 공간의 해법을 활용하여 룩업 테이블(Look-up Table)을 구성하는 방법을 제안한다.
먼저, 아래의 수학식(13) 및 수학식(14)와 같이 N-1개의 원소(entry)로 구성된 다차원(예컨대, N-1 차원) 공간 상의 벡터를 정의할 수 있다.
Figure 112012010046345-pat00025
Figure 112012010046345-pat00026
수학식(13)을 통해 알 수 있듯이, 세기 영상에 관한 다차원 공간 상의 벡터(이하, 세기 영상 벡터라 한다)
Figure 112012010046345-pat00027
는 N개의 투사광과 각각 관련된 세기 영상들의 크기들 사이의 차들의 조합으로 구성될 수 있다. 마찬가지로, 수학식(14)를 통해 알 수 있듯이, 위상 지연에 관한 다차원 공간 상의 위상 벡터 함수
Figure 112012010046345-pat00028
는 N개의 투사광과 각각 관련된 위상 지연에 관한 이론적인 위상 함수들 사이의 차들의 조합으로 구성될 수 있다.
수학식(12)의 관계식을 수학식(13)과 수학식(14)의 벡터를 사용하여 나타내면 다음의 수학식(15)와 같다.
Figure 112012010046345-pat00029
즉, 세기 영상 벡터
Figure 112012010046345-pat00030
와 이론적인 위상 벡터 함수
Figure 112012010046345-pat00031
가 평행인 조건이 해(solution)가 된다. 여기서, 세기 영상 벡터
Figure 112012010046345-pat00032
는 측정을 통해 결정되는 벡터이며, 위상 벡터 함수
Figure 112012010046345-pat00033
는 수학식(7), (11) 및 (14)를 통해 수학적으로 이미 알고 있는 위상 지연에 관한 이론적인 함수이다. 따라서, 이론적인 위상 벡터 함수
Figure 112012010046345-pat00034
의 방향을 위상 지연 ΦTOF에 대해 미리 계산하여 놓으면, 측정을 통해 결정되는 세기 영상 벡터
Figure 112012010046345-pat00035
의 방향과 평행한 위상 벡터 함수
Figure 112012010046345-pat00036
의 방향으로부터 위상 지연 ΦTOF을 쉽게 구할 수 있다.
이를 위해, 벡터의 방향을 정의하기 위하여 아래의 수학식(16) 및 (17)과 같은 2개의 직교기준 벡터를 정의할 수 있다.
Figure 112012010046345-pat00037
여기서,
Figure 112012010046345-pat00038
이다.
Figure 112012010046345-pat00039
여기서,
Figure 112012010046345-pat00040
이다. 즉, 직교기준 벡터
Figure 112012010046345-pat00041
는 위상 지연이 0도일 때 위상 벡터 함수
Figure 112012010046345-pat00042
의 방향이며, 직교기준 벡터
Figure 112012010046345-pat00043
는 위상 지연이 90도일 때 위상 벡터 함수
Figure 112012010046345-pat00044
의 방향이 된다. 따라서, 두 직교기준 벡터는 아래의 수학식(18)과 같은 성질을 갖는다.
Figure 112012010046345-pat00045
여기서, 위 첨자 T는 행렬의 변환(예를 들어, N×M 행렬이 M×N 행렬로)을 의미한다.
따라서, 이론적인 위상 벡터 함수
Figure 112012010046345-pat00046
의 위상 지연 ΦTOF에 따른 방향은, 아래의 수학식(19)와 같이 직교기준 벡터
Figure 112012010046345-pat00047
로부터 기울어진 각도 θanaly로 나타낼 수 있다.
Figure 112012010046345-pat00048
수학식(19)에서, 함수 U(ΦTOF)는 위상 벡터 함수
Figure 112012010046345-pat00049
의
Figure 112012010046345-pat00050
방향 성분이고 V(ΦTOF)는 위상 벡터 함수
Figure 112012010046345-pat00051
의
Figure 112012010046345-pat00052
방향 성분으로서, 다음의 수학식(20) 및 (21)로 표시될 수 있다.
Figure 112012010046345-pat00053
Figure 112012010046345-pat00054
예컨대, 4개의 투사광을 사용하는 경우(N = 4)에 위상 지연에 관한 이론적인 위상 벡터 함수를, 도 8에 도시된 바와 같이, 3차원 공간 상에 표시할 수 있다.
그러면, 수학식(19) 내지 (21)에 대한 수치해석을 통해 각도 θanaly와 위상 지연 ΦTOF 사이의 관계를 룩업 테이블 ΦTOF = LUT(θanaly)로 구성할 수 있다. 예를 들어, 1000개의 데이터 포인트를 갖는 룩업 테이블을 아래와 같이 표시할 수 있다.
Figure 112012010046345-pat00055
한편, 피사체(200)와 3차원 영상 획득 장치(100)의 거리, 즉 깊이 d는 위상 지연 ΦTOF와 다음과 같은 관계를 갖는다.
Figure 112012010046345-pat00056
여기서, c는 빛의 속도이다. 따라서, 수학식(22)의 관계를 이용하면 위상 지연 대신에 깊이 d와 각도 θanaly 사이의 관계를 직접 룩업 테이블 d = LUT(θanaly)로 구성할 수도 있다. 예를 들어, 깊이 d와 각도 θanaly 사이의 관계에 대해 1000개의 데이터 포인트를 갖는 룩업 테이블을 아래와 같이 표시할 수 있다.
Figure 112012010046345-pat00057
또한, 수학식(19)의 아크탄젠트를 계산하지 않고 함수 U(ΦTOF)와 V(ΦTOF)의 비를 이용하여 룩업 테이블 d = LUT(V/U)을 구성하는 것도 가능하다. 예를 들어, 깊이 d와 V/U 사이의 관계에 대해 1000개의 데이터 포인트를 갖는 룩업 테이블을 아래와 같이 표시할 수 있다.
Figure 112012010046345-pat00058
이와 같은 방식으로, 위상 지연에 관한 이론적인 위상 벡터 함수
Figure 112012010046345-pat00059
를 수치적으로 해석함으로써, 위상 벡터 함수
Figure 112012010046345-pat00060
가 직교기준 벡터
Figure 112012010046345-pat00061
로부터 기울어진 각도 θanaly 또는 위상 벡터 함수
Figure 112012010046345-pat00062
의 직교하는 두 기준 벡터 방향에 대한 성분비(V/U)와 위상 지연 ΦTOF 또는 깊이 d의 관계에 대한 룩업 테이블을 구성할 수 있다.
한편, 수학식(15)로 표시된 바와 같이, 세기 영상 벡터
Figure 112012010046345-pat00063
와 위상 지연에 관한 이론적인 위상 벡터 함수
Figure 112012010046345-pat00064
가 평행하므로, 세기 영상 벡터
Figure 112012010046345-pat00065
가 직교기준 벡터
Figure 112012010046345-pat00066
로부터 기울어진 각도 θCIS는 θanaly와 같다. 따라서, 실제 측정을 통해 얻어지는 세기 영상 벡터
Figure 112012010046345-pat00067
가 직교기준 벡터
Figure 112012010046345-pat00068
로부터 기울어진 각도 θCIS를 상술한 룩업 테이블에 적용하거나 또는 세기 영상 벡터
Figure 112012010046345-pat00069
의 직교하는 두 기준 벡터 방향에 대한 성분비를 룩업 테이블에 적용하면, 최종적으로 구하고자 하는 깊이 정보를 추출할 수 있다. 룩업 테이블은 수치해석을 통해 이미 구성되어 있으므로, 3차원 영상 획득 장치(100)의 깊이 정보 영상 처리부(107)는 단지 세기 영상 벡터
Figure 112012010046345-pat00070
가 직교기준 벡터
Figure 112012010046345-pat00071
로부터 기울어진 각도 θCIS 또는 세기 영상 벡터
Figure 112012010046345-pat00072
의 직교하는 두 기준 벡터 방향에 대한 성분비만을 계산한 후 룩업 테이블을 검색하면 된다.
예를 들어, 도 2에 도시된 4개의 투사광과 도 3에 도시된 이득 파형을 사용하는 경우에, 위상 벡터 함수의 경사 각도 θanaly와 깊이 d 사이의 관계에 관한 룩업 테이블은 도 9의 그래프와 같이 표현될 수 있다. 도 9의 예에서, 세기 영상 벡터
Figure 112012010046345-pat00073
가 직교기준 벡터
Figure 112012010046345-pat00074
로부터 기울어진 각도 θCIS가 약 250도라면, 깊이 정보 영상 처리부(107)는 도 9에 도시된 것과 같은 룩업 테이블을 조회하여 깊이 d가 5m라는 결과를 얻을 수 있다.
수학식(19)에 표시된 각도 θanaly와 마찬가지로, 세기 영상 벡터
Figure 112012010046345-pat00075
가 기울어진 각도 θCIS는 아래의 수학식(23)으로 나타낼 수 있다.
Figure 112012010046345-pat00076
위의 수학식(23)에서, 세기 영상 벡터
Figure 112012010046345-pat00077
의 직교기준 벡터
Figure 112012010046345-pat00078
방향의 성분은 아래의 수학식(24)와 같이 전개될 수 있다.
Figure 112012010046345-pat00079
위의 수학식(24)로부터, 세기 영상 벡터
Figure 112012010046345-pat00080
의 직교기준 벡터
Figure 112012010046345-pat00081
방향 성분은 아래의 수학식(25)과 같이 정리될 수 있다.
Figure 112012010046345-pat00082
따라서, 세기 영상 벡터
Figure 112012010046345-pat00083
의 직교기준 벡터
Figure 112012010046345-pat00084
방향 성분은 N개의 세기 영상들에 각각 가중치 A1~AN을 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 얻은 하나의 제 1 가중 영상(U)이라고 볼 수 있다. 여기서, 각각의 가중치 A1~AN은 수학식(16)에서 정의된 직교기준 벡터
Figure 112012010046345-pat00085
의 N-1개의 성분들로부터 수학식(25)에 표시된 것처럼 유도될 수 있다. 또한, 직교기준 벡터
Figure 112012010046345-pat00086
의 N-1개의 성분들의 구체적인 값은 위상 벡터 함수
Figure 112012010046345-pat00087
의 값으로부터 얻을 수 있다. 예컨대, x1 내지 xN-1은
Figure 112012010046345-pat00088
와 같이 계산될 수 있다.
위와 유사한 방식으로, 세기 영상 벡터
Figure 112012010046345-pat00089
의 직교기준 벡터
Figure 112012010046345-pat00090
방향 성분은 아래의 수학식(26)과 같이 정리될 수 있다.
Figure 112012010046345-pat00091
따라서, 세기 영상 벡터
Figure 112012010046345-pat00092
의 직교기준 벡터
Figure 112012010046345-pat00093
방향 성분은 위와 동일한 N개의 세기 영상들에 또 다른 가중치 B1~BN을 각각 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 얻은 제 2 가중 영상(V)이라고 볼 수 있다. 여기서, 각각의 가중치 B1~BN은 수학식(17)에서 정의된 직교기준 벡터
Figure 112012010046345-pat00094
의 N-1개의 성분들로부터 유도될 수 있다. 이러한 가중치 A1~AN 및 B1~BN의 값들도 미리 계산되어 3차원 영상 획득 장치(100)의 메모리 내에 저장될 수 있다.
결과적으로, 세기 영상 벡터
Figure 112012010046345-pat00095
가 기울어진 각도 θCIS는 아래의 수학식(27)로 나타낼 수 있다.
Figure 112012010046345-pat00096
상술한 바와 같이, U는 세기 영상 벡터
Figure 112012010046345-pat00097
의
Figure 112012010046345-pat00098
방향 성분이고 V는 세기 영상 벡터
Figure 112012010046345-pat00099
의
Figure 112012010046345-pat00100
방향 성분이다. 위상 지연의 함수인 수학식(19)의 함수 U(ΦTOF) 및 V(ΦTOF)와 달리, 수학식(27)에서 U와 V는 함수가 아니라 측정을 통해 구해진 값이다. 이렇게 구한 각도 θCIS를 깊이 d와 각도 θanaly 사이의 관계에 대해 미리 구성된 룩업 테이블에 적용하여 깊이 d를 구할 수 있다. 또는, 아크탄젠트를 계산하지 않고, 깊이 d와 V/U 사이의 관계에 대해 미리 구성된 룩업 테이블로부터 깊이 d를 구할 수도 있다.
지금까지 설명한 바와 같이, 해석적으로 미리 계산된 깊이 d와 각도 θanaly 사이의 관계 또는 깊이 d와 V/U 사이의 관계에 대한 룩업 테이블들 및 미리 계산된 가중치 A1~AN 및 B1~BN의 값들이 3차원 영상 획득 장치(100)의 메모리 내에 저장되어 있으면, 깊이 정보 영상 처리부(107)는 깊이 정보를 추출할 때마다 복잡한 연산을 수행할 필요가 없다. 단지 촬상 소자(105)로부터 받은 세기 영상들에 각각 대응하는 가중치들을 곱하고 가중된 각각의 세기 영상들을 더하는 연산만이 요구된다. 따라서, 깊이 정보를 실시간으로 빠르게 추출할 수 있다. 특히, 불규칙 잡음을 제거하기 위하여 4개의 이상의 투사광(N > 4)을 사용하는 경우에도 연산량이 크게 증가하지 않는다. 따라서, 불규칙 잡음이 제거된 평균 위상 지연도 역시 간단하고 빠르게 구할 수 있다. 또한, 메모리 사용량 및 연산량을 크게 감소시킬 수 있으므로, 3차원 영상 획득 장치(100)의 크기 및 제조 비용을 감소시킬 수 있다. 더욱이, 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 고려하여 거리 정보를 추출하기 때문에, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있다.
룩업 테이블과 가중치 A1~AN 및 B1~BN의 구체적인 값들은 광원(101)에서 방출되는 투사광의 파형이나 광변조기(103)의 이득 파형에 따라 달라질 수 있다. 따라서, 3차원 영상 획득 장치(100)가 다수의 상이한 투사광과 다수의 상이한 이득 파형들의 다수의 조합들을 선택적으로 사용하는 경우, 그 각각의 조합에 대한 룩업 테이블과 가중치 A1~AN 및 B1~BN를 미리 계산하여 3차원 영상 획득 장치(100)의 메모리 내에 저장할 수 있다. 그러면, 깊이 정보의 추출시에는, 선택된 특정한 조합에 대응하는 룩업 테이블과 가중치 A1~AN 및 B1~BN를 사용할 수 있다. 여기서, 메모리는 제어부(106) 내에 또는 깊이 정보 영상 처리부(107) 내에 배치되어 있거나, 또는 이들과 분리된 별도의 이동 가능한 저장 매체일 수도 있다.
도 10은 지금까지 설명한 깊이 정보 추출 방법을 정리하여 설명하는 흐름도이다. 도 10을 참조하면, 본 실시예에 따른 깊이 정보 추출 방법은 가중치와 룩업 테이블을 미리 계산하여 저장하기 위한 전처리 과정 및 세기 영상을 촬영하고 미리 계산된 가중치와 룩업 테이블을 이용하여 깊이 정보를 추출하는 실시간 처리 과정을 포함한다.
먼저, 도 10의 좌측에 도시된 전처리 과정을 살펴보면, 단계(S11)에서는 광원(101)에서 방출되는 투사광의 실제 파형 및 광변조기(103)의 실제 이득 파형을 측정한다. 예를 들어, 광원 구동부(102)는 광원(101)을 제어하여 Tmod의 주기를 갖는 특정 파형의 다수의 투사광을 방출하게 할 수 있다. 투사광의 파형은 사인파, 삼각파, 구형파 또는 이들의 조합이거나 정의되지 않은 일반적인 파형일 수도 있다. 다수의 투사광들은 서로 다른 파형을 가질 수도 있으며, 또는 파형이 동일하고 위상만이 다를 수도 있다. 다만 다수의 투사광들의 주기는 모두 동일할 수 있다. 또한, 광변조기 구동부(104)는 광변조기(103)를 제어하여 Tmod의 주기를 갖는 특정 파형의 광변조 신호로 구동시킬 수 있다. 도 5에 도시된 바와 같이, 한 종류의 투사광에 대해 서로 다른 파형의 광변조 신호를 사용하는 경우, 다수의 광변조 신호의 파형을 측정할 수 있다. 광변조 신호의 파형도 역시 사인파, 삼각파, 구형파 또는 이들의 조합이거나 정의되지 않은 일반적인 파형일 수도 있다.
그런 후 단계(S12)에서는, 단계(S11)에서 측정된 다수의 투사광과 다수의 광변조 신호에 대한 푸리에 분석을 수행하여, 그 각각의 투사광과 광변조 신호에 대한 수학식(1) 및 (3)에 나타낸 사인항의 계수와 코사인항의 계수 및 DC 오프셋을 결정한다. 예를 들어, 투사광의 k차 고조파의 사인항의 계수 ak (s), 투사광의 k차 고조파의 코사인항의 계수 bk (s), 투사광의 위상 Φ(s), 및 투사광에 존재하는 DC 오프셋 값 PDC를 결정할 수 있다. 마찬가지로, 광변조 신호의 k차 고조파의 사인항의 계수 ck, k차 고조파의 코사인항의 계수 dk 및 DC 오프셋 값 GDC를 결정할 수 있다. 수학식(3)에는 나타내지 않았지만, 만약 위상이 다른 다수의 광변조 신호를 사용하는 경우에는 광변조 신호의 위상도 결정할 수 있다.
이어서 단계(S13)에서, 수학식(7) 및 (14)로 정의된 위상 지연에 관한 다차원 공간 상의 위상 벡터 함수
Figure 112012010046345-pat00101
에 대한 수치해석을 수행한다. 그리고, 수치해석의 결과로부터 가중치 Ak 및 Bk를 계산하여 메모리에 저장하고(단계(S14)), 룩업 테이블을 구성하여 메모리에 저장할 수 있다(단계(S15)). 예를 들어, 위상 벡터 함수
Figure 112012010046345-pat00102
의
Figure 112012010046345-pat00103
방향 성분인 U(ΦTOF)와
Figure 112012010046345-pat00104
방향 성분인 V(ΦTOF)를 구한 후, 수학식(19)를 이용하여 위상 지연 ΦTOF와 위상 벡터 함수
Figure 112012010046345-pat00105
의 기울기 θanaly 사이의 관계를 결정하여 룩업 테이블을 구성할 수 있다. 또한, 수학식(22)로부터 깊이 d와 위상 벡터 함수
Figure 112012010046345-pat00106
의 기울기 θanaly 사이의 관계를 결정하여 룩업 테이블을 구성할 수 있다. 또는, 함수 U(ΦTOF)와 V(ΦTOF)의 비(V/U)와 깊이 d 사이의 관계를 결정하여 룩업 테이블을 구성할 수 있다. 가중치 Ak 및 Bk는 수학식(16), (17), (25) 및 (26)을 통해 계산될 수 있다.
이러한 방식으로 얻은 룩업 테이블과 가중치들은 사용된 투사광과 광변조 신호의 조합에 따라 달라지게 된다. 따라서, 다수의 투사광과 광변조 신호들 중에서 어느 하나의 위상 또는 파형 종류가 바뀐다면 그에 대응하는 새로운 룩업 테이블과 가중치를 구성하여 둘 수 있다. 예를 들어, 3차원 영상 획득 장치(100)에서 사용할 수 있는 투사광과 광변조 신호의 다양한 조합별로 각각 별도의 룩업 테이블과 가중치를 구성할 수 있다. 그러면, 3차원 영상 획득 장치(100)의 동작시, 사용된 투사광과 광변조 신호의 특정한 조합에 따라 그에 해당하는 룩업 테이블을 참조하는 것이 가능하다. 이러한 투사광과 광변조 신호의 다양한 조합은 3개의 투사광들과 1개의 광변조 신호의 조합뿐만 아니라, 4개 이상의 투사광과 1개의 광변조 신호의 조합, 1개의 투사광과 3개 이상의 광변조 신호의 조합도 포함할 수 있다. 어느 경우이든, 상술한 룩업 테이블과 가중치의 구성 방법은 동일하게 적용될 수 있다. 이러한 룩업 테이블과 가중치들은, 예를 들어 3차원 영상 획득 장치(100)의 메모리 내에 저장될 수도 있으며, 도시되지 않은 별도의 이동식 저장 매체에 저장되어 있을 수 있다.
다음으로, 도 10의 우측에 도시된 깊이 정보를 추출하는 실시간 처리 과정을 살펴보면, 단계(S21)에서 광원(101)은 N(N≥3)개의 상이한 투사광을 시간 순서에 따라 차례로 발생시켜 피사체(200)에 투사한다. 앞서 설명한 바와 같이, N개 이상의 투사광은 동일한 주기 Tmod를 가지며, 단지 위상만이 서로 다를 수도 있고 또는 파형 자체가 서로 다를 수도 있다. 투사광은 예를 들어 약 850nm의 파장을 갖는 근적외선 광일 수 있다.
그런 후, N개의 투사광은 피사체(200)에서 반사되어 차례로 3차원 영상 획득 장치(100)로 되돌아온다. 이때, 필터(109)를 이용하여 반사광 중에서 예를 들어 약 850nm의 근적외선 광만을 투과시킨다. 그러면 광변조기(103)는 피사체(200)에서 반사된 N개의 반사광을 소정의 광변조 신호로 광변조하여 변조된 광을 촬상소자(105)에 제공한다. 광변조기(103)의 광변조 신호의 파형은 어떠한 것이라도 사용될 수 있지만, 그 주기는 투사광의 주기 Tmod와 동일할 수 있다. 다른 실시예에서, 하나의 동일한 투사광만을 사용하는 대신, N개의 광변조 신호로 반사광을 변조할 수도 있다.
이어서 단계(S22)에서, 촬상소자(105)는 상기 광변조기(103)에서 변조된 반사광을 소정의 노출 시간 동안 촬영하여 세기 영상을 출력한다. 그러면, N개의 투사광에 각각 대응하는 N개의 세기 영상을 얻을 수 있다. 이렇게 얻은 N개의 세기 영상은 깊이 정보 영상 처리부(107)에 제공될 수 있다.
단계(S23)에서, 깊이 정보 영상 처리부(107)는 메모리에 저장된 가중치 Ak 및 Bk를 읽어들인다. 여기서, 가중치 Ak 및 Bk는 특정한 투사광과 광변조 신호의 조합에 따라 값이 달라질 수 있으므로, 깊이 정보 영상 처리부(107)는 3차원 영상 획득 장치(100)가 현재 사용하고 있는 투사광과 광변조 신호의 조합에 대응하는 가중치를 검색하여 읽어들일 수 있다. 그리고, 깊이 정보 영상 처리부(107)는 가중치를 이용하여 세기 영상 벡터
Figure 112012010046345-pat00107
의 직교기준 벡터
Figure 112012010046345-pat00108
방향 성분(U)과
Figure 112012010046345-pat00109
방향 성분(V)을 각각 계산하고 그 비(V/U)를 구한다. 예를 들어, N개의 세기 영상들에 각각 가중치 A1~AN을 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여
Figure 112012010046345-pat00110
방향 성분인 하나의 제 1 가중 영상(U)을 얻는다. 또한, 동일한 N개의 세기 영상들에 또 다른 가중치 B1~BN을 각각 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른
Figure 112012010046345-pat00111
방향 성분인 제 2 가중 영상(V)을 얻는다. 그러면, 상기 두 가중 영상의 비(V/U)를 계산할 수 있다.
이러한 방식으로 두 개의 가중 영상의 비(V/U)를 얻었으면, 단계(S24)에서 깊이 정보 영상 처리부(107)는 룩업 테이블을 참조하여 깊이 d를 구할 수 있다. 룩업 테이블도 역시 특정한 투사광과 광변조 신호의 조합에 따라 달라질 수 있으므로, 깊이 정보 영상 처리부(107)는 3차원 영상 획득 장치(100)가 현재 사용하고 있는 투사광과 광변조 신호의 조합에 대응하는 룩업 테이블을 검색하여 읽어들일 수 있다. 만약 단계(S15)에서 구성된 룩업 테이블이 위상 지연 ΦTOF와 기울기 θanaly 사이의 관계를 정의하고 있다면, 깊이 정보 영상 처리부(107)는 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비율(V/U)에 대한 아크탄젠트 θ = tan-1(V/U) 값을 구하고, 이를 기초로 룩업 테이블을 참조하여 위상 지연을 구한 후, 위상 지연 값으로부터 깊이 d를 계산할 수 있다. 만약 단계(S15)에서 구성된 룩업 테이블이 깊이 d와 기울기 θanaly 사이의 관계를 정의하고 있다면, 깊이 정보 영상 처리부(107)는 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비율(V/U)에 대한 아크탄젠트 θ = tan-1(V/U) 값을 구하고, 이를 기초로 룩업 테이블을 참조하여 깊이 d를 구할 수 있다. 또한, 만약 단계(S15)에서 구성된 룩업 테이블이 함수 U(ΦTOF)와 V(ΦTOF)의 비와 깊이 d 사이의 관계를 정의하고 있다면, 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비율(V/U)을 기초로 룩업 테이블을 참조하여 직접 깊이 d를 구할 수 있다.
마지막으로, 단계(S25)에서는 상술한 방식으로 추출된 피사체(200)에 대한 깊이 정보에 대해 적절한 후처리를 한 후 디스플레이를 통해 3차원 영상을 표시할 수 있다. 예를 들어, 깊이 정보 영상 처리부(107)는 촬상소자(105)의 다수의 화소들에 대해 각각 별도로 깊이 정보를 추출하고, 도시되지 않은 다른 촬상소자를 통해 촬영된 일반적인 컬러 영상에 상기 추출된 깊이 정보를 추가하여 3차원 영상을 생성할 수 있다.
지금까지, 본 발명의 이해를 돕기 위하여 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 대한 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.
100....3차원 영상 획득 장치 101....광원
102....광원 구동부 103....광변조기
104....광변조기 구동부 105....촬상소자
106....제어부 107....깊이 정보 영상 처리부
108....제 1 렌즈 109....필터
110....제 2 렌즈 200....피사체

Claims (30)

  1. N개(여기서, N은 3 이상의 자연수)의 상이한 투사광을 피사체에 순차적으로 투사하는 단계;
    피사체에서 반사된 N개의 반사광을 광변조 신호로 변조하는 단계;
    상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계;
    상기 N개의 영상들에 각각 제 1 가중치를 곱한 후 가중된 각각의 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성하고, 상기 N개의 영상들에 상기 제 1 가중치와 다른 제 2 가중치를 각각 곱한 후 가중된 각각의 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성하는 단계; 및
    N개의 상이한 투사광과 광변조 신호를 미리 실측하여 구성한 룩업 테이블을 참조하여, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)를 기초로 피사체까지의 거리를 계산하는 단계;를 포함하며,
    상기 N개의 상이한 투사광은 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파이고, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파이며,
    상기 N개의 영상들의 각각은 상기 투사광의 주기보다 긴 시간 동안 촬상소자를 노출시켜 얻고,
    상기 제 1 및 제 2 가중치는 실측된 투사광의 파형, 실측된 광변조 신호의 파형, 및 상기 N개의 영상의 개수에 따라 미리 계산된 값을 갖는 깊이 정보 추출 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 투사광과 광변조 신호의 파형은 다수의 사인 및 코사인의 고차항의 합으로 나타낼 수 있는 사인파, 삼각파, 사각파, 구형파 및 이들을 조합한 일반적인 파형 중에서 적어도 하나를 갖는 깊이 정보 추출 방법.
  5. 제 1 항에 있어서,
    상기 제 1 가중 영상은 상기 N개의 영상들의 각각에 그에 각각 대응하는 제 1 가중치(A1~AN)를 곱한 후 가중된 각각의 영상들을 합산하여 생성되며, 상기 제 2 가중 영상은 상기 N개의 영상들의 각각에 그에 각각 대응하는 제 2 가중치(B1~BN)를 곱한 후 가중된 각각의 영상들을 합산하여 생성되는 깊이 정보 추출 방법.
  6. 제 5 항에 있어서,
    상기 제 1 및 제 2 가중치들은 N개의 상이한 투사광과 광변조 신호를 실측하여 미리 계산되어 있는 깊이 정보 추출 방법.
  7. 제 1 항에 있어서,
    상기 N개의 투사광과 광변조 신호의 다수의 상이한 조합별로 각각 별도의 룩업 테이블이 존재하며, 상기 피사체까지의 거리를 계산하는 단계는 상기 N개의 투사광과 광변조 신호의 실제 사용한 조합에 해당하는 룩업 테이블을 참조하는 것을 포함하는 깊이 정보 추출 방법.
  8. 제 1 항에 있어서,
    상기 룩업 테이블은:
    상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)에 대한 아크탄젠트 값과 위상 지연 사이의 관계를 정의하는 제 1 룩업 테이블;
    상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)에 대한 아크탄젠트 값과 상기 피사체까지의 거리 사이의 관계를 정의하는 제 2 룩업 테이블; 및
    상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)와 상기 피사체까지의 거리 사이의 관계를 정의하는 제 3 룩업 테이블; 중에서 적어도 하나를 포함하는 깊이 정보 추출 방법.
  9. 제 1 항에 있어서,
    상기 룩업 테이블은:
    상기 N개의 상이한 투사광과 상기 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계;
    상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식을 이용하여 상기 N개의 영상에 관한 다항식을 구하는 단계;
    상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
    상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계;
    상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계;
    상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
    상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계를 포함하는 방식으로 구성되는 깊이 정보 추출 방법.
  10. 제 9 항에 있어서,
    상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식은 실측 결과를 기초로 푸리에 분석을 통해 다수의 사인과 코사인의 고차항의 합으로 나타내는 깊이 정보 추출 방법.
  11. 제 9 항에 있어서,
    상기 N개의 영상에 관한 다항식을 구하는 단계는:
    상기 N개의 상이한 투사광이 피사체에서 반사된 후의 반사광에 관한 N개의 다항식을 상기 N개의 상이한 투사광에 관한 다항식으로부터 유도하는 단계;
    상기 반사광에 관한 N개의 다항식과 상기 광변조 신호에 관한 다항식을 곱하여 광변조된 광에 대한 N개의 다항식을 구하는 단계; 및
    상기 광변조된 광에 대한 N개의 다항식을 적분하여 상기 N개의 상이한 투사광에 각각 대응하는 N개의 영상에 관한 다항식을 구하는 단계;를 포함하는 깊이 정보 추출 방법.
  12. 제 9 항에 있어서,
    상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계는, 상기 N개의 영상에 관한 다항식에 존재하는 직류 항만을 고려하는 깊이 정보 추출 방법.
  13. 제 9 항에 있어서,
    상기 위상 벡터 함수는
    Figure 112012010046345-pat00112
    로 정의되며, 여기서
    Figure 112012010046345-pat00113
    이고(i, j = 1, 2, ..., N, i≠j),
    F(i)(ΦTOF)는 i번째 투사광에 대한 위상 함수를 나타내는 깊이 정보 추출 방법.
  14. 제 13 항에 있어서,
    상기 제 1 기준 벡터는
    Figure 112012010046345-pat00114
    로 정의되며 여기서
    Figure 112012010046345-pat00115
    이고,
    상기 제 2 기준 벡터는
    Figure 112012010046345-pat00116
    로 정의되며, 여기서
    Figure 112012010046345-pat00117
    인 깊이 정보 추출 방법.
  15. 제 14 항에 있어서,
    상기 제 1 가중치는 상기 N개의 영상들에 각각 곱해지는 N개의 상이한 가중치 성분 A1~AN을 포함하며, 여기서
    Figure 112012010046345-pat00118
    이고,
    상기 제 2 가중치는 상기 N개의 영상들에 각각 곱해지는 N개의 상이한 가중치 성분 B1~BN을 포함하며, 여기서
    Figure 112012010046345-pat00119
    인 깊이 정보 추출 방법.
  16. 제 1 항에 있어서,
    N개 미만의 상이한 투사광을 피사체에 더 투사하여 N개 미만의 신규 영상을 추가적으로 생성하는 단계;
    가장 먼저 생성된 N개 미만의 기존 영상을 제거하는 단계;
    남아 있는 N개의 영상들에 각각 제 1 및 제 2 가중치들을 곱하여 새로운 제 1 및 제 2 가중 영상을 생성하는 단계;
    상기 새로운 제 1 가중 영상과 제 2 가중 영상의 비를 계산하는 단계; 및
    상기 룩업 테이블을 참조하여, 상기 새로운 제 1 가중 영상과 제 2 가중 영상의 비를 기초로 피사체까지의 거리를 추가적으로 계산하는 단계;를 더 포함하는 깊이 정보 추출 방법.
  17. N개(여기서, N은 3 이상의 자연수)의 동일한 투사광을 피사체에 순차적으로 투사하는 단계;
    N개의 상이한 광변조 신호로 상기 피사체에서 반사된 N개의 반사광을 각각 변조하는 단계;
    상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계;
    상기 N개의 영상들에 각각 제 1 가중치를 곱한 후 가중된 각각의 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성하고, 상기 N개의 영상들에 상기 제 1 가중치와 다른 제 2 가중치를 각각 곱한 후 가중된 각각의 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성하는 단계; 및
    상기 투사광과 상기 N개의 상이한 광변조 신호를 미리 실측하여 구성한 룩업 테이블을 참조하여, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)를 기초로 피사체까지의 거리를 계산하는 단계;를 포함하며,
    상기 N개의 상이한 광변조 신호는 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파이고, 상기 투사광은 상기 광변조 신호와 동일한 주기를 갖는 주기파이며,
    상기 N개의 영상들의 각각은 상기 투사광의 주기보다 긴 시간 동안 촬상소자를 노출시켜 얻고,
    상기 제 1 및 제 2 가중치는 실측된 투사광의 파형, 실측된 광변조 신호의 파형, 및 상기 N개의 영상의 개수에 따라 미리 계산된 값을 갖는 깊이 정보 추출 방법.
  18. 제 17 항에 있어서,
    상기 룩업 테이블은:
    상기 투사광과 상기 N개의 상이한 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계;
    상기 투사광과 상기 N개의 상이한 광변조 신호의 파형에 관한 다항식을 이용하여 상기 N개의 영상에 관한 다항식을 구하는 단계;
    상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
    상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계;
    상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계;
    상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
    상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계를 포함하는 방식으로 구성되는 깊이 정보 추출 방법.
  19. 제 17 항에 있어서,
    상기 투사광과 상기 N개의 상이한 광변조 신호의 다수의 상이한 조합별로 각각 별도의 룩업 테이블이 존재하며, 상기 피사체까지의 거리를 계산하는 단계는 상기 투사광과 상기 N개의 상이한 광변조 신호의 실제 사용한 조합에 해당하는 룩업 테이블을 참조하는 것을 포함하는 깊이 정보 추출 방법.
  20. N개(여기서, N은 3 이상의 자연수)의 상이한 투사광 및 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계;
    상기 N개의 상이한 투사광이 피사체에서 반사되어 형성된 N개의 상이한 반사광의 파형을 나타내는 다항식과 상기 광변조 신호의 파형에 관한 다항식과의 곱을 상기 투사광의 주기보다 긴 시간으로 적분함으로써, 상기 N개의 상이한 투사광이 피사체로부터 반사된 후에 상기 광변조 신호에 의해 변조된 다음 촬영된 N개의 영상에 관한 다항식을 구하는 단계;
    상기 N개의 영상에 관한 다항식을 각각 상기 투사광에 대한 상기 반사광의 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
    상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계;
    상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계;
    상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
    상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계;를 포함하며,
    상기 N개의 상이한 투사광은 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파이고, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파이며,
    상기 제 1 기준 벡터는 상기 위상 지연이 0도일 때 상기 위상 벡터 함수의 방향으로 정의되며, 상기 제 2 기준 벡터는 상기 위상 지연이 90도일 때 상기 위상 벡터 함수의 방향으로 정의되는, 깊이 정보 추출용 룩업 테이블을 구성하는 방법.
  21. 제 20 항에 있어서,
    상기 룩업 테이블은:
    상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비에 대한 아크탄젠트 값과 위상 지연 사이의 관계를 정의하는 제 1 룩업 테이블;
    상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비에 대한 아크탄젠트 값과 상기 피사체까지의 거리 사이의 관계를 정의하는 제 2 룩업 테이블; 및
    상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 상기 피사체까지의 거리 사이의 관계를 정의하는 제 3 룩업 테이블; 중에서 적어도 하나를 포함하는 룩업 테이블을 구성하는 방법.
  22. 제 20 항에 있어서,
    상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식은 실측 결과를 기초로 푸리에 분석을 통해 다수의 사인과 코사인의 고차항의 합으로 나타내는 룩업 테이블을 구성하는 방법.
  23. 제 20 항에 있어서,
    상기 위상 벡터 함수는
    Figure 112012010046345-pat00120
    로 정의되며, 여기서
    Figure 112012010046345-pat00121
    이고(i, j = 1, 2, ..., N, i≠j),
    F(i)(ΦTOF)는 i번째 투사광에 대한 위상 함수를 나타내는 룩업 테이블을 구성하는 방법.
  24. 제 23 항에 있어서,
    상기 제 1 기준 벡터는
    Figure 112012010046345-pat00122
    로 정의되며 여기서
    Figure 112012010046345-pat00123
    이고,
    상기 제 2 기준 벡터는
    Figure 112012010046345-pat00124
    로 정의되며, 여기서
    Figure 112012010046345-pat00125
    인 룩업 테이블을 구성하는 방법.
  25. 하나의 투사광 및 N개(여기서, N은 3 이상의 자연수)의 상이한 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계;
    상기 투사광이 피사체에서 반사되어 형성된 반사광의 파형을 나타내는 다항식과 상기 N개의 상이한 광변조 신호의 파형에 관한 다항식과의 곱을 상기 투사광의 주기보다 긴 시간으로 적분함으로써, 상기 투사광이 피사체로부터 반사된 후에 상기 N개의 상이한 광변조 신호에 의해 변조된 다음 촬영된 N개의 영상에 관한 다항식을 구하는 단계;
    상기 N개의 영상에 관한 다항식을 각각 상기 투사광에 대한 상기 반사광의 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
    상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계;
    상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계;
    상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
    상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계;를 포함하며,
    상기 N개의 상이한 광변조 신호의 파형은 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파이고, 상기 투사광은 상기 광변조 신호와 동일한 주기를 갖는 주기파이며,
    상기 제 1 기준 벡터는 상기 위상 지연이 0도일 때 상기 위상 벡터 함수의 방향으로 정의되며, 상기 제 2 기준 벡터는 상기 위상 지연이 90도일 때 상기 위상 벡터 함수의 방향으로 정의되는, 깊이 정보 추출용 룩업 테이블을 구성하는 방법.
  26. 제 20 항 또는 제 25 항에 따른 방법으로 구성된 룩업 테이블을 저장하고 있는 저장 매체.
  27. 피사체를 향해 투사광을 투사하는 광원;
    피사체로부터 반사된 반사광을 광변조 신호로 변조하는 광변조기;
    상기 광변조기에 의해 변조된 광을 촬영하여 영상을 생성하는 촬상소자; 및
    상기 촬상소자에서 생성된 영상을 이용하여 피사체와의 거리를 계산하기 위한 깊이 정보 영상 처리부;를 포함하며,
    상기 깊이 정보 영상 처리부는 제 1 항, 제 4 항 내지 제 19 항 중 어느 한 항에 따른 방법으로 깊이 정보를 추출하는 3차원 영상 획득 장치.
  28. 제 27 항에 있어서,
    상기 광원을 구동시켜 투사광의 파형을 제어하는 광원 구동부;
    상기 광변조기를 구동시켜 광변조 신호의 이득 파형을 제어하는 광변조기 구동부; 및
    상기 광원 구동부, 광변조기 구동부 및 촬상소자의 동작을 제어하기 위한 제어부;를 더 포함하는 3차원 영상 획득 장치.
  29. 제 27 항에 있어서,
    상기 촬상소자는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토다이오드 어레이를 사용하거나 또는 단일 지점의 거리 측정을 위한 1개의 포토다이오드를 사용하는 3차원 영상 획득 장치.
  30. 제 27 항에 있어서,
    상기 투사광과 광변조 신호를 미리 실측하여 구성한 상기 룩업 테이블 및 상기 투사광과 광변조 신호를 미리 실측하여 미리 계산되어 있는 상기 제 1 및 제 2 가중치들이 저장되어 있는 메모리를 더 포함하는 3차원 영상 획득 장치.
KR1020120012526A 2012-02-07 2012-02-07 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 KR101955334B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120012526A KR101955334B1 (ko) 2012-02-07 2012-02-07 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US13/759,566 US9123164B2 (en) 2012-02-07 2013-02-05 3D image acquisition apparatus and method of extracting depth information in 3D image acquisition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120012526A KR101955334B1 (ko) 2012-02-07 2012-02-07 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법

Publications (2)

Publication Number Publication Date
KR20130091194A KR20130091194A (ko) 2013-08-16
KR101955334B1 true KR101955334B1 (ko) 2019-03-07

Family

ID=48902484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120012526A KR101955334B1 (ko) 2012-02-07 2012-02-07 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법

Country Status (2)

Country Link
US (1) US9123164B2 (ko)
KR (1) KR101955334B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR101858577B1 (ko) 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR102056904B1 (ko) 2013-05-22 2019-12-18 삼성전자주식회사 3차원 영상 획득 장치 및 그 구동 방법
RU2014104445A (ru) * 2014-02-07 2015-08-20 ЭлЭсАй Корпорейшн Формирования изображения глубины с использованием информации о глубине, восстановленной из амплитудного изображения
KR102263064B1 (ko) 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법
KR102194237B1 (ko) 2014-08-29 2020-12-22 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
KR102475891B1 (ko) * 2015-10-08 2022-12-12 삼성전자주식회사 측면 발광 레이저 광원, 및 이를 포함한 3차원 영상 획득 장치
JP6849371B2 (ja) 2015-10-08 2021-03-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 側面発光レーザ光源、及びそれを含む三次元映像取得装置
KR102486385B1 (ko) 2015-10-29 2023-01-09 삼성전자주식회사 깊이 정보 획득 장치 및 방법
KR102673812B1 (ko) 2016-07-26 2024-06-10 삼성전자주식회사 라이다 장치 및 거리 측정 방법
KR20180021509A (ko) 2016-08-22 2018-03-05 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
CN106817578B (zh) * 2017-01-11 2018-05-22 清华大学深圳研究生院 一种分析裸眼3d显示系统立体深度影响因素的方法
DE102018116371B4 (de) * 2018-07-06 2020-08-06 Sick Ag 3D-Sensor und Verfahren zum Überwachen eines Überwachungsbereichs
CN115311372B (zh) * 2022-10-12 2023-04-07 荣耀终端有限公司 一种相机误差校正方法及相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008241259A (ja) * 2007-03-23 2008-10-09 Fujifilm Corp 測距装置及び測距方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
US5694203A (en) 1995-01-31 1997-12-02 Kabushikikaisha Wacom Distance camera device having light gate for extracting distance information
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6091905A (en) 1995-06-22 2000-07-18 3Dv Systems, Ltd Telecentric 3D camera and method
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
WO1999040478A1 (en) 1998-02-08 1999-08-12 3Dv Systems Ltd. Large aperture optical image shutter
US6091175A (en) 1998-03-12 2000-07-18 Camco International, Inc. Self-centering rotor bearing assembly for submersible pump motors
JP4105801B2 (ja) 1998-07-02 2008-06-25 ペンタックス株式会社 ３次元画像入力装置
JP3840341B2 (ja) 1998-10-15 2006-11-01 浜松ホトニクス株式会社 立体情報検出方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6856355B1 (en) 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
US6794628B2 (en) 2000-01-03 2004-09-21 3Dv Systems, Ltd. Solid state optical shutter
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
WO2005036372A2 (en) 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
US7573564B2 (en) 2007-06-26 2009-08-11 The United States Of America As Represented By The Secretary Of The Army Systems for doppler tracking using photonic mixing detectors
US7640122B2 (en) 2007-11-07 2009-12-29 Institut National D'optique Digital signal processing in optical systems used for ranging applications
KR100957467B1 (ko) 2007-12-05 2010-05-14 재단법인대구경북과학기술원 라이더 장치
US7986397B1 (en) 2008-04-30 2011-07-26 Lockheed Martin Coherent Technologies, Inc. FMCW 3-D LADAR imaging systems and methods with reduced Doppler sensitivity
US8010316B2 (en) * 2008-12-11 2011-08-30 Intermec Ip Corp. System and method for laser range-finding
DE102008055159A1 (de) 2008-12-29 2010-07-01 Robert Bosch Gmbh Adaptive Winkel- und Leistungsanpassung bei 3D-Mikrospiegel-Lidar
KR101675112B1 (ko) * 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008241259A (ja) * 2007-03-23 2008-10-09 Fujifilm Corp 測距装置及び測距方法

Also Published As

Publication number Publication date
US20130201183A1 (en) 2013-08-08
KR20130091194A (ko) 2013-08-16
US9123164B2 (en) 2015-09-01

Similar Documents

Publication Publication Date Title
KR101955334B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101722641B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR101854188B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
EP2790034B1 (en) 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
US11166004B2 (en) Three-dimensional computational imaging method and apparatus based on single-pixel sensor, and non-transitory computer-readable storage medium
Heide et al. Diffuse mirrors: 3D reconstruction from diffuse indirect illumination using inexpensive time-of-flight sensors
CN107765260B (zh) 用于获取距离信息的方法、设备及计算机可读记录介质
EP2477043A1 (en) 3D time-of-flight camera and method
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
US10178381B2 (en) Depth-spatial frequency-response assessment
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
CN111708039A (zh) 一种深度测量装置、方法及电子设备
KR20170076477A (ko) 거리 정보를 획득하는 방법 및 디바이스
US11885880B2 (en) Unwrapped phases for time-of-flight modulation light
JP4955507B2 (ja) 測距装置および測距方法並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right