KR20120071970A

KR20120071970A - 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법

Info

Publication number: KR20120071970A
Application number: KR1020100133720A
Authority: KR
Inventors: 박용화; 유장우; 조용철
Original assignee: 삼성전자주식회사
Priority date: 2010-12-23
Filing date: 2010-12-23
Publication date: 2012-07-03
Also published as: US20120162197A1; KR101722641B1; US8902411B2

Abstract

3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법이 개시된다. 개시된 깊이 정보 추출 방법은 촬영된 영상들에 대해 단순 곱셈 및 덧셈 연산만을 적용하여 불규칙 잡음을 제거할 수 있기 때문에, 불규칙 잡음을 제거하는 데 필요한 메모리 사용량 및 연산량을 크게 감소시킬 수 있다. 예를 들어, 최소자승근사법을 이용할 경우, 한 프레임 당 촬영된 영상의 개수의 제곱에 비례하는 연산이 필요하지만, 개시된 방법의 경우 단지 한 프레임 당 촬영된 영상의 개수에 비례하는 연산만이 필요하다. 따라서, 불규칙 잡음이 제거된 높은 정밀도의 깊이 정보를 비교적 간단하고 빠르게 얻을 수 있다. 또한, 불규칙 잡음이 억제된 고가의 광원, 광변조기, 촬상소자 등을 사용할 필요가 없으므로, 3차원 영상 획득 장치의 크기 및 제조 비용을 감소시킬 수 있다.

Description

3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법{3D image acquisition apparatus and method of extractig depth information in the 3D image acquisition apparatus}

개시된 내용은 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 관한 것으로, 더욱 상세하게는 3차원 영상 획득 장치에서 사용되는 광원, 광변조기, 촬상소자 등에서 발생할 수 있는 불규칙 잡음(random noise)에 의한 오차를 효율적으로 제거할 수 있는 깊이 정보 추출 방법에 관한 것이다.

최근, 깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 3D 카메라와 같은 3차원 영상 획득 장치가 연구되고 있다. 이러한 3D 카메라는 한번의 촬영으로 기존의 2차원 컬러 영상 정보와 함께 깊이(depth) 정보도 얻을 수 있어야 한다.

피사체의 표면들과 3D 카메라 사이의 거리에 관한 깊이 정보는, 두 대의 카메라를 이용한 양안 입체시(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 그러나 이러한 방법은 피사체의 거리가 멀어질수록 깊이 정보에 대한 정확도가 급격히 저하되고 피사체의 표면 상태에 의존적이어서 정밀한 깊이 정보를 얻기 어렵다.

이러한 문제를 개선하기 위하여 광시간비행법(Time-of-Flight; TOF)이 도입되었다. TOF 기술은 조명광을 피사체에 조사한 후, 피사체로부터 반사되는 광이 수광부에서 수광되기까지의 광 비행시간을 측정하는 방법이다. TOF 기술에 따르면, 발광 다이오드(LED) 또는 레이저 다이오드(LD)를 포함하는 조명 광학계를 이용하여 특정 파장의 빛(예컨대, 850nm의 근적외선)을 피사체에 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 수광부에서 수광한 후, 기지의 이득 파형을 갖는 변조기로 상기 수광된 빛을 변조하는 등 깊이 정보를 추출하기 위한 일련의 처리 과정을 거치게 된다. 이러한 일련의 광 처리 과정에 따라 다양한 TOF 기술이 소개되어 있다.

또한, TOF 기술의 깊이 정보 추출을 위한 광처리 과정에서, 광원과 광변조 소자를 펄스 구동하는 방법, 삼각형파(예컨대, 램프(ramp) 파형) 등의 특별한 파형을 이용하는 방법, 또는 사인파를 사용하는 방법 등이 소개되었다. 또한 각각의 사용 파형에 따라 광원과 광변조 소자의 다양한 구동 방법이 소개되어 있으며, 촬영된 세기 값으로부터 깊이 정보를 추출하기 위한 다양한 알고리즘이 소개되어 있다.

그런데, 상술한 TOF 방법에서는, 잡음이 없는 이상적인 환경을 가정하여 깊이 정보를 추출하였다. 그러나 실제의 광원, 광변조기, CCD와 같은 촬상소자 등에서는 전원의 불안정, 열, 외부의 전자기파 등과 같은 다양한 원인으로 인해 불규칙 잡음(random noise)이 항상 존재한다. 이러한 불규칙 잡음은 깊이 정보를 추출하는 과정에서 오차를 발생시키는 원인이 된다. 불규칙 잡음을 제거하기 위해서는 한 프레임의 시간 주기 내에서 다수의 영상들을 얻고, 상기 다수의 영상들을 평균하여 하나의 영상을 만드는 것이 요구된다. 다수의 영상들을 평균하는 알고리즘에는 예를 들어 유사-역행렬(pseudo-inverse matrix)를 이용한 최소자승근사(least square fitting)가 통상적으로 이용된다. 그러나, CCD와 같은 촬상소자는 수십만에서 수천만의 매우 많은 화소를 갖기 때문에, 위와 같은 평균화 방법을 적용하기 위해서는 메모리의 사용량 및 연산량이 기하급수적으로 증가할 수 있다. 또는, 불규칙 잡음이 극도로 억제된 광원, 광변조기, 촬상소자 등을 사용할 수도 있으나, 이 경우 3차원 영상 획득 장치의 크기 및 제조 비용이 크게 증가할 수 있다.

3차원 영상 획득 장치에서 사용되는 광원, 광변조기, 촬상소자 등에서 발생할 수 있는 불규칙 잡음(random noise)에 의한 오차를 효율적으로 제거할 수 있는 깊이 정보 추출 방법이 제공된다.

또한, 상기 깊이 정보 추출 방법을 이용하여 깊이 정보를 추출할 수 있는 3차원 영상 획득 장치가 제공된다.

본 발명의 일 유형에 따르면, N개(여기서, N은 3 이상의 자연수)의 상이한 투사광을 피사체에 순차적으로 투사하는 단계; 피사체에서 반사된 N개의 반사광을 이득 파형을 갖는 광변조 신호로 변조하는 단계; 상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계; 상기 N개의 영상에 제 1 가중치들을 각각 곱하여 제 1 평균 영상을 생성하고, 상기 N개의 영상에 제 2 가중치들을 각각 곱하여 제 2 평균 영상을 생성하는 단계; 상기 제 1 및 제 2 평균 영상으로부터 평균 위상 지연을 구하는 단계; 및 상기 평균 위상 지연으로부터 피사체까지의 거리를 계산하는 단계;를 포함하는 깊이 정보 추출 방법이 제공될 수 있다.

일 실시예에서, 상기 N개의 상이한 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파일 수 있다.

또한, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파일 수 있다.

예를 들어, 상기 N개의 투사광들 사이에 360도를 N 등분한 위상차가 존재할 수 있다.

일 실시예에서, 상기 제 1 평균 영상은 상기 N개의 영상에 그에 각각 대응하는 제 1 가중치들을 각각 곱하고 그 곱한 결과를 합산하여 얻어지며, 상기 제 2 평균 영상은 상기 N개의 영상에 그에 각각 대응하는 제 2 가중치들을 각각 곱하고 그 곱한 결과를 합산하여 얻어질 수 있다.

일 실시예에서, 상기 제 1 및 제 2 가중치들은 상기 N개의 투사광의 크기와 위상을 이용하여 미리 계산될 수 있다.

k번째 영상에 대응하는 k번째 제 1 및 제 2 가중치를 각각 A_k와 B_k라고 하고, i번째 투사광의 크기를 a⁽ⁱ⁾, i번째 투사광의 위상을 θ⁽ⁱ⁾라고 할 때, 제 1 및 제 2 가중치는 아래의 수학식과 같이 정의되며,

여기서, i와 j는 1 내지 N 중에서 k를 제외한 어느 한 수(i ≠ k, j ≠ k)로서, i와 j의 조합은 k를 제외한 나머지 (N-1)개의 수를 k 이후부터 순환하는 오름차순 (k+1, k+2, ..., N-1, N, 1, 2, ..., k-1)으로 정리하고 그 중에서 2개를 상기 순환 오름차순의 순서로 선택할 수 있는 모든 조합으로 정의될 수 있다.

또한, 다수의 투사광의 크기들과 다수의 투사광의 위상들에 관한 다수의 조합에 대하여 다수의 가중치들의 조합이 미리 계산될 수 있다.

이 경우, 상기 제 1 평균 영상 및 제 2 평균 영상을 생성하는 단계에서, 상기 다수의 가중치들의 조합 중에서 실제 사용된 N개의 투사광의 크기와 위상의 조합에 대응하는 조합의 가중치들을 사용할 수 있다.

상기 평균 위상 지연은, 예를 들어, 제 1 평균 영상(V)과 제 2 평균 영상(U)의 비율(V/U)에 대한 아크탄젠트 값으로부터 구할 수 있다.

또한, 상기 깊이 정보 추출 방법은, N개 미만의 상이한 투사광을 피사체에 투사하여 N개 미만의 신규 영상을 추가적으로 생성하는 단계; 가장 먼저 생성된 N개 미만의 기존 영상을 제거하는 단계; 남아 있는 N개의 영상에 대해 제 1 및 제 2 가중치들을 각각 곱하여 제 1 및 제 2 평균 영상을 생성하는 단계; 상기 제 1 및 제 2 평균 영상으로부터 평균 위상 지연을 구하는 단계; 및 상기 평균 위상 지연으로부터 피사체까지의 거리를 계산하는 단계;를 더 포함할 수 있다.

한편, 본 발명의 다른 유형에 따르면, N개(여기서, N은 3 이상의 자연수)의 동일한 투사광을 피사체에 순차적으로 투사하는 단계; N개의 상이한 이득 파형을 갖는 광변조 신호로 상기 피사체에서 반사된 N개의 반사광을 각각 변조하는 단계; 상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계; 상기 N개의 영상에 제 1 가중치들을 각각 곱하여 제 1 평균 영상을 생성하고, 상기 N개의 영상에 제 2 가중치들을 각각 곱하여 제 2 평균 영상을 생성하는 단계; 상기 제 1 및 제 2 평균 영상으로부터 평균 위상 지연을 구하는 단계; 및 상기 평균 위상 지연으로부터 피사체까지의 거리를 계산하는 단계;를 포함하는 깊이 정보 추출 방법이 제공될 수 있다.

일 실시예에서, 상기 N개의 상이한 광변조 신호는 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파일 수 있다.

또한, 상기 투사광은 상기 광변조 신호와 동일한 주기를 갖는 주기파일 수 있다.

예를 들어, 상기 N개의 광변조 신호들 사이에 360도를 N 등분한 위상차가 존재할 수 있다.

일 실시예에서, 상기 제 1 및 제 2 가중치들은 상기 N개의 광변조 신호의 크기와 위상을 이용하여 미리 계산될 수 있다.

또한, 본 발명의 또 다른 유형에 따르면, 피사체를 향해 투사광을 투사하는 광원; 피사체로부터 반사된 반사광을 광변조 신호로 변조하는 광변조기; 상기 광변조기에 의해 변조된 광을 촬영하여 영상을 생성하는 촬상소자; 및 상기 촬상소자에서 생성된 영상을 이용하여 피사체와의 거리를 계산하기 위한 깊이 정보 영상 처리부;를 포함하는 3차원 영상 획득 장치가 제공될 수 있다.

여기서, 상기 깊이 정보 영상 처리부는 깊이 정보 추출 방법으로 깊이 정보를 추출하도록 구성될 수 있다.

또한, 상기 3차원 영상 획득 장치는, 상기 광원을 구동시켜 투사광의 파형을 제어하는 광원 구동부; 상기 광변조기를 구동시켜 광변조 신호의 이득 파형을 제어하는 광변조기 구동부; 및 상기 광원 구동부, 광변조기 구동부 및 촬상소자의 동작을 제어하기 위한 제어부;를 더 포함할 수 있다.

또한, 상기 3차원 영상 획득 장치는, 상기 광변조기의 광입사면에서 반사광을 광변조기의 영역 내에 집광하는 제 1 렌즈; 상기 제 1 렌즈와 광변조기 사이에서 소정의 파장을 갖는 광만을 투과시키는 필터; 및 상기 광변조기와 촬상소자 사이에서 상기 변조된 광을 상기 촬상소자의 영역 내에 집광하는 제 2 렌즈를 더 포함할 수 있다.

상기 촬상소자는 예를 들어 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토다이오드 어레이를 사용하거나 또는 단일 지점의 거리 측정을 위한 1개의 포토다이오드를 사용할 수 있다.

다수의 투사광 또는 광변조 신호의 크기들과 다수의 투사광 또는 광변조 신호의 위상들에 관한 다수의 조합에 대하여 미리 계산되어 있는 상기 다수의 가중치들의 조합은 상기 3차원 영상 획득 장치의 메모리 내에 저장되어 있을 수 있다.

그러면, 깊이 정보의 추출시, 상기 깊이 정보 영상 처리부는 실제 사용된 투사광 또는 광변조 신호의 크기와 위상의 조합에 대응하는 가중치들을 메모리로부터 읽어서 깊이 정보를 계산하는 데 사용하도록 구성될 수 있다.

개시된 깊이 정보 추출 방법에 따르면, 촬영된 영상들에 대해 단순 곱셈 및 덧셈 연산만을 적용하여 불규칙 잡음을 제거할 수 있기 때문에, 불규칙 잡음을 제거하는 데 필요한 메모리 사용량 및 연산량을 크게 감소시킬 수 있다. 예를 들어, 최소자승근사법을 이용할 경우, 한 프레임 당 촬영된 영상의 개수의 제곱에 비례하는 연산이 필요하지만, 개시된 방법의 경우 단지 한 프레임 당 촬영된 영상의 개수에 비례하는 연산만이 필요하다. 따라서, 불규칙 잡음이 제거된 높은 정밀도의 깊이 정보를 비교적 간단하고 빠르게 얻을 수 있다. 또한, 불규칙 잡음이 억제된 고가의 광원, 광변조기, 촬상소자 등을 사용할 필요가 없으므로, 3차원 영상 획득 장치의 크기 및 제조 비용을 감소시킬 수 있다.

도 1은 광시간비행법(TOF)을 이용하여 깊이 정보를 추출할 수 있는 3차원 영상 획득 장치의 예시적인 구조를 개략적으로 도시한다.
도 2는 N개의 상이한 반사광을 변조한 후 촬상소자에서 N개의 상이한 영상을 생성하는 과정을 도시한다.
도 3은 하나의 동일한 투사광과 N개의 상이한 광변조 신호로 N개의 상이한 영상을 생성하는 과정을 도시한다.
도 4는 본 발명의 일 실시예에 따라 N개의 상이한 영상으로부터 깊이 정보를 추출하는 과정을 개략적으로 보인다.
도 5는 본 발명의 다른 실시예에 따라 N개의 상이한 영상으로부터 깊이 정보를 추출하는 과정을 개략적으로 보인다.
도 6은 4개의 투사광을 사용하는 경우의 위상 지연들의 분산 및 평균 위상 지연을 보이는 그래프이다.
도 7은 본 발명의 일 실시예에 따라 계산된 가중치들을 예시적으로 보이는 표이다.
도 8은 본 발명의 일 실시예에 따라 거리 정보를 추출하기 위한 방법을 설명하는 흐름도이다.

이하, 첨부된 도면들을 참조하여, 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.

도 1은 광시간비행법(TOF)을 이용하여 깊이 정보를 추출할 수 있는 본 발명의 일 실시예에 따른 3차원 영상 획득 장치(100)의 예시적인 구조를 개략적으로 도시하고 있다. 도 1을 참조하면, 3차원 영상 획득 장치(100)는 소정의 파장을 갖는 광을 발생시키는 광원(101), 상기 광원(101)을 구동시키기 위한 광원 구동부(102), 피사체(200)로부터 반사된 광을 광변조하기 위한 광변조기(103), 광변조기(103)를 구동시키기 위한 광변조기 구동부(104), 광변조기(103)에 의해 광변조된 광으로부터 영상을 생성하는 촬상소자(105), 촬상소자(105)의 출력을 기초로 깊이 정보를 계산하기 위한 깊이 정보 영상 처리부(depth image processor)(107), 및 상기 광원 구동부(102), 광변조기 구동부(104), 촬상소자(105), 깊이 정보 영상 처리부(107)의 동작을 제어하기 위한 제어부(106)를 포함할 수 있다. 또한, 광변조기(103)의 광입사면에는 반사광을 광변조기(103)의 영역 내에 집광하기 위한 제 1 렌즈(108)와 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 더 배치될 수 있다. 그리고, 광변조기(103)와 촬상소자(105) 사이에는 광변조된 영상을 촬상소자(105)의 영역 내에 집광하기 위한 제 2 렌즈(110)가 더 배치될 수 있다.

광원(101)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(102)는 제어부(106)로부터 수신된 제어 신호에 따라 광원(101)을 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(102)의 구동 신호에 따라, 광원(101)으로부터 피사체(200)로 투사되는 투사광은 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광은 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.

광변조기(103)는 피사체(200)로부터 반사된 광을 광변조기 구동부(104)의 제어에 따라 광변조한다. 광변조기 구동부(104)는 제어부(106)로부터 수신된 제어 신호에 따라 광변조기(103)를 구동시킨다. 예를 들어, 광변조기(103)는 광변조기 구동부(104)에 의해 제공된 소정의 파형을 갖는 광변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 광변조기(103)는 가변 이득을 갖는다. 광변조기(103)는 거리에 따른 빛의 위상차 또는 이동 시간을 식별하기 위해 수십~수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 광변조기(103)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등이 사용될 수 있다. 도 1에는 광변조기(103)가 투과형인 것으로 도시되어 있지만, 반사형 광변조기를 사용하는 것도 가능하다.

촬상소자(105)는 광변조기(103)에 의해 광변조된 반사광을 제어부(106)의 제어에 따라 검출하여 영상을 생성하는 역할을 한다. 만약 피사체(200)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 촬상소자(105)는 예를 들어 포토다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체(200) 상의 다수의 점들까지의 거리들을 동시에 측정하고자 하는 경우, 촬상소자(105)는 다수의 포토다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 촬상소자(105)는 2차원 어레이를 갖는 CCD 이미지 센서 또는 CMOS 이미지 센서일 수도 있다. 깊이 정보 영상 처리부(107)는 촬상소자(105)의 출력을 기초로, 후술할 깊이 정보 추출 알고리즘에 따라 깊이 정보를 계산하는 역할을 한다. 깊이 정보 영상 처리부(107)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 3차원 영상 획득 장치(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 깊이 정보 영상 처리부(107)는 별도의 이동 가능한 저장 매체에 저장될 수도 있다.

이하에서는, 상술한 구조를 갖는 3차원 영상 획득 장치(100)의 동작을 개략적으로 설명한다.

먼저, 광원(101)은 제어부(106) 및 광원 구동부(102)의 제어에 따라 소정의 주기 및 파형을 갖는 N개의 상이한 투사광을 차례로 피사체(200)에 투사한다. 여기서 N은 3 이상의 자연수일 수 있다. 예를 들어, 4개의 상이한 투사광을 사용하는 경우, 시간 T1 동안 투사광1을 발생시켜 피사체(200)에 투사하고, 다음의 시간 T2 동안 투사광2를 발생시켜 피사체(200)에 투사하고, 시간 T3 동안 투사광3을 발생시켜 피사체(200)에 투사하고, 이어서 시간 T4 동안 투사광4를 피사체(200)에 투사할 수 있다. 이렇게 피사체(200)에 순차적으로 투사되는 투사광들은 사인파와 같은 특정 주기를 갖는 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광1-4는 동일한 주기 및 파형을 가지면서 크기 또는 위상만이 서로 다른 주기파(periodic wave)일 수 있다.

피사체(200)에 투사된 투사광은 피사체(200)의 표면에서 반사된 후, 제 1 렌즈(108)로 입사한다. 일반적으로 피사체(200)는 3차원 영상 획득 장치(100)로부터의 거리, 즉 깊이(depth)가 서로 다른 다수의 표면들을 갖는다. 도 1에는 설명의 단순화를 위하여 깊이가 서로 다른 5개의 표면(P1~P5)을 갖는 피사체(200)가 예시적으로 도시되어 있다. 깊이가 상이한 5개의 표면(P1~P5)에서 각각 투사광이 반사되면서, 상이하게 시간 지연된(즉, 위상이 상이한) 5개의 반사광이 각각 발생한다. 예를 들어, 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광1이 발생하며, 투사광2가 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광2가 발생하고, 마찬가지로 투사광N도 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광N이 발생한다. 3차원 영상 획득 장치(100)로부터의 거리가 가장 먼 표면(P1)에서 반사된 반사광은 Φ_P1 만큼의 시간 지연 후 제 1 렌즈(108)에 도달하고, 3차원 영상 획득 장치(100)로부터의 거리가 가장 가까운 표면(P5)에서 반사된 반사광은 Φ_P1보다 작은 Φ_P5 만큼의 시간 지연 후 제 1 렌즈(108)에 도달할 것이다.

제 1 렌즈(108)는 반사광을 광변조기(103)의 영역 내에 포커싱한다. 제 1 렌즈(108)와 광변조기(103) 사이에는 사용 파장 이외의 배경광이나 잡광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 예를 들어, 광원(101)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 상기 필터(109)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 광변조기(103)에 입사하는 광은 광원(101)으로부터 방출되어 피사체(200)에서 반사된 광이 지배적일 수 있다. 도 1에는 제 1 렌즈(108)와 광변조기(103) 사이에 필터(109)가 배치된 것으로 도시되어 있지만, 제 1 렌즈(108)와 필터(109)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(109)를 먼저 통과한 근적외선광이 제 1 렌즈(108)에 의해 광변조기(103)로 포커싱될 수도 있다.

그러면, 광변조기(103)는 소정의 파형을 갖는 광변조 신호로 반사광을 변조한다. 광변조기(103)에서의 이득 파형의 주기는 투사광의 파형 주기와 동일할 수 있다. 도 1에 도시된 예에서, 광변조기(103)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 반사광1을 광변조하여 촬상소자(105)에 제공하고, 이어서 5개의 반사광2 내지 5개의 반사광N을 차례로 광변조하여 촬상소자(105)에 제공할 수 있다.

광변조기(103)에 의해 크기가 변조된 변조된 광은 제 2 렌즈(110)를 통과하면서 배율 조정 및 재포커싱된 후 촬상소자(105)에 도달한다. 따라서, 변조된 광은 제 2 렌즈(110)에 의해 촬상소자(105)의 영역 내에 집광된다. 촬상소자(105)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 영상을 생성한다. 예를 들어 촬상소자(105)는, 도 2에서 (A)로 표시된 바와 같이, 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광1을 소정의 노출 시간 동안 수광하여 영상1을 생성한다. 이어서, 도 2에서 (B)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광2를 소정의 노출 시간 동안 수광하여 영상2를 생성한다. 이와 같은 과정을 반복하면서 마지막으로, 도 2에서 (C)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광N을 소정의 노출 시간 동안 수광하여 영상N을 생성한다. 이러한 방식으로, 도 2에서 (D)로 표시된 바와 같이, N 개의 상이한 영상들을 순차적으로 얻을 수 있다. 이렇게 얻은 각각의 영상1~N은 깊이 정보를 갖는 한 프레임의 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. 예를 들어, 한 프레임의 주기를 Td라고 한다면, N개의 영상1~N의 각각을 얻기 위한 촬상소자(105)에서의 노출 시간은 대략적으로 Td/N일 수 있다.

다시 도 2의 (A)를 참조하면, 첫번째 서브 프레임에서, 광원(101)으로부터 피사체(200)에 투사된 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되어 5개의 반사광1이 생성된다. 5개의 반사광1은 광변조기(103)에 의해 변조된 후 촬상소자(105)에 도달한다. 도 2에는, 설명의 용이함을 위해 촬상소자(105)가 5개의 표면(P1~P5)에 각각 대응하는 5개의 화소만을 갖는 것으로 도시되어 있다. 따라서, 5개의 반사광1은 대응하는 5개의 화소에 각각 입사할 수 있다. 도 2의 (A)에 도시된 바와 같이, 각각의 표면(P1~P5)에서 반사된 5개의 반사광1은 3차원 영상 획득 장치(100)로부터 표면(P1~P5)까지의 거리에 따라 상이한 위상 지연(Φ_P1~Φ_P5)을 각각 갖는다. 촬상소자(105)는 예컨대 대략 Td/N의 노출 시간 동안 반사광1을 촬영하여 영상1을 생성할 수 있다. 위와 동일한 방식으로, 두 번째 서브 프레임부터 N번째 서브 프레임까지 영상2 내지 영상N이 생성될 수 있다. 도 2의 (B) 및 (C)에 도시된 바와 같이, 2~N번째 서브 프레임에서도 깊이가 다른 5개의 표면(P1~P5)으로부터 상이한 위상 지연(Φ_P1~Φ_P5)이 발생한다.

도 2에서는 N개의 상이한 투사광과 반사광을 사용하여 서로 다른 N개의 영상을 생성하는 경우에 대해 설명하였다. 그러나, 모든 서브 프레임에서 동일한 투사광을 사용하고, 각각의 서브 프레임마다 광변조기(103)가 상이한 이득 파형으로 반사광을 변조하는 것도 가능하다. 도 3은 하나의 동일한 투사광과 N개의 상이한 이득 파형으로 N개의 상이한 영상을 생성하는 과정을 도시하고 있다. 도 3을 참조하면, 피사체(200)로부터 반사된 반사광은 모든 서브 프레임에서 동일한 파형과 위상을 갖는다. 각 서브 프레임의 반사광에는 앞서 설명한 바와 같이 피사체(200)의 표면(P1~P5)에 따라 상이한 위상 지연(Φ_P1~Φ_P5)들이 존재한다. 도 3의 (A)~(C)에 각각 도시된 바와 같이, 첫 번째 서브 프레임에서 광변조기(103)는 광변조 신호1로 반사광을 변조하며, 두 번째 서브 프레임에서 광변조기(103)는 광변조 신호1과 다른 광변조 신호2로 반사광을 변조하고, N 번째 서브 프레임에서 광변조기(103)는 또 다른 광변조 신호N으로 반사광을 변조한다. 여기서, 광변조 신호1~N은 완전히 서로 다른 파형의 신호일 수도 있지만, 주기와 파형은 동일하고 단지 위상만이 다른 신호일 수도 있다. 그러면, 도 3의 (D)에 각각 도시된 바와 같이, 서로 다른 N개의 영상1~N을 얻을 수 있다.

상술한 방식으로 얻은 N개의 영상들은 깊이 정보 영상 처리부(107)로 전달된다. 깊이 정보 영상 처리부(107)는 상기 N개의 영상들을 이용하여 후술할 알고리즘에 따라 깊이 정보를 추출할 수 있다. 도 4는 N개의 영상으로 깊이 정보를 추출하는 과정을 개략적으로 도시하고 있다. 예를 들어, 도 4에 도시된 바와 같이, N개의 영상들에 각각 가중치 A₁~A_N을 곱한 후, 이들 가중된 영상들을 평균하여 하나의 제 1 평균 영상(V)을 생성한다. 그리고, 동일한 N개의 영상들에 또 다른 가중치 B₁~B_N을 각각 곱한 후, 이들 가중된 영상들을 평균하여 제 1 평균 영상(V)과는 다른 제 2 평균 영상(U)을 생성한다. 그러면, 후술할 알고리즘에 대한 설명으로부터 알 수 있듯이, 제 1 평균 영상(V)과 제 2 평균 영상(U)과의 비율(V/U)에 대한 아크탄젠트(arctan = tan^-1) 값으로부터 평균 위상 지연을 구할 수 있으며, 또한 평균 위상 지연으로부터 깊이 정보를 얻을 수 있다. 또한, 후술하는 바와 같이, 최적의 가중치 A₁~A_N과 B₁~B_N의 값이 영상의 개수 N에 따라 미리 계산되어 정해질 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 복잡한 평균화 알고리즘을 수행하지 않고도, 간단한 곱셈 및 덧셈 연산만을 이용한 가중 평균화 방식으로도 불규칙 잡음이 제거된 정확한 깊이 정보를 구하는 것이 가능하다.

도 4에 도시된 실시예는, N개의 서브 프레임 영상들을 모두 얻은 후 한 프레임의 영상에 대한 깊이 정보를 추출하고, 그 다음에 다시 N개의 새로운 서브 프레임 영상들을 모두 얻은 후 다음 프레임의 영상에 대한 깊이 정보를 추출하는 방식이다. 그러나, 본 발명의 다른 실시예에 따르면, 매 서브 프레임마다 깊이 정보를 새로 갱신하는 것도 가능하다. 예를 들어, 도 5를 참조하면, 최초 N개의 서브 프레임에서 얻은 N개의 영상으로부터 깊이 정보를 추출하는 방식은 도 4에 도시된 방식과 같다. 그런 후, N+1 번째 서브 프레임에서 영상N+1을 얻게 되면, 첫번째 영상1을 제거하고 영상2 내지 영상N+1을 이용하여 상술한 가중 평균화 방식으로 깊이 정보를 새로 추출할 수 있다. 마찬가지로, N+2 번째 서브 프레임에서 영상N+2를 얻게 되면, 영상2를 제거하고 영상3 내지 영상N+2를 이용하여 깊이 정보를 새로 추출할 수 있다. 도 5에 도시된 바와 같이, 이렇게 선입 선출(FIFO) 방식으로 메모리 내에 N개의 영상들을 유지하면서, 매 서브 프레임마다 새로운 깊이 정보를 추출하는 것도 가능하다. 도 5에서는 새로운 영상을 하나씩 추가하는 동시에 기존의 영상을 하나씩 제거하는 예가 도시되어 있으나, 다수의 새로운 영상을 추가하는 동시에 같은 수의 기존 영상을 제거하는 것도 가능하다. 예를 들어, N개 미만의 신규 영상을 추가하고, 동일한 수의 가장 오래된 영상을 제거하면서 전체적으로 N개의 영상을 유지할 수도 있다.

이하에서는, 상술한 N개의 영상들을 이용하여 깊이 정보 영상 처리부(107)가 깊이 정보를 추출하는 구체적인 알고리즘에 대해 설명한다.

이하의 이론적인 설명은, 도 2에 도시된 바와 같이, 광원(101)이 N개의 상이한 투사광을 피사체(200)에 투사하고 및 광변조기(103)은 하나의 동일한 광변조 신호를 사용하는 실시예를 위주로 기술된다. 그러나 하나의 동일한 투사광과 N개의 상이한 광변조 신호를 사용하는 경우에도 이하의 이론적인 설명은 동일하게 적용될 수 있다. 또한, 촬상소자(105)의 출력이 2차원 어레이 영상인 경우라도, 각각의 화소에 적용되는 깊이 정보 추출 방법은 동일하므로, 하나의 화소에 적용되는 방법만을 설명한다. 다만, 2차원 어레이 영상에서 다수의 화소로부터 깊이 정보를 동시에 추출하는 경우에, 데이터 관리 및 메모리 할당 등을 효율적으로 처리하여 중복 처리되는 부분을 생략함으로써 계산양을 줄일 수도 있을 것이다.

먼저, 주기 Te를 갖는 일반적인 투사광의 파형 P_e는 다음의 수학식(1)과 같이 표현될 수 있다.

여기서, s는 서로 다른 투사광1 내지 투사광N을 구분하는 식별자이다. 예를 들어, N개의 투사광을 사용하는 경우에 s = 1,2,...,N이다. ω는 투사광의 파형의 각주파수로서 ω=2π/Te의 관계를 갖는다. 또한, a^(s)는 투사광(s)의 크기이며 θ^(s)는 투사광(s)의 위상이다. 그리고,

는 투사광에 존재할 수 있는 DC 오프셋 값이다.

위와 같은 투사광이 피사체(200)에서 반사된 후, 위상차 Φ_TOF를 갖고 3차원 영상 획득 장치(100)로 되돌아오는 반사광의 파형 P_r은 다음의 수학식(2)와 같이 표현될 수 있다.

여기서, r은 피사체 표면의 반사도이며,

는 투사광과 관계 없이 3차원 영상 획득 장치(100)에 유입되는 외광(ambient light) 성분이다.

또한, 광변조기(103)의 광변조 신호의 파형 G는 다음의 수학식(3)과 같이 표현될 수 있다. 아래의 수학식(3)에서 계수 c는 광변조 신호의 크기이며,

는 광변조 신호에 존재할 수 있는 DC 오프셋 값이다. 여기서, 광변조기(103)는 광변조 신호의 각주파수가 투사광과 동일한 각주파수 ω를 갖도록 제어되는 것으로 가정한다.

광변조기(103)를 통과하여 촬상소자(105)에 도달하는 광의 파형은 수학식(2)의 반사광과 수학식(3)의 광변조 신호를 곱함으로써 얻을 수 있다. 따라서, 촬상소자(105)에 도달하는 광의 순시적인 파형 I_inst.는 다음의 수학식(4)와 같이 표현될 수 있다.

촬상소자(105)는 소정의 노출 시간(T) 동안 입사광을 수광하여 영상을 생성할 수 있다. 따라서, 촬상소자(105)의 각 화소에서 생성된 영상은 수학식(4)에 표현된 순시적인 파형을 시간 T 동안 적분한 것과 같다. 여기서, 노출 시간 T는 서브 프레임의 주기와 같을 수 있다. 예를 들어, 초당 30프레임의 속도로 촬영하고, 각 프레임 당 N개의 서브 프레임이 존재하는 경우, 노출 시간 T는 약 0.033/N초가 될 수 있다. 촬상소자(105)의 감도에 따라, 촬상소자(105)에 도달하는 광량과 촬상소자(105)의 출력값 사이에 소정의 변환 비율이 존재할 수 있지만, 편의상 이를 단순화하여 촬상소자(105)의 출력 영상 I_CCD를 아래의 수학식(5)로 정의할 수 있다.

위의 수학식(5)에서 영상을 정의할 때, 촬상소자(105)로의 입력광 세기와 촬상소자(105)로부터의 출력값 사이의 스케일 계수(scale factor)를 1로 가정하였다. 따라서, 실제 계산시에는 촬상소자(105)에 대한 보정(calibration)을 통해 스케일 계수를 결정하여 수학식(5)에 적용할 필요가 있을 것이다. 그러나, 스케일 계수의 실제 값이 이하의 수식 전개의 일반성을 해치는 것은 아니므로, 수학식(5)에서는 편의상 1로 가정하였다.

일반적으로, 투사광의 주기 Te(예컨대, 25ns)는 촬상소자(105)의 노출 시간 T(예컨대, 0.033/N)에 비해서 매우 작다. 따라서, 수학식(5)의 적분시, 수학식(4) 내의 직류 항(DC term)이 주요한 기여를 하며, 교류 항(AC term)은 음수와 양수로 서로 상쇄되므로 그 적분 결과에 기여하는 양이 매우 작다. 따라서, 수학식(4)를 수학식(5)에 대입하여 그 직류 항만을 고려하면, 아래와 같은 관계의 수학식(6)을 얻을 수 있다. 이에 대한 상세한 유도 과정은 생략한다.

위의 수학식(6)에서 우항의 첫 번째 항은 미지수인 위상 지연 Φ_TOF의 함수이며 두 번째 항은 위상 지연과 관련 없는 미지수들의 상수항이다. 따라서, 영상 I_CCD는 미지수인 위상 지연에 관한 항과 위상 지연과 관련 없는 상수항의 합으로 정리될 수 있다. 여기서, 편의상 위상 지연과 관련 없는 상수항을 아래의 수학식(7)과 같이 표시할 수 있다.

N개의 영상을 이용하여 불규칙 잡음이 제거된 깊이 정보를 추출하는 경우에, 다음의 수학식(8)과 같이 위상 지연 Φ_TOF에 대한 N차 비선형 연립 방정식을 얻을 수 있다.

위의 연립 방정식에서 미지수의 상수항

를 소거하고, 삼각함수 공식을 사용하면 아래의 수학식(9)와 같이 정리될 수 있다.

위의 수학식(9)에서 역시 미지수인 rc를 제거하기 위해

를

로 나누면 아래의 수학식(10)과 같은 결과를 얻는다.

위의 수학식(10)을 위상 지연 Φ_TOF의 탄젠트(tan)에 대해 정리하면 아래의 수학식(11)과 같다.

그리고, 위의 수학식(11)을 위상 지연 Φ_TOF으로 정리하면 다음과 같다.

여기서, 수학식(9)에서와 같이 i, j, k = 1, 2, ..., N 이며, i < j < k이다. 위의 수학식(12)에서 3개의 영상

,

은 촬상소자(105)에서 측정되는 것이며, 투사광의 크기 a^(j)와 위상 θ^(j)는 광원 구동부(102)를 통해 제어되는 것이므로 이미 알고 있는 값이다. 따라서, 위의 수학식(12)를 통해 알 수 있듯이, 위상 지연 Φ_TOF는 오름차순으로 정리된 3개의 영상과 투사광의 크기 및 위상을 이용하여 구할 수 있다. 수학식(12)의 해(solution)는 촬영된 영상의 개수 N에 따라 다수가 존재할 수 있으며, 수학식(12)의 다수의 해를 평균하면 불규칙 잡음이 제거된 깊이 정보를 추출할 수 있다.

예를 들어 N = 3인 경우, 즉 3개의 서브 프레임 영상만으로 위상 지연을 구하고자 하는 경우, i, j, k = 1, 2, ..., N 및 i < j < k를 만족하는 경우는 i = 1, j = 2, k = 3인 경우가 유일하다. 따라서, 위의 수학식(12)의 해는 다음의 수학식(13)과 같이 유일하다.

위의 수학식(13)에서

은 첫번째 서브 프레임에서 촬영된 제 1 서브 프레임 영상이며,

은 두 번째 서브 프레임에서 촬영된 제 2 서브 프레임 영상이고,

은 세 번째 서브 프레임에서 촬영된 제 3 서브 프레임 영상이다. 그리고, A⁽²³⁾, A⁽³¹⁾, A⁽¹²⁾는 분자에 있는 제 1 내지 제 3 서브 프레임 영상에 각각 곱해진 가중치로서, 수학식(12)에서와 같이 투사광의 크기 a와 위상 θ로부터 미리 구할 수 있다. 또한, B⁽²³⁾, B⁽³¹⁾, B⁽¹²⁾는 분모에 있는 제 1 내지 제 3 서브 프레임 영상에 각각 곱해진 가중치로서, 역시 투사광의 크기 a와 위상 θ로부터 미리 구할 수 있다. 수학식(13)에서 V는 가중치 A⁽²³⁾, A⁽³¹⁾, A⁽¹²⁾로 가중된 영상들을 평균하여 얻는 제 1 평균 영상(V)이라고 볼 수 있으며, U는 또 다른 가중치 B⁽²³⁾, B⁽³¹⁾, B⁽¹²⁾로 가중된 영상들을 평균하여 얻은 제 2 평균 영상(U)이라고 볼 수 있다. 따라서, 수학식(13)을 통해 알 수 있듯이, 위상 지연 Φ_TOF는 제 1 평균 영상(V)과 제 2 평균 영상(U)의 비율(V/U)에 대한 아크탄젠트(arctan = tan^-1) 값으로부터 구할 수 있다.

또한, 수학식(13)으로부터 알 수 있듯이, 위상 지연을 구하기 위해서는 촬상소자(105)에서 촬영된 최소 3개의 영상이 필요하다. 그러나, N = 3인 경우에는 해가 유일하게 존재하기 때문에, 다수의 해들을 평균하는 것이 불가능하다. 따라서, 3개의 영상만으로는 불규칙 잡음을 제거할 수 없으며, 촬상소자(105)에서 촬영된 최소 4개의 영상들이 있어야 다수의 해들에 대한 평균을 통해 불규칙 잡음을 제거하는 것이 가능하다.

다음으로 N = 4인 경우를 살펴보면, ₄C₃ = 4이므로 수학식(12)는 4개의 해를 갖는다. 즉, i, j, k = 1, 2, 3, 4 및 i < j < k를 만족하는 경우는 (i, j, k) = 1, 2, 3인 경우, (i, j, k) = 1, 2, 4인 경우, (i, j, k) = 1, 3, 4인 경우, 및 (i, j, k) = 2, 3, 4인 경우가 존재한다. 따라서, 이러한 4개의 해는 다음의 수학식(14)와 같다.

만약 3차원 영상 획득 장치(100) 내에서 불규칙 잡음이 발생하지 않는다면, 위의 수학식(14)에 있는 4개의 해로부터 구한 4개의 위상 지연은 모두 동일한 값을 가질 것이다. 그러나, 3차원 영상 획득 장치(100) 내에서 불규칙 잡음이 발생하는 경우에는, 위의 수학식(14)에 있는 4개의 해로부터 구한 4개의 위상 지연은 랜덤하게 서로 다른 값을 갖게 된다. 불규칙 잡음을 제거하기 위하여 일반적으로 손쉽게 생각할 수 있는 방법은 4개의 위상 지연을 단순히 평균하는 것이다. 그러나, 이 경우 4개의 위상 지연을 구하기 위해 아크탄젠트를 4회 계산해야 하는 등 계산량이 많아진다. 따라서 N = 3인 경우와 유사한 계산량을 가지면서 불규칙 잡음을 제거할 수 있는 방안이 필요하다.

수학식(14)에서, V^(k)을 벡터 평면 상에서 세로축 방향의 벡터로 놓고, U^(k)을 가로축 방향의 벡터로 놓으면, 도 6에 도시된 바와 같이, 위상 지연 Φ_TOF ^(k)(여기서, k = 1~4)는 아크탄젠트의 정의에 따라 가로축으로부터의 회전각이 된다. 도 6에서 평균 위상 지연 Φ_TOF ^(AVG)는 불규칙 잡음으로 인해 분산을 갖는 [U^(k),V^(k)]의 4개의 벡터들의 평균 벡터로부터 계산될 수 있다. 이러한 평균 벡터는 불규칙 잡음으로 인한 분산을 줄인 값이 될 수 있다. 평균 벡터는 아래의 수학식(15)로 나타낼 수 있다.

수학식(14)와 수학식(15)를 이용하여 평균 위상 지연을 구하면 아래의 수학식(16)과 같다. 수학식(16)의 상세한 유도 과정은 생략한다.

위의 수학식(16)으로부터 알 수 있듯이, 불규칙 잡음이 제거된 평균 위상 지연은, 촬상소자(105)에서 순차적으로 촬영된 4개의 영상에 가중치 A₁, A₂, A₃, A₄를 각각 곱하여 평균한 제 1 평균 영상과 상기 4개의 영상에 또 다른 가중치 B₁, B₂, B₃, B₄를 각각 곱하여 평균한 제 2 평균 영상의 비로부터 계산될 수 있다. 여기서, 촬상소자(105)에서 촬영된 각각의 영상들에 대한 가중치 A₁~A₄는 다음의 수학식(17)과 같다.

이고,

.

가중치 B₁~B₄도 수학식(17)의 가중치 A₁~A₄와 동일한 방식으로 구할 수 있다. 위의 수학식(17)에서 알 수 있듯이, 가중치 A₁, A₂, A₃, A₄, B₁, B₂, B₃, B₄는 투사광의 크기 a와 위상 θ로부터 미리 구할 수 있다. 따라서 위의 수학식(16)을 이용함으로써, 평균 위상 지연은 단지 1회의 아크탄젠트 계산만으로 단간하게 구할 수 있다.

또한 N = 5인 경우에는, ₅C₃ = 10이므로 수학식(12)는 10개의 해를 갖는다. 즉, i, j, k = 1, 2, ..., 5 및 i < j < k를 만족하는 경우는 (i, j, k) = 1, 2, 3인 경우, (i, j, k) = 1, 2, 4인 경우, (i, j, k) = 1, 3, 4인 경우, (i, j, k) = 2, 3, 4인 경우, (i, j, k) = 1, 2, 5인 경우, (i, j, k) = 1, 3, 5인 경우, (i, j, k) = 2, 3, 5인 경우, (i, j, k) = 1, 4, 5인 경우, (i, j, k) = 2, 4, 5인 경우, 및 (i, j, k) = 3, 4, 5인 경우가 존재한다. 따라서, 이러한 10개의 해는 다음의 수학식(18)과 같다.

N = 4인 경우와 마찬가지로, 수학식(18)과 수학식(15)를 이용하여 평균 위상 지연을 구하면 아래의 수학식(19)와 같다. 수학식(19)의 상세한 유도 과정은 생략한다.

여기서, 촬상소자(105)에서 촬영된 각각의 영상들에 대한 가중치 A₁~A₅는 다음의 수학식(20)과 같다.

수학식(20)을 보면, 가중치 A_k는 일정한 규칙성을 갖는 수열 A^(ij)의 합이라는 것을 알 수 있다. 즉, 가중치 A_k는 수열 A^(ij)의 합으로서, (i, j)는 (1, 2, 3, 4, 5)에서 k번째 값을 제외한 나머지 4개의 수 중에서 2개를 오름차순으로 선택할 수 있는 모든 조합이다. 여기서, 오름차순은 k 이후의 수부터 순환하는 방식으로 결정된다. 예를 들어, k = 2인 경우, 2 이후부터 [3, 4, 5, 1]의 오름차순을 갖는 4개의 수 중에서 2개를 오름차순으로 선택한다. 또한, k = 4인 경우, 4 이후부터 [5, 1, 2, 3]의 오름차순을 갖는 4개의 수 중에서 2개를 오름차순으로 선택한다. 이를 가중치 A₃에 대해 예를 들어 적용하자면 다음과 같다. 즉, k = 3이므로 [4, 5, 1, 2] 중에서 2개를 오름차순으로 선택하면, [4, 5], [4, 1], [4, 2], [5, 1], [5, 2], [1, 2]가 나온다. 따라서, A₃ = A^(4,5) + A^(4,1) + A^(4,2) + A^(5,1) + A^(5,2) + A^(1,2)가 될 수 있다. 가중치 B_k도 이와 동일하게 적용될 수 있다. 즉, 가중치 B_k는 수열 B^(ij)의 합으로서, (i, j)는 (1, 2, 3, 4, 5)에서 k번째 값을 제외한 나머지 4개의 수 중에서 2개를 오름차순으로 선택할 수 있는 모든 조합이다. 그리고, A^(ij)와 B^(ij)의 값은 투사광의 크기 a와 위상 θ로부터 미리 구할 수 있다. 따라서, 위의 수학식(19)로부터 불규칙 잡음이 제거된 평균 위상 지연을 간단하게 계산할 수 있다.

이와 같은 방식으로, 일반적인 영상의 개수 N에 대한 평균 위상 지연은 다음의 수학식(21)으로 표현될 수 있다.

그리고, 위의 수학식(21)에서 가중치 A_k와 B_k는 아래의 수학식(22)과 같이 일반화될 수 있다.

위의 수학식(22)에서, i와 j는 자연수 1 내지 N 중에서 k를 제외한 어느 한 수(i ≠ k, j ≠ k)이다. 임의의 수 N에 대해 일반적으로 설명하자면, 가중치 A_k는 수열 A^(ij)의 합으로서, (i, j)는 자연수 (1~N)에서 k를 제외한 나머지 (N-1)개의 수를 k 이후부터 순환하는 오름차순으로 정리하고, 그 중에서 2개를 상기 순환하는 오름차순의 순서로 선택할 수 있는 모든 조합이다. 여기서, N 바로 다음의 오름차순 수는 1로 정의된다. 따라서, (N-1)개의 수는 (k+1, k+2, ..., N-1, N, 1, 2, ..., k-1)의 오름차순으로 정리될 수 있다. 가중치 B_k도 이와 동일하게 적용될 수 있다.

이와 같이 일반화된 가중치 A_k와 B_k는 미리 정해진 투사광의 크기 a⁽ⁱ⁾와 위상 θ⁽ⁱ⁾를 이용하여 수치화한 후, 3차원 영상 획득 장치(100)의 동작시에 깊이 정보를 추출하기 위하여 사용할 수 있다. 도 7에 도시된 표는 N = 3~10인 경우에 대해 수학식(22)의 가중치 A_k와 B_k를 계산한 결과를 예시적으로 보이고 있다. 도 7의 표에서, 투사광의 크기는 모든 경우에 대해 동일하다고 가정하였으며, 위상은 360도를 균등하게 N 등분하여 정해진다고 가정하였다. 예컨대, N = 3인 경우, 위상 θ^(i~3)은 각각 0도, 120도, 240도이다. 또한, 도 7의 표에서 가중치 A_k와 B_k는 최대값이 1이 되도록 정규화되었다.

도 7의 표와 같이 미리 계산된 가중치들이 3차원 영상 획득 장치(100)의 메모리 내에 저장되어 있는 경우, 깊이 정보 영상 처리부(107)는 깊이 정보를 추출할 때마다 가중치들을 새로 계산할 필요가 없다. 촬영된 영상의 개수에 따라, 깊이 정보 영상 처리부(107)는 메모리로부터 적절한 가중치들을 읽어서 각각의 영상에 곱하는 연산만 수행하면 된다. 따라서, 불규칙 잡음이 제거된 평균 위상 지연을 간단하고 빠르게 구할 수 있으므로, 깊이 정보의 실시간 추출이 가능하다. 또한, 불규칙 잡음을 제거하는 데 필요한 메모리 사용량 및 연산량을 크게 감소시킬 수 있으므로, 3차원 영상 획득 장치(100)의 크기 및 제조 비용을 감소시킬 수 있다. 도 7의 표에는 한 가지 조합의 투사광 크기와 위상에 대한 가중치들이 예시되어 있으나, 실제 사용시 다양한 조합의 투사광 크기와 위상들에 대한 가중치들의 조합을 미리 계산하여 둘 수 있다. 그러면, 깊이 정보 추출시 깊이 정보 영상 처리부(107)는 사용된 투사광 크기와 위상의 조합 및 촬영된 영상의 개수에 대응하는 조합의 가중치들을 메모리로부터 읽어서 평균 위상 지연을 구하는데 사용할 수 있다. 여기서, 메모리는 제어부(106) 내에 또는 깊이 정보 영상 처리부(107) 내에 있거나, 또는 이들과 분리된 별도의 저장 장치일 수도 있다.

이와 같은 방식으로 평균 위상 지연을 구하면, 3차원 영상 획득 장치(100)와 피사체(200)의 표면들 사이의 거리가 다음의 수학식(23)로부터 계산될 수 있다.

위의 수학식(23)에서 C는 빛의 속도이며, Te는 투사광의 파형의 주기이다.

도 8은 지금까지 설명한 깊이 정보 추출 방법을 정리하여 설명하는 흐름도이다. 도 8을 참조하면, 먼저 광원(101)은 광원 구동부(102)에 의해 구동되면서 N개의 상이한 투사광을 피사체(200)에 순차적으로 투사한다(S1). 여기서, N은 3 이상의 자연수일 수 있다. N개의 상이한 투사광들은 주기가 동일하며 크기 또는 위상이 서로 다른 파형을 가질 수 있다. N개의 투사광은 피사체(200)의 표면들에서 반사된 후, N개의 상이한 반사광으로서 광변조기(103)에 순차적으로 입사한다. 그러면 광변조기(103)는 광변조기 구동부(104)에 의해 구동되면서 피사체(200)의 표면들에서 반사된 N개의 상이한 반사광을 각각 소정의 이득 파형을 갖는 광변조 신호로 변조한다(S2). 여기서, 광변조 신호는 투사광과 동일한 주기를 갖는 주기파일 수 있다.

촬상소자(105)는 변조된 N개의 반사광을 각각 순차적으로 촬영하여 N개의 영상을 생성한다(S3). 이렇게 생성된 N개의 영상은 깊이 정보 영상 처리부(107)로 전달된다. 깊이 정보 영상 처리부(107)는 미리 계산되어 있는 소정의 가중치 A_k와 B_k를 메모리(도시되지 않음)로부터 읽어들인다(S4). 앞서 설명한 바와 같이, 상기 가중치 A_k와 B_k들은 사용된 투사광들의 개수 N, 투사광들의 크기 및 투사광들의 위상에 따라 결정될 수 있다. 메모리에는 투사광들의 개수 N, 투사광들의 크기 및 투사광들의 위상에 대한 다양한 조합에 따른 다양한 가중치 A_k와 B_k들이 미리 계산되어 저장되어 있다. 깊이 정보 영상 처리부(107)는 메모리에 저장되어 있는 다양한 가중치 A_k와 B_k들 중에서 실제 사용된 투사광들의 개수 N, 투사광들의 크기 및 투사광들의 위상에 대응하는 가중치를 검색하여 불러올 수 있다.

그런 후, 깊이 정보 영상 처리부(107)는 수학식(21)에 나타낸 바와 같이 N개의 영상에 그에 대응하는 제 1 가중치 A_k를 각각 곱하고 곱한 결과들을 합산함으로써 제 1 평균 영상(V)을 구한다(S5). 예를 들어, 첫번 째 영상에는 그에 대응하는 첫번째 제 1 가중치 A₁을 곱하고, N번째 영상에는 그에 대응하는 N번째 제 1 가중치 A_N을 곱한다. 마찬가지로, 깊이 정보 영상 처리부(107)는 N개의 영상에 그에 대응하는 제 2 가중치 B_k들을 각각 곱하고 곱한 결과들을 합산함으로써 제 2 평균 영상(U)을 구한다(S6). 그런 후, 깊이 정보 영상 처리부(107)는 제 1 평균 영상(V)과 제 2 평균 영상(U)과의 비율(V/U)에 대한 아크탄젠트 값으로부터 평균 위상 지연을 구한다(S7). 이렇게 평균 위상 지연을 구하였으면, 수학식(23)를 이용하여 3차원 영상 획득 장치(100)로부터 피사체(200)까지의 거리를 계산할 수 있다(S8). 이러한 본 발명의 일 실시예에 따르면, 영상의 개수 N이 증가하더라도, 제 1 평균 영상(V)과 제 2 평균 영상(U)을 구하기 위한 곱셈 및 덧셈 연산만이 비례적으로 증가하기 때문에, 연산량이 증가가 매우 적다. 따라서, 불규칙 잡음이 제거된 매우 정확한 깊이 정보를 비교적 적은 연산량만으로 구할 수 있다.

도 8의 흐름도에서는 N개의 상이한 투사광을 사용하는 실시예를 위주로 설명하였으나, 앞서 이미 설명한 바와 같이, N개의 동일한 투사광을 사용하는 대신 N개의 상이한 광변조 신호를 사용하는 것도 가능하다. 예를 들어, N개의 상이한 광변조 신호는 주기와 파형이 서로 같고, 크기 또는 위상이 서로 다른 주기파일 수 있다. 이 경우에도, 촬상소자(105)로부터 N개의 상이한 영상들을 얻을 수 있으며, 이후의 깊이 정보를 추출하는 과정은 단계(S4) 내지 단계(S8)들이 동일하게 적용될 수 있다. 다만, 단계(S5) 및 단계(S6)에서 제 1 및 제 2 가중치는 광변조 신호들의 크기 및 광변조 신호들의 위상에 따라 결정될 수 있다.

한편, 상술한 연산들을 수행하여 불규칙 잡음이 제거된 깊이 정보를 계산하는 깊이 정보 영상 처리부(107)는, 앞서 설명한 바와 같이, 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 개인용 컴퓨터와 같은 일반적인 컴퓨터 장치 내에 설치된 소프트웨어로도 구현될 수도 있다. 소프트웨어로 구현되는 경우, 깊이 정보 영상 처리부(107)는 컴퓨터에 의해 실행 가능한 형식으로 별도의 이동 가능한 저장 매체에 저장될 수도 있다.

지금까지, 본 발명의 이해를 돕기 위하여 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 대한 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

100....3차원 영상 획득 장치 101....광원
102....광원 구동부 103....광변조기
104....광변조기 구동부 105....촬상소자
106....제어부 107....깊이 정보 영상 처리부
108....제 1 렌즈 109....필터
110....제 2 렌즈 200....피사체

Claims

N개(여기서, N은 3 이상의 자연수)의 상이한 투사광을 피사체에 순차적으로 투사하는 단계;
피사체에서 반사된 N개의 반사광을 이득 파형을 갖는 광변조 신호로 변조하는 단계;
상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계;
상기 N개의 영상에 제 1 가중치들을 각각 곱하여 제 1 평균 영상을 생성하고, 상기 N개의 영상에 제 2 가중치들을 각각 곱하여 제 2 평균 영상을 생성하는 단계;
상기 제 1 및 제 2 평균 영상으로부터 평균 위상 지연을 구하는 단계; 및
상기 평균 위상 지연으로부터 피사체까지의 거리를 계산하는 단계;를 포함하는 깊이 정보 추출 방법.
제 1 항에 있어서,
상기 N개의 상이한 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파인 깊이 정보 추출 방법.
제 2 항에 있어서,
상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파인 깊이 정보 추출 방법.
제 2 항에 있어서,
상기 N개의 투사광들 사이에 360도를 N 등분한 위상차가 존재하는 깊이 정보 추출 방법.
제 1 항에 있어서,
상기 제 1 평균 영상은 상기 N개의 영상에 그에 각각 대응하는 제 1 가중치들을 각각 곱하고 그 곱한 결과를 합산하여 얻어지며, 상기 제 2 평균 영상은 상기 N개의 영상에 그에 각각 대응하는 제 2 가중치들을 각각 곱하고 그 곱한 결과를 합산하여 얻어지는 깊이 정보 추출 방법.
제 5 항에 있어서,
상기 제 1 및 제 2 가중치들은 상기 N개의 투사광의 크기와 위상을 이용하여 미리 계산되어 있는 깊이 정보 추출 방법.
제 6 항에 있어서,
k번째 영상에 대응하는 k번째 제 1 및 제 2 가중치를 각각 A_k와 B_k라고 하고, i번째 투사광의 크기를 a⁽ⁱ⁾, i번째 투사광의 위상을 θ⁽ⁱ⁾라고 할 때, 제 1 및 제 2 가중치는 아래의 수학식과 같이 정의되며,

여기서, i와 j는 1 내지 N 중에서 k를 제외한 어느 한 수(i ≠ k, j ≠ k)로서, i와 j의 조합은 k를 제외한 나머지 (N-1)개의 수를 k 이후부터 순환하는 오름차순 (k+1, k+2, ..., N-1, N, 1, 2, ..., k-1)으로 정리하고 그 중에서 2개를 상기 순환 오름차순의 순서로 선택할 수 있는 모든 조합인 깊이 정보 추출 방법.
제 6 항에 있어서,
다수의 투사광의 크기들과 다수의 투사광의 위상들에 관한 다수의 조합에 대하여 다수의 가중치들의 조합이 미리 계산되어 있는 깊이 정보 추출 방법.
제 8 항에 있어서,
상기 제 1 평균 영상 및 제 2 평균 영상을 생성하는 단계에서, 상기 다수의 가중치들의 조합 중에서 실제 사용된 N개의 투사광의 크기와 위상의 조합에 대응하는 조합의 가중치들을 사용하는 깊이 정보 추출 방법.
제 1 항에 있어서,
상기 평균 위상 지연은 제 1 평균 영상(V)과 제 2 평균 영상(U)의 비율(V/U)에 대한 아크탄젠트 값으로부터 구하는 깊이 정보 추출 방법.
제 1 항에 있어서,
N개 미만의 상이한 투사광을 피사체에 투사하여 N개 미만의 신규 영상을 추가적으로 생성하는 단계;
가장 먼저 생성된 N개 미만의 기존 영상을 제거하는 단계;
남아 있는 N개의 영상에 대해 제 1 및 제 2 가중치들을 각각 곱하여 제 1 및 제 2 평균 영상을 생성하는 단계;
상기 제 1 및 제 2 평균 영상으로부터 평균 위상 지연을 구하는 단계; 및
상기 평균 위상 지연으로부터 피사체까지의 거리를 계산하는 단계;를 더 포함하는 깊이 정보 추출 방법.
N개(여기서, N은 3 이상의 자연수)의 동일한 투사광을 피사체에 순차적으로 투사하는 단계;
N개의 상이한 이득 파형을 갖는 광변조 신호로 상기 피사체에서 반사된 N개의 반사광을 각각 변조하는 단계;
상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계;
상기 N개의 영상에 제 1 가중치들을 각각 곱하여 제 1 평균 영상을 생성하고, 상기 N개의 영상에 제 2 가중치들을 각각 곱하여 제 2 평균 영상을 생성하는 단계;
상기 제 1 및 제 2 평균 영상으로부터 평균 위상 지연을 구하는 단계; 및
상기 평균 위상 지연으로부터 피사체까지의 거리를 계산하는 단계;를 포함하는 깊이 정보 추출 방법.
제 12 항에 있어서,
상기 N개의 상이한 광변조 신호는 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파인 깊이 정보 추출 방법.
제 13 항에 있어서,
상기 투사광은 상기 광변조 신호와 동일한 주기를 갖는 주기파인 깊이 정보 추출 방법.
제 13 항에 있어서,
상기 N개의 광변조 신호들 사이에 360도를 N 등분한 위상차가 존재하는 깊이 정보 추출 방법.
제 12 항에 있어서,
상기 제 1 평균 영상은 상기 N개의 영상에 그에 각각 대응하는 제 1 가중치들을 각각 곱하고 그 곱한 결과를 합산하여 얻어지며, 상기 제 2 평균 영상은 상기 N개의 영상에 그에 각각 대응하는 제 2 가중치들을 각각 곱하고 그 곱한 결과를 합산하여 얻어지는 깊이 정보 추출 방법.
제 16 항에 있어서,
상기 제 1 및 제 2 가중치들은 상기 N개의 광변조 신호의 크기와 위상을 이용하여 미리 계산되어 있는 깊이 정보 추출 방법.
피사체를 향해 투사광을 투사하는 광원;
피사체로부터 반사된 반사광을 광변조 신호로 변조하는 광변조기;
상기 광변조기에 의해 변조된 광을 촬영하여 영상을 생성하는 촬상소자; 및
상기 촬상소자에서 생성된 영상을 이용하여 피사체와의 거리를 계산하기 위한 깊이 정보 영상 처리부;를 포함하며,
상기 깊이 정보 영상 처리부는 제 1 항 내지 제 18 항 중 어느 한 항에 따른 방법으로 깊이 정보를 추출하는 3차원 영상 획득 장치.
제 18 항에 있어서,
상기 광원을 구동시켜 투사광의 파형을 제어하는 광원 구동부;
상기 광변조기를 구동시켜 광변조 신호의 이득 파형을 제어하는 광변조기 구동부; 및
상기 광원 구동부, 광변조기 구동부 및 촬상소자의 동작을 제어하기 위한 제어부;를 더 포함하는 3차원 영상 획득 장치.
제 18 항에 있어서,
상기 광변조기의 광입사면에서 반사광을 광변조기의 영역 내에 집광하는 제 1 렌즈;
상기 제 1 렌즈와 광변조기 사이에서 소정의 파장을 갖는 광만을 투과시키는 필터; 및
상기 광변조기와 촬상소자 사이에서 상기 변조된 광을 상기 촬상소자의 영역 내에 집광하는 제 2 렌즈를 더 포함하는 3차원 영상 획득 장치.
제 18 항에 있어서,
상기 촬상소자는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토다이오드 어레이를 사용하거나 또는 단일 지점의 거리 측정을 위한 1개의 포토다이오드를 사용하는 3차원 영상 획득 장치.
제 18 항에 있어서,
다수의 투사광 또는 광변조 신호의 크기들과 다수의 투사광 또는 광변조 신호의 위상들에 관한 다수의 조합에 대하여 미리 계산되어 있는 상기 다수의 가중치들의 조합이 메모리 내에 저장되어 있는 3차원 영상 획득 장치.
제 22 항에 있어서,
깊이 정보 추출시, 상기 깊이 정보 영상 처리부는 실제 사용된 투사광 또는 광변조 신호의 크기와 위상의 조합에 대응하는 가중치들을 메모리로부터 읽어서 깊이 정보를 계산하는 데 사용하도록 구성된 3차원 영상 획득 장치.