KR20120030196A

KR20120030196A - 뎁스 영상 생성 장치 및 방법

Info

Publication number: KR20120030196A
Application number: KR1020100092035A
Authority: KR
Inventors: 박용화; 김응선
Original assignee: 삼성전자주식회사
Priority date: 2010-09-17
Filing date: 2010-09-17
Publication date: 2012-03-28
Also published as: KR101753312B1; US9310488B2; US20120069176A1

Abstract

PN-시퀀스로 구성된 파형을 이용하여 다중 사용자 간 간섭 문제를 해결하는 뎁스 영상 생성 장치 및 방법이 제공된다. 뎁스 영상 생성 장치는, 제1 PN-시퀀스(pseudorandomㅡsequence)를 이용하여 변조된 광원의 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스에 비해 N개의 서로 다른 타임 쉬프트를 가지며 제1 PN-시퀀스와 동일한 제2 PN-시퀀스를 이용하여 광 변조를 수행하는 광 변조기와, 광 변조가 수행된 반사광을 감지하는 광 센서와, 감지되는 광 신호 중에서, N개의 인텐서티 영상을 샘플링하여, 샘플링된 N개의 인텐서티 영상을 이용하여 피사체에 대한 뎁스 영상을 생성하는 뎁스 영상 처리부를 포함한다.

Description

뎁스 영상 생성 장치 및 방법{Apparatus and method for generating depth image}

촬상 장치 및 방법에 관한 것으로, 더욱 상세하게는 거리 정보를 생성하는 뎁스 영상 생성 장치 및 방법에 관한 것이다.

최근에 사물의 거리 정보를 촬영하는 3D 카메라 또는 LADAR(Laser Radar) 기술이 연구되고 있다. 사물의 거리 정보를 촬영하는 기술 중 하나는 빛의 왕복 시간(Time-of-Flight) 측정법으로서 촬상 장치와 피사체 간의 거리(이하, 뎁스(Depth))를 측정하는 기능을 갖는다.

왕복 시간 측정법은 기본적으로 특정 파장의 빛을 이용하여 피사체로 투사하고, 피사체로부터 반사된 같은 파장의 빛은 특별한 변조 과정을 거쳐 포토다이오드 또는 카메라에서 측정하거나 촬영한다. 이러한 과정을 통해 얻은 측정값을 이용하여 뎁스를 추출하기 위한 특별한 프로세싱을 거치게 된다. 이러한 광 처리 과정 즉, 광원투사-피사체 반사-광변조-촬영-프로세싱의 일련의 과정에 대한 다양한 왕복 시간 측정법이 소개되고 있다.

그 중에서 SLP(Shutter Light Pulse) 방법은, 촬영 대상의 특정 파장의 빛(예를 들어, 850㎚의 근적외광)을 LED(Light Emitting Diode) 또는 LD(Laser Diode)를 이용하여 피사체로 투사하고, 피사체로부터 반사된 같은 파장의 광 영상을 광 증폭기(image intensifier) 또는 특별한 변조기 소자를 이용하여 광 변조를 하고, 광 변조된 광 영상을 이미지 센서로 영상을 촬영한다. 그런 다음, 이미지 센서로 촬영하여 측정되는 값을 처리하여 결과적으로 포인트 또는 영상의 뎁스를 얻는다.

이 과정에서, 빛의 거리에 따른 위상차 또는 빛의 왕복 시간(Time-to-Flight)을 식별하기 위해, 수십 ㎒ 내지 수백 ㎒의 초고속의 광 변조 속도가 필요하다. 이를 위한 수단으로서는 MCP(Multi-Channel Plate)를 구비한 광 증폭기(image intensifier)를 사용하거나 GaAs 계열의 고체 변조기 소자를 사용한다. 최근에는, 그 특성을 개선하기 위한 GaAs 기반의 변조기 소자 및 전기 광학(Electro-Optic) 물질을 사용하는 박형의 변조기 소자가 제시되었다.

한편, 뎁스 추출을 위한 광처리 과정시 광원과 광변조 소자를 펄스 구동하는 방법 또는 삼각형파(ramp 파형) 등의 특별한 파형을 이용하는 방법, 사인파를 사용하는 방법, 비선형 파형을 그대로 사용하는 방법 등이 소개가 되었다. 각각의 파형에 따라 광원과 광변조 소자의 구동 방법 및 촬영된 인텐서티(intensity) 값을 통한 뎁스 추출 계산 방법, 소위 뎁스 알고리즘이 요구된다.

그런데, 위와 같은 펄스, 삼각형파, 사인파 등 일반적으로 사용되는 파형을 3D 카메라에 적용하는 경우 대부분의 경우, 다수 사용자가 동시에 한 위치에서 촬영을 할 때, 서로 다른 카메라에서 투사된 적외선 광원이 모든 카메라의 광학계에 입사되어, 뎁스 추출 결과에 오차 요인을 작동한다. 즉, 다중 사용자의 카메라간 간섭(Multi-user interference) 문제가 발생한다.

의사 난수 시퀀스로 구성된 파형을 이용하여 다중 사용자 간 간섭 문제를 해결하는 뎁스 영상 생성 장치 및 방법이 제공된다.

일 측면에 따른 뎁스 영상 생성 장치는, 제1 PN-시퀀스(pseudorandomㅡsequence)를 이용하여 변조된 광원의 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 가지며 N개의 서로 다른 타임 쉬프트를 가지는 제2 PN-시퀀스를 이용하여 광 변조를 수행하는 광 변조기와, 광 변조가 수행된 반사광을 감지하는 광 센서와, 감지되는 광 신호 중에서, N개의 인텐서티 영상을 샘플링하여, 샘플링된 N개의 인텐서티 영상을 이용하여 피사체에 대한 뎁스 영상을 생성하는 뎁스 영상 처리부를 포함한다.

다른 측면에 따른 뎁스 영상 생성 장치는, N개의 서로 다른 타임 쉬프트를 가지는 N개의 제1 PN-시퀀스(pseudorandomㅡsequence)를 이용하여 변조된 광의 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 가지며 서로 다른 타임 쉬프트를 가지는 한 개의 제2 PN-시퀀스를 이용하여 광 변조를 수행하는 광 변조기와, 광 변조가 수행된 반사광을 감지하는 광 센서와, 감지되는 광 신호 중에서, N개의 인텐서티 영상을 샘플링하여, 샘플링된 N개의 인텐서티 영상을 이용하여 피사체에 대한 뎁스 영상을 생성하는 뎁스 영상 처리부를 포함한다.

다른 측면에 따른 뎁스 영상 생성 방법은, 제1 PN-시퀀스를 이용하여 변조된 광원의 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 가지며 N개의 서로 다른 타임 쉬프트를 가지는 제2 PN-시퀀스를 이용하여 광 변조를 수행하는 단계와, 광 변조가 수행된 반사광을 감지하는 단계와, 감지되는 광 신호 중에서 광 변조에 의하여 획득되는 N개의 인텐서티 영상을 샘플링하는 단계와, 샘플링된 N개의 인텐서티 영상을 이용하여 피사체에 대한 뎁스 영상을 생성하는 단계를 포함한다.

일 실시예에 따르면, 기존의 뎁스 추출시 발생하는 다수의 사용자 간의 간섭 현상을 PN-시퀀스의 상호 상관이 적고, 비동기화된 동일한 시퀀스의 자기 상관이 작다는 특성에 따라 제거할 수 있다.

다수의 인텐서티 영상을 촬영할 때, 셔터의 시간 지연의 간격을 조절함으로써, 뎁스 계산에 필요한 인텐서티 영상의 측정 수를 늘림으로써, 복수 개의 뎁스를 계산하고, 계산된 뎁스에 평균을 취하거나 최적의 조합을 선택 및 계산하여 잡음에 의한 오차를 감소시켜 높은 뎁스 추출 정밀도를 얻을 수 있다.

다수의 인텐서티 영상 촬영시 셔터의 인텐서티 영상의 개수를 늘림으로써 그 개수에 비례하여 거리 촬영 범위를 늘릴 수 있다. 이때, 부가적인 파형 생성이나 별도의 장치가 필요하지 않고 단지 광 변조기에서 시간 지연을 주는 횟수를 늘리고 인텐서티 영상을 촬영하면 된다.

또한, 다수의 인텐서티 영상 촬영시에, 첫 번째 인텐서티 영상의 시간 지연의 크기를 조절하여 이동하고, 그에 비례하여 촬영 범위의 중간 값을 이동시킬 수 있다.

또한, 기존 방법에 비하여 추가되는 연산량이 매우 작으므로 실시간을 뎁스 영상을 촬영할 수 있다.

또한, 기존의 뎁스 추출시에 사용하는 광원, 광변조기, 촬상 장치 등을 사용하므로 추가되는 장치로 인한 비용이 발생하지 않는다.

도 1은 의사 난수 파형을 이용한 뎁스 영상 생성 장치의 구성의 일 예를 나타내는 도면이다.
도 2a 및 도 2b는 서브 프레임별 인텐서티 영상 촬영 방법의 일 예를 나타내는 도면이다.
도 3은 뎁스 영상을 구성하는 방법의 일 예를 나타내는 도면이다.
도 4는 바이폴라 m 시퀀스의 일 예를 나타낸다.
도 5는 바이폴라 m 시퀀스의 자기 상관을 나타내는 도면이다.
도 6의 도 1의 IR 광원의 파형의 일 예를 나타내는 도면이다.
도 7은 도 1의 광 변조기의 파형의 일 예를 나타내는 도면이다.
도 8a 내지 도 8c는 광 변조기의 시간 지연을 T_C로 하는 경우 측정된 인텐서티 영상을 나타내는 도면이다.
도 9a 내지 도 9d는 4개 이상의 인텐서티 영상을 촬영하는 경우, 뎁스를 계산하는 방법을 나타내는 도면이다.
도 10은 광 변조기의 시간 지연을 T_C/2로 하는 경우 측정된 인텐서티 영상을 나타내는 도면이다.
도 11은 뎁스 영상 생성 방법의 일 예를 나타내는 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 의사 난수 파형을 이용한 뎁스 영상 생성 장치의 구성의 일 예를 나타내는 도면이다.

뎁스 영상 생성 장치(100)는 제어부(110), 광원 드라이버(120), IR 광원(130), 광 변조기 드라이버(140), 영상 획득부(150) 및 뎁스 영상 처리부(160)를 포함할 수 있다.

뎁스 영상 생성 장치(100)는 특정 의사 난수(pseudorandom) 시퀀스(이하에서, PN-시퀀스라 함)으로 IR 광원(130)을 구동하여 투사하고, 영상 획득부(150)의 광 변조기(153)에서 IR 광원(130)에서 투사된 광과 동일한 파형으로 광변조를 수행하여 얻어진 이미지 즉, PN-시퀀스의 자기 상관(auto-correlation) 값을 사용하여 피사체(10)와의 거리 즉, 뎁스를 추출한다. PN-시퀀스는 바이너리 함수로서 2개의 값을 갖는 시퀀스이다. 통신 분야에서 활발한 활용이 있는 CDMA(Code Division Multiple Access) 기법에서 사용되는 파형중의 하나인 PN-시퀀스는 통신 기기 사용자를 구별하는데 이용되어, 다중 사용자간 간섭을 효과적으로 제거할 수 있다.

제어부(110)는 뎁스 영상 생성 장치(100)의 광원 드라이버(120), 광 변조기 드라이버(140), 영상 획득부(150) 및 뎁스 영상 처리부(160)와 연결되어 뎁스 영상 생성 장치(100)의 전체 시스템을 제어한다.

광원 드라이버(120)는 제어부(110)의 제어에 따라서 적절한 전기 신호를 출력하여 IR 광원(130)의 광을 크기 변조(Amplitude Modulation)하는 방식으로 구동한다.

IR 광원(130)은 눈의 안전 등을 고려하여 인간의 눈에 보이지 않는 IR 대역(예를 들어, 850㎚의 근적외광)을 출력하는 소자를 사용할 수 있다. IR 광원(130)으로 LD(Laser Diode) 또는 LED(Light Emitting Diode) 등이 이용될 수 있으며, 광원의 파장 대역 및 광원의 종류는 제한되지 않는다.

IR 광원(130)에서 출력된 광은 피사체(10)에 도달되고 피사체(10)로부터 반사되어 영상 획득부(150)의 입사 렌즈인 제1 렌즈(151)로 들어온다. 영상 획득부(150)는 제1 렌즈(151), IR 필터(152), 광 변조기(153), 제2 렌즈(154) 및 광 센서(155)를 포함할 수 있다.

반사광은 제1 렌즈(151)를 통과하여 포커싱된다. IR 필터(152)는 포커싱된 이미지에서 사용된 파장 이외의 배경광 또는 잡음을 제거하기 위해 광원의 중심 파장에 근접한 대역으로 포커싱된 빛을 투과시킬 수 있다. IR 필터(152)를 투과한 빛은 광 변조기(153)에 도달한다.

광 변조기(153)는 광 변조 드라이버(140)에 의해 IR 광원(130)과 동일한 길이 및 주기를 가지는 PN-시퀀스로 구동된다. 이하에서, IR 광원(130)의 구동 파형으로 이용되는 PN-시퀀스를 제1 PN-시퀀스라고 하고, 광 변조기(153)의 구동 파형으로 이용되는 PN-시퀀스를 제2 PN-시퀀스라고 한다. 제2 PN-시퀀스는 제1 PN-시퀀스와 동일한 시퀀스를 가지지만, 제1 PN-시퀀스에 비해 N개의 서로 다른 타임 쉬프트를 가진다. 타임 쉬프트는 후술할 거리 추출 알고리즘에 따라 다양한 값을 가질 수 있다.

즉, 제어부(110)는 광원 드라이버(120)가 제1 PN-시퀀스를 이용하여, 광원의 광원 구동 파형을 생성하도록 광원 드라이버(120)를 제어하고, 광 변조기 드라이버(140)가 제2 PN-시퀀스를 이용하여 광 변조기(153)의 광 변조 구동 파형을 생성하도록 광 변조기 드라이버(140)를 제어할 수 있다.

제2 렌즈(154)는 광 센서(155)에 캡처될 영상의 배율 조절 또는 리포커싱을 수행하도록 구성될 수 있다. 광 센서(155)는 광 변조기(153)를 통해 변조된 반사광을 감지한다.

광 센서(155)는 CCD(charge-coupled device), 또는 CMOS(complementary metal oxide semiconductor) 등으로 구성될 수 있으나, 이에 한정되지 않는다. 광 센서(155)는 하나의 픽셀에 대응하는 광 검출 소자로 구성될 수 있다. 예를 들어, 단일 픽셀의 거리를 측정하는 경우에는, 광센서(155)로서 하나의 포토다이오드 및 적분기가 사용될 수 있다.

광 센서(155)는 복수 개의 픽셀을 포함하는 1차원 픽셀 어레이로 구성될 수 있고, 2차원 픽셀 어레이로 구성될 수 있다. 광 센서(155)가 하나의 광 검출 소자로 구성되는 경우 광 센서(155)는 감지되는 광의 인텐서티 정보를 획득한다. 광 센서(155)가 복수 개의 픽셀로 구성되는 경우, 광 센서(155)가 얻는 픽셀당 인텐서티 정보 또는 한 프레임의 인텐서티 정보를 인턴서티 영상이라고 한다.

반사광 1~5는 각각 투사광이 피사체(100)의 위치(P1, P2, P3, P4, P5)에서 반사된 광을 나타낸다. 예시를 위하여 위치(P1, P2, P3, P4, P5)는 뎁스 영상 생성 장치(100)로부터의 거리가 순차적으로 멀어지도록 도시되었다. 이 경우, 뎁스 영상 생성 장치(100)로부터 거리가 가까운 위치(P1)에서 반사된 빛은 상대적으로 짧은 시간(t₁)만큼 지연된 후 카메라(100)의 입사 렌즈에 도달한다. 뎁스 영상 생성 장치(100)로부터 거리가 먼 위치(P5)에서 반사된 빛은 시간(t₁)보다 상대적으로 큰 시간(t₅)만큼 시간이 지연된 후 뎁스 영상 생성 장치(100)의 입사 렌즈에 도달한다.

제어부(110)는 광 변조기 드라이버(140)를 제어한다. 광 변조기(153)는 광 변조기 드라이버(140)에 의해 구동된다. 구동 결과, 광 변조기(153)는 반사광의 크기를 변조하는 가변 이득(gain)을 갖는 투과 필터의 역할을 한다. 광 변조기(153)는 빛의 거리에 따른 위상차 또는 빛의 왕복 시간(TOF)을 식별하기 위해서 수십 ㎒ 내지 수백 ㎒의 고속의 광변조 속도가 필요하다. 이를 위한 수단으로서, 기존에는 MCP(Multi-Channel Plate)를 구비한 광 증폭기(Image Intensifier)를 사용하거나 GaAs 계열의 고체 변조기 소자를 사용할 수 있다. 또는, 광 변조기(153)는 그 특성을 개선하기 위한 GaAs 기반의 변조기 소자 및 전기 광학 물질을 사용하는 박형의 변조기 소자를 이용할 수 있다.

제2 PN-시퀀스가 제1 PN-시퀀스에 비해 N개의 서로 다른 타임 쉬프트를 가지도록 하기 위하여, 제어부(110)는 제2 PN-시퀀스가 제1 PN-시퀀스에 대해 소정의 시간 지연을 갖도록 생성하고, 생성된 제2 PN-시퀀스에 따라 광 변조기(153)의 구동 파형이 생성되도록 광 변조기 드라이버(140)를 제어할 수 있다.

다른 방법으로, 제어부(110)는 N개의 서로 다른 타임 쉬프트를 가지는 N개의 제1 PN-시퀀스(pseudorandomㅡsequence)를 이용하여 변조된 광의 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 이용하되 서로 다른 타임 쉬프트를 가지는 한 개의 제2 PN-시퀀스를 이용하여 광 변조를 수행하도록 광원 드라이버(120) 및 광 변조기 드라이버(140)를 제어할 수 있다. 이를 위해, 제어부(110)는 제2 PN-시퀀스에 비해 소정의 선행 시간(lead time)을 가지도록 N개의 제1 PN-시퀀스를 생성하고, 생성된 제1 PN-시퀀스에 따라 광원 구동 파형이 생성되도록 광원 드라이버(120)를 제어할 수 있다.

뎁스 영상 처리부(160)는 감지되는 광 신호 중에서, N개의 인텐서티 영상을 샘플링하여, 샘플링된 N개의 인텐서티 영상을 이용하여 피사체(10)에 대한 뎁스 영상을 생성한다. 뎁스 영상 처리부(160)는, 제2 PN-시퀀스의 N개의 서로 다른 타임 쉬프트에 대응하는 N개의 인텐서티 영상을 샘플링한다. 도 1을 참조하면, 제어부(110)는 각각의 영상 프레임 당 노출 시간(Exposure Time)을 적절히 선정하여 뎁스 추출에 필요한 인텐서티 영상(I1 ~ I5)을 얻도록 광 센서(155)를 제어할 수 있다. 얻어진 인텐서티 영상은 뎁스 영상 처리부(160)로 입력된다. 뎁스 영상 처리부(160)는 뎁스(Depth 1~5)를 계산하여 출력할 수 있다.

뎁스 영상 처리부(160)는, 광 센서(155)에서 감지되는 적어도 3개의 서로 다른 인텐서티를 가지는 인텐서티 영상을 이용하여 뎁스 영상을 생성할 수 있다. 뎁스 영상 처리부(160)는, 샘플링된 인텐서티 영상을 IR 광원(130)에서 방출되어 광 센서(155)에 도달하는 빛의 왕복 시간(t_TOF)을 미지수로 포함하는 함수로 모델링하고, 샘플링된 N개의 인텐서티 영상을 이용하여 빛의 왕복 시간을 계산할 수 있다. 빛의 왕복 시간을 미지수로 포함하는 함수는, 주변광 및 반사광의 반사도를 미지수로 더 포함할 수 있다.

이를 위해, 샘플링된 N개의 인텐서티 영상을 이용하여, 복수 개의 왕복 시간이 예측되고, 그에 따라 복수 개의 뎁스가 결정되는 경우, 뎁스 영상 처리부(160)는, 복수 개의 뎁스를 평균하여 최종적인 뎁스를 결정할 수 있다. 또는, 뎁스 영상 처리부(160)는, 샘플링된 N개의 인텐서티 영상을 이용하여, 복수 개의 왕복 시간이 예측되고, 그에 따라 복수 개의 뎁스가 결정되는 경우, 복수 개의 뎁스에 대한 뎁스 추출 오차를 각각 결정하고, 뎁스 추출 오차 중 최소의 오차를 가지는 뎁스를 선택하여, 선택된 뎁스를 최종적인 뎁스로 결정할 수 있다.

뎁스를 계산하여 뎁스 영상을 생성하는 과정의 상세에 대하여는 도 8a 내지 도 9d를 참조하여 후술한다.

한편, 뎁스 영상의 촬영 범위를 늘리기 위하여, 제어부(110)가 광 변조기 드라이버(140)를 제어하여, 제2 PN-시퀀스의 타임 쉬프트 값의 간격을 일정하게 유지한 상태에서, 뎁스 영상 처리부(160)는 인텐서티 영상의 샘플링 횟수를 늘릴 수 있다.

또한, 뎁스 영상의 정밀도를 높이기 위하여, 제어부(110)는 타임 쉬프트 값의 간격을 제1 및 제2 PN-시퀀스의 최소 정보 단위 전송 시간(T_C)보다 작도록 광원 드라이버(120) 및 광 변조기 드라이버(140)를 제어하고, 뎁스 영상 처리부(160)는 타임 쉬프트 간격 단위로 인텐서티 영상을 샘플링할 수 있다.

도 2a 및 도 2b는 서브 프레임별 인텐서티 영상 촬영 방법을 나타내는 도면이다.

한 장의 뎁스 영상을 얻기 위해서 3장 이상의 다수의 인텐서티 영상이 이용될 수 있다. 도 2a 및 도 2b는 N개의 인텐서티 영상을 촬영하는 방법을 시간 순으로 나타낸다. 뎁스 영상은 메인 프레임이라고 하고, 한 장의 뎁스 영상을 얻는데 이용되는 다수의 인텐서티 영상은 서브 프레임이라고 할 수 있다.

각각의 1개의 인텐서티 영상 즉, 서브 프레임을 캡처하기 위한 광 센서(155)의 노출 시간(T_sub)은, 뎁스 영상 생성 장치(100)에서 뎁스 영상 프레임 한 장을 출력하는 시간(T_main)의 대략 1/N이 되도록 결정할 수 있다(T_sub=1/N*T_main). 그러나, 각 서브 프레임을 촬영하는 노출 시(T_sub)간은 특정 시간에 제약되지 않으며, 촬영 환경에 따라 임의로 적절히 설정될 수 있다.

도 2a를 참조하면, 서브 프레임은 광센서(155)의 노출 시간(T_sub) 동안 다음과 같이 촬영될 수 있다.

제어부(110)는 광원 드라이버(120)에 제어 신호를 주어 IR 광원(130)을 구동하여, 제1 PN-시퀀스로 구성된 투사광을 구현한다. 투사광은 피사체(10)의 P1 내지 P5 지점에서 각각 반사되어 광 변조기(153)에 입사된다. 설명의 용이성을 위하여 P1 내지 P5의 5개의 지점의 광센서(155), 예를 들어, CCD의 5개의 픽셀에 각각 대응한다고 가정한다. 도 2a에 도시된 바와 같이, P1 내지 P5에서의 반사광은 각각의 카메라로부터의 거리에 따른 시간(t₁~t₅)만큼 지연되어 광 센서(155)에 도달된다.

반사광 이미지는 광 변조기(153)를 통과하면서 그 크기가 광 변조 신호에 따라 변조된다. 즉, 반사광과 광 변조 신호는 곱해져서 변조된 이미지(modulated image)를 형성한다. 전술한 바와 같이, 광 변조 신호는 투사광과 동일한 PN-시퀀스를 사용하고, N개 각각의 서브 프레임 촬영시에 N개의 서로 다른 타임 쉬프트, 예를 들어, 시간 지연(t_d1, t_d2,...,t_dN)을 가질 수 있다.

변조된 광 이미지는 후단의 광센서(155)에 도달하고, 광 센서(155)의 노출 시간(T_sub) 시간 동안 누적되어 인텐서티 영상 1 내지 인텐서티 영상으로 순차적으로 촬상될 수 있다. 이와 같이, 동일한 투사광을 사용하고, 다른 광 변조기(153)의 서로 다른 광 변조 신호의 타임 쉬프트(t_d1, t_d2,..., t_dN)를 사용하여 N개의 서브 프레임을 구성할 수 있다.

한편, 도 2b에 도시된 바와 같이, 광 변조기(153)의 광 변조 신호는 동일한 신호를 사용하고 광원 구동 신호에 서로 다른 타임 쉬프트로서 선행 시간(time lead)를 갖는 경우에도 동일한 서브 프레임을 얻을 수 있다. 이때, (t_l1, t_l2,...,t_lN)=(t_d1, t_d2,...,t_dN)이다.

도 2a에 도시된 구동 방법은, 광 변조기(153)가 제1 PN-시퀀스와 소정 시간 시간 지연을 갖는 N개의 제2 PN-시퀀스로 구동되고, 도 2b에 도시된 구동 방법은 IR 광원(130)이 제2 PN-시퀀스에 비해 소정 시간 선행적으로 구동되는 N개의 제1 PN-시퀀스로 구동되는 점에서 상이하다. 그러나, 광 센서(155)에서 얻어지는 서브 프레임과 뎁스 영상 처리부(160)에 의한 뎁스 계산 결과는 같다.

이하에서는, 설명의 편의를 위해, 도 2a에 도시된 바와 같이, 광 변조기(153)가 제1 PN-시퀀스와 소정 시간 타임 쉬프트(또는 시간 지연)을 갖는 N개의 제2 PN-시퀀스로 구동되는 방법을 중심으로 설명한다.

도 3은 뎁스 영상을 생성하는 과정의 일 예를 나타내는 도면이다.

도 3에 도시된 바와 같이, 한 장의 뎁스 영상을 얻기 위해서 N장의 다수의 인텐서티 영상이 이용될 수 있다. 뎁스 영상은 반복 계산되어 프레임 레이트(F_main)을 갖는 실시간 동영상으로 피사체의 동작을 따라가며 출력될 수 있다. 여기에서, F_main=1/T의 관계를 갖는다.

다음으로, 도 4 및 도 5를 참조하여 PN-시퀀스의 특징 및 뎁스 영상 생성 원리에 대하여 설명한다.

도 4는 바이폴라 m-시퀀스의 일 예를 나타낸다.

바이폴라 m-시퀀스(M_b(t))는 PN-시퀀스의 일종이다. 바이폴라 m-시퀀스(M_b(t))는 1과 -1의 2가지 값을 갖는 연속 함수로 구성되며, 최소 정보 단위 전송 시간 T_C(chip duration)을 최소 정보 단위 송출 시간으로 갖는다. 도 4는 설명을 위하여 시퀀스의 길이(n)이 7인 경우를 예를 들어 도시하였다.

뎁스 영상 생성 장치(100)에 적용시에는 측정하려는 거리의 범위의 프레임 레이트를 고려하여 T_C와 시퀀스 길이 n가 적절이 선정될 수 있다. 바이폴라 m-시퀀스는 주기적으로 반복되도록 하여 광원(130)과 광 변조기(153)를 구동하며, 그 주기 즉 (n*T_C)를 서브 프레임 노출 시간(T_sub) 이하의 값으로서 충분히 길도록 해서, 사용자가 간의 간섭이 없도록 한다. 뎁스 영상 생성 장치(100) 적용시에 시퀀스 길이 n은 1000 이상으로 할 수 있다.

도 4의 바이폴라 m-시퀀스는 아래와 같은 자기 상관을 갖는다.

[수학식 1]

여기에서,

는 바이폴라 m-시퀀스를 나타낸다.

도 5는 바이폴라 m-시퀀스의 자기 상관을 나타내는 도면이다.

바이폴라 m-시퀀스의 자기 상관은, 에서, 최대치 1을 갖고 최대치는 n*T_C를 주기로 반복된다.

의 구간에서는 구간별 직선 형태의 함수를 갖고, 그 이외의 구간에서는 1/n의 값을 갖는다. 통상적으로 뎁스 영상 생성 장치(100) 적용시 n=1000 이상으로 하여 1/n이 피크치인 1에 비해 무시할 수 있을 정도록 작게 할 수 있다.

광원(130)과 광 변조기(153)의 구동 신호를 모두 바이폴라 m-시퀀스로 하는 경우, 변조된 인텐서티, 즉, 광 변조기(153)의 변조 후의 반사광에 대한 인텐서티는 도 5에 도시된 자기 상관과 같은 수학적 특징을 갖는다.

일 실시예에 따르면, 바이폴라 m-시퀀스에서 자기 상관이 큰 구간을 거리 추출에 활용하고, 자기 상관이 작은 구간에 서로 다른 카메라 간의 자기 상관 또는 상호 상관(cross correlation)이 배정되도록 하여, 다수의 사용자 간섭 문제를 해결할 수 있다.

다음으로, 뎁스 영상 처리부(160)의 뎁스 추출 방법에 대하여 설명한다.

광원(130)과 광 변조기(153)의 파형을 PN-시퀀스(예를 들어, 바이폴라 m-시퀀스)로 구동하여, 반사파를 광 변조기(153)를 이용해 변조한 결과, 즉 자기 상관을 광센서(155)로 촬영된다. 그러면, 텝스 영상 처리부(160)는, 자기 상관과 왕복 시간(TOF) 값의 해석적 관계를 활용하여, 각 픽셀에 대한 빛의 왕복 시간(t_TOF)를 추출한다.

이하에서는, 단일 투사광을 사용하고, 광 변조기(153)의 광 변조 파형은 3개의 이상의 여러 가지 타임 쉬프트(여기에서, 시간 지연)을 갖도록 하는 방법을 위주로 뎁스를 계산하는 방법에 대하여 설명한다. 또한, 뎁스 영상 생성 장치(100)의 출력이 2차원 어레이로 구성된 이미지인 경우라도, 각각의 픽셀에 적용되는 뎁스 추출 방법은 동일하므로, 하나의 픽셀에 적용되는 방법을 설명한다. 단, 2차원 어레이로 구성된 이미지를 동시에 추출하는 경우, 중복 계산 및 데이터 관리, 메모리 할당 등을 효율적으로 처리하여 계산량을 줄일 수도 있다.

다음으로, 도 6 및 도 7을 참조하여, 광원(130), 광 변조기(153), 반사광의 파형의 모델링의 일 예를 설명한다.

뎁스 영상 생성 장치(100)의 IR 광원(130)은 아래의 같은 바이폴라 m-시퀀스)를 구동 파형으로 사용한다. 다양한 시퀀스, 예를 들어, 월시-코드(Walsh-code) 또는 골드-시퀀스(Gold-sequence) 등도 동일한 방법으로 거리 추출에 이용될 수 있다. 이하에서는, 바이폴라 m-시퀀스를 예를 들어 설명한다.

도 6의 도 1의 IR 광원(130)의 파형의 일 예를 나타내는 도면이다.

[수학식 2]

여기에서,

는 IR 광원(130)으로부터 피사체(10)로의 투사광의 제1 PN-시퀀스를 나타내고,

은 제1 PN-시퀀스의 AC(alternaing current)형식의 항의 크기를 나타낸다.

는 제1 PN 시퀀스로부터의 DC(direct current) 오프셋을 나타낸다. 전술한 바와 같이,

는 제1 PN-시퀀스인 바이폴라 m-시퀀스를 나타낸다.

뎁스 영상 생성 장치(100)에서 촬영하는 거리의 최대 범위와 요구하는 사양의 뎁스 프레임 레이트를 고려하여 투사광을 구성하는 제1 PN-시퀀스의 최소 정보 송출 단위(T_C )와 시퀀스 길이(n)이 적절히 선정될 수 있다.

도 7은 도 1의 광 변조기(153)의 파형의 일 예를 나타내는 도면이다.

도 7의 광 변조기의 파형은 IR 광원(130)과 동일한 파형에 적절한 시간 지연( t _di )을 준 형태이다.

[수학식 3]

는 광 변조기(153)의 광 변조 이득의 PN 시퀀스, 즉, 제2 PN-시퀀스를 나타낸다.

는 광 변조기(153)의 제2 PN-시퀀스의 AC항의 크기를 나타낸다.

는 광 변조기(153)의 광 변조 이득의 DC 오프셋을 나타낸다. 는 선택된 뎁스 추출 알고리즘에 따라 특정된 광 변조기(153)의 광 변조 파형의 시간 지연을 나타낸다.

또한, 뎁스 영상 생성 장치(100)에서, 바이폴라 m-시퀀스는 주기적으로 반복되도록 하여 광원(130)과 광 변조기(153)를 구동하며, 그 주기 즉, (n*T_C)를 T_sub 이하의 값으로서 충분히 길게 하여, 사용자 간의 간섭이 없게 할 수 있다. 뎁스 영상 생성 장치(100) 적용시 시퀀스 길이 n은 1000 이상으로 한다.

IR 광원(130)에서 출사된 후, 피사체(10)로부터 반사되어 돌아오는 반사광은 수학식 2의 광원 파형을 기초로 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

여기에서,

는 반사광을 나타내고,

는 반사광의 반사도를 나타내고,

는 빛의 비행 왕복 시간을 나타낸다.

는 주변광을 나타낸다.

즉, 반사광(

)은 광원 파형이 빛의 왕복 시간(t_TOF)만큼 시간 지연이 발생하고, 피사체 표면의 알베도(albedo) 및 측정 거리 등의 요소가 복합된 반사도(

)로 크기 변형이 일어나고, 여기에 투사광원과 관계가 없는 외부의 주변 광(

)이 혼합된 형태이다. 여기에서, 반사도(

), 외부 광(

) 및 빛의 왕복 시간(

)이 미지수이다.

수학식 4의 반사광은 수학식 3에 표현된 광 변조기(153)의 투과 이익과 곱해져서, 광센서(155)에 도달한다. 광 변조기(153)의 투과 후의 광량 즉, 변조된 광

은 수학식 5와 같이 나타낼 수 있다.

[수학식 5]

변조된 광

은 광센서(155)에 일정 노출 시간(T_sub) 동안 누적되어, 아래와 같이 자기 상관(

)으로 구성된 인텐서티 이미지(서브 프레임)(

)를 형성한다.

[수학식 6]

는 i번째 시간 지연으로 i번째 캡처된 광센서(155)의 인텐서티 영상을 나타낸다. 수학식 6은 아래와 같이, 시퀀스의 길이(n)이 충분히 긴 경우에 성립하며, n=1,000~10,000,000인 PN 시퀀스가 이용될 수 있다.

[수학식 7]

이때, 광센서(155)의 게인, 즉, 전압 출력 대 입력 광 에너지의 비는 개념 설명을 위해 편의상 1로 두었다.

수학식 6에서 나타나는 바와 같이, 광센서(155)의 촬영 이미지(

)는 m-시퀀스의 자기 상관과 광원(130) 및 광 변조기(153)의 파형을 정의하는, 알고 있는 파라미터와, 미지수인 반도(r), 외부 광(P_amb) 및 빛의 왕복 시간(t_TOF)으로 표현될 수 있다.

뎁스 영상 처리부(160)가 뎁스를 추출하는 문제는 측정된 광센서(155)의 출력 값인

와 광원 및 광 변조기 파형을 나타내는 알고 있는 파라미터

를 가지고, 3개의 미지수

를 결정하는 것으로 정의될 수 있다.

미지수가 3개인 위의 문제를 풀기 위해서는, 3개 이상의 방정식이 필요하며, 이를 위해서, 수학식 6의 인텐서티 이미지 관계식으로부터 3개 이상의 방정식을 구성할 수 있다.

다음으로, 인텐서티 영상을 촬영 즉, 뎁스 결정에 이용되는 인텐서티 영상을 샘플링하여 뎁스를 결정하는 과정의 일 예에 대하여 도 8a 내지 도 8c를 참조하여 상세하게 설명한다.

도 8a 내지 도 8c는 도 1의 광 변조기(153)의 시간 지연을 T_C로 하는 경우 측정된 인텐서티 영상을 나타내는 도면이다.

도 8a 내지 도 8c에 도시된 바와 같이, 예를 들어, 광 변조기(153)의 시간 지연(t_di)을 (0, T_C, 2T_C)로 하여 인텐서티 영상 (

)을 순차적으로 촬영한다.

도 8a는 0＜t_TOF＜T_C인 경우 광센서에서 측정된 인텐서티를 나타내는 도면이다. 0＜t_TOF＜T_C인 경우, 수학식 6을 정리하면 수학식 8과 같은 연립 방정식을 구성할 수 있다.

[수학식 8]

일 때,

수학식 8의 연립 방정식을 풀면 빛의 왕복 시간(t_TOF)는 수학식 9와 같이 구해질 수 있다.

[수학식 9]

여기에서,

는 i번째 캡처된 인텐서티 영상과 j번째 캡처된 광센서(155)의 인텐서티 영상의 차를 나타낸다.

이고,

이다.

따라서, 피사체와의 거리 즉, 뎁스는 수학식 10과 같이 나타낼 수 있다.

[수학식 10]

여기에서,

는 광속을 나타낸다

도 8b는 T_C＜t_TOF＜2T_C인 경우의 도 1의 광센서(155)에서 측정된 인텐서티 영상을 나타내는 도면이다.

위와 같은 방법으로 3개의 연립 방정식을 구성하고, 빛의 왕복 시간(t_TOF) 및 뎁스를 계산하면 수학식 11 및 수학식 12와 같다.

[수학식 11]

여기에서,

이고,

이다.

[수학식 12]

여기에서,

이고,

이다.

도 8c는 2T_C＜t_TOF인 조건을 광센서(155)의 측정치를 통해서 판별하는 방법과 뎁스 추출 방법을 요약하여 나타내는 도면이다.

2T_C＜t_TOF인 경우는 독립적인 측정치가 2개이므로 t_TOF를 구할 수 없다. 즉, 3개의 광센서(155)의 측정치를 이용하는 경우, 최대 거리 측정 범위는 2T_C*c/2=c*T_C이다.

이와 같이, 3개의 인텐서티 영상을 샘플링한 경우, 뎁스 영상 처리부(160)는 최소 인텐서티를 가지는 인텐서티 영상(I_M)이 첫 번째 촬영된 인텐서티 영상(I₁)인지 세 번째 촬영된 인텐서티 영상(I₃)인지를 결정하고, 결정에 따라서 뎁스를 계산할 수 있다. 다음의 수학식 13은 3개의 인텐서티 영상을 이용하여 뎁스를 결정하는 과정을 요약하여 나타낸다.

[수학식 13]

i)IR 광원(130)의 연속적인 선행 시간(0, T_C, 2T_C) 또는, 광 변조기(153)의 지연 시간(0, T_C, 2T_C)을 적용하여, 최소 정보 단위 송출 시간 T_C의 PN 시퀀스로 광센서(155)의 인텐서티 영상

을 생성 즉, 인텐서티 값을 측정한다.

ⅱ) 최소 인텐서티 영상(

)를 계산한다.

ⅲ)

이면,

이고,

이면,

이고,

이면,

이다.

이하에서는, 도 9a 내지 도 9d를 참조하여 4개 이상의 일반적인 인텐서티 영상 샘플링하여 뎁스를 계산하는 방법에 대하여 설명한다.

위의 3개의 인텐서티 영상 샘플링 방법에서 추가로 광 변조기(153)에 3T_C의 시간 지연을 인가하여, 4개의 인텐서티 영상을 샘플링하면, 2T_C＜t_TOF＜3T_C인 경우에도, 독립적인 방정식이 3개가 되어 미지수인 t_TOF를 추출해 낼 수 있다.

도 9a 내지 도 9d는 0＜t_TOF＜T_C, T_C＜t_TOF＜2T_C, 2T_C＜t_TOF＜3T_C, 및 3T_C＜t_TOF의 각 구간별로 4개의 인텐서티 영상을 샘플링하고, 각 구간에서 뎁스를 추출하는 방법을 요약하여 나타내는 도면이다.

도 9a를 참조하면, 0＜t_TOF＜T_C에서, 인텐서티 영상(

) 중 최소 인텐서티 값을 가지는 인텐서티 영상(

)은 인텐서티 영상(

및

)이 된다. 이 경우, 뎁스는 수학식 14와 같이 계산된다.

[수학식 14]

도 9b를 참조하면, T_C＜t_TOF＜2T_C에서, 인텐서티 영상(

) 중 최소 인텐서티 값을 가지는 인텐서티 영상(

)은 인텐서티 영상(

및

)이 된다. 이 경우, 뎁스는 수학식 15와 같이 계산된다.

[수학식 15]

도 9c를 참조하면, 2T_C＜t_TOF＜3T_C에서, 인텐서티 영상(

) 중 최소 인텐서티 값을 가지는 인텐서티 영상(

)은 인텐서티 영상(

및

)이 된다. 이 경우, 뎁스는 수학식 16과 같이 계산된다.

[수학식 16]

도 9d를 참조하면, 3T_C＜t_TOF에서, 인텐서티 영상(

) 중 최소 인텐서티 값을 가지는 인텐서티 영상(

)은 인텐서티 영상(

,

)이 되어, 뎁스는

이 되며, 뎁스를 계산할 수 없다.

일 실시예에 따르면, 4개 이상의 일반적인 인텐서티 영상 샘플을 이용하는 경우, 뎁스 영상 처리부(160)는 최소 인텐서티를 가지는 인텐서티 영상(I_M)이 몇 번째 영상인지 결정하고, 4개 이상의 인텐서티 중 최소 인텐서티와 다른 최상위 2개의 서로 다른 인텐서티를 가지는 2개의 영상이 몇 번째 영상들인지 결정하고, 결정에 따라서 뎁스를 계산할 수 있다. 4개 이상의 인텐서티 영상을 샘플링하여 뎁스 영상을 생성하는 방법은 아래의 수학식에서와 같이 정리될 수 있다.

[수학식 17]

1)IR 광원(130)의 연속적인 선행 시간(0, T_C, 2T_C) 또는, 광 변조기(153)의 지연 시간(0, T_C, 2T_C)을 적용하여, 최소 정보 단위 송출 시간(T_C)의 PN 시퀀스로 인텐서티 영상

을 생성 즉, 인텐서티 값을 측정한다.

(2) 최소 인텐서티 및 2개 최대 인텐서티(0이 아닌 연속적인 2개의 측정차)를 계산한다.

(3) 뎁스를 계산한다.

로 1개 이하이면,

이다.

위에서 보는 바와 같이 N개의 인텐서티 영상 즉, 서브 프레임을 촬영하여 뎁스 영상을 추출하는 경우, 최대 촬영 가능 거리가 (N-1)cT_C/2가 되어 N에 비례하여 선형 증가함을 알 수 있다.

다음으로, 광 변조기(153)의 제2 PN-시퀀스의 시간 지연(t_di) 선정에 따른 뎁스 추출 오차 및 거리 측정이 가능한 뎁스의 길이와의 관계에 대하여 설명한다.

일 실시예에 따르면, N개의 인텐서티 영상, 예를 들어, 4개의 인텐서티 영상

을 얻는 과정에서, 광 변조기(153)의 시간 지연(t_di)을 적절히 조절하면, 거리 추출의 오차를 감소시키거나 또는 피사체가 존재하는 구간에 대해 선택적으로 거리 추출할 수 있도록 하는 기능을 부여할 수 있다.

도 10은 광 변조기의 시간 지연을 T_C/2로 하는 경우 인텐서티 영상을 나타내는 도면이다.

도 10에 도시된 바와 같이, 광 변조기(153)의 시간 지연을 T_C 간격이 아닌, T_C/2로, 즉, 절반에 해당하는 간격으로 두어 각각 (0, T_C/2, T_C, 3T_C/2)로 하는 경우를 설명하면 아래와 같다. 이 경우, 거리 측정 구간의 시간의 길이는 2T_C로서 T_C의 시간 지연을 사용하는 경우보다는 짧다.

또한, 다수의 인텐서티 영상 촬영시에, 광 변조기(153)의 첫 번째 제2 PN-시퀀스의 시간 지연(t_d1)의 크기를 조절하여 이동하고, 나머지 제2 PN-시퀀스의 시간 지연을 그에 따라 이동시키면, 광 센서(155)에서 첫 번째로 샘플링된 인텐서티 영상부터 마지막으로 샘플링된 인텐서티 영상 사이의 시간 간격이 줄어들게 된다. 따라서, 촬영 범위의 중간 값을 이동시킬 수 있다. 이와 같은 방법으로, 선택된 촬영 범위에서 뎁스를 얻을 수 있다.

이 경우, 측정 구간이 짧아짐으로 해서, 3개의 미지수를 밝히기 위한 수학식 8을 풀기 위해, 아래와 같이 유용한 방정식 4개를 얻을 수 있다.

[수학식 18]

여기에서,

이고,

이다.

4개의 방정식으로부터 피사체와의 거리를 포함한 3개의 미지수를 추출하므로, 광 변조기(153)의 시간 지연이 T_C인 경우와 달리, 미지수에 대하여 복수 개의 해가 존재하게 된다. 일 실시예에 따르면, 복수 개의 해에 대해 최소 자승(least square) 또는 최적화된 측정치의 조합을 사용하여 최종적인 미지수 값을 결정할 수 있다. 아래는 수학식 19의 4개의 방정식 중 3개를 선택하고, 선택된 방정식에 따른 거리추출 방법의 결과를 표시한다.

[수학식 19]

를 이용하면,

를 이용하면,

를 이용하면,

를 이용하면,

광센서(155)의 측정치에 잡음, 신호 왜곡 등의 이유로 오차가 있는 경우, 위의 4개의 해답은 서로 다른 값을 가질 것이다. 일 실시예에 따르면, 뎁스 영상 처리부(160)는 최종적인 거리 추출을 위해서 위의 4개의 해답을 평균하여, 예를 들어, 최소 자승법을 이용하여 뎁스를 결정하거나 4개 중에 오차 특성이 가장 좋은 것을 선별할 수 있다.

일 예로서, 광센서(155)의 측정치가 표준편차

를 갖는 균일 난수(uniform random) 노이즈를 갖는 경우에 퍼터베이션 방법(perturbation theory)을 통해서 아래와 같은 뎁스 추출 오차

의 해석해를 계산할 수 있다.

[수학식 20]

를 이용하면,

.

를 이용하면,

를 이용하면,

를 이용하면,

뎁스 영상 처리부(160)는 수학식 20을 이용해서, 오차가 가장 작은 최적의 해답을 가려낼 수 있다.

위의 수학적 해석은, 0＜t_TOF＜T_C/2인 경우를 설명하였고, T_C/2＜t_TOF＜T_C, 2T_C＜t_TOF＜3T_C/2인 경우도 동일한 방법으로 계산을 하면, 거리 추출 오차 특성이 가장 좋은, 즉, 오차의 표준편차 예측치가 가장 작은 거리 추출 방법을 가려낼 수 있다.

광 변조기(153)의 시간 지연 및 인텐서티 영상(서브 프레임)의 개수는 이론적인 제약이 없으므로, 하드웨어에서 허용하는 범위에서, 사용자는 기기 내부에서 원하는 목적을 달성하기 위하여 자유롭게 선정할 수 있다. 전술한 바와 같이, 광 변조기(153)의 광 변조 파형의 시간 지연(t_di)을 줄여서 사용하는 경우는 뎁스 추출을 위해 거리 연산에 활용되는 샘플링을 많이 하게 되는 경우이므로, 뎁스 정밀도를 높이는데 활용될 수 있다.

한편, 광 변조기(153)의 시간 지연(t_di)을 고정하고, 서브 프레임의 개수를 늘리는 경우는, 수학식 17에서 언급한 바와 같이 뎁스 영상 생성 장치(100)에서 거리 추출 가능 범위를 확장하는데 활용될 수 있으며 이론적으로는 이 범위의 한계가 없다. 단, 피사체(10)가 멀수록 반사광의 세기 저하 등 하드웨어의 한계에 따라 최대 측정 범위가 결정된다. 한편, 광 변조기(153)의 시간 지연(t_di)은 0에서 시작하지 않고 사용자 또는 기기가 적절히 선정된 값에서부터 순차적으로 늘리면서 적용될 수도 있다. 이 경우는, 거리 추출의 범위가 카메라로부터 근접한 0부터가 아니라, 특정 거리 이상을 측정하는 것이 되어, 원하는 거리 범위의 피사체를 선택적으로 촬영할 수 있다.

일 실시예에 따르면, PN-시퀀스를 이용한 거리 추출 방법을 이용하여, PN-시퀀스의 기본 특성상 다수 사용자간의 간섭 문제를 제거할 수 있다. 즉, 서로 다른 사용자가 서로 다른 종류의 PN-시퀀스 또는 동일한 시퀀스라도 동기화가 되어 있지 않은 경우 그 상호 상관 또는 자기 상관의 값, 즉 광센서(155)에 촬영되는 값은 매우 작으므로, 타 사용자의 카메라에서 발광되는 적외선의 효과는 제거될 수 있다.

도 11은 뎁스 영상 생성 방법의 일 예를 나타내는 순서도이다.

뎁스 영상 생성 장치(100)는 제1 PN-시퀀스를 이용하여 변조된 광을 방출한다(1110).

뎁스 영상 생성 장치(100)는 방출된 광에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 가지며, 제1 PN-시퀀스에 비해 N개의 서로 다른 타임 쉬프트를 가지는 제2 PN-시퀀스를 이용하여 광 변조를 수행한다(1120). N은 3 이상일 수 있다.

뎁스 영상 생성 장치(100)는 동작 1110 및 1120을 다른 방법으로 수행할 수 있다. 상세하게는, 뎁스 영상 생성 장치(100)는 동작 1110에서, N개의 서로 다른 타임 쉬프트를 가지는 N개의 제1 PN-시퀀스를 이용하여 광을 변조하고, 변조된 광을 방출할 수 있다. 그런 다음, 동작 1120에서, 뎁스 영상 생성 장치(100)는 변조된 광의 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 이용하며 제1 PN-시퀀스와 다른 타임 쉬프트를 가지는 한 개의 제2 PN-시퀀스를 이용하여 광 변조를 수행할 수 있다.

뎁스 영상 생성 장치(100)는 광 변조가 수행된 반사광을 감지한다(1130).

뎁스 영상 생성 장치(100)는 감지되는 광 신호 중에서 광 변조에 의하여 획득되는 N개의 인텐서티 영상을 샘플링한다(1140).

뎁스 영상 생성 장치(100)는 샘플링된 N개의 인텐서티 영상을 이용하여 피사체에 대한 뎁스 영상을 생성한다(1150).

뎁스 영상 생성 장치(100)는 3개의 인텐서티 영상이 샘플링된 경우, 최소 인텐서티를 가지는 인텐서티 영상이 첫 번째 촬영된 인텐서티 영상인지 세 번째 촬영된 인텐서티 영상인지를 결정하고, 그 결정에 따라서 뎁스를 계산할 수 있다. 또한, 뎁스 영상 생성 장치(100)는 4개 이상의 인텐서티 영상이 샘플링된 경우, 최소 인텐서티를 가지는 인텐서티 영상이 몇 번째 영상인지 결정하고, 4개 이상의 인텐서티 중 최소 인텐서티와 다른 최상위 2개의 서로 다른 인텐서티 영상이 몇 번째 영상인지 결정하고, 그 결정에 따라서 뎁스를 계산할 수 있다.

뎁스 영상 생성 장치(100)와 다른 뎁스 영상 생성 장치, 예를 들어, 다른 사용자의 뎁스 영상 생성 장치에서 이용하는 PN-시퀀스와 서로 다른 제1 PN-시퀀스 및 제2 PN-시퀀스를 이용할 수 있다. 또는, 뎁스 영상 생성 장치(100)는, 다른 뎁스 영상 생성 장치의 PN-시퀀스와 동일하되, 다른 뎁스 영상 생성 장치의 PN-시퀀스와 비동기화된 제1 PN-시퀀스 및 제2 PN-시퀀스를 이용할 수 있다.

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims

제1 PN-시퀀스(pseudorandomㅡsequence)를 이용하여 변조된 광 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 가지며 N개의 서로 다른 타임 쉬프트를 가지는 제2 PN-시퀀스를 이용하여 광 변조를 수행하는 광 변조기;
상기 광 변조가 수행된 반사광을 감지하는 광 센서; 및
상기 광 센서에 의해 감지되는 광 신호 중에서, N개의 인텐서티 영상을 샘플링하여, 상기 샘플링된 N개의 인텐서티 영상을 이용하여 상기 피사체에 대한 뎁스 영상을 생성하는 뎁스 영상 처리부를 포함하는 뎁스 영상 생성 장치.
제1항에 있어서,
제1 PN-시퀀스 및 상기 제2 PN-시퀀스는 최소 정보 단위 발생 시간(T_C)과 시퀀스 길이가 동일한 바이폴라 m-시퀀스인 뎁스 영상 생성 장치.
제1항에 있어서,
상기 PN-시퀀스는 월시 코드 또는 골드 시퀀스인 뎁스 영상 생성 장치.
제1항에 있어서,
상기 N은 3 이상인 뎁스 영상 생성 장치.
제1항에 있어서,
상기 뎁스 영상 처리부는, 상기 제2 PN-시퀀스의 N개의 서로 다른 타임 쉬프트에 대응하는 N개의 인텐서티 영상을 샘플링하는 뎁스 영상 생성 장치.
제1항에 있어서,
상기 뎁스 영상 처리부는, 상기 샘플링된 인텐서티 영상을 상기 광원에서 방출되어 상기 광 센서에 도달하는 빛의 왕복 시간(Time-Of-Flight)을 미지수로 포함하는 함수로 모델링하고, 상기 샘플링된 N개의 인텐서티 영상을 이용하여 상기 빛의 왕복 시간을 계산하는 뎁스 영상 생성 장치.
제6항에 있어서,
상기 빛의 왕복 시간을 미지수로 포함하는 함수는, 주변광 및 상기 반사광의 반사도를 미지수로 더 포함하는 뎁스 영상 생성 장치.
제6항에 있어서,
상기 뎁스 영상 처리부는, 3개의 인텐서티 영상을 샘플링한 경우, 최소 인텐서티를 가지는 인텐서티 영상(I_M)이 첫 번째 촬영된 인텐서티 영상(I₁)인지 세 번째 촬영된 인텐서티 영상(I₃)인지를 결정하고, 상기 결정에 따라서 뎁스를 계산하는 뎁스 영상 생성 장치.
제6항에 있어서,
상기 뎁스 영상 처리부는, 4개 이상의 인텐서티 영상을 샘플링한 경우, 최소 인텐서티를 가지는 인텐서티 영상(I_M)이 몇 번째 영상인지 결정하고, 상기 4개 이상의 인텐서티 중 상기 최소 인텐서티와 다른 최상위 2개의 서로 다른 인텐서티를 가지는 2개의 영상이 몇 번째 영상들인지 결정하고, 상기 결정에 따라서 뎁스를 계산하는 뎁스 영상 생성 장치.
제6항에 있어서,
상기 뎁스 영상 처리부는, 상기 샘플링된 N개의 인텐서티 영상을 이용하여, 복수 개의 왕복 시간이 예측되고, 그에 따라 복수 개의 뎁스가 결정되는 경우, 상기 복수 개의 뎁스를 평균하여 최종적인 뎁스를 결정하는 뎁스 영상 생성 장치.
제6항에 있어서,
상기 뎁스 영상 처리부는, 상기 샘플링된 N개의 인텐서티 영상을 이용하여, 복수 개의 왕복 시간이 예측되고, 그에 따라 복수 개의 뎁스가 결정되는 경우, 상기 복수 개의 뎁스에 대한 뎁스 추출 오차를 각각 결정하고, 상기 뎁스 추출 오차 중 최소의 오차를 가지는 뎁스를 선택하여, 선택된 뎁스를 최종적인 뎁스로 결정하는 뎁스 영상 생성 장치.
제1항에 있어서,
피사체에 투사하는 광을 생성하는 광원;
상기 광원을 구동하는 광원 드라이버;
상기 광 변조기를 구동하는 광 변조기 드라이버; 및
상기 광원 드라이버가 상기 제1 PN-시퀀스를 이용하여, 상기 광원의 광원 구동 파형을 생성하도록 상기 광원 드라이버를 제어하고, 상기 광 변조기 드라이버가 상기 제2 PN-시퀀스를 이용하여 상기 광 변조기의 광 변조 구동 파형을 생성하도록 상기 광 변조기 드라이버를 제어하는 제어부를 더 포함하는 뎁스 영상 생성 장치.
제12항에 있어서,
상기 뎁스 영상의 촬영 범위를 늘리기 위하여, 상기 제어부가 상기 타임 쉬프트 값의 간격을 일정하게 유지한 상태에서, 상기 뎁스 영상 처리부는 상기 인텐서티 영상의 샘플링 횟수를 늘리는 뎁스 영상 생성 장치.
제12항에 있어서,
상기 뎁스 영상의 정밀도를 높이기 위하여, 상기 제어부는 상기 타임 쉬프트 값의 간격을 상기 제1 및 제2 PN-시퀀스의 최소 정보 단위 전송 시간(T_C)보다 작도록 상기 광원 드라이버 및 상기 광 변조기 드라이버를 제어하고, 상기 뎁스 영상 처리부는 상기 타임 쉬프트 간격 단위로 상기 인텐서티 영상을 샘플링하는 뎁스 영상 생성 장치.
제1항에 있어서,
상기 제1 PN-시퀀스 및 상기 제2 PN-시퀀스는 다른 뎁스 영상 생성 장치와 서로 다른 PN-시퀀스인 뎁스 영상 생성 장치.
제1항에 있어서,
상기 제1 PN-시퀀스 및 상기 제2 PN-시퀀스는 다른 뎁스 영상 생성 장치와 동일하되, 서로 비동기화된 PN-시퀀스인 뎁스 영상 생성 장치.
N개의 서로 다른 타임 쉬프트를 가지는 N개의 제1 PN-시퀀스(pseudorandomㅡsequence)를 이용하여 변조된 광의 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 가지며 서로 다른 타임 쉬프트를 가지는 한 개의 제2 PN-시퀀스를 이용하여 광 변조를 수행하는 광 변조기;
상기 광 변조가 수행된 반사광을 감지하는 광 센서; 및
상기 감지되는 광 신호 중에서, N개의 인텐서티 영상을 샘플링하여, 상기 샘플링된 N개의 인텐서티 영상을 이용하여 상기 피사체에 대한 뎁스 영상을 생성하는 뎁스 영상 처리부를 포함하는 뎁스 영상 생성 장치.
제17항에 있어서,
상기 뎁스 영상 처리부는, 상기 샘플링된 인텐서티 영상을 상기 광원에서 방출되어 상기 광 센서에 도달하는 빛의 왕복 시간(Time-Of-Flight)을 미지수로 포함하는 함수로 모델링하고, 상기 샘플링된 N개의 인텐서티 영상을 이용하여 상기 빛의 왕복 시간을 계산하는 뎁스 영상 생성 장치.
제1 PN-시퀀스를 이용하여 변조된 광원의 방출에 의하여 피사체로부터 반사된 반사광을, 제1 PN-시퀀스와 동일한 시퀀스를 가지며 N개의 서로 다른 타임 쉬프트를 가지는 제2 PN-시퀀스를 이용하여 광 변조를 수행하는 단계;
상기 광 변조가 수행된 반사광을 감지하는 단계;
상기 감지되는 광 신호 중에서 상기 광 변조에 의하여 획득되는 N개의 인텐서티 영상을 샘플링하는 단계; 및
상기 샘플링된 N개의 인텐서티 영상을 이용하여 상기 피사체에 대한 뎁스 영상을 생성하는 단계를 포함하는 뎁스 영상 생성 방법.
제19항에 있어서,
상기 제1 PN-시퀀스 및 상기 제2 PN-시퀀스는, 다른 뎁스 영상 생성 장치와 서로 다른 PN-시퀀스이거나 상기 다른 뎁스 영상 생성 장치와 동일하되 서로 비동기화된 PN-시퀀스인 뎁스 영상 생성 방법.