KR20100025228A

KR20100025228A - 깊이 영상 획득 장치 및 방법

Info

Publication number: KR20100025228A
Application number: KR1020080083914A
Authority: KR
Inventors: 김성진
Original assignee: 삼성전자주식회사
Priority date: 2008-08-27
Filing date: 2008-08-27
Publication date: 2010-03-09
Also published as: KR101483462B1; EP2327223B1; EP2327223A4; WO2010024516A3; JP2012501435A; JP5757871B2; US20100051836A1; US8217327B2; WO2010024516A2; EP2327223A2

Abstract

깊이 영상 획득 장치가 제공된다. 제1 광 조사부는 제1 조사 광을 조사하고, 제2 광 조사부는 제2 조사 광을 조사하며, 수광부는 상기 제1 조사 광에 의한 제1 반사광 및 상기 제2 조사 광에 의한 제2 반사광을 수광한다. 한편, 처리부는 상기 수광부의 제1 화소로부터 제공되는 전하량에 기초하여, 상기 제1 화소에 대응하는 깊이 값(depth)를 계산한다.

깊이 영상, Depth camera, 3D Modeling, 3D Camera, Virtual Reality

Description

깊이 영상 획득 장치 및 방법{Apparatus and Method For Obtaining a Depth Image}

본 발명에 따른 실시예들은 깊이 영상 획득 장치 및 방법에 관한 것으로, 보다 구체적으로, 정확도의 희생 없이 최대 측정 거리가 긴 깊이 영상 획득 장치 및 방법에 관한 것이다.

최근 3D 정보(3-dimensional information)의 응용 분야가 확대되고 있다. 일반적으로 3D 정보는 형상(geometry) 정보와 칼라(color) 정보로 구성된다.

형상 정보는 깊이(depth) 영상을 이용하여 얻어질 수 있다. 그리고 상기 깊이 영상을 취득하는 방법에는, 깊이 카메라(depth camera)와 같은 하드웨어 장비를 통하여 직접적으로 취득하는 방법과, 컴퓨터 비전(Computer Vision) 기술로 불리는 소프트웨어적인 영상 처리를 통하여 간접적으로 취득하는 방법이 있다.

한편, 알려진 깊이 카메라의 깊이 영상 획득 방법에는 조사된 빛이 객체에 반사되어 돌아오는 시간(Time of Flight; TOF)을 측정하는 것이 널리 사용되고 있다.

상기 TOF(Time of Flight)를 측정하는 방식에는 SPAD와 같이 빛에 매우 민감 한 소자를 사용하여 반사 광이 수광부에 도달하는 순간을 감지하고 이를 이용해 TOF를 측정하는 직접(direct) 방식과, 포토 다이오드(photodiode)를 사용하여 변조된 펄스 빛이 반사 되어 오는 경우 위상 차를 전하량으로 검출하여 계산하는 간접(indirect) 방식이 있다.

상기 간접 방식에서, 펄스 폭(pulse width)이 큰 빛을 사용하는 경우 최대 측정 거리가 증가하지만, 깊이 영상의 정밀도는 낮아지고, 펄스 폭이 작은 빛을 사용하는 경우 깊이 영상의 정밀도는 높아지나, 최대 측정 거리가 짧아진다.

본 발명에 따른 일부 실시예들은, 최대 측정 거리를 확장하면서 깊이 영상의 정밀도를 높이는 깊이 영상 획득 장치를 제공하기 위한 것이다.

본 발명의 또 다른 실시예들은, 깊이 영상의 정밀도의 희생 없이 최대 측정 거리를 확장하는 깊이 영상 획득 방법을 제공하기 위한 것이다.

상기의 목적을 이루기 위하여, 본 발명의 일측에 따르면, 제1 조사 광을 조사하는 제1 광 조사부, 제2 조사 광을 조사하는 제2 광 조사부, 상기 제1 조사 광에 의한 제1 반사광 및 상기 제2 조사 광에 의한 제2 반사광을 수광하는 수광부, 및 상기 수광부의 제1 화소로부터 제공되는 전하량에 기초하여, 상기 제1 화소에 대응하는 깊이 값(depth)를 계산하는 처리부를 포함하는 깊이 영상 획득 장치가 제공된다.

본 발명의 또 다른 일측에 따르면, 상기 제1 조사 광의 펄스 폭(pulse width)과 상기 제2 조사 광의 펄스 폭은 서로 다르다.

본 발명의 또 다른 일측에 따르면, 상기 제1 광 조사부 및 상기 제2 광 조사부는 상기 수광부를 중심으로 서로 대칭으로 배치된다.

본 발명의 또 다른 일측에 따르면, 상기 깊이 영상 획득 장치는 상기 제1 광 조사부, 상기 제2 광 조사부, 및 상기 수광부 중 적어도 하나의 구동을 제어하는 제어부를 더 포함한다.

본 발명의 또 다른 일측에 따르면, 상기 제어부는, 제1 모드에서 상기 제1 조사 광과 동위상(in phase)인 제1 제어 신호를 상기 수광부에 제공함으로써 상기 수광부를 구동하고, 제2 모드에서 상기 제1 조사 광과 제1 위상 차를 갖는 제2 제어 신호를 상기 수광부에 제공함으로써 상기 수광부를 구동한다.

본 발명의 또 다른 일측에 따르면, 상기 깊이 영상 획득 장치의 상기 처리부는, 상기 제1 전하량, 및 상기 제2 전하량에 기초하여, 제1 TOF(Time of flight) 값을 계산하고, 상기 제1 TOF 값이 상기 제1 조사광의 펄스 폭 및 상기 제2 조사광의 펄스 폭보다 작거나 같은 경우, 상기 제1 TOF 값에 기초하여 상기 제1 화소에 대응하는 깊이 값을 계산하고, 상기 제1 TOF 값이 상기 제1 조사광의 펄스 폭 및 상기 제2 조사광의 펄스 폭 중 적어도 하나보다 큰 경우, 상기 제1 전하량, 및 상기 제2 전하량에 기초하여 제2 TOF 값을 계산하고, 상기 제2 TOF 값에 기초하여 상기 제1 화소에 대응하는 깊이 값을 계산한다.

본 발명의 또 다른 일측에 따르면, 제1 조사 광 및 제2 조사 광을 조사하는 단계, 및 상기 제1 조사 광 및 상기 제2 조사 광의 반사광에 의해 발생된 전하량을 측정하는 단계를 포함하는 깊이 영상 획득 방법이 제공된다.

본 발명의 또 다른 일측에 따르면, 상기 제1 조사 광의 펄스 폭과 상기 제2 조사 광의 펄스 폭은 서로 다르다.

본 발명에 따른 일부 실시예들에 따르면, 깊이 영상 획득 장치의 최대 측정 거리를 확장하면서, 깊이 영상의 정밀도를 높일 수 있다.

본 발명의 또 다른 실시예들에 따르면, 깊이 영상의 정밀도의 희생 없이 최대 측정 거리를 확장하여, 깊이 영상 획득의 효율성과 정확성이 향상된다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 깊이 영상 획득 장치를 도시한다.

제1 광 조사부(110)에서 제1 조사 광(112)이 조사된다. 상기 제1 조사 광은 제1 펄스 폭을 갖는다. 제2 광 조사부(120)에서 제2 조사 광(122)이 조사된다. 상기 제2 조사 광은 제2 펄스 폭을 갖는다. 본 발명의 일 실시예에 따르면, 상기 제1 조사 광의 펄스 폭과 상기 제2 조사 광의 펄스 폭은 서로 다르다. 상기 제1 수광부 및/또는 상기 제2 수광부는 적외선 LED일 수 있다.

수광부(130)는 상기 제1 조사 광(112)에 대한 제1 반사광(도시되지 않음), 및 상기 제2 조사 광(122)에 대한 제2 반사광(도시되지 않음)을 수광한다. 본 발명의 일 실시예에 따르면, 상기 수광부(130)는 복수 개의 화소로 구성된다. 상기 각 화소는 빛이 수광되는 경우 빛의 양 및/또는 지속시간에 비례하는 전하량을 방출한다.

처리부(140)는 상기 수광부(130)의 각 화소로부터 제공되는 전하량에 기초하여, 상기 각 화소에 대응하는 깊이 값을 계산한다.

제어부(150)은, 상기 제1 광 조사부(110)에게 상기 제1 조사 광의 펄스 폭 및/또는 위상을 조정하는 제어신호(111)를 제공한다. 그리고, 상기 제어부(150)는 상기 제2 광 조사부(120)에게 상기 제2 조사 광의 펄스 폭 및/또는 위상을 조정하는 제어신호(121)를 제공한다. 또한, 제어부(150)는 상기 수광부(130)에게, 제어신호(131)을 제공한다. 상기 수광부(130)는 상기 제어신호(131)에 의해 구동되는데, 본 발명의 일 실시예에 따르면, 상기 제어신호(131)가 고수준(high level)인 경우에 상기 수광부(130)가 빛을 수광하여 전하량을 방출한다. 따라서, 상기 제어신호(131)은 전자적 셔터(electronic shutter) 기능을 갖는다.

도 2는 본 발명의 일 실시예에 따른 제1 TOF에서의 조사 광 및 반사 광을 도시한다.

제1 광 조사부(110)로부터 조사된 제1 조사 광(210)의 펄스 폭(201)은, 제2 광 조사부(120)로부터 조사된 제2 조사 광(220)의 펄스 폭보다 크다. 제어신호(200)는 제1 조사 광(210)과 동위상(in phase)이며, 펄스 폭이 동일하다. 상기 제어신호(200)이 고 수준(high level)인 경우, 수광부(130)가 작동하여 제1 조사 광(210)에 대한 제1 반사 광(211) 및 제2 조사 광(220)에 대한 제2 반사 광(221)을 수광한다.

상기 수광부(130)는 수광하는 빛의 양에 비례하는 전하량을 방출한다.

상기 수광부(130)가 수광하는 상기 제1 반사 광(211)은 상기 제1 조사 광(210)과 제1 TOF(230)의 위상 차를 갖는다. 따라서, 상기 제어신호(200)에 의해 구동되는 동안, 상기 수광부(130)가 상기 제1 반사 광(211)을 수광하여 방출하는 전하량은 영역(212)의 넓이에 비례한다. 한편, 영역(213)의 넓이에 비례하는 전하 량은 제어신호(200)에 의해 구동되는 동안 상기 수광부(130)에 의해 감지되지 않는다.

그리고 상기 수광부(130)가 수광하는 상기 제2 반사 광(221)은 상기 제2 조사 광(220)과 제1 TOF(230)의 위상 차를 갖는다. 따라서, 상기 제어신호(200)에 의해 구동되는 동안, 상기 수광부(130)가 상기 제2 반사 광(221)을 수광하여 방출하는 전하량은 영역(222)의 넓이에 비례한다. 한편, 영역(223)의 넓이에 비례하는 전하량은 제어신호(200)에 의해 구동되는 동안 상기 수광부(130)에 의해 감지되지 않는다.

도 3은 본 발명의 일 실시예에 따른 제2 TOF에서의 조사 광 및 반사 광을 도시한다.

제1 조사 광(310)은 도 2의 제1 조사 광(210)에 대응하고, 제1 조사 광의 펄스 폭(201)을 갖는다. 그리고 제2 조사 광(320)은 제2 조사 광(220)에 대응하고, 제2 조사 광의 펄스 폭(202)을 갖는다. 제어신호(300)는 제어신호(200)에 대응한다.

상기 수광부(130)가 수광하는 상기 제1 반사 광(311)은 상기 제1 조사 광(310)과 제2 TOF(330)의 위상 차를 갖는다. 따라서, 상기 제어신호(300)에 의해 구동되는 동안, 상기 수광부(130)가 상기 제1 반사 광(311)을 수광하여 방출하는 전하량은 영역(312)의 넓이에 비례한다. 한편, 영역(313)의 넓이에 비례하는 전하량은 제어신호(300)에 의해 구동되는 동안 상기 수광부(130)에 의해 감지되지 않는다.

그러나, 제2 TOF(330)은 상기 제2 조사 광의 펄스 폭(202)보다 크다. 따라서, 제1 반사광(311)과는 달리, 상기 제2 반사 광(321)의 영역(322)의 넓이에 비례하는 전하량은 제어신호(300)에 의해 구동되는 동안 상기 수광부(130)에 의해 감지되지 않는다.

도 4는 본 발명의 일 실시예에 따른 제1 TOF에서, 제1 제어 신호에 의한 반사 광 측정을 도시한다.

본 발명의 일 실시예에 따르면, 제1 조사 광(410)은, 제2 조사 광에 비해 2배의 펄스 폭을 갖는다. 상기 제어부(150)가 제1 모드에서 제공하는 제1 제어신호(400)는 상기 제1 조사 광(410)과 펄스 폭이 동일하고, 동위상(in phase)이다. 제1 TOF(430)는 제2 조사 광(420)의 펄스 폭보다 작다. 상기 제1 제어 신호(400)에 의해 구동되는 상기 수광부(130)가 방출하는 전하량은 다음 수학식 1 내지 수학식 3으로부터 구할 수 있다.

QA = a*(2TOT - TOF) (단, TOF <= TOT)

상기 수학식 1에서, QA는 상기 제1 제어신호(400)에 의해 구동되는 동안, 상기 수광부(130)가 제1 반사 광(411)을 수광하여 방출하는 전하량으로서, 영역(412)의 넓이에 비례한다. 그리고 a는 본 발명의 일 실시예에 따른 비례 상수로서, 제1 조사 광 및 제 2 조사 광의 세기가 같다고 가정하였으며 반사율, quantum efficiency 등을 포함한다. 한편 TOT는 제2 조사 광(420)의 펄스 폭이며, 2TOT는 제1 조사 광(410)의 펄스 폭이다.

QB = a*(TOT - TOF) (단, TOF <= TOT)

상기 수학식 2에서, QB는 상기 제1 제어신호(400)에 의해 구동되는 동안, 상기 수광부(130)가 상기 제2 반사 광(421)을 수광하여 방출하는 전하량으로서, 영역(422)의 넓이에 비례한다. 그리고, a 는 본 발명의 일 실시예에 따른 비례 상수이다.

Q1 = QA + QB

= a*(3TOT - 2TOF) (단, TOF <= TOT)

상기 수학식 3에서, Q1은 상기 제1 제어신호(400)에 의해 구동되는 동안, 상기 수광부(130)가 방출하는 전하량으로서, 상기 영역(412) 및 상기 영역(422)의 넓이의 합에 비례한다.

도 5는 본 발명의 일 실시예에 따른 제2 TOF에서, 제1 제어 신호에 의한 반사 광 측정을 도시한다.

제1 조사 광(510)은, 상기 도 4의 제1 조사 광(410)에 대응하며, 제2 조사 광(520)에 비해 2배의 펄스 폭을 갖는다. 상기 제1 제어신호(400)는 상기 제1 조사 광(510)과 펄스 폭이 동일하고, 동위상(in phase)이다. 본 실시예에서 제2 TOF(530)는 제2 조사 광(520)의 펄스 폭보다 크다. 상기 제1 제어신호(400)에 의해 구동되는 동안 상기 수광부(130)가 방출하는 전하량은 다음 수학식 4 내지 수학식 6으로부터 구할 수 있다.

QA = a*(2TOT - TOF) (단, TOF > TOT)

상기 수학식 4에서, QA는 상기 제1 제어신호(400)에 의해 구동되는 동안, 상기 수광부(130)가 상기 제1 반사 광(511)을 수광하여 방출하는 전하량으로서, 영역(512)의 넓이에 비례한다. 그리고 a는 본 발명의 일 실시예에 따른 비례 상수이다. 한편 TOT는 제2 조사 광(520)의 펄스 폭이며, 2TOT는 제1 조사 광(510)의 펄스 폭이다

QB = 0 (단, TOF > TOT)

상기 제2 반사 광(521)은 제1 제어신호(400)에 의해 구동되는 동안, 상기 수광부(130)에서 검출되지 않는다. 따라서, 상기 수학식 5에서, QB는 0이다.

Q1 = QA + QB

= a*(2TOT - TOF) (단, TOF > TOT)

상기 수학식 6에서, Q1은 상기 제1 제어신호(400)에 의해 구동되는 동안, 상기 수광부(130)가 방출하는 전하량으로서, 상기 수학식 4의 QA와 같다. 본 실시예에서 알 수 있듯이, 제2 조사 광(520)의 펄스 폭보다 큰 TOF에서는 제2 반사광은 상기 제1 제어신호(400)에 의해 구동되는 동안 상기 수광부(130)에서 검출되지 않는다.

도 6은 본 발명의 일 실시예에 따라, TOF에 따른 제1 전하량의 변화를 도시 한다.

x축은 TOF값에 대응하고, y축은 제1 제어신호(400)에 의해 구동되는 동안, 상기 수광부(130)에서 검출되는 전하량에 대응한다. 한편 그래프(610)은 QA 값의 변화, 그래프(620)은 QB 값의 변화, 그리고 그래프(630)은 제1 전하량 Q1 값의 변화에 대응한다.

일반적으로 상기 간접 방식에서, 물체의 반사도에 관계없이 깊이 영상을 얻기 위해서 상기 제 1 제어 신호와는 다른 제 2 제어 신호에 의한 반사 광 측정을 할 수도 있다. 이는 상기 수학식의 비례 상수 a로 나타난다.

도 7은 본 발명의 일 실시예에 따른 제1 TOF에서, 제2 제어 신호에 의한 반사 광 측정을 도시한다.

본 발명의 일 실시예에 따르면, 제1 조사 광(710)은, 도 4의 제1 조사 광(410)에 대응한다. 따라서 제2 조사 광(720)에 비해 2배의 펄스 폭을 갖는다. 그리고 상기 제어부(150)가 제2 모드에서 제공하는 제2 제어신호(700)는 상기 제1 조사 광(710)과 펄스 폭이 동일하고, 180도 반대위상(out phase)이다. 제1 TOF(430)는 제2 조사 광(720)의 펄스 폭보다 작다. 상기 제2 제어 신호(700)에 의해 구동되는 상기 수광부(130)가 방출하는 전하량은 다음 수학식 7 내지 수학식 9로부터 구할 수 있다.

QA = a* TOF (단, TOF <= TOT)

상기 수학식 7에서, QA는 상기 제2 제어신호(700)에 의해 구동되는 동안, 상 기 수광부(130)가 제1 반사 광(711)을 수광하여 방출하는 전하량으로서, 영역(712)의 넓이에 비례한다. 그리고 a는 본 발명의 일 실시예에 따른 비례 상수이다. 한편 TOT는 제2 조사 광(720)의 펄스 폭이다.

QB = a*TOF (단, TOF <= TOT)

상기 수학식 8에서, QB는 상기 제2 제어신호(700)에 의해 구동되는 동안, 상기 수광부(130)가 상기 제2 반사 광(721)을 수광하여 방출하는 전하량으로서, 영역(722)의 넓이에 비례한다. 그리고, a는 본 발명의 일 실시예에 따른 비례 상수이다.

Q2 = QA + QB

= a*2TOF (단, TOF <= TOT)

상기 수학식 9에서, Q2는 상기 제2 제어신호(700)에 의해 구동되는 동안, 상기 수광부(130)가 방출하는 전하량으로서, 상기 영역(712) 및 상기 영역(722)의 넓이의 합에 비례한다.

도 8은 본 발명의 일 실시예에 따른 제2 TOF에서, 제2 제어 신호에 의한 반사 광 측정을 도시한다.

제1 조사 광(810)은, 상기 도 7의 제1 조사 광(710)에 대응하며, 제2 조사 광(820)에 비해 2배의 펄스 폭을 갖는다. 제2 제어신호(700)는 상기 제1 조사 광(810)과 펄스 폭이 동일하고, 180도 반대위상(out phase)이다. 본 실시예에서 제2 TOF(530)는 제2 조사 광(820)의 펄스 폭보다 크다. 상기 제2 제어신호(700)에 의해 구동되는 동안 상기 수광부(130)가 방출하는 전하량은 다음 수학식 10 내지 수학식 12로부터 구할 수 있다.

QA = a*TOF (단, TOF > TOT)

상기 수학식 10에서, QA는 상기 제2 제어신호(700)에 의해 구동되는 동안, 상기 수광부(130)가 상기 제1 반사 광(811)을 수광하여 방출하는 전하량으로서, 영역(812)의 넓이에 비례한다. 그리고 a는 본 발명의 일 실시예에 따른 비례 상수이다. 한편 TOT는 제2 조사 광(820)의 펄스 폭이다.

QB = a*TOT (단, TOF > TOT)

상기 수학식 11에서 QB는 상기 제2 제어신호(700)에 의해 구동되는 동안, 상기 수광부(130)가 상기 제2 반사 광(821)을 수광하여 방출하는 전하량으로서, 영역(822)의 넓이에 비례한다. 그리고 a는 본 발명의 일 실시예에 따른 비례 상수이다. 상기 수학식 5에서와 달리 QB는 0이 아니다.

Q2 = QA + QB

= a*TOF + aTOT (단, TOF > TOT)

상기 수학식 12에서, Q2는 상기 제2 제어신호(700)에 의해 구동되는 동안, 상기 수광부(130)가 방출하는 전하량으로서, 상기 영역(812) 및 상기 영역(822)의 넓이의 합에 비례한다.

도 9는 본 발명의 일 실시예에 따라, TOF에 따른 제2 전하량의 변화를 도시한다.

x축은 TOF값에 대응하고, y축은 제2 제어신호(700)에 의해 구동되는 동안, 상기 수광부(130)에서 검출되는 전하량에 대응한다. 한편 그래프(910)은 QA 값의 변화, 그래프(920)은 QB 값의 변화, 그리고 그래프(930)은 제2 전하량 Q2 값의 변화에 대응한다.

본 발명의 일 실시예에 따라, 상기 수학식 3과 상기 수학식 9를 조합하면, TOF <= TOT인 경우, 제1 전하량 Q1, 제2 전하량 Q2, 및 TOF 값의 관계는 다음 수학식 13에 의해 구해진다.

TOF = 1.5*TOT*Q2/(Q1+Q2) (단, TOF <= TOT)

본 발명의 또 다른 실시예에 따라, 상기 수학식 6과 상기 수학식 12를 조합하면, TOF > TOT인 경우, 제1 전하량 Q1, 제2 전하량 Q2, 및 TOF 값의 관계는 다음 수학식 14에 의해 구해진다.

TOF = TOT*(2Q2 - Q1)/(Q1 + Q2) (단, TOF > TOT)

그리고, 깊이 값 Depth는,

Depth = c * TOF/2 (단, c는 광속)

이다.

본 발명의 또 다른 실시예들에 따르면, 도 4내지 도 9에서 도시된 제1 조사 광, 제2 조사 광 및 제어신호는 다른 파형, 이를테면 정현파, 또는 삼각파이다. 또한, 제1 조사 광과 제2 조사 광의 펄스 폭도 다양할 수 있다. 다만, 이러한 응용예들에서는 상기 수학식들이 변경되어야 하며, 이는 본 기술 분야의 통상의 지식을 가진 자라면, 용이하게 도출할 수 있다.

그리고, 도 4내지 도 9의 실시예들에서는, 제1 제어신호는 제1 조사 광과 위상(in phase)이고, 제2 제어신호는 제1 조사 광과 180도의 위상 차를 갖는 것으로 제시되었으나, 본 발명은 이에 한정되지 않는다. 이를테면, 제1 제어신호는 제1 조사 광과 동위상이고, 제2 제어신호는 제1 조사 광과 90도의 위상차를 갖도록 조정될 수 있다. 이 경우 상기 수학식들은 당업자의 기술 수준에서 용이하게 변경될 수 있다.

도 10은 본 발명의 일 실시예에 따른 깊이 영상 획득 장치의 광 조사부 및 수광부를 도시한다.

제1 광 조사부(1010) 및 제2 광 조사부(1020)는 각각 적외선 LED일 수 있다. 한편, LED 하나가 공급할 수 있는 빛의 세기가 제한적이므로, 도 10에서와 같이 복수 개의 LED를 도입할 수 있으며, 이 경우 제1 광 조사부의 LED들(1010)과 제2 광 조사부의 LED들(1020)은 수광부(1030)를 기준으로 서로 대칭하게 배치된다.

제1 광 조사부(1010) 및 제2 광 조사부(1020)로부터 조사되는 빛의 펄스 폭(pulse width)이 조정될 수 있다. 또한, 조사되는 빛의 세기(amplitude)는 상기 LED의 개수를 조정하여 다양하게 변경할 수도 있다. 이 경우 상기 수학식들은 당업자의 기술 수준에서 용이하게 변경될 수 있다.

본 발명의 또 다른 실시예에 따르면, 제1 광 조사부(1010), 제2 광 조사부(1020) 이외에, 제3 광 조사부 등(도시되지 않음)을 도입하여, 3개 이상의 서로 다른 펄스 폭을 갖는 광 조사부를 도입한다. 이 경우, 상기 수학식을 변경함으로써 수광부가 방출하는 전하량, TOF, 및 깊이 값을 구할 수 있다.

도 11은 본 발명의 일 실시예에 따른 입력 깊이 영상 획득 방법을 도시한다.

단계(1110)에서, 제1 조사 광 및 제2 조사 광이 조사된다. 본 발명의 일 실시예에 따르면, 상기 제1 조사 광 및 상기 제2 조사 광은 구형 파이며, 상기 제1 조사 광은 상기 제2 조사 광에 비해 2 배의 펄스 폭을 갖는다.

다만, 응용예에 따라서는, 상기한 바와 같이 상기 제1 조사 광, 상기 제2 조사 광의 파형, 펄스 폭을 다양하게 변경할 수 있다.

단계(1120)에서, 제1 제어신호에 의해 구동되는 동안, 상기 수광부(130)의 제1 화소로부터 방출되는 제1 전하량 Q1이 측정된다. 상기 제1 제어신호는 상기 제1 조사 광과 펄스 폭이 동일하며, 동위상이다.

단계(1130)에서, 제2 제어신호에 의해 구동되는 동안, 상기 수광부(130)의 제1 화소로부터 방출되는 제2 전하량 Q2가 측정된다. 상기 제2 제어신호는 상기 제1 제어신호와 180도 위상차를 갖는다. 다만, 본 발명의 다른 실시예에서는 상기 위상차는 변경될 수 있다. 한편, 상기 제1 전하량 및/또는 상기 제2 전하량은 처리부에 의해 측정될 수 있으며, 또 다른 응용 예에서는 수광부의 제1 화소에서 측 정되어 Q1, Q2 값이 처리부로 제공될 수도 있다.

단계(1140)에서, TOF <= TOT라는 가정 하에, 상기 수학식 13에 의해 제1 TOF가 계산된다. 따라서, 제1 TOF = 1.5*TOT*Q2/(Q1+Q2)이다. 여기서, TOT는 제2 조사 광의 펄스 폭이다.

단계(1150)에서, 상기 가정이 타당한지 판단한다. 즉, 단계(1140)에서 계산된 상기 제1 TOF 값이, 상기 제1 조사 광 및 상기 제2 조사 광의 펄스 폭보다 작은지의 여부가 판단된다.

만약 단계(1150)에서의 판단 결과가 YES인 경우, 단계(1160)에서, 최종 TOF 값이 상기 제1 TOF 값으로 결정된다.

그리고, 단계(1190)에서 제1 화소의 깊이 값이 상기 수학식 15에 의해 결정된다.

그러나, 단계(1150)에서의 판단 결과가 NO인 경우에는, 상기 가정은 잘못된 것이다. 따라서, TOF > TOT인 경우이다. 따라서, 단계(1170)에서, 상기 수학식 14에 의해 제2 TOF가 계산된다. 그래서 제2 TOF = TOT*(2Q2 - Q1)/(Q1 + Q2)이다.

이 경우, 단계(1180)에서 최종 TOF 값이 상기 제2 TOF 값으로 결정된다.

그리고, 단계(1190)에서 제1 화소의 깊이 값이 계산된다. 상기 단계들을 상기 수광부(130)의 복수 개의 화소들에 대해 반복하면, 복수 개의 화소로 구성된 깊이 영상이 획득된다.

본 발명에 따른 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 6은 본 발명의 일 실시예에 따라, TOF에 따른 제1 전하량의 변화를 도시한다.

Claims

제1 조사 광을 조사하는 제1 광 조사부;

제2 조사 광을 조사하는 제2 광 조사부;

상기 제1 조사 광에 의한 제1 반사광 및 상기 제2 조사 광에 의한 제2 반사광을 수광하는 수광부; 및

상기 수광부의 제1 화소로부터 제공되는 전하량에 기초하여, 상기 제1 화소에 대응하는 깊이 값(depth)를 계산하는 처리부

를 포함하는 깊이 영상 획득 장치.
제1항에 있어서,

상기 제1 조사 광의 펄스 폭(pulse width)과 상기 제2 조사 광의 펄스 폭이 서로 다른 깊이 영상 획득 장치.
제1항에 있어서,

상기 제1 광 조사부 및 상기 제2 광 조사부는 상기 수광부를 중심으로 서로 대칭으로 배치되는 깊이 영상 획득 장치.
제1항에 있어서,

상기 제1 광 조사부, 상기 제2 광 조사부, 및 상기 수광부 중 적어도 하나의 구동을 제어하는 제어부를 더 포함하는 깊이 영상 획득 장치.
제4항에 있어서,

상기 제어부는,

제1 모드에서 상기 제1 조사 광과 동위상(in phase)인 제1 제어 신호를 상기 수광부에 제공함으로써 상기 수광부를 구동하고,

제2 모드에서 상기 제1 조사 광과 제1 위상 차를 갖는 제2 제어 신호를 상기 수광부에 제공함으로써 상기 수광부를 구동하는 깊이 영상 획득 장치.
제5항에 있어서,

상기 제1 제어 신호와 상기 제2 제어 신호는 180도의 위상 차를 갖는 깊이 영상 획득 장치.
제5항에 있어서,

상기 처리부는,

상기 제1 모드에서 상기 수광부의 제1 화소로부터 제공되는 제1 전하량, 및 상기 제2 모드에서 상기 제1 화소로부터 제공되는 제2 전하량에 기초하여, 상기 제1 화소에 대응하는 깊이 값(depth)를 계산하는 깊이 영상 획득 장치.
제7항에 있어서,

상기 처리부는,

상기 제1 전하량, 및 상기 제2 전하량에 기초하여, 제1 TOF(Time of flight) 값을 계산하고,

상기 제1 TOF 값이 상기 제1 조사광의 펄스 폭 및 상기 제2 조사광의 펄스 폭보다 작거나 같은 경우, 상기 제1 TOF 값에 기초하여 상기 제1 화소에 대응하는 깊이 값을 계산하고,

상기 제1 TOF 값이 상기 제1 조사광의 펄스 폭 및 상기 제2 조사광의 펄스 폭 중 적어도 하나보다 큰 경우, 상기 제1 전하량, 및 상기 제2 전하량에 기초하여 제2 TOF 값을 계산하고, 상기 제2 TOF 값에 기초하여 상기 제1 화소에 대응하는 깊이 값을 계산하는 깊이 영상 획득 장치.
제1항에 있어서,

상기 제2 조사광의 펄스 폭은 상기 제1 조사광의 펄스 폭의 두 배인 깊이 영상 획득 장치.
제1항에 있어서,

상기 제2 조사광의 펄스 폭은 상기 제1 조사광의 펄스 폭의 두 배인 깊이 영상 획득 장치.
제10항에 있어서,

상기 제1 조사 광의 펄스 폭과 상기 제2 조사 광의 펄스 폭이 서로 다른 깊이 영상 획득 방법.
제10항에 있어서,

상기 전하량을 측정하는 단계는,

상기 제1 조사 광과 동위상인 제1 제어 신호에 기초하여 제1 전하량을 측정하는 단계; 및

상기 제1 조사 광과 제1 위상 차를 갖는 제2 제어 신호에 기초하여 제2 전하량을 측정하는 단계

를 포함하는 깊이 영상 획득 방법.
제12항에 있어서,

상기 제1 제어 신호와 상기 제2 제어 신호는 180도의 위상 차를 갖는 깊이 영상 획득 장치.
제12항에 있어서,

상기 제1 전하량 및 상기 제2 전하량에 기초하여 제1 화소에 대응하는 깊이 값을 계산하는 단계

를 더 포함하는 깊이 영상 획득 방법
제14항에 있어서,

상기 제1 화소에 대응하는 깊이 값을 계산하는 단계는,

상기 제1 전하량 및 제2 전하량에 기초하여, 제1 TOF(Time of flight) 값을 계산하는 단계;

상기 제1 TOF 값이 상기 제1 조사광의 펄스 폭, 및 상기 제2 조사광의 펄스 폭보다 작거나 같은 경우, 상기 제1 TOF 값에 기초하여 상기 제1 화소에 대응하는 깊이 값을 계산하는 단계; 및

상기 제1 TOF 값이 상기 제1 조사광의 펄스 폭, 및 상기 제2 조사광의 펄스 폭 중 적어도 하나보다 큰 경우, 상기 제1 전하량, 및 상기 제2 전하량에 기초하여 제2 TOF 값을 계산하고, 상기 제2 TOF 값에 기초하여 상기 제1 화소에 대응하는 깊이 값을 계산하는 단계

를 포함하는 깊이 영상 획득 방법.
제10항 내지 제16항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.