KR102240817B1 - 티오에프 카메라에서 깊이 지도 생성 방법 - Google Patents

Abstract

본 발명은 TOF 카메라에서 깊이 지도 생성 방법에 관한 것이다. 본 발명의 일 실시예에서, 둘 이상 서로 다른 광량으로 순차적으로 발광시키면서 반사광이 도달하는 시간을 근거로 하여 각 광량에 대해 제1 깊이 지도를 생성하고, 서로 다른 광량에 대해 생성되는 n개의 제1 깊이 지도를 중첩하여 제2 깊이 지도를 생성할 수 있다. 제1 광량에 대해 생성한 제1 깊이 지도에서 거리 에러가 발생하는 에러 영역을 제2 광량에 대해 생성한 제1 깊이 지도의 대응되는 영역으로 대체하여 상기 제2 깊이 지도를 생성할 수 있다. 상기 제2 깊이 지도를 생성할 때마다, n개의 새로운 제1 깊이 지도를 이용하거나 n보다 작은 개수의 새로운 제1 깊이 지도를 이용할 수 있다. 따라서, 넓은 깊이 범위에 걸쳐 배치되는 대상물의 거리를 정확히 측정하여 TOF 카메라의 동작 범위를 확대할 수 있게 된다.

Description

티오에프 카메라에서 깊이 지도 생성 방법{Method for generating depth map in TOF camera}

본 발명은 TOF 카메라에서 깊이 지도 생성 방법에 관한 것으로, 더욱 상세하게는 TOF 카메라에서 깊이 지도를 생성할 때 동작 범위를 확대하는 방법에 관한 것이다.

우리가 살아가는 현실 공간은 3차원 좌표로 구성되고, 사람은 양쪽 눈으로 보이는 시각 정보를 결합하여 입체감 있는 3차원 공간을 인식한다. 하지만 일반적인 디지털 기기로 촬영한 사진이나 동영상은 3차원 좌표를 2차원 좌표로 표현하는 기술이어서 공간에 대한 정보를 포함하고 있지 않다. 이러한 공간감을 표현하기 위해 2대의 카메라를 함께 사용하여 입체감 있는 영상을 촬영하고 보여주는 3D카메라/디스플레이 제품들이 등장하고 있다.

입체감을 느낀다는 것은 물체까지의 거리 정보를 획득할 수 있다는 것이며, 카메라를 이용한 사물 인식에서는 이러한 거리 정보에 기반하여 원하는 물체와 배경을 쉽게 분리해낼 수 있다.

공간상에서의 거리 정보는 깊이 지도(Depth map)이라고도 하는데 이러한 깊이 정보를 추출하는 방식은 크게 TOF(time of flight), 스테레오스코프 비전(stereoscopic vision), 구조화 광 패턴(structured light pattern) 등의 방식이 있다.

TOF(Time of flight) 방식은 빛이 물체에 반사되어 돌아오는 시간을 분석하여 깊이 지도를 구성하는데, 빛은 1초에 약 300,000Km를 이동하므로 빛이 돌아오는 아주 짧은 시간을 센서로 측정함으로써 거리를 계산한다.

TOF 시스템에서는 사람의 눈에 보이지 않는 적외선을 사용하고, 적외선 광원이 적외선 펄스를 발사하고 물체에 반사되어 오는 빛의 도달 시간을 적외선 센서가 측정한다. 1초에 수십 번 빛을 발사하고 수신하는 것을 반복함으로써 동영상 형태로 거리 정보를 촬영할 수 있다. 하나의 이미지로 구성이 되는 깊이 지도는 각 픽셀의 밝기 또는 색상으로 거리 정보를 표현하여 거리 정보를 한눈에 쉽게 알 수 있게 한다.

TOF 기반 카메라는 고주파의 빛의 펄스를 생성하기 힘들고 빛의 고속 특성 때문에 반사파의 위상 차이를 센서에서 파악하는 방식으로 깊이를 구하는 방식이 많이 사용된다.

도 1은 TOF 카메라로 사물의 거리 이미지를 출력하는 예를 도시한 것으로, 광원이 측정하고자 하는 피사체를 향해 적외선을 고주파로 점멸시키면서, 즉 모듈레이션 시켜 반복하여 적외선을 방사하고, 복수 개의 픽셀을 갖는 센서가 피사체의 3차원 표면에서 반사되는 반사광을 광원이 방사하는 적외선을 모듈레이션 시키는 모듈레이션 간격과 동기하거나 위상차를 두고 검출한다.

피사체가 가까운 경우 많은 양의 반사광이 센서에 입력되어 검출되는 신호의 전부 또는 일부가 포화 상태(Saturation)가 되어 거리 측정에 오류가 발생할 수 있다. 이를 고려하여, 적외선을 발광하는 광원을 포함하는 발광부의 광량을 낮추면 가까운 거리의 피사체에 의한 신호의 포화 범위는 줄지만 먼 거리의 피사체에서 반사되는 반사광의 양이 작아 거리 측정이 어렵고, 반대로 발광부의 광량을 높이면 먼 거리 피사체의 거리 검출은 가능해지지만 가까운 거리의 물체에 대해서는 신호가 포화되어 거리 측정에 에러가 발생할 수 있다.

따라서, 본 발명은 이러한 상황을 반영하여 창작된 것으로서, 본 발명의 목적은 TOF 카메라에서 동작 범위를 확대하여 깊이 지도를 생성하는 방법을 제공하는 데 있다.

본 발명의 다른 목적은, TOF 카메라에서 깊이 방향으로 넓은 범위에 분포하는 대상물에 대한 거리 또는 깊이 정보를 동시에 얻는 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 TOF 카메라에서 깊이 지도 생성 방법은, 둘 이상 서로 다른 광량으로 순차적으로 발광시키면서 반사광이 도달하는 시간을 근거로 하여 각 광량에 대해 제1 깊이 지도를 생성하는 단계; 및 서로 다른 광량에 대해 생성되는 n개의 제1 깊이 지도를 중첩하여 제2 깊이 지도를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 TOF 카메라는, 펄스 형태로 광을 방사하기 위한 발광부; 가로와 세로로 복수 개의 픽셀들로 구성되고 각 픽셀이 상기 발광부가 방사하여 대상물로부터 반사되어 되돌아오는 반사광을 수신하여 수신되는 광량에 비례하는 신호를 출력하기 위한 수광부; 및 상기 발광부를 제어하여 둘 이상 서로 다른 광량으로 순차적으로 발광시키면서 상기 수광부에서 출력되는 신호로부터 상기 반사광이 도달하는 시간을 얻고 이를 근거로 하여 각 광량에 대해 제1 깊이 지도를 생성하고, 서로 다른 광량에 대해 생성되는 n개의 제1 깊이 지도를 중첩하여 제2 깊이 지도를 생성하기 위한 프로세서를 포함하여 구성되는 것을 특징으로 한다.

일 실시예에서, 상기 프로세서는 제1 광량에 대해 생성한 제1 깊이 지도에서 거리 에러가 발생하는 에러 영역을 제2 광량에 대해 생성한 제1 깊이 지도의 대응되는 영역으로 대체하여 상기 제2 깊이 지도를 생성할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 수광부에서 출력되는 신호를 분석하여, 포화된 신호를 출력하는 픽셀을 포함하는 제1 영역 또는 미약한 신호를 출력하는 픽셀을 포함하는 제2 영역을 검출하고 이를 상기 에러 영역으로 결정할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 제1 영역은 더 낮은 광량에 대해서 얻은 제1 깊이 지도의 대응되는 영역으로 대체하고 상기 제2 영역은 더 높은 광량에 대해서 얻은 제1 깊이 지도의 대응되는 영역으로 대체하여 상기 제2 깊이 지도를 생성할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 제2 깊이 지도를 생성할 때마다, n개의 새로운 제1 깊이 지도를 이용하거나 또는 n보다 작은 개수의 새로운 제1 깊이 지도를 이용할 수 있다.

따라서, 넓은 깊이 범위에 걸쳐 배치되는 대상물의 거리를 정확히 측정하여 TOF 카메라의 동작 범위를 확대할 수 있게 된다.

도 1은 TOF 카메라로 사물의 거리 이미지를 출력하는 예를 도시한 것이고,
도 2는 TOF 카메라에서 거리를 측정하는 센서의 기본 단위인 픽셀이 시분할 방식으로 고주파로 점멸하며 발광하는 광원과 서로 다른 위상 차이를 갖는 프레임 데이터를 측정하는 예를 도시한 것이고,
도 3은 낮은 광량으로 가까운 거리에 있는 대상물에 대한 깊이를 검출하여 깊이 지도를 생성하는 예를 도시한 것이고,
도 4는 중간 광량으로 중간 거리에 있는 대상물에 대한 깊이를 검출하여 깊이 지도를 생성하는 예를 도시한 것이고,
도 5는 높은 광량으로 먼 거리에 있는 대상물에 대한 깊이를 검출하여 깊이 지도를 생성하는 예를 도시한 것이고,
도 6은 본 발명의 일 실시예에 따라 연속으로 광량을 바꾸면서 얻은 깊이 지도를 중첩하여 넓은 깊이 범위에 걸친 깊이 지도를 생성하는 것을 개념적으로 도시한 것이고,
도 7은 본 발명의 일 실시예에 따른 TOF 카메라의 구성 블록을 도시한 것이고,
도 8은 연속적으로 다른 광량의 적외선을 방사하여 검출한 깊이 지도를 중첩하여 깊이 지도를 순차적으로 얻는 실시예를 개념적으로 도시한 것이고,
도 9는 연속적으로 다른 광량의 적외선을 방사하여 검출한 깊이 지도를 중첩하여 깊이 지도를 순차적으로 얻는 다른 실시예를 개념적으로 도시한 것이고,
도 10은 대상물들이 깊이 방향으로 다른 거리에 있는 장면을 찍은 사진을 도시한 것이고,
도 11은 본 발명의 일 실시예에 따라 다른 광량에서 얻은 깊이 지도들을 중첩하여 도 10의 장면에 대한 깊이 지도를 생성하는 결과를 도시한 것이고,
도 12는 다른 광량에서 얻은 깊이 지도들을 중첩하여 새로운 깊이 지도를 얻는 또 다른 실시예를 도시한 것이다.

이하, 본 발명에 따른 TOF 카메라에서 깊이 지도 생성 방법에 대한 실시예를 첨부하는 도면에 의거하여 상세히 설명한다.

TOF 카메라는 영상의 모든 화소에 대해 거리 정보를 제공하는 카메라로서, 적외선 영역의 광을 방사하여 피사체에서 반사되는 반사광을 센서(일반적으로 CMOS 센서)가 수신하여 위상차 또는 시간차를 계산함으로써, 반사된 표면까지의 거리 정보를 취득하는 능동형 센서이다. 방사되는 방식에 따라 펄스(pulse) 방식과 CW(continuous-wave) 방식으로 나눌 수 있으며, 일반적으로 LED를 이용하는 CW 방식을 주로 사용한다.

도 2는 TOF 카메라에서 거리를 측정하는 센서의 기본 단위인 픽셀이 시분할 방식으로 고주파로 점멸하며 발광하는 광원과 서로 다른 위상 차이를 갖는 프레임 데이터를 측정하는 예를 도시한 것이고, 각 픽셀은 시분할 방식으로 광원의 모듈레이션 간격을 기준으로 서로 다른 위상차(예를 들어, 광원 모듈레이션 간격과 동기(Phase 0), 90도 위상차(Phase 1), 180도 위상차(Phase 2), 270도 위상차(Phase 3))로 활성화되어 반사광을 수광하고(sensing) 수광된 광을 전기적으로 처리하여(acquisition) 각각 위상 프레임 데이터를 출력하는데, 피사체와의 거리에 따라 누적되어 수신되는 반사광의 양에 차이가 발생하게 되고, 이러한 광량의 차이를 비교하여 피사체와의 거리를 측정한다.

각 픽셀은, 광원의 점멸 타이밍(또는 모듈레이션 간격)과 동기하고 순차적으로 점멸 타이밍에 소정의 위상차를 갖고 반사광을 수신할 수 있는데, 광원의 점멸 타이밍과 동기하여 예를 들어, 1msec 동안 반사광을 수광하고 약 1msec 동안 데이터를 획득하여 Phase 1의 위상 프레임 데이터를 생성하고, 차례로 광원의 점멸 타이밍과 90도의 위상차를 갖고 1msec 동안 반사광을 수광하고 약 1msec 동안 데이터를 획득하여 Phase 2의 위상 프레임 데이터를 생성하고, 광원의 점멸 타이밍과 180도의 위상차를 갖고 1msec 동안 반사광을 수광하고 약 1msec 동안 데이터를 획득하여 Phase 3의 위상 프레임 데이터를 생성하고, 광원의 점멸 타이밍과 270도의 위상차를 갖고 1msec 동안 반사광을 수광하고 약 1msec 동안 데이터를 획득하여 Phase4의 위상 프레임 데이터를 생성할 수 있다.

도 2는 4개의 위상 프레임 데이터를 이용하여 거리를 계산하는 예를 설명하지만, 2개의 위상 프레임 데이터를 이용하여, 즉 광원의 점멸 타이밍과 동기하여 반사광을 수광하고 수광된 광을 전기적으로 처리하여 얻은 Phase 1의 위상 프레임 데이터와 광원의 점멸 타이밍과 180도의 위상 차이를 갖고 반사광을 수광하고 수광된 광을 전기적으로 처리하여 얻은 Phase 2의 위상 프레임 데이터를 이용하여 거리를 계산할 수도 있다.

각 픽셀이 시분할 방식으로 둘 이상의 위상 프레임 데이터를 검출하는 대신, 하나의 픽셀을 2개의 서브셀 또는 4개의 서브셀로 나누고, 각 서브셀이 광원의 펄스와 동기하거나 서로 다른 위상차를 두고 활성화되어 각각의 위상 프레임 데이터를 출력하는 방식으로 해당 셀의 거리를 계산할 수도 있다.

한편, 도 3은 낮은 광량으로 가까운 거리에 있는 대상물에 대한 깊이를 검출하여 깊이 지도를 생성하는 예를 도시한 것으로, TOF 카메라는, 광원부가 상대적으로 낮은 광량의 적외선을 방사하도록 광원을 제어하고, 센서가 대상물에서 반사되어 입사되는 반사광으로부터 각 셀의 거리에 해당하는 전기 신호를 생성하고, 프로세서가 각 셀의 전기 신호를 기초로 TOF 카메라로부터 가까운 범위(Range A)의 깊이 정보를 정확히 담고 있는 깊이 지도 A(Depth map A)를 얻을 수 있는데, 광량이 상대적으로 낮기 때문에 목표로 하는 동작 범위의 하한에서는 센서에서 검출되는 신호로부터 에러가 없는 거리 데이터를 얻을 수 있지만, 먼 거리의 대상물에서 반사되는 반사광에 의한 검출 신호는 약해서 목표 동작 범위의 상한까지는 거리 검출이 불가능하다.

도 4는 중간 광량으로 중간 거리에 있는 대상물에 대한 깊이를 검출하여 깊이 지도를 생성하는 예를 도시한 것으로, 광량 설정을 중간 정도로 하여 도 4와 같은 중간 범위(Range B)에 대해서 정상적으로 깊이 정보를 검출하여 깊이 지도 B(Depth map B)를 얻을 수 있다. 광량을 중간 정도로 설정함으로써, 센서의 셀에서 생성되는 신호의 포화(Saturation)에 의해 정상 검출이 불가능한 하한 범위와 반사광의 부족으로 인한 신호의 미약에 따라 정상 검출이 불가능한 상한 범위가 도 3에 비해 TOF 카메라로부터 더 멀어지지만, 여전히 먼 거리에 있는 대상물에 대해서는 검출되는 신호가 미약하여 정상적인 거리 정보를 얻을 수 없다.

도 5는 높은 광량으로 먼 거리에 있는 대상물에 대한 깊이를 검출하여 깊이 지도를 생성하는 예를 도시한 것으로, 광량 설정을 크게 하여 도 5와 같은 먼 범위(Range C)에 대해서 정상적으로 깊이 정보를 검출하여 깊이 지도 C(Depth map C)를 얻을 수 있다. 광량을 크게 설정함으로써, 센서의 셀에서 생성되는 신호의 포화에 의해 정상 검출이 불가능한 하한 범위를 도 4에 비해 TOF 카메라로부터 더 멀어지게 하고, 증가된 광량으로 인해 더 먼 범위까지 거리를 측정할 수 있게 된다.

종래에는 센서의 셀에서 검출되는 신호로부터 얻어지는 측정 데이터 중 깊이 데이터 이외의 진폭(amplitude) 데이터로부터 현재 광량의 적정 여부를 판단하여 적응 방식으로 광량을 조절하고, 이때 설정된 광량에 따라 변화된 깊이 검출 범위를 갖게 하는 기술이 적용된다. 이러한 기술을 적용함으로써, 관심 영역의 거리에 대해 광량이 커서 발생하는 포화 현상이나 낮은 광량에 따른 신호 미약으로 깊이 오차가 커지는 현상을 줄일 수는 있지만, 도 3 내지 도 5와 같이 정확한 깊이 검출이 가능한 범위는 여전히 제한적인 실정이다.

본 발명에서는, 광량을 순차적으로 가변하면서 각 광량에 의한 깊이 지도를 연속으로 얻고 이를 중첩하여 동작 범위가 넓은 새로운 깊이 지도를 생성할 수 있다.

도 6은 본 발명의 일 실시예에 따라 연속으로 광량을 바꾸면서 얻은 깊이 지도를 중첩하여 넓은 깊이 범위에 걸친 깊이 지도를 생성하는 것을 개념적으로 도시한 것이다.

먼저, 광량을 낮게 설정하여 TOF 카메라로부터 가까운 범위(Range A)의 깊이 정보를 정확히 담고 있는 깊이 지도 A(Depth map A)를 얻고, 광량을 중간 정도로 설정하여 중간 범위(Range B)의 깊이 정보를 정확히 담고 있는 깊이 지도 B(Depth map B)를 얻고, 광량을 높게 설정하여 중간 범위(Range C)의 깊이 정보를 정확히 담고 있는 깊이 지도 C(Depth map C)를 얻고, 깊이 지도 A, B, C를 중첩하여 새로운 깊이 지도 D를 얻을 수 있다.

TOF 카메라는, 광량을 달리하여 얻은 각 깊이 지도에서 신호 포화나 신호 미약으로 깊이 정보에 오차가 있는 영역을 검출하고, 다른 광량에 의해 얻은 깊이 지도로부터 해당 영역에 대한 깊이 정보를 대체하여 새로운 깊이 지도를 얻을 수 있는데, 도 6에서 깊이 지도 D는 중간 범위와 관련된 깊이 지도 B에서 네 귀퉁이 영역은 깊이 지도 C의 거리 정보를 이용하고 중앙 영역은 깊이 지도 A의 거리 정보를 이용하여 얻을 수 있다.

도 7은 본 발명의 일 실시예에 따른 TOF 카메라의 구성 블록을 도시한 것이다.

본 발명이 적용되는 TOF 카메라(100)는, TOF 방식으로 대상물까지의 거리를 측정하기 위하여 적외선 펄스를 방사하기 위한 발광부(110), 가로와 세로로 복수 개의 픽셀들로 구성되어 각 픽셀이 수신되는 반사광 광량에 비례하는 전기 신호를 출력하기 위한 수광부(120) 및 수광부(120)의 출력 신호를 근거로 각 픽셀의 거리를 계산하고 이를 근거로 2차원의 깊이 지도를 생성하여 연속으로 출력하기 위한 프로세서(130)를 포함하여 구성될 수 있다.

발광부(110)는 적외선을 고주파로 점멸할 수 있는 LED와 같은 발광 모듈과 발광 모듈이 소정의 폭을 갖는 펄스 형태로 광을 출력하도록 구동하기 위한 구동부로 구성되는 광원(111) 및 광원(111) 전면에 방사할 광의 각도나 광의 강도 등을 조절하기 위한 광학계, 예를 들어 콜리메이터 렌즈(112)를 포함하여 구성될 수 있다.

광원(111)은 하나의 발광 모듈만으로 구성되거나 복수 개의 발광 모듈을 포함할 수도 있는데, 복수 개의 발광 모듈을 포함하는 경우 각 발광 모듈이 수광부(120) 주위에 대칭 형태로 배치될 수 있다.

수광부(120)는 입사되는 빔을 일정 크기와 모양으로 변형하기 위한 수광 렌즈(121), 광원(111)이 출사한 광의 파장대만을 선택적으로 통과시키기 위한 필터(122) 및 반사광을 검출하기 위해 가로와 세로로 복수 개의 픽셀들로 구성되는 수광 센서(123)를 포함하여 구성될 수 있는데, 수광 센서(123)는, 예를 들어 200x200 해상도에 해당하는 화소 또는 픽셀로 구성될 수 있다.

각 픽셀은 시분할 방식으로 광원과 동기하거나 소정의 위상차를 갖고 소정 시간 동안 수신하는 반사광의 합, 즉 소정 시간 동안 누적한 광량에 비례하는 전기 신호를 주기적으로 출력할 수 있다.

프로세서(130)는 광원(111)의 점멸 타이밍에 대응하여 수광 센서(123)가 반사광을 수신할 수 있도록 수광 센서(123)의 각 픽셀에 복수 개의 위상차를 갖는 복수 개의 클럭 신호를 인가하고, 수광 센서(123)의 픽셀이 전송하는 신호로부터 각 픽셀의 거리 정보를 계산하고 이를 근거로 복수 개의 픽셀로 구성되는 2차원의 깊이 지도를 생성하여 연속으로 출력할 수 있다.

또한, 프로세서(130)는, 소정 시간 간격으로 광원(111)의 발광 광량을 순차적으로 조절할 수 있는데, 예를 들어 광량 설정을 3단계로 조절할 때 낮은 광량, 중간 광량, 높은 광량 순서로 조절하고 이를 계속하여 반복할 수 있다.

예를 들어, 1초에 10번의 깊이 지도를 생성하고 광량 설정을 3단계로 조절하는 경우, 깊이 지도는 1/10초에 생성되어야 하고 하나의 깊이 지도를 생성하기 위해 3개의 다른 광량에 의한 깊이 지도가 필요하여 1/30초에 하나의 깊이 지도가 생성되어야 하므로, 프로세서(130)는 1/30초 간격으로 광원(111)의 발광 광량을 순차적으로 조절할 수 있다.

또한, 2개의 위상 프레임 데이터를 이용하여 거리를 계산하는 경우, 같은 광량 설정으로 2번 연속으로 발광해야 하므로 1/60초보다 짧은 시간으로 발광하고, 4개의 위상 프레임 데이터를 이용하여 거리를 계산하는 경우, 같은 광량 설정으로 4번 연속으로 발광해야 하므로 1/120초보다 짧은 시간으로 발광해야 한다.

또한, 프로세서(130)는, 수광 센서(123)의 픽셀이 전송하는 신호로부터 각 픽셀의 거리 정보를 계산하고 이를 근거로 복수 개 픽셀로 구성되는 2차원의 깊이 지도를 생성하는데, 예를 들어 2개의 위상 프레임 데이터를 이용하는 경우 각 셀에 대해서 광원의 점멸 타이밍과 동기하여 수광하여 출력하는 제1 신호와 광원의 점멸 타이밍과 180도 위상 차이를 갖고 수광하여 출력하는 제2 신호를 수신하고 이를 이용하여 해당 픽셀에 대한 거리를 계산할 수 있다.

프로세서(130)는, 각 픽셀이 출력하는 신호의 크기를 검출하여 신호가 포화되는지 또는 신호가 미약한 지 확인하고, 또한 각 위상 프레임 데이터의 합이나 차가 포화되는지 여부도 확인하여, 출력되는 신호나 신호의 합이 포화되거나 그 크기가 소정 기준 이하가 되는 픽셀을 확인하고 해당 픽셀에 대한 거리 계산에 오류가 발생한다고 판단할 수 있다.

프로세서(130)는, 낮은 광량으로 발광할 때의 깊이 지도 A(Depth map A), 중간 광량으로 발광할 때의 깊이 지도 B(Depth map B), 높은 광량으로 발광할 때의 깊이 지도 C(Depth map C)를 생성하고, 이로부터 하나의 깊이 지도를 생성하는데, 각 깊이 지도 A, B, C 중 하나 이상에서, 픽셀이 출력하는 신호(신호의 합 포함)가 포화되어 거리 계산에 에러가 발생하는 픽셀을 포함하는 제1 영역이나 픽셀이 출력하는 신호가 미약하여 거리 계산에 에러가 발생하는 픽셀을 포함하는 제2 영역을 확인하고, 제1 영역이나 제2 영역에 대응되는 영역에 에러가 발생하지 않는 다른 깊이 지도의 거리 정보를 이용하여 제1 영역과 제2 영역을 대체하여 새로운 깊이 지도 D(Depth map D)를 생성할 수 있다.

도 8은 연속적으로 다른 광량의 적외선을 방사하여 검출한 깊이 지도를 중첩하여 깊이 지도를 순차적으로 얻는 실시예를 개념적으로 도시한 것이다.

발광부(110)는 낮은 광량, 중간 광량, 높은 광량, 낮은 광량, 중간 광량, 높은 광량 순서로 설정된 광량으로 적외선 펄스를 출력하고, 수광부(120)는 반사광 광량에 비례하는 전기 신호를 출력하고, 프로세서(130)는 각 광량에 대해서 깊이 지도를 생성하고 연속되는 3개의 깊이 지도(Depth map A, B, C)를 중첩하여 깊이 정보에 에러가 없는 새로운 깊이 지도(New depth map)를 생성한다.

프로세서(130)는 낮은 광량, 중간 광량, 높은 광량에 대해서 생성되는 3개의 깊이 지도를 이용하여 하나의 깊이 지도(New frame #1)를 생성하고, 그 이후 시간에 발광되는 낮은 광량, 중간 광량, 높은 광량에 대해서 생성되는 3개의 깊이 지도를 이용하여 다음 깊이 지도(New frame #2)를 생성할 수 있다.

프로세서(130)는 낮은 광량, 중간 광량, 높은 광량에 대해서 생성되는 3개의 깊이 지도를 중첩할 때, 예를 들어 중간 광량에 대해서 생성되는 깊이 지도 B(Depth map B)에서 신호가 포화되어 거리 계산에 에러가 발생한 픽셀을 포함하는 제1 영역(가까운 곳에 대상물이 있는 영역)과 신호가 미약하여 거리 계산에 에러가 발생한 픽셀을 포함하는 제2 영역(먼 곳에 대상물이 있는 영역)을 찾고, 제1 영역은 낮은 광량에 대해 생성되는 깊이 지도 A(Depth map B)의 대응되는 영역의 거리 지도를 이용하여 대체하고, 제2 영역은 높은 광량에 대해 생성되는 깊이 지도 C(Depth map C)의 대응되는 영역의 거리 지도를 이용하여 대체하여, 모든 영역의 거리에 에러가 없는 새로운 깊이 지도(New depth map)를 생성할 수 있다.

도 8에서, 깊이 지도 B의 가운데 영역은 포화된 신호를 출력하는 픽셀을 포함하고 네 귀퉁이 영역은 미약한 신호를 출력하는 픽셀을 포함하여, 가운데 영역은 가까운 대상물의 거리를 정확하게 검출하는 깊이 지도 A에서 대응되는 영역의 깊이 정보로 대체되고, 네 귀퉁이 영역은 먼 대상물의 거리를 정확하게 검출하는 깊이 지도 C에서 대응되는 영역의 깊이 정보로 대체되어, 전체 영역에 걸쳐 깊이 정보에 에러가 없는 깊이 지도가 얻어진다.

도 9는 연속적으로 다른 광량의 적외선을 방사하여 검출한 깊이 지도를 중첩하여 깊이 지도를 순차적으로 얻는 다른 실시예를 개념적으로 도시한 것으로, 도 9는 도 8의 실시예와는 달리 깊이 지도를 생성하는 빈도를 다르게 할 수 있다.

도 8에서는 낮은 광량, 중간 광량, 높은 광량에 대한 깊이 지도 A, B, C로부터 거리 오차가 정정된 새로운 깊이 지도(New frame #1)를 생성하고 다음 시간의 낮은 광량, 중간 광량, 높은 광량에 대한 깊이 지도 A, B, C로부터 거리 오차가 정정된 새로운 깊이 지도(New frame #2)를 생성한다. 즉, 도 8에서는 3개의 다른 광량에 대해서 얻은 깊이 지도로 t 시간에 대한 새로운 깊이 지도를 얻고 이후 이전 깊이 지도(t 시간에 대해 얻은 새로운 깊이 지도의 생성에 사용된 깊이 지도)를 이용하지 않고 새로 3개의 다른 광량에 대해 얻은 깊이 지도를 이용하여 (t+1) 시간에 대한 새로운 깊이 지도를 얻는다.

하지만, 도 9에서는 낮은 광량, 중간 광량, 높은 광량에 대한 깊이 지도 A, B, C로부터 거리 에러가 정정된 하나의 깊이 지도(New frame #1)를 생성하고 New frame #1 깊이 지도를 생성할 때 사용된 중간 광량, 높은 광량에 대한 깊이 지도 B, C와 바로 다음 시간의 낮은 광량에 대한 깊이 지도 A로부터 거리 에러가 정정된 다음 시간의 깊이 지도(New frame #2)를 얻는다. 즉, 이전 시간(t-1)의 깊이 지도를 생성할 때 사용된 3개의 깊이 지도에서 가장 오래 전에 얻은 깊이 지도를 하나 빼고 빠진 깊이 지도에 대응되는 광량으로 새로 얻은 하나의 깊이 지도를 이용하여 이번 시간(t)의 깊이 지도를 생성하는 것이다.

도 8에서 거리 에러가 정정된 깊이 지도 하나를 얻기 위해 광량을 달리하여 측정되는 3개의 깊이 지도가 매번 필요하므로, 1초에 10개의 깊이 지도를 얻기 위해서는 1/30초 간격으로 광량을 변경하면서 각 광량에 대한 깊이 지도를 생성하여야 한다. 도 9에서는 거리 에러가 정정된 깊이 지도 하나를 얻기 위해 광량을 달리하여 측정되는 3개의 깊이 지도가 필요하지만 다음 시간에 대한 거리 에러가 정정된 깊이 지도를 얻기 위해서는 1개의 깊이 지도만 필요하므로, 1초에 10개의 깊이 지도를 얻기 위해서는 1/10초 간격으로 광량을 변경하면서 각 광량에 대한 깊이 지도를 생성해도 된다.

도 10은 대상물들이 깊이 방향으로 다른 거리에 있는 장면을 찍은 사진을 도시한 것으로, 종이컵 1과 2는 TOF 카메라에서 가까운 거리에 놓여 있고, 종이컵 3과 5, 손모형 4와 손 6은 중간 거리에 놓여 있고, 얼굴 7은 먼 거리에 놓여 있다.

도 11은 본 발명의 일 실시예에 따라 다른 광량에서 얻은 깊이 지도들을 중첩하여 도 10의 장면에 대한 깊이 지도를 생성하는 결과를 도시한 것이다.

낮은 광량으로 광원을 발광하여 얻은 깊이 지도 A(Depth map A)에서는 종이컵 1과 2의 영역만 정확한 거리로 검출되고 나머지는 해당 영역의 픽셀에서 출력하는 신호가 미약하여 거리 정보를 얻을 수 없고, 중간 광량으로 광원을 발광하여 얻은 깊이 지도 B(Depth map B)에서는 종이컵 2, 3과 5, 손모형 4와 손 6이 차지하는 영역이 정확한 거리로 검출되고 종이컵 1의 일부 영역의 픽셀은 포화된 신호를 출력하여 해당 영역의 거리 계산에 에러가 발생하고, 높은 광량으로 광원을 발광하여 얻은 깊이 지도 C(Depth map C)에서는 종이컵 3과 5, 손모형 4와 손 6, 얼굴 7이 차지하는 영역이 정확한 거리로 검출되고 종이컵 1에 해당하는 영역과 종이컵 2의 일부 영역은 신호가 포화되어 거리 계산에 에러가 발생한다. 이에 깊이 지도 A, B, C(Depth map A, B, C)를 서로 중첩하되, 종이컵 1과 2의 영역은 깊이 지도 A의 대응 영역을 이용하고 손 6과 얼굴 7 영역은 깊이 지도 C의 대응 영역을 이용하고 나머지 영역은 깊이 지도 B를 이용하여 대상물 1 내지 7 모두의 정확한 거리가 포함된 깊이 지도를 생성할 수 있다.

도 12는 다른 광량에서 얻은 깊이 지도들을 중첩하여 새로운 깊이 지도를 얻는 또 다른 실시예를 도시한 것이다.

도 12는 도 6이나 도 8의 실시예와는 다르게 광량을 3단계로 다르게 설정하지 않고 2단계만으로 다르게 설정하여 가까운 범위(Range A)가 정확한 깊이 지도 A(Depth map A)와 먼 범위(Range B)가 정확한 깊이 지도 B(Depth map B)를 얻고, 2개의 깊이 지도로부터 거리 에러가 정정된 새로운 깊이 지도를 얻을 수 있다.

본 발명은 광량을 2단계 또는 3단계로 다르게 설정하는 것에 한정되지 않는다. 또한, 에러가 정정된 깊이 지도를 얻을 때 이용하는 깊이 지도를 얻는 방법도, 도 8과 같이 매번 새로운 3개의 깊이 지도를 이용하거나 도 9와 같이 3개의 깊이 지도를 이용하되 매번 새로운 하나의 깊이 지도를 추가로 이용하는 것에 한정되지 않고, 3개의 깊이 지도를 이용하되 매번 새로운 2개의 깊이 지도를 추가로 이용할 수도 있다. 예를 들어, 광량을 4단계로 다르게 설정하는 경우, 에러가 정정된 깊이 지도 하나를 얻을 때 서로 다른 광량에 대해서 얻은 4개의 깊이 지도를 이용하되, 매번 새로운 4개의 깊이 지도를 사용하거나, 매번 새로운 깊이 지도 하나, 둘 또는 세 개를 추가하여 이용할 수도 있다.

이상 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

100: TOF 카메라 110: 발광부
111: 광원 112: 콜리메이터 렌즈
120: 수광부 121: 수광 렌즈
122: 필터 123: 수광 센서
130: 프로세서

Claims (11)

1. 둘 이상 서로 다른 광량으로 순차적으로 발광시키면서 반사광이 도달하는 시간을 근거로 하여 각 광량에 대해 제1 깊이 지도를 생성하되, 포화된 신호를 출력하는 픽셀을 포함하는 제1 영역 또는 미약한 신호를 출력하는 픽셀을 포함하는 제2 영역을 검출하고 이를 거리 에러가 발생하는 에러 영역으로 결정하는 단계; 및
   서로 다른 광량에 대해 생성되는 n개의 제1 깊이 지도를 중첩하되, 제1 광량에 대해 생성한 제1 깊이 지도에서 상기 에러 영역을 제2 광량에 대해 생성한 제1 깊이 지도의 대응되는 영역으로 대체하여 제2 깊이 지도를 생성하는 단계를 포함하여 이루어지는 TOF 카메라에서 깊이 지도 생성 방법.
2. 삭제
3. 삭제
4. 제1 항에 있어서,
   상기 제2 깊이 지도를 생성하는 단계는, 상기 제1 영역은 더 낮은 광량에 대해서 얻은 제1 깊이 지도의 대응되는 영역으로 대체하고, 상기 제2 영역은 더 높은 광량에 대해서 얻은 제1 깊이 지도의 대응되는 영역으로 대체하는 것을 특징으로 하는 TOF 카메라에서 깊이 지도 생성 방법.
5. 제1 항에 있어서,
   상기 제2 깊이 지도를 생성하는 단계는, 상기 제2 깊이 지도를 생성할 때마다 n개의 새로운 제1 깊이 지도를 이용하는 것을 특징으로 하는 TOF 카메라에서 깊이 지도 생성 방법.
6. 제1 항에 있어서,
   상기 제2 깊이 지도를 생성하는 단계는, 상기 제2 깊이 지도를 생성할 때마다 n보다 작은 개수의 새로운 제1 깊이 지도를 이용하는 것을 특징으로 하는 TOF 카메라에서 깊이 지도 생성 방법.
7. 펄스 형태로 광을 방사하기 위한 발광부;
   가로와 세로로 복수 개의 픽셀들로 구성되고 각 픽셀이 상기 발광부가 방사하여 대상물로부터 반사되어 되돌아오는 반사광을 수신하여 수신되는 광량에 비례하는 신호를 출력하기 위한 수광부; 및
   상기 발광부를 제어하여 둘 이상 서로 다른 광량으로 순차적으로 발광시키면서 상기 수광부에서 출력되는 신호로부터 상기 반사광이 도달하는 시간을 얻고 이를 근거로 하여 각 광량에 대해 제1 깊이 지도를 생성하고, 서로 다른 광량에 대해 생성되는 n개의 제1 깊이 지도를 중첩하여 제2 깊이 지도를 생성하기 위한 프로세서를 포함하여 구성되고,
   상기 프로세서는, 상기 수광부에서 출력되는 신호를 분석하여 포화된 신호를 출력하는 픽셀을 포함하는 제1 영역 또는 미약한 신호를 출력하는 픽셀을 포함하는 제2 영역을 검출하고 이를 거리 에러가 발생하는 에러 영역으로 결정하고, 제1 광량에 대해 생성한 제1 깊이 지도에서 상기 에러 영역을 제2 광량에 대해 생성한 제1 깊이 지도의 대응되는 영역으로 대체하여 상기 제2 깊이 지도를 생성하는 것을 특징으로 하는 TOF 카메라.
8. 삭제
9. 삭제
10. 제7 항에 있어서,
    상기 프로세서는, 상기 제1 영역은 더 낮은 광량에 대해서 얻은 제1 깊이 지도의 대응되는 영역으로 대체하고 상기 제2 영역은 더 높은 광량에 대해서 얻은 제1 깊이 지도의 대응되는 영역으로 대체하여 상기 제2 깊이 지도를 생성하는 것을 특징으로 하는 TOF 카메라.
11. 제7 항에 있어서,
    상기 프로세서는, 상기 제2 깊이 지도를 생성할 때마다, n개의 새로운 제1 깊이 지도를 이용하거나 또는 n보다 작은 개수의 새로운 제1 깊이 지도를 이용하는 것을 특징으로 하는 TOF 카메라.

Images