KR20130055088A - 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법 - Google Patents

Abstract

본 발명은 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법에 관한 것이다.
본 발명에 따른 구조광 패턴 기반의 3차원 영상 정보 추정 장치는 대상체로부터 영상에서의 구조광 패턴을 획득하는 스테레오 카메라 구성이 가능한 복수의 카메라; 및 구조광원부와 상기 복수의 카메라 중 하나의 카메라 간의 화소별 제1 깊이값과, 복수의 카메리로 구성된 스테레오 카메라에서 획득한 양안 영상으로부터 화소별 제2 깊이값을 대상체의 각 화소 영역에 대해 서로 일치하는 화소들의 시차값을 이용하여 추정하고, 추정한 화소별 제1 깊이값에 대한 제1 신뢰도값과 추정한 화소별 제2 깊이값에 대한 제2 신뢰도값을 깊이값 추정 과정에서 사용한 비용 함수를 이용하여 계산하며, 제1 신뢰도값과 제2 신뢰도값을 비교하여 신뢰도값이 높은 깊이값을 선택하여 최종 깊이맵을 획득하는 깊이맵 추정기를 포함한다.

Description

구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법{Apparatus and Method for Estimating 3D Image Based Structured Light Pattern}

본 발명은 3차원 영상 정보 추정 방법에 관한 것으로서, 특히 구조광 및 스테레오 정합 기반의 깊이 정보를 추정하는 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법에 관한 것이다.

컴퓨터 비전 분야에서는 삼차원 깊이 정보를 획득하는 방법은 스테레오 비전 기반의 방법, 구조광 기반의 방법, TOF(Time of Flight)와 같은 방법이 존재한다.

이 중 구조광을 이용한 방법의 경우 패턴을 대상체에 주사한 후 기하학적인 변화를 관찰하여 깊이 정보를 획득하는 방법이다.

반면 스테레오 비전의 경우 양안 영상을 획득하여 두 영상 간 정합점을 찾아 시차를 추정한 후, 깊이 정보를 획득하는 방법이다.

이러한 두 가지 방법은 서로 장단점이 존재하는데, 구조광을 이용한 방법은 정확한 결과를 제공하나 구조광 정보가 훼손될 경우 적용이 불가능한 단점이 있으며, 스테레오 비전을 이용한 방법의 경우 깊이 정보의 정확도가 떨어지는 단점이 있다.

도 1에 도시된 바와 같이, 구조광-카메라 조합의 경우 상하의 가리워짐 영역(Occlusion)이 발생하고, 스테레오 카메라 조합의 경우, 좌우의 가리워짐 영역이 발생한다. 따라서, 구조광을 이용한 방법이나 스테레오 비전을 이용한 방법은 모두 가리워짐 영역이 발생하여 깊이 정보의 왼전한 복원이 어려운 문제점이 있었다.

이와 같은 문제점을 해결하기 위하여, 본 발명은 구조광 기반의 깊이 추정과 스테레오 정합 기반의 깊이 추정을 이용하여 최적의 깊이맵 추정 과정을 도출하는 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 특징에 따른 구조광 패턴 기반의 3차원 영상 정보 추정 장치는,

프로젝터의 광원을 사용하여 특정한 구조광 패턴을 생성하여 대상체에 주사하는 구조광원부; 상기 대상체로부터 영상에서의 구조광 패턴을 획득하는 스테레오 카메라 구성이 가능한 복수의 카메라; 및 상기 구조광원부와 상기 복수의 카메라 중 하나의 카메라 간의 화소별 제1 깊이값과, 상기 복수의 카메라로 구성된 스테레오 카메라에서 획득한 양안 영상으로부터 화소별 제2 깊이값을 대상체의 각 화소 영역에 대해 서로 일치하는 화소들의 시차값을 이용하여 추정하고, 상기 추정한 화소별 제1 깊이값에 대한 제1 신뢰도값과 상기 추정한 화소별 제2 깊이값에 대한 제2 신뢰도값을 깊이값 추정 과정에서 사용한 비용 함수를 이용하여 계산하며, 상기 제1 신뢰도값과 제2 신뢰도값을 비교하여 신뢰도값이 높은 깊이값을 선택하여 최종 깊이맵을 획득하는 깊이맵 추정기를 포함한다.

본 발명의 특징에 따른 구조광 패턴 기반의 3차원 영상 정보 추정 방법은,

프로젝터의 광원을 사용하여 특정한 구조광 패턴을 생성하여 대상체에 주사하는 구조광원부 및 상기 대상체로부터 영상에서의 구조광 패턴을 획득하는 카메라 간의 화소별 제1 깊이값과, 복수의 카메라로 구성된 스테레오 카메라에서 획득된 양얀 영상으로부터 화소별 제2 깊이값을 대상체의 각 화소 영역에 대해 서로 일치하는 화소들의 시차값을 이용하여 추정하는 단계; 상기 추정한 화소별 제1 깊이값에 대한 제1 신뢰도값과 상기 추정한 화소별 제2 깊이값에 대한 제2 신뢰도값을 깊이값 추정 과정에서 사용한 비용 함수를 이용하여 계산하는 단계; 및 상기 제1 신뢰도값과 제2 신뢰도값을 비교하여 신뢰도값이 높은 깊이값을 선택하여 최종 깊이맵을 획득하는 단계를 포함한다.

전술한 구성에 의하여, 본 발명은 구조광 기반의 깊이 정보 추정과 스테레오 정합 기반의 깊이 정보 추정 결과를 신뢰도 순으로 취사 선택하여 깊이맵 추정 에러를 최소화하고 가리워짐 영역을 제거하는 효과가 있다.

도 1은 종래 기술에 따른 구조광-카메라 및 카메라-카메라 간 발생 가능한 가리워짐 영역을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 구조광 패턴 기반의 깊이 정보 추정 장치의 내부 구성을 간략하게 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 구조광원부와 카메라부의 배치를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 구조광 패턴 기반의 깊이 정보 추정 방법을 나타낸 도면이다.
도 5는 스테레오 카메라에서 깊이 정보를 계산하는 방법을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 좌우 영상에서 동일한 위치일 때 비용값이 가장 최소가 되는 모습을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 신뢰도값의 결정시 기설정된 신뢰도 문턱치를 나타낸 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 2는 본 발명의 실시예에 따른 구조광 패턴 기반의 깊이 정보 추정 장치의 내부 구성을 간략하게 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 구조광원부와 카메라부의 배치를 나타낸 도면이다.

본 발명의 실시예에 따른 구조광 패턴 기반의 3차원 영상 정보 추정 장치는 구조광원부(100), 카메라부(200) 및 신호 처리부(300)를 포함한다.

신호 처리부(300)는 구조광 및 카메라 컨트롤러(310) 및 깊이맵 추정기(320)를 포함한다 .

구조광원부(100)는 프로젝터의 광원을 사용하여 특정한 패턴의 구조광을 생성하여 대상체에 주사한다. 여기서, 프로젝터의 광원은 보편화된 LED, LCD와 같은 프로젝터이고, 레이저도 될 수 있다.

카메라부(200)는 CCD 또는 CMOS 타입의 이미지 센서이고, 아날로그 또는 디지털 영상을 얻는다. 카메라부(200)는 복수의 스테레오 카메라로 구성될 수 있다.

카메라부(200)는 두 개의 이미지 센서를 내장할 수 있고 독립적인 카메라 두 개를 배열할 수도 있고 두 개의 카메라를 스테레오 카메라로 구성할 수도 있다.

도 3의 (a), (b), (c)에 도시된 바와 같이, 구조광원부(100) 및 카메라부(200)의 배치는 구조광부(100)-카메라를 연결하는 선분과 카메라부(200)의 베이스라인이 직교하는 조건만 만족하는 경우, 배치를 다양하게 형성할 수 있다. 여기서, 베이스라인은 카메라부(200)의 카메라 A 및 카메라 B 사이를 의미한다.

여기서, 구조광원부(100)-단일의 카메라와 카메라부(200)의 베이스라인 간 직교해야 하는 이유는 구조광원부(100)와 단일의 카메라, 두 개의 카메라 간에 발생 가능한 가리워짐 영역(도 1)을 제거하기 위함이다.

전술한 도 1을 참조하면, 구조광원부(100)와 단일의 카메라로부터 발생하는 가리워짐 영역은 대상체의 상하 중 한 곳이다.

그러나 사실상 카메라에서 영상을 획득하므로 카메라가 보았을 때 가리워지는 영역은 대상체의 위쪽이다. 만약 구조광원부(100)와 카메라의 위치가 뒤바뀌면 반대로 대상체의 아래쪽이 된다.

반면, 두 개의 카메라 간에서 발생하는 가리워짐 영역은 대상체의 좌우 중 한 곳이고 왼쪽 카메라에서 보면 가리워짐 영역이 오른쪽, 오른쪽 카메라에서 보면 가리워짐 영역이 왼쪽이 된다.

따라서, 구조광원부(100)와 단일의 카메라, 두 개의 카메라 간 두 조합에 의해서 발생하는 가리워짐 영역이 겹치지 않으려면 구조광원부(100)-카메라와 카메라부(200)의 베이스라인 간 직교해야 한다.

만약 구조광원부(100)-카메라와 카메라부(200)의 베이스라인이 직교하지 않고 비스듬하거나 가리워짐 영역 중 겹치는 곳이 발생하는 경우 깊이 정보를 획득할 수 없게 된다.

구조광원부(100)와 카메라 또는 두 개의 카메라 간의 조합에 의한 깊이맵 생성 방법을 진행한다.

다시 말해, 구조광원부(100)와 카메라부(200)의 카메라 A, 구조광원부(100)와 카메라부(200)의 카메라 B, 카메라 A와 카메라 B의 조합에 의한 깊이맵 생성 방법을 진행한다.

구조광 및 카메라 컨트롤러(310)는 구조광원부(100) 및 카메라 A, 카메라 B 간의 신호를 동기화하여 제어한다. 동기화 해야 하는 이유는 구조광원부(100)로부터 생성된 구조화된 패턴이 카메라부(200)가 영상을 획득하는 순간에 나타나도록 활성 신호를 동시에 주어야 하기 때문이다.

깊이맵 추정기(320)는 구조광원부(100)와 단일의 카메라 간의 깊이 정보와, 두 개의 카메라 간의 깊이 정보를 추정한 결과의 각각의 신뢰도값을 비교하여 신뢰도값이 높은 깊이값을 선택하여 최종 깊이맵을 획득한다.

다음, 도 4를 참조하여 본 발명의 실시예에 따른 구조광 패턴 기반의 깊이 정보 추정 방법을 상세하게 설명한다. 도 4는 본 발명의 실시예에 따른 구조광 패턴 기반의 깊이 정보 추정 방법을 나타낸 도면이다.

구조광원부(100)는 프로젝터의 광원을 사용하여 특정한 패턴의 구조광을 생성하여 대상체에 주사하면, 카메라는 대상체의 영상을 획득한다(S100).

구조광원부(100)와 단일의 카메라의 깊이 정보 추정 방법은 프로젝터를 가상의 카메라로 가정하면 이는 스테레오 카메라와 같은 원리가 되어 삼각 측량 방법을 적용하여 깊이 정보를 획득한다(도 5)(S102).

카메라 간의 깊이 정보 추정 방법은 두 개의 카메라로부터 양안 영상을 획득하고 두 영상에서 보이는 대상체의 각 화소 영역에 대해 서로 일치하는 화소들의 시차값을 삼각 측량 방법을 사용하여 계산함으로서 깊이 정보를 획득한다(도 5)(S104).

깊이맵 추정기(320)는 구조광원부(100)와 단일의 카메라의 조합에서의 모든 화소에 대한 깊이 정보를 얻고, 두 개의 카메라 조합으로부터 스테레오 정합 알고리즘을 이용하여 깊이 정보를 얻는다(S102, S104).

구조광을 기반으로 깊이 정보를 추정하는 방법과 두 개의 카메라 조합의 깊이 정보를 추정하는 방법은 깊이 정보를 추정하는 과정이 상이하고 화소마다 추정된 깊이값에 대한 신뢰도가 다르다.

깊이맵 추정기(320)는 구조광을 기반으로 깊이 정보를 추정한 결과와, 두 개의 카메라 조합으로부터 깊이 정보를 추정한 결과를 각각 모든 화소의 최적화되지 않은 초기 깊이값으로 간주한다.

깊이맵 추정기(320)는 구조광을 기반으로 깊이 정보를 추정한 결과와, 두 개의 카메라 조합으로부터 깊이 정보를 추정한 결과의 각각 화소별 추정한 깊이값에 대한 신뢰도값을 계산한다(S106, S108).

신뢰도값은 (x,y)좌표의 어떤 화소 Pxy에서 추정된 깊이 정보 Dxy가 신뢰할 만한가 확률적 개념의 수준을 나타낸다. 신뢰도값의 계산 방법은 다음과 같다.

화소 P(x,y)에 대해 시차값이 추정되면, 추정된 시차값에 대해 비용값을 계산한다. 추정된 시차값(dk로 가정함)이란 시차 탐색 범위(0≤dk≤d) 안의 특정한 값을 의미한다.

깊이맵 추정기(320)는 시차 탐색 범위 내의 시차별로 각각의 비용값을 계산하게 되면 d개가 나온다. 깊이맵 추정기(320)는 d개의 비용값 중 가장 작게 나오는 비용값의 위치에서의 시차값 dk를 화소P(x,y)의 시차값으로 결정하고 이때, 가장 작은 비용값을 해당 화소의 신뢰도값으로 정한다.

비용값을 구하는 연산 함수는 다양한 비용 함수가 존재하나 SAD(Sum of Absoluate Difference)와 NCC(Normalized Cross Correlation) 함수를 사용한다.

여기서, 비용 함수는 두 화소 간의 차이 즉, 차의 절대값을 사용하기도 하고, 두 화소의 차를 제곱하여 사용할 수도 있다.

예를 들면, 도 6에 도시된 바와 같이, 두 개의 카메라 조합에서 사용되는 방법으로 영상의 네모는 화소 영역이고 좌우 영상에서 동일한 위치일 때 비용값이 가장 최소가 되므로 이때 시차를 깊이값으로 결정하게 된다.

이때, 가장 작은 비용값을 정규화하여 0-1의 범위로 놓았을 때 신뢰도값이 된다. 예를 들어 신뢰도값이 0.7인 경우, 추정된 시차값이 정확할 확률이 높음을 알 수 있다.

도 7에 도시된 바와 같이, 깊이맵 추정기(320)는 신뢰도값의 결정시 기설정된 신뢰도 문턱치보다 낮을 경우, 추정된 시차값의 오류 확률이 높아지므로 일정 수준 이하의 신뢰도값을 비교 대상에서 제외한다. 여기서, 신뢰도 문턱치는 계산된 신뢰도값들이 낮을 경우, 추정된 시차값의 오류 확률이 높아지므로 특정 수준 이상으로 제한을 두기 위한 설정치이다.

깊이맵 추정기(320)는 구조광을 기반으로 추정한 화소별 깊이 정보에 대한 신뢰도값과 두 개의 카메라 조합으로부터 추정한 화소별 깊이 정보에 대한 신뢰도값의 비교시 기설정된 신뢰도 문턱치 이상인 값 중 높은 값을 가지는 시차값을 최종 시차값으로 결정한다.

깊이맵 추정기(320)는 구조광을 기반으로 추정한 화소별 깊이 정보에 대한 신뢰도값과 두 개의 카메라 조합으로부터 추정한 화소별 깊이 정보에 대한 신뢰도값을 비교하여 화소별로 신뢰도값이 높은 깊이값을 선택하여 최종 깊이맵을 획득한다(S110, S112).

이러한 깊이맵 추정 과정을 통해 두 개의 카메라 조합 또는 구조광 시스템에서 필연적으로 발생되는 가리워짐 영역이 발생하지 않는다.

모든 화소 영역에 대해 구조광 또는 두 개의 카메라 조합 방식의 깊이 추정 결과를 신뢰도 순으로 취사 선택하여 깊이맵 추정 에러를 최소화할 수 있다.

이상에서 설명한 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 구조광원부
200: 카메라부
300: 신호 처리부
310: 구조광 및 카메라 컨트롤러
320: 깊이맵 추정기

Claims (9)

1. 프로젝터의 광원을 사용하여 특정한 구조광 패턴을 생성하여 대상체에 주사하는 구조광원부;
   상기 대상체로부터 영상에서의 구조광 패턴을 획득하는 스테레오 카메라 구성이 가능한 복수의 카메라; 및
   상기 구조광원부와 상기 복수의 카메라 중 하나의 카메라 간의 화소별 제1 깊이값과, 상기 복수의 카메라로 구성된 스테레오 카메라에서 획득한 양안 영상으로부터 화소별 제2 깊이값을 대상체의 각 화소 영역에 대해 서로 일치하는 화소들의 시차값을 이용하여 추정하고, 상기 추정한 화소별 제1 깊이값에 대한 제1 신뢰도값과 상기 추정한 화소별 제2 깊이값에 대한 제2 신뢰도값을 깊이값 추정 과정에서 사용한 비용 함수를 이용하여 계산하며, 상기 제1 신뢰도값과 제2 신뢰도값을 비교하여 신뢰도값이 높은 깊이값을 선택하여 최종 깊이맵을 획득하는 깊이맵 추정기
   를 포함하는 구조광 패턴 기반의 3차원 영상 정보 추정 장치.
2. 제1항에 있어서,
   상기 깊이맵 추정기는,
   상기 비용 함수를 이용하여 화소에서 시차 탐색 범위의 시차별로 각각의 비용값을 계산하고, 상기 계산한 비용값 중 가장 작은 비용값의 위치에서의 시차값을 선택하며, 상기 가장 작은 비용값을 정규화하여 상기 제1 신뢰도값과 상기 제2 신뢰도값을 계산하는 구조광 패턴 기반의 3차원 영상 정보 추정 장치.
3. 제1항에 있어서,
   상기 깊이맵 추정기는,
   상기 제1 신뢰도값과 상기 제2 신뢰도값의 결정시 기설정된 신뢰도 문턱값 이하인 신뢰도값을 제외시키는 구조광 패턴 기반의 3차원 영상 정보 추정 장치.
4. 제1항에 있어서,
   상기 구조광원부와 상기 스테레오 카메라의 배치는 베이스라인 상에 위치한 상기 스테레오 카메라 및 상기 베이스라인과 상기 구조광부 간에 직교하도록 배치되는 구조광 패턴 기반의 3차원 영상 정보 추정 장치.
5. 제1항에 있어서,
   상기 구조광원부와 상기 카메라부 간의 신호를 동기화하여 제어하는 구조광 및 카메라 컨트롤러
   를 더 포함하는 구조광 패턴 기반의 3차원 영상 정보 추정 장치.
6. 프로젝터의 광원을 사용하여 특정한 구조광 패턴을 생성하여 대상체에 주사하는 구조광원부 및 상기 대상체로부터 영상에서의 구조광 패턴을 획득하는 카메라 간의 화소별 제1 깊이값과, 복수의 카메라로 구성된 스테레오 카메라에서 획득된 양얀 영상으로부터 화소별 제2 깊이값을 대상체의 각 화소 영역에 대해 서로 일치하는 화소들의 시차값을 이용하여 추정하는 단계;
   상기 추정한 화소별 제1 깊이값에 대한 제1 신뢰도값과 상기 추정한 화소별 제2 깊이값에 대한 제2 신뢰도값을 깊이값 추정 과정에서 사용한 비용 함수를 이용하여 계산하는 단계; 및
   상기 제1 신뢰도값과 제2 신뢰도값을 비교하여 신뢰도값이 높은 깊이값을 선택하여 최종 깊이맵을 획득하는 단계
   를 포함하는 구조광 패턴 기반의 3차원 영상 정보 추정 방법.
7. 제6항에 있어서,
   상기 제1 신뢰도값과 제2 신뢰도값의 계산은,
   상기 비용 함수를 이용하여 화소에서 시차 탐색 범위의 시차별로 각각의 비용값을 계산하고, 상기 계산한 비용값 중 가장 작은 비용값의 위치에서의 시차값을 선택하는 단계; 및
   상기 가장 작은 비용값을 정규화하여 계산하는 단계
   를 포함하는 구조광 패턴 기반의 3차원 영상 정보 추정 방법.
8. 제6항에 있어서,
   상기 최종 깊이맵을 획득하는 단계는,
   상기 제1 신뢰도값과 상기 제2 신뢰도값의 비교시 기설정된 신뢰도 문턱값 이하인 신뢰도값을 제외시키는 단계
   를 포함하는 구조광 패턴 기반의 3차원 영상 정보 추정 방법.
9. 제6항에 있어서,
   상기 구조광원부와 상기 스테레오 카메라의 배치는 베이스라인 상에 위치한 상기 스테레오 카메라 및 상기 베이스라인과 상기 구조광원부 간에 직교하도록 배치되는 구조광 패턴 기반의 3차원 영상 정보 추정 방법.

Images