KR20190118281A

KR20190118281A - 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법 및 장치

Info

Publication number: KR20190118281A
Application number: KR1020180041447A
Authority: KR
Inventors: 박영수; 이광순
Original assignee: 한국전자통신연구원
Priority date: 2018-04-10
Filing date: 2018-04-10
Publication date: 2019-10-18

Abstract

본 발명은 풀-패럴랙스 지원 영상의 영상의 깊이 정보를 획득하는 방법 및 장치에 관한 것이다. 본 발명의 깊이 정보를 획득하는 방법은, 목표 시점 주변의 적어도 4방향 시점을 포함하는 풀-패럴랙스 영상을 수신하는 단계, 상기 풀-패럴랙스 영상으로부터 적어도 4방향 이웃 참조 영상을 이용하여 4방향 참조 깊이 정보를 정합하는 단계, 및 상기 정합된 결과로부터, 상기 목표 시점 영상에 대한 깊이 정보를 출력하는 단계를 포함한다. 본 발명의 실시예에 따라, 풀-패럴랙스 지원 영상에 대한 신뢰도 높은 깊이 정보를 제공할 수 있게 되고, 자연스러운 객체 영상 제공이 가능하게 됨에 따라. 더욱 현실감 있는 3D 영상을 제공하는 것이 가능하게 된다.

Description

풀-패럴랙스 지원 영상의 깊이 정보 획득 방법 및 장치 {Method and Apparatus of obtaining image depth information using full parallax images}

본 발명은 영상의 깊이 정보를 획득하는 방법 및 장치에 것이다. 특히, 본 발명은 풀-패럴랙스(Full-parallax)와 같은 다시점 영상에서 깊이 정보를 획득하는 방법/장치 및 깊이 정보를 활용한 영상 제공 장치에 관한 것이다.

최근 3D 영상 기술의 발전으로, 화면상에서 3D 영상을 자연스럽게 보여주는 기술이 개발되고 있다. 종래 일반적인 3D 영상 기술로는 복수의 2D 영상으로부터 깊이 정보를 계산하여 3D 영상으로 제공하는 것이다. 관련하여, 종래 3D 입체감을 느낄 수 있게 하는 영상들은 주로 수평 방향의 스테레오 영상이나 다시점 영상으로부터 깊이 정보를 구하는 방식으로 구성되어 있다. 특히, 상기 스테레오 영상이나 다시점 영상으로부터 깊이 정보를 계산하기 위해서는 스테레오 정합 (stereo matching)에 의한 변이 값을 계산하고 이를 통해 깊이 정보로 변환하는 방법을 사용하였다. 구체적으로, 상기 스테레오 정합은 왼쪽 시점의 영상과 오른쪽 시점의 영상에서 서로 대응되는 대응점들을 찾은 후, 그 대응점들 사이의 변이 값을 계산하게 된다.

도 1은 종래 일반적인 스테레오 정합 방법에 대해 설명하고 있다. 도 1과 같이 3차원 공간의 한 점(101)이 두 시점의 영상(102, 103) 각각에 투영되었을 때, 투영된 두 영상 좌표 사이의 차이, 즉 변이 값 d는 d=Lx-Rx 와 같이 구할 수 있다. 또한 카메라의 초점거리 f와 카메라 사이의 거리 b를 알게 되면, 아래 수식(1)을 이용하여 카메라와 물체 사이의 거리(깊이)를 계산하고 깊이 정보를 구할 수 있게 된다.

(수식1)

여기서, 변이 값 d 와 깊이 값 D 는 반비례 관계이기 때문에 변이 값을 통해 깊이 정보를 획득할 수 있게 된다. 이러한 스테레오 정합을 정확히 구현 하기 위해 3차원 공간 상의 한 점이 두 시점 영상 각각에 투영된 화소, 즉 대응점을 정확하게 찾기 위한 방법에 대해 많은 연구가 이루어져 왔다.

풀-패럴랙스는 시차(패럴랙스)가 상하 좌우 대각선 포함한 모든 방향에 존재하는 것을 의미하고, 시차란 관찰 위치에 따른 대상의 상대적 위치변화를 의미한다. 즉, 눈의 위치에 따라 물건이나 영상의 보이는 방법이 다른 것을 의미한다. 따라서, 자연스럽고 현실감있는 3D 영상을 구현하기 위해서는 풀-패럴랙스 지원 영상이 필요하다.

하지만, 수평 방향뿐만 아니라 수직 방향의 시차도 갖고 있는 풀-패럴랙스 를 지원하는 다시점 영상이나 라이트 필드 (light field) 영상이 등장함에 따라, 종래 수평 방향 또는 수직 방향으로의 단순한 스테레오 정합 방법 대신, 수평/수직 방향의 이웃 영상들을 모두 참조하여 보다 정확한 깊이 정보를 찾는 방법이 요구되고 있다.

따라서, 본 발명의 목적은, 전술한 종래 기술의 문제점을 해결하기 위해, 풀-패럴랙스 지원 영상의 깊이 정보를 획득하는 방법 및 장치를 제공하는 데 있다.

또한, 본 발명의 다른 목적은, 풀-패럴랙스 4방향 참조 영상을 이용하여 깊이 정보를 획득하는 방법 및 장치를 제공하는 데 있다.

또한, 본 발명의 다른 목적은, 풀-패럴랙스 4방향 참조 영상을 이용하여 구해진 깊이 정보를 이용하여 영상을 제공하는 방법 및 장치를 제공하는 데 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한, 본 발명의 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법은, 목표 시점 주변의 적어도 4방향 시점을 포함하는 풀-패럴랙스 영상을 수신하는 단계, 상기 풀-패럴랙스 영상으로부터 적어도 4방향 이웃 참조 영상을 이용하여 4방향 참조 깊이 정보를 정합하는 단계, 및 상기 정합된 결과로부터, 상기 목표 시점 영상에 대한 깊이 정보를 출력하는 단계를 포함한다.

또한, 상기 4방향 시점은, 목표 시점 수평방향으로 좌,우 시점 및 수직방향으로 상,하 시점을 포함한다.

또한, 상기 4방향 참조 깊이 정보를 정합하는 단계는, 목표 시점과 4방향 이웃 시점 간 양방향 스테레오 정합하여 신뢰도를 적용한 깊이 정보 지도 생성 단계를 포함한다.

또한, 상기 깊이 정보 지도는, 양방향 스테레오 정합 결과가 동일한 값을 가진 경우를 신뢰도가 있는 것으로 간주하고, 상기 신뢰도가 존재하는 정합 결과만을 깊이 정보 지도 생성에 활용할 수 있다.

또한, 상기 4방향 참조 깊이 정보를 정합하는 단계는, 상기 목표 시점 영상과 상기 깊이 정보 지도 간 기하학적 정합 단계를 더 포함한다.

또한, 상기 목표 시점 영상과 상기 깊이 정보 지도 간 기하학적 정합 단계는, 목표 시점 영상과 각 이웃 시점 영상의 윤곽선 또는 에지 정보를 같은 위치에 중첩 시켜서 중첩이 많은 위치에 기하학적 정합을 수행하는 것을 특징으로 한다.

또한, 상기 4방향 참조 깊이 정보를 정합하는 단계는, 상기 4방향 참조 깊이 정보 간 부호 및 범위를 일치시키는 강도(intensity) 조정 단계를 더 포함한다.

또한, 상기 4방향 참조 깊이 정보를 정합하는 단계는, 상기 부호와 범위를 일치시킨 4방향의 이웃 시점 참조 깊이 정보를 정합하여 상기 목표 시점에 대한 최종 깊이 정보를 획득하는 단계를 더 포함한다.

본 발명에 따른, 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치는, 목표 시점 주변의 적어도 4방향 시점을 포함하는 풀-패럴랙스 영상을 수신하는 영상 수신부, 상기 풀-패럴랙스 영상으로부터 적어도 4방향 이웃 참조 영상을 이용하여 4방향 참조 깊이 정보를 정합하는 깊이 정보 정합부, 및 상기 정합된 결과로부터, 상기 목표 시점 영상에 대한 깊이 정보를 출력하는 깊이 정보 출력부를 포함한다.

또한, 상기 4방향 시점은, 목표 시점 수평방향으로 좌,우 시점 및 수직방향으로 상,하 시점을 포함할 수 있다.

또한, 상기 깊이 정보 정합부는, 목표 시점과 4방향 이웃 시점 간 양방향 스테레오 정합하여 신뢰도를 적용한 깊이 정보 지도를 생성한다.

또한, 상기 깊이 정보 지도는, 양방향 스테레오 정합 결과가 동일한 값을 가진 경우를 신뢰도가 있는 것으로 간주하고, 상기 신뢰도가 존재하는 정합 결과만을 깊이 정보 지도 생성에 활용한다.

또한, 상기 깊이 정보 정합부는, 상기 목표 시점 영상과 상기 깊이 정보 지도 간 기하학적 정합 과정을 수행한다.

또한, 상기 깊이 정보 정합부는, 상기 목표 시점 영상과 상기 깊이 정보 지도 간 기하학적 정합 하기 위해, 목표 시점 영상과 각 이웃 시점 영상의 윤곽선 또는 에지 정보를 같은 위치에 중첩 시켜서 중첩이 많은 위치에 기하학적 정합을 수행한다.

또한, 상기 깊이 정보 정합부는, 상기 4방향 참조 깊이 정보 간 부호 및 범위를 일치시키는 강도(intensity) 조정 과정을 더 수행할 수 있다.

또한, 상기 깊이 정보 정합부는, 상기 부호와 범위를 일치시킨 4방향의 이웃 시점 참조 깊이 정보를 정합하여 상기 목표 시점에 대한 최종 깊이 정보를 획득하는 과정을 더 수행한다.

본 발명에 따른, 영상 제공 장치는, 목표 시점 주변의 적어도 4방향 시점을 포함하는 풀-패럴랙스 영상을 수신하여, 적어도 4방향 이웃 참조 영상을 이용하여 4방향 참조 깊이 정보를 정합하여 목표 시점에 대한 깊이 정보를 출력하는 영상 정합 장치 및 상기 출력된 깊이 정보를 활용하여 3D 영상을 제공하는 영상 디스플레이 장치를 포함한다.

본 발명의 실시예에 따르면 다음과 같은 효과가 있다.

첫째, 풀-패럴랙스 지원 영상에 대한 신뢰도 높은 깊이 정보를 제공하는 것이 가능하게 된다.

둘째, 풀-패럴랙스 지원 영상에 대한 신뢰도 높은 깊이 정보를 제공함에 의해, 자연스러운 객체 영상 제공이 가능하게 된다.

셋째, 풀-패럴랙스 지원 영상에 대한 신뢰도 높은 깊이 정보를 제공함에 의해, 더욱 현실감 있는 3D 영상을 제공하는 것이 가능하게 된다.

도 1은 종래 스테레오 정합 방법을 설명하기 위한 개념도 이다.
도 2는 본 발명에 따른 풀-패럴랙스 지원 영상에 대한 영상 정합 장치를 도시한 블록도 이다.
도 3은 본 발명에 따른 풀-패럴랙스 지원 영상에 대한 영상 정합 방법을 도시한 흐름도 이다.
도 4는 본 발명에 따른 풀-패럴랙스 지원 영상에 대한 구체적인 영상 정합 방법을 도시한 흐름도 이다.
도 5는 본 발명에 따른 풀-패럴랙스 지원 영상에 대해 4방향 참조 영상을 이용하여, 각 방향에서 양방향 스테레오 정합 방법을 설명하기 위해 도시한 것이다.
도 6은 본 발명에 따른 풀-패럴랙스 지원 영상에 대해 4방향 참조 영상을 이용하여, 각 방향에서 구해진 깊이 정보를 설명하기 위해 도시한 것이다.
도 7은 본 발명에 따른 풀-패럴랙스 지원 영상에 대해 4방향 참조 깊이 정보간 강도(intensity)를 조정하는 방법을 도시한 흐름도 이다.
도 8은 본 발명에 따른 풀-패럴랙스 지원 영상에 대해 4방향 참조 깊이 정보를 정합하는 방법을 도시한 것이다.
도 9는 본 발명에 따른 풀-패럴랙스 지원 영상에 대해 구해진 깊이 정보 값과 종래 방식을 비교하기 위해 도시한 것이다.

이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.

본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예들에 대해서 설명한다.

도 2는 본 발명에 따른 풀-패럴랙스 지원 영상에 대한 영상 정합 장치를 도시한 블록도 이다. 또한, 도 3은 본 발명에 따른 풀-패럴랙스 지원 영상에 대한 영상 정합 방법을 도시한 흐름도 이다.

도 2 및 도 3을 참조하면, 본 발명의 영상 정합 장치(120)는 영상 수신부(121), 깊이 정보 정합부(122) 및 깊이 정보 출력부(123)를 포함한다. 또한, 도면에는 미도시 하였으나, 영상 출력부 또는 영상 디스플레이 수단을 구비하여 깊이 정보를 이용한 3D 영상 출력이 가능하게 된다. 즉, 상기 영상 정합 장치(120) 및 상기 영상 디스플레이 수단을 포함하여 3D 영상 제공 장치를 구성할 수 있다.

상기 영상 수신부(121)는, 다수의 카메라들 (111a-111n) 로부터 풀-패럴랙스를 지원하는 영상을 입력 받는다. 전술한 바와 같이, 풀-패럴랙스는 시차(패럴랙스)가 상하 좌우 대각선 포함한 모든 방향에 존재하는 것을 의미하므로, 영상 수신부(121)에 입력되는 영상은 동일 객체에 대해 적어도 수평방향으로의 좌,우 시점 및 수직방향으로의 상,하 시점에서 촬영된 영상을 입력 받게 된다 (S110). 구체적으로, 기존의 스테레오 영상이나 다시점 영상은 주로 수평 방향으로의 시차만 존재하는 영상이었지만, 수평/수직 방향의 다시점 영상, 더 나아가서는 라이트 필드 영상은 수평 방향의 시차뿐만 아니라 수직 방향의 시차도 존재하는 풀-패럴랙스(full-parallax)를 지원하게 된다. 따라서 본 발명은 기존 스테레오 정합 방법에서의 입력 영상과는 달리, 수직/수평 방향의 이웃 영상들을 참조 영상으로 사용하여 깊이 정보를 계산하는 것을 특징으로 한다.

깊이 정보 정합부(122)는, 상기 입력된 풀-패럴랙스 지원 영상에 대한 깊이 정보를 구한다. 여기서, 본 발명은 적어도 4방향 이웃 참조 영상을 이용하여 4방향 참조 깊이 정보를 정합하게 된다(S120). 이에 대해서는 도 4를 참조하여 상세히 후술하기로 한다.

깊이 정보 출력부(123)는 상기 구해진 깊이 정보를 3D 영상 구현 장치 또는 또 다른 깊이 정보 활용 수단에서 활용하기 위해 출력한다(S130).

도 4는 본 발명에 따른 풀-패럴랙스 지원 영상에 대한 구체적인 영상 정합 방법을 도시한 흐름도 이다. 특히 도 4는 상기 깊이 정보 정합부(122)의 구체 동작을 도시한 것이다.

도 4를 참조하면, 본 발명에 따른 영상 정합 방법은, 목표 시점과 4방향 이웃 시점 간 양방향 스테레오 정합하여 신뢰도를 적용한 깊이 정보 지도 생성 단계(S121), 목표 시점 컬러 영상과 깊이 정보 지도 간 기하학적 정합 단계(S122), 4방향 참조 깊이 정보 간 강도 (intensity) 조정 단계(S123), 및 4방향 참조 깊이 정보 정합 단계(S124)로 이루어진다. 이하, 상기 각 단계의 세부 처리 과정을 구분하여 설명하면 다음과 같다.

(1) 4방향 이웃 간 양방향 스테레오 정합 및 신뢰도를 적용한 깊이 정보 지도 생성 (S121)

본 발명에서는 Full-parallax를 지원하는 영상의 장점을 활용하기 위해서 목표 시점 영상의 수평/수직 방향의 이웃 시점 영상, 즉 위, 아래, 왼쪽, 오른쪽 의 4방향 이웃 시점 영상을 사용한다. 이 때 각 방향의 이웃 시점 영상들과 목표 시점 영상 사이에서 기존의 스테레오 정합 과정을 수행하여 변이 값을 계산한다. 다만, 스테레오 정합 과정 시 양방향으로 이중 확인 (cross-check)를 하여 이를 이용한 신뢰 지도 (confidence map)을 구성한다.

도 5는 4방향 이웃 간 양방향 스테레오 정합에 대해서 도시한 것이다. 목표 시점 영상을

, 위, 아래, 왼쪽, 오른쪽 시점 영상을 각각

이라고 할 때, 목표 시점 영상으로부터 윗 시점 영상에 대한 변이 값

와 윗 시점 영상으로부터 목표 시점 영상에 대한 변이 값

은 아래 수식(2)와 같이 구할 수 있다.

(수식2)

여기서,

는 영상에서의 세로 좌표를 의미한다. 또한 목표 시점 영상과 왼쪽 시점 영상의 변이 값,

와

는 다음 수식(3)과 같이 구할 수 있다.

(수식3)

여기서,

는 영상에서의 가로 좌표를 의미한다. 마찬가지 방법을 이용하여 목표 시점 영상과 아래 시점 영상 사이의 변이 값

와

, 목표 시점 영상과 오른쪽 시점 영상 사이의 변이 값

와

도 각각 구할 수 있다.

이 때 목표 시점 영상과 윗 방향 이웃 시점 영상 사이의 깊이 정보(변이 값)에 대한 신뢰 지도,

는 아래 수식(4)와 같이 구할 수 있다.

(수식4)

여기서

는 신뢰할 수 있는 최소한의 오차 값을 의미한다.

마찬가지로 목표 시점 영상과 아래, 왼쪽, 오른쪽 방향 시점 영상 사이의 깊이 정보에 대한 신뢰 지도

,

도 같은 방법을 통해서 구할 수 있다.

또한 목표 시점 영상에 대해서 각 방향에 대한 깊이 정보에 신뢰 지도를 적용한 깊이 정보 값은 아래 수식(5)와 같이 구할 수 있다. 즉, 신뢰도(C) 값이 1인 경우에만 깊이 정보를 획득 하는 것이 가능하게 된다.

(수식5)

(2) 목표 시점 컬러 영상과 깊이 정보 지도 간 기하학적 정합 (S122)

상기 S121 단계에서 구한 목표 시점 영상과 4방향의 이웃 시점 영상에서의 깊이 정보를 시각화 한 깊이 지도와 목표 시점 영상 사이의 기하학적 위치를 정확하게 정합하는 과정이 S122 단계에서 이루어진다.

이 때 목표 시점 영상과 각 이웃 시점 영상 사이의 깊이 정보와 목표 시점 영상의 컬러 영상 사이의 정합을 위해 영상에서의 윤곽선 (contour) 또는 에지 정보 (edge)를 계산하여 두 영상의 윤곽선 또는 에지 정보를 같은 위치에 중첩 시켜서 중첩이 많은 위치를 찾아 기하학적 정합을 수행하는 것이 가능하다.

또한, 아래 수식(6)은 목표 시점 컬러 영상과 윗 방향 이웃 시점을 참조하여 얻은 깊이 정보 사이의 중첩 화소 계산, 가장 많이 중첩되는 위치를 찾기 위한 계산, 깊이 정보를 가장 중첩이 많이 되는 위치로 이동시켜 기하학적 정합을 수행하는 과정에 대해 각각 나타내고 있다.

(수식6)

(3) 4 방향 참조 깊이 정보 간 강도(intensity) 조정 (S123)

상기 S122 단계를 통해 기하학적 위치까지 정합한 목표 시점 영상과 4 방향의 이웃 시점 영상 사이의 깊이 정보를 서로 정합하기 위해서는 이들 간의 intensity 값에 대한 조정이 필요하다. 이는 목표 시점 영상과 각 이웃 시점 영상 사이의 방향, 획득 카메라 또는 가상 카메라들의 거리 (baseline), 획득 카메라 자체의 특성, 스테레오 정합 방법 등에 의하여 서로 다른 부호, 범위의 intensity 값을 갖고 있기 때문이다.

도 6은 목표 시점 영상과 4방향의 각각의 이웃 시점 영상에 대해서 깊이 정보를 구한 결과를 시각화 하여 표현한 것이다. 따라서 목표 시점 영상에 대한 깊이 정보를 구하기 위해서는 4 방향 이웃 영상을 참조한 깊이 정보들을 연산할 수 있도록 이들에 대한 intensity 값을 조정할 필요가 있다.

관련하여, 도 7은 본 발명에 따른 풀-패럴랙스 지원 영상에 대해 4방향 참조 깊이 정보간 intensity를 조정하는 단계를 도시한 것이다. 구체적으로는, 4방향 깊이 정보의 부호 일치 단계(S1231), 4방향 깊이 정보의 범위 일치 단계(S1232) 및 최종 조정된 깊이 정보 출력단계(S1233)로 구성된다. 이하 이를 구분하여 설명하면 다음과 같다.

(3-1) 부호 일치 (S1231)

먼저 4방향 깊이 정보에 대한 부호를 동일하게 맞추어 주는 처리 과정이 필요하다(S1231). 본 발명은 상기 4방향 깊이 정보의 부호를 일치하기 위한 방법 중 하나를 예를 들어 설명한다. 단, 이는 하나의 예에 불과하며, 다른 다양한 방법을 이용하는 것도 가능하다.

일반적으로 교정화(rectification)를 수행한 영상의 경우,

,

의 intensity 값은 양의 부호를 따르게 된다. 따라서 두 깊이 정보 값 중 신뢰도가 높은 값을 비교 값으로 놓고, 다른 3개의 깊이 정보 값은 대조 값으로 설정하여, 비교 값과 대조 값에 대한 정규 상호 상관도 (Normalized Cross Correlation; NCC)를 계산한 결과를 이용하여 부호를 확인한다.

구체적으로, 대조 값은 그대로 사용하거나, 또는 -1을 곱한 부호 변경 값을 사용하여 정규 상호 상관도를 계산할 수 있다. 즉, 대조 값을 그대로 사용했을 때 결과 값이 1에 가까운 쪽을 택하여 부호를 일치시켜 주게 된다. 아래 수식(7)은 비교 값 f와 원 대조값 t, 비교 값 f와 부호를 바꾼 대조 값

에 대해 정규 상호 상관도를 계산하는 수식을 나타내고 있다.

(수식7)

여기서 h와 w는 영상의 세로와 가로 방향의 화소 수, x와 y는 영상의 가로와 세로 방향의 좌표를 나타낸다. 또한

,

는 f, t,

의 평균 값,

,

은 f, t,

의 표준 편차를 뜻한다.

상기 부호 일치 과정을 4방향 참조 깊이 정보 값 각각에 대해 수행하여 4방향 참조 깊이 정보 값에 대한 부호를 일치시켜 준다. 부호가 일치된 4방향 깊이 정보 값을 각각

,

으로 나타낼 수 있다.

(3-2) 범위 일치 (S1232)

스테레오 정합에 따른 변이 값은 영상을 획득한 카메라 또는 가상 카메라의 간격에 따라 값이 표현되는 범위가 달라진다. 따라서 이들을 정합 시키기 위해서는 이들에 대한 범위를 비례 조정하고, 오프셋 값을 설정하여 정합이 가능하도록 만들어 줄 필요가 있다.

상기 범위 일치 단계(S1232) 수행을 위해서, 상기 부호 일치된 4방향 깊이 정보 값

,

중 신뢰 지도

에서 화소가 0이 아닌 화소 수가 가장 많은 값, 즉 신뢰도가 가장 높은 값 또는 범위가 가장 큰 값을 비교 값으로 선택한다. 이후 나머지 값들을 대조 값으로 선택하여 비교 값의 범위에 맞게 대조 값들의 범위를 비례 조정하고, 오프셋 값을 설정한다.

비교 값의 최대 값을

, 최소 값을

, 대조 값의 최대 값을

, 최소 값을

이라고 할 때, 비례 조정 값 (scaling factor),

와 오프셋 값 (offset),

는 아래 수식(8)과 같은 2차 방정식을 통해 값을 계산할 수 있다.

(수식8)

상기 수식(8)을 통해 구해진 비례 조정 값과 오프셋 값을 이용하여 대조 값 전체를 비교 값에 범위 일치 시킨다. 상기 과정을 3개의 대조 값들에 대해 모두 수행하여 4개의 깊이 정보 값에 대한 범위를 일치시켜 준다.

상기 깊이 정보 값에 대해 범위를 일치 시킨 4개 방향의 이웃 시점 참조 깊이 정보 값을 각각

,

이라 나타내기로 한다.

(4) 4방향 참조 깊이 정보 정합 (S124)

상기 S123 단계를 통해, 부호와 범위를 일치시킨 4방향의 이웃 시점 참조 깊이 정보를 정합하여 목표 시점에 대한 하나의 통합된 깊이 정보를 계산한다(S124).

우선, 상기 부호와 범위가 일치된

,

중 신뢰 지도 값에 따라 신뢰도가 가장 높은 값을 주 참조 깊이 정보 값을 M으로 정의하고, 나머지 셋을 보조 참조 깊이 정보 값,

,

으로 정의한다.

주 참조 깊이 정보 값 M이 신뢰되는 값에 해당되는 화소에서는 주 참조 깊이 정보 값을 그대로 적용하고, 신뢰되지 않는 값, 즉, 신뢰 지도에서 해당 화소 값이 0인 경우, 보조 참조 깊이 정보 값에서 신뢰되는 값에 해당되는 것을 찾아 깊이 정보 값으로 활용하게 된다. 예를 들어, 보조 참조 깊이 정보 값들의 평균 값을 이용하여 깊이 정보 값으로 설정하는 것이 가능하다. 관련하여, 아래 수식(8)은 목표 시점에 대한 통합된 깊이 정보 값,

를 계산하는 방법을 도시한 것이다.

(수식9)

상기 수식(9)에서,

는 다음 수식(10)와 같이 계산된다.

(수식10)

도 8은 풀-패렐랙스(Full-parallax) 영상을 입력 받아, 4방향의 이웃 시점 영상을 참조하여 목표 시점 영상에 대한 깊이 정보를 얻은 결과를 도시한 것이다. 본 발명을 이용하여 Full-parallax 지원 영상에서의 깊이 정보를 계산 하는 경우, 단순한 스테레오 정합 방법 때보다 많은 시점 영상을 참조 하기 때문에 폐색영역(occlusion area) 또는 비폐색영역 (dis-occlusion area)에 의해 스테레오 정합이 아예 되지 않거나 신뢰 할 수 없는 영역이 줄어 들게 되어 보다 높은 신뢰도를 갖는 깊이 정보를 얻을 수 있게 된다.

도 9는 종래의 기술과 본 발명에서 제안한 기술을 사용 하였을 때의 깊이 정보에 대한 신뢰 지도를 보여주고 있다. 그림에서 흰색 부분으로 표현된 부분이 신뢰를 할 수 있는 깊이 정보를 표현 하고 있는데, 본 발명에서 제안한 방법이 종래의 기술을 적용했을 경우 보다 신뢰도가 높은 깊이 정보를 얻을 수 있음을 알 수 있다.

상기 영상 정합 장치(120)를 구성하는 각 블록은 설명의 편의를 위해 개별적인 블록으로 도시하였으나, 소프트웨어가 프로그램된 하나의 매체에서 구현하는 것도 가능하다. 상기 프로그램된 매체는, ROM 메모리를 포함할 수 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

111 : 카메라
120 : 영상 정합 장치

Claims

목표 시점 주변의 적어도 4방향 시점을 포함하는 풀-패럴랙스 영상을 수신하는 단계,
상기 풀-패럴랙스 영상으로부터 적어도 4방향 이웃 참조 영상을 이용하여 4방향 참조 깊이 정보를 정합하는 단계, 및
상기 정합된 결과로부터, 상기 목표 시점 영상에 대한 깊이 정보를 출력하는 단계를 포함하는 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법.
제 1항에 있어서,
상기 4방향 시점은, 목표 시점 수평방향으로 좌,우 시점 및 수직방향으로 상,하 시점을 포함하는 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법.
제 1항에 있어서,
상기 4방향 참조 깊이 정보를 정합하는 단계는, 목표 시점과 4방향 이웃 시점 간 양방향 스테레오 정합하여 신뢰도를 적용한 깊이 정보 지도 생성 단계를 포함하는 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법.
제 3항에 있어서,
상기 깊이 정보 지도는, 양방향 스테레오 정합 결과가 동일한 값을 가진 경우를 신뢰도가 있는 것으로 간주하고, 상기 신뢰도가 존재하는 정합 결과만을 깊이 정보 지도 생성에 활용하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법.
제 3항에 있어서,
상기 4방향 참조 깊이 정보를 정합하는 단계는, 상기 목표 시점 영상과 상기 깊이 정보 지도 간 기하학적 정합 단계를 더 포함하는 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법.
제 5항에 있어서,
상기 목표 시점 영상과 상기 깊이 정보 지도 간 기하학적 정합 단계는, 목표 시점 영상과 각 이웃 시점 영상의 윤곽선 또는 에지 정보를 같은 위치에 중첩 시켜서 중첩이 많은 위치에 기하학적 정합을 수행하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법.
제 3항에 있어서,
상기 4방향 참조 깊이 정보를 정합하는 단계는, 상기 4방향 참조 깊이 정보 간 부호 및 범위를 일치시키는 강도(intensity) 조정 단계를 더 포함하는 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법.
제 7항에 있어서,
상기 4방향 참조 깊이 정보를 정합하는 단계는, 상기 부호와 범위를 일치시킨 4방향의 이웃 시점 참조 깊이 정보를 정합하여 상기 목표 시점에 대한 최종 깊이 정보를 획득하는 단계를 더 포함하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 방법.
목표 시점 주변의 적어도 4방향 시점을 포함하는 풀-패럴랙스 영상을 수신하는 영상 수신부,
상기 풀-패럴랙스 영상으로부터 적어도 4방향 이웃 참조 영상을 이용하여 4방향 참조 깊이 정보를 정합하는 깊이 정보 정합부, 및
상기 정합된 결과로부터, 상기 목표 시점 영상에 대한 깊이 정보를 출력하는 깊이 정보 출력부를 포함하는 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치.
제 9항에 있어서,
상기 4방향 시점은, 목표 시점 수평방향으로 좌,우 시점 및 수직방향으로 상,하 시점을 포함하는 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치.
제 9항에 있어서,
상기 깊이 정보 정합부는, 목표 시점과 4방향 이웃 시점 간 양방향 스테레오 정합하여 신뢰도를 적용한 깊이 정보 지도를 생성하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치.
제 11항에 있어서,
상기 깊이 정보 지도는, 양방향 스테레오 정합 결과가 동일한 값을 가진 경우를 신뢰도가 있는 것으로 간주하고, 상기 신뢰도가 존재하는 정합 결과만을 깊이 정보 지도 생성에 활용하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치.
제 11항에 있어서,
상기 깊이 정보 정합부는, 상기 목표 시점 영상과 상기 깊이 정보 지도 간 기하학적 정합 과정을 수행하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치.
제 13항에 있어서,
상기 깊이 정보 정합부는, 상기 목표 시점 영상과 상기 깊이 정보 지도 간 기하학적 정합 하기 위해, 목표 시점 영상과 각 이웃 시점 영상의 윤곽선 또는 에지 정보를 같은 위치에 중첩 시켜서 중첩이 많은 위치에 기하학적 정합을 수행하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치.
제 11항에 있어서,
상기 깊이 정보 정합부는, 상기 4방향 참조 깊이 정보 간 부호 및 범위를 일치시키는 강도(intensity) 조정 과정을 더 수행하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치.
제 15항에 있어서,
상기 깊이 정보 정합부는, 상기 부호와 범위를 일치시킨 4방향의 이웃 시점 참조 깊이 정보를 정합하여 상기 목표 시점에 대한 최종 깊이 정보를 획득하는 과정을 더 수행하는, 풀-패럴랙스 지원 영상의 깊이 정보 획득 장치.
목표 시점 주변의 적어도 4방향 시점을 포함하는 풀-패럴랙스 영상을 수신하여, 적어도 4방향 이웃 참조 영상을 이용하여 4방향 참조 깊이 정보를 정합하여 목표 시점에 대한 깊이 정보를 출력하는 영상 정합 장치 및
상기 출력된 깊이 정보를 활용하여 3D 영상을 제공하는 영상 디스플레이 장치를 포함하는 영상 제공 장치.