KR100902353B1

KR100902353B1 - 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법

Info

Publication number: KR100902353B1
Application number: KR1020070117404A
Authority: KR
Inventors: 호요성; 이상범; 오관정
Original assignee: 광주과학기술원
Priority date: 2007-11-16
Filing date: 2007-11-16
Publication date: 2009-06-12
Also published as: KR20090050783A

Abstract

본 발명은 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법 및 다시점 비디오의 인코딩 방법에 관한 것이다. 보다 상세하게는 화소의 유사도를 기준으로 세그멘트로 영역을 분할하고, 3차원 워핑 기법과 확장된 경사도 맵이 반영된 자체 적응 함수를 이용하여 세그멘트 단위의 초기 깊이맵을 얻은 후, 신뢰확산 방법을 세그멘트 단위로 수행하여 초기 깊이맵을 정제함으로써, 오차를 줄이고 복잡도를 감소시키며 외부 영향에 강인한 깊이맵을 얻을 수 있고, 이러한 깊이맵으로 중간 영상을 생성하고 다시점 비디오의 부호화에 활용함으로써 부드러운 시점 전환과 향상된 부호화 효율을 얻을 수 있는 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법 및 다시점 비디오의 인코딩 방법에 관한 것이다.

깊이맵, 세그멘트, 3차원 워핑, 경사도 맵, 신뢰확산, 중간 영상

Description

깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법 및 다시점 비디오의 인코딩 방법{Device and Method for estimating death map, Method for making intermediate view and Encoding multi-view using the same}

디지털 기술이 고도로 발전하고, 방송과 통신의 융합으로 방송 매체가 다양해짐에 따라 디지털 기술의 특성을 이용한 방송 관련 부가 서비스들이 새롭게 선보이고 있다. 현재 TV의 발전 방향은 고화질과 대화면으로 가고 있으나, TV 화면 자 체가 2차원이기 때문에 현재의 화면을 통해서는 입체감을 느낄 수 없다.

삼차원 비디오 처리기술은 차세대 정보통신 서비스 분야의 핵심 기술로서, 정보산업 사회로의 발달과 더불어 기술개발 경쟁이 치열한 최첨단 기술이다. 이러한 삼차원 비디오 처리기술은 멀티미디어 응용에서 고품질의 영상 서비스를 제공하기 위해 필수적인 요소이며, 오늘날에는 이러한 정보통신 분야뿐만 아니라 방송, 의료, 교육, 군사, 게임, 가상현실 등 그 응용분야가 매우 다양화되고 있다. 게다가, 삼차원 비디오 처리기술은 여러 분야에서 공통적으로 요구하는 차세대 실감 삼차원 멀티미디어의 핵심 기반기술로도 자리잡아 선진국을 중심으로 이에 대한 연구가 활발히 진행되고 있다.

일반적으로 삼차원 비디오는 다음과 같은 두 가지 관점에서 정의내릴 수 있다. 첫번째로, 삼차원 비디오는 영상에 깊이에 대한 정보를 적용시켜 영상의 일부가 화면으로부터 돌출되는 느낌을 사용자가 느낄 수 있도록 구성되는 비디오로 정의될 수 있다. 두번째로, 삼차원 비디오는 사용자에게 다양한 시점을 제공하여 이로부터 사용자가 영상에서 현실감을 느낄 수 있도록 구성되는 비디오로 정의될 수 있다. 이러한 삼차원 비디오는 획득 방식, 깊이감(depth impression), 디스플레이 방식 등에 따라 양안식, 다안식, IP(Integral Photography), 다시점(옴니(omni), 파노라마), 홀로그램 등으로 분류할 수 있다. 그리고, 이러한 삼차원 비디오를 표현하는 방법으로는 크게 영상 기반 표현법(Image-Based Representation)과 메쉬 기반 표현법(Mesh-Based Representation)이 있다.

최근 들어 이러한 삼차원 비디오를 표현하는 방법으로 깊이영상 기반 렌더 링(DIBR; Death Image-Based Rendering)이 각광을 받고 있다. 깊이영상 기반 렌더링은 관련된 각 화소마다 깊이나 차이각 등의 정보를 가진 참조 영상들을 이용하여 다른 시점에서의 장면들을 창출하는 방법을 말한다. 이러한 깊이영상 기반 렌더링은 삼차원 모델의 표현하기 어렵고 복잡한 형상을 용이하게 렌더링할 뿐만 아니라, 일반적인 영상 필터링과 같은 신호처리 방법의 적용을 가능하게 하며, 고품질의 삼차원 비디오를 생성할 수 있게 하는 장점을 가지고 있다. 이러한 깊이영상 기반 렌더링은 깊이 카메라 및 멀티뷰 카메라를 통하여 획득되는 깊이 영상과 텍스쳐 영상을 이용한다.

깊이영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이다. 이러한 깊이영상은 깊이정보와 카메라 파라미터를 통하여 3차원 복원기술 또는 3차원 워핑(warping) 기술에 많이 이용된다. 또한, 깊이영상은 자유시점 TV와 3차원 TV에 응용된다. 자유시점 TV는 정해진 하나의 시점에서만 영상을 감상하지 않고 사용자의 선택에 따라 임의의 시점에서 영상을 시청할 수 있게 하는 TV를 말한다. 3차원 TV는 기존 2차원 TV에 깊이영상을 더하여 실감영상을 구현하며, 최근 활발하게 연구개발이 이루어지고 있다.

이와 같은 자유시점 TV와 3차원 TV에서 부드러운 시점 전환을 위해서는 보다 향상된 중간영상을 생성하여야 하며, 이를 위해 정확한 깊이맵을 추정하는 것이 중요하다. 깊이맵을 추정하기 위하여 일반적으로 스테레오 정합(Stereo Matching) 알고리즘이 사용되고 있다. 그러나, 기존의 스테레오 정합 알고리즘은 깊이값의 불연속점을 가지는 화소 주변에서 많은 오차가 발생되며, 이러한 오차는 중간영상 생성 시 객체의 경계가 중복되거나 불분명해지는 문제점을 야기하게 된다. 또한, 기존의 스테레오 정합 알고리즘은 변이값을 구하기 위해 주변 영상에서 수평 방향으로만 탐색을 하기 때문에 병렬 카메라 구성에서 얻은 영상 또는 교정(rectification) 과정을 거친 영상만을 입력으로 가질 수 있다. 따라서, 이러한 방법에 의하면 병렬 카메라 구성뿐만 아니라 원호 카메라 구성과 같은 다양한 카메라 구성을 갖는 다시점 영상에 대한 깊이맵을 추정하는 데에는 한계가 있다는 문제점이 있다. 더욱이, 기존의 스테레오 정합 알고리즘에 의하면 화소 단위로 변이값을 탐색하여 스테레오 영상에는 적합하나, 스테레오 영상에 비해 상대적으로 데이터량이 많은 다시점 영상의 경우에는 화소 단위로 변이값을 탐색할 경우 많은 오차를 포함할 뿐만 아니라, 복잡도가 증가하게 되는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 오차를 줄이고 복잡도를 감소시키며 외부 영향에 강인한 깊이맵을 얻을 수 있고, 이러한 깊이맵으로 중간 영상을 생성하고 다시점 비디오의 부호화에 활용함으로써 부드러운 시점 전환과 향상된 부호화 효율을 얻을 수 있는 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법 및 다시점 비디오의 인코딩 방법을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 안출된 본 발명에 따른 깊이맵 추정 장치는 다시점 비디오 카메라를 통해 입력된 상기 다시점 영상을 저장하는 다시점 영상 저장부; 상기 다시점 영상 저장부에 저장된 다시점 영상 중 상기 깊이맵을 추정하고자 하는 대상 영상에서 인접 화소들끼리의 루미넌스(luminance) 차이가 임계값 이하인 화소들끼리 세그멘트(segment)를 설정하는 세그멘트 설정부; 상기 세그멘트 설정부를 통해 설정된 각 세그멘트에 대하여 상기 대상 영상의 인접 시점으로 3차원 워핑(warping)을 수행하여, 워핑된 대상 영상을 얻는 3차원 워핑부; 및 상기 인접 시점의 참조 영상을 기준으로 상기 워핑된 대상 영상의 깊이값을 추정하되, 상기 세그멘트별로 하나의 깊이값을 추정하는 초기 깊이값 탐색부를 포함하는 것을 특징으로 한다.

또한, 상기 초기 깊이값 탐색부는 하기 수학식의 자체 적응 함수(Self Adaptation Function)를 이용하여 상기 세그먼트 단위로 깊이값을 추정할 수 있다.

(ω는 0보다 크고 1보다 작은 가중치, x, y는 상기 대상 영상의 세그먼트 내 화소의 위치, d는 변위, C_MAD는 각 측정 변위에 따른 세그먼트의 루미넌스 차이값의 평균(Mean Absolute Difference), C_MGRAD는 각 측정 변위에 따른 세그먼트의 그레디언트 차이값의 평균)

또한, 상기 자체 적응 함수의 상기 C_MGRAD는 하기 수학식에 의해 +x방향, +y방향, -x방향, -y방향의 경사도 맵을 모두 고려하는 것이 바람직하다.

(M은 세그먼트 내의 화소의 개수, S_k는 해당 세그먼트, I₁(x, y)는 상기 대상 영상에서 (x, y)위치에 존재하는 화소의 루미넌스값, I₂(x', y')는 상기 참조 영상에서 (x', y')위치에 존재하는 화소의 루미넌스값, ∇_x, ∇_y, ∇_-x, ∇_-y는 각각 +x방향, +y방향, -x방향, -y방향의 경사도 맵)

또한, 상기 깊이맵 추정 장치는 상기 초기 깊이값 탐색부를 통해 산출된 깊 이값을 정제하되, 상기 세그먼트 설정부를 통해 설정된 세그먼트 단위의 신뢰확산(Belief Propagation)방법을 이용하는 깊이값 정제부를 더 포함할 수 있다.

본 발명에 따른 깊이맵 추정 방법은 (a) 다시점 비디오 카메라를 통해 입력된 상기 다시점 영상을 저장하는 단계; (b) 상기 (a)단계를 통해 저장된 상기 다시점 영상 중 상기 깊이맵을 추정하고자 하는 대상 영상에서 인접 화소들끼리의 루미넌스(luminance) 차이가 임계값 이하인 화소들끼리 세그멘트(segment)를 설정하는 단계; (c) 상기 (b)단계를 통해 설정된 각 세그멘트에 대하여 상기 대상 영상의 인접 시점으로 3차원 워핑(warping)을 수행하여, 워핑된 대상 영상을 얻는 단계; 및 (d) 상기 인접 시점의 참조 영상을 기준으로 상기 워핑된 대상 영상의 깊이값을 추정하되, 상기 세그멘트별로 하나의 깊이값을 추정하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 깊이맵 추정 방법은 상기 (d)단계를 통해 산출된 깊이값을 정제하되, 상기 (b)단계를 통해 설정된 세그먼트를 단위로 하는 신뢰확산(Belief Propagation)방법을 이용하는 단계를 더 포함할 수 있다.

본 발명에 따른 중간 영상 생성 방법은 상기 방법에 따라 깊이맵을 추정한 후, 상기 깊이맵을 이용하여 중간 시점의 영상(intermediate view)을 생성하는 것을 특징으로 한다.

본 발명에 따른 다시점 비디오에서 중간 시점의 영상을 이용하여 상이한 시점의 영상들을 인코딩하는 방법은 (A) 다시점 비디오의 부호화할 대상 영상을 입력받는 단계; (B) 상기 방법에 따라 생성된 중간 영상을 참조 영상 리스트에 추가하 는 단계; (C) 상기 참조 영상 리스트의 참조 영상을 바탕으로 상기 대상화면의 움직임 벡터를 산출하는 단계; 및 (D) 상기 (C)단계를 통해 산출된 움직임 벡터만큼 움직임 보상된 상기 참조 영상에 대한 상기 대상 영상의 차이값을 구하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 의하면 유사한 화소들끼리 세그멘트를 구성하여 대상 영상의 영역을 분할한 후 3차원 워핑을 적용하여 깊이값을 탐색함으로써 변이맵에서 깊이맵으로 변환하는 과정에서 발생하는 깊이값의 오차를 줄이고 복잡도를 감소시키며, 확장된 경사도 맵을 추가한 자체 적응 함수를 이용하여 깊이값을 탐색함으로써 카메라간 색상 불일치 등 외부 영향에 강인한 깊이맵을 얻을 수 있는 효과가 있다.

또한, 본 발명에 의하면 하나의 세그멘트에 대한 깊이값 탐색 과정에서 좌영상과 우영상 모두에 대해 정합 함수를 적용하여 한쪽 영상만을 사용할 때 발생할 수 있는 폐색 영역의 문제점을 해결함으로써 보다 정확한 깊이값을 얻을 수 있는 효과가 있다.

또한, 본 발명에 의하면 초기 깊이맵에 대하여 세그멘트 단위의 신뢰확산 방법을 이용하여 이를 정제함으로써 배경 내에 존재하는 화소들의 색상 유사성으로 인해 발생할 수 있는 오류를 제거하고 기존의 깊이맵 추정 기법으로 획득한 깊이맵에 비해 상대적으로 명확한 객체 경계를 얻을 수 있는 효과가 있다.

또한, 본 발명에 의하면 깊이맵의 정확도를 향상시킴으로써 보다 향상된 화질의 중간 영상을 얻을 수 있어 3차원 TV, 자유 시점 TV 등에서 보다 부드러운 시 점 전환을 가능하게 하는 효과가 있다.

또한, 본 발명에 의하면 보다 향상된 중간 영상을 통하여 다시점 비디오의 인코딩시 보다 공간적 상관도가 높은 참조 영상을 제공함으로써 부호화 효율을 향상시킬 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

먼저, 본 발명의 바람직한 실시예에 따른 깊이맵 추정 장치 및 깊이맵 추정 방법에 대해 설명한다. 이하의 설명에서, '대상 영상'이라 함은 깊이값을 추정하는 대상이 되는 영상을 말한다. '참조 영상'이란 대상 영상과의 관계를 통하여 스테레오 정합을 수행하기 위한 영상으로서, 다시점 카메라를 통해 취득된 영상 중 대상 영상과 인접 또는 근방에 위치한 영상을 말한다. 또한 '워핑된 대상 영상'이란 대상 영상을 참조 영상의 시점으로 3차원 워핑시켜 획득한 영상을 말한다

도 1은 본 발명의 바람직한 실시예에 따른 깊이맵 추정 장치의 블록도이며, 도 6은 본 발명의 바람직한 실시예에 따른 깊이맵 추정 방법의 흐름도이다.

본 발명의 바람직한 실시예에 따른 깊이맵 추정 장치는, 도 1을 참조하면, 다시점 영상 저장부(10), 세그멘트 설정부(20), 3차원 워핑부(30), 초기 깊이값 탐색부(40), 및 깊이값 정제부(50)를 포함한다.

또한, 본 발명의 바람직한 실시예에 따른 깊이맵 추정 방법은, 도 6을 참조하면, 다시점 비디오 카메라를 통해 입력된 다시점 영상을 저장하는 단계(S10), 10단계를 통해 저장된 다시점 영상 중 깊이맵을 추정하고자 하는 대상 영상에서 인접 화소들끼리의 루미넌스(luminance) 차이가 임계값 이하인 화소들끼리 세그멘트(segment)를 설정하는 단계(S20), 20단계를 통해 설정된 각 세그멘트에 대하여 대상 영상에 인접한 참조 영상의 시점으로 3차원 워핑(warping)을 수행하여, 워핑된 대상 영상을 얻는 단계(S30), 참조 영상을 기준으로 상기 워핑된 대상 영상의 깊이값을 추정하되, 세그멘트별로 하나의 깊이값을 추정하는 단계(S40), 및 40단계를 통해 산출된 깊이값을 정제하되, 20단계를 통해 설정된 세그먼트를 단위로 하는 신뢰확산(Belief Propagation)방법을 이용하는 단계(S50)를 포함하여 이루어진다. 본 발명의 바람직한 실시예에 따른 깊이맵 추정 장치에 대한 설명에서 깊이맵 추정 방법이 충분히 설명될 것이므로, 이하에서는 깊이맵 추정 장치에 대해서만 설명하기로 한다.

다시점 영상 저장부(10)는 다시점 비디오 카메라를 통해 입력된 다시점 영상을 저장하는 역할을 수행한다. 다시점 영상 저장부(10)에는 시점 방향으로 최소한 비디오 카메라의 개수만큼의 영상이 저장되고, 이러한 각 시점에 대하여 시간 방향으로 연속적인 영상이 저장되어 있다.

세그멘트 설정부(20)는 다시점 영상 저장부(10)에 저장된 다시점 영상 중 깊이맵을 추정하고자 하는 대상 영상에서 인접 화소들끼리의 인텐시티(루미넌스(luminance) 또는 크로미넌스(chrominance)) 차이가 임계값 이하인 화소들끼리 세그멘트(segment)를 설정하는 역할을 수행한다. 즉, 세그멘트 설정부(20)는 대상 영상 내에서 유사한 휘도 또는 색상 정보를 가지는 화소들끼리 묶어 영상을 세그멘트들로 분할한다. 이때, 분할된 세그멘트 내부에서는 깊이값이 미세하게 변화하며, 깊이값의 불연속점은 세그멘트의 경계에서 발생한다고 가정한다. 이러한 가정을 만족시키기 위해 세그멘트는 가능한 크기가 작도록 세분화되는 것이 바람직하며, 이를 위해 임계값을 작게 잡는 것이 바람직하다. 임계값이 커지면 유사한 인텐시티의 범위가 커지므로, 세그멘트의 크기가 증가하게 되어 세그멘트 내에 깊이값의 불연속점이 포함될 확률이 높아지는 문제점이 발생할 수 있다. 예컨대, 임계값은 0으로 잡을 수 있다. 세그멘트 설정부(20)에 의해 비슷한 화소들끼리 세그멘트로 분할된 영상의 예가 도 2에 도시되어 있다.

3차원 워핑부(30)는 세그멘트 설정부(20)를 통해 설정된 각 세그멘트에 대하여 대상 영상에 인접한 참조 영상의 시점으로 3차원 워핑(warping)을 수행하여, "워핑된 대상 영상"을 얻는 역할을 수행한다. 기존의 스테레오 정합 알고리즘은 변이를 구하기 위해 주변 영상에서 수평 방향으로만 탐색을 하기 때문에 병렬 카메라 구성에서 얻은 영상 혹은 교정(rectification) 과정을 거친 영상만을 입력으로 가질 수 있으므로, 원호 카메라 구성 등 다양한 카메라 구성을 갖는 다시점 영상에 대한 깊이맵을 추정하는 데에는 한계가 존재한다.
도 3은 3차원 워핑을 이용하여 워핑된 대상 영상을 획득하는 것을 설명하는도면이다. 도 3을 참조하면, 이러한 문제점을 해결하기 위해 3차원 워핑부(30)는 깊이맵을 구하고자 하는 시점에서의 대상 영상(60) 중 특정 세그멘트(62)에 대하여 3차원 워핑을 통해 참조 영상(70)으로 투영(projection)하여 워핑된 대상 영상(60′)에서의 워핑된 세그멘트(62′)를 생성한다. 이후 깊이맵 추정을 위한 스테레오 매칭은 워핑된 대상 영상(60′)의 워핑된 세그멘트(62)와, 참조 영상(70)에서 상기 특정 세그멘트(62)에 대응되는 참조 세그멘트(72)에 대해 이루어진다. 이에 따라 3차원 워핑부(30)는 다시점 카메라를 형성하는 카메라의 배치 구성과는 독립적으로 깊이맵 추정이 가능하게 된다. 한편, 도 3에서 'd'는 워핑된 세그멘트(62)와 참조 세그멘트(72) 간의 변이(disparity)를 나타낸다.

초기 깊이값 탐색부(40)는 상기 참조 영상(70)을 기준으로 상기 워핑된 대상 영상(60′)의 깊이값을 추정하되, 상기 세그멘트별로 하나의 깊이값을 탐색하는 역할을 수행한다. 다시점 영상은 스테레오 정합 테스트 영상에 비해 상대적으로 크고 데이터량이 많으므로 기존의 스테레오 정합 알고리즘과 같이 화소 단위로 변이값을 탐색하는 경우 많은 오차를 포함하게 될 뿐만 아니라 복잡도도 증가하게 된다. 따라서, 초기 깊이값 탐색부(40)는 화소 단위 대신 세그멘트 단위로 깊이값을 탐색한다.

참조 영상 세그멘트에 대한 대상 영상 세그멘트의 깊이값을 탐색하기 위해서는 스테레오 매칭을 위한 정합 함수를 필요로 한다. 일반적으로 사용되는 정합 함수로는 SD(Squared intensity Difference)와 AD(Absolute intensity Difference) 등이 있다. 그러나, 이러한 일반적인 정합 함수들은 카메라간 색상의 불일치에 민감하다는 단점이 존재한다. 따라서, 초기 깊이값 탐색부(40)에서는 AD 함수에 경사도 맵(gradient map)을 이용한 함수를 추가한 자체 적응 함수(Self Adaptation Function)를 이용하여 초기 깊이값을 탐색한다. 자체 적응 함수는 아래 수학식 1로 주어진다.

여기서, ω는 0보다 크고 1보다 작은 가중치, x, y는 상기 대상 영상의 세그먼트 내 화소의 위치, d는 변위, C_MAD는 각 측정 변위에 따른 세그먼트의 루미넌스 차이값의 평균(Mean Absolute Difference), C_MGRAD는 각 측정 변위에 따른 세그먼트의 그레디언트 차이값의 평균을 의미한다.

또한, C_MAD는 기존의 AD 함수로서 아래 수학식 2와 같이 주어진다.

또한, C_MGRAD는 네 방향을 고려한 경사도 맵에 대한 함수로서 아래 수학식 3과 같이 주어진다.

여기서, M은 세그먼트 내의 화소의 개수, S_k는 해당 세그먼트, I₁(x, y)는 상기 대상 영상에서 (x, y)위치에 존재하는 화소의 루미넌스값, I₂(x', y')는 상기 참조 영상에서 (x', y')위치에 존재하는 화소의 루미넌스값, ∇_x, ∇_y, ∇_-x, ∇_-y는 각각 +x방향, +y방향, -x방향, -y방향의 경사도 맵을 의미한다.

본 발명의 바람직한 실시예에 따른 자체 적응 함수는 카메라간 색상의 불일치와 같은 외부 요인에 영향을 받지 않도록 하기 위해 +x방향과 +y방향의 경사도 맵을 사용한 것을 +x방향, +y방향, -x방향, 및 -y방향으로 확장하여 4방향 모두에 대한 경사도 맵을 사용함으로써 경사도 맵의 강인성을 높인다.

또한, 초기 깊이값 탐색부(40)는 주변 참조 영상으로 좌영상과 우영상 모두를 사용할 수 있다. 즉, 초기 깊이값 탐색부(40)는 하나의 세그멘트에 대한 깊이값 탐색 과정에서 좌영상과 우영상 모두에 대하여 정합 함수를 적용하여 보다 정확한 깊이값을 얻을 수 있다. 기존의 스테레오 정합 알고리즘과 같이 한쪽 영상만을 사용하여 깊이값을 탐색하는 경우, 특정 부분이 가려지는 폐색 영역(occlusion)이 발생할 수 있는 문제점이 있다. 그러나, 초기 깊이값 탐색부(40)는 대상 영상에서 존재하는 객체가 좌영상에서 다른 객체에 의해 가려지는 경우, 좌영상 대신 우영상을 이용함으로써 폐색 영역의 발생을 방지하여 정확한 깊이값을 탐색할 수 있도록 한다.

깊이값 정제부(50)는 초기 깊이값 탐색부(40)를 통해 산출된 초기 깊이값을 정제하여 오차를 줄임으로써 최종 깊이값을 얻는 역할을 수행한다. 초기 깊이값 탐 색부(40)를 통해 얻어진 초기 깊이값은 경우에 따라 오차를 가질 수 있다. 예를 들어, 영상 내부의 배경에 대한 깊이값을 탐색하는 경우, 배경 내에 존재하는 화소들의 색상 차이는 그리 크지 않은 것이 일반적이므로, 잘못된 깊이값을 탐색하였음에도 불구하고 최소의 오차를 발생시킴으로써 이를 정확한 깊이값으로 인식하게 되는 상황이 발생할 수 있다. 이러한 문제점을 해결하기 위한 방법으로 그래프 컷(graph cut), 동적 프로그래밍(dynamic programming)과 같은 정제(refinement) 방법들이 존재하나, 성능 면에서 다소 떨어진다는 문제점이 있다. 깊이값 정제부(50)에서는 세그멘트 단위의 신뢰확산(Belief Propagation) 방법을 이용하여 초기 깊이맵의 오차(특히, 배경에서의 오차)를 줄이게 된다.

도 4a는 화소 단위의 신뢰확산 방법을 도시한 개념도이다. 도 4a의 화소 단위 신뢰확산 방법은 최근 다른 정제 방법에 비해 우수한 성능을 가진 것으로 평가받고 있으며, 상하좌우의 인접 화소들에게 메시지를 보내어 주변 화소들의 깊이값을 고려하도록 한다(P. F. Felzenszwalb, D. P. Huttenlocher, "Efficient Belief Propagation for Early Vision"). 즉, 현재 화소에서 주변 화소로 메시지를 보낼 때(굵은 화살표), 주변 화소에서 현재 화소로의 메시지(점선 화살표)들을 이용한다. 화소 단위의 신뢰확산 방법은 특정 화소에 라벨(label)을 할당하는 비용인 데이터 비용(data cost)과, 두 이웃한 화소에 라벨을 할당하는 비용인 불연속 비용(discontinuity cost)이 고려된 에너지 함수를 도입하고, 격자 그래프(Grid Graph)를 이용하여 메시지의 갱신을 반복한다.

도 4b는 세그멘트 단위의 신뢰확산 방법을 도시한 개념도이다.

깊이값 정제부(50)에서 수행하는 세그멘트 단위의 신뢰확산 방법은 상기에서 언급한 화소 단위의 신뢰확산 방법을 기반으로 하되, 메시지를 보내는 단위가 화소 대신 세그멘트라는 차이가 있다. 깊이값 정제부(50)는 현재 세그멘트에서 주변 세그멘트로 메시지를 보낼 때(굵은 화살표), 주변 세그멘트에서 현재 세그멘트로의 메시지(점선 화살표)들을 이용한다. 즉, 초기 깊이값 탐색부(40)를 통하여 세그멘트 단위로 초기 깊이값을 추정하였으므로, 이러한 초기 깊이값을 정제하기 위해 세그멘트 단위의 신뢰확산 방법을 사용한다. 깊이값 정제부(50)는 세그멘트 단위의 신뢰확산 방법을 적용하여 초기 깊이값을 정제함으로써 오차를 줄이게 된다.

도 5a에 초기 깊이맵의 일례를, 도 5b에 최종 깊이맵의 일례를 도시하였다. 도 5a와 도 5b를 참조하면 둘 다 종래의 깊이맵 추정 기법으로 획득한 깊이맵에 비해 객체의 경계가 비교적 명확함을 알 수 있으며, 초기 깊이맵에 비해 최종 깊이맵은 정제 과정을 통해서 오차(특히, 배경부분)가 상당 부분 줄어든 것을 알 수 있다.

다음으로, 본 발명의 바람직한 실시예에 따른 중간 영상 생성 방법에 대해 설명한다.

본 발명의 바람직한 실시예에 따른 중간 영상 생성 방법은 깊이 영상 기반 렌더링(Depth Image-Based Rendering : DIBR) 기법에 의해 중간 시점의 영상을 생성한다. DIBR 기법은 텍스쳐(texture) 영상과 텍스쳐 영상의 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상을 사용하여 임의의 시점에서의 영상을 렌더링하는 기법이다. 직교 좌표계를 이용하여 색상 및 깊이 영상을 3차원 메쉬(mesh)로 장면 모델링한 후에, 가상 카메라를 이용하여 임의의 시점에서의 영상을 렌더링한다. 이때, 사용되는 깊이 영상은 깊이 카메라를 이용하여 직접적으로 획득할 수도 있으나, 상술한 방법으로 생성된 깊이 영상을 이용하는 것이 바람직하다. 여기서, 중간 영상 생성 방법을 특별히 한정하는 것은 아니며, 다시점 비디오 카메라로부터 획득한 다시점 영상과 상기 방법에 의해 획득한 깊이맵을 통해 일반적인 DIBR 기법을 이용하여 중간 영상을 생성함으로써 보다 향상된 화질의 중간 영상을 얻을 수 있다.

또한, 깊이 영상과 텍스쳐 영상으로부터 다시점 영상을 생성하기 위해 여러 가지 전처리 방법이 제안된 바 있다. 일례로, Zhang은 비대칭 가우시안 필터를 깊이 영상 전체에 적용한 다음, 3차원 워핑과 홀 채움(hole-filling)을 차례로 적용하여 비폐색 영역을 제거함으로써 비폐색 영역과 대칭 가우시안 필터에 의해 발생하는 기하학적 접음을 줄이고 중간 영상의 화질을 향상시켰다.

또한, DIBR 기법과 더불어 3차원 메쉬 구조를 이용하는 계층적 자연 텍스쳐 메쉬 스트림(Hierarchical Natural-textured Mesh Stream : HNTMS)이 제안된 바 있으며, 이에 의하면 깊이 영상과 텍스쳐 영상을 입력으로 사용하여 3차원 실사 동영상을 순차적으로 렌더링한다. 본 발명의 바람직한 실시예에 따른 중간 영상 생성 방법에서 이러한 기법들을 선택적으로 적용할 수 있다.

다음으로, 본 발명의 바람직한 실시예에 따른 인코딩 방법에 대해 설명한다.

도 7은 본 발명의 바람직한 실시예에 따른 인코딩 방법의 흐름도이다.

본 발명의 바람직한 실시예에 따른 인코딩 방법은, 도 6을 참조하면, 대상 영상 입력 단계(S100), 중간 영상을 참조 영상 리스트에 추가하는 단계(S200), 움직임 벡터를 산출하는 단계(S300), 참조 영상에 대한 대상 영상의 차분을 계산하는 단계(S400), DCT 처리 단계(S500), 양자화 단계(S600), 및 엔트로피 부호화 단계(S700)를 포함하여 이루어진다.

100 단계는 다시점 비디오의 부호화할 대상 영상을 입력받는 단계이다. 복수의 비디오 카메라로부터 전송선을 통해 전달받은 비디오 피드는 캡쳐 버퍼(capture buffer)가 이를 캡쳐한 후 일시적으로 저장한다.

200 단계는 중간 영상을 생성하고, 이를 참조 영상 리스트에 추가하는 단계이다. 이때, 중간 영상의 생성은 상술한 본 발명의 바람직한 실시예에 따른 중간 영상 합성 방법에 의해 이루어지는 것이 바람직하다. 다시점 비디오의 부호화 효율은 부호화하고자 하는 대상 영상과 유사한 참조 영상이 존재할 경우, 그리고 보다 향상된 화질의 참조 영상이 존재할 경우에 보다 우수해지기 때문이다.

다시점 비디오의 부호화에 중간 영상을 이용하는 이유는 다음과 같다. 예를 들어, B화면을 부호화할 때 좌우 시점의 화면이 이미 부호화 되었다면 이들 영상을 참조하여 중간 시점의 영상을 생성할 수 있다. 이렇게 생성된 중간 영상은 부호화할 대상 영상과 시점이 동일하므로 매우 상관도가 높은 영상이다. 따라서, 중간 영상을 부호화 과정의 참조 영상으로 이용한다면 대상 영상과의 높은 상관도로 인해 부호화 효율을 향상시킬 수 있다.

300 단계는 참조 영상 리스트의 참조 영상을 바탕으로 대상 영상의 움직임 벡터를 산출하는 단계이다. 이때, 대상 영상은 100 단계에서 입력된 영상이고, 참조 영상은 깊이맵으로부터 생성된 중간 영상을 포함하여 참조 영상 리스트에 저장되어 있는 영상이다. 이와 같은 참조 영상을 이용하여 대상 영상의 움직임을 예상하고, 대상 영상의 해당 블록에 대한 움직임 벡터를 산출한다.

400 단계는 300 단계를 통해 산출된 움직임 벡터만큼 움직임 보상된 상기 참조 영상에 대한 상기 대상 영상의 차이값을 구하는 단계이다. 400 단계에서는 움직임 벡터를 이용하여 참조 영상에 대하여 움직임 보상을 수행함으로써 예측 영상을 구성하고, 대상 영상과 예측 영상의 차이값 행렬을 산출한다.

500 단계는 차이값 행렬을 이산 코사인 변환하여 DCT(Discrete Cosine Transformation) 계수를 얻는 단계이다.

600 단계는 500 단계를 통해 얻은 DCT 계수를 양자화한다.

700 단계는 600 단계를 통해 양자화된 DCT 계수를 CAVLC(Context Adaptive Variable Length Codes) 또는 CABAC(Context Adaptive Binary Arithmetic Coding) 등의 방법으로 엔트로피 코딩을 수행하는 단계이다. 엔트로피 코딩된 피드는 버퍼 등을 통해 외부의 네트워크로 전송된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상 을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 세그멘트 단위로 초기 깊이값을 산출하고, 신뢰확산 방법을 적용하여 이를 세그멘트 단위로 정제하여 최종 깊이맵을 산출하며 이를 이용하여 향상된 화질의 중간 영상을 얻음으로써 입체 TV, 자유 시점 TV, 감시 카메라 영상 등에 널리 이용될 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 깊이맵 추정 장치의 블록도,

도 2는 도 1 중 세그멘트 설정부를 통해 영역 분할된 일례를 도시한 도면,

도 3은 3차원 워핑을 이용하여 워핑된 대상 영상을 획득하는 것을 설명하는도면,

도 4a는 종래의 화소 단위 신뢰확산 방법의 개념도,

도 4b는 도 1 중 깊이값 정제부에서 수행되는 세그멘트 단위의 신뢰확산 방법의 개념도,

도 5a 및 도 5b는 각각 초기 깊이맵과 최종 깊이맵의 일례를 도시한 도면,

도 6은 본 발명의 바람직한 실시예에 따른 깊이맵 추정 방법의 흐름도,

<도면의 주요 부분에 대한 부호의 설명>

10 - 다시점 영상 저장부 20 - 세그멘트 설정부

30 - 3차원 워핑부 40 - 초기 깊이값 탐색부

50 - 깊이값 정제부

Claims

다시점 영상을 이용하여 깊이맵을 추정하는 장치에 있어서,

다시점 비디오 카메라를 통해 입력된 상기 다시점 영상을 저장하는 다시점 영상 저장부;

상기 다시점 영상 저장부에 저장된 다시점 영상 중 상기 깊이맵을 추정하고자 하는 대상 영상에서 인접 화소들끼리의 인텐시티 차이가 임계값 이하인 화소들끼리 세그멘트(segment)를 설정하는 세그멘트 설정부;

상기 세그멘트 설정부를 통해 설정된 각 세그멘트에 대하여 상기 대상 영상 근처의 참조 영상의 시점으로 3차원 워핑(warping)을 수행하여, 워핑된 대상 영상을 얻는 3차원 워핑부; 및

상기 참조 영상을 기준으로 상기 워핑된 대상 영상의 깊이값을 추정하되, 상기 세그멘트의 각 화소의 인텐시티 차이에 따른 함수와 상기 세그멘트의 각 화소에 대한 경사도 값에 따른 함수를 고려한 자체 적응 함수에 의해 상기 세그멘트 별 깊이값을 추정하는 초기 깊이값 탐색부;

를 포함하는 것을 특징으로 하는 깊이맵 추정 장치.
삭제
제1항에 있어서,

상기 자체 적응 함수는 수학식
에 의해 결정되고, 상기 C_MGRAD는 하기 수학식에 의해 +x방향, +y방향, -x방향, -y방향의 경사도 맵을 모두 고려하는 것을 특징으로 하는 깊이맵 추정 장치.

(단, 위의 수학식에서 ω는 0보다 크고 1보다 작은 가중치, x, y는 상기 대상 영상의 세그먼트 내 화소의 위치, d는 변위, C_MAD는 각 측정 변위에 따른 세그먼트의 루미넌스 차이값의 평균(Mean Absolute Difference), C_MGRAD는 각 측정 변위에 따른 세그먼트의 그레디언트 차이값의 평균, M은 세그먼트 내의 화소의 개수, S_k는 해당 세그먼트, I₁(x, y)는 상기 대상 영상에서 (x, y)위치에 존재하는 화소의 루미넌스값, I₂(x', y')는 상기 참조 영상에서 (x', y')위치에 존재하는 화소의 루미넌스값, ∇_x, ∇_y, ∇_-x, ∇_-y는 각각 +x방향, +y방향, -x방향, -y방향의 경사도 맵을 나타냄.)
제1항에 있어서,

상기 초기 깊이값 탐색부를 통해 산출된 깊이값을 정제하되, 상기 세그먼트 설정부를 통해 설정된 세그먼트 단위의 신뢰확산(Belief Propagation)방법을 이용하는 깊이값 정제부를 더 포함하는 것을 특징으로 하는 깊이맵 추정 장치.
다시점 영상을 이용하여 깊이맵을 추정하는 방법에 있어서,

(a) 다시점 비디오 카메라를 통해 입력된 상기 다시점 영상을 저장하는 단계;

(b) 상기 (a)단계를 통해 저장된 상기 다시점 영상 중 상기 깊이맵을 추정하고자 하는 대상 영상에서 인접 화소들끼리의 인텐시티 차이가 임계값 이하인 화소들끼리 세그멘트(segment)를 설정하는 단계;

(c) 상기 (b)단계를 통해 설정된 각 세그멘트에 대하여 상기 대상 영상에 인접한 참조 영상의 시점으로 3차원 워핑(warping)을 수행하여, 워핑된 대상 영상을 얻는 단계; 및

(d) 상기 참조 영상을 기준으로 상기 워핑된 대상 영상의 깊이값을 추정하되, 상기 세그멘트의 각 화소의 인텐시티 차이에 따른 함수와 상기 세그멘트의 각 화소에 대한 경사도 값에 따른 함수를 고려한 자체 적응 함수에 의해 상기 세그멘트별 깊이값을 추정하는 단계

를 포함하는 것을 특징으로 하는 깊이맵 추정 방법.
삭제
제5항에 있어서,

상기 자체 적응 함수는 수학식
에 의해 결정되고, 상기 C_MGRAD는 하기 수학식에 의해 +x방향, +y방향, -x방향, -y방향의 경사도 맵을 모두 고려하는 것을 특징으로 하는 깊이맵 추정 방법.

(단, 위의 수학식에서 ω는 0보다 크고 1보다 작은 가중치, x, y는 상기 대상 영상의 세그먼트 내 화소의 위치, d는 변위, C_MAD는 각 측정 변위에 따른 세그먼트의 루미넌스 차이값의 평균(Mean Absolute Difference), C_MGRAD는 각 측정 변위에 따른 세그먼트의 그레디언트 차이값의 평균, M은 세그먼트 내의 화소의 개수, S_k는 해당 세그먼트, I₁(x, y)는 상기 대상 영상에서 (x, y)위치에 존재하는 화소의 루미넌스값, I₂(x', y')는 상기 참조 영상에서 (x', y')위치에 존재하는 화소의 루미넌스값, ∇_x, ∇_y, ∇_-x, ∇_-y는 각각 +x방향, +y방향, -x방향, -y방향의 경사도 맵)
제5항에 있어서,

상기 (d)단계를 통해 산출된 깊이값을 정제하되, 상기 (b)단계를 통해 설정된 세그먼트를 단위로 하는 신뢰확산(Belief Propagation)방법을 이용하는 단계를 더 포함하는 것을 특징으로 하는 깊이맵 추정 방법.
중간 영상 생성 방법에 있어서,

제5항, 제7항 또는 제8항 중 어느 한 항에 따라 깊이맵을 추정한 후,

상기 깊이맵과 상기 깊이맵을 사용하여 임의의 시점에서의 영상을 렌더링하는 깊이 영상 기반 렌더링(Depth Image-Based Rendering : DIBR) 기법 또는 3차원 메쉬 구조를 이용하는 계층적 자연 텍스쳐 메쉬 스트림(Hierarchical Natural-textured Mesh Stream : HNTMS) 기법을 이용하여 중간 시점의 영상(intermediate view)을 생성하는 것을 특징으로 하는 중간 영상 생성 방법.
다시점 비디오에서 중간 시점의 영상을 이용하여 상이한 시점의 영상들을 인코딩하는 방법에 있어서,

(A) 다시점 비디오의 부호화할 대상 영상을 입력받는 단계;

(B) 제9항에 따라 생성된 중간 영상을 참조 영상 리스트에 추가하는 단계;

(C) 상기 참조 영상 리스트의 참조 영상을 바탕으로 상기 대상 영상의 움직 임 벡터를 산출하는 단계; 및

(D) 상기 (C)단계를 통해 산출된 움직임 벡터만큼 움직임 보상된 상기 참조 영상에 대한 상기 대상 영상의 차이값을 구하는 단계

를 포함하는 것을 특징으로 하는 인코딩 방법.