KR20140047772A

KR20140047772A - 깊이 영상 부호화를 위한 깊이 영상 모델링 방법

Info

Publication number: KR20140047772A
Application number: KR1020120113738A
Authority: KR
Inventors: 호요성; 송윤석
Original assignee: 광주과학기술원
Priority date: 2012-10-12
Filing date: 2012-10-12
Publication date: 2014-04-23

Abstract

본 발명은 깊이 영상의 웨지렛(wedgelet) 예측 과정의 복잡성을 단순화하여 효율적인 깊이 영상의 부호화를 가능하게 하는 깊이 영상 부호화를 위한 깊이영상 모델링 방법에 대한 것이다.
본 발명은 (a) 필터 적용부는 블록의 각 사이드에 대해 1차원 차이 필터를 적용하는 단계; (b) 상기 필터 적용부가 웨지렛 후보 지점을 선정하는 단계; 및 (c) 상기 웨지렛 후보 지점을 연결하여 웨지렛 후보를 선정하는 단계를 포함하는 깊이 영상 부호화를 위한 깊이 영상 모델링 방법을 제공한다.

Description

깊이 영상 부호화를 위한 깊이 영상 모델링 방법 {Depth Image Modeling Method for Depth Image Encoding}

본 발명은 깊이 영상 부호화를 위한 깊이 영상 모델링 방법에 대한 것이다. 더욱 상세하게는, 본 발명은 깊이 영상의 웨지렛(wedgelet) 예측 과정의 복잡성을 단순화하여 효율적인 깊이 영상의 부호화를 가능하게 하는 깊이 영상 부호화를 위한 깊이영상 모델링 방법에 대한 것이다.

3차원 비디오 시스템은 양안식 혹은 다시점 카메라 시스템을 이용하여 여러 개의 시점에 대한 색상영상과 깊이영상을 바탕으로 임의의 시점 영상을 만들어 3차원 입체 영상을 제공하는 시스템이다. 3차원 비디오 시스템은 3차원 영상 콘텐츠의 증가에 따라 점차 보급화 되고 있다. 영화, 스포츠 중계, 다큐멘터리 등의 3차원 제작이 늘고 있고 이에 따라 3차원 TV도 대중화되고 있다. 또한 최근 TV 뿐만 아니라 휴대폰, 노트북 등의 다른 기기도 3차원 영상을 재현 가능하게 기술이 개발되어 소비자들이 3차원 영상을 접할 수 있는 기회는 계속 늘어날 것이다. 3차원 영상은 2차원 영상에 비해 기본 색상영상의 수가 더 많고 깊이영상과 그 관련기술도 처리하기 때문에 처리해야 할 데이터양이 많기 때문에 효과적인 부호화 기술이 필수적이다.

국제 표준화 그룹인 MPEG(Moving Picture Experts Group)은 ITU-T VCEG(Video Coding Experts Group)과 함께 JCT-3V(Joint Collaborative Team on 3D Video Coding Extension Development)를 설립해 HEVC 표준을 기반으로 3차원 비디오 부호화 테스트 모델인 3DV-HTM을 만들고, 이를 이용해 3차원 비디오 압축 표준을 개발을 진행하고 있다.

3DV-HTM에서 깊이영상 부호화에 사용되는 기술인 깊이 모델링 모드(DMM: Depth Modeling Modes)는 깊이영상의 객체 경계 정보를 정확하게 부호화하기 위해 사용된다. 분할-기반의 웨지렛(wedgelet)과 컨투어(contour)를 이용한 모델링이 이루어진다. 여기서 웨지렛은 직선이라고 볼 수 있고 컨투어는 임의의 어떤 객체를 포괄하는 모양이라고 할 수 있다.

도 1은 깊이 영상 모델링에서의 웨지렛과 컨투어의 일례를 도시한다.

분할된 영역은 상수 분할값(CPV: Constant Partition Value)를 갖게 된다. HEVC에서 깊이영상을 부호화할 때 객체 경계의 모델링이 진행되는데 한 블록 안에 기존에 다양한 깊이값이 존재했지만 영역을 분할하고 상수 분할값을 이용하면 배경 깊이값과 전경 깊이값으로 나뉘게 된다.

깊이 모델링 모드에는 총 4개가 있으며 이 중 3개는 웨지렛 모드, 1개는 컨투어 모드이다. 모드 1은 웨지렛을 예측 없이 찾으며 모드 2는 인접블록을 이용해 인트라 예측을 통해 예측하게 한다. 모드 3은 색상정보의 동일 블록(colocated block) 정보를 임시 버퍼에 복사해서 이를 기반으로 예측한다. 모드 4는 컨투어를 예측하는데 모드 3과 비슷하게 색상정보를 기반으로 하여 컨투어를 예측한다.

모드 3에서 블록 내에서 모든 화소들에 대해 시작점과 끝점을 지정해 어떤 웨지렛이 임시 버퍼에 있는 색상정보에 대조했을 때 가장 비슷한가를 찾는다. 대조에는 SAD(Sum of Absolute Differences)가 사용된다. 각 블록에서 모든 시작점과 끝점에 대해 탐색을 해야 하기 때문에 이는 복잡도를 높이는 요인이 된다.

상기한 문제점을 해결하기 위하여 본 발명은 깊이 영상의 웨지렛 예측 과정의 복잡성을 단순화하여 효율적인 깊이영상 모델링 방법을 제공하는 것을 그 목적으로 한다.

본 발명은 (a) 필터 적용부는 블록의 각 사이드에 대해 1차원 차이 필터를 적용하는 단계; (b) 상기 필터 적용부가 웨지렛 후보 지점을 선정하는 단계; 및 (c) 상기 웨지렛 후보 지점을 연결하여 웨지렛 후보를 선정하는 단계를 포함하는 깊이 영상 부호화를 위한 깊이 영상 모델링 방법을 제공한다.

본 발명에 따르면, 깊이 영상의 웨지렛 예측 과정에 있어서 웨지렛 후보군을 감소시킬 수 있어 예측 과정을 단순화하고 보다 빠른 깊이 영상의 부호화를 가능하게 한다.

도 1은 깊이 영상 모델링에서의 웨지렛과 컨투어의 일례를 도시한다.
도 2는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화를 위한 깊이 영상 모델링 방법에 있어서 웨지렛의 시작점과 끝점을 탐색하는 일례를 도시한 도면이다.
도 3은 본 발명의 바람직한 실시예에 다른 깊이 영상 부호화를 위한 깊이 영상 모델링 장치의 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화를 위한 깊이 영상 모델링 방법의 순서도이다.
도 5는 본 발명의 바람직한 실시예에 따른 깊이 영상의 부호화를 위한 깊이 영상 모델링 방법의 일레를 도시한 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 깊이 영상의 부호화를 위한 깊이 영상 모델링 방법의 다른 예를 도시한 도면이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 2는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화를 위한 깊이 영상 모델링 방법에 있어서 웨지렛의 시작점과 끝점을 탐색하는 일례를 도시한 도면이다.

본 발명에 따른 깊이 영상 부호화를 위한 깊이 영상 모델링 방법은 선정되는 웨지렛의 정확도는 유지하면서 웨지렛 예측 과정에서의 복잡도를 감소시키는 것을 특징으로 한다. 기존 방법에 있어서는 CU 블록에 대해 전체 탐색을 하여 웨지렛을 예측하였다. 그러나, 도 2를 참조하면, 본 발명은 CU 블록(10)의 시작점과 끝점에 대한 제 1 지점(12)과 제 2 지점(14)을 먼저 찾아 탐색하여야 하는 화소수를 감소시킨다.

도 3은 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화를 위한 깊이 영상 모델링 장치의 블록도이고, 도 4는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화를 위한 깊이 영상 모델링 방법의 순서도이다. 또한, 도 5는 본 발명의 바람직한 실시예에 따른 깊이 영상의 부호화를 위한 깊이 영상 모델링 방법의 일례를 도시한 도면이고, 도 6은 본 발명의 바람직한 실시예에 따른 깊이 영상의 부호화를 위한 깊이 영상 모델링 방법의 다른 예를 도시한 도면이다.

도 3을 참조하면, 깊이 영상 부호화를 위한 깊이 영상 모델링 장치는 필터 적용부(20), 웨지렛 후보 결정부(22), 및 웨지렛 선정부(24)를 포함할 수 있다.

필터 적용부(20)는 CU 블록(10)의 4면 사이드(테두리) 각각에 대하여 1차원 3-탭 필터(3-tap filter)를 순차적으로 적용하여 중앙의 픽셀을 기준으로 중앙 픽셀 양측 또는 전후에 있는 픽셀의 인텐시티 차이가 큰 픽셀을 찾아 웨지렛 후보 지점을 선정하는 기능을 수행한다.

웨지렛 후보 결정부(22)는 상기 필터 적용부(20)에서 찾아진 웨지렛 후보 지점 2개를 상호 연결하여 웨지렛 후보를 결정하는 기능을 수행한다.

웨지렛 선정부(24)는 상기 웨지렛 후보 결정부(22)에서 결정된 웨지렛 후보를 평가하여 가장 적절한 웨지릿을 선정하는 기능을 수행한다.

도 4를 참조하여, 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화를 위한 깊이 영상 모델링 방법을 설명하면 다음과 같다.

먼저, 필터 적용부(20)는 CU 블록(10)의 각 사이드에 1차원 차이 필터(즉, 1차원 3-탭 필터)를 적용한다(S100).

필터 적용부(20)는 웨지렛 후보 지점을 선정한다(S110).

웨지렛 후보 결정부(22)는 웨지렛 후보 지점을 연결하여 웨지렛 후보를 선정한다(S120).

다음으로, 웨지렛 선정부(24)는 웨지렛 후보 중 적절한 웨지렛을 선정한다(S130).

이상의 설명에 따른 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화를 위한 깊이 영상 모델링 방법을 도 5 및 도 6을 참조하여 설명하면 다음과 같다.

도 5를 참조하면, CU 블록(10)의 전후, 좌우 사이드 각각을 따라 1차원 3-탭 필터를 적용하여 중앙의 픽셀을 중심으로 양측 또는 상하의 픽셀의 인텐시티 차이값을 비교한다. CU 블록(10)의 좌측 상부 지점을 (0, 0)으로 하고 X축 방향으로 3개의 픽셀을 순차적으로 선정하고 중앙의 픽셀을 중심으로 양측 픽셀의 인텐시티 차이값이 가장 큰 픽셀을 찾는다. 도 5에 있어서, CU 블록(10)의 상측 사이드의 경우에는, (Xe, 0)의 픽셀의 좌측 픽셀(Xe-1, 0)과 우측 픽셀(Xe+1, 0)의 인텐시티 차이값이 가장 크게 나타날 것이므로 (Xe, 0) 픽셀이 웨지렛 후보 지점이 된다. 또한, CU 블록(10)의 좌측 사이드의 경우에는, (0, Ys)의 픽셀의 상측 픽셀(0, Ys-1)과 g하측 픽셀(0, Ys+1)의 인텐시티 차이값이 가장 크게 나타날 것이므로 (0, Ys)의 픽셀이 웨지렛 후보 지점이 된다. 한편, CU 블록(10)의 우측 사이드와 하부 사이드의 경우에는 인텐시티 차이가 크게 나타나지 않아 웨지렛 후보 지점이 선정되지 않는다. 물론, 우측 사이드와 하부 사이드의 경우에도 그 중에서는 인텐시티 차이가 가장 큰 경우가 선정될 수 있을 것이나, 차이값에 대한 Threshold를 정한다면 제외시키는 것이 가능할 수 있다.

도 5에 있어서, (Xe, 0)과 (0, Ys)를 연결하면 웨지렛으로 선정될 수 있다. 다만, 발생될 수 있는 오차를 줄이기 위해, X축 방향에서는 (Xe-1, 0), (Xe, 0), (Xe+1, 0)의 3 픽셀을 웨지렛 후보 지점으로 선정하고, Y축 방향에서는 (0, Ys-1), (0, Ys), (0, Ys+1)의 3픽셀을 웨지렛 후보 지점으로 선정할 수 있다. 이 경우 X축 방향의 3 픽셀에 따른 웨지렛 후보 지점과 Y축 방향의 3 픽셀에 따른 웨지렛 후보 지점을 상호 연결하면 총 9개의 웨지렛 후보(즉, (Xe-1, 0)픽셀과 (0, Ys-1)를 연결한 선, (Xe-1, 0)픽셀과 (0, Ys)를 연결한 선, …, (Xe+1, 0)픽셀과 (0, Ys+1)를 연결한 선)가 선정된다. 웨지렛 선정부(24)는 이러한 웨지렛 후보 중 적절한 웨지렛을 선정한다.

도 6을 참조하면, 도 5와 동일한 방식으로 웨지렛 후보 지점을 선정하되, CU 블록(10)의 전후, 좌우 모든 사이드에서 웨지렛 후보 지점을 선정한다. 이에 따라 4개의 웨지렛 후보 지점(12a, 12b, 14a, 14b)가 선정되었다. 도 6에 있어서는 양측 또는 상하 픽셀의 인텐시티 차이값이 가장 큰 경우의 중앙 픽셀 하나만은 웨지렛 후보 지점으로 선정하였다.

이후, 4개의 웨지렛 후보 지점(12a, 12b, 14a, 14b)에서 2개를 추출하여 연결하면 6개의 웨지렛 후보가 선정된다(즉, 12a-12b, 12a-14a, 12a-14b, 12b-14a, 12b-14b, 14a-14b). 웨지렛 선정부(24)는 이러한 웨지렛 후보 중 적절한 웨지렛을 선정한다.

CU 블록(10)의 크기가 32×32라 할 때, 기존의 방법에 따른다면 웨지렛 선정부(24)는 1503개의 조합에 대해 적절한 웨지렛인지를 판단하여야 한다. 그러나, 본 발명에 따른다면, 웨지렛 선정부(24)는 도 5의 경우에는 9개, 도 6의 경우에는 6개의 웨지렛 후보에 대하여 적절한 웨지렛인지를 판단하면 되므로 연산량이 감소한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

(a) 필터 적용부는 블록의 각 사이드에 대해 1차원 차이 필터를 적용하는 단계;
(b) 상기 필터 적용부가 웨지렛 후보 지점을 선정하는 단계; 및
(c) 상기 웨지렛 후보 지점을 연결하여 웨지렛 후보를 선정하는 단계
를 포함하는 깊이 영상 부호화를 위한 깊이 영상 모델링 방법.