KR20160065456A

KR20160065456A - 3차원 깊이 영상의 화면내 예측 방법

Info

Publication number: KR20160065456A
Application number: KR1020140169430A
Authority: KR
Inventors: 이충구; 이용재; 김휘
Original assignee: (주)휴맥스
Priority date: 2014-12-01
Filing date: 2014-12-01
Publication date: 2016-06-09

Abstract

3차원 깊이 영상의 DC 모드에서의 화면내 예측 방법은, 3차원 영상의 깊이 부호화시, 깊이 픽춰의 예측 유닛 내의 각각의 파티션(partition)에 대하여 한 개의 DC 잔여값을 사용하여 부호화한다. 따라서, 깊이 잔여값(depth residual)의 비트율을 효과적으로 줄일 수 있다. 또한, 64 X 64 크기의 블록을 4개의 32 X 32 크기의 블록으로 분할(split)하여 HEVC 표준의 32 X 32 화면내 예측과 호환이 되도록 할 수 있다.

Description

3차원 깊이 영상의 화면내 예측 방법{METHOD FOR INTRA PREDITION OF THREE DIMENSIONAL DEPTH IMAGE}

본 발명은 3차원 영상의 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 3차원 깊이 영상의 화면내 예측 부호화 방법에 관한 것이다.

일반적으로 영상 압축 방법에서는 압축 효율을 높이기 위해 픽쳐들의 중복도를 제거하는 화면간 예측(inter prediction) 및 화면내 예측(intra prediction) 기술을 이용한다.

기존의 H.264/AVC 표준에서는, 4화소 단위의 블록에 대해 화면내 예측 부호화를 적용할 경우, 9가지의 예측 모드(즉, 예측 모드 0 내지 8) 중 가장 적절한 예측 모드를 4화소 블록마다 1개씩 선택하고, 선택된 예측 모드를 4화소 블록 단위로 부호화한다.

한편, 기존의 HEVC 비디오 표준에서는, 화면내 예측 부호화를 적용할 경우, 화면내 예측 블록의 최대 크기가 32 X 32 이다.

3차원 깊이 영상의 부호화시 사용되는 예측 블록(prediction block) 크기가 8 X 8 내지 64 X 64 사이의 가변적인 크기를 가질 경우, 특히 3차원 깊이 영상의 부호화시 64 X 64 크기의 예측 블록을 사용할 경우, 기존의 HEVC 비디오 표준에서는 화면내 예측 블록 최대 크기인 32 X 32 이므로, 3차원 깊이 영상의 화면내 예측 부호화시 HEVC 표준의 화면내 예측과 호환이 되지 않는 문제점이 발생할 수 있다.

또한, 3차원 영상의 경우, 영상의 특성상 각 픽셀이 화소 정보뿐만 아니라 깊이(depth) 정보를 포함하고 있으며, 인코더에서 깊이 정보를 구해 디코더로 다시점 비디오 영상 정보 및 깊이 정보를 전송한다. 깊이 정보를 갖는 3차원 영상의 경우 부호화 장치에서 효율적으로 깊이 정보를 부호화하기 위한 방법 및 복호화 장치에서 깊이 정보를 효율적으로 복원하기 위한 방법이 필요하다.

본 발명의 목적은 깊이 잔여값(depth residual)의 비트율을 효과적으로 줄일 수 있는 3차원 깊이 영상의 DC 모드 화면내 예측(Intra prediction) 방법을 제공하는 것이다.

또한, 본 발명의 목적은 HEVC 표준의 32 X 32 화면내 예측과 호환이 가능한 3차원 깊이 영상의 화면내 예측(Intra prediction) 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 일 측면에 따르면, 3차원 깊이 영상의 DC 모드에서의 화면내 예측 방법은, 3차원 영상의 깊이 부호화시, 깊이 픽춰의 예측 유닛 내의 각각의 파티션(partition)에 대하여 한 개의 DC 잔여값을 사용하여 부호화하는 단계를 포함한다. 상기 DC 잔여값은 예측 DC 신호와 원래 DC 신호간의 차이로 구해질 수 있다. 상기 DC 잔여값은 예측 DC 신호의 인덱스와 원래 DC 신호의 인덱스간의 차이로 구해질 수 있다.

상기한 목적을 달성하기 위한 다른 측면에 따르면, 3차원 깊이 영상의 화면내 예측 방법은, 64 X 64 크기의 코딩 유닛을 4개의 32 X 32 크기의 제1 블록, 제2 블록, 제3 블록 및 제4 블록으로 분할(split)하는 단계와, 상기 분할된 제1 블록, 제2 블록, 제3 블록 및 제4 블록을 소정의 순서대로 부호화하는 단계를 포함한다. 상기 소정의 순서는 Z 스캔 순서가 될 수 있다.

본 발명의 일실시예에 따른 3차원 깊이 영상의 DC 모드 화면내 예측(Intra prediction) 방법에 따르면, 3차원 영상의 깊이 부호화시, 깊이 픽춰의 하나의 예측 유닛(Prediction Unit; PU) 내의 각각의 파티션(partition)에 대하여 오직 한 개의 DC 잔여값(DC residual)을 사용하여 부호화함으로써 깊이 잔여값(depth residual)의 비트율을 효과적으로 줄일 수 있다.

특히, 본 발명의 일실시예에 따른 3차원 깊이 영상의 화면내 예측 방법을 깊이 영상에 대한 모든 화면내 예측 모드들에 확장 적용할 경우, 깊이 잔여값(depth residual)의 비트율을 더욱 효과적으로 줄일 수 있다.

또한, 본 발명의 일실시예에 따른 3차원 깊이 영상의 화면내 예측(Intra prediction) 방법에 따르면, 64 X 64 크기의 블록을 4개의 32 X 32 크기의 블록으로 분할(split)하여 HEVC 표준의 32 X 32 화면내 예측과 호환이 되도록 할 수 있다.

도 1 내지 도 5는 본 발명의 일실시예에 따른 3차원 깊이 영상의 화면내 예측(Intra prediction) 방법을 설명하기 위한 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명의 일실시예에 따른 3차원 깊이 영상의 DC 모드에서의 화면내 예측(Intra prediction) 방법에 따르면, 3차원 영상의 깊이 부호화시, 깊이 픽춰의 하나의 예측 유닛(Prediction Unit; PU) 내의 각각의 파티션(partition)에 대하여 오직 한 개의 DC 잔여값(DC residual)을 사용하여 부호화한다. 그 결과, 깊이 잔여값(depth residual)의 비트율을 효과적으로 줄일 수 있다. 여기서, 상기 DC 잔여값은 예측 DC 신호와 원래 DC 신호간의 차이로 구해질 수도 있고, 또는 예측 DC 신호의 인덱스와 원래 DC 신호의 인덱스간의 차이로 구해질 수도 있다.

특히, 본 발명의 일실시예에 따른 3차원 깊이 영상의 화면내 예측 방법을 깊이 영상에 대한 DC 모드를 포함한 모든 화면내 예측 모드들에 확장 적용할 경우, 깊이 잔여값(depth residual)의 비트율을 더욱 효과적으로 줄일 수 있다.

한편, 3차원 깊이 영상의 부호화시 사용되는 예측 블록(prediction block) 크기는 8 X 8 내지 64 X 64 사이의 가변적인 크기를 가질 수 있으나, 기존의 HEVC 비디오 표준에서는 최대 화면내 예측 블록 크기가 32 X 32 이므로, 3차원 깊이 영상의 부호화시 64 X 64 크기의 예측 블록을 사용할 경우, 3차원 깊이 영상의 화면내 예측 부호화시 HEVC 표준의 화면내 예측과 호환이 되지 않는 문제점이 발생할 수 있다.

따라서, 이 경우, 본 발명의 일실시예에 따른 3차원 깊이 영상의 화면내 예측(Intra prediction) 방법에 따르면, 64 X 64 크기의 블록(즉, 64 X 64 크기의 코딩 유닛)을 4개의 32 X 32 크기의 블록으로 분할(split)하여 HEVC 표준의 32 X 32 화면내 예측과 호환이 되도록 할 수 있다.

이하, 도 1 내지 도 5를 참조하여 본 발명의 일실시예에 따른 3차원 깊이 영상의 화면내 예측(Intra prediction) 방법을 자세히 설명한다.

도 1 내지 도 5는 깊이 영상에 대한 DC 모드 화면내 예측에 적용이 가능하며, DC 모드를 포함한 다른 모든 화면내 예측 모드들에도 확장 적용이 가능하다. 상기와 같이 확장 적용할 경우 전술한 바와 같이 깊이 잔여값(depth residual)의 비트율을 더욱 효과적으로 줄일 수 있다.

도 1을 참조하면, 64 X 64 크기의 현재 블록에 대한 화면내 예측시 이미 부호화된(또는 복원된) 주변 샘플들(112, 114, 116, 115)를 이용하여 64 X 64 크기의 현재 블록에 대한 예측 샘플을 구성할 수 있다.

도 2 내지 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 3차원 깊이 영상의 DC 모드에서의 화면내 예측(Intra prediction) 방법에 따르면, 64 X 64 크기의 블록(110)을 32 X 32 크기의 제1 블록(110a), 32 X 32 크기의 제2 블록(110b), 32 X 32 크기의 제3 블록(110c), 32 X 32 크기의 제4 블록(110d)으로 4개의 32 X 32 크기의 블록으로 분할(split)하고, 분할된 4개의 32 X 32 크기의 블록은 Z 스캔 순서대로 부호화된다.

도 2 내지 도 5에 도시된 바와 같이, 32 X 32 크기의 제1 블록(110a)을 제외하고 나머지 32 X 32 크기의 블록들(110b, 110c, 110d)는 동일한 64 X 64 크기의 현재 코딩 유닛(110)의 하나 이상의 32 X 32 크기의 블록의 예측된 주변 샘플들(302, 404, 502, 504, 505)의 값에 의존하게 된다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

3차원 깊이 영상의 DC 모드에서의 화면내 예측 방법에 있어서,
3차원 영상의 깊이 부호화시, 깊이 픽춰의 예측 유닛 내의 각각의 파티션(partition)에 대하여 한 개의 DC 잔여값을 사용하여 부호화하는 단계를 포함하는 것을 특징으로 하는 3차원 깊이 영상의 DC 모드에서의 화면내 예측 방법.
제1항에 있어서,
상기 DC 잔여값은 예측 DC 신호와 원래 DC 신호간의 차이로 구해지는 것을 특징으로 하는 3차원 깊이 영상의 DC 모드에서의 화면내 예측 방법.
제1항에 있어서,
상기 DC 잔여값은 예측 DC 신호의 인덱스와 원래 DC 신호의 인덱스간의 차이로 구해지는 것을 특징으로 하는 3차원 깊이 영상의 DC 모드에서의 화면내 예측 방법.
3차원 깊이 영상의 화면내 예측 방법에 있어서,
64 X 64 크기의 코딩 유닛을 4개의 32 X 32 크기의 제1 블록, 제2 블록, 제3 블록 및 제4 블록으로 분할(split)하는 단계; 및
상기 분할된 제1 블록, 제2 블록, 제3 블록 및 제4 블록을 소정의 순서대로 부호화하는 단계를 포함하는 3차원 깊이 영상의 화면내 예측 방법.
제4항에 있어서, 상기 소정의 순서는 Z 스캔 순서인 것을 특징으로 하는 3차원 깊이 영상의 화면내 예측 방법.