KR20140019221A - 인루프 필터링 방법 및 이를 이용하는 장치 - Google Patents

Abstract

본 발명의 일 실시예예 따른 깊이 정보에 대한 영상 복호화 방법은 상기 깊이 정보의 현재 블록에 대한 예측 블록을 생성하는 단계와, 상기 예측 블록에 기초하여 상기 현재 블록의 복원 블록을 생성하는 단계와, 상기 복원 블록에 필터링을 수행하는 단계를 포함하고, 상기 필터링 수행 여부는 상기 현재 블록의 블록 정보 및 상기 현재 블록의 부호화 정보에 따라 결정될 수 있다.

Description

인루프 필터링 방법 및 이를 이용하는 장치{IN-LOOP FILTERING METHOD AND APPARATUS USING THE SMAE}

본 발명은 영상의 부호화 및 복호화 처리에 관한 것으로서, 보다 상세하게는 영상의 인루프 필어링 방법 및 이를 이용하는 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.

영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 비디오 부호화/복호화 방법이 사용될 수 있다.

한편, 3차원 비디오는 3차원 입체 디스플레이 장치를 통해 사용자에게 실 세계에서 보고 느끼는 것과 같은 입체감을 생생하게 제공한다. 이와 관련된 연구로써 비디오 표준화 단체인 ISO/IEC의 MPEG에서는 3차원 비디오 표준이 진행 중이다. 3차원 비디오 표준은 실제 영상과 그것의 깊이 정보 맵을 이용하여 스테레오스코픽 영상뿐만 아니라 오토스테레오스코픽 영상의 재생 등을 지원할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.

도 1은 3차원 비디오 시스템의 기본 구조와 데이터 형식을 도시한 도면으로 현재 3차워 비디오 표준에서 고려하고 있는 시스템의 일 예를 나타내고 있다.

도시된 바와 같이, 컨텐츠를 생성하는 송신 측(3D Content Production)에서는 스테레오 카메라(stereo camera), 깊이 정보 카메라(depth camera), 다시점 카메라(mult-camera setup), 2차원 영상을 3차원 영상으로 변환(2D/3D conversion) 등을 이용하여 N(N≥2) 시점의 영상 콘텐츠를 획득한다.

획득된 영상 콘텐츠에는 N 시점의 비디오 정보(N x Video)와 그것의 깊이 정보 맵(Depth-map) 정보 그리고 카메라 관련 부가정보 등이 포함될 수 있다.

N 시점의 영상 콘텐츠는 다시점 비디오 부호화 방법(Multi-View)을 사용하여 압축되며, 압축된 비트스트림은 네트워크를 통해, 예를 들어, DVB(Digital Video Broadcasting) 등을 통해 단말로 전송된다.

수신 측에서는 전송 받은 비트스트림을 다시점 비디오 복호화 방법(Depth-Image ?Based Rendering)하여 복호화하여 N 시점의 영상을 복원한다.

복원된 N 시점의 영상은 깊이 정보 맵 기반 랜더링(DIBR; Depth-Image-Based Rendering) 과정에 의해 N 시점 이상의 가상 시점 영상들을 생성한다.

생성된 N 시점 이상의 가상시점 영상들은 다양한 입체 디스플레이 장치(예컨대, 2D Display, M-View 3D Display, Head-Tracked Stereo Display)에 맞게 재생되어 사용자에게 입체감이 있는 영상을 제공하게 된다.

가상시점 영상을 생성하는데 사용되는 깊이 정보 맵은 실세계에서 카메라와 실제 사물(object) 간의 거리(실사 영상과 동일한 해상도로 각 화소에 해당하는 깊이 정보)를 일정한 비트수로 표현한 것이다.

도 2는 국제 표준화 기구인 MPEG의 3차원 비디오 부호화 표준에서 사용 중인 “balloons” 영상에 대한 깊이 정보 맵을 도시한 도면이다.

도 2의 (a)는 “balloons” 영상에 대한 실제 영상이고, 도 2의 (b) balloons” 영상에 대한 깊이 정보 맵을 나타낸다. (b)는 깊이 정보를 화소당 8비트로 표현한 것이다.

도 3은 H.264의 부호화 구조도의 일 예를 도시한 도면이다. H.264의 부호화 구조는 깊이 정보 맵을 부호화하기 위해서는 일반적으로 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 것으로 알려져 있다.

도 3을 참조하면, H.264 부호화 구조도에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로 블록(Macroblock)이며, 영상을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 부호화를 수행하고 비트스트림을 출력한다.

인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 부호화 과정의 주요한 흐름은 먼저 입력된 블록 영상에 대한 예측 블록을 생성한 후, 입력된 블록과 예측 블록의 차분을 구해 그 차분을 부호화하는 것이다.

먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다.

먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측으로 예측 블록을 생성한다.

인터 모드일 경우에는 움직임 예측 과정에서 참조 영상 버퍼에 저장되어 있는 참조 영상에서 현재 입력된 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터(Motion Vector)를 구한 후, 구한 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

상기 설명한 것과 같이 현재 입력된 블록과 예측 블록의 차분을 구하여 잔여 블록(Residual Block)을 생성한 후, 이에 대한 부호화을 수행한다.

블록을 부호화하는 방법은 크게 인트라 모드와 인터 모드로 나누어진다. 예측 블록의 크기에 따라 인트라 모드일 경우에는 16x16, 8x8, 4x4 인트라 모드로 나누어지며, 인터 모드일 경우에는 16x16, 16x8, 8x16, 8x8 인터 모드로 나누어 진다. 8x8 인터모드일 경우에는 다시 8x8, 8x4, 4x8, 4x4 서브 인터 모드로 나누어진다.

잔여 블록에 대한 부호화는 변환, 양자화, 엔트로피(Entropy) 부호화의 순서로 수행이 된다. 먼저 16x16 인트라 모드로 부호화되는 블록은 차분 블록에 변환을 수행하여 변환계수를 출력하고, 출력된 변환계수 중에서 DC 계수만을 모아서 다시 하다마드 변환을 수행하여 하드마드 변환된 DC 계수를 출력한다.

16x16 인트라 모드를 제외한 다른 부호화 모드로 부호화되는 블록에서 변환 과정은 입력된 잔여 블록을 입력 받아 변환(Transform)을 수행하여 변환계수(Transform Coefficient)를 출력한다. 그리고 양자화 과정에서는 입력된 변환계수를 양자화 파라미터에 따라 양자화를 수행한 양자화된 계수(Quantized Coefficient)를 출력한다.

그리고 엔트로피 부호화 과정에서는 입력된 양자화된 계수를 확률 분포에 따른 엔트로피 부호화를 수행하여 비트스트림으로 출력된다.

H.264는 프레임간(Inter-frame) 예측 부호화를 수행하기 때문에 현재 부호화된 영상을 이후에 입력된 영상의 참조 영상으로 사용하기 위해 복호화하여 저장할 필요가 있다. 따라서 양자화된 계수를 역양자화 과정과 역변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 후 디블록킹 필터를 통해 부호화 과정에서 발생한 블록킹 현상(Blocking Artifact)을 제거한 후, 참조 영상 버퍼에 저장한다.

도 4는 H.264의 복호화 구조도의 일 예를 도시한 도면이다.

도 4를 참조하면, H.264 복호화 구조도에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)이며, 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화가 수행되어 재구성된 영상을 출력한다.

인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다.

복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측 블록을 더하여 재구성된 블록을 생성하는 것이다.

먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다.

먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.

엔트로피 복호화 과정에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력한다. 양자화된 계수를 역양자화과정과 역변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터를 통해 블록킹 현상(Blocking Artifact)를 제거한 후, 참조 영상 버퍼에 저장한다.

깊이 정보 맵을 부호화하는 또 다른 방법의 일 예로 현재 표준화가 진행 중인 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 이 표준은 현재 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 공동으로 차세대 비디오 코덱인 HEVC(High Efficiency Video Coding)를 표준화하고 있으며, UHD 영상까지 포함한 영상을 H.264/AVC 대비 2배의 압축효율로 부호화를 하는 것을 목표로 하고 있다. 이는 HD, UHD 영상뿐만 아니라 3D 방송 및 이동통신망에서도 현재보다 낮은 주파수로 고화질의 영상을 제공할 수 있다.

본 발명의 기술적 과제는 인루프 필터링 방식 중 디블록킹 필터 사용시 경계 필터링 강도 결정에서 화면 내 스킵 부호화 모드가 적용된 블록과 인접한 경계의 경계 필터링 강도(bS)를 0으로 결정하는 방법 및 이를 이용하는 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 비디오 부호화 및 복호화에서 복잡도를 감소시키는 동시에 이를 통해 부복호화 된 깊이 영상을 통해 생성되는 가상 영상의 화질을 향상시키는 것이다.

본 발명의 다른 기술적 과제는 깊이 정보 맵에 대한 영상 부호화 방법, 샘플링 방법 및 필터링 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 영상 복호화 방법은 깊이 정보 맵의 화면 내 예측 시 현재 블록과 인접한 주변 블록의 예측 화소값을 상기 현재 블록의 화소값으로 생성하는 단계를 포함할 수 있다.

부호화된 차분 영상 정보와 복호화 여부 정보 그리고 예측 블록 영상 생성 방법에 대한 선택 정보를 역다중화하는 단계; 입력된 비트스트림에서 현재 블록에 대한 복호화 여부 정보를 복호화하는 단계; 상기 복호화 여부 정보에 따라 상기 현재 블록에 대한 차분 영상 정보 및 예측 블록의 생성 정보를 복호화하는 단계; 예측 블록 영상 생성 방법에 대한 선택 정보에 따라 화면 내 예측 방법과 화면 간 예측 방법 중에서 예측 방법을 선택하는 단계; 예측 영상을 구성하기 위해서 주변 블록으로부터 현재 블록에 대한 예측 방향을 유추하는 단계; 상기 예측 방향에 따라 현재 블록 영상에 대한 예측 영상을 구성하는 단계를 포함할 수 있다.

상기 예측 영상을 구성하는 단계는, 현재 블록에 인접한 주변 화소를 복사(패딩)하여 화면 내 예측 영상을 구성하는 방법, 현재 블록과 인접한 주변 화소의 특성을 고려하여 복사할 화소를 결정한 후 결정된 화소를 통해 현재 블록을 구성하는 방법 및 복수의 예측 방법들을 혼합하여 혼합한 값의 평균값 또는 각각의 방법에 따른 가중치의 합으로 예측 블록 영상을 구성하여 사용하는 방법 중 적어도 하나에 의하여 구성될 수 있다.

본 발명의 다른 실시예에 따른 깊이 정보에 대한 영상 복호화 방법은 상기 깊이 정보의 현재 블록에 대한 예측 블록을 생성하는 단계와; 상기 예측 블록에 기초하여 상기 현재 블록의 복원 블록을 생성하는 단계와; 상기 복원 블록에 필터링을 수행하는 단계를 포함하고, 상기 필터링 수행 여부는 상기 현재 블록의 블록 정보 및 상기 현재 블록의 부호화 정보에 따라 결정될 수 있다.

상기 부호화 정보는 상기 복원 영상 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대한 정보를 포함하고, 상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대응되는 부분 중 적어도 하나에는 상기 필터링을 수행하지 않을 수 있다.

상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대응되는 부분 중 적어도 하나에는 디블록킹 필터, 샘플 적응형 보상(SAO; Sample Adaptive Offset) 필터, 적응형 루프 필터(ALF; Adaptive Loop Filter), 인루프 결합 시점간 깊이정보 필터링(JVDF; In-loop Joint inter-View Depth Filtering) 중 적어도 하나를 수행하지 않을 수 있다.

상기 부호화 정보는 상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대한 정보를 포함하고, 상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대응되는 부분 중 적어도 하나에는 약한 필터링이 수행될 수 있다.

상기 복원 블록에 대한 업샘플링을 수행하는 단계를 포함하고, 상기 업샘플링은 하나의 샘플값을 기설정된 개수의 샘플값으로 패딩할 수 있다.

상기 업샘플링은 상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분 중 적어도 하나에서 수행되지 않을 수 있다.

상기 복원 블록에 필터링을 수행하는 단계는 인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하는 단계; 상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하는 단계를 포함하고, 상기 경계 필터링 강도를 결정하는 단계는 인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 스킵(intraskip) 부호화되었는지를 판단하는 단계와; 상기 두 개의 블록이 모두 인트라 스킵(intraskip) 부호화되지 않은 것으로 판단되는 경우, 인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 부호화되었는지를 판단하는 단계와; 상기 두 개의 블록이 모두 인트라 부호화되지 않은 것으로 판단되는 경우, 상기 두 개의 블록 중에서 적어도 하나의 블록이 직교 변환 계수를 갖는지를 판단하는 단계와; 상기 두 개의 블록이 모두 직교 변환 계수를 갖지 않는 것으로 판단되는 경우, 상기 두 개의 블록에 대하여 움직임 벡터의 x축 성분 또는 y축 성분의 차의 절대값 중에서 적어도 하나가 1(혹은 4)이상이 되거나 또는 움직임 보상이 다른 참조 프레임에 기초하여 수행되었는지를 판단하는 단계와; 상기 움직임 벡터의 차의 절대값이 모두 1(혹은 4)보다 작고 또한 상기 움직임 보상이 같은 참조 프레임에 기초하여 수행되었는지를 판단하는 단계를 포함할 수 있다.

인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 스킵(intraskip) 부호화되었을 경우 경계 필터링 강도(bS)를 0으로 결정할 수 있다.

인접한 두 블록 중 한 블록이 인트라 스킵(intraskip) 부호화 모드이고 다른 블록이 일반적인 부호화 모드(인트라 혹은 인터)로 판단되는 경우 및 일반적인 부호화 모드에서 직교 변환 계수가 적어도 하나 존재할 경우에는 경계 필터링 강도(bS)를 1, 2, 3, 4 중 어느 하나로 결정할 수 있다.

인접한 두 블록이 모두 일반적인 부호화 모드(인트라 혹은 인터)로 판단되는 경우 및 일반적인 부호화 모드에서 직교 변환 계수가 적어도 하나 존재하지 않는 경우에는 경계 필터링 강도를 0, 1, 2, 3 중 어느 하나로 결정할 수 있다.

상기 현재 블록의 예측 모드가 차분 정보가 존재하지 않는 인트라 스킵인 경우, 상기 예측 블록을 생성하는 단계는 상기 현재 블록에 대한 예측 방향을 상기 현재 블록과 인접한 주변 블록으로부터 유추할 수 있다.

상기 복원 블록에 필터링을 수행하는 단계는 인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하는 단계; 상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하는 단계를 포함하고, 상기 경계 필터링 강도를 결정하는 단계는 상기 현재 블록 및 상기 현재 블록에 인접한 주변 블록의 예측 방향이 같은 경우, 상기 경계 필터링 강도(bS)를 0으로 결정할 수 있다.

상기 복원 블록에 필터링을 수행하는 단계는 인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하는 단계; 상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하는 단계를 포함하고, 상기 경계 필터링 강도를 결정하는 단계는 상기 현재 블록의 예측 모드가 차분 정보가 존재하지 않는 인트라 스킵이고, 현재 블록에 대한 화면 내 예측 방향이 수평 방향일 경우, 상기 현재 블록의 수직 경계에 대한 상기 경계 필터링 강도를 ‘0’으로 설정하고, 상기 현재 블록의 예측 모드가 차분 정보가 존재하지 않는 인트라 스킵이고, 현재 블록에 대한 화면 내 예측 방향이 수직 방향일 경우, 상기 현재 블록의 수평 경계에 대한 상기 경계 필터링 강도를 ‘0’으로 설정할 수 있다.

상기 복원 블록에 필터링을 수행하는 단계는 인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하는 단계; 상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하는 단계를 포함하고, 상기 경계 필터링 강도를 결정하는 단계는 상기 현재 블록과 상기 현재 블록에 인접한 주변 블록의 경계가 매크로블록의 경계와 일치하는 경우, 상기 경계 필터링 강도를 ‘0’으로 설정할 수 있다.

본 발명의 다른 실시예에 따른 깊이 정보에 대한 영상 복호화 장치는 상기 깊이 정보의 현재 블록에 대한 예측 블록을 생성하는 예측영상 생성부와 상기 예측 블록에 기초하여 상기 현재 블록의 복원 블록을 생성하는 가산부와; 상기 복원 블록에 필터링을 수행하는 필터부를 포함하고, 상기 필터부는 인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하기 위한 경계 필터링 강도 결정부; 및 상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하기 위한 필터링 적용부를 포함할 수 있다.

상기 경계 필터링 강도 결정부는 인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 스킵(intraskip) 부호화되었을 경우 경계 필터링 강도(bS)를 0으로 결정할 수 있다.

상기 경계 필터링 강도 결정부는 인접한 두 블록 중 한 블록이 인트라 스킵(intraskip) 부호화 모드이고 다른 블록이 일반적인 부호화 모드(인트라 혹은 인터)로 판단되는 경우 및 일반적인 부호화 모드에서 직교 변환 계수가 적어도 하나 존재할 경우에는 경계 필터링 강도(bS)를 1, 2, 3, 4 중 어느 하나로 결정할 수 있다.

본 발명의 일 실시예에 따르면 인루프 필터링 방식 중 디블록킹 필터 사용시 경계 필터링 강도 결정에서 화면 내 스킵 부호화 모드가 적용된 블록과 인접한 경계의 경계 필터링 강도(bS)를 0으로 결정하는 방법 및 이를 이용하는 장치가 제공된다.

본 발명의 다른 기술적 실시예에 따르면 비디오 부호화 및 복호화에서 복잡도를 감소시키는 동시에 이를 통해 부복호화 된 깊이 영상을 통해 생성되는 가상 영상의 화질을 향상된다.

본 발명의 다른 기술적 실시예에 따르면 깊이 정보 맵에 대한 영상 부호화 방법, 샘플링 방법 및 필터링 방법이 제공된다.

도 1은 3차원 비디오 시스템의 기본 구조와 데이터 형식을 도시한 도면이다.
도 2는 “balloons” 영상에 대한 깊이 정보 맵을 도시한 도면이다
도 3은 H.264의 부호화 구조도의 일 예를 도시한 도면이다.
도 4는 H.264의 복호화 구조도의 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 비디오 부호화 장치의 구성을 나타내는 제어 블록도이다.
도 6은 본 발명의 일 실시예에 따른 비디오 복호화 장치의 구성을 나타내는 제어 블록도이다.
도 7a는 “kendo”영상에 대한 깊이 정보 맵을 도시한 도면이다.
도 7b는 “kendo”영상에 대한 깊이 정보 맵의 임의의 위치에서 수평 방향으로 화소의 값을 도시한 2D 그래프이다.
도 7c는 kendo”영상에 대한 깊이 정보 맵의 임의의 위치에서 수평 방향으로 화소의 값을 도시한 2D 그래프이다.
도 8은 플레인 기반 분할 화면 내 예측 방법을 설명하기 도면이다.
도 9는 본 발명의 일 실시예에 따라 현재 블록에 대한 예측 방향을 유추하기 위하여 사용되는 주변 블록들을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따라 현재 블록에 대한 화면 내 예측 방향을 유도하는 방법을 설명하기 위한 제어 흐름도이다.
도 11은 본 발명의 다른 실시예에 따라 현재 블록에 대한 화면 내 예측 방향을 유도하는 방법을 설명하기 위한 제어 흐름도이다.
도 12는 본 발명의 다른 실시예에 따라 현재 블록에 대한 예측 방향을 유추하기 위하여 사용되는 주변 블록들을 도시한 도면이다.
도 13은 깊이 정보 맵의 다운 샘플링 방법을 일 예를 도시한 도면이다.
도 14는 깊이 정보 맵의 업샘플링 방법을 일 예를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 디블록킹 필터링의 경계 필터링 강도(bS)를 결정하는 방법을 설명하기 위한 제어흐름도이다.
도 16은 인접한 블록 p 및 블록 q의 경계를 도시한 도면이다.
도 17은 본 발명의 다른 실시예에 따른 디블록킹 필터링의 경계 필터링 강도(bS)를 결정하는 방법을 설명하기 위한 제어흐름도이다.
도 18은 본 발명의 일 실시예에 따른 현재 블록과 주변 블록의 예측 방향 및 매크로블록 경계를 도시한 도면이다.
도 19는 현재 블록의 부호화 모드 및 현재 블록 경계의 일 예를 도시한 도면이다.
도 20은 본 발명의 일 실시예에 따른 비디오 부호화 장치의 구성을 나타내는 제어 블록도이다.
도 21은 본 발명의 일 실시예에 따른 비디오 복호화 장치의 구성을 나타내는 제어 블록도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 5는 비디오 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 5의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.

도 5를 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 디블록킹 필터부(180) 및 참조영상 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.

이때 생성된 차분에 대한 블록을 부호화할지 혹은 부호화하지 않을지에 대한 선택은 율왜곡 관점에서 부호화 효율이 우수한 것으로 판단될 수 있다. 예측 블록의 생성은 화면 내 예측 과정을 통해 생성되거나 혹은 화면 간 예측을 통해 생성될 수 있다. 이때 화면 내 예측을 수행할 지 혹은 화면 간 예측을 수행할 지에 대한 선택은 율왜곡 관점에서 부호화 효율이 우수한 것으로 판단될 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 심볼(symbol)을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열로 표현하는 방법이다.

여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 디블록킹 필터부(180)를 거치고, 디블록킹 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 디블록킹 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.

도 6은 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.

도 6를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 디블록킹 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 디코딩부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 디블록킹 필터부(260)를 거친다. 디블록킹 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 디블록킹 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

한편, 가상시점 영상을 생성하는데 사용되는 깊이 정보 맵은 카메라와 객체 간의 거리를 나타내므로 화소간 상관성이 매우 높다. 특히 객체 내부 혹은 배경 부분의 경우, 동일한 깊이 정보의 값이 광범위하게 나타난다.

도 7a는 “kendo”영상에 대한 깊이 정보 맵을 도시한 도면이고, 도 7b는 “kendo”영상에 대한 깊이 정보 맵의 임의의 위치에서 수평 방향으로 화소의 값을 도시한 2D 그래프이며, 도 7c는 kendo”영상에 대한 깊이 정보 맵의 임의의 위치에서 수평 방향으로 화소의 값을 도시한 2D 그래프이다.

도 7a 내지 도 7c에서 확인할 수 있듯이, 깊이 정보 맵의 화소간 상관성이 매우 높다는 것을 알 수 있다. 특히, 깊이 정보 맵의 객체 내부와 배경 부분에서 깊이 정보의 값이 동일함을 확인할 수 있다.

도 7b의 경우, 도 7a에서 수평선 Ⅱ-Ⅱ에 대응하는 부분의 화소 값을 도시한 것으로, 도시된 바와 같이 도 7a의 수평선(Ⅱ-Ⅱ)에 대응하는 부분은 두 개의 영역으로 구분되고 있다. 도 7b는 이러한 두 개의 영역을 반영하고 있으면, 두 개의 영역 내에서의 깊이 정보 값들을 동일함을 알 수 있다.

도 7c는 도 7a에서 수직선 Ⅲ-Ⅲ에 대응하는 부분의 화소 값을 도시한 것으로, 도시된 바와 같이 도 7b의 수직선(Ⅲ-Ⅲ)에 대응하는 부분은 두 개의 영역으로 구분되고 있다. 도 7c는 이러한 두 개의 영역을 반영하고 있으면, 두 개의 영역 내에서의 깊이 정보 값들을 동일함을 알 수 있다.

화소 간의 상관성이 높은 영상에서 화면 내 예측을 수행할 때 현재 블록의 화소 값은 주변 블록의 화소 값만을 이용하여 거의 예측할 수 있으므로, 현재 블록과 예측 블록 간의 차이 값인 잔여 신호에 대한 부호화 및 복호화 과정은 거의 필요 없게 된다.

이런 경우, 도 5 및 도 6에 도시된 바와 같이, 잔여 신호에 대한 변환 및 양자화 과정, 역양자화 및 역변환 과정이 필요 없게 된다.

따라서 이러한 특성을 이용한 화면 내 부호화를 통해 계산 복잡도를 감소시키고 부호화 효율을 향상시킬 수 있다. 또한 배경 부분이나 객체 내부와 같이 깊이 정보 값이 모두 동일할 경우, 해당 부분에 필터링(예를 들어, 디블록킹 필터, 샘플 적응형 보상(SAO; Sample Adaptive Offset) 필터, 적응형 루프 필터(ALF; Adaptive Loop Filter) 등)과 같은 과정을 수행하지 않음으로써 계산 복잡도를 감소시킬 수 있다.

깊이 정보 맵의 객체 경계 부분은 가상 영상 합성에 매우 중요한 요소이다. 이러한 깊이 정보 맵의 객체 경계부분을 부호화하는 방법의 일 예로 플레인 기반 분할 화면 내 예측 방법이 있다.

도 8은 플레인 기반 분할 화면 내 예측 방법을 설명하기 도면이다.

도 8과 같이, 플레인 기반 분할 화면 내 예측 방법은 현재 블록의 주변 픽셀을 기반으로 현재 블록을 두 가지 영역(객체 내부인지 객체 외부인지)으로 분할 하여 부호화하는 방법이다. 이때 분할된 이진 비트맵 정보는 복호기에 전송된다.

플레인 기반 분할 화면 내 예측 방법은 깊이 정보 맵의 객체 경계 부분에 적용되는 방법이다. 이러한 방법과 같이 객체 경계부분의 특성을 유지시키면서, 즉, 객체 경계를 스무딩하거나 뭉개지 않고, 깊이 정보 맵을 이용할 경우 가상 합성 영상의 화질이 향상될 수 있다. 따라서 깊이 정보 맵의 객체 경계 부분에는 디필터링 과정과 같은 객체 경계를 뭉개는 필터링을 수행하지 않을 수 있다.

기존의 디블록킹 필터링 방법은 두 인접한 블록간의 부호화 모드(화면 내 예측인지 화면 간 예측인지), 두 블록 간의 참조픽쳐의 동일성, 두 블록간의 움직임 정보의 차이 등으로 인한 블록 경계 부분의 블록킹 현상을 제거하기 위한 방법이다. 따라서 블록 경계 부분에 디블록킹 필터를 수행할 때 디블록킹의 강도를 두 블록 간의 부호화 모드(화면 내 예측인지 화면 간 예측인지), 두 블록 간의 참조픽쳐의 동일성, 두 블록간의 움직임 정보의 차이 등으로 판단한다. 일 예로 두 블록 중 하나는 화면 내 예측되었고 다른 한 블록은 화면 간 예측 모드로 부호화 되었을 경우, 두 블록간에는 매우 심한 블록킹 현상이 발생할 수 있으며, 이러한 경우 강한 강도로 디블록킹 필터를 수행할 수 있다.

또 다른 일예로, 두 블록 모두 화면 간 예측이 수행되었고 두 블록의 참조픽쳐가 동일하고 또한 두 블록간의 움직임 정보가 동일할 경우, 두 블록간에는 블록킹 현상이 발생하지 않을 수 있으며, 이러한 경우 디블록킹 필터를 수행하지 않거나 혹은 디블록킹 필터를 약하게 수행할 수 있다.

이러한 디블록킹 필터는 영상에서의 블록킹 현상을 제거하여 영상의 주관적 화질을 향상시키는 역할을 수행한다. 하지만 깊이 정보 맵은 가상합성 영상을 생성하기 위해서 사용할 뿐 실제 디스플레이 장치로 출력되지 않는다. 따라서 이러한 깊이 정보 맵의 블록 경계는 주관적 화질 향상 측면이 아닌 가상 합성 영상을 화질을 향상시키기 위해 필요할 수 있다.

또한 깊이 정보 맵의 디블록킹 필터(혹은 다른 필터링 방법들)는 두 블록 간의 부호화 모드(화면 내 예측인지 화면 간 예측인지), 두 블록 간의 참조 픽쳐의 동일성, 두 블록간의 움직임 정보가 아닌 현재 블록의 부호화 모드에 따라 필터링의 수행 여부 및 필터링의 강도를 설정할 필요가 있다.

예를 들어, 현재 블록이 객체 경계 부분을 부호화하는 플래인 기반 분할 부호화 방법으로 부호화되었을 경우, 객체의 경계 부분을 최대한 뭉개지 않게 하기 위해서는 블록 경계에 대하여 디블록킹 필터를 수행하지 않는 것이 더 효과적일 수 있다.

이하에서, 화소간의 상관성이 높은 영상에 대한 화면 내 부호화 시, 계산복잡도를 감소시키고 부호화 효율을 향상시키는 방법을 제안한다. 깊이 정보 맵은 객체들간의 거리감을 나타내기 위한 깊이 정보이며, 일반적으로 매우 완만한 값을 가진다.

특히, 배경 부분이나 객체 내부의 경우, 깊이 정보가 광범위하게 동일한 값을 가진다. 이러한 특징을 기반으로 하여 주변 블록의 깊이 값을 패딩(padding)하여 현재 블록의 깊이 정보를 구성할 수 있다.

또한 광범위하게 동일한 깊이 정보 값을 가지는 부분에는 일반적인 영상에 적용하는 필터링 과정이 필요 없을 수 있다. 또한 샘플링(업-샘플링 혹은 다운-샘플링) 과정도 단순하게 적용할 수 있다. 본 발명에서는 다양한 깊이 정보 맵의 화면 내 부호화 방법과 깊이 정보 맵의 필터링 및 샘플링 방법을 제안한다.

깊이 정보 맵의 화면 내 부호화 방법

화면 내 예측 방법을 이용하여 예측 블록을 생성할 때에는 일반적으로 이미 부호화가 수행된 현재 블록의 주변 블록을 통해 예측된다. 이와 같이 화면 내 예측 블록만으로 현재 블록을 구성하는 방법을 인트라 예측 모드라 한다.

본 발명에서는 인트라 예측 모드로 부호화된 블록을 인트라 16x16 모드(혹은 8x8 모드 혹은 4x4 모드 혹은 NxN 모드) 이면서 차분 데이터가 없을 경우를 인트라 스킵(intra skip)모드라고 한다. 인트라 스킵(intra skip) 모드로 부호화된 블록의 경우의 장점으로는 해당 블록을 화면 내 예측 방향을 공간상의 부호화된 주변 블록으로부터 유추할 수 있다. 다시 말하면, 인트라 스킵(intra skip)모드로 부호화된 블록은 화면 내 예측 방향 정보 및 그 이외 정보를 디코딩 장치로 전송하지 않으며, 단지 주변 블록의 정보를 통해 현재 블록의 화면 내 예측 방향 정보를 유도할 수 있다.

도 9는 본 발명의 일 실시예에 따라 현재 블록에 대한 예측 방향을 유추하기 위하여 사용되는 주변 블록들을 도시한 도면이다.

도 9를 참조하면, 현재 블록(X)에 대한 화면 내 예측 방향은 현재 블록(X)에 인접한 주변 블록(A, B)들로부터 유추할 수 있다. 여기서 주변 블록은 현재 블록(X)에 인접한 모든 블록을 의미 할 수 있다. 현재 블록(X)에 대한 화면 내 예측 방향을 유도하는 방법은 여러 가지가 될 수 있으며, 그 일 실시예는 아래 상세히 설명된다.

도 10은 본 발명의 일 실시예에 따라 현재 블록에 대한 화면 내 예측 방향을 유도하는 방법을 설명하기 위한 제어 흐름도이다.

우선, 화면 내 예측 방향은 수직 예측(0), 수평 예측(1), 소정의 평균값을 이용하는 DC 예측(2), Plane(대각선) 예측(3)이 존재하는 것으로 가정한다. 예측 방향에 대한 값은 발생확률이 높을수록 적은 값을 가진다. 예를 들어 수직 예측(0)이 가장 발생확률이 높다. 그 이외에도 많은 예측 방향이 존재할 수 있으며, 예측 방향의 발생 확률은 블록의 크기에 따라 달라진다. 현재 블록에 대한 예측 방향 정보는 IntraPredMode로 나타낼 수 있다.

1 단계) 블록 A의 가용성을 판단한다(S1000a). 블록 A가 가용하지 않는 경우, 예를 들어 블록 A가 부호화 되지 않았거나 블록 A의 부호화 모드를 사용할 수 없을 경우에는 IntraPredModeA(블록 A에 대한 예측 방향 정보)를 DC 예측 방향으로 설정한다(S1001).

반면, 블록 A가 가용하다면, 2단계를 수행한다.

2 단계) 만약, 블록 A가 인트라 16x16 부호화 모드(혹은 8x8 부호화 모드 혹은 4x4 부호화 모드)이거나 혹은 intra_skip 부호화 모드일 경우, IntraPredModeA에 블록 A의 IntraPredMode, 즉 블록 A의 예측 방향 정보를 IntraPredModeA로 설정한다(S1002).

3 단계) 만일 블록 B가 부호화 되지 않았거나 블록 B의 부호화 모드를 사용할 수 없을 경우와 같이 블록 B가 가용하지 않으면(S1000b) IntraPredModeB(블록 B에 대한 예측 방향 정보)를 DC 예측 방향으로 설정한다(S1003).

그렇지 않다면, 4단계를 수행한다.

4 단계) 만일 블록 B가 인트라 16x16 부호화 모드(혹은 8x8 부호화 모드 혹은 4x4 부호화 모드)이거나 혹은 intra_skip 부호화 모드일 경우, 블록 B의 IntraPredMode를 IntraPredModeB로 설정한다(S1004).

5 단계) 그런 후, IntraPredModeA와 IntraPredModeB 값 중에서 최소값을 현재 블록(X)의 IntraPredMode로 설정할 수 있다(S1005)

도 11은 본 발명의 다른 실시예에 따라 현재 블록에 대한 화면 내 예측 방향을 유도하는 방법을 설명하기 위한 제어 흐름도이다.

1 단계) 만일 블록 A가 부호화 되지 않았거나 블록 A의 부호화 모드를 사용할 수 없을 경우, 블록 A가 가용하지 않는 경우에는(S1100a) IntraPredModeA를 ‘-1’로 설정한다(S1101).

반면, 블록 A가 가용하다면, 2단계를 수행한다.

2 단계) 만일 블록 A가 인트라 16x16 부호화 모드(혹은 8x8 부호화 모드 혹은 4x4 부호화 모드)이거나 혹은 intra_skip 부호화 모드일 경우, IntraPredModeA에 블록 A의 IntraPredMode, 즉 블록 A의 예측 방향 정보를 IntraPredModeA로 설정한다(S1102).

그리고 블록 B에 대한 화면 내 예측 방향을 유도하는 단계를 수행한다.

3 단계) 만일 블록 B가 부호화 되지 않았거나 블록 B의 부호화 모드를 사용할 수 없을 경우에는(S1100b) IntraPredModeB를 ‘-1’로 설정한다. 그렇지 않다면, 4단계를 수행한다.

4 단계) 만일 블록 B가 인트라 16x16 부호화 모드(혹은 8x8 부호화 모드 혹은 4x4 부호화 모드)이거나 혹은 intra_skip 부호화 모드일 경우, 블록 B의 IntraPredMode를 IntraPredModeB로 설정한다(S1104).

5 단계) 그런 후, 만일 IntraPredModeA와 IntraPredModeB 중에서 적어도 하나가 ‘-1’이면(S1105) 현재 블록(X)의 IntraPredMode를 DC 예측 방향으로 설정한다(S1106).

그렇지 않다면 IntraPredModeA와 IntraPredModeB 값 중에서 최소값을 현재 블록(X)의 IntraPredMode로 설정한다(S1107).

도 12는 본 발명의 다른 실시예에 따라 현재 블록에 대한 예측 방향을 유추하기 위하여 사용되는 주변 블록들을 도시한 도면이다.

도 12와 같이, 현재 블록과 인접한 블록(A, B) 뿐만 아니라 블록(C)의 예측 방향 정보를 사용할 수 있다. 이 때 현재 블록에 대한 예측 방향은 블록 A, B, C의 예측 방향의 특성을 통해 유추할 수 있다.

예를 들어, 블록 A, B, C가 모두 같은 예측 방향일 경우, 블록 A의 예측 방향을 현재 블록에 대한 예측 방향으로 설정할 수 있다.

그렇지 않고 예측 방향이 모두 다를 경우, 블록 A, B, C 의 예측 방향 중에서 최소값을 현재 블록에 대한 예측 방향으로 설정할 수 있다.

또한 블록 A, C의 예측 방향이 같고 블록 B, C 의 예측 방향이 다를 경우에 블록 B의 예측 방향을 현재 블록에 대한 예측 방향으로 설정할 수 있다.

혹은 블록 A, C의 예측 방향이 같고 블록 B, C 의 예측 방향이 다를 경우에 블록 A의 예측 방향을 현재 블록에 대한 예측 방향으로 설정할 수 있다.

또한 블록 B, C의 예측 방향이 같고 블록 A, C 의 예측 방향이 다를 경우에 블록 A의 예측 방향을 현재 블록에 대한 예측 방향으로 설정할 수 있다.

혹은 블록 B, C의 예측 방향이 같고 블록 A, C 의 예측 방향이 다를 경우에 블록 B의 예측 방향을 현재 블록에 대한 예측 방향으로 설정할 수 있다.

현재 블록에 대한 예측 방향이 결정된 후, 화면 내 예측 영상을 구성하는 방법은 다양하게 구현될 수 있다.

하나의 일 실시 예로서, 현재 블록 영상에 인접한 주변 블록의 화소를 그대로 복사(패딩)하여 구성할 수 있으며, 이때 현재 블록에 복사(패딩)될 화소는 현재 블록과 인접한 주변 블록에서 상측의 화소이거나 혹은 좌측의 화소일 수 있으며, 또한 현재 블록에 인접한 화소들의 평균 혹은 가중치 평균일 수 있다.

또한 어느 위치의 화소를 사용할 지에 대한 정보가 부호화되어 비트스트림에 포함될 수 있다. 이 방법은 H.264/AVC의 화면 내 예측 방법과 유사할 수 있다.

또 다른 실시 예로서, 현재 블록과 인접한 주변 화소들의 특성을 고려하여 복사할 화소를 결정한 후 결정된 화소를 통해 현재 블록을 구성할 수 있다.

구체적으로 현재 블록의 좌상단에 위치한 블록의 화소값이 현재 블록의 좌측에 위치한 블록의 화소값과 같거나 비슷하다면, 현재 블록에 대한 예측 블록은 현재 블록에 인접한 상단의 화소를 통해 생성할 수 있다. 또한 현재 블록의 좌상단에 위치한 블록의 화소값이 현재 블록의 상측에 위치한 블록의 화소값과 같거나 비슷하다면, 현재 블록에 대한 예측 블록은 현재 블록에 인접한 좌측의 화소를 통해 생성할 수 있다.

또 다른 실시 예로서, 여러 예측 방법들을 혼합하여 그것의 평균값 혹은 각각의 방법에 따른 가중치의 합으로 예측 블록 영상을 구성하여 사용할 수 있다.

이 외에도 위와 같이 화면 내 예측 블록을 구성하는 방법은 다양하게 변경될 수 있다.

위와 같이 현재 블록에 대한 화면 내 예측 방향을 현재 블록에 인접한 주변 블록들로부터 유추함으로써, 현재 블록에 대한 화면 내 예측 방향 정보는 디코더로 전송되지 않는다. 다시 말하면 인트라 스킵이 적용된 블록의 경우, 화면 내 예측 방향 정보는 주변 블록 혹은 그 이외의 정보를 통해 유추될 수 있다.

화면 간 예측 과정에서는 이전에 부호화된 후 복호화된 이전 프레임에서 현재 블록과 가장 유사한 블록을 가져와서 현재 블록에 대한 예측 블록을 생성한다.

생성된 예측 블록 영상은 현재 블록 영상과 차분되어 차분 블록 영상을 생성한다. 차분 블록 영상에 대해 변환 및 양자화, 그리고 엔트로피 부호화 과정이 수행되는지 혹은 수행되지 않는지에 따라 두 가지 방법으로 부호화되며, 차분 블록 영상에 대해 부호화가 수행되는 지의 여부 정보는 비트스트림에 포함될 수 있다. 두 가지 방법은 아래와 같다.

(1) 변환 및 양자화 과정을 수행하는 경우는 현재 블록 영상을 예측 블록 영상과 차분한 블록 영상에 변환 및 양자화한 후 엔트로피 부호화하여 비트스트림을 출력하고, 다시 엔트로피 부호화하기 전의 양자화된 계수를 역양자화 및 역변환하여 예측 블록 영상과 더한 후 현재 블록 영상을 복원한다.

(2) 변환 및 양자화 과정을 수행되지 않는 경우는 현재 블록 영상을 오직 예측 블록 영상만으로 구성한다. 여기서 차분 블록 영상은 부호화되지 않으며, 오직 차분 블록 영상에 대해 부호화가 수행되는지의 여부 정보만 비트스트림에 포함될 수 있다.

또한, 현재 블록의 예측 블록 영상을 생성하기 위한 정보(화면 내 예측 방향 정보 혹은 화면 간 예측 움직임 정보)는 주변 블록의 정보로부터 구성될 수 있다. 이 때, 예측 블록 생성 정보 및 차분 블록 영상은 부호화되지 않으며, 예측 블록 생성 정보 및 차분 블록 영상에 대해 부호화가 수행되는지의 여부 정보만 비트스트림에 포함될 수 있다. 이때 차분 블록을 부호화할지에 대한 여부 정보는 현재 블록의 주변 블록들의 부호화 여부 정보를 고려하여 확률적으로 산술 부호화를 수행할 수 있다.

깊이 정보 맵의 필터링 및 샘플링 방법

깊이 정보 맵의 특성은 매우 단조로우며, 특히 배경 부분이나 객체 내부의 경우 동일한 깊이 정보 값을 가진다. 따라서 깊이 정보 맵에 대해서는 필터링(예를 들어, 디블록킹 필터, 샘플 적응형 보상(SAO; Sample Adaptive Offset) 필터, 적응형 루프 필터(ALF; Adaptive Loop Filter), 인루프 결합 시점간 깊이 정보 필터링(JVDF; In-loop Joint inter-View Depth Filtering)등)을 수행하지 않을 수 있다. 혹은 깊이 정보 맵의 배경 부분이나 객체 내부에 대하여 필터링을 약하게 수행하거나 혹은 수행하지 않을 수 있다.

실시 일 예로, 깊이 정보 맵에 대하여 디블록킹 필터를 약하게 수행하거나 혹은 수행하지 않을 수 있다.

또한 깊이 정보 맵에 대하여 샘플 적응형 보상(SAO; Sample Adaptive Offset) 필터를 적용하지 않을 수 있다.

또한 깊이 정보 맵에 대하여 적응형 루프 필터(ALF; Adaptive Loop Filter)를 객체 경계 부분에만 적용하거나 혹은(그리고) 객체 내부 부분에만 적용하거나 혹은(그리고) 배경 부분에만 적용할 수 있다. 혹은 깊이 정보 맵에 대하여 적응형 루프 필터(ALF; Adaptive Loop Filter)를 적용하지 않을 수 있다.

또한 깊이 정보 맵에 대하여 인루프 결합 시점간 깊이 정보 필터링(JVDF; In-loop Joint inter-View Depth Filtering)을 객체 경계 부분에만 적용하거나 혹은(그리고) 객체 내부 부분에만 적용하거나 혹은(그리고) 배경 부분에만 적용할 수 있다.

혹은 깊이 정보 맵에 대하여 인루프 결합 시점간 깊이 정보 필터링(JVDF; In-loop Joint inter-View Depth Filtering)을 적용하지 않을 수 있다.

또한 깊이 정보 맵에 대하여 어떠한 필터링도 적용하지 않을 수 있다.

또한 일반적으로 깊이 정보 맵을 부호화할 때, 원본 깊이 정보 맵을 다운-샘플링을 수행하여 부호화하고 실제 사용할 경우에는 복호화된 깊이 정보 맵을 업-샘플링하여 사용한다. 이러한 샘플링 과정은 일반적으로 4탭 혹은 6탭 업샘플링(혹은 다운샘플링) 필터 등을 이용한다. 이러한 샘플링 필터는 복잡도가 높다는 단점이 있으며 특히 깊이 정보 맵처럼 매우 단조로운 특성을 지니는 영상에는 적합하지 않다. 따라서 깊이 정보 맵의 특성에 맞는 업샘플링 및 다운 샘플링 필터는 매우 간단하고 단순한 것이 바람직하다.

도 13은 깊이 정보 맵의 다운 샘플링 방법을 일 예를 도시한 도면이다.

도 13과 같이, 원본 크기의 깊이 정보 맵(1310)에서 4개의 샘플(화소) 당 하나의 샘플(화소)를 그대로 복사하여 다운 샘플링된 깊이 정보 맵(1320)을 구성할 수 있다.

이러한 방법은 깊이 정보 맵의 배경 부분이나 객체 내부에서만 사용할 수도 있다.

또는 배경 부분이나 객체 내부의 깊이 정보 맵의 깊이 정보 값이 동일하므로 다운 샘플링 과정을 거치지 않고, 현재 블록(혹은 임의 영역)의 어떠한 깊이 정보 값을 다운 샘플링된 깊이 정보 맵 블록(혹은 임의 영역)의 모든 픽셀(화소)에 적용할 수 있다.

도 14는 깊이 정보 맵의 업샘플링 방법을 일 예를 도시한 도면이다.

도 14와 같이, 다운 샘플링된 깊이 정보 맵(1410)에서 하나의 샘플(화소)을 그대로 복사하여 업 샘플링된 깊이 정보 맵(1420)의 4개 샘플(화소)에 복사(혹은 패딩)할 수 있다.

이러한 방법은 깊이 정보 맵의 배경 부분이나 객체 내부에서만 사용할 수도 있다.

또는 배경 부분이나 객체 내부의 깊이 정보 맵의 깊이 정보 값이 동일하므로 업 샘플링 과정을 거치지 않고, 현재 블록(혹은 임의 영역)의 어떠한 깊이 정보 값을 업 샘플링된 깊이 정보 맵 블록(혹은 임의 영역)의 모든 픽셀(화소)에 적용할 수 있다

깊이 정보 맵에 대한 업샘플링으로 인한 복잡도를 감소시키고, 업샘플링된 깊이 정보 맵은 업샘플링 되기 전의 깊이 정보 맵에 비해 메모리가 더 많이 요구되는 점을 고려하여 업샘플링을 수행하지 않은 상태로 깊이 정보 맵을 사용할 수 있다.

깊이정보 맵의 화면 내 부호화 방법과 그것의 필터링 및 샘플링 방법

본 발명의 일 예에 따르면, 깊이 정보 맵의 화면 내 부호화 방법과 깊이 정보 맵의 필터링 및 샘플링 방법을 조합하여 깊이정보 맵을 부호화할 수 있으며, 그 실시 일 예는 아래와 같다.

본 발명의 일 실시예에 따라, 이하에서는 현재 블록 영상을 예측 블록만으로 구성하고 예측 블록에 대한 디블록킹 필터의 필터링 강도를 조절하거나 혹은 디블록킹 필터의 적용 여부를 결정하는 방법이 기술된다.

상술한 화면 내 예측 방법 중, 현재 블록에 대한 화면 내 예측 방향을 현재 블록에 인접한 주변 블록들로부터 유추하는, 즉 화면 내 예측 블록만으로 현재 블록을 구성하는 방법을 인트라 스킵(intra_skip)모드라고 명명할 수 있다. 이러한 인트라 스킵 모드로 선택된 블록의 경우, 주변 블록과의 상관성이 아주 높다. 따라서 이 경우에 디블록킹 필터링을 수행하지 않을 수 있다.

도 15는 본 발명의 일 실시예에 따른 디블록킹 필터링의 경계 필터링 강도(bS)를 결정하는 방법을 설명하기 위한 제어흐름도이다.

또한, 도 16은 인접한 블록 p 및 블록 q의 경계를 도시한 도면이다.

도 15 및 도 16을 참조하여 인트라 스킵 모드에서 디블록킹 필터링의 경계 필터링 강도(bS)를 결정하는 방법을 설명하면 다음과 같다.

우선, 도 16에 도시된 바와 같이, 블록 p 및 블록 q는 서로 경계를 공유하는 인접한 블록에 대응한다. 블록 p는 수직 방향 경계에 대하여 좌측에 위치하고, 수평 방향 경계의 위쪽에 위치하는 블록을 나타내고, 블록 q는 수직 방향 경계에 대하여 우측에 위치하고, 수평 방향 경계의 아래쪽에 위치하는 블록을 나타낸다.

경계 필터링 강도(bS)를 결정하기 위하여 우선 서로 인접하는 블록 p와 q 들의 부호화 모드를 확인할 수 있다. 여기서 블록 p 또는 q가 인트라 부호화 또는 인터 부호화되었다는 것은 블록 p 또는 q가 인트라 부호화된 매크로블록이거나 또는 이에 속한다는 것을 의미할 수 있다.

도 15를 참조하면, 경계 필터링 강도(bS)를 결정하기 위하여 먼저 서로 인접하는 블록 p와 블록 q 들 중에서 적어도 하나의 블록이 인트라 스킵(intra_skip) 모드로 부호화되었는지를 판단한다(S1501).

여기서 인트라 스킵(intra skip) 모드는 인트라 모드(NxN 예측 모드, 여기서 N은 16, 8, 4 등)이면서 차분 데이터가 없다는 것으로 간주될 수 있다. 또는 인트라 모드(NxN 예측 모드, 여기서 N은 16, 8, 4 등)이면서 차분 데이터가 없다는 것을 인트라 스킵(intra skip)모드라고 간주할 수 있다.

판단 결과, 만일 블록 p와 q 중에서 인트라 스킵(intra_skip) 모드로 부호화된 블록이 하나 이상 존재하는 경우에는 경계 필터링 강도(bS)를 ‘0’으로 결정할 수 있다(S1502). 경계필터링 강도(bS)가 0이라는 것은 후속하는 필터링 적용 절차에서 필터링을 수행하지 않는 것을 나타낸다.

반면, 그렇지 않다면, 즉 블록 p와 q 중에서 인트라 스킵(intra_skip) 모드로 부호화된 블록이 하나도 존재하지 않는 다면, 블록 p와 블록 q 중에서 인트라 부호화된 블록(인트라 스킵 모드가 아닌 블록)이 하나 이상 존재하는 지를 판단한다(S1503).

판단 결과, 블록 p와 블록 q 중에서 인트라 부호화된 블록이 하나 이상 존재하는 경우에는, ‘INTRA MODE’ 단계로 진행하며, 반대로 블록 p와 블록 q가 모두 인터 부호화된 경우에는 ‘INTER MODE’ 단계로 진행할 수 있다.

여기서, 인터 부호화는 현재 프레임과 시간이 다른 재구성 프레임의 영상을 참조 프레임으로 이용하는 예측 부호화를 의미한다.

‘INTRA MODE’ 단계에서 블록 p와 q 중에서 인트라 부호화된 블록이 적어도 하나 존재하는 것으로 판단된 경우에는(S1503), 블록 p와 블록 q의 경계가 매크로블록(Macro block, MB)의 경계와 일치하는지를 판단한다(S1504).

판단결과, 블록 p와 블록 q의 경계가 매크로블록(Macro block, MB)의 경계와 일치하는 경우에는 경계 필터링 강도(bS)를 4로 결정할 수 있다(S1505). 경계 필터링 강도(bS)가 4인 경우에는 후속하는 필터링 적용 절차에서 가장 강한 필터링이 적용되는 것을 의미하며 경계 필터링 강도(bS) 값이 작을수록 필터링의 강도는 약해진다.

반면, 블록 p와 블록 q의 경계가 매크로블록(Macro block, MB)의 경계가 아닌 경우에는 경계 필터링 강도(bS)를 3으로 결정할 수 있다(S1506).

‘INTER MODE’ 단계에서 블록 p와 블록 q 모두가 인터 부호화된 블록인 것으로 판단된 경우에는, 블록 p와 블록 q 중에서 적어도 하나가 직교 변환 계수(Non-zero Transform Coefficient)를 가지는지를 판단한다(S1507).

직교 변환 계수는 코딩된 계수(Coded Coefficient) 또는 0이 아닌 변환 계수(Non-zero Transformed Coefficient)라고도 할 수 있다.

판단 결과, 블록 p와 블록 q의 경계가 직교 변환계수를 가지는 블록이 하나 이상 존재하는 경우에는 경계 필터링 강도(bS)를 2로 결정한다(S1508).

반면, 블록 p와 블록 q의 경계가 직교 변환계수를 가지는 블록이 하나 이상 존재하지 않으면, 블록 p와 블록 q에 대하여 움직임 벡터의 일 성분 즉, x축 성분 또는 y축 성분의 차의 절대값이 1(혹은 4)와 같거나 더 큰지 및/또는 움직임 보상에서의 참조 프레임이 다른지 및/또는 PU 파티션 경계인지를 판단한다(S1509).

여기서, '참조 프레임이 다르다는 것'은 참조 프레임 자체가 다르다는 것과 참조 프레임의 개수가 다르다는 것을 모두 포함할 수 있다.

판단결과, 움직임 벡터의 차의 절대값 중에서 적어도 하나가 1(혹은 4)이상이 되거나 또는 움직임 보상에서의 참조 프레임이 다른 경우에는 경계 필터링 강도(bS)를 1로 결정할 수 있다(S1510).

반면, 움직임 벡터의 차의 절대값이 모두 1(혹은 4)보다 작고 또한 움직임 보상에서의 참조 프레임이 같은 경우에는 경계 필터링 강도(bS)를 0으로 결정한다(S1502).

도 17은 본 발명의 다른 실시예에 따른 디블록킹 필터링의 경계 필터링 강도(bS)를 결정하는 방법을 설명하기 위한 제어흐름도이다.

도 17을 참조하면, 우선 경계 필터링 강도(bS)를 결정하기 위하여 블록 p와 블록 q 모두 인트라 스킵(intra_skip) 모드로 부호화되었는지를 판단한다(S1701).

판단 결과, 블록 p와 블록 q 모두 인트라 스킵(intra_skip) 모드로 부호화 되었으면 블록 p와 블록 q의 경계 필터링 강도를 ‘0’으로 설정할 수 있다(1702)

또는 블록 p와 블록 q 모두 인트라 스킵(intra_skip) 모드로 부호화 되었으면 경계 필터링 강도를 약하게(혹은 강하게) 설정할 수 있으며 그 일 실시 예로 임의값을 설정할 수 있다. 혹은 필터링을 수행하지 않을 수 있다.

한편, 블록 p와 블록 q 모두 인트라 스킵(intra_skip) 모드로 부호화가 아니면, 블록 p와 q 중에서 인트라 부호화된 블록(인트라 스킵 모드가 아닌 블록)이 하나 이상 존재하는 지를 판단한다(S1703).

판단 결과, 블록 p와 블록 q 중에서 인트라 부호화된 블록이 하나 이상 존재하는 경우에는, ‘INTRA MODE’ 단계로 진행하며, 반대로 블록 p와 블록 q가 모두 인터 부호화된 경우에는 ‘INTER MODE’ 단계로 진행할 수 있다.

‘INTRA MODE’ 단계에서 블록 p와 q 중에서 인트라 부호화된 블록이 적어도 하나 존재하는 것으로 판단된 경우에는(S1703), 블록 p와 블록 q의 경계가 매크로블록(Macro block, MB)의 경계와 일치하는지를 판단한다(S1704).

판단 결과, 블록 p와 블록 q의 경계가 매크로블록(Macro block, MB)의 경계와 일치하는 경우에는 경계 필터링 강도(bS)를 4로 결정할 수 있다(S1705). 경계 필터링 강도(bS)가 4인 경우에는 후속하는 필터링 적용 절차에서 가장 강한 필터링이 적용되는 것을 의미하며 경계 필터링 강도(bS) 값이 작을수록 필터링의 강도는 약해진다.

반면, 블록 p와 블록 q의 경계가 매크로블록(Macro block, MB)의 경계가 아닌 경우에는 경계 필터링 강도(bS)를 3으로 결정할 수 있다(S1706).

‘INTER MODE’ 단계에서 블록 p와 블록 q 모두가 인터 부호화된 블록인 것으로 판단된 경우에는, 블록 p와 블록 q 중에서 적어도 하나가 직교 변환 계수(Non-zero Transform Coefficient)를 가지는지를 판단한다(S1507).

판단 결과, 블록 p와 블록 q의 경계가 직교 변환계수를 가지는 블록이 하나 이상 존재하는 경우에는 경계 필터링 강도(bS)를 2로 결정한다(S1708).

반면, 블록 p와 블록 q의 경계가 직교 변환계수를 가지는 블록이 하나 이상 존재하지 않으면, 블록 p와 블록 q에 대하여 움직임 벡터의 일 성분 즉, x축 성분 또는 y축 성분의 차의 절대값이 1(혹은 4)와 같거나 더 큰지 및/또는 움직임 보상에서의 참조 프레임이 다른지 및/또는 PU 파티션 경계인지를 판단한다(S1709).

여기서, '참조 프레임이 다르다는 것'은 참조 프레임 자체가 다르다는 것과 참조 프레임의 개수가 다르다는 것을 모두 포함할 수 있다.

판단결과, 움직임 벡터의 차의 절대값 중에서 적어도 하나가 1(혹은 4)이상이 되거나 또는 움직임 보상에서의 참조 프레임이 다른 경우에는 경계 필터링 강도(bS)를 1로 결정할 수 있다(S1710).

반면, 움직임 벡터의 차의 절대값이 모두 1(혹은 4)보다 작고 또한 움직임 보상에서의 참조 프레임이 같은 경우에는 경계 필터링 강도(bS)를 0으로 결정한다(S1702).

한편, 현재 블록과 주변 블록 중에서 적어도 한 블록이 인트라 스킵(intra_skip)모드일 경우에 현재 블록과 주변 블록 사이의 경계 필터링 강도를 ‘0’으로 설정할 수 있다. 혹은 경계 필터링 강도를 약하게(혹은 강하게) 설정할 수 있으며 그 일 실시 예로 임의값을 설정할 수 있다. 혹은 필터링을 수행하지 않을 수 있다.

또는, 현재 블록과 주변 블록 중에서 한 블록은 인트라 스킵(intra_skip)모드이고 다른 블록은 일반적인 부호화 모드(인트라(혹은 인터) 부호화 모드)일 경우, 일반적인 부호화 모드(인트라(혹은 인터) 부호화 모드)의 블록에서 직교 변환계수를 하나라도 포함하고 있는 경우에는 현재 블록과 주변 블록 사이의 경계 필터링 강도를 ‘4’(혹은 3, 2, 1)로 설정할 수 있다. 반면, 그렇지 않은 경우에는 필터링 강도를 0(혹은 1, 2, 3)으로 설정할 수 있다. 혹은 경계 필터링 강도를 약하게(혹은 강하게) 설정할 수 있으며 그 일 실시 예로 임의값을 설정할 수 있다. 혹은 필터링을 수행하지 않을 수 있다.

현재 블록에 인접한 주변 블록의 부호화 모드가 인트라 스킵(intra_skip)모드일 경우, 현재 블록과 주변 블록의 인트라 예측 방향이 같을 때는 경계 필터링 강도를 ‘0’으로 설정하고 다른 경우에는 경계 필터링 강도를 ‘1’로 설정하거나 그 이외의 값(2,3,4)으로 설정할 수 있다. 혹은 경계 필터링 강도를 약하게(혹은 강하게) 설정할 수 있으며 그 일 실시 예로 임의값을 설정할 수 있다. 혹은 필터링을 수행하지 않을 수 있다.

도 18은 본 발명의 일 실시예에 따른 현재 블록과 주변 블록의 예측 방향 및 매크로블록 경계를 도시한 도면이다.

예를 들어, 도 18을 참조하면, 현재 블록(X)의 수직 매크로 블록 경계에 대하여 디블록킹의 필터링 강도를 설정하고 할 때, 주변 블록(A)의 예측 방향과 현재 블록(X)의 예측 방향이 동일하므로 디블록킹의 필터링 강도를 ‘0’으로 설정할 수 있다. 혹은 경계 필터링 강도를 약하게(혹은 강하게) 설정할 수 있으며 그 일 실시 예로 임의값을 설정할 수 있다. 혹은 필터링을 수행하지 않을 수 있다. 이러한 예는 현재 블록(X)와 주변 블록(B)의 수평 경계에서도 동일하게 적용될 수 있다.

또한, 현재 블록이 인트라 스킵(intra_skip)모드이고 현재 블록에 대한 화면 내 예측 방향이 수평 방향일 경우, 수직 경계에 대한 경계 필터링 강도를 ‘0’으로 설정하거나 혹은 필터링을 수행하지 않는다. 또한 현재 블록이 인트라 스킵(intra_skip)모드이고 현재 블록에 대한 화면 내 예측 방향이 수직 방향일 경우, 수평 경계에 대한 경계 필터링 강도를 ‘0’으로 설정하거나 혹은 필터링을 수행하지 않는다. 다른 경우에는 경계 필터링 강도를 약하게 주거나 혹은 필터링을 수행하지 않을 수 있다.

예를 들어, 8을 참조하면, 현재 블록이 인트라 스킵(intra_skip)모드이고 현재 블록에 대한 화면 내 예측 방향이 수평 방향일 경우, 수직 경계에 대한 경계 필터링 강도를 ‘0’으로 설정하거나 혹은 필터링을 수행하지 않는다. 이러한 예는 현재 블록(X)와 주변 블록(B)의 수평 경계에서도 동일하게 적용된다. 이외에도 경계필터링 강도(bS)를 결정하는 방법은 여러 가지가 될 수 있다.

도 19는 현재 블록의 부호화 모드 및 현재 블록 경계의 일 예를 도시한 도면이다. 상술한 방법을 도 19의 경계들에 각각 혹은 조합하여 적용할 수 있다.

도 19에서 현재 블록의 부호화 기본 단위인 매크로블록(혹은 임의의 블록) 경계에 상기 방법들을 적용할 수 있다. 또한 도 19에서 현재 블록의 내부의 블록(혹은 임의의 블록) 경계에서 상기 방법들을 적용할 수 있다.

예를 들어, 현재 블록(X)이 인트라 스킵이고, 현재 블록(X)의 좌측에 인접한 주변 블록(A)이 인트라 스킵인 경우, 양 블록(X, A)의 경계에는 디블록킹 필터를 적용하지 않을 수 있다.

현재 블록(A)이 인트라 스킵이고, 현재 블록(A)의 상측에 인접한 주변 블록(B)이 인트라 모드로 부호화된 경우, 양 블록(X, B)의 경계 필터링 강도를 ‘0’으로 설정할 수 있다. 혹은 경계 필터링 강도를 약하게(혹은 강하게) 설정할 수 있으며 그 일 실시 예로 임의값을 설정할 수 있다. 또는, 현재 블록(X)과 주변 블록(A, B)의 경계가 매크로블록의 경계와 일치하는지를 판단하고, 판단결과, 현재 블록(X)과 주변 블록(A, B)의 경계가 매크로블록의 경계와 일치하는 경우에는 경계 필터링 강도(bS)를 4로 결정할 수 있다. 반면, 현재 블록(X)과 주변 블록(A, B)의 경계가 매크로블록(Macro block, MB)의 경계가 아닌 경우에는 경계 필터링 강도(bS)를 3으로 결정할 수 있다.

이러한 디블록킹 필터는 영상에서의 블록킹 현상을 제거하여 영상의 주관적 화질을 향상시키는 역할을 수행한다. 하지만 깊이 정보 맵은 가상합성 영상을 생성하기 위해서 사용할 뿐 실제 디스플레이 장치로 출력되지 않는다. 따라서 이러한 깊이 정보 맵의 블록 경계는 주관적 화질 향상 측면이 아닌 가상 합성 영상을 화질을 향상시키기 위해 필요할 수 있다.

또한 깊이정보 맵의 디블록킹 필터(혹은 다른 필터링 방법들)는 두 블록 간의 부호화 모드(화면 내 예측인지 화면 간 예측인지), 두 블록 간의 참조 픽쳐의 동일성, 두 블록간의 움직임 정보가 아닌 현재 블록의 부호화 모드에 따라 필터링의 수행 여부 및 필터링의 강도를 설정할 필요가 있다.

예를 들어, 현재 블록이 객체 경계 부분을 부호화하는 플래인 기반 분할 부호화 방법으로 부호화되었을 경우, 객체의 경계 부분을 최대한 뭉개지 않게 하기 위해서는 블록 경계에 대하여 디블록킹 필터를 수행하지 않아야 한다.

또 다른 일 예로 현재 블록이 인트라 스킵 방법으로 부호화 되었고 현재 블록이 주변 왼쪽 블록의 인접한 픽셀로부터 수평 패딩(padding)되어 유도되었다면, 해당 블록의 수직 경계 주변의 픽셀 값은 동일할 수 있다. 따라서 이러한 블록 경계에는 디블록킹 필터를 수행하지 않을 수 있다.

반대로 이러한 경우에 수평 경계 주변의 픽셀값은 동일하지 않을 수 있으며, 이러한 블록 경계에는 디블록킹 필터를 수행하여야 한다. 즉, 현재 블록이 인트라 스킵 블록의 부호화되었다면 주변 블록의 상관성이 아닌 현재 블록의 화면 내 예측 방향에 따라 경계에 필터링을 수행할 수 있다. 혹은 현재 블록과 주변 블록의 부호화 모드 및 화면 내 예측 방향에 따라 필터링 수행 여부를 결정할 수 있다.

상술한 방법을 조합하여 디블록킹 필터의 필터링 강도(bS)를 유도하는 방법은 아래와 같다.

만약, 현재 블록의 경계가 수평 경계일 경우, 아래 과정을 적용될 수 있다.

만일 현재 블록의 경계를 기준으로 인접한 두 블록의 부호화 모드가 인트라 스킵이고(혹은 두 블록중 하나가 인트라 스킵이고) 해당 블록의 화면내 방향이 수직일 경우, 디블록킹 필터의 필터강 강도(bS)를 약하게 줄 수 있으며 일예로 ‘0’으로 설정할 수 있다.

만일 그렇지 않고 현재 블록의 경계를 기준으로 인접한 두 블록의 부호화 모드 중 하나라도 인트라 스킵이 적용된 블록이 존재하고 그리고 블록의 경계가 매크로 블록 경계(혹은 임의의 블록 경계)일 경우, 디블록킹 필터의 필터링 강도를 강하게 줄 수 있으며, 일 예로 ‘4’로 설정할 수 있다. 그렇지 않고 만일 블록의 경계가 매크로 블록 경계가 아니라면 디블록킹 필터의 필터강 강도(bS)를 약하게 줄 수 있으며 일예로 ‘0’으로 설정할 수 있다.

그리고, 다음으로, 도 17에서 설명한 과정을 따라 디블록킹 필터의 필터강 강도(bS)를 적용할 수 있다.

만일 현재 블록의 경계가 수직경계일 경우, 아래와 같은 과정이 적용될 수 있다.

만일 현재 블록의 경계를 기준으로 인접한 두 블록의 부호화 모드가 인트라 스킵이고(혹은 두 블록 중 하나가 인트라 스킵이고) 해당 블록의 화면 내 방향이 수평일 경우, 디블록킹 필터의 필터강 강도(bS)를 약하게 줄 수 있으며 일 예로 ‘0’으로 설정할 수 있다.

만일 그렇지 않고 현재 블록의 경계를 기준으로 인접한 두 블록의 부호화 모드 중 하나라도 인트라 스킵이 적용된 블록이 존재하고 그리고 블록의 경계가 매크로 블록 경계(혹은 임의의 블록 경계)일 경우, 디블록킹 필터의 필터링 강도를 강하게 줄 수 있으며, 일 예로 ‘4’로 설정할 수 있다. 그렇지 않고 만일 블록의 경계가 매크로 블록 경계가 아니라면 디블록킹 필터의 필터강 강도(bS)를 약하게 줄 수 있으며 일예로 ‘0’으로 설정할 수 있다.

다음은 도 17에서 설명한 과정을 따라 디블록킹 필터의 필터강 강도(bS)를 적용할 수 있다.

또는 도 8의 플레인 기반 분할 화면 내 예측 방법이 적용된 깊이 정보 맵의 객체 경계부분에는 디블록킹 필터의 필터강 강도(bS)를 약하게 설정할 수 있으며, 일예로 ‘0’으로 설정할 수 있다. 이 방법을 이용한 일 실시예로 디블록킹 필터의 필터링 강도(bS)를 유도하는 과정은 아래와 같이 수행될 수 있다. 하기 방법은 현재 블록의 경계가 수평경계 혹은 수직 경계 모두에 대하여 적용될 수 있다.

만일 현재 블록의 경계를 기준으로 인접한 두 블록의 부호화 모드가 플레인 기반 분할 화면 내 예측 방법이 적용된 블록이고(혹은 두 블록 중 하나일 경우) 그리고 블록의 경계가 매크로 블록 경계(혹은 임의의 블록 경계)일 경우, 디블록킹 필터의 필터링 강도를 약하게 줄 수 있으며, 일 예로 ‘1’로 설정할 수 있다.

그렇지 않고 만일 블록의 경계가 매크로 블록 경계가 아니라면 디블록킹 필터의 필터강 강도(bS)를 약하게 줄 수 있으며 일 예로 ‘0’으로 설정할 수 있다.

화면 내 부호화만 수행할 경우(I 프레임임 경우), 위의 제안된 방법들을 국제 동영상 표준인 H.264/AVC에 맞추어 구현하면 Macroblock layer(macroblock_layer) 신택스는 아래 표 1과 같다.

“mb_intra_skip_run”과 “mb_intra_skip_flag”는 현재의 깊이 정보 맵 블록이 예측 영상만으로 구성되었다는 것을 의미한다. 현재의 깊이 정보 맵 블록이 예측 영상만으로 구성되었다는 것은 인트라 스킵(intra skip) 모드라는 것으로 해석될 수 있으며, 또한 인트라 모드(NxN 예측 모드 여기서 N은 16, 8, 4 등) 이면서 차분 데이터가 없다는 것으로 해석될 수 있다.

“mb_intra_skip_run”은 엔트로피 부호화 방법이 컨텍스트 기반 적응적 가변 길이 부호화(CAVLC)에서 동작하고, “mb_intra_skip_flag”는 엔트로피 부호화 방법이 컨텍스트 기반 적응적 산술 부호화 CABAC에서 동작한다.

위 신택스에서 “moreDataFlag”는 현재 블록에 대하여 부호화 정보(예측 블록 생성 정보 및 잔여신호 블록 정보)를 파싱(parsing)할지를 나타낸다. 만일, “moreDataFlag”가 ‘1’이면, 현재 블록에 대한 부호화 정보를 파싱하고 ‘0’이면 현재 블록에 대한 부호화 정보를 파싱하지 않고 다음 블록으로 넘어간다.

“mb_intra_skip_flag”가 ‘1’일경우에는 “moreDataFlag”가 ‘0’으로 설정되므로 현재 블록에 대한 부호화 정보를 파싱하지 않고 다음 블록으로 넘어간다. 다시 말하면, “mb_intra_skip_flag”가 ‘1’일경우에는 현재 블록에 대하여 부호화 정보(예측 블록 생성 정보 및 잔여신호 블록 정보)를 파싱(parsing)하지 않는다.

또한, 화면 내 부호화와 화면 간 부호화를 모두 수행할 경우(I 혹은 P 혹은 B 프레임임 경우), 위의 제안된 방법들을 국제 동영상 표준인 H.264/AVC에 맞추어 구현하면 Macroblock layer(macroblock_layer) 신택스는 아래 표 2과 같다.

“mb_intra_skip_flag”는 현재의 깊이정보 맵 블록이 예측 영상만으로 구성되었다는 것을 의미한다. 만약 mb_intra_skip_flag”가 ‘1’일 경우에는 차분 블록 데이터를 파싱(parsing)하지 않는다. 그렇지 않고 mb_intra_skip_flag”가 ‘0’일 경우에는 기존 방법대로 차분 블록 데이터를 파싱(parsing)한다. 여기서 차분 블록의 데이터를 파싱하지 않는 다는 것을 인트라 스킵(intra skip) 모드라는 것으로 해석될 수 있으며, 또한 인트라 모드(NxN 예측 모드 여기서 N은 16, 8, 4 등)이면서 차분 데이터가 없다는 것으로 해석될 수 있다.

위 신택스에서 “mb_intra_skip_flag”가 ‘1’일경우에는 “mb_type”과 “sub_mb_pred( mb_type )”과 “mb_pred( mb_type )”과 “coded_block_pattern”과 “transform_size_8x8_flag”과 “mb_qp_delta”과 “residual()” 등이 파싱되지 않는다. 즉, “mb_intra_skip_flag”가 ‘1’일경우에는 현재 블록에 대하여 부호화 정보(예측 블록 생성 정보 및 잔여신호 블록 정보)를 파싱(parsing)하지 않는다.

표 2의 신택스를 slice_data() 신택스 적용하면 표 3 내지 표 5와 같이 표현될 수 있다.

표 3 내지 표 5에서 “moreDataFlag”는 현재 블록에 대하여 부호화 정보(예측 블록 생성 정보 및 잔여신호 블록 정보)를 파싱(parsing)할지를 나타낸다.

만일, “moreDataFlag”가 ‘1’이면, 현재 블록에 대한 부호화 정보를 파싱하고 ‘0’이면 현재 블록에 대한 부호화 정보를 파싱하지 않고 다음 블록으로 넘어간다.

“mb_intra_skip_flag”가 ‘1’일경우에는 “moreDataFlag”가 ‘0’으로 설정되므로 현재 블록데 애한 부호화 정보를 파싱하지 않고 다음 블록으로 넘어간다. 다시 말하면, “mb_intra_skip_flag”가 ‘1’일경우에는 현재 블록에 대하여 부호화 정보(예측 블록 생성 정보 및 잔여신호 블록 정보)를 파싱(parsing)하지 않는다.

도 20은 본 발명의 일 실시예에 따른 비디오 부호화 장치의 구성을 나타내는 제어 블록도이다. 도 20은 화소간 상관성이 높은 영상에 대한 화면 내 부호화시 현재 블록 영상을 주변 블록을 이용한 예측 블록만으로 구성하는 방법의 부호화 장치를 도시한 도면이다.

예측영상 생성부(310)에서는 화면 내 예측 과정을 통해 예측 블록을 생성하거나 혹은 화면 간 예측 과정을 통해 예측 블록을 생성한다. 자세한 생성 방법은 상기 절에 자세히 설명하였다.

예측영상 선택부(320)에서는 예측영상 생성부(310)에서 생성한 예측 영상들 중에서 가장 부호화 효율이 우수한 것을 선택하며, 예측 영상 선택 정보는 비트스트림에 포함된다.

감산부(330)에서는 현재 블록 영상을 예측 블록 영상과 차분하여 차분 블록 영상을 생성한다.

부호화 판단부(340)에서는 차분된 블록 영상 및 예측 블록의 생성 정보에 대한 부호화 여부를 결정하여, 부호화 여부 정보를 출력한다.

부호화부(350)에서는 부호화 판단부(340)에서 결정한 부호화 여부 정보에 따라 수행여부가 결정되며, 차분 블록 영상에 대해 변환 및 양자화 그리고 엔트로피 부호화과정을 거친 후 압축된 비트스트림을 출력한다.

다중화부(360)에서는 부호화부(350)에서 출력된 압축된 차분 블록 영상에 대한 비트스트림과 부호화 판단부(340)에서 출력된 부호화 여부 정보, 그리고 예측 영상 선택부(320)에서 출력된 예측 영상 선택 정보를 혼합하여 하나의 비트스트림을 출력한다.

도 21은 본 발명의 일 실시예에 따른 비디오 복호화 장치의 구성을 나타내는 제어 블록도이다. 도 21는 화소간 상관성이 높은 영상에 대한 화면 내 부호화시 현재 블록 영상을 주변 블록을 이용한 예측 블록만으로 구성하는 방법의 복호화 장치를 도시한 도면이다.

역다중화부(410)에서는 입력된 비트스트림에서 차분영상에 대한 정보가 비트스트림에 포함되었는지에 대한 복호화 여부 정보와 예측 영상 선택 정보를 복호화한다.

복호화 판단부(420)에서는 복호화 여부 정보에 따라 복호화부(430)의 수행여부를 결정한다.

복호화부(430)는 복호화 여부 정보에 따라 비트스트림에 차분 영상 및 예측 블록의 생성 정보에 대한 정보가 존재할 경우에만 수행된다. 복호화부(430)에서는 역양자화와 역변환 과정을 거쳐서 차분 영상을 복원한다.

예측 영상 생성부(460)에서는 화면 내 예측 과정을 통해 예측 블록을 생성하거나 혹은 화면 간 예측 과정을 통해 예측 블록을 생성한다. “

예측영상 결정부(450)에서는 예측 영상 선택 정보를 통해 예측영상 생성부(460)에서 생성한 예측 영상 중에서 현재 블록에 대한 최적의 예측 영상을 결정한다.

가산부(440)에서는 생성된 예측 영상과 복원된 차분 영상을 더하여 복원된 영상을 구성한다. 이때 복원된 차분 영상이 존재하지 않는다면 예측 영상이 복원된 영상으로 구성된다.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

100 : 영상 부호화 장치 111: 움직임 예측부
112: 움직임 보상부 120 : 인트라 예측부
115 : 스위치 125 : 감산기
130 : 변환부 140 : 양자화부
150 : 엔트로피 부호화부 160 : 역양자화부
170 : 역변환부 180 : 필터부

Claims (20)

1. 깊이 정보 맵의 화면 내 예측 시 현재 블록과 인접한 주변 블록의 예측 화소값을 상기 현재 블록의 화소값으로 생성하는 단계를 포함하는 영상 복호화 방법.
2. 제1항에 있어서,
   부호화된 차분 영상 정보와 복호화 여부 정보 그리고 예측 블록 영상 생성 방법에 대한 선택 정보를 역다중화하는 단계;
   입력된 비트스트림에서 현재 블록에 대한 복호화 여부 정보를 복호화하는 단계;
   상기 복호화 여부 정보에 따라 상기 현재 블록에 대한 차분 영상 정보 및 예측 블록의 생성 정보를 복호화하는 단계;
   예측 블록 영상 생성 방법에 대한 선택 정보에 따라 화면 내 예측 방법과 화면 간 예측 방법 중에서 예측 방법을 선택하는 단계;
   예측 영상을 구성하기 위해서 주변 블록으로부터 현재 블록에 대한 예측 방향을 유추하는 단계;
   상기 예측 방향에 따라 현재 블록 영상에 대한 예측 영상을 구성하는 단계를 포함하는 영상 복호화 방법.
3. 제2항에 있어서,
   상기 예측 영상을 구성하는 단계는,
   현재 블록에 인접한 주변 화소를 복사(패딩)하여 화면 내 예측 영상을 구성하는 방법, 현재 블록과 인접한 주변 화소의 특성을 고려하여 복사할 화소를 결정한 후 결정된 화소를 통해 현재 블록을 구성하는 방법 및 복수의 예측 방법들을 혼합하여 혼합한 값의 평균값 또는 각각의 방법에 따른 가중치의 합으로 예측 블록 영상을 구성하여 사용하는 방법 중 적어도 하나에 의하여 구성되는 것을 특징으로 하는 영상 복호화 방법.
4. 깊이 정보에 대한 영상 복호화 방법에 있어서,
   상기 깊이 정보의 현재 블록에 대한 예측 블록을 생성하는 단계와;
   상기 예측 블록에 기초하여 상기 현재 블록의 복원 블록을 생성하는 단계와;
   상기 복원 블록에 필터링을 수행하는 단계를 포함하고,
   상기 필터링 수행 여부는 상기 현재 블록의 블록 정보 및 상기 현재 블록의 부호화 정보에 따라 결정되는 것을 특징으로 하는 영상 복호화 방법.
5. 제4항에 있어서,
   상기 부호화 정보는 상기 복원 영상 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대한 정보를 포함하고,
   상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대응되는 부분 중 적어도 하나에는 상기 필터링을 수행하지 않는 것을 특징으로 하는 영상 복호화 방법.
6. 제5항에 있어서,
   상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대응되는 부분 중 적어도 하나에는 디블록킹 필터, 샘플 적응형 보상(SAO; Sample Adaptive Offset) 필터, 적응형 루프 필터(ALF; Adaptive Loop Filter), 인루프 결합 시점간 깊이정보 필터링(JVDF; In-loop Joint inter-View Depth Filtering) 중 적어도 하나를 수행하지 않는 영상 복호화 방법.
7. 제4항에 있어서,
   상기 부호화 정보는 상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대한 정보를 포함하고,
   상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분에 대응되는 부분 중 적어도 하나에는 약한 필터링이 수행되는 것을 특징으로 하는 영상 복호화 방법.
8. 제4항에 있어서,
   상기 복원 블록에 대한 업샘플링을 수행하는 단계를 포함하고,
   상기 업샘플링은 하나의 샘플값을 기설정된 개수의 샘플값으로 패딩하는 것을 특징으로 하는 영상 복호화 방법.
9. 제8항에 있어서,
   상기 업샘플링은 상기 복원 블록 내에서 동일 깊이를 갖는 부분, 배경이 되는 부분 및 객체 내부에 대응되는 부분 중 적어도 하나에서 수행되지 않는 것을 특징으로 하는 영상 복호화 방법.
10. 제4항에 있어서,
    상기 복원 블록에 필터링을 수행하는 단계는
    인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하는 단계;
    상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하는 단계를 포함하고,
    상기 경계 필터링 강도를 결정하는 단계는
    인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 스킵(intraskip) 부호화되었는지를 판단하는 단계와;
    상기 두 개의 블록이 모두 인트라 스킵(intraskip) 부호화되지 않은 것으로 판단되는 경우, 인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 부호화되었는지를 판단하는 단계와;
    상기 두 개의 블록이 모두 인트라 부호화되지 않은 것으로 판단되는 경우, 상기 두 개의 블록 중에서 적어도 하나의 블록이 직교 변환 계수를 갖는지를 판단하는 단계와;
    상기 두 개의 블록이 모두 직교 변환 계수를 갖지 않는 것으로 판단되는 경우, 상기 두 개의 블록에 대하여 움직임 벡터의 x축 성분 또는 y축 성분의 차의 절대값 중에서 적어도 하나가 1(혹은 4)이상이 되거나 또는 움직임 보상이 다른 참조 프레임에 기초하여 수행되었는지를 판단하는 단계와;
    상기 움직임 벡터의 차의 절대값이 모두 1(혹은 4)보다 작고 또한 상기 움직임 보상이 같은 참조 프레임에 기초하여 수행되었는지를 판단하는 단계를 포함하는 것을 특징으로 하는 영상 복호호 방법.
11. 제10항에 있어서,
    인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 스킵(intraskip) 부호화되었을 경우 경계 필터링 강도(bS)를 0으로 결정하는 것을 특징으로 하는 영상 복호호 방법.
12. 제10항에 있어서,
    인접한 두 블록 중 한 블록이 인트라 스킵(intraskip) 부호화 모드이고 다른 블록이 일반적인 부호화 모드(인트라 혹은 인터)로 판단되는 경우 및 일반적인 부호화 모드에서 직교 변환 계수가 적어도 하나 존재할 경우에는 경계 필터링 강도(bS)를 1, 2, 3, 4 중 어느 하나로 결정하는 것을 특징으로 하는 영상 복호화 방법.
13. 제10항에 있어서,
    인접한 두 블록이 모두 일반적인 부호화 모드(인트라 혹은 인터)로 판단되는 경우 및 일반적인 부호화 모드에서 직교 변환 계수가 적어도 하나 존재하지 않는 경우에는 경계 필터링 강도를 0, 1, 2, 3 중 어느 하나로 결정하는 것을 특징으로 하는 영상 복호화 방법.
14. 제4항에 있어서,
    상기 현재 블록의 예측 모드가 차분 정보가 존재하지 않는 인트라 스킵인 경우,
    상기 예측 블록을 생성하는 단계는 상기 현재 블록에 대한 예측 방향을 상기 현재 블록과 인접한 주변 블록으로부터 유추하는 것을 특징으로 하는 영상 복호화 방법.
15. 제4항에 있어서,
    상기 복원 블록에 필터링을 수행하는 단계는
    인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하는 단계;
    상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하는 단계를 포함하고,
    상기 경계 필터링 강도를 결정하는 단계는
    상기 현재 블록 및 상기 현재 블록에 인접한 주변 블록의 예측 방향이 같은 경우, 상기 경계 필터링 강도(bS)를 0으로 결정하는 것을 특징으로 하는 영상 복호화 방법.
16. 제4항에 있어서,
    상기 복원 블록에 필터링을 수행하는 단계는
    인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하는 단계;
    상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하는 단계를 포함하고,
    상기 경계 필터링 강도를 결정하는 단계는
    상기 현재 블록의 예측 모드가 차분 정보가 존재하지 않는 인트라 스킵이고, 현재 블록에 대한 화면 내 예측 방향이 수평 방향일 경우, 상기 현재 블록의 수직 경계에 대한 상기 경계 필터링 강도를 ‘0’으로 설정하고,
    상기 현재 블록의 예측 모드가 차분 정보가 존재하지 않는 인트라 스킵이고, 현재 블록에 대한 화면 내 예측 방향이 수직 방향일 경우, 상기 현재 블록의 수평 경계에 대한 상기 경계 필터링 강도를 ‘0’으로 설정하고 는 것을 특징으로 하는 영상 복호화 방법.
17. 제4항에 있어서,
    상기 복원 블록에 필터링을 수행하는 단계는
    인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하는 단계;
    상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하는 단계를 포함하고,
    상기 경계 필터링 강도를 결정하는 단계는
    상기 현재 블록과 상기 현재 블록에 인접한 주변 블록의 경계가 매크로블록의 경계와 일치하는 경우, 상기 경계 필터링 강도를 ‘0’으로 설정하고 는 것을 특징으로 하는 영상 복호화 방법.
18. 깊이 정보에 대한 영상 복호화 장치에 있어서,
    상기 깊이 정보의 현재 블록에 대한 예측 블록을 생성하는 예측영상 생성부와;
    상기 예측 블록에 기초하여 상기 현재 블록의 복원 블록을 생성하는 가산부와;
    상기 복원 블록에 필터링을 수행하는 필터부를 포함하고,
    상기 필터부는
    인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하기 위한 경계 필터링 강도 결정부; 및 상기 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하기 위한 필터링 적용부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
19. 제18항에 있어서,
    상기 경계 필터링 강도 결정부는 인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 스킵(intraskip) 부호화되었을 경우 경계 필터링 강도(bS)를 0으로 결정하는 것을 특징으로 하는 영상 복호호 장치.
20. 제18항에 있어서,
    상기 경계 필터링 강도 결정부는 인접한 두 블록 중 한 블록이 인트라 스킵(intraskip) 부호화 모드이고 다른 블록이 일반적인 부호화 모드(인트라 혹은 인터)로 판단되는 경우 및 일반적인 부호화 모드에서 직교 변환 계수가 적어도 하나 존재할 경우에는 경계 필터링 강도(bS)를 1, 2, 3, 4 중 어느 하나로 결정하는 것을 특징으로 하는 영상 복호화 장치.
    

Images