KR20180008845A

KR20180008845A - 계층적 가변 블록 변환이 가능한 부호화 방법 및 장치 그리고 복호화 방법 및 장치

Info

Publication number: KR20180008845A
Application number: KR1020180004902A
Authority: KR
Inventors: 김종호; 김휘용; 김문철; 이진호; 이하현; 임성창; 정세윤; 조숙희; 최진수; 김진웅; 안치득; 이범식
Original assignee: 한국전자통신연구원; 한국과학기술원
Priority date: 2010-07-16
Filing date: 2018-01-15
Publication date: 2018-01-24
Also published as: KR101791158B1; KR101918957B1; KR20180008844A; KR20200096474A; KR101820348B1; KR102453953B1; KR20120008436A; KR20180008843A; KR20170122158A; KR20180123466A; KR101918958B1; KR20210150337A; KR101918956B1

Abstract

변환 부호화 방법 및 장치 그리고, 복호화 방법 및 장치가 제공된다. 변환 부호화 방법은, 미리 정의되거나 또는 적응적으로 결정된 변환 타입 정보에 따라 차분 블록을 변환할 수 있다. 그리고, 변환된 차분 블록들 중 어느 하나를 최종 블록으로 결정할 수 있다.

Description

계층적 가변 블록 변환이 가능한 부호화 방법 및 장치 그리고 복호화 방법 및 장치{ENCODING METHOD AND APPARATUS FOR TRANSFORMMING HIERARCHICAL VARIABLE BLOCK AND DECODING METHOD AND APPARATUS}

본 발명은 입력 영상을 복수의 블록으로 분할하고, 분할된 블록들 중 부호화 블록을 계층적으로 분할하여 변환 부호화하는 기술에 관한 것이다.

일반적으로, 화면간 예측 부호화를 수행하는 경우, 변환 부호화 방법은 예측 분할 블록에 모두 동일한 4×4 또는 8×8 변환 블록을 적용하여 변환 부호화한다.

예를 들어, 종래의 변환 부화화 방법은 16×16, 16×8, 8×16, 8×8, 4×8, 4×4 블록 모드에 대해 움직임 예측을 수행하여 차분 블록을 생성할 수 있다. 그리고, 4×4 또는 8×8 변환 블록을 이용하여 차분 블록을 변환 부호화할 수 있다. 이처럼, 종래의 변환 부호화 방법은 예측 모드에 관계없이 차분 블록에 모두 동일하게 변환 부호화를 수행함에 따라, 부호화 효율을 감소시킬 수 있다.

특히, 8×8 변환 블록을 이용하는 경우, 종래의 변환 부화화 방법은 예측 모드가 16×16, 16×8, 8×16, 8×8인 경우에만 변환 부호화를 수행할 수 있다는 한계가 존재한다.

이에 따라, 영상의 특성에 따라 변환 부호화를 다르게 적용하여 부호화 효율을 향상시킬 수 있는 기술이 요구된다.

본 발명은 부호화 블록의 크기에 맞는 변환 타입 정보를 생성하고, 변환 타입 정보에 기초하여 차분 블록을 변환 부호화하는 방법 및 장치, 복호화 방법 및 장치를 제공한다.

본 발명의 일실시예에 따른 부호화 방법은, 부호화 블록을 복수의 예측 모드 정보에 따라 예측 부호화하여 복수의 예측 블록들을 생성하는 단계, 상기 부호화 블록과 상기 복수의 예측 블록들을 이용하여 복수의 차분 블록들을 생성하는 단계, 미리 정의된 변환 타입 정보 또는 적응적으로 결정된 변환 타입 정보에 따라 상기 차분 블록들을 각각 변환하는 단계 상기 변환된 차분 블록들 중 어느 하나를 최종 블록으로 결정하는 단계를 포함할 수 있다.

또한, 상기 최종 블록으로 결정하는 단계는, 상기 변환된 차분 블록들 중 부호화 성능이 가장 좋은 어느 하나를 최종 블록으로 결정할 수 있다.

또한, 상기 변환된 차분 블록들의 율-왜곡 비용을 각각 계산하는 단계를 더 포함할 수 있다. 그러면, 상기 최종 블록으로 결정하는 단계는, 상기 계산된 율-왜곡 비용에 기초하여 상기 최종 블록을 결정할 수 있다.

또한, 상기 최종 블록으로 결정하는 단계는, 상기 계산된 율-왜곡 비용이 최소인 차분 블록을 최종 블록으로 결정하는 단계, 및 상기 최종 블록에 적용된 변환 타입 정보 및 예측 모드 정보의 전송 여부를 결정하는 단계를 포함할 수 있다.

또한, 상기 최종 블록에 적용된 변환 타입 정보 및 예측 모드 정보의 전송 여부를 결정하는 단계는, 상기 최종 블록에 적용된 변환 타입 정보 및 예측 모드 정보와, 부호화 블록에 인접한 주변 블록의 변환 타입 정보 및 예측 모드 정보에 기초하여 상기 최종 블록에 적용된 변환 타입 정보 및 예측 모드 정보를 전송할지 여부를 결정할 수 있다.

또한, 상기 최종 블록으로 결정하는 단계는, 상기 최종 블록에 적용된 변환 타입 정보 및 예측 모드 정보와, 부호화 블록의 패턴 정보(Coded Block Pattern: CBP)를 결합하여 부가 정보를 생성할 수 있다.

또한, 상기 차분 블록들을 각각 변환하는 단계는, 단위 블록의 크기, 부호화 블록의 크기, 및 주변 블록의 양자화 정보 중 적어도 하나를 이용하여 적응적으로 변환 깊이를 결정하는 단계, 및 상기 부호화 블록의 크기를 기준으로 상기 변환 깊이 마다 변환 블록의 크기를 결정하는 단계를 포함할 수 있다.

또한, 상기 최종 블록에 적용된 예측 모드 정보에 기초하여 상기 부호화 블록을 예측 부호화하여 최종 예측 블록을 생성하는 단계, 상기 최종 예측 블록과 상기 부호화 블록을 이용하여 최종 차분 블록을 생성하는 단계, 상기 최종 블록에 적용된 변환 타입 정보에 기초하여 상기 최종 차분 블록을 변환하는 단계, 및 상기 변환된 최종 차분 블록을 양자화 및 엔트로피 부호화하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 부호화 블록의 크기에 맞는 변환 타입 정보에 기초하여 차분 블록을 변환 부호화 함에 따라 부호화 효율을 향상시킬 수 있다.

본 발명에 따르면, 부호화 블록에 대해 미리 정의된 변환 타입 정보에 따라 차분 블록을 고정적으로 변환 부호화할 수 있다.

본 발명에 따르면, 부호화 블록에 따라 적응적으로 생성된 변환 타입 정보에 따라 차분 블록을 적응적으로 변환 부호화 할 수 있다.

도 1은 본 발명의 일실시예에 따른 변환 부호화 방법을 설명하기 위해 제공되는 흐름도이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치에서 최종 블록을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 3은 본 발명의 일실시예에 따른 부호화 장치에서 최종 블록의 변환 타입 정보에 기초하여 변환된 최종 차분 블록을 부호화하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 4는 본 발명의 일실시예에 따른 부호화 장치에서 부호화 블록에 적용 가능한 변환 타입 정보를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 부호화 장치에서 변환 블록의 크기가 예측 블록의 크기보다 큰 변환 블록을 적용하는 경우의 변환 타입 정보를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 변환 복호화 방법을 설명하기 위해 제공되는 흐름도이다.
도 8은 본 발명의 일시시예에 따른 복호화 장치의 세부 구성을 도시한 블록도이다.
도 9는 본 발명의 일시시예에 따른 부호화 블록의 패턴 정보(CBP)를 이용하는 구성을 설명하기 위해 제공되는 도면이다.

이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 변환 부호화 방법을 설명하기 위해 제공되는 흐름도이다.

도 1에 따르면, 101 단계에서, 부호화 장치는, 입력 영상을 복수의 블록들로 분할할 수 있다. 예를 들어, 부호화 장치는, 입력 영상을 복수의 단위 블록으로 분할할 수 있다. 여기서, 단위 블록은 부호화 블록 들 중 최대 크기를 갖는 블록으로서, 최상위 부호화 블록을 의미할 수 있다.

이어, 102 단계에서, 부호화 장치는, 최대 변환 크기 및 분할 깊이를 결정할 수 있다.

일례로, 부호화 장치는 단위 블록과 단위 블록의 예측 블록을 이용하여 생성한 차분 블록에 적용할 부호화 블록의 최대 변환 크기 및 분할 깊이를 결정할 수 있다. 이때, 부호화 장치는, 단위 블록의 크기에 기초하여 최대 변환 크기와 분할 깊이를 결정할 수 있다. 또한, 부호화 장치는, 주변 블록의 양자화 정보를 이용하여 최대 변환 크기와 분할 깊이를 결정할 수도 있다.

그리고, 103 단계에서, 부호화 장치는, 단위 블록을 복수의 부호화 블록으로 분할 할 수 있다. 이때, 부호화 장치는, 최대 변환 크기 및 분할 깊이에 기초하여 단위 블록을 복수의 부호화 블록들로 분할할 수 있다.

이어, 104 단계에서, 부호화 장치는, 부호화 블록에 대한 복수의 예측 블록을 생성할 수 있다. 이때, 부호화 장치는, 복수의 예측 모드에 따라 부호화 블록을 예측 부호화하여 복수의 예측 블록을 생성할 수 있다.

일례로, 부호화 장치는, 화면간 예측 모드 또는 화면내 예측 모드를 이용하여 부호화 블록을 예측 부호화하여 예측 블록을 생성할 수 있다. 여기서, 화면간 예측 모드는, 32×32, 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 등의 예측 모드를 포함할 수 있다. 그리고, 화면내 예측 모드는 DC 예측 모드, 수직(Vertical) 예측 모드, 수평(Horizontal) 예측 모드 등 다양한 방향성 예측 모드들을 포함할 수 있다.

먼저, 화면간 예측 모드를 이용하는 경우, 부호화 장치는 16×16 예측 모드를 적용한 경우의 예측 블록, 16×8 예측 모드를 이용한 경우의 예측 블록, … , 4×4 예측 모드를 이용한 경우의 예측 블록을 생성할 수 있다. 그리고, 화면내 예측 모드를 이용하는 경우, 부호화 장치는 DC 예측 모드를 이용한 경우의 예측 블록, 수직 예측 모드를 이용한 경우의 예측 블록, 수평 예측 모드를 이용한 경우의 예측 블록 등을 생성할 수 있다.

그리고, 105 단계에서, 부호화 장치는 예측 블록과 부호화 블록을 이용하여 차분 블록을 생성할 수 있다. 이때, 부호화 장치는 각 예측 블록과 부호화 블록의 차를 통해 차분 블록을 생성할 수 있다.

일례로, 5개의 예측 모드가 이용되어 5개의 예측 블록이 생성된 경우, 부호화 장치는, 부호화 블록에서 예측 블록 1을 감산하여 차분 블록 1을 생성하고, 부호화 블록에서 예측 블록 2를 감산하여 차분 블록 2를 생성하고, … 부호화 블록에서 예측 블록 5를 감산하여 차분 블록 5를 생성할 수 있다.

이어, 106 단계에서, 부호화 장치는 미리 정의된 변환 타입 정보 또는 적응적으로 결정된 변환 타입 정보에 따라 복수의 차분 블록들을 각각 변환할 수 있다. 여기서, 변환 타입 정보는 변환 블록의 크기 및 변환 깊이를 포함할 수 있다. 이때, 변환 타입 정보는 단위 블록의 크기, 부호화 블록의 크기, 및 주변 블록의 양자화 정보 중 적어도 하나에 기초하여 미리 정의될 수도 있고, 적응적으로 결정될 수도 있다. 여기서, 주변 블록은 부호화 블록과 인접하게 위치하는 블록을 의미한다.

또한, 변환 타입 정보는 단일 변환 타입으로 미리 정의되거나, 적응적으로 결정될 수도 있고, 복수의 변환 타입으로 미리 정의되거나, 적응적으로 결정될 수도 있다. 이때, 변환 타입은 트리 구조 또는 계층적 구조를 가질 수 있다.

일례로, 단일 변환 타입으로 미리 정의된 변환 타입 정보를 이용하는 경우, 16×16 예측 모드에 대응하는 변환 블록의 크기가 16×16, 변환 깊이가 1로 미리 정의될 수 있다. 그러면, 부호화 장치는 차분 블록을 16×16 변환 블록을 이용하여 변환할 수 있다.

다른 예로, 복수의 변환 타입으로 미리 정의된 변환 타입 정보를 이용하는 경우, 16×16 예측 모드에 대응하는 변환 블록의 크기가 16×16, 16×8, 8×16, 8×8, 변환 깊이가 2로 미리 정의될 수 있다. 그러면, 부호화 장치는, 차분 블록을 16×16 변환 블록을 이용하여 변환하고, 차분 블록을 16×8 변환 블록을 이용하여 변환하고, 차분 블록을 8×16 변환 블록을 이용하여 변환할 수 있다. 이외에, 부호화 블록이 64×64인 경우, 변환 블록의 크기가 64×64, 변환 깊이가 3 또는 변환 블록의 크기가 32×32, 변환 깊이가 2, 등으로 미리 정의될 수 있다. 그리고, 부호화 블록이 32×32인 경우, 변환 블록의 크기가 16×16, 변환 깊이가 2 또는 변환 블록의 크기가 8×8, 변환 깊이가 1, 등으로 미리 정의될 수 있다.

또 다른 예로, 부호화 장치는, 단위 블록의 크기, 부호화 블록의 크기, 및 주변 블록의 양자화 정보 중 적어도 하나에 기초하여 변환 깊이를 적응적으로 결정할 수 있다. 그리고, 부호화 장치는 부호화 블록의 크기를 기준으로 변환 깊이마다 변환 블록의 크기를 결정할 수 있다. 이때, 부호화 장치는 부호화 블록 내의 화소값 변화 또는 움직임 정보에 기초하여 적응적으로 변환 깊이 및 변환 블록의 크기를 결정할 수 있다. 예를 들어, 부호화 장치는, 부호화 블록내의 화소값 변화가 크거나, 또는 움직임이 많을수록 작은 블록 사이즈를 변환 블록의 크기로 결정할 수 있다. 그리고, 부호화 장치는, 부호화 블록내의 화소값 변화가 작거나, 또는 움직임이 적을수록 큰 블록 사이즈를 변환 블록의 크기로 결정할 수 있다. 이처럼, 부호화 장치는, 영상의 특성에 따라 적응적으로 변환 블록의 크기를 결정할 수 있다. 이어, 결정된 변환 블록을 이용하여 차분 블록을 변환할 수 있다.

그리고, 107 단계에서, 부호화 장치는, 복수의 차분 블록들 중에서 어느 하나를 최종 블록으로 결정할 수 있다. 이때, 부호화 장치는 차분 블록의 부호화 성능에 기초하여 복수의 차분블록들 중 어느 하나를 최종 블록으로 결정할 수 있다.

예를 들어, 부호화 장치는, 차분 블록의 율-왜곡 비용, 차분 블록의 차분값, 및 차분 블록의 변환 계수값 중 적어도 하나를 이용하여 최종 블록을 결정할 수 있다.

이어, 108 단계에서, 부호화 장치는, 최종 블록에 적용된 예측 모드 정보 및 변환 타입 정보를 전송할지 여부를 결정할 수 있다.

이때, 부호화 장치는, 주변 블록의 변환 타입 정보와, 최종 블록의 변환 타입 정보에 기초하여 최종 블록의 변환 타입 정보를 복호화 장치로 전송할지 여부를 결정할 수 있다. 마찬가지로, 부호화 장치는, 주변 블록의 예측 모드 정보와 최종 블록의 예측 모드 정보에 기초하여 최종 블록의 예측 모드 정보를 복호화 장치로 전송할지 여부를 결정할 수 있다. 여기서, 최종 블록은, 부호화 블록이다.

일례로, 부호화 장치는, 부호화 블록의 변환 타입 정보와 주변 블록의 변환 타입 정보를 비교하여 일치 여부를 판단할 수 있다. 이때, 일치하는 경우, 부호화 장치는, 부호화 블록의 변환 타입 정보를 복호화 장치로 전송하지 않을 수 있다. 마찬가지로, 부호화 장치는 부호화 블록의 예측 모드 정보와 주변 블록의 예측 모드 정보를 비교하여 일치 여부를 판단할 수 있다. 이때, 일치하는 경우, 부호화 장치는 부호화 블록의 예측 모드 정보를 복호화 장치로 전송하지 않을 수 있다. 그러면, 복호화 장치는 주변 블록의 변환 타입 정보 및 예측 모드 정보를 이용하여 부호화 블록을 복원할 수 있다.

이때, 부호화 블록의 변환 타입 정보 및 예측 모드 정보와 주변 블록의 변환 타입 정보 및 예측 모드 정보가 일치하지 않는 경우, 부호화 장치는, 부호화 블록의 변환 타입 정보 및 예측 모드 정보를 복호화 장치로 전송할 수 있다.

이어, 109 단계에서, 부호화 장치는, 부가 정보(Side Information)를 생성하여 전송할 수 있다.

일례로, 부호화 블록의 변환 타입 정보 및 예측 모드 정보와 주변 블록의 변환 타입 정보 및 예측 모드 정보가 일치하지 않는 경우, 부호화 장치는, 부호화 블록의 패턴 정보(Coded Block Pattern: CBP)와, 최종 블록에 적용된 변환 타입 정보 및 예측 모드 정보를 결합하여 부가 정보를 생성할 수 있다. 그리고, 부호화 장치는, 생성된 부가 정보를 복호화 장치로 전송할 수 있다.

이처럼, 부호화 장치는, CBP 정보와, 변환 타입 정보 및 예측 모드 정보를 결합함으로써 부가 정보의 양을 감소시킬 수 있다. 이때, 단일 변환 타입을 이용하는 경우, 부호화 장치는, 번호나 타입을 나타내는 부가 정보를 복호화 장치로 전송하지 않을 수 있다. 예를 들어, 변환 블록의 크기가 N×N이고, 변환 깊이가 1인 경우, 단일 변환 타입만을 사용하므로 부호화 장치는 부호화 블록의 변환 타입 정보 및 부호화 블록의 예측 모드 정보를 포함하는 부가 정보를 복호화 장치로 전송하지 않아도 된다.

도 2는 본 발명의 일실시예에 따른 부호화 장치에서 최종 블록을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.

도 2에 따르면, 201 단계에서, 부호화 장치는 차분 블록들 각각의 부호화 성능을 결정할 수 있다. 이때, 부호화 장치는, 부호화 성능을 결정하기 위해, 율-왜곡 비용, 차분값, 변환 계수값 등을 이용할 수 있다.

그리고, 202 단계에서, 부호화 장치는, 결정된 부호화 성능에 기초하여 변환된 복수의 차분 블록들 중 어느 하나를 최종 블록으로 결정할 수 있다.

일례로, 율-왜곡 비용을 이용하는 경우, 부호화 장치는 변환된 복수의 차분 블록들 각각의 율-왜곡 비용을 계산할 수 있다. 그리고, 부호화 장치는, 율-왜곡 비용이 최소인 차분 블록을 최종 블록으로 결정할 수 있다.

예를 들어, 변환된 차분 블록이 3개인 경우, 부호화 장치는 변환된 차분 블록 1의 율-왜곡 비용 1을 계산하고, 변환된 차분 블록 2의 율-왜곡 비용 2를 계산하고, 변환된 차분 블록 3의 율-왜곡 비용 3을 계산할 수 있다. 이어, 부호화 장치는 율-왜곡 비용 1 내지 3 중에서 최소인 율-왜곡 비용을 선택할 수 있다. 그리고, 부호화 장치는, 선택된 율-왜곡 비용에 해당하는 변환된 차분 블록을 최종 블록으로 결정할 수 있다.

다른 예로, 차분값을 이용하는 경우, 부호화 장치는, 변환된 복수의 차분 블록들 각각의 차분값을 계산할 수 있다. 그리고, 부호화 장치는, 계산된 차분값에 기초하여 최종 블록을 결정할 수 있다.

또 다른 예를, 변환 계수값을 이용하는 경우, 부호화 장치는, 변환된 복수의 차분 블록들 각각의 변환 계수값을 계산할 수 있다. 그리고, 부호화 장치는, 계산된 변환 계수값에 기초하여 최종 블록을 결정할 수 있다.

도 3은 본 발명의 일실시예에 따른 부호화 장치에서 최종 블록의 변환 타입 정보에 기초하여 변환된 최종 차분 블록을 부호화하는 구성을 설명하기 위해 제공되는 흐름도이다.

도 3에 따르면, 먼저, 301 단계에서, 부호화 장치는, 최종 블록에 적용된 예측 모드 정보에 기초하여 예측 블록을 생성할 수 있다.

이어, 302 단계에서, 부호화 장치는 상기 생성된 예측 블록과 부호화 블록을 이용하여 최종 차분 블록을 생성할 수 있다.

그리고, 303 단계에서, 부호화 장치는, 최종 블록에 적용된 변환 타입 정보에 기초하여 최종 차분 블록을 변환할 수 있다.

이어, 304 단계에서, 부호화 장치는, 변환된 최종 차분 블록을 양자화하고, 양자화된 최종 차분 블록을 엔트로피 부호화할 수 있다. 그리고, 부호화 장치는, 엔트로피 부호화를 통해 생성된 비트스트림을 복호화 장치로 전송할 수 있다.

도 3에서는, 최종 블록에 적용된 예측 모드 정보에 기초하여 최종 예측 블록을 생성하고, 최종 블록에 적용된 변환 타입 정보에 기초하여 최종 차분 블록을 변환하고, 변환된 최종 차분 블록을 양자화 및 엔트로피 부호화하는 구성에 대해 설명하였으나, 이는 실시예에 해당되며, 부호화 장치는 최종 예측 블록을 생성 및 최종 차분 블록을 변환하는 구성을 생략하고, 최종 블록을 바로 양자화 및 엔트로피 부호화할 수도 있다. 다시 말해, 부호화 성능 결정을 위해 율-왜곡 비용을 이용하는 경우, 변환된 차분 블록들의 율-왜곡 비용을 비교하는 과정에서, 부호화 장치는, 율-왜곡 비용이 최소인 차분 블록을 최종 블록으로 결정하고, 결정된 최종 블록을 양자화하고, 양자화된 최종 블록을 엔트로피 부호화할 수 있다.

도 4는 본 발명의 일실시예에 따른 부호화 장치에서 부호화 블록에 적용 가능한 변환 타입 정보를 도시한 도면이다. 도 4에서, 단위 블록의 크기는 8N×8N이고, 분할 깊이가 3이다.

도 4에 따르면, 분할 깊이가 3인 경우, 단위 블록(410)은 4N×4N 부호화 블록들로 분할되고, 4N×4N 부호화 블록은 2N×2N 부호화 블록들로 분할되고, 2N×2N 부호화 블록은 N×N 부호화 블록들로 분할될 수 있다.

먼저, 4N×4N 부호화 블록(430)에 대해 최대 변환 크기가 4N×4N, 변환 깊이가 3으로 미리 정의된 경우, 4N×4N 부호화 블록(430)에 적용 가능한 변환 타입은 431과 같을 수 있다. 이때, 4N×4N 부호화 블록(430)에 대해 최대 변환 크기가 2N×2N, 변환 깊이가 2로 미리 정의된 경우, 4N×4N 부호화 블록(430)에 적용 가능한 변환 타입은 432와 같을 수 있다.

그리고, 2N×2N 부호화 블록(440)에 대해 최대 변환 크기가 2N×2N, 변환 깊이가 2로 미리 정의된 경우, 2N×2N 부호화 블록(440)에 적용 가능한 변환 타입은 441과 같을 수 있다.

그리고, N×N 부호화 블록(450)에 대해 최대 변환 크기가 N×N, 변환 깊이가 1로 미리 정의된 경우, N×N 부호화 블록(450)에 적용 가능한 변환 타입은 451과 같을 수 있다. 다시 말해, N×N 부호화 블록(450)에 적용 가능한 변환 블록의 크기가 4개일 수 있다.

도 5는 본 발명의 일실시예에 따른 부호화 장치에서 변환 블록의 크기가 예측 블록의 크기보다 큰 변환 블록을 적용하는 경우의 변환 타입 정보를 도시한 도면이다.

도 5에 따르면, 4N×4N 부호화 블록(510)은 3개의 2N×2N 블록들과 4개의 N×N 블록들로 분할될 수 있다. 이때, 4N×4N 부호화 블록(510)에 대해 최대 변환 크기가 4N×4N, 변환 깊이가 3으로 미리 정의된 경우, 4N×4N 부호화 블록(510)에 적용 가능한 변환 타입은 520과 같을 수 있다.

도 6은 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록도이다.

도 6에 따르면, 부호화 장치(600)는 예측 블록 생성부(610), 차분 블록 생성부(620), 변환부(630), 최종 블록 결정부(640), 양자화부(650), 및 엔트로피 부호화부(660)를 포함할 수 있다.

먼저, 예측 블록 생성부(610)는 부호화 블록을 복수의 예측 모드 정보에 따라 예측 부호화하여 복수의 예측 블록들을 생성할 수 있다.

여기서, 예측 모드 정보는 화면간 예측 모드, 화면내 예측 모드를 포함할 수 있다. 그리고, 화면간 예측 모드는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 등의 예측 모드를 포함할 수 있다. 그리고, 화면내 예측 모드는 DC 예측 모드, 수직(Vertical) 예측 모드, 수평(Horizontal) 예측 모드 등을 포함할 수 있다.

차분 블록 생성부(620)는 부호화 블록과 복수의 예측블록들을 이용하여 복수의 차분 블록들을 생성할 수 있다. 예를 들어, 차분 블록 생성부(620)는 부호화 블록과 복수의 예측블록들 각각을 감산하여 복수의 차분 블록들을 생성할 수 있다.

변환부(630)는 미리 정의된 변환 타입 정보 또는 적응적으로 결정된 변환 타입 정보에 따라 차분 블록들을 각각 변환할 수 있다. 이때, 변환부(630)는 단위 블록의 크기, 부호화 블록의 크기, 및 주변 블록의 양자화 정보 중 적어도 하나를 이용하여 미리 정의되거나 결정된 변환 타입 정보에 따라 차분 블록들을 각각 변환할 수 있다.

여기서, 변환 타입 정보는 변환 블록의 크기 및 변환 깊이를 포함할 수 있다. 그리고, 변환 타입 정보는 단일 변환 타입 또는 복수의 변환 타입으로 미리 정의되거나, 결정될 수 있다. 이때, 복수의 변환 타입을 이용하는 경우, 변환 타입 정보는 트리 구조 또는 계층적 구조를 가질 수 있다.

일례로, 변환부(630)는 단위 블록의 크기, 부호화 블록의 크기, 및 주변 블록의 양자화 정보 중 적어도 하나를 이용하여 변환 깊이를 결정할 수 있다. 그리고, 변환부(630)는 부호화 블록의 크기를 기준으로 변환 깊이마다 변환 블록의 크기를 결정할 수 있다. 이어, 변환부(630)는 결정된 변환 블록의 크기를 이용하여 부호화 블록을 변환할 수 있다.

최종 블록 결정부(640)는 변환된 차분 블록들 각각의 부호화 성능을 결정할 수 있다. 예를 들어, 최종 블록 결정부(640)는 율-왜곡 비용, 차분값, 변환 계수값 등을 이용하여 부호화 성능을 결정할 수 있다. 그리고, 최종 블록 결정부(640)는 부호화 성능이 가장 좋은 차분 블록을 최종 블록으로 결정할 수 있다.

일례로, 율-왜곡 비용을 이용하는 경우, 최종 블록 결정부(640)는 변환된 차분 블록들 각각의 율-왜곡 비용을 계산할 수 있다. 이때, 최종 블록 결정부(640)는 율-왜곡 비용이 작을수록 부호화 성능이 좋은 것으로 결정할 수 있다. 그러면, 최종 블록 결정부(640)는 율-왜곡 비용이 최소인 차분 블록을 최종 블록으로 결정할 수 있다.

그러면, 최종 블록이 결정된 경우, 예측 블록 생성부(610)는 최종 블록에 적용된 예측 모드 정보에 따라 부호화 블록을 예측 부호화하여 최종 예측 블록을 생성할 수 있다. 그리고, 차분 블록 생성부(620)는 생성된 예측 블록과 부호화 블록을 감산하여 최종 차분 블록을 생성할 수 있다. 그러면, 변환부(630)는 최종 차분 블록을 최종 블록에 적용된 변환 타입 정보에 따라 변환할 수 있다.

이어, 양자화부(650)는 변환된 최종 차분 블록을 양자화할 수 있다. 그리고, 엔트로피 부호화부(650)는 양자화된 최종 차분 블록을 엔트로피 부호화하여 비트스트림을 출력할 수 있다.

한편, 최종 블록 결정부(640)는 부호화 블록의 예측 모드 정보 및 부호화 블록의 변환 타입 정보를 복호화 장치로 전송할지 여부를 결정할 수 있다.

예를 들어, 최종 블록 결정부(640)는 부호화 블록의 변환 타입 정보 및 예측 모드 정보와, 주변 블록의 변환 타입 정보 및 예측 모드 정보가 일치하는지 여부를 비교할 수 있다. 그리고, 일치하는 경우, 최종 블록 결정부(640)는 부호화 블록의 변환 타입 정보 및 예측 모드 정보를 복호화 장치로 전송하지 않을 수 있다. 그리고, 일치하지 않는 경우, 최종 블록 결정부(640)는 부호화 블록의 변환 타입 정보 및 예측 모드 정보를 복호화 장치로 전송할 수 있다. 이때, 복호화 장치로 전송되는 부가 정보의 비트량을 감소시키기 위해, 부호화 장치는 부호화 블록의 변환 타입 정보 및 예측 모드 정보와, 부호화 블록의 패턴 정보(CBP)를 결합하여 부가 정보를 생성할 수 있다. 이어, 부호화 장치는 생성된 부가 정보를 복호화 장치로 전송할 수 있다.

이처럼, 변환 타입은 예측 블록의 크기에 따라 고정된 것이 아니라, 차분 블록을 계층적으로 가변 블록 변환함에 따라 영상의 변환에 유연하게 적응할 수 있다. 예를 들어, 도 10을 참조하면, 16×16 부호화 블록 내에서 4×4, 8×8 변환 타입이 혼합되어 적용되거나, 8×16 변환 타입이 적용되는 등과 같이 가변 블록 변환(1020)이 가능하다. 다시 말해, 16×16 부호화 블록 내에서 변환 타입이 4×4, 8×8 두 종류로만 고정되어 분할 변환(1010)하지 않고, 영상의 특성에 따라 다양한 크기로 가변 블록 변환할 수 있다.

도 7은 본 발명의 일실시예에 따른 변환 복호화 방법을 설명하기 위해 제공되는 흐름도이다.

도 7에 따르면, 먼저, 701단계에서, 복호화 장치는 부호화 장치로부터 비트스트림을 수신할 수 있다.

이어, 702 단계에서, 복호화 장치는 부호화 블록의 변환 타입 정보 및 예측 모드 정보를 획득할 수 있다. 여기서, 부호화 블록의 변환 타입 정보는, 최종 블록에 적용된 변환 타입 정보이고, 부호화 블록의 예측 모드 정보는, 최종 블록에 적용된 예측 모드 정보일 수 있다.. 그리고, 변환 타입 정보는 변환 블록의 크기 및 변환 깊이를 포함할 수 있다.

일례로, 복호화 장치는 부호화 장치로부터 부가 정보를 수신할 수 있다. 여기서, 부가 정보는 부호화 블록의 변환 타입 정보 및 부호화 블록의 예측 모드 정보와, 부호화 블록의 패턴 정보가 결합된 형태일 수 있다. 그러면, 복호화 장치는 부가 정보로부터 부호화 블록의 변환 타입 정보 및 부호화 블록의 예측 모드 정보를 획득할 수 있다.

다른 예로, 부호화 블록의 변환 타입 정보 및 예측 모드 정보와, 주변 블록의 변환 타입 정보 및 예측 모드 정보가 일치하여, 부호화 장치로부터 부호화 블록의 변환 타입 정보 및 예측 모드 정보가 수신되지 않은 경우, 복호화 장치는 주변 블록의 변환 타입 정보 및 예측 모드 정보를 획득할 수 있다.

이어, 703 단계에서, 복호화 장치는, 획득된 변환 타입 정보 및 예측 모드 정보를 이용하여 차분 블록을 복원할 수 있다. 이때, 복호화 장치는, 최종 블록의 변환 타입 정보 및 예측 모드 정보를 이용하여 차분 블록을 복원할 수 있다. 또한, 복호화 장치는, 주변 블록의 변환 타입 정보 및 예측 모드 정보를 이용하여 차분 블록을 복원할 수도 있다.

일례로, 복호화 장치는 엔트로피 복호화된 블록을 역양자화할 수 있다. 그리고, 복호화 장치는, 역양자화된 블록을 상기 획득된 변환 타입 정보에 따라 역변환하여 차분 블록을 복원할 수 있다.

그리고, 704 단계에서, 복호화 장치는, 상기 획득된 예측 모드 정보를 이용하여 엔트로피 복호화된 블록의 예측 블록을 생성할 수 있다.

이어, 705 단계에서, 복호화 장치는 복호화 블록의 예측 블록과, 역변환을 통해 생성된 차분 블록을 더하여 부호화 블록을 복원할 수 있다.

도 8은 본 발명의 일시시예에 따른 복호화 장치의 세부 구성을 도시한 블록도이다.

도 8에 따르면, 복호화 장치는, 엔트로피 복호화부(810), 정보 획득부(820), 역양자화 및 역 변환부(830), 예측 블록 생성부(840), 및 복원부(850)를 포함할 수 있다.

엔트로피 복호화부(810)는 부호화 장치로부터 수신한 비트스트림을 엔트로피 복호화할 수 있다.

그러면, 정보 획득부(820)는 엔트로피 복호화된 블럭으로부터 최종 블록의 변환 타입 정보 및 최종 블록의 예측 모드 정보를 획득할 수 있다. 여기서, 변환 타입 정보는 변환 블록의 크기 및 변환 깊이를 포함할 수 있다.

역양자화 및 역변환부(830)는 엔트로피 복호화된 블록을 역양자화할 수 있다. 그리고, 역양자화 및 역변환부(830)는 역양자화된 블록을 최종 블록의 변환 타입 정보에 따라 역변환하여 차분 블록을 복원할 수 있다.

그리고, 예측 블록 생성부(840)는 최종 블록의 예측 모드 정보에 기초하여 엔트로피 복호화된 블록의 예측 블록을 생성할 수 있다.

그러면, 복원부(850)는 생성된 예측 블록과 복원된 차분 블록을 더하여 부호화 블록을 복원할 수 있다.

한편, 정보 획득부(820)는 단위 블록의 크기, 부호화 블록의 크기, 및 주변 블록의 양자화 정보 중 적어도 하나에 기초하여 변환 타입 정보를 적응적으로 결정할 수도 있다. 이때, 변환 타입 정보는 단위 블록의 크기, 부호화 블록의 크기, 및 주변 블록의 양자화 정보 중 적어도 하나에 기초하여 미리 정의될 수도 있다. 그러면, 정보 획득부(820)는 미리 정의되거나, 또는 적응적으로 결정된 변환 타입 정보에 기초하여 최종 블록의 변환 타입 정보와 최종 블록의 예측 모드 정보를 획득할 수 있다.

이때, 부호화 장치에서 최종 블록의 변환 타입 정보 및 예측 모드 정보와, 부호화 블록의 패턴 정보(CBP)를 결합하여 생성한 부가 정보를 전송한 경우, 정보 획득부(820)는 부가 정보에서 부호화 블록의 패턴 정보(CBP)를 분리하여 최종 블록의 변환 타입 정보 및 예측 모드 정보를 획득할 수도 있다. 예를 들어, 정보 획득부(820)는 아래의 표 1과 같이 부호화 블록의 패턴 정보를 추출함에 따라 최종 블록의 변환 타입 정보 및 예측 모드 정보를 획득할 수 있다.

for(j=0; j<4; j++)
{
if(cbp&(1<<j))
{
T8_flag[j] = T8_flag;
}else{
T8_flag[j] = 0;
}
}

표 1에서, j는 변환 블록의 번호(0: 도 9의 좌측 위쪽, 3: 도 9의 우측 아래쪽 블록), T8_flag는 부호화 장치에서 전송된 부가 정보에 포함된 변환 타입 정보, T8_flag[]는 부호화 블록의 패턴 정보(CBP)를 이용하여 각 8×8 블록에 해당하는 변환 타입 정보이다.

표 1에 따르면, 전송된 2비트 부가 정보가 부호화 블록의 패턴 정보를 이용하여 각 변환 블록에 대해 총 4비트로 복원될 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

610: 예측 블록 생성부
620: 차분 블록 생성부
630: 변환부
640: 최종 블록 결정부
650: 양자화부
660: 엔트로피 부호화부

Claims

부호화 블록에 대해 예측을 수행하여 예측 블록을 생성하는 예측 블록 생성부;
상기 부호화 블록과 상기 예측 블록에 기초하여 상기 부호화 블록에 대한 차분 블록을 생성하는 차분 블록 생성부; 및
상기 차분 블록을 부호화하는 부호화부를 포함하고,
상기 부호화부는,
상기 차분 블록에 대해 변환을 수행할 지 여부를 결정하고, 상기 차분 블록에 대해 변환을 수행하는 것으로 결정된 경우, 상기 변환을 수행하기 위한 변환 타입 정보에 기초하여 상기 변환을 수행하고, 상기 차분 블록에 대해 양자화를 수행하고, 상기 차분 블록에 대해 엔트로피 부호화를 수행하며,
상기 변환 타입 정보는 변환 블록의 크기를 포함하고,
상기 변환 블록의 크기는 상기 부호화 블록의 크기에 기초하여 결정되는 영상 부호화 장치.
제1항에 있어서,
상기 부호화부는,
상기 차분 블록에 대해 변환을 수행하지 않는 것으로 결정된 경우,
상기 차분 블록에 대한 변환을 스킵하고, 상기 차분 블록을 양자화하는 영상 부호화 장치.
제1항에 있어서,
상기 변환 타입 정보는 상기 부호화 블록의 크기에 기초하여 결정되는 영상 부호화 장치.
제1항에 있어서,
상기 변환 타입 정보는 계층적 트리 구조에 기반하여 결정되는 영상 부호화 장치.
제1항에 있어서,
상기 변환 타입 정보는 최대 변환 크기 또는 변환 깊이에 기초하여 결정되는 영상 부호화 장치.
비트스트림으로부터 부호화 블록에 대한 부호화된 차분 블록을 획득하고, 상기 부호화된 차분 블록을 복호화하는 복호화부;
상기 부호화 블록에 대해 예측을 수행하여 예측 블록을 생성하는 예측 블록 생성부; 및
상기 복호화된 차분 블록과 상기 생성된 예측 블록에 기초하여 상기 부호화 블록을 복원하는 복원부를 포함하고,
상기 복호화부는,
상기 차분 블록에 대해 엔트로피 복호화를 수행하고, 상기 차분 블록에 대해 역양자화를 수행하고, 상기 차분 블록에 대해 역변환을 수행할 지 여부를 결정하고, 상기 차분 블록에 대해 역변환을 수행하는 것으로 결정된 경우, 변환 타입 정보에 기초하여 상기 역변환을 수행하며,
상기 변환 타입 정보는 변환 블록의 크기를 포함하고,
상기 변환 블록의 크기는 상기 부호화 블록의 크기에 기초하여 결정되는 영상 복호화 장치.
제6항에 있어서,
상기 복호화부는,
상기 차분 블록에 대해 역변환을 수행하지 않는 것으로 결정된 경우,
상기 차분 블록을 역양자화하고, 상기 역양자화된 차분 블록에 대한 역변환은 스킵하는 영상 복호화 장치.
제6항에 있어서,
상기 변환 타입 정보는 상기 부호화 블록의 크기에 기초하여 결정되는 영상 복호화 장치.
제6항에 있어서,
상기 변환 타입 정보는 계층적 트리 구조에 기반하여 결정되는 영상 복호화 장치.
제6항에 있어서,
상기 변환 타입 정보는 최대 변환 크기 또는 변환 깊이에 기초하여 결정되는 영상 복호화 장치.
영상 부호화 장치에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체로서, 상기 영상 부호화 장치는,
부호화 블록에 대해 예측을 수행하여 예측 블록을 생성하는 예측 블록 생성부;
상기 부호화 블록과 상기 예측 블록에 기초하여 상기 부호화 블록에 대한 차분 블록을 생성하는 차분 블록 생성부; 및
상기 차분 블록을 부호화하는 부호화부를 포함하고,
상기 부호화부는,
상기 차분 블록에 대해 변환을 수행할 지 여부를 결정하고, 상기 차분 블록에 대해 변환을 수행하는 것으로 결정된 경우, 상기 변환을 수행하기 위한 변환 타입 정보에 기초하여 상기 변환을 수행하고, 상기 차분 블록에 대해 양자화를 수행하고, 상기 차분 블록에 대해 엔트로피 부호화를 수행하며,
상기 변환 타입 정보는 변환 블록의 크기를 포함하고,
상기 변환 블록의 크기는 상기 부호화 블록의 크기에 기초하여 결정되는 컴퓨터 판독 가능한 기록 매체.