KR101427516B1 - 변환 계수의 분포에 기반한 예측 방법 및 장치 - Google Patents

변환 계수의 분포에 기반한 예측 방법 및 장치 Download PDF

Info

Publication number
KR101427516B1
KR101427516B1 KR1020130010845A KR20130010845A KR101427516B1 KR 101427516 B1 KR101427516 B1 KR 101427516B1 KR 1020130010845 A KR1020130010845 A KR 1020130010845A KR 20130010845 A KR20130010845 A KR 20130010845A KR 101427516 B1 KR101427516 B1 KR 101427516B1
Authority
KR
South Korea
Prior art keywords
coding unit
prediction
distribution
unit
residual signal
Prior art date
Application number
KR1020130010845A
Other languages
English (en)
Other versions
KR20140098893A (ko
Inventor
이영렬
이민희
전성훈
권령희
Original Assignee
세종대학교산학협력단
(주)필링크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단, (주)필링크 filed Critical 세종대학교산학협력단
Priority to KR1020130010845A priority Critical patent/KR101427516B1/ko
Publication of KR20140098893A publication Critical patent/KR20140098893A/ko
Application granted granted Critical
Publication of KR101427516B1 publication Critical patent/KR101427516B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

변환 계수의 분포에 기반하여 예측 단위를 결정하는 예측 방법 및 장치가 개시된다. 변환 계수의 분포에 기반한 예측 방법은 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 분포에 기반하여 예측 모드 스킵 조건을 결정하는 단계와, 코딩 단위(CU)를 구획한 예측 단위(PU)에 대해 예측 모드 스킵 조건에 상응한 율-왜곡값(RD cost)의 계산을 통하여 화면 간 예측 또는 화면내 예측을 수행하는 예측 단위를 결정하는 단계를 포함한다. 따라서, 동영상 부호화 과정에서 변환 계수의 분포에 따라 예측 모드 스킵 조건을 설정하여 동영상 부호화의 속도를 줄이고, 이렇게 부호화된 영상을 효율적으로 복호화할 수 있다.

Description

변환 계수의 분포에 기반한 예측 방법 및 장치{METHOD OF PREDICTION BASED ON DISTRIBUTION OF TRANSFORM COEFFICIENT AND APPARATUS THEREOF}
본 발명은 영상 부호화/복호화에 관한 것으로, 더욱 상세하게는 변환 계수의 분포에 기반하여 예측 단위를 결정하는 예측 방법 및 장치에 관한 것이다.
최근에는 스마트폰과 스마트TV의 등장으로 인하여 유·무선 통신 네트워크를 통한 동영상 데이터의 이용이 폭발적으로 증가하고 있는 추세이다. 동영상 데이터는 일반 텍스트 데이터에 비하여 정보 전달 능력이 뛰어난 반면에 용량이 매우 크기 때문에 제한된 대역폭을 가진 네트워크 채널에서 데이터를 전송하거나 재생 및 저장하는데 어려움이 존재한다. 또한, 어플리케이션의 요구에 따라서 방대한 동영상 정보가 적절히 처리되어야 하므로, 동영상을 처리하기 위한 시스템 또한 높은 사양이 요구된다.
이러한 문제점들을 해결하기 위하여, 동영상 데이터를 작은 정보로 압축시키는 기술인 동영상 부호화 알고리즘이 활발히 연구되어 오고 있다. 동영상 데이터는 시간적 (temporal), 공간적(spatial), 통계적(statistical) 중복성을 가지는 것을 특징으로 한다. 시간적 중복성은 연속되는 프레임간의 중복성을 의미하며, 연속되는 프레임의 화소들은 매우 높은 상관도를 가진다. 공간적 중복성은 프레임 내에 존재하는 중복성을 의미하며, 하나의 화소의 밝기 값은 이웃하는 화소들의 밝기 값과 높은 상관도를 가진다. 마지막으로, 통계적 중복성은 부호화된 데이터들 간의 중복성을 의미하는데, 화소들의 밝기 값의 확률 분포에 의한 중복성을 말한다. 동영상 부호화를 위하여, 상기 3가지 중복성을 제거함으로써 방대한 양의 동영상 데이터를 보다 작은 양의 데이터로 압축할 수 있다.
현재까지 연구된 동영상 압축과 관련된 대표적인 국제 표준에는 ISO/IEC의 엠팩(MPEG) 시리즈와 ITU-T의 H.26x 시리즈 및 최근 표준화가 완료단계에 있는 HEVC(High Efficiency Video Codig)이 있다.
HEVC는 코딩 단위(CU: Coding Unit), 예측 단위(PU: Prediction Unit), 변환 단위(TU: Transform Unit)의 개념을 정의하고 있다. 코딩 단위(CU)는 기존의 매크로블록(Macroblock)과 유사하나 가변적으로 부호화 단위의 크기를 조절하면서 부호화를 수행할 수 있도록 한다. 예측 단위(PU)는 더 이상 분할되지 않는 부호화 단위에서 결정되며 예측 종류(Prediction Type)와 예측 단위 분할(PU splitting) 과정을 통하여 결정될 수 있다. 변환 단위(TU)는 변환과 양자화를 위한 변환 단위로 예측 단위의 크기보다 클 수 있지만 부호화 단위보다는 클 수 없다.
특히, HEVC는 각 예측 단위(PU) 별로 예측을 수행하고 변환 및 양자화를 거쳐 복원된 PU와 원본 PU 사이의 차이를 나타내는 율-왜곡값(RD: Rate Distortion cost)을 계산하여 최적의 모드를 결정하여 부호화를 수행한다. 그러나, 이러한 과정으로 인하여 복잡도가 증가하는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 동영상 부호화 및 복호화 과정에서 변환 계수의 분포에 따라 예측 모드 스킵 조건을 설정하여 동영상 부호화의 속도를 줄일 수 있는 예측 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 동영상 부호화 과정에서 변환 계수의 분포에 따라 예측 모드 스킵 조건을 설정하여 고속으로 동영상을 부호화할 수 있는 인코더를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 변환 계수의 분포에 따라 예측 모드 스킵 조건을 설정하여 부호화된 동영상을 효과적으로 복호화할 수 있는 디코더를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 변환 계수의 분포에 기반한 예측 방법은, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 분포에 기반하여 예측 모드 스킵 조건을 결정하는 단계와, 코딩 단위(CU)를 구획한 예측 단위(PU)에 대해 예측 모드 스킵 조건에 상응한 율-왜곡값(RD cost)의 계산을 통하여 화면간 예측 또는 화면내 예측을 수행하는 예측 단위를 결정하는 단계를 포함한다.
여기에서, 상기 예측 모드 스킵 조건을 결정하는 단계는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율에 기반하거나, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 DC 계수가 차지하는 비율에 기반하거나, 코딩 단위(CU)의 제 1행 2열에 위치한 잔차 신호에 대한 변환 계수와 코딩 단위(CU)의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수의 크기에 기반하거나, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수에 기반하여 예측 모드 스킵 조건을 결정할 수 있다.
여기에서, 상기 예측 모드 스킵 조건을 결정하는 단계는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우를 제 1 분포로 하거나, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 DC 계수가 차지하는 비율이 미리 설정된 값 이상인 경우를 제 2 분포로 하거나, 코딩 단위(CU)의 제 1행 2열에 위치한 잔차 신호에 대한 변환 계수가 코딩 단위(CU)의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수보다 큰 경우를 제 3 분포로 하거나, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우를 제 4 분포로 할 수 있다.
여기에서, 제 1 분포 제 2 분포 또는 제 4 분포 중 적어도 하나에 해당하는 경우를 제 1 예측 모드 스킵 조건으로 하거나, 제 3 분포 또는 제 4 분포에 해당하는 경우를 제 2 예측 모드 스킵 조건으로 하거나, 제 4 분포에 해당하는 경우를 제 3 예측 모드 스킵 조건으로 할 수 있다.
여기에서, 상기 예측 단위를 결정하는 단계는, 코딩 단위(CU)를 구획한 예측 단위(PU)에 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건에 해당 여부를 순차적으로 판단하여 코딩 단위(CU)를 구획한 예측 단위(PU)에 대한 율-왜곡값(RD cost)의 계산에 대한 스킵(skip) 여부를 결정할 수 있다.
여기에서, 상기 예측 단위를 결정하는 단계는, 코딩 단위가 2N×2N 사이즈인 경우, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우인 경우 예측 단위를 2N×2N 사이즈로 결정하고, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우 예측 단위를 2N×N 사이즈 또는 N×2N 사이즈로 각각 결정할 수 있다.
여기에서, 상기 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위(CU)의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우, 2N×N 사이즈 또는 N×2N 사이즈의 예측 단위를 비대칭으로 구획하고, 비대칭으로 구획된 예측 단위에 대한 율-왜곡값(RD cost)의 계산을 수행하여 예측 단위를 결정할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 변환 계수의 분포에 기반한 예측을 이용한 비디오 부호화 장치는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 분포에 기반하여 예측 모드 스킵 조건을 결정하고, 예측 모드 스킵 조건에 상응한 율-왜곡값(RD cost)의 계산을 수행하는 율-왜곡값 계산부와, 율-왜곡값에 기반하여 화면간 예측 또는 화면내 예측을 수행하는 예측 단위를 결정하는 최적 모드 결정부를 포함한다.
상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 변환 계수의 분포에 기반한 예측을 이용한 비디오 복호화 장치는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 분포에 기반하여 결정된 예측 모드 스킵 조건을 판단하는 스킵 조건 판단부와, 예측 모드 스킵 조건에 상응하여 코딩 단위의 잔차 신호에 대한 역양자화 및 역변환의 수행 여부를 결정하는 스킵 여부 결정부를 포함한다.
여기에서, 상기 스킵 여부 결정부는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우, 코딩 단위의 잔차 신호에 대한 역양자화 및 역변환을 스킵할 수 있다.
상기와 같은 본 발명의 실시예에 따른 변환 계수의 분포에 기반한 예측 방법 및 장치를 이용할 경우에는, 변환 계수의 분포에 따라 예측 모드 스킵 조건을 설정함으로써, 예측 단위를 고속으로 결정할 수 있다.
또한, 변환 계수의 분포에 따른 예측 모드 스킵 조건을 이용한 예측 부호화를 이용하여 고속으로 동영상을 부호화할 수 있다.
또한, 변환 계수의 분포에 따른 예측 모드 스킵 조건을 이용하여 부호화된 동영상을 효과적으로 복호화할 수 있다.
도 1은 코딩 단위의 쿼드트리 구조를 나타내는 개념도이다.
도 2는 본 발명의 실시예에 따른 율-왜곡값을 계산하는 예측 단위의 순서를 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 부호화 장치를 설명하는 블록도이다.
도 4는 본 발명의 실시예에 따른 예측부의 구조를 더욱 상세하게 설명하는 블록도이다.
도 5는 본 발명의 실시예에 따른 변환 계수의 분포를 나타내는 개념도이다.
도 6은 본 발명의 실시예에 따른 율-왜곡값의 계산을 설명하는 흐름도이다.
도 7은 본 발명의 실시예에 따른 비대칭 예측 단위에 대한 율-왜곡값의 계산을 설명하는 흐름도이다.
도 8은 본 발명의 실시예에 따른 복호화 장치를 설명하는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면 간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 화면간 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 화면간 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 또한, 이하에 기재된 "픽처(picture)"라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 코딩 단위의 쿼드트리 구조를 나타내는 개념도이다.
도 1을 참조하면, 코딩 단위(CU)는 순환적 코딩 트리 구조를 가지며, 8×8 픽셀 크기의 최소 코딩 단위(SCU; Smallest Coding Unit)으로부터 64×64 픽셀 크기의 최대 코딩 단위(LCU; Largest Coding Unit)까지의 2N×2N 픽셀 크기의 가변적인 크기를 가질 수 있다.
순환적 코딩 트리 구조 하에서 코딩 단위(CU)는 최대 코딩 단위(LCU)부터 시작하여 4개의 균등한 크기의 블록으로 순환적으로 분할(recursive splitting)되는 것이 허용되며, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달할 때까지(즉 최소 코딩 단위(SCU)에 도달할 때까지), 코딩 단위(CU)는 순환적으로(recursive) 분할될 수 있다.
도 2는 본 발명의 실시예에 따른 율-왜곡값을 계산하는 예측 단위의 순서를 나타내는 개념도이다.
도 2를 참조하면, 순환적인 분할 과정이 완료되면 더 이상의 분할 없이 코딩 트리 구조의 말단 코딩 단위(CU)에 대하여 화면간 예측 또는 화면내 예측을 수행할 수 있다. 즉, 이러한 말단 코딩 단위(CU)가 화면내 예측 또는 화면간 예측의 기본 단위인 예측 단위(PU)로 사용된다.
즉, 예측 단위(PU)는 화면내 예측 또는 화면간 예측에 관한 정보를 전달하는데 사용되는 기본 단위이며, 화면내 예측 또는 화면간 예측을 위하여 예측 단위(PU)에 대해 파티션(partition) 분할이 수행된다.
2N×2N 사이즈의 코딩 단위(CU)의 경우, 화면간 예측을 위하여 2N×2N, 2N×N, N×2N 사이즈의 예측 단위(PU)와 비대칭적인 2N×nU, 2N×nD, nL×2N, nR×2N사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산하고, 화면내 예측을 위하여 2N×2N 사이즈 예측 단위(PU)에 대한 율-왜곡값을 계산한다.
또한, 8×8 사이즈의 코딩 단위(CU)의 경우, 예외적으로 화면간 예측을 위하여 8×8, 8×4, 4×8 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산하고, 화면내 예측을 위하여 8×8, 4×4 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산한다.
따라서, 예측 단위(PU)에 대한 파티션 분할을 통해 계산된 율-왜곡값을 통하여 화면간 예측 또는 화면내 예측을 위한 예측 단위(PU)를 결정할 수 있다.
예를 들어, cbf=1은 양자화된 변환 블록이 0이 아닌 적어도 하나의 계수를 포함하고 있음을 의미한다. 따라서, 예측 단위(PU)에 대한 인코딩 후에 cbf=0이 되면, 해당 예측 단위(PU)를 분할한 예측 단위(PU)에 대한 프로세스를 더 진행하는 것은 의미가 없다.
더욱 상세하게는, 화면간 예측을 위하여 2N×2N 사이즈의 예측 단위(PU)에 대한 cbf=0 이면, 2N×2N, 2N×N, N×2N 등과 같은 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산하는 것이 불필요할 수 있다.
도 3은 본 발명의 실시예에 따른 부호화 장치를 설명하는 블록도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 부호화 장치는 감산부(110), 변환부(120), 양자화부(130), 엔트로피 부호화부(140), 역양자화부(150), 역변환부(160), 가산부(170), 프레임 메모리(180) 및 예측부(190)를 포함한다.
감산부(110)는 제공받은 입력 영상인 부호화할 대상 영상(현재 영상)으로부터 예측부(190)에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상 간의 잔차 영상(residue image)를 생성한다.
변환부(120)는 감산부(110)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하는 기능을 한다. 여기서, 변환부(120)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform), 이산 사인 변환(Discrete Cosine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다.
양자화부(130)는 변환부(120)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(130)는 변환부(120)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다.
엔트로피 부호화부(140)는 양자화부(130)에 의하여 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성한다. 또한, 엔트로피 부호화부(140)는 양자화부(130)에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보인 참조 프레임의 색인정보, 움직임 벡터의 정보 등을 엔트로피 부호화할 수 있다.
역양자화부(150)는 양자화부(130)에 의해 산출된 양자화 결과값을 역양자화한다. 즉, 역양자화부(150)는 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)를 복원한다.
역변환부(160)는 역양자화부(150)에 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원하고, 가산부(170)는 예측부(190)에 의해 생성된 예측 영상에 역변화부에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성하여 프레임 메모리(180)에 저장한다.
예측부(190)는 화면내 예측(Intra Prediction)을 수행하는 화면내 예측부와 화면간 예측(Inter Prediction)을 수행하는 화면간 예측부를 포함하여 구성될 수 있다. 화면내 예측부는 현재 영상 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 픽셀을 이용하여 예측 블록을 생성하고, 화면간 예측부는 하나 이상의 과거 또는 미래 영상을 참조하여 현재 영상 내의 예측 블록을 생성한다. 즉, 예측부(190)는 화면내 또는 화면간 예측을 수행하여 예측 영상을 생성하는 기능을 한다. 여기서, 예측부(190)는 예측 단위(PU)를 기준으로 예측을 수행할 수 있다.
특히, 본 발명의 실시예에 따른 예측부(190)는 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 분포에 기반하여 예측 모드 스킵 조건을 결정하고, 예측 모드 스킵 조건에 상응한 율-왜곡값의 계산을 수행할 수 있다. 여기서, 예측 모드 스킵 조건은 순차적으로 분할되는 예측 단위(PU)에 대한 율-왜곡값의 계산 여부를 결정하는 조건을 의미할 수 있다.
또한, 예측부(190)는 율-왜곡값에 기반하여 화면간 예측 또는 화면내 예측을 수행하는 예측 단위(PU)를 결정할 수 있다.
도 4는 본 발명의 실시예에 따른 예측부의 구조를 더욱 상세하게 설명하는 블록도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 예측부(190)는 율-왜곡값 계산부(191) 및 최적 모드 결정부(192)를 포함한다.
율-왜곡값 계산부(191)는 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 분포에 기반하여 예측 모드 스킵 조건을 결정하고, 예측 모드 스킵 조건에 상응한 율-왜곡값의 계산을 수행할 수 있다.
한편, 율-왜곡값 계산부(191)는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 제 1 행 또는 제 1 열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율에 기반하여 예측 모드 스킵 조건을 결정할 수 있다.
2N×2N 사이즈의 예측 단위를 기준으로 설명하면 다음과 같다. 예측 단위(PU)는 변환 계수의 분포에 의해 결정될 수 있다.
예컨대, 코딩 단위(CU)의 첫 번째 열에 변환 계수가 집중되어 있다면, 코딩 단위(CU)의 좌측과 우측이 상대적으로 높은 상관 관계를 가지고 있는 것을 의미하기 때문에, N×2N의 사이즈의 예측 단위(PU)가 최적의 예측 단위(PU)로 결정될 수 있다.
또한, 코딩 단위의 첫 번째 행에 변환 계수가 집중되어 있다면, 코딩 단위(CU)의 상측과 하측이 상대적으로 높은 상관 관계를 가지고 있는 것을 의미하기 때문에, 2N×N의 사이즈의 예측 단위(PU)가 최적의 예측 단위(PU)로 결정될 수 있다.
이와 같이 최적의 예측 단위(PU)는 각각의 예측 단위에 대한 율-왜곡값을 계산하지 않더라고 변환 계수의 분포를 이용하여 결정할 수 있다.
또한, 율-왜곡값 계산부(191)는 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 DC 계수가 차지하는 비율에 기반하여 예측 모드 스킵 조건을 결정할 수 있다.
그리고, 율-왜곡값 계산부(191)는 코딩 단위(CU)의 제 1 행 2열에 위치한 잔차 신호에 대한 변환 계수와 코딩 단위(CU)의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수의 크기에 기반하여 예측 모드 스킵 조건을 결정하거나, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수에 기반하여 예측 모드 스킵 조건을 결정할 수 있다.
최적 모드 결정부(192)는, 코딩 단위가 2N×2N 사이즈인 경우, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우인 경우 예측 단위(PU)를 2N×2N 사이즈로 결정할 수 있다.
또한, 최적 모드 결정부(192)는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 제 1 행 또는 제 1 열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우, 예측 단위(PU)를 2N×N 사이즈 또는 N×2N 사이즈로 각각 결정할 수 있다.
도 5는 본 발명의 실시예에 따른 변환 계수의 분포를 나타내는 개념도이다.
도 5(a)를 참조하면, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 제 1 행 또는 제 1 열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우를 제 1 분포로 할 수 있다.
한편, 도 5(b)를 참조하면, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 DC 계수가 차지하는 비율이 미리 설정된 값 이상인 경우를 제 2 분포로 할 수 있다.
또한, 도 5(c)를 참조하면, 코딩 단위(CU)의 제 1행 2열에 위치한 잔차 신호에 대한 변환 계수가 코딩 단위(CU)의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수보다 큰 경우를 제 3 분포로 할 수 있으며, 도 5(d)를 참조하면, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우를 제 4 분포로 할 수 있다.
이와 같은 잔차 신호에 대한 변환 계수의 분포는 4개의 분포로 구분할 수 있고, 구분된 4개의 변환 계수의 분포를 이용하여 예측 단위(PU)에 대한 율-왜곡값의 계산 여부를 결정할 수 있다.
본 발명의 실시예에 따르면, 제 1 분포, 제 2 분포 또는 제 4 분포 중 적어도 하나에 해당하는 경우를 제 1 예측 모드 스킵 조건으로 하거나, 제 3 분포 또는 제 4 분포에 해당하는 경우를 제 2 예측 모드 스킵 조건으로 할 수 있다. 또한, 제 4 분포에 해당하는 경우를 제 3 예측 모드 스킵 조건으로 할 수 있다.
따라서, 코딩 단위(CU)를 구획한 예측 단위(PU)에 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건에 해당 여부를 순차적으로 판단하여 코딩 단위(CU)를 구획한 예측 단위(PU)에 대한 율-왜곡값의 계산에 대한 스킵(skip) 여부를 결정할 수 있다.
도 6은 본 발명의 실시예에 따른 율-왜곡값의 계산을 설명하는 흐름도이다.
도 6을 참조하면, 본 발명의 실시예에 따른 변환 계수의 분포에 기반한 예측 방법은, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 분포에 기반하여 예측 모드 스킵 조건을 결정할 수 있다.
또한, 코딩 단위(CU)를 구획한 예측 단위(PU)에 대해 예측 모드 스킵 조건에 상응한 율-왜곡값(RD cost)의 계산을 통하여 화면간 예측 또는 화면내 예측을 수행하는 예측 단위(PU)를 결정할 수 있다.
먼저, 2N×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산한다(S610). 그리고 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건에 해당 여부를 순차적으로 확인하여 예측 단위(PU)에 대한 율-왜곡값 계산 여부를 결정할 수 있다.
예를 들어, 2N×2N 사이즈의 예측 단위(PU)에 대해 제 1 예측 모드 스킵 조건의 만족 여부를 확인할 수 있다(S620). 2N×2N 사이즈의 예측 단위(PU)가 제 1 예측 모드 스킵 조건을 만족하면 2N×N, N×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값 계산을 스킵할 수 있다.
2N×2N 사이즈의 예측 단위(PU)가 제 1 예측 모드 스킵 조건을 만족하지 않으면, 2N×N 사이즈의 예측 단위(PU)에 대한 율-왜곡값 계산을 수행할 수 있다(S630). 2N×N 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산한 후, 제 2 예측 모드 스킵 조건의 만족 여부를 확인할 수 있다(S640). 2N×N 사이즈의 예측 단위(PU)가 제 2 예측 모드 스킵 조건을 만족하면, N×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값 계산을 스킵할 수 있다.
2N×N 사이즈의 예측 단위(PU)가 제 2 예측 모드 스킵 조건을 만족하지 않으면, N×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값 계산을 수행할 수 있다(S650). N×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값 계산한 후, 제 3 예측 모드 스킵 조건의 만족 여부를 확인할 수 있다(S660). N×2N 사이즈의 예측 단위(PU)가 제 3 예측 모드 스킵 조건을 만족하면, 비대칭 예측 단위(PU)에 대한 율-왜곡값 계산을 스킵할 수 있다.
또한, N×2N 사이즈의 예측 단위(PU)가 제 3 예측 모드 스킵 조건을 만족하지 않으면, 2N×nU, 2N×nD, nL×2N, nR×2N 사이즈의 비대칭적인 예측 단위(PU)에 대한 율-왜곡값을 계산할 수 있다(680).
또한, 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건이 각각의 예측 단위(PU)에서 만족되는 경우, 예측 단위(PU)를 4개의 N×N 사이즈의 예측 단위(PU)로 분할할 수 있다(S680).
따라서, 본 발명의 실시예에 따르면, 2N×2N 사이즈의 예측 단위(PU)가 분할되는 2N×2N, 2N×N, N×2N 사이즈의 예측 단위(PU)와 비대칭적인 2N×nU, 2N×nD, nL×2N, nR×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 모두 계산할 필요없이 변환 계수의 분포에 따른 예측 모드 스킵 조건을 적용하여 율-왜곡값의 계산을 선택적으로 스킵할 수 있다.
또한, 본 발명의 실시예에 따르면, 변환 계수의 분포에 따라 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건을 다양하게 설정할 수 있음은 물론이다.
도 7은 본 발명의 실시예에 따른 비대칭 예측 단위에 대한 율-왜곡값의 계산을 설명하는 흐름도이다.
도 7을 참조하면, 2N×2N 사이즈의 예측 단위(PU)에 있어서, 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건을 만족하지 않은 경우, 비대칭적인 2N×nU, 2N×nD, nL×2N, nR×2N사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산할 수 있다.
이러한 경우에 있어서도, 각각의 비대칭적인 예측 단위(PU)에 대한 율-왜곡값의 계산을 적응적으로 스킵할 수 있다.
예를 들어, 2N×nU 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산한 후(S710), 제 3 예측 모드 스킵 조건의 만족 여부를 확인할 수 있다(S720). 2N×nU 사이즈의 예측 단위(PU)가 제 3 예측 모드 스킵 조건을 만족하면, 2N×nD, nL×2N, nR×2N사이즈의 예측 단위(PU)에 대한 율-왜곡값의 계산을 스킵할 수 있다.
2N×nU 사이즈의 예측 단위(PU)가 제 3 예측 모드 스킵 조건을 만족하지 않으면, 2N×nD 사이즈의 예측 단위(PU)에 대한 율-왜곡값의 계산을 수행할 수 있다(S730). 2N×nD 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산한 후, 제 3 예측 모드 스킵 조건을 만족 여부를 다시 확인할 수 있다(S740). 2N×nD 사이즈의 예측 단위(PU)가 제 3 예측 모드 스킵 조건을 만족하면, nL×2N, nR×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값의 계산을 스킵할 수 있다.
2N×nD 사이즈의 예측 단위(PU)가 제 3 예측 모드 스킵 조건을 만족하지 않으면, nL×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값의 계산을 수행할 수 있다(S750). nL×2N 사이즈의 예측 단위(PU)에 대한 율-왜곡값을 계산한 후, 제 3 예측 모드 스킵 조건을 만족 여부를 다시 확인할 수 있다(S760). nL×2N 사이즈의 예측 단위(PU)가 제 3 예측 모드 스킵 조건을 만족하면, nR×2N사이즈의 예측 단위(PU)에 대한 율-왜곡값의 계산을 스킵할 수 있다.
nL×2N 사이즈의 예측 단위(PU)가 제 3 예측 모드 스킵 조건을 만족하지 않으면, nR×2N사이즈의 예측 단위(PU)에 대한 율-왜곡값의 계산을 수행할 수 있다(S770).
도 8은 본 발명의 실시예에 따른 복호화 장치를 설명하는 블록도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 복호화 장치는, 엔트로피 복호화부(210), 스킵 조건 판단부(220), 스킵 여부 결정부(230), 역양자화부(240), 역변환부(250), 가산부(260), 예측부(280) 및 프레임 메모리(270)를 포함한다.
엔트로피 복호화부(210)는 부호화 장치로부터 비트스트림을 수신하여 복호화할 수 있다. 즉, 엔트로피 복호화부(210)는 비트스트림을 복호화하여 양자화된 잔차 계수를 포함하는 복원 정보를 생성할 수 있다.
스킵 조건 판단부(220)는 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 분포에 기반하여 결정된 예측 모드 스킵 조건을 판단할 수 있다.
여기에서, 변환 계수의 분포는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 제 1 행 또는 제 1 열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우를 제 1 분포로 할 수 있다.
또한, 변환 계수의 분포는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수의 합(sum)에서 코딩 단위(CU)의 DC 계수가 차지하는 비율이 미리 설정된 값 이상인 경우를 제 2 분포로 할 수 있다.
또한, 변환 계수의 분포는, 코딩 단위(CU)의 제 1 행 2열에 위치한 잔차 신호에 대한 변환 계수가 코딩 단위(CU)의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수보다 큰 경우를 제 3 분포로 하거나, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우를 제 4 분포로 할 수 있다.
따라서, 스킵 조건 판단부(220)는, 코딩 단위(CU)를 구획한 예측 단위(PU)에 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건에 해당 여부를 순차적으로 판단하여 코딩 단위(CU)를 구획한 예측 단위(PU)에 대한 율-왜곡값의 계산에 대한 스킵(skip) 여부를 결정할 수 있다.
또한, 본 발명의 실시예에 따른 스킵 여부 결정부(230)는, 예측 모드 스킵 조건에 상응하여 코딩 단위(CU)의 잔차 신호에 대한 역양자화 및 역변환의 수행 여부를 결정할 수 있다. 즉, 스킵 여부 결정부(230)는, 코딩 단위(CU)의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우, 코딩 단위(CU)의 잔차 신호에 대한 역양자화 및 역변환을 스킵하도록 할 수 있다.
본 발명의 실시예에 따른 복호화 장치의 역양자화부(240), 역변환부(250), 가산부(260), 예측부(280) 및 프레임 메모리(270)는 도 3의 부호화 장치의 역양자화부(150), 역변환부(160), 가산부(170), 예측부(190) 및 프레임 메모리(180)와 대응되는 기능을 수행한다. 따라서, 역양자화부(240), 역변환부(250), 가산부(260), 예측부(280) 및 프레임 메모리(270)에 대한 상세한 설명은 도 3을 참조하여 이해될 수 있다 .
상술한 본 발명의 실시예에 따른 변환 계수의 분포에 기반한 예측 방법 및 장치는, 동영상 부호화 과정에서 변환 계수의 분포에 따라 예측 모드 스킵 조건을 설정하여 동영상 부호화의 속도를 줄이고, 이렇게 부호화된 영상을 효율적으로 복호화할 수 있다.
또한, 상술한 본 발명의 실시예에 따른 부호화 장치 및 복호화 장치의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
그리고, 본 발명에 따른 부호화 장치 및 복호화 장치는, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 감산부 120: 변환부
130: 양자화부 140: 엔트로피 부호화부
150: 역양자화부 160: 역변환부
170: 가산부 180: 프레임 메모리
190: 예측부 191: 율-왜곡값 계산부
192: 최적 모드 결정부
210: 엔트로피 복호화부 220: 스킵 조건 판단부
230: 스킵 여부 결정부 240: 역양자화부
250: 역변환부 260: 가산부
270: 프레임 메모리 280: 예측부

Claims (15)

  1. 비디오의 부호화/복호화 방법에 있어서,
    코딩 단위의 잔차 신호에 대한 변환 계수의 분포에 기반하여 예측 모드 스킵 조건을 결정하는 단계;
    상기 예측 모드 스킵 조건을 고려하여 상기 코딩 단위를 구획한 예측 단위에 대한 율-왜곡값(RD cost)의 계산 여부를 결정함으로써 화면간 예측 또는 화면내 예측을 수행하는 예측 단위를 결정하는 단계를 포함하는 변환 계수의 분포에 기반한 예측 방법.
  2. 청구항 1에 있어서, 상기 예측 모드 스킵 조건을 결정하는 단계는,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율에 기반하거나,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 DC 계수가 차지하는 비율에 기반하거나,
    상기 코딩 단위의 제 1행 2열에 위치한 잔차 신호에 대한 변환 계수와 상기 코딩 단위의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수의 크기에 기반하거나,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수에 기반하여 상기 예측 모드 스킵 조건을 결정하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측 방법.
  3. 청구항 1에 있어서, 상기 예측 모드 스킵 조건을 결정하는 단계는,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우를 제 1 분포로 하거나,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 DC 계수가 차지하는 비율이 미리 설정된 값 이상인 경우를 제 2 분포로 하거나,
    상기 코딩 단위의 제 1행 2열에 위치한 잔차 신호에 대한 변환 계수가 상기 코딩 단위의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수보다 큰 경우를 제 3 분포로 하거나,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우를 제 4 분포로 하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측 방법.
  4. 청구항 3에 있어서,
    상기 제 1 분포, 상기 제 2 분포 또는 상기 제 4 분포 중 적어도 하나에 해당하는 경우를 제 1 예측 모드 스킵 조건으로 하거나,
    상기 제 3 분포 또는 상기 제 4 분포에 해당하는 경우를 제 2 예측 모드 스킵 조건으로 하거나,
    상기 제 4 분포에 해당하는 경우를 제 3 예측 모드 스킵 조건으로 하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측 방법.
  5. 청구항 4에 있어서, 상기 예측 단위를 결정하는 단계는,
    상기 코딩 단위를 구획한 예측 단위에 대해 상기 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건에 해당 여부를 순차적으로 판단하여 상기 코딩 단위를 구획한 예측 단위에 대한 율-왜곡값(RD cost)의 계산에 대한 스킵(skip) 여부를 결정하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측 방법.
  6. 청구항 5에 있어서, 상기 예측 단위를 결정하는 단계는,
    상기 코딩 단위가 2N×2N 사이즈인 경우,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우인 경우, 상기 예측 단위를 2N×2N 사이즈로 결정하고,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 제 1 행 또는 제 1 열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우, 상기 예측 단위를 2N×N 사이즈 또는 N×2N 사이즈로 각각 결정하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측 방법.
  7. 청구항 6에 있어서, 상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 제 1 행 또는 제 1 열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우,
    2N×N 사이즈 또는 N×2N 사이즈의 상기 예측 단위를 비대칭으로 구획하고, 비대칭으로 구획된 상기 예측 단위에 대한 율-왜곡값(RD cost)의 계산을 수행하여 예측 단위를 결정하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측 방법.
  8. 비디오의 부호화에 있어서,
    코딩 단위의 잔차 신호에 대한 변환 계수의 분포에 기반하여 예측 모드 스킵 조건을 결정하고, 상기 예측 모드 스킵 조건을 고려한 상기 코딩 단위를 구획한 예측 단위에 대한 율-왜곡값(RD cost)의 계산 여부의 결정을 통하여 상기 율-왜곡값(RD cost)의 계산을 수행하는 율-왜곡값 계산부; 및
    상기 율-왜곡값에 기반하여 화면간 예측 또는 화면내 예측을 수행하는 예측 단위를 결정하는 최적 모드 결정부를 포함하는 변환 계수의 분포에 기반한 예측을 이용한 비디오 부호화 장치.
  9. 청구항 8에 있어서, 상기 율-왜곡값 계산부는,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율에 기반하거나,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 DC 계수가 차지하는 비율에 기반하거나,
    상기 코딩 단위의 제 1행 2열에 위치한 잔차 신호에 대한 변환 계수와 상기 코딩 단위의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수의 크기에 기반하거나,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수에 기반하여 상기 예측 모드 스킵 조건을 결정하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측을 이용한 비디오 부호화 장치.
  10. 청구항 8에 있어서, 상기 최적 모드 결정부는,
    상기 코딩 단위가 2N×2N 사이즈인 경우,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우인 경우, 상기 예측 단위를 2N×2N 사이즈로 결정하고,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우, 상기 예측 단위를 2N×N 사이즈 또는 N×2N 사이즈로 각각 결정하는 것을 특징으로 변환 계수의 분포에 기반한 예측을 이용한 비디오 부호화 장치.
  11. 비디오의 복호화에 있어서,
    코딩 단위의 잔차 신호에 대한 변환 계수의 분포에 기반하여 결정된 예측 모드 스킵 조건을 판단하는 스킵 조건 판단부; 및
    상기 예측 모드 스킵 조건에 상응하여 상기 코딩 단위의 잔차 신호에 대한 역양자화 및 역변환의 수행 여부를 결정하는 스킵 여부 결정부를 포함하되,
    상기 코딩 단위를 구획한 예측 단위에 대한 율-왜곡값(RD cost)의 계산 여부는 상기 예측 모드 스킵 조건에 의해 결정되는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측을 이용한 비디오 복호화 장치.
  12. 청구항 11에 있어서, 상기 변환 계수의 분포는,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 제 1행 또는 제 1열의 잔차 신호에 대한 변환 계수의 합(sum)이 차지하는 비율이 미리 설정된 값 이상인 경우를 제 1 분포로 하거나,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수의 합(sum)에서 상기 코딩 단위의 DC 계수가 차지하는 비율이 미리 설정된 값 이상인 경우를 제 2 분포로 하거나,
    상기 코딩 단위의 제 1행 2열에 위치한 잔차 신호에 대한 변환 계수가 상기 코딩 단위의 제 2행 1열에 위치한 잔차 신호에 대한 변환 계수보다 큰 경우를 제 3 분포로 하거나,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우를 제 4 분포로 하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측을 이용한 비디오 복호화 장치.
  13. 청구항 12에 있어서,
    상기 제 1 분포, 상기 제 2 분포 또는 상기 제 4 분포 중 적어도 하나에 해당하는 경우를 제 1 예측 모드 스킵 조건으로 하거나,
    상기 제 3 분포 또는 상기 제 4 분포에 해당하는 경우를 제 2 예측 모드 스킵 조건으로 하거나,
    상기 제 4 분포에 해당하는 경우를 제 3 예측 모드 스킵 조건으로 하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측을 이용한 비디오 복호화 장치.
  14. 청구항 13에 있어서, 상기 스킵 조건 판단부는,
    상기 코딩 단위를 구획한 예측 단위에 대해 상기 제 1 예측 모드 스킵 조건, 제 2 예측 모드 스킵 조건 및 제 3 예측 모드 스킵 조건에 해당 여부를 순차적으로 판단하여 상기 코딩 단위를 구획한 예측 단위에 대한 율-왜곡값(RD cost)의 계산에 대한 스킵(skip) 여부를 결정하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측을 이용한 비디오 복호화 장치.
  15. 청구항 12에 있어서, 상기 스킵 여부 결정부는,
    상기 코딩 단위의 잔차 신호에 대한 변환 계수를 양자화한 양자화 계수가 모두 0인 경우, 상기 코딩 단위의 잔차 신호에 대한 역양자화 및 역변환을 스킵하는 것을 특징으로 하는 변환 계수의 분포에 기반한 예측을 이용한 비디오 복호화 장치.
KR1020130010845A 2013-01-31 2013-01-31 변환 계수의 분포에 기반한 예측 방법 및 장치 KR101427516B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130010845A KR101427516B1 (ko) 2013-01-31 2013-01-31 변환 계수의 분포에 기반한 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130010845A KR101427516B1 (ko) 2013-01-31 2013-01-31 변환 계수의 분포에 기반한 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140098893A KR20140098893A (ko) 2014-08-11
KR101427516B1 true KR101427516B1 (ko) 2014-08-13

Family

ID=51745451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130010845A KR101427516B1 (ko) 2013-01-31 2013-01-31 변환 계수의 분포에 기반한 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101427516B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102084802B1 (ko) * 2014-10-28 2020-03-05 전자부품연구원 Hevc 인코더의 적응적 pu 모드 결정 방법
KR101695769B1 (ko) * 2015-07-10 2017-01-12 동국대학교 산학협력단 Hevc 인터 예측을 위한 예측 유닛 프루닝 방법 및 장치
MX2020002143A (es) * 2017-12-06 2020-07-20 Fujitsu Ltd Metodos y aparatos para codificar y decodificar informacion de modo y dispositivo electronico.

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110103276A (ko) * 2010-03-12 2011-09-20 호서대학교 산학협력단 Ｈ.264/ａｖｃ에서 매크로 블록의 부호화 모드 고속 결정방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110103276A (ko) * 2010-03-12 2011-09-20 호서대학교 산학협력단 Ｈ.264/ａｖｃ에서 매크로 블록의 부호화 모드 고속 결정방법

Also Published As

Publication number Publication date
KR20140098893A (ko) 2014-08-11

Similar Documents

Publication Publication Date Title
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
JP7163183B2 (ja) ビデオコード化のためのマルチタイプツリーフレームワーク
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
CN109547790B (zh) 用于在高效率视频编解码中处理分区模式的设备和方法
KR20180099614A (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
KR20150141177A (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20130051384A (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR102486026B1 (ko) 병렬 엔트로피 부호화/복호화 방법 및 장치
KR101530758B1 (ko) 적응적 필터링을 이용하는 인트라 예측 방법 및 장치
KR101427229B1 (ko) 적응적인 부호화 순서를 이용한 영상 부호화/복호화 장치 및 방법
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20170046112A (ko) 예측 모드에 기초한 변환 생략 정보의 엔트로피 복호화 방법 및 장치
KR101427516B1 (ko) 변환 계수의 분포에 기반한 예측 방법 및 장치
KR101596085B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20170111473A (ko) 화면 내 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR101911587B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20140127385A (ko) 부호화 유닛 분할 결정 방법
KR20130023444A (ko) 다단계 화면간 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20170111477A (ko) 화면 간 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
US9635372B2 (en) Coding format converter partially halting search for coding candidates
KR101307406B1 (ko) 참조 프레임을 압축하여 저장하는 영상 부호화/복호화 장치
KR20140082932A (ko) 다수 코어를 이용한 인터 예측 방법 및 장치
KR20180090975A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 5