KR101484057B1 - 영상 복호화 장치 - Google Patents

영상 복호화 장치 Download PDF

Info

Publication number
KR101484057B1
KR101484057B1 KR20147009926A KR20147009926A KR101484057B1 KR 101484057 B1 KR101484057 B1 KR 101484057B1 KR 20147009926 A KR20147009926 A KR 20147009926A KR 20147009926 A KR20147009926 A KR 20147009926A KR 101484057 B1 KR101484057 B1 KR 101484057B1
Authority
KR
South Korea
Prior art keywords
block
quantization
unit
quantization parameter
motion vector
Prior art date
Application number
KR20147009926A
Other languages
English (en)
Other versions
KR20140062704A (ko
Inventor
오수미
양문옥
Original Assignee
제닙 피티이.엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48288527&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101484057(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 제닙 피티이.엘티디. filed Critical 제닙 피티이.엘티디.
Publication of KR20140062704A publication Critical patent/KR20140062704A/ko
Application granted granted Critical
Publication of KR101484057B1 publication Critical patent/KR101484057B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 장치는 역스캔 패턴을 양자화 계수 성분들에 적용하여 변환 유닛의 사이즈를 갖는 양자화 블록을 생성하고, 양자화 파라미터를 생성하고, 상기 양자화 블록을 역양자화하여 변환 블록을 생성하는 역양자화부, 상기 변환 블록을 역변환하여 잔차 블록을 생성하는 역변환부, 움직임 정보를 유도하고, 예측 블록을 생성하는 인터 예측부 및 상기 잔차 블록과 인터 예측 블록을 이용하여 복원 블록을 생성하는 가산부를 포함한다. 상기 변환 유닛의 사이즈는 4x4보다 크고, 양자화 계수 성분들 각각은 서브셋 단위로 역스캔되어 복수개의 서브셋을 생성하고, 상기 복수개의 서브셋이 역스캔된다. 따라서, 참조픽쳐의 움직임 정보를 적응적으로 저장하고 시간 움직임 벡터 후보자를 적응적으로 생성함으로써 부호화 효율의 향상을 유지하면서 부호기와 복호기의 연산 복잡도를 낮출 수 있다. 또한, 각 서브셋에 대각선 스캔이 적용되어 잔차 블록의 부호화 비트량이 줄어들게 된다.

Description

영상 복호화 장치{IMAGE DECODING APPARATUS}
본 발명은 영상 복호화 장치에 관한 것으로, 보다 상세하게는 움직임 정보 및 양자화 정보를 이용하여 예측 블록과 잔차 블록을 생성하여 복원 블록을 생성하는 장치에 관한 것이다.
영상 압축 방법들에는 MPEG-2, MPEG-4 및 H.264/MPEG-4 AVC가 있다. 상기 방법들에 따르면, 하나의 픽쳐가 복수개의 매크로블록으로 분할되고, 인트라 예측 또는 인터 예측을 이용하여 예측 블록을 생성함으로써 각각의 매크로블록을 부호화한다. 원본 블록과 예측 블록의 잔차 블록이 변환되어 변환 블록을 생성하고, 변환 블록은 양자화 파라미터와 미리 정해진 양자화 매트릭스를 이용하여 양자화된다. 양자화 블록의 양자화 계수들은 미리 정해진 스캔 패턴을 이용하여 스캔되고 엔트로피 부호화된다. 상기 양자화 파라미터들은 매크로 블록마다 조절되고, 이전 양자화 파라미터를 이용하여 예측 부호화된다.
H.264/MPEG-4 AVC에서는, 연속되는 픽쳐들 간의 시간적 중복성을 제거하기 위해 움직임 예측이 이용된다. 시간적 중복성을 검출하기 위해서, 복수개의 참조 픽쳐들을 사용하여 현재 블록의 움직임을 예측하고, 움직임 보상을 수행하여 예측 블록을 생성한다. 움직임 정보는 적어도 하나의 참조 픽쳐 인덱스와 적어도 하나의 움직임 벡터를 포함한다.
H.264/MPEG-4 AVC에 따르면, 움직임 벡터들만이 인접 움직임 벡터들을 이용하여 예측되고 부호화되고, 참조픽쳐 인덱스들은 인접 참조픽쳐 인덱스들을 이용하지 않고 부호화된다.
그러나, 다양한 사이즈들이 인터 예측에 사용되면, 현재 블록의 움직임 정보와 하나 이상의 인접 블록들의 움직임 정보들 사이의 연관성이 증가하게 된다. 또한, 영상의 움직임이 거의 없거나 느리면, 픽쳐 사이즈가 커짐에 따라 현재 블록의 움직임 벡터와 참조 픽쳐 내의 인접 블록의 움직임 벡터와의 연관성도 커지게 된다. 또한, 다양한 코딩 유닛과 변환 유닛의 도입으로 인해 큰 사이즈의 양자화 블록을 스캔할 때 소요되는 잔차 블록의 부호화량이 증가하게 된다.
본 발명이 이루고자 하는 목적은 움직임 정보와 스캐닝 정보를 이용하여 예측 블록과 잔차 블록을 생성하여 복원 블록을 생성하는 장치를 제공하는데 있다.
본 발명에 따른 영상 복호화 장치는 수신된 비트스트림으로부터 양자화 계수 성분들과 인터 예측 정보를 추출하는 엔트로피 복호화부, 역스캔 패턴을 상기 양자화 계수 성분들에 적용하여 변환 유닛의 사이즈를 갖는 양자화 블록을 생성하는 역스캐닝부, 양자화 파라미터를 생성하고, 상기 양자화 블록을 역양자화하여 변환 블록을 생성하는 역양자화부, 상기 변환 블록을 역변환하여 잔차 블록을 생성하는 역변환부, 움직임 정보를 유도하고, 예측 블록을 생성하는 인터 예측부 및 상기 잔차 블록과 인터 예측 블록을 이용하여 복원 블록을 생성하는 가산부를 포함한다. 상기 변환 유닛의 사이즈는 4x4보다 크고, 양자화 계수 성분들 각각은 서브셋 단위로 역스캔되어 복수개의 서브셋을 생성하고, 상기 복수개의 서브셋이 역스캔된다.
본 발명에 따른 장치에서는 수신된 비트스트림으로부터 양자화 계수 성분들과 인터 예측 정보를 추출하는 엔트로피 복호화부, 역스캔 패턴을 상기 양자화 계수 성분들에 적용하여 변환 유닛의 사이즈를 갖는 양자화 블록을 생성하는 역스캐닝부, 양자화 파라미터를 생성하고, 상기 양자화 블록을 역양자화하여 변환 블록을 생성하는 역양자화부, 상기 변환 블록을 역변환하여 잔차 블록을 생성하는 역변환부, 움직임 정보를 유도하고, 예측 블록을 생성하는 인터 예측부 및 상기 잔차 블록과 인터 예측 블록을 이용하여 복원 블록을 생성하는 가산부를 포함한다. 상기 변환 유닛의 사이즈는 4x4보다 크고, 양자화 계수 성분들 각각은 서브셋 단위로 역스캔되어 복수개의 서브셋을 생성하고, 상기 복수개의 서브셋이 역스캔된다. 따라서, 참조픽쳐의 움직임 정보를 적응적으로 저장하고 시간 움직임 벡터 후보자를 적응적으로 생성함으로써 부호화 효율의 향상을 유지하면서 부호기와 복호기의 연산 복잡도를 낮출 수 있다. 또한, 각 서브셋에 대각선 스캔이 적용되어 잔차 블록의 부호화 비트량이 줄어들게 된다.
도 1은 본 발명에 따른 영상 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명에 따른 인터 예측 모드에서의 영상 데이터를 부호화하는 방법을 설명하는 순서도이다.
도 3은 본 발명에 따른 AMVP 모드에서의 움직임 정보를 부호화하는 방법을 설명하는 순서도이다.
도 4는 본 발명에 따른 공간 움직임 벡터 후보자 블록의 위치를 설명하는 개념도이다.
도 5는 본 발명에 따른 시간 후보자 블록의 위치를 설명하는 개념도이다.
도 6은 본 발명에 따른 영상 복호화 장치를 나타내는 블록도이다.
도 7은 본 발명에 따른 역스캔 패턴을 설명하는 개념도이다.
도 8은 본 발명에 따른 양자화 블록을 생성하는 방법을 설명하는 개념도이다.
도 9는 본 발명에 따른 인터 예측 모드에서의 영상을 복호화하는 방법을 설명하는 순서도이다.
도 10은 본 발명에 따른 AMVP 모드에서의 움직임 정보를 유도하는 방법을 설명하는 순서도이다.
도 11은 본 발명에 따른 인터 예측 모드에서의 잔차 블록을 생성하는 방법을 설명하는 순서도이다.
이하, 본 발명의 여러가지 실시예들을 예시적인 도면을 참조하여 상세히 설명한다. 본 발명은 다양한 변경을 가할수 있고 여러 가지 실시예를 가질 수 있는 바, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명에 따른 영상 부호화 장치 및 영상 복호화 장치는 개인 컴퓨터, 개인 이동 단말기, 이동 멀티미디어 재생기, 스마트폰 또는 무선 통신 터미널 등과 같이 사용자 터미널일 수 있다. 상기 영상 부호화 장치 및 영상 복호화 장치는 다양한 기기와 통신하는 통신 유닛과 영상을 부호화 또는 복호화하기 위하여 다양한 프로그램과 데이터를 저장하기 위한 메모리를 구비한다.
도 1은 본 발명에 따른 영상 부호화 장치(100)를 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 따른 영상 부호화 장치(100)는 픽쳐 분할부(110), 인트라 예측부(120), 인터 예측부(130), 변환부(140), 양자화부(150), 스캐닝부(160), 엔트로피 부호화부(170), 역양자화부(155), 역변환부(145), 후처리부(180), 픽쳐 저장부(190), 감산부(192) 및 가산부(194)를 포함한다.
픽쳐 분할부(110)는 픽쳐 또는 슬라이스를 복수개의 LCU(Largest Coding Unit)들로 분할하고, 상기 각각의 LCU를 하나 이상의 코딩 유닛으로 분할한다. LCU의 사이즈는 32x32, 64x64 또는 128x128일 수 있다. 픽쳐 분할부(110)는 각 코딩 유닛의 예측 모드 및 예측 유닛의 사이즈를 결정한다.
하나의 LCU는 하나 또는 복수개의 코딩 유닛(coidng unit)을 포함한다. 상기 LCU는 분할 구조를 나타내기 위해 재귀적 쿼드 트리 구조(recursive quadtree structure)를 갖는다. 코딩 유닛의 최대 사이즈 및 최소 사이즈를 나타내는 정보가 시퀀스 파라미터 셋(sequence parameter set)에 포함된다. 상기 분할 구조는 하나 또는 복수개의 분할 코딩 유닛 플래그(split_cu_flag)들을 이용하여 특정된다. 코딩 유닛은 2Nx2N의 사이즈를 갖는다. LCU가 64x64 블록이고, 최소 코딩 유닛(SCU:smallest coding unit)이 8x8 블록이면, 코딩 유닛의 사이즈는 64x64, 32x32, 16x16 또는 8x8일 수 있다.
코딩 유닛은 하나 또는 복수개의 예측 유닛(prediction unit)을 포함한다. 인트라 예측에서는 상기 예측 유닛의 사이즈는 2Nx2N 또는 NxN이다. 인터 예측에서는 상기 예측 유닛의 사이즈가 분할 모드에 의해 특정된다. 코딩 유닛이 대칭으로 분할되면, 분할 모드는 2Nx2N, 2NxN, Nx2N 또는 NxN이다. 코딩 유닛이 비대칭으로 분할되면, 분할 모드는 hNx2N, (2-h)Nx2N, 2NxhN 또는 2Nx(2-h)N이다.
코딩 유닛은 하나 또는 복수개의 변환 유닛(transform unit)을 포함한다. 변환 유닛은 분할 구조를 나타내기 위해 재귀적 쿼드 트리 구조(recursive quadtree structure)를 갖는다. 분할 구조는 하나 또는 복수개의 분할 변환 유닛 플래그(split_transform_flag)들에 의해 표현된다. 변환 유닛의 최대 사이즈 및 최소 사이즈를 나타내는 파라미터가 시퀀스 파라미터 셋에 포함된다. 색차 변환 유닛은 변환 유닛의 1/2의 폭과 1/2의 높이를 갖고, 색차 변환 유닛의 최소 사이즈는 4x4이다.
인트라 예측부(120)는 현재 예측 유닛의 인트라 예측모드를 결정하고, 상기 인트라 예측 모드를 이용하여 예측 블록을 생성한다.
인터 예측부(130)는 픽쳐 저장부(190)에 저장되어 있는 하나 이상의 참조 픽쳐들을 이용하여 현재 예측 유닛의 움직임 정보들을 결정하고, 상기 예측 유닛의 예측 블록을 생성한다. 상기 움직임 정보들은 참조 픽쳐들을 나타내는 하나 이상의 참조 픽쳐 인덱스들과 하나 이상의 움직임 벡터들을 포함한다.
변환부(140)는 현재 블록과 예측 블록을 사용하여 생성되는 잔차 신호를 변환하여 변환 블록을 생성한다. 상기 잔차 신호들은 변환 유닛 단위로 변환된다. 변환 매트릭스는 예측 모드 및 변환 유닛의 사이즈에 의해 결정된다. 상기 변환 매트릭스는 DCT 기반 정수 변환 매트릭스 또는 DST 기반 정수 변환 매트릭스이다. 인터 예측에서는 DCT 기반 정수 변환 매트릭스가 사용된다.
양자화부(150)는 상기 변환 블록을 양자화하기 위한 양자화 파라미터를 결정한다. 양자화 파라미터는 양자화 스텝 사이즈를 의미한다. 양자화 파라미터는 양자화 유닛마다 결정된다. 양자화 유닛의 사이즈는 변경될 수 있고 코딩 유닛의 허용 가능한 사이즈들 중 하나이다. 코딩 유닛의 사이즈가 양자화 유닛의 최소 사이즈보다 크거나 같으면, 상기 코딩 유닛은 양자화 유닛이 된다. 복수개의 코딩 유닛이 최소 사이즈의 양자화 유닛에 포함될 수도 있다. 양자화 유닛의 최소 사이즈는 픽쳐마다 결정되고, 양자화 유닛의 최소 사이즈를 특정하는 파라미터는 픽쳐 파라미터 셋(picture parameter set)에 포함된다.
양자화부(150)는 양자화 파라미터 예측자를 생성하고, 양자화 파라미터로부터 양자화 파라미터 예측자를 빼서 차분 양자화 파라미터를 생성한다. 상기 차분 양자화 파라미터는 부호화된다.
상기 양자화 파라미터 예측자는 인접 코딩 유닛들의 양자화 파라미터들 및 이전 코딩 유닛의 양자화 파라미터를 이용하여 다음과 같이 생성된다.
좌측 양자화 파라미터, 상측 양자화 파라미터 및 이전 양자화 파라미터가 상기 순서대로 검색된다. 적어도 2개의 양자화 파라미터들이 이용가능한 경우, 상기 순서로 검색되는 처음 2개의 이용 가능한 양자화 파라미터의 평균값을 양자화 파라미터 예측자로 설정하고, 하나의 양자화 파라미터만이 이용 가능한 경우에는 상기 이용 가능한 양자화 파라미터가 양자화 파라미터 예측자로 설정된다. 즉, 상기 상측 및 좌측 양자화 파라미터들이 이용 가능하면, 상기 상측 및 좌측 양자화 파라미터들의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 상측 및 좌측 양자화 파라미터들 중 하나만이 이용 가능하면, 상기 이용 가능한 양자화 파라미터와 상기 이전 파라미터의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 상측 및 좌측 양자화 파라미터들이 모두 이용 가능하지 않으면, 상기 이전 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정된다. 상기 평균값은 반올림한 값이다.
상기 차분 양자화 파라미터는 이진화 과정을 통해서 상기 차분 양자화 파라미터의 절대값을 나타내는 빈들과 상기 차분 양자화 파라미터의 부호를 나타내는 빈으로 변환되고, 상기 빈들은 산술 부호화된다. dQP의 절대값이 0이면 부호를 나타내는 빈은 생략될 수 있다. 트렁케이티드 유너리(truncated unary) 방식이 상기 절대값의 이진화 표현에 사용된다.
양자화부(150)는 양자화 매트릭스 및 양자화 파라미터를 이용하여 변환 블록을 양자화하여 양자화 블록을 생성한다. 양자화 블록은 역양자화/역변환부(180)로 제공된다.
스캐닝부(160)는 양자화 블록에 스캔 패턴을 적용한다.
인터 예측에서는 엔트로피 부호화를 위해 CABAC이 사용되면 대각선 스캔이 스캔 패턴으로 사용된다. 양자화 블록의 계수들은 3개의 양자화 계수 성분들로 분리된다. 상기 양자화 계수 성분들은 중요 계수들(significant coefficients), 계수 부호들(coefficient flags) 및 계수 레벨들(coefficient levels)이다. 대각선 스캔이 상기 계수 성분들 각각에 적용된다. 중요 계수는 대응하는 양자화 계수가 0인지 아닌지를 나타낸다. 계수 부호는 0이 아닌 양자화 계수의 부호를 나타낸다. 계수 레벨은 0이 아닌 양자화 계수의 절대값을 나타낸다.
변환 유닛의 사이즈가 미리 정해진 사이즈보다 크면, 상기 양자화 블록은 복수개의 서브셋들로 분할되고, 대각선 스캔이 각 서브셋에 적용된다. 각 서브셋의 중요 플래그들, 계수 부호들 및 계수 레벨들이 상기 대각선 스캔에 따라 각각 스캔된다. 상기 미리 정해진 사이즈는 4x4이다. 상기 서브셋은 16개의 변환 계수를 포함하는 4x4 블록이다.
서브셋들을 스캔하기 위한 스캔 패턴은 상기 각 서브셋의 양자화된 변환 계수들을 스캔하기 위한 스캔 패턴과 동일하다. 각 서브셋의 중요 플래그들, 계수 부호들 및 계수 레벨들은 역방향으로 스캔된다. 상기 서브셋들도 역방향으로 스캔된다.
0이 아닌 마지막 계수 위치를 나타내는 파라미터가 부호화되어 복호기로 전송된다. 상기 파라미터는 양자화 블록 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낸다. 넌제로 서브셋 플래그들(non-zero subset flags)이 첫번째 서브셋 및 마지막 서브셋 이외의 서브셋들에 대해 정의된다. 상기 첫번째 서브셋은 DC 계수를 포함한다. 상기 마지막 서브셋은 0이 아닌 마지막 양자화 계수를 포함한다. 상기 넌제로 서브셋은 서브셋이 0이 아닌 계수를 포함하는지를 나타낸다.
역양자화/역변환부(180)는 양자화 블록의 양자화된 변환 계수들을 역양자화하고, 역양자화 블록을 역변환하여 잔차 블록을 생성한다.
후처리부(190)는 복원된 픽쳐에서 발생하는 블록킹 아티펙트를 제거하기 위한 디블록킹 필터링 과정을 수행한다.
픽쳐 저장부(195)는 후처리부(190)로부터 후처리된 영상을 수신하고, 픽쳐 단위로 상기 영상을 저장한다. 픽쳐는 프레임 또는 필드일 수 있다.
엔트로피 부호화부(170)는 스캐닝부(160)로부터 수신되는 스캔된 계수 성분, 인트라 예측부(120)로부터 수신되는 인트라 예측 정보, 인터 예측부(130)로부터 수신되는 움직임 정보 등을 엔트로피 부호화한다.
도 2는 본 발명에 따른 영상 데이터를 부호화하는 방법을 설명하는 순서도이다.
현재 블록의 움직임 정보가 결정된다(S110). 현재 블록은 예측 유닛이다. 현재 블록의 사이즈는 코딩 유닛의 사이즈 및 분할 모드에 의해 결정된다.
움직임 정보는 예측 타입에 따라 달라진다. 예측 타입이 단방향 예측이면, 상기 움직임 정보는 참조 리스트 0의 픽쳐를 특정하는 참조 인덱스와 하나의 움직임 벡터를 포함한다. 예측 타입이 양방향 예측이면, 상기 움직임 정보는 참조 리스트 0의 픽쳐 및 참조 리스트 1의 픽쳐를 특정하는 2개의 참조 인덱스와 리스트 0 움직임 벡터 및 리스트 1 움직임 벡터를 포함한다.
상기 움직임 정보를 이용하여 현재 블록의 예측 블록이 생성된다(S120). 움직임 벡터가 화소 위치를 가리키면, 상기 움직임 벡터에 의해 특정되는 참조 픽쳐의 블록을 복사하여 예측 블록을 생성한다. 상기 움직임 벡터가 서브 화소 위치를 가리키면, 예측 블록은 참조 픽쳐의 화소들을 보간하여 생성된다.
상기 현재 블록과 예측 블록을 이용하여 잔차 블록이 생성된다(S130).
상기 잔차 블록이 부호화된다(S140). 잔차 블록은 변환 유닛과 동일한 사이즈를 갖는다. 예측 유닛이 변환 유닛보다 크면, 현재 블록과 예측 블록 사이의 잔차 신호들은 복수개의 잔차 블록들로 나뉜다. 하나 이상의 잔차 블록들이 도 1의 변환부(140), 양자화부(150), 스캐닝부(160) 및 엔트로피 부호화부(170)에 의해 부호화된다.
상기 움직임 정보가 부호화된다(S150). 움직임 정보는 현재 블록의 공간 후보자들과 시간 후보자를 이용하여 예측 부호화될 수 있다. 움직임 정보는 스킵 모드, 머지 모드 또는 AMVP 모드로 부호화된다. 스킵 모드에서는 예측 유닛이 코딩 유닛의 사이즈를 갖고, 움직임 정보들은 머지 모드에서와 동일한 방법으로 부호화된다.
도 3은 본 발명에 따른 AMVP 모드에서의 움직임 정보를 부호화하는 방법을 설명하느 순서도이다. 도 4는 본 발명에 따른 공간 움직임 벡터 후보자 블록들의 위치들을 설명하는 개념도이다.
좌측 움직임 벡터 후보자는 현재 블록의 좌측 블록(블록 A) 또는 좌하측 블록(블록 D)의 움직임 벡터이다. 상측 움직임 벡터 후보자는 현재 블록의 상측 블록(block B), 우상측 블록(블록 C) 또는 좌상측 블록(블록 E)이다. 인접 블록은 현재 블록과 비교하여 4개의 타입들 중 하나에 속한다. 인접 블록이 현재 블록과 동일 참조 픽쳐 및 동일 참조 픽쳐 리스트를 갖는 경우에는 상기 인접 블록은 제1 타입에 속한다. 인접 블록이 현재 블록과 동일 참조 픽쳐 및 다른 참조 픽쳐 리스트를 갖는 경우에는 상기 인접 블록은 제2 타입에 속한다. 인접 블록이 현재 블록과 다른 참조 픽쳐 및 동일 참조 픽쳐 리스트를 갖는 경우에는 상기 인접 블록은 제3 타입에 속한다. 인접 블록이 현재 블록과 다른 참조 픽쳐 및 다른 참조 픽쳐 리스트를 갖는 경우에는 상기 인접 블록은 제4 타입에 속한다.
좌측 움직임 벡터 후보자가 유도된다(S210). 블록 D가 제1 타입 또는 제2 타입에 속하는지를 결정한다. 블록 D가 제1 타입 또는 제2 타입에 속하면 블록 D의 움직임 벡터가 좌측 움직임 벡터 후보자로 설정된다. 블록 D가 제1 타입 또는 제2 타입에 속하지 않으면 블록 A가 제1 타입 또는 제2 타입에 속하는지를 결정한다. 블록 A가 제1 타입 또는 제2 타입에 속하면 블록 A의 움직임 벡터가 좌측 움직임 벡터 후보자로 설정된다. 블록 A가 제1 타입 또는 제2 타입에 속하지 않으면 블록 D가 제3 타입 또는 제4 타입에 속하는지를 결정한다. 블록 D가 제3 타입 또는 제4 타입에 속하면 블록 D의 스케일링된 움직임 벡터가 좌측 움직임 벡터 후보자로 설정된다. 블록 D가 제3 타입 또는 제4 타입에 속하지 않으면 A가 제3 타입 또는 제4 타입에 속하는지를 결정한다. 블록 A가 제3 타입 또는 제4 타입에 속하면 블록 A의 스케일링된 움직임 벡터가 좌측 움직임 벡터 후보자로 설정된다. 블록 A가 제3 타입 또는 제4 타입에 속하지 않으면 좌측 움직임 벡터 후보자는 이용 가능하지 않은 것으로 설정된다.
상측 움직임 벡터 후보자가 유도된다(S220). 상측 움직임 벡터 후보자는 좌측 움직임 벡터 후보자에 의존하여 결정된다. 블록 C, B 및 E의 어느 하나가 상기 제1 타입 또는 제2 타입에 속하면, 블록 C, B, E의 순으로 검색할때 처음 만나게 되는 블록의 움직임 벡터가 상측 움직임 벡터로 설정된다. 그러나, 블록 C, B 및 E 모두가 제1 타입 및 제2 타입에 속하지 않으면, 상측 움직임 벡터는 다음과 같이 결정된다.
좌측 움직임 움직임 벡터가 제1 또는 제2 타입에 속하면, 제3 또는 제4 타입에 속하는 첫번째 블록의 움직임 벡터가 상측 움직임 벡터 후보자로 설정된다. 블록 C, B 및 E 모두가 제3 타입 또는 제4 타입에 속하지 않으면, 상측 움직임 벡터는 이용 가능하지 않은 것으로 설정된다. 상기 첫번째 블록은 블록 C, B 및 E의 순서로 검색될 때 만나는 첫번째 블록이다.
좌측 움직임 움직임 벡터가 제3 또는 제4 타입에 속하면, 상기 움직임 벡터 후보자는 이용가능하지 않은 것으로 설정된다.
시간 움직임 벡터 후보자가 유도된다(S230). 시간 움직임 벡터 후보자는 다음과 같이 유도된다. 좌측 움직임 벡터 및 상측 움직임 벡터가 모두 이용가능하고 서로 다른 경우에는, 시간 움직임 벡터 후보자는 유도되지 않을 수 있다.
먼저, 시간 후보자 픽쳐가 결정된다. 시간 후보자 픽쳐는 시간 후보자 블록을 포함한다. 슬라이스 내에서 하나의 시간 후보자 픽쳐가 사용된다. 시간 후보자 픽쳐의 참조 픽쳐 인덱스는 0으로 설정될 수도 있다.
현재 슬라이스가 P 슬라이스이면, 참조 픽쳐 리스트 0의 참조 픽쳐들 중 하나가 시간 후보자 픽쳐로 설정된다. 현재 슬라이스가 B 슬라이스이면, 참조 픽쳐 리스트 0과 1의 참조픽쳐들 중 하나가 시간 후보자 픽쳐로 설정된다. 현재 슬라이스가 B 슬라이스이면, 시간 후보자 픽쳐가 참조 픽쳐 리스트 0에 속하는지 1에 속하는지를 나타내는 리스트 지시자가 슬라이스 헤더에 포함된다. 시간 후보자 픽쳐를 특정하는 참조 픽쳐 인덱스가 슬라이스 헤더에 포함될 수 있다.
다음으로, 시간 후보자 블록이 결정된다. 시간 후보자 블록은 제1 후보자 블록 및 제2 후보자 블록 중 하나일 수 있다. 제1 후보자 블록이 이용 가능하면, 제1 후보자 블록이 시간 후보자 블록으로 설정된다. 제1 후보자 블록이 이용 가능하지 않으면, 제2 후보자 블록이 시간 후보자 블록으로 설정된다. 제2 후보자 블록이 이용 가능하지 않으면, 시간 후보자 블록은 이용 가능하지 않은 것으로 설정된다.
도 5는 본 발명에 따른 시간 후보자 블록의 위치를 설명하는 개념도이다. 도 5에 도시된 바와 같이, 제1 후보자 블록은 블록 C의 우하측 코너 블록(블록 H)이다. 블록 C는 현재 블록과 동일 사이즈를 갖고 동일 위치에 존재하고, 상기 시간 후보자 픽쳐에 위치한다. 제2 후보자 블록은 블록 C의 센터의 우하측 화소를 포함하는 블록이다.
시간 후보자 블록이 결정되면, 시간 후보자 블록의 움직임 벡터가 상기 시간움직임 벡터 후보자로 설정된다.
움직임 벡터 후보자 리스트가 구성된다(S240). 움직임 벡터 후보자들은 좌측, 상측 및 시간 움직임 벡터 후보자의 순서로 정렬된다. 좌측 및 상측 움직임 벡터 후보자가 동일하면, 상측 움직임 벡터가 상기 움직임 벡터 후보자 리스트로부터 삭제된다.
움직임 벡터 후보자의 수가 미리 정해진 수보다 작으면, 하나 이상의 움직임 벡터가 상기 움직임 벡터 리스트에 추가된다(S250). 상기 미리 정해진 수는 2일 수 있다.
움직임 벡터 후보자가 움직임 벡터 예측자로 선택되고, 현재 블록의 움직임 벡터로부터 상기 움직임 벡터 후보자를 빼서 차분 움직임 벡터가 생성된다(S260).
참조픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스가 부호화된다(S270). AMVP 인덱스는 움직임 벡터 예측자를 특정한다.
도 6은 본 발명에 따른 영상 복호화 장치(200)를 나타내는 블록도이다.
본 발명에 따른 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역스캐닝부(220), 역양자화부(230), 역변환부(240), 인트라 예측부(250) 및 인터 예측부(260), 후처리부(270), 픽쳐 저장부(280) 및 가산부(290)를 포함한다.
엔트로피 복호화부(210)는 CABAD(context-adaptive binary arithmetic decoding) 방법을 이용하여 수신된 비트 스트림에서 인트라 예측 정보, 인터 예측 정보 및 양자화 계수 성분들을 추출한다.
역스캐닝부(220)는 역스캔 패턴을 양자화 계수 성분들에 적용하여 양자화 블록을 생성한다. 인터 예측에서는 역스캔 패턴이 대각선 스캔이다. 양자화 계수 성분들은 중요 플래그들, 계수 부호들 및 계수 레벨들을 포함한다.
변환 유닛의 사이즈가 미리 정해진 사이즈보다 크면, 중요 플래그들, 계수 부호들 및 계수 레벨들이 대각선 스캔에 따라 서브셋 단위로 역스캔되어 서브셋들을 생성하고, 상기 서브셋들이 상기 대각선 스캔에 따라 역스캔되어 양자화 블록을 생성한다. 상기 미리 정해진 사이즈는 서브셋의 사이즈이다. 상기 서브셋은 16개의 변환 계수를 포함하는 4x4 블록이다. 중요 플래그들, 계수 부호들 및 계수 레벨들은 역방향으로 스캔된다. 상기 서브셋들도 역방향으로 스캔된다.
도 7은 본 발명에 따른 역스캔 패턴을 설명하는 개념도이다.
도 7에 도시된 바와 같이, 변환 유닛의 사이즈가 16x16이면, 16개의 4x4 서브셋들이 생성된다. 상기 서브셋들은 역방향으로 생성된다. 양자화 계수 성분들이 역방향으로 역스캔되어 서브셋을 생성한다.
도 8은 본 발명에 따른 양자화 블록을 생성하는 방법을 설명하는 개념도이다.
도 8에 도시된 바와 같이, 첫번째 서브셋은 DC 계수를 포함하고, 마지막 서브셋은 0이 아닌 마지막 계수를 포함한다. 서브셋 플래그가 상기 첫번째 서브셋과 마지막 서브셋 이외의 서브셋들에 정의된다. 서브셋 플래그는 서브셋이 0이 아닌 계수를 포함하는지를 나타낸다.
역양자화부(230)는 엔트로피 복호화부(201)로부터 차분 양자화 파라미터를 수신하고, 코딩 유닛의 양자화 파라미터 예측자를 생성한다. 양자화 파라미터는 도 1의 양자화부(150)에 의한 동작과 동일한 과정을 통해 생성된다. 그리고, 상기 차분 양자화 파라미터와 상기 양자화 파라미터 예측자를 더하여 현재 코딩 유닛의 양자화 파라미터를 생성한다. 현재 코딩 유닛의 차분 양자화 파라미터가 부호기로부터 수신되지 않으면, 상기 차분 양자화 파라미터는 0으로 설정된다.
역양자화부(230)는 양자화 블록을 역양자화한다.
역변환부(240)는 상기 역양자된 블록을 역변환하여 잔차 블록을 복원한다. 역변환 타입은 예측 모드 및 변환 유닛의 사이즈에 따라 결정된다. 역 변환 타입은 DCT 기반 정수 변환 또는 DST 기반 정수 변환이다. 인터 예측에서는 DCT 기반 정수 변환이 사용된다.
인트라 예측부(250)는 인트라 예측 정보를 이용하여 현재 예측 유닛의 인트라 예측 모드를 복원하고, 상기 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.
인터 예측부(260)는 인터 예측 정보를 이용하여 현재 예측 유닛의 움직임 정보를 복원하고, 상기 움직임 정보를 이용하여 예측 블록을 생성한다.
후처리부(270)는 도 1의 후처리부(180)과 동일하게 동작한다.
픽쳐 저장부(280)는 후처리부(270)로부터 후처리된 영상을 수신하고, 픽쳐 단위로 상기 영상을 저장한다. 픽쳐는 프레임 또는 필드일 수 있다.
가산부(290)는 복원된 잔차 블록과 예측 블록을 더하여 복원 블록을 생성한다.
도 9는 본 발명에 따른 인터 예측 모드에서의 영상 복호화 방법을 설명하는 순서도이다.
현재 블록의 움직임 정보가 유도된다(S310). 현재 블록은 예측 유닛이다. 현재 블록의 사이즈는 코딩 유닛의 사이즈 및 분할 모드에 따라 결정된다.
움직임 정보는 예측 타입에 따라 달라진다. 예측 타입이 단방향 예측이면, 상기 움직임 정보는 참조 리스트 0의 픽쳐를 특정하는 참조 인덱스와 하나의 움직임 벡터를 포함한다. 예측 타입이 양방향 예측이면, 상기 움직임 정보는 참조 리스트 0의 픽쳐 및 참조 리스트 1의 픽쳐를 특정하는 2개의 참조 인덱스와 리스트 0 움직임 벡터 및 리스트 1 움직임 벡터를 포함한다.
움직임 정보는 부호화 모드에 따라 적응적으로 복호화된다. 움직임 정보의 부호화 모드는 스킵 플래그와 머지 플래그에 의해 결정된다. 스킵 플래그가 1이면, 머지 플래그가 존재하지 않고 부호화 모드는 스킵 모드이다. 스킵 플래그가 0이고 머지 플래그가 1이면, 부호화 모드는 머지 모드이다. 스킵 플래그 및 머지 플래그가 0이면, 부호화 모드는 AMVP 모드이다.
상기 움직임 정보를 이용하여 현재 블록의 예측 블록이 생성된다(S320).
움직임 벡터가 화소 위치를 가리키면, 예측 블록은 상기 움직임 벡터에 의해 특정되는 참조 픽쳐의 블록을 복사하여 생성된다. 움직임 벡터가 서브 화소 위치를 가리키면, 예측 블록은 참조 픽쳐의 화소들을 보간하여 생성된다.
잔차 블록이 생성된다(S330). 잔차 블록은 도 6의 엔트로피 복호화부(210), 역스캐닝부(220), 역양자화부(230) 및 역변환부(240)에 의해 생성된다.
상기 예측 블록과 잔차 블록을 이용하여 복원 블록이 생성된다(S340).
예측 블록은 예측 유닛과 동일한 사이즈를 갖고, 잔차 블록은 변환 유닛과 동일한 사이즈를 갖는다. 따라서, 동일 사이즈의 잔차 신호와 예측 신호가 더해져서 복원 신호들이 생성된다.
도 10은 본 발명에 따른 AMVP 모드에서의 움직임 정보를 유도하는 방법을 설명하는 순서도이다.
참조픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스가 비트스트림으로부터 추출된다(S410). AMVP 인덱스는 움직임 벡터 예측자를 특정한다.
좌측 움직임 벡터 예측자가 유도된다(S420). 좌측 움직임 벡터 예측자는 도 3의 S210에 도시된대로 유도된다.
상측 움직임 벡터 예측자가 유도된다(S430). 상측 움직임 벡터 예측자는 도 3의 S220에 도시된대로 유도된다.
시간 움직임 벡터 예측자가 유도된다(S440). 시간 움직임 벡터 예측자는 도 3의 S230에 도시된대로 유도된다. 상기 좌측 움직임 벡터 및 상측 움직임 벡터들이 모두 이용 가능하고 서로 다르면, 시간 움직임 벡터 후보자는 유도되지 않을 수 있다.
움직임 벡터 후보자 리스트가 구성된다(S450). 움직임 벡터 후보자 리스트는 좌측, 상측 및 시간 움직임 벡터 후보자들의 순서로 정렬된다. 좌측 움직임 벡터 후보자와 상측 움직임 벡터 후보자가 동일하면, 상측 움직임 벡터 후보자라 움직임 벡터 후보자 리스트에서 제거될 수 있다.
움직임 벡터 후보자들의 수가 2보자 작으면, 하나 이상의 0 벡터들이 상기 리스트에 추가될 수 있다(S460).
AMVP 인덱스에 의해 특정되는 움직임 벡터 후보자가 움직임 벡터 예측자로 설정된다(S470).
차분 움직임 벡터와 움직임 벡터 예측자를 더하여 현재 블록의 움직임 벡터가 생성된다(S48).
도 9는 본 발명에 따른 인터 예측 모드에서의 잔차 블록을 생성하는 과정을 설명하는 순서도이다.
양자화 계수 성분들이 엔트로피 복호화되어 생성된다(S510).
양자화 블록은 대각선 스캔에 따라서 상기 양자화 계수 성분들을 역스캔하여 생성한다(S520). 양자화 계수 성분들은 중요 플래그들, 계수 부호들 및 계수 레벨들을 포함한다.
변환 유닛의 사이즈가 미리 정해진 사이즈보다 크면, 대각선 스캔에 따라서 중요 플래그들, 계수 부호들 및 계수 레벨들이 서브셋 단위로 역스캔되어 서브셋들을 생성하고, 상기 서브셀들은 대각선 스캔에 따라서 역스캔되어 양자화 블록을 생성한다. 상기 미리 정해진 사이즈는 서브셋의 사이즈와 동일한다. 서브셋은 16개의 계수를 포함하는 4x4 블록이다. 중요 플래그들, 계수 부호들 및 계수 레벨들은 역방향으로 역스캔된다. 서브셋들도 역방향으로 역스캔된다.
0이 아닌 양자화 계수의 위치를 나타내는 파라미터 및 넌제로 서브셋 플래그들이 비트스트림으로부터 추출된다. 부호화된 서브셋의 수는 상기 파라미터에 기초하여 결정된다. 넌제로 서브셋 플래그는 대응 서브셋이 0이 아닌 계수를 적어도 하나 포함하는지를 결정하기 위해 사용된다. 넌제로 서브셋 플래그가 1이면, 서브셋은 대각선 스캔을 사용하여 생성된다. 처음 및 마지막 서브셋은 역스캔 패턴을 이용하여 생성된다.
역양자화 매트릭스 및 양자화 파라미터를 이용하여 양자화 블록이 역양자화된다(S530).
양자화 파라미터는 다음과 같이 유도된다.
양자화 유닛의 최소 사이즈가 결정된다. 비트스트림의 PPS로부터 파라미터(cu_qp_delta_enabled_info)가 추출되고, 최소 양자화 유닛의 사이즈는 상기 파라미터를 이용하여 결정된다.
현재 코딩 유닛의 차분 양자화 파라미터가 유도된다. 부호화된 차분 양자화 파라미터는 산술 복호화되어 차분 양자화 파라미터의 절대값을 나타내는 빈 스트링과 차분 양자화 파라미터의 부호를 나타내는 빈이 생성된다. 상기 빈 스트링은 트렁케이티드 유너리 코드(truncated unary code)일 수 있다. 차분 양자화 파라미터의 절대값이 0이면, 상기 부호를 나타내는 빈은 존재하지 않는다. 차분 양자화 파라미터는 상기 절대값을 나타내는 빈 스트링과 부호를 나타내는 빈을 이용하여 유도된다.
현재 코딩 유닛의 상기 양자화 파라미터 예측자가 생성된다. 상기 양자화 파라미터 예측자는 인접 코딩 유닛들의 양자화 파라미터들과 이전 코딩 유닛의 양자화 파라미터를 이용하여 생성된다.
좌측 양자화 파라미터, 상측 양자화 파라미터 및 이전 양자화 파라미터가 상기 순서대로 검색된다. 적어도 2개의 양자화 파라미터들이 이용가능한 경우, 상기 순서로 검색되는 처음 2개의 이용 가능한 양자화 파라미터의 평균값을 양자화 파라미터 예측자로 설정하고, 하나의 양자화 파라미터만이 이용 가능한 경우에는 상기 이용 가능한 양자화 파라미터가 양자화 파라미터 예측자로 설정된다. 즉, 상기 좌측 양자화 파라미터 및 상기 상측 양자화 파라미터가 모두 이용 가능하면, 상기 좌측 양자화 파라미터 및 상기 상측 양자화 파라미터의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 좌측 양자화 파라미터 및 상기 상측 양자화 파라미터 중에서 하나만이 이용 가능하면, 상기 이용 가능한 양자화 파라미터와 상기 이전 양자화 파라미터의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 좌측 양자화 파라미터 및 상기 상측 양자화 파라미터가 모두 이용 가능하지 않으면, 상기 이전 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정된다.
최소 양자화 유닛이 복수개의 코딩 유닛을 포함하면, 복호화 순서상 첫번째 코딩 유닛의 양자화 파라미터 예측자가 생성되고, 상기 생성된 양자화 파라미터 예측자가 상기 양자화 유닛내의 모든 코딩 유닛들에 사용된다.
상기 차분 양자화 파라미터와 상기 양자화 파라미터 예측자를 이용하여 양자화 파라미터가 생성된다.
상기 역양자화 블록을 역변환한여 잔차 블록을 생성한다(S540). 1차원의 수평 및 수직 역 DCT 기반 변환이 사용된다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
130 : 인터 예측부

Claims (14)

  1. 영상 복호화 장치에 있어서,
    수신된 비트스트림으로부터 양자화 계수 성분들과 인터 예측 정보를 추출하는 엔트로피 복호화부;
    역스캔 패턴을 상기 양자화 계수 성분들에 적용하여 변환 유닛의 사이즈를 갖는 양자화 블록을 생성하는 역스캐닝부;
    양자화 파라미터를 생성하고, 상기 양자화 블록을 역양자화하여 변환 블록을 생성하는 역양자화부;
    상기 변환 블록을 역변환하여 잔차 블록을 생성하는 역변환부;
    움직임 정보를 유도하고, 예측 블록을 생성하는 인터 예측부; 및
    상기 잔차 블록과 인터 예측 블록을 이용하여 복원 블록을 생성하는 가산부를 포함하고,
    상기 변환 유닛의 사이즈는 4x4보다 크면, 양자화 계수 성분들이 역스캔되어 복수개의 서브셋들이 생성되고, 상기 복수개의 서브셋들이 상기 역스캔 패턴에 따라 역스캔되어 양자화 블록이 생성되고,
    현재 코딩 유닛의 좌측, 상측 및 이전 양자화 파라미터들 중 2개 이상이 이용 가능하면, 상기 양자화 파라미터는 미리 정해진 순서에 의해 결정되는 2개의 양자화 파라미터들의 평균과 차분 양자화 파라미터를 더하여 생성되고,
    상기 양자화 파라미터는 양자화 유닛마다 생성되고 상기 양자화 유닛의 최소 사이즈는 픽쳐마다 조절되는 것을 특징으로 하는 장치.
  2. 제1항에 있어서, 상기 양자화 계수 성분들은 중요 플래그들, 계수 부호들 및 계수 레벨들인 것을 특징으로 하는 장치.
  3. 삭제
  4. 제1항에 있어서, 상기 서브셋은 16개의 변환 계수를 포함하는 4x4 블록인 것을 특징으로 하는 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서, 상기 양자화 유닛의 최소 사이즈는 양자화 유닛의 최소 사이즈와 최대 코딩 유닛의 사이즈 사이의 깊이를 특정하는 파라미터를 이용하여 유도되는 것을 특징으로 하는 장치.
  10. 제1항에 있어서, 상기 좌측 양자화 파라미터가 이용 가능하지 않으면, 상기 양자화 파라미터는 상기 상측 및 이전 양자화 파라미터들의 평균값과 차분 양자화 파라미터를 더하여 생성되는 것을 특징으로 하는 장치.
  11. 제1항에 있어서, 상기 차분 양자화 파라미터는 상기 차분 양자화 파라미터의 절대값을 나타내는 빈 스트링과, 상기 차분 양자화 파라미터의 부호를 나타내는 빈을 복원하여 생성되는 것을 특징으로 하는 장치.
  12. 제1항에 있어서, 상기 좌측 및 상측 양자화 파라미터들이 모두 이용 가능하지 않으면, 상기 이전 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정되는 것을 특징으로 하는 장치.
  13. 제1항에 있어서, 상기 서브셋들은 넌제로 서브셋 플래그들에 따라 생성되는 것을 특징으로 하는 장치.
  14. 제13항에 있어서, 상기 넌제로 서브셋 플래그는 처음 및 마지막 서브셋들 이외의 서브셋들에 대해 정의되는 것을 특징으로 하는 장치.
KR20147009926A 2011-11-07 2012-11-07 영상 복호화 장치 KR101484057B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020110115217 2011-11-07
KR20110115217A KR20130050404A (ko) 2011-11-07 2011-11-07 인터 모드에서의 복원 블록 생성 방법
PCT/CN2012/084177 WO2013067922A1 (en) 2011-11-07 2012-11-07 Apparatus of decoding video data

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR20147009932A Division KR20140076582A (ko) 2011-11-07 2012-11-07 영상 복호화 방법
KR20147009931A Division KR101484058B1 (ko) 2011-11-07 2012-11-07 영상 복호화 방법

Publications (2)

Publication Number Publication Date
KR20140062704A KR20140062704A (ko) 2014-05-26
KR101484057B1 true KR101484057B1 (ko) 2015-01-20

Family

ID=48288527

Family Applications (4)

Application Number Title Priority Date Filing Date
KR20110115217A KR20130050404A (ko) 2011-11-07 2011-11-07 인터 모드에서의 복원 블록 생성 방법
KR20147009926A KR101484057B1 (ko) 2011-11-07 2012-11-07 영상 복호화 장치
KR20147009931A KR101484058B1 (ko) 2011-11-07 2012-11-07 영상 복호화 방법
KR20147009932A KR20140076582A (ko) 2011-11-07 2012-11-07 영상 복호화 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR20110115217A KR20130050404A (ko) 2011-11-07 2011-11-07 인터 모드에서의 복원 블록 생성 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR20147009931A KR101484058B1 (ko) 2011-11-07 2012-11-07 영상 복호화 방법
KR20147009932A KR20140076582A (ko) 2011-11-07 2012-11-07 영상 복호화 방법

Country Status (8)

Country Link
US (3) US9838681B2 (ko)
EP (3) EP2777282A4 (ko)
JP (7) JP5830175B2 (ko)
KR (4) KR20130050404A (ko)
CN (6) CN108769702B (ko)
IN (1) IN2014CN03909A (ko)
TW (5) TWI645712B (ko)
WO (1) WO2013067922A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102231772B1 (ko) * 2007-10-16 2021-03-23 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN107071459B (zh) * 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
WO2015051533A1 (en) * 2013-10-11 2015-04-16 Mediatek Singapore Pte. Ltd. Improved advanced residual prediction in 3dvc
KR20180019510A (ko) 2015-03-31 2018-02-26 리얼네트웍스 인코포레이티드 비디오 코딩시 오차 변환 및 역 변환 시스템들 및 방법들
WO2017091023A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치
JP7057901B2 (ja) 2017-05-25 2022-04-21 三菱瓦斯化学株式会社 切削加工補助潤滑材、切削加工補助潤滑シート、及び切削加工方法
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
WO2019164660A1 (en) 2018-02-23 2019-08-29 Futurewei Technologies, Inc. Position dependent spatial varying transform for video coding
KR102532021B1 (ko) 2018-05-31 2023-05-12 후아웨이 테크놀러지 컴퍼니 리미티드 적응적 변환 타입의 공간 가변 변환
KR20220004765A (ko) 2019-06-24 2022-01-11 엘지전자 주식회사 크로마 변환 블록의 최대 크기 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11765370B2 (en) 2021-07-27 2023-09-19 Mediatek Inc. Video residual decoding apparatus using neighbor storage device with smaller storage size to store neighbor data for context selection and associated method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110043407A (ko) * 2009-10-21 2011-04-27 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR20110090841A (ko) * 2010-02-02 2011-08-10 (주)휴맥스 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20110115987A (ko) * 2010-04-16 2011-10-24 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR20110118527A (ko) * 2010-04-23 2011-10-31 오수미 마크로 블록과 블록 파티셔닝 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0800684A4 (en) * 1995-10-26 1998-03-25 Motorola Inc METHOD AND DEVICE FOR CODING AND DECODING A MOVED FRAME DIFFERENCE
US7760950B2 (en) * 2002-09-26 2010-07-20 Ntt Docomo, Inc. Low complexity and unified transforms for video coding
ES2382031T3 (es) * 2002-12-03 2012-06-04 Thomson Licensing Medios para formatos de vídeo de definición estándar y de alta definición
EP1453004A2 (en) * 2003-02-28 2004-09-01 NTT DoCoMo, Inc. Image encoding apparatus and method
JP2006005438A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
US8031774B2 (en) * 2005-01-31 2011-10-04 Mediatek Incoropration Video encoding methods and systems with frame-layer rate control
US7873105B2 (en) * 2005-04-01 2011-01-18 Broadcom Corporation Hardware implementation of optimized single inverse quantization engine for a plurality of standards
EP1879401A4 (en) * 2005-05-03 2012-03-28 Panasonic Corp DYNAMIC IMAGE ENCODING METHOD, DYNAMIC IMAGE DECODING METHOD, AND DEVICE THEREFOR
JP4042772B2 (ja) * 2005-07-19 2008-02-06 株式会社日立製作所 動画像の動き補償方法
JP2007089035A (ja) * 2005-09-26 2007-04-05 Toshiba Corp 動画像符号化方法、装置及びプログラム
BRPI0714127A2 (pt) * 2006-07-13 2012-12-25 Qualcomm Inc codificaÇço de vÍdeo com escalabilidade de granularidade fina utilizando fragmentos alinhados por ciclo.
US20080158601A1 (en) * 2006-12-29 2008-07-03 Steven Tu Image memory tiling
EP3107292B1 (en) * 2007-03-20 2018-08-15 Fujitsu Limited Video encoding method and apparatus, and video decoding apparatus
CN101653008A (zh) 2007-04-09 2010-02-17 Lg电子株式会社 用于处理视频信号的方法和装置
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
US20090161757A1 (en) * 2007-12-21 2009-06-25 General Instrument Corporation Method and Apparatus for Selecting a Coding Mode for a Block
CN101262603B (zh) * 2008-03-27 2011-08-31 方春 一种自适应码率控制方法
CN100596202C (zh) * 2008-05-30 2010-03-24 四川虹微技术有限公司 一种快速帧内模式选择方法
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
RU2479942C2 (ru) * 2008-06-27 2013-04-20 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
KR101501568B1 (ko) * 2008-07-04 2015-03-12 에스케이 텔레콤주식회사 영상 부호화 및 복호화 장치 및, 방법
KR101518237B1 (ko) * 2008-09-01 2015-05-15 삼성전자주식회사 영상의 역양자화 방법 및 장치, 복호화 방법 및 장치
JP5361896B2 (ja) * 2008-09-29 2013-12-04 パナソニック株式会社 動画像符号化方法および動画像符号化装置
WO2010070897A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
KR101507344B1 (ko) * 2009-08-21 2015-03-31 에스케이 텔레콤주식회사 가변 길이 부호를 이용한 인트라 예측모드 부호화 방법과 장치, 및 이를 위한기록 매체
US8477845B2 (en) * 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
US8588297B2 (en) * 2009-12-23 2013-11-19 Oracle America, Inc. Quantization parameter prediction
US8259808B2 (en) * 2010-03-25 2012-09-04 Mediatek Inc. Low complexity video decoder
US8929440B2 (en) * 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
JP2011223316A (ja) * 2010-04-09 2011-11-04 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
HUE040296T2 (hu) 2010-04-13 2019-02-28 Ge Video Compression Llc Szignifikancia térképek és transzformációs együttható blokkok kódolása
JP5688136B2 (ja) * 2010-04-23 2015-03-25 エム アンド ケー ホールディングス インコーポレイテッド 映像を符号化する装置及び方法
MY191461A (en) * 2010-06-10 2022-06-28 Thomson Licensing Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
KR20110111339A (ko) * 2011-08-23 2011-10-11 한국전자통신연구원 화면내 예측 시스템에서 최적 모드를 예측하는 장치 및 방법
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110043407A (ko) * 2009-10-21 2011-04-27 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR20110090841A (ko) * 2010-02-02 2011-08-10 (주)휴맥스 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20110115987A (ko) * 2010-04-16 2011-10-24 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR20110118527A (ko) * 2010-04-23 2011-10-31 오수미 마크로 블록과 블록 파티셔닝 방법

Also Published As

Publication number Publication date
KR20130050404A (ko) 2013-05-16
TW201334559A (zh) 2013-08-16
US10212418B2 (en) 2019-02-19
CN108769703B (zh) 2021-09-03
TWI611687B (zh) 2018-01-11
KR20140076582A (ko) 2014-06-20
JP6607417B2 (ja) 2019-11-20
JP6006394B2 (ja) 2016-10-12
CN108391126B (zh) 2022-02-11
US20190149817A1 (en) 2019-05-16
US20180035111A1 (en) 2018-02-01
US9838681B2 (en) 2017-12-05
IN2014CN03909A (ko) 2015-10-16
EP3917145A1 (en) 2021-12-01
JP6078137B2 (ja) 2017-02-08
TWI711297B (zh) 2020-11-21
JP2016040936A (ja) 2016-03-24
JP2014534755A (ja) 2014-12-18
KR20140062704A (ko) 2014-05-26
EP2777282A4 (en) 2015-06-17
WO2013067922A1 (en) 2013-05-16
TWI799748B (zh) 2023-04-21
JP6078136B2 (ja) 2017-02-08
US10778970B2 (en) 2020-09-15
TW201711465A (zh) 2017-03-16
JP2016029833A (ja) 2016-03-03
JP2018207550A (ja) 2018-12-27
US20140241424A1 (en) 2014-08-28
JP2016048924A (ja) 2016-04-07
JP6006395B2 (ja) 2016-10-12
CN103152563A (zh) 2013-06-12
JP5830175B2 (ja) 2015-12-09
TW202107890A (zh) 2021-02-16
TWI645712B (zh) 2018-12-21
TW201806387A (zh) 2018-02-16
JP2017103798A (ja) 2017-06-08
CN108769703A (zh) 2018-11-06
EP2777282A1 (en) 2014-09-17
TW201907713A (zh) 2019-02-16
EP3917144A1 (en) 2021-12-01
CN108391125A (zh) 2018-08-10
CN108650512B (zh) 2022-02-11
CN108391125B (zh) 2022-06-03
JP6419230B2 (ja) 2018-11-07
CN108769702B (zh) 2021-09-03
TWI572191B (zh) 2017-02-21
CN108391126A (zh) 2018-08-10
KR101484058B1 (ko) 2015-01-20
CN108769702A (zh) 2018-11-06
JP2016048925A (ja) 2016-04-07
CN108650512A (zh) 2018-10-12
KR20140060579A (ko) 2014-05-20
CN103152563B (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
JP6995910B2 (ja) マージモードにおいて映像データを復号化する方法、マージモードにおいて映像データを符号化する方法
JP6711944B2 (ja) Ａｍｖｐモードにおいて画像を符号化する装置
KR101484057B1 (ko) 영상 복호화 장치
KR101496961B1 (ko) 머지 리스트 구축 방법
KR20140076581A (ko) 영상 복호화 장치
KR20140077919A (ko) 머지 모드에서의 영상 복호화 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
J204 Request for invalidation trial [patent]
FPAY Annual fee payment

Payment date: 20171212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190109

Year of fee payment: 5

J301 Trial decision

Free format text: TRIAL NUMBER: 2017100000830; TRIAL DECISION FOR INVALIDATION REQUESTED 20170317

Effective date: 20190429

J301 Trial decision

Free format text: TRIAL NUMBER: 2019110000003; TRIAL DECISION FOR INVALIDATION REQUESTED 20191113

Effective date: 20200928