KR20140067132A - 블록킹 아티펙트를 제거하는 방법 - Google Patents

블록킹 아티펙트를 제거하는 방법 Download PDF

Info

Publication number
KR20140067132A
KR20140067132A KR1020147010065A KR20147010065A KR20140067132A KR 20140067132 A KR20140067132 A KR 20140067132A KR 1020147010065 A KR1020147010065 A KR 1020147010065A KR 20147010065 A KR20147010065 A KR 20147010065A KR 20140067132 A KR20140067132 A KR 20140067132A
Authority
KR
South Korea
Prior art keywords
unit
sample
edge
quantization
prediction
Prior art date
Application number
KR1020147010065A
Other languages
English (en)
Inventor
장민
Original Assignee
인포브릿지 피티이 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인포브릿지 피티이 엘티디 filed Critical 인포브릿지 피티이 엘티디
Publication of KR20140067132A publication Critical patent/KR20140067132A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

8x8 샘플 그리드 상의 각 4-샘플 에지마다 경계 강도를 결정하고, 상기 경계 강도가 0이 아니면 상기 4-샘플 에지에 디블록킹 필터를 수행할지 여부를 결정하고, 상기 4-샘플 에지에 디블록킹 필터가 수행되면 디블록킹 필터를 선택하고, 상기 선택된 필터를 이용하여 상기 4-샘플 에지를 필터링한다. 따라서, 현재 발명에 따르면, 표준화가 진행중인 HEVC 표준에 비교하여 경계 강도를 결정하는데 요구되는 연산 복잡도를 50% 이상 줄일 수 있다. 또한, 영상 화질의 열화없이 경계 강도를 결정하는데 요구되는 메모리 용량 및 대역폭도 50% 이상 절감할 수 있다.

Description

디블록킹 아티펙트를 제거하는 방법{METHOD OF REMOVING DEBLOCKING ARTIFACTS}
본 발명은 복원 영상의 블록킹 아티펙트를 제거하는 디플록킹 필터링 방법에 관한 것으로, 보다 상세하게는 변환 경계와 예측 경계의 각 에지에 대한 경계 강도를 결정하는 방법에 관한 것이다.
영상 데이터를 부호화하기 위해, 복수개의 영상 표준들이 개발되어 왔다. 상기 영상 표준들은 예를 들어, MPEG-2, MPEG-4 및 H.264/MPEG-4 AVC 등이다. H.264/MPEG-4 AVC의 후속 표준으로, ISO/IEC Moving Picture Experts Group(MPEG)과 ITU-T Video Coding Expert Group(VCEG)에 의해 HEVC(High Efficiency Video Coding)가 공동 개발중에 있다.
HEVC에 따르면, 하나의 픽쳐가 복수개의 최대 코딩 유닛(LCU)들로 분할되고, 인트라 예측 또는 인터 예측을 이용하여 예측 블록을 생성함으로써 각 최대 코딩 유닛의 하나 이상의 코딩 유닛들을 부호화한다. 원본 블록과 예측 블록 사이의 잔차 블록이 변환되어 변환 블록을 생성하고, 변환 블록은 양자화 파라미터와 미리 정해진 양자화 매트릭스를 이용하여 양자화된다. 양자화 블록의 양자화 계수들은 스캔 패턴을 이용하여 스캔되고 엔트로피 부호화된다. 상기 양자화 계수들은 역양자화 및 역변환되어 잔차 블록을 생성한다. 상기 잔차 블록은 예측블록과 결합하여 복원 영상을 생성한다. 복원 영상은 블록킹 아티펙트를 제거하기 위한 디블록킹 필터를 이용하여 적응적으로 필터링된다.
도 1은 개발중인 HEVC에 따른 경계 강도(bS)를 결정하는 과정을 설명하는 개념도이다.
도 1에 도시된 바와 같이, 첫번째 단계에서 모든 4x4 블록의 모든 에지마다 경계 강도가 결정되고, 그리고나서 8x8 블록의 에지들에 대한 최종 경계 강도들이 결정된다. 8x8 블록의 에지는 4x4 블록들의 2개의 연속적인 에지들로 이루어진다. 8x8 블록 에지의 경계 강도는 8x8 블록 에지를 구성하는 2개의 에지의 경계 강도들 중 최대값으로 결정된다. 그러나, 현재 개발중인 HEVC에 기술된 디블록킹 필터 기술은 너무 복잡하여 부호화 및 복호화 성능을 떨어뜨린다.
따라서, 현재 개발중인 HEVC 표준은 디블록킹 필터의 성능을 향상시키는 것뿐만 아니라 디블록킹 필터의 복잡도를 감소시키는 기술에 중점을 두고 있다. HEVC는 초고화질 영상(ultra high-definiton image)에 중점을 두고 있기 때문에, 디블록킹 필터링을 수행하는데 요구되는 연산 복잡도 및 메모리 용량을 감소시킬 수 있는 기술이 특히 요구된다.
본 발명이 이루고자 하는 목적은 블록킹 아티펙트를 효과적으로 제거하면서 연산 복잡도를 줄이고, 메모리에 저장될 데이터량을 줄이는 방법을 제공하는데 있다.
본 발명에 따른 블록킹 아티펙트를 제거하는 방법은 8x8 샘플 그리드 상의 각 4-샘플 에지마다 경계 강도를 결정하고, 상기 경계 강도가 0이 아니면 상기 4-샘플 에지에 디블록킹 필터를 수행할지 여부를 결정하고, 상기 4-샘플 에지에 디블록킹 필터가 수행되면, 디블록킹 필터를 선택하고, 상기 선택된 필터를 이용하여 상기 4-샘플 에지를 필터링하는 것을 특징으로 한다.
본 발명에 따른 방법에서는 8x8 샘플 그리드 상의 각 4-샘플 에지마다 경계 강도를 결정하고, 상기 경계 강도가 0이 아니면 상기 4-샘플 에지에 디블록킹 필터를 수행할지 여부를 결정하고, 상기 4-샘플 에지에 디블록킹 필터가 수행되면, 디블록킹 필터를 선택하고, 상기 선택된 필터를 이용하여 상기 4-샘플 에지를 필터링한다. 따라서, 현재 발명에 따르면, 표준화가 진행중인 HEVC 표준에 비교하여 경계 강도를 결정하는데 요구되는 연산 복잡도를 50% 이상 줄일 수 있다. 또한, 영상 화질의 열화없이 경계 강도를 결정하는데 요구되는 메모리 용량 및 대역폭도 50% 이상 절감할 수 있다.
도 1은 표준화가 진행중인 HEVC에 따른 경계 강도를 결정하는 과정을 설명하는 개념도이다.
도 2는 본 발명에 따른 동영상 부호화 장치를 설명하는 블록도이다.
도 3은 본 발명에 따른 동영상 복호화 장치를 설명하는 블록도이다.
도 4는 본 발명에 따른 디블록킹 필터링 과정을 설명하는 순서도이다.
도 5는 본 발명에 따른 경계 강도를 결정하는 방법을 설명하는 개념도이다.
도 6은 본 발명에 따른 4-샘플 에지를 설명하는 개념도이다.
도 7은 본 발명에 따른 예측 유닛의 예시적인 배치를 설명하는 개념도이다.
도 8은 본 발명에 따른 라인 버퍼에 저장되는 움직임 정보를 설명하는 예시도이다.
도 9는 본 발명에 따른 블록 에지의 필터링 여부를 결정하는데 이용되는 샘플들의 위치를 설명하는 개념도이다.
이하, 본 발명의 여러가지 실시예들을 예시적인 도면을 참조하여 상세히 설명한다. 본 발명은 다양한 변경을 가할수 있고 여러 가지 실시예를 가질 수 있는 바, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명에 따른 영상 부호화 장치 및 영상 복호화 장치는 개인 컴퓨터, 개인 이동 단말기, 이동 멀티미디어 재생기, 스마트폰 또는 무선 통신 단말기 등과 같이 사용자 단말기일 수 있다. 상기 영상 부호화 장치 및 영상 복호화 장치는 다양한 기기와 통신하는 통신 유닛과 영상을 부호화 또는 복호화하기 위하여 다양한 프로그램과 데이터를 저장하기 위한 메모리를 구비한다.
도 2는 본 발명에 따른 동영상 부호화 장치(1000)를 나타내는 블록도이다.
도 2을 참조하면, 상기 동영상 부호화 장치(1000)는 픽쳐 분할부(1010), 변환부(1020), 양자화부(1030), 스캐닝부(1040), 엔트로피 부호화부(1050), 인트라 예측부(1060), 인터 예측부(1070), 역양자화부(1080), 역변환부(1090), 후처리부(1100), 픽쳐 저장부(1110), 감산부(1120) 및 가산부(1130)를 포함한다.
픽쳐 분할부(1010)는 픽쳐 또는 슬라이스를 복수개의 LCU(Largest Coding Unit)들로 분할하고, 상기 각각의 LCU를 하나 이상의 코딩 유닛으로 분할한다. LCU의 사이즈는 32x32, 64x64 또는 128x128일 수 있다. 픽쳐 분할부(1010)는 각 코딩 유닛의 예측 모드 및 분할 모드(partitioning mode)를 결정한다.
하나의 LCU는 하나 또는 복수개의 코딩 유닛(coidng unit)을 포함한다. 상기 LCU는 분할 구조를 나타내기 위해 재귀적 쿼드 트리 구조(recursive quadtree structure)를 갖는다. 코딩 유닛의 최대 사이즈 및 최소 사이즈를 나타내는 정보가 시퀀스 파라미터 셋(sequence parameter set)에 포함된다. 상기 분할 구조는 하나 또는 복수개의 분할 코딩 유닛 플래그(split_cu_flag)들을 이용하여 특정된다. 코딩 유닛은 2Nx2N의 사이즈를 갖는다. LCU의 사이즈가 64x64이고, 최소 코딩 유닛(SCU:smallest coding unit)이 8x8이면, 코딩 유닛의 사이즈는 64x64, 32x32, 16x16 또는 8x8일 수 있다.
코딩 유닛은 하나 또는 복수개의 예측 유닛(prediction unit)을 포함한다. 인트라 예측에서는 상기 예측 유닛의 사이즈는 2Nx2N 또는 NxN이다. 인터 예측에서는 상기 예측 유닛의 사이즈가 분할 모드에 의해 특정된다. 코딩 유닛이 대칭으로 분할되면, 분할 모드는 2Nx2N, 2NxN, Nx2N 및 NxN 중의 하나이다. 코딩 유닛이 비대칭으로 분할되면, 분할 모드는 2NxnU, 2NxnD, nLx2N 및 nRx2N 중의 하나이다.
코딩 유닛은 하나 또는 복수개의 변환 유닛(transform unit)을 포함한다. 변환 유닛은 코딩 유닛의 분할 구조를 나타내기 위해 재귀적 쿼드 트리 구조(recursive quadtree structure)를 갖는다. 분할 구조는 하나 또는 복수개의 분할 변환 유닛 플래그들에 의해 표현된다. 변환 유닛의 최대 사이즈 및 최소 사이즈를 나타내는 파라미터가 시퀀스 파라미터 셋에 포함된다.
변환부(1020)는 잔차 블록을 변환하여 변환 블록을 생성한다. 잔차 신호들은 변환 유닛 단위로 변환된다. 상기 잔차 신호들은 인트라 예측부(1060) 또는 인터 예측부(1070)에 의해 생성되는 예측 블록을 원본 블록으로부터 감산하여 유도된다.
예측 모드(인트라 예측 모드 또는 인터 예측 모드)에 따라서 변환 매트릭스가 달라질 수 있다. 또한, 인트라 예측 모드에서는 변환 매트릭스가 인트라 예측 모드에 기초하여 적응적으로 결정될 수 있다. 변환 유닛은 2개의 1차원 변환 매트릭스들(수평 매트릭스 및 수직 매트릭스)을 이용하여 변환된다. 예를 들어, 수평 인트라 예측 모드에서는 잔차 신호들이 수직 방향성을 갖기 때문에, DCT 기반 정수 매트릭스가 수직 방향으로 적용되고, DST 기반 또는 KLT 기반 정수 매트릭스가 수평 방향으로 적용될 수 있다. 수직 인트라 예측모드에서는 DCT 기반 정수 매트릭스가 수평 방향으로 적용되고, DST 기반 또는 KLT 기반 정수 매트릭스가 수직 방향으로 적용될 수 있다. 한편, 변환 매트릭스의 종류가 변환 유닛의 사이즈에 의해 결정될 수도 있다.
양자화부(1030)는 상기 변환 블록을 양자화하기 위한 양자화 파라미터를 결정한다. 양자화 파라미터는 양자화 스텝 사이즈를 의미한다. 양자화 파라미터는 양자화 유닛마다 결정된다. 양자화 유닛은 미리 정해진 사이즈보다 크거나 같은 코딩 유닛이다. 상기 미리 정해진 사이즈는 양자화 유닛의 최소 사이즈이다. 상기 최소 사이즈를 갖는 양자화 유닛을 최소 양자화 유닛이라 명명한다. 코딩 유닛의 사이즈가 양자화 유닛의 최소 사이즈보다 크거나 같으면, 상기 코딩 유닛은 양자화 유닛이 된다. 복수개의 코딩 유닛이 최소 양자화 유닛에 포함될 수도 있다. 상기 최소 양자화 유닛은 8x8 블록 또는 16x16 블록일 수 있다. 상기 최소 사이즈는 픽쳐마다 결정될 수 있다.
양자화부(1030)는 양자화 파라미터 예측자를 생성하고, 양자화 파라미터로부터 양자화 파라미터 예측자를 빼서 차분 양자화 파라미터를 생성한다. 상기 차분 양자화 파라미터가 부호화된다.
상기 양자화 파라미터 예측자는 다음과 같이 생성된다.
[제 1 실시예]
좌측 코딩 유닛, 상측 코딩 유닛 및 좌상측 코딩 유닛의 양자화 파라미터들이 상기 순서대로 순차적으로 검색된다. 상기 양자화 파라미터 예측자는 하나 또는 2개의 이용 가능한 양자화 파라미터를 이용하여 생성된다. 예를 들어, 첫번째 이용 가능한 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정된다. 또는 최초 2개의 이용 가능한 양자화 파라미터들의 평균값을 양자화 파라미터 예측자로 설정하고, 하나의 양자화 파라미터만이 이용 가능한 경우에는 상기 이용 가능한 양자화 파라미터가 양자화 파라미터 예측자로 설정된다.
[제 2 실시예]
현재 블록의 좌측 코딩 유닛, 상측 코딩 유닛 및 좌상측 코딩 유닛이 존재하지 않을 수 있다. 그러나, 부호화 순서상 현재 코딩 유닛의 이전 코딩 유닛은 존재할 수 있다. 따라서, 현재 코딩 유닛에 인접한 인접 코딩 유닛들과 이전 코딩 유닛의 양자화 파라미터들이 상기 양자화 파라미터 예측자를 생성하는데 사용될 수 있다. 상기 양자화 파라미터들은 다음의 순서, 즉, 1) 좌측 인접 코딩 유닛의 양자화 파라미터, 2) 상측 인접 코딩 유닛의 양자화 파라미터, 3) 좌상측 인접 코딩 유닛의 양자화 파라미터 및 4) 이전 코딩 유닛의 양자화 파라미터의 순으로 검색된다.
다른 예로서, 양자화 파라미터는 다음의 순서, 즉, 1) 좌측 인접 코딩 유닛의 양자화 파라미터, 2) 상측 인접 코딩 유닛의 양자화 파라미터 및 3) 이전 코딩 유닛의 양자화 파라미터의 순으로 검색된다.
적어도 2개의 양자화 파라미터들이 이용가능한 경우, 상기 순서로 검색되는 최초 2개의 이용 가능한 양자화 파라미터들의 평균값을 양자화 파라미터 예측자로 설정하고, 하나의 양자화 파라미터만이 이용 가능한 경우에는 상기 이용 가능한 양자화 파라미터가 양자화 파라미터 예측자로 설정된다. 예를 들어, 상기 좌측 및 상측 코딩 유닛들의 양자화 파라미터들이 이용 가능하면, 상기 좌측 및 상측 양자화 파라미터들의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 좌측 및 상측 코딩 유닛들의 양자화 파라미터들 중 하나만이 이용 가능하면, 상기 이용 가능한 양자화 파라미터와 상기 이전 코딩 유닛의 양자화 파라미터의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 좌측 및 상측 코딩 유닛들의 양자화 파라미터들이 모두 이용 가능하지 않으면, 상기 이전 코딩 유닛의 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정된다. 상기 평균값은 반올림한 값이다.
양자화부(1030)는 양자화 매트릭스 및 양자화 파라미터를 이용하여 변환 블록을 양자화하여 양자화 블록을 생성한다. 양자화 블록은 역양자화부(1080) 및 스캐닝부(1040)로 제공된다.
스캐닝부(1040)는 상기 양자화 블록에 스캔 패턴을 적용하여, 양자화 계수를 스캔하여 1차원으로 양자화 계수 성분들로 변환한다.
인트라 예측에서는 인트라 예측 모드 및 변환 유닛의 사이즈에 따라서 양자화 계수의 분포가 달라진다. 따라서, 스캔 패턴이 인트라 예측 모드 및 변환 유닛의 사이즈에 기초하여 결정된다. 스캔 패턴은 지그재그 스캔, 수직 스캔 및 수평 스캔 중에서 결정될 수 있다. 지그재그 스캔은 대각선 스캔으로 대체될 수 있다.
예를 들어, 변환 유닛의 사이즈가 8x8보다 작거나 같으면, 수직 모드 및 상기 수직 모드에 인접한 미리 정해진 개수의 인트라 예측 모드들에서는 수평 스캔이 선택되고, 수평 모드 및 상기 수평 모드에 인접한 미리 정해진 개수의 인트라 예측 모드들에서는 수직 스캔이 선택되고, 나머지 인트라 예측 모드들에서는 지그재그 스캔 또는 대각선 스캔이 선택된다. 변환 유닛의 크기가 8x8보다 크면, 모든 인트라 예측 모드들에서 지그재그 스캔 또는 대각선 스캔이 선택된다.
인터 예측에서는 미리 정해진 스캔 패턴이 사용된다. 상기 미리 정해진 스캔 패턴은 지그재그 스캔 또는 대각선 스캔일 수 있다.
변환 유닛의 사이즈가 미리 정해진 사이즈보다 크면, 상기 양자화 블록은 복수개의 서브셋들로 분할되어 스캔된다 상기 미리 정해진 사이즈는 4x4일 수 있다. 서브셋들을 스캔하는 스캔 패턴은 각 서브셋 내의 양자화 계수들을 스캔하는 스캔 패턴과 동일하다. 각 서브셋 내의 양자화 계수들은 역방향으로 스캔된다. 서브셋들도 역방향으로 스캔된다.
0이 아닌 마지막 계수 위치를 나타내는 파라미터가 부호화되어 복호기로 전송된다. 상기 0이 아닌 마지막 계수 위치는 변환 유닛 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낸다. 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타내는 파라미터도 복호기로 전송될 수 있다.
역양자화부(1080)는 상기 양자화 계수들을 역양자화한다. 역변환부(1090)는 역양자화된 계수들을 역변환하여 잔차 신호들을 생성한다.
가산부(1130)는 역변환부(1090)에 의해 생성되는 잔차 신호들과 인트라 예측부(1060) 또는 인터 예측부(1070)에 의해 생성되는 예측 신호들을 더한다. 감산부(1120)는 원본 샘플들로부터 예측 샘플들을 빼서 잔차 신호를 생성한다.
후처리부(1100)는 디블록킹 필터링(deblocking filtering) 과정, 샘플 적응적 오프셋(sample adaptive offset) 과정 및 적응적 루프 필터링(adaptive loop filtering) 과정을 수행한다.
디블록킹 필터링 과정은 복원 픽쳐내에 나타나는 블록킹 아티펙트를 제거하기 위해 수행된다.
샘플 적응적 오프셋 과정은 디블록킹 필터링 과정 후에 원본 샘플과 복원 샘플간의 차이를 줄이기 위해 수행된다. 샘플 적응적 오프셋 과정을 수행할지 여부는 픽쳐 또는 슬라이스마다 결정된다. 픽쳐 또는 슬라이스는 복수개의 오프셋 영역들로 나뉠 수 있고, 각 영역에 대하여 오프셋 타입이 결정될 수 있다. 4개의 에지 오프셋 타입과 2개의 밴드 오프셋 타입이 존재한다. 오프셋 타입이 에지 오프셋 타입들 중 하나이면, 상기 오프셋 영역 내의 각 샘플마다 에지 타입이 결정된다. 상기 에지 타입은 현재 샘플과 2개의 이웃하는 샘플들을 비교하여 결정된다.
적응적 루프 필터링 과정은 필터 계수들을 획득하기 위해 복원된 영상과 원보 영상을 비교하여 수행된다. 필터 계수는 4x4 블록 또는 8x8 블록 내의 모든 샘플들에 적용된다. 따라서, 루프 필터의 사이즈 및 계수들은 코딩 유닛 단위로 변경될 수 있다.
픽쳐 저장부(1110)는 후처리부(1100)로부터 복원 픽쳐들을 수신하고, 이들을 메모리에 저장한다. 픽쳐는 프레임 기반 픽쳐 또는 필드 기반 픽쳐일 수 있다.
인터 예측부(1070)는 픽쳐 저장부(1110)에 저장되어 있는 하나 이상의 참조 픽쳐들을 이용하여 움직임 예측을 수행하여 하나 이상의 참조 픽쳐들을 특정하는 하나 이상의 참조 픽쳐 인덱스들과 하나 이상의 움직임 벡터들을 결정한다. 인터 예측부(1070)는 상기 하나 이상의 참조 픽쳐 인덱스들 및 하나 이상의 움직임 벡터들을 이용하여 예측 블록을 생성한다.
인트라 예측부(1060)는 현재 예측 유닛의 인트라 예측모드를 결정하고, 상기 인트라 예측 모드를 이용하여 예측 블록을 생성한다.
엔트로피 부호화부(1050)는 스캐닝부(1040)로부터 수신되는 양자화된 계수 성분, 인트라 예측부(1060)로부터 수신되는 인트라 예측 정보, 인터 예측부(1070)로부터 수신되는 움직임 정보 등을 엔트로피 부호화한다.
도 3은 본 발명에 따른 동영상 복호화 장치(2000)를 설명하는 블록도이다.
본 발명에 따른 동영상 복호화 장치(2000)는 엔트로피 복호화부(2010), 역스캐닝부(2020), 역양자화부(2030), 역변환부(2040), 인트라 예측부(2050), 인터 예측부(2060), 후처리부(2070), 픽쳐 저장부(2080) 및 가산부(2090)를 포함한다.
엔트로피 복호화부(2010)는 수신된 비트스트림에서 인트라 예측 정보, 인터 예측 정보 및 양자화 계수 성분들을 추출하여 엔트로피 복호화한다. 엔트로피 복호화부(2010)는 인터 예측 정보를 인터 예측부(2060)으로 전송하고, 인트라 예측 정보를 인트라 예측부(2050)로 전송하고, 양자화 계수 성분들을 역스캐닝부(2020)로 전송한다.
역스캐닝부(2020)는 역스캔 패턴을 이용하여 상기 양자화 계수 성분들을 2차원의 양자화 블록으로 변환한다.
인트라 예측에서는 인트라 예측 모드 및 변환 유닛의 사이즈에 기초해서 역스캔 패턴이 선택된다. 역스캔 패턴은 지그재그 스캔, 수직 스캔 및 수평 스캔 중에서 선택될 수 있다. 지그재그 스캔은 대각선 스캔으로 대체될 수 있다.
예를 들어, 변환 유닛의 사이즈가 8x8보다 작거나 같으면, 수직 모드 및 상기 수직 모드에 인접한 미리 정해진 개수의 인트라 예측 모드들에서는 수평 스캔이 선택되고, 수평 모드 및 상기 수평 모드에 인접한 미리 정해진 개수의 인트라 예측 모드들에서는 수직 스캔이 선택되고, 나머지 인트라 예측 모드들에서는 지그재그 스캔 또는 대각선 스캔이 선택된다. 변환 유닛의 크기가 8x8보다 크면, 모든 인트라 예측 모드들에서 지그재그 스캔 또는 대각선 스캔이 선택된다.
인터 예측에서는 미리 정해진 스캔 패턴이 사용된다. 상기 미리 정해진 스캔 패턴은 지그재그 스캔 또는 대각선 스캔일 수 있다.
변환 유닛의 사이즈가 미리 정해진 사이즈보다 크면, 상기 양자화 계수 성분들은 서브셋 단위로 역스캔되어 양자화 블록을 구성한다. 상기 서브셋은 미리 정해진 사이즈를 갖는다. 상기 미리 정해진 사이즈는 4x4일 수 있다. 변환 유닛의 사이즈가 상기 미리 정해진 사이즈와 동일하면, 상기 양자화 계수 성분들이 역스캔되어 변환 유닛을 구성한다. 상기 양자화 계수 성분들이 서브셋 단위로 역스캔될때, 동일한 역스캔 패턴이 각 서브셋의 양자화 계수 성분들에 적용될 수 있다.
복수개의 서브셋들은 역방향으로 역스캔된다. 상기 양자화 계수 성분들도 역방향으로 역스캔된다. 서브셋을 구성하기 위해 양자화 계수 성분들에 적용되는 역스캔 패턴이 복수개의 생성된 역스캔 서브셋들에 적용되는 역스캔 패턴과 동일하다. 역스캔부(2020)는 변환 유닛의 0이 아닌 마지막 양자화 계수의 위치를 나타내는 파라미터들을 사용하여 역스캔을 수행한다.
역양자화부(2030)는 엔트로피 복호화부(2010)로부터 차분 양자화 파라미터를 수신하고, 양자화 파라미터 예측자를 생성하여 현재 코딩 유닛의 양자화 파라미터를 생성한다.
상기 양자화 파라미터 예측자는 다음과 같이 생성된다.
[제 1 실시예]
좌측 코딩 유닛, 상측 코딩 유닛 및 좌상측 코딩 유닛의 양자화 파라미터들이 상기 순서대로 순차적으로 검색된다. 상기 양자화 파라미터 예측자는 하나 또는 2개의 이용 가능한 양자화 파라미터를 이용하여 생성된다. 예를 들어, 첫번째 이용 가능한 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정된다. 또는 최초 2개의 이용 가능한 양자화 파라미터들의 평균값을 양자화 파라미터 예측자로 설정하고, 하나의 양자화 파라미터만이 이용 가능한 경우에는 상기 이용 가능한 양자화 파라미터가 양자화 파라미터 예측자로 설정된다.
[제 2 실시예]
현재 블록의 좌측 코딩 유닛, 상측 코딩 유닛 및 좌상측 코딩 유닛이 존재하지 않을 수 있다. 그러나, 부호화 순서상 현재 코딩 유닛의 이전 코딩 유닛은 존재할 수 있다. 따라서, 현재 코딩 유닛에 인접한 인접 코딩 유닛들과 이전 코딩 유닛의 양자화 파라미터들이 상기 양자화 파라미터 예측자를 생성하는데 사용될 수 있다. 상기 양자화 파라미터들은 다음의 순서, 즉, 1) 좌측 인접 코딩 유닛의 양자화 파라미터, 2) 상측 인접 코딩 유닛의 양자화 파라미터, 3) 좌상측 인접 코딩 유닛의 양자화 파라미터 및 4) 이전 코딩 유닛의 양자화 파라미터의 순으로 검색된다.
다른 예로서, 양자화 파라미터는 다음의 순서, 즉, 1) 좌측 인접 코딩 유닛의 양자화 파라미터, 2) 상측 인접 코딩 유닛의 양자화 파라미터 및 3) 이전 코딩 유닛의 양자화 파라미터의 순으로 검색된다.
적어도 2개의 양자화 파라미터들이 이용가능한 경우, 상기 순서로 검색되는 최초 2개의 이용 가능한 양자화 파라미터들의 평균값을 양자화 파라미터 예측자로 설정하고, 하나의 양자화 파라미터만이 이용 가능한 경우에는 상기 이용 가능한 양자화 파라미터가 양자화 파라미터 예측자로 설정된다. 예를 들어, 상기 좌측 및 상측 코딩 유닛들의 양자화 파라미터들이 이용 가능하면, 상기 좌측 및 상측 양자화 파라미터들의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 좌측 및 상측 코딩 유닛들의 양자화 파라미터들 중 하나만이 이용 가능하면, 상기 이용 가능한 양자화 파라미터와 상기 이전 코딩 유닛의 양자화 파라미터의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 좌측 및 상측 코딩 유닛들의 양자화 파라미터들이 모두 이용 가능하지 않으면, 상기 이전 코딩 유닛의 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정된다. 상기 평균값은 반올림한 값이다.
역양자화부(2030)는 상기 차분 양자화 파라미터와 상기 양자화 파라미터 예측자를 더하여 현재 코딩 유닛의 양자화 파라미터를 생성한다. 현재 코딩 유닛의 차분 양자화 파라미터가 부호기 측으로부터 수신되지 않으면, 상기 차분 양자화 파라미터는 0으로 설정된다. 상기 양자화 파라미터는 양자화 유닛마다 생성된다.
역양자화부(2030)는 양자화 블록을 역양자화한다.
역변환부(2040)는 상기 역양자된 블록을 역변환하여 잔차 블록을 생성한다. 역변환 타입은 예측 모드(인트라 예측 모드 및 인터 예측 모드) 및 변환 유닛의 사이즈에 기초하여 결정된다.
가산부(2090)는 상기 잔차 블록과 예측 블록을 더하여 복원 샘플들을 생성한다.
인트라 예측부(2050)는 엔트로피 복호화부(2010)으로부터 수신된 인트라 예측 정보에 기초하여 현재 예측 유닛의 인트라 예측 모드를 복원하고, 상기 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.
인터 예측부(2060)는 엔트로피 복호화부(2010)로부터 수신되는 인터 예측 정보에 기초하여 하나 이상의 참조 픽쳐 인덱스들과 하나 이상의 움직임 벡터들을 복원하고, 상기 하나 이상의 참조 픽쳐 인덱스들과 하나 이상의 움직임 벡터들을 이용하여 예측 블록을 생성한다.
후처리부(2070)의 동작은 도 2의 후처리부(1100)의 동작과 동일하다.
픽쳐 저장부(2080)는 후처리부(2070)로부터 후처리된 픽쳐들을 저장한다.
도 4는 본 발명에 따른 디블록킹 필터링 과정을 설명하는 순서도이다.
디블록킹 필터링 과정은 도 2에 도시된 동영상 부호화 장치(1000)의 후처리부(1100) 및 도 3에 도시된 동영상 복호화 장치(2000)의 후처리부(2070)에 의해 수행된다.
디블록킹 필터링이 슬라이스에 수행되는 것으로 결정되면, 디블록킹 필터링 과정이 상기 슬라이스에 적용된다. 상기 동영상 복호화 장치는 디블록킹 필터링이 수행되는지 여부를 슬라이스마다 결정하기 위해 비트스트림으로부터 수신된 플래그(diable_deblocking_filter_flag)를 이용한다.
디블록킹 필터링은 코딩 유닛 단위로 수행된다. 먼저, 코딩 유닛의 좌측부로부터 시작해서 우측부 방향으로 수직 에지들이 필터링된다. 다음으로, 코딩 유닛의 상측부로부터 하측부 방향으로 수평 에지들이 필터링된다.
디블록킹 필터는 예측 유닛 에지들과 변환 유닛 에지들에만 적용된다. 예측 유닛 또는 변환 유닛의 사이즈의 폭 또는 높이가 8-샘플 길이보다 작으면, 디블록킹 필터는 8x8 샘플 그리드에 놓여 있는 에지들에 대해서만 적용된다.
8x8 샘플 그리드에 놓여 있는 4-샘플 에지에 대하여 경계 강도(bS)가 결정된다(S110).
도 5는 본 발명에 따른 경계 강도(bS)를 결정하기 위한 방법을 설명하는 개념도이다.
도 5에 도시된 바와 같이, 코딩 유닛 내의 각 에지의 경계 강도(bS)는 하나의 단계를 통해 결정된다. 경계 강도는 8x8 샘플 그리드에 놓여 있는 4-샘플 에지들에 대해서만 결정된다. 본 발명에서는 8x8 샘플 그리드의 부분이 아닌 4x4 블록의 에지들에 대해서는 경계 강도를 구하지 않는다. 본 발명에서는 8-샘플 에지에 대한 경계 강도를 생성하는 동작을 생략한다. 대신에, 본 발명에서는 4-샘블 에지에 대한 디블록킹 결정과 정렬되도록 각각의 4-샘플 에지가 자신의 경계 강도를 갖는다.
따라서, 본 발명에 따르면, 경계 강도를 결정하는데 요구되는 연잡 복잡도가 표준화가 진행중인 HEVC에 비해 50% 이상 줄어든다. 또한, 경계 강도를 결정하기 위해 요구되는 메모리 용량과 대역폭도 50% 이상 줄일 수 있다. 결과적으로, 본 발명은 영상 품질의 열화 없이 하드웨어 및 소프트웨어의 복잡도를 줄이게 된다.
도 6은 본 발명에 따른 4-샘플 에지를 설명하는 개념도이다 도 6에 도시된 바와 같이, 4-샘플 에지는 샘플 p0를 포함하는 P 블록과 샘플 q0를 포함하는 Q 블록 사이에 위치한다. 샘플 p0은 샘플 p00~p03들 중 하나에 대응하고, 샘플 q0은 샘플 q00~q03들 중 하나에 대응한다. 블록 P와 블록 Q는 예측 유닛 또는 변환 유닛이다.
상기 경계 강도는 다음과 같이 결정된다. 경계 강도는 4-샘플 에지마다 결정된다.
샘플 p0를 포함하는 예측 유닛 또는 샘플 q0를 포함하는 예측 유닛이 인트라 예측 부호화된 경우에는, 4-샘플 에지의 경계 강도가 2로 설정된다. 4-샘플 에지는 예측 유닛의 에지이다. 즉, 블록 P와 블록 Q가 인터 부호화되면, 경계 강도는 0 또는 1로 설정된다.
다음의 조건들 중 하나 이상이 만족되면, 경계 강도는 1로 설정된다.
1) 4-샘플 에지가 변환 유닛 에지이고, 샘플 p0를 포함하는 변환 유닛 또는 샘플 q0를 포함하는 변환 유닛이 적어도 하나의 0이 아닌 변환 계수를 포함하는 경우.
2) 4-샘플 에지가 예측 유닛 에지이고, 샘플 p0를 포함하는 예측 유닛 및 샘플 q0를 포함하는 예측 유닛이 인터 예측 부호화되고, 샘플 p0를 포함하는 예측 유닛 및 샘플 q0를 포함하는 예측 유닛이 서로 다른 참조 픽쳐들을 갖거나, 서로 다른 개수의 움직임 벡터를 갖는 경우.
3) 샘플 p0를 포함하는 예측 유닛 및 샘플 q0를 포함하는 예측 유닛이 인터 예측 부호화되고, 샘플 p0를 포함하는 예측 유닛 및 샘플 q0를 포함하는 예측 유닛이 각각 하나의 움직임 벡터를 갖고, 상기 움직임 벡터들 사이의 수평 또는 수직 성분의 차이의 절대값이 미리 정해진 값(예를 들어, 1 샘플)보다 크거나 같은 경우. 상기 에지는 LCU의 수평 경계의 일부가 아님.
4) 샘플 p0를 포함하는 예측 유닛 및 샘플 q0를 포함하는 예측 유닛이 인터 예측 부호화되고, 샘플 p0를 포함하는 예측 유닛 및 샘플 q0를 포함하는 예측 유닛이 각각 2개의 움직임 벡터들을 갖고, 샘플 p0를 포함하는 예측 유닛 및 샘플 q0를 포함하는 예측 유닛이 적어도 하나의 동일한 참조픽쳐를 갖고, 동일한 참조픽쳐에 대응하는 2개의 움직임 벡터들 사이의 수평 또는 수직 성분의 차이의 절대값이 상기 미리 정해진 값보다 크거나 같은 경우. 상기 에지는 LCU의 수평 경계의 일부가 아님.
상술한 바와 같이, 4-샘플 에지가 8x8 샘플 그리드에 놓여 있지 않으면, 경계 강도는 0으로 설정된다.
한편, 상기 에지가 LCU 수평 경계이고, 샘플 p0를 포함하는 예측 유닛이 LCU 수평 경계 상측에 위치하면, 샘플 p0를 포함하는 예측 유닛의 움직임 정보가, 샘플 p0를 포함하는 예측 유닛을 포함하는 예측 유닛의 크기 및/또는 현재 예측 유닛의 위치에 기초하여, 샘플 p0를 포함하는 예측 유닛의 움직임 정보가 샘플 p0를 포함하는 예측 유닛의 좌측 또는 상측 인접 예측 유닛의 움직임 정보로 대체될 수 있다.
도 7은 본 발명에 따른 예측 유닛의 예시적인 배치를 설명하는 개념도이다.
디블록킹 필터가 8x8 샘플 그리드의 에지에 적용된다. 따라서, 부호화 장치 및 복호화 장치는 현재 LCU의 상측 예측 유닛들 및 우상측 예측 유닛들의 정보를 저장하여야 한다. 움직임 정보를 정확하게 복원하기 위해서는 각 예측 유닛의 움직임 정보뿐만 아니라 각 예측 유닛의 폭도 저장되어야 한다. 그러나, 상기 저장되어야 하는 정보량을 줄이기 위해서, 저장되어야 할 폭에 대한 정보를 제거하고 움직임 정보를 고정된 폭마다 저장하는 것이 바람직하다. 본 발명에 따르면, 상기 고정된 폭은 최소의 허용 가능한 예측 유닛의 폭의 정수배(예를 들어, 최소 허용 폭의 2배)가 되도록 설정된다. 상기 고정된 폭은 8-샘플 길이로 설정될 수 있다.
도 8은 본 발명에 따른 라인 버퍼에 저장되어야 할 움직임 정보를 설명하는 예시도이다.
도 8의 상측 부분은 현재 LCU의 상측 예측 유닛들 및 우상측 예측 유닛들의 사이즈들과 움직임 정보를 설명하고 있다. 도 8의 아래쪽 부분은 라인 버퍼에 저장되어야할 움직임 정보를 설명한다.
도 8에 도시된 바와 같이, 예측 유닛의 폭이 8-샘플 길이이면, 움직임 정보 C가 그대로 저장된다. 예측 유닛의 폭이 8보다 크면, 동일한 움직임 정보 H가
8-샘플 길이를 갖는 고정된 폭마다 저장된다.
그러나, 예측 유닛의 폭이 4-샘플 길이이면, 저장되어야할 움직임 정보는 예측 유닛의 위치에 기초하여 대체될 수 있다. 예를 들면, 움직임 정보 A를 갖는 예측 유닛과 움직임 정보 B를 갖는 예측 유닛을 위해 움직임 정보 A'이 저장된다. 움직임 정보 D를 갖는 예측 유닛과 움직임 정보 E를 갖는 예측 유닛을 위해 움직임 정보 D'이 저장된다. 움직임 정보 F를 갖는 예측 유닛과 움직임 정보 G를 갖는 예측 유닛을 위해 움직임 정보 F'이 저장된다.
상기 움직임 정보 A', D' 및 F'은 상기 2개의 예측 유닛들 중 좌측 예측 유닛의 움직임 정보로 설정될 수 있다.
또는, 상기 움직임 정보 A', D' 및 F'은 상기 두 예측 유닛들 중 16x16 샘플 그리드의 수직 라인에 접하는 예측 유닛의 움직임 정보로 설정될 수 있다. 즉, 움직임 정보 A'은 움직임 정보 A로 설정될 수 있고, 움직임 정보 D'은 움직임 정보 D로 설정될 수 있고, 움직임 정보 F'은 움직임 정보 G로 설정될 수 있다.
다음으로, 4-샘플 에지에 디블록킹 필터링이 수행되는지가 결정된다(S120).
도 9는 본 발명에 따른 블록 에지 필터링 여부를 결정하는데 이용되는 샘플들의 위치를 설명하는 개념도이다. 도 5에 도시된 바와 같이, 상기 결정은 8x8 블록 에지의 4-샘플 에지마다 수행된다.
각 에지에 대하여, 다음의 2가지 조건이 만족하면 디블록킹 필터링이 수행된다.
1) bS > 0
2) d < β
bS는 경계 강도를 나타낸다. 변수 β의 값은 경계 양자화 파라미터 QPB에 기초하여 결정된다.
상기 변수 d는 다음과 같이 정의된다.
제 1 실시예에서는, 영역 1에서는 d = dp0 + dq0 + dp3 + dq3 이고, 영역 2에서는 d = dp4 + dq4 + dp7 + dq7 이고, dpk = | p2k - 2·p1k + p0k | 이고, dqk = | q2k - 2·q1k + q0k |이다.
제 2 실시예에서는, 영역 1에서는 d = dp0 + dq0 + dp2 + dq2 이고, 영역 2에서는 d = dp4 + dq4 + dp6 + dq6 이다.
제 3 실시예에서는, 영역 1에서는 d = dp1 + dq1 + dp2 + dq2 이고, 영역 2에서는 d = dp5 + dq5 + dp6 + dq6 이다.
다음으로, 디블록킹 필터링이 4-샘플 에지에 적용되는 것으로 결정되면, 스트롱 필터(strong filter)와 위크 필터(weak filter) 중에서 하나의 디블록킹 필터가 선택된다. 그러나, 디블록킹 필터링이 4-샘플 에지에 적용되지 않는 것으로 결정되면, 상기 에지에 대한 디블록킹 필터링 과정이 종료된다. 도 9에 도시된 바와 같이 4-샘플 에지에 대해 하나의 필터가 선택된다.
다음 조건들을 만족시키면 영역 1에서 스트롱 필터가 선택된다.
1) d < (β>>2)
2) | p3i - p0i | + | q3i - q0i | < (β>>3) for each i, i=0, 3
3) | p0i - q0i | < (5*tc + 1) >> 1 for each i, i=0, 3
또는
1) di < (β>>1) for each i, i=0, 3
2) | p3i - p0i | + | q3i - q0i | < (β>>3) for each i, i=0, 3
3) | p0i - q0i | < (5*tc + 1) >> 1 for each i, i=0, 3
그렇지 않으면, 위크 필터가 선택된다. 변수 tc 는 상기 경계 양자화 파라미터 QPB에 기초하여 결정된다.
다음 조건을 만족시키면, 영역 2에서 스트롱 필터가 선택된다.
1) d < (β>>2)
2) | p3i - p0i | + | q3i - q0i | < (β>>3) for each i, i=4, 7
3) | p0i - q0i | < (5*tc + 1) >> 1 for each i, i=4, 7
또는
1) di < (β>>1) for each i, i=4, 7
2) | p3i - p0i | + | q3i - q0i | < (β>>3) for each i, i=4, 7
3) | p0i - q0i | < (5*tc + 1) >> 1 for each i, i=4, 7
그렇지 않으면 위크 필터가 선택된다.
다른 실시예에서는, 영역 1에서는 i는 0, 3 대신에 0, 2의 값으로 대체되고, 영역 2에서는 i는 4, 7 대신에 5, 7로 대체될 수 있다.
또 다른 실시예에서는, 영역 1에서는 i는 0, 3 대신에 1, 2로 대체되고, 영역 2에서는 i는 4, 7 대신에 5, 6으로 대체될 수 있다.
다음으로, 디블록킹 필터가 선택되면, 상기 에지는 상기 디블록킹 필터를 사용하여 필터링된다(S140).
스트롱 필터는 다음과 같다.
p0' = ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3 )
p1' = ( p2 + p1 + p0 + q0 + 2 ) >> 2 
p2' = ( 2*p3 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3 
q0' = ( p1 + 2*p0 + 2*q0 + 2*q1 + q2 + 4 ) >> 3
q1' = ( p0 + q0 + q1 + q2 + 2 ) >> 2
q2'= ( p0 + q0 + q1 + 3*q2 + 2*q3 + 4 ) >> 3 
위크 필터는 다음과 같다.
△ = Clip3( -tC, tC, △ )
p0' = Clip1( p0 + △ )
q0' = Clip1( q0 - △ )
△p = Clip3( -(tC >> 1), tC >> 1, (((p2+p0+1)>>1)-p1+△)>>1 )
p1' = Clip1( p1 + △p )
△q = Clip3( -(tC >> 1), tC >> 1, (((q2+q0+1)>>1)-q1-△)>>1 )
q1' = Clip1( q1 + △q )
변수 β 및 tC 는 상기 경계 양자화 파라미터(QPB)에 의해 결정되고, 상기 경계 양자화 파라미터(QPB)가 증가할수록 같거나 커진다. 변수 β와 tC 및 상기 경계 양자화 파라미터 사이의 관계는 테이블로 정의된다.
상기 경계 양자화 파라미터(QPB)는 샘플 p0를 포함하는 P 블록의 양자화 파라미터(QPP)와 샘플 q0을 포함하는 Q 블록의 양자화 파라미터(QPQ)dml 평균값이다. 상기 평균값은 반올림된 값이다. P 블록과 Q 블록 중 적어도 하나가 인트라 부호화되면, 상기 경계 양자화 파라미터(QPB)가 1씩 증가할수록 상기 변수 tC는 0, 1 또는 2만큼씩 증가한다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1100 : 후처리부

Claims (6)

  1. 블록킹 아티펙트를 제거하는 방법에 있어서,
    8x8 샘플 그리드 상의 각 4-샘플 에지마다 경계 강도를 결정하는 단계;
    상기 경계 강도가 0이 아니면, 상기 4-샘플 에지에 디블록킹 필터를 수행할지 여부를 결정하는 단계;
    상기 4-샘플 에지에 디블록킹 필터가 수행되면, 디블록킹 필터를 선택하는 단계; 및
    상기 선택된 필터를 이용하여 상기 4-샘플 에지를 필터링하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 4-샘플 에지가 변환 유닛 경계가 아니고 상기 4-샘플 에지가 예측 유닛 경계가 아니면, 상기 경계 강도는 0으로 설정되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 경계 강도는 0, 1 또는 2인 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 수직 4-샘플 에지들이 필터링된 후 수평에지들이 필터링되는 것을 특징으로 하는 방법.
  5. 제4항에 있어서, 샘플 p0를 포함하는 예측 유닛 또는 샘플 q0를 포함하는 예측 유닛이 인트라 부호화되면, 상기 경계 강도는 2로 설정되는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 상기 샘플 p0를 포함하는 예측 유닛 및 상기 샘플 q0를 포함하는 예측 유닛이 인터 부호화되면, 상기 경계 강도는 0 또는 1로 설정되는 것을 특징으로 하는 방법.
KR1020147010065A 2012-01-09 2013-01-08 블록킹 아티펙트를 제거하는 방법 KR20140067132A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20120002597 2012-01-09
KR1020120002597 2012-01-09
PCT/CN2013/070217 WO2013104298A1 (en) 2012-01-09 2013-01-08 Method of removing deblocking artifacts

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020147010068A Division KR20140057390A (ko) 2012-01-09 2013-01-08 디블록킹 필터링 방법
KR1020147010069A Division KR20140102180A (ko) 2012-01-09 2013-01-08 디블록킹 필터링 방법

Publications (1)

Publication Number Publication Date
KR20140067132A true KR20140067132A (ko) 2014-06-03

Family

ID=48722743

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020147010069A KR20140102180A (ko) 2012-01-09 2013-01-08 디블록킹 필터링 방법
KR1020147010068A KR20140057390A (ko) 2012-01-09 2013-01-08 디블록킹 필터링 방법
KR1020147010065A KR20140067132A (ko) 2012-01-09 2013-01-08 블록킹 아티펙트를 제거하는 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020147010069A KR20140102180A (ko) 2012-01-09 2013-01-08 디블록킹 필터링 방법
KR1020147010068A KR20140057390A (ko) 2012-01-09 2013-01-08 디블록킹 필터링 방법

Country Status (13)

Country Link
US (4) US10504208B2 (ko)
EP (3) EP2751983A4 (ko)
JP (5) JP5923618B2 (ko)
KR (3) KR20140102180A (ko)
CN (10) CN109905708B (ko)
AR (4) AR092786A1 (ko)
BR (5) BR122020018035B1 (ko)
CA (5) CA3090775C (ko)
IN (1) IN2014CN03870A (ko)
MX (6) MX2014004001A (ko)
SG (2) SG10201609349UA (ko)
TW (6) TWI615019B (ko)
WO (1) WO2013104298A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
CN105791865B (zh) * 2014-12-22 2020-01-17 江苏省电力公司南京供电公司 帧内预测及去块滤波方法
CN105984991B (zh) * 2015-02-02 2019-01-01 江苏中金环保科技有限公司 一种污水深度处理工艺
CN110249630B (zh) * 2017-03-23 2020-11-27 华为技术有限公司 去块效应滤波装置、方法和存储介质
CN107715535A (zh) * 2017-11-20 2018-02-23 嘉兴光跃环境工程设备有限公司 一种新型节能水过滤器
CA3191338A1 (en) 2018-03-28 2019-10-03 Huawei Technologies Co., Ltd. An image processing device and method for performing efficient deblocking
CA3109201A1 (en) 2018-08-10 2020-02-13 Huawei Technologies Co., Ltd. Apparatus and method for performing deblocking
MX2021002464A (es) 2018-09-05 2021-04-29 Panasonic Ip Corp America Codificador, decodificador, metodo de codificacion y metodo de decodificacion.
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
EP4221229A1 (en) 2018-09-24 2023-08-02 Huawei Technologies Co., Ltd. Image processing device and method for performing quality optimized deblocking
WO2020141880A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 디블록킹 필터링을 사용하는 영상 디코딩 방법 및 장치
KR20230164752A (ko) * 2019-01-02 2023-12-04 엘지전자 주식회사 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치
CN113366839B (zh) * 2019-01-31 2024-01-12 北京字节跳动网络技术有限公司 视频编解码中的细化量化步骤
WO2021045671A1 (en) * 2019-09-06 2021-03-11 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filter selection in video or image coding
WO2021134393A1 (en) * 2019-12-31 2021-07-08 Huawei Technologies Co., Ltd. Method and apparatus of deblocking filtering between boundaries of blocks predicted using weighted prediction and non-rectangular merge modes

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
WO2003021936A2 (en) * 2001-09-05 2003-03-13 Emblaze Semi Conductor Ltd Method for reducing blocking artifacts
EP3282699B1 (en) * 2001-11-29 2019-10-23 Godo Kaisha IP Bridge 1 Coding distortion removal method
CN1874522B (zh) * 2001-11-29 2010-09-08 松下电器产业株式会社 运动图像编码方法
US7046729B2 (en) * 2002-08-27 2006-05-16 Ess Technology, Inc. Bit rate control for motion compensated video compression system
CN100401780C (zh) * 2004-05-07 2008-07-09 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN1870752A (zh) * 2005-05-23 2006-11-29 其乐达科技股份有限公司 应用于视频编码/解码的解块滤波方法及其装置
US8537903B2 (en) * 2005-09-23 2013-09-17 Entropic Communications, Inc. De-blocking and de-ringing systems and methods
JP4643437B2 (ja) * 2005-12-27 2011-03-02 株式会社東芝 情報処理装置
JP4643454B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 動画像復号装置及び動画像復号方法
CN101945277B (zh) * 2006-01-12 2013-08-14 Lg电子株式会社 处理多视图视频
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
CN101076124B (zh) * 2006-05-18 2010-09-08 北京大学深圳研究生院 去块滤波器
KR100819289B1 (ko) * 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
US8326064B2 (en) * 2007-01-22 2012-12-04 Nec Corporation Image re-encoding method to decode image data which is orthogonally transformed per first block and encoded by a first encoding method
CN100571391C (zh) 2007-05-09 2009-12-16 安凯(广州)软件技术有限公司 用于视频编解码系统中解块滤波的并行处理方法
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
CN101389016B (zh) * 2007-09-13 2010-10-20 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
US8619880B2 (en) * 2007-10-10 2013-12-31 Qualcomm Incorporated Universal blockiness correction
CN101459839A (zh) * 2007-12-10 2009-06-17 三星电子株式会社 去块效应滤波方法及实现该方法的装置
CN100563338C (zh) * 2007-12-13 2009-11-25 上海广电(集团)有限公司中央研究院 一种恒定码率的控制方法
KR20090078494A (ko) * 2008-01-15 2009-07-20 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
AU2008352118A1 (en) * 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding method and device
CN101267560A (zh) * 2008-03-19 2008-09-17 浙江大学 去块滤波方法及装置
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
JP5413923B2 (ja) * 2008-04-11 2014-02-12 トムソン ライセンシング 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
EP2182732A1 (en) * 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
JP5087016B2 (ja) * 2009-01-19 2012-11-28 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
US20100211060A1 (en) * 2009-02-13 2010-08-19 Cutera, Inc. Radio frequency treatment of subcutaneous fat
CN101505425B (zh) * 2009-03-11 2011-11-23 北京中星微电子有限公司 一种宏块滤波方法及装置
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
JP2013524659A (ja) * 2010-04-07 2013-06-17 リニア アルジェブラ テクノロジーズ リミテッド ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ
EP4290860A3 (en) * 2010-06-04 2024-02-14 Sony Group Corporation Image processing apparatus and method
MX355733B (es) * 2010-06-10 2018-04-27 Thomson Licensing Métodos y aparatos para determinar predictores de parametro de cuantificación a partir de una pluralidad de parametros de cuantificación contiguos.
CN102088603B (zh) * 2010-12-31 2013-12-04 北京大学深圳研究生院 用于视频编码器的熵编码器及其实现方法
CN106131555B (zh) * 2011-03-10 2019-04-12 寰发股份有限公司 去区块滤波器方法及装置
CN102685478B (zh) * 2011-03-11 2015-04-29 华为技术有限公司 编码方法以及装置、解码方法以及装置
CN109246429A (zh) * 2011-11-04 2019-01-18 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
RU2686008C2 (ru) * 2012-01-17 2019-04-23 Инфобридж Пте. Лтд. Способ применения краевого смещения

Also Published As

Publication number Publication date
EP3923576A1 (en) 2021-12-15
US10504208B2 (en) 2019-12-10
TW201701672A (zh) 2017-01-01
JP6285484B2 (ja) 2018-02-28
TW201813398A (zh) 2018-04-01
CA3090775A1 (en) 2013-07-18
SG11201400673UA (en) 2014-04-28
CA3090775C (en) 2023-02-14
CN109889832B (zh) 2022-06-17
CN110099191A (zh) 2019-08-06
TW201412120A (zh) 2014-03-16
JP2016131402A (ja) 2016-07-21
CN109905707A (zh) 2019-06-18
TWI555342B (zh) 2016-10-21
SG10201609349UA (en) 2016-12-29
BR122020018035A2 (ko) 2020-11-03
US20210358085A1 (en) 2021-11-18
JP6285487B2 (ja) 2018-02-28
CN110062229A (zh) 2019-07-26
BR122020018035A8 (pt) 2022-10-04
CA3184273A1 (en) 2013-07-18
BR112014008254B1 (pt) 2023-01-10
CN110062128B (zh) 2022-07-26
US20230353738A1 (en) 2023-11-02
BR122020018046A8 (pt) 2022-10-04
CA2849417A1 (en) 2013-07-18
MX356875B (es) 2018-06-19
CN110099191B (zh) 2022-06-17
BR112014008254A8 (pt) 2022-10-04
BR122020018040B1 (pt) 2022-12-27
MX2014004001A (es) 2014-08-08
CN109905708A (zh) 2019-06-18
TWI800752B (zh) 2023-05-01
CN109982084B (zh) 2022-11-29
CN109889688B (zh) 2021-03-09
EP3923560A1 (en) 2021-12-15
JP2015502714A (ja) 2015-01-22
CN109982084A (zh) 2019-07-05
AR092786A1 (es) 2015-05-06
BR112014008254A2 (pt) 2017-04-18
AR096103A2 (es) 2015-12-09
CN103200402B (zh) 2019-03-12
JP6285486B2 (ja) 2018-02-28
IN2014CN03870A (ko) 2015-10-16
BR122020018032A2 (ko) 2020-11-03
AR096102A2 (es) 2015-12-09
AR096101A2 (es) 2015-12-09
TW201909640A (zh) 2019-03-01
CN103200402A (zh) 2013-07-10
CN110086957B (zh) 2022-06-03
EP2751983A1 (en) 2014-07-09
TWI615019B (zh) 2018-02-11
CN109889688A (zh) 2019-06-14
CN109905708B (zh) 2022-11-29
KR20140102180A (ko) 2014-08-21
TWI709333B (zh) 2020-11-01
EP2751983A4 (en) 2015-05-20
MX363195B (es) 2019-03-14
WO2013104298A1 (en) 2013-07-18
US11729388B2 (en) 2023-08-15
BR122020018032A8 (pt) 2022-10-04
WO2013104298A8 (en) 2013-10-31
CN110086957A (zh) 2019-08-02
TW202103495A (zh) 2021-01-16
JP2016154378A (ja) 2016-08-25
CA2978151C (en) 2020-10-27
US20150154740A1 (en) 2015-06-04
KR20140057390A (ko) 2014-05-12
TWI647951B (zh) 2019-01-11
CA3184190A1 (en) 2013-07-18
BR122020018032B1 (pt) 2022-12-27
US20200082506A1 (en) 2020-03-12
CN109905707B (zh) 2022-04-19
TW202329696A (zh) 2023-07-16
CA2849417C (en) 2017-10-24
CN110062128A (zh) 2019-07-26
BR122020018046A2 (ko) 2020-11-03
BR122020018046B1 (pt) 2022-12-27
MX2018007256A (es) 2021-07-05
BR122020018040A2 (ko) 2020-11-03
MX350557B (es) 2017-09-11
CN109889832A (zh) 2019-06-14
JP5923618B2 (ja) 2016-05-24
MX363194B (es) 2019-03-14
BR122020018035B1 (pt) 2022-12-27
CA2978151A1 (en) 2013-07-18
CN110062229B (zh) 2022-04-19
JP6285485B2 (ja) 2018-02-28
US11100609B2 (en) 2021-08-24
JP2016154377A (ja) 2016-08-25
JP2016154376A (ja) 2016-08-25
BR122020018040A8 (pt) 2022-10-04

Similar Documents

Publication Publication Date Title
CA2849038C (en) Method of applying edge offset
KR20140067132A (ko) 블록킹 아티펙트를 제거하는 방법
AU2015255242B2 (en) Method of applying edge offset

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J121 Written withdrawal of request for trial