KR102307985B1 - 화면 내 예측 모드의 부호화 방법 및 복호화 방법 - Google Patents

화면 내 예측 모드의 부호화 방법 및 복호화 방법 Download PDF

Info

Publication number
KR102307985B1
KR102307985B1 KR1020200162487A KR20200162487A KR102307985B1 KR 102307985 B1 KR102307985 B1 KR 102307985B1 KR 1020200162487 A KR1020200162487 A KR 1020200162487A KR 20200162487 A KR20200162487 A KR 20200162487A KR 102307985 B1 KR102307985 B1 KR 102307985B1
Authority
KR
South Korea
Prior art keywords
prediction mode
mpm
mode
adjacent
prediction
Prior art date
Application number
KR1020200162487A
Other languages
English (en)
Other versions
KR20210006312A (ko
Inventor
이진호
김휘용
임성창
최진수
김진웅
김재곤
이상용
최해철
Original Assignee
한국전자통신연구원
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국항공대학교산학협력단 filed Critical 한국전자통신연구원
Publication of KR20210006312A publication Critical patent/KR20210006312A/ko
Priority to KR1020210127115A priority Critical patent/KR102424973B1/ko
Application granted granted Critical
Publication of KR102307985B1 publication Critical patent/KR102307985B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 화면 내 예측 모드의 부호화 방법 및 복호화 방법에 관한 것으로서, 본 발명에 따른 화면 내 예측 모드의 부호화 방법은 인접 예측 단위에서 유도된 동일한 두 개의 유도 MPM이 적어도 두 개의 기설정된 예측 모드에 포함되는지 여부를 판단하는 단계와; 상기 유도 MPM이 상기 기설정된 예측 모드에 포함되지 않는 것으로 판단되면, 현재 예측 단위에 대한 세 개의 MPM으로 구성되는 MPM 리스트의 나머지 두 개의 MPM을 상기 기설정된 예측 모드 및 상기 유도 MPM과 근접한 근접 예측 모드 중에서 설정하는 MPM 설정 단계와; 상기 유도 MPM 및 설정된 상기 나머지 두 개의 MPM에 기초하여 상기 현재 예측 단위에 대한 예측 모드를 부호화하는 단계를 포함할 수 있다.

Description

화면 내 예측 모드의 부호화 방법 및 복호화 방법{Methods For Encoding and Decoding Candidate Mode List in Intra Prediction Mode}
본 발명은 영상 부호화 및 복호화 기술에 관한 것으로서, 더 구체적으로는 화면 내 예측 모드의 부호화 방법 및 복호화 방법에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
본 발명은 복잡한 연산 과정 없이 화면 내 예측 모드를 유도할 수 있는 화면 내 예측 모드의 부호화 방법 및 복호화 방법을 제공하는 것을 목적으로 한다.
본 발명은 연산량이 감소된 화면 내 예측 모드의 부호화 방법 및 복호화 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 기설정된 예측 모드를 포함하는 예측 모드 집합에서 예측 모드를 선택할 수 있는 화면 내 예측 모드의 부호화 방법 및 복호화 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 유도된 예측 모드와 인접한 예측 모드에서 예측 모드를 선택하는 화면 내 예측 모드의 부호화 방법 및 복호화 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 1개 이상의 인접한 예측 단위로부터 2개 이상의 예측 모드를 유도한 후, 유도된 예측 모드들이 같은 경우 하나 이상의 나머지 예측 모드를 화면 내 예측모드 범위 내에 존재하는 모드로 유도하는 화면 내 예측 모드의 부호화 방법 및 복호화 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 화면 내 예측 모드의 부호화 방법으로, 인접 예측 단위에서 유도된 동일한 두 개의 유도 MPM이 적어도 두 개의 기설정된 예측 모드에 포함되는지 여부를 판단하는 단계와; 상기 유도 MPM이 상기 기설정된 예측 모드에 포함되지 않는 것으로 판단되면, 현재 예측 단위에 대한 세 개의 MPM으로 구성되는 MPM 리스트의 나머지 두 개의 MPM을 상기 기설정된 예측 모드 및 상기 유도 MPM과 근접한 근접 예측 모드 중에서 설정하는 MPM 설정 단계와; 상기 유도 MPM 및 설정된 상기 나머지 두 개의 MPM에 기초하여 상기 현재 예측 단위에 대한 예측 모드를 부호화하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 화면 내 예측 모드의 복호화 방법은, 현재 예측 단위에 대한 예측 모드가 세 개의 MPM으로 구성되는 MPM 리스트에 속하고, 인접 예측 단위로부터 복호화 된 두 개의 유도 MPM이 서로 동일한 경우, 상기 유도 MPM이 적어도 두 개의 기설정된 예측 모드에 포함되는지 여부를 판단하는 단계와; 상기 유도 MPM이 상기 기설정된 예측 모드에 포함되지 않는 것으로 판단되면, 상기 MPM 리스트의 나머지 두 개의 MPM을 상기 기설정된 예측 모드 및 상기 유도 MPM과 근접한 근접 예측 모드 중에서 설정하는 MPM 설정 단계와; 상기 유도 MPM 및 나머지 두 개의 MPM에 기초하여 상기 현재 예측 단위에 대한 예측 모드를 파악하는 단계를 포함할 수 있다.
본 발명에 의하면, 복잡한 연산 과정 없이 예측 모드를 유도함으로써, 부호화 방법 및 복호화 방법을 단순화하고 그 효율을 증가시킬 수 있다.
본 발명의 일 실시예에 따르면, % 연산을 수행하지 않고 연산량이 감소된 예측 모드를 유도함으로써 부호화 방법 및 복호화 방법을 단순화하고 그 효율을 증가시킬 수 있다.
또한, 본 발명의 일 실시예에 따르면 1개 이상의 인접한 예측 단위로부터 2개 이상의 예측 모드를 유도한 후, 유도된 예측 모드들이 같은 경우 하나 이상의 나머지 예측 모드를 화면 내 예측모드 범위 내에 존재하는 모드로 유도함으로써 부호화 방법 및 복호화 방법을 단순화하고 그 효율을 증가시킬 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 기설정된 예측 모드를 포함하는 예측 모드 집합에서 예측 모드를 선택함으로써 부호화 방법 및 복호화 방법을 단순화하고 그 효율을 증가시킬 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 유도된 예측 모드와 인접한 예측 모드에서 예측 모드를 선택함으로써 부호화 방법 및 복호화 방법을 단순화하고 그 효율을 증가시킬 수 있다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
도 4은 화면 내 예측 모드를 도시한 도면이다.
도 5는 현재 예측 단위와 현재 예측 단위와 인접한 예측 단위를 설명하기 위한 도면이다.
도 6는 인접한 예측 단위로부터 2개의 예측 모드를 유도하는 과정을 개략적으로 설명하는 순서도이다.
도 7은 도 6에 따라 유도된 2개의 예측 모드가 동일한 경우 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이다.
도 8은 도 6에 따라 유도된 2개의 예측 모드가 상이한 경우 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이다.
도 9는 화면 내 예측 모드의 부호화 및 복호화를 설명하기 위한 순서도이다.
도 10a는 본 발명의 일 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이다.
도 10b는 도 10a를 적용한 일 예에 대한 순서도이다.
도 11a는 본 발명의 다른 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이다.
도 11b는 도 11a를 적용한 일 예에 대한 순서도이다.
도 12a는 본 발명의 또 다른 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이다.
도 12b는 도 12a를 적용한 일 예에 대한 순서도이다.
도 13a는 본 발명의 또 다른 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이다.
도 13b는 도 13a를 적용한 일 예에 대한 순서도이다.
도 14a는 본 발명의 또 다른 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이다.
도 14b는 도 14a를 적용한 일 예에 대한 순서도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
우선, 설명의 편의를 도모하고 발명을 이해를 돕기 위해, 본 명세서에서 사용되는 용어들에 대하여 간략하게 설명한다.
유닛(unit)은 영상 부호화 및 복호화의 단위를 의미한다. 다시 말하면, 영상 부호화/복호화에 있어서 부호화 단위 혹은 복호화 단위라 함은, 하나의 영상을 세분화된 유닛으로 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 말한다. 블록(block), 매크로 블록, 부호화 유닛(coding unit) 또는 예측 유닛(prediction unit) 또는 변환 유닛(transform unit) 또는 부호화 블록(coding block) 또는 예측 블록(prediction block) 또는 변환 블록(transform block) 등으로 부를 수 있다. 하나의 유닛은 크기가 더 작은 하위 유닛으로 분할될 수 있다.
변환 유닛(transform unit)은 변환, 역변환, 양자화, 역양자화, 변환 계수 부호화/복호화와 같이 잔차 블록(residual block)의 부호화/복호화를 수행함에 있어 기본 유닛 혹은 단위 유닛이며, 하나의 변환 유닛은 분할되어 크기가 다수의 작은 변환 유닛으로 분할될 수 있다. 또한, 변환 블록과 동일한 의미로 사용될 수 있으며, 휘도와 색차 신호에 대한 변환 블록에 관련된 구문 요소(syntax element)가 포함된 형태를 변환 유닛이라 지칭할 수도 있다.
양자화 행렬(quantization matrix)은 영상의 주관적 화질 혹은 객관적 화질을 향상시키기 위해서 양자화 혹은 역양자화 과정에서 이용되는 행렬을 의미한다. 양자화 행렬은 스케일링 리스트(scaling list)라고도 불린다.
양자화/역양자화에 사용되는 양자화 행렬은 비트스트림(bitstream)으로 전송될 수도 있고, 영상 부호화 장치 및/혹은 영상 복호화 장치가 이미 보유한 기본 행렬(default matrix)이 사용될 수도 있다. 전송되는 양자화 행렬의 정보는 시퀀스 파라미터 세트(SPS: sequence parameter set) 또는 픽처 파라미터 세트(PPS: picture parameter set)을 통해 양자화 행렬의 크기 혹은 양자화 행렬이 적용되는 변환 블록 크기 별로 일괄 전송될 수 있다. 예컨대, 예컨대, 4x4 변환 블록을 위한 4x4 양자화 행렬들이 전송되고, 8x8 변환 블록을 위한 8x8 행렬들이 전송되고, 16x16 변환 블록을 위한 16x16 행렬들이 전송되고, 32x32 변환 블록을 위한 32x32 행렬들이 전송될 수 있다.
현재 블록에 적용되는 양자화 행렬은 (1) 동일한 크기의 양자화 행렬을 복사하여 획득될 수도 있고, (2) 양자화 행렬 내 이전 행렬 계수(matrix coefficient)로부터 예측에 의해 생성될 수도 있다. 동일한 크기의 행렬은 이전에 부호화 혹은 복호화 혹은 사용된 양자화 행렬일 수도 있고, 참조 양자화 행렬일 수도 있으며 기본 양자화 행렬일 수도 있다. 혹은 이전에 부호화 혹은 복호화 혹은 사용된 양자화 행렬, 참조 양자화 행렬, 기본 양자화 행렬 중 적어도 둘을 포함하는 조합으로부터 선택적으로 결정될 수도 있다.
파라미터 세트(parameter set)는 비트스트림 내의 구조 중 헤더 정보에 해당하며, 시퀀스 파라미터 세트, 픽처 파라미터 세트, 적응 파라미터 세트(adaptation parameter set) 등을 통칭하는 의미를 가진다.
양자화 매개변수(quantization parameter)는 양자화 및 역양자화에서 사용되는 값으로서, 양자화 매개변수는 양자화 스텝 크기(step size)에 매핑된 값일 수 있다.
기본 행렬은 영상 부호화 장치 및/혹은 영상 복호화 장치에서 미리 정의되어 있는 소정의 양자화 행렬을 의미할 수 있으며, 본 명세서에서 후술될 기본 양자화 행렬은 기본 행렬과 동일한 의미로 사용될 수 있다. 비-기본 행렬(non-default matrix)은 영상 부호화 장치 및/혹은 영상 복호화 장치에서 미리 정의되지 않고, 영상 부호화 장치에서 영상 복호화 장치로 전송되는 즉, 사용자에 의해서 전송/수신되는 양자화 행렬을 의미할 수 있으며, 본 명세서에서 후술될 비-기본 양자화 행렬은 비-기본 행렬과 동일한 의미로 사용될 수 있다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 블록과 참조 영상 내 블록 사이의 오프셋을 나타낼 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록을 생성할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 매개변수와 양자화 행렬 중 적어도 하나를 이용하여 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 이때, 양자화 행렬은 영상 부호화 장치에 입력되어질 수 있으며, 입력되어진 양자화 행렬이 영상 부호화 장치에서 사용되기로 결정될 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수-골롬 코드(Exponential-Golomb Code), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화 및 역변환된 계수는 복원된 잔차 블록이 되어 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 영상 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다.
양자화된 계수는 역양자화부(220)에서 양자화 매개변수를 이용해서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 복원된 잔차 블록이 생성될 수 있다.
역양자화에 사용되는 양자화 행렬은 스케일링 리스트라고도 불린다. 역양자화부(220)는 양자화된 계수에 양자화 행렬을 적용하여 역양자화된 계수를 생성할 수 있다.
이때 역양자화부(220)는 영상 부호화 장치에서 적용된 양자화에 대응하여 역양자화를 수행할 수 있다. 예컨대, 역양자화부(220)는 영상 부호화 장치에서 적용된 양자화 행렬을 양자화된 계수에 역으로 적용하여 역양자화를 수행할 수 있다.
영상 복호화 장치(200)에서 역양자화에 사용되는 양자화 행렬은 비트스트림으로부터 수신될 수도 있고, 영상 부호화 장치 및/혹은 영상 복호화 장치가 이미 보유한 기본 행렬이 사용될 수도 있다. 전송되는 양자화 행렬의 정보는 시퀀스 파라미터 세트 또는 픽처 파라미터 세트를 통해 양자화 행렬 크기 혹은 양자화 행렬이 적용되는 변환 블록 크기 별로 일괄 수신될 수 있다. 예컨대, 4x4 변환 블록을 위한 4x4 양자화 행렬들이 수신되고, 8x8 변환 블록을 위한 8x8 행렬들이 수신되고, 16x16 변환 블록을 위한 16x16 행렬들이 수신되고, 32x32 변환 블록을 위한 32x32 행렬들이 수신될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
한편, 블록 분할 정보에는 유닛의 깊이(depth)에 관한 정보가 포함될 수 있다. 깊이 정보는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
하나의 유닛 혹은 블록은 트리 구조(tree structure)를 기초로 깊이 정보를 가지고 계층적으로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 상기 깊이 정보는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 상기 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.
도 3의 310을 참조하면, 가장 상위 노드는 루트 노드(root node)로 불릴 수 있고, 가장 작은 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있으며, 분할되지 않은 최초의 유닛을 나타낼 수 있다.
레벨 1의 깊이를 갖는 하위 노드는 최초 유닛이 한 번 분할된 유닛을 나타낼 수 있으며, 레벨 2의 깊이를 갖는 하위 노드는 최초의 유닛이 두 번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 a에 대응하는 유닛 a는 최초 유닛에서 한 번 분할된 유닛이고, 레벨 1의 깊이를 가질 수 있다.
레벨 3의 리프 노드(leaf node)는 최초 유닛이 3번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도3의 320에서 노드 d에 대응하는 유닛 d는 최초 유닛에서 세 번 분할된 유닛이고, 레벨 3의 깊이를 가질 수 있다. 따라서, 가장 하위 노드인 레벨 3의 리프 노드는 가장 깊은 깊이를 가질 수 있다.
본 발명은 비디오 부호화 방법 중 화면 내 예측모드의 부호화/복호화에 이용되는 한 개 이상의 예측 모드, 즉 MPM(Most Probable Mode) 유도에 관한 것으로, 인접한 예측 단위에서 한 개 이상의 MPM을 유도하여 MPM 리스트를 형성하는 과정에서 필요한 복잡한 연산을 감소시킨다. 인트라 예측부(120)에서 수행되는 화면 내 예측에 대하여 구체적으로 살펴보면 다음과 같다.
현재 JCT-VC(Joint Collaborative Team on Video Coding)에서 표준화 중인 HEVC(High Efficiency Video Coding)의 화면 내 예측(Intra prediction)에서는 휘도 성분에 대해 최대 35가지 예측모드가 존재하고 휘도 성분에 대한 화면 내 예측 모드를 부호화/복호화 할 때, 공간적으로 인접한 2개의 예측 단위(PU: Prediction Unit)를 이용한다. 인접한 예측 단위들로부터 2개의 화면 내 예측모드를 유도하고 추가적으로 상기 2가지와 중복되지 않는 1개의 화면 내 예측모드를 유도하는데 이렇게 유도된 3가지의 화면 내 예측모드를 MPM(Most Probable Mode)라 부른다.
3가지 MPM, 즉 현재 코딩 블록에 대한 화면 내 예측 모드의 유도를 위하여 +, -, %와 같은 연산이 수반되는데, 이러한 연산은 경우에 따라 부호화 효율에 큰 영향 없이 부호화/복호화를 위한 복잡도를 증가시킬 수 있기 때문에 이에 대한 개선이 필요하다.
도 4는 화면 내 예측 모드를 도시한 도면으로, HEVC(High Efficiency Video Coding)의 화면 내 예측(Intra prediction)에서는 휘도 성분은 도 4에 도시된 바와 같이 최대 35가지 예측모드가 존재한다.
휘도 성분에 대한 화면 내 예측 모드를 부호화/복호화 할 때, 도 5에 도시된 바와 같이 현재 예측 단위(201)와 공간적으로 인접한 2개의 예측 단위(PU: Prediction Unit)를 이용한다. 인접한 2개의 예측 단위는 현재 예측 단위(201)의 왼쪽에 위치하는 왼쪽 예측 단위(202)와 위쪽 예측 단위(203)가 이용된다. 인접한 예측 단위들로부터 2개의 화면 내 예측모드를 유도하고 추가적으로 상기 2가지와 중복되지 않는 1개의 화면 내 예측 모드를 유도하는데 이렇게 유도된 3가지의 화면 내 예측모드를 MPM(Most Probable Mode)라 부른다. 유도된 3개의 MPM은 현재 예측 단위의 MPM을 유도하기 위한 후보 예측 모드가 된다.
표 1은 MPM을 부호화 및 복호화하는 경우, 적용될 수 있는 신택스 구조의 일 예를 개략적으로 나타낸 것이다.
prediction _unit(x0, y0, log2CUSize( { Descriptor
prev_intra_luma_pred_flag[ x0  ][ y0 ] u(1)│ae(v)
if( prev_intra_luma_pred_flag[ x0 ][ y0 ] )
mpm_idx[ x0  ][ y0 ]
else u(1)│ae(v)
rem_intra_luma_pred_mode[ x0  ][ y0 ] ce(1)│ae(v)
}
영상 부호화 장치는 표 1의 예와 같이 화면 내 예측 모드가 인접 예측 단위들에 기초하여 유도된 3개의 MPM에 포함되는지 여부를 나타내는 정보인 prev_intra_luma_pred_flag 구문 요소로 부호화할 수 있다. 만약, 현재 예측 단위(201)의 화면 내 예측 모드가 유도된 MPM에 포함되어, prev_intra_luma_pred_flag 가 1이면, 영상 부호화 장치는 유도된 3개의 MPM 중 어느 것과 동일한지 여부를 알려주는 mpm_idx 구문 요소를 이용하여 부호화한다. 반면, 현재 예측 단위(201)의 화면 내 예측 모드가 MPM 리스트에 포함되어 있지 않아 prev_intra_luma_pred_flag가 0이면, 영상 부호화 장치는 rem_intra_luma_pred_mode 구문요소를 이용하여 화면 내 예측모드 자체를 부호화 할 수 있다. 역으로, 표 1과 같은 신택스 구조가 수신되면, 영상 복호화 장치는 prev_intra_luma_pred_flag를 복호화하여 화면 내 예측 모드가 3개의 MPM 과 동일한지 여부를 파악할 수 있다. 파악 결과 prev_intra_luma_pred_flag가 1이면 mpm_idx를 참조하여 현재 화면 내 예측 모드의 MPM를 복호화하고, prev_intra_luma_pred_flag가 O이면, rem_intra_luma_pred_mode 구문요소를 참조하여 현재 예측 단위(201)의 화면 내 예측 모드를 판단할 수 있다.
도 6는 인접한 예측 단위로부터 2개의 예측 모드를 유도하는 과정을 개략적으로 설명하는 순서도이다. 도 6을 참조하여 3개의 MPM을 유도하고 MPM 리스트를 형성하는 과정을 설명하면 다음과 같다. 먼저, 왼쪽 예측 단위(202)로부터 부호화 정보를 가져온다(S601).
부호화 정보가 존재하고, 왼쪽 예측 단위(202)가 화면 내 예측이 적용된 블록이면(S602), 왼쪽 MPM은 왼쪽 예측 단위(202)의 화면 내 예측 모드로 유도되고(S603), 상기 조건 중 하나라도 만족시키지 못하는 경우, 즉, 왼쪽 예측 단위(202)에 부호화 정보가 존재하지 않고, 왼쪽 예측 단위(202)가 화면 내 예측이 적용된 블록이 아닌 경우, 왼쪽 MPM은 DC모드로 유도된다(S604).
위쪽 MPM도 유사한 과정으로 유도된다. 먼저, 위쪽 예측 단위(203)의 부호화 정보를 가져온다(S605). 그런 후, 위쪽 예측 단위(203)의 부호화 정보가 존재하고, 위쪽 예측 단위(203)가 화면 내 예측블록이며 위쪽 예측 단위(203)가 현재 부호화하려는 블록(201)과 동일한 가장 큰 부호화 단위(Largest Coding Unit) 내에 존재하는지 여부를 판단한다(S606). LCU는 코딩 트리 유닛(CTU: Coding Tree Unit) 또는 코딩 트리 블록(CTB: Coding Tree Block)로도 표현할 수 있고, 본 명세서에서는 설명의 편의를 위하여 LCU, CTU 또는 CTB를 혼용하여 사용할 수 있다. 판단 결과, 상기 조건을 만족하면 위쪽 MPM은 위쪽 예측 단위(203)의 화면 내 예측모드로 유도되고(S607), 상기 조건 중 하나라도 만족시키지 못하는 경우, 위쪽 MPM은 DC 모드로 유도된다(S608).
상기와 같은 방법으로 왼쪽/위쪽 예측 단위로부터 2개의 MPM을 유도한 뒤, 상기 2개의 MPM이 같은지 여부를 판단한다(S409). 판단 결과, 2 개의 MPM이 동일하면 도 7과 같이 MPM 리스트가 형성되고, 2개의 MPM에 서로 다르면 도 8과 같이 세 번째 MPM이 유도되어 MPM 리스트가 형성된다.
도 7에 도시된 바와 같이, 유도한 2개의 MPM이 서로 동일하면, 왼쪽 MPM이 화면 내 예측 모드 2보다 작은지 여부를 판단한다(S701).
왼쪽 MPM이 화면 내 예측 모드 2보다 작으면, 첫 번째 MPM은 Planar모드로 유도되고, 두 번째 MPM은 DC모드, 마지막으로 세 번째 MPM은 수직방향을 가지는 26의 모드번호로 유도된다(S702).
그리고 2개의 동일한 MPM이 화면 내 예측 모드 2 이상인 경우, 첫 번째 MPM은 왼쪽 MPM으로 유도되고, 두 번째 MPM은 아래 식1의 연산으로 유도되며, 세 번째 MPM은 아래 식 2의 연산으로 유도된다(S703). 이때, MPM[0], MPM[1], MPM[2] 는 각각 상기 첫 번째, 두 번째, 세 번째 MPM을 나타낼 수 있고, 왼쪽 MPM은 아래 식에서 Left_MPM로 표현된다.
MPM[1] = 2 + ((Left_MPM -2 -1) % 32) 식(1)
MPM[2] = 2 + ((Left_MPM -2 +1) % 32) 식(2)
그리고 왼쪽 MPM과 위쪽 MPM이 다른 경우, 도 8과 같이 첫 번째 MPM은 왼쪽 MPM으로 유도되고, 두 번째 MPM은 위쪽 MPM으로 유도된다(S801).
세 번째 MPM은 다음과 같이 유도된다. 2개의 MPM 에 Planar모드가 포함되어 있는지 여부를 판단하고(S802), 판단 결과, 2개의 MPM에 Planar모드가 포함되어 있지 않은 경우, 즉 첫 번째 MPM과 두 번째 MPM 모두 Planar 모드가 아니면, 세 번째 MPM은 Planar 모드로 유도된다(S803).
반면, 2개의 MPM에 Planar모드가 포함되어 있으면, 2 개의 MPM에 DC 모드가 포함되어 있는지 여부를 판단한다(S804). 2개의 MPM에 DC 모드가 포함되어 있지 않은 것으로 판단되면, 즉, 2개의 MPM 중 하나가 Planar모드이고, 나머지 하나의 MPM이 DC모드가 아니면, 세 번째 MPM은 DC모드로 유도된다(S805).
마지막으로, 2개의 MPM이 Planar 모드와 DC 모드로 구성되어 있는 경우, 세 번째 MPM은 수직 방향을 가지는 26의 모드로 유도된다(S806). 이와 같이 유도된 세개의 MPM은 도 9와 같이 부호화/복호화 된다.
도 9는 화면 내 예측 모드의 부호화 및 복호화를 설명하기 위한 순서도이다. 우선, 3개의 MPM이 유도되면(S901), 영상 부호화 장치는 표 1에 표시된 바와 같이 현재 예측 단위(201)의 화면 내 예측 모드가 유도된 MPM과 같은 지 다른지를 알려주기 위한 prev_intra_luma_pred_flag 구문 요소를 부호화하고, 역으로, 영상 복호화 장치는 상기 구문을 복호화 하여 화면 내 예측 모드와 MPM 리스트의 동일성 여부에 대한 정보를 취득한다(S902). 도면의 간소화를 위하여 도 9에는 부호화 및 복호화를 하나의 단계에 표기하였다.
만약, 현재 예측 단위(201)의 화면 내 예측모드가 MPM과 같은 경우, 영상 부호화 장치는 3개의 MPM중 어느 것인지 알려주는 표 1의 mpm_idx 구문 요소를 이용하여 부호화 하고, 영상 복호화 장치는 mpm_idx 구문요소를 복호화 한다(S904).
반면, 현재 예측 단위(201)의 화면 내 예측 모드가 MPM과 다르면, 부화화기는 MPM을 낮은 순으로 재정렬 하고(S905), 표 1의 rem_intra_luma_pred_mode 구문요소를 이용하여 화면 내 예측모드 자체를 부호화한다(S906). 영상 복호화 장치는 의 rem_intra_luma_pred_mode 구문요소를 이용하여 화면 내 예측 모드를 복호화 한다(S906).
상기와 같이 화면 내 예측모드 부호화에 3가지의 MPM을 사용함으로써, 화면 내 예측모드를 알려주기 위해서 필요한 비트량을 감소시켜 부호화 효율을 높일 수 있다. 그리고 상기 3가지의 MPM을 유도하고 MPM 리스트를 형성하는 과정 중에서 2개의 인접한 예측 단위로부터 유도된 2개의 MPM이 서로 같고, 이렇게 유도된 MPM이 2보다 같거나 큰 경우, 두 번째와 세 번째 MPM을 유도하기 위해 식 (1) 또는 식 (2)과 같이 +,-,% 의 연산을 수행하는데, 이는 현재 유도된 MPM과 가장 유사한 예측방향을 가지는 모드로 유도함으로써, MPM이 선택되는 경우를 증가시켜 부호화 효율을 높이기 위함이다. 하지만 두 번째와 세 번째 MPM 유도를 위하여 +, -, %의 연산을 수행하는 것은 부호화 효율에 큰 영향 없이 부호화/복호화를 위한 복잡도를 증가시킬 수 있다. 특히, 상기 연산들 중에 % 연산은 유도된 두 번째, 세 번째 MPM이 화면 내 예측모드의 범위를 넘지 않기 위해 필요한 연산이므로, 이에 해당하지 않는 MPM에 대해서 항상 %연산을 수행하는 것은 부호화 효율에 기여하지 못하면서 부호화/복호화를 위한 복잡도만 증가시킬 수 있다.
본 발명은 현재 블록의 화면 내 예측 모드 부호화/복호화에 이용되는 2 개 이상의 MPM을 유도 할 때, 1개 이상의 인접한 블록으로부터 2개 이상의 MPM을 유도한 후, 유도된 MPM들이 같은 경우 하나 이상의 나머지 MPM을 화면 내 예측모드 범위 내에 존재하는 모드로 유도하는 방법을 포함한다. 예를 들어, 인접 예측 단위의 MPM과 다른 임의의 모드번호를 바로 할당하여 유도하거나, +,- 의 연산 혹은 ?의 연산 등 최소한의 연산을 적용하여 유도한다. 즉, 기존 방법은 3개의 MPM 리스트를 형성하기 위하여 2개의 인접한 예측 단위로부터 2개의 MPM을 유도한 후, 유도된 MPM이 같고 그 값이 2 이상 일 때, 나머지 2개의 MPM을 유도하기 위하여 +,-,%의 연산을 수행한다. 이와 달리, 본 발명은 기존 방법과 비교하여 MPM의 유도에 필요한 연산량을 줄이거나 연산자체를 제거함으로써 부호화 효율에 악영향이 없이 영상 부호화 장치/영상 복호화 장치의 연산 복잡도를 줄일 수 있다. 이하 본 발명의 실시 예에 관하여 도 10a 내지 도 14b을 참조하여 상세히 설명한다. 본 발명에서는 설명의 편의를 위해서 주변으로부터 2개의 MPM을 유도하고 주변 MPM의 중복성에 따라 추가적으로 하나 이상의 MPM을 유도하여 총 3개의 MPM을 유도하는 것으로 실시예를 기술하였으나, 일반적으로 주변으로부터 하나 이상의 MPM을 유도하는 방식으로 확장할 수 있다. 본 발명에 따른 영상 부호화 장치 및 영상 복호화 장치는 3개의 MPM으로 구성된 MPM 리스트를 형성할 때, 인접 예측 단위에서 유도된 동일한 두 개의 유도 MPM이 적어도 두 개의 기설정된 예측 모드에 포함되는지 여부를 판단하고, 판단 결과 유도 MPM이 기설정된 예측 모드에 포함되지 않는 것으로 판단되면, 현재 예측 단위에 대한 세 개의 MPM으로 구성되는 MPM 리스트의 나머지 두 개의 MPM을 상기 기설정된 예측 모드 및 유도 MPM과 근접한 근접 예측 모드 중에서 설정하는 MPM 설정할 수 있다. 영상 부호화 장치는 유도 MPM 및 설정된 나머지 두 개의 MPM에 기초하여 현재 예측 단위에 대한 예측 모드를 부호화하고, 영상 복호화 장치는 복호화된 유도 MPM 및 설정된 나머지 두 개의 MPM에 기초하여 현재 예측 단위에 대한 예측 모드를 파악할 수 있다. 본 발명에서, 기설정된 예측 모드는 Intra_Planar 모드, Intra_DC 모드 및 Intra_Angluar (26) 모드 중 적어도 두 개를 포함할 수 있고, 유도 MPM와 근접한 근접 예측 모드는 유도 MPM+1, 유도 MPM-1 및 유도 MPM-2 중 적어도 하나를 포함하여 구성될 수 있다.
도 10a는 본 발명의 일 실시예에 따른 화면 내 예측 모드 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이고, 도 10b는 도 10a를 적용한 일 예에 대한 순서도이다. 3개의 MPM을 유도하는 전반적인 과정은 도 6을 동일하게 적용 할 수 있다. 왼쪽/위쪽 예측단위로부터 2개의 MPM을 유도하여 중복성 체크를 하였을 때, 2개의 MPM이 서로 다른 화면 내 예측모드 값을 가지고 있을 때, MPM 리스트를 구성하는 방법은 도 8를 동일하게 적용 할 수 있다. 하지만 유도된 2개의 MPM이 서로 같은 경우, MPM 리스트를 구성하는 방법은 다음과 같을 수 있다.
도시된 바와 같이, 본 실시예에 따른 영상 부호화 장치는 유도된 2개의 MPM이서로 같은 경우, 서로 인접 예측 단위에서 유도된 동일한 두 개의 유도 MPM이 적어도 두 개의 기설정된 예측 모드에 포함되는지 여부를 판단한다(S1001).
판단 결과, 유도 MPM이 상기 기설정된 예측 모드에 포함되는 경우, 즉 왼쪽 MPM이 미리 정의된 부호화 모드 A와 같거나 미리 정의된 부호화 모드 B와 같은 경우, 즉 왼쪽 MPM이 S1001에서 미리 정해진 적어도 하나의 특정 부호화 모드를 갖는 모드 집합 중 한 개의 모드와 같은 경우, 첫 번째 MPM은 미리 정해진 특정 부호화 모드 A, 두 번째 MPM은 상기 첫 번째 MPM과 다른 미리 정해진 특정 부호화 모드 B, 세 번째 MPM은 상기 첫 번째 및 두 번째 MPM과 다른 미리 정해진 특정 부호화 모드 C로 유도할 수 있다(S1002).
S1001의 판단 결과, 유도 MPM이 기설정된 예측 모드에 포함되지 않는 경우, 즉 왼쪽 MPM이 미리 정해진 적어도 하나의 특정 부호화 모드를 갖는 모드 집합 중 어느 것과도 일치하지 않는 경우, 첫 번째 MPM은 왼쪽 MPM, 두 번째 MPM은 미리 정의된 부호화 모드 A, 세 번째 MPM은 미리 정의된 부호화 모드 B로 유도할 수 있다(S1003). 도 10b는 미리 정해진 예측 모드, 즉 미리 정해진 특정 부호화 모드 A를 Intra_Planar 모드, 특정 부호화 모드 B를 Intra_DC 모드, 특정 부호화 모드 C를 Intra_Angluar(26)번 모드로 미리 정의하여 도시한 것이다. 여기서 MPM 리스트의 구성 순서는 상기 3가지를 조합하여 6 가지 경우 중 임의로 정의할 수 있다.
도 11a는 본 발명의 다른 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이고, 도 11b는 도 11a를 적용한 일 예에 대한 순서도이다. 본 실시예에 따른 부호화 방법에서도, 3개의 MPM을 유도하는 전반적인 과정은 도 6을 동일하게 적용 할 수 있다. 왼쪽/위쪽 예측단위로부터 2개의 MPM을 유도하여 중복성 체크를 하였을 때, 2개의 MPM이 서로 다른 화면 내 예측 모드 값을 가지고 있을 때, MPM 리스트를 구성하는 방법은 도 8를 동일하게 적용 할 수 있다. 하지만 2개의 MPM이 서로 같은 경우, MPM 리스트를 구성하는 방법은 다음과 같을 수 있다.
먼저 왼쪽 MPM이 미리 정해진 적어도 하나의 특정 부호화 모드를 갖는 모드 집합 중 한 개의 모드와 같은 경우, 첫 번째 MPM은 미리 정의된 특정 부호화 모드 A, 두 번째 MPM은 상기 첫 번째 MPM과 다른 미리 정해진 특정 부호화 모드 B, 세 번째 MPM은 상기 첫 번째 및 두 번째 MPM과 다른 미리 정해진 특정 부호화 모드 C로 설정할 수 있다(S1102).
왼쪽 MPM이 미리 정해진 적어도 하나의 특정 부호화 모드를 갖는 모드 집합 중 어느 것과도 일치하지 않으면, 왼쪽 MPM이 현재 예측 단위가 가질 수 있는 예측 모드의 최대값과 동일한지 여부를 판단한다(S1103).
판단 결과, 왼쪽 MPM이 현재 블록이 가질 수 있는 화면 내 예측 부호화 모드의 최대값과 상이하면, 나머지 두 개의 MPM은 왼쪽 MPM과 근접한 근접 예측 모드에서 유도될 수 있다. 즉, 첫 번째 MPM은 왼쪽 MPM으로 유도되고, 나머지 두 개의 MPM, 즉 두 번째 MPM은 왼쪽 MPM-1, 세 번째 MPM은 왼쪽 MPM+1로 유도될 수 있다(S1104).
여기서 MPM 리스트의 구성 순서는 왼쪽 MPM, 왼쪽 MPM-1, 왼쪽 MPM+1의 3 가지를 조합한 6가지 경우 중 임의로 정의할 수 있다.
한편, 판단 결과, 왼쪽 MPM이 미리 정해진 적어도 하나의 특정 부호화 모드를 갖는 모드 집합 중 어느 것과도 일치하지 않고 현재 블록이 가질 수 있는 화면 내 예측 부호화 모드의 최대값과 같은 경우, 첫 번째 MPM은 왼쪽 MPM, 두 번째 MPM은 왼쪽 MPM-1, 세 번째 MPM은 왼쪽 MPM-2로 유도될 수 있다(S1105).
혹은 첫 번째 MPM은 왼쪽 MPM, 두 번째 MPM은 왼쪽 MPM-1, 세 번째 MPM은 임의의 미리 정의된 특정 화면 내 예측 부호화 모드 A로 유도될 수 도 있다(S1106). 여기서 MPM 리스트의 구성 순서는 6가지 경우 중 임의로 정의할 수 있다.
도 11b는 도 11a에서 특정 부호화 모드 A를 Intra_Planar 모드, 특정 부호화 모드 B를 Intra_DC 모드, 특정 부호화 모드 C를 Intra_Angluar(26)번 모드로 미리 정의하여 도시한 것이다. 여기서 MPM 리스트의 구성 순서는 상기 3가지를 조합하여 6 가지 경우 중 임의로 정의할 수 있다.
도 12a는 본 발명의 또 다른 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이고, 도 12b는 도 12a를 적용한 일 예에 대한 순서도이다. 3개의 MPM을 유도하는 전반적인 과정은 도 6을 동일하게 적용 할 수 있다. 왼쪽/위쪽 예측단위로부터 2개의 MPM을 유도하여 중복성 체크를 하였을 때, 2개의 MPM이 서로 다른 화면 내 예측모드 값을 가지고 있을 때, MPM 리스트를 구성하는 방법은 도 8을 동일하게 적용 할 수 있다. 하지만 2개의 MPM이 서로 같은 경우, MPM 리스트를 구성하는 방법은 다음과 같을 수 있다.
먼저 S1201의 판단 결과, 왼쪽 MPM이 미리 정해진 적어도 하나의 특정 부호화 모드를 갖는 모드 집합 중 한 개의 모드와 같은 경우, 첫 번째 MPM은 미리 정해진 특정 화면내 예측 부호화 모드 A, 두 번째 MPM은 첫 번째 MPM와 다른 미리 정해진 특정 화면내 예측 부호화 모드 B, 세 번째, MPM은 상기 첫 번째 및 두 번째 MPM과 다른 미리 정해진 특정 부호화 모드 C로 유도할 수 있다(S1202).
반면, S1201의 판단 결과, 왼쪽 MPM이 미리 정해진 적어도 하나의 특정 부호화 모드를 갖는 모드 집합 중 어느 것과도 일치하지 않는 경우, 첫 번째 MPM은 왼쪽 MPM로 유도되고, 두 번째 MPM은 근접 예측 모드 중 하나인 왼쪽 MPM-1, 세 번째 MPM 역시 근접 예측 모드 중 하나인 왼쪽 MPM-2로 유도될 수 있다(S1203). 여기서 MPM 리스트의 구성 순서는 6가지 경우 중 임의로 정의할 수 있다.
도 12b는 도 12a에서 특정 부호화 모드 A를 Intra_Planar 모드, 특정 부호화 모드 B를 Intra_DC 모드, 특정 부호화 모드 C를 Intra_Angluar(26)번 모드로 미리 정의하여 도시한 것이다. 여기서 MPM 리스트의 구성 순서는 상기 3가지를 조합하여 6 가지 경우 중 임의로 정의할 수 있다.
도 13a는 본 발명의 또 다른 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이고, 도 13b는 도 13a를 적용한 일 예에 대한 순서도이다. 3개의 MPM을 유도하는 전반적인 과정은 도 6을 동일하게 적용 할 수 있다. 왼쪽/위쪽 예측단위로부터 2개의 MPM을 유도하여 중복성 체크를 하였을 때, 2개의 MPM이 서로 다른 화면 내 예측모드 값을 가지고 있을 때, MPM 리스트를 구성하는 방법은 도 8을 동일하게 적용 할 수 있다.
하지만 2개의 MPM이 서로 같은 경우, MPM 리스트를 구성하는 방법은 다음과 같을 수 있다. 먼저 첫 번째 MPM은 왼쪽 MPM으로 설정한다(S1301).
그런 후, 왼쪽 MPM이 왼쪽 MPM과 다른 임의의 예측 모드 A와 같은지 여부를 판단하여(S1302), 왼쪽 MPM이 미리 정의된 부호화 모드 A와 같으면 두 번째 MPM은 왼쪽 MPM과 다른 임의의 예측 모드 중 1 개로, 예컨대 미리 정의된 부호화 모드 B, 바로 설정되고, 세 번째 MPM에는 왼쪽 MPM 및 두 번째 MPM과 다른 임의의 예측 모드 중 1개로, 예컨대 미리 정의된 부호화 모드 C, 바로 설정된다(S1303).
왼쪽 MPM이 왼쪽 MPM과 다른 임의의 예측 모드 A와 다른 것으로 판단되면, 두 번째 MPM은 왼쪽 MPM과 다른 임의의 예측 모드 A로 바로 설정되고(S1304), 왼쪽 MPM가 미리 정의된 부호화 모드 B 와 동일한지 여부를 판단한다(S1305)
왼쪽 MPM과 미리 정의된 부호화 모드 B가 동일하면, 세 번째 MPM은 미리 정의된 부호화 모드 C로 설정되고(S1306), 왼쪽 MPM과 미리 정의된 부호화 모드 B가 다르면, 세 번째 MPM은 미리 정의된 부호화 모드 B로 설정된다(S1307).
도 13b는 도 13a에서 특정 부호화 모드 A를 Intra_Planar 모드, 특정 부호화 모드 B를 Intra_DC 모드, 특정 부호화 모드 C를 Intra_Angluar(26)번 모드로 미리 정의하여 도시한 것이다. 여기서 MPM 리스트의 구성 순서는 상기 3가지를 조합하여 6 가지 경우 중 임의로 정의할 수 있다.
도 14a는 본 발명의 일 실시예에 따라 MPM 리스트를 형성하는 과정을 개략적으로 설명하는 순서도이고, 도 14b는 도 14a를 적용한 일 예에 대한 순서도이다. 3개의 MPM을 유도하는 전반적인 과정은 도6을 동일하게 적용 할 수 있다. 왼쪽/위쪽 예측단위로부터 2개의 MPM을 유도하여 중복성 체크를 하였을 때, 2개의 MPM이 서로 다른 화면 내 예측모드 값을 가지고 있을 때, MPM 리스트를 구성하는 방법은 도 8을 동일하게 적용 할 수 있다. 하지만 2개의 MPM이 서로 같은 경우, MPM 리스트를 구성하는 방법은 다음과 같을 수 있다.
먼저 첫 번째 MPM은 미리 정해진 특정 부호화 모드 A, 두 번째 MPM은 첫 번째 MPM과는 다른 미리 정해진 특정 부호화 모드 B 등으로 유도 할 수 있다(S1401).
그리고 왼쪽 MPM이 상기 A, B 두 가지의 미리 정해진 특정 부호화 모드 중 하나와 동일한지 여부를 판단한다(S1402).
판단 결과, 왼쪽 MPM이 미리 정해진 특정 부호화 모드 A, B 두 가지의 미리 정해진 특정 부호화 모드 중 하나와 동일하면, 세 번째 MPM은 또 다른 미리 정해진 특정 부호화 모드 C로 유도할 수 있고(S1403), 왼쪽 MPM이 미리 정해진 특정 부호화 모드 A, B 두 가지의 미리 정해진 특정 부호화 모드와 동일하지 않는 경우, 세 번째 MPM은 왼쪽 MPM으로 유도할 수 있다(S1404). 도 14b는 도 14a에서 특정 부호화 모드 A를 Intra_Planar 모드, 특정 부호화 모드 B를 Intra_DC 모드, 특정 부호화 모드 C를 Intra_Angluar(26)번 모드로 미리 정의하여 도시한 것이다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 예컨대, 각 실시예의 조합 역시 본 발명의 일 실시예로서 이해되어야 할 것이다.
100 : 영상 부호화 장치 111: 움직임 예측부
112: 움직임 보상부 120 : 인트라 예측부
115 : 스위치 125 : 감산기
130 : 변환부 140 : 양자화부
150 : 엔트로피 부호화부 160 : 역양자화부
170 : 역변환부 180 : 필터부

Claims (3)

  1. 현재 블록에 인접한 2개의 인접 블록으로부터 제1 인접 예측 모드 및 제2 인접 예측 모드를 유도하는 단계;
    상기 제1 인접 예측 모드 및 상기 제2 인접 예측 모드에 따라, 상기 현재 블록에 대한 MPM 리스트를 구성하는 단계;
    상기 MPM 리스트에 포함된 후보 인트라 예측 모드들 중 하나에 따라 상기 현재 블록이 예측되는지 여부를 나타내는 MPM 플래그를 획득하는 단계; 및
    상기 MPM 플래그가 상기 현재 블록이 상기 MPM 리스트에 포함된 후보 인트라 예측 모드들 중 하나에 따라 예측됨을 나타내면, 상기 MPM 리스트에 포함된 후보 인트라 예측 모드들 중 하나를 상기 현재 블록의 화면 내 예측 모드로 결정하는 단계를 포함하고,
    상기 MPM 리스트는,
    상기 제1 인접 예측 모드를 포함하고,
    상기 제1 인접 예측 모드와 상기 제2 인접 예측 모드가 동일하고 상기 제1 인접 예측 모드가 플래너 모드 또는 DC모드가 아닐 때, 상기 제1 인접 예측 모드보다 크기가 1만큼 더 작은 인트라 예측 모드와 상기 제1 인접 예측 모드보다 크기가 2만큼 더 작은 인트라 예측 모드를 포함하도록 설정되는 것을 특징으로 하는 화면 내 예측 모드의 복호화 방법.
  2. 현재 블록에 인접한 2 개의 인접 블록으로부터 제1 인접 예측 모드 및 제2 인접 예측 모드를 유도하는 단계;
    상기 제1 인접 예측 모드 및 상기 제2 인접 예측 모드에 따라, 상기 현재 블록에 대한 MPM 리스트를 구성하는 단계; 및
    상기 현재 블록의 예측에 사용된 인트라 예측 모드가 상기 MPM 리스트에 포함된 후보 인트라 예측 모드들 중 하나인지 여부에 따라 MPM 플래그를 결정하고 부호화하는 단계를 포함하고,
    상기 MPM 리스트는,
    상기 제1 인접 예측 모드를 포함하고,
    상기 제1 인접 예측 모드와 상기 제2 인접 예측 모드가 동일하고 상기 제1 인접 예측 모드가 플래너 모드 또는 DC모드가 아닐 때, 상기 제1 인접 예측 모드보다 크기가 1만큼 더 작은 인트라 예측 모드와 상기 제1 인접 예측 모드보다 크기가 2만큼 더 작은 인트라 예측 모드를 포함하도록 설정되는 것을 특징으로 하는 화면 내 예측 모드의 부호화 방법.
  3. 화면 내 예측 모드의 부호화 방법에 의해 생성된 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체로서, 상기 화면 내 예측 모드의 부호화 방법은, 현재 블록에 인접한 2개의 인접 블록으로부터 제1 인접 예측 모드 및 제2 인접 예측 모드를 유도하는 단계;
    상기 제1 인접 예측 모드 및 상기 제2 인접 예측 모드에 따라, 상기 현재 블록에 대한 MPM 리스트를 구성하는 단계; 및
    상기 현재 블록의 예측에 사용된 인트라 예측 모드가 상기 MPM 리스트에 포함된 후보 인트라 예측 모드들 중 하나인지 여부에 따라 MPM 플래그를 결정하고 부호화하는 단계를 포함하고,
    상기 MPM 리스트는,
    상기 제1 인접 예측 모드를 포함하고,
    상기 제1 인접 예측 모드와 상기 제2 인접 예측 모드가 동일하고 상기 제1 인접 예측 모드가 플래너 모드 또는 DC모드가 아닐 때, 상기 제1 인접 예측 모드보다 크기가 1만큼 더 작은 인트라 예측 모드와 상기 제1 인접 예측 모드보다 크기가 2만큼 더 작은 인트라 예측 모드를 포함하도록 설정되는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR1020200162487A 2012-02-29 2020-11-27 화면 내 예측 모드의 부호화 방법 및 복호화 방법 KR102307985B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210127115A KR102424973B1 (ko) 2012-02-29 2021-09-27 화면 내 예측 모드의 부호화 방법 및 복호화 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120021425 2012-02-29
KR20120021425 2012-02-29
KR1020130020447A KR102186404B1 (ko) 2012-02-29 2013-02-26 화면 내 예측 모드의 부호화 방법 및 복호화 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130020447A Division KR102186404B1 (ko) 2012-02-29 2013-02-26 화면 내 예측 모드의 부호화 방법 및 복호화 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210127115A Division KR102424973B1 (ko) 2012-02-29 2021-09-27 화면 내 예측 모드의 부호화 방법 및 복호화 방법

Publications (2)

Publication Number Publication Date
KR20210006312A KR20210006312A (ko) 2021-01-18
KR102307985B1 true KR102307985B1 (ko) 2021-10-05

Family

ID=49451032

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020130020447A KR102186404B1 (ko) 2012-02-29 2013-02-26 화면 내 예측 모드의 부호화 방법 및 복호화 방법
KR1020200162487A KR102307985B1 (ko) 2012-02-29 2020-11-27 화면 내 예측 모드의 부호화 방법 및 복호화 방법
KR1020210127115A KR102424973B1 (ko) 2012-02-29 2021-09-27 화면 내 예측 모드의 부호화 방법 및 복호화 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020130020447A KR102186404B1 (ko) 2012-02-29 2013-02-26 화면 내 예측 모드의 부호화 방법 및 복호화 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210127115A KR102424973B1 (ko) 2012-02-29 2021-09-27 화면 내 예측 모드의 부호화 방법 및 복호화 방법

Country Status (1)

Country Link
KR (3) KR102186404B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170058837A (ko) 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
WO2017086746A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
CN116828172A (zh) * 2017-01-02 2023-09-29 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的发送方法以及存储介质
CN112019841A (zh) * 2019-05-31 2020-12-01 富士通株式会社 视频编码方法及装置、电子设备
CN112055200A (zh) * 2019-06-05 2020-12-08 华为技术有限公司 Mpm列表构建方法、色度块的帧内预测模式获取方法及装置
CN112188193A (zh) * 2019-07-01 2021-01-05 富士通株式会社 视频编码方法及装置、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kumakura, Toru. "Fixing the number of mpm candidates." Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting. 2011, JCTVC-F340*

Also Published As

Publication number Publication date
KR20210006312A (ko) 2021-01-18
KR20210118803A (ko) 2021-10-01
KR102186404B1 (ko) 2020-12-03
KR102424973B1 (ko) 2022-07-25
KR20130099852A (ko) 2013-09-06

Similar Documents

Publication Publication Date Title
KR102462009B1 (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR102313195B1 (ko) 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
KR102307985B1 (ko) 화면 내 예측 모드의 부호화 방법 및 복호화 방법
CN110073661B (zh) 用于编码和解码视频数据的方法和装置
KR102410482B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3117610B1 (en) Modifying bit depths in color-space transform coding
KR102170513B1 (ko) 인터 예측 방법 및 그 장치
TW202106022A (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
KR102418700B1 (ko) 영상 코딩 시스템에서 크로마 성분의 효율적 변환에 기반한 영상 디코딩 방법 및 장치
WO2012138032A1 (ko) 영상 정보 부호화 방법 및 복호화 방법
KR102480967B1 (ko) 영상 부호화/복호화 방법 및 장치
CN113994674A (zh) 增加经帧内译码的块的解码吞吐
KR102349435B1 (ko) 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
CA3061701A1 (en) Image decoding method and device in accordance with block split structure in image coding system
US11240535B2 (en) Method and device for filtering image in image coding system
KR20230140456A (ko) 적응적 모션 벡터 차이 해상도를 위한 보간 필터들

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant