KR20190058631A - 비디오 코딩을 위한 디바이스들 및 방법들 - Google Patents

비디오 코딩을 위한 디바이스들 및 방법들 Download PDF

Info

Publication number
KR20190058631A
KR20190058631A KR1020197013192A KR20197013192A KR20190058631A KR 20190058631 A KR20190058631 A KR 20190058631A KR 1020197013192 A KR1020197013192 A KR 1020197013192A KR 20197013192 A KR20197013192 A KR 20197013192A KR 20190058631 A KR20190058631 A KR 20190058631A
Authority
KR
South Korea
Prior art keywords
video coding
coding block
block
prediction
sub
Prior art date
Application number
KR1020197013192A
Other languages
English (en)
Other versions
KR102293097B1 (ko
Inventor
알렉세이 콘스탄티노비치 필리포브
바실리 알렉세이비치 루피트스키
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20190058631A publication Critical patent/KR20190058631A/ko
Application granted granted Critical
Publication of KR102293097B1 publication Critical patent/KR102293097B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 인코딩된 비디오 데이터를 디코딩하기 위한 장치(121)에 관한 것이고, 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할되고, 현재 비디오 코딩 블록은 복수의 서브-블록을 포함한다. 디코딩 장치(121)는: 현재 비디오 코딩 블록과 연관된 잔차 비디오 코딩 블록을 제공하기 위해 인코딩된 비디오 데이터를 디코딩하고 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하도록 구성되는 디코딩 유닛(123); 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 예측된 비디오 코딩 블록을 생성하도록 구성되는 예측 유닛(125) - 예측 유닛(125)은 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보에 기초하여 현재 비디오 코딩 블록에 대해 정의된 예측 파라미터를 조정하고, 조정된 예측 파라미터에 기초하여 예측된 서브-블록을 생성하도록 추가로 구성됨 - ; 및 잔차 비디오 코딩 블록 및 예측된 비디오 코딩 블록에 기초하여 현재 비디오 코딩 블록을 복원하도록 구성되는 복원 유닛(127)을 포함한다.

Description

비디오 코딩을 위한 디바이스들 및 방법들
본 발명은 비디오 코딩 분야에 관한 것이다. 더욱 구체적으로, 본 발명은 비디오 데이터를 코딩하기 위한 인코딩 장치 및 디코딩 장치에 관한 것이다.
디지털 비디오 통신 및 저장 애플리케이션들은 광범위한 디지털 디바이스들, 예를 들어, 디지털 카메라들, 셀룰러 무선 전화들, 랩톱들, 방송 시스템들, 비디오 원격회의 시스템들 등에 의해 구현된다. 이러한 애플리케이션들의 가장 중요하고 도전적인 작업들 중 하나가 비디오 압축이다. 비디오 압축 작업은 복잡하고, 2개의 상충되는 파라미터인, 압축 효율과 계산 복잡성에 의해 제한된다. ITU-T H.264/AVC 또는 ITU-T H.265/HEVC와 같은 비디오 코딩 표준들은 이러한 파라미터들 사이의 양호한 트레이드오프를 제공한다. 이러한 이유로, 비디오 코딩 표준들의 지원은 대부분의 임의의 비디오 압축 애플리케이션의 필수 요건이다.
최신의 비디오 코딩 표준들은 소스 픽처(source picture)를 비디오 코딩 블록들(또는 짧은 블록들)로 분할하는 것에 기초한다. 이러한 블록들의 처리는 인코더에 의해 지정되는 이들의 크기, 공간 위치 및 코딩 모드에 의존한다. 코딩 모드들은 예측의 타입에 따라 2개의 그룹으로 분류될 수 있다: 인터-예측 모드 및 인트라-예측 모드. 인트라-예측 모드들(intra-prediction modes)은 재구성되는 블록의 픽셀들에 대한 예측 값들을 계산하기 위해 참조 샘플들을 생성하기 위해 동일한 픽처(프레임 또는 이미지로도 지칭됨)의 픽셀들을 사용한다. 인트라-예측은 공간 예측으로도 지칭될 수 있다. 인터-예측 모드들(inter-prediction modes)은 시간 예측을 위해 설계되고, 현재 픽처의 블록의 픽셀들을 예측하기 위해 이전 또는 다음 픽처들의 참조 샘플들을 사용한다. 예측 스테이지 이후에, 원래의 신호와 그 예측 사이의 차이인 예측 에러에 대해 변환 코딩이 수행된다. 그 다음, 변환 계수들 및 사이드 정보는 엔트로피 코더(entropy coder)(예를 들어, AVC/H.264 및 HEVC/H.265에 대한 CABAC)를 사용하여 인코딩된다. 최근에 채택된 ITU-T H.265/HEVC 표준(ISO/IEC 23008-2:2013, "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding", November 2013)은 코딩 효율과 계산 복잡성 사이의 합당한 트레이드오프를 제공하는 한 세트의 최신 비디오 코딩 툴을 공표했다. ITU-T H.265/HEVC 표준의 개요는 [Gary J. Sullivan, "Overview of the High Efficiency Video Coding (HEVC) Standard", in IEEE Transactions on Circuits and Systems for Video Technology, Vol. 22, No. 12, December 2012]에 의해 주어졌고, 그 전체 내용은 참고로 본 명세서에 포함된다.
ITU-T H.264/AVC 비디오 코딩 표준과 유사하게, HEVC/H.265 비디오 코딩 표준은 블록들, 예를 들어, 코딩 유닛(coding unit)(CU)들로의 소스 픽처의 분할을 제공한다. CU들 각각은 더 작은 CU들 또는 예측 유닛(prediction unit)(PU)들로 더 분할될 수 있다. PU는 PU의 픽셀들에 대해 적용되는 처리의 타입에 따라 인트라-예측 또는 인터-예측될 수 있다. 인터-예측의 경우, PU는 PU에 대해 특정된 움직임 벡터를 이용하는 움직임 보상에 의해 처리되는 픽셀들의 영역을 나타낸다. 인트라 예측을 위해, 이웃 블록들의 인접 픽셀들은 현재 블록을 예측하기 위해 참조 샘플들로서 사용된다. PU는 이 PU에 포함된 모든 변환 유닛(transform unit)(TU)들에 대한 인트라-예측 모드들의 세트로부터 선택되는 예측 모드를 특정한다. TU는 상이한 크기(예를 들어, 4x4, 8x8, 16x16 및 32x32 픽셀들)를 가질 수 있고, 상이한 방식으로 처리될 수 있다. TU에 대해, 변환 코딩이 수행되고, 즉, 예측 오차는 이산 코사인 변환 또는 이산 사인 변환(HEVC/H.265 표준에서, 인트라-코딩된 블록들에 적용됨)으로 변환되어 양자화된다. 따라서, 재구성된 픽셀들은 DBF, SAO 및 ALF와 같은 인-루프 필터들(in-loop filters)이 억제하려고 시도하는 양자화 잡음(예를 들어, 유닛들 간의 블로키니스(blockiness), 샤프 에지들과 함께 링잉 아티팩트들(ringing artifacts) 등으로 명백해질 수 있음)을 포함한다. 정교한 예측 코딩(예를 들어, 움직임 보상 및 인트라-예측)과 분할(partitioning) 기법들(예를 들어, CU들 및 PU들에 대한 QT, 그리고 TU들에 대한 RQT)을 사용하여, 표준화 위원회는 PU들에서의 중복성을 상당히 감소시킬 수 있었다.
이러한 비디오 코딩 표준들의 알맞은 적용으로 이어지는 예측 툴들은 인터 및 인트라 예측 툴들로 대략적으로 구별될 수 있다. 인트라 예측은 현재 픽처에 포함되는 정보에만 의존하지만, 인터 예측은 상이한 픽처들 간의 중복성을 이용하여 코딩 효율을 더 증가시킨다. 따라서, 일반적인 인트라 예측은 일반적인 비디오 신호에 대해 동일한 시각적 품질을 달성하기 위해 인터 예측보다 더 높은 비트레이트를 필요로 한다.
현재, 인트라 또는 인터 예측 툴에 의해 생성될 수 있는 예측기들 중 어느 것이 선택되어야 하는지에 대한 정보를 시그널링하기 위해 상이한 메커니즘들이 사용된다. 가장 간단한 방식은 인트라-예측 모드가 시그널링되는 코딩 유닛(CU) 또는 예측 유닛(PU) 레벨들에서 하나 이상의 비트를 사용하는 것이다. 이 접근법은 다수의 툴(예를 들어, PDPC 및 MPI)에 대해 구현되었다. 적응적 다중 변환(Adaptive Multiple Transform)(AMT)으로도 알려진 강화된 다중 변환(Enhanced Multiple Transform)(EMT)을 위한 다른 메커니즘이 구현되었다. 이 접근법 배후의 기본적인 아이디어는 TU 레벨 인덱스(emtTuIdx)가 필요한지 여부를 시그널링하는 CU 레벨 플래그(emtCuFlag)를 사용하는 것이다. 그러나, EMT는 예측 코딩부에 직접 관련되지 않는다.
시그널링의 다른 양태는 이 정보가 인코딩되고 디코딩될 수 있는 방법이다. 종래의 접근법을 사용하는 경우에, 이 정보는 엔트로피 코딩된다. 예를 들어, CABAC 또는 다른 엔트로피 코더들이 사용될 수 있다. 다른 접근법은 레지듀들(residues)에 또는 예측 정보에 사이드 정보를 은닉하는 것이다. 후자의 접근법에서, 디코더 측에서 은닉된 값을 검색하기 위해 체크 함수(check function)가 호스트 신호에(예를 들어, 움직임 벡터 차이 투영들(motion vector difference projections)의 레지듀들 또는 크기들 중 어느 하나에) 적용된다. 따라서, 선택된 예측 모드를 시그널링하는 상이한 방법들이 존재한다. 그러나, 그것들은 분해되어 있고 서로 협력하도록 튜닝되지 않는다.
주요 문제는 예측 도구들의 체계화되지 않은 시그널링 메커니즘들이 HM 및 JEM과 같은 상이한 하이브리드 비디오 코딩 프레임워크들에서 상당한 오버헤드를 야기한다는 것이다. 예측-관련 신택스 엘리먼트들의 임의의 조합이 인에이블되면, 이러한 문제의 다른 결과는 인코더측 패스들의 수(number of encoder-side passes)가 증가함에 따라 인코더측에서의 계산 복잡성의 증가일 수 있다.
따라서, 비디오 코딩을 위한 디바이스들 및 방법들이 필요하다.
본 발명의 목적은 비디오 코딩을 위한 디바이스들 및 방법들을 위한 것이다.
전술한 목적 및 다른 목적은 독립 청구항들의 요지에 의해 달성된다. 추가의 구현 형태들이 종속 청구항들, 설명 및 도면들로부터 명백하다.
이하의 개시내용은, 실시예들에서, 다음과 같은 의미를 갖는 복수의 용어를 이용한다: 슬라이스 - 독립적으로 인코딩/디코딩되는 픽처의 공간적으로 별개의 영역. 슬라이스 헤더 - 특정 슬라이스와 연관된 정보를 시그널링하도록 구성되는 데이터 구조. 비디오 코딩 블록(또는 짧은 블록) - 픽셀들 또는 샘플들의 MxN(M-열 x N-행) 어레이(각각의 픽셀/샘플은 적어도 하나의 픽셀/샘플 값과 연관됨), 또는 변환 계수들의 MxN 어레이. 코딩 트리 유닛(Coding Tree Unit)(CTU) 그리드 - 비디오 인코딩을 위해 픽셀들의 블록들을 매크로-블록들로 분할하는 데 이용되는 그리드 구조. 코딩 유닛(Coding Unit)(CU) - 루마 샘플들의 코딩 블록, 3개의 샘플 어레이를 갖는 이미지의 크로마 샘플들의 2개의 대응하는 코딩 블록, 또는 3개의 개별 컬러 평면들 및 샘플들을 코딩하는 데 사용되는 신택스를 이용하여 코딩되는 픽처 또는 단색 픽처의 샘플들의 코딩 블록. 픽처 파라미터 세트(Picture Parameter Set)(PPS) - 각각의 슬라이스 세그먼트 헤더에서 발견되는 신택스 엘리먼트에 의해 결정되는 바와 같이 0개 이상의 전체 코딩된 픽처에 적용되는 신택스 엘리먼트들을 포함하는 신택스 구조. 시퀀스 파라미터 세트(Sequence Parameter Set)(SPS) - 각각의 슬라이스 세그먼트 헤더에서 발견되는 신택스 엘리먼트에 의해 참조되는 PPS에서 발견되는 신택스 엘리먼트의 내용에 의해 결정되는 바와 같이 0개 이상의 전체 코딩된 비디오 시퀀스에 적용되는 신택스 엘리먼트들을 포함하는 신택스 구조. 비디오 파라미터 세트(Video Parameter Set)(VPS) - 0개 이상의 전체 코딩된 비디오 시퀀스에 적용하는 신택스 엘리먼트들을 포함하는 신택스 구조. 예측 유닛(Prediction Unit)(PU) - 루마 샘플들의 예측 블록, 3개의 샘플 어레이를 갖는 픽처의 크로마 샘플들의 2개의 대응하는 예측 블록, 또는 3개의 개별 컬러 평면들 및 예측 블록 샘플들을 예측하는 데 사용되는 신택스를 이용하여 코딩되는 픽처 또는 단색 픽처의 샘플들의 예측 블록. 변환 유닛(Transform Unit)(TU) - 루마 샘플들의 변환 블록, 3개의 샘플 어레이를 갖는 픽처의 크로마 샘플들의 2개의 대응하는 변환 블록, 또는 3개의 개별 컬러 평면들 및 변환 블록 샘플들을 예측하는 데 사용되는 신택스를 이용하여 코딩되는 픽처 또는 단색 픽처의 샘플들의 변환 블록. 보충 강화 정보(supplemental enhancement information)(SEI) - 비디오의 사용을 향상시키기 위해 비디오 비트스트림에 삽입될 수 있는 추가 정보. 루마(Luma) - 이미지 샘플의 밝기를 나타내는 정보. 크로마(Chroma) - 색도 정보는 이미지 샘플의 컬러를 나타내고, 이는 적색 차이 크로마 성분(Cr) 및 청색 차이 크로마 성분(Cb)에 관하여 기술될 수 있는, 이미지 샘플의 컬러를 나타내는 정보.
제1 양태에 따르면, 본 발명은 인코딩된 비디오 데이터를 디코딩하기 위한 장치에 관한 것이고, 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재, 즉, 현재 처리되는, 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할되고, 현재 비디오 코딩 블록은 현재 비디오 코딩 블록보다 하위 계층 레벨의 복수의 서브-블록을 포함한다. 장치는 현재 비디오 코딩 블록과 연관된 잔차 비디오 코딩 블록(residual video coding block)을 제공하기 위해 인코딩된 비디오 데이터를 디코딩하고 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하도록 구성되는 디코딩 유닛; 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 예측된 비디오 코딩 블록을 생성하도록 구성되는 예측 유닛 - 예측 유닛은 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보에 기초하여 현재 비디오 코딩 블록에 대해 정의된 예측 파라미터를 조정하고, 조정된 예측 파라미터에 기초하여 예측된 서브-블록을 생성하도록 추가로 구성됨 - ; 및 잔차 비디오 코딩 블록 및 예측된 비디오 코딩 블록에 기초하여 현재 비디오 코딩 블록을 복원하도록 구성되는 복원 유닛(변환 유닛으로도 지칭됨)을 포함한다.
구현 형태에서, 현재 비디오 코딩 블록은 PU들 및/또는 TU들의 형태로 된 서브-블록들로 이루어지는 CU일 수 있다. 대안적으로, 현재 비디오 코딩 블록은 TU들의 형태로 된 서브-블록들로 이루어지는 PU일 수 있다.
그와 같은 제1 양태에 따른 디코딩 장치의 제1 가능한 구현 형태에서, 예측 유닛은 예측된 비디오 코딩 블록을 생성하기 위한 인트라 예측 및/또는 인터 예측을 수행하도록 구성된다.
그와 같은 제1 양태 또는 그의 제1 구현 형태에 따른 디코딩 장치의 제2 가능한 구현 형태에서, 인코딩된 비디오 데이터는 엔트로피 인코딩되고, 디코딩 유닛은 인코딩된 비디오 데이터를 디코딩함으로써 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하도록 구성된다.
그와 같은 제1 양태 또는 그의 제1 구현 형태에 따른 디코딩 장치의 제3 가능한 구현 형태에서, 파라미터 조정 정보는 인코딩된 비디오 데이터에 은닉되고, 디코딩 유닛은 인코딩된 비디오 데이터의 적어도 일부에 체크 함수, 특히, 패리티 체크 함수(parity check function)를 적용함으로써 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하도록 구성된다.
그와 같은 제1 양태 또는 그의 제1 내지 제3 구현 형태 중 어느 하나에 따른 디코딩 장치의 제4 가능한 구현 형태에서, 예측 파라미터는 제1 예측 플래그 상태 및 제2 예측 플래그 상태를 정의하는 예측 플래그이고, 예측 유닛은 파라미터 조정 정보에 기초하여 예측 플래그의 상태를 조정하도록 구성된다.
제1 양태의 제4 구현 형태에 따른 디코딩 장치의 제5 가능한 구현 형태에서, 예측 파라미터는 인트라-예측 모드를 정의하고, 예를 들어, 예측 파라미터는 인트라-예측 모드 인덱스이다.
제2 양태에 따르면, 본 발명은 인코딩된 비디오 데이터를 디코딩하기 위한 방법에 관한 것이고, 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재, 즉, 현재 처리되는, 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할되고, 현재 비디오 코딩 블록은 현재 비디오 코딩 블록보다 하위 계층 레벨의 복수의 서브-블록을 포함한다. 디코딩 방법은: 현재 비디오 코딩 블록과 연관된 잔차 비디오 코딩 블록을 제공하기 위해 인코딩된 비디오 데이터를 디코딩하고 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하는 단계; 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 예측된 비디오 코딩 블록을 생성하는 단계 - 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보에 기초하여 현재 비디오 코딩 블록에 대해 정의된 예측 파라미터를 조정하는 단계 및 조정된 예측 파라미터에 기초하여 예측된 서브-블록을 생성하는 단계를 포함함 - ; 및 잔차 비디오 코딩 블록 및 예측된 비디오 코딩 블록에 기초하여 현재 비디오 코딩 블록을 복원하는 단계를 포함한다.
본 발명의 제2 양태에 따른 디코딩 방법은 본 발명의 제1 양태에 따른 디코딩 장치에 의해 수행될 수 있다. 본 발명의 제2 양태에 따른 디코딩 방법의 추가 특징들은 본 발명의 제1 양태 및 그의 상이한 구현 형태들에 따른 디코딩 장치의 기능으로부터 직접적으로 얻어진다.
제3 양태에 따르면, 본 발명은 비디오 데이터를 인코딩하기 위한 장치에 관한 것이고, 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재, 즉, 현재 처리되는, 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할가능하고, 현재 비디오 코딩 블록은 현재 비디오 코딩 블록보다 하위 계층 레벨의 복수의 서브-블록을 포함한다. 인코딩 장치는: 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 예측 파라미터에 기초하여 예측된 비디오 코딩 블록을 생성하도록 구성되는 예측 유닛 - 예측 유닛은 예측 파라미터 대신에 조정된 예측 파라미터에 기초하여 예측된 서브-블록이 생성되는 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보를 생성하도록 추가로 구성됨 - ; 및 인코딩된 비디오 데이터를 생성하도록 구성되는 인코딩 유닛 - 인코딩된 비디오 데이터는 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 포함하고, 인코딩된 비디오 데이터는 파라미터 조정 정보를 포함함 - 을 포함한다.
구현 형태에서, 현재 비디오 코딩 블록은 PU들 및/또는 TU들의 형태로 된 서브-블록들로 이루어지는 CU일 수 있다. 대안적으로, 현재 비디오 코딩 블록은 TU들의 형태로 된 서브-블록들로 이루어지는 PU일 수 있다.
그와 같은 제2 양태에 따른 인코딩 장치의 제1 가능한 구현 형태에서, 예측 유닛은 현재 비디오 코딩 블록에 기초하여 예측된 비디오 코딩 블록을 생성하기 위한 인트라 예측 및/또는 인터 예측을 수행하도록 구성된다.
그와 같은 제2 양태 또는 그의 제1 구현 형태에 따른 인코딩 장치의 제2 가능한 구현 형태에서, 예측 유닛은 예측 파라미터 대신에 조정된 예측 파라미터에 기초하여 예측된 서브-블록을 생성할지를 레이트 왜곡 기준(rate distortion criterion)에 기초하여 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 결정하도록 추가로 구성된다.
그와 같은 제2 양태 또는 그의 제1 또는 제2 구현 형태에 따른 인코딩 장치의 제3 가능한 구현 형태에서, 인코딩 유닛은 인코딩된 비디오 데이터에 엔트로피 인코딩된 파라미터 조정 정보로서 파라미터 조정 정보를 포함하도록 구성된다.
그와 같은 제2 양태 또는 그의 제1 또는 제2 구현 형태에 따른 인코딩 장치의 제4 가능한 구현 형태에서, 인코딩 유닛은 데이터 은닉 기법에 기초하여 인코딩된 비디오 데이터에 파라미터 조정 정보를 포함하도록 구성된다.
그와 같은 제2 양태 또는 그의 제1 또는 제2 구현 형태에 따른 인코딩 장치의 제5 가능한 구현 형태에서, 인코딩 유닛은 데이터 은닉 기법에 기초하여 인코딩된 비디오 데이터에 파라미터 조정 정보를 포함하거나 또는 현재 비디오 코딩 블록과 예측된 비디오 코딩 블록 사이의 차이와 연관된 중복성 척도(redundancy measure)의 값에 따라 인코딩된 비디오 데이터에 엔트로피 인코딩된 파라미터 조정 정보로서 파라미터 조정 정보를 포함하도록 구성된다.
데이터 은닉을 수행하기에 충분한 중복성이 예측-관련 신택스 엘리먼트들에서 검출되는 경우, 동일한 계층 레벨에서 코딩될 예측 파라미터가 이들 내에서 은닉되어야 한다. 그렇지 않으면, 엔트로피 코딩이 시그널링을 위해 사용된다. 유사한 접근법이 레지듀들에서의 데이터 은닉에 적용된다: 중복성이 거기에서 검출되는 경우, 데이터 은닉이 사용되어야 한다. 그렇지 않으면, 엔트로피 코딩은 TU 레벨에서 시그널링을 위해 사용된다.
제4 양태에 따르면, 본 발명은 비디오 데이터를 인코딩하기 위한 방법에 관한 것이고, 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재, 즉, 현재 처리되는, 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할가능하고, 현재 비디오 코딩 블록은 현재 비디오 코딩 블록보다 하위 계층 레벨의 복수의 서브-블록을 포함한다. 인코딩 방법은: 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 예측 파라미터에 기초하여 예측된 비디오 코딩 블록을 생성하는 단계 - 예측 파라미터 대신에 조정된 예측 파라미터에 기초하여 예측된 서브-블록이 생성되는 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보를 생성하는 단계를 포함함 - ; 및 인코딩된 비디오 데이터를 생성하는 단계 - 인코딩된 비디오 데이터는 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 포함하고, 인코딩된 비디오 데이터는 파라미터 조정 정보를 포함함 - 를 포함한다.
본 발명의 제4 양태에 따른 인코딩 방법은 본 발명의 제3 양태에 따른 인코딩 장치에 의해 수행될 수 있다. 본 발명의 제4 양태에 따른 인코딩 방법의 추가 특징들은 본 발명의 제3 양태 및 그의 상이한 구현 형태들에 따른 인코딩 장치의 기능으로부터 직접적으로 얻어진다.
제5 양태에 따르면, 본 발명은 컴퓨터 상에서 실행될 때 제4 양태에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.
본 발명의 실시예들은 선택된 예측기를 표시하기 위해 HM 및 JEM 프레임워크들에서 사용되는 시그널링 메커니즘들을 개선하는 것을 허용한다. 본 발명의 실시예들은 하위 계층 레벨들에서 추가 정보, 즉, 파라미터 조정 정보를 시그널링함으로써 상위 계층 레벨에서 선택된 예측 파라미터를 조정하는 것을 가능하게 하는 계층적으로 구조화된 시그널링 메커니즘(hierarchically structured signaling mechanism)을 제공한다. 더욱이, 본 발명의 실시예들은 선택된 예측 파라미터를 표시하기 위해 엔트로피 코딩과 데이터 은닉 사이에서 적응적으로 선택하는 것을 허용한다.
본 발명은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본 발명의 추가 실시예들은 이하의 도면들을 참조하여 설명될 것이다.
도 1은 실시예에 따른 인코딩 장치 및 실시예에 따른 디코딩 장치를 예시하는 개략도를 도시한다.
도 2는 실시예에 따른 디코딩 방법을 예시하는 개략도를 도시한다.
도 3은 실시예에 따른 인코딩 방법을 예시하는 개략도를 도시한다.
도 4는 본 발명의 실시예들에 구현된 양태들을 예시하는 예시적인 비디오 코딩 블록의 개략도를 도시한다.
도 5는 본 발명의 실시예들에 의해 사용될 수 있는 예측 파라미터들의 개요를 제공하는 도면을 도시한다.
도 6은 실시예에 따른 디코딩 장치에서 구현되는 처리 단계들을 예시하는 도면을 도시한다.
도 7a 및 도 7b는 상이한 실시예들에 따른 디코딩 장치들에서 구현되는 처리 단계들을 예시하는 도면들을 도시한다.
도 8은 실시예에 따른 인코딩 장치에서 구현되는 처리 단계들을 예시하는 도면을 도시한다.
도 9a 및 도 9b는 실시예에 따른 인코딩 장치에서 구현되는 처리 단계들을 예시하는 도면들을 도시한다.
도 10a 및 10b는 실시예에 따른 디코딩 장치에서 구현되는 처리 단계들을 예시하는 도면들을 도시한다.
도 11은 본 발명의 상이한 실시예들에 의해 예측되는 3개의 상이한 비디오 코딩 블록을 도시한다.
도 12는 실시예에 따른 인코딩 장치에서 구현되는 처리 단계들을 예시하는 도면을 도시한다.
도 13은 실시예에 따른 디코딩 장치에서 구현되는 처리 단계들을 예시하는 도면을 도시한다.
도 14는 실시예에 따른 디코딩 장치에서 구현되는 처리 단계들을 예시하는 도면을 도시한다.
도 15는 실시예에 따른 디코딩 장치에서 구현되는 처리 단계들을 예시하는 도면을 도시한다.
도 16은 본 발명의 실시예들에 구현된 양태들을 예시하는 예시적인 비디오 코딩 블록의 개략도를 도시한다.
다양한 도면들에서, 동일하거나 적어도 기능적으로 동등한 특징들에 대해 동일한 참조 부호들이 사용될 것이다.
다음의 설명에서는, 본 개시내용의 일부를 형성하고 본 발명이 실시될 수 있는 특정 양태들이 예시로서 도시되는 첨부 도면들을 참조한다. 본 발명의 범위를 벗어나지 않고 다른 양태들이 이용될 수 있고 구조적 또는 논리적 변경들이 이루어질 수 있다는 것이 이해된다. 따라서, 본 발명의 범위가 첨부된 청구항들에 의해 정의되므로, 다음의 상세한 설명은 제한적인 의미로 취급되어서는 안된다.
예를 들어, 설명된 방법과 관련된 개시내용은 또한 그 방법을 수행하도록 구성되는 대응하는 디바이스 또는 시스템에 대해 유효할 수 있고, 그 반대의 경우도 마찬가지라는 것이 이해된다. 예를 들어, 특정 방법 단계가 설명되는 경우, 대응하는 디바이스는 설명된 방법 단계를 수행하기 위한 유닛을 포함할 수 있는데, 이는 그러한 유닛이 도면들에 명시적으로 설명 또는 예시되어 있지 않더라도 그러하다. 추가로, 구체적으로 달리 언급되지 않는 한, 본 명세서에서 설명되는 다양한 예시적인 양태들의 특징들은 서로 조합될 수 있다는 것이 이해된다.
도 1은 실시예에 따른 비디오 데이터를 인코딩하기 위한 인코딩 장치(101) 및 실시예에 따른 비디오 데이터를 디코딩하기 위한 디코딩 장치(121)를 예시하는 개략도를 도시한다.
인코딩 장치(101)는 비디오 데이터를 인코딩하도록 구성되고, 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재, 즉, 현재 처리되는, 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할가능하고, 현재 비디오 코딩 블록은 현재 비디오 코딩 블록보다 하위 계층 레벨의 복수의 서브-블록을 포함한다.
실시예에서, 현재 비디오 코딩 블록은 PU들 및/또는 TU들의 형태로 된 서브-블록들로 이루어지는 CU일 수 있다. 대안적으로, 현재 비디오 코딩 블록은 TU들의 형태로 된 서브-블록들로 이루어지는 PU일 수 있다.
인코딩 장치(101)는 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 적어도 하나의 예측 파라미터에 기초하여 예측된 비디오 코딩 블록을 생성하도록 구성되는 예측 유닛(105)을 포함하고, 예측 유닛(105)은 예측 파라미터 대신에 조정된 예측 파라미터에 기초하여 예측된 서브-블록이 생성되는 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보를 생성하도록 추가로 구성된다.
또한, 인코딩 장치(101)는 인코딩된 비디오 데이터를 생성하도록 구성되는 인코딩 유닛(103)을 포함하고, 인코딩된 비디오 데이터는 예측된 비디오 코딩 블록 및 파라미터 조정 정보에 기초하여 인코딩된 비디오 코딩 블록을 포함한다.
실시예에서, 인코딩 장치(101)는 예를 들어, HEVC 표준에 정의된 바와 같이 하이브리드 인코더로서 구현될 수 있고, 엔트로피 인코더와 같은 도 1에 도시되지 않은 추가 컴포넌트들을 포함할 수 있다.
디코딩 장치(121)는 인코딩 장치(101)에 의해 제공되는 인코딩된 비디오 데이터를, 예를 들어, 비트스트림의 형태로 디코딩하도록 구성된다.
디코딩 장치(121)는 현재 비디오 코딩 블록과 연관된 잔차 비디오 코딩 블록을 제공하기 위해 인코딩된 비디오 데이터를 디코딩하고 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하도록 구성되는 디코딩 유닛(123)을 포함한다.
또한, 디코딩 장치(121)는 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 예측된 비디오 코딩 블록을 생성하도록 구성되는 예측 유닛(125)을 포함하고, 예측 유닛(125)은 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보에 기초하여 현재 비디오 코딩 블록에 대해 정의된 예측 파라미터를 조정하고, 조정된 예측 파라미터에 기초하여 예측된 서브-블록을 생성하도록 추가로 구성된다.
또한, 디코딩 장치(121)는 잔차 비디오 코딩 블록 및 예측된 비디오 코딩 블록에 기초하여 현재 비디오 코딩 블록을 복원하도록 구성되는 복원 유닛(127)(때때로 변환 유닛으로도 지칭됨)을 포함한다.
실시예에서, 디코딩 장치(121)는, 예를 들어, HEVC 표준에서 정의된 바와 같이 하이브리드 디코더로서 구현될 수 있고, 도 1에 도시되지 않은 추가 컴포넌트들을 포함할 수 있다.
실시예에서, 인코딩 장치(101)의 예측 유닛(105) 및 디코딩 장치(121)의 예측 유닛(125)은 예측된 비디오 코딩 블록을 생성하기 위한 인트라 예측 및/또는 인터 예측을 수행하도록 구성된다.
실시예에서, 인코딩 장치(101)의 예측 유닛(105)은 조정된 예측 파라미터에 기초하여 예측된 서브-블록을 생성할지를 레이트 왜곡 기준에 기초하여 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 결정하도록 추가로 구성된다.
실시예에서, 인코딩 장치(101)의 인코딩 유닛(103)은 인코딩된 비디오 데이터에 엔트로피 인코딩된 파라미터 조정 정보로서 파라미터 조정 정보를 포함하도록 구성된다. 이러한 실시예에서, 디코딩 장치(121)의 디코딩 유닛(123)은 인코딩된 비디오 데이터를 디코딩함으로써 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하도록 구성된다.
실시예에서, 인코딩 장치(101)의 인코딩 유닛(103)은 데이터 은닉 기법에 기초하여 인코딩된 비디오 데이터에 파라미터 조정 정보를 포함하도록 구성된다. 이러한 실시예에서, 디코딩 장치의 디코딩 유닛(123)은 체크 함수, 특히, 패리티 체크 함수를 은닉된 파라미터 조정 정보를 포함하는 인코딩된 비디오 데이터의 적어도 일부에 적용함으로써 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하도록 구성될 수 있다.
인코딩된 비디오 데이터에 파라미터 조정 정보를 은닉하기 위한 본 발명의 실시예들에서 구현될 수 있는 데이터 은닉 기법들에 대한 더 상세한 사항들은, 예를 들어, [Vivienne Sze, Madhukar Budagavi, Gary J. Sullivan, "High Efficiency Video Coding (HEVC): Algorithms and Architectures," Springer, 2014, ISBN 978-3-319-06895-4]에서 찾아볼 수 있으며, 이는 본 명세서에 참조로 완전히 포함된다.
실시예에서, 인코딩 장치(101)의 인코딩 유닛(103)은 데이터 은닉 기법에 기초하여 인코딩된 비디오 데이터에 파라미터 조정 정보를 포함하거나, 또는 현재 비디오 코딩 블록과 예측된 비디오 코딩 블록 사이의 차이와 연관된 중복성 척도의 값에 따라 인코딩된 비디오 데이터에 엔트로피 인코딩된 파라미터 조정 정보로서 파라미터 조정 정보를 포함하도록 구성된다.
예를 들어, 데이터 은닉을 수행하기에 충분한 중복성이 예측-관련 신택스 엘리먼트들에서 검출되는 경우, 동일한 계층 레벨에서 코딩될 예측 파라미터가 예측-관련 신택스 엘리먼트들 내에 은닉될 수 있다. 그렇지 않으면, 엔트로피 코딩이 시그널링을 위해 사용될 수 있다. 유사한 접근법이 레지듀들에서의 데이터 은닉에 적용될 수 있다: 중복성이 거기에서 검출되는 경우, 데이터 은닉이 사용될 수 있다. 그렇지 않으면, 엔트로피 코딩은 TU 레벨에서 시그널링을 위해 사용될 수 있다.
실시예에서, 하위 계층 레벨에서 정보를 시그널링하는 것은, 하위 레벨에서의 시그널링이 불가능한 경우(예를 들어, 비-제로 양자화된 변환 계수들의 수가 레지듀들에서의 은닉을 수행하기에 충분하지 않은 경우) 또는 금지되는 경우(예를 들어, 엔트로피 코딩된 정보는 시그널링 오버헤드를 최소화하기 위해 4x4 TU들과 같은 작은 블록들에 대해 디스에이블될 수 있음) 더 높은 레버에서 사용되는 값으로 디폴트로 될 수 있다.
실시예에서, 예측 파라미터는 제1 상태 및 제2 상태를 정의하는 예측 플래그이고, 디코딩 장치(121)의 예측 유닛(125)은 파라미터 조정 정보에 기초하여 예측 플래그의 상태를 조정하도록 구성된다.
실시예에서, 예측 파라미터는 인트라-예측 모드를 정의하는데, 예를 들어, 예측 파라미터는 인트라-예측 모드 인덱스이다. 더욱 일반적으로는, 예측 파라미터는 이하에서 추가로 더 상세히 설명되는 바와 같이 도 5에 도시된 파라미터들 중 하나 이상을 포함할 수 있다.
도 2는 실시예에 따른 인코딩된 비디오 데이터를 디코딩하기 위한 대응하는 방법(200)을 예시하는 개략도를 도시하며, 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재, 즉, 현재 처리되는, 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할되고, 현재 비디오 코딩 블록은 현재 비디오 코딩 블록보다 하위 계층 레벨의 복수의 서브-블록을 포함한다.
디코딩 방법(200)은 다음의 단계들을 포함한다: 현재 비디오 코딩 블록과 연관된 잔차 비디오 코딩 블록을 제공하기 위해 인코딩된 비디오 데이터를 디코딩하고 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하는 단계(201); 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 예측된 비디오 코딩 블록을 생성하는 단계(203) - 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보에 기초하여 현재 비디오 코딩 블록에 대해 정의된 예측 파라미터를 조정하는 단계 및 조정된 예측 파라미터에 기초하여 예측된 서브-블록을 생성하는 단계를 포함함 - ; 및 잔차 비디오 코딩 블록 및 예측된 비디오 코딩 블록에 기초하여 현재 비디오 코딩 블록을 복원하는 단계(205)를 포함한다.
도 3은 실시예에 따른 비디오 데이터를 인코딩하기 위한 방법(300)을 예시하는 개략도를 도시하며, 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재, 즉, 현재 처리되는, 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할가능하고, 현재 비디오 코딩 블록은 현재 비디오 코딩 블록보다 하위 계층 레벨의 복수의 서브-블록을 포함한다.
인코딩 방법(300)은: 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 현재 비디오 코딩 블록에 대해 예측 파라미터에 기초하여 예측된 비디오 코딩 블록을 생성하는 단계(301) - 예측 파라미터 대신에 조정된 예측 파라미터에 기초하여 예측된 서브-블록이 생성되는 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보를 생성하는 단계를 포함함 - ; 및 인코딩된 비디오 데이터를 생성하는 단계(303) - 인코딩된 비디오 데이터는 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 포함하고, 인코딩된 비디오 데이터는 파라미터 조정 정보를 포함함 - 를 포함한다.
인코딩 장치(101), 디코딩 장치(121), 디코딩 방법(200) 및 인코딩 방법(300)의 추가적인 실시예들이 이하에서 설명될 것이다.
도 4는 예시적인 현재 처리되는 비디오 코딩 블록의 개략도를 도시하며, 이 경우에 비디오 코딩 블록은 PU이다. 도 4에 도시된 비디오 코딩 블록은 TU들의 형태로 된 복수의 서브-블록을 포함한다. 도 4로부터 취해질 수 있는 바와 같이, 이 서브-블록들, 즉, TU들은 상이한 크기들을 가질 수 있지만, 일반적으로는 현재 비디오 코딩 블록, 즉, PU보다 작다. 따라서, 서브-블록들(즉, TU들)은 비디오 코딩 블록(즉, PU)보다 하위 계층 레벨로부터 온 것으로 고려될 수 있다.
파선 배경을 갖는 TU의 경우, 예를 들어, 레이트 왜곡 기준에 기초하여, 결정된 바와 같은, 그의 최적의 예측 파라미터(들)는 상위 계층 레벨에서 PU에 대해, 즉, 비디오 코딩 블록에 대해 선택 또는 정의된 예측 파라미터(들)와 매칭된다. 백색 배경을 갖는 TU의 경우, 예를 들어, 레이트 왜곡 기준에 기초하여, 결정된 바와 같은, 그의 최적의 예측 파라미터(들)는 상위 계층 레벨에서 PU에 대해, 즉, 비디오 코딩 블록에 대해 선택 또는 정의된 예측 파라미터(들)와 상이하다. 따라서, 백색 배경을 갖는 도 4의 예시적인 서브-블록들의 경우, 인코딩 장치(101)의 예측 유닛(105)은 대응하는 파라미터 조정 정보를 생성하고, 이 정보는 인코딩 장치(101)의 인코딩 유닛(103)에 의해 인코딩된 비디오 데이터에 포함된다. 디코딩 장치(121)의 측에서, 디코딩 유닛(123)은 인코딩된 비디오 데이터로부터 이 파라미터 조정 정보를 추출한다. 이에 기초하여, 예측 유닛(125)은, 백색 배경을 갖는 도 4의 예시적인 서브-블록들 각각에 대해, PU에 대해 시그널링된 예측 파라미터(들)를 하나 이상의 조정된 예측 파라미터로 조정하고, 하나 이상의 조정된 예측 파라미터에 기초하여 대응하는 예측된 서브-블록들을 생성한다.
도 5는 실시예에 따른 인코딩 장치(101) 및/또는 실시예에 따른 디코딩 장치(121)에 의해 사용될 수 있고, 필요하다면, 조정될 수 있는 상이한(인트라 및 인터) 예측 파라미터들의 표를 도시한다. 예를 들어, 예측 파라미터는 인트라 예측 모드를 정의할 수 있다.
도 6은 실시예에 따른 디코딩 장치(121)에서 구현되는 처리 스킴(600)의 처리 단계들을 예시하는 도면을 도시한다. 도 6에 도시된 실시예에서, 디코딩 장치는 CU-레벨, PU-레벨, 및 TU-레벨에서 블록들을 처리한다. 이 실시예에서, CU-레벨에서의 블록은 PU-레벨 및 TU-레벨에서의 그의 서브-블록들보다 계층적 상위 레벨에 있다. 또한, PU-레벨에서의 블록은 TU-레벨에서의 그의 서브-블록들보다 계층적 상위 레벨에 있다. 도 6에 도시된 처리 스킴(600)은 다음의 처리 단계들을 포함한다.
처리 단계(601)는 인코딩 장치(101)에 의해 제공되는 비트스트림으로부터 CU-레벨 플래그들(FCU)의 세트를 파싱(parsing)하는 단계를 포함한다.
처리 단계(603)는 FCU의 값들을 이용하여 예측 파라미터들 P의 값들을 할당하는 단계를 포함한다.
처리 단계(605)는 스킵 플래그(skip flag)와 같은 CU-레벨 조건들을 체크하는 단계를 포함한다. 이러한 조건들이 충족되면, 각각의 PU는 처리 단계(609)로 진행함으로써 처리되어야 한다. 그렇지 않으면, 예측 파라미터들 P는 처리 단계(607)에서 "있는 그대로(as-is)" 전체 CU에 적용될 수 있다.
처리 단계(611)는 주어진 CU에 속하는 각각의 PU에 대한 비트스트림으로부터 PU-레벨 플래그들(FPU-U)의 세트를 파싱하는 단계를 포함한다. 이러한 플래그들(FPU-U)(예를 들어, 인트라-예측 모드 인덱스 또는 움직임 벡터 차이들)은 비트스트림에 무조건적으로 존재할 수 있다.
처리 단계(613)는 인트라 또는 인터-예측을 위해 어느 보간 필터가 선택될지를 나타내는 플래그와 같은 PU-레벨 조건들을 체크하는 단계를 포함한다. 이러한 조건들이 충족되면, 처리 단계(615)에서 일부 추가적인 플래그들(FPU-C)이 검색될 수 있다. 그렇지 않으면, 다음 PU의 처리가 처리 단계(609)로 복귀함으로써 시작된다.
처리 단계(617)는 플래그들(FPU)의 세트를 이용하여 예측 파라미터들(P)의 세트를 조정하고 주어진 PU에 속하는 각각의 TU로 진행하는(즉, 처리 단계(619)로 진행하는) 단계를 포함한다.
처리 단계(621)는 주어진 PU에 속하는 각각의 TU에 대한 비트스트림으로부터 TU-레벨 플래그들(FPU-U)의 세트를 파싱하는 단계를 포함한다. 이러한 플래그들(FPU-U)(예를 들어, CBF)은 비트스트림에 무조건적으로 존재할 수 있다.
처리 단계(623)는 디폴트 변환이 사용될지 또는 EMT TU-레벨 인덱스가 파싱될지를 검출하기 위해 비-제로 양자화된 변환 계수들의 수와 같은 TU-레벨 조건들을 체크하는 단계를 포함한다. 이러한 조건들이 충족되면, 처리 단계(625)에서 일부 추가적인 플래그들(FPU-C)이 검색될 수 있다. 그렇지 않으면, 다음 TU가 처리 단계(619)로 복귀함으로써 처리된다.
처리 단계(627)는 플래그들(FTU)의 세트를 이용하여 예측 파라미터들(P)의 세트를 조정하고, 조정된 예측 파라미터들에 기초하여 대응하는 TU를 처리하는 단계를 포함한다.
도 7a 및 도 7b는 도 6에 도시된 처리 단계들(615 및 625), 즉, "값 FPU-C 구하기(GET VALUE FPU-C)" 및 "값 FTU-C 구하기(GET VALUE FTU-C)"를 구현하기 위한 상이한 실시예들에 따라 디코딩 장치(121)에서 구현되는 처리 단계들을 예시하는 도면들을 도시한다. 실시예에서, 이러한 처리 단계들은 파라미터 조정 정보가 엔트로피 코딩되는지 또는 인코딩된 비디오 데이터(예를 들어, 인트라-예측 모드 인덱스, 움직임 벡터들, 및 레지듀들)에 은닉되는지에 따라 상이할 수 있다.
도 7a는 엔트로피 코딩된 값들, 즉, 엔트로피 코딩된 파라미터 조정 정보의 경우에 대해 디코딩 장치(121)의 실시예에서 구현되는 처리 단계들을 도시한다. 이 실시예에서, 엔트로피 코딩된 값 f, 즉, 엔트로피 코딩된 파라미터 조정 정보의 파싱은 인코딩 장치(101)에 의해 제공되는 비트스트림으로부터 수행될 수 있다(도 7a의 처리 단계(701)를 참조).
도 7b는 파라미터 조정 정보, 즉, 값 f가 호스트 신호 내에 은닉되는 경우에 대해 디코딩 장치(121)의 실시예에서 구현되는 처리 단계들을 도시한다. 처리 단계(711)에서, 일부 은닉 제약들(예를 들어, 비-제로 양자화된 변환 계수들의 수가 임계값보다 큰지 여부)이 체크될 수 있다. 그것들이 실현되면, 파라미터 조정 정보, 즉, 은닉된 값 f는 처리 단계(715)에서 호스트 신호에 체크 함수(예를 들어, 패리티 체크 함수)를 적용함으로써 검색된다. 그렇지 않으면, 처리 단계(713)에서 디폴트 값이 파라미터 조정 정보에 할당된다.
본 발명의 실시예들에 따르면, 각각의 계층적 레벨에서 인코딩될 비디오 데이터의 관련 신택스 엘리먼트들이 호스트 신호들로서 선택될 수 있다(예를 들어, PU-레벨에서, 인트라-예측 모드 인덱스 또는 움직임 벡터들뿐만 아니라, TU-레벨에서, 레지듀들, 즉, 비-제로 양자화된 변환 계수들)는 점에 유의해야 한다. 인코딩된 비디오 데이터 내에 파라미터 조정 정보를 은닉하기 위해 복수의 상이한 데이터 은닉 기법이 인코딩 장치(101)(뿐만 아니라 디코딩 장치(121))에서 구현될 수 있고, 이로써, 인코딩된 비디오 데이터 내의 파라미터 조정 정보의 포함에 의해 야기되는 임의의 신호 오버헤드를 감소시킬 수 있다. 인코딩된 비디오 데이터에 파라미터 조정 정보를 은닉하기 위한 본 발명의 실시예들에서 구현될 수 있는 데이터 은닉 기법들에 대한 더 상세한 사항들은, 예를 들어, [Vivienne Sze, Madhukar Budagavi, Gary J. Sullivan, "High Efficiency Video Coding (HEVC): Algorithms and Architectures," Springer, 2014, ISBN 978-3-319-06895-4]에서 찾아볼 수 있으며, 이는 본 명세서에 참조로 완전히 포함된다.
인코딩 장치(101) 및 디코딩 장치(121)에 대한 다음의 추가 실시예들은 3개의 상이한 인트라-예측 스킴, 즉, PDPC(Position Dependent Intra Prediction Combination), ARSS/RSAF(Adaptive Reference Sample Smoothing/Reference Sample Adaptive Filter) 및 DWDIP(Distance-Weighted Directional Intra-Prediction)의 맥락에서 설명될 것이다. 참조 샘플들을 평활화하기 전후의 참조 샘플들의 값들을 이용하여 인트라-예측기를 생성하는 기법을 참조하는 PDPC, 및 특수 은닉 플래그의 값을 이용하여 참조 샘플 평활화(reference sample smoothing)를 인에이블 또는 디스에이블하는 기법을 참조하는 ARSS/RSAF가 종래 기술로부터 알려져 있지만, 이하에서는 DWDIP가 간략하게 설명될 것이다.
일반적으로, DWDIP는 2개의 참조 픽셀 값의 거리 가중된 선형 조합(distance weighted linear combination)에 의해 현재 처리되는 비디오 코딩 블록(또는 그것의 서브-블록)의 픽셀의 픽셀 값을 인트라-예측하는 것을 수반한다. DWIDP에 관한 더 상세한 내용에 대해, 본 출원과 동일자로 출원된 본 출원의 발명자들에 의한 2개의 추가 특허 출원이 참조될 수 있다.
도 8은 실시예에 따른 인코딩 장치(101)에서 구현되는 인트라-예측 처리 스킴(800)을 도시하며, 여기서 PDPC와 ARSS/RSAF 둘 다가 인트라-예측 툴들로서 사용된다. 더욱 구체적으로, 레이트 왜곡 비용들은 인트라-예측 툴 플래그들 및 인덱스들의 상이한 조합들에 대해 계산되고(처리 단계들(801, 803, 805, 807 및 809)을 참조), 최소 레이트 왜곡 비용을 제공하는 PU-레벨 및 TU-레벨 플래그들 및 인덱스들의 조합이 선택된다(처리 단계(802)를 참조). 인트라-예측 프로세스는 PDPC 또는 ARSS/RSAF에 기초한다. 이러한 인트라-예측 프로세스(처리 단계들(805 및 809)에서 은닉됨)의 상세들은 도 9a 및 도 9b에 도시된 처리 스킴(900)에 의해 제공된다.
도 9a 및 도 9b는 실시예에 따른 인코딩 장치(101)에서 구현되는 처리 스킴(900)을 예시하는 도면들을 도시한다. 인트라-예측 모드 인덱스 IIPM 및 PDPC 플래그 m_PDPCIdx의 선택된 값들에 대해(처리 단계들(901 및 903)을 참조), 인트라-예측기, 즉, 예측된 블록은 레이트 왜곡 비용의 면에서 더 양호한 예측기를 제공하기 위해 TU-레벨 플래그(m_TU_Flag)가 0(도 9b에 도시된 처리 스킴(900)의 우측)으로 또는 1(도 9b에 도시된 처리 스킴(900)의 좌측)로 할당될 수 있다는 옵션을 고려하여 생성된다. 이 TU-레벨 플래그(m_TU_Flag)는 값 m_PDPCIdx가 취하는 것과 상이한 의미를 가질 수 있다. m_PDPCIdx==1이면, 비-DC 인트라 예측 모드들(처리 단계(931)에서 체크가 수행됨)에 대해, m_TU_Flag는 TU에 대한 PDPC 메커니즘을 스위치 온(m_TU_Flag==1) 또는 오프(m_TU_Flag==0)한다. m_PDPCIdx==0이면, m_TU_Flag는 TU에 대한 ARSS/RSAF 메커니즘을 스위치 온(m_TU_Flag==1) 또는 오프(m_TU_Flag==0)한다. 두 경우에 있어서, TU-레벨 플래그(m_TU_Flag), 즉, 파라미터 조정 정보를 인코딩된 비트스트림에 넣는 것 때문에 추가 시그널링 오버헤드에 의해 야기되는 RD-비용 증가를 초과할 수 있게 하는 더 정확한 예측기를 제공할 수 있는 더 유연한 예측 메커니즘으로 인한 추가적인 코딩 이득을 달성할 수 있다.
더욱 구체적으로, 처리 스킴(900)에 의해, 인코딩 장치는 PU에 속하는 TU들에 대해 반복하고(처리 단계들(907 및 933)), 예측된 신호들 각각에 대한 RD 비용을 계산하는 대응하는 처리 단계들(처리 단계들(913, 919, 941, 947))에서 적응적으로 할당되는 파라미터들에 대해 각각의 TU에 대한 예측 신호를 생성하고(처리 단계들(911, 917, 939, 945)), 계산된 RD 비용에 따라 최상의(즉, 최적의) 변형을 선택한다(처리 단계들(921, 949)). 최상의 변형들 각각은 처리 단계들(처리 단계들(909, 915, 937 또는 943)) 중 하나에 정의된 플래그들의 세트를 갖는다. 인코딩 장치(101)가 플래그들의 최상의 조합을 선택한 후에, 추가 PU-레벨 RD-최적화 프로세스에 대해 사용되는 전체 PU에 대해 RD 비용이 계산된다(처리 단계들(929, 935)).
이미 전술한 바와 같이, TU-레벨 플래그(m_TU_Flag)는 엔트로피 코딩되거나 또는, 예를 들어, TU 레지듀들에 은닉될 수 있다(처리 단계들(923, 925, 927) 및 처리 단계들(951, 953, 955)을 참조). 후자의 경우에, 이 플래그는 일부 은닉 조건들이 충족되면(예를 들어, 비-제로 양자화된 변환 계수들의 수 또는 마지막과 첫번째 비-제로 양자화된 변환 계수들 사이의 거리가 임계값보다 크다) 은닉될 수 있다. 그렇지 않으면, m_TU_Flag는 그의 디폴트 값, 즉, 0(m_TU_Flag==0)으로 설정된다.
도 10a 및 도 10b는 실시예에 따른 디코딩 장치(121)에서 구현되는 대응하는 처리 스킴(1000)을 예시하는 도면들을 도시하며, 여기서 PDPC와 ARSS/RSAF 둘 다는 인트라-예측 툴들로서 사용된다.
인트라-예측 모드 인덱스 IIPM 및 PDPC 플래그 m_PDPCIdx의 값들을 파싱한 후에(처리 단계들(1001 및 1003)을 참조), m_PDPCIdx의 값이 체크된다(처리 단계(1005)를 참조). m_PDPCIdx==1이면, 주어진 PU에 속하는 각각의 TU에 대해, PDPC 메커니즘을 TU에 적용할지 여부가 체크된다(처리 단계들(1007, 1009, 1011a, 1011b, 1013, 1015)로 이루어지는 처리 루프를 참조). 그렇지 않으면, 평면 또는 방향성 인트라-예측 모드(IIPM!=1)가 선택되는 경우(처리 단계(1017)를 참조), ARSS/RSAF 메커니즘은 PDPC를 대체한다(처리 단계들(1019, 1021, 1023a, 1023b, 1025, 1027)로 이루어지는 처리 루프를 참조). DC 인트라-예측 모드가 선택되면, 적응성 참조 샘플 평활화(ARSS/RSAF)가 스킵될 수 있다(처리 단계(1025)를 참조). 더욱이, 주어진 PU에 속하는 각각의 TU에 대해, 은닉 조건들("m_TU_Flag[i]이 은닉될 수 있는가?")이 실현되는지 여부가 체크될 것이다(처리 단계들(1009 및 1021)을 참조). 만약 충족되면, m_TU_Flag의 값을 검색하기 위해 체크 함수가 주어진 TU 내의 레지듀들에 적용된다(처리 단계들(1011a, 1023a)을 참조). 그렇지 않다면, m_TU_Flag의 값을 획득하기 위해 비트스트림이 파싱될 수 있다(처리 단계들(1011b, 1023b)을 참조). m_TU_Flag[i]==0이면, PDPC나 ARSS/RSAF도 i번째 TU에 적용되지 않는다(처리 단계들(1013 및 1025)을 참조). 그렇지 않으면, PDPC 및 ARSS/RSAF는 각각 m_PDPCIdx==1 및 m_PDPCIdx==0에 사용된다(처리 단계들(1015 및 1027)을 참조).
이하에서는, 인코딩 장치(101) 및 디코딩 장치(121)의 추가 실시예들이 설명될 것이고, 이는 또한 이미 위에서 언급한 DWDIP 기법을 이용한다.
도 11은 PDPC 기법, ARSS/RSAF 기법 및 DWDIP 기법을 이용하여 본 발명의 실시예들에 의해 예측되는 3개의 상이한 비디오 코딩 블록을 도시한다.
도 12는, DWDIP 기법을 이용하는, 실시예에 따른 인코딩 장치(101)에서 구현되는 처리 스킴을 예시하는 도면을 도시한다. 도 13은 실시예에 따른 디코딩 장치(121)에서 구현되는 대응하는 처리 스킴을 예시하는 도면을 도시한다.
PU-레벨에서, 인코딩 장치(101)는 DWDIP 처리가(처리 단계(1201)에서 결정된) 인트라 예측 모드에 대해 인에이블될 때(idw_dir_mode_PU_flag==1; 처리 단계(1215)를 참조) 또는 인에이블되지 않을 때(idw_dir_mode_PU_flag==0; 처리 단계(1203)를 참조) 2가지 경우를 체크한다. 두 경우에 대해, DWDIP이 온 및 오프인 경우(처리 단계들(1205, 1217)을 참조) RQT(Residual Quad-Tree; TU 레벨에서 분할)의 상이한 변형들에 대해 RD 비용이 계산된다(처리 단계들(1211, 1225)을 참조). 정의에 의해, DWDIP은 방향성 인트라-예측 모드들, 즉, IIPM > 1에만 적용가능하다는 점에 유의할 가치가 있다(처리 단계(1213)를 참조). 마지막으로, 최소 RD-비용을 제공하는 플래그 idw_dir_mode_PU_flag의 그러한 값이 선택된다(처리 단계(1227)를 참조). PU-레벨 RD 비용을 계산하는 처리 단계(1211)는 TU-레벨 RD 비용 계산의 결과들을 사용할 수 있다(처리 단계(1209)). 유사하게, 처리 단계(1225)는 처리 단계들(1223a 및 1223b)의 결과들을 사용할 수 있다. 4x4 TU들에 대해, DWDIP은 플래그 idw_dir_mode_PU_flag의 임의의 값에 대해 디스에이블될 수 있다(처리 단계들(1219, 1221b 및 1221a)을 참조).
실시예에 따른 디코딩 장치(121)에서 구현되는 도 13에 도시된 대응하는 스킴(1300)은 파싱될 동일한 제약들 및 신택스 엘리먼트들을 이용하고, 따라서, 도 13에 도시된 처리 스킴(1300)의 처리 단계들은 위에서 설명된 처리 스킴(1200)의 처리 단계들과 동등하다.
도 14는, DWDIP 기법뿐만 아니라 PDPC 기법을 이용하는, 실시예에 따른 디코딩 장치(121)에서 구현되는 처리 스킴(1400)을 예시하는 도면을 도시한다. 도 14에 도시된 처리 스킴(1400)은 m_PDPCIdx를 사용함으로써 온 또는 오프일 수 있는 PDPC 기법을 포함한다는 점에서 단지 도 13에 도시된 처리 스킴(1300)과 상이하다(처리 단계(1405)를 참조). 도 14에 도시된 처리 스킴(1400)의 다른 처리 단계들이 도 13에 도시된 처리 스킴(1300)의 대응하는 처리 단계들과 동일하기 때문에, 도 12 및 도 13에 도시된 처리 스킴들(1200 및 1300)의 처리 단계들에 대한 위의 설명을 참조한다.
도 15는 실시예에 따른 디코딩 장치(121)에서 구현되는 처리 스킴(1500)을 예시하는 도면을 도시하며, 이는 PDPC 기법뿐만 아니라 DWDIP 기법을 이용하고 TU 레벨에서 DWDIP 기법을 디스에이블하는 것을 허용한다. 도 15에 도시된 처리 스킴(1500)은 TU 레벨에서 DWDIP 처리를 인에이블하는 것(m_puhIntraFiltFlag[i]==1) 및 디스에이블하는 것(m_puhIntraFiltFlag[i]==0)을 허용하는 플래그 m_puhIntraFiltFlag를 추가한다(처리 단계(1515)를 참조)는 점에서만 도 14에 도시된 처리 스킴(1400)과 상이하다. 도 15에 도시된 처리 스킴(1500)의 다른 처리 단계들은 도 13 및 도 14에 도시된 처리 스킴들(1300, 1400)의 대응하는 처리 단계들과 동일하기 때문에, 도 12 및 도 13에 도시된 처리 스킴들(1200 및 1300)의 처리 단계들에 대한 위의 설명을 참조한다.
도 16은 본 발명의 실시예들에서 구현되는 양태들을 예시하는 예시적인 비디오 코딩 블록의 개략도를 도시한다. 도 16에 예시된 바와 같이, 실시예에 따른 인코딩 장치(101) 및/또는 디코딩 장치(121)에 의해 사용되는 파라미터 조정 정보는 또한 현재 처리되는 비디오 코딩 블록 내의 서브-블록의 위치에 관한 정보를 포함할 수 있다. 각도 인트라-예측(angular intra-prediction)의 경우에, 특정 위치들은 서브-블록으로부터 현재 처리되는 비디오 코딩 블록의 참조 샘플들, 예를 들어, 이웃 비디오 코딩 블록의 이미 예측된 참조 샘플들까지의 최소 거리에 의해 결정될 수 있다. 이 최소 거리는 각도 인트라-예측 모드에 의해 특정된 방향으로 계산될 수 있고, 블록의 크기에 의존하는 미리 정의된 임계치와 비교될 수 있다. 서브-블록에 대한 예측 파라미터(들)의 조정을 수행할지에 대한 결정은 미리 정의된 임계치와의 비교의 결과에 따라 취해질 수 있다.
본 발명의 실시예들은 상이한 레벨들에서 선택된 예측기에 대한 상이한 결정들을 시그널링하기 위해 계층적 구조를 활용함으로써 예측기 또는 예측 블록을 조정하는 것을 허용한다. 본 발명의 실시예들에 따르면, 하위 레벨들에 대해 행해진 결정들은 상위 레벨들에 대해 행해진 결정들을 무효화할 수 있다. 그러나, 본 발명의 실시예들에 따르면, 하위 계층 레벨에서 정보를 시그널링하는 것은, 하위 레벨에서의 시그널링이 불가능한 경우(예를 들어, 비-제로 양자화된 변환 계수들의 수가 레지듀들에서의 은닉을 수행하기에 충분하지 않은 경우) 또는 금지되는 경우(예를 들어, 엔트로피 코딩된 정보는 시그널링 오버헤드를 최소화하기 위해 4x4 TU들과 같은 작은 블록들에 대해 디스에이블될 수 있음) 더 높은 레버에서 사용되는 값으로 디폴트로 될 수 있다.
상이한 계층적 레벨들에서 코딩된 예측 파라미터를 표현하는 상이한 기법들이 본 발명의 실시예들에서 구현될 수 있으며, 이는 예측 관련 신택스 엘리먼트들(그러한 인트라-예측 모드 인덱스들 또는 움직임 벡터 차이들)과 레지듀들 둘 다에 포함된 중복성에 따라 엔트로피 코딩 또는 데이터 은닉 사이에서 유연하게 선택함으로써 시그널링 오버헤드의 최소화를 허용한다. 데이터 은닉을 수행하기에 충분한 중복성이 예측-관련 신택스 엘리먼트들에서 검출되는 경우, 동일한 계층 레벨에서 코딩될 예측 파라미터가 그것들 내에 은닉될 수 있다. 그렇지 않으면, 엔트로피 코딩이 시그널링을 위해 사용될 수 있다. 유사한 접근법이 레지듀들에서의 데이터 은닉에 적용될 수 있다: 중복성이 거기에서 검출되는 경우, 데이터 은닉이 사용될 수 있다. 그렇지 않으면, 엔트로피 코딩은 TU 레벨에서 시그널링을 위해 사용될 수 있다.
본 개시내용의 특정 특징 또는 양태가 몇몇 구현들 또는 실시예들 중 하나만을 참조하여 개시되었을 수 있지만, 그러한 특징 또는 양태는, 임의의 주어진 또는 특정 애플리케이션을 위해 요망되고 유리할 수 있는 바와 같이 다른 구현들 또는 실시예들의 하나 이상의 추가 특징 또는 양태와 조합될 수 있다. 또한, 용어들 "포함하다(include)", "갖다(have)", "함께(with)", 또는 그의 다른 변형들이 상세한 설명 또는 청구항들 중 어느 하나에서 사용되는 범위까지, 그러한 용어들은 용어 "포함하다(comprise)"와 유사한 방식으로 포괄적인 것으로 의도된다. 또한, 용어들 "예시적인", "예를 들어"는 최선 또는 최적이라기보다 오히려, 단지 예로서 의미된다. 용어들 "결합된(coupled)" 및 "접속된(connected)"이 그 파생어들과 함께 사용되었을 수 있다. 이러한 용어들은 그것들이 직접적인 물리적 또는 전기적 접촉하고 있는지 또는 그것들이 서로 직접 접촉하고 있지 않은지에 관계없이 2개의 엘리먼트가 서로 협력하거나 상호 작용하는 것을 나타내기 위해 사용되었을 수 있다는 점에 이해해야 한다.
본 명세서에서 특정 양태들이 예시 및 설명되었지만, 본 개시내용의 범위로부터 벗어남이 없이 도시 및 설명된 특정 양태들에 대해 다양한 대안 및/또는 동등 구현들이 대체될 수 있다는 점이 이해될 것이다. 본 출원은 본 명세서에서 논의되는 특정 양태들의 임의의 적응들 또는 변형들을 커버하도록 의도된다.
다음의 청구항들에서의 엘리먼트들은 대응하는 라벨링에 의해 특정 시퀀스로 열거되지만, 청구항 열거들이 이들 엘리먼트들의 일부 또는 전부를 구현하기 위한 특정 시퀀스를 달리 암시하지 않는 한, 이들 엘리먼트들은 반드시 그 특정 시퀀스로 구현되는 것으로 제한되도록 의도된 것은 아니다.
상기의 교시들에 비추어 많은 대안들, 수정들, 및 변형들이 본 기술분야의 통상의 기술자에게 명백할 것이다. 물론, 본 기술분야의 통상의 기술자는 본 명세서에서 설명되는 것들 이상으로 본 발명의 수많은 애플리케이션들이 있다는 것을 용이하게 인식한다. 본 발명은 하나 이상의 특정 실시예를 참조하여 설명되었지만, 본 기술분야의 통상의 기술자는 본 발명의 범위로부터 벗어남이 없이 많은 변경들이 이루어질 수 있다는 것을 인식한다. 그에 따라, 첨부된 청구항들 및 그 등가물들의 범위 내에서, 본 발명은 본 명세서에서 구체적으로 설명된 것과는 다르게 실시될 수 있다는 점이 이해되어야 한다.

Claims (15)

  1. 인코딩된 비디오 데이터를 디코딩하기 위한 장치(121)로서, 상기 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할되고, 상기 현재 비디오 코딩 블록은 복수의 서브-블록을 포함하고, 상기 장치(121)는:
    상기 현재 비디오 코딩 블록과 연관된 잔차 비디오 코딩 블록(residual video coding block)을 제공하기 위해 상기 인코딩된 비디오 데이터를 디코딩하고 상기 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하도록 구성되는 디코딩 유닛(123);
    상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 상기 현재 비디오 코딩 블록에 대해 예측된 비디오 코딩 블록을 생성하도록 구성되는 예측 유닛(125) - 상기 예측 유닛(125)은 상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 상기 파라미터 조정 정보에 기초하여 상기 현재 비디오 코딩 블록에 대해 정의된 예측 파라미터를 조정하고, 조정된 예측 파라미터에 기초하여 상기 예측된 서브-블록을 생성하도록 추가로 구성됨 - ; 및
    상기 잔차 비디오 코딩 블록 및 상기 예측된 비디오 코딩 블록에 기초하여 상기 현재 비디오 코딩 블록을 복원하도록 구성되는 복원 유닛(127)
    을 포함하는 디코딩 장치(121).
  2. 제1항에 있어서, 상기 예측 유닛(125)은 상기 예측된 비디오 코딩 블록을 생성하기 위해 인트라 예측(intra prediction) 또는 인터 예측(inter prediction), 또는 인트라 예측과 인터 예측 둘 다를 수행하도록 구성되는 디코딩 장치(121).
  3. 제1항 또는 제2항에 있어서, 상기 인코딩된 비디오 데이터는 엔트로피 인코딩되고(entropy encoded), 상기 디코딩 유닛(123)은 상기 인코딩된 비디오 데이터를 디코딩함으로써 상기 인코딩된 비디오 데이터로부터 상기 파라미터 조정 정보를 추출하도록 구성되는 디코딩 장치(121).
  4. 제1항 또는 제2항에 있어서, 상기 파라미터 조정 정보는 데이터 은닉 기법(data hiding technique)에 기초하여 상기 인코딩된 비디오 데이터에 은닉되고, 상기 디코딩 유닛(123)은 상기 인코딩된 비디오 데이터에 체크 함수, 특히, 패리티 체크 함수(parity check function)를 적용함으로써 상기 인코딩된 비디오 데이터로부터 상기 파라미터 조정 정보를 추출하도록 구성되는 디코딩 장치(121).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 예측 파라미터는 제1 상태 및 제2 상태를 정의하는 예측 플래그이고, 상기 예측 유닛(125)은 상기 파라미터 조정 정보에 기초하여 상기 예측 플래그의 상태를 조정하도록 구성되는 디코딩 장치(121).
  6. 제5항에 있어서, 상기 예측 파라미터는 인트라-예측 모드를 정의하는 디코딩 장치(121).
  7. 인코딩된 비디오 데이터를 디코딩하는 방법(200)으로서, 상기 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할되고, 상기 현재 비디오 코딩 블록은 복수의 서브-블록을 포함하고, 상기 디코딩 방법(200)은:
    상기 현재 비디오 코딩 블록과 연관된 잔차 비디오 코딩 블록을 제공하기 위해 상기 인코딩된 비디오 데이터를 디코딩하고 상기 인코딩된 비디오 데이터로부터 파라미터 조정 정보를 추출하는 단계(201);
    상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 상기 현재 비디오 코딩 블록에 대해 예측된 비디오 코딩 블록을 생성하는 단계(203) - 상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 상기 파라미터 조정 정보에 기초하여 상기 현재 비디오 코딩 블록에 대해 정의된 예측 파라미터를 조정하는 단계 및 조정된 예측 파라미터에 기초하여 상기 예측된 서브-블록을 생성하는 단계를 포함함 - ; 및
    상기 잔차 비디오 코딩 블록 및 상기 예측된 비디오 코딩 블록에 기초하여 상기 현재 비디오 코딩 블록을 복원하는 단계(205)
    를 포함하는 디코딩 방법(200).
  8. 비디오 데이터를 인코딩하기 위한 장치(101)로서, 상기 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할가능하고, 상기 현재 비디오 코딩 블록은 복수의 서브-블록을 포함하고, 상기 장치(101)는:
    상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 상기 현재 비디오 코딩 블록에 대해 예측 파라미터에 기초하여 예측된 비디오 코딩 블록을 생성하도록 구성되는 예측 유닛(105) - 상기 예측 유닛(101)은 상기 예측된 서브-블록이 조정된 예측 파라미터에 기초하여 생성되는 상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보를 생성하도록 추가로 구성됨 - ; 및
    인코딩된 비디오 데이터를 생성하도록 구성되는 인코딩 유닛(103) - 상기 인코딩된 비디오 데이터는 상기 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 포함하고, 상기 인코딩된 비디오 데이터는 상기 파라미터 조정 정보를 포함함 -
    을 포함하는 인코딩 장치(101).
  9. 제8항에 있어서, 상기 예측 유닛(105)은 상기 현재 비디오 코딩 블록에 기초하여 상기 예측된 비디오 코딩 블록을 생성하기 위해 인트라 예측 및/또는 인터 예측을 수행하도록 구성되는 인코딩 장치(101).
  10. 제8항 또는 제9항에 있어서, 상기 예측 유닛(105)은 조정된 예측 파라미터에 기초하여 상기 예측된 서브-블록을 생성할지를 레이트 왜곡 기준(rate distortion criterion)에 기초하여 상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 결정하도록 추가로 구성되는 인코딩 장치(101).
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 인코딩 유닛(103)은 상기 인코딩된 비디오 데이터에 엔트로피 인코딩된 파라미터 조정 정보로서 상기 파라미터 조정 정보를 포함하도록 구성되는 인코딩 장치(101).
  12. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 인코딩 유닛(103)은 데이터 은닉 기법에 기초하여 상기 인코딩된 비디오 데이터에 상기 파라미터 조정 정보를 포함하도록 구성되는 인코딩 장치(101).
  13. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 인코딩 유닛(103)은 데이터 은닉 기법에 기초하여 상기 인코딩된 비디오 데이터에 상기 파라미터 조정 정보를 포함하거나, 또는 상기 현재 비디오 코딩 블록과 상기 예측된 비디오 코딩 블록 사이의 차이와 연관된 중복성 척도(redundancy measure)의 값에 따라 상기 인코딩된 비디오 데이터에 엔트로피 인코딩된 파라미터 조정 정보로서 상기 파라미터 조정 정보를 포함하도록 구성되는 인코딩 장치(101).
  14. 비디오 데이터를 인코딩하기 위한 방법(300)으로서, 상기 인코딩된 비디오 데이터는 복수의 프레임을 포함하고, 각각의 프레임은 현재 비디오 코딩 블록을 포함하는 복수의 비디오 코딩 블록으로 분할가능하고, 상기 현재 비디오 코딩 블록은 복수의 서브-블록을 포함하고, 상기 방법(300)은:
    상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 예측된 서브-블록을 생성함으로써 상기 현재 비디오 코딩 블록에 대해 예측 파라미터에 기초하여 예측된 비디오 코딩 블록을 생성하는 단계(301) - 조정된 예측 파라미터에 기초하여 상기 예측된 서브-블록이 생성되는 상기 현재 비디오 코딩 블록의 각각의 서브-블록에 대해 파라미터 조정 정보를 생성하는 단계를 포함함 - ; 및
    인코딩된 비디오 데이터를 생성하는 단계(303) - 상기 인코딩된 비디오 데이터는 상기 예측된 비디오 코딩 블록에 기초하여 인코딩된 비디오 코딩 블록을 포함하고, 상기 인코딩된 비디오 데이터는 상기 파라미터 조정 정보를 포함함 -
    를 포함하는 방법(300).
  15. 컴퓨터 상에서 실행될 때 제7항의 방법(200) 또는 제14항의 방법(300)을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.
KR1020197013192A 2016-10-14 2016-10-14 비디오 코딩을 위한 디바이스들 및 방법들 KR102293097B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2016/000704 WO2018070897A1 (en) 2016-10-14 2016-10-14 Devices and methods for video coding

Publications (2)

Publication Number Publication Date
KR20190058631A true KR20190058631A (ko) 2019-05-29
KR102293097B1 KR102293097B1 (ko) 2021-08-25

Family

ID=57589118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197013192A KR102293097B1 (ko) 2016-10-14 2016-10-14 비디오 코딩을 위한 디바이스들 및 방법들

Country Status (5)

Country Link
US (1) US20190238843A1 (ko)
EP (1) EP3516871A1 (ko)
KR (1) KR102293097B1 (ko)
CN (1) CN109644273B (ko)
WO (1) WO2018070897A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060847A1 (ko) * 2019-09-25 2021-04-01 엘지전자 주식회사 컬러 포맷에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111937389B (zh) 2018-03-29 2022-01-14 华为技术有限公司 用于视频编解码的设备和方法
KR20200133327A (ko) * 2018-04-12 2020-11-27 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
MX2021003325A (es) * 2018-09-21 2021-05-14 Guangdong Oppo Mobile Telecommunications Corp Ltd Metodo de codificacion/decodificacion de se?ales de imagen y dispositivo para lo mismo.
CN113347436B (zh) * 2019-06-21 2022-03-08 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
US11076167B2 (en) * 2019-06-24 2021-07-27 FG Innovation Company Limited Device and method for coding video data
WO2021091260A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 크로마 양자화 파라미터 오프셋 정보 기반 영상 또는 비디오 코딩
US20210368170A1 (en) * 2020-05-21 2021-11-25 Alibaba Group Holding Limited High level control of pdpc and intra reference sample filtering of video coding
TWI743919B (zh) * 2020-08-03 2021-10-21 緯創資通股份有限公司 視訊處理裝置及視訊串流的處理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152757A1 (en) * 2014-04-01 2015-10-08 Huawei Technologies Co., Ltd Methods and apparatus for data hiding in multi-layer structured coding units
JP2016506684A (ja) * 2012-12-28 2016-03-03 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビット深度スケーラブルビデオコーディングのためのサンプル適応調整を使用するレイヤ間予測

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313498B2 (en) * 2012-04-16 2016-04-12 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016506684A (ja) * 2012-12-28 2016-03-03 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビット深度スケーラブルビデオコーディングのためのサンプル適応調整を使用するレイヤ間予測
WO2015152757A1 (en) * 2014-04-01 2015-10-08 Huawei Technologies Co., Ltd Methods and apparatus for data hiding in multi-layer structured coding units

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060847A1 (ko) * 2019-09-25 2021-04-01 엘지전자 주식회사 컬러 포맷에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11546583B2 (en) 2019-09-25 2023-01-03 Lg Electronics Inc. Image encoding/decoding method and device for determining division mode on basis of color format, and method for transmitting bitstream
US11997261B2 (en) 2019-09-25 2024-05-28 Lg Electronics Inc. Image encoding/decoding method and device for determining division mode on basis of color format, and method for transmitting bitstream

Also Published As

Publication number Publication date
EP3516871A1 (en) 2019-07-31
WO2018070897A1 (en) 2018-04-19
KR102293097B1 (ko) 2021-08-25
CN109644273A (zh) 2019-04-16
CN109644273B (zh) 2021-04-09
US20190238843A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
KR102293097B1 (ko) 비디오 코딩을 위한 디바이스들 및 방법들
KR102634837B1 (ko) 지향성 인트라 예측 모드의 세트 내에서 확장 지향성 인트라 예측 모드를 시그널링하는 인코딩 장치
CN107836117B (zh) 一种块分割的方法及装置
KR102574714B1 (ko) 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
KR102369117B1 (ko) 비대칭 구획을 갖는 인트라 블록 카피 예측 및 인코더측 검색 패턴, 검색 범위 및 구획화 접근법
CN108632626B (zh) 推导参考预测模式值的方法
US11871005B2 (en) Methods and apparatus for intra coding a block having pixels assigned to groups
KR102227411B1 (ko) 거리 가중 양지향성 인트라 예측
US20120128070A1 (en) Video Encoding Method for Encoding Division Block, Video Decoding Method for Decoding Division Block, and Recording Medium for Implementing the Same
WO2018102782A1 (en) Indication of bilateral filter usage in video coding
KR102352058B1 (ko) 비디오 코딩을 위한 디바이스들 및 방법들
KR102371266B1 (ko) 미리 결정된 방향성 인트라 예측 모드들의 세트로부터 방향성 인트라 예측 모드를 제거하기 위한 인트라 예측 장치
WO2020139903A1 (en) Video coding with triangular shape prediction units
CN113132739B (zh) 边界强度确定、编解码方法、装置及其设备
US9826229B2 (en) Scan pattern determination from base layer pixel information for scalable extension
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
US11233991B2 (en) Devices and methods for intra prediction in video coding
KR20130070195A (ko) 문맥 기반의 샘플 적응적 오프셋 필터 방향 추론 및 적응적 선택에 대한 비디오 방법 및 장치
KR20130070215A (ko) 적응적 깊이 정보 선택 및 수행에 대한 디블록킹 필터링 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant