KR101677406B1 - 차세대 비디오용 비디오 코덱 아키텍처 - Google Patents

차세대 비디오용 비디오 코덱 아키텍처 Download PDF

Info

Publication number
KR101677406B1
KR101677406B1 KR1020157009522A KR20157009522A KR101677406B1 KR 101677406 B1 KR101677406 B1 KR 101677406B1 KR 1020157009522 A KR1020157009522 A KR 1020157009522A KR 20157009522 A KR20157009522 A KR 20157009522A KR 101677406 B1 KR101677406 B1 KR 101677406B1
Authority
KR
South Korea
Prior art keywords
partition
prediction
coding
filtering
decoded
Prior art date
Application number
KR1020157009522A
Other languages
English (en)
Other versions
KR20150056610A (ko
Inventor
아툴 푸리
닐레쉬 엔 고칼
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150056610A publication Critical patent/KR20150056610A/ko
Application granted granted Critical
Publication of KR101677406B1 publication Critical patent/KR101677406B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

차세대 비디오(NGV) 코딩의 예측 및 코딩을 위한 콘텐츠 적응적 분할에 관련되는 시스템, 장치 및 방법이 기술된다. NGV 코딩은 더 높은 압축을 성취하기 위해 의미 있는 콘텐츠-기반 적응성을 당연히 비디오 코딩 프로세서에 포함시킴으로써 표준-기반의 접근 방법과 다르다. 한편, NGV는 전형적인 비디오 장면에 자연적으로 존재하는 움직임 및 다른 타입의 인터프레임 차(이득, 블러, 레지스트레이션)으로 인한 인터프레임 차를 이용한다.

Description

차세대 비디오용 비디오 코덱 아키텍처{VIDEO CODEC ARCHITECTURE FOR NEXT GENERATION VIDEO}
<관련 출원>
본 출원은 2012년 11월 13일에 출원된 "CONTENT ADAPTIVE VIDEO CODER"라는 명칭의 미국 가출원 제61/725,576호 및 2013년 1월 30일에 출원된 "NEXT GENERATION VIDEO CODING"이라는 명칭의 미국 가출원 제61/758,314호의 이득을 주장한다.
비디오 인코더는 비디오 정보를 압축하여 더 많은 정보가 주어진 대역폭을 통해 송신될 수 있도록 한다. 압축 신호는 디코더를 갖는 수신기로 전송되어, 디스플레이에 앞서 신호를 디코딩하거나 압축을 해제할 수 있다.
고효율 비디오 코딩(HEVC)은 최근의 비디오 압축 표준이며, ISO/IEC 동영상 전문가 그룹(Moving Picture Expert Group, MPEG)과 ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group, VCEG)에 의해 형성된 JCT-VC(Joint Collaborative Team on Video Coding)에 의해서 개발되고 있다. HEVC는 진화하는 더 높은 해상도 비디오 애플리케이션을 위한 충분한 압축을 제공하지 못하는 이전의 H.264/AVC(Advanced Video Coding)에 대응하여 개발되고 있다. 이전의 비디오 코딩 표준과 유사하게, HEVC는 인트라/인터 예측(intra/inter prediction), 변환, 양자화, 인-루프 필터링 및 엔트로피 코딩과 같은 기본적인 기능적 모듈을 포함한다.
진행중인 HEVC 표준은 허용된 예측 파티션과 코딩 파티션의 제한된 선택권, 제한적으로 허용되는 복수의 참조와 예측 생성, 제한된 변환 블록 크기 및 실제 변환, 코딩 아트팩트(artfact)를 줄이기 위한 제한된 메커니즘, 그리고 비효율적인 엔트로피 인코딩 기술과 같은 H.264/AVC 표준의 한계를 개선하려고 할 수 있다. 그러나, 진행중인 HEVC 표준은 이러한 문제를 해결하기 위한 반복적인 접근방법을 사용할 수 있다.
예를 들면, 압축될 비디오의 해상도 및 높은 비디오 품질의 기대가 상시 증가함에 따라, H.264와 같은 기존의 비디오 코딩 표준이나 심지어는 H.264/AVC과 같은 진화하는 표준을 이용하여 코딩하는데 필요한 대응하는 비트율/대역폭은 상대적으로 높다. 전술한 표준들은 불충분한 압축/품질 문제에 묵시적으로 대처하는 전통적인 접근 방법의 확장된 형태를 이용한다.
차세대 비디오(Next Generation Video (NGV)) 코덱 프로젝트의 맥락 내에서 전개되는 본 개시는 장치에서 구현하기에 충분히 실용적인 면을 유지하면서 성취 가능한 압축 효율을 극대화하는 진보된 비디오 코덱을 설계하는 일반적인 과제에 대처한다. 예를 들면, 양호한 디스플레이를 이용할 수 있음으로 인해 비디오의 해상도 및 높은 비디오 품질의 기대가 상시 증가함에 따라서, 초기 MPEG 표준과 심지어 조금 더 최근의 H.264/AVC 표준과 같은 기존의 비디오 코딩 표준을 이용하는데 필요한 대응하는 비트율/대역폭은 상대적으로 높다. H.264/AVC은 진화하는 고해상도 비디오 응용에 충분히 높은 압축을 제공하리라 인지되지 않았다.
본 개시에서 기술되는 자료는 예시의 방식으로 도시되고 첨부하는 도면에 한정되는는 방식으로 도시되지 않는다. 도시의 단순함과 명확함을 위하여, 도면에 도시되는 구성요소는 필수적으로 크기 조정되어 도시되지는 않는다. 예를 들면, 어떤 구성요소의 크기는 명확함을 위하여 다른 구성요소와 관련하여 확대될 수 있다. 또한, 적절하다고 여겨지는 곳에서, 대응하거나 유사한 구성요소를 나타내도록 참조 라벨이 도면 간에 반복된다.
도 1a는 일예의 차세대 비디오 인코더의 예시적인 다이어그램이다.
도 1b는 일 예의 차세대 비디오 인코더의 예시적인 다이어그램이다.
도 2는 일 예의 차세대 비디오 디코더의 예시적인 다이어그램이다.
도 3은 일 예의 차세대 비디오 인코더 및 관련 제어 신호의 예시적인 다이어그램이다.
도 4는 일 예의 차세대 비디오 디코더 및 관련 제어 신호의 예시적인 다이어그램이다.
도 5a는 일 예의 차세대 비디오 인코더 및 서브시스템의 예시적인 다이어그램이다.
도 5b는 일 예의 차세대 비디오 디코더 및 서브시스템의 예시적인 다이어그램이다.
도 6은 일 예의 차세대 비디오 코더 및 서브시스템의 예시적인 다이어그램이다.
도 7은 일 예의 차세대 비디오 코더 및 서브시스템의 예시적인 다이어그램이다.
도 8은 예측 분할을 위한 일 예의 타일 및 수퍼-프래그먼트를 가진 일 예의 디코더 프레임을 도시한다.
도 9는 일 예의 비디오 프레임의 타일의 로우의 일 예의 수퍼-프래그먼트를 도시한다.
도 10은 비디오 프레임의 일 예의 영역 계층 세그멘테이션을 도시한다.
도 11a 및 도 11b는 영역 계층으로 분절된 일 예의 비디오 프레임 및 되고 수퍼-프래그먼트로 분할된 타일을 도시한다.
도 12a 및 도 12b는 일 예의 인코더 서브시스템의 예시적인 다이어그램이다.
도 13은 일 예의 디코더 서브시스템의 예시적인 다이어그램이다.
도 14는 수정된 예측 참조 픽처의 예시적인 다이어그램이다.
도 15는 일 예의 인코더 서브시스템의 예시적인 다이어그램이다.
도 16은 일 예의 디코더 서브시스템의 예시적인 다이어그램이다.
도 17은 일 예의 인코더 필터 서브시스템의 예시적인 다이어그램이다.
도 18은 일 예의 인코더 필터 서브시스템의 예시적인 다이어그램이다.
도 19는 이진-트리 분할 기술(a bi-tree partitioning technique)을 이용한 분할의 예를 도시한다.
도 20은 k-d 트리 분할 기술을 이용하여 분할하는 예를 도시한다.
도 21은 일 예의 인코더 필터 서브시스템의 예시적인 다이어그램이다.
도 22는 일 예의 디코더 필터 서브시스템의 예시적인 다이어그램이다.
도 23은 일 예의 인코더 필터 서브시스템의 예시적인 다이어그램이다.
도 24는 일 예의 디코더 필터 서브시스템의 예시적인 다이어그램이다.
도 25는 일 예의 엔트로피 인코더 모듈의 예시적인 다이어그램이다.
도 26은 일 예의 엔트로피 디코더 모듈의 예시적인 다이어그램이다.
도 27은 일 예의 인코딩 프로세스를 예시하는 흐름도이다.
도 28은 일 예의 비트스트림을 도시한다.
도 29는 일 예의 디코딩 프로세스를 예시하는 흐름도이다.
도 30a 및 도 30b 및 도 30c는 일 예의 비디오 코딩 시스템 및 동작 시 비디오 코딩 프로세스의 예시적인 다이어그램이다.
도 31은 일 예의 비디오 코딩 시스템의 예시적인 다이어그램이다.
도 32는 일 예의 시스템의 예시적인 다이어그램이다.
도 33은 본 개시의 적어도 일부 구현예에 따라서 전체적으로 배열된 일 예의 장치를 도시한다.
하나 이상의 실시예 또는 구현예가 첨부되는 도면을 참조하여 지금 설명된다. 특정 구성과 배열이 논의되지만, 이는 오직 설명의 목적이라는 것이 이해되어야 한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 다른 구성과 배열이 본 상세한 설명의 정신과 영역으로부터 벗어나지 않고 채택될 수 있다는 것을 이해할 것이다. 본 개시에서 기술되는 기술 및/또는 구성은 또한 본 개시에서 설명되는 것 이외의 다양한 다른 시스템과 응용에 채택될 수 있다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다.
다음의 상세한 설명은, 예를 들면, 시스템온칩(SoC) 아키텍처와 같은 아키텍처에 나타날 수 있는 다양한 구현을 제시하지만, 그러나 본 개시에서 설명되는 기술 및/또는 배열의 구현은 특정 아키텍처 및/또는 컴퓨팅 시스템에 한정되지 않으며, 또한 유사한 목적으로 어떠한 아키텍처 및/또는 컴퓨팅 시스템에 의해서도 구현될 수 있다. 즉, 예를 들면, 복수의 집적회로(IC) 칩 및/또는 패키지 및/또는 다양한 컴퓨팅 장치 및/또는 세톱 박스, 스마트폰 등과 같은 소비자 전자(CE) 장치를 사용하는 다양한 아키텍처는 본 개시에서 기술되는 기술 및/또는 배열을 구현할 수 있다. 또한, 다음의 설명은 로직 구현, 시스템 컴포넌트의 타입과 상호관계, 로직 분할/통합 선택권 등과 같은 많은 특정 세부사항을 제시하는 한편, 청구되는 주요 재료는 이러한 특정 세부사항 없이 실현될 수 있다. 다른 예로서, 예를 들면, 제어 구조 및 완전 소프트웨어 명령 시퀀스와 같은 어떤 재료는 여기 개시되는 재료를 모호하게 하지 않기 위하여 상세하게 보이지 않을 수 있다.
본 개시에서 설명되는 재료는 하드웨어, 펌웨어, 소프트웨어, 또는 그들의 어떤 조합에 의하여 구현될 수 있다. 여기 개시되는 재료는 또한, 하나 이상의 프로세서에 의해서 읽혀지고 실행되는, 머신-판독 가능한 매체에 저장되는 명령으로서 구현될 수 있다. 머신-판독 가능한 매체는 머신(예를 들면, 컴퓨팅 장치)에 의해 판독가능한 형식으로 정보를 저장하거나 전송하는 어떤 매체 및/또는 메카니즘을 포함할 수 있다. 예를 들면, 머신-판독가능한 매체는 읽기 전용 메모리(ROM), 랜덤 접근 메모리(RAM), 마그네틱 디스크 저장 미디어, 광 저장 매체, 플래시 메모리 장치, 전자, 광, 음향 또는 그 밖의 형식의 전파되는 신호(반송파, 적외선 신호, 디지털 신호 등) 등을 포함할 수 있다.
"하나의 구현예", "일 구현예", "일 예의 구현예" 등에 대한 명세서 내의 참조는 기술되는 구현이 특정 특징, 구조, 또는 특성을 포함하지만, 그러나 모든 실시예가 반드시 상기 특정 특징, 구조, 또는 특성을 포함할 필요는 없다는 것을 지시한다. 더욱이, 그러한 구문은 반드시 동일한 구현예를 참조하지는 않는다. 또한, 특정 특징, 구조, 또는 특성이 일 실시예와 연관되어 설명될 때, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자의 지식 내에서, 본 개시에서 명시적으로 기술되던 아니던 간에 다른 구현예와 연관된 그러한 특징, 구조 또는 특성을 발휘하도록 제시된다.
시스템, 장치, 물건, 방법이 비디오 코딩을 위한 콘텐츠 적응적 변환에 관련되어 이하 설명된다.
예측을 위한 콘텐츠 적응적 분할 및 차세대 비디오 코딩을 위한 코딩과 관련한 시스템, 장치, 물품 및 방법이 아래에서 기술된다.
앞에서 논의된 바와 같이, 양호한 디스플레이를 이용할 수 있음으로 인해 비디오의 해상도 및 높은 비디오 품질의 기대가 상시 증가함에 따라서, 초기 MPEG 표준과 심지어 조금 더 최근의 H.264/AVC 표준과 같은 기존의 비디오 코딩 표준을 이용하는데 필요한 대응하는 비트율/대역폭은 상대적으로 높다. 사실상, H.264/AVC이 진화하는 고해상도 비디오 응용에 충분히 높은 압축을 제공하리라 인지되지 않았으므로 새로운 표준(HEVC)의 개발이 필요한 것으로 생각되었다.
H.264/AVC 코딩 표준은 이것이 과거의 MPEG 표준보다 나은 개선을 보이지만, 여전히 아주 제한적이다. 예를 들면, 진행중인 HEVC 표준은 아래와 같은 제한, 즉, 1) 허용된 예측 파티션과 코딩 파티션의 선택권이 매우 제한되고, 2) 허용된 복수의 참조 및 예측 생성이 매우 제한되고, 3) 변환 블록 크기 및 실제 이용 가능한 변환이 매우 제한되고, 4) 코딩 아트팩트를 줄이기 위한(단 블록화 제거를 위한) 메커니즘이 매우 제한되고, 5) 오버헤드 데이터(모드, 움직임 벡터 등)의 엔트로피 코딩 기술이 효과적이지 않다는 제한을 가지고 있다. H.264/AVC과 같은 최신 표준의 전술한 제한은 이렇게 고정적인 제한에 대해 반복적인 접근 방법을 이용하는 HEVC의 진행 중인 작업에 의해 인식되고 있다.
아래에서 더 상세하게 논의되는 바와 같이, 본 개시는 장치에서 구현하기에 충분히 실용적인 면을 유지하면서 성취 가능한 압축 효율을 극대화하는 최신의 비디오 코덱을 설계하는 일반적인 문제를 해결하는 차세대 비디오(NGV) 코덱 프로젝트의 맥락 내에서 전개된다. H.264/AVC과 같은 최신 표준의 전술한 제한은, 본 개시에서 기술되는 NGV 비디오 코딩 시스템에 의해 사용되는 접근 방법과는 대조적으로, 이렇게 고정적인 제한에 대해 반복적인 접근 방법을 이용하는 HEVC의 진행 중인 작업에 의해 인식된다.
NGV 비디오 코딩은 표준에 기반한 접근 방법과 상이한데 이는 이러한 NGV 비디오 코딩이 높은 압축을 달성하는 비디오 코딩 프로세스에서 의미 있는 콘텐츠 기반 적응성(content based adaptivity)을 자연스럽게 포함하고 있기 때문이다. 비교하자면, 표준 기반의 비디오 코딩 접근 방법은 전형적으로 레거시 접근 방법의 적응과 미세 조정을 통해 더 높은 이득을 뽑아내는 경향이 있다. 예를 들면, 표준에 기반한 접근 방법은 모두 이득을 성취하기 위해 예측 차를 줄이는 기본적인 수단으로서 움직임 보상된 인터프레임 코딩의 적응과 추가적인 조정에 크게 의존하고 있다. 한편, NGV는, 움직임에 기인한 인터프레임 차를 이용하는 것 이외에, 전형적인 비디오 장면에서 자연적으로 존재하는 다른 형태의 인터프레임 차(이득, 블러(blur), 레지스트레이션(registration))를 또한 이용한다.
본 개시에서 사용될 때, 용어 "코더"는 인코더 및/또는 디코더를 지칭할 수 있다. 유사하게 본 개시에서 사용될 때, 용어 "코딩"은 인코더를 통해 비디오 인코딩을 수행하고 및/또는 디코더를 통해 비디오 디코딩을 수행하는 것을 지칭할 수 있다. 예를 들면, 비디오 인코더와 비디오 디코더는 둘 다 비디오 데이터를 코딩할 수 있는 코더의 예일 수 있다. 또한, 본 개시에서 사용될 때, 용어 "코덱"은 프로세스, 프로그램 또는 연산 집합을 참조할 수 있으며, 예를 들면, 인코더 및 디코더를 구현할 수 있는 소프트웨어, 펌웨어 및/또는 하드웨어의 임의의 조합일 수 있다. 또한, 여기서 사용될 때, 어구 "비디오 데이터"는, 예를 들면, 비디오 프레임, 이미지 데이터, 인코딩된 비트스트림 데이터 등과 같은 비디오 코딩과 연관된 여느 타입의 데이터를 지칭할 수 있다.
도 1a는 본 개시의 적어도 일부 구현예에 따라 구성되는 일 예의 차세대 비디오 인코더(100)를 도시하는 도면이다. 도시된 것처럼, 인코더(100)는 입력 비디오(101)를 수신할 수 있다. 입력 비디오(101)는, 예를 들면, 비디오 시퀀스의 입력 프레임과 같은 인코딩을 위한 어느 적합한 입력 비디오를 포함할 수 있다. 도시된 것처럼, 입력 비디오(101)는 콘텐츠 선-분석기 모듈(102)을 통해 수신될 수 있다. 콘텐츠 선-분석기 모듈(102)은 입력 비디오(101)의 비디오 프레임의 콘텐츠의 분석을 수행하여 비디오 코딩 효율과 속도 성능을 개선하기 위한 다양한 파라미터 타입을 결정하도록 구성될 수 있다.예를 들면, 콘텐츠 선-분석기 모듈(102)은 수평 및 수직 그레디언트 정보(예를 들면, Rs, Cs), 분산(variance), 픽처당 공간 복잡도, 픽처당 시간적 복잡도(temporal complexity), 장면 변화 탐지, 움직임 범위 추정, 이득 탐지, 예측 거리 추정, 객체 추정의 수, 영역 경계 탐지, 공간 복잡도 맵 계산, 포커스 추정, 필름 그레인(grain) 추정 등을 결정할 수 있다. 콘텐츠 선-분석기 모듈(102)에 의해 생성된 파라미터는 인코더(100)(예를 들면, 인코딩 제어기(103)를 통해)에 의해 사용되고 및/또는 양자화되어 디코더로 전달된다. 도시된 것처럼, 비디오 프레임 및/또는 다른 데이터는 콘텐츠 선-분석기 모듈(102)로부터 적응적 픽처 구성기 모듈(104)로 전송되어, 각 비디오 프레임의 픽처 타입(예를 들면, I-, P-, 또는 F/B-픽처)을 결정하고, 그리고 필요에 따라서 비디오 프레임을 재정렬할 수 있다. 일부 예에서, 적응적 픽처 구성기 모듈(104)은 프레임 부분을 생성하도록 구성되는 프레임 부분 생성기를 포함할 수 있다. 일부 예에서, 콘텐츠 선-분석기 모듈(102) 및 적응적 픽처 구성기 모듈(104)은 함께 인코더(100)의 선-분석기 서브시스템으로 여겨질 수 있다.
도시된 것처럼, 비디오 프레임 및/또는 다른 데이터는 적응적 픽처 구성기 모듈(104)에서 예측 파티션 생성기 모듈(105)로 전송될 수 있다. 일부 예에서, 예측 파티션 생성기 모듈(105)은 프레임 또는 픽처를 타일이나 수퍼-프래그먼트 등으로 분할할 수 있다. 일부 예에서, (예를 들면, 모듈들(104, 105) 간의) 추가적인 모듈이 프레임이나 픽처를 타일이나 수퍼-프래그먼트으로 분할하도록 제공될 수 있다. 예측 파티션 생성기 모듈(105)은 각각 타일이나 수퍼-프래그먼트를 잠재적인 예측 분할(partitionings)이나 파티션들로 나눌 수 있다. 일부 예에서, 잠재적인 예측 분할은, 예를 들면, k-d 트리 분할 기술, 이진-트리 분할 기술 등과 같은 분할 기술을 사용하여 결정되고, 이는 각 비디오 프레임의 픽처 타입(예를 들면, I-, P-, 또는 F/B-픽처), 분할되는 프레임 부분의 특성 등에 기초하여 결정될 수 있다. 일부 예에서, 결정된 잠재적 예측 분할은 예측용(예를 들면, 인터- 또는 인트라-예측) 파티션일 수 있고, 또한 예측 파티션이나 예측 블록 등으로서 기술될 수 있다.
일부 예에서, 선택된 예측 분할(예를 들면, 예측 파티션들)은 잠재적 예측 분할들로부터 결정될 수 있다. 예를 들면, 선택된 예측 분할은, 각 잠재적 예측 분할에 대하여, 다중-참조 예측이나 인트라-예측에 기초하여 특성 및 움직임을 사용하는 예측을 결정하고, 그리고 예측 파라미터를 결정하는 것에 기반할 수 있다. 각 잠재적 예측 분할에 대하여, 잠재적 예측 오차는 최초의 픽셀을 예측 픽셀과 구별함으로써 결정될 수 있고, 그리고 선택된 예측 분할은 최소 예측 오차를 갖는 잠재적 예측 분할일 수 있다. 다른 예에서, 선택된 예측 분할은 예측 분할과 연관된 분할 및 예측 오차를 코딩하는 비트의 수에 기초하는 가중 스코어링(a weighted scoring)를 포함하는 비트율 왜곡 최적화에 기반하여 결정될 수 있다.
도시된 것처럼, 선택된 예측 분할(예를 들면, 현재 프레임의 예측 분할)의 최초의 픽셀은 차분기(differencer)(106)에서 예측 파티션(예를 들면, 참조 프레임 또는 프레임들에 기초하는 현재 프레임의 예측 파티션의 예측 및 인터- 또는 인트라-예측 데이터와 같은 다른 예측 데이터)과 차가 계산될 수 있다. 예측 파티션의 결정은 이하 좀 더 상세하게 설명되며 또한 도 1a에 도시된 것처럼 디코딩 루프를 포함할 수 있다. 구별 단계로부터의 잔차 또는 잔차 데이터(예를 들면, 파티션 예측 오차 데이터)는 코딩 파티션 생성기 모듈(107)로 전송될 수 있다. 일부 예에서, 어떤 픽처타입(I-, F/B- 또는 P-픽처)의 예측 파티션의 인트라-예측에 대해서와 같이, 코딩 파티션 생성기 모듈(107)은 스위치(107a, 107b)를 통해 바이패스(bypass)될 수 있다. 이러한 예에서, 단지 싱글 레벨의 분할만이 수행될 수 있다. 이러한 분할은 (논의된 것처럼) 예측 분할 또는 코딩 분할 또는 모두로서 설명될 수 있다. 다양한 예에서, 이러한 분할은 (논의된 것처럼) 코딩 파티션 생성기 모듈(105)을 통해서 수행될 수 있고, 또는 여기에 좀더 논의되는 것처럼, 이러한 분할은 코딩 파티션 생성기 모듈(107)을 통해서 구현된 k-d 트리 인트라-예측/코딩 분할기 모듈이나 이진-트리 인트라-예측/코딩 분할기 모듈을 통해 수행될 수 있다.
일부 예에서, 분할 예측 오차 데이터는 인코딩의 근거가 될 만큼 충분히 중요하지 않을 수 있다. 다른 예에서, 파티션 예측 오차 데이터를 인코딩하는 것이 바람직하며 및 파티션 예측 오차 데이터가 인터-예측 등과 연관될 때, 코딩 파티션 생성기 모듈(107)은 예측 파티션의 코딩 파티션을 결정할 수 있다. 일부 예에서, 코딩 파티션 생성기 모듈(107)은, 파티션이 (예를 들면, 도시된 것처럼, 스위치(107a, 107b)를 통해 이용 가능한 바이패스 경로를 통해) 코딩 분할 없이 인코딩될 때, 필요치 않을 수 있다. 코딩 분할에 의해 또는 코딩 분할 없이, (어느 이벤트에서도 코딩 파티션으로 연속적으로 설명될 수 있는) 파티션 예측 오차 데이터는, 잔차 또는 잔차 데이터가 인코딩을 요구하는, 이벤트 내의 적응적 변환 모듈(108)로 전송될 수 있다. 일부 예에서, 예측 파티션 생성기 모듈(105) 및 코딩 파티션 생성기 모듈(107)은 함께 인코더(100)의 분할기 서브시스템으로 여겨질 수 있다. 다양한 예에서, 코딩 파티션 생성기 모듈(107)은 파티션 예측 오차 데이터, 원 픽셀 데이터, 잔차 데이터 또는 웨이블릿 데이터에 대해 동작할 수 있다.
코딩 파티션 생성기 모듈(107)은, 예를 들면, 이진-트리 및/또는 k-d 트리 분할 기술 등을 사용하는 파티션 예측 오차 데이터의 잠재적 코딩 분할(예를 들면, 코딩 파티션)을 생성할 수 있다. 일부 예에서, 잠재적 코딩 파티션은 적응적 변환 모듈(108)을 통해 다양한 블록 사이즈로 적응적 또는 고정 변환을 사용하여 변환될 수 있으며 또한 선택된 코딩 분할 및 선택된 변환(예를 들면, 적응적 또는 고정)은 비트율 왜곡 최적화 또는 다른 기준에 기초하여 결정될 수 있다. 일부 예에서, 선택된 코딩 분할 및/또는 선택된 변환(들)은 코딩 파티션 크기나 그 유사한 것을 기반으로 하는 미리 결정된 선택 방법에 기초하여 결정될 수 있다.
예를 들면, 적응적 변환 모듈(108)은 소형 크기 내지 중간 크기의 블록의 국지적인 최적 변환 코딩을 허용하는 파라메트릭 변환을 수행하기 위한 제 1 부분 또는 컴포넌트를 포함하고, 또한 고정 변환을 사용하여 전역적으로 안정되고, 낮은 오버헤드 변환 코딩을 수행하기 위한 제 2 부분이나 컴포넌트를 포함하는데, 예를 들면, 이산 코사인 변환(DCT)이나, 파라메트릭 변환을 포함하는, 다양한 변환으로부터 픽처 기반의 변환이 사용되며, 또는 그 밖의 다른 구성이 이하 좀더 논의된다. 일부 예에서, 국지적 최적 변환 코딩에 대하여, 파라메트릭 하르 변환(parametric Haar Transform, PHT)이 수행될 수 있으며, 이하 좀더 상세하게 논의된다. 일부 예에서는, 변환은 약 4x4 픽셀과 64x64 픽셀 간의 2D 블록의 장방형 크기에 대하여 수행될 수 있으며, 실제 크기는 변환된 데이터가 휘도(luma)나 채도(chroma)인지 또는 인터나 인트라인지 여부, 또는 만일 결정되어 사용된 변환이 PHT나 DCT 등인지 여부와 같은 많은 요인에 따라 다르다.
도시된 것처럼, 결과 변환 계수는 적응적 양자화 모듈(109)로 전송될 수 있다. 적응적 양자화 모듈(109)은 결과 변환 계수를 양자화할 수 있다. 또한, 필요에 따라서, 파라메트릭 변환과 연관된 어떤 데이터는 (만일 양자화가 바람직하다면) 적응적 양자화 모듈(109)이나 적응적 엔트로피 인코더 모듈(110)로 전송된다. 도 1a에 도시된 것처럼, 양자화 계수는 스캐닝되어 엔트로피 인코더 모듈(110)로 전송된다. 엔트로피 인코더 모듈(110)은 양자화 계수를 엔트로피 인코딩하고 이들을 출력 비트스트림(111)에 포함할 수 있다. 일부 예에서, 적응적 변환 모듈(108)과 적응적 양자화 모듈(109)은 함께 인코더(100)의 변환 인코더 서브시스템으로 간주 될 수 있다.
도 1a에 도시된 것처럼, 인코더(100)는 로컬 디코딩 루프를 포함한다. 로컬 디코딩 루프는 적응적 역양자화 모듈(112)에서 시작할 수 있다. 적응적 역양자화 모듈(112)은 적응적 양자화 모듈(109)의 반대 연산(들)을 수행하도록 구성됨으로써 인버스(inverse) 스캔이 수행되고 양자화 계수가 디-스케일(de-scale)되어 변환 계수를 결정하도록 할 수 있다. 그러한 적응적 양자화 연산은, 예를 들면, 손실이 생길 수 있다. 도시된 것처럼, 변환 계수는 적응적 역변환 모듈(113)로 전송될 수 있다. 적응적 역변환 모듈(113)은, 예를 들면, 적응적 변환 모듈(108)에 의해 수행되는 것 같은 역변환을 수행하여, 잔차나 잔차 데이터 또는 코딩 파티션과 연관되는 파티션 예측 오차 데이터(또는, 논의된 것 같은, 최초의 데이터 또는 웨이블릿 데이터)를 생성할 수 있다. 일부 예에서, 적응적 역양자화 모듈(112)과 적응적 역변환 모듈(113)은 함께 인코더(100)의 변환 디코더 서브시스팀으로 간주 될 수 있다.
도시된 것처럼, 파티션 예측 오차 데이터(또는 그 유사한 것)는 선택적 코딩 파티션 조립기(114)로 전송될 수 있다. 코딩 파티션 조립기(114)는 코딩 파티션을 필요에 따라서 디코딩된 예측 파티션으로 조립하여(도시된 것처럼, 일부 예에서, 코딩 파티션 조립기(114)는 스위치(114a, 114b)를 통해 걸러짐(skipped)으로써 디코딩된 예측 파티션이 적응적 역변환 모듈(113)에서 생성될 수 있다), 예측 오차 데이터의 예측 파티션 또는 디코딩 잔차 예측 파티션 등을 생성할 수 있다.
도시된 것처럼, 디코딩 잔차 예측 파티션은 가산기(115)에서 예측 파티션(예를 들면, 예측 픽셀 데이터)에 추가되어 재구성된 예측 파티션을 생성할 수 있다. 재구성된 예측 파티션은 예측 파티션 조립기(116)로 전송될 수 있다. 예측 파티션 조립기(116)는 재구성된 예측 파티션을 조립하여 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 일부 예에서, 코딩 파티션 조립기(114)와 예측 파티션 조립기(116)는 함께 인코더(100)의 분할기 서브시스팀으로 간주 될 수 있다.
재구성된 타일 또는 수퍼-프래그먼트는 블록잡음(blockiness) 분석기 및 블록해제(deblock) 필터링 모듈(117)로 전송될 수 있다. 블록잡음 분석기 및 블록해제 필터링 모듈(117)은 재구성된 타일 또는 수퍼-프래그먼트(또는 타일이나 수퍼-프래그먼트의 예측 파티션)을 블록해제하고 디더링(dither)할 수 있다. 생성된 블록해제 및 디더링 필터 파라미터는 현재의 필터 동작을 위하여 사용될 수 있고 및/또는, 예를 들면, 디코더에 의해 사용하기 위해 출력 비트스트림(111)으로 코딩될 수 있다. 블록잡음 분석기 및 블록해제 필터링 모듈(117)은 품질 분석기 및 품질 복원 필터링 모듈(118)로 전송될 수 있다. 품질 분석기 및 품질 복원 필터링 모듈(118)은 (예를 들면, QR 분해를 위한) QR 필터링 파라미터를 결정하고 결정된 파라미터를 필터링에 사용할 수 있다. QR 필터링 파라미터는 또한 디코더에 의해 사용하기 위해 출력 비트스트림(111)으로 코딩될 수 있다. 도시된 것처럼, 품질 분석기 및 품질 복원 필터링 모듈(118)은 디코딩된 픽처 버퍼(119)로 전송된다. 일부 예에서, 품질 분석기 및 품질 복원 필터링 모듈(118)의 출력은 다른 프레임의 코딩을 위한 예측에 사용될 수 있는 최종의 재구성된 프레임일 수 있다(예를 들면, 최종의 재구성된 프레임은 참조 프레임 또는 그 유사한 것일 수 있다). 일부 예에서, 블록잡음 분석기 및 블록해제 필터링 모듈(117)과 품질 분석기 및 품질 복원 필터링 모듈(118)은 함께 인코더(100)의 필터링 서브시스템으로 간주 될 수 있다.
인코더(100)에서, 예측 연산은 인터- 및/또는 인트라-예측을 포함할 수 있다. 도 1a에 도시된 것처럼, 인터-예측은 모핑 분석기 및 모핑된 픽처 생성 모듈(120), 합성 분석기 및 생성 모듈(121), 그리고 특성 및 움직임 필터링 모듈(123)을 포함하는 하나 이상의 모듈에 의해서 수행될 수 있다. 모핑 분석기 및 모핑된 픽처 생성 모듈(120)은 현재 픽처를 분석하여 코딩될 수 있는 참조 프레임이나 프레임들과 관련된 이득(gain) 변화, 지배적인 움직임의 변화, 등록(regeistration) 변화, 블러(blur)의 변화에 대한 파라미터를 결정할 수 있다. 결정된 모핑 파라미터는 (예를 들면, 모핑 분석기 및 모핑된 픽처 생성 모듈(120)에 의해서) 양자화되고/역-양자화되고, 그리고 모핑된 참조 프레임을 생성하도록 사용될 수 있는데, 이는 현재 프레임의 효율적인 움직임 (그리고 특성) 보상 예측을 위한 움직임 벡터를 계산하도록 움직임 예측 모듈(122)에 의해서 사용될 수 있다. 합성 분석기 및 생성 모듈(121)은 이들 프레임 내의 효율적 움직임 보상 예측을 위한 움직임 벡터를 결정하기 위해 움직임용 수퍼 해상도(SR) 픽처와 투사 보간(projected interpolation (PI)) 픽처 등을 생성할 수 있다.
움직임 예측 모듈(122)은 모핑 참조 프레임(들) 및/또는 현재 프레임과 함께 수퍼 해상도(SR) 픽처와 투사 보간(PI) 픽처에 기초하여 움직임 벡터를 생성한다. 일부 예에서, 움직임 예측 모듈(122)은 인터-예측 모듈로 간주 될 수 있다. 예를 들면, 움직임 벡터 데이터는 인터-예측을 위하여 사용될 수 있다. 만일 인터-예측이 적용되면, 특성 및 움직임 보상된 필터링 예측 모듈(123)이 논의된 것처럼 로컬 디코딩 루프의 일부로서 움직임 보상(motion compensation)을 적용할 수 있다.
인트라-예측은 인트라-방향성 예측 분석기 및 예측 생성 모듈(124)에 의해 수행될 수 있다. 인트라-방향성 예측 분석기 및 예측 생성 모듈(124)은 공간 방향성 예측을 수행하도록 구성되고 디코딩된 이웃 파티션을 사용할 수 있다. 일부 예에서, 방향의 결정과 예측의 생성은 모두 인트라-방향성 예측 분석기 및 예측 생성 모듈(124)에 의해 수행될 수 있다. 일부 예에서, 인트라-방향성 예측 분석기 및 예측 생성 모듈(124)은 인트라-예측 모듈로 간주될 수 있다.
도 1a에 도시된 것처럼, 예측 모드 및 참조 타입 분석기 모듈(125)은, 타일(또는 수퍼-프래그먼트)의 각 예측 파티션에 대하여, "스킵", "자동", "인터", "분할", "멀티", 그리고 "인트라" 중에서 예측 모드의 선택을 허용하며, 이들 모두는 P- 및 F/B-픽처에 적용될 수 있다. 예측 모드에 추가하여, P- 및 F/B-픽처에 대해서, "인터" 또는 "멀티" 모드에 따라 상이할 수 있는 참조 타입의 선택이 허용될 수 있다. 예측 모드 및 참조 타입 분석기 모듈(125)의 출력에서 예측 신호는 예측 분석기 및 예측 융합 필터링 모듈(126)에 의해 필터링될 수 있다. 예측 분석기 및 예측 융합 필터링 모듈(126)은 필터링에 사용할 파라미터(예를 들면, 필터링 계수, 주파수, 오버헤드)를 결정하고 필터링을 수행할 수 있다. 일부 예에서, 예측 신호를 필터링 하는 것은 상이한 모드(예를 들면, 인트라, 인터, 멀티, 분할(split), 스킵(skip), 그리고 자동)를 표현하는 상이한 타입의 신호를 융합한다. 일부 예에서, 인트라-예측 신호는 적절한 필터링이 코딩 효율을 크게 강화할 수 있도록 모든 다른 타입의 인터-예측 신호(들)와 차이가 있을 수 있다. 일부 예에서, 필터링 파라미터는 디코더에 의한 사용을 위하여 출력 비트스트림(111) 내에 인코딩될 수 있다. 필터링된 예측 신호는 제 2 입력(예를 들면, 예측 파티션(들))을, 앞서 언급된, 차분기(106)에 제공하여, 상술한 것처럼, 코딩을 위한 예측 차이 신호(예를 들면, 파티션 예측 오차)를 결정할 수 있다. 또한, 동일하게 필터링된 예측 신호는 제 2 입력을, 앞서 논의된, 가산기(115)에 제공할 수 있다. 논의된 것처럼, 출력 비트스트림(111)은 비디오 표현을 위해 디코더가 사용할 효율적으로 인코딩된 비트스트림을 제공할 수 있다.
도 1b는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 인코더(100b)의 예시적인 다이어그램이다. 도 1b는 도 1a에 도시된 것과 유사한 인코더를 보여주며, 유사한 구성요소는 간결성을 기하기 위하여 반복되지 않을 것이다. 도 1b에 도시된 바와 같이, 인코더(100b)는 모핑 분석기 및 모핑된 픽처 생성 모듈(morphing analyzer and morphed picture generation module)(120b) 및 합성 분석기 및 생성 모듈(synthesizing analyzer and generation module)(121b)을 포함할 수 있다. 이 예의 구성에서, 모핑 분석기 및 모핑된 픽처 생성 모듈(120b) 및 합성 분석기 및 생성 모듈(121b)은 적응적 픽처 구성기(104)로부터의 출력을 수신할 수 있다. 모핑 분석기 및 모핑된 픽처 생성 모듈(120b) 및 합성 분석기 및 생성 모듈(121b)은 모핑 분석기 및 모핑된 픽처 생성 모듈(120b) 및 합성 분석기 및 생성 모듈(121b)의 동작이 로컬 디코드 루프 내에서 일어나지 않을 수 있다는 점에서 "아웃-오브-루프(out-of-loop)"라고 간주될 수 있다. 거꾸로, 모핑 분석기 및 모핑된 픽처 생성 모듈(120) 및 합성 분석기 및 생성 모듈(121)은 모핑 분석기 및 모핑된 픽처 생성 모듈(120) 및 합성 분석기 및 생성 모듈(121)의 동작이 로컬 디코드 루프 내에서 일어날 수 있다는 점에서 "인-루프(in-loop)"라고 간주될 수 있다.
다시 도 1a를 참조하면, 인코더(100)는 도 1a의 인코더(100b)와 약간 다르다. 예시된 예의 한 가지 특징은 모핑 분석기 및 모핑된 픽처 생성 모듈(120)의 특별한 위치와 합성 분석기 및 합성된 픽처 생성 모듈(121)의 위치이다. 도 1a에서, 이러한 동작은 도 1b에 도시된 바와 같이 모핑 파라미터 생성 또는 합성 파라미터 생성에 필요한 분석이 원(original) 프레임이 아닌 디코딩된 픽처에 대해 수행될 수 있도록 예측 루프에서 도시된다. 그래서 모핑 및 합성 파라미터 생성 구조는 더 나은 결과를 제공하지만, 분석때문에 약간의 지연이 생기는 대가는 현재 디코딩된 픽처에 기초할 수 있으며 원 프레임에 기초될 수 없다.
도 2는 본 개시의 적어도 어떤 구현에 따라 구성되는 차세대 비디오 디코더의 예(200)를 도시하는 도면이다. 도시된 것처럼, 디코더(200)는 입력 비트스트림(201)을 수신할 수 있다. 입력 비트스트림(201)은 인코더(100)를 통해 및/또는 본 개시에서 기술되는 인코딩 기술을 통해 인코딩될 수 있다. 도시된 것처럼, 입력 비트스트림(201)은 적응적 엔트로피 디코더 모듈(202)에 의해 수신될 수 있다. 적응적 엔트로피 디코더 모듈(202)은 다양한 타입의 인코딩 데이터(예를 들면, 오버헤드, 움직임 벡터, 변환 계수 등)를 디코딩할 수 있다. 일부 예에서, 적응적 엔트로피 디코더(202)는 가변 길이 디코딩 기술을 사용할 수 있다. 일부 예에서, 적응적 엔트로피 디코더(202)는 상술한 적응적 엔트로피 인코더 모듈(110)의 역동작(들)을 수행할 수 있다.
디코딩된 데이터는 적응적 역양자화 모듈(203)로 전송될 수 있다. 적응적 역양자화 모듈(203)은 양자화된 계수를 인버스 스캐닝하고 디-스케일하여 변환 계수를 결정하도록 구성될 수 있다. 이러한 적응적 양자화 연산은 예를 들면 손실이 발생될 수 있다. 일부 실시예에서, 적응적 역양자화 모듈(203)은 적응적 양자화 모듈(109)의 반대 연산(예를 들면, 적응적 역양자화 모듈(112)과 실질적으로 동일한 연산)을 수행하도록 구성될 수 있다. 도시된 것처럼, 변환 계수(그리고, 일부 예에서, 파라메트릭 변환에서 사용되는 변환 데이터)는 적응적 역변환 모듈(204)로 전송될 수 있다. 적응적 역변환 모듈(204)은 변환 계수에 역변환을 수행하여 잔차나 잔여 값 또는 코딩 파티션과 연관되는 파티션 예측 오차 데이터(또는 최초의 데이터나 웨이블릿 데이터)를 생성할 수 있다. 일부 예에서, 적응적 역변환 모듈(204)은 적응적 변환 모듈(108)의 반대 연산(예를 들면, 적응적 역변환 모듈(113)과 실질적으로 동일한 연산)을 수행하도록 구성될 수 있다. 일부 예에서, 적응적 역변환 모듈(204)은, 예를 들면, 디코딩된 이웃 파티션과 같은, 사전에 디코딩된 데이터에 기초하여 역변환을 수행할 수 있다. 일부 예에서, 적응적 역양자화 모듈(203)과 적응적 역변환 모듈(204)은 함께 디코더(200)의 변환 디코더 서브시스템으로 간주될 수 있다.
도시된 것처럼, 잔차나 잔차 값 또는 파티션 예측 오차 데이터는 코딩 파티션 조립기(205)로 전송될 수 있다. 코딩 파티션 조립기(205)는 코딩 파티션을, 필요에 따라서, 디코딩된 예측 파티션으로 조립할 수 있다(도시된 것처럼, 일부 예에서, 코딩 파티션 조립기(205)는 스위치(205a, 205b)를 통해 걸러짐으로써, 디코딩된 예측 파티션이 적응적 역변환 모듈(204)에서 생성될 수 있도록 한다). 예측 오차 데이터의 디코딩된 예측 파티션(예를 들면, 예측 파티션 잔차)은 가산기(206)에서 예측 파티션(예를 들면, 예측 픽셀 데이터)에 추가되어 재구성된 예측 파티션을 생성할 수 있다. 재구성된 예측 파티션은 예측 파티션 조립기(207)로 전송될 수 있다. 예측 파티션 조립기(207)는 재구성된 예측 파티션을 조립하여 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 일부 예에서, 코딩 파티션 조립기 모듈(205)과 예측 파티션 조립기 모듈(207)은 함께 디코더(200)의 비-분할기 서브시스팀으로 간주 될 수 있다..
재구성된 타일 또는 수퍼-프래그먼트는 블록해제 필터링 모듈(208)로 전송될 수 있다. 블록해제 필터링 모듈(208)은 재구성된 타일 또는 수퍼-프래그먼트(또는 타일이나 수퍼-프래그먼트의 예측 파티션)을 블록해제하고 디더링(dither)할 수 있다. 생성된 블록해제 및 디더링 필터 파라미터는, 예를 들면, 입력 비트스트림(201)으로부터 결정될 수 있다. 블록해제 필터링 모듈(208)의 출력은 품질 복원 필터링 모듈(209)로 전송될 수 있다. 품질 복원 필터링 모듈(209)은, 입력 비트스트림(201)으로부터 결정될 수 있는, QR 파라미터에 기초하여 품질 필터링을 적용할 수 있다. 예를 들면, 도 2에 도시된 것처럼, 품질 복원 필터링 모듈(209)의 출력은 디코딩된 픽처 버퍼(210)로 전송될 수 있다. 일부 예에서, 품질 복원 필터링 모듈(209)의 출력은 다른 프레임의 코딩을 위한 예측에 사용될 수 있는 최종의 재구성된 프레임일 수 있다(예를 들면, 최종의 재구성된 프레임은 참조 프레임 등일 수 있다). 일부 예에서, 블록해제 필터링 모듈(208)과 품질 복원 필터링 모듈(209)은 함께 디코더(200)의 필터링 서브시스템으로 간주될 수 있다.
논의된 것처럼, 예측 연산으로 인한 보상은 인터- 및/또는 인트라-예측 보상을 포함할 수 있다. 도시된 것처럼, 인터-예측 보상은 모핑된 픽처 생성 모듈(211), 합성된 픽처 생성 모듈(212) 그리고 특성 및 움직임 보상 필터링 예측기 모듈(213)을 포함할 수 있다. 모핑된 픽처 생성 모듈(211)은 (예를 들면, 입력 스트림(201)으로부터 결정된) 역-양자화 모핑 파라미터를 사용하여 모핑(morphed) 참조 프레임을 생성할 수 있다. 합성된 픽처 생성 모듈(212)은 입력 비트스트림(201)으로부터 결정된 파라미터에 기초하여 수퍼 해상도(SR) 픽처와 투사 보간(PI) 픽처 등을 생성할 수 있다. 만일 인터-예측이 적용되면, 특성 및 움직임 보상 필터링 예측기 모듈(213)이 입력 비트스트림(201) 내의 수신된 프레임과 움직임 벡터 데이터 등에 기초하여 움직임 보상을 적용할 수 있다.
인트라-예측 보상은 인트라-방향성 예측 생성 모듈(214)에 의해서 수행될 수 있다. 인트라-방향성 예측 생성 모듈(214)은 공간 방향성 예측을 수행하도록 구성되고, 또한 비트스트림(201) 내의 인트라-예측 데이터에 따른 디코딩된 이웃 파티션을 이용할 수 있다.
도 2에 도시된 것처럼, 예측 모드 선택기 모듈(215)은, 타일의 각 예측 파티션에 대하여, "스킵", "자동", "인터", "멀티" 및 "인트라" 중에서, 예측 모드의 선택을 결정할 수 있고, 이들 모두는 입력 비트스트림(201) 내의 모드 선택 데이터에 기초하여 P- 및 F/B-픽처에 적용될 수 있다. 예측 모드에 추가하여, P- 및 F/B-픽처에 대해서, "인터" 또는 "멀티" 모드에 따라 상이할 수 있는 참조 타입의 선택이 허용된다. 예측 모드 선택기 모듈(215)의 출력에서 예측 신호는 예측 융합 필터링 모듈(216)에 의해 필터링될 수 있다. 예측 융합 필터링 모듈(216)은 입력 비트스트림(201)을 통해 결정된 파라미터(예를 들면, 필터링 계수, 주파수, 오버헤드)에 기초하여 필터링을 수행할 수 있다. 일부 예에서, 예측 신호를 필터링하는 것은 상이한 모드(예를 들면, 인트라, 인터, 분할, 스킵, 그리고 자동)를 표현하는 상이한 타입의 신호를 융합한다. 일부 예에서, 인트라-예측 신호는 모든 다른 타입의 인터-예측 신호(들)와 상이하여 적절한 필터링은 코딩 효율을 크게 향상시킬 수 있도록 한다. 필터링된 예측 신호는 제 2 입력(예를 들면, 예측 파티션(들))을, 앞서 언급된, 차분기(206)에 제공할 수 있다.
논의한 것처럼, 품질 복원 필터링 모듈(209)은 최종적인 재구성된 프레임일 수 있다. 최종적인 재구성된 프레임은 적응적 픽처 재구성기(217)로 전송될 수 있으며, 이는 입력 비트스트림(201) 내의 정렬 파라미터에 기초하여 필요에 따라 프레임을 재-정렬하거나 재-구성할 수 있다. 재-정렬 프레임은 콘텐츠 후복원기 모듈(218)로 전송될 수 있다. 콘텐츠 후복원기 모듈(218)은 디코딩 비디오의 직관적 품질의 추가적인 향상을 수행하도록 구성되는 선택적인 모듈일 수 있다. 개선 프로세싱은 입력 비트스트림(201) 내의 품질 개선 파라미터에 대응하여 수행되거나, 또는 스탠드 얼론(standalone) 연산으로 수행될 수 있다. 일부 예에서, 콘텐츠 후복원기 모듈(218)은, 예를 들면, (예를 들면, 블록해제 필터링 모듈(208)과 관련되어 논의된 블록화 제거 동작 이후에도) 필름 그레인 잡음(film grain noise)나 잔여 블록잡음 감소의 추정과 같은, 품질을 개선하는 파라미터를 적용할 수 있다. 도시된 것처럼, 디코더(200)는 디스플레이 비디오(219)를 제공할 수 있는데, 이는 디스플레이 장치(도시되지 않음)를 통해 디스플레이되도록 구성될 수 있다.
논의된 것처럼, 일부 예에서, 인코더(100) 및/또는 디코더(200)는 차세대 비디오 코딩을 위한 예측 및 코딩을 위한 콘텐츠 적응적 분할에 관련된 기술을 구현할 수 있다. 일부 예에서, 예측을 위한 콘텐츠 적응적 분할은 인코더(100)의 예측 파티션 생성기 모듈(105)에 의해서 수행될 수 있다. 일부 예에서, 코딩을 위한 콘텐츠 적응적 분할은 인코더(100)의 코딩 파티션 생성기 모듈(107)에 의해서 수행될 수 있다. 일부 예에서, 인터-예측이나 그 유사한 것에 대한 예측을 위한 콘텐츠 적응적 분할은 예측 파티션 생성기 모듈(105)에 의해 수행될 수 있고, 인터-예측이나 그 유사한 것에 대한 코딩을 위한 콘텐츠 적응적 분할은 인코더(100)의 코딩 파티션 생성기 모듈(107)에 의해 수행될 수 있다. 일부 예에서, 인트라-예측에 대한 예측/코딩을 위한 콘텐츠 적응적 분할(예를 들면, 오직 일 계층 분할)은 인코더(100)의 예측 파티션 생성기 모듈(105) 및 코딩 파티션 생성기 모듈(107)에 의해 수행될 수 있다. 또한, 일부 예에서, 인코딩 예측 분할 및/또는 코딩 분할에 기초하여, 인코더(100)의 코딩 파티션 조립기 모듈(114) 및/또는 디코더(200)의 코딩 파티션 조립기 모듈(205)은 코딩 파티션을 조립하여 예측 파티션을 형성할 수 있다. 또한, 일부 예에서, 인코더(100)의 예측 파티션 조립기 모듈(116) 및/또는 디코더(200)의 예측 파티션 조립기 모듈(207)은 재구성된 예측 파티션을 조립하여 타일, 수퍼-프래그먼트를 형성할 수 있고, 이들은 프레임 또는 픽처를 생성하도록 조립될 수 있다. 논의된 것처럼, 다양한 예측 파티션, 코딩 파티션, 또는 타일이나 수퍼-프래그먼트는, 본 개시에서 논의된 것처럼, 인터-예측, 인트라-예측, 그 밖의 코딩 효율 개선, 또는 이미지나 비디오 개선을 위해 사용될 수 있다.
도 1과 도 2는 특정 인코딩 및 디코딩 모듈을 보여주지만, 그러나 도시되지 않은 다양한 다른 코딩 모듈이나 컴포넌트들 또한 본 개시에 따라서 활용될 수 있다. 또한, 본 개시는 도 1 및 도 2에 도시된 특정 컴포넌트 또는 다양한 컴포넌트가 구성된 방식에 한정되지 않는다. 본 개시에서 기술되는 시스템의 다양한 컴포넌트는 소프트웨어, 펌웨어 및/또는 하드웨어 및/또는 이들의 임의의 조합에 의해서 구현될 수 있다. 예를 들면, 인코더(100) 및/또는 디코더(200)의 다양한 컴포넌트는, 모바일폰과 같은 컴퓨팅 시스템에서 발견될 수 있는, 컴퓨팅 시스템 온칩(SoC)의 하드웨어에 의해서, 적어도 일부 제공될 수 있다.
또한, 인코더(100)는, 예를 들면, 비디오 콘텐츠 서버 시스템을 포함하는 콘텐츠 제공 시스템과 연관되고 및/또는 콘텐츠 제공 시스템에 의해서 제공될 수 있고, 또한 출력 비트스트림(111)은, 도 1 및 도 2에 도시되지 않은 트랜스시버, 안테나, 네트워크 시스템 및 그 유사한 것과 같은 다양한 통신 컴포넌트 및/또는 시스템에 의해, 디코더, 예를 들면, 디코더(200)로 전송되거나 전달될 수 있다는 것이 인정될 것이다. 디코더(200)는 컴퓨팅 장치(예를 들면, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 컨버터블 랩톱, 모바일폰 등)와 같은 클라이언트 시스템과 연관되고, 클라이언트 시스템은 인코더(100)와 멀리 있으면서, 또한 도 1 및 도 2에 도시되지 않은 트랜스시버, 안테나, 네트워크 시스템 및 그 유사한 것과 같은 다양한 통신 컴포넌트 및/또는 시스템을 통해 비트스트림(201)을 수신한다는 것이 인정될 것이다. 그러므로, 다양한 구현에서, 인코더(100)와 디코더 서브시스템(200)은 함께 또는 각각 독립적으로 구현될 수 있다.
도 3은 본 개시의 적어도 어떤 구현에 따라 구성되는, 일 예의 차세대 비디오 인코더 서브시스템(300)의 예시적인 다이어그램이다. 비디오 인코더(300)가 도 1a의 비디오 인코더(100)와 유사한 범위까지, 유사한 구성요소의 설명은 간결성을 위해 이곳에서 반복되지 않는다. 도 3은 비디오 인코더(300)의 동작과 연관된 제어 신호의 예를 도시하며, 여기서 다음과 같은 약어는 연관된 정보를 나타낼 수 있다.
scnchg 장면 변동 정보(Scene change information)
spcpx 공간 복잡도 정보(Spatial complexity information)
tpcpx 시간 복잡도 정보(Temporal complexity information)
pdist 시간 예측 거리 정보(Temporal prediction distance information)
pap 선분석 파라미터(Pre Analysis parameters)(pre scnchg, spcpx, tpcpx, pdist를 제외한 모든 다른 선분석 파라미터의 플레이스홀더)
ptyp 픽처 타입 정보(Picture types information)
pgst 픽처 그룹 구조 정보(Picture group structure information)
pptn cand. 예측 분할 후보(Prediction partitioning candidates)
cptn cand. 코딩 분할 후보(Coding Partitioning Candidates)
prp 전처리(Preprocessing)
xmtyp 변환 타입 정보(Transform type information)
xmdir 변환 방향 정보(Transform direction information)
xmmod 변환 모드(Transform mode)
ethp 팔분의 일(1/8) 픽셀 움직임 예측(One eighth (l/8th) pel motion prediction)
pptn 예측 분할(Prediction Partitioning)
cptn 코딩 분할(Coding Partitioning)
mot&cod cost 움직임 및 코딩 비용(Motion and Coding Cost)
qs 양자화기 파라미터(Quantizer parameter (Qp), 양자화기 매트릭스(Quantizer matrix (QM)) 선택을 포함하는) 양자화기 정보 집합
mv 움직임 벡터(Motion vectors)
mop 모핑 파라미터(Morphing Paramters)
syp 합성 파라미터(Synthesizing Parameters)
ddi 블록해제 및 디더 정보(Deblock and dither information)
qri 품질 복원 필터링 인덱스/정보(Quality Restoration filtering index/information)
api 적응적 정밀 필터링 인덱스/정보(Adaptive Precision filtering index/information)
fii 융합 필터링 인덱스/정보(Fusion Filtering index/information)
mod 모드 정보(Mode information)
reftyp 참조 타입 정보(Reference type information)
idir 인트라 예측 방향(Intra Prediction Direction)
이러한 제어 신호들이 도 3의 인코더(300)의 특정한 예의 기능 모듈들과 연관되는 것으로 예시되지만, 다른 구현예는 이와 달리 제어 신호들이 인코더(300)의 기능 모듈들 사이에 분산되어 있는 것을 포함할 수 있다. 본 개시는 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 개시에서 제어 신호의 구현예는 단지 도시된 특정 예의 제어 신호의 서브세트, 부가적인 제어 신호 및/또는 예시된 것과 상이한 구성의 수행만을 포함할 수 있다.
도 4는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 디코더(400)의 예시적인 다이어그램이다. 비디오 디코더(400)가 도 2의 비디오 디코더(200)와 유사한 범위까지, 유사한 구성요소의 설명은 간결성을 위해 이곳에서 반복되지 않는다. 도 4는 비디오 디코더(400)의 동작과 연관된 제어 신호의 예를 도시하며, 여기서 표시된 약자는 상기 도 3에 대하여 논의된 것과 유사한 정보를 나타낼 수 있다.
이러한 제어 신호들이 도 4의 디코더(400)의 특정한 예의 기능 모듈들과 연관되는 것으로 예시되지만, 다른 구현예는 이와 달리 제어 신호들이 디코더(400)의 기능 모듈들 사이에 분산되어 있는 것을 포함할 수 있다. 본 개시는 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 개시에서 제어 신호의 구현은 단지 도시된 특정 예의 제어 신호의 서브세트, 부가적인 제어 신호 및/또는 예시된 것과 상이한 구성의 수행만을 포함할 수 있다.
도 5a는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 인코더(500a)의 예시적인 다이어그램이다. 도 5a는 도 1a 및 도 b에 도시된 것과 유사한 인코더를 보여주며, 유사한 구성요소는 간결성을 위해 반복되지 않는다. 도 5a에 도시된 바와 같이, 인코더(500a)는 선분석기 서브시스템(510a), 분할기 서브시스템(520a), 예측 인코딩 서브시스템(530a), 변환 인코더 서브시스템(540a), 필터링 인코딩 서브시스템(550a), 엔트로피 인코더 시스템(560a), 변환 디코더 시스템(570a) 및/또는 결합기 서브시스템(unpartitioner subsystem)(580a)을 포함할 수 있다. 선분석기 서브시스템(510a)은 콘텐츠 선분석기 모듈(102) 및/또는 적응적 픽처 구성기 모듈(104)을 포함할 수 있다. 분할기 서브시스템(520a)은 예측 분할 생성기 모듈(prediction partitions generator module)(105) 및/또는 코딩 분할 생성기(107)를 포함할 수 있다. 예측 인코딩 서브시스템(530a)은 움직임 추정기 모듈(122), 특성 및 움직임 보상된 필터링 예측기 모듈(123) 및/또는 인트라-방향 예측 분석기 및 예측 생성 모듈(124)을 포함할 수 있다. 변환 인코더 서브시스템(540a)은 적응적 변환 모듈(108) 및/또는 적응적 양자화 모듈(109)을 포함할 수 있다. 필터링 인코딩 서브시스템(550a)은 블록 잡음 분석기 및 블록해제 필터링 모듈(117), 품질 분석기 및 품질 복원 필터링 모듈(118), 움직임 추정기 모듈(122), 특성 및 움직임 보상된 필터링 예측기 모듈(123) 및/또는 예측 분석기 및 예측 융합 필터링 모듈(126)을 포함할 수 있다. 엔트로피 코딩 서브시스템(560a)은 적응적 엔트로피 인코더 모듈(110)을 포함할 수 있다. 변환 디코더 시스템(570a)은 적응적 역양자 모듈(112) 및/또는 적응적 역변환 모듈(113)을 포함할 수 있다. 결합기 서브시스템(580a)은 코딩 분할 조립기(114) 및/또는 예측 분할 조립기(116)를 포함할 수 있다.
인코더(500a)의 분할기 서브시스템(520a)은 두 개의 분할 서브시스템, 즉 예측을 위해 분석 및 분할을 수행할 수 있는 예측 분할 생성기 모듈(105)과, 코딩을 위해 분석 및 분할을 수행할 수 있는 코딩 분할 생성기 모듈(107)을 포함할 수 있다. 다른 분할 방법은 픽처를 영역 또는 슬라이스로 분절할 수 있고 또한 옵션으로 이 분할기의 부분인 것으로도 간주될 수 있는 적응적 픽처 구성기(104)를 포함할 수 있다.
인코더(500a)의 예측 인코더 서브시스템(530a)은 "인터" 신호의 분석 및 예측을 수행할 수 있는 움직임 추정기(122) 및 특성 및 움직임 보상된 필터링 예측기(123)와, "인트라" 신호의 분석 및 예측을 수행할 수 있는 인트라-방향 예측 분석기 및 예측 생성 모듈(124)을 포함할 수 있다. 움직임 추정기(122) 및 특성 및 움직임 보상된 필터링 예측기(123)는 (이득, 전역적 움직임, 레지스트레이션과 같은) 다른 소스의 차를 먼저 보상하고, 그 다음으로 실제 움직임 보상을 행함으로써 예측가능성을 높일 수 있다. 이들은 또한 예측을 더 양호하게 할 수 있는 합성된 프레임(수퍼 해상도 및 프로젝션)을 생성하는 데이터 모델링을 사용하고, 뒤이어 그러한 프레임에서 실제 움직임 보상을 사용할 수 있다.
인코더(500a)의 변환 인코더 서브시스템(540a)은 변환의 유형 및 크기를 선택하기 위해 분석을 수행할 수 있으며 두 가지 주요한 유형의 컴포넌트를 포함할 수 있다. 첫 번째 유형의 컴포넌트는 소형 크기 내지 중간 크기의 블록에 대해 국부적으로 최적한 변환 코딩을 받게 하는 파라메트릭 변환(parametric transform)을 이용하게 할 수 있지만, 그러한 코딩은 약간의 오버헤드를 필요로 할 수 있다. 두 번째 유형의 컴포넌트는 DCT와 같은 일반적이고 고정 변환, 또는 파라메트릭 변환을 비롯한 몇가지 변환들 중 선택된 변환으로부터의 픽처 기반 변환을 이용하여 전역적으로 안정하고, 낮은 오버헤드 코딩을 가능하게 할 수 있다. 국부적으로 적응적 변환 코딩의 경우, PHT (Parametric Haar Transform)가 사용될 수 있다. 변환은 4x4와 64x64 사이 크기의 장방형 2D 블록에 대해 수행될 수 있고, 이때 실제 크기는 변환된 데이터가 루마 또는 크로마인지, 인터 또는 인트라인지, 그리고 사용된 변환이 PHT 또는 DCT인지와 같은 다수의 인자들에 달려 있을 수 있다. 결과적인 변환 계수는 양자화되고, 스캐닝되고 엔트로피 코딩될 수 있다.
인코더(500a)의 엔트로피 인코더 서브시스템(560a)은 각기 특정 타입의 데이터(각종 타입의 오버헤드, 움직임 벡터, 또는 변환 계수)를 효율적으로 코딩하는 목적을 가지고 있는 효율은 있지만 복잡도가 낮은 복수의 컴포넌트들을 포함할 수 있다. 이 서브시스템의 컴포넌트는 일반 부류의 저복잡도 가변 길이 코딩 기술에 속할 수 있지만, 효과적인 코딩을 위해 각 컴포넌트는 최고의 효율을 위해 맞춤 제작될 수 있다. 예를 들면, 고객 주문에 따라 맞춤 제작된 것은 "코딩된/코딩되지 않은(Coded/Not Coded)" 데이터의 코딩을 위해 설계될 수 있고, 다른 것은 "모드 및 참조 타입(Modes and Ref Types)" 데이터의 코딩을 위해, 또 다른 것은 "움직임 벡터(Motion Vector)" 데이터의 코딩을 위해, 그리고 또 다른 것은 "예측 및 코딩 분할(Prediction and Coding Partitions)" 데이터의 코딩을 위해 설계될 수 있다. 마지막으로, 엔트로피 코딩될 매우 큰 데이터 부분은 "변환 계수" 데이터이기 때문에, 특정 블록 크기의 효과적인 처리를 위한 많은 접근 방법뿐만 아니라, 다중 테이블 사이에서 적응할 수 있는 알고리즘이 사용될 수 있다.
인코더(500a)의 필터링 인코더 서브시스템(550a)은 파라미터의 분석뿐만 아니라 이들 파라미터에 기초하여 재구성된 픽처의 필터링을 복수 회 수행할 수 있으며, 여러 서브시스템을 포함할 수 있다. 예를 들면, 제 1 서스템인 즉 블록잡음 분석기 및 블록해제 필터링 모듈(117)은 임의의 잠재적인 블록 코딩 아트팩트를 줄이거나 가리기 위해 블록해제하고 디더링할 수 있다. 제 2 예의 서브시스템인 품질 분석기 및 품질 복원 필터링 모듈(118)은 임의의 비디오 코딩 시 양자화 동작으로 인한 아트팩트를 줄이기 위하여 일반적인 품질 복원을 수행할 수 있다. 움직임 추정기(122) 및 특성 및 움직임 보상된 필터링 예측기 모듈(123)을 포함할 수 있는 제 3 예의 서브시스템은 콘텐츠의 움직임 특성(움직임 속도/흐릿한 정도)에 적응하는 필터를 이용함으로써 움직임 보상의 결과를 개선할 수 있다. 제 4 예의 서브시스템인 예측 분석기 및 예측 융합 필터링 모듈(126)은 예측 신호의 적응적 필터링을 가능하게 할 수 있고(이는 예측 시, 종종 인트라 예측으로부터 생긴 불요 아트팩트를 줄일 수 있음), 그럼으로써 코딩되어야 하는 예측 에러를 줄일 수 있다.
인코더(500a)의 인코딩 제어기 모듈(103)은 주어진 자원과 희망하는 인코딩 속도의 제약 하에서 비디오 품질을 전반적으로 책임질 수 있다. 예를 들면, 임의의 단점을 이용하지 않는 풀(full) RDO (Rate Distortion Optimization) 기반 코딩에서, 소프트웨어 인코딩의 인코딩 속도는 단순히 컴퓨팅 자원(프로세서의 속도, 프로세서의 개수, 하이퍼쓰레딩, DDR3 메모리 등) 효용성의 결과일 수 있다. 그러한 경우, 인코딩 제어기 모듈(103)은 예측 파티션과 코딩 파티션의 모든 단일 조합을 실제 인코딩함으로써 입력 받을 수 있고, 비트율은 각 사례마다 재구성된 오류와 함께 계산될 수 있고, 라그랑지안 최적화 방정식(lagrangian optimization equations)에 기초하여, 예측 및 코딩 파티션의 최선의 집합이 코딩되는 각 프레임의 각 타일마다 송신될 수 있다. 풀 RDO 기반 모드는 최선의 압축 효율의 결과를 낳을 수 있으며 또한 가장 느린 인코딩 모드일 수 있다. 콘텐츠 선분석기 모듈(102)로부터의 콘텐츠 분석 파라미터를 이용함으로써 그리고 이를 RDO 단순화(모든 가능한 사례를 테스트하지 않음)하거나 또는 블록 중 특정 퍼센티지만을 풀 RDO를 거치게 함으로써, 품질 대 속도 간의 맞교환이 이루어져서 더 빠른 속도로 인코딩이 가능해질 수 있다. 지금까지 본 발명자들은 가변 비트율(VBR) 기반의 인코더 동작을 설명하였다. 인코딩 제어기 모듈(103)은 고정 비트율(CBR) 제어 코딩의 사례에서 적용될 수 있는 레이트 제어기를 또한 포함할 수 있다.
마지막으로, 인코더(500a)의 선분석기 서브시스템(510a)은 비디오 코딩 효율 및 속도 성능을 개선하는데 유용한 각종 타입의 파라미터를 계산하기 위해 콘텐츠의 분석을 수행할 수 있다. 예를 들면, 이 서브시스템은 수평 및 수직 그레디언트 정보(Rs, Cs), 분산, 픽처 당 공간 복잡도, 픽처 당 시간 복잡도, 장면 변동 검출, 움직임 범위 추정, 이득 검출, 예측 거리 추정, 객체 추정의 수, 영역 경계 검출, 공간 복잡도 맵 계산, 초점 추정, 필름 그레인(film grain) 추정 등을 계산할 수 있다. 선분석기 서브시스템(510a)에 의해 생성되는 파라미터는 인코더에 의해 소용될 수 있거나 양자화되어 디코더(200)로 통신될 수 있다.
서브시스템(510a) 내지 (580a)이 도 5a의 인코더(500a)의 특정 예의 기능 모듈들과 연관되는 것으로 예시되지만, 본 개시에서 인코더(500a)의 다른 구현예는 인코더(500a)의 기능 모듈들이 서브시스템(510a 내지 580a) 사이에 달리 분산되어 있는 것을 포함할 수 있다. 본 개시는 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 개시에서 예시적인 서브시스템(510a 내지 580a)의 구현은 단지 도시된 인코더(500a)의 특정 예의 기능 모듈의 서브세트, 부가적인 기능 모듈 및/또는 예시된 것과 상이한 구성의 수행만을 포함할 수 있다
도 5b는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 디코더(500b)의 예시적인 다이어그램이다. 도 5b는 도 2에 도시된 것과 유사한 디코더를 보여주며, 유사한 구성요소는 간결성을 위해 반복되지 않는다. 도 5b에 도시된 바와 같이, 디코더(500b)는 예측 디코더 서브시스템(530b), 필터링 디코더 서브시스템(550b), 엔트로피 디코더 서브시스템(560b), 변환 디코더 서브시스템(570b), 결합기_2 서브시스템(580b), 결합기_1 서브시스템(551b), 필터링 디코더 서브시스템(550b) 및/또는 후복원기 서브시스템(postrestorer subsystem)(590b)을 포함할 수 있다. 예측 디코더 서브시스템(530b)은 특성 및 움직임 보상된 필터링 예측기 모듈(213) 및/또는 인트라-방향 예측 생성 모듈(214)을 포함할 수 있다, 필터링 디코더 서브시스템(550b)은 블록해제 필터링 모듈(208), 품질 복원 필터링 모듈(209), 특성 및 움직임 보상된 필터링 예측기 모듈(213) 및/또는 예측 융합 필터링 모듈(216)을 포함할 수 있다. 엔트로피 디코더 서브시스템(560b)은 적응적 엔트로피 디코더 모듈(202)을 포함할 수 있다. 변환 디코더 서브시스템(570b)은 적응적 역양자 모듈(203) 및/또는 적응적 역변환 모듈(204)을 포함할 수 있다. 결합기_2 서브시스템(580b)은 코딩 분할 조립기(205)를 포함할 수 있다. 결합기_1 서브시스템(551b)은 예측 분할 조립기(207)를 포함할 수 있다. 후복원기 서브시스템(790)은 콘텐츠 후복원기 모듈(218) 및/또는 적응적 픽처 재-구성기(217)를 포함할 수 있다.
디코더(500b)의 엔트로피 디코딩 서브시스템(560b)은 인코더(500a)의 엔트로피 인코더 서브시스템(560a)의 역동작을 수행할 수 있는데, 즉 이 서브시스템은 엔트로피 인코더 서브시스템(560a)에 의해 인코딩된 각종 데이터(각종 유형의 오버헤드, 움직임 벡터, 변환 계수)를 대략 가변 길이 디코딩이라고 지칭하는 부류의 기술을 이용하여 디코딩할 수 있다. 구체적으로, 각종 유형의 디코딩되는 데이터는 "코딩된/코딩되지 않은" 데이터, "모드 및 참조 타입" 데이터, "움직임 벡터" 데이터, "예측 및 코딩 분할" 데이터 및 "변환 계수" 데이터를 포함할 수 있다.
디코더(500b)의 변환 디코더 서브시스템(570b)은 인코더(500a)의 변환 인코더 서브시스템(540a)의 동작의 역 동작을 수행할 수 있다. 변환 디코더 서브시스템(570b)은 두 가지 유형의 컴포넌트를 포함할 수 있다. 첫 번째 유형의 예시적인 컴포넌트는 소형 크기 내지 중간 블록 크기의 파라미터 역 PHT 변환의 사용을 지원할 수 있으며, 반면 다른 유형의 예시적인 컴포넌트는 모든 블록 크기에 대해 역 DCT 변환을 지원할 수 있다. 한 블록에 대해 사용된 PHT 변환은 이웃 블록의 디코딩된 데이터의 분석에 달려 있을 수 있다. 출력 비트스트림(111) 및/또는 입력 비트스트림(201)은 PHT 변환을 위한 분할/블록 크기에 관한 정보뿐만 아니라 역변환될 2D 블록의 어느 방향으로 PHT가 사용될 수 있는지에 관한 정보를 운반할 수 있다(다른 방향은 DCT를 사용한다). 순전히 DCT에 의해 코딩되는 블록의 경우, 분할/블록 크기 정보는 또한 출력 비트스트림(111) 및/또는 입력 비트스트림(201)으로부터도 검색될 수 있으며 적절한 크기의 역 DCT를 적용하는데 사용될 수 있다.
디코더(500b)의 결합기 서브시스템(580b)은 인코더(500a)의 분할기 서브시스템(520a)의 동작의 역동작을 수행할 수 있으며 두 개의 비분할 서브시스템, 즉, 코딩된 데이터의 비분할을 수행할 수 있는 코딩 분할 조립기 모듈(205) 및 예측을 위한 비분할을 수행할 수 있는 예측 분할 조립기 모듈(207)을 포함할 수 있다. 또한 만일 옵션의 적응적 픽처 구성기 모듈(104)이 영역 세그먼테이션 또는 슬라이스를 위해 인코더(500a)에서 사용되면, 적응적 픽처 재-구성기(217)가 디코더에서 필요할 수 있다.
디코더(500b)의 예측 디코더 서브시스템(530b)은 "인터" 신호의 예측을 수행할 수 있는 특성 및 움직임 보상된 필터링 예측기 모듈(213) 및 "인트라" 신호의 예측을 수행할 수 있는 인트라-방향 예측 생성 모듈(214)을 포함할 수 있다. 특성 및 움직임 보상된 필터링 예측기 모듈(213)은 먼저 (이득, 전역적 움직임, 레지스트레이션과 같은) 다른 소스의 차 또는 합성된 프레임(수퍼 해상도 및 프로젝션)의 생성을 보상하고, 그런 다음 실제 움직임 보상함으로써 예측 가능성을 높일 수 있다.
디코더(500b)의 필터링 디코더 서브시스템(550b)은 인코더(500a)에 의해 송신된 파라미터에 기초하여 재구성된 픽처의 필터링을 복수 회 수행할 수 있으며 여러 서브시스템을 포함할 수 있다. 제 1 예의 서브시스템인 블록해제 필터링 모듈(208)은 임의의 잠재적인 블록 코딩 아트팩트를 줄이거나 가리기 위해 블록해제하고 디더링을 할 수 있다. 제 2 예의 서브시스템인 품질 복원 필터링 모듈(209)은 임의의 비디오 코딩 시 양자화 동작으로 인한 아트팩트를 줄이기 위해 일반적인 품질 복원을 수행할 수 있다. 제 3 예의 서브시스템인 특성 및 움직임 보상된 필터링 예측기 모듈(213)은 콘텐츠의 움직임 특성(움직임 속도/흐릿한 정도)에 적응할 수 있는 필터를 이용함으로써 움직임 보상으로 인해 발생한 결과를 개선할 수 있다. 제 4 예의 서브시스템인 예측 융합 필터링 모듈(216)은 예측 신호의 적응적 필터링을 가능하게 하고(이것은 예측시, 종종 인트라 예측으로부터 생긴 불요 아트팩트를 줄일 수 있음), 그럼으로써 코딩되어야 하는 예측 오차를 줄일 수 있다.
디코더(500b)의 후복원기 서브시스템(590b)은 디코딩되는 비디오의 자각 품질을 추가적으로 개선할 수 있는 옵션의 블록이다. 이러한 처리는 인코더(100)에 송신된 품질 개선 파라미터에 응답하여 수행될 수 있거나 또는 후복원기 서브시스템(590b)에서 수행된 자체적 판단일 수 있다. 후복원기 서브시스템(590b)에서 품질 개선을 위해 사용될 수 있는, 인코더(100)에서 계산되는 특정 파라미터의 관점에서, 이는 인코더(100)에서 (블록화 제거 이후에도) 필름 그레인 잡음 및 잔류 블록 잡음의 추정일 수 있다. 필름 그레인 잡음에 관하여, 만일 파라미터가 계산되고 출력 비트스트림(111) 및/또는 입력 비트스트림(201)을 통해 디코더(200)로 송신될 수 있으면, 이러한 파라미터는 필름 그레인 잡음을 합성하는데 사용될 수 있다. 마찬가지로, 인코더(100)에서 임의의 잔차 블록화 아트팩트의 경우, 만일 이것들이 계측되고 출력 비트스트림(111) 및/또는 입력 비트스트림(201)을 통해 송신될 수 있으면, 후복원기 서브시스템(590b)은 이러한 파라미터를 디코딩할 수 있고 이 파라미터를 이용하여 옵션으로 추가적인 블록화 제거를 수행한 다음 디스플레이할 수 있다. 게다가, 인코더(100)는 후복원기 서브시스템(590b)에서 품질 복원에 도움을 줄 수 있는 장면 변동, 공간 복잡도, 시간 복잡도, 움직임 범위 및 예측 거리 정보에 또한 액세스할 수 있다.
서브시스템(530b 내지 590b)이 도 5b의 디코더(500b)의 특정한 예의 기능 모듈들과 연관되는 것으로 예시되지만, 본 개시에서 디코더(500b)의 다른 구현예는 디코더(500b)의 서브시스템(530b 내지 590b) 사이에 달리 분산되어 있는 것을 포함할 수 있다. 본 개시는 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 개시에서 서브시스템(530b 내지 590b)의 구현은 단지 도시된 디코더(500b)의 특정 예의 기능 모듈, 부가적인 기능 모듈의 서브세트 및/또는 예시된 것과 상이한 구성의 수행만을 포함할 수 있다.
도 6은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 인코더(600)의 예시적인 다이어그램이다. 도 6은 도 1a, 도 b 및 도 5에 도시된 것과 유사한 인코더를 보여주며, 유사한 구성요소는 간결성을 위해 반복되지 않는다. 도 6에 도시된 바와 같이, 인코더(600)는 선분석기 서브시스템(610), 분할기_1 서브시스템(619), 분할기_2 서브시스템(621), 변환 인코더 서브시스템(640), 결합기_1 서브시스템(651), 필터링_1 인코더 서브시스템(652), 필터링_2 인코더 서브시스템(653), 예측_1 및 필터링_3 인코더 서브시스템(654), 예측_2 인코더 서브시스템(655), 필터링_4 인코더 서브시스템(656), 엔트로피 인코더 서브시스템(660), 변환 디코더 서브시스템(670) 및/또는 결합기_2 서브시스템(680)을 포함할 수 있다.
선분석기 서브시스템(610)은 콘텐츠 선분석기 모듈(102) 및/또는 적응적 픽처 구성기 모듈(104)을 포함할 수 있다. 분할기_1 서브시스템(619)은 예측 분할 생성기 모듈(105)을 포함할 수 있다. 분할기_2 서브시스템(621)은 코딩 분할 생성기(107)을 포함할 수 있다. 변환 인코더 서브시스템(640)은 적응적 변환 모듈(108) 및/또는 적응적 양자화 모듈(109)을 포함할 수 있다. 결합기_1 서브시스템(651)은 예측 분할 조립기 묘듈(116)을 포함할 수 있다. 필터링_1 인코더 서브시스템(652)은 블록 잡음 분석기 및 블록해제 필터링 모듈(117)을 포함할 수 있다. 필터링_2 인코더 서브시스템(653)은 품질 분석기 및 품질 복원 필터링 모듈(118)을 포함할 수 있다. 예측_1 및 필터링_3 인코더 서브시스템(654)은 움직임 추정기 모듈(122) 및/또는 특성 및 움직임 보상된 필터링 예측기 모듈(123)을 포함할 수 있다. 예측_2 인코더 서브시스템(655)은 인트라-방향 예측 분석기 및 예측 생성 모듈(124)을 포함할 수 있다. 필터링_4 인코더 서브시스템(656)은 예측 분석기 및 예측 융합 필터링 모듈(126)을 포함할 수 있다. 엔트로피 인코더 서브시스템(660)은 적응적 엔트로피 인코더 모듈(110)을 포함할 수 있다. 변환 디코더 서브시스템(670)은 적응적 역양자 모듈(112) 및/또는 적응적 역변환 모듈(113)을 포함할 수 있다. 결합기_2 서브시스템(680)은 코딩 분할 조립기(114)을 포함할 수 있다.
인코더(600)에서 예시된 바와 같이, 압축될 비디오는 콘텐츠 선분석기 모듈(102)로 입력된 다음 적응적 픽처 구성기 모듈(104)(함께 선분석기 서브시스템(610)이라 지칭함)로 입력될 수 있다. 콘텐츠 선분석기 모듈(102)은 코딩되는 장면의 분석을 수행하여, 그의 출력에서 장면 변동(scnchg), 시간 복잡도(tpcpx), 공간 복잡도(spcpx) 및 시간 예측 거리(pdist) 등에 관한 정보를 제공한다. 또한, 콘텐츠 선분석기 모듈(102)의 출력에서 원 비디오 프레임은 적응적 픽처 구성기 모듈(104)로 입력될 수 있고, 이 적응적 픽처 구성기 모듈은 픽처 그룹 구조(pgst) 및 이에 따라서 그룹 내 각 픽처의 픽처 타입(ptyp)을 나타내는 제어 신호뿐만 아니라 필요에 따라서 인코딩 순서대로 재정렬된 픽처를 출력할 수 있다. 참고로, 본 개시의 인코딩은 3 픽처 타입, 즉 I-(인트라), P- (예측) 및 F- (기능) 픽처를 이용할 수 있다. F-픽처는 비인과 관계를 가지며 인코더에서 인코딩하기 위한 (및 디코더에서 디스플레이하기 위한) 프레임의 재정렬을 필요로 한다.
인코더(600)에서 다음의 두 블록 (함께 도 5a의 분할기 서브시스템(520a)이라고 지칭함)은 예측 및 디코딩 분할을 수행할 수 있다. 본 개시의 코딩에 있어서, 코딩될 프레임은 타일이라 불리는 프로세싱 유닛으로 나누어질 수 있다. 본 개시에서 코딩은 두 가지 타일 크기, 32x32 및 64x64를 지원할 수 있다. 64x64 크기의 타일은 표준의 정의이며 I-, P- 및 F-픽처 타입의 코딩을 위한 대형 크기의 비디오에 대해 사용될 수 있고 모든 크기의 I- 및 F-픽처의 코딩을 위해 사용될 수 있고, 반면에 32x32 크기의 타일은 더 낮은 해상도 시퀀스의 P-픽처에 대해 사용될 수 있다.
만일 코딩되는 픽처가 I-픽처이면, 모든 타일은 예측 분할 생성기 모듈(105)에서 공간을 한번에 일차원에서 (최소 크기에 도달할 때까지) 더 이상 나눔 없음, 동일한 두 개의 절반으로 나눔, 공간의 1/4 및 3/4의 두 개의 부분으로 나눔, 또는 공간의 3/4 및 1/4의 두 부분으로 나눔으로 분할할 수 있는 Kd트리 기반 분할로 더 나누어질 수 있다. 그래서, I-픽처를 최대 크기로서 64x64(및 4x4의 최소 크기를 허용함)를 이용할 때, 어떠한 다른 제약도 부과되지 않는다면, 매우 많은 수의 타일의 파티션닝이 생성될 수 있다. 예를 들면, 64x64에 부과될 수 있는 제약이라는 것은 제 1 조각 쌍이 공간을 각 차원으로 이등분하기로 이미 선-결정되어 있다는 것이다. 이것은 64x64에서 시작하여 이를 32x32 서브타일로 나눈 다음 각 32x32을 Kd트리 분할에 의해 세부분할하는 것에 불과할 수 있으며, 조합의 개수를 줄이는 다른 제약 또한 가능할 수 있다. I-픽처 타일의 이러한 파티션은, 각 타일의 분할이 공간 예측(방향 각도 예측 또는 다른 방식의 예측) 및 예측 차의 코딩을 위해 사용될 수 있으므로, 예측 파티션이라 지칭될 수 있다. 마찬가지로 P-픽처 타일도 역시 예측을 위해 이 방식으로 분할될 수 있다. P-픽처의 사례에서 주의할 것은 저해상도의 경우, P-픽처 파티션은 32x32 타일에서 시작하며 Kd트리 기반 파티션은 사용되지 않을 수 있으나 그 대신 더 간단한 이진-트리(Bi-tree) 분할이 사용될 수 있다는 것이다. 이진-트리 분할은 공간을 두 차원을 번갈아 가면서 한번에 한 차원씩 2 개의 동일 부분으로만 나눈다. 또한 비록 일부 서브파티션이 예를 들면 드러난 배경을 다루기 위해 인트라 공간 예측을 사용할 수 있을지라도, P-픽처 파티션은 주로 공간 예측보다는 (하나 이상의 참조를 이용한) 움직임을 이용하여 예측될 수 있다. 더 큰 픽처 크기에 대한 표준 정의의 경우, P-픽처는 오직 64x64 타일 크기부터 시작할 수 있다. 마지막으로, 비록 일부 서브파티션이 또한 (인트라 코딩하기 위해) 공간 예측을 사용할 수 있을지라도, F-픽처 또한 주로 움직임을 이용할 수 있는 (하나 이상의 파티션을 가진) 예측 파티션을 생성하기 위해 64x64 타일 크기의 이진-트리 분할을 사용할 수 있다. 본 개시의 코딩 시, 단순히 움직임 벡터를 이용하여 예측을 생성하는 것보다 훨씬 더 많은 인터 예측을 생성할 수 있다. P-픽처 및 F-픽처 코딩 시, 각 서브파티션의 예측은 예측 모드(스킵, 자동, 인터, 멀티 및 인트라)를 포함시킴으로써 식별될 수 있다. 예측 분리 생성기 모듈(105)의 출력은 (대략 부과된 제한에 따라서) 말 그대로 타일의 수백의 잠재적 분할일 수 있다. 이러한 분할은 1...m으로서 색인될 수 있고 최선의 가능한 예측 분할을 선택하기 위해 인코딩 제어기(103)로 제공될 수 있다.
분할된 원 블록은 임의의 잔차 신호 가치 인코딩(residual signal worth encoding)이 존재하는지를 결정하기 위해 예측 블록과 차가 계산될 수 있다(예측 블록의 생성은 나중에 상세히 설명된다). 그래서 어떤 서브파티션에 대해 예측이 충분하였을 수 있으므로 타일의 서브파티션들이 모두 다 실제로 (변환 코딩을 이용하여) 코딩될 필요는 없다.
예측에 의해서만 보상될 수 없는 파티션은 변환 코딩을 위해 더 작은 파티션으로 추가적인 세부 분할을 필요로 할 수 있다. P-픽처 및 F-픽처의 경우, 코딩을 위한 이러한 세부 분할은 추가 분할을 필요로 하는 예측 차 파티션을 코딩하기 위해 이진-트리 분할을 이용할 수 있는 코딩 분리 생성기(107)를 이용하여 달성될 수 있고, 다른 것은 간단하게 움직임 보상에 의해 코딩될 수 있다. P-픽처 또는 F-픽처에서, 단지 몇몇 사례(매우 간단한 콘텐츠 및/또는 큰 양자화기 스텝 크기)에서만, 코딩 파티션은 이러한 사례에서 예측 파티션에 의해 사용되는 크기와 동일한 크기일 수 있는, 전체 타일의 크기를 같게 할 수 있다. 그래서, 일부의 P-픽처 및 F-픽처 타일에는 아무 코딩 분할도 없거나, 한번의 코딩 분할, 또는 복수의 코딩 분할이 포함되어 있을 수 있다. 이러한 분할은 1...n으로 색인될 수 있으며 주어진 선택 중에서 예측 분할과 코딩 분할의 최선의 가능한 조합을 선택하기 위해 인코딩 제어기(103)로 제공될 수 있다. I-픽처 타일에 대해서는 오직 예측 분할한 다음 본질적으로 더 이상의 코딩 분할을 하지 않고 실제 변환 코딩이 수행될 수 있다. 다시 말해서, 코딩 분할은 건너뛸 수 있다.
양자화기 적응을 수행할 수 있는 다음의 두 블록(적응적 변환 모듈(108) 및 적응적 양자화 모듈(109)) 및 인코딩 제어기(103)의 일부분은 일괄하여 도 5a에서 변환 인코더 서브시스템(540)이라고 지칭되며, 아래에서 설명된다.
(I-픽처의 예측 분할, 그리고 P-픽처 및 F-픽처의 코딩 분할한 이후) 파티션은 장방형 블록에 대해 포워드 하이브리드 PHT 변환 또는 포워드 DCT 변환을 수행할 수 있는 적응적 변환 모듈(108)에서 변환 코딩된다. HPHT 변환의 경우, 소형 크기 내지 중간 블록 크기가 지원될 수 있지만 DCT 변환의 경우에는 다수의 블록 크기가 지원될 수 있다. 파티션/블록 크기뿐만 아니라 이용된 변환(HPHT 대 DCT)의 선택은 RDO 분석의 결과에 달려 있을 수 있다. HPHT 변환의 경우, DCT가 적용될 수 있는 방향, 즉 수평 또는 수직 방향을 식별하기 위해 약간의 오버헤드가 필요할 수 있고, 반면 PHT는 직교 방향으로 적용될 수 있고, 뿐만 아니라 (모드가 디코딩된 픽셀 또는 예측 차 픽셀에 기초할 수 있는 적어도 인트라-코딩하기 위한) 모드가 적용될 수 있다. 특정 블록을 변환하기 위해 사용되는 실제 PHT 변환의 기준은 디코딩된 이웃 블록에 달려 있을 수 있으므로 콘텐츠 적응적일 수 있다. 두 인코더(100) 및 디코더(200)가 모두 동일한 기저 행렬(basis matrix)의 계산을 필요로 할 수 있기 때문에, (두 인코더(100) 및 디코더(200)에게) 알려진 괜찮은 변환의 제한 횟수를 선택하게 함으로써 계산 복잡도가 낮게 유지될 수 있다. 적응적 양자화 모듈(109)에 대하여, 이 모듈은 국부적 적응적 양자 파라미터를 찾아내기 위해 콘텐츠의 분석을 수행할 수 있고, 이 국부적 적응적 양자 파라미터는 효과적으로 코딩되어 비트스트림에 포함될 수 있는 멀티-레벨 맵에 의해 표현될 수 있다. 계산된 양자화기 집합(qs 및 계수 블록에 적용된 행렬)은 계수의 크기조정을 수행하기 위해 적응적 양자화 모듈(109) 유닛에 의해 사용될 수 있다.
디코더로 송신될 필요가 있는 각종 신호 및 데이터 아이템, 즉 pgst , ptyp , prp, pptn , cptn , modes, reftype , ethp , xmtyp , xmdir , xmmod , idir , mv , qs , mop, syp , ddi , qri , api, fii 및 양자 계수 등은 일괄하여 엔트로피 인코더 서브시스템(660)이라고 지칭되는 여러 엔트로피 코더를 포함할 수 있는 적응적 엔트로피 인코더(110)에 의해 엔트로피 인코딩될 수 있다.
인코더(600)는 로컬 디코딩 루프를 포함할 수 있다. RDO가 동작하는 방법에 따라서, 타일의 수백 이상의 분할이 모두 다 풀(full) 코딩될 필요는 없을 수 있다(때로는 비트카운트의 룩업이면 충분할 수 있다). 그러나 타일의 최선의 분할이 결정된 후, 분명히 그 경우에는 풀코딩이 필요할 수 있다. 디코딩 루프에서 처음 두 유닛은 적응적 역양자 모듈(112) 및 적응적 역변환 모듈(113)(일괄하여 변환 디코더 서브시스템(670)이라고 지칭함)일 수 있다. 적응적 역양자 모듈(112)의 동작은 적응적 양자화 모듈(109)의 반대일 수 있으며 기본적으로는 조정된 변환 계수를 역조정할 수 있다(손실 프로세스). 또한, 적응적 역변환 모듈(113)은 역양자화된 변환 계수 블록을 반전하여 재구성된 예측 차 픽셀의 블록을 생성할 수 있다. P-픽처 및 F-픽처의 경우, 디코딩된 픽셀 차 블록은 코딩 분리 조립기 모듈(114)에 의해 올바른 순서대로 재조립될 수 있다. I-픽처 타일을 분할하는 경우, 코딩 분할 재조립 프로세스는 건너뛸 수 있다. 그 다음, 로컬 디코딩 루프에서, (인터 또는 인트라) 예측 신호는 가산기(115)를 이용하여 디코딩된 파티션에 더해질 수 있고, 가산기(115)의 출력에서 재구성된 파티션은 예측 분리 조립기(116)에 의해 조립될 수 있다.
그 다음 단계의 집합은 필터링 및 필터링과 예측 생성의 혼합 단계를 포함할 수 있다. 구체적으로, 재구성된 파티션은 블록 잡음 분석기 및 블록해제 필터링 모듈(117)에 의해 블록해제되고 디더링될 수 있고, 분석을 위한 파라미터 ddi는 필터링 동작을 위해 사용될 수 있으며 또한 코딩된 다음 비트스트림을 통해 디코더로 송신될 수 있다. 이후 블록해제되고 재구성 출력은, QR 필터링 파라미터를 계산할 수 있고 이 파라미터를 이용하여 필터링할 수 있는, 품질 분석기 및 품질 복원 필터링 모듈(118)로 전달될 수 있다. 이러한 파라미터는 또한 코딩되고 비트스트림을 통해 디코더로 송신될 수 있다. QR 필터링된 출력은 미래의 프레임을 코딩하기 위한 예측으로서도 사용될 수 있는 최종의 재구성된 프레임일 수 있다.
도 5a에서 예측 인코더 서브시스템(530b)으로서 도시된 예측 프로세스는 인터 예측 및 인트라 예측을 위한 두 개의 주요 서브시스템을 포함할 수 있다. 본 개시는 여러 타입의 모핑을 이용하여 움직임 보상된 예측에 앞서 이득, 우세한 움직임(dominant motion), 레지스트레이션 및/또는 블러를 보상해주는 로컬 버퍼/예측 픽처, 뿐만 아니라 움직임 보상된 예측이 더욱 높은 이득을 발생할 수 있는 여러 타입의 합성된 프레임(다른 것들 중에서 SR(Super Resolution) 픽처, PI (Projected Interpolation(투사 보간) 픽처)를 생성할 수 있다. 모핑 분석기 및 모핑된 픽처 생성 모듈(120)은 코딩되는 참조 프레임에 대하여 이득의 변동, 우세한 움직임의 변동, 레지스트레이션의 변동 및 블러의 변동에 관한 파라미터를 계산함으로써 현재 픽처의 분석 작업을 수행할 수 있다. 계산된 mop 파라미터는 양자화/역양자화되며 현재 프레임의 효과적인 움직임(및 특성) 보상된 예측에 필요한 움직임 벡터를 계산하기 위해 움직임 추정기에 의해 사용될 수 있는 모핑된 참조 프레임을 생성하는데 사용될 수 있다. 마찬가지로, 합성 분석기 및 생성 모듈(121)은 이들 프레임에서 효과적인 움직임 보상된 예측에 필요한 움직임 벡터를 계산하기 위해 움직임 추정기에서 사용하기 위한 움직임에 대한 SR 픽처 및 PI 픽처를 생성하기 위한 분석 작업을 수행할 수 있다.
한 가지 주목할 흥미로운 것은 예측_1 및 필터링_3 인코더 서브시스템(654)이 필터링 및 예측에 밀접하게 관계될 수 있다는 것이다. 그의 필터링 파라미터 api는 코딩되고 비트스트림을 통해 디코더로 송신될 수 있다. 주목할 다른 것은 예측_2 인코더 서브시스템(655)이 공간 방향 예측을 참조하고 디코딩된 이웃 파티션을 이용한다는 것이며, 예측의 분석 및 예측의 실제 생성의 두 가지가 이 서브시스템에서 발생하기 때문에, 여기서 이 서브시스템은 인트라-방향 예측 분석기 및 예측 생성 모듈(124)이라고 지칭된다.
예측 모드 및 참조 타입 분석기(125)는 예측 모드를 "스킵", "인터", "멀티" 및 "인트라" 중에서 선택하게 해주는데, 이 때 이들 모두는 타일의 각 파티션마다 P-픽처 및 F-픽처에 적용되며, 이것은 아래의 표 1에서 도시된다. 예측 모드 이외에, 이것은 "인터" 또는 "멀티" 모드에 따라서뿐만 아니라, P-픽처 및 F-픽처에 대해서도 달라질 수 있는 참조 타입을 또한 선택할 수 있게 해주며, 참조 타입의 상세한 리스트는 P-픽처에 대해서는 표 2a 및 b에서 도시되며, F-픽처에 대해서는 표 3a, 표 3b, 표 3c 및 표 3d에서 도시된다.
아래에서 도시되는 표 1 내지 표 3d는 코드북 엔트리의 일 예를 도시한다. 엔트리의 전체 코드북은 가능한 모든 엔트리와 그의 코딩의 전체 또는 실질적으로 전체 리스트를 제공할 수 있다. 일부의 예에서, 코드북은 앞에서 기술한 바와 같은 제약을 고려할 수 있다. 일부 예에서, 예측 모드 및/또는 참조 타입에 관한 코드북 엔트리와 연관된 데이터는 본 개시에서 설명된 바와 같이 디코더에서 사용하기 위해 비트스트림으로 인코딩될 수 있다.
[표 1]
Figure 112015035945444-pct00001
[표 2a]
Figure 112015035945444-pct00002
[표 2b]
Figure 112015035945444-pct00003
[표 3a]
Figure 112015035945444-pct00004
[표 3b]
Figure 112015035945444-pct00005
[표 3c]
Figure 112015035945444-pct00006
[표 3d]
Figure 112015035945444-pct00007
예측 모드 및 참조 타입 분석기(125)의 출력에서 예측 신호는 이러한 필터링에 사용하기 위해 파라미터(필터링 계수, 빈도수, 오버헤드)를 먼저 결정하고 그리고 나서 이러한 필터링을 실제로 수행할 수 있는 예측 융합 분석기 및 필터 생성 모듈(126)(필터링_4 인코더 서브시스템(656))에 의해 필터될 수 있다. 예측 신호를 필터링하는 목적은 상이한 모드, 즉, 인트라, 인터, 멀티, 스킵 및 자동을 나타내는 상이한 타입의 신호를 융합하려는 것이다. 전형적으로, 인트라 예측 신호는 모든 다른 타입의 인터 신호/들과 아주 다르게 보이기 때문에, 적절한 필터링은 코딩 효율에 크게 기여될 수 있다. 필터링 파라미터, fii는 디코더에 의해 사용하기 위해 비트스트림으로 인코딩될 수 있다. 필터링된 예측은 앞에서 논의된 코딩에 필요한 예측 차 신호를 계산하는 차분기(differencer)로의 제 2 입력을 형성한다. 또한, 동일한 필터링된 예측 신호는 가산기(115)로의 제 2 입력을 형성하고, 가산기의 제 1 입력은 양자화/역양자화되고 디코딩된 차 신호일 수 있다.
마지막으로, 적응적 엔트로피 인코더(600)는 각종 타입의 제어 데이터/신호, 파라미터, 모드 및 참조 타입, 움직임 벡터 및 변환 계수를 인코딩하는데 사용될 수 있다. 이 인코더는 일반 부류의 저복잡도 엔트로피 코더인 소위 적응적 가변 길이 코더(vlc)를 기반으로 한다. 엔트로피 코딩될 데이터는 여러 카테고리(본 개시의 일부 양태에서는 7)로 나누어질 수 있으며, 일반 vlc 코더부터 시작하여 특화된 코더가 각 카테고리마다 개발될 수 있다.
서브시스템(610 내지 680)이 도 6의 인코더(600)의 특정한 예의 기능 모듈들과 연관되는 것으로 예시되지만, 본 개시에서 인코더(600)의 다른 구현예는 인코더(600)의 기능 모듈들이 서브시스템(610 내지 680) 사이에 달리 분산되어 있는 것을 포함할 수 있다. 본 개시는 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 개시에서 서브시스템(610 내지 680)의 구현예는 본 개시에서 인코더(600)의 특정한 예의 기능 모듈, 부가적인 기능 모듈의 서브세트 및/또는 예시된 것과 상이한 구성의 수행만을 포함할 수 있다.
도 7은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 디코더(700)의 예시적인 다이어그램이다. 도 7은 도 2에 도시된 것과 유사한 디코더를 보여주며, 유사한 구성요소는 간결성을 위해 반복되지 않는다. 도 7에 도시된 바와 같이, 디코더(700)는 엔트로피 디코더 서브시스템(760), 변환 디코더 서브시스템(770), 결합기_2 서브시스템(780), 결합기_1 서브시스템(751), 필터링_1 디코더 서브시스템(752), 필터링_2 디코더 서브시스템(753), 예측_1 및 필터링_3 디코더 서브시스템(754), 예측_2 디코더 서브시스템(755), 필터링_4 디코더 서브시스템(756) 및/또는 후복원기 서브시스템(790)을 포함할 수 있다. 엔트로피 디코더 서브시스템(760)은 적응적 엔트로피 디코더 모듈(202)을 포함할 수 있다. 변환 디코더 서브시스템(770)은 적응적 역양자 모듈(203) 및/또는 적응적 역변환 모듈(204)을 포함할 수 있다. 결합기_2 서브시스템(780)은 코딩 분리 조립기(205)를 포함할 수 있다. 결합기_1 서브시스템(751)은 예측 분리 조립기(207)를 포함할 수 있다. 필터링_1 디코더 서브시스템(752)은 블록해제 필터링 모듈(208)을 포함할 수 있다. 필터링_2 디코더 서브시스템(753)은 품질 복원 필터링 모듈(209)을 포함할 수 있다. 예측_1 및 필터링_3 디코더 서브시스템(754)은 특성 및 움직임 보상된 필터링 예측기 모듈(213)을 포함할 수 있다. 예측_2 디코더 서브시스템(755)은 인트라-방향 예측 생성 모듈(214)을 포함할 수 있다. 필터링_4 디코더 서브시스템(756)은 예측 융합 필터링 모듈(216)을 포함할 수 있다. 후복원기 서브시스템(790)은 콘텐츠 후복원기 모듈(218) 및/또는 적응적 픽처 재-구성기(217)를 포함할 수 있다.
이 디코더(700)의 일반적인 동작은, 파라미터가 실제로 비트스트림(201)을 통해 디코더(700)로 송신될 수 있으므로 디코더 내 움직임 보상 디코딩 루프는 파라미터를 결정하기 위해 분석을 필요로 하는 임의의 컴포넌트를 필요로 하지 않는다고 앞에서 주의하면서 설명한 인코더(600) 내 로컬 디코딩 루프와 유사할 수 있다. 디코딩될 비트스트림은 헤더, 제어 신호 및 인코딩된 데이터를 디코딩하는 적응적 엔트로피 디코더 모듈(202)로 입력될 수 있다. 예를 들면, 이 디코더는 디코더 전체에서 사용하기 위해 분배될 수 있는 오버헤드, 제어 신호 및 데이터를 구성하는 ptyp , pgst , prp , pptn , cptn , ethp , mop, syp , mod, reftyp , idir , qs , xmtyp, xmdir , xmmod , ddi , qri , api, fii , mv 및 양자화된 변환 계수를 디코딩한다. 이후, 양자화된 변환 계수는 적응적 역양자 모듈(203)에 의해 역양자화되어 사용되었던 코딩 분할에 따라 조립될 수 있는 디코딩된 픽셀 차의 장방형 파티션을 생성할 수 있고, 이것은 예측에 가산되어 움직임 분할에 따라 그 결과 추가로 재조립되는 재구성된 코딩된 파티션을 생성하여, 블록해제 필터링 모듈(208)에서 디코딩된 ddi 파라미터를 이용하여 블록화 제거되고 디더링되는 재구성된 타일 및 프레임을 생성하고, 뒤이어 품질 복원 필터링 모듈(209)에서 디코딩된 qri 파라미터를 이용하여 품질 복원 필터링되어, 최종의 재구성된 프레임을 생성할 수 있다. 최종의 재구성된 프레임은 디코딩된 mop 파라미터를 적용함으로써 생성된 모핑된 픽처/로컬 버퍼를 이용하여 디코딩된 픽처 버퍼(210)에서 저장될 수 있다. 마찬가지로, 합성된 픽처 버퍼는 디코딩된 syp 파라미터를 디코딩된 픽처 버퍼(210)에 적용함으로써 생성될 수 있다. 모핑된 로컬 버퍼 및 합성된 프레임은 api 파라미터에 기초하여 적응적 정밀(adaptive precision (AP)) 필터링을 이용하고 그리고 디코딩된 ethp 신호에 따라서 1/4 또는 1/8 픽셀 예측을 유지하는 움직임 보상된 예측에 사용될 수 있다. 실제로, 특성 & 움직임 AP 필터링 1/4 & 1/8 픽셀 보상된 예측기는 모드에 따라서 "인터", "멀티", "스킵" 또는 "자동" 분할을 발생하는 반면, 인트라-방향 예측 생성 모듈(214)은 "인트라" 파티션을 발생하며 예측 모드 선택기 모듈(215)은 올바른 모드의 파티션이 통과하게 할 수 있다. 다음 단계는 가산기(206)에 제공되는 제 2 입력에서 필요에 따라 예측을 필터링하고 출력하기 위해 예측 융합 필터링 모듈(216)을 선택적으로 사용하는 것을 포함한다.
품질 복원 필터링 모듈(209)의 출력에서 재구성된 프레임은 (F-프레임이 순서대로 되어 있지 않으므로) ptyp 및 pgst의 제어 파라미터에 응답하여 적응적 픽처 재-구성기(217)에 의해 순서대로 정렬될 수 있으며, 또한 적응적 픽처 재-구성기(217)의 출력은 인코더에 의해 송신된 prp 파라미터에 의해 제어될 수 있는 콘텐츠 후복원기(218)에서 옵션으로 처리될 수 있다. 이러한 처리는 다른 것들 중에서 블록화 제거 및 필름 그레인 추가를 포함한다.
서브시스템(751 내지 790)이 도 7의 디코더(700)의 특정한 예의 기능 모듈들과 연관되는 것으로 예시되지만, 본 개시에서 디코더(700)의 다른 구현예는 디코더(700)의 기능 모듈들이 서브시스템(751 내지 790) 사이에 달리 분산되어 있는 것을 포함할 수 있다. 본 개시는 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 개시에서 서브시스템(751 내지 790)의 구현은 단지 도시된 디코더(700)의 특정 예의 특정 예의 기능 모듈의 서브세트, 부가적인 기능 모듈 및/또는 예시된 것과 상이한 구성의 수행만을 포함할 수 있다.
도 8은 본 개시의 적어도 일부 구현예에 따라서 구성된, 예측 분할을 위한 일 예의 타일 또는 수퍼-프래그먼트를 가진 일 예의 비디오 프레임(810)을 도시한다. 비디오 프레임(810)은 코딩을 위한 임의의 적절한 비디오 이미지, 프레임, 픽처, 또는 데이터 등을 포함할 수 있다. 도시된 예에서, 810은 예시적인 목적을 위한 "플라워" 테스트 시퀀스로부터의 비디오 프레임을 포함한다. 논의된 바와 같이, 비디오 프레임(810)은 프레임 부분(예를 들면, 타일 또는 수퍼-프래그먼트)로 분절될 수 있다. 프레임 부분은 아래에서 설명되는 것처럼 다시 분할될 수 있다. 비디오 프레임(810)은 임의의 적절한 기술이나 기술들을 이용하여 프레임 부분으로 나누어질 수 있다. 일부 예에서, 비디오 프레임(810)은 타일 경계부(330)를 거쳐서 타일(820-1 내지 820-30)(도 8에서, 표현의 명료성을 기하기 위해 매 타일마다 번호를 붙이지 않음)로 나누어질 수 있고 그래서 타일(820-1 내지 820-30)은 분할을 위한 비디오 프레임 부분일 수 있다. 비디오 프레임(810)은 임의 개수의 타일(820)을 포함할 수 있으며 타일(820)은 임의의 크기일 수 있다. 일부 예에서, 타일(820)은 64x64 픽셀일 수 있다. 또한, 타일(820)은 임의의 형태를 가질 수 있다. 다양한 예에서, 타일(820)은 정방형(square)이나 장방형(rectangular)일 수 있다. 또한, 도시된 바와 같이, 타일(820)은 비디오 프레임(810) 내에서 여러 형상과 크기를 가질 수 있다. 예를 들면, 타일(820-3)은 정방형이고 64x64 픽셀일 수 있고, 타일(820-12)은 장방형이고 32x64 픽셀일 수 있고, 타일(820-30)은 정방형이고 32x32 픽셀 등일 수 있다.
다른 예에서, 분할을 위한 비디오 프레임 부분은 수퍼-프래그먼트일 수 있다. 예를 들면, 수퍼-프래그먼트를 결정하기 위해, 비디오 프레임(810)은 하나 이상의 영역 계층으로 분절될 수 있다. 이러한 분절은 임의의 정밀도(예를 들면, 픽셀 해상도)로 수행될 수 있으며 비트-비용의 관점에서 효율성 제약에 기초하여 임의의 해상도로 양자화될 수 있다. 예를 들면, 분절은 4-픽셀, 8-픽셀, 또는 16-픽셀 정밀도(예를 들면, 4 픽셀, 8 픽셀, 또는 16 픽셀의 정밀도) 등으로 수행될 수 있다. 이제 도 10을 참조하면, 비디오 프레임을 영역 계층으로 분절하는 것이 도시된다.
도 10은 본 개시의 적어도 일부의 구현예에 따라서 구성된, 비디오 프레임(810)의 일 예의 영역 계층 분절을 도시한다. 도 10에 도시된 바와 같이, 비디오 프레임(810)은 하나 이상의 영역 계층으로 분절될 수 있다. 도 10의 예시된 예에서, 비디오 프레임(810)은 두 개의 영역 계층, 즉 영역 계층(1010) 및 영역 계층(1020)으로 분절될 수 있다. 도 10에서, 영역 계층(1010)은 표시가 없는 비디오 프레임 세그먼트를 포함하며 영역 계층(1020)은 점이 표시된 비디오 프레임 세그먼트를 포함한다. 예를 들면, 영역 계층(1010)은 비디오 프레임(810)의 배경 부분을 나타낼 수 있고 영역 계층(1020)은 비디오 프레임(810)의 전경 부분을 나타낼 수 있다. 일부 예에서, 영역 계층은 장면 등의 전경, 배경, 그리고 미들-그라운드(또는 복수의 미들-그라운드)를 표현할 수 있다. 일부 예에서, 일부 예에서, 비디오 프레임(810)은 단일의 영역 계층을 포함할 수 있다. 일부 예에서, 비디오 프레임(810)은 3, 4, 5 또는 그 이상의 영역 계층을 포함할 수 있다. 일부 예에서, 비디오 프레임(810)의 분절은 예측 분리 생성기 모듈(105)(도 1 참조할 것)에 의해 수행될 수 있다. 일부 예에서, 비디오 프레임(810)의 분절은 적응적 픽처 구성기(104)와 예측 분리 생성기(105) 사이에 삽입되어 있는 다른 모듈(예를 들면, 타일 또는 수퍼-프래그먼트 생성기 모듈)에 의해 수행될 수 있다. 일부 예에서, 비디오 프레임(810)의 분절은 적응적 픽처 구성기 모듈(104)(또는 예를 들면, 적응적 픽처 구성기 모듈(104)의 타일 또는 수퍼-프래그먼트 생성기 모듈)에 의해 수행될 수 있다. 분절은 임의의 적합한 기술이나 기술들을 이용하여 수행될 수 있다. 일부 예에서, 분절은 심볼-런 코딩 기술(a symbol-run coding technique)을 포함할 수 있다.
또한, 영역 경계부(예를 들면, 영역 계층(1010)과 영역 계층(1020) 등 사이의 경계부)는 인코더(100) 및/또는 디코더(200)에서 사용하기 위해 코딩될 수 있다. 영역 경계부 코딩은 임의의 적합한 기술이나 기술들을 이용하여 수행될 수 있다. 일부 예에서, 영역 경계부 코딩은 심볼-런 코딩 기술을 포함할 수 있다. 일 예에서, 영역 경계부 코딩은 타일 그리드 상의 영역 경계부와 근사화한 코드북을 생성하는 과정을 포함할 수 있다. 예를 들면, (도 8의 타일(820)에 대응 또는 대응하지 않을 수 있는) 타일 그리드는 32x32 픽셀 또는 64x64 픽셀 등의 크기를 갖는 등 간격으로 이격된 타일 그리드일 수 있다.
도 8을 되돌아 보면, 영역 계층(1010) 및 영역 계층(1020)은 영역 계층(1020)이 비디오 프레임(810)의 화상을 가리는 것으로 도시되고 영역 계층(1010)은 비디오 프레임(810)의 화상을 가리지 않은 것으로 도시되도록 도시된다. 또한, 논의된 것처럼, 비디오 프레임은 타일(820-1 내지 820-30)로 분리될 수 있다. 일부 예에서, 분할을 위한 프레임 부분은 도 9에 도시된 바와 같이 타일의 개개 영역 계층 부분을 포함하는 수퍼-프래그먼트를 포함할 수 있다.
도 9는 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 비디오 프레임(810)의 타일(820-1 내지 820-30) 한 행의 수퍼-프래그먼트(901 내지 911)의 예를 도시한다. 도시된 바와 같이, 수퍼-프래그먼트(901 내지 911)는 영역 계층에 있는 타일의 부분들을 포함할 수 있다. 예를 들면, 수퍼-프래그먼트(901)는 영역 계층(1010) 내 타일(820-13)의 부분을 포함할 수 있고, 수퍼-프래그먼트(902)는 영역 계층(1020) 내 타일(820-13)의 부분을 포함할 수 있고, 수퍼-프래그먼트(903)는 영역 계층(1010) 내 타일(820-14)의 부분을 포함할 수 있다. 도시된 것처럼, 수퍼-프래그먼트는 실질적으로 (설명된 분절 동작의 정밀도에 의해서만 제한되는) 임의의 형상 및 크기를 가질 수 있다. 예를 들면, 수퍼-프래그먼트(903, 910 및 911)는 각기 전체 타일(820-14, 820-17 및 820-18)일 수 있고, 그래서 그러한 수퍼-프래그먼트는 이들의 각 타일과 동일한 형상을 가질 수 있다. 또한, 수퍼-프래그먼트(901 및 904 내지 909)는 각종의 가능한 형상을 보이며 많은 다른 것들 역시 그렇게 가능하다. 또한, 수퍼-프래그먼트(904)는 수퍼-프래그먼트가 이어져 있을 필요가 없다는 것을 도시한다.
도 11a 및 도 11b는 본 개시의 적어도 일부의 구현예에 따라서 구성된, 영역 계층(1120, 1130, 1140)으로 분절되고, 타일(1150a 내지 1150d)에 따라서 수퍼-프래그먼트(1161 내지 1169)로 분할된 일 예의 비디오 프레임(1110)을 도시한다. 도 11a에 도시되고 앞에서 논의된 바와 같이, 비디오 프레임(1110)(표현의 명료성을 기하기 위해 비디오 프레임의 일부분이 예시된다)은 예를 들면, 앞에서 논의된 바와 같이 예측 분리 생성기 모듈(105) 또는 적응적 픽처 구성기 모듈(104)을 통해 심볼-런 코딩과 같은 임의의 적합한 기술을 이용하여 영역 계층(1120, 1130, 1140)으로 분절될 수 있다. 일부 예에서, 영역 계층(1120, 1130, 1140)은 장면 등의 전경, 배경, 그리고 미들-그라운드를 표현할 수 있다. 도 11b에 도시된 바와 같이, 영역 계층(1120, 1130, 1140)은 앞에서 논의된 바와 같이 비디오 프레임(1110)에 대해 정의될 수 있는(예를 들면, 비디오 프레임(1110)은 타일(1150a 내지 1150d)로 나누어질 수 있음), 타일(1150a 내지 1150d)로 덮이거나 결합되어, 수퍼-프래그먼트(1161 내지 1169)의 각각이 영역 계층에 있거나 영역 계층 내의 타일의 부분을 포함할 수 있도록 수퍼-프래그먼트(1161 내지 1169)를 정의할 수 있다.
예를 들면, 수퍼-프래그먼트(1161)는 영역 계층(1120)에 있거나 그 내부의 타일(1150a)의 부분을 포함할 수 있고, 수퍼-프래그먼트(1162)는 영역 계층(1130)에 있거나 그 내부의 타일(1150a)의 부분을 포함할 수 있고, 수퍼-프래그먼트(1163)는 영역 계층(1120)에 있거나 그 내부의 타일(1150b)의 부분(예를 들면, 타일(1150b) 모두)을 포함할 수 있고, 수퍼-프래그먼트(1164)는 영역 계층(1130)에 있거나 그 내부의 타일(1150c)의 부분을 포함할 수 있고, 수퍼-프래그먼트(1165)는 영역 계층(1120)에 있거나 그 내부의 타일(1150c)의 부분을 포함할 수 있고, 수퍼-프래그먼트(1166)는 영역 계층(1140)에 있거나 그 내부의 타일(1150c)의 부분을 포함할 수 있고, 수퍼-프래그먼트(1167)는 영역 계층(1130)에 있거나 그 내부의 타일(1150d)의 부분을 포함할 수 있고, 수퍼-프래그먼트(1168)는 영역 계층(1120)에 있거나 그 내부의 타일(1150d)의 부분을 포함할 수 있으며, 그리고 수퍼-프래그먼트(1169)는 영역 계층(1140)에 있거나 그 내부의 타일(1150d)의 부분을 포함할 수 있다. 도 11b에서, 수퍼-프래그먼트 경계부는 영역 계층 경계부를 나타내는 두 실선과 타일 경계부를 나타내는 두 점선으로 정의된다는 것을 주목하자.
논의된 바와 같이, 프레임 부분은 비디오 프레임을 타일로 나눔으로써 또는 수퍼-프래그먼트를 정의함으로써 정의될 수 있다. 일부 예에서, 타일을 이용하는 것은 단순화라는 장점을 제공할 수 있는 반면에 수퍼-프래그먼트는 더 복잡하지만 강화된 인터- 또는 인트라-예측 또는 이미지 강화라는 장점을 제공할 수 있다. 어느 경우에서도, 프레임 부분은 본 개시에서 논의된 바와 같이 분할될 수 있다.
아래에서 더 논의되는 것처럼, 비디오 프레임(810)을 타일 또는 수퍼-프래그먼트로 분절하는 것은 예측 분리 생성기 모듈(105)(또는 예측 분리 생성기 모듈(105)의 타일 또는 수퍼-프래그먼트 생성기 모듈)에 의해, 적응적 픽처 구성기(104)와 예측 분리 생성기 모듈(105) 사이에 삽입된 다른 모듈(예를 들면, 타일 또는 수퍼-프래그먼트 생성기 모듈)에 의해, 또는 적응적 픽처 구성기 모듈(104)(또는 예를 들면, 적응적 픽처 구성기 모듈(104)의 타일 또는 수퍼-프래그먼트 생성기 모듈)에 의해 수행될 수 있다.
도 12a 및 도 12b)는 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 인코더 서브시스템(1200 및 1210)의 예시적인 다이어그램이다. 일부 예에서, 인코더 서브시스템(1200 또는 1210)은 도 1에 도시된 바와 같은 인코더(100)를 통해 구현될 수 있다. 도 12a에 도시된 바와 같이, 인코더 서브시스템(1200)은 앞에서 논의된 바와 같이 예측 분리 생성기 모듈(105)을 포함할 수 있다. 도시된 바와 같이, 일부 예에서, 예측 분리 생성기 모듈(105)은 본 개시에서 논의된 것처럼 타일 또는 수퍼-프래그먼트를 생성할 수 있는 타일 또는 수퍼-프래그먼트 생성기 모듈(1201)을 포함할 수 있다.
도 12b에 도시된 바와 같이, 인코더 서브시스템(1210)은 (일부 구현예에서 인코더 서브시스템(1210)의 일부분으로 간주되지 않을 수 있는) 적응적 픽처 구성기(104)와 예측 분리 생성기(105) 사이에서 구현된 별개의 타일 또는 수퍼-프래그먼트 생성기 모듈(1201)을 포함할 수 있다. 다른 예에서, 별개의 타일 또는 수퍼-프래그먼트 생성기 모듈(1201)은 적응적 픽처 구성기(104)를 통해 구현될 수 있고 적응적 픽처 구성기(104)는 인코더 서브시스템의 일부분으로 간주될 수 있다.
논의된 바와 같이, 일부 예에서, 수퍼-프래그먼트는 코딩될 수 있다. 일부 예에서, 수퍼-프래그먼트는 동일한 영역에 속한 이웃 블록일 것 같은 일차원(1D) 스캔을 따라서 놓인 이웃 블록 중에서 상관을 활용할 수 있는 심볼-런 코딩에 의해 코딩될 수 있다. 다른 예에서, 32x32 픽셀 또는 64x64 픽셀 등의 등간격으로 이격된 또는 실질적으로 등간격으로 이격된 타일 그리드 상의 프레임 부분 경계부와 근사화한 코드북이 사용될 수 있다. 그러한 예에서, 각 타일을 통하는 주요 경계부는 코드북으로부터 이용할 수 있는 가장 가까운 패턴으로 근사화될 수 있고 그 패턴에 대응하는 코드는 디코더에 의해 사용하기 위해 비트스트림에 포함될 수 있다. 일부 예에서, 그러한 경계 표현은 비트 비용을 최소화하기 위해 손실될 수 있다.
다양한 구현예에서, 프레임 부분(예를 들면, 타일 또는 수퍼-프래그먼트)는 이진-트리 파티션 생성기 모듈(1202) 및 k-d 트리 파티션 생성기 모듈(1203)을 포함할 수 있는 예측 분리 생성기 모듈(105)에 의해 생성될 수 있거나 이 모듈로 전송될 수 있다. 도시된 바와 같이, 프레임 부분은 스위치(1204, 1205)의 동작에 따라서 이진-트리 파티션 생성기 모듈(1202) 또는 k-d 트리 파티션 생성기 모듈(1203)으로 입력될 수 있다. 일부 예에서, 스위치(1204, 1205)는 프레임 부분 중 프레임의 픽처 타입에 기초하여 동작할 수 있다. 예를 들면, 만일 프레임이 I-픽처이면, 수신된 프레임 부분은 스위치(1204, 1205)를 통해 k-d 트리 파티션 생성기 모듈(1203)로 입력될 수 있다. 만일 프레임이 P-또는 F/B-픽처이면, 수신된 프레임 부분은 예를 들어 스위치(1204, 1205)를 통해 이진-트리 파티션 생성기 모듈(1202)로 입력될 수 있다. 다른 예에서, 스위치(1204, 1205)는 수신된 프레임 부분의 특성에 기초하여 동작할 수 있다. 예를 들면, 만일 프레임 부분의 예상된 인트라-블록의 양이 임계치보다 크면, 프레임 부분은 k-d 트리 파티션 생성기 모듈(1203)로 입력될 수 있고 만일 프레임 부분의 예상된 인트라-블록의 양이 임계치보다 적으면, 프레임 부분은 이진-트리 파티션 생성기 모듈(1202)로 입력될 수 있다. 다양한 예에서, 임계치는 사전에 정의될 수 있거나, 또는 체험적으로 결정될 수 있다.
도시된 바와 같이, (스위치(1205)를 통해 제어될 때) 예측 파티션 생성기 모듈(105)의 출력은 차분기(106)로 입력될 수 있고, 이 차분기에서는 도 1에 대하여 앞에서 논의된 바와 같은 처리를 계속하여, 차분기(106)로의 제 2 입력은 예측 분석기 및 예측 융합 필터링 모듈(126)의 출력이 입력되며 차분기(106)의 출력(예를 들면, 예측 오차 데이터 파티션 또는 나머지 것들 등)이 본 개시에서 논의된 것처럼 스위치(107a, 107b)를 통해 제어될 때 옵션으로 코딩 파티션 생성기(107)로 입력될 수 있다. 일부 예에서, F/B-픽처 또는 P-픽처에서 인터-예측을 위해, 예측 오차 데이터 파티션은 (예를 들면, 이진-트리 분할 기술을 통해) 코딩 파티션을 더 분할하기 위해 코딩 파티션 생성기 모듈(107)로 전송될 수 있다. 일부 예에서, I-픽처에서 인트라-예측을 위해, 예측 오차 데이터 파티션(또는 원 픽셀 데이터)은 (예를 들어, 적응적 변환 모듈(108)을 통해) 변환 코딩을 하기 전에 더 이상의 추가적인 분할이 수행되지 않도록 코딩 파티션 생성기 모듈(107)을 바이패스할 수 있다. 그러한 예에서, 프레임 부분(예를 들면, 타일 또는 수퍼-프래그먼트)은 오직 한번 분할될 수 있고 그러한 파티션은 상황에 따라서 예측 파티션 또는 코딩 파티션이라고 기술될 수 있다. 예를 들면, 예측 파티션 생성기로부터 출력된 것으로서, 그러한 파티션은 (이들이 예측을 위해 사용되므로) 예측 파티션으로 고려될 수 있는 반면 적응적 변환 모듈(108)에서, 그러한 파티션은 (그러한 파티션은 변환 코딩되므로) 코딩 파티션으로 고려될 수 있다.
도 13은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 디코더 서브시스템(1300)의 예시적인 다이어그램이다. 일부 예에서, 디코더 서브시스템(1300)은 도 2에 도시된 디코더(200)를 통해 구현될 수 있다. 도 13에 도시된 바와 같이, 디코더 서브시스템(1300)은 옵션으로 스위치(205a, 205b)를 통해 제어될 때 적응적 역변환 모듈(204) (도시되지 않음, 도 2를 참조할 것)로부터의 입력을 수신할 수 있는 코딩 분리 조립기 모듈(205)을 포함할 수 있다. 코딩 분리 조립기 모듈(205)의 출력 또는 바이패스된 데이터(예를 들면, 예측 오차 데이터 파티션)은 가산기(206)의 입력으로서 제공될 수 있다. 논의된 것처럼, 일부 예에서, 예측 오차 데이터 파티션은 (예를 들면, I-픽처의 인트라-예측 시) 추가 분할없이 변환 코딩될 수 있고 코딩 분리 조립기 모듈(205)은 바이패스될 수 있으며, 일부 예에서, 예측 오차 데이터 파티션은 변환 코딩을 위해 코딩 파티션으로 더 분할될 수 있고 코딩 분리 조립기 모듈(205)는 그러한 코딩 파티션을 예측 오차 데이터 파티션으로 조립할 수 있다.
가산기(206)의 제 2 입력(예를 들면, 디코딩된 예측 파티션)은 도 2에 대해 앞에서 논의된 바와 같이, 예측 융합 필터링 모듈(216)의 출력으로부터 제공될 수 있다. 도시된 바와 같이, 디코더 서브시스템(1300)은 이진-트리 파티션 조립기 모듈(1301) 및 k-d 트리 파티션 조립기 모듈(1302)을 포함할 수 있는 예측 분리 조립기 모듈(207)을 또한 포함할 수 있다. 가산기(206)의 출력(예를 들면, 재본 개시의 적어도 일부 구현예에 따라서 구성된 예측 파티션)은 스위치(1304, 1305)의 제어에 따라서 이진-트리 파티션 조립기 모듈(1301) 또는 k-d 트리 파티션 조립기 모듈(1302)로 입력될 수 있다. 예를 들면, 이진-트리 파티션은 프레임 부분으로 조립을 위해 이진-트리 파티션 조립기 모듈(1301)로 입력될 수 있고 k-d 트리 파티션은 (예를 들어, 인코더에서 수행되는 분할의 타입에 따라서) 프레임 부분으로 조립을 위해 k-d 트리 파티션 조립기 모듈(1302)로 입력될 수 있다.
또한 도시된 바와 같이, 일부 예에서, 예측 파티션 조립기 모듈(207)은 조립된 프레임 부분(예를 들면, 타일 또는 수퍼-프래그먼트)를 비디오 프레임으로 조립하도록 구성될 수 있는 타일 또는 수퍼-프래그먼트 조립기 모듈(1303)을 포함할 수 있다. 예측 파티션 조립기 모듈(207)의 출력 비디오 프레임은 본 개시에서 논의된 것처럼 추가 처리를 위해 블록해제 필터링 모듈(208)(도시되지 않음, 도 2를 참조할 것)로 입력될 수 있다. 다른 예에서, 타일 또는 수퍼-프래그먼트 조립기 모듈(1303)은 예측 파티션 조립기 모듈(207)과 블록해제 필터링 모듈(208)(도 2를 참조할 것) 사이에서 별개로 구현될 수 있다.
도 14는 본 개시의 적어도 일부 구현예에 따라서 본 개시의 적어도 일부 구현예에 따라서 구성된, 수정된 예측 참조 픽처(1400)의 예시적인 다이어그램이다. 도시된 것처럼, 품질 분석기 및 품질 복원 필터링의 출력은 다른 프레임을 코딩하기 위한 예측에 사용될 수 있는 최종의 재구성된 프레임일 수 있다(예를 들어, 최종의 재구성된 프레임은 참조 프레임 등일 수 있다).
NGV 코더(예를 들면, 인코더(100) 및/또는 디코더(200))의 제안된 구현예는 모핑된 예측 참조(1428 내지 1438)(MR0 내지 3) 및/또는 합성된 예측 참조(1412 및 1440 내지 1446)(S0 내지 S3, MR4 내지 7)의 조합을 이용하여 P-픽처 코딩을 구현할 수 있다. NGV 코딩은 I-픽처, P-픽처 및 F/B-픽처라고 지칭되는3 가지 픽처 타입의 사용을 수반한다. 예시된 예에서, 코딩될 현재 픽처(P-픽처)는 시간 t=4에서 도시된다. 코딩 동안, NGV 코더(예를 들면, 인코더(100) 및/또는 디코더(200))의 제안된 구현예는 이전에 디코딩된 4 개의 참조 R0(1412), R1(1414), R2(1416) 및 R3(1418) 중 하나 이상을 사용할 수 있다. 단순히 이러한 참조를 예측을 위해 직접 사용하는 다른 해결책과 달리, NGV 코더(예를 들면, 인코더(100) 및/또는 디코더(200))의 제안된 구현예는 그렇게 이전에 디코딩된 참조로부터 수정된(모핑된 또는 합성된) 참조를 생성할 수 있고 그런 다음 그렇게 생성된 수정된(모핑된 또는 합성된) 참조에 기초하여 움직임 보상된 코딩을 사용할 수 있다.
아래에서 더 자세히 설명되는 바와 같이, 일부 예에서, NGV 코더(예를 들면, 인코더(100) 및/또는 디코더(200))의 제안된 구현예는 다수의 컴포넌트와 효과적인 비디오 코딩 알고리즘에서 이러한 컴포넌트에 의해 생성되는 결합된 예측을 합칠 수 있다. 예를 들면, NGV 코더의 제안된 구현예는 다음과 같은 특징 중 하나 이상을 포함할 수 있다. 즉, 1. 이득 보상(예를 들면, 장면에서 이득/휘도(brightness)의 변동에 대한 명시적인 보상); 2. 블러의 보상, 예를 들면, 장면에서 블러/샤프니스(sharpness)의 변동에 대한 명시적인 보상; 3. 우세한/전역적 움직임 보상(예를 들면, 장면에서 우세한 움직임에 대한 명시적인 보상); 4. 레지스트레이션 보상(예를 들면, 장면에서 레지스트레이션 불일치에 대한 명시적인 보상); 5. 수퍼 해상도(예를 들면, 장면에서 해상도 정밀도의 변동에 대한 명시적인 모델); 6. 프로젝션(예를 들면, 장면에서 움직임 궤적의 변동에 대한 명시적인 모델, 등 및/또는 이들의 조합.
예시된 예에서, 만일 인터-예측이 적용되면, 특성 및 움직임 필터링 예측기 모듈은 움직임 보상을 현재 픽처(1410)(예를 들면, 도면에서 로컬 디코드 루프의 일부로서 P-pic(curr)라고 표시됨)에 적용할 수 있다. 일부 예에서, 그러한 움직임 보상은 적어도 부분적으로 미래의 프레임(도시되지 않음) 및/또는 이전 프레임 R0(1412)(예를 들면, 도면에서 R0라고 표시됨), 이전 프레임 R1(1414)(예를 들면, 도면에서 R1이라고 표시됨), 이전 프레임 R2(1416)(예를 들면, 도면에서 R2라고 표시됨) 및/또는 이전 프레임 R3(1418)(예를 들면, 도면에서 R3라고 표시됨)에 기초할 수 있다.
예를 들면, 일부 구현예에서, 예측 동작은 인터- 및/또는 인트라-예측을 포함할 수 있다. 인터-예측은 모핑 분석기 및 생성 모듈 및/또는 합성 분석기 및 생성 모듈을 포함하는 하나 이상의 모듈에 의해 수행될 수 있다. 그러한 모핑 분석기 및 생성 모듈은 현재 픽처를 분석하여 코딩되는 참조 프레임 또는 프레임들에 대하여 블러(1420)의 변동에 대한 파라미터)(예를 들면, 도면에서 Blur par라고 표시됨), 이득(1422)의 변동에 대한 파라미터(예를 들면, 도면에서 Gain par라고 표시됨), 레지스트레이션(1424)의 변동에 대한 파라미터(예를 들면, 도면에서 Reg par라고 표시됨) 및 우세한 움직임(1426)의 변동에 대한 파라미터(예를 들면, 도면에서 Dom par라고 표시됨) 등을 결정할 수 있다.
결정된 모핑 파라미터(1420, 1422, 1424 및/또는 1426)는 모핑된 참조 프레임을 생성하는데 사용될 수 있다. 그렇게 생성된 모핑된 참조 프레임은 저장될 수 있고 현재 프레임의 효과적인 움직임 (및 특성) 보상된 예측을 위한 움직임 벡터를 계산하는데 사용될 수 있다. 예시된 예에서, 결정된 모핑 파라미터(1420, 1422, 1424 및/또는 1426)는 예를 들면, 블러 보상된 모핑된 참조 프레임(1428)(예를 들면, 도면에서 MR3b라고 표시됨), 이득 보상된 모핑된 참조 프레임(1430)(예를 들면, 도면에서 MR2g라고 표시됨), 이득 보상된 모핑된 참조 프레임(1432)(예를 들면, 도면에서 MR1g라고 표시됨), 레지스트레이션 보상된 모핑된 참조 프레임(1434)(예를 들면, 도면에서 MR1r라고 표시됨), 우세한 움직임 보상된 모핑된 참조 프레임(1436)(예를 들면, 도면에서 MR0d라고 표시됨) 및/또는 레지스트레이션 보상된 모핑된 참조 프레임(1428)(예를 들면, 도면에서 MR0r라고 표시됨) 등 또는 이들의 조합과 같은 모핑된 참조 프레임을 생성하는데 사용될 수 있다.
유사하게, 합성 분석기 및 생성 모듈은 이러한 프레임에서 효과적인 움직임 보상된 예측에 필요한 움직임 벡터를 결정하기 위해 수퍼 해상도(SR) 픽처(1440)(예를 들면, 도면에서 S0(이전 프레임 R0(1412)와 같음)라고 표시됨) 및 투사 보간(PI) 픽처(1442)(예를 들면, 도면에서 PE라고 표시됨) 등을 생성할 수 있다. 그렇게 생성된 합성된 참조 프레임은 저장될 수 있고 현재 프레임의 효과적인 움직임 (및 특성) 보상된 예측에 필요한 움직임 벡터를 계산하는데 사용될 수 있다.
부가적으로 또는 대안으로, 결정된 모핑 파라미터(1420, 1422, 1424 및/또는 1426)는 생성된 합성 참조 프레임 수퍼 해상도(SR) 픽처(1440) 및/또는 투사 보간(PI) 픽처(1442)를 모핑하는데 사용될 수 있다. 예를 들면, 합성 분석기 및 생성 모듈은 결정된 레지스트레이션 모핑 파라미터(1424)로부터 모핑 레지스트레이션 보상된 수퍼 해상도(SR) 픽처(1444) (예를 들면, 도면에서 MR4r, MR5r 및 MR6r이라고 표시됨) 및/또는 모핑된 레지스트레이션 보상된 투사 보간(PI) 픽처(1446) (예를 들면, 도면에서 MR7r이라고 표시됨) 등을 생성할 수 있다. 그러한 생성된 모핑된 및 합성된 참조 프레임은 저장될 수 있으며 현재 프레임의 효과적인 움직임 (및 특성) 보상된 예측을 위한 움직임 벡터를 계산하는데 사용될 수 있다.
일부 구현예에서, (예를 들면, 이득, 블러, 우세한 움직임, 레지스트레이션, 해상도 정밀도, 움직임 궤적, 등이나 이들의 조합과 같은) 일련의 특성이 명시적으로 계산된다. 그러한 일련의 특성은 로컬 움직임에 추가하여 계산될 수 있다. 일부 사례에서, 이전 및 다음 픽처/슬라이스는 적절히 활용될 수 있지만, 다른 사례에서, 그러한 일련의 특성은 이전의 픽처/슬라이스로부터 예측을 더 잘 할 수 있다. 또한, 임의의 추정 절차에서 (예를 들면, 복수의 과거 픽처/슬라이스 또는 복수의 과거 및 미래 픽처/슬라이스로부터) 오류가 있을 수 있기 때문에, (예를 들면, 이득, 블러, 우세한 움직임, 레지스트레이션, 해상도 정밀도, 움직임 궤적, 등이나 이들의 조합과 같은) 일련의 특성과 연관된 수정된 참조 프레임은 가장 좋은 추정을 하도록 선택될 수 있다. 그래서, (예를 들면, 이득, 블러, 우세한 움직임, 레지스트레이션, 해상도 정밀도, 움직임 궤적, 등이나 이들의 조합과 같은) 일련의 특성과 연관된 수정된 참조 프레임을 활용하는 제안된 접근 방법은 이러한 특성에서의 차이를 명시적으로 보상할 수 있다. 제안된 구현예는 예측 신호를 개선하는 방법의 문제를 해결할 수 있고, 이것은 비디오 코딩 시 높은 압축 효율을 성취하게 해줄 수 있다.
예를 들면, 압축될 비디오의 해상도 및 높은 비디오 품질의 기대가 상시 증가함에 따라, H.264와 같은 기존의 비디오 코딩 표준 또는 심지어 H.264/AVC과 같은 진화 중인 표준을 이용하여 코딩에 필요한 대응하는 비트율/대역폭은 상대적으로 높다. 전술한 표준들은 불충분한 압축/품질 문제를 묵시적으로 대처하는 전통적인 접근 방법의 확장된 형태를 이용하지만, 그 결과는 종종 제한된다.
제안된 구현예는 인터프레임 예측을 개선함으로써 비디오 압축 효율을 개선하며, 이것은 코딩되어야 하는 인터프레임 예측 차(오차 신호)를 줄여준다. 코딩될 인터프레임 예측 차의 양이 줄어들수록, 코딩에 필요한 비트의 양이 줄어들고, 이것은 코딩된 예측 차 신호를 저장 또는 전송하는 비트가 더 적어지므로 압축 효율이 효과적으로 개선된다. 움직임 예측만을 제한하는 대신, 제안된 NCV 코덱은 움직임 보상 이외에 또는 그에 대한 대안으로 콘텐츠의 특성의 변동을 명시적으로 보상하는 접근 방법을 이용함으로써 (예를 들면, 이득, 블러, 우세한 움직임, 레지스트레이션, 해상도 정밀도, 움직임 궤적, 등이나 이들의 조합과 같은) 변동 특성에 매우 적응적일 수 있다. 그래서, 문제의 근본 원인을 명시적으로 해결함으로써, NGV 코덱은 표준에 기반한 코덱의 제한의 주요 근원을 해결할 수 있고, 그럼으로써 더 높은 압축 효율을 성쉬할 수 있다.
인터프레임 예측 출력에서 이러한 변동은 비디오 콘텐츠의 변동의 광범위한 원인을 보상하는 제안된 NCV 코덱의 기능으로 인해 성취될 수 있다. 전형적인 비디오 장면은 많은 국부적 및 전역적 변동(본 개시에서는 특성이라고 지칭함)으로 인해 프레임마다 변한다. 국부적인 움직임 이외에, 제안된 보상에 의해 해결될 수 있는 현재의 해상도에 의해 충분히 해결되지 않은 많은 다른 특성이 있다.
제안된 구현예는 국부적인 움직임 이외에 (예를 들면, 이득, 블러, 우세한 움직임, 레지스트레이션, 해상도 정밀도, 움직임 궤적, 등이나 이들의 조합과 같은) 일련의 특성의 변동을 명시적으로 계산할 수 있고 그래서 이전 및 다음 픽처/슬라이스로부터 국부적인 움직임 예측을 이용하기만 하는 것보다 이전 픽처/슬라이스로부터 예측을 더 잘 할 수 있다. 또한, 복수의 과거 또는 복수의 과거 및 미래 픽처/슬라이스로부터 임의의 추정 절차에서 오류가 있을 수 있기 때문에, NGV 코더는 다양한 특성에서의 차이를 명시적으로 보상함으로써 최선의 결과를 가져오는 프레임을 선택할 수 있다.
특히, NGV 코더의 제안된 구현예는 다음과 같은 특징, 즉, i. 장면에서 이득/휘도의 변동에 대한 명시적인 보상; ii. 장면에서 블러/샤프니스의 변동에 대한 명시적인 보상; iii. 장면에서 우세한 움직임에 대한 명시적인 보상); iv. 장면에서 레지스트레이션 불일치에 대한 명시적인 보상; v. 장면에서 해상도 정밀도의 변동에 대한 명시적인 모델; 및/또는 vi. 장면에서 움직임 궤적의 변동에 대한 명시적인 모델을 포함할 수 있다.
아래에 도시된 표 4 및 표 5는 코드북 엔트리의 일 예를 도시한다. 엔트리의 전체 코드북은 가능한 모든 엔트리들과 그의 코딩의 전체 또는 실질적으로 전체 리스트를 제공할 수 있다. 일부의 예에서, 코드북은 앞에서 기술한 바와 같은 제약을 고려할 수 있다. 일부 예에서, 예측 모드 및/또는 참조 타입에 관한 코드북 엔트리와 연관된 데이터는 본 개시에서 설명된 바와 같이 디코더에서 사용하기 위해 비트스트림으로 인코딩될 수 있다
[표 4]
Figure 112015035945444-pct00008
[표 5]
Figure 112015035945444-pct00009
동작 시, NGV 코더(예를 들면, 인코더(100) 및/또는 디코더(200))의 제안된 구현예는 예측 모드 및/또는 참조 타입 데이터가 심볼-런 코딩 또는 코드북 등을 이용하여 정의될 수 있도록 동작할 수 있다. 예측 모드 및/또는 참조 타입 데이터는 다양한 예에서 콘텐츠 적응적 또는 이산적 변환을 이용하여 변환 인코딩되어 변환 계수를 생성할 수 있다. 또한 논의된 것처럼, 파티션과 연관된 데이터(예를 들면, 변환 계수 또는 양자화된 변환 계수), 오버헤드 데이터(예를 들면, 본 개시에서 논의된 바와 같은 변환 타입, 적응적 변환 방향 및/또는 변환 모드의 지시자) 및/또는 파티션 등을 정의하는 데이터는 (예를 들면, 엔트로피 인코더를 통해) 비트스트림으로 인코딩될 수 있다. 비트스트림은 인코딩된 비트스트림을 이용하여 비디오 프레임을 디코딩하여 디스플레이할 수 있는 디코더로 통신될 수 있다. 국부적인 단위로(예를 들면, 매크로블록이나 타일 내의 블록별로, 또는 타일이나 예측 단위 내의 파티션별로, 또는 수퍼-프래그먼트나 영역 내 프래그먼트별로), 비트율 왜곡 최적화(Rate Distortion Optimization (RDO))에 기초하여 또는 비디오의 선-분석에 기초하여 최선의 모드가 선택될 수 있으며, 모드 및 필요한 참조의 식별자는 디코더에 의해 사용하기 위해 비트스트림 내에 인코딩될 수 있다.
동작 시, NGV 코더(예를 들면, 인코더(100) 및/또는 디코더(200))의 제안된 구현예는 디코딩된 과거 및/또는 미래 픽처/슬라이스에 대하여 일반적인 국부적인 움직임 보상 이외에 상기 컴포넌트 중 하나 이상을 이용할 수 있다. 이와 같이 구현예는 이득 보상의 사례 또는 임의의 다른 특성 보상된 참조 프레임 생성의 사례를 위한 특정한 해결책을 명시하지 않는다.
도 15는 본 개시의 적어도 일부의 구현예에 따라서 구성된, 특성 및 움직임 보상된 예측을 수행하기 위한 다른 예의 인코더 예측 서브시스템(530)의 예시적인 다이어그램이다. 예시된 바와 같이, 인코더(1500)의 인코더 예측 서브시스템(530)은 디코딩된 픽처 버퍼(119), 모핑 분석기 및 모핑된 픽처 생성 모듈(120), 합성 분석기 및 생성 모듈(121), 움직임 추정기 모듈(122) 및/또는 특성 및 움직임 보상된 필터링 예측기 모듈(123)을 포함할 수 있다.
도시된 바와 같이, 품질 분석기 및 품질 복원 필터링의 출력은 디코딩된 픽처 버퍼(119)로 전송될 수 있다. 일 예에서, 품질 분석기 및 품질 복원 필터링의 출력은 다른 프레임을 코딩하기 위해 예측하는데 사용될 수 있는 최종의 재구성된 프레임일 수 있다(예를 들면, 최종의 재구성된 프레임은 참조 프레임 등일 수 있다). 인코더(1500)에서, 예측 동작은 인터- 및/또는 인트라-예측을 포함할 수 있다. 도 15에 도시된 바와 같이, 인터-예측은 모핑 분석기 및 모핑된 픽처 생성 모듈(120), 합성 분석기 및 생성 모듈(121) 및/또는 특성 및 움직임 보상된 필터링 예측기 모듈(123)을 포함하는 하나 이상의 모듈에 의해 수행될 수 있다.
모핑 분석기 및 모핑된 픽처 생성 모듈(120)은 모핑된 예측 참조 픽처 버퍼(a morphed prediction reference (MPR) pictures buffer)(520)뿐만 아니라 모핑 타입 분석기 및 모핑된 픽처 생성기(a morphing types analyzer (MTA) and a morphed pictures generator (MPG))(1599)을 포함할 수 있다. 모핑 타입 분석기(MTA) 및 모핑된 픽처 생성기(MPG)(1599)는 수정된 예측 참조의 하나 이상의 타입을 분석 및/또는 생성하도록 구성될 수 있다.
예를 들면, 모핑 타입 분석기(MTA) 및 모핑된 픽처 생성기(MPG)(1599)는 이득 추정기 및 보상된 예측 생성기(1505), 블러 추정기 및 보상된 예측 생성기(1510), 우세한 움직임 추정기 및 보상된 예측 생성기(1515), 레지스트레이션 추정기 및 보상된 예측 생성기(1520) 등 및/또는 이들의 조합을 포함할 수 있다. 이득 추정기 및 보상된 예측 생성기(1505)는 이득의 변동을 해결하기 위해 적응된 모핑된 예측 참조 픽처를 분석 및/또는 생성하도록 구성될 수 있다. 블러 추정기 및 보상된 예측 생성기(1510)는 블러의 변동을 해결하기 위해 적응된 모핑된 예측 참조 픽처를 분석 및/또는 생성하도록 구성될 수 있다. 우세한 움직임 추정기 및 보상된 예측 생성기(1515)는 우세한 움직임의 변동을 해결하기 위해 적응된 모핑된 예측 참조 픽처를 분석 및/또는 생성하도록 구성될 수 있다. 레지스트레이션 추정기 및 보상된 예측 생성기(1520)는 레지스트레이션의 변동을 해결하기 위해 적응된 모핑된 예측 참조 픽처를 분석 및/또는 생성하도록 구성될 수 있다.
모핑 타입 분석기(MTA) 및 모핑된 픽처 생성기(MPG)(1599)는 그렇게 생성된 모핑된 참조 프레임을 모핑된 예측 참조(MPR) 픽처 버퍼(520)에 저장할 수 있다. 예를 들면, 모핑된 예측 참조(MPR) 픽처 버퍼(1598)은 이득 보상된 픽처/들 버퍼(Gain Compensated (GC) Picture/s Buffer)(1525), 블러 보상된 픽처/들 버퍼(Blur Compensated (BC) Picture/s Buffer)(1530), 우세한 움직임 보상된 픽처/들 버퍼(Dominant Motion Compensated (DC) Picture/s Buffer)(1535), 레지스트레이션 보상된 픽처/들 버퍼(Registration Compensated (RC) Picture/s Buffer)(1540) 등 및/또는 이들의 조합을 포함할 수 있다. 이득 보상된(GC) 픽처/들 버퍼(1525)는 이득의 변동을 해결하기 위해 적응된 모핑된 참조 프레임을 저장하도록 구성될 수 있다. 블러 보상된(BC) 픽처/들 버퍼(1530)는 블러의 변동을 해결하기 위해 적응된 모핑된 참조 프레임을 저장하도록 구성될 수 있다. 우세한 움직임 보상된(DC) 픽처/들 버퍼(1535)는 도메인의 변동을 해결하기 위해 적응된 모핑된 참조 프레임을 저장하도록 구성될 수 있다. 레지스트레이션 보상된(RC) 픽처/들 버퍼(1540)는 레지스트레이션의 변동을 해결하기 위해 적응된 모핑된 참조 프레임을 저장하도록 구성될 수 있다.
합성 분석기 및 생성 모듈(121)은 합성된 예측 참조 (SPR) 픽처 버퍼(540)뿐만 아니라 변환 인코더 서브시스템(540)뿐만 아니라 합성 타입 분석기(STA) 및 합성된 픽처 생성기(SPG)(a synthesis types analyzer (STA) and synthesized pictures generator (SPG))(1597)를 포함할 수 있다. 합성 타입 분석기(STA) 및 합성된 픽처 생성기(SPG)(1597)는 합성된 예측 참조 픽처의 하나 이상의 타입을 분석 및/또는 생성하도록 구성될 수 있다. 예를 들면, 합성 타입 분석기(STA) 및 합성된 픽처 생성기(SPG)(1597)는 수퍼 해상도 필터 선택기 & 예측 생성기(1545), 프로젝션 궤적 분석기 & 예측 생성기(1550) 등 및/또는 이들의 조합을 포함할 수 있다. 수퍼 해상도 필터 선택기 & 예측 생성기(1545)는 합성된 예측 참조 픽처의 수퍼 해상도(SR) 타입을 분석 및/또는 생성하도록 구성될 수 있다. 1550는 합성된 예측 참조 픽처의 투사 보간(PI) 타입을 분석 및/또는 생성하도록 구성될 수 있다.
합성 타입 분석기(STA) 및 합성된 픽처 생성기(SPG)(1597)는 이러한 프레임에서 효과적인 움직임 보상된 예측을 위한 수퍼 해상도(SR) 픽처 및 투사 보간(PI) 픽처를 생성할 수 있다. 이렇게 생성된 합성된 참조 프레임은 합성된 예측 참조(SPR) 픽처 버퍼(1596)에 저장될 수 있고 현재 프레임의 효과적인 움직임 (및 특성) 보상된 예측을 계산하기 위해 움직임 추정기 모듈(122)에 의해 사용될 수 있다.
예를 들면, 합성된 예측 참조(SPR) 픽처 버퍼(1596)는 수퍼 해상도(SR) 픽처 버퍼(1555), 투사 보간(PI) 픽처 버퍼(1560) 등 및/또는 이들의 조합을 포함할 수 있다. 수퍼 해상도(SR) 픽처 버퍼(1555)는 수퍼 해상도(SR) 픽처를 위해 생성된 합성된 참조 프레임을 저장하도록 구성될 수 있다. 투사 보간(PI) 픽처 버퍼(1560)는 투사 보간(PI) 픽처를 위해 생성된 합성된 참조 프레임을 저장하도록 구성될 수 있다.
움직임 추정기 모듈(122)은 현재 프레임과 함께 모핑된 참조 프레임(들) 및/또는 수퍼 해상도(SR) 픽처 및 투사 보간(PI) 픽처에 기초하여 움직임 벡터 데이터를 생성할 수 있다. 일부 예에서, 움직임 추정기 모듈(122)은 인터-예측 모듈이라고 간주될 수 있다. 예를 들면, 움직임 벡터 데이터는 인터-예측을 위해 사용될 수 있다. 만일 인터-예측이 적용되면, 특성 및 움직임 보상된 필터링 예측기 모듈(123)은 논의된 것처럼 로컬 디코드 루프의 일부로서 움직임 보상을 적용할 수 있다.
도 16은 본 개시의 적어도 일부의 구현예에 따라서 구성된, 특성 및 움직임 보상된 예측을 수행하기 위한 다른 예의 디코더 예측 서브시스템(1601)의 예시적인 다이어그램이다. 예시된 바와 같이, 디코더 예측 서브시스템(1601)은 디코딩된 픽처 버퍼(210), 모핑된 픽처 생성 모듈(211), 합성된 픽처 생성 모듈(212) 및/또는 특성 및 움직임 보상된 필터링 예측기 모듈(213)을 포함할 수 있다.
도시된 바와 같이, 품질 복원 필터링 모듈의 출력은 디코딩된 픽처 버퍼(210)로 전송될 수 있다. 일부 예에서, 품질 복원 필터링 모듈의 출력은 다른 프레임을 코딩하기 위한 예측에 사용될 수 있는 최종의 재구성된 프레임일 수 있다(예를 들면, 최종의 재구성된 프레임은 참조 프레임 등일 수 있다). 논의된 것처럼, 예측 동작에 의한 보상은 인터- 및/또는 인터-예측 보상을 포함할 수 있다. 도시된 바와 같이, 인터-예측 보상은 모핑된 픽처 생성 모듈(211), 합성된 픽처 생성 모듈(212) 및/또는 특성 및 움직임 보상된 필터링 예측기 모듈(213)을 포함하는 하나 이상의 모듈에 의해 수행될 수 있다.
모핑된 픽처 생성 모듈(211)은 모핑된 예측 참조(MPR) 픽처 버퍼(1698)뿐만 아니라 모핑된 픽처 생성기(MPG)(1699)를 포함할 수 있다. 모핑된 픽처 생성기(MPG)(1699)는 역양자화된 모핑 파라미터(예를 들면, 입력 비트스트림으로부터 결정된 것)를 이용하여 모핑된 참조 프레임을 생성할 수 있다. 예를 들면, 모핑된 픽처 생성기(MPG)(1699)는 이득 보상된 예측 생성기(1605), 블러 보상된 예측 생성기(1610), 우세한 움직임 보상된 예측 생성기(1615), 레지스트레이션 움직임 보상된 예측 생성기(1620) 등 및 이들의 조합을 포함할 수 있다. 이득 보상된 예측 생성기(1605)는 이득의 변동을 해결하기 위해 적응된 모핑된 예측 참조 픽처를 생성하도록 구성될 수 있다. 블러 보상된 예측 생성기(1610)는 블러의 변동을 해결하기 위해 적응된 모핑된 예측 참조 픽처를 생성하도록 구성될 수 있다. 우세한 움직임 보상된 예측 생성기(1615)는 우세한 움직임의 변동을 해결하기 위해 적응된 모핑된 예측 참조 픽처를 생성하도록 구성될 수 있다. 레지스트레이션 움직임 보상된 예측 생성기(1620)는 레지스트레이션의 변동을 해결하기 위해 적응된 모핑된 예측 참조 픽처를 생성하도록 구성될 수 있다.
모핑된 픽처 생성기(MPG)(1699)는 이렇게 생성된 모핑된 참조 프레임을 모핑된 예측 참조(MPR) 픽처 버퍼(1698)에 저장할 수 있다. 예를 들면, 모핑된 예측 참조(MPR) 픽처 버퍼(1698)은 이득 보상된(GC) 픽처/들 버퍼(1625), 블러 보상된(BC) 픽처/들 버퍼(1630), 우세한 움직임 보상된(DC) 픽처/들 버퍼(1635), 레지스트레이션 보상된(RC) 픽처/들 버퍼(1640) 등 및 이들의 조합을 포함할 수 있다. 이득 보상된(GC) 픽처/들 버퍼(1625)는 이득의 변동을 해결하기 위해 적응된 모핑된 참조 프레임을 저장하도록 구성될 수 있다. 블러 보상된(BC) 픽처/들 버퍼(1630)는 블러의 변동을 해결하기 위해 적응된 모핑된 참조 프레임을 저장하도록 구성될 수 있다. 우세한 움직임 보상된(DC) 픽처/들 버퍼(1635)는 우세한 도메인의 변동을 해결하기 위해 적응된 모핑된 참조 프레임을 저장하도록 구성될 수 있다. 레지스트레이션 보상된(RC) 픽처/들 버퍼(1640)는 레지스트레이션의 변동을 해결하기 위해 적응된 모핑된 참조 프레임을 저장하도록 구성될 수 있다
합성된 픽처 생성 모듈(212)은 합성된 예측 참조(SPR) 픽처 버퍼(1696)뿐만 아니라 합성된 예측 생성기(1697)를 포함할 수 있다. 합성된 예측 생성기(1697)는 입력 비트스트림(201)으로부터 결정된 파라미터에 기초하여 수퍼 해상도(SR) 픽처 및 투사 보간(PI) 픽처와 같은 합성된 예측 참조 픽처의 하나 이상의 타입을 생성하도록 구성될 수 있다. 이렇게 생성된 합성된 참조 프레임은 합성된 예측 참조(SPR) 픽처 버퍼(1696)에 저장될 수 있고 특성 및 움직임 보상된 필터링 예측기 모듈(213)에 의해 사용될 수 있다. 예를 들면, 합성된 예측 생성기(1697)는 수퍼 해상도 픽처 생성기(1645), 프로젝션 궤적 픽처 생성기(1650) 등 및 이들의 조합을 포함할 수 있다. 수퍼 해상도 픽처 생성기(1645)는 합성된 예측 참조 픽처의 수퍼 해상도(SR) 타입을 생성하도록 구성될 수 있다. 프로젝션 궤적 픽처 생성기(1650)는 합성된 예측 참조 픽처의 투사 보간(PI) 타입을 생성하도록 구성될 수 있다.
합성된 예측 생성기(1697)는 이러한 프레임에서 효과적인 움직임 보상된 예측을 위한 수퍼 해상도(SR) 픽처 및 투사 보간(PI) 픽처 등을 생성할 수 있다. 이렇게 생성된 합성된 참조 프레임은 합성된 예측 참조(SPR) 픽처 버퍼(1696)에 저장될 수 있고 현재 프레임의 효과적인 움직임(및 특성) 보상된 예측을 위해 특성 및 움직임 보상된 필터링 예측기 모듈(213)에 의해 사용될 수 있다.
예를 들면, 합성된 예측 참조(SPR) 픽처 버퍼(1696)는 수퍼 해상도(SR) 픽처 버퍼(1655), 투사 보간(PI) 픽처 버퍼(1660) 등 및/또는 이들의 조합을 포함할 수 있다. 수퍼 해상도(SR) 픽처 버퍼(1655)는 수퍼 해상도(SR) 픽처를 위해 생성된 합성된 참조 프레임을 저장하도록 구성될 수 있다. 투사 보간(PI) 픽처 버퍼(1660)는 투사 보간(PI) 픽처를 위해 생성된 합성된 참조 프레임을 저장하도록 구성될 수 있다.
만일 인터-예측이 적용되면, 특성 및 움직임 보상된 필터링 예측기 모듈(213)은 현재 프레임과 함께 모핑된 참조 프레임(들) 및/또는 수퍼 해상도(SR) 픽처 및 투사 보간(PI) 픽처에 기초하여 움직임 보상을 적용할 수 있다.
도 17은 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 인코더 서브시스템(1700)의 예시적인 다이어그램이다. 도시된 바와 같이, 인코더 서브시스템(1700)은 코딩 파티션 생성기 모듈(107), 인코딩 제어기 모듈(108), 적응적 변환 모듈(108), 적응적 양자화기 모듈(109) 및/또는 적응적 엔트로피 인코더 모듈(110)을 포함할 수 있다. 비록 도 17에 도시되지 않았지만, 명확하게 표현하기 위하여, 비디오 데이터는 차분기(106), 예측 파티션 생성기 모듈(105) 등으로부터 코딩 파티션 생성기 모듈(107)로 입력될 수 있다. 코딩 파티션 생성기 모듈(107)에 의해 수신된 비디오 데이터는, 예를 들면, 예측 오차 데이터 파티션, 예측 파티션, 타일이나 수퍼-프래그먼트, 원 픽셀 데이터, 웨이블릿 데이터, 잔차 데이터, 또는 본 개시에서 논의되는 그밖의 비디오 데이터와 같은 어느 적합한 비디오 데이터일 수 있다. 비디오 데이터는 예를 들면 루마 데이터 또는 크로마 데이터를 제공하거나 표현할 수 있다. 도시된 것처럼, 인코더 서브시스템(1700)에서, 비디오 데이터는 코딩 파티션 생성기 모듈(107)에 의해서 수신될 수 있다.
도시된 것처럼, 코딩 파티션 생성기 모듈(107)은 k-d 트리 인트라-예측/코딩 분할기 모듈(1701) 및 이진-트리 코딩 분할기 모듈(1702)을 포함할 수 있다. 스위치(1703)의 제어하에, 수신된 비디오 데이터는 k-d 트리 인트라-예측/코딩 분할기 모듈(1701) 또는 이진-트리 코딩 분할기 모듈(1702)로 전송될 수 있다. 예를 들면, 스위치(1703)는 비디오 데이터의 픽처 타입 및/또는 비디오 데이터와 연관된 예측 타입에 기초하여 비디오 데이터를 라우팅할 수 있다. 예를 들면, 픽처 타입이 F/B 픽처 또는 P-픽처이고 예측 타입이 인터-예측 등일 때, 비디오 데이터는 예측 오류 데이터 파티션(예를 들면, 예측 파티션에 대한 오차 데이터나 잔차)을 포함할 수 있고 그리고 스위치(1703)는 비디오 데이터를 이진-트리 코딩 분할기 모듈(1702)로 라우팅하여 코딩 파티션으로 분할되도록 할 수 있다. 예를 들면, 픽처 타입이 F/B 픽처 또는 P-픽처이고 예측 타입이 인트라-예측일 때, 비디오 데이터는 타일이나 수퍼-프래그먼트 비디오를 포함할 수 있고, 그리고 스위치(1703)는 비디오 데이터를 이진-트리 코딩 분할기 모듈(1702)로 라우팅하여 (오직 한 레벨 분할만이 수행될 수 있기 때문에) 예측 파티션 또는 코딩 파티션으로 표식될 수 있는 파티션으로 분할되도록 할 수 있다. 논의된 것처럼, 그러한 예에서, 분할은 이진-트리 코딩 분할기 모듈(1702)이나 예측 파티션 생성기 모듈(105)에 의해서 수행될 수 있다. 픽처 타입이 (예를 들면, 이는 전적으로 인트라-예측을 사용하여 코딩될 수 있는) I 픽처일 때고, 비디오 데이터는 타일이나 수퍼-프래그먼트 비디오를 포함할 수 있고, 그리고 스위치(1703)는 비디오 데이터를 k-d 트리 인트라-예측/코딩 분할기 모듈(1701)로 라우팅하여 (오직 한 레벨 분할만이 수행될 수 있기 때문에) 예측 파티션 또는 코딩 파티션으로 명시될 수 있는 파티션으로 분할되도록 할 수 있다. 논의된 것처럼, 이러한 예에서, 분할은 k-d 트리 인트라-예측/코딩 분할기 모듈(1701)이나 예측 파티션 생성기 모듈(105)에 의해서 수행될 수 있다.
비록 이진-트리 코딩 분할기 모듈(1702)로 도시되었지만, 일부 예에서는, 코딩 파티션 생성기 모듈(107)은 k-d 트리 분할 기술을 사용하여 예측 파티션을 분할하는 모듈(1701) 대신에 k-d 트리 코딩 분할기 모듈을 구현할 수 있다. 유사하게, 비록, k-d 트리 인트라-예측/코딩 분할기 모듈(1701)로 도시되었지만, 일부 예에서는, 코딩 파티션 생성기 모듈(107)은 이진-트리 분할 기술을 사용하여 예측 파티션을 분할하는 모듈(1702) 대신에 이진-트리 코딩 분할기 모듈을 구현할 수 있다.
논의된 것처럼, 일부 예에서, I-픽처 인트라-코딩과 같이, 예측 분할 또는 코딩 분할로 표식될 수 있는 일 계층 분할이 적용될 수 있다. 일부 예에서, 코딩 파티션 생성기 모듈(107)은 k-d 트리 인트라-예측/코딩 분할기 모듈(1701)을 통해 k-d 트리 분할 기술을 사용하여 분할하기 위한 I-픽처 타일이나 수퍼-프래그먼트 또는 프레임을 수신할 수 있다. 다른 예에서, I-픽처는 예측 파티션 생성기 모듈(105)을 통해 사전에 분할되어서, 더 이상의 분할이 요구되지 않을 수 있다. 이러한 예에서, k-d 트리 인트라-예측/코딩 분할기 모듈(1701)은 바이패스될 수 있다. 양자의 경우에, (예측 파티션이나 코딩 파티션으로 표식되는) I-픽처 파티션은 적응적 변환 모듈(108)로 전송될 수 있다.
논의된 것처럼, 일부 예에서, P- 또는 F/B-픽처 인트라-코딩에서, 오직 1계층 분할만이 적용될 수 있으며, 이는 예측 분할이나 코딩 분할로서 표식될 수 있다. 일부 예에서, 코딩 파티션 생성기 모듈(107)은 그러므로 이진-트리 코딩 분할기 모듈(1702)을 통해 이진-트리 분할 기술을 사용하여 분할하도록 P- 또는 F/B-픽처 타일이나 수퍼-프래그먼트 또는 프레임을 수신한다(이러한 예에서, 이진-트리 코딩 분할기 모듈(1701)은 이진-트리 예측/코딩 분할 모듈로 간주될 수 있다). 다른 예에서, P- 또는 F/B-픽처는 예측 파티션 생성기 모듈(105)을 통해 이미 분할되었을 수 있으며, 더 이상의 분할이 필요하지 않을 수 있다. 이러한 예에서, 이진-트리 코딩 분할기 모듈(1702)이 바이패스될 수 있다. 양자의 경우에, (예측 파티션이나 코딩 파티션으로 표식되는) P- 또는 F/B-픽처 파티션은 적응적 변환 모듈(108)로 전송될 수 있다.
일부 예에서, 각 인트라 예측 파티션에 대하여, 한 예측 방향(예를 들면, 9개 또는 31 개 예측 방향 중의 1개)이 인트라 예측 파티션과 연관됨으로써, 과거 디코딩 캐주얼 영역, 이전의 이웃 타일의 픽셀 및/또는 현재 프레임의 동일한 타일 내의 이웃 파티션을 사용하여, 인트라 예측이 각 예측 파티션에 대하여 수행될 수 있다.
이진-트리 코딩 분할기 모듈(1702)은 이진-트리 분할 기술을 사용하여 비디오 데이터를 복수의 파티션으로 분할할 수 있는데, 이하, 도 19를 참조하여 좀 더 논의된다. 이진-트리 코딩 분할기 모듈(1702)은 수평 및 수직 방향으로 교대하여 파티션을 분할하도록 허용하는 유연한 분할을 제공할 수 있다. 그러한 기술은 수평 또는 수직 방향으로, 또는 두 방향으로 절단을 허용하며, 이에 따라서, 복수의, 유연한 파티션을 허용할 수 있다. k-d 트리 인트라-예측/코딩 분할기 모듈(1701)은 k-d 트리 분할 기술을 사용하여 비디오 데이터를 복수의 파티션으로 분할할 수 있으며, 이하 도 20을 참조하여 좀 더 논의된다. 예를 들면, k-d 트리 인트라-예측/코딩 분할기 모듈(1701)은 훨씬 더 유연한 분할을 제공하는데, 이는 파티션의 중간포인트와 파티션을 따라서 1/4 및 3/4 포인트에서 수평 및 수직 방향으로 교대하여 파티션을 분할하도록 허용할 수 있다. 이러한 증가는 증가된 오버헤드와 계산을 야기할 수 있으며, 이는 예를 들면, I-픽처에 대해서 적합할 수 있다. 도시된 것처럼, 파티션 또는 서브-파티션(예를 들면, 예측을 위해 이전에 정의된 파티션들의 코딩 파티션)은 코딩 파티션 생성기 모듈(107)로부터 적응적 변환 모듈(108)로 전송될 수 있다.
먼저, (예를 들면, I-픽처에 대하여) k-d 트리 파티션의 예를 들면, 파티션(예를 들면, 예측이나 코딩)은 k-d 트리 인트라-예측/코딩 분할기 모듈(501)이나 예측 파티션 생성기 모듈(105)로부터 적응적 변환 모듈(108)로 전송될 수 있다. 예를 들면, 타일이나 수퍼-프래그먼트는 k-d 트리 분할 기술을 사용하여 분할되어 분할(예를 들면, 예측을 위한 파티션)을 생성할 수 있다. 인트라-예측은 예측을 위하여 파티션에 대하여 수행되어 예측 파티션을 생성할 수 있으며, 이는 예측 오차 데이터 파티션을 생성하도록 원 픽셀 데이터와 구별될 수 있다. 논의된 것처럼, 선택된 분할은 비트율 왜곡 최적화나 그 유사한 것에 기초하여 결정될 수 있다. 선택된 분할과 연관된 예측 오차 데이터 파티션(및/또는 예측 파티션)은 적응적 변환 모듈(108)로 전송될 수 있다. 논의된 것처럼, 이러한 예측 파티션은 다르게는 코딩 파티션이라고 표식될 수 있는데, 이는 싱글 레벨의 분할만이 수행되기 때문이다.
도시된 것처럼, 적응적 변환 모듈(108)은 콘텐츠 적응적 변환 모듈(1704)과 고정 변환 모듈(1705)을 포함할 수 있으며, 이들은 스위치(1706, 1707)의 동작에 기초하여 선택적으로 동작할 수 있다. 예를 들면, 콘텐츠 적응적 변환은 디코딩 이웃 비디오 데이터(예를 들면, 이웃 블록, 또는 파티션 등)로부터 결정될 수 있는 콘텐츠 종속 기저 함수를 갖는 변환 및 디코딩을 위해 (예를 들면, 비트스트림을 통해) 인코더로부터 디코더로 전송되어야 하는 연관된 변환 데이터를 갖는 변환을 포함할 수 있고, 고정 변환은 고정 기저 함수를 갖는 고정 변환을 포함하고, 상술한 것처럼, 변환 계수만이 디코딩을 위해 전송되어야 한다.
일부 예에서, 콘텐츠 적응적 변환 모듈(1704)은, 예를 들면, 파라메트릭 변환, 파라메트릭 하르 변환, 하이브리드 파라메트릭 하르 변환(예를 들면, 일 방향의 파라메트릭 하르 변환 및 직교 방향의 고정 변환), 파라메트릭 경사(slant) 변환, 하이브리드 파라메트릭 경사 변환 등과 같은, 적응적 변환을 적용할 수 있다. 일부 예에서, 적응적 변환 모듈(1704)은 폐쇄형 하이브리드 파라메트릭 변환(a closed-form hybrid parametric transform) 또는 폐쇄형 하이브리드 파라메트릭 하르 변환을 적용할 수 있다. 도시된 바와 같이, 일부 예에서, 콘텐츠 적응적 변환 모듈(1704)은 소형 크기 내지 중간 크기의 파티션에 적용될 수 있다. 예를 들면, 소형 크기부터 중간 크기의 파티션은 16 픽셀 이하의 높이와 16 픽셀 이하의 넓이를 갖는 파티션 또는 블록을 포함할 수 있다. 예를 들면, 소형 크기부터 중간 크기의 파티션이나 블록은 4x4 픽셀, 4x8 픽셀, 8x4 픽셀, 8x8 픽셀, 4x16 픽셀, 16x4 픽셀, 8x16 픽셀, 16x8 픽셀, 16x16 픽셀, 또는 그 유사한 것을 갖는 파티션을 포함할 수 있다.
일부 예에서, 고정 변환 모듈(1705)이, 예를 들면, 이산 코사인 변환, 이산 코사인 변환 근사기, 또는 그 유사한 것과 같은 이산 변환을 적용할 수 있다. 도시된 것처럼, 일부 예에서, 고정 변환 모듈(1705)은 중간 크기 내지 대형 크기의 파티션이나 블록에 적용될 수 있다. 예를 들면, 중간 크기 내지 대형 크기의 파티션이나 블록은 16 픽셀보다 크거나 같은 높이와 16 픽셀보다 크거나 같은 넓이를 갖는 파티션을 포함할 수 있다. 예를 들면, 중간 크기 내지 대형 크기의 파티션이나 블록은, 16x16 픽셀, 16x32 픽셀, 32x16 픽셀, 32x32 픽셀, 32x64 픽셀, 64x32 픽셀, 64x64 픽셀 등을 포함하는, (정방형 및 장방형 파티션을 포함하는) 각 사이드가 적어도 16 픽셀인 넓은 배열의 파티션을 포함할 수 있다. 논의된 바와 같이, 일부 예에서, 콘텐츠 적응적 변환 모듈(1704)에 제공된 파티션과 고정 변환 모듈(1705)에 제공된 파티션 간에 오버래핑될 수 있다. 그러한 예에서, 콘텐츠 적응적 변환 모듈(1704)과 고정 변환 모듈(1705) 모두에 제공된 코딩 파티션은 어떤 변환이 사용될 지를 결정하기 위하여 평가될 수 있다. 다른 예에서, 오버랩이 없을 수 있다. 예를 들면, 소형 크기 내지 중간 크기의 파티션이나 블록은 16 픽셀보다 작은 넓이와 16 픽셀보다 작은 높이 또는 그 유사한 것을 갖는 파티션이나 블록을 포함할 수 있고, 중간 크기 내지 대형 크기의 픽셀은 16 픽셀보다 큰 넓이와 16 픽셀보다 큰 높이 또는 그 유사한 것을 갖는 파티션이나 블록을 포함할 수 있다. 다른 예에서, 휴리스틱(heuristic) 기술은 언제 모듈 중간 크기의 블록이 변환 프로세싱을 위하여 전송될지를 결정하도록 구현될 수 있다.
논의되는 것처럼, 스위치(1706, 1707)는 k-d 트리 파티션(예를 들면, I-픽처의 파티션)에 대한 변환 모듈을 선택하도록 동작할 수 있다. 일부 예에서, 스위치(1706, 1707) 및/또는 코딩 파티션 생성기(107)는 논의된 것처럼 인코딩 제어기(103)의 비트율 왜곡 최적화 선택기 모듈(1706)의 제어하에 동작할 수 있다. 비트율 왜곡 최적화 선택기 모듈(1796)은 예를 들면, 특정 파티션에 대해, 얼마나 많은 파티션(예를 들면, 나눔)과 연관된 변환 크기가 소형 파티션 내지 중간 파티션을 적응적 변환 모듈(108)의 콘텐츠 적응적 변환(소형 블록 내지 중간 블록)(1704, 1708)에 제공하는 것 그리고 중간 파티션 내지 대형 파티션을 적응적 변환 모듈(108)의 고정 변환(중간 블록 내지 대형 블록)(1705, 1709)로 제공하는 것에 기초하여 최적한 인코딩 결과를 가져올 수 있는 방법과 같은 최적한 선택을 결정할 수 있다. 예를 들면, 약간의 오버헤드(예를 들면, 부가적으로 인코딩된 비트)는 변환 데이터와 같은 적응적 변환과 연관될 수 있고, 이는 디코더에 의해 적응적 기저 함수 등을 구축하는데 필요할 수 있다. 그러나, 그러한 오버헤드는 예를 들면, 변환 타입(예를 들면, xmtyp; 예를 들면, 파티션에 대한 변환이 적응적인지 이산인지 여부), 변환 방향(예를 들면, xmdir; 파라메트릭 변환이 하이브리드 변환에서 수평인지 수직인지 여부를 기술) 및/또는 변환 모드(예를 들면, xmmode; 예측 차이 신호 또는 본래의 신호를 사용하여 모드 선택 간의 인트라 코딩 신호용으로만 사용됨)를 포함하는 일련의 지시자와 같은 필수 정보를 적응적 변환 모듈(108)에 제공함으로써 줄일 수 있다. 양자화기/비트율 제어기(1797)는 양자 파라미터를 조절하여, 변동하는 대역폭 제한에 대응하여 인코딩 프로세스의 손실을 변경하도록 구성될 수 있다.
이제 이진-트리 파티션의 예로 돌아가면, 코딩 파티션(예를 들면, F/B 및 P-픽처에 대한 코딩 파티션)은 콘텐츠 적응적 변환 모듈(108)로 전송되는데, 이는, 도시된 것처럼, 콘텐츠 적응적 변환 모듈(1708), 고정 변환 모듈(1709)을 포함할 수 있으며, 이들은 스위치(1710, 1711)의 동작에 기초하여 선택적으로 동작할 수 있다. 콘텐츠 적응적 변환 모듈(1708), 고정 변환 모듈(1709) 및 스위치(1710, 1711)는 콘텐츠 적응적 변환 모듈(1704), 고정 변환 모듈(1705) 및 스위치(1710, 1711)와 유사하게 동작할 수 있으며, 이 동작은 간결함을 위해 반복되지 않을 것이다. 도시된 것처럼, 콘텐츠 적응적 변환 모듈(108)은 또한 스위치(1712)를 포함할 수 있고, 이는 상술한 것처럼 다양한 비디오 데이터(예를 들면, I-픽처 또는 F/B 및 P-픽처와 관련된 비디오 데이터 파티션)를 위한 적절한 루트를 선택하도록 스위치(1703)와 함께 동작할 수 있다.
도 17의 인코더 서브시스템(1700)에서, 일부 예에서, 하이브리드 파라메트릭 하르 변환과 같은 콘텐츠 적응적 변환은 2의 거듭제곱을 갖는 파티션에 대해서만 수행될 수 있다. 이러한 예에서, 2의 거듭제곱인 파티션만이 가용한 변환을 수용하도록 제약사항이 k-d 트리 인트라-예측/코딩 분할기 모듈(1701)에 부과될 수 있다. 일부 예에서, 소형 파티션 내지 중간 파티션이 2의 거듭제곱을 유지하지 않는다면, 고정 변환(예를 들면, 이산 코사인 변환이나 그 유사한 것)이 그러한 파티션에 대하여 추가적인 시그널링 오버헤드에 대한 필요없이 사용될 수 있다.
도 18은 본 개시의 적어도 어떤 구현에 따라 구성되는, 인코더 서브시스템(1800)을 도시하는 도면이다. 도시된 것처럼, 인코더 서브시스템(1800)은 코딩 파티션 생성기 모듈(107), 인코딩 제어기 모듈(103), 적응적 변환 모듈(108), 적응적 양자화기 모듈(109) 및/또는 적응적 엔트로피 인코더 모듈(110)을 포함할 수 있다. 비록, 표현의 명확함을 위하여, 도 18에 도시되지 않았지만, 비디오 데이터는 차분기(106), 예측 파티션 생성기 모듈(105) 또는 그 유사한 것으로부터 코딩 파티션 생성기 모듈(107)로 입력될 수 있다. 코딩 파티션 생성기 모듈(107)에 의해 수신된 비디오 데이터는, 예를 들면, 예측 오차 데이터 파티션, 예측 파티션, 타일이나 수퍼-프래그먼트, 원 픽셀 데이터, 웨이블릿 데이터, 잔차 데이터, 또는 본 개시에서 논의되는 그 밖의 비디오 데이터와 같은 임의의 적합한 비디오 데이터일 수 있다. 비디오 데이터는 예를 들면 루마 데이터 또는 크로마 데이터를 제공하거나 표현할 수 있다. 도시된 것처럼, 인코더 서브시스템(500)에서, 비디오 데이터는 코딩 파티션 생성기 모듈(107)에 의해서 수신될 수 있다.
도시된 것처럼, 코딩 파티션 생성기 모듈(107)은, 스위치(1801)의 제어하에 동작하는, 도 17와 관련하여 논의된, k-d 트리 인트라-예측/코딩 분할기 모듈(1701) 및 이진-트리 코딩 분할기 모듈(1702)을 포함할 수 있다. 스위치(1801)의 제어하에, 수신된 비디오 데이터는 k-d 트리 인트라-예측/코딩 분할기 모듈(1701) 또는 이진-트리 코딩 분할기 모듈(1702)로 전송될 수 있다. 예를 들면, 스위치(1801)는 비디오 데이터의 픽처 타입 및/또는 비디오 데이터와 연관된 예측 타입에 기초하여 비디오 데이터를 라우팅할 수 있다. 예를 들면, 픽처 타입이 F/B 픽처 또는 P-픽처이고 예측 타입이 인터-예측 또는 그 유사한 것일 때, 비디오 데이터는 예측 오류 데이터 파티션(예를 들면, 예측 파티션에 대한 오차 데이터나 잔차)을 포함할 수 있고 그리고 스위치(1801)는 비디오 데이터를 이진-트리 코딩 분할기 모듈(1702)로 라우팅하여 코딩 파티션으로 분할되도록 할 수 있다. 예를 들면, 픽처 타입이 F/B 픽처 또는 P-픽처이고 예측 타입이 인트라-예측일 때, 비디오 데이터는 타일이나 수퍼-프래그먼트 비디오를 포함할 수 있고, 그리고 스위치(1801)는 비디오 데이터를 이진-트리 코딩 분할기 모듈(1702)로 라우팅하여 (오직 한 레벨의 분할만이 수행될 수 있기 때문에) 예측 파티션 또는 코딩 파티션으로 표식될 수 있는 파티션으로 분할되도록 할 수 있다. 논의된 것처럼, 그러한 예에서, 분할은 이진-트리 코딩 분할기 모듈(1702)이나 예측 파티션 생성기 모듈(105)에 의해서 수행될 수 있다. 픽처 타입이 (예를 들면, 이는 전적으로 인트라-예측을 사용하여 코딩될 수 있는) I 픽처일 때, 비디오 데이터는 타일이나 수퍼-프래그먼트 비디오를 포함할 수 있고, 그리고 스위치(1703)는 비디오 데이터를 k-d 트리 인트라-예측/코딩 분할기 모듈(1701)로 라우팅하여 (오직 한 레벨의 분할만이 수행될 수 있기 때문에) 예측 파티션 또는 코딩 파티션으로 표식될 수 있는 파티션으로 분할되도록 할 수 있다. 논의된 것처럼, 이러한 예에서, 분할은 k-d 트리 인트라-예측/코딩 분할기 모듈(1701)이나 예측 파티션 생성기 모듈(105)에 의해서 수행될 수 있다.
논의된 것처럼, 비록 이진-트리 코딩 분할기 모듈(1702)로 도시되었지만, 일부 예에서는, 코딩 파티션 생성기 모듈(107)은 k-d 트리 분할 기술을 사용하여 예측 파티션을 분할하는 모듈(1701) 대신에 k-d 트리 코딩 분할기 모듈을 구현할 수 있다. 유사하게, 비록, k-d 트리 인트라-예측/코딩 분할기 모듈(1701)로 도시되었지만, 일부 예에서는, 코딩 파티션 생성기 모듈(107)은 이진-트리 분할 기술을 사용하여 예측 파티션을 분할하는 모듈(1702) 대신에 이진-트리 코딩 분할기 모듈을 구현할 수 있다.
논의된 것처럼, 일부 예에서, I-픽처 인트라-코딩과 같이, 예측 분할 또는 코딩 분할로 명시될 수 있는 한 계층의 분할만이 적용될 수 있다. 일부 예에서, 코딩 파티션 생성기 모듈(107)은 k-d 트리 인트라-예측/코딩 분할기 모듈(1701)을 통해 k-d 트리 분할 기술을 사용하여 분할하기 위한 I-픽처 타일이나 수퍼-프래그먼트 또는 프레임을 수신할 수 있다. 다른 예에서, I-픽처는 예측 파티션 생성기 모듈(105)을 통해 사전에 분할되어서, 더 이상의 분할이 요구되지 않을 수 있다. 이러한 예에서, k-d 트리 인트라-예측/코딩 분할기 모듈(1701)은 바이패스될 수 있다. 양자의 경우에, (예측 파티션이나 코딩 파티션으로 표식되는) I-픽처 파티션은 적응적 변환 모듈(108)로 전송될 수 있다.
또한 논의된 것처럼, 일부 예에서, P- 또는 F/B-픽처 인트라-코딩에서, 오직 한 계층 분할만이 적용될 수 있으며, 이는 예측 분할이나 코딩 분할로서 표식될 수 있다. 일부 예에서, 코딩 파티션 생성기 모듈(107)은 그러므로 이진-트리 코딩 분할기 모듈(1702)을 통해 이진-트리 분할 기술을 사용하여 분할하도록 P- 또는 F/B-픽처 타일이나 수퍼-프래그먼트 또는 프레임을 수신한다(이러한 예에서, 이진-트리 코딩 분할기 모듈(1701)은 이진-트리 예측/코딩 분할 모듈로 간주될 수 있다). 다른 예에서, P- 또는 F/B-픽처는 예측 파티션 생성기 모듈(105)을 통해 이미 분할되었을 수 있으며, 더 이상의 분할이 필요하지 않을 수 있다. 이러한 예에서, 이진-트리 코딩 분할기 모듈(1702)이 바이패스될 수 있다. 양자의 경우에, (예측 파티션이나 코딩 파티션으로 표식되는) P- 또는 F/B-픽처 파티션은 적응적 변환 모듈(108)로 전송될 수 있다.
이진-트리 코딩 분할기 모듈(1702)은 이진-트리 분할 기술을 사용하여 비디오 데이터를 복수의 파티션으로 분할할 수 있는데, 이하 도 19을 참조하여 좀 더 논의된다. k-d 트리 인트라-예측/코딩 분할기 모듈(1701)은 k-d 트리 분할 기술을 사용하여 비디오 데이터를 복수의 파티션으로 분할할 수 있으며, 이하 도 20를 참조하여 좀 더 논의된다. 본 개시에서 논의된 것처럼, 이진-트리 코딩 분할기 모듈(1702)은 이진-트리 분할 기술을 사용하여 (예를 들면) 예측 오차 데이터 파티션을 복수의 코딩 파티션으로 분할할 수 있으며, k-d 트리 인트라-예측/코딩 분할기 모듈(1701)은 k-d 트리 분할 기술을 사용하여 비디오 데이터(예를 들면, I-픽처 타일이나 수퍼-프래그먼트)를 복수의 파티션으로 분할할 수 있다. 도 18에 도시된 것처럼, 코딩 파티션 또는, I-픽처의 경우에, (표식된) 코딩 파티션 또는 예측 파티션은 코딩 파티션 생성기 모듈(107)로부터 적응적 변환 모듈(108)로 전송될 수 있다.
먼저, k-d 트리 파티션의 예를 들면, (예를 들면, I-픽처에 대하여) 파티션은 적응적 변환 모듈(108)의 콘텐츠 적응적 변환 모듈(1802) 및 고정 변환 모듈(1803)로 전송될 수 있다. 예를 들면, 타일이나 수퍼-프래그먼트는 k-d 트리 분할 기술을 사용하여 분할되어 분할(예를 들면, 예측을 위한 파티션)을 생성할 수 있다. 인트라-예측은 예측을 위하여 파티션에 대하여 수행되어 예측 파티션을 생성할 수 있으며, 이는 예측 오차 데이터 파티션을 생성하도록 원 픽셀 데이터와 차의 계산될 수 있다. 논의된 것처럼, 선택된 분할은 비트율 왜곡 최적화나 그 유사한 것에 기초하여 결정될 수 있다. 선택된 분할과 연관된 예측 오차 데이터 파티션(및/또는 예측 파티션)은 적응적 변환 모듈(108)로 전송될 수 있다. 논의된 것처럼, 이러한 예측 파티션은 다르게는 코딩 파티션이라고 표식될 수 있는데, 이는 오직 단일 레벨의 분할이 수행되기 때문이다.
도시된 것처럼, 적응적 변환 모듈(108)은 콘텐츠 적응적 변환 모듈(1802)과 고정 변환 모듈(1803)을 포함할 수 있다. 예를 들면, 콘텐츠 적응적 변환은 디코딩 이웃 비디오 데이터(예를 들면, 이웃 블록, 파티션, 또는 그 유사한 것)로부터 결정될 수 있는 콘텐츠 종속 기저 함수를 갖는 변환 및 디코딩을 위해 (예를 들면, 비트스트림을 통해) 인코더로부터 디코더로 전송되어야 하는 연관된 변환 데이터를 갖는 변환을 포함할 수 있고, 고정 변환은 고정 기저 함수를 갖는 고정 변환을 포함하고, 본 개시에서, 상술한 것처럼, 변환 계수는 디코딩을 위해 전송되어야 한다.
일부 예에서, 콘텐츠 적응적 변환 모듈(1802)은, 예를 들면, 파라메트릭 변환, 파라메트릭 하르 변환, 하이브리드 파라메트릭 하르 변환(예를 들면, 일 방향의 파라메트릭 하르 변환 및 직교 방향의 고정 변환), 파라메트릭 경사(slant) 변환, 하이브리드 파라메트릭 경사 변환 등과 같은, 콘텐츠 적응적 변환을 적용할 수 있다. 일부 예에서, 콘텐츠 적응적 변환 모듈(1802)은 폐쇄형 하이브리드 파라메트릭 변환이나 폐쇄형 하이브리드 파라메트릭 하르 변환을 적용할 수 있다. 도시된 것처럼, 일부 예에서, 콘텐츠 적응적 변환 모듈(1802)은 소형 크기 내지 중간 크기의 파티션이나 블록에 적용될 수 있다. 예를 들면, 소형 크기 내지 중간 크기의 파티션이나 블록은 16 픽셀보다 적거나 같은 높이와 16 픽셀보다 적거나 같은 넓이를 갖는 파티션 또는 블록을 포함할 수 있다. 예를 들면, 소형 크기 내지 중간 크기의 파티션이나 블록은 4x4 픽셀, 4x8 픽셀, 8x4 픽셀, 8x8 픽셀, 4x16 픽셀, 16x4 픽셀, 8x16 픽셀, 16x8 픽셀, 또는 16x16 픽셀 등을 갖는 파티션을 포함할 수 있다.
일부 예에서, 고정 변환 모듈(1803)이, 예를 들면, 이산 코사인 변환, 이산 코사인 변환 근사기, 또는 그 유사한 것과 같은 고정 변환에 적용될 수 있다. 도시된 것처럼, 일부 예에서, 고정 변환 모듈(1803)은 중간 크기 내지 대형 크기의 파티션이나 블록에 적용될 수 있다. 예를 들면, 중간 크기 내지 대형 크기의 파티션이나 블록은 16 픽셀보다 크거나 같은 높이와 16 픽셀보다 크거나 같은 넓이를 갖는 파티션이나 블록을 포함할 수 있다. 예를 들면, 중간 크기 내지 대형 크기의 파티션이나 블록은, 16x16 픽셀, 16x32 픽셀, 32x16 픽셀, 32x32 픽셀, 32x64 픽셀, 64x32 픽셀, 64x64 픽셀 등을 포함하는, (정방형 및 장방형 파티션을 포함하는) 각 사이드가 적어도 16 픽셀인 넓은 배열의 파티션을 포함할 수 있다. 일부 예에서, 고정 변환 모듈(1803)은 고정밀 정수 근사를 사용하여 이산 코사인 변환을 적용할 수 있다.
이제 이진-트리 파티션의 예로 돌아가면, 코딩 파티션(예를 들면, F/B 및 P-픽처에 대한 코딩 파티션)은 적응적 변환 모듈(108)의 적응적 변환 모듈(1804)과 이산 변환 모듈(1805)로 전송될 수 있다. 적응적 변환 모듈(1804)과 이산적 변환 모듈(1805)은 적응적 변환 모듈(1802)과 이산적 변환 모듈(1804)과 유사하게 동작할 수 있으며, 해당 동작은 간결함을 목적으로 반복되지 않을 것이다. 도시된 것처럼, 적응적 변환 모듈(108)은 또한 스위치(1806)를 포함할 수 있고, 이는 다양한 비디오 데이터를 위한 적절한 루트를 선택하도록 스위치(1801)와 함께 동작할 수 있다.
콘텐츠 적응적 변환 모듈(1802)과 고정 변환 모듈(1803), 또는 콘텐츠 적응적 변환 모듈(1804)과 이산적 변환 모듈(1805)에 제공되는 파티션에 대하여(예를 들면, 소형 크기 내지 중간 크기의 파티션), 어떤 변환 모듈 결과가 사용될지에 대한 결정이 비트율 왜곡 최적화 선택기 모듈(1796)을 통한 트레이드-오프 분석에 기초하여 이루어질 수 있다. 중간 크기 내지 대형 크기의 코딩 파티션에 대해서는, 인코더 서브시스템(1700)과 관련하여 실질적인 성능의 변화는 없을 수 있으며, 이는 고정 변환이 여전히 이러한 코딩 파티션에 적용되기 때문이다. 인코더 서브시스템(1800)은 추가적인 계산이나 결정 오버헤드의 비용으로 소형 크기 내지 중간 크기의 코딩 파티션과 관련된 코딩 효율성/비트 세이브 전망(bit saving perspective)으로부터 최적의 결정을 내릴 능력을 제공할 수 있다. 그러한 오버헤드는 변환 타입(예를 들면, xmtyp; 예를 들면, 파티션에 대한 변환이 적응적인지 이산인지 여부), 변환 방향(예를 들면, xmdir; 파라메트릭 변환이 하이브리드 변환에서 수평인지 수직인지 여부를 기술) 및/또는 변환 모드(예를 들면, xmmode; 예측 차이 신호 또는 본래의 신호를 사용하여 모드 선택 간의 인트라 코딩 신호용으로만 사용됨)를 포함하는 일련의 지시자로서 인코딩될 수 있다. 도 18에 도시된 것처럼, 이러한 지시자 또는 플래그 또는 데이터 등은 출력 비트스트림(111) 같은 비트스트림 내에 인코딩하도록 적응적 엔트로피 인코더 모듈(110)에 제공될 수 있다.
도 17 내지 도 18과 관련하여 논의된 것처럼, 다양한 파티션(예를 들면, 인터-예측을 위한 F/B- 또는 P-픽처의 코딩 파티션 또는 인트라-예측을 위한 I-, F/B- 또는 P-픽처의 예측/코딩 파티션)이 변환 코딩될 수 있다. 이러한 예에서, 파티션과 연관된 데이터(예를 들면, 파티션의 크기나 위치 또는 그 유사한 것을 기술하는 데이터)는 출력 비트스트림(111)이나 그 유사한 것과 같은 비트스트림을 통해 제공될 수 있다.
또한, 논의된 것처럼, 소형, 중간, 그리고 대형 파티션의 개념은 다양한 맥락(예를 들면, 픽처 타입 및/또는 루마 또는 크로마)으로 논의되었다. 다음의 표는 어떤 구현 내의 블록 크기 및 연관된 변환 타입의 예시를 도시한다.
예를 들면, 표 6은 (예를 들면, k-d 트리 파티션에 대한) 루마의 (예를 들면, I-픽처에 대한) 인트라-코딩에 대한 하이브리드 파라메트픽 하르 변환(예를 들면, 소형 크기 내지 중간 크기의 예측/코딩 파티션)과 같은 콘텐츠 적응적 변환에 대한 파티션이나 블록 크기의 예를 도시한다.
[표 6]
Figure 112015035945444-pct00010
예를 들면, 표 7는 (예를 들면, k-d 트리 파티션에 대한) 크로마의 (예를 들면, I-픽처에 대한) 인트라-코딩에 대한 하이브리드 파라메트픽 하르 변환(예를 들면, 소형 크기 내지 중간 크기의 예측/코딩 파티션)과 같은 콘텐츠 적응적 변환에 대한 파티션의 예를 도시한다.
[표 7]
Figure 112015035945444-pct00011
예를 들면, 표 8은 (예를 들면, 이진-트리 파티션에 대한) 루마의 (예를 들면, F/B- 및 P-픽처에 대한) 인터-코딩에 대한 하이브리드 파라메트픽 하르 변환(예를 들면, 소형 크기 내지 중간 크기의 코딩 파티션)과 같은 콘텐츠 적응적 변환에 대한 파티션의 예를 도시한다.
[표 8]
Figure 112015035945444-pct00012
예를 들면, 표 9는 (예를 들면, 이진-트리 파티션에 대한) 크로마의 (예를 들면, F/B- 및 P-픽처에 대한) 인터-코딩에 대한 하이브리드 파라메트픽 하르 변환(예를 들면, 소형 크기 내지 중간 크기의 코딩 파티션)과 같은 콘텐츠 적응적 변환에 대한 파티션의 예를 도시한다.
[표 9]
Figure 112015035945444-pct00013
예를 들면, (예를 들면, k-d 트리 분할을 사용하는 I-픽처에 대한) 인트라-코딩 및 (예를 들면, 이진-트리 분할을 사용하는 F/B- 및 P-픽처에 대한) 인터-코딩을 위한 이산 코사인 변환(예를 들면, 모든 코딩 파티션)과 같은 고정 변환에 대하여, 4x4부터 64x64까지 4의 인수를 갖는 모든 크기의 조합은 적용가능한 변환을 가질 수 있다. 유사하게, 고정 변환이나 루마에 대하여, 2x2부터 32x32까지 2의 인자를 갖는 모든 크기의 조합은 적용가능한 변환을 가질 수 있다.
도 19는 본 개시의 적어도 일부 구현예에 따라서 구성되는, 이진-트리 분할 기술을 사용하여 비디오 부분(1900)의 분할의 예를 도시한다. 도시된 것처럼, 일부 예에서, 프레임 부분(1900)은 정방형을 포함할 수 있다. 논의된 것처럼, 다양한 예에서, 프레임 부분(1900)은 임의의 적합한 형태를 포함할 수 있다. 또한 프레임 부분(1900)은 예측 파티션, 타일, 또는 수퍼-프래그먼트 또는 본 개시에서 논의된 유사한 것을 포함할 수 있다. 또한, 일부 예에서, 프레임 부분(1900)은 예시된 파티션이 서브-파티션이라 간주될 수 있도록 자체가 파티션일 수 있다. 그러한 예는 본 개시의 아래에서 상세히 설명되는 것처럼 서브-파티션 생성기 모듈(107)을 통해 코딩(예를 들면, 변환 코딩)을 위해 더 분할될 때 발생할 수 있다.
도 19에 도시된 것처럼, 이진-트리 분할은 분할의 진행을 포함할 수 있다. 프레임 부분(1900)으로 시작하면서, 파티션 1은 프레임 부분(1900) 자신으로 정의될 수 있다. 파티션 1은 파티션 2, 3으로 수직으로 분할될 수 있다. 각 파티션 2, 3은, 이번에는 파티션 4, 5(예를 들면, 파티션 3의 파티션들) 및 파티션 6, 7(예를 들면, 파티션 2의 파티션들)로 더 수직 분할된다. 도 19의 (위로부터) 제 2 행은 파티션 3에서 파티션 8, 9 그리고 파티션 2에서 파티션 10, 11로의 수직 분할을 도시한다. 도 19의 (위로부터) 제 3 행은 (예를 들면, (위로부터) 제 1 행의 수직 분할 대신에) 파티션 1로부터 파티션 12, 13을 생성하는 수평 분할을 도시한다. 도 19의 (위로부터) 제 3 행은 파티션 12, 13을 수직 분할하여 파티션 14, 15(예를 들면 파티션 13의 파티션들) 및 파티션 16, 17(예를 들면 파티션 12의 파티션들)을 생성하는 것을 도시한다. 제 4 또는 아래 행은 파티션 12를 수평 분할하여 파티션 18, 19를 생성하고 파티션 13을 수평분할하여 파티션 20, 21을 생성한 것을 도시한다. 도시된 것처럼, 이진-트리 분할은 가장 작은 파티션 크기에 도달할 때까지 각 파티션을 두 개의 동일한 파티션으로 서브 분할하거나 분할하도록 한번에 한 차원씩(예를 들면, 수평 및 수직으로) 재귀적으로 사용될 수 있다. 이진-트리 분할은 프레임 부분을 많은 수의 조합으로 분할할 수 있고 또한 파티션의 순조로운 진행을 위하여 제공될 수 있다.
도 20은 본 개시의 적어도 일부 구현예에 따라서 구성되는, k-d 트리 분할 기술을 사용하여 프레임 부분(2000)의 분할의 예를 도시한다. 도시된 것처럼, 일부 예에서, 프레임 부분(2000)는 정방형을 포함할 수 있다. 논의된 것처럼, 다양한 예에서, 프레임 부분(2000)는 임의의 적합한 형태 포함할 수 있다. 또한 프레임 부분(2000)는 예측 파티션, 타일, 또는 수퍼-프래그먼트 또는 본 개시에서 논의된 유사한 것을 포함할 수 있다.
도 20에 도시된 것처럼, k-d 트리 분할은 분할의 진행을 포함할 수 있다. 또한, 도시된 것처럼, k-d 트리 분할은 (도 20의 위로부터 시작하여) 도 20의 행 1-4가 도 19의 행 1-4와 매칭되는 이진-트리 분할의 확대집합(superset)일 수 있다. 일부 예에서, 도 20에 도시된 k-d 트리 분할의 프로세스는 프레임 부분(2000)를 특정 차원(예를 들면, 수직이나 수평)의 4 개의 장방형 파티션으로 반복하여 분할할 수 있다. 프레임 부분(2000)에서 시작하면서, 파티션 1은 프레임 부분(2000) 자신으로 정의될 수 있다. 파티션 1은 파티션 2, 3으로 수직으로 분할될 수 있다. 각 파티션 2, 3은, 이번에는 파티션 4, 5(예를 들면, 파티션 3의 각 파티션) 및 파티션 6, 7(예를 들면, 파티션 2의 파티션들)로 더 수직 분할될 수 있다. 도 20의 (위로부터) 제 2 행은 파티션 3에서 파티션 8, 9로, 그리고 파티션 2에서 파티션 10, 11로의 수직 분할을 도시한다. 도 20의 (위로부터) 제 3 행은 (예를 들면, (위로부터) 제 1 행의 수직 분할 대신에) 파티션 1로부터 파티션 12, 13을 생성하는 수평 분할을 도시한다. 도 20의 (위로부터) 제 3 행은 파티션 12, 13을 수직 분할하여 파티션 14, 15(예를 들면 파티션 13의 파티션들) 및 파티션 16, 17(예를 들면 파티션 12의 파티션들)을 생성하는 것을 도시한다. (위로부터) 제 4 행은 파티션 12를 수평 분할하여 파티션 18, 19를 생성하고 파티션 13을 수평분할하여 파티션 20, 21을 생성한 것을 도시한다.
논의된 것처럼, 제 4행을 통해서, k-d 트리 분할은 이진-트리 분할과 실질적으로 일치할 것이다. 도 20의 (위로부터) 제 5행에 도시된 것처럼, 프레임 부분(2000)는 1/4 및 3/4 크기의 파티션으로 수직으로 분할되어 파티션 22, 23을 생성할 수 있다. 또한, 파티션 23은 절반이 수직 분할되어 파티션 24, 25를 생성하고, 파티션 22는 절반이 수직으로 분할되어 파티션 26, 27을 생성할 수 있다. 도 20의 제 6행 또는 맨 아래의 행에 도시된 것처럼, 프레임 부분(2000)는 1/4 및 3/4 크기의 파티션으로 수평 분할되어 파티션 28, 29를 생성할 수 있다. 또한, 파티션 28은 수평으로 절반이 분할되어 파티션 30, 31을 생성하고, 파티션 29는 절반이 수평으로 분할되어 파티션 32, 33을 생성할 수 있다. 이러한 분할 프로세스는 가장 작은 파티션 크기에 도달할 때까지 각 파티션을 두 개의 동일한 부분(절반) 및 2 개의 동일하지 않은 부분(예를 들면, 1:3의 비율로)으로 서브 분할하거나 분할하도록 한번에 차원을 바꾸어 가면서(예를 들면, 수평 및 수직으로), 재귀적으로 반복될 수 있다. K-d 트리 분할은 프레임 부분을 파티션 및 서브 파티션(등등)의 중간 포인트에서만이 아니라, 또한 각 접근 상에 추가적인 정확도(accuracy)를 갖고 많은 수의 조합으로 분할할 수 있다. 도시된 예에서, 사분의 일 정도가 사용된다. 다른 예에서, 삼분의 일, 오분의 일, 또는 그 유사한 것과 같은 어떠한 정도라도 사용될 수 있다.
도 19와 도 20과 관련하여 논의된 것처럼, 프레임 부분은 광범위한 파티션으로 분할될 수 있다. 파티션은 각각 인덱스 값으로 인덱싱될 수 있고, 인코딩 제어기(103)(도 1 참조)로 전송될 수 있다. 인덱싱되고 전송된 파티션들은, 예를 들면, 다양한 분할을 통해 적용된 수백 개의 파티션을 포함할 수 있다. 하나 이상의 파티션이, 도 1과 관련하여 논의된 것처럼, 예측 및/또는 코딩(예를 들면, 변환 코딩: 일부 예에서, 코딩을 위한 파티션은 서브-파티션으로 더 분할될 수 있다)에 사용될 수 있다. 예를 들면, 인터-예측이 피픽처에 대한 주요 예측원일 수 있고, F/B 픽처가 또한 인터- 및 인트라-예측을 모두 사용할 수 있을지라도, I-픽처는 전적으로 인트라-예측을 사용하여 예측될 수 있고, 피픽처는 인터- 및 인트라-예측을 사용할 수 있다. 예를 들면, 인코딩 제어기(103)는 인터-예측 및 인트라 예측 동작에서 사용하기 위한 파티션을 선택할 수 있다. 인터- 및/또는 인트라-예측과 연관된 데이터 및 활용된 파티션을 정의하는 데이터는 예를 들면 비트스트림으로 인코딩될 수 있으며, 이하 추가 논의된다.
일부 예에서, 광범위한 분할 옵션은 한정되거나 제약된다. 그러한 제약사항은 이진-트리나 k-d 트리 분할의 예에 적용될 수 있다. 예를 들면, 프레임 부분의 분할은 프레임 부분(예를 들면, 타일이나 수퍼-프래그먼트)를 제 1 차원으로(예를 들면, 수평이나 수직으로) 절반 분할하도록 제 1 파티션을 미리-정의하는 단계와, 적어도 하나의 프레임 부분을 제 2 차원으로(예를 들면, 제 1 절반 분할의 반대로) 절반 분할하도록 제 2 파티션을 미리-정의하는 단계를 포함할 수 있다. 추가적인 파티션은 이러한 초기에 제약에 의한 분할 이후에만 만들어질 수 있어서, 예를 들면, 초기 프레임 부분에 기초한 다른 옵션의 파티션들이 더 이상 가용하지 않게 될 수 있다. 이러한 제약조건은 64x64 픽셀 프레임 부분으로 시작하여 그 프레임 부분을 32x32 크기의 서브-부분으로 분할하고, 각 서브-부분을 k-d 트리 분할이나 이진-트리 분할에 의해 분할할 때 적용되어, 파티션의 수를 제한할 수 있다.
예측 파티션 및/또는 코딩 파티션은 인코더 및/또는 디코더에 의한 사용을 위하여 정의될 수 있다(예를 들면, 그들의 형태 및/또는 위치가 정의될 수 있다). 일부 예에서, 프레임 부분의 개개 예측 파티션 또는 예측 파티션의 코딩 파티션은 픽셀 블록에 기초하여 심볼-런(symbol-run) 코딩을 사용하여 정의될 수 있다. 다른 예에서, 프레임 부분의 개개 예측 파티션 또는 예측 파티션의 코딩 파티션은 코드북(code book)을 사용하여 정의될 수 있다. 표 10은 타일이나 수퍼-프래그먼트의 파티션을 정의하도록 사용되는 32x32 픽셀의 프래그먼트 크기를 갖는 엔트리의 이진트리 분할 코드북의 예를 도시한다. 표 10에서, 큰 X는 무한 파티션을 표현한다.
[표 10]
Figure 112015035945444-pct00014
Figure 112015035945444-pct00015
표 11은 파티션 정의에 사용되는 32x32 픽셀의 단편 크기를 갖는 엔트리의 k-d 트리 분할 코드북의 예를 도시한다.
[표 11]
Figure 112015035945444-pct00016
Figure 112015035945444-pct00017
Figure 112015035945444-pct00018
도 10과 도 11은 코드북 엔트리의 예를 보여줄 뿐이다. 전체 코드븍(codebook) 엔트리는 모든 가능한 엔트리의 전체 또는 실질적으로 전체 리스트 및 그의 코딩을 제공한다. 일부 예에서, 코드북은 상술한 제약사항을 고려할 수 있다. 일부 예에서, 파티션 또는 서브-파티션에 대한 코드북 엔트리와 연관된 데이터는 본 개시에서 논의된 것처럼 디코더에서 사용하기 위해 비트스트림으로 인코딩될 수 있다.
논의된 것처럼, 프레임 부분(예를 들면, 타일 또는 수퍼-프래그먼트)는 선택된 분할 기술(예를 들면, 이진-트리 분할 또는 k-d 트리 분할)에 기초하여 분할되어 예측 파티션을 생성할 수 있다. 예측 파티션은 인터-예측 기술 및/또는 인트라-예측 기술에 기초하여 인코딩하는데 사용될 수 있다. 인코더를 통해 구현된 로컬 디코드 루프는 예측 파티션을 생성할 수 있고, 이 예측 파티션은 예측 오차 데이터 파티션 또는 잔차(예를 들면, 예측 파티션과 원 픽셀 데이터 간의 차)을 생성하는데 사용될 수 있다. 몇몇 사례에서, 예측 파티션은 코딩될 수 있고 그러므로 예측 파티션은 실질적으로 바꾸어 부를 수 있는 예측 파티션 또는 코딩 파티션이라고 기술될 수 있다. 그러한 사례는 예를 들면, I-픽처에서 인트라-예측의 상황에서(또는, 일부 구현예에서는 P- 및 F/B-픽처의 컨텍스트에서) 일어날 수 있다. 다른 사례에서(예를 들면, P- 및 F/B-픽처에서), 예측 오차 데이터 파티션은 이 파티션이 인코딩되어야 하는지를 결정하기 위해 평가될 수 있으며, 만일 그러하다면, 연관된 파티션이 코딩 파티션으로 더 분할되어 코딩될 수 있다. 또한, 예측 파티션 및/또는 코딩 파티션은 심볼-런 코딩 또는 코드북 등으로 특징지울 수 있거나 정의될 수 있다. 또한 논의된 것처럼, 설명된 예측 파티션 및/또는 코딩 파티션과 연관된 데이터 및 예측 데이터 등은 (예를 들면, 엔트로피 인코더를 통해) 비트스트림으로 인코딩될 수 있다. 비트스트림은 디코더로 전달될 수 있고, 디코더는 인코딩된 비트스트림을 사용하여 디스플레이를 위하여 비디오 프레임을 디코딩할 수 있다.
도 21은 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 인코더 필터링 서브시스템(2100)의 예시적인 다이어그램이다. 예시된 바와 같이, 필터링 서브시스템(2100)은 재구성 블록잡음 분석기 & 블록화 제거 필터 생성기(2117), 재구성 품질 분석기 & LF 필터킹 생성기(2118), 움직임 추정기, 움직임 보상 분석기 & 움직임 보상된 AM 필터 예측기 & ref 픽처 저장소(2123), 인트라 예측기(2124), 예측 모드 분석기 & 모드 선택기(2125) 및/또는 예측 효율 분석기 & 강화된 예측 필터링 생성기(2130)를 포함할 수 있다.
예시된 구현예에서, 재구성 블록잡음 분석기 & 블록화 제거 필터 생성기(2117)는 코딩 중에 발생된 블록화를 분석하여 블록화 제거가 적용되는 방법을 제어하는 dbi 파라미터를 결정할 수 있다.
예시된 구현예에서, 재구성 품질 분석기 & LF 필터킹 생성기(2118)는 루프 필터링을 분석 및 수행하여, lfi 파라미터(예를 들면, 필터 계수, 필터 인덱스, 또는필터 블록 맵 등)을 결정할 수 있다.
예시된 구현예에서, 움직임 추정기, 움직임 보상 분석기 & 움직임 보상된 AM 필터 예측기 & ref 픽처 저장소(2123)는 움직임 보상된 예측을 개선하여 ami 파라미터를 결정할 수 있다.
예시된 구현예에서, 인트라 예측기(2124)는 인트라 예측을 수행할 수 있다.
예시된 구현예에서, 예측 모드 분석기 & 모드 선택기(2125)는 블록 별로 이용할 수 있는 각종 움직임 예측 모드와 인트라 예측 모드 사이를 선택할 수 있으며, 또한 예측 참조를 선택할 수 있다.
예시된 구현예에서, 예측 효율 분석기 & 강화된 예측 필터링 생성기(2130)는 옵션으로 예측 신호를 필터링하여 필터링된 신호뿐 아니라 필터링되지 않은 신호가 둘 다 예측 모드 분석기 & 모드 선택기(2125)로 제공되도록 하여, epi 파라미터를 결정할 수 있다.
도 22는 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 디코더 서브시스템(2200)의 예시적인 다이어그램이다. 도시된 바와 같이, 디코더 서브시스템(2200)은 재구성 블록화 제거 필터링 생성기(2217), 재구성 LF 필터링 생성기(2218), 움직임 보상된 AM 필터링 예측기 & ref 픽처 저장소(2223), 인트라 예측기(2224), 예측 모드 선택기(2225) 및/또는 예측 EP 필터 생성기(2230)를 포함할 수 있다.
예시된 구현예에서, 재구성 블록화 제거 필터링 생성기(2217)는 블록화 제거할 수 있다. 재구성 블록화 제거 필터링 생성기(2217)의 동작은 예를 들면, 도 1의 100로부터 수신되는 dbi 파라미터에 의해 제어될 수 있다.
예시된 구현예에서, 재구성 LF 필터링 생성기(2218)는 루프 필터링을 수행할 수 있다. 재구성 LF 필터링 생성기(2218)의 동작은 예를 들면, 도 1의 인코더(100)로부터 수신되는 lfi 파라미터에 의해 제어될 수 있다.
예시된 구현예에서, 움직임 보상된 AM 필터링 예측기 & ref 픽처 저장소(2223)는 AM 필터링을 수행할 수 있다. 움직임 보상된 AM 필터링 예측기 & ref 픽처 저장소(2223)의 동작은 예를 들면, 도 1의 인코더(100)로부터 수신되는 ami 파라미터에 의해 제어될 수 있다.
예시된 구현예에서, 인트라 예측기(2224)는 인트라 예측을 수행할 수 있다.
예시된 구현예에서, 예측 모드 선택기(2225)는 타일의 각 예측 파티션마다, "스킵", "자동", "인터", "멀티" 및 "인트라" 중에서 예측 모드 선택을 결정할 수 있고, 이들 모두는 예를 들면, 입력 비트스트림(201)의 모드 선택 데이터에 기초하여 P- 및 F/B-픽처에 적용할 수 있다. 예측 모드의 선택 이외에도, 예측 모드 선택기(2225)는 "인터" 또는 "멀티" 모드 뿐아니라 P_ 및 F/B-픽처에 따라 달라질 수 있는 참조 타입의 선택할 수 있다.
본 개시의 적어도 일부의 구현예에 따라서 구성된, (2300)의 예시적인 다이어그램이다. 도시된 바와 같이, 인코더 서브시스템(2300)은 재구성 블록 잡음 분석기 & DD 필터 생성기(2317), 재구성 품질 분석기 & QR 필터 생성기(2318), 움직임 추정기, 움직임 보상 분석기 & 특성 & 움직임 보상된 AP 필터 예측기 & 모핑된/합성된 참조 픽처 저장소(2323), 인트라 예측기(2324), 예측 모드 분석기 & 모드 선택기(2325), 예측 효율 분석기 & EI 필터링 생성기(2330) 및/또는 예측 융합 분석기 & FI 필터 생성기(2335)를 포함할 수 있다.
예시된 구현예에서, 재궈성된 블록 잡음 분석기 & DD 필터 생성기(2317)는 코딩 중에 발생된 블록킹을 분석하여, 블록화 제거가 적용될 수 있는 방법을 제어하는 ddi 파라미터를 결정할 수 있다. recon 블록 잡음 분석기 & DD 필터 생성기(1617)는 한번에 4 픽셀에 대해 동작하여 움직임 보상 및 변환 코딩을 위해 각종 블록 크기를 사용할 수 있는 인코딩된 비디오로부터 블록 잡음을 제거할 수 있다. recon 블록화 분석기 & DD 필터 생성기(2317)는 통계적(PSNR) 메트릭을 줄이지 않고 블록 잡음의 출력을 더 줄일 수 있는 디더링 동작을 또한 사용할 수 있다.
예시된 구현예에서, recon 품질 분석기 & QR 필터 생성기(2318)는 품질 복원 필터링을 수행하여, 비트스트림을 통해 디코더로 송신될 수 있는 qri 파라미터를 출력할 수 있다. recon 품질 분석기 & QR 필터 생성기(2318)는 9x9 또는 11x9 계수의 서브세트인 9x9 정방형 또는 형태의 비대칭, 점 대칭 또는 혼합형(부분적으로 대칭이고 부분적으로 비대칭)일 수 있는 위이너 필터(a Wiener filter)를 사용할 수 있다. recon 품질 분석기 & QR 필터 생성기(2318)는 코드북 탐색을 이용하여 필터링 오버헤드를 최소화할 수 있고, 그래서 (예측 후) 계산된 계수가 인코딩되고 디코더로 송신될 수 있거나 아니면 히스토리 필터나 코드북 필터의 인덱스가 디코더로 송신될 수 있다. recon 품질 분석기 & QR 필터 생성기(2318)는 보정항(a correction term)을 송신함으로써 코드북으로부터 필터 계수를 정정할 수 있고 코드북은 인코딩 프로세스 동안 갱신될 수 있다. 루마 및 크로마 신호는 모두 필터될 수 있고 상이한 형태 및 필터 크기를 사용할 수 있다.
예시된 구현예에서, 움직임 추정기, 움직임 보상 분석기 & 특성 & 움직임 보상된 AP 필터 예측기 & 모핑된/합성된 ref 픽처 저장소(2323)는 적응적 정밀 필터링을 수행할 수 있으며 비트스트림을 통해 디코더로 송신될 수 있는 api 파라미터를 출력할 수 있다. 움직임 추정기, 움직임 보상 분석기 & 특성 & 움직임 보상된 AP 필터 예측기 & 모핑된/합성된 ref 픽처 저장소(2323)는 각각의 16, 1/4 필셀 위치마다 명시적으로 계산된 필터를 사용할 수 있는 위이너 필터를 사용할 수 있다. 움직임 추정기, 움직임 보상 분석기 & 특성 & 움직임 보상된 AP 필터 예측기 & 모핑된/합성된 ref 픽처 저장소(2323)는 맞춤 접근 방법(mix and match approach)을 이용함으로써 코드북에서 이용 가능한 일련의 필터를 이용하여 필터링 조합을 생성할 수 있고, 그래서 슬로우 모션 내지 하이 모션과 같은 상이한 타입의 콘텐츠(블러리 콘텐츠)가 해당하는 필터에 따라서 가능해질 수 있다. 움직임 추정기, 움직임 보상 분석기 & 특성 & 움직임 보상된 AP 필터 예측기 & 모핑된/합성된 ref 픽처 저장소(2323)는 복수의 필터로부터 맞추어진 특정 1/4 픽셀 위치로부터 새로운 필터 조합을 생성할 수 있다.
예시된 구현예에서, 인트라 예측기(2324)는 인트라 예측을 수행할 수 있다.
예시된 구현예에서, 예측 모드 분석기 & 모드 선택기(2325)는 블록 별로 이용할 수 있는 다양한 움직임 예측 모드와 인트라 예측 모드 사이에서 선택할 수 있으며 또한 예측 참조를 선택할 수 있다.
예시된 구현예에서, 예측 효율 분석기 & EI 필터링 생성기(2330)는 필터링된 예측 신호 및 비트스트림을 통해 디코더로 송신될 수 있는 eii 필터 파라미터를 출력할 수 있다.
예시된 구현예에서, 예측 융합 분석기 & FI 필터 생성기(2335)는 예측 모드 분석기 & 모드 선택기(2325)로부터의 출력을 수신하고 예측 신호를 개선할 수 있는 필터링 방법을 결정하는 예측된 픽처(영역, 또는 하나 이상의 슬라이스)의 분석을 수행하며, 그럼으로써 코딩되는 실제 신호에서 예측 오차를 줄일 수 있다. (하나 이상의 블록 타입에 대해) 하나의 필터 또는 복수의 필터가 사용될 수 있는지 여부와 함께, 실제 필터 계수, 히스토리 또는 코드북 기반 예측의 인덱스 및 연관된 계수 예측 차를 포함하는 필터링 정보는 fii 정보로서 송신될 수 있다. 예측 융합 분석기 & FI 필터 생성기(2335)는 9x9 또는 11x9 계수의 서브세트인 9x9 정방형 또는 형태의 비대칭, 점 대칭 또는 혼합형(부분적으로 대칭이고 부분적으로 비대칭)일 수 있는 위이너 필터(a Wiener filter)를 사용할 수 있다. 예측 융합 분석기 & FI 필터 생성기(2335)는 코드북 탐색을 이용하여 필터링 오버헤드를 필터링하는 것을 최소화할 수 있고, 그래서 (예측 후) 계산된 계수가 인코딩되고 디코더로 송신될 수 있거나 아니면 히스토리 필터나 코드북 필터의 인덱스가 디코더로 송신될 수 있다. 예측 융합 분석기 & FI 필터 생성기(2335)는 보정항을 송신함으로써 코드북으로부터 필터 계수를 정정할 수 있고, 코드북은 인코딩 프로세스 동안 갱신될 수 있다. 루마 및 크로마 신호는 모두 필터될 수 있고 상이한 형태 및 필터 크기를 사용할 수 있다.
도 24는 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 디코더 서브시스템(2400)의 예시적인 다이어그램이다. 도시된 바와 같이, 디코더 서브시스템(2400)은 재구성 DD 필터 생성기(2417), 재구성 QR 필터 생성기(2418), 특성 & 움직임 보상된 AP 필터 예측기 & 모핑된/합성된 ref 픽처 저장기(2423), 인트라 예측기(2424), 예측 모드 선택기(2425), 예측 EI 필터링 생성기(2430) 및/또는 예측 FI 필터 생성기(2435)를 포함할 수 있다.
예시된 구현예에서, 재구성 DD 필터 생성기(2417)는 디코더에서 비트스트림으로부터 디코딩될 수 있는 ddi 파라미터에 의해 안내되는, 재구성된 신호를 블록화 제거하고 역-디더링할 수 있다.
예시된 구현예에서, 재구성 QR 필터 생성기(2418)는 비트스트림으로부터 디코딩된 qri 필터링 파라미터에 의해 안내되는, QR 필터링을 수행할 수 있다.
예시된 구현예에서, 특성 & 움직임 보상된 AP 필터 예측기 & 모핑된/합성된 ref 픽처 저장기(2423)는 비트스트림으로부터 디코딩된 api 필터링 파라미터에 의해 안내되는, 적응적 정밀 필터링을 수행할 수 있다.
예시된 구현예에서, 인트라 예측기(2424)는 인트라 예측을 수행할 수 있다.
예시된 구현예에서, 예측 모드 선택기(2425)는 블록별로 이용할 수 있는 다양한 움직임 예측 모드와 인트라 예측 모드 사이에서 선택할 수 있다.
예시된 구현예에서, 예측 EI 필터링 생성기(2430)는 인코더에 의해 비트스트림으로 송신된 예측 모드 정보에 기초하여 예측 모드 분석기 & 모드 선택기(2425)에 의해 선택하기 위한 필터링된 예측을 생성할 수 있다. 예측 효율 분석기 & EI 필터링 생성기(2430)는 비트스트림을 통해 디코더로 전달된 모드 정보에 응답하여 국부적으로 블록 적응적일 수 있는 필터링을 수행할 수 있다.
예시된 구현예에서, 예측 FI 필터 생성기(2435)는 예측 모드 선택기(2425)로부터의 출력을 수신함으로써 융합 개선 필터링을 수행할 수 있으며, 그리고 fii 정보로부터의 안내 하에서 실제 필터링을 수행할 수 있다.
도 25는 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 엔트로피 인코더 모듈(110)의 예시적인 다이어그램이다. 도시된 바와 같이, 엔트로피 인코더 모듈(110)은 헤더, 파라미터 및 맵 데이터 인코더 모듈(2501), 픽처 파티션, 예측 파티션 및 코딩 파티션 인코더 모듈(2502), 코딩 모드 및 참조 타입 인코더 모듈(2503), 코딩된/코딩되지 않은 데이터 인코더 모듈(2504), 변환 계수 인코더 모듈(2505), 움직임 벡터 및 차분 움직임 벡터 인코더 모듈(2506), 인트라-예측 및 방향 데이터 인코더 모듈(2507) 및/또는 비트스트림 조립기 모듈(2508)을 포함할 수 있다. 본 개시의 설명에서, 모듈(2501-2507)은 각기 간결성을 위해 헤더, 인코더 모듈(2501) 또는 인코더 모듈(2504) 등으로 약칭될 수 있다.
도시된 것처럼, 인코더 모듈(2501-2507)은 비디오 데이터(2511 내지 2517)(예를 들면, 오버헤드 데이터(2511), 분할 데이터(2512), 모드 및 참조 타입 데이터(2513), 코딩된/코딩되지 않은 데이터(2514), 변환 데이터(2515), 움직임 데이터(2516) 및/또는 인트라 예측 데이터(2517))를 각기 적응적 엔트로피 인코더(110)를 통해 수신할 수 있다. 일부 예에서, 수신된 비디오 데이터(2511 내지 2517)는 본 개시에서 논의된 것처럼 인코더(100)의 각종 모듈로부터 수신될 수있다. 도시된 바와 같이, 인코더 모듈(2501-2507)은 수신된 비디오 데이터(2511 내지 2517)를 압축하여 압축된 비디오 데이터(2521 내지 2527)를 생성할 수 있다. 압축된 비디오 데이터(2521 내지 2527)은 비트스트림 조립기(2508)로 제공될 수 있고, 이 비트스트림 조립기는 압축된 비디오 데이터(2521 내지 2527)을 조립하여 출력 비트스트림(111)을 생성할 수 있다.
일부 예에서, 인코더 모듈(2501 내지 2507)는 수신된 비디오 데이터(2511 내지 2517)와 연관된 데이터 타입을 효과적으로 인코딩하기 위한 하나 이상의 특화된 컴포넌트(들)을 각기 포함할 수 있다. 일부 예에서, 인코더 모듈(2501 내지 2507) 중 하나 이상은 수신된 비디오 데이터(2511 내지 2517)를 처리 할 수 있으며/있거나 수신된 비디오 데이터(2511 내지 2517)의 파라미터, 파라미터들, 또는 특성이나 다른 시스템 정보에 기초하여 엔트로피 코딩 기술을 선택할 수 있다.
예를 들면, 인코더 모듈(2501)은 헤더 데이터(예를 들면, 시퀀스 및/또는 픽처 레벨 비트스트림 헤더), 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터(예를 들면, 파티션 단위로 사용될 양자화기를 표시하는 픽처의 양자화기 맵)를 포함할 수 있는 비디오 데이터(2511)을 수신할 수 있다. 일부 예에서, 인코더 모듈(2501)은 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 또는 비디오 데이터(2511)의 가변 길이 코딩 테이블이나 테이블들 압축을 구현할 수 있다. 일부 예에서, 인코더 모듈(2511)은 분할 데이터(2511)와 연관된 파라미터(들)이 각 코딩 기술 등에 필요한 비트 수일 수 있도록 어느 기술이 가장 큰 압축 효율(가장 적은 비트로 압축된 비디오 데이터(2521))을 제공하는지를 결정할 수 있다. 인코더 모듈(2511)은 분할 데이터(2511)를 엔트로피 인코딩하여 압축된 비디오 데이터(2521)를 생성할 수 있고, 이 데이터는 도시된 것처럼 비트스트림 조립기(2508)로 전송될 수 있다.
논의된 바와 같이, 일부 예에서, 비디오 데이터(예를 들면, 비디오 데이터(2511 내지 2517) 중 임의의 데이터)와 연관된 파라미터는 달성할 수 있는 가장 적은 비트 수, 또는 가장 효과적인 인코딩 기술 등일 수 있다. 다른 예에서, 비디오 데이터와 연관된 파라미터는 인코딩 기술이 사전결정되도록 사전에 정의되거나 사전에 결정될 수 있다. 일부 예에서, 본 개시에서 추가로 논의된 것처럼 비디오 데이터와 연관된 파라미터는 비디오 데이터의 특성을 기반으로 하며 그래서 결정된 인코딩 기술이 수신된 비디오 데이터에 적응적일 수 있다.
도시된 바와 같이, 일부 예에서, 인코더 모듈(2502)은 픽처 슬라이스 또는 영역 데이터, 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 및 코딩 파티션 데이터를 포함할 수 있는 비디오 데이터(2512)를 수신할 수 있다. 일부 예에서, 인코더 모듈(2502)은 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터와 연관된 파라미터(예를 들면, 비디오 데이터(2512)의 달성할 수 있는 가장 적은 비트 수, 가장 효과적인 코딩 기술, 사전결정된 파라미터, 또는 특성 등)에 기초하여 비디오 데이터(2512)의 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터 부분을 압축하기 위한 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 구현할 수 있으며, 인코더 모듈(2512)은 비디오 데이터(2512)의 슬라이스 또는 영역 데이터 부분에 적응적인 코드북 가변 길이 코딩을 실시하여 압축된 비디오 데이터(2522)를 생성 할 수 있고, 이 데이터는 도시된 것처럼 비트스트림 조립기(2508)로 전송될 수 있다. 일부 예에서, 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터는 타일을 파티션으로, 또는 파티션을 서브-파티션으로 분할된 것 등을 표시하는 데이터를 포함할 수 있다. 일부 예에서, 파티션 및/또는 서브-파티션은 예측 파티션 및/또는 서브-파티션을 포함할 수 있다. 일부 예에서, 파티션 및/또는 서브-파티션은 코딩 파티션 및/또는 서브-파티션을 포함할 수 있다.
추가로 도시된 바와 같이, 일부 예에서, 인코더 모듈(2503)은 각 예측 파티션마다 모드(예를 들면, 인트라, 스플릿, 스킵, 자동, 인터, 또는 멀티) 데이터 및/또는 참조 데이터를 포함할 수 있는 비디오 데이터(2513)를 수신할 수 있다. 예를 들면, 모드 스플릿 정보는 파티션이 더 나누어지는지 아닌지를 표시할 수 있다. 만일 파티션이 더 나누어진다면, 모드 데이터는 스플릿가 수평 스플릿(예를 들면, hor)인지 아니면 수직 스플릿(예를 들면, vert)인지를 표시하는 방향 정보를 더 포함할 수 있다. 일부 예에서, 인코더 모듈(2503)은 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 또는 데이터와 연관된 파라미터(예를 들면, 비디오 데이터(2513)의 달성할 수 있는 가장 적은 비트 수, 가장 효과적인 코딩 기술, 사전결정된 파라미터, 또는 관련 부분의 특성 등)에 기초한 예측 참조 정보 데이터의 코딩을 위해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시할 수 있으며, 인코더 모듈(2503)은 모드 및 스플릿 정보의 연합 코딩을 위해 적응적 가변 길이 코딩을 실시하여 압축된 비디오 데이터(2523)를 생성할 수 있고, 이 데이터는 도시된 것처럼 비트스트림 조립기(2508)로 전송될 수 있다.
또한, 일부 예에서, 인코더 모듈(2504)은 코딩된/코딩되지 않은 데이터를 포함할 수 있는 비디오 데이터(2514)를 수신할 수 있다. 예를 들면, 파티션(또는 서브-파티션)은 임의의 논제로(nonzero) 변환 계수를 갖는 경우라면 코딩될 수 있으며 파티션(또는 서브-파티션)은 모두 제로 변환 계수를 갖는 경우라면 코딩되지 않을 수 있다. 일부 예에서, 코딩된/코딩되지 않은 데이터는 인트라 또는 스킵 모드를 가진 파티션에는 필요하지 않을 수 있다. 일부 예에서, 코딩된/코딩되지 않은 데이터는 자동, 인터 또는 멀티 모드를 가진 파티션에는 필요할 수 있다. 일부 예에서, 인코더 모듈(2504)은 코딩된/코딩되지 않은 데이터와 연관된 파라미터(예를 들면, 비디오 데이터(2514)의 달성할 수 있는 가장 적은 비트 수, 가장 효과적인 코딩 기술, 사전결정된 파라미터, 또는 관련 부분의 특성 등)에 기초하여 코딩된/코딩되지 않은 데이터에 대해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시하여 압축된 비디오 데이터(2524)를 생성할 수 있으며, 이 데이터는 도시된 것처럼 비트스트림 조립기(2508)로 전송될 수 있다.
일부 예에서, 인코더 모듈(2505)은 변환 계수 데이터를 포함할 수 있는 비디오 데이터(2515)를 수신할 수 있다. 예를 들면, 코딩되는(예를 들면, 하나 이상의 논제로 변환 계수를 갖는) 블록 또는 파티션 또는 서브-파티션의 경우, 변환 계수 데이터가 엔트로피 인코딩을 위해 수신될 수 있다. 인코더 모듈(2505)은 일차원에서 2라는 블록 또는 파티션 또는 서브-파티션 크기를 갖는 블록 또는 파티션 또는 서브-파티션(예를 들면, 2xK 파티션 또는 Kx2 크기의 파티션)에 대해 적응적 벡터 가변 길이 코딩을 실시할 수 있다. 또한, 인코더 모듈(2505)은 4x4 크기의 블록 또는 파티션 또는 서브-파티션에 대해 적응적 1-차원 가변 길이 코딩을 실시하고, 모든 다른 블록 또는 파티션 또는 서브-파티션 크기(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32 및 64x64 등등)에 대해 적응적 2-차원 가변 길이 코딩을 실시할 수 있다. 생성된 압축된 비디오 데이터(2525)는 도시된 것처럼 비트스트림 조립기(2508)로 전송될 수 있다.
예를 들면, 변환 계수 데이터는 적응적 변환 모듈(108)에 의해 구현된 픽셀 데이터의 장방형(또는 정방형 등) 파티션 또는 픽셀 차 값의 장방형(또는 정방형 등)의 포워드 변환을 수행하고, 그 다음에 적응적 양자화 모듈(109)을 통한 결과 계수의 양자화를 수행한 결과로부터 생길 수 있다. 일부 예에서, 변환 계수 데이터는 스캐닝되고 인코더 모듈(2505)를 통해 이를 1-차원 주파수 정렬된 파티션으로 변환할 수 있다. 이러한 변환은 임의의 파티션 크기(예를 들면, 24 이상 또는 32 이상의 파티션 크기), 상이한 데이터 타입(예를 들면, 인트라 또는 인터 파티션의 이산 코사인 변환 계수 또는 하이브리드 파라메트릭 하르(Haar) 변환 계수 등) 및/또는 상이한 양자화기 세트 특성(예를 들면, 양자화기 파라미터 및/또는 매트릭스의 각종 조합)에 매우 적응적일 수 있다. 또한, 블록 또는 파티션 또는 서브-파티션은 상이한 픽처 타입, 즉, I-픽처(예를 들면, 인트라 보상 단독), P-픽처(예를 들면, 예측적), 또는 F-픽처(예를 들면, 기능적)에 속할 수 있으며 및/또는 상이한 타입의 신호 또는 데이터(예를 들면, 루마 또는 크로마 등)을 나타낼 수 있고, 이들은 상이한 양자화기 설정값에 따라서 양자화될 수 있다.
또한, 일부 예에서, 인코더 모듈(2506)은 움직임 벡터 데이터를 포함할 수 있는 비디오 데이터(2516)를 수신할 수 있다. 움직임 벡터 예측은 비디오 데이터(2516)에 기초하여 수행되어 하나 이상의 예측된 움직임 벡터를 생성할 수 있다. 예측된 움직임 벡터는 비디오 데이터(2516)의 원 움직임 데이터와의 차가 계산되어 차 움직임 벡터를 생성할 수 있다. 일부 예에서, 인코더 모듈(2516)은 차 움직임 벡터(들)에 대해 적응적 분류된 가변 길이 코딩을 실시하여 압축된 비디오 데이터(2526)를 생성할 수 있고, 이 데이터는 도시된 것처럼 비트스트림 조립기(2508)로 전송될 수 있다.
또한, 일부 예에서, 인코더 모듈(2507)은 인트라-예측 타입 또는 인트라-예측 방향 데이터를 포함할 수 있는 비디오 데이터(2517)를 수신할 수 있다. 예를 들면, 논의된 바와 같이, 인트라 코딩은 동일한 프레임 내에서 과거에 디코딩된 이웃 파티션(들)을 이용하여 공간 예측을 발생하는 예측을 사용할 수 있다. 그러한 예에서, 과거에 디코딩된 파티션 또는 파티션들을 표시하는 예측기가 있을 수 있다. 예를 들면, 예측기는 dc, 경사, 방향, BTPC, 또는 특징 매칭 등을 포함할 수 있다. 또한, 일부 예에서, 방향 예측기는 상이한 파티션 크기에 대해 적응적일 수 있다. 예를 들면, 방향 예측기를 명시하는 것은 인과 관계를 가진 이웃의 디코딩된 파티션을 이용하여 코딩을 위한 각도 예측 픽셀 파티션(들)을 결정하기 위한 기술을 제공하는 것 및/또는 공간 예측 방향을 엔트로피 코딩하기 위한 기술을 명시하는 것을 포함할 수 있다. 일부 예에서, 그러한 기술은 인코더 모듈(2507)을 통해 수행될 수 있다. 일부 예에서, 인코더 모듈(2507)은 인트라-예측 타입 또는 인트라-예측 방향 데이터와 연관된 파라미터(예를 들면, 비디오 데이터(2517)의 달성할 수 있는 가장 적은 비트 수, 가장 효과적인 코딩 기술, 사전결정된 파라미터, 또는 특성 등)에 기초하여 인트라-예측 타입 또는 인트라-예측 방향 데이터에 대해 적응적 가변 길이 코딩 기술 또는 산술적 코딩 기술을 실시하여, 압축된 비디오 데이터(2527)를 생성할 수 있으며, 이 데이터는 도시된 것처럼 비트스트림 조립기(2508)로 전송될 수 있다.
도 25에 도시된 바와 같이, 적응적 엔트로피 인코더(110)는 비트스트림 조립기(2508)를 포함할 수 있다. 일부 예에서, 인코더 모듈(2501 내지 2507) 중 일부 또는 모두는 시간적으로 상이한 순간에 엔트로피 코딩된 압축된 비디오 데이터(2521 내지 2527)를 제공할 수 있다. 또한, 일부 예에서, 압축된 비디오 데이터(2521 내지 2527)의 하나 또는 일부는 픽처 기반, 영역 또는 슬라이스 기반, 타일 기반, 예측 파티션 기반, 코딩 파티션 기반이거나, 또는 이들의 임의의 조합일 수 있다. 일부 예에서, 비트스트림 조립기는 (잠재적으로 상이한) 압축된 비디오 데이터(2521 내지 2527)를 멀티플렉싱하여 예를 들면, 출력 비트스트림(111)과 같은 유효한 비트스트림을 생성할 수 있다. 예를 들면, 유효한 비트스트림은 유효한 차세대 비디오(NGV) 코딩된 비트스트림일 수 있고, 이 비트스트림은 NGV 비트스트림 신택스 사양을 추종할 수 있다. 일부 예에서, 출력 비트스트림(111)은 비디오 단독의 비트스트림일 수 있다. 일부 예에서, 출력 비트스트림(111)은 코딩되지 않거나 코딩된 오디오와 (예를 들면, 트랜스포트 또는 매체파일 포맷) 멀티플렉싱되어 멀티플렉싱된 오디오-비주얼 스트림을 생성할 수 있다. 아무튼, 비트스트림은 본 개시에서 논의된 것처럼 로컬 디코드, 저장, 또는 디코더로의 전송에 사용될 수 있다.
도 26은 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 엔트로피 디코더 모듈(202)의 예시적인 다이어그램이다. 도시된 바와 같이, 엔트로피 디코더 모듈(202)은 헤더, 파라미터 및 맵 데이터 디코더 모듈(2601), 픽처 파티션, 예측 파티션 및 코딩 파티션 디코더 모듈(2602), 코딩 모드 및 참조 타입 디코더 모듈(2603), 코딩된/코딩되지 않은 데이터 디코더 모듈(2604), 변환 계수 디코더 모듈(2605), 움직임 벡터 및 차분 움직임 벡터 디코더 모듈(2606), 인트라-예측 및 방향 데이터 디코더 모듈(2607) 및/또는 비트스트림 분해기 모듈(2608)을 포함할 수 있다. 본 개시의 설명에서, 모듈(2601 내지 2607)은 각기 간결성을 위해 디코더 모듈(2601), 디코더 모듈(2605) 등으로 약칭될 수 있다.
도시된 바와 같이, 비트스트림 분해기 모듈(2608)은 입력 비트스트림(201)을 수신할 수 있다. 일부 예에서, 입력 비트스트림(201)은 예를 들면, 유효한 차세대 비디오(NGV) 코딩된 비트스트림과 같은 유효한 비트스트림일 수 있고, 이 비트스트림은 NGV 비트스트림 신택스 사양을 추종할 수 있다. 일부 예에서, 입력 비트스트림(201)은 비디오 단독의 비트스트림일 수 있다. 일부 예에서, 입력 비트스트림(201)은 본 개시에서 논의된 바와 같이 멀티플렉싱된 오디오-비주얼 스트림일 수 있다. 비트스트림 분해기 모듈(2608)은 비트스트림 입력 비트스트림(201)을 분해하여 도시된 것처럼 압축된 비디오 데이터(2611 내지 2617)를 결정할 수 있다. 예를 들면, 비트스트림 분해기 모듈(2608)은 사전에 정의된 신택스 또는 사양을 이용하여 입력 비트스트림(201)을 디코더 모듈(2601 내지 2607)을 통한 압축해제를 위해 데이터 타입별로 컴포넌트 압축된 비디오 데이터(2611 내지 2617)로 분리할 수 있다. 일부 예에서, 비트스트림 분해기 모듈(2608)은 비트스트림 조립기(2508)에 대하여 역 동작을 수행할 수 있다.
도 26에 도시된 바와 같이, 디코더 모듈(2601 내지 2607)은 각기 압축된 비디오 데이터(2611 내지 2617)를 수신할 수 있으며, 비디오 데이터(2621 내지 2627)를 생성할 수 있다. 비디오 데이터(2621 내지 2627)는 본 개시에서 논의된 바와 같이 추가 디코딩을 위해 디코더(200)의 여러 컴포넌트로 전송될 수 있다. 따라서 디코더(200)는 디스플레이 장치(도시되지 않음)를 통해 사용자에게 보여주기 위한 비디오 프레임(들)을 생성할 수 있다. 일부 예에서, 디코더 모듈(2601 내지 2607)은 각기 인코더 모듈(2501 내지 2507)에 대하여 역 동작을 수행할 수 있다. 일부 예에서, 디코더 모듈(2601 내지 2607)은 각기 압축된 비디오 데이터(2611 내지 2617)와 연관된 데이터 타입을 효과적으로 엔트로피 디코딩하기 위한 하나 이상의 특화된 컴포넌트(들)를 포함할 수 있다.
예를 들면, 디코더 모듈(2601)은 압축된 헤더 데이터(예를 들면, 시퀀스 및/또는 픽처 레벨 비트스트림 헤더) 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터(예를 들면, 파티션 단위로 사용될 양자화기를 표시하는 픽처의 양자화기 맵)를 포함할 수 있는 압축된 비디오 데이터(2611)를 수신할 수 있다. 일부 예에서, 디코더 모듈(2611)은 압축된 비디오 데이터(2611)의 복원을 위해 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 또는 가변 길이 코딩 테이블이나 테이블들을 실시하여 비디오 데이터(2621)를 생성할 수 있다. 일부 예에서, 디코더 모듈(2601)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 어느 코딩 기술을 실시할지 결정할 수 있다.
도시된 바와 같이, 일부 예에서, 디코더 모듈(2602)은 압축된 픽처 슬라이스 또는 영역 데이터, 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터를 포함할 수 있는 압축된 비디오 데이터(2612)를 수신할 수 있다. 일부 예에서, 디코더 모듈(2602)은 압축된 비디오 데이터(2612)의 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터 부분의 복원을 위해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시하며, 디코더 모듈(2602)은 압축된 비디오 데이터(2612)의 슬라이스 또는 영역 데이터 부분의 복원을 위해 적응적 코드북 가변 길이 코딩을 실시하여 비디오 데이터(2622)를 생성할 수 있다. 일부 예에서, 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터는 타일을 파티션으로, 파티션을 서브-파티션으로 분할하는 것 등을 표시하는 데이터를 포함할 수 있다. 일부 예에서, 파티션 및/또는 서브-파티션은 예측 파티션 및/또는 서브-파티션을 포함할 수 있다. 일부 예에서, 파티션 및/또는 서브-파티션은 코딩 파티션 및/또는 서브-파티션을 포함할 수 있다. 일부 예에서, 디코더 모듈(2602)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 압축된 비디오 데이터(2612)의 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터 부분의 복원을 위해 어느 코딩 기술을 실시할지 결정할 수 있다.
또한, 일부 예에서, 디코더 모듈(2603)은 각 예측 파티션마다 압축된 모드(예를 들면, 인트라, 스플릿, 스킵, 자동, 인터, 또는 멀티) 데이터 및/또는 참조 데이터를 포함할 수 있는 압축된 비디오 데이터(2613)를 수신할 수 있다. 예를 들면, 모드 스플릿 정보는 파티션이 더 나누어지는지 아닌지를 표시할 수 있다. 만일 파티션이 더 나누어진다면, 모드 데이터는 스플릿가 수평 스플릿(예를 들면, hor)인지 아니면 수직 스플릿(예를 들면, vert)인지를 표시하는 방향 정보를 더 포함할 수 있다. 일부 예에서, 디코더 모듈(2603)은 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩의 복원, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩의 복원, 또는 예측 참조 정보 데이터의 복원을 위해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시할 수 있으며, 디코더 모듈(2603)은 모드 및 스플릿 정보의 연합 코딩의 복원을 위해 적응적 가변 길이 코딩을 실시하여 비디오 데이터(2623)를 생성할 수 있다. 일부 예에서, 디코더 모듈(2603)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩의 복원, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩의 복원, 또는 예측 참조 정보 데이터의 복원을 위해 어느 코딩 기술을 실시할지 결정할 수 있다.
또한, 일부 예에서, 디코더 모듈(2604)은 코딩된/코딩되지 않은 데이터를 포함할 수 있는 압축된 비디오 데이터(2614)를 수신할 수 있다. 예를 들면, 파티션(또는 서브-파티션)은 임의의 논제로 변환 계수를 갖는 경우라면 코딩될 수 있으며 파티션(또는 서브-파티션)은 모두 제로 변환 계수를 갖는 경우라면 코딩되지 않을 수 있다. 일부 예에서, 코딩된/코딩되지 않은 데이터는 인트라 또는 스킵 모드를 가진 파티션에는 필요하지 않을 수 있다. 일부 예에서, 코딩된/코딩되지 않은 데이터는 자동, 인터 또는 멀티 모드를 가진 파티션에는 필요할 수 있다. 일부 예에서, 디코더 모듈(2604)은 코딩된/코딩되지 않은 데이터의 복원을 위해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시하여 비디오 데이터(2624)를 생성할 수 있다. 일부 예에서, 디코더 모듈(2604)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 복원을 위해 어느 코딩 기술을 실시할지 결정할 수 있다.
도시된 바와 같이, 일부 예에서, 변환 계수 디코더 모듈(2605)은 변환 계수 데이터를 포함할 수 있는 압축된 비디오 데이터(2615)를 수신할 수 있다. 예를 들면, 코딩되는(예를 들면, 하나 이상의 논제로 변환 계수를 갖는) 블록 또는 파티션 또는 서브-파티션의 경우, 압축된 비디오 데이터(2615)는 변환 계수 데이터를 포함할 수 있다. 일부 예에서, 디코더 모듈(2605)은 일차원에서 2라는 블록 또는 파티션 또는 서브-파티션 크기를 갖는 블록 또는 파티션 또는 서브-파티션(예를 들면, 2xK 파티션 또는 Kx2 크기의 파티션)의 복원을 위해 적응적 벡터 가변 길이 코딩을 실시할 수 있다. 또한, 디코더 모듈(2605)은 4x4 크기의 블록 또는 파티션 또는 서브-파티션의 복원을 위해 적응적 1-차원 가변 길이 코딩을 실시하고, 모든 다른 블록 또는 파티션 또는 서브-파티션 크기(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32 및 64x64 등등)의 복원을 위해 적응적 2-차원 가변 길이 코딩을 실시할 수 있다. 생성된 비디오 데이터(2625)는 도시된 것처럼 디코더(200)의 다른 모듈(들)로 전송될 수 있다.
또한, 일부 예에서, 디코더 모듈(2606)은 움직임 벡터 데이터를 포함할 수 있는 압축된 비디오 데이터(2616)를 수신할 수 있다. 일부 예에서, 압축된 비디오 데이터(2616)는 적응적 분류된 가변 길이 코딩을 이용하여 복원되어 예측된 차 움직임 벡터를 생성할 수 있다. 예측된 차 움직임 벡터는 움직임 벡터 예측에 가산되어 재구성된 움직임 벡터를 생성할 수 있다. 움직임 벡터 예측은 예를 들면, 인코더 모듈(2506)을 통해 실시된 기술을 역으로 이용하여 이웃 블록 또는 파티션의 이전에 디코딩된 움직임 벡터 및/또는 움직임 벡터에 기초하여 생성될 수 있다. 재구성된 움직임 벡터는 도시된 바와 같이 비디오 데이터(2626)를 통해 디코더(200)의 다른 모듈(들)로 전송될 수 있다.
또한, 일부 예에서, 디코더 모듈(2607)은 인트라-예측 타입 또는 인트라-예측 방향 데이터를 포함할 수 있는 압축된 비디오 데이터(2617)를 수신할 수 있다. 예를 들면, 논의된 바와 같이, 인트라 코딩은 동일한 프레임 내에서 과거에 디코딩된 이웃 파티션(들)을 이용하여 공간 예측을 발생하는 예측을 사용할 수 있다. 그러한 예에서, 과거에 디코딩된 파티션 또는 파티션들을 표시하는 예측기가 있을 수 있다. 예를 들면, 예측기는 dc, 기울기, 방향, BTPC, 또는 특징 매칭 등을 포함할 수 있다. 또한, 일부 예에서, 방향 예측기는 상이한 파티션 크기에 대해 적응적일 수 있다. 예를 들면, 방향 예측기를 명시하는 것은 인과 관계를 가진 이웃의 디코딩된 파티션을 이용하여 코딩을 위한 각도 예측 픽셀 파티션(들)을 결정하기 위한 기술을 제공하는 것 및/또는 공간 예측 방향을 엔트로피 코딩하기 위한 기술을 명시하는 것을 포함할 수 있다. 일부 예에서, 디코더 모듈(2617)은 인트라-예측 타입 또는 인트라-예측 방향 데이터의 복원을 위해 적응적 가변 길이 코딩 기술 또는 산술적 코딩 기술을 실시하여, 비디오 데이터(2627)를 생성할 수 있다. 일부 예에서, 디코더 모듈(2607)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 복원을 위해 어느 코딩 기술을 실시할지 결정할 수 있다.
앞에서 논의된 바와 같이, 엔트로피 인코더에서 비디오 데이터의 무손실 압축을 위해 각종 데이터 타입에 대해 각종 엔트로피 코딩 기술이 실시되어 압축된 비디오 데이터를 생성할 수 있고 엔트로피 디코더에서 압축된 비디오 데이터의 복원을 위해 엔트로피 코딩 기술이 실시되어 복제된 비디오 데이터를 생성할 수 있다.
일부 예에서, 적응적 심볼-런 가변 길이 코딩 기술이 실시될 수 있다. 예를 들면, 인코더 및 디코더 모듈(2501, 2601, 2502, 2602, 2503, 2603 및/또는 2504, 2604)은 비디오 데이터 또는 압축된 수신 비디오 데이터의 일부 또는 모두에 대해 적응적 심볼-런 가변 길이 코딩 기술을 실시할 수 있다.
일부 예에서, 적응적 심볼-런 가변 길이 코딩 기술은 비디오 코딩 시 프레임 내 논-스킵 블록들 사이에서 어드레스의 상대적인 차를 코딩하는 것으로 이는 연속하여 스킵된 블록의 개수를 결정하게 해준다. 예를 들면, 인코더 및 디코더 모듈(2504, 404)을 통해 인코딩 및 디코딩될 때 코딩된/코딩되지 않은 데이터의 맥락에서, 각 블록마다 하나의 비트를 신호 코딩된/코딩되지 않은 (예를 들면, 스킵된) 블록으로 송신(예를 들면, 비트-맵)하는 대신, 예를 들면, 인코더 모듈(2504)은 스킵된 블록의 길이(run)를 인코딩할 수 있다. 그러한 구현예에서, 스킵된 블록의 길이가 길수록, 더 효과적으로 데이터가 압축될 수 있다.
또한, 본 개시에서 기술된 바와 같이 적응적 심볼-런 가변 길이 코딩 기술에는 여러 타입의 적응성, 즉, 복수개 테이블을 사용하게 할 수 있는 적응성, 이런 방식의 코딩을 원 비트 맵 데이터, 반전된 비트맵, 차분 비트맵, 또는 그레디언트 예측 비트맵 등에 대해 수행하여 사용할 수 있게 하는 적응성이 추가될 수 있다. 예를 들면, 적응적 심볼-런 가변 길이 코딩 기술은 실질적으로 임의 형태의 이벤트(예를 들면, 심볼/런의 결합)를 엔트로피 인코딩하는데 사용될 수 있다. 또한, 심볼/런 이벤트는 멀티-레벨(예를 들면, 0, 1, 2, 3 등) 또는 이진(예를 들면, 0, 1) 이벤트를 코딩하는데 사용될 수 있다. 멀티-레벨 이벤트가 인코딩되는 예에서, 적응적 심볼-런 가변 길이 코딩 기술은 여러 번 연속하여 적용되어, 멀티-레벨 맵을 복수의 이진 서브-맵으로 갈라 놓게 하여, 각각의 이전 서브-맵이 다음번 레벨의 서브-맵 등에서 제외되게 할 수 있다.
일부 예에서, 적응적 프록시 가변 길이 코딩 기술이 실시될 수 있다. 예를 들면, 인코더 및 디코더 모듈(2501, 401, 2502, 402, 2503, 403 및/또는 2504, 404)은 비디오 데이터 또는 압축된 수신 비디오 데이터의 일부 또는 모두에 대해 적응적 프록시 가변 길이 코딩을 실시할 수 있다.
일부 예에서, 적응적 프록시 가변 길이 코딩 기술은 비트의 원 고정 길이 1D 블록(예를 들면, 그룹)을 가변 길이 코드(예를 들면, 비트의 시퀀스 패턴)로 대체하는 기술을 포함하며 그래서 이 교체 후 결과적인 비트스트림이 크기가 더 작아질 수 있다. 일부 예에서, 디코더에서, 이 프로세스가 반복(또는 역으로 반복)되어 원래 의도한 비트스트림이 만들어질 수 있다. 일부 예에서, 대체되는 비트의 원 블록은 소형 고정 크기(예를 들면, 2 비트의 그룹, 3비트의 그룹, 또는 4비트의 그룹 등)를 가질 수 있다. 일부 예에서, 대체 코드는 사실 소형 크기이고 가변 길이를 가질 수 있다. 일부 예에서, 본 개시에서 논의된 적응적 프록시 가변 길이 코딩은 짧은 VLC(예를 들면, 가변 길이 코드)라고 특징질 수 있다. 또한, 본 개시에서 논의된 적응적 프록시 가변 길이 코딩 기술은 복수의 대체 옵션을 제공함으로써 콘텐츠에 적응적일 수 있다. 일부 예에서, 1-차원 블록/2 비트의 그룹은 1-3 비트 길이의 코드로 대체될 수 있다. 일부 예에서, 1-차원 블록/2 비트 코드의 그룹(또는 블록/그룹의 더미)은 1-5 비트 길이 코드로 대체될 수 있다. 일부 예에서, 적응적 프록시 가변 길이 코딩 기술은 비트스트림 내에서 통계적 리던던시를 이용할 수 있다. 일부 예에서, 적응적 프록시 가변 길이 코딩 기술은 약 1-1.3의 압축 이득을 제공할 수 있다. 일부 예에서, 적응적 프록시 가변 길이 코딩 기술은 짧은 비트 시퀀스로 적용할 수 있게 수정가능하다는 장점을 제공할 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술(an adaptive block-of-symbols variable length coding technique)이 실시될 수 있다. 예를 들면, 인코더 및 디코더 모듈(305, 405)은 비디오 데이터 또는 압축된 수신 비디오 데이터의 일부 또는 모두에 대해 적응적 블록-오브-심볼 가변 길이 코딩 기술을 실시할 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술은 두 가지의 서브-코딩 기술을 포함할 수 있다. 예를 들면, 적응적 블록-오브-심볼 가변 길이 코딩 기술은 적응 벡터 가변 길이 코딩 기술 및 적응 1D/2D(1-차원/2-차원) 가변 길이 코딩 기술을 포함할 수 있다. 일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술은 본 개시에서 논의된 바와 같이 변환 계수의 블록과 같이 밀접한 관계를 갖는 심볼들의 블록을 인코딩하는데 사용될 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술 중 적응 벡터 가변 길이 코딩 기술은 공동 단일 코드워드(joint single codeword)를 사용하여 비교적 작은 2D 블록 또는 심볼의 파티션을 인코딩할 수 있고, 그래서 심볼의 블록을 코딩한 결과 VLC(가변 길이 코딩) 코드북이 만들어질 수 있다. 일부 예에서, 블록 또는 파티션의 크기가 클수록, 코드북의 크기가 커진다. 일부 예에서, 적응 벡터 가변 길이 코딩 기술은 일차원에서 2라는 크기를 가진 블록 또는 파티션 크기(예를 들면, 2xK 또는 Kx2 블록 또는 파티션)에 적용될 수 있다. 적응 벡터 가변 길이 코딩 기술을 그러한 크기의 블록 또는 파티션에 적용함으로써, VLC의 크기는 유리하게 한정될 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술 중 적응 1D 가변 길이 코딩 기술은 4x4 변환 계수 블록 또는 파티션 크기를 코딩하는데 사용될 수 있고, 이는 본질적으로 CAVLC 코더와 동일하다. 이러한 코더는 기본적으로 4x4를 코딩하기 위해 사용된다. 일부 예에서, 적응 1D 가변 길이 코딩 기술은 코딩되는 계수(들)의 맥락에 기초하여 사용되는 복수의 상이한 VLC 테이블을 가진 콘텐츠 적응적 가변 길이 코딩 기술을 통해 구현될 수 있다. 예를 들면, 코딩되는 계수(들)의 맥락에 기초하여, 인코더 및/또는 디코더 모듈(305, 405)은 VLC 테이블을 VLC 테이블들을 전환시킬 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술 중 적응 2D 가변 길이 코딩 기술은 심볼 블록의 이차원 특성을 활용하여 상황에 따라서 복수의 상이한 VLC 테이블들 사이에서 전환할 수 있다. 일부 예에서, 적응 1D/2D 가변 길이 코딩 기술은 CA2DVLC (Content Adaptive 2D Variable Length (콘텐츠 적응적 2D 가변 길이) 코더라고 특징질 수 있다. 일부 예에서, 적응 1D/2D 가변 길이 코딩 기술은 2xK, Kx2 블록 및 4x4 블록(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32 및 64x64 등)을 제외한 모든 나머지 변환 계수 블록 또는 파티션 크기를 인코딩하는데 사용될 수 있다.
도 27은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 프로세스(2700)을 도시하는 흐름도이다. 프로세스(2700)는 동작(2702, 2704, 2706, 2708, 2710, 2712, 2714, 2716, 2718, 2720 및/또는 2722) 중 하나 이상의 동작에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 프로세스(2700)는 차세대 비디오 코딩 프로세스의 적어도 일부를 형성할 수 있다. 비-한정적인 예로, 프로세스(2700)는 도 1의 인코더 시스템(100) 및/또는 본 개시에서 기술된 임의의 다른 인코더 서브시스템에 의해 착수되는 차세대 비디오 인코딩 프로세스의 적어도 일부를 형성할 수 있다.
프로세스(2700)는 "비디오 시퀀스의 입력 비디오 프레임을 수신"하는 동작(2702)에서 시작할 수 있고, 이 동작에서 비디오 시퀀스의 입력 비디오 프레임은 예를 들면 인코더(100)를 통해 수신될 수 있다.
프로세스(2700)는 "픽처 타입을 각 비디오 프레임에 연관"시키는 동작(2704)에서 계속될 수 있고, 이 동작에서 픽처 타입은 예를 들면, 콘텐츠 선분석기 모듈(102)을 통해 픽처 그룹 내 각 비디오 프레임과 연관될 수 있다. 예를 들면, 픽처 타입은 F/B-픽처, P-픽처, 또는 I-픽처 등일 수 있다. 일부 예에서, 비디오 시퀀스는 픽처 그룹을 포함할 수 있으며 본 개시에서 기술된 처리(예를 들면, 동작(2703 내지 2711)는 픽처 그룹의 프레임 또는 픽처에 대해 수행될 수 있고 이 처리는 한 그룹의 모든 프레임 또는 픽처에 대해 반복된 다음 비디오 시퀀스 내 모든 픽처 그룹에 대해 반복될 수 있다.
프로세스(2700)는 "픽처를 타일 및/또는 수퍼-프래그먼트 및 잠재적 예측 분할로 나누기"하는 동작(2706)에서 계속될 수 있고, 이 동작에서 픽처는 예를 들면, 예측 파티션 생성기 모듈(105)을 통해 타일 또는 수퍼-프래그먼트 및 잠재적 예측 파티션으로 나누어질 수 있다.
프로세스(2700)는 "모핑된 또는 합성된 예측 참조(들)를 생성하기 위해 특성 파라미터를 수정(예를 들면, 모핑 또는 합성)할지 결정하고 예측(들)을 수행"하는 동작(2708)에서 계속될 수 있고, 이 동작에서 특성 파라미터 및 예측(들)을 수정(예를 들면, 모핑 또는 합성)하는 것이 수행될 수 있다. 예를 들면, 모핑된 또는 합성된 예측 참조(들)를 생성하기 위해 특성 파라미터를 수정(예를 들면, 모핑 또는 합성)하는 것이 발생되고 예측(들)이 수행될 수 있다.
논의된 것처럼, 일부 예에서, 인터-예측이 수행될 수 있다. 일부 예에서, 최대 4개의 디코딩된 과거 및/또는 미래 픽처와 수 개의 모핑/합성 예측이 사용되어 많은 참조 타입(예를 들면, 참조 픽처)이 생성될 수 있다. "인터" 모드의 예를 들면, 최대 9개의 참조 타입이 P-픽처에 지원될 수 있고, 최대 10개의 참조 타입이 F/B 픽처에 대해서 지원될 수 있다. 또한, "멀티" 모드는 인터 예측 모드의 타입을 제공할 수 있으며, 여기서 1 개의 참조 픽처 대신에, 2 개의 참조 픽처가 사용될 수 있고 그리고 P- 및 F/B- 픽처가 각각 3개 및 최대 8개를 허용할 수 있다. 예를 들면, 예측은 모핑 기술이나 합성 기술 중의 적어도 하나를 사용하여 생성된 이전에 디코딩된 프레임을 기반으로 할 수 있다. 이러한 예에서, (동작(2712)과 관련하여 이하 논의되는) 비트스트림은 예측 파티션과 연관된 프레임 참조, 모핑 파라미터, 또는 합성 파라미터를 포함할 수 있다.
프로세스(2700)는 "잠재적인 예측 분할에 대하여, 잠재적인 예측 오차를 결정"하는 동작(2710)에서 계속되며, 이 동작에서, 각 잠재적인 예측 분할에 대하여, 잠재적인 예측 오차가 결정될 수 있다. 예를 들면, 각 잠재적인 예측 분할(그리고 연관된 예측 파티션, 예측(들) 및 예측 파라미터)에 대하여, 예측 오차가 결정될 수 있다. 예를 들면, 잠재적 예측 오차를 결정하는 것은 원 픽셀(예를 들면, 예측 파티션의 원 픽셀 데이터)을 예측 픽셀과 구별하는 것을 포함할 수 있다. 일부 예에서, 연관된 예측 파라미터가 저장될 수 있다. 논의된 것처럼, 일부 예에서, 예측 오차 데이터 파티션은 모핑 기술이나 합성 기술 중의 적어도 하나를 사용하여 생성된 이전에 디코딩된 프레임에 적어도 일부 기초하여 생성된 예측 오차 데이터를 포함할 수 있다.
프로세스(2700)는 "예측 분할 및 예측 타입을 선택하고 파라미터를 저장"하는 동작(2712)에서 계속되며, 이 동작에서 예측 분할 및 예측 타입이 선택되고 연관된 파라미터가 저장될 수 있다. 일부 예에서, 최소 예측 오차를 갖는 잠재적 예측 분할이 선택될 수 있다. 일부 예에서, 잠재적 예측 분할은 비트율 왜곡 최적화(rate distortion optimization (RDO))에 기초하여 선택될 수 있다.
프로세스(2700)는 "잠재적 코딩 분할에 대하여 변환을 수행"하는 동작(2714)에서 계속되며, 이 동작에서 다양한 블록 크기를 갖는 고정 또는 콘텐츠 적응적 변환이 분할 예측 오차 데이터의 다양한 잠재적 코딩 분할에 대하여 수행될 수 있다. 예를 들면, 파티션 예측 오차 데이터가 분할되어 복수의 코딩 파티션을 생성할 수 있다. 예를 들면, 파티션 예측 오차 데이터는 본 개시에서 논의된 것처럼 코딩 파티션 생성기 모듈(107)의 이진-트리 코딩 분할기 모듈이나 k-d 트리 코딩 분할기 모듈에 의해 분할될 수 있다. 일부 예에서, F/B- 또는 P-픽처와 연관된 파티션 예측 오차 데이터는 이진-트리 코딩 분할기 모듈에 의해 분할될 수 있다. 일부 예에서, I-픽처와 연관된 비디오 데이터(예를 들면, 일부 예에서 타일이나 수퍼-프래그먼트)는 k-d 트리 코딩 분할기 모듈에 의해서 분할될 수 있다. 일부 예에서, 코딩 분할 모듈은 스위치나 스위치들을 통해서 선정되거나 선택될 수 있다. 예를 들면, 파티션은 코딩 파티션 생성기 모듈(107)에 의해 생성될 수 있다.
프로세스(2700)은 "최선의 코딩 분할, 변환 블록 크기 및 실제 변환을 결정"하는 동작(2716)에서 계속되며, 이 동작에서 최선의 코딩 분할, 변환 블록 크기 및 실제 변환이 결정될 수 있다. 예를 들면, (예를 들어, 여러 코딩 파티션을 갖는) 각종 코딩 분할이 RDO에 기초하여 또는 다른 것에 기초하여 평가되어 (논의된 것처럼 코딩 파티션이 변환 블록 크기와 일치하지 않을 때 코딩 파티션을 변환 블록으로 더 나누는 것을 또한 포함할 수 있는) 선택된 코딩 분할을 결정할 수 있다. 예를 들면, 실제 변환(또는 선택된 변환)은 본 개시에서 논의된 것처럼 코딩 파티션 또는 블록 크기에 대해 수행되는 임의의 콘텐츠 적응적 변환 또는 고정 변환을 포함할 수 있다.
프로세스(2700)는 "변환 계수를 양자화하고 스캐닝"하는 동작(2718)에서 계속되고, 이 동작에서, 코딩 파티션(및/또는 변환 블록)과 연관되는 변환 계수가 엔트로피 코딩을 위한 준비로 양자화되고 스캐닝될 수 있다.
프로세스(2700)는 "픽셀 데이터를 재구성하여, 픽처로 조립하고, 참조 픽처 버퍼 내에 저장"하는 동작(2720)에서 계속되고, 이 동작에서, 픽셀 데이터가 재구성될 수 있고, 픽처로 조립될 수 있고, 그리고 참조 픽처 버퍼 내에 저장될 수 있다. 예를 들면, (예를 들면, 역스캔, 역변환 및 어셈블링 코딩 파티션을 포함하는) 로컬 디코딩 루프 이후에, 예측 오차 데이터 파티션이 생성될 수 있다. 예측 오차 데이터 파티션은 예측 파티션과 함께 추가되어 재구성된 예측 파티션을 생성할 수 있고, 이는 타일이나 수퍼-프래그먼트으로 조립될 수 있다. 조립된 타일이나 수퍼-프래그먼트는 선택적으로 블록해제 필터링 및/또는 품질 복원 필터링을 통해 프로세싱될 수 있고 그리고 픽처를 생성하도록 조립될 수 있다. 픽처는 다른(예를 들면, 후속하는) 픽처의 예측을 위한 참조 픽처로서 디코딩된 픽처 버퍼(119) 내에 저장될 수 있다.
프로세스(2700)는 "엔트로피 인코딩된 비트스트림을 디코딩하여 코딩 파티션 지시자(들), 블록 크기 데이터, 변환 타입 데이터, 양자화기(Qp), 양자화된 변환 계수, 움직임 벡터 및 참조 타입 데이터, 특성 파라미터(예를 들면, mop, syp)를 결정"하는 동작(2722)에서 계속될 수 있고, 이 동작에서 데이터가 엔트로피 인코딩될 수 있다. 예를 들면, 엔트로피 인코딩된 데이터는 코딩 파티션 지시자, 블록 크기 데이터, 변환 타입 데이터, 양자화기(Qp), 양자화된 변환 계수, 움직임 벡터 및 참조 타입 데이터, 특성 파라미터(예를 들면, mop, syp) 등 및/또는 이들의 조합을 포함할 수 있다. 부가적으로 또는 대안으로, 엔트로피 인코딩된 데이터는 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화된 변환 계수, 필터 파라미터, (모드 선택 데이터와 같은) 선택 데이터 및 지시자를 포함할 수 있다.
동작(2702 내지 2722)은 비디오 인코딩 및 비트스트림 전송 기술을 제공할 수 있으며, 이는 본 개시에서 논의된 인코더 시스템에 의해 사용될 수 있다.
도 28은 본 개시의 적어도 어떤 구현과 연관되어 구성되는, 비트스트림(2800)의 예를 도시한다. 일부 예에서, 비트스트림(2800)은 도 1에 도시된 출력 비트스트림(111) 및/또는 도 2에 도시된 입력 스트림(201)에 대응할 수 있다. 비록 표현의 명확함을 위해, 도 28에 도시되지 않았지만, 일부 예에서, 비트스트림(2800)은 헤더 부분과 데이터 부분을 포함할 수 있다. 다양한 예에서, 비트스트림(2800)은 데이터, 지시자, 인덱스 값, 모드 선택 데이터 또는 본 개시에서 논의된 비디오 프레임의 인코딩과 연관되는 유사한 것을 포함할 수 있다
논의된 것처럼, 비트스트림(2800)은, 예를 들면, 인코더(100)와 같은 인코더에 의해 생성되고 및/또는 디코딩을 위해 디코더(200)에 의해 수신되어, 디코딩된 비디오 프레임이 디스플레이 장치를 통해 표현될 수 있다.
도 29는 본 개시의 적어도 어떤 구현과 연관되어 구성되는, 프로세스(2900)의 예를 도시한다. 프로세스(2900)는 하나 이상의 동작(2902, 2904, 2906, 2908, 2209, 2910, 2912 및/또는 2914)에 의해 도시되는 것과 같이 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 프로세스(2900)는 차세대 비디오 코딩 프로세스의 적어도 일부를 형성할 수 있다. 비-한정된 예의 방식으로, 프로세스(2900)는 도 2의 디코더 시스템(200) 및/또는 본 개시에서 기술된 임의의 다른 인코더 서브시스템에 의해 착수되는 차세대 비디오 디코딩 프로세스의 적어도 일부를 형성할 수 있다.
프로세스(2900)는 "인코딩된 비트스트림을 수신"하는 동작(2902)에서 시작할 수 있고, 이 동작에서 비트스트림이 수신될 수 있다. 예를 들면, 본 개시에서 논의된 것처럼 인코딩된 비트스트림은 비디오 디코더에서 수신될 수 있다. 일부 예에서, 비트스트림(2800)은 디코더(200)를 통해 수신될 수 있다.
프로세스(2900)는 "엔트로피 인코딩된 비트스트림을 디코딩하여 코딩 파티션 지시자(들), 블록 크기 데이터, 변환 타입 데이터, 양자화기(Qp) 및 양자화 변환 계수를 결정"하는 동작(2904)에서 계속될 수 있고, 이 동작에서 비트스트림이 코딩 파티션 지시자, 블록 크기 데이터, 변환 타입 데이터, 양자화기(Qp) 및 양자화 변환 계수, 움직임 벡터 및 참조 타입 데이터, 특성 파라미터(예를 들면, mop, syp) 등 및/또는 이들의 조합을 결정하도록 디코딩될 수 있다. 부가적으로 또는 대안으로, 엔트로피 인코딩된 데이터는 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화된 변환 계수, 필터 파라미터, (모든 선택 데이터와 같은) 선택된 데이터 및 지시자를 포함할 수 있다.
프로세스(2900)는 "양자화 계수에 양자화기(Qp)를 적용하여 역양자화 변환 계수를 생성"하는 동작(2906)에서 시작할 수 있고, 이 동작에서 양자화기(Qp)는 양자화 변환 계수에 적용되어 역양자화 변환 계수를 생성할 수 있다. 예를 들면, 동작(2906)은 적응적 역양자화 모듈(203)을 통해 적용될 수 있다.
프로세스(2900)는 "코딩(또는 인트라 예측된) 파티션 내의 계수들의 각 디코딩 블록에 대해, 변환 타입 및 블록 크기 데이터에 기초하는 역변환을 수행하여 디코딩된 예측 오차 파티션을 생성"하는 동작(2908)에서 시작할 수 있고, 이 동작에서, 코딩(또는 인트라 예측된) 파티션 내의 계수들의 각 디코딩 블록에 대해, 변환 타입 및 블록 크기 데이터에 기초하는 역변환이 수행되어 디코딩된 예측 오차 파티션을 생성할 수 있다. 일부 예에서, 역변환은 인버스 고정 변환을 포함할 수 있다. 일부 예에서, 역변환은 인버스 콘텐츠 적응적 변환을 포함할 수 있다. 그러한 예에서, 인버스 콘텐츠 적응적 변환의 수행은, 논의된 것처럼, 디코딩 비디오 데이터의 이웃 블록에 기초하여 인버스 콘텐츠 적응적 변환과 연관된 기저 함수를 결정하는 것을 포함한다. 본 개시에서 논의된 것처럼 인코딩에 사용되는 포워드 변환(forward transform)은 연관된 역변환을 사용하여 디코딩에 사용될 수 있다. 일부 예에서, 역변환은 적응적 역변환 모듈(204)에 의해 수행될 수 있다. 일부 예에서, 디코딩된 예측 오차 파티션을 생성하는 것은 코딩 파티션 조립기(205)를 통해 코딩 파티션을 조립하는 것을 포함할 수 있다.
프로세스(2900)는 "디코딩된 수정 특성(예를 들면, mop, syp)을 이용하여 예측을 위한 수정된 참조를 생성하고 움직임 벡터 및 참조 정보, 예측된 파티션 정보 및 수정된 참조를 이용하여 예측된 파티션을 생성"하는 동작(2909)에서 계속될 수 있고, 이 동작에서 예측을 위한 수정된 참조가 생성될 수 있고 예측된 파티션이 또한 생성될 수 있다. 예를 들면, 이 동작에서 예측을 위한 수정된 참조는 적어도 부분적으로 디코딩된 수정 특성(예를 들면, mop, syp)에 기초하여 생성될 수 있고 예측된 파티션은 적어도 부분적으로 움직임 벡터 및 참조 정보, 예측된 파티션 정보 및 수정된 참조에 기초하여 생성될 수 있다.
프로세스(2900)는 "예측 파티션을 디코딩된 예측 오차 데이터 파티션에 추가하여 재구성된 파티션을 생성"하는 동작(2910)에서 계속되며, 이 동작에서 예측 파티션이 디코딩된 예측 오차 데이터 파티션에 추가되어 재구성된 파티션을 생성할 수 있다. 예를 들면, 디코딩된 오차 데이터 파티션은 가산기(206)를 통해 연관된 예측 파티션에 추가될 수 있다.
프로세스(2900)는 "재구성된 파티션을 조립하여 타일 또는 수퍼-프래그먼트를 생성"하는 동작(2912)에서 계속되며, 이 동작에서 재구성된 예측 파티션이 타일 또는 수퍼-프래그먼트를 생성하도록 조립될 수 있다. 예를 들면, 재구성된 예측 파티션은 예측 파티션 조립기 모듈(207)을 통해 타일이나 수퍼-타일을 생성하도록 조립될 수 있다.
프로세스(2900)는 "픽처의 타일 또는 수퍼-프래그먼트를 조립하여 완전 디코딩 픽처를 생성"하는 동작(2914)에서 계속되며, 이 동작에서 픽처의 타일 또는 수퍼-프래그먼트가 완전(full) 디코딩 픽처를 생성하도록 조립될 수 있다. 예를 들면, 선택적인 블록해제 필터링 및/또는 품질 복원 필터링 이후에, 타일이나 수퍼-프래그먼트가 완전 디코딩 픽처를 생성하도록 조립되어, 디코딩된 픽처 버퍼(210)를 통해 저장되고 및/또는 적응적 픽처 재구성기 모듈(217)과 콘텐츠 후복원기 모듈(218)을 통해 프로세싱된 이후에 디스플레이 장치를 통한 표현을 위하여 전송될 수 있다.
본 개시에서 기술된 서브시스템의 다양한 컴포넌트는 소프트웨어, 펌웨어 및/또는 하드웨어 및/또는 그들의 임의의 조합에 의하여 구현될 수 있다. 예를 들면, 다양한 컴포넌트는, 예를 들면, 스마트폰과 같은 컴퓨팅 시스템에서 발견될 수 있는 컴퓨팅 시스템 온칩(SoC)의 하드웨어로 적어도 일부 제공될 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자는 본 개시에서 기술되는 시스템은 대응하는 특징 내에 묘사되지 않은 추가적인 컴포넌트를 포함할 수 있다는 것을 인식할 것이다. 예를 들면, 본 개시에서 기술되는 시스템은 비트 스트림 멀티플렉서 또는 디-멀티플렉서 모듈 및 그 유사한 것과 같은 추가적인 컴포넌트를 포함할 수 있는데, 이들은 명료함을 위하여 도시되지 않았다.
본 개시에서 예시되는 프로세스의 구현이 도시된 순서로 표시된 모든 동작의 수행을 포함할 수 있지만, 본 개시는 이러한 관점에 한정되지 않으며, 다양한 예에서, 본 개시에서 예제 프로세스의 구현은 도시된 동작의 서브세트만을 착수하거나 및/또는 도시된 것과 다른 순서로 착수되는 것을 포함할 수 있다.
프로세스(2700, 2900) 및 본 개시에서 논의된 다른 프로세스와 관련된 어떤 추가적인 및/또는 대안의 세부사항이 본 개시에서 논의된 하나 이상의 구현 예에 도시될 수 있으며, 특히 도 23과 관련하여 이하 설명된다.
도 30a, 도 30b 및 도 30c는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 비디오 코딩 시스템(2000) 및 동작 시의 비디오 코딩 프로세스(3000)를 예시하는 도면이다. 도시된 구현예에서, 프로세스(3000)는 하나 이상의 행위(3001 내지 3076)에 의해 예시되는 것처럼 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 비-한정된 예의 방식으로, 프로세스(3000)는 도 1의 인코더(100) 및 도 2의 디코더(200) 및/또는 본 개시에서 기술된 다른 인코더 및 디코더 시스템 및 서브시스템을 포함하는 일 예의 비디오 코딩 시스템(3000)을 참조하여 본 개시에서 설명될 것이며, 이하 도 31과 관련하여 좀 더 논의된다. 다양한 예에서, 프로세스(3000)는 인코더와 디코더를 모두 포함하는 시스템에 의해 또는 인코더(그리고 옵션으로 디코더)를 사용하는 한 시스템과 디코더(그리고 옵션으로 인코더)를 사용하는 다른 시스템을 갖는 별도의 시스템에 의해서 착수될 수 있다. 앞에서 논의된 것처럼, 인코더는 로컬 디코더를 인코더 시스템의 일부로서 사용하는 로컬 디코딩 루프를 포함할 수 있다는 것이 또한 주목된다.
도시된 구현예에서, 비디오 코딩 시스템(1300)은 로직 회로(3050), 그 유사한 것 및/또는 그들의 조합을 포함할 수 있다. 예를 들면, 로직 회로(3050)는 인코더(100) 및/또는 도 2의 디코더 시스템(200)을 포함할 수 있고 그리고 본 개시에서 기술된 임의의 인코더 시스템 및 서브시스템에 대하여 논의된 임의의 모듈 및/또는 본 개시에서 기술된 디코더 시스템 및 서브시스템을 포함할 수 있다. 비록 비디오 코딩 시스템(3000)이, 도 30a 내지 도 30c에 도시된 것처럼, 특정 모듈과 연관된 특정 블록의 세트나 행위를 포함할 수 있지만, 이들 블록이나 행위는 본 개시에서 도시된 특정 모듈과 상이한 모듈과 연관될 수 있다. 비록, 도시된 것처럼, 프로세스(3000)는 인코딩 및 디코딩에 관한 것이지만, 개념 및/또는 기술되는 동작은 인코딩 및/또는 디코딩에 별도로 적용될 수 있으며, 좀더 일반적으로는 비디오 코딩에 적용될 수 있다.
프로세스(3000)는 "비디오 시퀀스의 입력 비디오 프레임을 수신"하는 동작(3001)에서 시작하며, 이 동작에서 비디오 시퀀스의 입력 비디오 프레임이 예를 들면 인코더(100)를 통해 수신될 수 있다.
프로세스(3000)는 "픽처 타입을 픽처 그룹 내의 각 비디오 프레임과 연관"하는 동작(3002)에서 계속되며, 이 동작에서 픽처 타입은 예를 들면 콘텐츠 선-분석기 모듈(102)을 통해 픽처 그룹 내의 각 비디오 프레임과 연관될 수 있다. 예를 들면, 픽처타입은 F/B-픽처, P-픽처, 또는 I-픽처, 또는 그 유사한 것일 수 있다. 일부 예에서, 비디오 시퀀스는 픽처의 그룹을 포함할 수 있고 그리고 본 개시에서 기술된 프로세싱(예를 들면, 동작(3003 내지 3011))은 프레임이나 픽처 그룹의 픽처에 대해 수행될 수 있고, 프로세싱은 모든 프레임이나 그룹의 픽처들에 대하여 반복되고, 그리고 비디오 시퀀스 내의 모든 픽처 그룹에 대해서 반복될 수 있다.
프로세스(3000)는 "픽처를 타일(tiles) 및/또는 수퍼-프래그먼트(super-fragments)과 잠재적 예측 분할로 나누는"하는 동작(3003)에서 계속되며, 이 동작에서 픽처는 예를 들면 예측 파티션 생성기(105)를 통해 타일 및/또는 수퍼-프래그먼트과 잠재적 예측 파티션으로 나누어질 수 있다.
프로세스(3000)는 "각 잠재적인 예측 분할에 대하여, 예측(들)을 수행하고 예측 파라미터를 결정"하는 동작(3004)에서 계속되며, 이 동작에서, 각 잠재적인 예측 분할에 대하여, 예측(들)이 수행되고 예측 파라미터가 결정될 수 있다. 예를 들면, (각각이 다양한 예측 파티션을 갖는) 잠재적 예측 분할의 범위가 생성될 수 있고 연관된 예측(들)과 예측 파라미터가 결정될 수 있다. 예를 들면, 예측(들)은 특성 및 움직임 기반의 다중-참조 예측이나 인트라-예측을 사용하는 예측(들)을 포함할 수 있다.
논의된 것처럼, 일부 예에서, 인터-예측이 수행될 수 있다. 일부 예에서, 최대 4개의 디코딩된 과거 및/또는 미래 픽처와 여러 개의 모핑/합성 예측이 사용되어 많은 참조 타입(예를 들면, 참조 픽처)이 생성될 수 있다. '인터' 모드의 예를 들면, 최대 9개의 참조 타입이 P-픽처에 지원될 수 있고, 최대 10개의 참조 타입이 F/B 픽처에 대해서 지원될 수 있다. 또한, "멀티" 모드는 인터 예측 모드의 타입을 제공할 수 있으며, 여기서 1 개의 참조 픽처 대신에, 2 개의 참조 픽처가 사용될 수 있고 그리고 P- 및 F/B- 픽처가 각각 3개 및 최대 8개를 허용할 수 있다. 예를 들면, 예측은 모핑 기술이나 합성 기술 중의 적어도 하나를 사용하여 생성된 이전에 디코딩된 프레임을 기반으로 할 수 있다. 이러한 예에서, (동작(3012)과 관련하여 이하 논의되는) 비트스트림은 예측 파티션과 연관된 프레임 참조, 모핑 파라미터, 또는 합성 파라미터를 포함할 수 있다.
프로세스(3000)는 "각 잠재적인 예측 분할에 대하여, 잠재적인 예측 오차를 결정"하는 동작(3005)에서 계속되며, 이 동작에서, 각 잠재적인 예측 분할에 대하여, 잠재적인 예측 오차가 결정될 수 있다. 예를 들면, 각 잠재적인 예측 분할(그리고 연관된 예측 파티션, 예측(들) 및 예측 파라미터)에 대하여, 예측 오차가 결정될 수 있다. 예를 들면, 잠재적 예측 오차를 결정하는 것은 원 픽셀(예를 들면, 예측 파티션의 원 픽셀 데이터)을 예측 픽셀과 구별하는 것을 포함할 수 있다. 일부 예에서, 연관된 예측 파라미터가 저장될 수 있다. 논의된 것처럼, 일부 예에서, 예측 오차 데이터 파티션은 모핑 기술이나 합성 기술 중의 적어도 하나를 사용하여 생성된 이전에 디코딩된 프레임에 적어도 일부 기초하여 생성된 예측 오차 데이터를 포함할 수 있다.
프로세스(3000)는 "예측 분할 및 예측 타입을 선택하고 파라미터를 저장"하는 동작(1906)에서 계속되며, 이 동작에서 예측 분할 및 예측 타입이 선택되고 연관된 파라미터가 저장될 수 있다. 일부 예에서, 최소 예측 오차를 갖는 잠재적 예측 분할이 선택될 수 있다. 일부 예에서, 잠재적 예측 분할은 비트율 왜곡 최적화에 기초하여 선택될 수 있다.
프로세스(3000)는 "분할 예측 오차 데이터의 다양한 잠재적 코딩 분할에 대하여 다양한 블록 크기를 갖는 고정 또는 콘텐츠 적응적 변환을 수행"하는 동작(3007)에서 계속되며, 이 동작에서 다양한 블록 크기를 갖는 고정 또는 콘텐츠 적응적 변환이 분할 예측 오차 데이터의 다양한 잠재적 코딩 분할에 대하여 수행될 수 있다. 예를 들면, 파티션 예측 오차 데이터가 분할되어 복수의 코딩 파티션을 생성할 수 있다. 예를 들면, 파티션 예측 오차 데이터는 본 개시에서 논의된 것처럼 코딩 파티션 생성기 모듈(107)의 이진-트리 코딩 분할기 모듈이나 k-d 트리 코딩 분할기 모듈에 의해 분할될 수 있다. 일부 예에서, F/B- 또는 P-픽처와 연관된 파티션 예측 오차 데이터는 이진-트리 코딩 분할기 모듈에 의해 분할될 수 있다. 일부 예에서, I-픽처와 연관된 비디오 데이터(예를 들면, 일부 예에서 타일이나 수퍼-프래그먼트)는 k-d 트리 코딩 분할기 모듈에 의해서 분할될 수 있다. 일부 예에서, 코딩 분할 모듈은 스위치나 스위치들을 통해서 선정되거나 선택될 수 있다. 예를 들면, 파티션은 코딩 파티션 생성기 모듈(107)에 의해 생성될 수 있다.
프로세스(3000)는 "최선의 코딩 분할, 변환 블록 크기 및 실제 변환을 결정"하는 동작(3008)에서 계속되며, 이 동작에서, 최선의 코딩 분할, 변환 블록 크기 및 실제 변환이 결정될 수 있다. 예를 들면, (예를 들면, 다양한 코딩 파티션을 갖는) 다양한 코딩 분할이 RDO 또는 다른 근거에 기초하여 평가되어 선택된 코딩 분할을 결정할 수 있다(이는 코딩 파티션이 논의된 변환 블록 크기에 매칭하지 않을 때, 코딩 파티션을 변환 블록으로 추가로 분할하는 것을 포함할 수 있다). 예를 들면, 실제 변환(또는 선택된 변환)은 본 개시에서 논의된 코딩 파티션이나 블록 크기에 대하여 수행되는 콘텐츠 적응적 변환이나 고정 변환을 포함할 수 있다.
프로세스(3000)는 "변환 계수를 양자화하고 스캐닝"하는 동작(3009)에서 계속되고, 이 동작에서, 코딩 파티션(및/또는 변환 블록)과 연관되는 변환 계수가 엔트로피 코딩을 위한 준비로 양자화되고 스캐닝될 수 있다.
프로세스(3000)는 "각 타일 또는 수퍼-프래그먼트과 연관된 데이터를 엔트로피 인코딩"하는 동작(3011)에서 계속되고, 이 동작에서 각 타일 또는 수퍼-프래그먼트과 연관된 데이터가 엔트로피 인코딩될 수 있다. 예를 들면, 각 비디오 시퀀스의 각 픽처 그룹의 각 픽처의 각 타일이나 수퍼-프래그먼트과 연관된 데이터는 엔트로피 인코딩될 수 있다. 엔트로피 인코딩 데이터는 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화 변환 계수, 필터 파라미터, (모드 선택 데이터 같은) 선택 데이터 및 지시자를 포함할 수 있다.
프로세스(3000)는 "비트스트림을 생성"하는 동작(3012)에서 계속되고, 이 동작에서, 비트스트림이 엔트로피 인코딩된 데이터에 기초하여 생성될 수 있다. 논의된 것처럼, 일부 예에서, 비트스트림은 예측 파티션과 연관된 프레임이나 픽처 참조, 모핑 파라미터, 또는 합성 파라미터를 포함할 수 있다.
프로세스(3000)는 "비트스트림을 전송"하는 동작(3013)에서 계속되고, 이 동작에서 비트스트림이 전송될 수 있다. 예를 들면, 비디오 코딩 시스템(13000)은 출력 비트스트림(111), 비트스트림(2100), 또는 그 유사한 것을 안테나(3102)를 통해 전송할 수 있다(도 31 참조).
프로세스(3000)는 "픽셀 데이터를 재구성하여, 픽처로 조립하고, 참조 픽처 버퍼 내에 저장"하는 동작(3020)에서 계속되고, 이 동작에서, 픽셀 데이터가 재구성될 수 있고, 픽처로 조립될 수 있고, 그리고 참조 픽처 버퍼 내에 저장될 수 있다. 예를 들면, (예를 들면, 역스캔, 역변환 및 어셈블링 코딩 파티션을 포함하는) 로컬 디코딩 루프 이후에, 예측 오차 데이터 파티션이 생성될 수 있다. 예측 오차 데이터 파티션은 예측 파티션과 함께 추가되어 재구성된 예측 파티션을 생성할 수 있고, 이는 타일이나 수퍼-프래그먼트으로 조립될 수 있다. 조립된 타일이나 수퍼-프래그먼트는 선택적으로 블록해제 필터링 및/또는 품질 복원 필터링을 통해 프로세싱될 수 있고 그리고 픽처를 생성하도록 조립될 수 있다. 픽처는 다른(예를 들면, 후속하는) 픽처의 예측을 위한 참조 픽처로서 디코딩된 픽처 버퍼(119) 내에 저장될 수 있다.
프로세스(3000)는 "디코딩된 예측 참조 픽처를 생성"하는 동작(3022)에서 계속될 수 있고, 이 동작에서 디코딩된 예측 참조 픽처가 디코딩될 수 있다. 예를 들면, 디코딩된(또는 최종 디코딩된) 타일 또는 수퍼-프래그먼트가 조립되어 디코딩된 비디오 픽처를 생성할 수 있고, 디코딩된 비디오 픽처는 미래이 예측에 사용하기 위해 참조 픽처 버퍼(예를 들면, 디코딩된 픽처 버퍼(119))에 저장될 수 있다.
프로세스(3000)는 "수정 특성 파라미터를 생성"하는 동작(3023)에서 계속될 수 있고, 이 동작에서 수정된 특성 파라미터가 생성될 수 있다. 예를 들면, 제 2 수정된 예측 참조 픽처 및 제 2 수정된 예측 참조 픽처와 연관된 제 2 수정 특성 파라미터는 적어도 부분적으로 제 2 디코딩된 예측 참조 픽처에 기초하여 생성될 수 있으며, 여기서 제 2 수정된 참조 픽처는 제1 수정된 참조 픽처와 상이한 타입을 가질 수 있다.
프로세스(3000)는 "수정된 예측 참조 픽처를 생성"하는 동작(3024)에서 계속될 수 있고, 이 동작에서 수정된 예측 참조 픽처가 생성될 수 있고, 예를 들면, 제 1 수정된 예측 참조 픽처 및 제 1 수정된 예측 참조 픽처와 연관된 제 1 수정 특성 파라미터는 적어도 부분적으로 제 1 디코딩된 예측 참조 픽처에 기초하여 생성될 수 있다.
프로세스(3000)는 "움직임 데이터를 생성"하는 동작(3025)에서 계속될 수 있고, 이 동작에서 움직임 추정 데이터가 생성될 수 있다. 예를 들면, 현재 픽처의 예측 파티션과 연관된 움직임 데이터는 적어도 부분적으로 제 1 수정된 예측 참조 픽처 또는 제 2 수정된 예측 참조 픽처 중 하나에 기초하여 생성될 수 있다.
프로세스(3000)는 "움직임 보상을 수행"하는 동작(3026)에서 계속될 수 있고, 이 동작에서 움직임 보상이 수행될 수 있다. 예를 들면, 움직임 보상은 적어도 부분적으로 움직임 데이터 및 제 1 수정된 예측 참조 픽처 또는 제 2 수정된 예측 참조 픽처 중 적어도 하나에 기초하여 수행되어 예측 파티션에 필요한 예측 파티션 데이터를 생성할 수 있다. 프로세스(1300)는 이 정보를 동작(1304)으로 피드백할 수 있고, 이 동작에서 (예를 들면, 제로 예측 오차 파티션을 포함하는) 각각의 디코딩된 예측 오차 파티션은 대응하는 예측 파티션에 가산되어 재구성된 예측 파티션을 생성할 수 있다.
동작(3001 내지 3026)은 비디오 인코딩 및 비트스트림 전송 기술을 제공할 수 있으며, 이는 본 개시에서 논의된 인코더 시스템에 의해 사용될 수 있다. 다음의 동작들, 동작(3054 내지 3076)은 비디오 디코딩 및 비디오 디스플레이 기술을 제공할 수 있으며, 이는 본 개시에서 논의된 디코더 시스템에 의해 사용될 수 있다.
프로세스(3000)는 "비트스트림 수신"하는 동작(3054)에서 계속되며, 이 동작에서 비트스트림이 수신될 수 있다. 예를 들면, 입력 비트스트림(201), 비트스트림(2100), 또는 그 유사한 것이 디코더(200)를 통해 수신될 수 있다. 일부 예에서, 비트스트림은 상술한 것처럼 코딩 파티션과 연관된 데이터, 하나 이상의 지시자 및/또는 데이터 정의 코딩 파티션를 포함할 수 있다. 일부 예에서, 비트스트림은 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화 변환 계수, 필터 파라미터, (모드 선택 데이터와 같은) 선택 데이터 및 지시자를 포함할 수 있다.
프로세스(3000)는 "비트스트림 디코딩"하는 동작(3055)에서 계속되며, 이 동작에서 수신된 비트스트림이 예를 들면 적응적 엔트로피 디코더 모듈(202)을 통해 디코딩될 수 있다. 예를 들면, 수신된 비트스트림은 엔트로피 디코딩되어 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화 변환 계수, 필터 파라미터, (모드 선택 데이터와 같은) 선택 데이터 및 지시자를 포함할 수 있다.
프로세스(3000)는 "각 코딩 파티션의 각 블록 상에 역스캔 및 역양자화를 수행"하는 동작(3056)에서 계속되며, 이 동작에서 역스캔 및 역양자화가 프로세싱될 예측 파티션에 대하여 각 코딩 파티션의 각 블록에 대해 수행될 수 있다. 예를 들면, 역스캔 및 역양자화는 적응적 역양자화 모듈(203)을 통해 수행될 수 있다.
프로세스(3000)는 "변환 계수를 디코딩하도록 고정 또는 적응적 역변환을 수행하여 디코딩된 예측 오차 데이터 파티션을 결정"하는 동작(3057)에서 계속되며, 이 동작에서 고정 또는 콘텐츠 적응적 역변환이 변환 계수를 디코딩하도록 수행되어 디코딩된 예측 오차 데이터 파티션을 결정할 수 있다. 예를 들면, 역변환은 하이브리드 파라메트릭 하르 역변환이 파라메트릭 변환 방향의 파라메트릭 하르 역변환을 포함하고, 파라메트릭 변환 방향에 직교방향의 이산 코사인 역변환을 포함할 수 있도록, 하이브리드 파라메트릭 하르 역변환과 같은 인버스 콘텐츠 적응적 변환을 포함한다. 일부 예에서, 고정 역변환은 이산 코사인 역변환이나 이산 코사인 역변환 근사기를 포함할 수 있다. 예를 들면, 고정 또는 콘텐츠 적응적 변환은 적응적 역변환 모듈(204)을 통해 수행될 수 있다. 논의된 것처럼, 콘텐츠 적응적 역변환은, 예를 들면, 디코딩된 이웃 파티션이나 블록과 같은 그 밖의 이전에 디코딩된 데이터를 기반으로 할 수 있다. 일부 예에서, 디코딩된 예측 오차 데이터 파티션을 생성하는 것은 코딩 파티션 조립기 모듈(205)을 통해 디코딩된 코딩 파티션을 조립하는 것을 포함할 수 있다.
프로세스(3000)는 "각 예측 파티션에 대한 예측 픽셀 데이터를 생성"하는 동작(3058)에서 계속되고, 이 동작에서 예측 픽셀 데이터가 각 예측 파티션에 대하여 생성될 수 있다. 예를 들면, 예측 픽셀 데이터는 (예를 들면, 특성 및 움직임, 또는 인트라-, 또는 다른 타입에 기초하여) 선택된 예측 타입 및 연관된 예측 파라미터를 사용하여 생성될 수 있다.
프로세스(3000)는 "각 디코딩된 예측 오차 파티션에 대응하는 예측 파티션을 추가하여 재구성된 예측 파티션을 생성"하는 동작(3059)에서 계속되고, 이 동작에서 (예를 들면, 제로 예측 오차 파티션을 포함하는) 각 디코딩된 예측 오차 파티션이 재구성된 예측 파티션을 생성하도록 대응하는 예측 파티션에 추가될 수 있다. 예를 들면, 예측 파티션은 도 2에 도시된 디코딩 루프를 통해 생성되고 가산기(206)를 통해 디코딩된 예측 오차 파티션에 추가될 수 있다.
프로세스(3000)는 "재구성된 예측 파티션들을 조립하여 디코딩 타일 또는 수퍼-프래그먼트를 생성"하는 동작(3060)에서 계속되고, 이 동작에서 재구성된 예측 파티션은 디코딩 타일이나 수퍼-프래그먼트를 생성하도록 조립될 수 있다. 예를 들면, 예측 파티션이 예측 파티션 조립기 모듈(207)을 통해 디코딩 타일이나 수퍼-프래그먼트를 생성하도록 조립될 수 있다.
프로세스(3000)는 "블록해제 필터링 및/또는 QR 필터링을 적용하여 최종 디코딩 타일 또는 수퍼-프래그먼트를 생성"하는 동작(3061)에서 계속되고, 이 동작에서 선택적인 블록해제 필터링 및/또는 품질 복원 필터링이 디코딩 타일 또는 수퍼-프래그먼트에 적용되어 최종 디코딩 타일이나 수퍼-프래그먼트를 생성할 수 있다. 예를 들면, 선택적인 블록해제 필터링은 블록해제 필터링 모듈(208)을 통해 적용될 수 있고 및/또는 선택적인 품질 복원 필터링은 품질 복원 필터링 모듈(209)을 통해 적용될 수 있다.
프로세스(3000)는 "디코딩 타일 또는 수퍼-프래그먼트를 조립하여 디코딩 비디오 픽처를 생성하고 참조 픽처 버퍼 내에 저장"하는 동작(3062)에서 계속되고, 이 동작에서, 디코딩(또는 최종 디코딩된) 타일 또는 수퍼-프래그먼트가 조립되어 디코딩 비디오 픽처가 생성되고, 그리고 디코딩 비디오 픽처는 참조 픽처 버퍼(예를 들면, 디코딩된 픽처 버퍼 210)에 미래의 예측용으로 저장될 수 있다.
프로세스(3000)는 "디스플레이 장치를 통해 표현을 위한 디코딩 비디오 프레임을 전송"하는 동작(3063)에서 계속되고, 이 동작에서, 디코딩 비디오 프레임이 전송되어 디스플레이 장치를 통해 표현될 수 있다. 예를 들면, 디코딩 비디오 픽처는 적응적 픽처 재-구성기(217) 및 콘텐츠 후복원기 모듈(218)을 통해 더 프로세싱되고 디스플레이 비디오(219)의 비디오 프레임으로서 디스플레이 장치로 전송되어 사용자에게 표현될 수 있다. 예를 들면, 비디오 프레임(들)은 (도 24에 도시된 것처럼) 디스플레이 장치(2405)로 전송되어 표현될 수 있다.
프로세스(1300)는 "디코딩된 예측 참조 픽처를 생성"하는 동작(1372)에서 계속될 수 있고, 이 동작에서 디코딩된 예측 참조 픽처가 디코딩될 수 있다. 예를 들면, 디코딩된 코딩 파티션은 조립되어 디코딩된 예측 오차 데이터 파티션을 생성할 수 있고, 디코딩된 비디오 픽처(예를 들면, 제 3 디코딩된 예측 참조 픽처 및 제 4 디코딩된 예측 참조 픽처가 생성될 수 있음)는 미래의 예측에 사용하기 위해 참조 픽처 버퍼에 저장될 수 있다.
프로세스(3000)는 "수정된 예측 참조 픽처를 생성"하는 동작(3074)에서 계속될 수 있고, 이 동작에서 수정된 예측 참조 픽처가 생성될 수 있고, 예를 들면, 제 3 수정된 예측 참조 픽처의 적어도 일부분은 적어도 부분적으로 제 3 수정 특성 파라미터에 기초하여 생성될 수 있다. 유사하게, 제 4 수정된 예측 참조 픽처의 적어도 일부분은 적어도 부분적으로 연관된 제 2 수정 특성 파라미터에 기초하여 생성될 수 있다.
프로세스(3000)는 "움직임 데이터를 생성"하는 동작(3075)에서 계속될 수 있고, 이 동작에서 움직임 추정 데이터가 생성될 수 있다. 예를 들면, 현재 픽처의 예측 파티션과 연관된 움직임 데이터는 적어도 부분적으로 제 3 수정된 예측 참조 픽처 또는 제 3 수정된 예측 참조 픽처 중 하나에 기초하여 생성될 수 있다.
프로세스(3000)는 "움직임 보상을 수행"하는 동작(3076)에서 계속될 수 있고, 이 동작에서 움직임 보상이 수행될 수 있다. 예를 들면, 움직임 보상은 적어도 부분적으로 움직임 데이터 및 제 3 수정된 예측 참조 픽처 또는 제 4 수정된 예측 참조 픽처 중 적어도 하나에 기초하여 수행되어 예측 파티션에 필요한 예측 파티션 데이터를 생성할 수 있다. 프로세스(1300)는 이 정보를 동작(1359)으로 피드백할 수 있고, 이 동작에서 (예를 들면, 제로 예측 오차 파티션을 포함하는) 각각의 디코딩된 예측 오차 파티션은 대응하는 예측 파티션에 가산되어 재구성된 예측 파티션을 생성할 수 있다.
프로세스(1300)는 본 개시에서 논의된 바와 같이 임의의 코더 시스템을 통해 구현될 수 있다. 또한, 프로세스(1300)는 예측 오차 데이터 파티션, 원 데이터 파티션, 또는 웨이브렛 데이터 등과 같은 비디오 데이터의 임의 개수의 인스턴스에서 직렬 또는 병렬로 반복될 수 있다(예를 들면, 동작(1301)에서, 프로세스(1300)는 기술된 예측 오차 데이터 파티션과 유사하게 처리하기 위해 원 데이터 또는 웨이브렛 데이터를 수신할 수 있다).
동작 시, 프로세스(1300)는 비디오 코딩을 위한 컴퓨터-구현 방법은, 제 1 타입의 제 1 비디오 프레임 및 제 2 타입의 제 2 비디오 프레임을 제 1 복수의 타일 또는 수퍼-프래그먼트 및 제 2 복수의 타일 또는 수퍼-프래그먼트로 분절하는 단계를 포함한다. 제 1 복수의 타일 또는 수퍼-프래그먼트는 제 1 분할 기술을 이용하여 분할될 수 있고 제 2 복수의 타일 또는 수퍼-프래그먼트는 제 2 분할 기술을 이용하여 분할될 수 있으며, 여기서 제 1 및 제 2 분할 기술은 상이하다. 선택된 예측 분할 및 연관된 복수의 예측 파티션이 제 2 비디오 프레임에 대하여 결정될 수 있다. 제 1 재구성된 타일 또는 수퍼-프래그먼트가 생성될 수 있다. 블록해제 필터링 파라미터 및 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트가 적어도 부분적으로 제 1 재구성된 타일 또는 수퍼-프래그먼트 및 블록해제 필터링 파라미터에 기초하여 생성될 수 있다. 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트는 조립되어 제 1 디코딩된 예측 참조 픽처를 생성할 수 있다. 모핑 특성 파라미터 및 모핑된 예측 참조 픽처는 적어도 부분적으로 모핑 특성 파라미터 및 제 1 디코딩된 참조 픽처에 기초하여 생성될 수 있다. 합성 특성 파라미터 및 합성된 예측 참조 픽처는 적어도 부분적으로 합성 특성 파라미터 및 제 1 디코딩된 참조 픽처 또는 제 2 디코딩된 참조 픽처에 기초하여 생성될 수 있다. 복수의 예측 파티션 각각마다 모드 및 참조 타입이 결정될 수 있다. 복수의 예측 파티션과 연관된 움직임 데이터는 적어도 부분적으로 모핑된 예측 참조 픽처 또는 합성된 예측 참조 픽처 중 하나에 기초하여 생성될 수 있다. 움직임 보상은 움직임 데이터 및 모핑된 예측 참조 픽처 또는 합성된 예측 참조 픽처 중 적어도 하나에 기초하여 수행되어 복수의 예측 파티션에 대한 복수의 예측된 파티션이 생성될 수 있다. 복수의 예측된 파티션은 대응하는 원 픽셀 데이터와의 차가 계산되어 대응하는 복수의 예측 오차 데이터 파티션이 생성될 수 있다. 복수의 예측 오차 데이터 파티션 중 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는지 결정된다. 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션이 선택된 코딩 분할 및 연관된 복수의 코딩 파티션으로 분할될 수 있다. 복수의 코딩 분할 중 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환이 수행되고 하나 이상의 제 2 코딩 파티션에 대해 고정 변환이 수행되어 변환 계수가 생성될 수 있다. 변환 계수는 양자화되어 양자화된 변환 계수가 생성될 수 있다. 제 1 타입 및 제 2 타입과 연관된 프레임 데이터, 모드 및 참조 타입과 연관된 모드 데이터, 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 움직임 데이터, 양자화된 변환 계수, 모핑 특성 파라미터, 합성 특성 파라미터 및 블록해제 필터링 파라미터가 비트스트림으로 엔트로피 인코딩될 수 있다.
다른 예에서, 비디오 코딩을 위한 컴퓨터-구현 방법은 블록해제 필터링 또는 블록해제 및 디더 필터링 파라미터와 인-루프 필터링 또는 품질 복원 필터링 파라미터를 생성하고 적어도 부분적으로 블록해제 필터링 또는 블록해제 및 디더 필터링 파라미터와 인-루프 필터링 또는 품질 복원 필터링 파라미터에 기초하여 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트 및 제 2 재구성된 타일 또는 수퍼-프래그먼트를 생성하는 단계를 더 포함할 수 있다. 제 1 디코딩된 예측 참조 픽처는 픽처 버퍼에 저장될 수 있고, 움직임 보상을 수행하는 단계는 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 생성하는 단계와 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 이용하여 적어도 부분적으로 적응적 움직임 또는 적응적 정밀 필터링에 기초하여 움직임 보상을 수행하는 단계를 포함할 수 있다. 강화된 예측 파라미터 및 강화된 예측된 파티션은 예측된 파티션 및 강화된 예측 파라미터에 기초하여 생성될 수 있다. 강화된 예측된 파티션 또는 예측된 파티션을 예측 파티션에 대한 선택된 예측된 파티션으로서 사용할지가 결정될 수 있다. 선택된 예측된 파티션이 강화된 예측된 파티션을 포함할 때, 강화된 예측 파라미터를 비트스트림으로 엔트로피 인코딩하고, 융합 필터링 또는 융합 개선 필터링을 선택된 예측된 파티션에 적용할지가 결정될 수 있다. 융합 필터링 또는 융합 개선 필터링이 선택된 예측된 파티션에 적용되는 것일 때, 선택된 예측된 파티션과 제 2 선택된 예측된 파티션이 조립되어 조립된 픽처의 적어도 일부분이 생성될 수 있다. 융합 필터링 또는 융합 개선 필터링이 선택된 예측된 파티션에 적용되는 것일 때, 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터가 생성될 수 있고 조립된 픽처의 일부분이 적어도 부분적으로 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터에 기초하여 융합 필터링 또는 융합 개선 필터링될 수 있다. 융합 필터링 또는 융합 개선 필터링이 선택된 예측된 파티션에 적용되는 것일 때, 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터가 비트스트림으로 엔트로피 인코딩될 수 있다. 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터, 블록해제 필터링 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 또는 품질 복원 필터링 파라미터가 비트스트림으로 엔트로피 인코딩될 수 있고, 엔트로피 인코딩은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함하고, 예측 분할 지시자 또는 예측 분할 코드워드를 엔트로피 인코딩하는 단계는 모핑 특성 파라미터 또는 합성 특성 파라미터를 엔트로피 인코딩하는 것과 상이한 엔트로피 인코딩 기술을 포함할 수 있다. 비트스트림은 전송될 수 있다.
유사하게, 비트스트림은 수신될 수 있다. 비트스트림은 엔트로피 디코딩되어 제 1 타입 및 제 2 타입과 연관된 프레임 데이터, 모드 및 참조 타입과 연관된 모드 데이터, 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 움직임 데이터, 양자화된 변환 계수, 모핑 특성 파라미터, 합성 특성 파라미터, 블록해제 필터링 파라미터, 강화된 예측 파라미터, 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터, 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터, 블록해제 필터링 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 또는 품질 복원 필터링 파라미터를 결정할 수 있고, 엔트로피 디코딩은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함하고, 예측 분할 지시자 또는 예측 분할 코드워드를 엔트로피 디코딩하는 단계는 양자화된 변환 계수를 엔트로피 디코딩하는 것과 상이한 엔트로피 디코딩 기술을 포함할 수 있다.
일부 구현예에서, 적어도 부분적으로 양자화된 변환 계수에 기초하여 역양자화가 수행되어 디코딩된 변환 계수를 생성할 수 있다. 적어도 부분적으로 디코딩된 변환 계수 및 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터에 기초하여 역 변환이 수행되어 복수의 디코딩된 코딩 파티션을 생성할 수 있고, 역 변환은 역 고정 변환, 역 이산 코사인 변환, 역 이산 코사인 변환 근사기, 역 적응적 변환, 또는 역 하이브리드 파라메트릭 하르 변환 중 적어도 하나를 포함할 수 있다. 복수의 디코딩된 코딩 파티션은 조립되어 디코딩된 예측 오차 데이터 파티션을 생성할 수 있다. 제 1 디코딩된 타일 또는 수퍼-프래그먼트 중 적어도 하나가 생성될 수 있다. 디코더 블록해제 필터링 또는 디코더 블록해제 및 디더 필터링과 디코더 인-루프 또는 디코더 품질 복원 필터링은 적어도 부분적으로 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터와 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터에 기초하여, 제 1 디코딩된 타일 또는 수퍼-프래그먼트에 적용되어 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트가 조립되어 디코딩된 재구성된 비디오 프레임을 생성할 수 있다. 디코딩된 재구성된 비디오 프레임은 디코더 픽처 버퍼에 저장될 수 있다. 적어도 부분적으로 모핑 특성 파라미터에 기초하여 디코더 모핑된 예측 참조 픽처가 생성될 수 있다. 적어도 부분적으로 합성 특성 파라미터에 기초하여, 디코더 합성된 예측 참조 픽처가 생성될 수 있다.
일부 구현예에서, 적어도 부분적으로 디코더 모핑된 예측 참조 픽처 또는 디코더 합성된 예측 참조 픽처에 기초하여, 디코더 움직임 보상이 수행되어 디코딩된 예측된 파티션을 생성할 수 있고, 디코더 움직임 보상은 적어도 부분적으로 상기 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터에 기초하는 디코더 적응적 움직임 필터링 또는 디코더 적응적 정밀 필터링을 포함할 수 있다. 적어도 부분적으로 강화된 예측 파라미터 및 디코딩된 예측된 파티션에 기초하여 강화된 디코딩된 예측된 파티션이 생성될 수 있다. 디코딩된 강화된 예측된 파티션 또는 디코딩된 예측된 파티션을 선택된 디코딩된 예측된 파티션으로서 사용할지 결정될 수 있다. 디코더 융합 필터링 또는 디코더 융합 개선 필터링을 선택된 디코딩된 예측된 파티션에 적용할지 결정될 수 있다. 디코더 융합 필터링 또는 디코더 융합 개선 필터링이 상기 선택된 디코딩된 예측된 파티션에 적용되는 것일 때, 선택된 디코딩된 예측된 파티션과 제 2 선택된 디코딩된 예측된 파티션이 조립되어 디코딩된 조립된 픽처의 적어도 일부분을 생성할 수 있다. 디코더 융합 필터링 또는 디코더 융합 개선 필터링이 상기 선택된 디코딩된 예측된 파티션에 적용되는 것일 때, 적어도 부분적으로 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터에 기초하여 디코딩된 조립된 픽처의 일부분이 디코더 융합 필터링 또는 디코더 융합 개선 필터링될 수 있다. 선택된 디코딩된 예측된 파티션이 디코딩된 예측 오차 데이터 파티션에 가산되어 제 1 디코딩된 재구성된 파티션을 생성할 수 있다. 제 1 디코딩된 재구성된 파티션과 제 2 디코딩된 재구성된 파티션이 결합되어 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 4 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트가 조립되어 제 2 디코딩된 재구성된 비디오 프레임을 생성할 수 있다. 제 2 디코딩된 재구성된 비디오 프레임은 디스플레이 장치를 통해 보여주기 위해 전송될 수 있다. 제 1 비디오 프레임은 제 1 복수의 수퍼-프래그먼트로 분절될 수 있고, 제 1 비디오 프레임을 제 3 복수의 타일로 나누는 단계와 제 1 비디오 프레임을 둘 이상의 영역 계층으로 분절하는 단계를 포함할 수 있고, 제 1 복수의 수퍼-프래그먼트 중 적어도 하나의 수퍼-프래그먼트는 제 2 복수의 타일의 개개 타일 내에 있는 둘 이상의 영역 계층의 개개 영역 계층을 포함한다.
일부 구현예에서, 제 1 분할 기술은 k-d 트리 분할 기술을 포함할 수 있고 제 2 분할 기술은 이진-트리 분할 기술을 포함할 수 있다. 제 2 비디오 프레임에 대하여 선택된 예측 분할 및 연관된 복수의 예측 파티션의 결정은, 제 2 비디오를 제 2 분할 기술에 기초하여 복수의 잠재적 예측 분할로 분할하는 단계와, 복수의 잠재적 예측 분할 각각마다 예측을 수행하고 복수의 잠재적 예측 분할 각각마다 잠재적 예측 오차를 결정하는 단계와, 예측 및 잠재적 예측 오차에 기초하여 비트율 왜곡 최적화를 수행하여 선택된 예측 분할 및 연관된 복수의 예측 파티션을 결정하는 단계와, 선택된 예측 분할 및 복수의 예측 파티션과 연관된 예측 분할 지시자 또는 예측 분할 코드워드를 생성하는 단계를 포함할 수 있다. 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션을 분할하는 단계는 이진-트리 분할을 포함할 수 있다. 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션을 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션으로 분할하는 단계는, 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션을 복수의 잠재적 코딩 분할로 분할하는 단계와, 복수의 잠재적 코딩 분할 각각의 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환을 수행하고 복수의 잠재적 코딩 분할 각각의 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행하는 단계 - 제 1 코딩 파티션은 소형 크기 내지 중간 크기의 파티션을 포함하고, 제 2 코딩 파티션은 중간 내지 대형 크기의 파티션을 포함하고, 고정 변환은 이산 코사인 변환 또는 이산 코사인 변환 근사기 중 적어도 하나를 포함하고, 콘텐츠 적응적 변환은 하이브리드 파라메트릭 하르 변환을 포함하고, 하이브리드 파라메트릭 하르 변환은 제 1 방향에서 파라메트릭 하르 변환 및 제 2 방향에서 파라메트릭 하르 변환을 포함함 - 및/또는, 복수의 잠재적 코딩 분할의 콘텐츠 적응적 변환 및 고정 변환에 기초하여 제 2 비트율 왜곡 최적화를 수행하여 선택된 코딩 분할 및 연관된 복수의 코딩 파티션 및 연관된 선택된 콘텐츠 적응적 및 고정 변환을 결정하는 단계 - 코딩 파티션은 연관된 변환 계수를 가짐 - 를 포함할 수 있다.
일부 구현예에서, 제 1 비디오 프레임은 I-픽처이고 제 2 비디오 프레임은 B/F-픽처 또는 P-픽처 중 적어도 하나이다. 제 1 비디오 프레임이 제 1 타입이고 제 2 비디오 프레임이 제 2 타입인지의 결정은 제 3 비트율 왜곡 최적화를 포함할 수 있다. 모드는 인트라 모드, 인터 모드, 멀티 모드, 스킵 모드, 또는 자동 모드 중 적어도 하나를 포함할 수 있다. 참조 타입은 모핑된 예측 참조 픽처, 합성된 예측 참조 픽처, 제 1 디코딩된 예측 참조 픽처, 또는 제 2 디코딩된 예측 참조 픽처 중 적어도 하나를 포함할 수 있고, 제 1 디코딩된 예측 참조 픽처는 과거에 디코딩된 예측 참조 픽처 또는 미래에 디코딩된 예측 참조 픽처를 포함한다. 모드 및 참조 타입의 결정은 제 4 비트율 왜곡 최적화를 포함할 수 있다.
일부 구현예에서, 모핑된 예측 참조 픽처는 이득 수정된 예측 참조 픽처, 블러 수정된 예측 참조 픽처, 우세한 움직임 수정된 예측 참조 픽처, 또는 레지스트레이션 수정된 예측 참조 픽처 중 적어도 하나를 포함할 수 있고, 합성된 예측 참조 픽처는 수퍼 해상도 예측 참조 픽처 또는 프로젝션 궤적 예측 참조 픽처 중 적어도 하나를 포함한다. 모핑 특성 파라미터의 생성은 모핑 특성 파라미터를 적어도 부분적으로 제 2 비디오 프레임 및 이전에 디코딩된 예측 참조 픽처에 기초하여 생성하는 단계 또는 모핑 특성 파라미터를 적어도 부분적으로 제 2 비디오 프레임 및 제 3 원 비디오 프레임에 기초하여 생성하는 단계 중 적어도 하나를 포함할 수 있고, 움직임 데이터는 움직임 벡터를 포함할 수 있다.
여기서 예시되는 프로세스의 구현이 도시된 순서로 표시된 모든 동작의 수행을 포함할 수 있지만, 본 개시는 이러한 관점에 한정되지 않으며, 다양한 예에서, 여기 예제 프로세스의 구현은 도시된 동작의 서브세트 및/또는 도시된 것과 다른 순서의 동작의 수행만을 포함할 수 있다.
본 개시에서 기술된 서브시스템의 다양한 컴포넌트는 소프트웨어, 펌웨어 및/또는 하드웨어 및/또는 그들의 임의의 조합에 의하여 구현될 수 있다. 예를 들면, 시스템(1400)의 다양한 컴포넌트는, 예를 들면, 스마트폰과 같은 컴퓨팅 시스템에서 발견될 수 있는 컴퓨팅 시스템 온칩(SoC)의 하드웨어로 적어도 일부 제공될 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자는 본 개시에서 기술되는 시스템은 대응하는 특징 내에 묘사되지 않은 추가적인 컴포넌트를 포함할 수 있다는 것을 인식할 것이다. 예를 들면, 본 개시에서 기술되는 시스템은 비트 스트림 멀티플렉서 또는 디-멀티플렉서 모듈 및 그 유사한 것과 같은 추가적인 컴포넌트를 포함할 수 있는데, 이들은 명료함을 위하여 도시되지 않았다.
추가로, 본 개시에서 논의되는 하나 이상의 어떤 동작은 하나 이상의 컴퓨터 프로그램 제품에 의해 제공되는 명령어에 대응하여 착수될 수 있다. 그러한 프로그램 제품은, 실행될 때, 예를 들면, 프로세서가 본 개시에서 설명되는 기능성을 제공하는 명령어를 제공하는 신호를 갖는 미디어를 포함할 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 머신-판독가능한 미디어의 형태로 제공될 수 있다. 따라서, 예를 들면, 하나 이상의 프로세서 코어를 포함하는 프로세서는 하나 이상의 머신-판독가능한 미디어에 의해 프로세서로 전달되는 프로그램 코드 및/또는 명령어나 명령어 세트에 대응하여 여기서 예시된 프로세스의 하나 이상의 동작을 착수할 수 있다. 일반적으로, 머신-판독가능한 매체는 본 개시에서 설명되는 장치 및/또는 시스템이 본 개시에서 설명되는 비디오 시스템의 적어도 부분을 구현하도록 유발하는 프로그램 코드 및/또는 명령어나 명령어 세트의 형태로 된 소프트웨어를 전달한다.
본 개시에서 설명되는 임의의 구현예에서 사용될 때, 용어 "모듈"은 본 개시에서 기술된 기능성을 제공하도록 구성된 소프트웨어 로직, 펌웨어 로직 및/또는 하드웨어 로직의 임의의 조합을 지칭한다. 소프트웨어는 소프트웨어 패키지, 코드 및/또는 명령어 세트나 명령어로 구현될 수 있고, 그리고 "하드웨어"는, 본 개시에서 기술된 임의의 구현예에서 사용될 때, 예를 들면, 하드웨어 내장 회로, 프로그래머블 회로, 상태 머신 회로 및/또는 프로그래머블 회로에 의해 실행되는 명령어를 저장하는 펌웨어를 개별적으로 또는 조합하여 포함할 수 있다. 모듈은 합해서 또는 개별적으로 큰 시스템의 부분, 예를 들면, 집적회로(IC), 시스템온-칩(SoC) 등을 형성하는 회로로써 구현될 수 있다. 예를 들면, 모듈은 본 개시에서 논의된 코딩 시스템의 소프트웨어, 펌웨어, 또는 하드웨어를 통해서 구현되는 로직 회로 내에 구현될 수 있다.
도 31은 본 발명의 적어도 일부 구현예에 따라서 구성되는, 비디오 코딩 시스템(3100)의 예를 도시한다. 도시된 구현예에서, 비디오 코딩 시스템(3100)은 이미지 장치(들)(3101), 비디오 인코더(100) 및/또는 비디오 인코더 구현 프로세싱 유닛(들)(3120)의 로직 회로(3150)를 통해 구현된 비디오 인코더, 안테나(3102), 하나 이상의 프로세서(들)(3103), 하나 이상의 메모리 저장소(들)(3104) 및/또는 디스플레이 장치(3105)를 포함할 수 있다.
도시된 것처럼, 이미징 장치(들)(3101), 안테나(3102), 프로세싱 유닛(들)(3120), 로직 회로(3150), 비디오 인코더(100), 비디오 디코더(200), 프로세서(들)(3103), 메모리 저장소(들)(3104) 및/또는 디스플레이 장치(3105)는 서로 통신할 수 있다. 논의된 것처럼, 비록 비디오 인코더(100)와 비디오 디코더(200)로 도시되었지만, 비디오 코딩 시스템(3100)은 다양한 예에서 비디오 인코더(100) 또는 비디오 디코더(200)만을 포함할 수 있다.
도시된 것처럼, 일부 예에서, 비디오 코딩 시스템(3100)은 안테나(3102)를 포함할 수 있다. 안테나(3102)는 예를 들면 비디오 데이터의 인코딩된 비트스트림을 전송하거나 수신하도록 구성될 수 있다. 또한, 일부 예에서, 비디오 코딩 시스템(3100)은 디스플레이 장치(3105)를 포함할 수 있다. 디스플레이 장치(3105)는 비디오 데이터를 표현하도록 구성될 수 있다. 도시된 것처럼, 일부 예에서, 로직 회로(1950)는 프로세싱 유닛(들)(3120)을 통해서 구현될 수 있다. 프로세싱 유닛(들)(3120)은 주문형 집적 회로(ASIC) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 또는 그 유사한 것을 포함할 수 있다. 비디오 코딩 시스템(3100)은 또한 유사하게 주문형 집적회로(ASIC) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 또는 그 유사한 것을 포함하는, 옵션의 프로세서(들)(3103)를 포함할 수 있다. 일부 예에서, 로직 회로(3150)는 하드웨어, 비디오코딩 전용 하드웨어, 또는 그 유사한 것을 통해 구현될 수 있고, 프로세서(들)(3103)는 범용 목적 소프트웨어, 운영 체제, 또는 그 유사한 것을 구현할 수 있다. 추가로 메모리 저장소(3104)는 휘발성 메모리(예를 들면, 정적 랜덤 접근 메모리(SRAM), 동적 랜덤 억세스 메모리(DRAM), 등) 또는 비-휘발성 메모리(예를 들면, 플래시 메모리 등), 등과 같은 어떤 타입의 메모리일 수 있다. 비-제한적 예에서, 메모리 저장소(3104)는 캐시 메모리에 의해서 구현될 수 있다. 일부 예에서, 로직 회로(3150)는 (예를 들면, 이미지 버퍼의 구현을 위한) 액세스 메모리 저장소(3104)에 접근할 수 있다. 다른 예에서, 로직 회로(3150) 및/또는 프로세싱 유닛(들)(3120)은 이미지 버퍼나 그 유사한 것의 구현을 위하여 메모리 저장소(예를 들면, 캐시나 그 유사한 것)를 포함할 수 있다.
일부 예에서, 로직 회로를 통해 구현된 비디오 인코더(100)는 (예를 들면, 프로세싱 유닛(들)(3120)이나 메모리 저장소(들)(3104)를 통해) 이미지 버퍼와 (예를 들면, 프로세싱 유닛(들)(3120)을 통해) 그래픽 프로세싱 유닛을 포함할 수 있다. 그래픽 프로세싱 유닛은 이미지 버퍼에 통신으로 연결될 수 있다. 그래픽 프로세싱 유닛은 로직 회로(3150)를 통해 구현되는 비디오 인코더(100)를 포함하여, 도 1과 관련되어 논의된 것처럼 다양한 모듈 및/또는 본 개시에서 기술된 임의의 다른 인코더 시스템 또는 서브시스템을 구현한다. 예를 들면, 그래픽 프로세싱 유닛은 예측 파티션 생성기 로직 회로, 적응적 픽처 구성기 로직 회로, 인터-예측 로직 회로, 움직임 보상 생성 로직 회로, 차분 로직 회로, 서브-파티션 생성기 로직 회로, 적응적 변환 로직 회로, 적응적 엔트로피 인코더 로직 회로 등을 포함할 수 있다. 로직 회로는 본 개시에서 논의되는 다양한 동작을 수행하도록 구성될 수 있다.
다른 예에서, 비디오 인코더(100)는 이미지 버퍼와, 이미지 버퍼와 통신가능하게 결합된 그래픽 프로세싱 유닛을 포함할 수 있다. 그래픽 프로세싱 유닛은, 제 1 타입의 제 1 비디오 프레임 및 제 2 타입의 제 2 비디오 프레임을 제 1 복수의 타일 또는 수퍼-프래그먼트 및 제 2 복수의 타일 또는 수퍼-프래그먼트로 분절하도록 구성될 수 있다. 그래픽 프로세싱 유닛은 또한 제 1 복수의 타일 또는 수퍼-프래그먼트를 제 1 분할 기술을 이용하여 분할하고 제 2 복수의 타일 또는 수퍼-프래그먼트를 제 2 분할 기술을 이용하여 분할하도록 구성될 수 있고, 제 1 및 제 2 분할 기술은 상이하다. 제 2 비디오 프레임에 대하여 선택된 예측 분할 및 연관된 복수의 예측 분할이 결정될 수 있다. 제 1 재구성된 타일 또는 수퍼-프래그먼트가 생성될 수 있다. 블록해제 필터링 파라미터 및 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트가 적어도 부분적으로 제 1 재구성된 타일 또는 수퍼-프래그먼트 및 상기 블록해제 필터링 파라미터에 기초하여 생성될 수 있다. 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트가 조립되어 제 1 디코딩된 예측 참조 픽처를 생성할 수 있다. 모핑 특성 파라미터 및 모핑된 예측 참조 픽처가 적어도 부분적으로 모핑 특성 파라미터 및 상기 제 1 디코딩된 참조 픽처에 기초하여 생성될 수 있다. 합성 특성 파라미터 및 합성된 예측 참조 픽처가 적어도 부분적으로 합성 특성 파라미터 및 제 1 디코딩된 참조 픽처 또는 제 2 디코딩된 참조 픽처에 기초하여 생성될 수 있다. 복수의 예측 파티션 각각마다 모드 및 참조 타입이 결정될 수 있다. 복수의 예측 파티션과 연관된 움직임 데이터가 적어도 부분적으로 모핑된 예측 참조 픽처 또는 합성된 예측 참조 픽처 중 하나에 기초하여 생성될 수 있다. 움직임 데이터 및 모핑된 예측 참조 픽처 또는 합성된 예측 참조 픽처 중 적어도 하나에 기초하여 움직임 보상이 수행되어 복수의 예측 파티션에 대해 복수의 예측된 파티션을 생성할 수 있다. 복수의 예측된 파티션과 대응하는 원 픽셀 데이터와의 차가 계산되어 대응하는 복수의 예측 오차 데이터 파티션을 생성할 수 있다. 복수의 예측 오차 데이터 파티션 중 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는지 결정이 이루어질 수 있다. 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는 경우, 예측 오차 데이터 파티션의 상기 서브세트의 개개 예측 오차 데이터 파티션이 선택된 코딩 분할 및 연관된 복수의 코딩 파티션으로 분할될 수 있고, 복수의 코딩 분할 중 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환이 수행되고 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행되어 변환 계수를 생성할 수 있고, 변환 계수가 양자화되어 양자화된 변환 계수를 생성할 수 있다. 제 1 타입 및 상기 제 2 타입과 연관된 프레임 데이터, 모드 및 참조 타입과 연관된 모드 데이터, 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 움직임 데이터, 양자화된 변환 계수, 모핑 특성 파라미터, 합성 특성 파라미터 및 블록해제 필터링 파라미터가 모두 비트스트림으로 엔트로피 인코딩될 수 있다.
일부 예에서, 비디오 코딩 시스템(3100)의 안테나(3102)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 비디오 코딩 시스템(3100)은 또한 안테나(3102)에 연결되고 인코딩된 비트스트림을 디코딩하도록 구성되는 비디오 디코더(200)를 포함할 수 있다.
다른 예에서, 디코더 시스템(200)은 인코딩된 비트스트림을 디코딩하도록 구성된 비디오 디코더를 포함할 수 있다. 비디오 디코더는 인코딩된 비트스트림을 엔트로피 디코딩하여 양자화된 변환 계수, 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터, 코딩 분할 지시자 또는 코딩 분할 코드워드, 블록해제 필터링 파라미터, 모핑 특성 파라미터, 합성 특성 파라미터, 움직임 데이터, 예측 분할 지시자, 또는 예측 분할 코드워드를 결정할 수 있다. 역양자화는 양자화된 변환 계수에 적어도 일부 기초하여 수행되어 디코딩된 변환 계수를 생성할 수 있다. 역변환은 적어도 부분적으로 디코딩된 변환 계수 및 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터에 기초하여 복수의 디코딩된 코딩 파티션을 생성할 수 있다. 복수의 디코딩된 코딩 파티션은 적어도 부분적으로 코딩 분할 지시자 또는 코딩 분할 코드워드에 기초하여 조립되어 디코딩된 예측 오차 데이터 파티션을 생성할 수 있다. 제 1 디코딩된 타일이나 수퍼-프래그먼트 중 적어도 하나가 생성될 수 있다. 적어도 부분적으로 블록해제 필터링 파라미터에 기초하여 블록해제 필터링이 제 1 디코딩된 타일이나 수퍼-프래그먼트에 적용되어 제 1 최종의 디코딩되고 재구성된 타일이나 수퍼-프래그먼트를 생성할 수 있다. 제 1 최종의 디코딩되고 재구성된 타일이나 수퍼-프래그먼트 및 제 2 최종의 디코딩되고 재구성된 타일이나 수퍼-프래그먼트는 조립되어 디코딩되고 재구성된 비디오 프레임을 생성할 수 있다. 모핑된 예측 참조 픽처는 적어도 부분적으로 모핑 특성 파라미터 및 디코딩되고 재구성된 비디오 프레임에 기초하여 생성될 수 있다. 합성된 예측 참조 픽처는 적어도 부분적으로 합성 특성 파라미터 및 재구성된 비디오 프레임 또는 제 2 재구성된 비디오 프레임 중 적어도 하나에 기초하여 생성될 수 있다. 움직임 보상은 적어도 부분적으로 디코더 모핑된 예측 참조 픽처 또는 디코더 합성된 예측 참조 픽처 및 움직임 데이터에 기초하여 수행되어 디코딩되고 예측된 파티션을 생성할 수 있다. 디코딩되고 예측된 파티션은 디코딩된 예측 오차 데이터 파티션에 추가되어 제 1 디코딩되고 재구성된 파티션을 생성할 수 있다. 제 1 디코딩되고 재구성된 파티션 및 제 2 디코딩되고 재구성된 파티션은 적어도 부분적으로 예측 분할 지시자 또는 예측 분할 코드워드에 기초하여 결합되어 제 3 최종 디코딩되고 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 제 3 최종의 디코딩되고 재구성된 타일 또는 수퍼-프래그먼트 및 제 4 최종 디코딩되고 재구성된 타일 또는 수퍼-프래그먼트는 조립되어 제 2 디코딩되고 재구성된 비디오 프레임을 생성할 수 있다. 제 2 디코딩되고 재구성된 비디오 프레임은 디스플레이 장치를 통해 보여주기 위해 전송될 수 있다.
구현예에서, 본 개시에서 논의되는 특징은 하나 이상의 컴퓨터 프로그램 제품에 의해 제공되는 명령어에 대응하여 착수될 수 있다. 그러한 프로그램 제품은, 예를 들면, 프로세서에 의해 실행될 때, 본 개시에서 설명되는 기능성을 제공할 수 있는 명령어를 제공하는 매체를 담은 신호를 포함할 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 머신-판독가능한 매체의 형태로 제공될 수 있다. 따라서, 예를 들면, 하나 이상의 프로세서 코어(들)를 포함하는 프로세서는 하나 이상의 머신-판독가능한 매체에 의해 프로세서로 전달되는 프로그램 코드 및/또는 명령어나 명령어 세트에 대응하여 본 개시에서 기술된 하나 이상의 특징을 착수할 수 있다. 일반적으로, 머신-판독가능한 매체는 본 개시에서 설명되는 장치 및/또는 시스템이 본 개시에서 설명되는 특징의 적어도 부분을 구현하게 하는 프로그램 코드 및/또는 명령어나 명령어 세트의 형태로 된 소프트웨어를 전달한다.
도 32는 본 발명의 적어도 일부 구현예에 따라서 구성되는, 시스템(3200)의 예를 도시한다. 다양한 구현예에서, 시스템(3200)은 매체 시스템일 수 있지만, 그러나 시스템(3200)은 이러한 맥락에 한정되지 않는다. 예를 들면, 시스템(3200)은 개인용 컴퓨터(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인용 대지털 보조기(PDA), 셀룰러폰, 콤비네이션 셀룰러폰/PDA, 텔레비전, 스마트 장치(예를 들면, 스마트폰, 스마트 태블릿이나 스마트 텔레비전), 모바일 인터넷 장치(MID), 메시징 장치, 데이터 통신 장치, 카메라(예를 들면, 포인트-앤드-슛 카메라, 수퍼-줌 카메라, 디지털 싱글-렌즈 리플렉스(DSLR) 카메라) 등으로 통합될 수 있다.
다양한 구현예에서, 시스템(3200)은 디스플레이(3220)에 연결된 플랫폼(3202)를 포함한다. 플랫폼(3202)은 콘텐츠 서비스 장치(들)(3230) 또는 콘텐츠 전달 장치(들)(3240) 또는 다른 유사한 콘텐츠 소스와 같은 콘텐츠 장치로부터 콘텐츠를 수신할 수 있다. 하나 이상의 네비게이션 특성을 포함하는 네비게이션 컨트롤러(3250)는, 예를 들면, 플랫폼(3202) 및/또는 디스플레이(3220)와 상호작용하도록 사용될 수 있다. 이들 컴포넌트 각각은 이하 좀 더 상세하게 설명된다.
다양한 구현예에서, 플랫폼(3202)은 칩셋(3205), 프로세서(3210), 메모리(3212), 안테나(3213), 저장소(3214), 그래픽 서브시스템(3215), 애플리케이션(3216) 및/또는 라디오(3218)의 임의의 조합을 포함할 수 있다. 칩셋(3205)은 프로세서(3210), 메모리(3212), 저장소(3214), 그래픽 서브시스템(3215), 애플리케이션(3216) 및/또는 라디오(3218) 간의 통신을 제공할 수 있다. 예를 들면, 칩셋(3205)은 저장소(3214)와 상호통신을 제공할 수 있는 저장소 어댑터(도시되지 않음)를 포함할 수 있다.
프로세서(3210)는 복합 명령어 세트 컴퓨터(CISC) 또는 감소된 명령어 세트 컴퓨터(RISC) 프로세서, x86 명령어 세트 호환 프로세서, 멀티-코어 또는 그 밖의 마이크로프로세서나 중앙 처리 장치(CPU)로 구현될 수 있다. 다양한 구현예에서, 프로세서(3210)는 듀얼-코어 프로세서(들), 듀얼-코어 모바일 프로세서(들) 등일 수 있다.
메모리(3212)는 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 또는 정적 RAM(SRAM)과 같은 휘발성 메모리 장치로 구현될 수 있지만, 이에 한정되지 않는다.
저장소(3214)는 마그네틱 디스크 드라이브, 광 디스크 드라이브, 테입 드라이브, 내부 저장 장치, 부속 저장 장치, 플래시 메모리, 배터리 백업 SDRAM(동기 DRAM) 및/또는 네트워크 접근가능한 저장 장치와 같은 비-휘발성 저장 장치로서 구현될 수 있지만, 이에 한정되지 않는다. 다양한 구현예에서, 저장소(3214)는, 예를 드면, 복수의 하드 드라이브가 포함될 때, 귀중한 디지털 매체를 위한 저장 성능 강화된 보호를 증가시키는 기술을 포함할 수 있다.
그래픽 서브시스템(3215)은 디스플레이를 위한 스틸이나 비디오와 같은 이미지의 프로세싱을 수행할 수 있다. 그래픽 서브시스템(3215)은 예를 들면 그래픽 프로세싱 유닛(GPU)이나 비주얼 프로세싱 유닛(VPU)일 수 있다. 아날로그나 디지털 인터페이스는 그래픽 서브시스템(3215) 및 디스플레이(3220)를 통신으로 연결하도록 사용될 수 있다. 예를 들면, 인터페이스는 고화질 멀티매체 인터페이스, 디스플레이포트, 무선 HDMI 및/또는 무선 HD 순응 기술 중의 어느 것일 수 있다. 그래픽 서브시스템(3215)은 프로세서(3210) 또는 칩셋(3205)으로 통합될 수 있다. 임의의 구현예에서, 그래픽 서브시스템(3215)은 칩셋(3205)과 통신으로 연결되는 스탠드-얼론 장치일 수 있다.
본 개시에서 기술되는 그래픽 및/또는 비디오 프로세싱 기술은 다양한 하드웨어 아키텍처로 구현될 수 있다. 예를 들면, 그래픽 및/또는 비디오 기능성은 칩셋 내에 통합될 수 있다. 대안으로, 별개의 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 구현예에서, 그래픽 및/또는 비디오 프로세서가, 멀티-코어 프로세서를 포함하는, 범용 프로세서에 의해서 제공될 수 있다. 또 다른 예에서, 기능은 소비자 전자 장치에 구현될 수 있다.
라디오(3218)는 다양한 적합한 무선 통신 기술을 사용하여 신호를 전송하고 수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 그러한 기술은 하나 이상의 무선 네트워크에 걸친 통신을 포함할 수 있다. 예를 들면, 무선 네트워크는 무선 지역 네트워크(WLAN), 무선 개인 영역 네트워크(WPAN), 무선 도시지역 네트워크(WMAN), 셀룰러 네트워크 및 위성 네트워크를 포함하지만 이에 한정되지 않는다. 그러한 네트워크에 걸친 통신에서, 라디오(3218)는 여느 버전의 하나 이상의 적용가능한 표준에 따라 동작할 수 있다.
다양한 구현예에서, 디스플레이(3220)는 텔레비전 타입 모니터나 디스플레이를 포함할 수 있다. 디스플레이(3220)는, 예를 들면, 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전-유사 장치 및/또는 텔레비전을 포함할 수 있다. 디스플레이(3220)는 디지털 및/또는 아날로그일 수 있다. 다양한 구현예에서, 디스플레이(3220)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(3220)는 비주얼 프로젝션을 수신할 수 있는 투명한 표면일 수 있다. 이러한 프로젝션은 다양한 형태의 정보, 이미지 및/또는 객체를 실어나른다. 예를 들면, 이러한 프로젝션은 모바일 증강 현실(MAR) 애플리케이션에 대한 비주얼 오버레이일 수 있다. 하나 이상의 소프트웨어 애플리케이션(3216)의 제어하에, 플랫폼(3202)은 디스플레이(3220) 상에 사용자 인터페이스(3222)를 디스플레이할 수 있다.
다양한 구현예에서, 콘텐츠 서비스 장치(들)(3230)는 국가적, 국제적 및/또는 독립적 서비스에 의해서 호스팅될 수 있으며, 이에 따라서, 예를 들면, 인터넷을 통해 플랫폼(3202)에 접근가능하다. 콘텐츠 서비스 장치(들)(3230)는 플랫폼(3202) 및/또는 디스플레이(3220)에 연결될 수 있다. 플랫폼(3202) 및/또는 콘텐츠 서비스 장치(들)(3230)는 네트워크(3260)에 연결되어 매체 정보를 네트워크(3260)로 그리고 네트워크(3260)로부터 전달(예를 들면, 송신 및/또는 수신)할 수 있다. 콘텐츠 전달 장치(들)(3240)는 또한 플랫폼(3202) 및/또는 디스플레이(3220)에 연결될 수 있다.
다양한 구현예에서, 콘텐츠 서비스 장치(들)(3230)는 케이블 텔레비전 박스, 개인용 컴퓨터, 네트워크, 전화, 인터넷 가능한 장치나 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 어플라이언스, 그리고 네트워크(3260)를 통해 또는 직접, 콘텐츠 제공자와 플랫폼(3202) 및/또는 디스플레이(3220) 간에 콘텐츠를 일 방향이나 양방향으로 전달할 수 있는 그 밖의 유사한 장치를 포함할 수 있다. 콘텐츠는 네트워크(3260)를 통해 시스템(3200) 및 콘텐츠 제공자 내의 컴포넌트 중의 어느 하나로 그리고 어느 하나로부터 일 방향으로 및/또는 양방향으로 전달될 수 있다는 것이 인정되어야 한다. 콘텐츠의 예는, 예를 들면, 비디오, 음악, 의료 및 게임 정보 등을 포함하는 매체 정보를 포함할 수 있다.
콘텐츠 서비스 장치(들)(3230)는 매체 정보, 디지털 정보 및/또는 그 밖의 콘텐츠를 포함하는 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신할 수 있다. 콘텐츠 제공자의 예는 케이블이나 위성 텔레비전 또는 라디오 또는 인터넷 콘텐츠 제공자를 포함할 수 있다. 제공된 예는 어떤 방식으로도 본 개시에 따른 구현을 제한하도록 의도되지 않는다.
다양한 구현예에서, 플랫폼(3202)은 하나 이상의 네비게이션 특성을 갖는 네비게이션 제어기(3250)로부터 제어 신호를 수신할 수 있다. 제어기(3250)의 네비게이션 특성은, 예를 들면, 사용자 인터페이스(3222)와 상호작용하도록 사용될 수 있다. 다양한 실시예에서, 네비게이션 제어기(3250)는 사용자가 입력 공간(예를 들면, 계속적인 다차원의) 데이터를 컴퓨터로 입력하는 것을 허용하는 컴퓨터 하드웨어 컴포넌트(특히, 휴먼 인터페이스 장치)일 수 있는 포인팅 장치일 수 있다. 그래픽 사용자 인터페이스(GUI), 텔레비전 및 모니터와 같은 많은 시스템은 사용자가 물리적 제스처를 사용하여 데이터를 제어하고 컴퓨터나 텔리비전에 제공하도록 허용한다.
제어기(3250)의 네비게이션 특성의 움직임은 포인터, 커서, 포커스 링, 또는 디스플레이 상에 디스플레이되는 다른 비주얼 지시자의 움직임에 의해서 디스플레이(예를 들면, 디스플레이(3220)) 상에 복제될 수 있다. 예를 들면, 소프트웨어 애플리케이션(3216)의 제어하에, 네비게이션 제어기(3250)에 위치하는 네비게이션 특성은 사용자 인터페이스(3222) 상에 디스플레이되는 가상 네비게이션 특성에 매핑될 수 있다. 다양한 실시예에서, 제어기(3250)는 별도의 컴포넌트가 아닌 플랫폼(3202) 및/또는 디스플레이(3220)로 통합될 수 있다. 본 개시는, 그러나, 본 개시에서 도시되거나 기술되는 구성요소나 맥락에 한정되지 않는다.
다양한 구현예에서, 드라이버(도시되지 않음)는, 예를 들면, 이네이블(enable)될 때, 초기의 가동 부팅 이후에, 사용자가 버튼을 터치하여 텔레비전 같은 플랫폼(3202)을 즉각 "온"하거나 "오프"하도록 하는 기술을 포함할 수 있다. 프로그램 로직은, 플랫폼이 "오프"될 때, 플랫폼(3202)이 콘텐츠를 매체 어댑터 또는 다른 콘텐츠 서비스 장치(들)(3230)나 콘텐츠 전달 장치(들)(3240)로 스트리밍하도록 허용할 수 있다. 추가로, 칩셋(3205)은, 예를 들면, 5.1 서라운드 오디오 및/또는 고화질 7.1 서라운드 오디오를 위한 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버는 통합 그래픽 플랫폼을 위한 그래픽 드라이버를 포함할 수 있다. 다양한 실시예에서, 그래픽 드라이버는 퍼리퍼럴 컴포넌트 인터커넥트(PCI) 익스프레스 그래픽 카드를 포함할 수 있다.
다양한 구현예에서, 시스템(3200)에 도시된 하나 이상의 컴포넌트가 통합될 수 있다. 예를 들면, 플랫폼(3202) 및 콘텐츠 서비스 장치(들)(3230)가 통합되고, 또는 플랫폼(3202)과 콘텐츠 전달 장치(들)(3240)가 통합될 수 있으며, 또는, 예를 들면, 플랫폼(3202), 콘텐츠 서비스 장치(들)(3230) 및 콘텐츠 전달 장치(들)(3240)가 통합될 수 있다. 다양한 구현예에서, 플랫폼(3202) 및 디스플레이(3220)는 통합 유닛일 수 있다. 예를 들면, 디스플레이(3220)와 콘텐츠 서비스 장치(들)(3230)가 통합되거나, 또는 디스플레이(3220)와 콘텐츠 전달 장치(들)(3240)가 통합될 수 있다. 이들 예는 본 개시를 한정하도록 의도되지 않는다.
다양한 실시예에서, 시스템(3200)은 무선 시스템, 유선 시스템 또는 그들의 조합으로 구현될 수 있다. 무선 시스템으로 구현될 때, 시스템(3200)은 하나 이상의 안테나, 송신기, 수신기, 트랜스시버, 증폭기, 필터, 제어 로직 등과 같은 무선 공유 매체와 통신하기에 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 예는 RF 스펙트럼 등과 같은 무선 스펙트럼의 부분을 포함할 수 있다. 유선 시스템으로 구현될 때, 시스템(3200)은, 입력/출력(I/O) 어댑터, I/O 어댑터를 대응하는 유선 통신 매체에 연결시키는 물리적 커넥터, 네트워크 인터페이스 카드(NIC), 디스크 제어기, 비디오 제어기, 오디오 제어기 및 그 유사한 것과 같은, 유선 통신 매체와 통신하기에 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 메탈 리드, 인쇄 회로 기판(PCB), 백플레인, 스위치 파브릭, 반도체 재료, 트위스트 페어 라인, 동축 케이블, 광섬유 등을 포함할 수 있다.
플랫폼(3202)은 정보를 전달하는 하나 이상의 논리적 또는 물리적 채널을 설정할 수 있다. 정보는 매체 정보와 제어 정보를 포함할 수 있다. 매체 정보는 사용자에게 의도된 콘텐츠를 표현하는 임의의 데이터를 지칭할 수 있다. 콘텐츠의 예는, 예를 들면, 음성 대화로부터의 데이터, 비디오 회의, 스트리밍 비디오, 전자 메일("이메일") 메시지, 보이스 메일 메시지, 영숫자 심볼, 그래픽, 이미지, 비디오, 텍스트 등을 포함할 수 있다. 음성 대화로부터의 데이터는, 예를 들면, 스피치 정보, 침묵 기간, 배경 소음, 편안한 잡음(comfort noise), 톤 등일 수 있다. 제어 정보는 코맨드, 명령어, 자동화 시스템에 의도된 제어 단어를 표현하는 데이터를 지칭할 수 있다. 예를 들면, 제어 정보는 시스템을 통해 매체 정보를 라우팅하도록 사용될 수 있고, 또는 미리 결정된 방식으로 매체 정보를 프로세싱하는 노드를 지시하도록 사용될 수 있다. 그러나, 실시예는 도 32에 도시되거나 설명된 구성요소나 맥락에 한정되지 않는다.
상술한 것처럼, 시스템(3200)은 다양한 물리적 스타일이나 폼팩터(form factor)로 구현될 수 있다. 도 33은 시스템(3300)이 구현될 수 있는 작은 폼팩터 장치(3300)의 구현예를 도시한다. 다양한 예에서, 예를 들면, 장치(3300)는 무선 능력을 갖는 모바일 컴퓨팅 장치로서 구현될 수 있다. 모바일 컴퓨팅 장치는 프로세싱 시스템을 갖는 장치를 지칭할 수 있고, 예를 들면, 하나 이상의 배터리 같은, 모바일 파워 소스나 서플라이를 지칭할 수 있다.
상술한 것처럼, 모바일 컴퓨팅 장치의 예는 개인용 컴퓨터(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인용 디지털 보조기(PDA), 셀룰러폰, 콤비네이션 셀룰러폰/PDA, 텔레비전, 스마트 장치(예를 들면, 스마트폰, 스마트 태블릿이나 스마트 텔레비전), 모바일 인터넷 장치(MID), 메시징 장치, 데이터 통신 장치, 카메라(예를 들면, 포인트-앤드-슛 카메라, 수퍼-줌 카메라, 디지털 싱글-렌즈 리플렉스(DSLR) 카메라) 등을 포함할 수 있다.
모바일 컴퓨팅 장치의 예는 또한, 손목 컴퓨터, 손가락 컴퓨터, 반지 컴퓨터, 안경 컴퓨터, 벨트-클립 컴퓨터, 암-밴드 컴퓨터, 신발 컴퓨터, 의복 컴퓨터 및 그 밖의 입을 수 있는 컴퓨터와 같이, 인간이 입도록 구성된 컴퓨터를 포함할 수 있다. 다양한 예에서, 예를 들면, 모바일 컴퓨팅 장치는 컴퓨터 애플리케이션뿐만 아니라, 음성 통신 및/또는 데이터 통신을 실행할 수 있는 스마트폰으로서 구현될 수 있다. 비록 일부 실시예가 스마트폰으로서 구현되는 모바일 컴퓨팅 장치를 예를 들어서 설명되었지만, 다른 실시예는 또한 기타 다른 무선 모바일 컴퓨팅 장치를 사용하여 구현될 수 있다는 것이 인정되어야 한다. 실시예는 이러한 맥락에 한정되지 않는다.
도 33에 도시된 것처럼, 장치(3300)는 하우징(3302), 디스플레이(3304), 사용자 인터페이스(3310)를 포함하는 입력/출력(I/O) 장치(3306), 그리고 안테나(3308)를 포함할 수 있다. 장치(3300)는 또한 네비게이션 특징(3312)을 포함할 수 있다. 디스플레이(3304)는 모바일 컴퓨팅 장치에 적합한 정보를 디스플레이하는 어느 적합한 디스플레이 장치를 포함할 수 있다. I/O 장치(3306)는 정보를 모바일 컴퓨팅 장치에 입력하는 어느 적합한 I/O 장치를 포함할 수 있다. I/O 장치(3306)에 대한 예는 영숫자 키보드, 숫자 키보드, 터치패드, 입력 키, 버튼, 스위치, 로커 스위치(rocker switch), 마이크로폰, 스피커, 음성 인식 장치 및 소프트웨어, 또는 그 유사한 것을 포함할 수 있다. 정보는 또한 마이크로폰의 방식으로 장치(3300)에 입력될 수 있다. 그러한 정보는 음성 인식 장치(도시되지 않음)에 의해서 디지털화될 수 있다. 실시예는 이러한 맥락에 한정되지 않는다.
다양한 실시예는 하드웨어 구성요소, 소프트웨어 구성요소 또는 그 결합을 사용하여 구현될 수 있다. 하드웨어 구성요소의 예는 프로세서, 마이크로 프로세서, 회로, 회로 구성요소(예를 들면, 트랜지스터, 레지스터, 커패시터, 인덕터 등), 집적회로, 애플리케이션 특정 집적회로(ASIC), 프로그래머블 로직 장치(PLD), 디지털 신호 프로세서(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 로직 게이트, 레지스터, 반도체 장치, 칩, 마이크로칩, 칩셋 등을 포함할 수 있다. 소프트웨어의 예는 소프트웨어 컴포넌트, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 운영 체제 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 함수, 메소드, 프로시저, 소프트웨어 인터페이스, 애플리케이션 프로그램 인터페이스(API), 명령어 세트, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 워드, 값, 심볼, 그들의 어느 결합을 포함할 수 있다. 실시예가 하드웨어 구성요소 및/또는 소프트웨어 구성요소를 사용하여 구현되는지 여부를 결정하는 것은, 바람직한 컴퓨팅 속도, 파워 레벨, 내열성, 프로세싱 사이클 예산, 입력 데이터율, 출력 데이터율, 메모리 자원, 데이터 버스 속도 및 다른 디자인이나 성능 제약조건과 같은, 많은 인자와 관련되어 다양할 수 있다.
적어도 일 실시예의 하나 이상의 양태는 프로세서 내의 다양한 로직을 표현하는 머신-판독가능한 매체에 저장된 대표적인 명령어에 의해서 구현될 수 있으며, 이는 머신에 의해 읽혀질 때, 머신이 여기 설명된 기술을 수행하도록 로직을 제작하도록 유발한다. "IP 코어"로서 알려진, 이러한 표현이 유형의, 머신 판독가능한 매체에 저장되고 다양한 고객이나 제조 설비에 제공되어 로직이나 프로세서를 실제로 만드는 제작 머신에 로딩될 수 있다.
본 개시에서 제시된 특정 특징이 다양한 구현을 참조하여 설명되었지만, 이 설명은 한정하는 의미로 해석되도록 의도되지 않는다. 따라서, 본 개시에서 설명되는 구현의 다양한 수정, 그리고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백한 그 밖의 구현은 본 개시의 정신이나 영역 내에 속한다고 생각한다.
다음의 예는 추가적인 실시예와 관련된다.
일 예에서, 비디오 코딩을 위한 컴퓨터-구현 방법은 제 1 타입의 제 1 비디오 프레임 및 제 2 타입의 제 2 비디오 프레임을 제 1 복수의 타일 또는 수퍼-프래그먼트 및 제 2 복수의 타일 또는 수퍼-프래그먼트로 분절하는 단계를 포함한다. 제 1 복수의 타일 또는 수퍼-프래그먼트는 제 1 분할 기술을 이용하여 분할되고 제 2 복수의 타일 또는 수퍼-프래그먼트를 제 2 분할 기술을 이용하여 분할되며, 제 1 및 제 2 분할 기술은 상이하다. 제 2 비디오 프레임에 대하여 선택된 예측 분할 및 연관된 복수의 예측 파티션이 결정될 수 있다. 제 1 재구성된 타일 또는 수퍼-프래그먼트가 생성될 수 있다. 블록해제 필터링 파라미터 및 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트는, 적어도 부분적으로 제 1 재구성된 타일 또는 수퍼-프래그먼트 및 상기 블록해제 필터링 파라미터에 기초하여 생성될 수 있다. 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트은 조립되어 제 1 디코딩된 예측 참조 픽처를 생성할 수 있다. 모핑 특성 파라미터 및 모핑된 예측 참조 픽처는, 적어도 부분적으로 모핑 특성 파라미터 및 제 1 디코딩된 참조 픽처에 기초하여 생성될 수 있다. 합성 특성 파라미터 및 합성된 예측 참조 픽처는, 적어도 부분적으로 합성 특성 파라미터 및 제 1 디코딩된 참조 픽처 또는 제 2 디코딩된 참조 픽처에 기초하여 생성될 수 있다. 복수의 예측 파티션 각각마다 모드 및 참조 타입이 결정될 수 있다. 복수의 예측 파티션과 연관된 움직임 데이터는, 적어도 부분적으로 모핑된 예측 참조 픽처 또는 상기 합성된 예측 참조 픽처 중 하나에 기초하여 생성될 수 있다. 움직임 데이터 및 상기 모핑된 예측 참조 픽처 또는 상기 합성된 예측 참조 픽처 중 적어도 하나에 기초하여 움직임 보상이 수행되어 복수의 예측 파티션에 대한 복수의 예측된 파티션이 생성될 수 있다. 복수의 예측된 파티션이 대응하는 원 픽셀 데이터와의 차가 계산되어 대응하는 복수의 예측 오차 데이터 파티션이 생성될 수 있다. 복수의 예측 오차 데이터 파티션 중 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는지 결정된다. 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션이 선택된 코딩 분할 및 연관된 복수의 코딩 파티션으로 분할될 수 있다. 복수의 코딩 분할 중 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환이 수행되고 하나 이상의 제 2 코딩 파티션에 대해 고정 변환이 수행되어 변환 계수를 생성할 수 있다. 변환 계수는 양자화되어 양자화된 변환 계수를 생성할 수 있다. 제 1 타입 및 제 2 타입과 연관된 프레임 데이터, 모드 및 참조 타입과 연관된 모드 데이터, 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 움직임 데이터, 양자화된 변환 계수, 모핑 특성 파라미터, 합성 특성 파라미터 및 블록해제 필터링 파라미터가 비트스트림으로 엔트로피 인코딩될 수 있다.
다른 예에서, 비디오 코딩을 위한 컴퓨터-구현 방법은 블록해제 필터링 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 또는 품질 복원 필터링 파라미터를 생성하고 적어도 부분적으로 블록해제 필터링 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 또는 품질 복원 필터링 파라미터에 기초하여 제 2 재구성된 타일 또는 수퍼-프래그먼트 및 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트를 생성하는 단계를 더 포함할 수 있다. 제 1 디코딩된 예측 참조 픽처는 픽처 버퍼에 저장될 수 있고, 움직임 보상을 수행하는 단계는 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 생성하는 단계와 상기 움직임 보상을 적어도 부분적으로 상기 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 이용하여 적응적 움직임 또는 적응적 정밀 필터링에 기초하여 수행하는 단계를 포함할 수 있다. 강화된 예측 파라미터 및 강화된 예측된 파티션이, 예측된 파티션 및 상기 강화된 예측 파라미터에 기초하여 생성될 수 있다. 강화된 예측된 파티션 또는 예측된 파티션이 예측 파티션에 대한 선택된 예측된 파티션으로서 사용할지 결정될 수 있다. 선택된 예측된 파티션이 강화된 예측된 파티션을 포함할 때, 강화된 예측 파라미터를 비트스트림으로 엔트로피 인코딩하고, 융합 필터링 또는 융합 개선 필터링을 상기 선택된 예측된 파티션에 적용할지 결정될 수 있다. 융합 필터링 또는 융합 개선 필터링이 선택된 예측된 파티션에 적용되는 것일 때, 선택된 예측된 파티션과 제 2 선택된 예측된 파티션이 조립되어 조립된 픽처의 적어도 일부분을 생성할 수 있다. 융합 필터링 또는 융합 개선 필터링이 선택된 예측된 파티션에 적용되는 것일 때, 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터가 생성될 수 있고 조립된 픽처의 일부분이 적어도 부분적으로 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터에 기초하여 융합 필터링 또는 융합 개선 필터링될 수 있다. 융합 필터링 또는 융합 개선 필터링이 선택된 예측된 파티션에 적용되는 것일 때, 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터가 비트스트림으로 엔트로피 인코딩될 수 있다. 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터, 블록해제 필터링 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 또는 품질 복원 필터링 파라미터가 상기 비트스트림으로 엔트로피 인코딩될 수 있고, 엔트로피 인코딩은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함할 수 있고, 예측 분할 지시자 또는 예측 분할 코드워드를 엔트로피 인코딩하는 단계는 모핑 특성 파라미터 또는 합성 특성 파라미터를 엔트로피 인코딩하는 것과 상이한 엔트로피 인코딩 기술을 포함할 수 있다. 비트스트림은 전송될 수 있다.
유사하게, 비트스트림은 수신될 수 있다. 비트스트림은 엔트로피 디코딩되어 제 1 타입 및 상기 제 2 타입과 연관된 프레임 데이터, 모드 및 참조 타입과 연관된 모드 데이터, 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 움직임 데이터, 양자화된 변환 계수, 모핑 특성 파라미터, 합성 특성 파라미터, 블록해제 필터링 파라미터, 강화된 예측 파라미터, 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터, 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터, 블록해제 필터링 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 또는 품질 복원 필터링 파라미터를 결정할 수 있고, 엔트로피 디코딩은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함할 수 있고, 예측 분할 지시자 또는 상기 예측 분할 코드워드를 엔트로피 디코딩하는 단계는 양자화된 변환 계수를 엔트로피 디코딩하는 것과 상이한 엔트로피 디코딩을 포함할 수 있다,
일부 구현예에서, 적어도 부분적으로 양자화된 변환 계수에 기초하여 역양자화가 수행되어 디코딩된 변환 계수를 생성할 수 있다. 적어도 부분적으로 디코딩된 변환 계수 및 상기 변환 지시자에 기초하여 역변환을 수행되어 복수의 디코딩된 코딩 파티션을 생성될 수 있고, 역변환은 역 고정 변환, 역 이산 코사인 변환, 역 이산 코사인 변환 근사기, 역 적응적 변환, 또는 역 하이브리드 파라메트릭 하르 변환 중 적어도 하나를 포함할 수 있다. 복수의 디코딩된 코딩 파티션은 조립되어 디코딩된 예측 오차 데이터 파티션을 생성할 수 있다. 제 1 디코딩된 타일 또는 수퍼-프래그먼트 중 적어도 하나가 생성될 수 있다. 디코더 블록해제 필터링 또는 디코더 블록해제 및 디더 필터링과 디코더 인-루프 또는 디코더 품질 복원 필터링이, 적어도 부분적으로 상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터와 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터에 기초하여, 제 1 디코딩된 타일 또는 수퍼-프래그먼트에 적용되어 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트는 조립되어 디코딩된 재구성된 비디오 프레임을 생성할 수 있다. 디코딩된 재구성된 비디오 프레임은 디코더 픽처 버퍼에 저장될 수 있다. 적어도 부분적으로 상기 모핑 특성 파라미터에 기초하여 디코더 모핑된 예측 참조 픽처가 생성될 수 있다. 적어도 부분적으로 합성 특성 파라미터에 기초하여 디코더 합성된 예측 참조 픽처가 생성될 수 있다.
일부 구현예에서, 디코더 움직임 보상이 적어도 부분적으로 상기 디코더 모핑된 예측 참조 픽처 또는 상기 디코더 합성된 예측 참조 픽처에 기초하여 수행되어 디코딩된 예측된 파티션을 생성할 수 있고, 디코더 움직임 보상은 적어도 부분적으로 상기 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터에 기초하는 디코더 적응적 움직임 필터링 또는 디코더 적응적 정밀 필터링을 포함할 수 있다. 적어도 부분적으로 강화된 예측 파라미터 및 디코딩된 예측된 파티션에 기초하여 강화된 디코딩된 예측된 파티션이 생성될 수 있다. 디코딩된 강화된 예측된 파티션 또는 디코딩된 예측된 파티션이 선택된 디코딩된 예측된 파티션으로서 사용할지 결정될 수 있다. 디코더 융합 필터링 또는 디코더 융합 개선 필터링이 선택된 디코딩된 예측된 파티션에 적용할지 결정될 수 있다. 디코더 융합 필터링 또는 디코더 융합 개선 필터링이 선택된 디코딩된 예측된 파티션에 적용되는 것일 때, 선택된 디코딩된 예측된 파티션과 제 2 선택된 디코딩된 예측된 파티션이 조립되어 디코딩된 조립된 픽처의 적어도 일부분을 생성할 수 있다. 디코더 융합 필터링 또는 디코더 융합 개선 필터링이 선택된 디코딩된 예측된 파티션에 적용되는 것일 때, 디코딩된 조립된 픽처의 일부분이 적어도 부분적으로 상기 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터에 기초하여 디코더 융합 필터링 또는 디코더 융합 개선 필터링될 수 있다. 선택된 디코딩된 예측된 파티션이 디코딩된 예측 오차 데이터 파티션에 가산되어 제 1 디코딩된 재구성된 파티션을 생성할 수 있다. 제 1 디코딩된 재구성된 파티션과 제 2 디코딩된 재구성된 파티션은 결합되어 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 4 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트는 조립되어 제 2 디코딩된 재구성된 비디오 프레임을 생성할 수 있다. 제 2 디코딩된 재구성된 비디오 프레임은 디스플레이 장치를 통해 보여주기 위해 전송될 수 있다. 제 1 비디오 프레임을 제 1 복수의 수퍼-프래그먼트로 분절하는 단계는 제 1 비디오 프레임을 제 3 복수의 타일로 나누는 단계와 제 1 비디오 프레임을 둘 이상의 영역 계층으로 분절하는 단계를 포함하고, 제 1 복수의 수퍼-프래그먼트 중 적어도 하나의 수퍼-프래그먼트는 제 2 복수의 타일의 개개 타일 내에 있는 둘 이상의 영역 계층의 개개 영역 계층을 포함한다.
일부 구현예에서, 제 1 분할 기술은 k-d 트리 분할 기술을 포함하며 제 2 분할 기술은 이진-트리 분할 기술을 포함할 수 있다. 제 2 비디오 프레임에 대하여 선택된 예측 분할 및 연관된 복수의 예측 파티션의 결정은 제 2 비디오를 제 2 분할 기술에 기초하여 복수의 잠재적 예측 분할로 분할하는 단계와, 복수의 잠재적 예측 분할 각각마다 예측을 수행하고 상기 복수의 잠재적 예측 분할 각각마다 잠재적 예측 오차를 결정하는 단계와, 예측 및 잠재적 예측 오차에 기초하여 비트율 왜곡 최적화를 수행하여 상기 선택된 예측 분할 및 연관된 복수의 예측 파티션을 결정하는 단계와, 선택된 예측 분할 및 복수의 예측 파티션과 연관된 예측 분할 지시자 또는 예측 분할 코드워드를 생성하는 단계를 포함할 수 있다. 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션을 분할하는 단계는 이진-트리 분할을 포함할 수 있다. 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션을 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션으로 분할하는 단계는 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션을 복수의 잠재적 코딩 분할로 분할하는 단계와, 복수의 잠재적 코딩 분할 각각의 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환을 수행하고 복수의 잠재적 코딩 분할 각각의 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행하는 단계 - 제 1 코딩 파티션은 소형 크기 내지 중간 크기의 파티션을 포함하고, 제 2 코딩 파티션은 중간 내지 대형 크기의 파티션을 포함하고, 고정 변환은 이산 코사인 변환 또는 이산 코사인 변환 근사기 중 적어도 하나를 포함하고, 콘텐츠 적응적 변환은 하이브리드 파라메트릭 하르 변환을 포함하고, 하이브리드 파라메트릭 하르 변환은 제 1 방향에서 파라메트릭 하르 변환 및 제 2 방향에서 파라메트릭 하르 변환을 포함함 - 및/또는 복수의 잠재적 코딩 분할의 상기 콘텐츠 적응적 변환 및 고정 변환에 기초하여 제 2 비트율 왜곡 최적화를 수행하여 선택된 코딩 분할 및 연관된 복수의 코딩 파티션 및 연관된 선택된 콘텐츠 적응적 및 고정 변환을 결정하는 단계 - 코딩 파티션은 연관된 변환 계수를 가짐 - 를 포함할 수 있다.
일부 구현예에서, 제 1 비디오 프레임은 I-픽처이고 제 2 비디오 프레임은 B/F-픽처 또는 P-픽처 중 적어도 하나이다. 제 1 비디오 프레임이 제 1 타입이고 제 2 비디오 프레임이 제 2 타입인지의 결정은 제 3 비트율 왜곡 최적화를 포함할 수 있다. 모드는 인트라 모드, 인터 모드, 멀티 모드, 스킵 모드, 또는 자동 모드 중 적어도 하나를 포함할 수 있다. 참조 타입은 모핑된 예측 참조 픽처, 합성된 예측 참조 픽처, 제 1 디코딩된 예측 참조 픽처, 또는 제 2 디코딩된 예측 참조 픽처 중 적어도 하나를 포함하고, 제 1 디코딩된 예측 참조 픽처는 과거에 디코딩된 예측 참조 픽처 또는 미래에 디코딩된 예측 참조 픽처를 포함한다. 모드 및 참조 타입의 결정은 제 4 비트율 왜곡 최적화를 포함할 수 있다.
일부 구현예에서, 모핑된 예측 참조 픽처는 이득 수정된 예측 참조 픽처, 블러 수정된 예측 참조 픽처, 우세한 움직임 수정된 예측 참조 픽처, 또는 레지스트레이션 수정된 예측 참조 픽처 중 적어도 하나를 포함할수 있고, 합성된 예측 참조 픽처는 수퍼 해상도 예측 참조 픽처 또는 프로젝션 궤적 예측 참조 픽처 중 적어도 하나를 포함한다. 모핑 특성 파라미터의 생성은 모핑 특성 파라미터를 적어도 부분적으로 제 2 비디오 프레임 및 이전에 디코딩된 예측 참조 픽처에 기초하여 생성하는 단계 또는 모핑 특성 파라미터를 적어도 부분적으로 제 2 비디오 프레임 및 제 3 원 비디오 프레임에 기초하여 생성하는 단계 중 적어도 한 단계를 포함할 수 있고, 움직임 데이터는 움직임 벡터를 포함할 수 있다.
다른 예에서, 비디오 인코더는 이미지 버퍼와, 이미지 버퍼와 통신가능하게 결합된 그래픽 프로세싱 유닛을 포함할 수 있다. 그래픽 프로세싱 유닛은 제 1 타입의 제 1 비디오 프레임 및 제 2 타입의 제 2 비디오 프레임을 제 1 복수의 타일 또는 수퍼-프래그먼트 및 제 2 복수의 타일 또는 수퍼-프래그먼트로 분절하도록 구성돌 수 있다. 그래픽 프로세싱 유닛은 제 1 복수의 타일 또는 수퍼-프래그먼트를 제 1 분할 기술을 이용하여 분할하고 제 2 복수의 타일 또는 수퍼-프래그먼트를 제 2 분할 기술을 이용하여 분할할 수 있고, 제 1 및 제 2 분할 기술은 상이하다. 제 2 비디오 프레임에 대하여 선택된 예측 분할 및 연관된 복수의 예측 분할이 결정될 수 있다. 제 1 재구성된 타일 또는 수퍼-프래그먼트가 생성될 수 있다. 블록해제 필터링 파라미터 및 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트는, 적어도 부분적으로 제 1 재구성된 타일 또는 수퍼-프래그먼트 및 상기 블록해제 필터링 파라미터에 기초하여 생성될 수 있다. 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트는 조립되어 제 1 디코딩된 예측 참조 픽처를 생성할 수 있다. 모핑 특성 파라미터 및 모핑된 예측 참조 픽처는 적어도 부분적으로 모핑 특성 파라미터 및 상기 제 1 디코딩된 참조 픽처에 기초하여 생성될 수 있다. 합성 특성 파라미터 및 합성된 예측 참조 픽처는 적어도 부분적으로 합성 특성 파라미터 및 제 1 디코딩된 참조 픽처 또는 제 2 디코딩된 참조 픽처에 기초하여 생성될 수 있다. 복수의 예측 파티션 각각마다 모드 및 참조 타입이 결정될 수 있다. 복수의 예측 파티션과 연관된 움직임 데이터는 적어도 부분적으로 모핑된 예측 참조 픽처 또는 합성된 예측 참조 픽처 중 하나에 기초하여 생성될 수 있다. 움직임 보상은 움직임 데이터 및 모핑된 예측 참조 픽처 또는 합성된 예측 참조 픽처 중 적어도 하나에 기초하여 수행되어 복수의 예측 파티션에 대해 복수의 예측된 파티션을 생성할 수 있다. 복수의 예측된 파티션의 대응하는 원 픽셀 데이터와의 차가 계산되어 대응하는 복수의 예측 오차 데이터 파티션을 생성할 수 있다. 복수의 예측 오차 데이터 파티션 중 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는지 결정이 이루어질 수 있다. 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는 경우, 예측 오차 데이터 파티션의 서브세트의 개개 예측 오차 데이터 파티션은 선택된 코딩 분할 및 연관된 복수의 코딩 파티션으로 분할될 수 있고, 복수의 코딩 분할 중 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환이 수행되고 하나 이상의 제 2 코딩 파티션에 대해 고정 변환이 수행되어 변환 계수를 생성할 수 있고, 변환 계수가 양자화되어 양자화된 변환 계수를 생성할 수 있다. 제 1 타입 및 제 2 타입과 연관된 프레임 데이터, 모드 및 참조 타입과 연관된 모드 데이터, 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 움직임 데이터, 양자화된 변환 계수, 모핑 특성 파라미터, 합성 특성 파라미터 및 블록해제 필터링 파라미터는 비트스트림으로 엔트로피 인코딩될 수 있다.
또 다른 예에서, 인코딩된 비트스트림을 디코딩하도록 구성된 비디오 디코더를 포함할 수 있다. 비디오 디코더는 인코딩된 비트스트림을 엔트로피 디코딩하여 양자화된 변환 계수, 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터, 코딩 분할 지시자 또는 코딩 분할 코드워드, 블록해제 필터링 파라미터, 모핑 특성 파라미터, 합성 특성 파라미터, 움직임 데이터, 예측 분할 지시자 또는 예측 분할 코드워드를 결정할 수 있다. 적어도 부분적으로 양자화된 변환 계수에 기초하여 역 양자화가 수행되어 디코딩된 변환 계수를 생성할 수 있다. 역변환은 적어도 부분적으로 디코딩된 변환 계수 및 선택된 콘텐츠 적응적 및 고정 변환과 연관된 데이터에 기초하여 수행되어 복수의 디코딩된 코딩 파티션을 생성할 수 있다. 복수의 디코딩된 코딩 파티션은 적어도 부분적으로 코딩 분할 지시자 또는 코딩 분할 코드워드에 기초하여 조립되어 디코딩된 예측 오차 데이터 파티션을 생성할 수 있다. 제 1 디코딩된 타일 또는 수퍼-프래그먼트 중 적어도 하나가 생성될 수 있다. 블록해제 필터링은 적어도 부분적으로 블록해제 필터링 파라미터에 기초하여 제 1 디코딩된 타일 또는 수퍼-프래그먼트에 적용되어 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트가 조립되어 디코딩된 재구성된 비디오 프레임을 생성할 수 있다. 적어도 부분적으로 모핑 특성 파라미터 및 상기 디코딩된 재구성된 비디오 프레임에 기초하여, 모핑된 예측 참조 픽처가 생성될 수 있다. 적어도 부분적으로 합성 특성 파라미터 및 재구성된 비디오 프레임 또는 제 2 재구성된 비디오 프레임 중 적어도 하나에 기초하여, 합성된 예측 참조 픽처가 생성될 수 있다. 적어도 부분적으로 디코더 모핑된 예측 참조 픽처 또는 디코더 합성된 예측 참조 픽처 및 상기 움직임 데이터에 기초하여, 움직임 보상이 수행되어 디코딩된 예측된 파티션을 생성할 수 있다. 디코딩된 예측된 파티션으 디코딩된 예측 오차 데이터 파티션에 가산되어 제 1 디코딩된 재구성된 파티션을 생성할 수 있다. 적어도 부분적으로 예측 분할 지시자 또는 예측 분할 코드워드에 기초하여, 제 1 디코딩된 재구성된 파티션과 제 2 디코딩된 재구성된 파티션을 결합하여 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 4 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트는 조립되어 제 2 디코딩된 재구성된 비디오 프레임을 생성할 수 있다. 제 2 디코딩된 재구성된 비디오 프레임은 디스플레이 장치를 통해 보여주기 위해 전송될 수 있다.
또 다른 예에서, 적어도 하나의 머신 판독가능한 매체는 컴퓨팅 장치에서 실행됨에 따라서, 컴퓨팅 장치로 하여금 상기 예 중 어느 한 예에 따른 방법을 수행하게 하는 복수의 명령어를 포함할 수 있다.
또 다른 예에서, 장치는 상기 예 중 어느 한 예에 따른 방법을 수행하기 위한 수단을 포함할 수 있다.
위의 예들은 특정 특징의 조합을 포함할 수 있다. 그러나, 그러한 위의 예들은 이와 관련하여 한정되지 않고, 다양한 구현예에서, 상술한 예는 그러한 특징의 서브세트만의 수행, 그러한 특징의 상이한 순서의 수행, 그러한 특성의 상이한 조합의 수행 및/또는 명시적으로 나열된 특성들 외의 추가적인 특성의 수행을 포함할 수 있다. 예를 들면, 예시된 방법과 관련하여 설명된 모든 특성은 예시된 장치, 예시된 시스템 및/또는 예시된 물건과 관련되어 구현될 수 있으며, 그 역으로도 구현될 수 있다.

Claims (33)

  1. 비디오 코딩을 위한 컴퓨터-구현 방법으로서,
    제 1 타입의 제 1 비디오 프레임 및 제 2 타입의 제 2 비디오 프레임을 제 1 복수의 타일 또는 수퍼-프래그먼트(super-fragments) 및 제 2 복수의 타일 또는 수퍼-프래그먼트로 분절(segmenting)하는 단계와,
    상기 제 1 복수의 타일 또는 수퍼-프래그먼트를 제 1 분할 기술을 이용하여 분할하고 상기 제 2 복수의 타일 또는 수퍼-프래그먼트를 제 2 분할 기술을 이용하여 분할(partitioning)하는 단계 - 상기 제 1 분할 기술 및 상기 제 2 분할 기술은 상이함 - 와,
    상기 제 2 비디오 프레임에 대하여 선택된 예측 분할 및 연관된 복수의 예측 파티션을 결정하는 단계와,
    제 1 재구성된 타일 또는 수퍼-프래그먼트를 생성하는 단계와,
    블록해제 필터링 파라미터를 생성하고 상기 제 1 재구성된 타일 또는 수퍼-프래그먼트 및 상기 블록해제 필터링 파라미터에 적어도 부분적으로 기초하여 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트를 생성하는 단계와,
    상기 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트를 조립하여 제 1 디코딩된 예측 참조 픽처를 생성하는 단계와,
    모핑 특성 파라미터를 생성하고 상기 모핑 특성 파라미터 및 상기 제 1 디코딩된 참조 픽처에 적어도 부분적으로 기초하여 모핑된 예측 참조 픽처를 생성하는 단계와,
    합성 특성 파라미터를 생성하고 상기 합성 특성 파라미터 및 상기 제 1 디코딩된 참조 픽처 또는 제 2 디코딩된 참조 픽처에 적어도 부분적으로 기초하여 합성된 예측 참조 픽처를 생성하는 단계와,
    상기 복수의 예측 파티션의 각각마다 모드 및 참조 타입을 결정하는 단계와,
    상기 모핑된 예측 참조 픽처 또는 상기 합성된 예측 참조 픽처 중 하나에 적어도 부분적으로 기초하여 상기 복수의 예측 파티션과 연관된 움직임 데이터를 생성하는 단계와,
    상기 모핑된 예측 참조 픽처 또는 상기 합성된 예측 참조 픽처 중 적어도 하나 및 상기 움직임 데이터에 기초하여 움직임 보상을 수행하여 상기 복수의 예측 파티션에 대한 복수의 예측된 파티션을 생성하는 단계와,
    상기 복수의 예측된 파티션과 대응하는 원 픽셀 데이터(corresponding original pixel data)의 차를 계산하여 대응하는 복수의 예측 오차 데이터 파티션을 생성하는 단계와,
    상기 복수의 예측 오차 데이터 파티션 중 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는지 결정하는 단계 -
    상기 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는 경우,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 선택된 코딩 분할 및 연관된 복수의 코딩 파티션으로 분할하는 단계와,
    복수의 코딩 분할의 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환을 수행하고 상기 복수의 코딩 분할의 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행하여 변환 계수를 생성하는 단계와,
    상기 변환 계수를 양자화하여 양자화된 변환 계수를 생성하는 단계를 수행함 - 와,
    제 1 타입 및 제 2 타입과 연관된 프레임 데이터, 상기 모드 및 상기 참조 타입과 연관된 모드 데이터, 상기 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 상기 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 상기 움직임 데이터, 상기 양자화된 변환 계수, 상기 모핑 특성 파라미터, 상기 합성 특성 파라미터 및 상기 블록해제 필터링 파라미터를 비트스트림으로 엔트로피 인코딩하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 제 1 분할 기술은 k-d 트리 분할 기술을 포함하며 상기 제 2 분할 기술은 이진-트리 분할 기술을 포함하는
    방법.
  3. 제 1 항에 있어서,
    상기 제 2 비디오 프레임에 대하여 상기 선택된 예측 분할 및 상기 연관된 복수의 예측 파티션을 결정하는 단계는,
    상기 제 2 비디오 프레임을 상기 제 2 분할 기술에 기초하여 복수의 잠재적 예측 분할로 분할하는 단계와,
    상기 복수의 잠재적 예측 분할의 각각마다 예측을 수행하고 상기 복수의 잠재적 예측 분할의 각각마다 잠재적 예측 오차를 결정하는 단계와,
    상기 예측 및 상기 잠재적 예측 오차에 기초하여 비트율 왜곡 최적화를 수행하여 상기 선택된 예측 분할 및 상기 연관된 복수의 예측 파티션을 결정하는 단계와,
    상기 선택된 예측 분할 및 상기 복수의 예측 파티션과 연관된 상기 예측 분할 지시자 또는 예측 분할 코드워드를 생성하는 단계를 포함하는
    방법.
  4. 제 1 항에 있어서,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 분할하는 단계는 이진-트리 분할을 포함하는
    방법.
  5. 제 1 항에 있어서,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 상기 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션으로 분할하는 단계는,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 복수의 잠재적 코딩 분할로 분할하는 단계와,
    상기 복수의 잠재적 코딩 분할의 각각의 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환을 수행하고 상기 복수의 잠재적 코딩 분할의 각각의 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행하는 단계와,
    상기 복수의 잠재적 코딩 분할의 콘텐츠 적응적 변환 및 고정 변환에 기초하여 비트율 왜곡 최적화를 수행하여, 상기 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션과 연관된 선택된 콘텐츠 적응적 변환 및 고정 변환을 결정하는 단계를 포함하는
    방법.
  6. 제 1 항에 있어서,
    상기 고정 변환은 이산 코사인 변환 또는 이산 코사인 변환 근사기(approximator) 중 적어도 하나를 포함하며, 상기 콘텐츠 적응적 변환은 하이브리드 파라메트릭 하르 변환(a hybrid parametric Haar transform)을 포함하는
    방법.
  7. 제 1 항에 있어서,
    상기 엔트로피 인코딩은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함하고, 상기 예측 분할 지시자 또는 상기 예측 분할 코드워드를 엔트로피 인코딩하는 단계는 상기 모핑 특성 파라미터 또는 상기 합성 특성 파라미터를 엔트로피 인코딩하는 것과 상이한 엔트로피 인코딩 기술을 포함하는
    방법.
  8. 제 1 항에 있어서,
    상기 모핑된 예측 참조 픽처는 이득 수정된 예측 참조 픽처(a gain modified prediction reference picture), 블러 수정된 예측 참조 픽처(a blur modified prediction reference picture), 우세한 움직임 수정된 예측 참조 픽처(a dominant motion prediction reference picture), 또는 레지스트레이션 수정된 예측 참조 픽처(a registration modified prediction reference picture) 중 적어도 하나를 포함하며, 상기 합성된 예측 참조 픽처는 수퍼 해상도 예측 참조 픽처 또는 프로젝션 궤적 예측 참조 픽처 중 적어도 하나를 포함하는
    방법.
  9. 제 1 항에 있어서,
    블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터(deblock filtering or deblock and dither filtering paramters) 및 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터를 생성하고, 상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 상기 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터 그리고 제 2 재구성된 타일 또는 수퍼-프래그먼트에 적어도 부분적으로 기초하여 상기 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트를 생성하는 단계와,
    상기 제 1 디코딩된 예측 참조 픽처를 픽처 버퍼에 저장하는 단계 - 상기 움직임 보상을 수행하는 단계는 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 생성하는 단계와, 상기 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 이용하여 적응적 움직임 또는 적응적 정밀 필터링에 적어도 부분적으로 기초하여 상기 움직임 보상을 수행하는 단계를 포함함 - 와,
    강화된 예측 파라미터를 생성하고 예측된 파티션 및 상기 강화된 예측 파라미터에 기초하여 상기 강화된 예측된 파티션을 생성하는 단계와,
    상기 강화된 예측된 파티션 또는 상기 예측된 파티션을 상기 예측 파티션에 대한 선택된 예측된 파티션으로서 사용할지 여부를 결정하는 단계와,
    상기 선택된 예측된 파티션이 상기 강화된 예측된 파티션을 포함할 때, 상기 강화된 예측 파라미터를 상기 비트스트림으로 엔트로피 인코딩하는 단계와,
    융합 필터링(fusion filtering) 또는 융합 개선 필터링(fusion improvement filtering)을 상기 선택된 예측된 파티션에 적용할지 여부를 결정하는 단계와,
    융합 필터링 또는 융합 개선 필터링이 상기 선택된 예측된 파티션에 적용되는 것일 때,
    상기 선택된 예측된 파티션과 제 2 선택된 예측된 파티션을 조립하여 조립된 픽처의 적어도 일부분을 생성하는 단계와,
    융합 필터링 파라미터 또는 융합 개선 필터링 파라미터를 생성하고, 상기 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터에 적어도 부분적으로 기초하여 상기 조립된 픽처의 상기 일부분을 융합 필터링 또는 융합 개선 필터링하는 단계와,
    상기 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터를 상기 비트스트림으로 엔트로피 인코딩하는 단계를
    더 포함하는
    방법.
  10. 제 1 항에 있어서,
    상기 모핑 특성 파라미터를 생성하는 단계는, 상기 제 2 비디오 프레임 및 이전에 디코딩된 예측 참조 픽처에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하는 단계, 또는 상기 제 2 비디오 프레임 및 제 3 원 비디오 프레임에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하는 단계 중 적어도 하나를 포함하는
    방법.
  11. 제 1 항에 있어서,
    블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터를 생성하고, 상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터 그리고 제 2 재구성된 타일 또는 수퍼-프래그먼트에 적어도 부분적으로 기초하여 상기 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트를 생성하는 단계와,
    상기 제 1 디코딩된 예측 참조 픽처를 픽처 버퍼에 저장하는 단계 - 상기 움직임 보상을 수행하는 단계는, 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 생성하는 단계와, 상기 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 이용하여 적응적 움직임 또는 적응적 정밀 필터링에 적어도 부분적으로 기초하여 상기 움직임 보상을 수행하는 단계를 포함함 - 와,
    강화된 예측 파라미터를 생성하고 예측된 파티션 및 상기 강화된 예측 파라미터에 기초하여 강화된 예측된 파티션을 생성하는 단계와,
    상기 강화된 예측된 파티션 또는 상기 예측된 파티션을 상기 예측 파티션에 대한 선택된 예측된 파티션으로서 사용할지 여부를 결정하는 단계와,
    상기 선택된 예측된 파티션이 상기 강화된 예측된 파티션을 포함할 때, 상기 강화된 예측 파라미터를 상기 비트스트림으로 엔트로피 인코딩하는 단계와,
    융합 필터링 또는 융합 개선 필터링을 상기 선택된 예측된 파티션에 적용할지 여부를 결정하는 단계와,
    융합 필터링 또는 융합 개선 필터링이 상기 선택된 예측된 파티션에 적용되는 것일 때,
    상기 선택된 예측된 파티션과 제 2 선택된 예측된 파티션을 조립하여 조립된 픽처의 적어도 일부분을 생성하는 단계와,
    융합 필터링 파라미터 또는 융합 개선 필터링 파라미터를 생성하고, 상기 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터에 적어도 부분적으로 기초하여 상기 조립된 픽처의 상기 일부분을 융합 필터링 또는 융합 개선 필터링하는 단계와,
    상기 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터를 상기 비트스트림으로 엔트로피 인코딩하는 단계와,
    선택된 콘텐츠 적응적 변환 및 고정 변환과 연관된 데이터, 상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 상기 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터를 상기 비트스트림으로 엔트로피 인코딩하는 단계 - 상기 엔트로피 인코딩은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함하고, 상기 예측 분할 지시자 또는 상기 예측 분할 코드워드를 엔트로피 인코딩하는 단계는 상기 모핑 특성 파라미터 또는 상기 합성 특성 파라미터를 엔트로피 인코딩하는 것과 상이한 엔트로피 인코딩 기술을 포함함 - 와,
    상기 비트스트림을 전송하는 단계와,
    상기 비트스트림을 수신하는 단계와,
    상기 비트스트림을 엔트로피 디코딩하여 상기 제 1 타입 및 상기 제 2 타입과 연관된 프레임 데이터, 상기 모드 및 상기 참조 타입과 연관된 모드 데이터, 상기 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 상기 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 상기 움직임 데이터, 상기 양자화된 변환 계수, 상기 모핑 특성 파라미터, 상기 합성 특성 파라미터, 상기 블록해제 필터링 파라미터, 상기 강화된 예측 파라미터, 상기 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터, 상기 선택된 콘텐츠 적응적 변환 및 고정 변환과 연관된 데이터, 상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 상기 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터를 결정하는 단계 - 상기 엔트로피 디코딩은 상기 적응적 심볼-런 가변 길이 코딩 기술 또는 상기 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함하고, 상기 예측 분할 지시자 또는 상기 예측 분할 코드워드를 엔트로피 디코딩하는 단계는 상기 양자화된 변환 계수를 엔트로피 디코딩하는 것과 상이한 엔트로피 디코딩 기술을 포함함 - 와,
    상기 양자화된 변환 계수에 적어도 부분적으로 기초하여 역양자화를 수행하여 디코딩된 변환 계수를 생성하는 단계와,
    상기 디코딩된 변환 계수 및 상기 선택된 콘텐츠 적응적 변환 및 고정 변환과 연관된 데이터에 적어도 부분적으로 기초하여 역변환을 수행하여 복수의 디코딩된 코딩 파티션을 생성하는 단계 - 상기 역변환은 역 고정 변환, 역 이산 코사인 변환, 역 이산 코사인 변환 근사기, 역 적응적 변환, 또는 역 하이브리드 파라메트릭 하르 변환 중 적어도 하나를 포함함 - 와,
    상기 복수의 디코딩된 코딩 파티션을 조립하여 디코딩된 예측 오차 데이터 파티션을 생성하는 단계와,
    제 1 디코딩된 타일 또는 수퍼-프래그먼트 중 적어도 하나를 생성하는 단계와,
    상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 상기 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터에 적어도 부분적으로 기초하여, 디코더 블록해제 필터링 또는 디코더 블록해제 및 디더 필터링 및 디코더 인-루프 또는 디코더 품질 복원 필터링을 상기 제 1 디코딩된 타일 또는 수퍼-프래그먼트에 적용하여 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성하는 단계와,
    상기 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 조립하여 디코딩된 재구성된 비디오 프레임을 생성하는 단계와,
    상기 디코딩된 재구성된 비디오 프레임을 디코더 픽처 버퍼에 저장하는 단계와,
    상기 모핑 특성 파라미터에 적어도 부분적으로 기초하여 디코더 모핑된 예측 참조 픽처를 생성하는 단계와,
    상기 합성 특성 파라미터에 적어도 부분적으로 기초하여 디코더 합성된 예측 참조 픽처를 생성하는 단계와,
    상기 디코더 모핑된 예측 참조 픽처 또는 상기 디코더 합성된 예측 참조 픽처에 적어도 부분적으로 기초하여 디코더 움직임 보상을 수행하여 디코딩된 예측된 파티션을 생성하는 단계 - 상기 디코더 움직임 보상은 상기 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터에 적어도 부분적으로 기초하는 디코더 적응적 움직임 필터링 또는 디코더 적응적 정밀 필터링을 포함함 - 와,
    상기 강화된 예측 파라미터 및 상기 디코딩된 예측된 파티션에 적어도 부분적으로 기초하여 강화된 디코딩된 예측된 파티션을 생성하는 단계와,
    상기 디코딩된 강화된 예측된 파티션 또는 상기 디코딩된 예측된 파티션을 선택된 디코딩된 예측된 파티션으로서 사용할지 여부를 결정하는 단계와,
    디코더 융합 필터링 또는 디코더 융합 개선 필터링을 상기 선택된 디코딩된 예측된 파티션에 적용할지 여부를 결정하는 단계와,
    디코더 융합 필터링 또는 디코더 융합 개선 필터링이 상기 선택된 디코딩된 예측된 파티션에 적용되는 것일 때,
    상기 선택된 디코딩된 예측된 파티션과 제 2 선택된 디코딩된 예측된 파티션을 조립하여 디코딩된 조립된 픽처의 적어도 일부분을 생성하는 단계와,
    상기 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터에 적어도 부분적으로 기초하여 상기 디코딩된 조립된 픽처의 일부분을 디코더 융합 필터링 또는 디코더 융합 개선 필터링하는 단계와,
    상기 선택된 디코딩된 예측된 파티션을 상기 디코딩된 예측 오차 데이터 파티션에 가산하여 제 1 디코딩된 재구성된 파티션을 생성하는 단계와,
    상기 제 1 디코딩된 재구성된 파티션과 제 2 디코딩된 재구성된 파티션을 결합하여 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성하는 단계와,
    상기 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 4 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 조립하여 제 2 디코딩된 재구성된 비디오 프레임을 생성하는 단계와,
    상기 제 2 디코딩된 재구성된 비디오 프레임을 디스플레이 장치를 통해 보여주기 위해 전송하는 단계를 더 포함하며,
    상기 제 1 비디오 프레임을 상기 제 1 복수의 수퍼-프래그먼트로 분절하는 단계는 상기 제 1 비디오 프레임을 제 3 복수의 타일로 나누는 단계와 상기 제 1 비디오 프레임을 둘 이상의 영역 계층으로 분절하는 단계를 포함하고, 상기 제 1 복수의 수퍼-프래그먼트 중 적어도 하나의 수퍼-프래그먼트는 상기 제 2 복수의 타일의 각 타일 내에 있는 둘 이상의 영역 계층의 각 영역 계층을 포함하고,
    상기 제 1 분할 기술은 k-d 트리 분할 기술을 포함하며 상기 제 2 분할 기술은 이진-트리 분할 기술을 포함하고,
    상기 제 2 비디오 프레임에 대하여 상기 선택된 예측 분할 및 상기 연관된 복수의 예측 파티션을 결정하는 단계는,
    상기 제 2 분할 기술에 기초하여 상기 제 2 비디오 프레임을 복수의 잠재적 예측 분할로 분할하는 단계와,
    상기 복수의 잠재적 예측 분할의 각각마다 예측을 수행하고 상기 복수의 잠재적 예측 분할의 각각마다 잠재적 예측 오차를 결정하는 단계와,
    상기 예측 및 상기 잠재적 예측 오차에 기초하여 비트율 왜곡 최적화를 수행하여 상기 선택된 예측 분할 및 상기 연관된 복수의 예측 파티션을 결정하는 단계와,
    상기 선택된 예측 분할 및 상기 복수의 예측 파티션과 연관된 상기 예측 분할 지시자 또는 예측 분할 코드워드를 생성하는 단계를 포함하고,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 분할하는 단계는 이진-트리 분할을 수행하는 단계를 포함하고,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 상기 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션으로 분할하는 단계는,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 복수의 잠재적 코딩 분할로 분할하는 단계와,
    상기 복수의 잠재적 코딩 분할의 각각의 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환을 수행하고 상기 복수의 잠재적 코딩 분할의 각각의 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행하는 단계 - 상기 제 1 코딩 파티션은 소형 크기 내지 중간 크기의 파티션을 포함하고, 제 2 코딩 파티션은 중간 내지 대형 크기의 파티션을 포함하고, 상기 고정 변환은 이산 코사인 변환 또는 이산 코사인 변환 근사기 중 적어도 하나를 포함하고, 상기 콘텐츠 적응적 변환은 하이브리드 파라메트릭 하르 변환을 포함하고, 상기 하이브리드 파라메트릭 하르 변환은 제 1 방향에서 파라메트릭 하르 변환 및 제 2 방향에서 이산 코사인 변환을 포함함 - 와,
    상기 복수의 잠재적 코딩 분할의 콘텐츠 적응적 변환 및 고정 변환에 기초하여 제 2 비트율 왜곡 최적화를 수행하여 상기 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션 및 연관된 선택된 콘텐츠 적응적 변환 및 고정 변환을 결정하는 단계 - 상기 코딩 파티션은 연관된 변환 계수를 가짐 - 를 포함하고,
    상기 제 1 비디오 프레임은 I-픽처이고 상기 제 2 비디오 프레임은 B/F-픽처 또는 P-픽처 중 적어도 하나이고,
    상기 제 1 비디오 프레임이 제 1 타입이고 상기 제 2 비디오 프레임이 제 2 타입이라고 결정하는 단계는 제 3 비트율 왜곡 최적화를 구현하는 단계를 포함하고,
    상기 모드는 인트라 모드, 인터 모드, 멀티 모드, 스킵 모드, 또는 자동 모드 중 적어도 하나를 포함하고,
    상기 참조 타입은 상기 모핑된 예측 참조 픽처, 상기 합성된 예측 참조 픽처, 상기 제 1 디코딩된 예측 참조 픽처, 또는 상기 제 2 디코딩된 예측 참조 픽처 중 적어도 하나를 포함하고, 상기 제 1 디코딩된 예측 참조 픽처는 과거 디코딩된 예측 참조 픽처(a past decoded prediction reference picture) 또는 미래 디코딩된 예측 참조 픽처(a future decoded prediction reference picture)를 포함하고,
    상기 모드 및 상기 참조 타입을 결정하는 단계는 제 4 비트율 왜곡 최적화를 구현하는 단계를 포함하고,
    상기 모핑된 예측 참조 픽처는 이득 수정된 예측 참조 픽처, 블러 수정된 예측 참조 픽처, 우세한 움직임 수정된 예측 참조 픽처, 또는 레지스트레이션 수정된 예측 참조 픽처 중 적어도 하나를 포함하고, 상기 합성된 예측 참조 픽처는 수퍼 해상도 예측 참조 픽처 또는 프로젝션 궤적 예측 참조 픽처 중 적어도 하나를 포함하고,
    상기 모핑 특성 파라미터를 생성하는 단계는, 상기 제 2 비디오 프레임 및 이전에 디코딩된 예측 참조 픽처에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하는 단계, 또는 상기 제 2 비디오 프레임 및 제 3 원 비디오 프레임에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하는 단계 중 적어도 하나를 포함하고,
    상기 움직임 데이터는 움직임 벡터를 포함하는
    방법.
  12. 이미지 버퍼와,
    상기 이미지 버퍼와 통신가능하게 결합된 그래픽 프로세싱 유닛을 포함하며,
    상기 그래픽 프로세싱 유닛은,
    제 1 타입의 제 1 비디오 프레임 및 제 2 타입의 제 2 비디오 프레임을 제 1 복수의 타일 또는 수퍼-프래그먼트 및 제 2 복수의 타일 또는 수퍼-프래그먼트로 분절하고,
    상기 제 1 복수의 타일 또는 수퍼-프래그먼트를 제 1 분할 기술을 이용하여 분할하고 상기 제 2 복수의 타일 또는 수퍼-프래그먼트를 제 2 분할 기술을 이용하여 분할 - 상기 제 1 분할 기술 및 상기 제 2 분할 기술은 상이함 - 하고,
    상기 제 2 비디오 프레임에 대하여 선택된 예측 분할 및 연관된 복수의 예측 분할을 결정하고,
    제 1 재구성된 타일 또는 수퍼-프래그먼트를 생성하고,
    상기 제 1 재구성된 타일 또는 수퍼-프래그먼트 및 블록해제 필터링 파라미터에 적어도 부분적으로 기초하여 상기 블록해제 필터링 파라미터 및 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트를 생성하고,
    상기 제 1 최종 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트를 조립하여 제 1 디코딩된 예측 참조 픽처를 생성하고,
    모핑 특성 파라미터를 생성하고 상기 모핑 특성 파라미터 및 상기 제 1 디코딩된 참조 픽처에 적어도 부분적으로 기초하여 모핑된 예측 참조 픽처를 생성하고,
    합성 특성 파라미터를 생성하고 상기 합성 특성 파라미터 및 상기 제 1 디코딩된 참조 픽처 또는 제 2 디코딩된 참조 픽처에 적어도 부분적으로 기초하여 합성된 예측 참조 픽처를 생성하고,
    상기 복수의 예측 파티션의 각각마다 모드 및 참조 타입을 결정하고,
    상기 모핑된 예측 참조 픽처 또는 상기 합성된 예측 참조 픽처 중 하나에 적어도 부분적으로 기초하여 상기 복수의 예측 파티션과 연관된 움직임 데이터를 생성하고,
    상기 모핑된 예측 참조 픽처 또는 상기 합성된 예측 참조 픽처 중 적어도 하나 및 상기 움직임 데이터에 기초하여 움직임 보상을 수행하여 상기 복수의 예측 파티션에 대해 복수의 예측된 파티션을 생성하고,
    상기 복수의 예측된 파티션과 대응하는 원 픽셀 데이터의 차를 계산하여 대응하는 복수의 예측 오차 데이터 파티션을 생성하고,
    상기 복수의 예측 오차 데이터 파티션 중 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는지 결정 -
    상기 예측 오차 데이터 파티션의 서브세트가 인코딩되어야 하는 경우,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 선택된 코딩 분할 및 연관된 복수의 코딩 파티션으로 분할하고,
    복수의 코딩 분할의 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환을 수행하고 상기 복수의 코딩 분할의 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행하여 변환 계수를 생성하고,
    상기 변환 계수를 양자화하여 양자화된 변환 계수를 생성함 - 하고,
    제 1 타입 및 제 2 타입과 연관된 프레임 데이터, 상기 모드 및 상기 참조 타입과 연관된 모드 데이터, 상기 선택된 예측 분할과 연관된 예측 분할 지시자 또는 예측 분할 코드워드, 상기 선택된 코딩 분할과 연관된 코딩 분할 지시자 또는 코딩 분할 코드워드, 상기 움직임 데이터, 상기 양자화된 변환 계수, 상기 모핑 특성 파라미터, 상기 합성 특성 파라미터 및 상기 블록해제 필터링 파라미터를 비트스트림으로 엔트로피 인코딩하도록 구성되는
    비디오 인코더.
  13. 제 12 항에 있어서,
    상기 제 1 분할 기술은 k-d 트리 분할 기술을 포함하며 상기 제 2 분할 기술은 이진-트리 분할 기술을 포함하는
    비디오 인코더.
  14. 제 12 항에 있어서,
    상기 제 2 비디오 프레임에 대하여 상기 선택된 예측 분할 및 상기 연관된 복수의 예측 파티션을 결정하는 것은 상기 그래픽 프로세싱 유닛을,
    상기 제 2 비디오 프레임을 상기 제 2 분할 기술에 기초하여 복수의 잠재적 예측 분할로 분할하고,
    상기 복수의 잠재적 예측 분할의 각각마다 예측을 수행하고 상기 복수의 잠재적 예측 분할의 각각마다 잠재적 예측 오차를 결정하고,
    상기 예측 및 상기 잠재적 예측 오차에 기초하여 비트율 왜곡 최적화를 수행하여 상기 선택된 예측 분할 및 상기 연관된 복수의 예측 파티션을 결정하고,
    상기 선택된 예측 분할 및 상기 복수의 예측 파티션과 연관된 상기 예측 분할 지시자 또는 예측 분할 코드워드를 생성하도록 구성하는 것을 포함하는
    비디오 인코더.
  15. 제 12 항에 있어서,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 분할하는 것은 상기 그래픽 프로세싱 유닛을 이진-트리 분할을 수행하도록 구성하는 것을 포함하는
    비디오 인코더.
  16. 제 12 항에 있어서,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 상기 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션으로 분할하는 것은 상기 그래픽 프로세싱 유닛을,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 복수의 잠재적 코딩 분할로 분할하고,
    상기 복수의 잠재적 코딩 분할의 각각의 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환을 수행하고 상기 복수의 잠재적 코딩 분할의 각각의 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행하고,
    상기 복수의 잠재적 코딩 분할의 콘텐츠 적응적 변환 및 고정 변환에 기초하여 비트율 왜곡 최적화를 수행하여, 상기 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션과 연관된 선택된 콘텐츠 적응적 변환 및 고정 변환을 결정하도록 구성하는 것을 포함하는
    비디오 인코더.
  17. 제 12 항에 있어서,
    상기 고정 변환은 이산 코사인 변환 또는 이산 코사인 변환 근사기 중 적어도 하나를 포함하며, 상기 콘텐츠 적응적 변환은 하이브리드 파라메트릭 하르 변환을 포함하는
    비디오 인코더.
  18. 제 12 항에 있어서,
    상기 엔트로피 인코딩하는 것은 상기 그래픽 프로세싱 유닛을, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 구현하도록 구성하는 것을 포함하고, 상기 그래픽 프로세싱 유닛은 상기 모핑 특성 파라미터 또는 상기 합성 특성 파라미터를 엔트로피 인코딩하는데 사용되는 것과 상이한 엔트로피 인코딩 기술을 이용하여 상기 예측 분할 지시자 또는 상기 예측 분할 코드워드를 엔트로피 인코딩하도록 구성되는
    비디오 인코더.
  19. 제 12 항에 있어서,
    상기 모핑된 예측 참조 픽처는 이득 수정된 예측 참조 픽처, 블러 수정된 예측 참조 픽처, 우세한 움직임 수정된 예측 참조 픽처, 또는 레지스트레이션 수정된 예측 참조 픽처 중 적어도 하나를 포함하며, 상기 합성된 예측 참조 픽처는 수퍼 해상도 예측 참조 픽처 또는 프로젝션 궤적 예측 참조 픽처 중 적어도 하나를 포함하는
    비디오 인코더.
  20. 제 12 항에 있어서,
    상기 그래픽 프로세싱 유닛은,
    블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터를 생성하고, 상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터 그리고 제 2 재구성된 타일 또는 수퍼-프래그먼트에 적어도 부분적으로 기초하여 상기 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트를 생성하고,
    상기 제 1 디코딩된 예측 참조 픽처를 픽처 버퍼에 저장 - 상기 움직임 보상을 수행하는 것은 상기 그래픽 프로세싱 유닛을, 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 생성하도록 하고, 상기 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 이용하여 적응적 움직임 또는 적응적 정밀 필터링에 적어도 부분적으로 기초하여 상기 움직임 보상을 수행하도록 구성하는 것을 포함함 - 하고,
    강화된 예측 파라미터를 생성하고 상기 강화된 예측 파라미터 및 예측된 파티션에 기초하여 강화된 예측된 파티션을 생성하고,
    상기 강화된 예측된 파티션 또는 상기 예측된 파티션을 상기 예측 파티션에 대한 선택된 예측된 파티션으로서 사용할지 여부를 결정하고,
    상기 선택된 예측된 파티션이 상기 강화된 예측된 파티션을 포함할 때, 상기 강화된 예측 파라미터를 상기 비트스트림으로 엔트로피 인코딩하고,
    융합 필터링 또는 융합 개선 필터링을 상기 선택된 예측된 파티션에 적용할지 여부를 결정하고,
    융합 필터링 또는 융합 개선 필터링이 상기 선택된 예측된 파티션에 적용되는 것일 때,
    상기 선택된 예측된 파티션과 제 2 선택된 예측된 파티션을 조립하여 조립된 픽처의 적어도 일부분을 생성하고,
    융합 필터링 파라미터 또는 융합 개선 필터링 파라미터를 생성하고, 상기 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터에 적어도 부분적으로 기초하여 상기 조립된 픽처의 상기 일부분을 융합 필터링 또는 융합 개선 필터링하고,
    상기 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터를 상기 비트스트림으로 엔트로피 인코딩하도록 더 구성되는
    비디오 인코더.
  21. 제 12 항에 있어서,
    상기 모핑 특성 파라미터를 생성하는 것은 상기 그래픽 프로세싱 유닛을, 상기 제 2 비디오 프레임 및 이전에 디코딩된 예측 참조 픽처에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하도록 구성하거나 또는 상기 제 2 비디오 프레임 및 제 3 원 비디오 프레임에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하도록 구성하는 것을 포함하는
    비디오 인코더.
  22. 제 12 항에 있어서,
    상기 그래픽 프로세싱 유닛은,
    블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터를 생성하고, 상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터 그리고 제 2 재구성된 타일 또는 수퍼-프래그먼트에 적어도 부분적으로 기초하여 상기 제 2 최종 재구성된 타일 또는 수퍼-프래그먼트를 생성하고,
    상기 제 1 디코딩된 예측 참조 픽처를 픽처 버퍼에 저장 - 상기 움직임 보상을 수행하는 것은 상기 그래픽 프로세싱 유닛을, 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 생성하도록 하고, 상기 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 이용하여 적응적 움직임 또는 적응적 정밀 필터링에 적어도 부분적으로 기초하여 상기 움직임 보상을 수행하도록 구성하는 것을 포함함 - 하고,
    강화된 예측 파라미터를 생성하고 상기 강화된 예측 파라미터 및 예측된 파티션에 기초하여 강화된 예측된 파티션을 생성하고,
    상기 강화된 예측된 파티션 또는 상기 예측된 파티션을 상기 예측 파티션에 대한 선택된 예측된 파티션으로서 사용할지 여부를 결정하고,
    상기 선택된 예측된 파티션이 상기 강화된 예측된 파티션을 포함할 때, 상기 강화된 예측 파라미터를 상기 비트스트림으로 엔트로피 인코딩하고,
    융합 필터링 또는 융합 개선 필터링을 상기 선택된 예측된 파티션에 적용할지 여부를 결정하고,
    융합 필터링 또는 융합 개선 필터링이 상기 선택된 예측된 파티션에 적용되는 것일 때,
    상기 선택된 예측된 파티션과 제 2 선택된 예측된 파티션을 조립하여 조립된 픽처의 적어도 일부분을 생성하고,
    융합 필터링 파라미터 또는 융합 개선 필터링 파라미터를 생성하고, 상기 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터에 적어도 부분적으로 기초하여 상기 조립된 픽처의 상기 일부분을 융합 필터링 또는 융합 개선 필터링하고,
    상기 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터를 상기 비트스트림으로 엔트로피 인코딩하도록 하고,
    선택된 콘텐츠 적응적 변환 및 고정 변환과 연관된 데이터, 상기 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 상기 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터를 상기 비트스트림으로 엔트로피 인코딩 - 상기 엔트로피 인코딩하는 것은 상기 그래픽 프로세싱 유닛을, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 수행하도록 구성하는 것을 포함하고, 상기 예측 분할 지시자 또는 상기 예측 분할 코드워드를 엔트로피 인코딩하는 것은 상기 그래픽 프로세싱 유닛을 상기 모핑 특성 파라미터 또는 상기 합성 특성 파라미터를 엔트로피 인코딩하는데 사용된 것과 상이한 엔트로피 인코딩 기술을 수행하도록 구성하는 것을 포함함 - 하고,
    상기 비트스트림을 전송하도록 더 구성되며,
    상기 제 1 비디오 프레임을 상기 제 1 복수의 수퍼-프래그먼트로 분절하는 것은 상기 그래픽 프로세싱 유닛을, 상기 제 1 비디오 프레임을 제 3 복수의 타일로 나누도록 구성하고 상기 제 1 비디오 프레임을 둘 이상의 영역 계층으로 분절하도록 구성하는 것을 포함하고, 상기 제 1 복수의 수퍼-프래그먼트 중 적어도 하나의 수퍼-프래그먼트는 상기 제 2 복수의 타일의 각 타일 내에 있는 둘 이상의 영역 계층의 각 영역 계층을 포함하고,
    상기 제 1 분할 기술은 k-d 트리 분할 기술을 포함하며 상기 제 2 분할 기술은 이진-트리 분할 기술을 포함하고,
    상기 제 2 비디오 프레임에 대하여 상기 선택된 예측 분할 및 상기 연관된 복수의 예측 파티션을 결정하는 것은 상기 그래픽 프로세싱 유닛을,
    상기 제 2 분할 기술에 기초하여 상기 제 2 비디오 프레임을 복수의 잠재적 예측 분할로 분할하도록 구성하고,
    상기 복수의 잠재적 예측 분할의 각각마다 예측을 수행하고 상기 복수의 잠재적 예측 분할의 각각마다 잠재적 예측 오차를 결정하도록 구성하고,
    상기 예측 및 상기 잠재적 예측 오차에 기초하여 비트율 왜곡 최적화를 수행하여 상기 선택된 예측 분할 및 상기 연관된 복수의 예측 파티션을 결정하도록 구성하고,
    상기 선택된 예측 분할 및 상기 복수의 예측 파티션과 연관된 상기 예측 분할 지시자 또는 예측 분할 코드워드를 생성하도록 구성하는 것을 포함하고,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 분할하는 것은 상기 그래픽 프로세싱 유닛을, 이진-트리 분할을 수행하도록 구성하는 것을 포함하고,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 상기 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션으로 분할하는 것은 상기 그래픽 프로세싱 유닛을,
    상기 예측 오차 데이터 파티션의 서브세트의 각 예측 오차 데이터 파티션을 복수의 잠재적 코딩 분할로 분할하도록 구성하고,
    상기 복수의 잠재적 코딩 분할의 각각의 하나 이상의 제 1 코딩 파티션에 대해 콘텐츠 적응적 변환을 수행하고 상기 복수의 잠재적 코딩 분할의 각각의 하나 이상의 제 2 코딩 파티션에 대해 고정 변환을 수행하도록 구성 - 상기 제 1 코딩 파티션은 소형 크기 내지 중간 크기의 파티션을 포함하고, 제 2 코딩 파티션은 중간 내지 대형 크기의 파티션을 포함하고, 상기 고정 변환은 이산 코사인 변환 또는 이산 코사인 변환 근사기 중 적어도 하나를 포함하고, 상기 콘텐츠 적응적 변환은 하이브리드 파라메트릭 하르 변환을 포함하고, 상기 하이브리드 파라메트릭 하르 변환은 제 1 방향에서 파라메트릭 하르 변환 및 제 2 방향에서 이산 코사인 변환을 포함함 - 하고,
    상기 복수의 잠재적 코딩 분할의 콘텐츠 적응적 변환 및 고정 변환에 기초하여 제 2 비트율 왜곡 최적화를 수행하여 상기 선택된 코딩 분할 및 상기 연관된 복수의 코딩 파티션 및 연관된 선택된 콘텐츠 적응적 변환 및 고정 변환을 결정하도록 구성 - 상기 코딩 파티션은 연관된 변환 계수를 가짐 - 하는 것을 포함하고,
    상기 제 1 비디오 프레임은 I-픽처이고 상기 제 2 비디오 프레임은 B/F-픽처 또는 P-픽처 중 적어도 하나이고,
    상기 제 1 비디오 프레임이 제 1 타입이고 상기 제 2 비디오 프레임이 제 2 타입이라고 결정하는 것은 상기 그래픽 프로세싱 유닛을, 제 3 비트율 왜곡 최적화를 구현하도록 구성하는 것을 포함하고,
    상기 모드는 인트라 모드, 인터 모드, 멀티 모드, 스킵 모드, 또는 자동 모드 중 적어도 하나를 포함하고,
    상기 참조 타입은 상기 모핑된 예측 참조 픽처, 상기 합성된 예측 참조 픽처, 상기 제 1 디코딩된 예측 참조 픽처, 또는 상기 제 2 디코딩된 예측 참조 픽처 중 적어도 하나를 포함하고, 상기 제 1 디코딩된 예측 참조 픽처는 과거 디코딩된 예측 참조 픽처 또는 미래 디코딩된 예측 참조 픽처를 포함하고,
    상기 모드 및 상기 참조 타입을 결정하는 것은 상기 그래픽 프로세싱 유닛을, 제 4 비트율 왜곡 최적화를 구현하도록 구성하는 것을 포함하고,
    상기 모핑된 예측 참조 픽처는 이득 수정된 예측 참조 픽처, 블러 수정된 예측 참조 픽처, 우세한 움직임 수정된 예측 참조 픽처, 또는 레지스트레이션 수정된 예측 참조 픽처 중 적어도 하나를 포함하고, 상기 합성된 예측 참조 픽처는 수퍼 해상도 예측 참조 픽처 또는 프로젝션 궤적 예측 참조 픽처 중 적어도 하나를 포함하고,
    상기 모핑 특성 파라미터를 생성하는 것은 상기 그래픽 프로세싱 유닛을, 상기 제 2 비디오 프레임 및 이전에 디코딩된 예측 참조 픽처에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하도록 구성하거나, 또는 상기 제 2 비디오 프레임 및 제 3 원 비디오 프레임에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하도록 구성하는 것을 포함하고,
    상기 움직임 데이터는 움직임 벡터를 포함하는
    비디오 인코더.
  23. 인코딩된 비트스트림을 디코딩하도록 구성된 비디오 디코더를 포함하며,
    상기 비디오 디코더는,
    상기 인코딩된 비트스트림을 엔트로피 디코딩하여 양자화된 변환 계수, 선택된 콘텐츠 적응적 변환 및 고정 변환과 연관된 데이터, 코딩 분할 지시자 또는 코딩 분할 코드워드, 블록해제 필터링 파라미터, 모핑 특성 파라미터, 합성 특성 파라미터, 움직임 데이터, 예측 분할 지시자 또는 예측 분할 코드워드를 결정하고,
    상기 양자화된 변환 계수에 적어도 부분적으로 기초하여 역 양자화를 수행하여 디코딩된 변환 계수를 생성하고,
    상기 디코딩된 변환 계수 및 상기 선택된 콘텐츠 적응적 변환 및 고정 변환과 연관된 데이터에 적어도 부분적으로 기초하여 역변환을 수행하여 복수의 디코딩된 코딩 파티션을 생성하고,
    상기 코딩 분할 지시자 또는 상기 코딩 분할 코드워드에 적어도 부분적으로 기초하여 상기 복수의 디코딩된 코딩 파티션을 조립하여 디코딩된 예측 오차 데이터 파티션을 생성하고,
    제 1 디코딩된 타일 또는 수퍼-프래그먼트 중 적어도 하나를 생성하고,
    상기 블록해제 필터링 파라미터에 적어도 부분적으로 기초하여 블록해제 필터링을 제 1 디코딩된 타일 또는 수퍼-프래그먼트에 적용하여 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성하고,
    상기 제 1 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 2 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 조립하여 디코딩된 재구성된 비디오 프레임을 생성하고,
    상기 모핑 특성 파라미터 및 상기 디코딩된 재구성된 비디오 프레임에 적어도 부분적으로 기초하여, 모핑된 예측 참조 픽처를 생성하고,
    상기 합성 특성 파라미터 및 상기 재구성된 비디오 프레임 또는 제 2 재구성된 비디오 프레임 중 적어도 하나에 적어도 부분적으로 기초하여, 합성된 예측 참조 픽처를 생성하고,
    디코더 모핑된 예측 참조 픽처 또는 디코더 합성된 예측 참조 픽처 및 상기 움직임 데이터에 적어도 부분적으로 기초하여, 움직임 보상을 수행하여 디코딩된 예측된 파티션을 생성하고,
    상기 디코딩된 예측된 파티션을 상기 디코딩된 예측 오차 데이터 파티션에 가산하여 제 1 디코딩된 재구성된 파티션을 생성하고,
    상기 예측 분할 지시자 또는 상기 예측 분할 코드워드에 적어도 부분적으로 기초하여, 상기 제 1 디코딩된 재구성된 파티션과 제 2 디코딩된 재구성된 파티션을 결합하여 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 생성하고,
    상기 제 3 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트와 제 4 최종 디코딩된 재구성된 타일 또는 수퍼-프래그먼트를 조립하여 제 2 디코딩된 재구성된 비디오 프레임을 생성하고,
    상기 제 2 디코딩된 재구성된 비디오 프레임을 디스플레이 장치를 통해 보여주기 위해 전송하도록 구성되는
    디코더 시스템.
  24. 제 23 항에 있어서,
    상기 비디오 디코더에 통신가능하게 결합되고, 비디오 데이터의 상기 인코딩된 비트스트림을 수신하도록 구성되는 안테나와,
    비디오 프레임을 보여주도록 구성되는 디스플레이 장치를 더 포함하는
    디코더 시스템.
  25. 제 23 항에 있어서,
    상기 엔트로피 디코딩하는 것은 상기 비디오 디코더를, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 구현하도록 구성하는 것을 포함하고, 상기 예측 분할 지시자 또는 상기 예측 분할 코드워드를 엔트로피 디코딩하는 것은 상기 비디오 디코더를, 상기 양자화된 변환 계수를 엔트로피 디코딩하는데 사용되는 것과 상이한 엔트로피 디코딩 기술을 구현하도록 구성하는 것을 포함하는
    디코더 시스템.
  26. 제 23 항에 있어서,
    상기 역변환은 역 고정 변환, 역 이산 코사인 변환, 역 이산 코사인 변환 근사기, 역 적응적 변환, 또는 역 하이브리드 파라메트릭 하르 변환 중 적어도 하나를 포함하는
    디코더 시스템.
  27. 제 23 항에 있어서,
    상기 코딩 분할 지시자 또는 상기 코딩 분할 코드워드는 이진-트리 분할 코딩 분할 지시자 또는 코딩 분할 코드워드를 포함하는
    디코더 시스템.
  28. 제 23 항에 있어서,
    상기 예측 분할 지시자 또는 상기 예측 분할 코드워드는 k-d 트리 분할 또는 이진-트리 분할 예측 분할 지시자 또는 예측 분할 코드워드 중 적어도 하나를 포함하는
    디코더 시스템.
  29. 제 23 항에 있어서,
    상기 비디오 디코더는,
    상기 비트스트림을 엔트로피 디코딩하여 강화된 예측 파라미터, 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터 및 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터를 결정하고,
    상기 강화된 예측 파라미터 및 상기 디코딩된 예측된 파티션에 적어도 부분적으로 기초하여, 강화된 디코딩된 예측된 파티션을 생성하고,
    상기 강화된 디코딩된 예측된 파티션 또는 상기 디코딩된 예측된 파티션을 선택된 디코딩된 예측된 파티션으로서 사용할지 여부를 결정하고,
    디코더 융합 필터링 또는 디코더 융합 개선 필터링을 상기 선택된 디코딩된 예측된 파티션에 적용할지 여부를 결정하고,
    디코더 융합 필터링 또는 디코더 융합 개선 필터링이 상기 선택된 디코딩된 예측된 파티션에 적용되는 것일 때,
    상기 선택된 디코딩된 예측된 파티션과 제 2 선택된 디코딩된 예측된 파티션을 조립하여 디코딩된 조립된 픽처의 적어도 일부분을 생성하고,
    상기 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터에 적어도 부분적으로 기초하여 상기 디코딩된 조립된 픽처의 일부분을 융합 필터링 또는 융합 개선 필터링하도록 더 구성되는
    디코더 시스템.
  30. 제 23 항에 있어서,
    상기 모핑된 예측 참조 픽처는 이득 수정된 예측 참조 픽처, 블러 수정된 예측 참조 픽처, 우세한 움직임 수정된 예측 참조 픽처, 또는 레지스트레이션 수정된 예측 참조 픽처 중 적어도 하나를 포함하고, 상기 합성된 예측 참조 픽처는 수퍼 해상도 예측 참조 픽처 또는 프로젝션 궤적 예측 참조 픽처 중 적어도 하나를 포함하는
    디코더 시스템.
  31. 제 23 항에 있어서,
    상기 비디오 디코더에 통신가능하게 결합되고, 비디오 데이터의 상기 인코딩된 비트스트림을 수신하도록 구성되는 안테나와,
    비디오 프레임을 보여주도록 구성되는 디스플레이 장치를 더 포함하고,
    상기 비디오 디코더는,
    상기 비트스트림을 수신하고,
    상기 비트스트림을 엔트로피 디코딩하여 제 1 타입의 제 1 디코딩된 재구성된 비디오 프레임 및 제 2 타입의 제 2 디코딩된 재구성된 비디오 프레임과 연관된 프레임 데이터, 예측 파티션의 모드 및 참조 타입과 연관된 모드 데이터, 강화된 예측 파라미터, 융합 필터링 파라미터 또는 융합 개선 필터링 파라미터, 블록해제 필터링 파라미터 또는 블록해제 및 디더 필터링 파라미터 및 인-루프 필터링 파라미터 또는 품질 복원 필터링 파라미터를 결정 - 상기 엔트로피 디코딩하는 것은 상기 비디오 디코더를, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 구현하도록 구성하는 것을 포함하고, 상기 예측 분할 지시자 또는 상기 예측 분할 코드워드를 엔트로피 디코딩하는 것은 상기 비디오 디코더를, 상기 양자화된 변환 계수를 엔트로피 디코딩하는데 사용된 것과 상이한 엔트로피 디코딩 기술을 구현하도록 구성하는 것을 포함하고, 상기 움직임 보상을 수행하는 것은 상기 비디오 디코더를, 적응적 움직임 필터링 파라미터 또는 적응적 정밀 필터링 파라미터에 적어도 부분적으로 기초하여 적응적 움직임 필터링 또는 적응적 정밀 필터링을 구현하도록 구성하는 것을 포함함 - 하고,
    상기 강화된 예측 파라미터 및 상기 디코딩된 예측된 파티션에 적어도 부분적으로 기초하여, 강화된 디코딩된 예측된 파티션을 생성하고,
    상기 강화된 디코딩된 예측된 파티션 또는 상기 디코딩된 예측된 파티션을 선택된 디코딩된 예측된 파티션으로서 사용할지 여부를 결정하고,
    디코더 융합 필터링 또는 디코더 융합 개선 필터링을 상기 선택된 디코딩된 예측된 파티션에 적용할지 여부를 결정하고,
    디코더 융합 필터링 또는 디코더 융합 개선 필터링이 상기 선택된 디코딩된 예측된 파티션에 적용되는 것일 때,
    상기 선택된 디코딩된 예측된 파티션과 제 2 선택된 디코딩된 예측된 파티션을 조립하여 디코딩된 조립된 픽처의 적어도 일부분을 생성하고,
    상기 융합 필터링 파라미터 또는 상기 융합 개선 필터링 파라미터에 적어도 부분적으로 기초하여, 상기 디코딩된 조립된 픽처의 일부분을 융합 필터링 또는 융합 개선 필터링하도록
    더 구성되고,
    상기 코딩 분할 지시자 또는 상기 코딩 분할 코드워드는 이진-트리 분할 코딩 분할 지시자 또는 코딩 분할 코드워드를 포함하고,
    상기 예측 분할 지시자 또는 상기 예측 분할 코드워드는 k-d 트리 분할 또는 이진-트리 분할 예측 분할 지시자 또는 예측 분할 코드워드 중 적어도 하나를 포함하고,
    상기 역변환은 역 고정 변환, 역 이산 코사인 변환, 역 이산 코사인 변환 근사기, 역 적응적 변환, 또는 역 하이브리드 파라메트릭 하르 변환 중 적어도 하나를 포함하고,
    상기 모핑된 예측 참조 픽처는 이득 수정된 예측 참조 픽처, 블러 수정된 예측 참조 픽처, 우세한 움직임 수정된 예측 참조 픽처, 또는 레지스트레이션 수정된 예측 참조 픽처 중 적어도 하나를 포함하고, 상기 합성된 예측 참조 픽처는 수퍼 해상도 예측 참조 픽처 또는 프로젝션 궤적 예측 참조 픽처 중 적어도 하나를 포함하고,
    상기 모핑 특성 파라미터를 생성하는 것은 제 2 비디오 프레임 및 이전에 디코딩된 예측 참조 픽처에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하는 것 또는 상기 제 2 비디오 프레임 및 제 3 원 비디오 프레임에 적어도 부분적으로 기초하여 상기 모핑 특성 파라미터를 생성하는 것 중 적어도 하나를 포함하고,
    상기 움직임 데이터는 움직임 벡터를 포함하는
    디코더 시스템.
  32. 적어도 하나의 머신 판독가능한 매체로서,
    컴퓨팅 장치에서 실행되는 것에 응답하여, 상기 컴퓨팅 장치로 하여금 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 수행하게 하는 복수의 명령어를 포함하는
    머신 판독가능한 매체.
  33. 삭제
KR1020157009522A 2012-11-13 2013-11-13 차세대 비디오용 비디오 코덱 아키텍처 KR101677406B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261725576P 2012-11-13 2012-11-13
US61/725,576 2012-11-13
PCT/US2013/069960 WO2014109826A1 (en) 2012-11-13 2013-11-13 Video codec architecture for next generation video

Publications (2)

Publication Number Publication Date
KR20150056610A KR20150056610A (ko) 2015-05-26
KR101677406B1 true KR101677406B1 (ko) 2016-11-29

Family

ID=50883865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157009522A KR101677406B1 (ko) 2012-11-13 2013-11-13 차세대 비디오용 비디오 코덱 아키텍처

Country Status (6)

Country Link
US (1) US9883198B2 (ko)
EP (1) EP2920969A4 (ko)
JP (1) JP6055555B2 (ko)
KR (1) KR101677406B1 (ko)
CN (1) CN104737540B (ko)
WO (2) WO2014109826A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6055555B2 (ja) 2012-11-13 2016-12-27 インテル コーポレイション 次世代ビデオのためのビデオコーデックアーキテクチャ
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
CN104885470B (zh) 2013-01-30 2018-08-07 英特尔公司 用于下一代视频的预测和编码的内容自适应划分
US10057599B2 (en) 2014-02-19 2018-08-21 Mediatek Inc. Method for performing image processing control with aid of predetermined tile packing, associated apparatus and associated non-transitory computer readable medium
JP6419848B2 (ja) * 2014-06-30 2018-11-07 ディッシュ テクノロジーズ エル．エル．シー．ＤＩＳＨ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌ．Ｌ．Ｃ． 帯域幅最適化のための適応的データセグメント配信調停
WO2016068630A1 (ko) * 2014-10-29 2016-05-06 엘지전자(주) 비디오 신호의 인코딩， 디코딩 방법 및 그 장치
JP6496821B2 (ja) 2014-11-14 2019-04-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像のブロックを処理するためのシステムおよび方法
JP6443869B2 (ja) * 2014-11-14 2018-12-26 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像を処理するためのシステムおよび方法
CN107211131B (zh) 2014-11-14 2020-07-21 华为技术有限公司 对数字图像块进行基于掩码的处理的系统和方法
US10764574B2 (en) * 2015-07-01 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
EP3345396A4 (en) * 2015-09-01 2019-03-27 Telefonaktiebolaget LM Ericsson (publ) SPATIAL IMPROVEMENT OF TRANSFORMER BLOCKS
US10602187B2 (en) 2015-11-30 2020-03-24 Intel Corporation Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
US10542267B2 (en) 2016-01-21 2020-01-21 Samsung Display Co., Ltd. Classification preserving image transform compression
ES2739668B1 (es) * 2016-03-28 2021-12-03 Kt Corp Metodo y aparato para procesar senales de video
WO2017171438A1 (ko) * 2016-03-30 2017-10-05 한국전자통신연구원 픽쳐 분할 정보를 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
WO2017183751A1 (ko) * 2016-04-22 2017-10-26 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20190289301A1 (en) * 2016-05-23 2019-09-19 Kaonmedia Co., Ltd. Image processing method, and image encoding and decoding method using same
KR20180040319A (ko) * 2016-10-12 2018-04-20 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
EP3496400A4 (en) 2016-08-03 2020-02-19 KT Corporation VIDEO SIGNAL PROCESSING METHOD AND DEVICE
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US10187178B2 (en) * 2016-10-11 2019-01-22 Microsoft Technology Licensing, Llc Dynamically partitioning media streams
KR20180043151A (ko) 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
KR20180045530A (ko) 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
IT201600122898A1 (it) * 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
WO2018135885A1 (ko) * 2017-01-19 2018-07-26 가온미디어 주식회사 변환 처리를 제공하는 영상 복호화 및 부호화 방법
CN110249628B (zh) * 2017-02-06 2021-08-20 华为技术有限公司 用于预测分区的视频编码器和解码器
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
CN106993189B (zh) * 2017-04-06 2019-10-15 北京工业大学 一种基于优化排序的屏幕内容视频编码方法
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
US20190116359A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Guided filter for video coding and processing
US20190045195A1 (en) * 2018-03-30 2019-02-07 Intel Corporation Reduced Partitioning and Mode Decisions Based on Content Analysis and Learning
KR20210015810A (ko) * 2018-05-29 2021-02-10 인터디지털 브이씨 홀딩스 인코포레이티드 부분적으로 공유된 루마 및 크로마 코딩 트리들을 이용한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
CN108848380B (zh) * 2018-06-20 2021-11-30 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US10740901B2 (en) * 2018-12-17 2020-08-11 Nvidia Corporation Encoder regularization of a segmentation model
CN113597757A (zh) * 2019-01-28 2021-11-02 Op方案有限责任公司 具有区域数自适应的几何划分的形状自适应离散余弦变换
CN113574880B (zh) * 2019-03-13 2023-04-07 北京字节跳动网络技术有限公司 关于子块变换模式的分割
JP7514107B2 (ja) 2020-04-24 2024-07-10 日本放送協会 画像符号化装置、画像復号装置及びこれらのプログラム
CN113727103B (zh) * 2020-05-25 2022-08-12 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、电子设备及存储介质
US11616955B2 (en) * 2020-07-14 2023-03-28 Avago Technologies International Sales Pte. Limited Signaling of rectangular slices in the VVC video compression standard
CN113242188B (zh) * 2021-04-22 2022-06-21 中国电子科技集团公司第二十九研究所 微波信道全交换网络构建方法、控制方法、编译码方法
US12101529B1 (en) * 2021-09-17 2024-09-24 Amazon Technologies, Inc. Client side augmented reality overlay

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009021062A1 (en) 2007-08-07 2009-02-12 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
US20120281928A1 (en) 2011-05-05 2012-11-08 Cohen Robert A Method for Coding Pictures Using Hierarchical Transform Units

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0217777A (ja) * 1988-07-06 1990-01-22 Toshiba Corp 画像伝送方式
US6895051B2 (en) * 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
JP3574043B2 (ja) 2000-05-15 2004-10-06 三井住友建設株式会社 出窓付壁面パネル体
US7609767B2 (en) 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US20050094729A1 (en) * 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
JP2006171569A (ja) 2004-12-17 2006-06-29 Pentax Corp 光学窓及び光学窓を有する光学機器
US20060171569A1 (en) * 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
EP1965589A1 (en) * 2005-11-30 2008-09-03 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
US20100040146A1 (en) * 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
KR20090073112A (ko) 2006-09-22 2009-07-02 톰슨 라이센싱 다중 경로 비디오 코딩 및 디코딩을 위한 방법 및 장치
CN105407355A (zh) * 2006-11-08 2016-03-16 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
EP1926321A1 (en) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
JP2008182562A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP4427600B1 (ja) * 2008-11-28 2010-03-10 株式会社東芝 映像解析装置およびプログラム
JP5304709B2 (ja) 2010-03-31 2013-10-02 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2011223319A (ja) 2010-04-09 2011-11-04 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
EP2947884B1 (en) * 2010-04-13 2019-07-24 GE Video Compression, LLC Video coding using multi-tree sub-divisions of images
CN102595127B (zh) 2011-01-14 2015-11-25 索尼公司 用于hevc的帧内色度模式信令的码字空间缩减
US9232227B2 (en) * 2011-01-14 2016-01-05 Sony Corporation Codeword space reduction for intra chroma mode signaling for HEVC
US9154799B2 (en) * 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US9008180B2 (en) * 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
JP6055555B2 (ja) 2012-11-13 2016-12-27 インテル コーポレイション 次世代ビデオのためのビデオコーデックアーキテクチャ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009021062A1 (en) 2007-08-07 2009-02-12 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
US20120281928A1 (en) 2011-05-05 2012-11-08 Cohen Robert A Method for Coding Pictures Using Hierarchical Transform Units

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Minasyan S et al: "An Image Compression Scheme Based on Parametric Haar-like Transform", IEEE International symposium on circuits and systems, May 23-26, 2005.

Also Published As

Publication number Publication date
CN104737540B (zh) 2018-05-22
JP6055555B2 (ja) 2016-12-27
WO2014088772A1 (en) 2014-06-12
WO2014109826A1 (en) 2014-07-17
KR20150056610A (ko) 2015-05-26
EP2920969A1 (en) 2015-09-23
US20150229948A1 (en) 2015-08-13
JP2016509764A (ja) 2016-03-31
CN104737540A (zh) 2015-06-24
EP2920969A4 (en) 2016-07-13
US9883198B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
KR101677406B1 (ko) 차세대 비디오용 비디오 코덱 아키텍처
KR102063385B1 (ko) 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩
US9819965B2 (en) Content adaptive transform coding for next generation video
KR101789954B1 (ko) 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
GB2494468A (en) Encoding or Decoding Information Representing Prediction Modes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant