KR20150058324A - 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩 - Google Patents

차세대 비디오용 콘텐츠 적응적 엔트로피 코딩 Download PDF

Info

Publication number
KR20150058324A
KR20150058324A KR1020157009528A KR20157009528A KR20150058324A KR 20150058324 A KR20150058324 A KR 20150058324A KR 1020157009528 A KR1020157009528 A KR 1020157009528A KR 20157009528 A KR20157009528 A KR 20157009528A KR 20150058324 A KR20150058324 A KR 20150058324A
Authority
KR
South Korea
Prior art keywords
data
video data
coding
adaptive
variable length
Prior art date
Application number
KR1020157009528A
Other languages
English (en)
Inventor
아툴 푸리
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150058324A publication Critical patent/KR20150058324A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Abstract

콘텐츠 적응적 엔트로피 코딩에 관련된 기술이 설명된다. 비디오 코딩을 위한 방법은 엔트로피 인코딩을 위해 제 1 비디오 데이터 및 제 2 비디오 데이터를 획득하는 단계 - 제 1 비디오 데이터 및 제 2 비디오 데이터는 상이한 데이터 타입을 포함함 - 와, 제 1 비디오 데이터에 대한 제 1 엔트로피 인코딩 기술을 결정하는 단계 - 상기 제 1 엔트로피 인코딩 기술은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함함 - 와, 제 1 인코딩 기술을 이용하여 제 1 비디오 데이터를 엔트로피 인코딩하여 제 1 압축된 비디오 데이터를 생성하고 제 2 인코딩 기술을 이용하여 제 2 비디오 데이터를 엔트로피 인코딩하여 제 2 압축된 비디오 데이터를 생성하는 단계와, 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립하여 출력 비트스트림을 생성하는 단계를 포함한다.

Description

차세대 비디오용 콘텐츠 적응적 엔트로피 코딩{CONTENT ADAPTIVE ENTROPY CODING FOR NEXT GENERATION VIDEO}
본 출원은 2013년 1월 30일에 출원된 "NEXT GENERATION VIDEO CODING"이라는 명칭의 미국 가출원 제61/758,314호의 이득을 주장하며, 이 가출원의 내용은 그 전체가 본 개시에서 참조문헌으로 인용된다.
비디오 인코더는 비디오 정보를 압축하여 더 많은 정보가 주어진 대역폭을 통해 송신될 수 있도록 한다. 압축 신호는 디코더를 갖는 수신기로 전송되어, 디스플레이에 앞서 신호를 디코딩하거나 압축을 분해할 수 있다.
고효율 비디오 코딩(HEVC)은 최근의 비디오 압축 표준이며, ISO/IEC 동이미지 전문가 그룹(Moving Picture Expert Group, MPEG)과 ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group, VCEG)에 의해 형성된 JCT-VC(Joint Collaborative Team on Video Coding)에 의해서 개발되고 있다. HEVC는 진화하는 더 높은 해상도 비디오 애플리케이션을 위한 충분한 압축을 제공하지 못하는 이전의 H.264/AVC(Advanced Video Coding)에 대응하여 개발되고 있다. 이전의 비디오 코딩 표준과 유사하게, HEVC는 인트라/인터 예측(intra/inter prediction), 변환, 양자화, 인-루프 필터링 및 엔트로피 코딩과 같은 기본적인 기능적 모듈을 포함한다.
진행중인 HEVC 표준은 허용된 예측 파티션과 코딩 파티션의 제한된 선택권, 제한적으로 허용되는 복수의 참조와 예측 생성, 제한된 변환 블록 크기 및 실제 변환, 코딩 아트팩트(artfact)를 줄이기 위한 제한된 메커니즘, 그리고 비효율적인 엔트로피 인코딩 기법과 같은 H.264/AVC 표준의 한계를 개선하려고 할 수 있다. 그러나, 진행중인 HEVC 표준은 이러한 문제를 해결하기 위한 반복적인 접근방법을 사용할 수 있다.
예를 들면, 압축될 비디오의 해상도 및 높은 비디오 품질의 기대가 상시 증가함에 따라, H.264와 같은 기존의 비디오 코딩 표준이나 심지어는 H.264/AVC과 같은 진화하는 표준을 이용하여 코딩하는데 필요한 대응하는 비트율/대역폭은 상대적으로 높다. 전술한 표준들은 불충분한 압축/품질 문제에 묵시적으로 대처하는 전통적인 접근 방법의 확장된 형태를 이용한다.
차세대 비디오(Next Generation Video (NGV)) 코덱 프로젝트의 맥락 내에서 전개되는 본 설명은 장치에서 구현하기에 충분히 실용적인 면을 유지하면서 성취 가능한 압축 효율을 극대화하는 진보된 비디오 코덱을 설계하는 일반적인 과제에 대처한다. 예를 들면, 양호한 디스플레이를 이용할 수 있음으로 인해 비디오의 해상도 및 높은 비디오 품질의 기대가 상시 증가함에 따라서, 초기 MPEG 표준과 심지어 조금 더 최근의 H.264/AVC 표준과 같은 기존의 비디오 코딩 표준을 이용하는데 필요한 대응하는 비트율/대역폭은 상대적으로 높다. H.264/AVC은 진화하는 고해상도 비디오 응용에 충분히 높은 압축을 제공하리라 인지되지 않았다.
본 개시에서 기술되는 자료는 예시의 방식으로 도시되고 첨부하는 도면에 한정되는는 방식으로 도시되지 않는다. 도시의 단순함과 명확함을 위하여, 도면에 도시되는 구성요소는 필수적으로 크기 조정되어 도시되지는 않는다. 예를 들면, 어떤 구성요소의 크기는 명확함을 위하여 다른 구성요소와 관련하여 확대될 수 있다. 또한, 적절하다고 여겨지는 곳에서, 대응하거나 유사한 구성요소를 나타내도록 참조 라벨이 도면 간에 반복된다.
도 1은 일 예의 차세대 비디오 인코더의 예시적인 다이어그램이다.
도 2는 일 예의 차세대 비디오 디코더의 예시적인 다이어그램이다.
도 3(a)는 일 예의 차세대 비디오 인코더 및 서브시스템의 예시적인 다이어그램이다.
도 3(b)는 일 예의 차세대 비디오 디코더 및 서브시스템의 예시적인 다이어그램이다.
도 4는 일 예의 엔트로피 인코더 모듈의 예시적인 다이어그램이다.
도 5는 일 예의 엔트로피 디코더 모듈의 예시적인 다이어그램이다.
도 6은 일 예의 엔트로피 인코더 모듈의 예시적인 다이어그램이다.
도 7은 일 예의 엔트로피 디코더 모듈의 예시적인 다이어그램이다.
도 8은 일 예의 프로세스를 도시하는 흐름도이다.
도 9는 일 예의 비트스트림을 도시한다.
도 10은 일 예의 프로세스를 도시하는 흐름도이다.
도 11은 일 예의 비디오 코딩 시스템 및 동작 시 비디오 코딩 프로세스의 예시적인 다이어그램이다.
도 11은 일 예의 비디오 코딩 시스템의 예시적인 다이어그램이다.
도 12는 일 예의 인코딩 프로세스를 도시하는 흐름도이다.
도 13은 일 예의 비트스트림을 도시하는 도면이다.
도 14는 일 예의 디코딩 프로세스를 도시하는 흐름도이다.
도 15(a), 도 15(b) 및 도 15(c)는 일 예의 비디오 코딩 시스템 및 동작 시 비디오 코딩 프로세스의 예시적인 다이어그램이다.
도 16은 일 예의 비디오 코딩 시스템의 예시적인 다이어그램이다.
도 17은 일 예의 시스템의 예시적인 다이어그램이다.
도 18은 본 개시의 적어도 일 구현예에 따라서 전체적으로 구성된, 일 예의 장치를 도시한다.
하나 이상의 실시예 또는 구현예가 첨부되는 도면을 참조하여 지금 설명된다. 특정 구성과 배열이 논의되지만, 이는 오직 설명의 목적이라는 것이 이해되어야 한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 다른 구성과 배열이 본 상세한 설명의 정신과 영역으로부터 벗어나지 않고 채택될 수 있다는 것을 이해할 것이다. 본 개시에서 기술되는 기법 및/또는 구성은 또한 본 개시에서 설명되는 것 이외의 다양한 다른 시스템과 응용에 채택될 수 있다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다.
다음의 상세한 설명은, 예를 들면, 시스템온칩(SoC) 아키텍처와 같은 아키텍처에 나타날 수 있는 다양한 구현을 제시하지만, 그러나 본 개시에서 설명되는 기법 및/또는 배열의 구현은 특정 아키텍처 및/또는 컴퓨팅 시스템에 한정되지 않으며, 또한 유사한 목적으로 어떠한 아키텍처 및/또는 컴퓨팅 시스템에 의해서도 구현될 수 있다. 즉, 예를 들면, 복수의 집적회로(IC) 칩 및/또는 패키지, 및/또는 다양한 컴퓨팅 장치 및/또는 세톱 박스, 스마트폰 등과 같은 소비자 전자(CE) 장치를 사용하는 다양한 아키텍처는 본 개시에서 기술되는 기법 및/또는 배열을 구현할 수 있다. 또한, 다음의 설명은 로직 구현, 시스템 컴포넌트의 타입과 상호관계, 로직 분할/통합 선택권 등과 같은 많은 특정 세부사항을 제시하는 한편, 청구되는 주요 재료는 이러한 특정 세부사항 없이 실현될 수 있다. 다른 예로서, 예를 들면, 제어 구조 및 완전 소프트웨어 명령 시퀀스와 같은 어떤 재료는 여기 개시되는 재료를 모호하게 하지 않기 위하여 상세하게 보이지 않을 수 있다.
본 개시에서 설명되는 재료는 하드웨어, 펌웨어, 소프트웨어, 또는 그들의 어떤 조합에 의하여 구현될 수 있다. 여기 개시되는 재료는 또한, 하나 이상의 프로세서에 의해서 읽혀지고 실행되는, 머신-판독 가능한 매체에 저장되는 명령으로서 구현될 수 있다. 머신-판독 가능한 매체는 머신(예를 들면, 컴퓨팅 장치)에 의해 판독가능한 형식으로 정보를 저장하거나 전송하는 어떤 매체 및/또는 메카니즘을 포함할 수 있다. 예를 들면, 머신-판독가능한 매체는 읽기 전용 메모리(ROM), 랜덤 접근 메모리(RAM), 마그네틱 디스크 저장 미디어, 광 저장 매체, 플래시 메모리 장치, 전자, 광, 음향 또는 그 밖의 형식의 전파되는 신호(반송파, 적외선 신호, 디지털 신호 등) 등을 포함할 수 있다.
"하나의 구현예", "일 구현예", "일 예의 구현예" 등에 대한 명세서 내의 참조는 기술되는 구현이 특정 특징, 구조, 또는 특성을 포함하지만, 그러나 모든 실시예가 반드시 상기 특정 특징, 구조, 또는 특성을 포함할 필요는 없다는 것을 지시한다. 더욱이, 그러한 구문은 반드시 동일한 구현예를 참조하지는 않는다. 또한, 특정 특징, 구조, 또는 특성이 일 실시예와 연관되어 설명될 때, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자의 지식 내에서, 본 개시에서 명시적으로 기술되던 아니던 간에 다른 구현예와 연관된 그러한 특징, 구조 또는 특성을 발휘하도록 제시된다.
시스템, 장치, 물품 및 방법은 비디오 시스템을 위한 콘텐츠 적응적 엔트로피 코딩과 관련하여 아래에서 기술된다.
차세대 비디오(NGV) 시스템, 장치, 물품, 및 방법이 아래에서 기술된다. NGV 비디오 코딩은 압축을 더 높이기 위한 비디오 코딩 프로세스에서 중요한 콘텐츠 기반 적응성을 포함할 수 있다. 앞에서 논의된 것처럼, H.264/AVC 표준에는 각종 제한사항이 있으며 예를 들면, HEVC 표준과 같은 표준을 개선하려는 계속적인 시도는 그러한 제한 사항에 대처하는 반복적인 접근 방법을 사용할 수 있다. 여기서, 인코더 및 디코더를 포함하는 NGV 시스템이 설명될 것이다.
예를 들면, H.264 표준은 엔트로피 코딩의 두 가지 모드를 지원할 수 있다. 제 1 모드, 적응적 (가변 길이 코드)에서, 변환 계수는 콘텍스트 적응적 VLC (CAVLC)를 이용하여 코딩될 수 있으며 다른 모든 신택스 요소(예를 들어, 오버헤드 데이터, 모드, 움직임 벡터 등)는 지수 골룸(Exponential Golomb) 코딩을 이용하여 코딩될 수 있다. CAVLC 코딩된 데이터 및 지수 골룸 코딩된 데이터는 인코딩된 비트스트림을 생성하도록 다중화될 수 있다. 제 2 모드에서, 모든 데이터는 컨텍스트 적응적 이진 코딩(Context Adaptive Binary Arithmetic Coding (CABAC))을 이용하여 인코딩될 수 있다. 대응하는 디코더는 또한 두 가지 모드에서 동작할 수 있는데, 제 1 모드에서는 다중화된 비트스트림을 분해 및 디코딩하며 제 2 모드에서는 CABAC 인코딩된 비트스트림을 디코딩한다. 그러한 기술은 제한사항을 가질 수 있다. 예를 들어, CABAC 코딩은 효과적이지만 복잡해서 고해상도 콘텍스트의 출력이 제한될 수 있다. 또한, 코딩을 위하여 데이터 타입을 함께 그룹화함으로써, 엔트로피 코딩의 효율 및 복잡성이 최적화되지 않을 수 있다.
일부 비디오 코덱 구현예에서, 오버헤드 데이터, 모드, 움직임 벡터, 및/또는 변환 계수와 같은 각종 데이터를 엔트로피 코딩 및 디코딩하는 것은 코딩 효율 및 시스템의 복잡성에 상당히 기여할 수 있다. 일부 예에서, 본 개시에서 논의된 기술은 코딩 효율 및 시스템 복잡성 사이에서 균형을 잡아줄 수 있다.
일부 예에서, 제 1 비디오 데이터 및 제 2 비디오 데이터는 엔트로피 인코더 모듈에서 엔트로피 인코딩을 위하여 수신될 수 있다. 제 1 비디오 데이터 및 제 2 비디오 데이터는 여러 데이터 타입(예를 들면, 본 개시에서 더 논의되듯이, 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 또는 움직임 벡터 또는 인트라-예측 파티션 데이터 등)이 될 수 있다. 제 1 엔트로피 인코딩 기술은 예를 들어, 제 1 비디오 데이터의 압축된 비트 수, 제 1 비디오 데이터와 연관된 사전결정된 지시자 또는 플래그, 사전결정된 임계값, 또는 경험적으로 결정된 임계값 등과 같은 제 1 비디오 데이터와 연관된 파라미터에 기초하여 제 1 비디오 데이터를 위하여 결정될 수 있다. 일부 예에서, 제 1 엔트로피 인코딩 기술은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나로부터 선택될 수 있다. 제 1 비디오 데이터는 제 1 엔트로피 인코딩 기술을 이용하여 엔트로피 인코딩될 수 있고 제 2 비디오 데이터는 제 1 엔트로피 인코딩 기술을 이용하여 엔트로피 인코딩 될 수 있다. 일부 예에서, 제 2 엔트로피 인코딩 기술은 제 1 비디오 데이터에 대하여 논의된 것처럼 하나의 파라미터에 기초하여 제 2 비디오 데이터에 대하여 결정될 수 있다. 일부 예에서, 제 2 엔트로피 인코딩 기술은 본 개시에서 논의된 것처럼 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩 기술, 적응적 2-차원 가변 길이 코딩 기술, 또는 다른 기술들을 포함하는 선택 사안으로부터 결정될 수 있다. 일부 예에서, 제 2 엔트로피 인코딩 기술은 제 2 비디오 데이터의 데이터 타입에 대하여 사전결정될 수 있다. 제 1 비디오 데이터 및 제 2 비디오 데이터를 엔트로피 인코딩하면 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 생성할 수 있다. 제 1 및 제 2 압축된 비디오 데이터는 조립되어 출력 비트스트림을 생성할 수 있다.
출력 비트스트림은 인코더로부터 디코더로 전송될 수 있으며, 디코더는 비트스트림을 분해하여 제 1 및 제 2 압축된 비디오 데이터를 결정할 수 있다. 압축된 비디오 데이터는 엔트로피 디코딩되어 디코딩된 비디오 데이터를 생성할 수 있고, 이 데이터는 추가로 디코딩되어 비디오 프레임을 생성할 수 있다. 비디오 프레임은 사용자에게 보여주기 위해 디스플레이 장치로 전송될 수 있다.
일부 예에서, 부가적인 비디오 데이터 타입은 엔트로피 인코더 모듈에서 엔트로피 인코딩하기 위해 수신될 수 있다. 예를 들어, 제 3, 제 4, 제 5, 제 6, 제 7 또는 더 많은 비디오 데이터가 엔트로피 인코딩되어 연관된 압축된 비디오 데이터를 생성할 수 있고, 이 데이터는 출력 비트스트림으로 조립되고, 전송되고, 계속해서 디코더에서 엔트로피 디코딩된다. 각종 데이터 타입 및 인코딩/디코딩 기술 옵션 및 구현예는 본 개시에서 더 논의된다.
본 개시에서 사용될 때, 용어 "코더"는 인코더 및/또는 디코더를 지칭할 수 있다. 유사하게 본 개시에서 사용될 때, 용어 "코딩"은 인코더를 통해 비디오 인코딩을 수행하고 및/또는 디코더를 통해 비디오 디코딩을 수행하는 것을 지칭할 수 있다. 예를 들면, 비디오 인코더와 비디오 디코더는 둘 다 비디오 데이터를 코딩할 수 있는 코더의 예일 수 있다. 또한, 본 개시에서 사용될 때, 용어 "코덱"은 프로세스, 프로그램 또는 연산 집합을 참조할 수 있으며, 예를 들면, 인코더 및 디코더를 구현할 수 있는 소프트웨어, 펌웨어, 및/또는 하드웨어의 임의의 조합일 수 있다. 또한, 여기서 사용될 때, 어구 "비디오 데이터"는, 예를 들면, 비디오 프레임, 이미지 데이터, 인코딩된 비트스트림 데이터 등과 같은 비디오 코딩과 연관된 여느 타입의 데이터를 지칭할 수 있다.
도 1은 본 개시의 적어도 일부 구현예에 따라 구성되는 일 예의 차세대 비디오 인코더(100)를 도시하는 도면이다. 도시된 것처럼, 인코더(100)는 입력 비디오(101)를 수신할 수 있다. 입력 비디오(101)는, 예를 들면, 비디오 시퀀스의 입력 프레임과 같은 인코딩을 위한 어느 적합한 입력 비디오를 포함할 수 있다. 도시된 것처럼, 입력 비디오(101)는 콘텐츠 선-분석기 모듈(102)을 통해 수신될 수 있다. 콘텐츠 선-분석기 모듈(102)은 입력 비디오(101)의 비디오 프레임의 콘텐츠의 분석을 수행하여 비디오 코딩 효율과 속도 성능을 개선하기 위한 다양한 파라미터 타입을 결정하도록 구성될 수 있다.예를 들면, 콘텐츠 선-분석기 모듈(102)은 수평 및 수직 그레디언트 정보(예를 들면, Rs, Cs), 분산(variance), 픽처당 공간 복잡도, 픽처당 시간적 복잡도(temporal complexity), 장면 변화 탐지, 움직임 범위 추정, 이득 탐지, 예측 거리 추정, 객체 추정의 수, 영역 경계 탐지, 공간 복잡도 맵 계산, 포커스 추정, 필름 그레인(grain) 추정 등을 결정할 수 있다. 콘텐츠 선-분석기 모듈(102)에 의해 생성된 파라미터는 인코더(100)(예를 들면, 인코딩 제어기(103)를 통해)에 의해 사용되고 및/또는 양자화되어 디코더로 전달된다. 도시된 것처럼, 비디오 프레임 및/또는 다른 데이터는 콘텐츠 선-분석기 모듈(102)로부터 적응적 픽처 구성기 모듈(104)로 전송되어, 각 비디오 프레임의 픽처 타입(예를 들면, I-, P-, 또는 F/B-픽처)을 결정하고, 그리고 필요에 따라서 비디오 프레임을 재정렬할 수 있다. 일부 예에서, 적응적 픽처 구성기 모듈(104)은 프레임 부분을 생성하도록 구성되는 프레임 부분 생성기를 포함할 수 있다. 일부 예에서, 콘텐츠 선-분석기 모듈(102) 및 적응적 픽처 구성기 모듈(104)은 함께 인코더(100)의 선-분석기 서브시스템으로 여겨질 수 있다.
도시된 것처럼, 비디오 프레임 및/또는 다른 데이터는 적응적 픽처 구성기 모듈(104)에서 예측 파티션 생성기 모듈(105)로 전송될 수 있다. 일부 예에서, 예측 파티션 생성기 모듈(105)은 프레임 또는 픽처를 타일이나 수퍼-프래그먼트 등으로 분할할 수 있다. 일부 예에서, (예를 들면, 모듈들(104, 105) 간의) 추가적인 모듈이 프레임이나 픽처를 타일이나 수퍼-프래그먼트로 분할하도록 제공될 수 있다. 예측 파티션 생성기 모듈(105)은 각각 타일이나 수퍼-프래그먼트를 잠재적인 예측 분할(partitionings)이나 파티션들로 나눌 수 있다. 일부 예에서, 잠재적인 예측 분할은, 예를 들면, k-d 트리 분할 기법, 이진-트리 분할 기법 등과 같은 분할 기법을 사용하여 결정되고, 이는 각 비디오 프레임의 픽처 타입(예를 들면, I-, P-, 또는 F/B-픽처), 분할되는 프레임 부분의 특성 등에 기초하여 결정될 수 있다. 일부 예에서, 결정된 잠재적 예측 분할은 예측용(예를 들면, 인터- 또는 인트라-예측) 파티션일 수 있고, 또한 예측 파티션이나 예측 블록 등으로서 기술될 수 있다.
일부 예에서, 선택된 예측 분할(예를 들면, 예측 파티션들)은 잠재적 예측 분할들로부터 결정될 수 있다. 예를 들면, 선택된 예측 분할은, 각 잠재적 예측 분할에 대하여, 다중-참조 예측이나 인트라-예측에 기초하여 특성 및 움직임을 사용하는 예측을 결정하고, 그리고 예측 파라미터를 결정하는 것에 기반할 수 있다. 각 잠재적 예측 분할에 대하여, 잠재적 예측 오차는 최초의 픽셀을 예측 픽셀과 구별함으로써 결정될 수 있고, 그리고 선택된 예측 분할은 최소 예측 오차를 갖는 잠재적 예측 분할일 수 있다. 다른 예에서, 선택된 예측 분할은 예측 분할과 연관된 분할 및 예측 오차를 코딩하는 비트의 수에 기초하는 가중 스코어링(a weighted scoring)를 포함하는 비트율 왜곡 최적화에 기반하여 결정될 수 있다.
도시된 것처럼, 선택된 예측 분할(예를 들면, 현재 프레임의 예측 분할)의 최초의 픽셀은 차분기(differencer)(106)에서 예측 파티션(예를 들면, 참조 프레임 또는 프레임들에 기초하는 현재 프레임의 예측 파티션의 예측 및 인터- 또는 인트라-예측 데이터와 같은 다른 예측 데이터)과 차가 계산될 수 있다. 예측 파티션의 결정은 이하 좀 더 상세하게 설명되며 또한 도 1에 도시된 것처럼 디코딩 루프를 포함할 수 있다. 구별 단계로부터의 잔차 또는 잔차 데이터(예를 들면, 파티션 예측 오차 데이터)는 코딩 파티션 생성기 모듈(107)로 전송될 수 있다. 일부 예에서, 어떤 픽처타입(I-, F/B- 또는 P-픽처)의 예측 파티션의 인트라-예측에 대해서와 같이, 코딩 파티션 생성기 모듈(107)은 스위치(107a, 107b)를 통해 바이패스(bypass)될 수 있다. 이러한 예에서, 단지 싱글 레벨의 분할만이 수행될 수 있다. 이러한 분할은 (논의된 것처럼) 예측 분할 또는 코딩 분할 또는 모두로서 설명될 수 있다. 다양한 예에서, 이러한 분할은 (논의된 것처럼) 코딩 파티션 생성기 모듈(105)을 통해서 수행될 수 있고, 또는 여기에 좀더 논의되는 것처럼, 이러한 분할은 코딩 파티션 생성기 모듈(107)을 통해서 구현된 k-d 트리 인트라-예측/코딩 분할기 모듈이나 이진-트리 인트라-예측/코딩 분할기 모듈을 통해 수행될 수 있다.
일부 예에서, 분할 예측 오차 데이터는 인코딩의 근거가 될 만큼 충분히 중요하지 않을 수 있다. 다른 예에서, 파티션 예측 오차 데이터를 인코딩하는 것이 바람직하며 및 파티션 예측 오차 데이터가 인터-예측 등과 연관될 때, 코딩 파티션 생성기 모듈(107)은 예측 파티션의 코딩 파티션을 결정할 수 있다. 일부 예에서, 코딩 파티션 생성기 모듈(107)은, 파티션이 (예를 들면, 도시된 것처럼, 스위치(107a, 107b)를 통해 이용 가능한 바이패스 경로를 통해) 코딩 분할 없이 인코딩될 때, 필요치 않을 수 있다. 코딩 분할에 의해 또는 코딩 분할 없이, (어느 이벤트에서도 코딩 파티션으로 연속적으로 설명될 수 있는) 파티션 예측 오차 데이터는, 잔차 또는 잔차 데이터가 인코딩을 요구하는, 이벤트 내의 적응적 변환 모듈(108)로 전송될 수 있다. 일부 예에서, 예측 파티션 생성기 모듈(105) 및 코딩 파티션 생성기 모듈(107)은 함께 인코더(100)의 분할기 서브시스템으로 여겨질 수 있다. 다양한 예에서, 코딩 파티션 생성기 모듈(107)은 파티션 예측 오차 데이터, 원 픽셀 데이터, 잔차 데이터 또는 웨이블릿 데이터에 대해 동작할 수 있다.
코딩 파티션 생성기 모듈(107)은, 예를 들면, 이진-트리 및/또는 k-d 트리 분할 기법 등을 사용하는 파티션 예측 오차 데이터의 잠재적 코딩 분할(예를 들면, 코딩 파티션)을 생성할 수 있다. 일부 예에서, 잠재적 코딩 파티션은 적응적 변환 모듈(108)을 통해 다양한 블록 사이즈로 적응적 또는 고정 변환을 사용하여 변환될 수 있으며 또한 선택된 코딩 분할 및 선택된 변환(예를 들면, 적응적 또는 고정)은 비트율 왜곡 최적화 또는 다른 기준에 기초하여 결정될 수 있다. 일부 예에서, 선택된 코딩 분할 및/또는 선택된 변환(들)은 코딩 파티션 크기나 그 유사한 것을 기반으로 하는 미리 결정된 선택 방법에 기초하여 결정될 수 있다.
예를 들면, 적응적 변환 모듈(108)은 작은 크기 내지 중간 크기의 블록의 국지적인 최적 변환 코딩을 허용하는 파라메트릭 변환을 수행하기 위한 제 1 부분 또는 컴포넌트를 포함하고, 또한 고정 변환을 사용하여 전역적으로 안정되고, 낮은 오버헤드 변환 코딩을 수행하기 위한 제 2 부분이나 컴포넌트를 포함하는데, 예를 들면, 이산 코사인 변환(DCT)이나, 파라메트릭 변환을 포함하는, 다양한 변환으로부터 픽처 기반의 변환이 사용되며, 또는 그 밖의 다른 구성이 이하 좀더 논의된다. 일부 예에서, 국지적 최적 변환 코딩에 대하여, 파라메트릭 하르 변환(parametric Haar Transform, PHT)이 수행될 수 있으며, 이하 좀더 상세하게 논의된다. 일부 예에서는, 변환은 약 4x4 픽셀과 64x64 픽셀 간의 2D 블록의 장방형 크기에 대하여 수행될 수 있으며, 실제 크기는 변환된 데이터가 휘도(luma)나 채도(chroma)인지 또는 인터나 인트라인지 여부, 또는 만일 결정되어 사용된 변환이 PHT나 DCT 등인지 여부와 같은 많은 요인에 따라 다르다.
도시된 것처럼, 결과 변환 계수는 적응적 양자화 모듈(109)로 전송될 수 있다. 적응적 양자화 모듈(109)은 결과 변환 계수를 양자화할 수 있다. 또한, 필요에 따라서, 파라메트릭 변환과 연관된 어떤 데이터는 (만일 양자화가 바람직하다면) 적응적 양자화 모듈(109)이나 적응적 엔트로피 인코더 모듈(110)로 전송된다. 도 1에 도시된 것처럼, 양자화 계수는 스캐닝되어 엔트로피 인코더 모듈(110)로 전송된다. 엔트로피 인코더 모듈(110)은 양자화 계수를 엔트로피 인코딩하고 이들을 출력 비트스트림(111)에 포함할 수 있다. 일부 예에서, 적응적 변환 모듈(108)과 적응적 양자화 모듈(109)은 함께 인코더(100)의 변환 인코더 서브시스템으로 간주 될 수 있다.
도 1에 도시된 것처럼, 인코더(100)는 로컬 디코딩 루프를 포함한다. 로컬 디코딩 루프는 적응적 역양자화 모듈(112)에서 시작할 수 있다. 적응적 역양자화 모듈(112)은 적응적 양자화 모듈(109)의 반대 연산(들)을 수행하도록 구성됨으로써 인버스(inverse) 스캔이 수행되고 양자화 계수가 디-스케일(de-scale)되어 변환 계수를 결정하도록 할 수 있다. 그러한 적응적 양자화 연산은, 예를 들면, 손실이 생길 수 있다. 도시된 것처럼, 변환 계수는 적응적 역변환 모듈(113)로 전송될 수 있다. 적응적 역변환 모듈(113)은, 예를 들면, 적응적 변환 모듈(108)에 의해 수행되는 것 같은 역변환을 수행하여, 잔차나 잔차 데이터 또는 코딩 파티션과 연관되는 파티션 예측 오차 데이터(또는, 논의된 것 같은, 최초의 데이터 또는 웨이블릿 데이터)를 생성할 수 있다. 일부 예에서, 적응적 역양자화 모듈(112)과 적응적 역변환 모듈(113)은 함께 인코더(100)의 변환 디코더 서브시스템으로 간주될 수 있다.
도시된 것처럼, 파티션 예측 오차 데이터(또는 그 유사한 것)는 선택적 코딩 파티션 조립기(114)로 전송될 수 있다. 코딩 파티션 조립기(114)는 코딩 파티션을 필요에 따라서 디코딩 예측 파티션으로 조립하여(도시된 것처럼, 일부 예에서, 코딩 파티션 조립기(114)는 스위치(114a, 114b)를 통해 걸러짐(skipped)으로써 디코딩 예측 파티션이 적응적 역변환 모듈(113)에서 생성될 수 있다), 예측 오차 데이터의 예측 파티션 또는 디코딩 잔차 예측 파티션 등을 생성할 수 있다.
도시된 것처럼, 디코딩 잔차 예측 파티션은 가산기(115)에서 예측 파티션(예를 들면, 예측 픽셀 데이터)에 추가되어 재구성된 예측 파티션을 생성할 수 있다. 재구성된 예측 파티션은 예측 파티션 조립기(116)로 전송될 수 있다. 예측 파티션 조립기(116)는 재구성된 예측 파티션을 조립하여 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 일부 예에서, 코딩 파티션 조립기(114)와 예측 파티션 조립기(116)는 함께 인코더(100)의 분할기 서브시스템으로 간주 될 수 있다.
재구성된 타일 또는 수퍼-프래그먼트는 블록잡음(blockiness) 분석기 및 블록분리(deblock) 필터링 모듈(117)로 전송될 수 있다. 블록잡음 분석기 및 블록분리 필터링 모듈(117)은 재구성된 타일 또는 수퍼-프래그먼트(또는 타일이나 수퍼-프래그먼트의 예측 파티션)을 블록분리하고 디더링(dither)할 수 있다. 생성된 블록분리 및 디더링 필터 파라미터는 현재의 필터 동작을 위하여 사용될 수 있고 및/또는, 예를 들면, 디코더에 의해 사용하기 위해 출력 비트스트림(111)으로 코딩될 수 있다. 블록잡음 분석기 및 블록분리 필터링 모듈(117)은 품질 분석기 및 품질 복원 필터링 모듈(118)로 전송될 수 있다. 품질 분석기 및 품질 복원 필터링 모듈(118)은 (예를 들면, QR 분해를 위한) QR 필터링 파라미터를 결정하고 결정된 파라미터를 필터링에 사용할 수 있다. QR 필터링 파라미터는 또한 디코더에 의해 사용하기 위해 출력 비트스트림(111)으로 코딩될 수 있다. 도시된 것처럼, 품질 분석기 및 품질 복원 필터링 모듈(118)은 디코딩된 픽처 버퍼(119)로 전송된다. 일부 예에서, 품질 분석기 및 품질 복원 필터링 모듈(118)의 출력은 다른 프레임의 코딩을 위한 예측에 사용될 수 있는 최종의 재구성된 프레임일 수 있다(예를 들면, 최종의 재구성된 프레임은 참조 프레임 또는 그 유사한 것일 수 있다). 일부 예에서, 블록잡음 분석기 및 블록분리 필터링 모듈(117)과 품질 분석기 및 품질 복원 필터링 모듈(118)은 함께 인코더(100)의 필터링 서브시스템으로 간주 될 수 있다.
인코더(100)에서, 예측 연산은 인터- 및/또는 인트라-예측을 포함할 수 있다. 도 1(a)에 도시된 것처럼, 인터-예측은 모핑 분석기 및 모핑된 픽처 생성 모듈(120), 합성 분석기 및 생성 모듈(121), 그리고 특성 및 움직임 필터링 모듈(123)을 포함하는 하나 이상의 모듈에 의해서 수행될 수 있다. 모핑 분석기 및 모핑된 픽처 생성 모듈(120)은 현재 픽처를 분석하여 코딩될 수 있는 참조 프레임이나 프레임들과 관련된 이득(gain) 변화, 지배적인 움직임의 변화, 등록(regeistration) 변화, 블러(blur)의 변화에 대한 파라미터를 결정할 수 있다. 결정된 모핑 파라미터는 (예를 들면, 모핑 분석기 및 모핑된 픽처 생성 모듈(120)에 의해서) 양자화되고/역-양자화되고, 그리고 모핑된 참조 프레임을 생성하도록 사용될 수 있는데, 이는 현재 프레임의 효율적인 움직임 (그리고 특성) 보상 예측을 위한 움직임 벡터를 계산하도록 움직임 예측 모듈(122)에 의해서 사용될 수 있다. 합성 분석기 및 생성 모듈(121)은 이들 프레임 내의 효율적 움직임 보상 예측을 위한 움직임 벡터를 결정하기 위해 움직임용 수퍼 해상도(SR) 픽처와 투사 보간(projected interpolation (PI)) 픽처 등을 생성할 수 있다.
움직임 예측 모듈(122)은 모핑 참조 프레임(들) 및/또는 현재 프레임과 함께 수퍼 해상도(SR) 픽처와 투사 보간(PI) 픽처에 기초하여 움직임 벡터를 생성한다. 일부 예에서, 움직임 예측 모듈(122)은 인터-예측 모듈로 간주 될 수 있다. 예를 들면, 움직임 벡터 데이터는 인터-예측을 위하여 사용될 수 있다. 만일 인터-예측이 적용되면, 특성 및 움직임 보상된 필터링 예측 모듈(123)이 논의된 것처럼 로컬 디코딩 루프의 일부로서 움직임 보상(motion compensation)을 적용할 수 있다.
인트라-예측은 인트라-방향성 예측 분석기 및 예측 생성 모듈(124)에 의해 수행될 수 있다. 인트라-방향성 예측 분석기 및 예측 생성 모듈(124)은 공간 방향성 예측을 수행하도록 구성되고 디코딩된 이웃 파티션을 사용할 수 있다. 일부 예에서, 방향의 결정과 예측의 생성은 모두 인트라-방향성 예측 분석기 및 예측 생성 모듈(124)에 의해 수행될 수 있다. 일부 예에서, 인트라-방향성 예측 분석기 및 예측 생성 모듈(124)은 인트라-예측 모듈로 간주될 수 있다.
도 1에 도시된 것처럼, 예측 모드 및 참조 타입 분석기 모듈(125)은, 타일(또는 수퍼-프래그먼트)의 각 예측 파티션에 대하여, "스킵", "자동", "인터", "분할", "멀티", 그리고 "인트라" 중에서 예측 모드의 선택을 허용하며, 이들 모두는 P- 및 F/B-픽처에 적용될 수 있다. 예측 모드에 추가하여, P- 및 F/B-픽처에 대해서, "인터" 또는 "멀티" 모드에 따라 상이할 수 있는 참조 타입의 선택이 허용될 수 있다. 예측 모드 및 참조 타입 분석기 모듈(125)의 출력에서 예측 신호는 예측 분석기 및 예측 융합 필터링 모듈(126)에 의해 필터링될 수 있다. 예측 분석기 및 예측 융합 필터링 모듈(126)은 필터링에 사용할 파라미터(예를 들면, 필터링 계수, 주파수, 오버헤드)를 결정하고 필터링을 수행할 수 있다. 일부 예에서, 예측 신호를 필터링 하는 것은 상이한 모드(예를 들면, 인트라, 인터, 멀티, 분할(split), 스킵(skip), 그리고 자동)를 표현하는 상이한 타입의 신호를 융합한다. 일부 예에서, 인트라-예측 신호는 적절한 필터링이 코딩 효율을 크게 강화할 수 있도록 모든 다른 타입의 인터-예측 신호(들)와 차이가 있을 수 있다. 일부 예에서, 필터링 파라미터는 디코더에 의한 사용을 위하여 출력 비트스트림(111) 내에 인코딩될 수 있다. 필터링된 예측 신호는 제 2 입력(예를 들면, 예측 파티션(들))을, 앞서 언급된, 차분기(106)에 제공하여, 상술한 것처럼, 코딩을 위한 예측 차이 신호(예를 들면, 파티션 예측 오차)를 결정할 수 있다. 또한, 동일하게 필터링된 예측 신호는 제 2 입력을, 앞서 논의된, 가산기(115)에 제공할 수 있다. 논의된 것처럼, 출력 비트스트림(111)은 비디오 표현을 위해 디코더가 사용할 효율적으로 인코딩된 비트스트림을 제공할 수 있다.
도 1은 비디오 인코더(100)의 동작과 연관된 제어 신호의 예를 도시하며, 여기서 다음과 같은 약어는 연관된 정보를 나타낼 수 있다.
scnchg 장면 변동 정보(Scene change information)
spcpx 공간 복잡도 정보(Spatial complexity information)
tpcpx 시간 복잡도 정보(Temporal complexity information)
pdist 시간 예측 거리 정보(Temporal prediction distance information)
pap 선분석 파라미터(Pre Analysis parameters)(pre scnchg, spcpx, tpcpx, pdist를 제외한 모든 다른 선분석 파라미터의 플레이스홀더)
ptyp 픽처 타입 정보(Picture types information)
pgst 픽처 그룹 구조 정보(Picture group structure information)
pptn cand. 예측 분할 후보(Prediction partitioning candidates)
cptn cand. 코딩 분할 후보(Coding Partitioning Candidates)
prp 전처리(Preprocessing)
xmtyp 변환 타입 정보(Transform type information)
xmdir 변환 방향 정보(Transform direction information)
xmmod 변환 모드(Transform mode)
ethp 팔분의 일(1/8) 픽셀 움직임 예측(One eighth (l/8th) pel motion prediction)
pptn 예측 분할(Prediction Partitioning)
cptn 코딩 분할(Coding Partitioning)
mot&cod cost 움직임 및 코딩 비용(Motion and Coding Cost)
qs 양자화기 파라미터(Quantizer parameter (Qp), 양자화기 매트릭스(Quantizer matrix (QM)) 선택을 포함하는) 양자화기 정보 집합
mv 움직임 벡터(Motion vectors)
mop 모핑 파라미터(Morphing Paramters)
syp 합성 파라미터(Synthesizing Parameters)
ddi 블록분리 및 디더 정보(Deblock and dither information)
qri 품질 복원 필터링 인덱스/정보(Quality Restoration filtering index/information)
api 적응적 정밀 필터링 인덱스/정보(Adaptive Precision filtering index/information)
fii 융합 필터링 인덱스/정보(Fusion Filtering index/information)
mod 모드 정보(Mode information)
reftyp 참조 타입 정보(Reference type information)
idir 인트라 예측 방향(Intra Prediction Direction)
디코더에 송신될 필요가 있을 수 있는 각종 신호 및 데이터는 pgst, ptyp, prp, pptn, cptn, modes, reftype, ethp, xmtyp, xmdir, xmmod, idir, mv, qs, mop, syp, ddi, qri, api, fii, 퀀트 계수(quant coefficients) 이며, 그 밖의 것들은 일괄하여 엔트로피 인코더 서브시스템으로 일컬어지는 상이한 엔트로피 코더를 포함할 수 있는 적응적 엔트로피 인코더(100)에 의해 엔트로피 인코딩될 수 있다. 이러한 제어 신호가 도 1의 인코더(100)의 특정 예의 기능 모듈과 연관되는 것으로 예시되지만, 다른 구현예는 인코더(300)의 기능 모듈들 사이에서 제어 신호를 달리 분배하는 것을 포함할 수 있다. 본 개시는 이러한 관점으로 제한되지 않으며, 여러 예에서, 본 개시에서 제어 신호의 구현예는 도시된 특정 예의 제어 신호의 서브세트, 부가적인 제어 신호, 및/또는 예시된 것과는 상이한 장치만을 착수하는 것을 포함할 수 있다.
도 2는 본 개시의 적어도 어떤 구현에 따라 구성되는 차세대 비디오 디코더의 예(200)를 도시하는 도면이다. 도시된 것처럼, 디코더(200)는 입력 비트스트림(201)을 수신할 수 있다. 입력 비트스트림(201)은 인코더(100)를 통해 및/또는 본 개시에서 기술되는 인코딩 기법을 통해 인코딩될 수 있다. 도시된 것처럼, 입력 비트스트림(201)은 적응적 엔트로피 디코더 모듈(202)에 의해 수신될 수 있다. 적응적 엔트로피 디코더 모듈(202)은 다양한 타입의 인코딩 데이터(예를 들면, 오버헤드, 움직임 벡터, 변환 계수 등)를 디코딩할 수 있다. 일부 예에서, 적응적 엔트로피 디코더(202)는 가변 길이 디코딩 기법을 사용할 수 있다. 일부 예에서, 적응적 엔트로피 디코더(202)는 상술한 적응적 엔트로피 인코더 모듈(110)의 역동작(들)을 수행할 수 있다.
디코딩된 데이터는 적응적 역양자화 모듈(203)로 전송될 수 있다. 적응적 역양자화 모듈(203)은 양자화된 계수를 인버스 스캐닝하고 디-스케일하여 변환 계수를 결정하도록 구성될 수 있다. 이러한 적응적 양자화 연산은 예를 들면 손실이 발생될 수 있다. 일부 실시예에서, 적응적 역양자화 모듈(203)은 적응적 양자화 모듈(109)의 반대 연산(예를 들면, 적응적 역양자화 모듈(112)과 실질적으로 동일한 연산)을 수행하도록 구성될 수 있다. 도시된 것처럼, 변환 계수(그리고, 일부 예에서, 파라메트릭 변환에서 사용되는 변환 데이터)는 적응적 역변환 모듈(204)로 전송될 수 있다. 적응적 역변환 모듈(204)은 변환 계수에 역변환을 수행하여 잔차나 잔여 값 또는 코딩 파티션과 연관되는 파티션 예측 오차 데이터(또는 최초의 데이터나 웨이블릿 데이터)를 생성할 수 있다. 일부 예에서, 적응적 역변환 모듈(204)은 적응적 변환 모듈(108)의 반대 연산(예를 들면, 적응적 역변환 모듈(113)과 실질적으로 동일한 연산)을 수행하도록 구성될 수 있다. 일부 예에서, 적응적 역변환 모듈(204)은, 예를 들면, 디코딩된 이웃 파티션과 같은, 사전에 디코딩된 데이터에 기초하여 역변환을 수행할 수 있다. 일부 예에서, 적응적 역양자화 모듈(203)과 적응적 역변환 모듈(204)은 함께 디코더(200)의 변환 디코더 서브시스템으로 간주될 수 있다.
도시된 것처럼, 잔차나 잔차 값 또는 파티션 예측 오차 데이터는 코딩 파티션 조립기(205)로 전송될 수 있다. 코딩 파티션 조립기(205)는 코딩 파티션을, 필요에 따라서, 디코딩 예측 파티션으로 조립할 수 있다(도시된 것처럼, 일부 예에서, 코딩 파티션 조립기(205)는 스위치(205a, 205b)를 통해 걸러짐으로써, 디코딩 예측 파티션이 적응적 역변환 모듈(204)에서 생성될 수 있도록 한다). 예측 오차 데이터의 디코딩 예측 파티션(예를 들면, 예측 파티션 잔차)은 가산기(206)에서 예측 파티션(예를 들면, 예측 픽셀 데이터)에 추가되어 재구성된 예측 파티션을 생성할 수 있다. 재구성된 예측 파티션은 예측 파티션 조립기(207)로 전송될 수 있다. 예측 파티션 조립기(207)는 재구성된 예측 파티션을 조립하여 재구성된 타일 또는 수퍼-프래그먼트를 생성할 수 있다. 일부 예에서, 코딩 파티션 조립기 모듈(205)과 예측 파티션 조립기 모듈(207)은 함께 디코더(200)의 비-분할기 서브시스템으로 간주 될 수 있다.
재구성된 타일 또는 수퍼-프래그먼트는 블록분리 필터링 모듈(208)로 전송될 수 있다. 블록분리 필터링 모듈(208)은 재구성된 타일 또는 수퍼-프래그먼트(또는 타일이나 수퍼-프래그먼트의 예측 파티션)을 블록분리하고 디더링(dither)할 수 있다. 생성된 블록분리 및 디더링 필터 파라미터는, 예를 들면, 입력 비트스트림(201)으로부터 결정될 수 있다. 블록분리 필터링 모듈(208)의 출력은 품질 복원 필터링 모듈(209)로 전송될 수 있다. 품질 복원 필터링 모듈(209)은, 입력 비트스트림(201)으로부터 결정될 수 있는, QR 파라미터에 기초하여 품질 필터링을 적용할 수 있다. 예를 들면, 도 2에 도시된 것처럼, 품질 복원 필터링 모듈(209)의 출력은 디코딩된 픽처 버퍼(210)로 전송될 수 있다. 일부 예에서, 품질 복원 필터링 모듈(209)의 출력은 다른 프레임의 코딩을 위한 예측에 사용될 수 있는 최종의 재구성된 프레임일 수 있다(예를 들면, 최종의 재구성된 프레임은 참조 프레임 등일 수 있다). 일부 예에서, 블록분리 필터링 모듈(208)과 품질 복원 필터링 모듈(209)은 함께 디코더(200)의 필터링 서브시스템으로 간주될 수 있다.
논의된 것처럼, 예측 연산으로 인한 보상은 인터- 및/또는 인트라-예측 보상을 포함할 수 있다. 도시된 것처럼, 인터-예측 보상은 모핑 생성 모듈(211), 합성 생성 모듈(212) 그리고 특성 및 움직임 보상 필터링 예측기 모듈(213)을 포함할 수 있다. 모핑 생성 모듈(211)은 (예를 들면, 입력 스트림(201)으로부터 결정된) 역-양자화 모핑 파라미터를 사용하여 모핑(morphed) 참조 프레임을 생성할 수 있다. 합성 생성 모듈(212)은 입력 비트스트림(201)으로부터 결정된 파라미터에 기초하여 수퍼 해상도(SR) 픽처와 투사 보간(PI) 픽처 등을 생성할 수 있다. 만일 인터-예측이 적용되면, 특성 및 움직임 보상 필터링 예측기 모듈(213)이 입력 비트스트림(201) 내의 수신된 프레임과 움직임 벡터 데이터 등에 기초하여 움직임 보상을 적용할 수 있다.
인트라-예측 보상은 인트라-방향성 예측 생성 모듈(214)에 의해서 수행될 수 있다. 인트라-방향성 예측 생성 모듈(214)은 공간 방향성 예측을 수행하도록 구성되고, 또한 비트스트림(201) 내의 인트라-예측 데이터에 따른 디코딩된 이웃 파티션을 이용할 수 있다.
도 2에 도시된 것처럼, 예측 모드 선택기 모듈(215)은, 타일의 각 예측 파티션에 대하여, "스킵", "자동", "인터", "멀티", 및 "인트라" 중에서, 예측 모드의 선택을 결정할 수 있고, 이들 모두는 입력 비트스트림(201) 내의 모드 선택 데이터에 기초하여 P- 및 F/B-픽처에 적용될 수 있다. 예측 모드에 추가하여, P- 및 F/B-픽처에 대해서, "인터" 또는 "멀티" 모드에 따라 상이할 수 있는 참조 타입의 선택이 허용된다. 예측 모드 선택기 모듈(215)의 출력에서 예측 신호는 예측 융합 필터링 모듈(216)에 의해 필터링될 수 있다. 예측 융합 필터링 모듈(216)은 입력 비트스트림(201)을 통해 결정된 파라미터(예를 들면, 필터링 계수, 주파수, 오버헤드)에 기초하여 필터링을 수행할 수 있다. 일부 예에서, 예측 신호를 필터링하는 것은 상이한 모드(예를 들면, 인트라, 인터, 분할, 스킵, 그리고 자동)를 표현하는 상이한 타입의 신호를 융합한다. 일부 예에서, 인트라-예측 신호는 모든 다른 타입의 인터-예측 신호(들)와 상이하여 적절한 필터링은 코딩 효율을 크게 향상시킬 수 있도록 한다. 필터링된 예측 신호는 제 2 입력(예를 들면, 예측 파티션(들))을, 앞서 언급된, 차분기(206)에 제공할 수 있다.
논의한 것처럼, 품질 복원 필터링 모듈(209)은 최종적인 재구성된 프레임일 수 있다. 최종적인 재구성된 프레임은 적응적 픽처 재구성기(217)로 전송될 수 있으며, 이는 입력 비트스트림(201) 내의 정렬 파라미터에 기초하여 필요에 따라 프레임을 재-정렬하거나 재-구성할 수 있다. 재-정렬 프레임은 콘텐츠 후복원기 모듈(218)로 전송될 수 있다. 콘텐츠 후복원기 모듈(218)은 디코딩 비디오의 직관적 품질의 추가적인 향상을 수행하도록 구성되는 선택적인 모듈일 수 있다. 개선 프로세싱은 입력 비트스트림(201) 내의 품질 개선 파라미터에 대응하여 수행되거나, 또는 스탠드 얼론(standalone) 연산으로 수행될 수 있다. 일부 예에서, 콘텐츠 후복원기 모듈(218)은, 예를 들면, (예를 들면, 블록분리 필터링 모듈(208)과 관련되어 논의된 블록화 제거 동작 이후에도) 필름 그레인 잡음(film grain noise)나 잔여 블록잡음 감소의 추정과 같은, 품질을 개선하는 파라미터를 적용할 수 있다. 도시된 것처럼, 디코더(200)는 디스플레이 비디오(219)를 제공할 수 있는데, 이는 디스플레이 장치(도시되지 않음)를 통해 디스플레이되도록 구성될 수 있다.
도 2는 비디오 디코더(200)의 동작과 연관된 일 예의 제어 신호를 도시하며, 여기서 표시된 약어는 도 1에 대해 논의된 것과 유사한 정보를 표시할 수 있다. 이러한 제어 신호가 도 4의 디코더(200)의 특정 예의 기능 모듈과 연관된 것으로 도시되지만, 다른 구현예는 인코더(100)의 기능 모듈들 사이에서 제어 신호를 달리 분산하는 것을 포함한다. 본 개시는 이러한 관점으로 제한되지 않으며, 여러 예에서, 본 개시에서 제어 신호의 구현예는 도시된 특정 예의 제어 신호의 서브세트, 부가적인 제어 신호, 및/또는 예시된 것과는 상이한 장치를 착수하는 것을 포함할 수 있다.
도 1 내지 도 2는 특정 인코딩 및 디코딩 모듈을 보여주지만, 그러나 도시되지 않은 다양한 다른 코딩 모듈이나 컴포넌트들 또한 본 개시에 따라서 활용될 수 있다. 또한, 본 개시는 도 1 및 도 2에 도시된 특정 컴포넌트 또는 다양한 컴포넌트가 구성된 방식에 한정되지 않는다. 본 개시에서 기술되는 시스템의 다양한 컴포넌트는 소프트웨어, 펌웨어, 및/또는 하드웨어 및/또는 이들의 임의의 조합에 의해서 구현될 수 있다. 예를 들면, 인코더(100) 및/또는 디코더(200)의 다양한 컴포넌트는, 모바일폰과 같은 컴퓨팅 시스템에서 발견될 수 있는, 컴퓨팅 시스템 온칩(SoC)의 하드웨어에 의해서, 적어도 일부 제공될 수 있다.
또한, 인코더(100)는, 예를 들면, 비디오 콘텐츠 서버 시스템을 포함하는 콘텐츠 제공 시스템과 연관되고 및/또는 콘텐츠 제공 시스템에 의해서 제공될 수 있고, 또한 출력 비트스트림(111)은, 도 1 및 도 2에 도시되지 않은 트랜스시버, 안테나, 네트워크 시스템 및 그 유사한 것과 같은 다양한 통신 컴포넌트 및/또는 시스템에 의해, 디코더, 예를 들면, 디코더(200)로 전송되거나 전달될 수 있다는 것이 인정될 것이다. 디코더(200)는 컴퓨팅 장치(예를 들면, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 컨버터블 랩톱, 모바일폰 등)와 같은 클라이언트 시스템과 연관되고, 클라이언트 시스템은 인코더(100)와 멀리 있으면서, 또한 도 1 및 도 2에 도시되지 않은 트랜스시버, 안테나, 네트워크 시스템 및 그 유사한 것과 같은 다양한 통신 컴포넌트 및/또는 시스템을 통해 비트스트림(201)을 수신한다는 것이 인정될 것이다. 그러므로, 다양한 구현에서, 인코더(100)와 디코더 서브시스템(200)은 함께 또는 각각 독립적으로 구현될 수 있다.
도 3(a)은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 인코더(300a)의 예시적인 다이어그램이다. 도 3(a)는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 인코더(500a)의 예시적인 다이어그램이다. 도 3(a)는 도 1(a) 및 도 1(b)에 도시된 것과 유사한 인코더를 보여주며, 유사한 구성요소는 간결성을 위해 반복되지 않는다. 도 3(a)에 도시된 바와 같이, 인코더(300a)는 선분석기 서브시스템(310a), 분할기 서브시스템(320a), 예측 인코딩 서브시스템(330a), 변환 인코더 서브시스템(340a), 필터링 인코딩 서브시스템(350a), 엔트로피 인코더 시스템(360a), 변환 디코더 시스템(370a), 및/또는 결합기 서브시스템(unpartioner subsystem)(380a)을 포함할 수 있다. 선분석기 서브시스템(310a)은 콘텐츠 선분석기 모듈(102) 및/또는 적응적 픽처 구성기 모듈(104)을 포함할 수 있다. 분할기 서브시스템(320a)은 예측 분할 생성기 모듈(prediction partitions generator module)(105), 및/또는 코딩 분할 생성기(107)를 포함할 수 있다. 예측 인코딩 서브시스템(330a)은 움직임 추정기 모듈(122), 특성 및 움직임 보상된 필터링 예측기 모듈(123), 및/또는 인트라-방향 예측 분석기 및 예측 생성 모듈(124)을 포함할 수 있다. 변환 인코더 서브시스템(340a)은 적응적 변환 모듈(108) 및/또는 적응적 양자화 모듈(109)을 포함할 수 있다. 필터링 인코딩 서브시스템(350a)은 블록 잡음 분석기 및 블록분리 필터링 모듈(117), 품질 분석기 및 품질 복원 필터링 모듈(118), 움직임 추정기 모듈(122), 특성 및 움직임 보상된 필터링 예측기 모듈(123), 및/또는 예측 분석기 및 예측 융합 필터링 모듈(126)을 포함할 수 있다. .엔트로피 코딩 서브시스템(360a)은 적응적 엔트로피 인코더 모듈(110)을 포함할 수 있다. 변환 디코더 서브시스템(370a)은 적응적 역양자화 모듈(112) 및/또는 적응적 역변환 모듈(113)을 포함할 수 있다. 결합기결합(unpartioner) 서브시스템(380a)은 코딩 파티션 조립기(114) 및/또는 예측 파티션 조립기(116)를 포함할 수 있다.
인코더(300a)의 분할기 서브시스템(320a)은 두 개의 분할 서브시스템, 즉 예측을 위해 분석 및 분할을 수행할 수 있는 예측 분할 생성기 모듈(105)과, 코딩을 위해 분석 및 분할을 수행할 수 있는 코딩 분할 생성기 모듈(107)을 포함할 수 있다. 다른 분할 방법은 픽처를 영역 또는 슬라이스로 분절할 수 있고 또한 옵션으로 이 분할기의 부분인 것이라고도 간주될 수 있는 적응적 픽처 구성기(104)를 포함할 수 있다.
인코더(500a)의 예측 인코더 서브시스템(330a)은 "인터" 신호의 분석 및 예측을 수행할 수 있는 움직임 추정기(122) 및 특성 및 움직임 보상된 필터링 예측기(123)와, "인트라" 신호의 분석 및 예측을 수행할 수 있는 인트라-방향 예측 분석기 및 예측 생성 모듈(124)을 포함할 수 있다. 움직임 추정기(122) 및 특성 및 움직임 보상된 필터링 예측기(123)는 (이득, 전역적 움직임, 레지스트레이션과 같은) 다른 소스의 차를 먼저 보상하고, 그 다음으로 실제 움직임 보상을 행함으로써 예측가능성을 높일 수 있다. 이들은 또한 예측을 더 양호하게 할 수 있는 합성된 프레임(수퍼 해상도, 및 프로젝션)을 생성하는 데이터 모델링을 사용하고, 뒤이어 그러한 프레임에서 실제 움직임 보상을 사용할 수 있다.
인코더(300a)의 변환 인코더 서브시스템(340a)은 변환의 유형 및 크기를 선택하기 위해 분석을 수행할 수 있으며 두 가지 주요한 유형의 컴포넌트를 포함할 수 있다. 첫 번째 유형의 컴포넌트는 작은 크기 내지 중간 크기의 블록에 대해 국부적으로 최적한 변환 코딩을 받게 하는 파라메트릭 변환(parametric transform)을 이용하게 할 수 있지만, 그러한 코딩은 약간의 오버헤드를 필요로 할 수 있다. 두 번째 유형의 컴포넌트는 DCT와 같은 일반적이고 고정 변환, 또는 파라메트릭 변환을 비롯한 몇가지 변환들 중 선택된 변환으로부터의 픽처 기반 변환을 이용하여 전역적으로 안정하고, 낮은 오버헤드 코딩을 가능하게 할 수 있다. 국부적으로 적응적 변환 코딩의 경우, PHT (Parametric Haar Transform)가 사용될 수 있다. 변환은 4x4와 64x64 사이 크기의 장방형 2D 블록에 대해 수행될 수 있고, 이때 실제 크기는 변환된 데이터가 루마 또는 크로마인지, 인터 또는 인트라인지, 그리고 사용된 변환이 PHT 또는 DCT인지와 같은 다수의 인자들에 달려 있을 수 있다. 결과적인 변환 계수는 양자화되고, 스캐닝되고 엔트로피 코딩될 수 있다.
인코더(300a)의 엔트로피 인코더 서브시스템(360a)은 각기 특정 타입의 데이터(각종 타입의 오버헤드, 움직임 벡터, 또는 변환 계수)를 효율적으로 코딩하는 목적을 가지고 있는 효율은 있지만 복잡도가 낮은 복수의 컴포넌트들을 포함할 수 있다. 이 서브시스템의 컴포넌트는 일반 부류의 저복잡도 가변 길이 코딩 기술에 속할 수 있지만, 효과적인 코딩을 위해 각 컴포넌트는 최고의 효율을 위해 맞춤 제작될 수 있다. 예를 들면, 고객 주문에 따라 맞춤 제작된 것은 "코딩되거나 코딩되지 않은(Coded/Not Coded)" 데이터의 코딩을 위해 설계될 수 있고, 다른 것은 "모드 및 참조 타입(Modes and Ref Types)" 데이터의 코딩을 위해, 또 다른 것은 "움직임 벡터(Motion Vector)" 데이터의 코딩을 위해, 그리고 또 다른 것은 "예측 및 코딩 분할(Prediction and Coding Partitions)" 데이터의 코딩을 위해 설계될 수 있다. 마지막으로, 엔트로피 코딩될 매우 큰 데이터 부분은 "변환 계수" 데이터이기 때문에, 특정 블록 크기의 효과적인 처리를 위한 많은 접근 방법뿐만 아니라, 다중 테이블 사이에서 적응할 수 있는 알고리즘이 사용될 수 있다.
인코더(300a)의 필터링 인코더 서브시스템(350a)은 파라미터의 분석뿐만 아니라 이들 파라미터에 기초하여 재구성된 픽처의 필터링을 복수 회 수행할 수 있으며, 여러 서브시스템을 포함할 수 있다. 예를 들면, 제 1 서스템인 즉 블록잡음 분석기 및 블록분리 필터링 모듈(117)은 임의의 잠재적인 블록 코딩 아트팩트를 줄이거나 가리기 위해 블록분해하고 디더링할 수 있다. 제 2 예의 서브시스템인 품질 분석기 및 품질 복원 필터링 모듈(118)은 임의의 비디오 코딩 시 양자화 동작으로 인한 아트팩트를 줄이기 위하여 일반적인 품질 복원을 수행할 수 있다. 움직임 추정기(122) 및 특성 및 움직임 보상된 필터링 예측기 모듈(123)을 포함할 수 있는 제 3 예의 서브시스템은 콘텐츠의 움직임 특성(움직임 속도/흐릿한 정도)에 적응하는 필터를 이용함으로써 움직임 보상의 결과를 개선할 수 있다. 제 4 예의 서브시스템인 예측 분석기 및 예측 융합 필터링 모듈(126)은 예측 신호의 적응적 필터링을 가능하게 할 수 있고(이는 예측 시, 종종 인트라 예측으로부터 생긴 불요 아트팩트를 줄일 수 있음), 그럼으로써 코딩되어야 하는 예측 에러를 줄일 수 있다.
인코더(300a)의 인코딩 제어기 모듈(103)은 주어진 자원과 희망하는 인코딩 속도의 제약 하에서 비디오 품질을 전반적으로 책임질 수 있다. 예를 들면, 임의의 단점을 이용하지 않는 풀(full) RDO (Rate Distortion Optimization) 기반 코딩에서, 소프트웨어 인코딩의 인코딩 속도는 단순히 컴퓨팅 자원(프로세서의 속도, 프로세서의 개수, 하이퍼쓰레딩, DDR3 메모리 등) 효용성의 결과일 수 있다. 그러한 경우, 인코딩 제어기 모듈(103)은 예측 파티션과 코딩 파티션의 모든 단일 조합을 실제 인코딩함으로써 입력 받을 수 있고, 비트율은 각 사례마다 재구성된 오류와 함께 계산될 수 있고, 라그랑지안 최적화 방정식(lagrangian optimization equations)에 기초하여, 예측 및 코딩 파티션의 최선의 집합이 코딩되는 각 프레임의 각 타일마다 송신될 수 있다. 풀 RDO 기반 모드는 최선의 압축 효율의 결과를 낳을 수 있으며 또한 가장 느린 인코딩 모드일 수 있다. 콘텐츠 선분석기 모듈(102)로부터의 콘텐츠 분석 파라미터를 이용함으로써 그리고 이를 RDO 단순화(모든 가능한 사례를 테스트하지 않음)하거나 또는 블록 중 특정 퍼센티지만을 풀 RDO를 거치게 함으로써, 품질 대 속도 간의 맞교환이 이루어져서 더 빠른 속도로 인코딩이 가능해질 수 있다. 지금까지 본 발명자들은 가변 비트율(VBR) 기반의 인코더 동작을 설명하였다. 인코딩 제어기 모듈(103)은 고정 비트율(CBR) 제어 코딩의 사례에서 적용될 수 있는 레이트 제어기를 또한 포함할 수 있다.
마지막으로, 인코더(300a)의 선분석기 서브시스템(310a)은 비디오 코딩 효율 및 속도 성능을 개선하는데 유용한 각종 타입의 파라미터를 계산하기 위해 콘텐츠의 분석을 수행할 수 있다. 예를 들면, 이 서브시스템은 수평 및 수직 그레디언트 정보(Rs, Cs), 분산, 픽처 당 공간 복잡도, 픽처 당 시간 복잡도, 장면 변동 검출, 움직임 범위 추정, 이득 검출, 예측 거리 추정, 객체 추정의 수, 영역 경계 검출, 공간 복잡도 맵 계산, 초점 추정, 필름 그레인(film grain) 추정 등을 계산할 수 있다. 선분석기 서브시스템(310a)에 의해 생성되는 파라미터는 인코더에 의해 소용될 수 있거나 양자화되어 디코더(200)로 통신될 수 있다.
서브시스템(310a) 내지 (380a)이 도 3(a)의 인코더(300a)의 특정 예의 기능 모듈들과 연관되는 것으로 예시되지만, 본 개시에서 인코더(300a)의 다른 구현예는 인코더(300a)의 기능 모듈들이 서브시스템(310a 내지 380a) 사이에 달리 분산되어 있는 것을 포함할 수 있다. 본 개시는 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 개시에서 예시적인 서브시스템(310a 내지 380a)의 구현은 단지 도시된 인코더(300a)의 특정 예의 기능 모듈의 서브세트, 부가적인 기능 모듈, 및/또는 예시된 것과 상이한 구성의 수행만을 포함할 수 있다
도 3(b)는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 차세대 비디오 디코더(300b)의 예시적인 다이어그램이다. 도 3(b)는 도 2에 도시된 것과 유사한 디코더를 보여주며, 유사한 구성요소는 간결성을 위해 반복되지 않는다. 도 3(b)에 도시된 바와 같이, 디코더(300b)는 예측 디코더 서브시스템(330b), 필터링 디코더 서브시스템(350b), 엔트로피 디코더 서브시스템(360b), 변환 디코더 서브시스템(370b), 결합기_2 서브시스템(380b), 결합기_1 서브시스템(351b), 필터링 디코더 서브시스템(350b), 및/또는 후복원기 서브시스템(postrestorer subsystem)(390b)을 포함할 수 있다. 예측 디코더 서브시스템(330b)은 특성 및 움직임 보상된 필터링 예측기 모듈(213) 및/또는 인트라-방향 예측 생성 모듈(214)을 포함할 수 있다. 필터링 디코더 서브시스템(350b)은 블록분리 필터링 모듈(208), 품질 복원 필터링 모듈(209), 특성 및 움직임 보상된 필터링 예측기 모듈(213), 및/또는 예측 융합 필터링 모듈(216)을 포함할 수 있다. 엔트로피 디코더 서브시스템(360b)은 적응적 엔트로피 디코더 모듈(202)을 포함할 수 있다. 변환 디코더 서브시스템(370b)은 적응적 역양자 모듈(203) 및/또는 적응적 역변환 모듈(204)을 포함할 수 있다. 결합기_2 서브시스템(380b)은 코딩 분할 조립기(205)를 포함할 수 있다. 결합기_1 서브시스템(351b)은 예측 분할 조립기(207)를 포함할 수 있다. 후복원기 서브시스템(790)은 콘텐츠 후복원기 모듈(218) 및/또는 적응적 픽처 재-구성기(217)를 포함할 수 있다.
디코더(300b)의 엔트로피 디코딩 서브시스템(360b)은 인코더(300a)의 엔트로피 인코더 서브시스템(360a)의 역동작을 수행할 수 있는데, 즉 이 서브시스템은 엔트로피 인코더 서브시스템(360a)에 의해 인코딩된 각종 데이터(각종 유형의 오버헤드, 움직임 벡터, 변환 계수)를 대략 가변 길이 디코딩이라고 지칭하는 부류의 기술을 이용하여 디코딩할 수 있다. 구체적으로, 각종 유형의 디코딩되는 데이터는 "코딩되거나 코딩되지 않은" 데이터, "모드 및 참조 타입" 데이터, "움직임 벡터" 데이터, "예측 및 코딩 분할" 데이터, 및 "변환 계수" 데이터를 포함할 수 있다.
디코더(300b)의 변환 디코더 서브시스템(370b)은 인코더(300a)의 변환 인코더 서브시스템(340a)의 동작의 역 동작을 수행할 수 있다. 변환 디코더 서브시스템(370b)은 두 가지 유형의 컴포넌트를 포함할 수 있다. 첫 번째 유형의 예시적인 컴포넌트는 작은 크기 내지 중간 블록 크기의 파라미터 역 PHT 변환의 사용을 지원할 수 있으며, 반면 다른 유형의 예시적인 컴포넌트는 모든 블록 크기에 대해 역 DCT 변환을 지원할 수 있다. 한 블록에 대해 사용된 PHT 변환은 이웃 블록의 디코딩된 데이터의 분석에 달려 있을 수 있다. 출력 비트스트림(111) 및/또는 입력 비트스트림(201)은 PHT 변환을 위한 분할/블록 크기에 관한 정보뿐만 아니라 역변환될 2D 블록의 어느 방향으로 PHT가 사용될 수 있는지에 관한 정보를 운반할 수 있다(다른 방향은 DCT를 사용한다). 순전히 DCT에 의해 코딩되는 블록의 경우, 분할/블록 크기 정보는 또한 출력 비트스트림(111) 및/또는 입력 비트스트림(201)으로부터도 검색될 수 있으며 적절한 크기의 역 DCT를 적용하는데 사용될 수 있다.
디코더(300b)의 결합기 서브시스템(380b)은 인코더(300a)의 분할기 서브시스템(320a)의 동작의 역동작을 수행할 수 있으며 두 개의 비분할 서브시스템, 즉, 코딩된 데이터의 비분할을 수행할 수 있는 코딩 분할 조립기 모듈(205) 및 예측을 위한 비분할을 수행할 수 있는 예측 분할 조립기 모듈(207)을 포함할 수 있다. 또한 만일 옵션의 적응적 픽처 구성기 모듈(104)이 영역 세그먼테이션 또는 슬라이스를 위해 인코더(300a)에서 사용되면, 적응적 픽처 재-구성기(217)가 디코더에서 필요할 수 있다.
디코더(300b)의 예측 디코더 서브시스템(330b)은 "인터" 신호의 예측을 수행할 수 있는 특성 및 움직임 보상된 필터링 예측기 모듈(213) 및 "인트라" 신호의 예측을 수행할 수 있는 인트라-방향 예측 생성 모듈(214)을 포함할 수 있다. 특성 및 움직임 보상된 필터링 예측기 모듈(213)은 먼저 (이득, 전역적 움직임, 레지스트레이션과 같은) 다른 소스의 차 또는 합성된 프레임(수퍼 해상도, 및 프로젝션)의 생성을 보상하고, 그런 다음 실제 움직임 보상함으로써 예측 가능성을 높일 수 있다.
디코더(300b)의 필터링 디코더 서브시스템(350b)은 인코더(300a)에 의해 송신된 파라미터에 기초하여 재구성된 픽처의 필터링을 복수 회 수행할 수 있으며 여러 서브시스템을 포함할 수 있다. 제 1 예의 서브시스템인 블록분리 필터링 모듈(208)은 임의의 잠재적인 블록 코딩 아트팩트를 줄이거나 가리기 위해 블록분해하고 디더링을 할 수 있다. 제 2 예의 서브시스템인 품질 복원 필터링 모듈(209)은 임의의 비디오 코딩 시 양자화 동작으로 인한 아트팩트를 줄이기 위해 일반적인 품질 복원을 수행할 수 있다. 제 3 예의 서브시스템인 특성 및 움직임 보상된 필터링 예측기 모듈(213)은 콘텐츠의 움직임 특성(움직임 속도/흐릿한 정도)에 적응할 수 있는 필터를 이용함으로써 움직임 보상으로 인해 발생한 결과를 개선할 수 있다. 제 4 예의 서브시스템인 예측 융합 필터링 모듈(216)은 예측 신호의 적응적 필터링을 가능하게 하고(이것은 예측시, 종종 인트라 예측으로부터 생긴 불요 아트팩트를 줄일 수 있음), 그럼으로써 코딩되어야 하는 예측 오차를 줄일 수 있다.
디코더(300b)의 후복원기 서브시스템(390b)은 디코딩되는 비디오의 자각 품질을 추가적으로 개선할 수 있는 옵션의 블록이다. 이러한 처리는 인코더(100)에 송신된 품질 개선 파라미터에 응답하여 수행될 수 있거나 또는 후복원기 서브시스템(390b)에서 수행된 자체적 판단일 수 있다. 후복원기 서브시스템(390b)에서 품질 개선을 위해 사용될 수 있는, 인코더(100)에서 계산되는 특정 파라미터의 관점에서, 이는 인코더(100)에서 (블록화 제거 이후에도) 필름 그레인 잡음 및 잔류 블록 잡음의 추정일 수 있다. 필름 그레인 잡음에 관하여, 만일 파라미터가 계산되고 출력 비트스트림(111) 및/또는 입력 비트스트림(201)을 통해 디코더(200)로 송신될 수 있으면, 이러한 파라미터는 필름 그레인 잡음을 합성하는데 사용될 수 있다. 마찬가지로, 인코더(100)에서 임의의 잔차 블록화 아트팩트의 경우, 만일 이것들이 계측되고 출력 비트스트림(111) 및/또는 입력 비트스트림(201)을 통해 송신될 수 있으면, 후복원기 서브시스템(390b)은 이러한 파라미터를 디코딩할 수 있고 이 파라미터를 이용하여 옵션으로 추가적인 블록화 제거를 수행한 다음 디스플레이할 수 있다. 게다가, 인코더(100)는 후복원기 서브시스템(390b)에서 품질 복원에 도움을 줄 수 있는 장면 변동, 공간 복잡도, 시간 복잡도, 움직임 범위, 및 예측 거리 정보에 또한 액세스할 수 있다.
서브시스템(330b 내지 390b)이 도 3(b)의 디코더(300b)의 특정한 예의 기능 모듈들과 연관되는 것으로 예시되지만, 본 개시에서 디코더(300b)의 다른 구현예는 디코더(300b)의 서브시스템(330b 내지 390b) 사이에 달리 분산되어 있는 것을 포함할 수 있다. 본 개시는 이러한 점에서 제한되지 않으며, 다양한 예에서, 본 개시에서 서브시스템(330b 내지 390b)의 구현은 단지 도시된 디코더(300b)의 특정 예의 기능 모듈, 부가적인 기능 모듈의 서브세트, 및/또는 예시된 것과 상이한 구성의 수행만을 포함할 수 있다.
도 4는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 엔트로피 인코더 모듈(110)의 예시적인 다이어그램이다. 도시된 바와 같이, 엔트로피 인코더 모듈(110)은 비트스트림 헤더, 파라미터 및 맵 데이터 인코더 모듈(401), 픽처 파티션, 예측 파티션, 및 코딩 파티션 인코더 모듈(402), 코딩 모드 및 참조 타입 인코더 모듈(403), 코딩되거나 코딩되지 않은 데이터 인코더 모듈(404), 변환 계수 인코더 모듈(405), 움직임 벡터 및 차분 움직임 벡터 인코더 모듈(406), 인트라-예측 및 방향 데이터 인코더 모듈(407), 및/또는 비트스트림 조립기 모듈(408)을 포함할 수 있다. 본 개시의 설명에서, 모듈(401-407)은 각기 간결성을 위해 헤더, 인코더 모듈(401) 또는 인코더 모듈(404) 등으로 약칭될 수 있다.
도시된 것처럼, 인코더 모듈(401-407)은 비디오 데이터(411 내지 417)를 각기 적응적 엔트로피 인코더(110)를 통해 수신할 수 있다. 일부 예에서, 수신된 비디오 데이터(411 내지 417)는 본 개시에서 논의된 것처럼 인코더(100)의 각종 모듈로부터 수신될 수있다. 도시된 바와 같이, 인코더 모듈(401-407)은 수신된 비디오 데이터(411 내지 417)를 압축하여 압축된 비디오 데이터(421 내지 427)를 생성할 수 있다. 압축된 비디오 데이터(421 내지 427)은 비트스트림 조립기(408)로 제공될 수 있고, 이 비트스트림 조립기는 압축된 비디오 데이터(421 내지 427)을 조립하여 출력 비트스트림(111)을 생성할 수 있다.
일부 예에서, 인코더 모듈(401 내지 407)는 수신된 비디오 데이터(411 내지 417)와 연관된 데이터 타입을 효과적으로 인코딩하기 위한 하나 이상의 특화된 컴포넌트(들)을 각기 포함할 수 있다. 일부 예에서, 인코더 모듈(401 내지 407) 중 하나 이상은 수신된 비디오 데이터(411 내지 417)를 처리 할 수 있으며/있거나 수신된 비디오 데이터(411 내지 417)의 파라미터, 파라미터들, 또는 특성이나 다른 시스템 정보에 기초하여 엔트로피 코딩 기술을 선택할 수 있다.
예를 들면, 인코더 모듈(401)은 헤더 데이터(예를 들면, 시퀀스 및/또는 픽처 레벨 비트스트림 헤더), 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터(예를 들면, 파티션 단위로 사용될 양자화기를 표시하는 픽처의 양자화기 맵)를 포함할 수 있는 비디오 데이터(411)을 수신할 수 있다. 아래에서 도 6에 대하여 추가 논의되는 것처럼, 일부 예에서, 인코더 모듈(401)은 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 또는 비디오 데이터(411)의 가변 길이 코딩 테이블이나 테이블들 압축을 구현할 수 있다. 일부 예에서, 인코더 모듈(411)은 비디오 데이터(411)와 연관된 파라미터(들)이 각 코딩 기술 등에 필요한 비트 수일 수 있도록 어느 기술이 가장 큰 압축 효율(가장 적은 비트로 압축된 비디오 데이터(421))을 제공하는지를 결정할 수 있다. 인코더 모듈(411)은 분할 데이터(411)를 엔트로피 인코딩하여 압축된 비디오 데이터(421)(예를 들면, 압축된 오버헤드 데이터)를 생성할 수 있고, 이 데이터는 도시된 것처럼 비트스트림 조립기(408)로 전송될 수 있다.
논의된 바와 같이, 일부 예에서, 비디오 데이터(예를 들면, 비디오 데이터(411-417) 중 임의의 데이터)와 연관된 파라미터는 달성할 수 있는 가장 적은 비트 수, 또는 가장 효과적인 인코딩 기술 등일 수 있다. 다른 예에서, 비디오 데이터와 연관된 파라미터는 인코딩 기술이 사전결정되도록 사전에 정의되거나 사전에 결정될 수 있다. 일부 예에서, 본 개시에서 추가로 논의된 것처럼 비디오 데이터와 연관된 파라미터는 비디오 데이터의 특성을 기반으로 하며 그래서 결정된 인코딩 기술이 수신된 비디오 데이터에 적응적일 수 있다.
도시된 바와 같이, 일부 예에서, 인코더 모듈(402)은 픽처 슬라이스 또는 영역 데이터, 인트라-예측 파티션 데이터, 및/또는 인터-예측 파티션 및 코딩 파티션 데이터를 포함할 수 있는 비디오 데이터(412)를 수신할 수 있다. 아래에서 도 6에 대하여 추가 논의되는 것처럼, 일부 예에서, 인코더 모듈(402)은 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터와 연관된 파라미터(예를 들면, 비디오 데이터(412)의 달성할 수 있는 가장 적은 비트 수, 가장 효과적인 코딩 기술, 사전결정된 파라미터, 또는 특성 등)에 기초하여 비디오 데이터(412)의 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터 부분을 압축하기 위한 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 구현할 수 있으며, 인코더 모듈(412)은 비디오 데이터(412)의 슬라이스 또는 영역 데이터 부분에 적응적인 코드북 가변 길이 코딩을 실시하여 압축된 비디오 데이터(422)(예를 들면, 압축된 파티션 데이터)를 생성할 수 있고, 이 데이터는 도시된 것처럼 비트스트림 조립기(408)로 전송될 수 있다. 일부 예에서, 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터는 타일을 파티션으로, 또는 파티션을 서브-파티션으로 분할된 것 등을 표시하는 데이터를 포함할 수 있다. 일부 예에서, 파티션 및/또는 서브-파티션은 예측 파티션 및/또는 서브-파티션을 포함할 수 있다. 일부 예에서, 파티션 및/또는 서브-파티션은 코딩 파티션 및/또는 서브-파티션을 포함할 수 있다.
추가로 도시된 바와 같이, 일부 예에서, 인코더 모듈(403)은 각 예측 파티션마다 모드(예를 들면, 인트라, 스플릿, 스킵, 자동, 인터, 또는 멀티) 데이터 및/또는 참조 데이터를 포함할 수 있는 비디오 데이터(413)를 수신할 수 있다. 예를 들면, 모드 스플릿 정보는 파티션이 더 나누어지는지 아닌지를 표시할 수 있다. 만일 파티션이 더 나누어진다면, 모드 데이터는 스플릿가 수평 스플릿(예를 들면, hor)인지 아니면 수직 스플릿(예를 들면, vert)인지를 표시하는 방향 정보를 더 포함할 수 있다. 아래에서 도 6에 대하여 추가 설명되는 것처럼, 일부 예에서, 인코더 모듈(403)은 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 또는 데이터와 연관된 파라미터(예를 들면, 비디오 데이터(413)의 달성할 수 있는 가장 적은 비트 수, 가장 효과적인 코딩 기술, 사전결정된 파라미터, 또는 관련 부분의 특성 등)에 기초한 예측 참조 정보 데이터의 코딩을 위해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시할 수 있으며, 인코더 모듈(403)은 모드 및 스플릿 정보의 연합 코딩을 위해 적응적 가변 길이 코딩을 실시하여 압축된 비디오 데이터(423)(예를 들면, 압축된 모드 및 참조 타입 데이터)를 생성할 수 있고, 이 데이터는 도시된 것처럼 비트스트림 조립기(408)로 전송될 수 있다.
또한, 일부 예에서, 인코더 모듈(404)은 코딩되거나 코딩되지 않은 데이터를 포함할 수 있는 비디오 데이터(414)를 수신할 수 있다. 예를 들면, 파티션(또는 서브-파티션)은 임의의 논제로(nonzero) 변환 계수를 갖는 경우라면 코딩될 수 있으며 파티션(또는 서브-파티션)은 모두 제로 변환 계수를 갖는 경우라면 코딩되지 않을 수 있다. 일부 예에서, 코딩되거나 코딩되지 않은 데이터는 인트라 또는 스킵 모드를 가진 파티션에는 필요하지 않을 수 있다. 일부 예에서, 코딩되거나 코딩되지 않은 데이터는 자동, 인터 또는 멀티 모드를 가진 파티션에는 필요할 수 있다. 아래에서 도 6에 대하여 추가 설명되는 것처럼, 일부 예에서, 인코더 모듈(404)은 코딩되거나 코딩되지 않은 데이터와 연관된 파라미터(예를 들면, 비디오 데이터(414)의 달성할 수 있는 가장 적은 비트 수, 가장 효과적인 코딩 기술, 사전결정된 파라미터, 또는 관련 부분의 특성 등)에 기초하여 코딩되거나 코딩되지 않은 데이터에 대해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시하여 압축된 비디오 데이터(424)(예를 들면, 압축된 코딩되거나 코딩되지 않은 데이터)를 생성할 수 있으며, 이 데이터는 도시된 것처럼 비트스트림 조립기(408)로 전송될 수 있다.
일부 예에서, 인코더 모듈(405)은 변환 계수 데이터를 포함할 수 있는 변환 데이터(415)를 수신할 수 있다. 예를 들면, 코딩되는(예를 들면, 하나 이상의 논제로 변환 계수를 갖는) 블록 또는 파티션 또는 서브-파티션의 경우, 변환 계수 데이터가 엔트로피 인코딩을 위해 수신될 수 있다. 아래에서 도 6에 대하여 추가 설명되는 것처럼, 인코더 모듈(405)은 일차원에서 2라는 블록 또는 파티션 또는 서브-파티션 크기를 갖는 블록 또는 파티션 또는 서브-파티션(예를 들면, 2xK 파티션 또는 Kx2 크기의 파티션)에 대해 적응적 벡터 가변 길이 코딩을 실시할 수 있다. 또한, 인코더 모듈(405)은 4x4 크기의 블록 또는 파티션 또는 서브-파티션에 대해 적응적 1-차원 가변 길이 코딩을 실시하고, 모든 다른 블록 또는 파티션 또는 서브-파티션 크기(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32, 및 64x64 등등)에 대해 적응적 2-차원 가변 길이 코딩을 실시할 수 있다. 생성된 압축된 비디오 데이터(425)(예를 들면, 압축된 변환 데이터)는 도시된 것처럼 비트스트림 조립기(408)로 전송될 수 있다.
예를 들면, 변환 계수 데이터는 적응적 변환 모듈(108)에 의해 구현된 픽셀 데이터의 장방형(또는 정방형 등) 파티션 또는 픽셀 차 값의 장방형(또는 정방형 등)의 포워드 변환을 수행하고, 그 다음에 적응적 양자화 모듈(109)을 통한 결과 계수의 양자화를 수행한 결과로부터 생길 수 있다. 일부 예에서, 변환 계수 데이터는 스캐닝되고 인코더 모듈(405)를 통해 이를 1-차원 주파수 정렬된 파티션으로 변환할 수 있다. 이러한 변환은 임의의 파티션 크기(예를 들면, 24 이상 또는 32 이상의 파티션 크기), 상이한 데이터 타입(예를 들면, 인트라 또는 인터 파티션의 이산 코사인 변환 계수 또는 하이브리드 파라메트릭 하르(Haar) 변환 계수 등), 및/또는 상이한 양자화기 세트 특성(예를 들면, 양자화기 파라미터 및/또는 매트릭스의 각종 조합)에 매우 적응적일 수 있다. 또한, 블록 또는 파티션 또는 서브-파티션은 상이한 픽처 타입, 즉, I-픽처(예를 들면, 인트라 보상 단독), P-픽처(예를 들면, 예측적), 또는 F-픽처(예를 들면, 기능적)에 속할 수 있으며, 및/또는 상이한 타입의 신호 또는 데이터(예를 들면, 루마 또는 크로마 등)을 나타낼 수 있고, 이들은 상이한 양자화기 설정값에 따라서 양자화될 수 있다.
또한, 일부 예에서, 인코더 모듈(406)은 움직임 벡터 데이터를 포함할 수 있는 움직임 데이터(416)를 수신할 수 있다. 아래에서 도 6에 대하여 추가 설명되는 것처럼, 움직임 벡터 예측은 비디오 데이터(416)에 기초하여 수행되어 하나 이상의 예측된 움직임 벡터를 생성할 수 있다. 예측된 움직임 벡터는 비디오 데이터(416)의 원래의 움직임 데이터와의 차가 계산되어 차이 움직임 벡터를 생성할 수 있다. 일부 예에서, 인코더 모듈(416)은 차이 움직임 벡터(들)에 대해 적응적 분류된 가변 길이 코딩을 실시하여 압축된 비디오 데이터(426)(예를 들면, 압축된 움직임 데이터)를 생성할 수 있고, 이 데이터는 도시된 것처럼 비트스트림 조립기(408)로 전송될 수 있다.
또한, 일부 예에서, 인코더 모듈(407)은 인트라-예측 타입 또는 인트라-예측 방향 데이터를 포함할 수 있는 인트라-예측 데이터(417)를 수신할 수 있다. 예를 들면, 논의된 바와 같이, 인트라 코딩은 동일한 프레임 내에서 과거에 디코딩된 이웃 파티션(들)을 이용하여 공간 예측을 발생하는 예측을 사용할 수 있다. 그러한 예에서, 과거에 디코딩된 파티션 또는 파티션들을 표시하는 예측기가 있을 수 있다. 예를 들면, 예측기는 dc, 경사, 방향, BTPC, 또는 특징 매칭 등을 포함할 수 있다. 또한, 일부 예에서, 방향 예측기는 상이한 파티션 크기에 대해 적응적일 수 있다. 예를 들면, 방향 예측기를 명시하는 것은 인과 관계를 가진 이웃의 디코딩된 파티션을 이용하여 코딩을 위한 각도 예측 픽셀 파티션(들)을 결정하기 위한 기술을 제공하는 것 및/또는 공간 예측 방향을 엔트로피 코딩하기 위한 기술을 명시하는 것을 포함할 수 있다. 일부 예에서, 그러한 기술은 인코더 모듈(407)을 통해 수행될 수 있다. 아래에서 도 6에 대하여 추가 설명되는 것처럼, 일부 예에서, 인코더 모듈(407)은 인트라-예측 타입 또는 인트라-예측 방향 데이터와 연관된 파라미터(예를 들면, 비디오 데이터(417)의 달성할 수 있는 가장 적은 비트 수, 가장 효과적인 코딩 기술, 사전결정된 파라미터, 또는 특성 등)에 기초하여 인트라-예측 타입 또는 인트라-예측 방향 데이터에 대해 적응적 가변 길이 코딩 기술 또는 산술적 코딩 기술을 실시하여, 압축된 비디오 데이터(427)(예를 들면, 압축된 인트라-예측 데이터)를 생성할 수 있으며, 이 데이터는 도시된 것처럼 비트스트림 조립기(408)로 전송될 수 있다.
도 4에 도시된 바와 같이, 적응적 엔트로피 인코더(110)는 비트스트림 조립기(408)를 포함할 수 있다. 일부 예에서, 인코더 모듈(401-407) 중 일부 또는 모두는 시간적으로 상이한 순간에 엔트로피 코딩된 압축된 비디오 데이터(421-427)를 제공할 수 있다. 또한, 일부 예에서, 압축된 비디오 데이터(421-427)의 하나 또는 일부는 픽처 기반, 영역 또는 슬라이스 기반, 타일 기반, 예측 파티션 기반, 코딩 파티션 기반이거나, 또는 이들의 임의의 조합일 수 있다. 일부 예에서, 비트스트림 조립기는 (잠재적으로 상이한) 압축된 비디오 데이터(421-427)를 멀티플렉싱하여 예를 들면, 출력 비트스트림(111)과 같은 유효한 비트스트림을 생성할 수 있다. 예를 들면, 유효한 비트스트림은 유효한 차세대 비디오(NGV) 코딩된 비트스트림일 수 있고, 이 비트스트림은 NGV 비트스트림 신택스 사양을 추종할 수 있다. 일부 예에서, 출력 비트스트림(111)은 코딩되지 않거나 코딩된 오디오와 (예를 들면, 트랜스포트 또는 매체파일 포맷) 멀티플렉싱되어 멀티플렉싱된 오디오-비주얼 스트림을 생성할 수 있다. 아무튼, 비트스트림은 본 개시에서 논의된 것처럼 로컬 디코드, 저장, 또는 디코더로의 전송에 사용될 수 있다.
도 5는 본 개시의 적어도 일부의 구현예에 따라서 구성된, 일 예의 엔트로피 디코더 모듈(202)의 예시적인 다이어그램이다. 도시된 바와 같이, 엔트로피 디코더 모듈(202)은 비트스트림 헤더, 파라미터 및 맵 데이터 디코더 모듈(501), 픽처 파티션, 예측 파티션, 및 코딩 파티션 디코더 모듈(502), 코딩 모드 및 참조 타입 디코더 모듈(503), 코딩되거나 코딩되지 않은 데이터 디코더 모듈(504), 변환 계수 디코더 모듈(505), 움직임 벡터 및 차분 움직임 벡터 디코더 모듈(506), 인트라-예측 및 방향 데이터 디코더 모듈(507), 및/또는 비트스트림 분해기 모듈(508)을 포함할 수 있다. 본 개시의 설명에서, 모듈(501-507)은 각기 간결성을 위해 디코더 모듈(501), 디코더 모듈(505) 등으로 약칭될 수 있다.
도시된 바와 같이, 비트스트림 분해기 모듈(508)은 입력 비트스트림(201)을 수신할 수 있다. 일부 예에서, 입력 비트스트림(201)은 예를 들면, 유효한 차세대 비디오(NGV) 코딩된 비트스트림과 같은 유효한 비트스트림일 수 있고, 이 비트스트림은 NGV 비트스트림 신택스 사양을 추종할 수 있다. 일부 예에서, 입력 비트스트림(201)은 비디오 단독의 비트스트림일 수 있다. 일부 예에서, 입력 비트스트림(201)은 본 개시에서 논의된 바와 같이 멀티플렉싱된 오디오-비주얼 스트림일 수 있다. 비트스트림 분해기 모듈(508)은 비트스트림 입력 비트스트림(201)을 분해하여 도시된 것처럼 압축된 비디오 데이터(511-517)를 결정할 수 있다. 예를 들면, 비트스트림 분해기 모듈(508)은 사전에 정의된 신택스 또는 사양을 이용하여 입력 비트스트림(201)을 디코더 모듈(501-507)을 통한 압축분해를 위해 데이터 타입별로 컴포넌트 압축된 비디오 데이터(511-517)로 분리할 수 있다. 일부 예에서, 비트스트림 분해기 모듈(508)은 비트스트림 조립기(408)에 대하여 역 동작을 수행할 수 있다.
도 5에 도시된 바와 같이, 디코더 모듈(501 내지 507)은 각기 압축된 비디오 데이터(511-517)를 수신할 수 있으며, 비디오 데이터(521-527)를 생성할 수 있다. 비디오 데이터(521-527)는 본 개시에서 논의된 바와 같이 추가 디코딩을 위해 디코더(200)의 여러 컴포넌트로 전송될 수 있다. 따라서 디코더(200)는 디스플레이 장치(도시되지 않음)를 통해 사용자에게 보여주기 위한 비디오 프레임(들)을 생성할 수 있다. 일부 예에서, 디코더 모듈(501 내지 507)은 각기 인코더 모듈(2501-2507)에 대하여 역 동작을 수행할 수 있다. 일부 예에서, 디코더 모듈(501-507)은 각기 압축된 비디오 데이터(511-517)와 연관된 데이터 타입을 효과적으로 엔트로피 디코딩하기 위한 하나 이상의 특화된 컴포넌트(들)를 포함할 수 있다.
예를 들면, 디코더 모듈(501)은 압축된 비트스트림 헤더 데이터(예를 들면, 시퀀스 및/또는 픽처 레벨 비트스트림 헤더) 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터(예를 들면, 파티션 단위로 사용될 양자화기를 표시하는 픽처의 양자화기 맵)를 포함할 수 있는 압축된 오버헤드 데이터(511)를 수신할 수 있다. 일부 예에서, 디코더 모듈(511)은 압축된 오버헤드 데이터(511)의 복원을 위해 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 또는 가변 길이 코딩 테이블이나 테이블들을 실시하여 오버헤드 데이터(521)를 생성할 수 있다. 일부 예에서, 디코더 모듈(501)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 어느 코딩 기술을 실시할지 결정할 수 있다.
도시된 바와 같이, 일부 예에서, 디코더 모듈(502)은 압축된 픽처 슬라이스 또는 영역 데이터, 인트라-예측 파티션 데이터, 및/또는 인터-예측 파티션 데이터를 포함할 수 있는 압축된 파티션 데이터(512)를 수신할 수 있다. 일부 예에서, 디코더 모듈(502)은 압축된 파티션 데이터(512)의 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터 부분의 복원을 위해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시하며, 디코더 모듈(502)은 압축된 파티션 데이터(512)의 슬라이스 또는 영역 데이터 부분의 복원을 위해 적응적 코드북 가변 길이 코딩을 실시하여 비디오 데이터(522)를 생성할 수 있다. 일부 예에서, 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터는 타일을 파티션으로, 파티션을 서브-파티션으로 분할하는 것 등을 표시하는 데이터를 포함할 수 있다. 일부 예에서, 파티션 및/또는 서브-파티션은 예측 파티션 및/또는 서브-파티션을 포함할 수 있다. 일부 예에서, 파티션 및/또는 서브-파티션은 코딩 파티션 및/또는 서브-파티션을 포함할 수 있다. 일부 예에서, 디코더 모듈(502)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 압축된 비디오 데이터(512)의 인트라-예측 파티션 데이터 및/또는 인터-예측 파티션 데이터 부분의 복원을 위해 어느 코딩 기술을 실시할지 결정할 수 있다.
또한, 일부 예에서, 디코더 모듈(503)은 각 예측 파티션마다 압축된 모드(예를 들면, 인트라, 스플릿, 스킵, 자동, 인터, 또는 멀티) 데이터 및/또는 참조 데이터를 포함할 수 있는 압축된 모드 및 참조 타입 데이터(513)를 수신할 수 있다. 예를 들면, 모드 스플릿 정보는 파티션이 더 나누어지는지 아닌지를 표시할 수 있다. 만일 파티션이 더 나누어진다면, 모드 데이터는 스플릿가 수평 스플릿(예를 들면, hor)인지 아니면 수직 스플릿(예를 들면, vert)인지를 표시하는 방향 정보를 더 포함할 수 있다. 일부 예에서, 디코더 모듈(503)은 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩의 복원, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩의 복원, 또는 예측 참조 정보 데이터의 복원을 위해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시할 수 있으며, 디코더 모듈(503)은 모드 및 스플릿 정보의 연합 코딩의 복원을 위해 적응적 가변 길이 코딩을 실시하여 모드 및 참조 타입 데이터(523)를 생성할 수 있다. 일부 예에서, 디코더 모듈(503)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩의 복원, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩의 복원, 또는 예측 참조 정보 데이터의 복원을 위해 어느 코딩 기술을 실시할지 결정할 수 있다.
또한, 일부 예에서, 디코더 모듈(504)은 본 개시에서 논의된 것처럼 코딩되거나 코딩되지 않은 데이터를 포함할 수 있는 압축된 코딩되거나 코딩되지 않은 데이터(514)를 수신할 수 있다. 예를 들면, 파티션(또는 서브-파티션)은 임의의 논제로 변환 계수를 갖는 경우라면 코딩될 수 있으며 파티션(또는 서브-파티션)은 모두 제로 변환 계수를 갖는 경우라면 코딩되지 않을 수 있다. 일부 예에서, 코딩되거나 코딩되지 않은 데이터는 인트라 또는 스킵 모드를 가진 파티션에는 필요하지 않을 수 있다. 일부 예에서, 코딩되거나 코딩되지 않은 데이터는 자동, 인터 또는 멀티 모드를 가진 파티션에는 필요할 수 있다. 일부 예에서, 디코더 모듈(504)은 코딩되거나 코딩되지 않은 데이터의 복원을 위해 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술을 실시하여 코딩되거나 코딩되지 않은 데이터(524)를 생성할 수 있다. 일부 예에서, 디코더 모듈(504)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 복원을 위해 어느 코딩 기술을 실시할지 결정할 수 있다.
도시된 바와 같이, 일부 예에서, 변환 계수 디코더 모듈(505)은 변환 계수 데이터를 포함할 수 있는 압축된 변환 데이터(515)를 수신할 수 있다. 예를 들면, 코딩되는(예를 들면, 하나 이상의 논제로 변환 계수를 갖는) 블록 또는 파티션 또는 서브-파티션의 경우, 압축된 변환 데이터(515)는 변환 계수 데이터를 포함할 수 있다. 일부 예에서, 디코더 모듈(505)은 일차원에서 2라는 블록 또는 파티션 또는 서브-파티션 크기를 갖는 블록 또는 파티션 또는 서브-파티션(예를 들면, 2xK 파티션 또는 Kx2 크기의 파티션)의 복원을 위해 적응적 벡터 가변 길이 코딩을 실시할 수 있다. 또한, 디코더 모듈(505)은 4x4 크기의 블록 또는 파티션 또는 서브-파티션의 복원을 위해 적응적 1-차원 가변 길이 코딩을 실시하고, 모든 다른 블록 또는 파티션 또는 서브-파티션 크기(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32, 및 64x64 등)의 복원을 위해 적응적 2-차원 가변 길이 코딩을 실시할 수 있다. 생성된 변환 데이터(525)는 도시된 것처럼 디코더(200)의 다른 모듈(들)로 전송될 수 있다.
또한, 일부 예에서, 디코더 모듈(506)은 움직임 벡터 데이터를 포함할 수 있는 압축된 움직임 데이터(516)를 수신할 수 있다. 아래에서 도 6에 대하여 추가 설명되는 것처럼, 일부 예에서, 압축된 움직임 데이터(516)는 적응적 분류된 가변 길이 코딩을 이용하여 복원되어 예측된 차이 움직임 벡터를 생성할 수 있다. 예측된 차이 움직임 벡터는 움직임 벡터 예측에 가산되어 재구성된 움직임 벡터를 생성할 수 있다. 움직임 벡터 예측은 예를 들면, 인코더 모듈(2506)을 통해 실시된 기술을 역으로 이용하여 이웃 블록 또는 파티션의 이전에 디코딩된 움직임 벡터, 및/또는 움직임 벡터에 기초하여 생성될 수 있다. 재구성된 움직임 벡터는 도시된 바와 같이 움직임 데이터(526)를 통해 디코더(200)의 다른 모듈(들)로 전송될 수 있다.
또한, 일부 예에서, 디코더 모듈(507)은 인트라-예측 타입 또는 인트라-예측 방향 데이터를 포함할 수 있는 압축된 인트라-예측 데이터(517)를 수신할 수 있다. 예를 들면, 논의된 바와 같이, 인트라 코딩은 동일한 프레임 내에서 과거에 디코딩된 이웃 파티션(들)을 이용하여 공간 예측을 발생하는 예측을 사용할 수 있다. 그러한 예에서, 과거에 디코딩된 파티션 또는 파티션들을 표시하는 예측기가 있을 수 있다. 예를 들면, 예측기는 dc, 기울기, 방향, BTPC, 또는 특징 매칭 등을 포함할 수 있다. 또한, 일부 예에서, 방향 예측기는 상이한 파티션 크기에 대해 적응적일 수 있다. 예를 들면, 방향 예측기를 명시하는 것은 인과 관계를 가진 이웃의 디코딩된 파티션을 이용하여 코딩을 위한 각도 예측 픽셀 파티션(들)을 결정하기 위한 기술을 제공하는 것 및/또는 공간 예측 방향을 엔트로피 코딩하기 위한 기술을 명시하는 것을 포함할 수 있다. 일부 예에서, 디코더 모듈(517)은 인트라-예측 타입 또는 인트라-예측 방향 데이터의 복원을 위해 적응적 가변 길이 코딩 기술 또는 산술적 코딩 기술을 실시하여, 인트라-예측 데이터(527)를 생성할 수 있다. 일부 예에서, 디코더 모듈(507)은 비트스트림(201)을 통해 제공되는 파라미터 또는 지시자에 기초하여 복원을 위해 어느 코딩 기술을 실시할지 결정할 수 있다.
앞에서 논의된 바와 같이, 엔트로피 인코더에서 비디오 데이터의 무손실 압축을 위해 각종 데이터 타입에 대해 각종 엔트로피 코딩 기술이 실시되어 압축된 비디오 데이터를 생성할 수 있고 엔트로피 디코더에서 압축된 비디오 데이터의 복원을 위해 엔트로피 코딩 기술이 실시되어 복제된 비디오 데이터를 생성할 수 있다.
일부 예에서, 적응적 심볼-런 가변 길이 코딩 기술이 실시될 수 있다. 예를 들면, 인코더 및 디코더 모듈(401, 501, 402, 502, 403, 503, 및/또는 404, 504)은 비디오 데이터 또는 압축된 수신 비디오 데이터의 일부 또는 모두에 대해 적응적 심볼-런 가변 길이 코딩 기술을 실시할 수 있다.
일부 예에서, 적응적 심볼-런 가변 길이 코딩 기술은 비디오 코딩 시 프레임 내 논-스킵 블록들 사이에서 어드레스의 상대적인 차를 코딩하는 것으로 이는 연속하여 스킵된 블록의 개수를 결정하게 해준다. 예를 들면, 인코더 및 디코더 모듈(504, 504)을 통해 인코딩 및 디코딩될 때 코딩되거나 코딩되지 않은 데이터의 맥락에서, 각 블록마다 하나의 비트를 신호 코딩되거나 코딩되지 않은 (예를 들면, 스킵된) 블록으로 송신(예를 들면, 비트-맵)하는 대신, 예를 들면, 인코더 모듈(2504)은 스킵된 블록의 길이(run)를 인코딩할 수 있다. 그러한 구현예에서, 스킵된 블록의 길이가 길수록, 더 효과적으로 데이터가 압축될 수 있다.
또한, 본 개시에서 기술된 바와 같이 적응적 심볼-런 가변 길이 코딩 기술에는 여러 타입의 적응성, 즉, 복수개 테이블을 사용하게 할 수 있는 적응성, 이런 방식의 코딩을 원 비트 맵 데이터, 반전된 비트맵, 차분 비트맵, 또는 그레디언트 예측 비트맵 등에 대해 수행하여 사용할 수 있게 하는 적응성이 추가될 수 있다. 예를 들면, 적응적 심볼-런 가변 길이 코딩 기술은 제 1 비디오 데이터를 비트 맵 데이터로부터 반전된 비트 맵, 차분 비트 맵, 또는 그레디언트 예측 비트 맵 중 적어도 하나로 변환한 다음 적응적 심볼-런 가변 길이 코디응ㄹ 적용하는 것을 포함할 수 있다. 예를 들면, 적응적 심볼-런 가변 길이 코딩 기술은 실질적으로 임의 형태의 이벤트(예를 들면, 심볼/런의 결합)를 엔트로피 인코딩하는데 사용될 수 있다. 또한, 심볼/런 이벤트는 멀티-레벨(예를 들면, 0, 1, 2, 3 등) 또는 이진(예를 들면, 0, 1) 이벤트를 코딩하는데 사용될 수 있다. 멀티-레벨 이벤트가 인코딩되는 예에서, 적응적 심볼-런 가변 길이 코딩 기술은 여러 번 연속하여 적용되어, 멀티-레벨 맵을 복수의 이진 서브-맵으로 갈라 놓게 하여, 각각의 이전 서브-맵이 다음번 레벨의 서브-맵 등에서 제외되게 할 수 있다.
일부 예에서, 적응적 프록시 가변 길이 코딩 기술이 실시될 수 있다. 예를 들면, 인코더 및 디코더 모듈(401, 501, 402, 502, 403, 및/또는 404, 504)은 비디오 데이터 또는 압축된 수신 비디오 데이터의 일부 또는 모두에 대해 적응적 프록시 가변 길이 코딩을 실시할 수 있다.
일부 예에서, 적응적 프록시 가변 길이 코딩 기술은 비트의 원 고정 길이 1D 블록(예를 들면, 그룹)을 가변 길이 코드(예를 들면, 비트의 시퀀스 패턴)로 대체하는 기술을 포함하며 그래서 이 교체 후 결과적인 비트스트림이 크기가 더 작아질 수 있다. 일부 예에서, 디코더에서, 이 프로세스가 반복(또는 역으로 반복)되어 원래 의도한 비트스트림이 만들어질 수 있다. 일부 예에서, 대체되는 비트의 원 블록은 작은 고정 크기(예를 들면, 2 비트의 그룹, 3비트의 그룹, 또는 4비트의 그룹 등)를 가질 수 있다. 일부 예에서, 대체 코드는 사실 작은 크기이고 가변 길이를 가질 수 있다. 일부 예에서, 본 개시에서 논의된 적응적 프록시 가변 길이 코딩은 짧은 VLC(예를 들면, 가변 길이 코드)라고 특징질 수 있다. 또한, 본 개시에서 논의된 적응적 프록시 가변 길이 코딩 기술은 복수의 대체 옵션을 제공함으로써 콘텐츠에 적응적일 수 있다. 일부 예에서, 1-차원 블록/2 비트의 그룹은 1-3 비트 길이의 코드로 대체될 수 있다. 일부 예에서, 1-차원 블록/2 비트 코드의 그룹(또는 블록/그룹의 더미)은 1-5 비트 길이 코드로 대체될 수 있다. 일부 예에서, 적응적 프록시 가변 길이 코딩 기술은 비트스트림 내에서 통계적 리던던시를 이용할 수 있다. 일부 예에서, 적응적 프록시 가변 길이 코딩 기술은 약 1-1.3의 압축 이득을 제공할 수 있다. 일부 예에서, 적응적 프록시 가변 길이 코딩 기술은 짧은 비트 시퀀스로 적용할 수 있게 수정가능하다는 장점을 제공할 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술(an adaptive block-of-symbols variable length coding technique)이 실시될 수 있다. 예를 들면, 인코더 및 디코더 모듈(405, 405)은 비디오 데이터 또는 압축된 수신 비디오 데이터의 일부 또는 모두에 대해 적응적 블록-오브-심볼 가변 길이 코딩 기술을 실시할 수 있다.
일부 예에서, 도 7에 대하여 추가 설명되는 것처럼, 적응적 블록-오브-심볼 가변 길이 코딩 기술은 두 가지의 서브-코딩 기술을 포함할 수 있다. 예를 들면, 적응적 블록-오브-심볼 가변 길이 코딩 기술은 적응 벡터 가변 길이 코딩 기술 및 적응 1D/2D(1-차원/2-차원) 가변 길이 코딩 기술을 포함할 수 있다. 일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술은 본 개시에서 논의된 바와 같이 변환 계수의 블록과 같이 밀접한 관계를 갖는 심볼들의 블록을 인코딩하는데 사용될 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술 중 적응 벡터 가변 길이 코딩 기술은 공동 단일 코드워드(joint single codeword)를 사용하여 비교적 작은 2D 블록 또는 심볼의 파티션을 인코딩할 수 있고, 그래서 심볼의 블록을 코딩한 결과 VLC(가변 길이 코딩) 코드북이 만들어질 수 있다. 일부 예에서, 블록 또는 파티션의 크기가 클수록, 코드북의 크기가 커진다. 일부 예에서, 적응 벡터 가변 길이 코딩 기술은 일차원에서 2라는 크기를 가진 블록 또는 파티션 크기(예를 들면, 2xK 또는 Kx2 블록 또는 파티션)에 적용될 수 있다. 적응 벡터 가변 길이 코딩 기술을 그러한 크기의 블록 또는 파티션에 적용함으로써, VLC의 크기는 유리하게 한정될 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술 중 적응 1D 가변 길이 코딩 기술은 4x4 변환 계수 블록 또는 파티션 크기를 코딩하는데 사용될 수 있고, 이는 본질적으로 CAVLC 코더와 동일하다. 이러한 코더는 기본적으로 4x4를 코딩하기 위해 사용된다. 일부 예에서, 적응 1D 가변 길이 코딩 기술은 코딩되는 계수(들)의 맥락에 기초하여 사용되는 복수의 상이한 VLC 테이블을 가진 콘텐츠 적응적 가변 길이 코딩 기술을 통해 구현될 수 있다. 예를 들면, 코딩되는 계수(들)의 맥락에 기초하여, 인코더 및/또는 디코더 모듈(505, 505)은 VLC 테이블을 VLC 테이블들을 전환시킬 수 있다.
일부 예에서, 적응적 블록-오브-심볼 가변 길이 코딩 기술 중 적응 2D 가변 길이 코딩 기술은 심볼 블록의 이차원 특성을 활용하여 상황에 따라서 복수의 상이한 VLC 테이블들 사이에서 전환할 수 있다. 일부 예에서, 적응 1D/2D 가변 길이 코딩 기술은 CA2DVLC (Content Adaptive 2D Variable Length (콘텐츠 적응적 2D 가변 길이) 코더라고 특징질 수 있다. 일부 예에서, 적응 1D/2D 가변 길이 코딩 기술은 2xK, Kx2 블록 및 4x4 블록(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32, 및 64x64 등)을 제외한 모든 나머지 변환 계수 블록 또는 파티션 크기를 인코딩하는데 사용될 수 있다.
도 6 은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 엔트로피 인코더 모듈(110)의 예시적인 다이어그램이다. 도 4에 대하여 앞에서 도시되고 논의된 것처럼, 엔트로피 인코더 모듈(110)은 비트스트림 헤더, 파라미터 및 맵 데이터 인코더 모듈(401), 픽처 파티션, 예측 파티션, 및 코딩 파티션 인코더 모듈(402), 코딩 모드 및 참조 타입 인코더 모듈(403), 코딩되거나 코딩되지 않은 데이터 인코더 모듈(404), 변환 계수 인코더 모듈(405), 움직임 벡터 및 차분 움직임 벡터 인코더 모듈(406), 인트라-예측 및 방향 데이터 인코더 모듈(407), 및/또는 비트스트림 조립기 모듈(408)를 포함할 수 있다.
도시된 바와 같이, 인코더 모듈(401)은 비트스트림 헤더, 파라미터, 및 맵 데이터 모듈용 적응적 VLC, 심볼-런 VLC, 및/또는 프록시 VLC 인코더(611)를 포함할 수 있으며, 비디오 데이터(411)를 수신할 수 있다. 비디오 데이터(411)는 비디오 데이터(411)가 비트스트림 헤더 데이터(예를 들면, 시퀀스 및/또는 픽처 레벨 비트스트림 헤더), 모핑 파라미터, 합성 파라미터, 및/또는 글로벌 맵 데이터(예를 들면, 파티션 기준으로 사용되는 양자화기를 표시하는 픽처의 양자화기 맵)를 포함할 수 있도록 데이터 타입을 가질 수 있다. 일부 예에서, 엔트로피 인코딩 기술은 파라미터, 파라미터들 또는 비디오 데이터(411)의 특성, 또는 다른 시스템 파라미터를 기초로 하여 비디오 데이터(411)에 대해 결정될 수 있다. 일부 예에서, 비디오 데이터(411)에 대한 엔트로피 인코딩 기술은 전술한 바와 같이 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나, 또는 가변 길이 코딩 테이블 또는 테이블 압축 기술일 수 있다. 결정된 엔트로피 인코딩 기술은 비디오 데이터(411)에 적용되어 압축된 비디오 데이터(421)를 생성할 수 있다. 가변 길이 코딩 테이블 또는 테이블들의 압축 기술은 예를 들면, 비디오 데이터(411)에 기초하여 코딩을 하는데 사용가능한 하나 이상의 테이블을 갖는 콘텐츠 적응적 가변 길이 코딩 기술을 포함할 수 있다. 일부 예에서, 인코더 모듈(404)은 비디오 데이터(411)와 연관된 파라미터(들)가 각 코딩 기술 등에 필요한 비트의 수일 수 있도록 어떤 기술이 가장 큰 압축 효율(예를 들면, 압축된 비디오 데이터(421)에 필요한 가장 적은 비트)을 제공하는지를 결정할 수 있다. 일부 예에서, 비디오 데이터(411)에 연관된 파라미터는 인코딩 기술이 수신된 비디오 데이터에 적응적일 수 있도록 비디오 데이터의 특성에 기초하여 결정될 수 있다.
도 6에 도시된 바와 같이, 인코더 모듈(402)은 픽처 파티션 모듈용 적응적 코드북 VLC 인코더(621), 인트라-예측 파티션 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(622), 및/또는 인터-예측 파티션 및 코딩 파티션 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(623)를 포함할 수 있다. 또한, 도시된 바와 같이, 인코더 모듈(402)은 비디오 데이터(412)를 수신할 수 있다. 일부 예에서, 비디오 데이터(412)는 픽처 슬라이스 또는 영역 데이터(624), 인트라-예측 파티션 데이터(625), 및/또는 인터-예측 및 코딩 파티션 데이터(626)을 포함할 수 있다.
도시된 바와 같이, 픽처 슬라이스 또는 영역 데이터(624)는 픽처 파티션 모듈용 적응적 코드북 VLC 인코더(621)를 통해 수신될 수 있으며, 이 모듈은 적응적 코드북 가변 길이 코딩을 픽처 슬라이스 또는 영역 데이터(624)에 적용하여 압축된 픽처 슬라이스 또는 영역 데이터(627)를 생성할 수 있다. 일부 예에서, 픽처 슬라이스 또는 영역 데이터(624)는 픽처, 슬라이스, 영역 등의 영역 경계를 포함할 수 있다. 일부 예에서, 적응적 코드북 가변 길이 코딩은 팩쳐 슬라이스 또는 영역 데이터(624)의 콘텐츠 또는 기타 시스템 파라미터 등에 적응적인 코드북을 사용하여 콘텐츠 적응적 가변 길이 코딩을 포함할 수 있다.
도시된 바와 같이, 인트라-예측 파티션 데이터(625)는 인트라-예측 파티션 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(622)를 통해 수신될 수 있다. 일부 예에서, 엔트로피 인코딩 기술은 본 개시에서 논의된 것처럼, 파라미터, 파라미터들 또는 인트라-예측 파티션 데이터(625)의 특성 또는 다른 시스템 파라미터(예를 들면, 압축 효율, 데이터의 특성 등)에 기초하여 인트라-예측 파티션 데이터(625)에 대해 결정된다. 결정된 엔트로피 인코딩 기술은 인트라-예측 파티션 데이터(625)에 적용되어 압축된 인트라-예측 파티션 데이터(628)를 생성할 수 있다. 도시된 바와 같이, 일부 예에서, 인트라-예측 파티션 데이터(625)에 대한 엔트로피 인코딩 기술은 전술한 바와 같이, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나일 수 있다. 일부 예에서, 인트라-예측 파티션 데이터(625)는 바이-트리 분할 또는 k-d 트리 분할 등에 기초한 파티션을 포함할 수 있다.
도시된 바와 같이, 인터-예측 및 코딩 파티션 데이터(626)는 인터-예측 파티션 및 코딩 파티션 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(623)를 통해 수신될 수 있다. 일부 예에서, 엔트로피 인코딩 기술은, 본 개시에서 논의된 것처럼, 인터-예측 및 코딩 파티션 데이터(626)의 파라미터, 파라미터들 또는 특성 또는 기타 시스템 파라미터(예를 들면, 압축 효율, 데이터의 특성 등)에 기초하여 인터-예측 및 코딩 파티션 데이터(626)에 대해 결정될 수 있다. 결정된 엔트로피 인코딩 기술은 인터-예측 및 코딩 예측 데이터(626)에 적용되어 인터-예측 및 코딩 파티션 데이터(629)를 생성할 수 있다. 도시된 바와 같이, 일부 예에서, 인터-예측 및 코딩 파티션 데이터(626)에 대한 엔트로피 인코딩 기술은, 전술한 바와 같이, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나일 수 있다. 일부 예에서, 인터-예측 및 코딩 파티션 데이터(426)는 인터-파티션 및 코딩 트리 파티션 등을 포함할 수 있다.
도 6에 도시된 바와 같이, 인코더 모듈(403)은 조인트 모드 및 스플릿 모듈용 적응적 VLC 인코더(631), 모드 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(632), 스플릿 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(633), 및/또는 참조 타입 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(634)를 포함할 수 있다. 일부 예에서, 비디오 데이터(412)는 모드 및 스플릿 데이터(635), 모드 정보 데이터(638), 스플릿/낫(not)-스플릿 정보 데이터(637), 및/또는 예측 참조 정보 데이터(638)의 조인트 코딩일 수 있다.
도시된 바와 같이, 모드 및 스플릿 데이터(635)의 조인트 코딩은 조인트 모드 및 스플릿 모듈용 적응적 VLC 인코더(631)를 통해 수신될 수 있으며, 이 인코더는 모드 및 스플릿 데이터(635)의 조인트 코딩에 적응적 가변 길이 코딩을 적용하여 모드 및 스플릿 데이터(639)의 압축된 조인트 코딩을 생성할 수 있다. 일부 예에서, 적응적 가변 길이 코딩은 모드 및 스플릿 데이터(635)의 조인트 코딩의 콘텐츠 또는 다른 시스템 파라미터 등에 적응적인 콘텐츠 적응적 가변 길이 코딩을 포함할 수 있다.
논의된 것처럼, 일부 예에서, 모드 및 스플릿 데이터는 조인트 모드 및 스플릿 모듈용 적응적 VLC 인코더(631)를 통해 연합하여 코딩될 수 있다. 일부 예에서, 모드 및 스플릿 데이터는, 아래에서 기술되는 것처럼, 모드 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(632) 및 스플릿 모듈용 심볼-런 VLC 및/또는 프록시 VLC 인코더(633)를 통해 별도로 코딩될 수 있다. 일부 예에서, 인코더(100)는 (예를 들면, 적응적 엔트로피 인코더(110) 및/또는 인코딩 제어기(103)를 통해) 어느 기술이 데이터를 가장 효율적으로 압축하는지를 결정하는 코딩 기술을 비교한 결과에 따라서 연합하여 또는 별도로 코딩할 수 있다.
도시된 바와 같이, 모드 정보 데이터(636)는 심볼-런 VLC 및/또는 모드 모듈(632)을 위한 프록시 VLC 인코더를 통해 수신될 수 있다. 일부 예에서, 엔트로피 인코딩 기술은, 본 개시에서 논의된 것처럼, 파라미터, 파라미터들 또는 모드 정보 데이터(636)의 또는 특성 또는 다른 시스템 파라미터(예를 들면, 압축 효율, 데이터의 특징 등)에 기초하여 모드 정보 데이터(636)에 대하여 결정될 수 있다. 결정된 엔트로피 인코딩 기술은 모드 정보 데이터(636)에 적용되어 압축된 모드 정보 데이터(642)를 생성할 수 있다. 도시된 바와 같이, 일부 예에서, 모드 정보 데이터(636)에 대한 엔트로피 인코딩 기술은 전술한 바와 같이, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술일 수 있다.
도시된 바와 같이, 스플릿/낫-스플릿 정보 데이터(637)는 심볼-런 VLC 및/또는 스플릿 모듈용 프록시 VLC 인코더(633)를 통해 수신될 수 있다. 일부 예에서, 엔트로피 인코딩 기술은, 본 개시에서 논의된 것처럼, 파라미터, 파라미터들, 또는 스플릿/낫-스플릿 정보 데이터(637)의 특성, 또는 다른 시스템 파라미터(예를 들면, 압축 효율, 데이터의 특성 등)에 기초하여 스플릿/낫-스플릿 정보 데이터(637)에 대해 결정될 수 있다. 결정된 엔트로피 인코딩 기술은 스플릿/낫-스플릿 정보 데이터(637)에 적용되어 압축된 스플릿/낫-스플릿 정보 데이터(643)를 생성할 수 있다. 도시된 바와 같이, 일부 예에서, 스플릿/낫-스플릿 정보 데이터(637)에 대한 엔트로피 인코딩 기술은 전술한 바와 같이, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나일 수 있다.
도시된 바와 같이, 예측 참조 정보 데이터(638)는 참조 타입 모듈용 심볼-VLC 및/또는 프록시 VLC 인코더(634)를 통해 수신될 수 있다. 일부 예에서, 엔트로피 인코딩 기술은, 본 개시에서 논의된 것처럼, 파라미터, 파라미터들, 또는 예측 참조 정보 데이터(638)의 특성 또는 다른 시스템 파라미터(예를 들면, 압축 효율, 데이터의 특성 등)에 기초하여 예측 참조 정보에 대해 결정될 수 있다. 결정된 엔트로피 인코딩 기술은 예측 참조 정보 데이터(638)에 적용되어 압축된 예측 참조 정보 데이터(644)를 생성할 수 있다. 도시된 바와 같이, 일부 예에서, 예측 참조 정보 데이터(638)에 대한 엔트로피 인코딩 기술은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나일 수 있다.
도시된 바와 같이, 인코더 모듈(404)은 코딩되거나 코딩되지 않은 데이터용 심볼-런 VLC 및/또는 프록시 VLC 인코더(641)를 포함할 수 있으며 비디오 데이터(414)를 수신할 수 있다. 비디오 데이터(414)는 비디오 데이터(411)가 코딩되거나 코딩되지 않은 데이터일 수 있도록 데이터 타입을 갖는다. 예를 들어, 만일 파티션(또는 서브-파티션)이 임의의 논제로 변환 계수를 가지면, 파티션은 코딩될 수 있으며 만일 파티션(또는 서브-퍼티션)이 모두 제로 변환 계수를 가지면 파티션은 코딩되지 않을 수 있다. 일부 예에서, 코딩되거나 코딩되지 않은 데이터는 인트라 또는 스킵 모드를 갖는 파티션에 대하여는 필요하지 않을 수 있다. 일부 예에서, 코딩되거나 코딩되지 않은 데이터는 자동, 인터, 또는 다중-모드를 갖는 파티션에 대하여는 필요하지 않을 수 있다. 일부 예에서, 엔트로피 인코딩 기술은 하나의 파라미터, 파라미터들, 비디오 데이터(414)의 특성, 또는 다른 시스템 파라미터에 기초하여 비디오 데이터(414)에 대해 결정될 수 있다. 일부 예에서, 비디오 데이터(414)에 대한 엔트로피 인코딩 기술은, 전술한 바와 같이, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나일 수 있다. 결정된 엔트로피 인코딩 기술은 비디오 데이터(414)에 적용되어 압축된 비디오 데이터(424)를 생성할 수 있다. 일부 예에서, 논의된 것처럼, 인코더 모듈(404)은 비디오 데이터(411)와 연관된 파라미터(들)가 각각의 코딩 기술 등에 필요한 비트 수가 될 수 있도록 어느 기술이 가장 큰 압축 효율을 제공하는지를 결정할 수 있다. 일부 예에서, 비디오 데이터(411)에 연관된 파라미터는 결정된 인코딩 기술이 수신된 비디오 데이터에 적응적일 수 있도록 비디오 데이터의 특성에 기초할 수 있다.
도시된 바와 같이, 일부 예에서, 인코더 모듈(405)은 변환 계수 모듈용 적응적 벡터 VLC 인코더(651) 및/또는 변환 계수 모듈용 적응적 ID 및 2D VLC 인코더(652)를 포함할 수 있다.
도시된 바와 같이, 변환 계수 모듈용 적응적 벡터 VLC 인코더(651)는 변환 계수 데이터(653)를 수신할 수 있으며, 이 데이터는 일차원의 블록 또는 파티션 또는 서브-파티션 크기가 2인 블록 또는 파티션 또는 서브-파티션(예를 들면, 2xK 파티션 또는 Kx2 크기의 파티션)에 대한 변환 계수 데이터를 포함할 수 있다. 적응적 벡터 가변 길이 코딩 기술은 변환 계수 데이터(653)에 적용되어 압축된 변환 계수 데이터(655)를 생성할 수 있다. 일부 예에서, 적응적 벡터 가변 길이 코딩 기술은 블록 또는 파티션의 쿼드-트리 분할(a quad-tree division), 단일 인덱스 값으로 모든 계수를 표시하는 단일 벡터 코드워드로 쿼드-트리 분할을 통해 생성된 각각의 쿼드런트를 표시, 및 가변 길이 코딩 기술 등을 이용하여 코드워드를 엔트로피 코딩하는 것을 포함할 수 있다.
도시된 바와 같이, 변환 계수 모듈용 적응적 ID 및 2D VLC 인코더(652)는 변환 계수 데이터(654)를 수신할 수 있으며 블록이나 파티션 또는 크기가 4x4 인 서브-파티션에 대해 적응적 1-차원 가변 길이 코딩을 구현할 수 있고 모든 다른 블록이나 파티션 또는 크기(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32, 64x64 등)의 서브-파티션에 대해 적응적 2-차원 가변 길이 코딩을 실행할 수 있다. 논의된 것처럼, 변환 계수 데이터(653, 654)는 픽셀 데이터의 장방형 (또는 정방형 등) 또는 적응적 변환 모듈(108)을 통해 구현된 픽셀 차 값의 장방형(또는 정방형 등)의 포워드 변환, 그 뒤를 이어 적응적 양자화 모듈(109)을 통한 결과 계수의 양자화로부터 생성될 수 있다. 일부 예에서, 변환 계수 데이터는 스캔되고 인코더 모듈(405)을 통해 1-차원 주파수 정렬된 파티션으로 변환될 수 있다. 그러한 변환은 임의의 파티션 크기(예를 들면, 24 이상의 또는 32 이상의 파티션 크기), 상이한 데이터 타입(예를 들면, 인트라 또는 인터 파티션의 이산 코사인 변환 계수 또는 하이브리드 파라메트릭 하르(parametric Haar) 변환 계수), 및/또는 상이한 양자화기 세트 특tjd(예를 들면, 양자화기 파라미터 및/또는 매트릭스의 다양한 조합)에 매우 적응적일 수 있다. 또한, 블록 또는 파티션 또는 서브-파티션은 상이한 픽처 타입, 즉, I-픽처 (예를 들면, 인트라 보상 단독), P-픽처 (예를 들면, 예측) 또는 F-픽처(예를 들면, 기능적)에 속할 수 있으며/있고 상이한 타입의 신호 또는 데이터(예를 들면, 루마 또는 크로마 등)를 나타낼 수 있으며, 이는 상이한 양자화기 설정값으로 양자화될 수 있다.
도시된 바와 같이, 인코더 모듈(406)은 움직임 벡터 예측기 모듈(661), 움직임 벡터 차 모듈용 적응적 VLC 인코더(662), 및/또는 차분기(663)를 포함할 수 있다. 도시된 바와 같이, 인코더 모듈(406)은 움직임 벡터 데이터를 포함할 수 있는 비디오 데이터(416)를 움직임 벡터 예측기 모듈(661)을 통해 수신할 수 있다. 움직임 벡터 예측기 모듈(661)은 원(original) 움직임 벡터(들)를 이용하여 비디오 데이터(416) (예를 들어, 비디오 데이터(516)의 움직임 벡터)에 기초하여 움직임 벡터 예측을 수행하여 연관된 예측된 움직임 벡터(들)를 생성할 수 있다. 일부 예에서, 움직임 벡터 예측은 예측되는 움직임 벡터의 좌측, 우측, 상측 또는 하측으로 바로 이웃에 기초할 수 있다. 일부 예에서, 동일 또는 유사한 특성을 공유할 수 있는 다른 공간적 이웃이 사용될 수 있다. 예를 들어, 복수의 상이한 타입의 예측이 적응적으로 선택될 수 있으며 선택 정보는 비트스트림(111)을 통해 디코더(200)에 제공될 수 있다. 차분기(663)는 예측된 움직임 벡터(들) 및 원래의 움직임 벡터(들)의 차를 계산할 수 있다. 도시된 바와 같이, 움직임 벡터 차분기 모듈용 적응적 VLC 인코더(662)는 적응적 가변 길이 코딩 기술을 차분 움직임 벡터(들)에 적용하여 압축된 비디오 데이터(526)를 생성할 수 있다. 일부 예에서, 차분(예를 들면, 차) 움직임 벡터는 원래의 움직임 벡터의 범위의 두배를 가질 수 있다. 또한 l/8th 픽셀 정밀 움직임 보상은 차분 움직임 벡터의 범위를 인수 8만큼 확장시킬 수 있다. 일부 예에서, 그러한 확장에 대처하기 위해, 큰 공간(들)을 더 작은 서브간격으로 분류하고 서브간격 내의 벡터를 인덱싱하는 것이 사용될 수 있다.
도시된 바와 같이, 인코더 모듈(407)은 인트라-예측 및 방향 데이터 모듈용 적응적 VLC 및/또는 산술 인코더(671)를 포함할 수 있으며 비디오 데이터(417)를 수신할 수 있다. 비디오 데이터(517)는 비디오 데이터(417)가 인트라-예측 타입 또는 인트라-예측 방향 데이터를 포함할 수 있는 데이터 타입을 가질 수 있다. 일부 예에서, 본 개시에서 논의된 것처럼, 엔트로피 인코딩 기술은 파라미터, 파라미터들, 비디오 데이터(417)의 특성들 또는 다른 시스템 파라미터들(예를 들면, 압축 효율 등)에 기초하여 비디오 데이터(417)에 대해 결정될 수 있다. 일부 예에서, 비디오 데이터(417)에 대한 엔트로피 인코딩 기술은 전술한 바와 것처럼, 적응적 가변 길이 코딩 기술 또는 산술 코딩 기술 중 하나일 수 있다. 결정된 엔트로피 인코딩 기술은 비디오 데이터(417)에 적용되어 압축된 비디오 데이터(427)을 생성할 수 있다. 일부 예에서, 적응적 가변 길이 코딩 기술은 비디오 데이터(417)의 콘텐츠에 기초한 콘텐츠 적응적 가변 길이 코딩을 포함할 수 있다. 일부 예에서, 산술 코딩 기술은 비디오 데이터(417)의 콘텐츠에 기초한 콘텐츠 적응적 이진 산술 코딩을 포함할 수 있다. 일부 예에서, 비디오 데이터(417)는 9 이상의 예측 방향, 및 플래너, 이진 트리 예측 코딩(BTPC) 등을 포함하는 각종 예측 타입을 지원할 수 있다.
도 6에 도시되고 도 4에 대하여 앞에서 논의된 것처럼, (연관된 서브-모듈을 통해) 출력 인코더 모듈(401 내지 107)은 비트스트림 조립기(408)로 입력될 수 있으며, 이 조립기는 앞에서 논의된 것처럼, 비트스트림 신택스 당 포맷된 다중화된 비트스트림을 출력할 수 있다.
도 7은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 엔트로피 디코더 모듈(202)의 예시적인 다이어그램이다. 도 5에 대하여 도시되고 앞에서 논의된 것처럼, 엔트로피 디코더 모듈(202)은 헤더, 파라미터 및 맵 데이터 디코더 모듈(501), 픽처 파티션, 예측 파티션, 및 코딩 파티션 디코더 모듈(502), 코딩 모드 및 참조 타입 디코더 모듈(503), 코딩되거나 코딩되지 않은 데이터 디코더 모듈(504), 변환 계수 디코더 모듈(505), 움직임 벡터 및 차분 움직임 벡터 디코더 모듈(506), 인트라-예측 및 방향 데이터 디코더 모듈(507), 및/또는 비트스트림 분해기 모듈(508)을 포함할 수 있다. 일부 예에서, 엔트로피 디코더 모듈(202)(및 관련된 서브-모듈)은 엔트로피 인코더 모듈(110)(및 관련된 서브-모듈)에 대하여 반대의 기술을 수행할 수 있으며 따라서 인코더 모듈(및 서브-모듈) 및 디코더 모듈(및 서브-모듈) 사이에서 일 대 일 대응될 수 있다.
도시된 바와 같이, 비트스트림 분해기 모듈(508)은 입력 비트스트림(201)을 수신할 수 있다. 일부 예에서, 입력 비트스트림(201)은 예를 들면 유효 차세대 비디오 (NGV) 코딩된 비트스트림과 같은 유효 비트스트림일 수 있으며, 이 비트스트림은 본 개시에서 기술된 것처럼 NGV 비트스트림 신택스 사양 또는 임의의 유효 비트스트림을 준수할 수 있다. 도 5에 대해 설명된 바와 같이, 비트스트림 분해기 모듈(508)은 입력 비트스트림(201)을 분해하여 압축된 비디오 데이터(511-517)를 결정할 수 있고, 이 데이터는 아래에서 더 상세히 설명되는 것처럼 하나 이상의 컴포넌트 부품을 가질 수 있다. 예를 들어, 비트스트림 분해기 모듈(508)은 사전정의된 신택스 또는 사양을 사용하여 디코더 모듈(501-517)을 통해 압축분해를 위한 데이터 타입으로 입력 비트스트림(201)을 컴포넌트 압축된 비디오 데이터(511-517)로 분할하도록 할 수 있다. 일부 예에서, 비트스트림 분해기 모듈(508)은 비트스트림 조립기 모듈(308)에 대하여 역동작을 수행할 수 있다. 일부 예에서, 입력 비트스트림(201)의 분해는 역다중화로서 특징될 수 있다.
도시된 바와 같이, 디코더 모듈(501)은 헤더, 파라미터, 및 맵 데이터 모듈용 적응적 VLC, 심볼-런 VLC, 및/또는 프록시 VLC 디코더(711)를 포함할 수 있으며, 압축된 비디오 데이터(511)을 수신할 수 있다. 일부 예에서, 압축된 비디오 데이터(511)는 헤더 데이터(예를 들면, 시퀀스 및/또는 픽처 레벨 비트스트림 헤더), 모핑 파라미터, 합성 파라미터, 및/또는 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 또는 가변 길이 코딩 테이블 또는 테이블 압축 기술 중 하나를 이용하여 인코딩된 전역적 맵 데이터 엔트로피를 포함할 수 있다. 일부 예에서, 헤더, 파라미터, 및 맵 데이터 모듈용 적응적 VLC, 심볼-런 VLC, 및/또는 프록시 VLC 디코더(711)는 압축된 비디오 데이터(511)에 적용 가능한 엔트로피 디코딩 기술을 결정할 수 있으며 적용 가능한 기술을 이용하여 압축된 비디오 데이터(511)를 디코딩하여 비디오 데이터(521)를 생성할 수 있다. 일부 예에서, 적용 가능한 기술은 입력 비트스트림(201)을 통해 전달되는 지시자, 파라미터, 또는 헤더 데이터 등을 기초로 하여 결정될 수 있다.
도시된 바와 같이, 디코더 모듈(502)은 픽처 파티션 모듈용 적응적 코드북 VLC 디코더(721), 인트라-예측 파티션 데이터 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(722), 및/또는 인터-예측 파티션 및 코딩 파티션 데이터 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(723)를 포함할 수 있으며 압축된 비디오 데이터(512)를 수신할 수 있다.
도시된 바와 같이, 압축된 픽처 슬라이스 또는 영역 데이터(724)는 픽처 파티션 모듈용 적응적 코드북 VLC 디코더(721)를 통해 수신될 수 있다. 일부 예에서, 픽처 파티션 모듈용 적응적 코드북 VLC 디코더(721)는 적응적 코드북 가변 길이 코딩을 압축된 픽처 슬라이스 또는 영역 데이터(724)로 적용하여 픽처 슬라이스 또는 영역 데이터(727)을 생성할 수 있다. 논의된 것처럼, 적응적 코드북 가변 길이 코딩은 압축된 픽처 슬라이스 또는 영역 데이터(724) 또는 다른 시스템 파라미터 등의 콘텐츠에 적응적인 코드북을 이용하는 콘텐츠 적응적 가변 길이 코딩을 포함할 수 있다. 일부 예에서, 코드북은 픽처 파티션 모듈용 적응적 코드북 VLC 디코더(721)를 통해 구현될 수 있다.
도시된 바와 같이, 인트라-예측 파티션 데이터 심볼-런 VLC 및/또는 프록시 VLC 디코더(722)는 압축된 인트라-예측 파티션 데이터(725)를 수신할 수 있다. 일부 예에서, 압축된 인트라-예측 파티션 데이터(725)는 본 개시에 기술된 바와 같이, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나를 이용하여 인코딩된되는 압축된 인트라-예측 파티션 데이터 엔트로피를 포함할 수 있다. 일부 예에서, 인트라-예측 파티션 데이터용 심볼-런 VLC 및/또는 프록시 VLC 디코더(722)는 압축된 인트라-예측 파티션 데이터(725)에 적용 가능한 엔트로피 디코딩 기술을 결정하고 압축된 인트라-예측 파티션 데이터(725)를 엔트로피 디코딩하여 인트라-예측 파티션 데이터(728)을 생성할 수 있다. 일부 예에서, 적용가능한 코딩 기술은 입력 비트스트림(201)을 통해 전달되는 지시자, 파라미터, 또는 헤더 데이터를 기초로 결정될 수 있다.
도시된 바와 같이, 인터-예측 파티션 및 코딩 파티션 데이터 심볼-런 VLC 및/또는 프록시 VLC 디코더(723)는 압축된 인터-예측 및 코딩 파티션 데이터(726)을 수신할 수 있다. 일부 예에서, 압축된 인터-예측 및 코딩 파티션 데이터(726)는 본 개시에 기술된 것처럼, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나를 이용하여 엔트로피 인코딩된 인터-예측 및 코딩 파티션 데이터를 포함할 수 있다. 일부 예에서, 인터-예측 파티션 및 코딩 파티션 데이터 심볼-런 VLC 및/또는 프록시 VLC 디코더(723)는 압축된 인터-예측 및 코딩 파티션 데이터(726)를 압축하는데 적용가능한 엔트로피 디코딩 기술을 결정하고 압축된 인터-예측 및 코딩 파티션 데이터(726)를 엔트로피 디코딩하여 인터-예측 및 코딩 파티션 데이터(729)를 생성할 수 있다. 일부 예에서, 적용 가능한 코딩 기술은 입력 비트스트림(201)을 통해 전달되는 지시자, 파라미터들, 또는 헤더 데이터에 기초하여 결정될 수 있다.
도시된 바와 같이, 디코더 모듈(503)은 조인트 모드 및 스플릿 모듈용 적응적 VLC 디코더(731), 모드 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(732), 스플릿 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(733), 및/또는 참조 타입 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(734)를 포함할 수 있으며 압축된 비디오 데이터(513)를 수신할 수 있다.
인코더 모듈(403)에 대하여 논의된 것처럼, 일부 예에서, 모드 및 스플릿 데이터는 연합하여 코딩될 수 있으며, 일부 예에서는, 모드 및 스플릿 데이터는 별도로 코딩될 수 있다. 일부 예에서, 조인트 모드 및 스플릿 모듈용 적응적 VLC 디코더(731)는 코딩된 데이터를 조인트하여 디코딩할 수 있으며, 모드 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(732)와 스플릿 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(733)는 코딩된 데이터를 조인트하여 디코딩할 수 있다. 일부 예에서, 데이터가 연합하여 또는 별도로 코딩되는지 여부는 입력 비트스트림(201)을 통해 표시될 수 있다.
도시된 바와 같이, 모드 및 스플릿 데이터(735)의 압축된 조인트 코딩은 조인트 모드 및 스플릿 모듈용 적응적 VLC 디코더(731)를 통해 수신될 수 있다. 일부 예에서, 조인트 모드 및 스플릿 모듈용 적응적 VLC 디코더(731)는 적응적 가변 길이 코딩을 모드 및 스플릿 데이터(735)의 압축된 조인트 코딩에 적용하여 모드 및 스프릿 데이터(739)의 조인트 코딩을 생성할 수 있다. 논의된 것처럼, 적응적 가변 길이 코딩은 모드 및 스플릿 데이터(735)의 압축된 조인트 코딩의 콘텐츠 또는 다른 시스템 파라미터 등에 적응적인 콘텐츠 적응적 가변 길이 코딩일 수 있다.
도시된 바와 같이, 모드 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(732)는 압축된 모드 정보 데이터(736)를 수신할 수 있다. 일부 예에서, 압축된 모드 정보 데이터(736)는 본 개시에 기술된 바와 같이, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나를 사용하여 엔트로피 인코딩된 압축된 모드 정보 데이터를 포함할 수 있다. 일부 예에서, 모드 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(732)는 압축된 모드 정보 데이터(736)에 적용가능한 엔트로피 디코딩 기술을 결정하고 적용 가능한 기술을 이용하여 압축된 모드 정보 데이터(736)를 엔트로피 디코딩하여 모드 정보 데이터(742)를 생성할 수 있다. 일부 예에서, 적용가능한 코딩 기술은 입력 비트스트림(201)을 통해 전달되는 지시자, 파라미터들, 또는 헤더 데이터 등에 기초하여 결정될 수 있다.
도시된 바와 같이, 스플릭 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(733)는 압축된 스플릿 정보 데이터(737)를 수신할 수 있다. 일부 예에서, 압축된 스플릿 정보 데이터(737)는 본 개시에서 기술된 바와 같이, 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나를 이용하여 엔트로피 인코딩된 압축된 스플릿 정보 데이터를 포함할 수 있다. 일부 예에서, 스플릿 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(733)는 압축된 참조 타입 정보 데이터(737)에 적용 가능한 엔트로피 디코딩 기술을 결정하고 적용 가능한 기술을 이용하여 압축된 참조 타입 정보 데이터(737)를 엔트로피 디코딩하여 참조 타입 정보 데이터(743)를 생성할 수 있다. 일부 예에서, 적용가능한 코딩 기술은 입력 비트스트림(201)을 통해 전달된 지시자, 파라미터들, 또는 헤더 데이터 등에 기초하여 결정될 수 있다.
도시된 바와 같이, 참조 타입 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(734)는 압축된 참조 타입 정보 데이터(738)를 수신할 수 있다. 일부 예에서, 압축된 참조 타입 정보 데이터(738)는 본 개시에 기술된 바와 같이, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나를 이용하여 엔트로피 인코딩된 압축된 참조 타입 정보 데이터를 포함할 수 있다. 일부 예에서, 참조 타입 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(734)는 압축된 참조 타입 정보 데이터(738)에 적용 가능한 엔트로피 디코딩 기술을 결정하고 적용 가능한 기술을 이용하여 압축된 참조 타입 정보 데이터(738)를 엔트로피 디코딩하여 참조 타입 정보 데이터(744)를 생성할 수 있다. 일부 예에서, 적용가능한 코딩 기술은 입력 비트스트림(201)을 통해 전달된 지시자, 파라미터들, 또는 헤더 데이터 등에 기초하여 결정될 수 있다.
도시된 바와 같이, 디코더 모듈(504)은 코딩되거나 코딩되지 않은 데이터 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(741)를 포함할 수 있으며 압축된 비디오 데이터(514)를 수신할 수 있다. 일부 예에서, 압축된 비디오 데이터(514)는 논의된 것처럼, 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나를 이용하여 엔트로피 인코딩된 코딩되거나 코딩되지 않은 데이터를 포함할 수 있다. 일부 예에서, 코딩되거나 코딩되지 않은 데이터 모듈용 심볼-런 VLC 및/또는 프록시 VLC 디코더(741)는 압축된 비디오 데이터(514)에 적용 가능한 엔트로피 디코딩 기술을 결정하고 적용 가능한 기술을 이용하여 압축된 비디오 데이터(514)를 엔트로피 디코딩하여 비디오 데이터(524)를 생성할 수 있다. 일부 예에서, 적용가능한 기술은 입력 비트스트림(201)을 통해 전달된 지시자, 파라미터들, 또는 헤더 데이터 등에 기초하여 결정될 수 있다. 일부 예에서, 적용가능한 기술은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 하나일 수 있다.
도시된 바와 같이, 디코더 모듈(505)은 변환 계수 모듈용 적응적 벡터 VLC 디코더(751) 및/또는 변환 계수 모듈용 적응적 ID 및 2D VLC 디코더(752)를 포함하며 압축된 비디오 데이터(515)를 수신할 수 있다.
도시된 바와 같이, 변환 계수 모듈용 적응적 벡터 VLC 디코더(751)는 압축된 변환 계수 데이터(753)를 수신할 수 있으며, 이 데이터는 본 개시에 기술된 바와 같이, 일차원으로 크기가 2인 블록 또는 파티션 또는 서브-파티션(예를 들면, 2xK 파티션 또는 Kx2 크기의 파티션)의 압축된 변환 계수 데이터를 포함할 수 있다. 일부 예에서, 변환 계수 모듈용 적응적 벡터 VLC 디코더(751)는 적응적 벡터 가변 길이 코딩 기술을 엔트로피 디코딩 압축된 변환 계수 데이터(753)에 적용하여 변환 계수 데이터(755)를 생성할 수 있다. 논의된 것처럼, 일부 예에서, 적응적 벡터 가변 길이 코딩 기술은 가변 길이 코드워드를 이용하여 블록의 쿼드-트리 분할의 모든 계수를 생성하는 것을 포함할 수 있으며, 이 계수는 쿼드-트리 분할을 병합하는 것을 통해 생성될 수 있다.
도시된 바와 같이, 변환 계수 모듈용 적응적 ID 및 2D VLC 디코더(752)는 압축된 변환 계수 데이터(754)를 수신할 수 있으며, 이 데이터는 크기가 4x4 인 블록 또는 파티션 또는 서브-파티션 및 다른 모든 블록 또는 파티션 또는 서브-파티션 크기(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32, 및 64x64 등)의 압축된 변환 계수 데이터를 포함할 수 있다. 일부 예에서, 변환 계수 모듈용 적응적 ID 및 2D VLC 디코더(752)는 크기가 4x4인 블록 또는 파티션 또는 서브-파티션에 대해 적응적 1-차원 가변 길이 코딩을 적용하고 다른 모든 블록 또는 파티션 또는 서브-파티션 크기(예를 들면, 4x8, 8x4, 8x8, 16x16, 32x32, 및 64x64 등)에 대해 적응적 2-차원 가변 길이 코딩을 적용하여 변환 계수 데이터(756)를 생성할 수 있다.
도시된 바와 같이, 디코더 모듈(506)은 움직임 벡터 차 모듈용 적응적 VLC 디코더(762), 움직임 벡터 예측기(761) 및 가산기(763)를 포함할 수 있으며, 압축된 비디오 데이터(516)를 수신할 수 있다. 일부 예에서, 움직임 벡터 차 모듈용 적응적 VLC 디코더(762)는 압축된 비디오 데이터(516)를 디코딩하여 움직임 벡터 차를 생성할 수 있다. 더욱이, 움직임 벡터 예측기(761)는 움직임 벡터 예측기 모듈(661)에 대하여 논의된 기술과 유사하게 이전에 디코딩된 이웃 움직임 벡터를 이용하여 예측 움직임 벡터를 생성할 수 있다. 도시된 바와 같이, 디코딩된 차이 움직임 벡터(들)는 가산기(763)를 통해 예측 움직임 벡터(들)에 가산되어 재구성된 움직임 벡터(들)를 생성할 수 있으며, 이 움직임 벡터는 비디오 데이터(526)의 일부로서 출력되고 또한 움직임 벡터 예측기 모듈(761)을 통해 다른 움직임 벡터에 대한 움직임 벡터 예측을 수행하는데 사용될 수 있다.
도시된 바와 같이, 디코더 모듈(507)은 인트라-예측 타입 및 방향 모듈용 적응적 VLC 및/또는 산술 디코더(771)를 포함할 수 있으며 압축된 비디오 데이터(571)를 수신할 수 있다. 일부 예에서, 압축된 비디오 데이터(517)는 적응적 VLC 기술 또는 산술 코딩 기술 중 하나를 이용하여 엔트로피 인코딩된 인트라-예측 타입 및 방향 데이터 엔트로피를 포함할 수 있다. 일부 예에서, 인트라-예측 타입 및 방향 모듈용 적응적 VLC 및/또는 산술 디코더(771)는 압축된 비디오 데이터(517)에 적용가능한 엔트로피 디코딩 기술을 결정하고 적용가능한 기술을 이용하여 압축된 비디오 데이터(517)를 디코딩하여 비디오 데이터(527)를 생성할 수 있다. 일부 예에서, 상기 적용가능한 기술은 입력 비트스트림(201)을 통해 전달되는 지시자, 파라미터, 또는 헤더 데이터 등에 기초하여 결정될 수 있다.
논의된 것처럼, (논의된 것처럼 여러 서브-성분을 포함하는) 비디오 데이터(521-527)는 디코더(200)의 여러 컴포넌트에 전송될 수 있다. 더욱이, 논의된 것처럼, 디코더(200)는 엔드로피 디코딩된 비디오 데이터(521-527)를 사용하여 비디오 프레임을 생성할 수 있으며, 이 비디오 프레임은 디스플레이 장치를 통해 사용자에게 보여주기 위해 또는 디스플레이하기 위해 디스플레이 비디오(219)를 통해 출력될 수 있다.
도 8은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 프로세스(800)를 도시하는 흐름도이다. 프로세스(800)는 동작(802, 804, 806, 및/또는 808) 중 하나 이상에 의해 예시된 바와 같이 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 프로세스(800)는 차세대 비디오 코딩 프로세스의 적어도 일부를 형성할 수 있다. 비제한적인 예를 통해, 프로세스(800)는 도 1의 인코더 시스템(100) 및/또는 도 5 또는 도 7의 엔트로피 인코더 모듈(110)에 의해 착수된 바와 같은 차세대 비디오 코딩 프로세스의 적어도 일부분을 형성할 수 있다.
프로세스(800)은 "엔트로피 인코딩을 위해 상이한 타입의 제 1 및 제 2 비디오 데이터를 획득"하는 동작(802)에서 시작할 수 있으며, 이 동작에서 상이한 타입의 제 1 및 제 2 (또는 부가적인) 비디오 데이터가 엔트로피 코딩을 위해 획득되거나 수신될 수 있다. 예를 들어, 둘 이상의 비디오 데이터(411-417)(및/또는 비디오 데이터(511-517)의 임의의 서브-컴포넌트)가 수신될 수 있다. 일부 예에서, 비디오 데이터(411-417)는 적응적 엔트로피 인코더(110)를 통해 수신될 수 있다. 논의된 것처럼, 제 1 및 제 2 (또는 부가적인) 비디오 데이터는 비디오 데이터(411-417)에 대하여 또는 본 개시의 다른 곳에서 논의된 것처럼 임의의 타입 또는 서브-컴포넌트 타입과 같은 상이한 타입일 수 있다.
프로세스(800)는 "제 1 비디오 데이터에 대한 엔트로피 인코딩 기술을 결정"하는 동작(804)에서 계속될 수 있으며, 이 동작에서 제 1 엔트로피 인코딩 기술이 제 1 비디오 데이터에 대하여 결정될 수 있다. 논의된 것처럼, 일부 예에서, 하나 이상의 인코더 모듈(401-417)은 여러 코딩 기술 옵션 중에서 비디오 데이터(411-417)에 대한 코딩 기술을 결정할 수 있다. 예를 들어, 인코더 모듈(401)은 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술 또는 가변 길이 코딩 테이블 또는 테이블들 압축 기술 중 하나로부터 비디오 데이터(411)에 대한 코딩 기술을 결정할 수 있다. 더욱이, 인코더 모듈(402)은 적응적 심볼-런 가변 길이 코딩 기술 및 적응적 프록시 가변 길이 코딩 기술 등 중 하나로부터 비디오 데이터(402)의 인트라-예측 파티션 데이터(625)에 대한 코딩 기술을 결정할 수 있다. 본 개시에서는 광범위한 예들이 도 4 및 도 6에 대하여 제공되었으며 간결하게 하기 위하여 반복되지 않는다. 논의된 것처럼, 일부예에서는, 둘 이상의 비디오 데이터 타입이 수신될 수 있다. 일부 예에서, 엔트로피 인코딩 기술은 본 개시에 기술된 바와 같이 둘, 셋 또는 그 이상의 비디오 데이터 타입에 대해 결정될 수 있다.
논의된 것처럼, 엔트로피 인코딩 기술은 비디오 데이터에 대해 결정될 수 있다. 일부 예에서, 제 1 인코딩 기술에 연관된 선택된 코딩 테이블이 두개 이상의 사용가능한 테이블로부터 결정될 수 있다. 예를 들어, 테이블 선택은 이용가능한 테이블 사이에서 비트 카운트 비교, 또는 코딩 효율 등에 기초하여 이루어질 수 있다. 예를 들어, 본 개시에서 논의된 엔트로피 인코딩 기술 중 임의의 기술은 복수의 사용가능한 테이블을 가질 수 있다. 일부 예에서, 비디오 데이터에 대하여 선택된 테이블을 표시하는 테이블 지시자가 생성되고 비트스트림(900) 내에 제공될 수 있다. 예를 들어, 비트스트림(900)은 선택된 인코딩 기술 및 선택된 코딩 테이블을 표시하는 지시자를 포함할 수 있다. 또한, 비디오 데이터의 길이와 연관된 지시자 및 지시자들은 비트스트림(900)에 포함될 수 있다. 예를 들어, 비디오 데이터 내의 투플(tuple)의 길이 또는 개수(예를 들면, 비디오의 스트링의 길이)가 제공될 수 있으며 임의의 나머지 부분은 (예를 들면, 만약 그 길이가 투플로 균등하게 분할되지 않으면) 비트 맵 기술을 이용하여 코딩되어 출력 비트스트림 내에 제공될 수 있다.
프로세스(800)는 "제 1 엔트로피 인코딩 기술을 이용하여 제 1 비디오 데이터를 엔트로피 인코딩하고 제 2 비디오 데이터를 엔트로피 인코딩하여 제 1 및 제 2 압축된 비디오 데이터를 생성"하는 동작(806)에서 계속될 수 있으며, 이 동작에서 제 1 비디오 데이터는 제 1 엔트로피 인코딩 기술을 이용하여 에트로피 인코딩되어 제 1 압축된 비디오 데이터를 생성할 수 있으며 제 2 비디오 데이터는 제 2 엔트로피 인코딩 기술을 이용하여 압축되어 제 1 및 제 2 압축된 비디오 데이터를 생성할 수 있다.
프로세스(800)는 "출력비트스트림을 생성하기 위해 제 1 및 제 2 압축된 비디오 데이터를 조립"하는 동작(808)에서 계속될 수 있으며, 이 동작에서 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터는 조립되어 출력 비트스트림을 생성할 수 있다. 예를 들어, 비트스트림 조립기(508)는 본 개시에 기술된 바와 같이, 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립 또는 다중화할 수 있다.
논의된 것처럼, 출력 비트스트림(111)은 (코딩된 또는 인코딩된) 오디오 스트림으로 다중화되어 다중화된 오디오-시각 스트림을 생성할 수 있다. 또한, 논의된 것처럼, 동일 예에서, 하나 이상의 비디오 데이터가 전처리될 수 있거나 그렇지 않으면 엔트로피 코딩에 앞서 조작될 수 있다. 예를 들어, 본 개시에서 논의된 것처럼, 움직임 벡터 데이터에 대하여, 움직임 벡터 예측이 수행되어 예측된 움직임 벡터(들)를 생성할 수 있고, 예측된 움직임 벡터(들)는 원래의 움직임 벡터(들)와 차가 계산되어 차분 움직임 벡터(들)를 생성할 수 있으며, 차이 움직임 벡터(들)는 엔트로피 코딩될 수 있다. 또한, 동일 예에서, 일곱개의 인코더 모듈(401-407) 각각은 일곱가지 타입의 비디오 데이터(411-417)에 대해 동시에 동작하도록 구현될 수 있다. 프로세스(800)는 본 개시에서 논의된 것처럼 적응적 엔트로피 인코더 모듈(110)을 통해 구현될 수 있다. 또한, 프로세스(800)는 비디오 데이터의 임의 개수의 사례에 대해 직렬 또는 병렬로 반복될 수 있다.
논의된 것처럼, 상이한 타입의 비디오 데이터가 결정된 (또는 사전결정된) 각종 적응적 엔트로피 코딩 기술을 이용하여 엔트로피 코딩되어 압축된 비디오 데이터를 생성할 수 있다. 압축된 비디오 데이터는 출력 비트스트림을 생성하기 위해 어셈블링될 수 있다.
도 9는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 비트스트림(900)을 도시한다. 일부 예에서, 비트스트림(900)은 도 1, 3a, 4 및 6에 도시된 바와 같은 비트스트림(111) 및/또는 도 2, 3b, 5 및 7에 도시된 바와 같은 입력 비트스트림(201)에 해당할 수 있다. 표현의 명확성을 위하여 도 9에 도시되지는 않지만, 일부 예에서, 비트스트림(900)은 헤더 부분 및 데이터 부분을 포함할 수 있다. 여러 예에서, 본 개시에서 논의된 것처럼 비트스트림(900)은 데이터, 지시자, 인덱스 값, 모드 선택 데이터, 또는 인코딩 압축 데이터 등을 포함할 수 있다. 도시된 바와 같이, 동일 예에서, 비트스트림(900)은 지시자 데이터(901), 압축된 비디오 데이터(421), 압축된 비디오 데이터(422), 압축된 비디오 데이터(423), 압축된 비디오 데이터(424), 압축된 비디오 데이터(425), 압축된 비디오 데이터(426), 및/또는 압축된 비디오 데이터(427)를 포함할 수 있다. 예시된 데이터는 비트스트림(900)에서 임의의 순서로 놓일 수 있으며 비디오 코딩을 위해 임의의 다른 다양한 부가 데이터에 인접하거나 떨어져 있을 수 있다. 논의된 것처럼, 비트스트림(900)은 또한 (예를 들면, 지시자 데이터(901) 내) 선택된 인코딩 기술 및 선택된 코딩 테이블을 표시하는 지시자를 포함할 수 있다. 또한, 비디오 데이터의 길이와 연관된 지시자 또는 지시자들은 비트스트림(900) 내에 포함될 수 있다. 예를 들어, 비디오 데이터 내의 투플의 길이 또는 개수가 제공될 수 있으며 임의의 나머지 부분은 (예를 들면, 길이가 투플로 균등하게 분할되지 않으면) 비트 맵 기술을 이용하여 코딩되어 출력 비트스트림 내에 제공될 수 있다.
일부 예에서, 압축된 비디오 데이터(421-427)는 본 개시에서 논의된 것처럼 임의의 기술을 통해 인코딩된 임의의 압축된 비디오 데이터를 포함할 수 있다. 일부 예에서, 지시자 데이터(901)는 헤더 데이터, 모드 지시자 데이터, 및/또는 압축된 비디오 데이터(421-127)와 연관된 엔트로피 인코딩 기술을 표시하는 데이터를 포함할 수 있다. 예를 들어, 지시자 데이터(901)는 본 개시의 도 4 및 도 6에 대하여 논의된 것처럼, 비디오 데이터(421)를 압축하는데 사용되는 엔트로피 코딩 기술, 비디오 데이터(422)의 일부를 압축하는데 사용되는 엔트로피 코딩 기술, 비디오 데이터(423)의 일부를 압축하는데 사용되는 엔트로피 코딩 기술, 비디오 데이터(424)를 압축하는데 사용되는 엔트로피 코딩 기술, 및/또는 비디오 데이터(427)를 압축하는데 사용되는 엔트로피 코딩 기술을 포함할 수 있다.
논의된 것처럼, 비트스트림(900)은 예를 들어, 인코더(100)와 같은 인코더에 의해 생성되거나 및/또는 비디오 프레임이 디스플레이 장치를 통해 보일 수 있도록 코딩하기 위한 디코더(200)에 의해 수신될 수 있다.
도 10은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 프로세스(1000)를 도시하는 흐름도이다. 프로세스(1000)는 하나 이상의 동작 (1002, 1004, 1006, 및/또는 1008)에 의해 예시된 바와 같이 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 프로세스(1000)는 차세대 비디오 코딩 프로세스의 적어도 일부분을 형성할 수 있다. 비제한적인 예를 통해, 프로세스(1000)는 도 2의 디코더 시스템(200)에 의해 착수된 바와 같이 차세대 비디오 디코딩 프로세스의 적어도 일부분을 형성할 수 있다.
프로세스(1000)는 "엔트로피 인코딩된 비트스트림 수신"하는 동작(1002)에서 시작될 수 있으며, 이 동작에서 엔트로피 인코딩된 비트스트림이 수신될 수 있다. 예를 들어, 본 개시에서 논의된 것처럼 인코딩된 비트스트림은 비디오 디코더에서 수신될 수 있다. 일부 예에서, 비트스트림(100) 또는 (900) 등은 디코더(200)를 통해 수신될 수 있다.
프로세스(1000)는 "엔트로피 인코딩된 비트스트림을 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터로 분해"하는 동작(1004)에서 계속될 수 있으며, 이 동작에서 수신된 비트스트림은 분해되어 상이한 타입의 압축된 비디오 데이터를 결정할 수 있다. 예를 들어, 비트스트림(201)은 도 7에 도시된 바와 같이 비트스트림 분해기(508)를 통해 분해되어 압축된 비디오 데이터(511-517)(및 임의의 서브-컴포넌트 비디오 데이터)를 생성할 수 있다. 예를 들어, 분해되고 압축된 비디오 데이터는 제 1 압축된 비디오 및 제 2 압축된 비디오 데이터를 포함할 수 있다.
프로세스(1000)는 "제1 및 제 2 압축된 비디오 데이터를 엔트로피 디코딩하여 제 1 비디오 데이터 및 제 2 비디오 데이터를 생성"하는 동작(1006)에서 계속될 수 있으며, 이 동작에서 제 1 및 제 2 압축된 비디오 데이터는 엔트로피 디코딩되어 (압축분해된) 제 1 및 제 2 비디오 데이터를 생성할 수 있다. 논의된 것처럼, 일부 예에서, 하나 이상의 디코더 모듈(501-507)은 압축된 비디오 데이터(511-517)에 대한 코딩 기술을 여러 코딩 기술 옵션 중에서 결정한다. 예를 들어, 디코더 모듈(501)은 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 또는 입력 비트스트림을 통해 제공된 지시자 또는 지시자들에 기초한 가변 길이 코딩 테이블 또는 테이블 압축 기술 중 하나로부터 압축 비디오 데이터(511)에 대한 코딩 기술을 결정할 수 있다. 또한, 디코더 모듈(502)은 적응적 심볼-런 가변 길이 코딩 기술 및 적응적 프록시 가변 길이 코딩 기술 등 중 하나로부터 비디오 데이터(512)의 압축된 인트라-예측 파티션 데이터(725)에 대한 코딩 기술을 결정할 수 있다. 본 개시에서는 도 5 및 도 7에 대하여 광범위한 예들이 제공되었으며 간략하게 하기 위하여 여기서는 반복되지 않을 것이다. 논의된 것처럼, 일부 예에서, 둘 이상의 타입의 비디오 데이터가 수신될 수 있다. 일부 예에서, 엔트로피 디코딩 기술은 본 개시에서 기술된 바와 같이 둘, 셋 또는 그 이상의 비디오 데이터의 타입이 결정될 수 있다.
프로세스(1000)는 "제 1 및 제 2 비디오 데이터를 디코딩하여 비디오 프레임을 생성"하는 동작(1008)에서 계속될 수 있으며, 이 동작에서 제 1 및 제 2 비디오 데이터 (및 임의의 다른 엔트로피 디코딩된 비디오 데이터)는 디코딩되어 비디오 프레임(들)을 생성할 될 수 있다. 비디오 프레임은 예를 들면, 디스플레이 장치를 통해 사용자에게 보여주기에 적합할 수 있다.
논의된 것처럼, 일부 예에서, 하나 이상의 엔트로피 디코딩된 비디오 데이터는 전-처리될 수 있거나 아니면 추가로 디코딩되기 전에 조작될 수 있다. 예를 들어, 엔트로피 디코딩된 차이 움직임 벡터(들)는 예측 움직임 벡터(들)에 가산되어 재구성된 움직임 벡터(들)을 생성할 수 있으며, 이 움직임 벡터는 디코더(200)를 통해 움직임 벡터 예측(예를 들면, 인터-예측)에서 사용하기 위해록 출력될 수 있다.
본 개시에서 기술된 서브시스템의 다양한 컴포넌트는 소프트웨어, 펌웨어, 및/또는 하드웨어, 및/또는 그들의 임의의 조합에 의하여 구현될 수 있다. 예를 들면, 인코더(100) 또는 인코더(200)의 다양한 컴포넌트는, 예를 들면, 스마트폰과 같은 컴퓨팅 시스템에서 발견될 수 있는 컴퓨팅 시스템 온칩(SoC)의 하드웨어로 적어도 일부 제공될 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자는 본 개시에서 기술되는 시스템은 대응하는 특징 내에 묘사되지 않은 추가적인 컴포넌트를 포함할 수 있다는 것을 인식할 것이다. 예를 들면, 본 개시에서 기술되는 시스템은 비트 스트림 멀티플렉서 또는 디-멀티플렉서 모듈 및 그 유사한 것과 같은 추가적인 컴포넌트를 포함할 수 있는데, 이들은 명료함을 위하여 도시되지 않았다.
프로세스(800, 1000) 및 본 개시에서 논의된 다른 프로세스와 관련된 일부 부가적인 및/또는 대안의 세부사항은 본 개시에서 논의된 구현예의 하나 이상의 예에서, 특히 아래의 도 11에 대해 설명될 수 있다.
도 11은 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 비디오 코딩 시스템(1610) 및 동작 시 비디오 코딩 프로세스(1100)의 예시적인 다이어그램이다. 예시된 구현예에서, 프로세스(1100)는 하나 이상의 행위(1100-1112)로 도시된 바와 같은 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 비제한적인 예를 통해, 프로세스(1100)는, 이하 도 16을 참조하여 추가로 기술되는 것처럼, 도 1의 인코더(100) 및 도 2의 디코더(200)를 포함하는 일 예의 비디오 코딩 시스템(1610)에 대하여 설명될 것이다. 여러 예에서, 프로세스(1100)는 인코더 및 디코더를 모두 포함하는 시스템에 의해 착수될 수 있거나 또는 인코더(및 옵션으로 디코더)를 사용하는 시스템 및 디코더(옵션으로 인코더)를 사용하는 다른 시스템으로 구성된 별개의 시스템에 의해 착수될 수 있다. 또한, 논의된 것처럼, 인코더는 인코더 시스템의 일부로서 로컬 디코더를 사용하는 로컬 디코딩 루프를 포함할 수 있다.
예시된 구현예에서, 비디오 코딩 시스템(1610)은 로직 회로(1150) 등 및/또는 이들의 조합을 포함할 수 있다. 예를 들어, 로직 회로(1150)는 인코더(100)를 포함할 수 있으며 도 1 및/또는 도 3 및 도 5에 대하여 논의된 임의의 모듈 및 디코더(200)를 포함할 수 있으며 도 2 및/또는 도 4 및 도 6에 대하여 논의된 임의의 모듈을 포함할 수 있다. 도 16에 도시된 바와 같이, 비록 비디오 코딩 시스템(1610)이 특정 모듈과 연관된 특정 세트의 블록 또는 행위를 포함할 수 있을지라도, 이러한 블록 또는 행위는 본 개시에서 예시된 특정 모듈과 다른 모듈과 연관될 수 있다. 비록 프로세스(1100)가, 예시된 바와 같이, 인코딩 및 디코딩에 관한 것일지라도, 기술된 개념 및/또는 동작은 개별적으로 인코딩 및/또는 디코딩에, 더 일반적으로는 비디오 코딩에 적용될 수 있다.
프로세스(1100)는 "상이한 타입의 비디오 데이터를 획득"하는 동작(1101)에서 시작될 수 있으며, 이 동작에서 상이한 타입의 비디오 데이터가 엔트로피 인코딩을 위해 수신될 수 있다. 예를 들어, 둘 이상의 타입의 비디오 데이터가 엔트로피 인코딩을 위해 수신될 수 있다. 예를 들어, 둘 이상의 비디오 데이터(411-417) (및/또는 임의의 비디오 데이터(411-417))는 적응적 엔트로피 인코더(110)를 통해 수신될 수 있다. 논의된 것처럼, 제 1 및 제 2 (또는 부가적인) 비디오 데이터는 비디오 데이터(411-417)에 대하여 또는 본 개시의 다른 곳에서 기술된 것처럼 임의의 타입 또는 서브-컴포넌트 타입과 같은 여러 타입일 수 있다.
프로세스(1100)는 "하나 이상의 타입의 비디오 데이터에 대한 엔트로피 인코딩 기술을 결정"하는 동작(1101) 내지 동작(1102)에서 계속될 수 있으며, 이 동작에서 엔트로피 인코딩 기술(들)은 하나 이상의 타입의 비디오 데이터에 대해 결정될 수 있다. 논의된 것처럼, 일부 예에서, 하나 이상의 인코더 모듈(401-417)은 여러 코딩 기술 옵션 중에서 비디오 데이터(411-417)에 대한 코딩 기술을 결정할 수 있다. 예를 들어, 인코딩 모듈(401)은 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 또는 가변 길이 코딩 테이블 또는 테이블들 압축 기술 중 하나로부터 비디오 데이터(411)에 대한 코딩 기술을 결정할 수 있다. 또한, 인코더 모듈(402)은 본 개시에 기술된 것처럼 적응적 심볼-런 가변 길이 코딩 기술 및 적응적 프록시 가변 길이 코딩 기술 및 그밖의 기술 중 하나로부터 비디오 데이터(402)의 인트라-예측 파티션 데이터(625)에 대한 코딩 기술을 결정할 수 있다.
프로세스(1100)는 "결정된 기술(들)을 이용하여 비디오 데이터를 엔트로피 인코딩"하는 동작(1103)에서 계속될 수 있으며, 이 동작에서 비디오 데이터는 결정된 기술(들)을 이용하여 엔트로피 인코딩될 수 있다. 예를 들어, 제 1 비디오 데이터는 제 1 엔트로피 인코딩 기술을 이용하여 엔트로피 인코딩되어 제 1 압축된 비디오 데이터를 생성할 수 있다. 일부 예에서, 본 개시에서 논의된 것처럼 제 2, 제 3 또는 그 이상의 부가적인 비디오 데이터는 제 2, 제 3 또는 그 이상의 부가적인 엔트로피 인코딩 기술을 이용하여 엔트로피 인코딩되어 제 1, 제 2, 제 3 등의 각각의 압축된 비디오 데이터를 생성할 수 있다.
프로세스(1100)는 "압축된 비디오 데이터를 조립"하는 동작(1103) 내지 동작(1104)에서 계속될 수 있으며, 이 동작에서 상이한 타입의 압축된 비디오 데이터는 조립되어 출력 비트스트림을 생성할 수 있다. 예를 들어, 비트스트림 조립기(408)는 본 개시에서 논의된 것처럼 압축된 비디오 데이터를 조립 또는 다중화하여 출력 비트스트림(111)을 생성할 수 있다.
프로세스(1100)는 "비디오 스트림을 오디오 스트림과 다중화"하 는동작(1104) 내지 동작(1105)에서 계속될 수 있으며, 이 동작에서 비디오 비트스트림은 옵션으로 코딩된 또는 코딩되지 않은 오디오 스트림과 다중화되어 오디오-시각 비트스트림을 생성할 수 있다.
프로세스(1100)는 "비트스트림을 전송"하는 동작(1105) 또는 동작(1104) 내지 동작(1106)에서 계속될 수 있으며, 이 동작에서 비트스트림이 전송될 수 있다. 예를 들어, 비디오 코딩 시스템(1610)은 안테나(1102)를 통해 출력 비트스트림(111) 또는 비트스트림(800) 등을 전송할 수 있다(도 16 참조).
동작(1101-1106)은 비디오 인코딩 및 비트스트림 전송 기술을 제공할 수 있으며, 이 기술은 본 개시에서 논의된 것처럼 인코더 시스템에 의해 사용될 수 있다. 다음의 동작들, 즉 동작(1107-1112)은 비디오 디코딩 및 비디오 디스플레이 기술을 제공할 수 있으며, 이 기술은 본 개시에서 논의된 것처럼 디코더 시스템에 의해 사용될 수 있다.
프로세스(1100)는 "비트스트림을 수신"하는 동작(1107)에서 계속될 수 있으며, 이 동작에서 인코딩된 비트스트림이 수신될 수 있다. 예를 들면, 입력 비트스트림(100, 201) 또는 비트스트림(800) 등은 디코더(200)를 통해 수신될 수 있다. 일부 예에서, 비트스트림은 본 개시에서 논의된 것처럼 상이한 타입의 엔트로피 인코딩된 데이터를 포함할 수 있다.
프로세스(1100)는 "비트스트림을 분해하여 상이한 형태의 압축된 비디오 데이터를 생성"하는 동작(1107)에서 계속될 수 있고, 이 동작에서 수신된 비트스트림은 분해되어 상이한 타입의 압축된 비디오 데이터를 결정할 수 있다. 예를 들어, 도 7에서 예시된 것처럼 비트스트림(201)은 비트스트림 분해기(508)를 통해 분해되어 압축된 비디오 데이터(511-517) (및 임의의 서브-컴포넌트 비디오 데이터)를 생성할 수 있다. 예를 들면, 분해된 압축된 비디오 데이터는 제 1, 제 2, 제 3 또는 그 이상의 압축된 비디오 데이터를 포함할 수 있다.
프로세스(1100)는 "하나 이상의 타입의 압축된 비디오 데이터에 대한 엔트로피 디코딩 기술(들)을 결정"하는 동작(1108) 내지 동작(1109)에서 계속될 수 있고, 이 동작에서 하나 이상의 압축된 비디오 데이터 타입에 대한 엔트로피 디코딩 기술(들)이 결정될 수 있다. 일부 예에서, 엔트로피 디코딩 기술(들)은 수신된 비트스트림을 통하여 전달되는 플래그, 또는 지시자 등에 기초하여 결정될 수 있다. 논의된 것처럼, 일부 예에서, 하나 이상의 디코더 모듈(501-507)은 각종 디코딩 기술 옵션 중에서 압축된 비디오 데이터(511-517)에 대한 디코딩 기술을 결정할 수 있다. 예를 들어, 디코더 모듈(401)은 적응적 심볼-런 가변 길이 코딩 기술, 적응적 프록시 가변 길이 코딩 기술, 또는 입력 비트스트림을 통해 제공되는 지시자 또는 지시자들에 기초한 가변 길이 코딩 테이블 또는 테이블들 중 하나로부터 압축된 비디오 데이터(511)에 대한 코딩 기술을 결정할 수 있다. 또한 디코더 모듈(500)은 적응적 심볼-런 가변 길이 코딩 기술 및 적응적 프록시 가변 길이 코딩 기술 등 중의 하나로부터 비디오 데이터(512)의 압축된 인트라-예측 파티션 데이터(725)에 대한 코딩 기술을 결정할 수 있다. 광범위한 예들이 본 개시에서 제공되었으며 여기서는 간결성을 위해 반복되지 않을 것이다. 논의된 것처럼, 일부 예에서, 둘 이상 타입의 비디오 데이터가 수신될 수 있다. 일부 예에서, 본 개시에서 기술된 것처럼 둘, 셋, 또는 그 이상 타입의 비디오 데이터에 대한 엔트로피 디코딩 기술이 결정할 수 있다.
프로세스(1100)는 "압축된 비디오 데이터를 엔트로피 디코딩"하는 동작(1109) 내지 동작(1610)에서 계속될 수 있고, 이 동작에서 압축된 비디오 데이터는 결정된 엔트로피 디코딩 기술에 기초하여 엔트로피 디코딩될 수 있다. 예를 들면, 압축된 비디오 데이터(511-517)는 디코딩 모듈(501-517)을 통해 엔트로피 디코딩될 수 있다.
프로세스(1100)는 "엔트로피 디코딩된 비디오 데이터를 디코딩하여 비디오 프레임(들)을 생성"하는 동작(1111)에서 계속될 수 있고, 이 동작에서 제 1 및 제 2 비디오 데이터 (및 임의의 다른 엔트로피 디코딩된 비디오 데이터)는 디코딩되어 비디오 프레임(들)을 생성할 수 있다. 비디오 프레임은 예를 들면, 디스플레이 장치를 통해 사용자에게 보여주기에 적절할 수 있다. 예를 들면, 비디오 프레임은 디코더(200)에 대하여 논의된 디코딩 기술의 구현에 기초하여 결정될 수 있다.
프로세스(1100)는 "디스플레이 장치를 통해 보여주기 위해 비디오 프레임을 전송"하는 동작(1111) 내지 동작(1112)에서 계속될 수 있고, 이 동작에서 생성된 비디오 프레임(들)은 디스플레이 장치를 통해 보여주기 위해 전송될 수 있다. 예를 들어, 비디오 프레임(들)은 (도 16에 도시된 바와 같이) 보여주기 위해 디스플레이 장치(105)로 전송될 수 있다. 일부 예에서, 디스플레이 장치(105)는 예를 들면 비디오 프레임을 사용자에게 디스플레이할 수 있다.
본 개시에서 예시되는 프로세스의 구현이 도시된 순서로 표시된 모든 동작의 수행을 포함할 수 있지만, 본 개시는 이러한 관점에 한정되지 않으며, 다양한 예에서, 본 개시에서 예제 프로세스의 구현은 도시된 동작의 서브세트만을 착수하거나 및/또는 도시된 것과 다른 순서로 착수되는 것을 포함할 수 있다.
추가로, 본 개시에서 논의되는 하나 이상의 어떤 동작은 하나 이상의 컴퓨터 프로그램 제품에 의해 제공되는 명령어에 대응하여 착수될 수 있다. 그러한 프로그램 제품은, 실행될 때, 예를 들면, 프로세서가 본 개시에서 설명되는 기능성을 제공하는 명령어를 제공하는 신호를 갖는 미디어를 포함할 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 머신-판독가능한 미디어의 형태로 제공될 수 있다. 따라서, 예를 들면, 하나 이상의 프로세서 코어를 포함하는 프로세서는 하나 이상의 머신-판독가능한 미디어에 의해 프로세서로 전달되는 프로그램 코드 및/또는 명령어나 명령어 세트에 대응하여 여기서 예시된 프로세스의 하나 이상의 동작을 착수할 수 있다. 일반적으로, 머신-판독가능한 매체는 본 개시에서 설명되는 장치 및/또는 시스템이 본 개시에서 설명되는 비디오 시스템의 적어도 부분을 구현하도록 유발하는 프로그램 코드 및/또는 명령어나 명령어 세트의 형태로 된 소프트웨어를 전달한다.
본 개시에서 설명되는 임의의 구현예에서 사용될 때, 용어 "모듈"은 본 개시에서 기술된 기능성을 제공하도록 구성된 소프트웨어 로직, 펌웨어 로직 및/또는 하드웨어 로직의 임의의 조합을 지칭한다. 소프트웨어는 소프트웨어 패키지, 코드 및/또는 명령어 세트나 명령어로 구현될 수 있고, 그리고 "하드웨어"는, 본 개시에서 기술된 임의의 구현예에서 사용될 때, 예를 들면, 하드웨어 내장 회로, 프로그래머블 회로, 상태 머신 회로, 및/또는 프로그래머블 회로에 의해 실행되는 명령어를 저장하는 펌웨어를 개별적으로 또는 조합하여 포함할 수 있다. 모듈은 합해서 또는 개별적으로 큰 시스템의 부분, 예를 들면, 집적회로(IC), 시스템온-칩(SoC) 등을 형성하는 회로로써 구현될 수 있다. 예를 들면, 모듈은 본 개시에서 논의된 코딩 시스템의 소프트웨어, 펌웨어, 또는 하드웨어를 통해서 구현되는 로직 회로 내에 구현될 수 있다.
도 12 는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 프로세스(1200)를 도시하는 흐름도이다. 프로세스(1200)는 하나 이상의 동작에 의해 예시된 바와 같이 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 프로세스(1200)는 차세대 비디오 코딩 프로세스의 적어도 일부를 형성할 수 있다. 비제한적인 예를 통해, 프로세스(1200)는 도 1의 인코더 시스템(100) 및/또는 기타 인코더 시스템 또는 본 개시에 기술된 서브시스템에 의해 착수된 바와 같이 차세대 비디오 인코딩 프로세스의 적어도 일부분을 형성할 수 있다.
프로세스(1200)는 "비디오 시퀀스의 입력 비디오 프레임을 수신"하는 동작(1202)에서 시작할 수 있으며, 이 동작에서 비디오 시퀀스의 입력 비디오 프레임은 예를 들면, 인코더(100)를 통해 수신될 수 있다.
프로세스(1200)는 "픽처 타입을 각 비디오 프레임에 연관"시키는 동작(1204)에서 계속될 수 있고, 이 동작에서 픽처 타입은 예를 들면, 콘텐츠 선분석기 모듈(102)을 통해 픽처 그룹 내 각 비디오 프레임과 연관될 수 있다. 예를 들면, 픽처 타입은 F/B-픽처, P-픽처, 또는 I-픽처 등일 수 있다. 일부 예에서, 비디오 시퀀스는 픽처 그룹을 포함할 수 있으며 본 개시에서 기술된 처리(예를 들면, 동작(1203 내지 1211)는 픽처 그룹의 프레임 또는 픽처에 대해 수행될 수 있고 이 처리는 한 그룹의 모든 프레임 또는 픽처에 대해 반복된 다음 비디오 시퀀스 내 모든 픽처 그룹에 대해 반복될 수 있다.
프로세스(1200)는 "픽처를 타일 및/또는 수퍼-프래그먼트 및 잠재적 예측 분할로 나누기"하는 동작(1206)에서 계속될 수 있고, 이 동작에서 픽처는 예를 들면, 예측 파티션 생성기 모듈(105)을 통해 타일 또는 수퍼-프래그먼트 및 잠재적 예측 파티션으로 나누어질 수 있다.
프로세스(1200)는 "잠재적인 예측 분할에 대하여, 잠재적인 예측 오차를 결정"하는 동작(1210)에서 계속되며, 이 동작에서, 각 잠재적인 예측 분할에 대하여, 잠재적인 예측 오차가 결정될 수 있다. 예를 들면, 각 잠재적인 예측 분할(그리고 연관된 예측 파티션, 예측(들), 및 예측 파라미터)에 대하여, 예측 오차가 결정될 수 있다. 예를 들면, 잠재적 예측 오차를 결정하는 것은 원 픽셀(예를 들면, 예측 파티션의 원 픽셀 데이터)을 예측 픽셀과 구별하는 것을 포함할 수 있다. 일부 예에서, 연관된 예측 파라미터가 저장될 수 있다. 논의된 것처럼, 일부 예에서, 예측 오차 데이터 파티션은 모핑 기법이나 합성 기법 중의 적어도 하나를 사용하여 생성된 이전에 디코딩된 프레임에 적어도 일부 기초하여 생성된 예측 오차 데이터를 포함할 수 있다.
프로세스(1200)는 "예측 분할 및 예측 타입을 선택하고 파라미터를 저장"하는 동작(1212)에서 계속되며, 이 동작에서 예측 분할 및 예측 타입이 선택되고 연관된 파라미터가 저장될 수 있다. 일부 예에서, 최소 예측 오차를 갖는 잠재적 예측 분할이 선택될 수 있다. 일부 예에서, 잠재적 예측 분할은 비트율 왜곡 최적화(rate distortion optimization (RDO))에 기초하여 선택될 수 있다.
프로세스(1200)는 "잠재적 코딩 분할에 대하여 변환을 수행"하는 동작(1214)에서 계속되며, 이 동작에서 다양한 블록 크기를 갖는 고정 또는 콘텐츠 적응적 변환이 분할 예측 오차 데이터의 다양한 잠재적 코딩 분할에 대하여 수행될 수 있다. 예를 들면, 파티션 예측 오차 데이터가 분할되어 복수의 코딩 파티션을 생성할 수 있다. 예를 들면, 파티션 예측 오차 데이터는 본 개시에서 논의된 것처럼 코딩 파티션 생성기 모듈(107)의 이진-트리 코딩 분할기 모듈이나 k-d 트리 코딩 분할기 모듈에 의해 분할될 수 있다. 일부 예에서, F/B- 또는 P-픽처와 연관된 파티션 예측 오차 데이터는 이진-트리 코딩 분할기 모듈에 의해 분할될 수 있다. 일부 예에서, I-픽처와 연관된 비디오 데이터(예를 들면, 일부 예에서 타일이나 수퍼-프래그먼트)는 k-d 트리 코딩 분할기 모듈에 의해서 분할될 수 있다. 일부 예에서, 코딩 분할 모듈은 스위치나 스위치들을 통해서 선정되거나 선택될 수 있다. 예를 들면, 파티션은 코딩 파티션 생성기 모듈(107)에 의해 생성될 수 있다.
프로세스(1200)은 "최선의 코딩 분할, 변환 블록 크기, 및 실제 변환을 결정"하는 동작(1216)에서 계속될 수 있으며, 이 동작에서 최선의 코딩 분할, 변환 블록 크기, 및 실제 변환이 결정될 수 있다. 예를 들어, (예를 들면, 각종 코딩 파티션을 갖는) 각종 코딩 분할은 RDO 또는 또 다른 기준에 기초하여 평가되어 (논의된 것처럼 코딩 파티션이 변환 블록 크기에 일치하지 않을 때 파티션을 코딩 파티션을 변환 블록으로 더 나누는 것도 또한 포함할 수 있는) 선택된 코딩 분할을 결정할 수 있다. 예를 들어, 실제 변환(또는 선택된 변환)은 본 개시에 기술된 것처럼 임의의 콘텐츠 적응적 변환 또는 코딩 파티션 또는 블록 크기에 대해 수행된 고정 변환을 포함할 수 있다.
프로세스(1200)는 "스캔 변환 계수를 스캔 및 양자화"하는 동작(1218)에서 계속될 수 있으며, 이 동작에서 코딩 파티션(및/또는 변환 블록)과 연관된 변환 계수는 엔트로피 코딩을 준비하려 양자화되고 스캔된다.
프로세스(1200)는 "코딩 파티션 지시자(들), 블록 크기 데이터, 변환 타입 데이터, 양자화기(Qp) 및 양자화된 변환 계수, 움직임 벡터 및 참조 타입 데이터, 특성 파라미터(예를 들면, mop, syp)와 같은 각각의 타일 또는 수퍼-프래그먼트의 디코딩과 연관된 데이터를 엔트로피 인코딩"하는 동작(1222)에서 계속될 수 있으며, 이 동작에서 데이터는 엔트로피 코딩될 수 있다. 예를 들면, 엔트로피 인코딩된 데이터는 코딩 파티션 표시자, 블록 크기 데이터, 변환 타입 데이터, 양자화기(Qp), 양자화된 변환 계수, 움직임 벡터 및 참조 타입 데이터, 특성 파라미터(예를 들면, mop, syp) 등, 및/또는 이들의 조합을 포함할 수 있다. 부가적으로 또는 대안으로, 엔트로피 인코딩된 데이터는 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화된 변환 계수, 필터 파라미터, (모드 선택 데이터와 같은) 선택 데이터, 및 지시자를 포함할 수 있다.
프로세서(1200)는 "DD/DB 필터를 적용, 픽셀 데이터를 재구성, 픽처로 조립"하는 동작(1223)에서 계속될 수 있으며, 이 동작에서 블록분리 필터링(예를 들면, DD 또는 필터)이 적용될 수 있으며, 픽셀 데이터가 재구성되고, 픽처로 조립될 수 있다. 예를 들어, 로컬 디코딩 루프(예를 들면, 역스캔, 역변환, 및 코딩 파티션을 조립하는 것을 포함함) 이후, 예측 오차 데이터 파티션이 생성될 수 있다. 예측 오차 데이터 파티션은 예측 패턴에 가산되어 재구성된 예측 파티션을 생성할 수 있으며, 이 예측 파티션은 타일 또는 수퍼-프래그먼트로 조립될 수 있다. 조립된 타일 또는 수퍼-프래그먼트는 블록분리 필터링 및/또는 품질 복원 필터링을 통해 옵션으로 처리되고 조립되어 픽처를 생성할 수 있다.
프로세스(1200)는 "참조 픽처 버퍼 내 QR/LF 필터 저장을 적용"하는 동작(1224)에서 계속될 수 있으며, 이 동작에서 품질 복원 필터링(예를 들면, QR 또는 LF 필터링)이 적용될 수 있고, 조립된 픽처는 참조 픽처 버퍼에 저장될 수 있다. 예를 들어, DD/DB 필터링 이외에 또는 그 대신에, 조립된 타일 또는 수퍼-프래그먼트는 품질 복원 필터링을 통해 선택적으로 처리되고 조립되어 픽처를 생성할 수 있다. 픽처는 다른 (예를 들면, 후속하는) 픽처의 예측을 위한 참조 픽처로서 디코딩된 픽처 버퍼(119)에 저장될 수 있다.
프로세스(1200)는 "AP/AM 필터를 적용하고, 모핑된 또는 합성된 예측 참조(들)를 생성하기 위해 특성 파라미터를 수정(예를 들면, 모핑 또는 합성)할지 결정하고 예측(들)을 수행"하는 동작(1225)에서 계속될 수 있고, 이 동작에서 특성 파라미터 및 예측(들)을 수정(예를 들면, 모핑 또는 합성)하는 것이 수행되며, 적응적 움직임 필터링 또는 적응적 정밀 필터링(AP/AM 필터)이 적용될 수 있다. 예를 들면, 모핑된 또는 합성된 예측 참조(들)를 생성하기 위해 특성 파라미터를 수정(예를 들면, 모핑 또는 합성)하는 것이 발생되고 예측(들)이 수행될 수 있다. 또한, 적응적 움직임 필터링 또는 적응적 정밀 필터링은 프로세스에서 이 시점에 적용될 수 있다.
논의된 것처럼, 일부 예에서, 인터-예측이 수행될 수 있다. 일부 예에서, 최대 4개의 디코딩된 과거 및/또는 미래 픽처와 수 개의 모핑/합성 예측이 사용되어 많은 참조 타입(예를 들면, 참조 픽처)이 생성될 수 있다. '인터' 모드의 예를 들면, 최대 9개의 참조 타입이 P-픽처에 지원될 수 있고, 최대 10개의 참조 타입이 F/B 픽처에 대해서 지원될 수 있다. 또한, '멀티' 모드는 인터 예측 모드의 타입을 제공할 수 있으며, 여기서 1 개의 참조 픽처 대신에, 2 개의 참조 픽처가 사용될 수 있고 그리고 P- 및 F/B- 픽처가 각각 3개 및 최대 8개를 허용할 수 있다. 예를 들면, 예측은 모핑 기법이나 합성 기법 중의 적어도 하나를 사용하여 생성된 이전에 디코딩된 프레임을 기반으로 할 수 있다. 이러한 예에서, (동작(1212)과 관련하여 이하 논의되는) 비트스트림은 예측 파티션과 연관된 프레임 참조, 모핑 파라미터, 또는 합성 파라미터를 포함할 수 있다.
프로세스(1200)는 "EP 필터를 옵션으로 적용 및/또는 FI/FP 필터를 옵션으로 적용"하는 동작(1229)에서 계속될 수 있으며, 이 동작에서 강화된 예측된 파티션(예를 들면, EP 필터링) 또는 FI/FP 필터링(예를 들면, 융합 필터링 또는 융합 개선 필터링)이 옵션으로 적용될 수 있다. 일부 예에서, 일부 형태 또는 FI/FP 필터(융합 개선 필터링/융합 필터링)을 활용할지 또는 FI/FP 필터링을 사용하지 않을지에 대하여 결정이 내려질 수 있다. 일부 형태 또는 FI/FP 필터(예를 들어, 융합 필터링 또는 융합 개선 필터링)가 선택된 예측된 파티션에 적용되는 것일 때, 선택된 예측된 파티션 및 제 2 선택된 예측된 파티션은 조립되어 조립된 픽처의 적어도 일부를 생성할 수 있다. FI/FP 필터링은 조립된 픽처의 일부를 필터하도록 적용될 수 있다. FI/FP 필터링과 연관된 FI/FP 필터링 파라미터(예를 들면, 필터링 파라미터 또는 융합 개선 필터링 파라미터)가 생성되어 엔트로피 코더 서브시스템에 전달될 수 있다.
EP 필터링 또는 FI/FP 필터링이 사용가능한 구현예에서, 예측 파티션에 대한 선택된 예측된 파티션으로서 강화된 예측된 파티션(예를 들면, EP 필터링) 또는 예측된 파티션 데이터를 사용할 것인지를 디코더 시스템에게 표시하는 지시자가 생성될 수 있다.
동작(1202 내지 1229)은 비디오 인코딩 및 비트스트림 전송 기법을 제공할 수 있으며, 이는 본 개시에서 논의된 인코더 시스템에 의해 사용될 수 있다.
도 13은 본 개시의 적어도 어떤 구현과 연관되어 구성되는, 비트스트림(1300)의 예를 도시한다. 일부 예에서, 비트스트림(1300)은 도 1에 도시된 출력 비트스트림(111) 및/또는 도 2에 도시된 입력 스트림(201)에 대응할 수 있다. 비록 표현의 명확함을 위해, 도 29에 도시되지 않았지만, 일부 예에서, 비트스트림(1300)은 헤더 부분과 데이터 부분을 포함할 수 있다. 다양한 예에서, 비트스트림(1300)은 데이터, 지시자, 인덱스 값, 모드 선택 데이터 또는 본 개시에서 논의된 비디오 프레임의 인코딩과 연관되는 유사한 것을 포함할 수 있다.
논의된 것처럼, 비트스트림(1300)은, 예를 들면, 인코더(100)와 같은 인코더에 의해 생성되고 및/또는 디코딩을 위해 디코더(200)에 의해 수신되어, 디코딩된 비디오 프레임이 디스플레이 장치를 통해 표현될 수 있다.
도 14는 본 개시의 적어도 어떤 구현과 연관되어 구성되는, 프로세스(1400)의 예를 도시한다. 프로세스(1400)는 하나 이상의 동작에 의해 도시되는 것과 같이 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 프로세스(1400)는 차세대 비디오 코딩 프로세스의 적어도 일부를 형성할 수 있다. 비-한정된 예의 방식으로, 프로세스(1400)는 디코더 시스템(200) 및/또는 본 개시에서 기술된 임의의 다른 디코더 시스템 또는 서브시스템에 의해 착수되는 차세대 비디오 디코딩 프로세스의 적어도 일부를 형성할 수 있다.
프로세스(1400)는 "인코딩된 비트스트림을 수신"하는 동작(1402)에서 시작할 수 있고, 이 동작에서 비트스트림이 수신될 수 있다. 예를 들면, 본 개시에서 논의된 것처럼 인코딩된 비트스트림은 비디오 디코더에서 수신될 수 있다. 일부 예에서, 비트스트림(900 또는 1300)은 디코더(200)를 통해 수신될 수 있다.
프로세스(1400)는 "엔트로피 인코딩된 비트스트림을 디코딩하여 코딩 파티션 지시자(들), 블록 크기 데이터, 변환 타입 데이터, 양자화기(Qp) 및 양자화 변환 계수를 결정"하는 동작(1404)에서 계속될 수 있고, 이 동작에서 비트스트림이 코딩 파티션 지시자, 블록 크기 데이터, 변환 타입 데이터, 양자화기(Qp) 및 양자화 변환 계수, 움직임 벡터 및 참조 타입 데이터, 특성 파라미터(예를 들면, mop, syp) 등, 및/또는 이들의 조합을 결정하도록 디코딩될 수 있다. 부가적으로 또는 대안으로, 엔트로피 인코딩된 데이터는 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화된 변환 계수, 필터 파라미터, (모든 선택 데이터와 같은) 선택된 데이터, 및 지시자를 포함할 수 있다.
프로세스(1400)는 "양자화 계수에 양자화기(Qp)를 적용하여 역양자화 변환 계수를 생성"하는 동작(1406)에서 시작할 수 있고, 이 동작에서 양자화기(Qp)는 양자화 변환 계수에 적용되어 역양자화 변환 계수를 생성할 수 있다. 예를 들면, 동작(1406)은 적응적 역양자화 모듈(203)을 통해 적용될 수 있다.
프로세스(1400)는 "코딩(또는 인트라 예측된) 파티션 내의 계수들의 각 디코딩 블록에 대해, 변환 타입 및 블록 크기 데이터에 기초하는 역변환을 수행하여 디코딩 예측 오차 파티션을 생성"하는 동작(1408)에서 시작할 수 있고, 이 동작에서, 코딩(또는 인트라 예측된) 파티션 내의 계수들의 각 디코딩 블록에 대해, 변환 타입 및 블록 크기 데이터에 기초하는 역변환이 수행되어 디코딩 예측 오차 파티션을 생성할 수 있다. 일부 예에서, 역변환은 인버스 고정 변환을 포함할 수 있다. 일부 예에서, 역변환은 인버스 콘텐츠 적응적 변환을 포함할 수 있다. 그러한 예에서, 인버스 콘텐츠 적응적 변환의 수행은, 논의된 것처럼, 디코딩 비디오 데이터의 이웃 블록에 기초하여 인버스 콘텐츠 적응적 변환과 연관된 기저 함수를 결정하는 것을 포함한다. 본 개시에서 논의된 것처럼 인코딩에 사용되는 포워드 변환(forward transform)은 연관된 역변환을 사용하여 디코딩에 사용될 수 있다. 일부 예에서, 역변환은 적응적 역변환 모듈(204)에 의해 수행될 수 있다. 일부 예에서, 디코딩 예측 오차 파티션을 생성하는 것은 코딩 파티션 조립기(205)를 통해 코딩 파티션을 조립하는 것을 포함할 수 있다.
프로세서(1400)는 "DD/DB 필터를 적용, 픽셀 데이터를 재구성, 픽처로 조립"하는 동작(1423)에서 계속될 수 있으며, 이 동작에서 블록분리 필터링(예를 들면, DD 또는 DB 필터)이 적용될 수 있으며, 픽셀 데이터는 재구성되어 픽처로 조립될 수 있다. 예를 들어, 역스캔, 역변환, 및 코딩 파티션을 조립한 이후, 예측 오차 데이터 파티션은 예측 파티션에 가산되어 재구성된 예측 파티션을 생성할 수 있으며, 이 예측 파티션은 타일 또는 수퍼-프래그먼트로 조립될 수 있다. 조립된 타일 또는 수퍼-프래그먼트는 블록분리 필터링을 통해 옵션으로 처리될 수 있다.
프로세서(1400)는 "참조 픽처 버퍼에 QR/LP 필터 저장을 적용"하는 동작(1424)에서 계속될 수 있으며, 이 동작에서 품질 복원 필터링(예를 들어, QR 또는 LP 필터링)이 적용될 수 있으며, 조립된 픽처는 참조 픽처 버퍼에 저장될 수 있다. 예를 들어, DD/DB 필터링 이외에 또는 그 대신에, 조립된 타일 또는 수퍼-프래그먼트는 품질 복원 필터링을 통해 옵션으로 처리되고 조립되어 픽처를 생성할 수 있다. 픽처는 다른(예를 들면, 후속하는) 픽처의 예측을 위한 참조 픽처로서 디코딩된 픽처 버퍼(119)에 저장될 수 있다.
프로세스(1400)는 "AP/AM 필터를 적용하고, 디코딩된 수정 특성(예를 들면, mop, syp)을 이용하여 예측을 위한 수정된 참조를 생성하고 움직임 벡터 및 참조 정보, 예측된 파티션 정보, 및 수정된 참조를 이용하여 예측된 파티션을 생성"하는 동작(1425)에서 계속될 수 있고, 이 동작에서 예측을 위한 수정된 참조가 생성될 수 있고 예측된 파티션이 또한 생성될 수 있으며, 이 동작에서 적응적 움직임 필터링 또는 적응적 정밀 필터링(예를 들면, AP/AM 필터)가 적용될 수 있다. 예를 들면, 이 동작에서 예측을 위한 수정된 참조는 적어도 부분적으로 디코딩된 수정 특성(예를 들면, mop, syp)에 기초하여 생성될 수 있고 예측된 파티션은 적어도 부분적으로 움직임 벡터 및 참조 정보, 예측된 파티션 정보, 및 수정된 참조에 기초하여 생성될 수 있다. 또한, 적응적 움직임 필터링 또는 적응적 정밀 필터링은 이 프로세서에서 이 시점에 적용될 수 있다.
프로세스(1400)는 "옵션으로 EP 필터를 적용 및/또는 옵션으로 FI/FP 필터를 적용"하는 동작(1429)에서 계속될 수 있으며, 이 동작에서 강화된 예측된 파티션 (예를 들면, EP 필터링) 또는 FI/FP 필터링 (예를 들면, 융합 필터링 또는 융합 개선 필터링)이 옵션으로 적용될 수 있다. 일부 예에서, 일부 형태 또는 FI/FP 필터(융합 개선 필터링/융합 필터링)를 활용할 것인지 또는 FI/FP 필터링을 사용하지 않을 것인지에 대하여 결정이 내려질 수 있다. 일부 형태 또는 FI/FP 필터(예를 들면, 융합 필터링 또는 융합 개선 필터링)가 선택된 예측된 파티션에 적용되는 것일 때, 선택된 예측된 파티션 및 제 2 선택된 예측된 파티션은 조립되어 조립된 픽처의 적어도 일부를 생성할 수 있다. FI/FP 필터링은 조립된 픽처의 일부를 필터하기 위하여 적용될 수 있다. FI/FP 필터링과 연관된 FI/FP 필터링 파라미터 (예를 들어, 필터링 파라미터 또는 융합 개선 필터링 파라미터)가 생성되어 엔트로피 코더 서브시스템으로 전달될 수 있다.
EP 필터링 또는 FI/FP 필터링이 사용가능한 구현예에서, 예측 파티션에 대해 선택된 예측된 파티션으로서 강화된 예측된 파티션(예를 들면, EP 필터링) 또는 예측 파티션 데이터를 사용할 것인지를 디코더 시스템에게 표시하는 지시자가 인코더 시스템으로부터 수신될 수 있다.
프로세스(1400)는 "예측 파티션을 디코딩 예측 오차 데이터 파티션에 추가하여 재구성된 파티션을 생성"하는 동작(1430)에서 계속되며, 이 동작에서 예측 파티션이 디코딩 예측 오차 데이터 파티션에 추가되어 재구성된 파티션을 생성할 수 있다. 예를 들면, 디코딩 오차 데이터 파티션은 가산기(206)를 통해 연관된 예측 파티션에 추가될 수 있다.
프로세스(1400)는 "재구성된 파티션을 조립하여 타일 또는 수퍼-프래그먼트를 생성"하는 동작(1432)에서 계속되며, 이 동작에서 재구성된 예측 파티션이 타일 또는 수퍼-프래그먼트를 생성하도록 조립될 수 있다. 예를 들면, 재구성된 예측 파티션은 예측 파티션 조립기 모듈(207)을 통해 타일이나 수퍼-타일을 생성하도록 조립될 수 있다.
프로세스(1400)는 "픽처의 타일 또는 수퍼-프래그먼트를 조립하여 완전 디코딩 픽처를 생성"하는 동작(1434)에서 계속되며, 이 동작에서 픽처의 타일 또는 수퍼-프래그먼트가 완전(full) 디코딩 픽처를 생성하도록 조립될 수 있다. 예를 들면, 선택적인 블록분리 필터링 및/또는 품질 복원 필터링 이후에, 타일이나 수퍼-프래그먼트가 완전 디코딩 픽처를 생성하도록 조립되어, 디코딩된 픽처 버퍼(210)를 통해 저장되고 및/또는 적응적 픽처 재구성기 모듈(217)과 콘텐츠 후복원기 모듈(218)을 통해 프로세싱된 이후에 디스플레이 장치를 통한 표현을 위하여 전송될 수 있다.
도 15(a), 도 15(b) 및 도 15(c)는 본 개시의 적어도 일부 구현예에 따라서 구성된, 일 예의 비디오 코딩 시스템(1600) 및 동작 시의 비디오 코딩 프로세스(1500)를 예시하는 도면이다. 도시된 구현예에서, 프로세스(1500)는 하나 이상의 행위(1501 내지 1580)에 의해 예시되는 것처럼 하나 이상의 동작, 기능 또는 행위를 포함할 수 있다. 비-한정된 예의 방식으로, 프로세스(1500)는 도 1의 인코더(100) 및 도 2의 디코더(200)를 포함하는 일 예의 비디오 코딩 시스템(1600)을 참조하여 본 개시에서 설명될 것이며, 이하 도 16과 관련하여 좀 더 논의된다. 다양한 예에서, 프로세스(1500)는 인코더와 디코더를 모두 포함하는 시스템에 의해 또는 인코더(그리고 옵션으로 디코더)를 사용하는 한 시스템과 디코더(그리고 옵션으로 인코더)를 사용하는 다른 시스템을 갖는 별도의 시스템에 의해서 착수될 수 있다. 앞에서 논의된 것처럼, 인코더는 로컬 디코더를 인코더 시스템의 일부로서 사용하는 로컬 디코딩 루프를 포함할 수 있다는 것이 또한 주목된다.
도시된 구현예에서, 비디오 코딩 시스템(1600)은 로직 회로(1650), 그 유사한 것, 및/또는 그들의 조합을 포함할 수 있다. 예를 들면, 로직 회로(1650)는 인코더(100) 및/또는 도 2의 디코더 시스템(200)을 포함할 수 있고 그리고 본 개시에서 기술된 임의의 인코더 시스템 또는 서브시스템에 대하여 논의된 임의의 모듈 및/또는 본 개시에서 기술된 디코더 시스템 및 서브시스템을 포함할 수 있다. 비록 비디오 코딩 시스템(1600)이, 도 15(a) 내지 도 15(c)에 도시된 것처럼, 특정 모듈과 연관된 특정 블록의 세트나 행위를 포함할 수 있지만, 이들 블록이나 행위는 본 개시에서 도시된 특정 모듈과 상이한 모듈과 연관될 수 있다. 비록, 도시된 것처럼, 프로세스(1500)는 인코딩 및 디코딩에 관한 것이지만, 개념 및/또는 기술되는 동작은 인코딩 및/또는 디코딩에 별도로 적용될 수 있으며, 좀더 일반적으로는 비디오 코딩에 적용될 수 있다.
프로세스(1500)는 "비디오 시퀀스의 입력 비디오 프레임을 수신"하는 동작(1501)에서 시작하며, 이 동작에서 비디오 시퀀스의 입력 비디오 프레임이 예를 들면 인코더(100)를 통해 수신될 수 있다.
프로세스(1500)는 "픽처 타입을 픽처 그룹 내의 각 비디오 프레임과 연관"하는 동작(1502)에서 계속되며, 이 동작에서 픽처 타입은 예를 들면 콘텐츠 선-분석기 모듈(102)을 통해 픽처 그룹 내의 각 비디오 프레임과 연관될 수 있다. 예를 들면, 픽처타입은 F/B-픽처, P-픽처, 또는 I-픽처, 또는 그 유사한 것일 수 있다. 일부 예에서, 비디오 시퀀스는 픽처의 그룹을 포함할 수 있고 그리고 본 개시에서 기술된 프로세싱(예를 들면, 동작(1503 내지 1511))은 프레임이나 픽처 그룹의 픽처에 대해 수행될 수 있고, 프로세싱은 모든 프레임이나 그룹의 픽처들에 대하여 반복되고, 그리고 비디오 시퀀스 내의 모든 픽처 그룹에 대해서 반복될 수 있다.
프로세스(1500)는 "픽처를 타일(tiles) 및/또는 수퍼-프래그먼트(super-fragments)과 잠재적 예측 분할로 나누는"하는 동작(1503)에서 계속되며, 이 동작에서 픽처는 예를 들면 예측 파티션 생성기(105)를 통해 타일 및/또는 수퍼-프래그먼트과 잠재적 예측 파티션으로 나누어질 수 있다.
프로세스(1500)는 "각 잠재적인 예측 분할에 대하여, 예측(들)을 수행하고 예측 파라미터를 결정"하는 동작(1504)에서 계속되며, 이 동작에서, 각 잠재적인 예측 분할에 대하여, 예측(들)이 수행되고 예측 파라미터가 결정될 수 있다. 예를 들면, (각각이 다양한 예측 파티션을 갖는) 잠재적 예측 분할의 범위가 생성될 수 있고 연관된 예측(들)과 예측 파라미터가 결정될 수 있다. 예를 들면, 예측(들)은 특성 및 움직임 기반의 다중-참조 예측이나 인트라-예측을 사용하는 예측(들)을 포함할 수 있다.
논의된 것처럼, 일부 예에서, 인터-예측이 수행될 수 있다. 일부 예에서, 최대 4개의 디코딩된 과거 및/또는 미래 픽처와 여러 개의 모핑/합성 예측이 사용되어 많은 참조 타입(예를 들면, 참조 픽처)이 생성될 수 있다. '인터' 모드의 예를 들면, 최대 9개의 참조 타입이 P-픽처에 지원될 수 있고, 최대 10개의 참조 타입이 F/B 픽처에 대해서 지원될 수 있다. 또한, "멀티" 모드는 인터 예측 모드의 타입을 제공할 수 있으며, 여기서 1 개의 참조 픽처 대신에, 2 개의 참조 픽처가 사용될 수 있고 그리고 P- 및 F/B- 픽처가 각각 3개 및 최대 8개를 허용할 수 있다. 예를 들면, 예측은 모핑 기법이나 합성 기법 중의 적어도 하나를 사용하여 생성된 이전에 디코딩된 프레임을 기반으로 할 수 있다. 이러한 예에서, (동작(1512)과 관련하여 이하 논의되는) 비트스트림은 예측 파티션과 연관된 프레임 참조, 모핑 파라미터, 또는 합성 파라미터를 포함할 수 있다.
프로세스(1500)는 "각 잠재적인 예측 분할에 대하여, 잠재적인 예측 오차를 결정"하는 동작(1505)에서 계속되며, 이 동작에서, 각 잠재적인 예측 분할에 대하여, 잠재적인 예측 오차가 결정될 수 있다. 예를 들면, 각 잠재적인 예측 분할(그리고 연관된 예측 파티션, 예측(들), 및 예측 파라미터)에 대하여, 예측 오차가 결정될 수 있다. 예를 들면, 잠재적 예측 오차를 결정하는 것은 원 픽셀(예를 들면, 예측 파티션의 원 픽셀 데이터)을 예측 픽셀과 구별하는 것을 포함할 수 있다. 일부 예에서, 연관된 예측 파라미터가 저장될 수 있다. 논의된 것처럼, 일부 예에서, 예측 오차 데이터 파티션은 모핑 기법이나 합성 기법 중의 적어도 하나를 사용하여 생성된 이전에 디코딩된 프레임에 적어도 일부 기초하여 생성된 예측 오차 데이터를 포함할 수 있다.
프로세스(1500)는 "예측 분할 및 예측 타입을 선택하고 파라미터를 저장"하는 동작(1906)에서 계속되며, 이 동작에서 예측 분할 및 예측 타입이 선택되고 연관된 파라미터가 저장될 수 있다. 일부 예에서, 최소 예측 오차를 갖는 잠재적 예측 분할이 선택될 수 있다. 일부 예에서, 잠재적 예측 분할은 비트율 왜곡 최적화에 기초하여 선택될 수 있다.
프로세스(1500)는 "분할 예측 오차 데이터의 다양한 잠재적 코딩 분할에 대하여 다양한 블록 크기를 갖는 고정 또는 콘텐츠 적응적 변환을 수행"하는 동작(1507)에서 계속되며, 이 동작에서 다양한 블록 크기를 갖는 고정 또는 콘텐츠 적응적 변환이 분할 예측 오차 데이터의 다양한 잠재적 코딩 분할에 대하여 수행될 수 있다. 예를 들면, 파티션 예측 오차 데이터가 분할되어 복수의 코딩 파티션을 생성할 수 있다. 예를 들면, 파티션 예측 오차 데이터는 본 개시에서 논의된 것처럼 코딩 파티션 생성기 모듈(107)의 이진-트리 코딩 분할기 모듈이나 k-d 트리 코딩 분할기 모듈에 의해 분할될 수 있다. 일부 예에서, F/B- 또는 P-픽처와 연관된 파티션 예측 오차 데이터는 이진-트리 코딩 분할기 모듈에 의해 분할될 수 있다. 일부 예에서, I-픽처와 연관된 비디오 데이터(예를 들면, 일부 예에서 타일이나 수퍼-프래그먼트)는 k-d 트리 코딩 분할기 모듈에 의해서 분할될 수 있다. 일부 예에서, 코딩 분할 모듈은 스위치나 스위치들을 통해서 선정되거나 선택될 수 있다. 예를 들면, 파티션은 코딩 파티션 생성기 모듈(107)에 의해 생성될 수 있다.
프로세스(1500)는 "최선의 코딩 분할, 변환 블록 크기, 및 실제 변환을 결정"하는 동작(1508)에서 계속되며, 이 동작에서, 최선의 코딩 분할, 변환 블록 크기, 및 실제 변환이 결정될 수 있다. 예를 들면, (예를 들면, 다양한 코딩 파티션을 갖는) 다양한 코딩 분할이 RDO 또는 다른 근거에 기초하여 평가되어 선택된 코딩 분할을 결정할 수 있다(이는 코딩 파티션이 논의된 변환 블록 크기에 매칭하지 않을 때, 코딩 파티션을 변환 블록으로 추가로 분할하는 것을 포함할 수 있다). 예를 들면, 실제 변환(또는 선택된 변환)은 본 개시에서 논의된 코딩 파티션이나 블록 크기에 대하여 수행되는 콘텐츠 적응적 변환이나 고정 변환을 포함할 수 있다.
프로세스(1500)는 "변환 계수를 양자화하고 스캐닝"하는 동작(1509)에서 계속될 수 있고, 이 동작에서, 코딩 파티션(및/또는 변환 블록)과 연관되는 변환 계수가 엔트로피 코딩을 위한 준비로 양자화되고 스캐닝될 수 있다.
프로세스(1500)는 "각 타일 또는 수퍼-프래그먼트과 연관된 데이터를 엔트로피 인코딩"하는 동작(1511)에서 계속될 수 있고, 이 동작에서 각 타일 또는 수퍼-프래그먼트과 연관된 데이터가 엔트로피 인코딩될 수 있다. 예를 들면, 각 비디오 시퀀스의 각 픽처 그룹의 각 픽처의 각 타일이나 수퍼-프래그먼트과 연관된 데이터는 엔트로피 인코딩될 수 있다. 엔트로피 인코딩 데이터는 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화 변환 계수, 필터 파라미터, (모드 선택 데이터 같은) 선택 데이터, 및 지시자를 포함할 수 있다.
프로세스(1500)는 "비트스트림을 생성"하는 동작(1512)에서 계속될 수 있고, 이 동작에서, 비트스트림이 엔트로피 인코딩된 데이터에 기초하여 생성될 수 있다. 논의된 것처럼, 일부 예에서, 비트스트림은 예측 파티션과 연관된 프레임이나 픽처 참조, 모핑 파라미터, 또는 합성 파라미터를 포함할 수 있다.
프로세스(1500)는 "비트스트림을 전송"하는 동작(1513)에서 계속될 수 있고, 이 동작에서 비트스트림이 전송될 수 있다. 예를 들면, 비디오 코딩 시스템(2400)은 출력 비트스트림(111), 비트스트림(2100), 또는 그 유사한 것을 안테나(2402)를 통해 전송할 수 있다(도 34 참조).
프로세스(1500)는 "픽셀 데이터를 재구성하여, 픽처 내에 조립하고, 참조 픽처 버퍼 내에 저장"하는 동작(1520)에서 계속될 수 있고, 이 동작에서, 픽셀 데이터가 재구성될 수 있고, 픽처로 조립될 수 있고, 그리고 참조 픽처 버퍼 내에 저장될 수 있다. 예를 들면, (예를 들면, 역스캔, 역변환, 및 어셈블링 코딩 파티션을 포함하는) 로컬 디코딩 루프 이후에, 예측 오차 데이터 파티션이 생성될 수 있다. 예측 오차 데이터 파티션은 예측 파티션과 함께 추가되어 재구성된 예측 파티션을 생성할 수 있고, 이는 타일이나 수퍼-프래그먼트으로 조립될 수 있다. 조립된 타일이나 수퍼-프래그먼트는 선택적으로 블록분리 필터링 및/또는 품질 복원 필터링을 통해 프로세싱될 수 있고 그리고 픽처를 생성하도록 조립될 수 있다. 픽처는 다른(예를 들면, 후속하는) 픽처의 예측을 위한 참조 픽처로서 디코딩된 픽처 버퍼(119) 내에 저장될 수 있다.
프로세스(1500)는 "DD/DB 필터를 적용, 픽셀 데이터를 재구성, 픽처로 조립"하는 동작(1523)에서 계속될 수 있으며, 이 동작에서 블록분리 필터링(예를 들어, DD 또는 DB 필터)이 적용될 수 있으며, 픽셀 데이터는 재구성되며, 픽처로 조립된다. 예를 들어, (예를 들어, 역스캔, 역변환, 및 코딩 파티션을 조립하는 것을 포함하는) 로컬 디코딩 루프 이후, 예측 오차 데이터 파티션이 생성될 수 있다. 예측 오차 데이터 파티션은 예측 파티션과 가산되어 재구성된 예측 파티션을 생성하며, 이 예측 파티션은 타일 또는 수퍼-플레그먼트로 조립될 수 있다. 조립된 타일 또는 수퍼-프래그먼트는 옵션으로 블록분리 필터링 및/또는 품질 복원 필터링을 통해 처리되고 조립되어 픽처를 생성할 수 있다.
프로세스(1500)는 "참조 픽처 버퍼에 저장된 QR/LF 필터를 적용"하는 동작(1524)에서 계속될 수 있고, 이 동작에서 품질 복원 필터링(예를 들면, QR 또는 LF 필터링)이 적용될 수 있고, 조립된 픽처는 참조 픽처 버퍼에 저장될 수 있다. 예를 들어, DD/DB 필터링 이외에 또는 그에 대한 대안으로, 조립된 타일 또는 수퍼-프래그먼트는 옵션으로 품질 복원 필터링을 통해 처리되고 조립되어 픽처를 생성할 수 있다. 픽처는 다른 (예를 들면, 후속하는) 픽처의 예측을 위한 참조 픽처로서 디코딩된 픽처 버퍼(119)에 저장될 수 있다.
프로세스(1500)는 "수정 특성 파라미터를 생성"하는 동작(1525)에서 계속될 수 있고, 이 동작에서 수정된 특성 파라미터가 생성될 수 있다. 예를 들면, 제 2 수정된 예측 참조 픽처 및 제 2 수정된 예측 참조 픽처와 연관된 제 2 수정 특성 파라미터는 적어도 부분적으로 제 2 디코딩된 예측 참조 픽처에 기초하여 생성될 수 있으며, 여기서 제 2 수정된 참조 픽처는 제1 수정된 참조 픽처와 상이한 타입을 가질 수 있다.
프로세스(1500)는 "수정된 예측 참조 픽처를 생성"하는 동작(1526)에서 계속될 수 있고, 이 동작에서 수정된 예측 참조 픽처가 생성될 수 있고, 예를 들면, 제 1 수정된 예측 참조 픽처 및 제 1 수정된 예측 참조 픽처와 연관된 제 1 수정 특성 파라미터는 적어도 부분적으로 제 1 디코딩된 예측 참조 픽처에 기초하여 생성될 수 있다.
프로세스(1500)는 "움직임 데이터를 생성"하는 동작(1527)에서 계속될 수 있고, 이 동작에서 움직임 추정 데이터가 생성될 수 있다. 예를 들면, 현재 픽처의 예측 파티션과 연관된 움직임 데이터는 적어도 부분적으로 제 1 수정된 예측 참조 픽처 또는 제 2 수정된 예측 참조 픽처 중 하나에 기초하여 생성될 수 있다.
프로세스(1500)는 "AP/AM 필터를 적용하고 움직임 보상을 수행"하는 동작(1528)에서 계속될 수 있고, 이 동작에서 움직임 보상이 수행될 수 있다. 예를 들면, 움직임 보상은 적어도 부분적으로 움직임 데이터 및 제 1 수정된 예측 참조 픽처 또는 제 2 수정된 예측 참조 픽처 중 적어도 하나에 기초하여 수행되어 예측 파티션에 필요한 예측 파티션 데이터를 생성할 수 있고, 적응적 움직임 필터링 또는 적응적 정밀 필터링(예를 들면, AP/AM 필터)이 적용될 수 있다. 프로세스(1500)는 이 정보를 동작(1304)으로 피드백할 수 있고, 이 동작에서 (예를 들면, 제로 예측 오차 파티션을 포함하는) 각각의 디코딩된 예측 오차 파티션은 대응하는 예측 파티션에 가산되어 재구성된 예측 파티션을 생성할 수 있다. 또한, 적응적 움직임 필터링 또는 적응적 정밀 필터링(예를 들면, AP/AM 필터)이 이 프로세스에서 이 시점에 적용될 수 있다
프로세스(1500)는 "EP를 적용"하는 동작(1529)에서 계속될 수 있고, 이 동작에서 강화된 예측된 파티션(예를 들면, EP 필터링)이 옵션으로 적용될 수 있다. 일부 예에서, EP 필터링 또는 FI/FP 필터링이 사용가능한 경우, 강화된 예측된 파티션(예를 들면, EP 필터링) 또는 예측된 파티션 데이터를 예측 파티션에 대한 선택된 예측된 파티션으로 사용할지를 디코더 시스템에게 표시하는 지시자가 생성될 수 있다.
프로세스(1500)는 "옵션으로 FI/FP 필터를 적용"하는 동작(1530)에서 계속될 수 있고, 이 동작에서 옵션으로 FI/FP 필터링(예를 들면, 융합 필터링 또는 융합 개선 필터링)이 적용될 수 있다. 일부 예에서, 일부 형태 또는 FI/FP 필터(융합 개선 필터링/융합 필터링)을 활용할 것인지 또는 FI/FP 필터링을 사용하지 않을 것인지에 대하여 결정이 내려질 수 있다. 일부 형태 또는 FI/FP 필터(예를 들면, 융합 필터링 또는 융합 개선 필터링)이 선택된 예측된 파티션에 적용되게 될 때, 선택된 예측된 파티션 및 제 2 선택된 예측된 파티션은 조립되어 조립된 픽처의 적어도 일부를 생성할 수 있다. FI/FP 필터링이 적용되어 조립된 픽처의 일부를 필터할 수 있다. FI/FP 필터링과 연관된 FI/FP 필터링 파라미터(예를 들면, 필터링 파라미터 또는 융합 개선 필터링 파라미터)가 생성되어 엔트로피 코더 서브시스템으로 전달될 수 있다.
동작(1501 내지 1530)은 비디오 인코딩 및 비트스트림 전송 기법을 제공할 수 있으며, 이는 본 개시에서 논의된 인코더 시스템에 의해 사용될 수 있다. 다음의 동작들, 동작(1554 내지 1568)은 비디오 디코딩 및 비디오 디스플레이 기법을 제공할 수 있으며, 이는 본 개시에서 논의된 디코더 시스템에 의해 사용될 수 있다.
프로세스(1500)는 "비트스트림 수신"하는 동작(1554)에서 계속되며, 이 동작에서 비트스트림이 수신될 수 있다. 예를 들면, 입력 비트스트림(201), 비트스트림(2100), 또는 그 유사한 것이 디코더(200)를 통해 수신될 수 있다. 일부 예에서, 비트스트림은 상술한 것처럼 코딩 파티션과 연관된 데이터, 하나 이상의 지시자, 및/또는 데이터 정의 코딩 파티션를 포함할 수 있다. 일부 예에서, 비트스트림은 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화 변환 계수, 필터 파라미터, (모드 선택 데이터와 같은) 선택 데이터, 및 지시자를 포함할 수 있다.
프로세스(1500)는 "비트스트림 디코딩"하는 동작(1555)에서 계속되며, 이 동작에서 수신된 비트스트림이 예를 들면 적응적 엔트로피 디코더 모듈(202)을 통해 디코딩될 수 있다. 예를 들면, 수신된 비트스트림은 엔트로피 디코딩되어 예측 분할, 예측 파라미터, 선택된 코딩 분할, 선택된 특성 데이터, 움직임 벡터 데이터, 양자화 변환 계수, 필터 파라미터, (모드 선택 데이터와 같은) 선택 데이터, 및 지시자를 포함할 수 있다.
프로세스(1500)는 "각 코딩 파티션의 각 블록 상에 역스캔 및 역양자화를 수행"하는 동작(1556)에서 계속되며, 이 동작에서 역스캔 및 역양자화가 프로세싱될 예측 파티션에 대하여 각 코딩 파티션의 각 블록에 대해 수행될 수 있다. 예를 들면, 역스캔 및 역양자화는 적응적 역양자화 모듈(203)을 통해 수행될 수 있다.
프로세스(1500)는 "변환 계수를 디코딩하도록 고정 또는 적응적 역변환을 수행하여 디코딩 예측 오차 데이터 파티션을 결정"하는 동작(1557)에서 계속되며, 이 동작에서 고정 또는 콘텐츠 적응적 역변환이 변환 계수를 디코딩하도록 수행되어 디코딩된 예측 오차 데이터 파티션을 결정할 수 있다. 예를 들면, 역변환은 하이브리드 파라메트릭 하르 역변환이 파라메트릭 변환 방향의 파라메트릭 하르 역변환을 포함하고, 파라메트릭 변환 방향에 직교방향의 이산 코사인 역변환을 포함할 수 있도록, 하이브리드 파라메트릭 하르 역변환과 같은 인버스 콘텐츠 적응적 변환을 포함한다. 일부 예에서, 고정 역변환은 이산 코사인 역변환이나 이산 코사인 역변환 근사기를 포함할 수 있다. 예를 들면, 고정 또는 콘텐츠 적응적 변환은 적응적 역변환 모듈(204)을 통해 수행될 수 있다. 논의된 것처럼, 콘텐츠 적응적 역변환은, 예를 들면, 디코딩된 이웃 파티션이나 블록과 같은 그 밖의 이전에 디코딩된 데이터를 기반으로 할 수 있다. 일부 예에서, 디코딩된 예측 오차 데이터 파티션을 생성하는 것은 코딩 파티션 조립기 모듈(205)을 통해 디코딩된 코딩 파티션을 조립하는 것을 포함할 수 있다.
프로세스(1500)는 "각 예측 파티션에 대한 예측 픽셀 데이터를 생성"하는 동작(1558)에서 계속될 수 있고, 이 동작에서 예측 픽셀 데이터가 각 예측 파티션에 대하여 생성될 수 있다. 예를 들면, 예측 픽셀 데이터는 (예를 들면, 특성 및 움직임, 또는 인트라-, 또는 다른 타입에 기초하여) 선택된 예측 타입 및 연관된 예측 파라미터를 사용하여 생성될 수 있다.
프로세스(1500)는 "각 디코딩 예측 오차 파티션에 대응하는 예측 파티션을 추가하여 재구성된 예측 파티션을 생성"하는 동작(1559)에서 계속될 수 있고, 이 동작에서 (예를 들면, 제로 예측 오차 파티션을 포함하는) 각 디코딩 예측 오차 파티션이 재구성된 예측 파티션을 생성하도록 대응하는 예측 파티션에 추가될 수 있다. 예를 들면, 예측 파티션은 도 2에 도시된 디코딩 루프를 통해 생성되고 가산기(206)를 통해 디코딩 예측 오차 파티션에 추가될 수 있다.
프로세스(1500)는 "재구성된 예측 파티션들을 조립하여 디코딩 타일 또는 수퍼-프래그먼트를 생성"하는 동작(1560)에서 계속될 수 있고, 이 동작에서 재구성된 예측 파티션은 디코딩 타일이나 수퍼-프래그먼트를 생성하도록 조립될 수 있다. 예를 들면, 예측 파티션이 예측 파티션 조립기 모듈(207)을 통해 디코딩 타일이나 수퍼-프래그먼트를 생성하도록 조립될 수 있다.
프로세스(1500)는 "블록분리 필터링 및/또는 QR 필터링을 적용하여 최종 디코딩 타일 또는 수퍼-프래그먼트를 생성"하는 동작(1561)에서 계속될 수 있고, 이 동작에서 선택적인 블록분리 필터링 및/또는 품질 복원 필터링이 디코딩 타일 또는 수퍼-프래그먼트에 적용되어 최종 디코딩 타일이나 수퍼-프래그먼트를 생성할 수 있다. 예를 들면, 선택적인 블록분리 필터링은 블록분리 필터링 모듈(208)을 통해 적용될 수 있고 및/또는 선택적인 품질 복원 필터링은 품질 복원 필터링 모듈(209)을 통해 적용될 수 있다.
프로세스(1500)는 "디코딩 타일 또는 수퍼-프래그먼트를 조립하여 디코딩 비디오 픽처를 생성하고 참조 픽처 버퍼 내에 저장"하는 동작(1562)에서 계속될 수 있고, 이 동작에서, 디코딩(또는 최종 디코딩된) 타일 또는 수퍼-프래그먼트가 조립되어 디코딩 비디오 픽처가 생성되고, 그리고 디코딩 비디오 픽처는 참조 픽처 버퍼(예를 들면, 디코딩된 픽처 버퍼 210)에 미래의 예측용으로 저장될 수 있다.
프로세스(1500)는 "디스플레이 장치를 통한 표현을 위해 디코딩 비디오 프레임을 전송"하는 동작(1563)에서 계속될 수 있고, 이 동작에서, 디코딩 비디오 프레임이 전송되어 디스플레이 장치를 통해 표현될 수 있다. 예를 들면, 디코딩 비디오 픽처는 적응적 픽처 재-구성기(217) 및 콘텐츠 후복원기 모듈(218)을 통해 더 프로세싱되고 디스플레이 비디오(219)의 비디오 프레임으로서 디스플레이 장치로 전송되어 사용자에게 표현될 수 있다. 예를 들면, 비디오 프레임(들)은 (도 34에 도시된 것처럼) 디스플레이 장치(2405)로 전송되어 표현될 수 있다.
프로세스(1500)는 "DD/DB 필터를 적용, 픽셀 데이터를 재구성, 필터로 조립"하는 동작(1573)에서 계속될 수 있고, 이 동작에서 블록분리 필터링(예를 들면, DD 또는 DB 필터)이 적용될 수 있으며, 픽셀 데이터는 재구성되며 하나의 픽처로 조립될 수 있다. 예를 들어, 역스캔, 역변환, 및 코딩 파티션을 조립한 이후, 예측 오차 데이터 파티션은 예측 파티션에 가산되어 재구성된 예측 파티션을 생성할 수 있으며, 이 예측 파티션은 타일 또는 수퍼-프래그먼트로 조립될 수 있다. 조립된 타일 또는 수퍼-프래그먼트는 옵션으로 블록분리 필터링을 통해 처리될 수 있다.
프로세스(1500)는 "참조픽처 버퍼에 저장된 QR/LF 필터를 적용"하는 작(1574)에서 계속될 수 있고, 이 동작에서 품질 복원 필터링(예를 들면, QR 또는 LF 필터링)이 적용될 수 있고, 조립된 픽처는 기준 픽처 버퍼에 저장될 수 있다. 예를 들어, DD/DB 필터링 이외에 그리고 그에 대한 대안으로, 조립된 타일 또는 수퍼-플레그먼트는 옵션으로 품질 복원 필터링을 통해 처리되고 조립되어 픽처를 생성할 수 있다. 픽처는 다른(예를 들면, 후속하는) 픽처의 예측을 위한 참조 픽처로서 픽처 버퍼에 저장될 수 있다.
프로세스(1500)는 "수정된 예측 참조 픽처를 생성"하는 동작(1576)에서 계속될 수 있고, 이 동작에서 수정된 예측 참조 픽처가 생성될 수 있고, 예를 들면, 제 3 수정된 예측 참조 픽처의 적어도 일부분은 적어도 부분적으로 제 3 수정 특성 파라미터에 기초하여 생성될 수 있다. 유사하게, 제 4 수정된 예측 참조 픽처의 적어도 일부분은 적어도 부분적으로 연관된 제 2 수정 특성 파라미터에 기초하여 생성될 수 있다.
프로세스(1500)는 "움직임 데이터를 생성"하는 동작(1577)에서 계속될 수 있고, 이 동작에서 움직임 추정 데이터가 생성될 수 있다. 예를 들면, 현재 픽처의 예측 파티션과 연관된 움직임 데이터는 적어도 부분적으로 제 3 수정된 예측 참조 픽처 또는 제 3 수정된 예측 참조 픽처 중 하나에 기초하여 생성될 수 있다.
프로세스(1500)는 "AP/AM 필터를 적용하고 움직임 보상을 수행"하는 동작(1578)에서 계속될 수 있고, 이 동작에서 움직임 보상이 수행될 수 있고, 이 동작에서 적응적 움직임 필터링 또는 적응적 정밀 필터링(예를 들면, AP/AM 필터)이 적용될 수 있다. 예를 들면, 움직임 보상은 적어도 부분적으로 움직임 데이터 및 제 3 수정된 예측 참조 픽처 또는 제 4 수정된 예측 참조 픽처 중 적어도 하나에 기초하여 수행되어 예측 파티션에 필요한 예측 파티션 데이터를 생성할 수 있다. 프로세스(1300)는 이 정보를 동작(1559)으로 피드백할 수 있고, 이 동작에서 (예를 들면, 제로 예측 오차 파티션을 포함하는) 각각의 디코딩된 예측 오차 파티션은 대응하는 예측 파티션에 가산되어 재구성된 예측 파티션을 생성할 수 있다. 이에 더해서, 적응적 운동 필터링 또는 적응적 정밀 필터링은 상기 프로세스의 이 시점에서 적용될 수 있다.
프로세스(1500)는 "옵션으로 EP 필터를 적용"하는 동작(1579)에서 계속될 수 있고, 이 동작에서 강화된 예측된 파티션(예를 들면, EP 필터링)이 옵션으로 적용될 수 있다. 일부 예에서, EP 필터링 또는 FI/FP 필터링 모두 사용가능한 경우, 디코더 시스템에게 강화된 예측된 파티션(예를 들면, EP 필터링) 또는 예측된 파티션 데이터를 예측 파티션에 대한 선택된 예측된 파티션으로서 사용할지 여부를 나타내는 지시자가 인코더 시스템으로부터 수신될 수 있다.
프로세스(1500)는 "옵션으로 FI/FP 필터를 적용"하는 동작(1580)에서 계속될 수 있고, 이 동작에서 FI/FP 필터링(예를 들면, 융합 필터링 또는 융합 개선 필터링)이 옵션으로 적용될 수 있다. 일부 예에서, 일부 형태 또는 FI/FP 필터(융합 개선 필터링/융합 필터링)을 활용할 것인지 또는 FI/FP 필터링을 사용하지 않을 것인지에 대하여 결정이 내려질 수 있다. 일부 형태 또는 FI/FP 필터링(예를 들면, 융합 필터링 또는 융합 개선 필터링)이 선택된 예측된 파티션에 적용되는 것일 때, 선택된 예측된 파티션 및 제 2 선택된 예측된 파티션은 조립되어 조립된 픽처의 적어도 일부를 생성할 수 있다. FI/FP 필터링이 적용되어 조립된 픽처의 일부를 필터할 수 있다. FI/FP 필터링과 연관된 FI/FP 필터링 파라미터(예를 들면, 필터링 파라미터 또는 융합 개선 필터링 파라미터)가 생성되어 엔트로피 코더 서브시스템으로 전달될 수 있다.
프로세스(1500)는 본 개시에서 논의된 임의의 코더 시스템을 통해 구현될 수 있다. 또한, 프로세스(1500)는 예측 오차 데이터 파티션, 원 데이터 파티션 또는 웨이블릿 데이터 등과 같은 비디오 데이터의 임의 개수의 사례에 대해 직렬 또는 병렬로 반복될 수 있다.
본 개시에서 예시된 프로세스의 구현예가 예시된 다른 구현예에서 도시된 모든 동작들을 착수하는 것을 포함할 수 있지만, 본 개시는 이러한 관점으로 제한되지 않으며, 여러 예에서, 본 개시에서 예시된 프로세스의 구현예는 도시된 동작의 서브세트만의 수행 및/또는 예시된 것과 상이한 순서의 수행을 포함할 수 있다.
도 16은 본 발명의 적어도 일부 구현예에 따라서 구성되는, 비디오 코딩 시스템(1600)의 예를 도시한다. 도시된 구현예에서, 비디오 코딩 시스템(1600)은 이미지 장치(들)(1601), 비디오 인코더(100), 및/또는 비디오 인코더 구현 프로세싱 유니트(들)(1620)의 로직 회로(1650)를 통해 구현된 비디오 인코더(200) 및/또는 비디오 디코더, 안테나(1602), 하나 이상의 프로세서(들)(1603), 하나 이상의 메모리 저장소(들)(2004), 및/또는 디스플레이 장치(1605)를 포함할 수 있다.
도시된 것처럼, 이미징 장치(들)(1601), 안테나(1602), 프로세싱 유니트(들)(1620), 로직 회로(1650), 비디오 인코더(100), 비디오 디코더(200), 프로세서(들)(1603), 메모리 저장소(들)(1604), 및/또는 디스플레이 장치(1605)는 서로 통신할 수 있다. 논의된 것처럼, 비록 비디오 인코더(100)와 비디오 디코더(200)로 도시되었지만, 비디오 코딩 시스템(1600)은 다양한 예에서 비디오 인코더(100) 또는 비디오 디코더(200)만을 포함할 수 있다.
도시된 것처럼, 일부 예에서, 비디오 코딩 시스템(1600)은 안테나(1602)를 포함할 수 있다. 안테나(1602)는 예를 들면 비디오 데이터의 인코딩된 비트스트림을 전송하거나 수신하도록 구성될 수 있다. 또한, 일부 예에서, 비디오 코딩 시스템(1600)은 디스플레이 장치(1605)를 포함할 수 있다. 디스플레이 장치(1605)는 비디오 데이터를 표현하도록 구성될 수 있다. 도시된 것처럼, 일부 예에서, 로직 회로(1950)는 프로세싱 유니트(들)(1620)를 통해서 구현될 수 있다. 프로세싱 유니트(들)(1620)는 주문형 집적 회로(ASIC) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 또는 그 유사한 것을 포함할 수 있다. 비디오 코딩 시스템(1600)은 또한 유사하게 주문형 집적회로(ASIC) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 또는 그 유사한 것을 포함하는, 옵션의 프로세서(들)(1603)를 포함할 수 있다. 일부 예에서, 로직 회로(1650)는 하드웨어, 비디오 코딩 전용 하드웨어, 또는 그 유사한 것을 통해 구현될 수 있고, 프로세서(들)(1603)는 범용 목적 소프트웨어, 운영 체제, 또는 그 유사한 것을 구현할 수 있다. 추가로 메모리 저장소(1604)는 휘발성 메모리(예를 들면, 정적 랜덤 접근 메모리(SRAM), 동적 랜덤 억세스 메모리(DRAM), 등) 또는 비-휘발성 메모리(예를 들면, 플래시 메모리 등), 등과 같은 어떤 타입의 메모리일 수 있다. 비-제한적 예에서, 메모리 저장소(1604)는 캐시 메모리에 의해서 구현될 수 있다. 일부 예에서, 로직 회로(1650)는 (예를 들면, 이미지 버퍼의 구현을 위한) 액세스 메모리 저장소(1604)에 접근할 수 있다. 다른 예에서, 로직 회로(1650) 및/또는 프로세싱 유니트(들)(1620)는 이미지 버퍼나 그 유사한 것의 구현을 위하여 메모리 저장소(예를 들면, 캐시나 그 유사한 것)를 포함할 수 있다.
일부 예에서, 로직 회로를 통해 구현된 비디오 인코더(100)는 (예를 들면, 프로세싱 유니트(들)(1620)나 메모리 저장소(들)(1604)를 통해) 이미지 버퍼와 (예를 들면, 프로세싱 유니트(들)(1620)를 통해) 그래픽 프로세싱 유니트를 포함할 수 있다. 그래픽 프로세싱 유니트는 이미지 버퍼에 통신 가능하게 연결될 수 있다. 그래픽 프로세싱 유니트는 로직 회로(1650)를 통해 구현되는 비디오 인코더(100)를 포함하여, 도 1 및 도 3 및 도 5에 대하여 논의된 것처럼 다양한 모듈을 구현한다. 예를 들면, 그래픽 프로세싱 유니트는 엔트로피 인코더 로직 회로 등을 포함할 수 있다. 로직 회로는 본 개시에서 논의되는 다양한 동작을 수행하도록 구성될 수 있다. 예를 들어, 엔트로피 인코더 로직 회로는 엔트로피 인코딩을 위한 상이한 타입의 제 1 비디오 데이터 및 제 2 비디오 데이터를 수신하고, 제 1 엔트로피 인코딩 기술이 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함하도록 제 1 비디오 데이터와 연관된 파라미터에 적어도 부분적으로 기초하여 제 1 비디오 데이터에 대한 제 1 엔트로피 인코딩 기술을 결정하고, 제 1 인코딩 기술을 이용하여 제 1 비디오 데이터를 엔트로피 인코딩하여 제 1 압축된 비디오 데이터를 생성하고 제 2 인코딩 기술을 이용하여 제 2 비디오 데이터를 엔트로피 인코딩하여 제 2 압축된 비디오 데이터를 생성하며, 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립하여 출력 비트스트림을 생성하도록 구성될 수 있다. 비디오 디코더(200)는 유사한 방식으로 구현될 수 있다.
일부 예에서, 비디오 인코딩 시스템(1600)의 안테나(1602)는 비디오 데이터의 엔트로피 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 논의된 것처럼, 비트스트림은 둘 이상의 압축된 비디오 데이터 타입을 포함할 수 있다. 비디오 코딩 시스템(1600)은 또한 안테나(1602)에 결합되며 인코딩된 비트스트림을 디코딩하도록 구성된 비디오 디코더(200)를 포함할 수 있다. 예를 들어, 비디오 디코더(200)는 엔트로피 인코딩된 비트스트림을 분해하여 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 결정하고, 제 1 압축된 비디오 데이터에 대한 제 1 엔트로피 디코딩 기술을 결정하여, 제 1 엔트로피 디코딩 기술이 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함하도록 하며, 제 1 엔트로피 디코딩 기술에 기초하여 제 1 압축된 비디오 데이터를 엔트로피 인코딩하여 제 1 비디오 데이터를 생성하고 제 2 엔트로피 디코딩 기술에 기초하여 제 2 압축된 비디오 데이터를 엔트로피 디코딩하여 제 2 비디오 데이터를 생성하며, 제 1 비디오 데이터 및 제 2 비디오 데이터를 디코딩하여 비디오 프레임을 생성하도록 구성될 수 있다.
구현예에서, 본 개시에서 논의되는 특징은 하나 이상의 컴퓨터 프로그램 제품에 의해 제공되는 명령어에 대응하여 착수될 수 있다. 그러한 프로그램 제품은, 예를 들면, 프로세서에 의해 실행될 때, 본 개시에서 설명되는 기능성을 제공할 수 있는 명령어를 제공하는 매체를 담은 신호를 포함할 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 머신-판독가능한 매체의 형태로 제공될 수 있다. 따라서, 예를 들면, 하나 이상의 프로세서 코어(들)를 포함하는 프로세서는 하나 이상의 머신-판독가능한 매체에 의해 프로세서로 전달되는 프로그램 코드 및/또는 명령어나 명령어 세트에 대응하여 본 개시에서 기술된 하나 이상의 특징을 착수할 수 있다. 일반적으로, 머신-판독가능한 매체는 본 개시에서 설명되는 장치 및/또는 시스템이 본 개시에서 설명되는 특징의 적어도 부분을 구현하게 하는 프로그램 코드 및/또는 명령어나 명령어 세트의 형태로 된 소프트웨어를 전달한다.
도 17은 본 발명의 적어도 일부 구현예에 따라서 구성되는, 시스템(1700)의 예를 도시한다. 다양한 구현예에서, 시스템(1700)은 매체 시스템일 수 있지만, 그러나 시스템(1700)은 이러한 맥락에 한정되지 않는다. 예를 들면, 시스템(1700)은 개인용 컴퓨터(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인용 대지털 보조기(PDA), 셀룰러폰, 콤비네이션 셀룰러폰/PDA, 텔레비전, 스마트 장치(예를 들면, 스마트폰, 스마트 태블릿이나 스마트 텔레비전), 모바일 인터넷 장치(MID), 메시징 장치, 데이터 통신 장치, 카메라(예를 들면, 포인트-앤드-슛 카메라, 수퍼-줌 카메라, 디지털 싱글-렌즈 리플렉스(DSLR) 카메라) 등으로 통합될 수 있다.
다양한 구현예에서, 시스템(1700)은 디스플레이(1720)에 연결된 플랫폼(1702)를 포함한다. 플랫폼(1702)은 콘텐츠 서비스 장치(들)(1730) 또는 콘텐츠 전달 장치(들)(1740) 또는 다른 유사한 콘텐츠 소스와 같은 콘텐츠 장치로부터 콘텐츠를 수신할 수 있다. 하나 이상의 네비게이션 특성을 포함하는 네비게이션 컨트롤러(1750)는, 예를 들면, 플랫폼(1702) 및/또는 디스플레이(1720)와 상호작용하도록 사용될 수 있다. 이들 컴포넌트 각각은 이하 좀 더 상세하게 설명된다.
다양한 구현예에서, 플랫폼(1702)은 칩셋(1705), 프로세서(1710), 메모리(1712), 안테나(1713), 저장소(1714), 그래픽 서브시스템(1715), 애플리케이션(1716) 및/또는 라디오(1718)의 임의의 조합을 포함할 수 있다. 칩셋(1705)은 프로세서(1710), 메모리(1712), 저장소(1714), 그래픽 서브시스템(1715), 애플리케이션(1716) 및/또는 라디오(1718) 간의 통신을 제공할 수 있다. 예를 들면, 칩셋(1705)은 저장소(1714)와 상호통신을 제공할 수 있는 저장소 어댑터(도시되지 않음)를 포함할 수 있다.
프로세서(1710)는 복합 명령어 세트 컴퓨터(CISC) 또는 감소된 명령어 세트 컴퓨터(RISC) 프로세서, x86 명령어 세트 호환 프로세서, 멀티-코어 또는 그 밖의 마이크로프로세서나 중앙 처리 장치(CPU)로 구현될 수 있다. 다양한 구현예에서, 프로세서(1710)는 듀얼-코어 프로세서(들), 듀얼-코어 모바일 프로세서(들) 등일 수 있다.
메모리(1712)는 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 또는 정적 RAM(SRAM)과 같은 휘발성 메모리 장치로 구현될 수 있지만, 이에 한정되지 않는다.
저장소(1714)는 마그네틱 디스크 드라이브, 광 디스크 드라이브, 테입 드라이브, 내부 저장 장치, 부속 저장 장치, 플래시 메모리, 배터리 백업 SDRAM(동기 DRAM) 및/또는 네트워크 접근가능한 저장 장치와 같은 비-휘발성 저장 장치로서 구현될 수 있지만, 이에 한정되지 않는다. 다양한 구현예에서, 저장소(1714)는, 예를 드면, 복수의 하드 드라이브가 포함될 때, 귀중한 디지털 매체를 위한 저장 성능 강화된 보호를 증가시키는 기술을 포함할 수 있다.
그래픽 서브시스템(1715)은 디스플레이를 위한 스틸이나 비디오와 같은 이미지의 프로세싱을 수행할 수 있다. 그래픽 서브시스템(1715)은 예를 들면 그래픽 프로세싱 유니트(GPU)나 비주얼 프로세싱 유니트(VPU)일 수 있다. 아날로그나 디지털 인터페이스는 그래픽 서브시스템(1715) 및 디스플레이(1720)를 통신 가능하게 연결하도록 사용될 수 있다. 예를 들면, 인터페이스는 고화질 멀티매체 인터페이스, 디스플레이포트, 무선 HDMI, 및/또는 무선 HD 순응 기술 중의 어느 것일 수 있다. 그래픽 서브시스템(1715)은 프로세서(1710) 또는 칩셋(1705)으로 통합될 수 있다. 임의의 구현예에서, 그래픽 서브시스템(1715)은 칩셋(1705)과 통신 가능하게 연결되는 스탠드-얼론 장치일 수 있다.
본 개시에서 기술되는 그래픽 및/또는 비디오 프로세싱 기술은 다양한 하드웨어 아키텍처로 구현될 수 있다. 예를 들면, 그래픽 및/또는 비디오 기능성은 칩셋 내에 통합될 수 있다. 대안으로, 별개의 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 구현예에서, 그래픽 및/또는 비디오 프로세서가, 멀티-코어 프로세서를 포함하는, 범용 프로세서에 의해서 제공될 수 있다. 또 다른 예에서, 기능은 소비자 전자 장치에 구현될 수 있다.
라디오(1718)는 다양한 적합한 무선 통신 기술을 사용하여 신호를 전송하고 수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 그러한 기술은 하나 이상의 무선 네트워크에 걸친 통신을 포함할 수 있다. 예를 들면, 무선 네트워크는 무선 지역 네트워크(WLAN), 무선 개인 영역 네트워크(WPAN), 무선 도시지역 네트워크(WMAN), 셀룰러 네트워크, 및 위성 네트워크를 포함하지만 이에 한정되지 않는다. 그러한 네트워크에 걸친 통신에서, 라디오(1718)는 여느 버전의 하나 이상의 적용가능한 표준에 따라 동작할 수 있다.
다양한 구현예에서, 디스플레이(1720)는 텔레비전 타입 모니터나 디스플레이를 포함할 수 있다. 디스플레이(1720)는, 예를 들면, 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전-유사 장치, 및/또는 텔레비전을 포함할 수 있다. 디스플레이(1720)는 디지털 및/또는 아날로그일 수 있다. 다양한 구현예에서, 디스플레이(1720)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(1720)는 비주얼 프로젝션을 수신할 수 있는 투명한 표면일 수 있다. 이러한 프로젝션은 다양한 형태의 정보, 이미지 및/또는 객체를 실어나른다. 예를 들면, 이러한 프로젝션은 모바일 증강 현실(MAR) 애플리케이션에 대한 비주얼 오버레이일 수 있다. 하나 이상의 소프트웨어 애플리케이션(1716)의 제어하에, 플랫폼(1702)은 디스플레이(1720) 상에 사용자 인터페이스(1722)를 디스플레이할 수 있다.
다양한 구현예에서, 콘텐츠 서비스 장치(들)(1730)은 임의의 국내, 국제 및/또는 독립 서비스에 의해 호스팅되어 예컨대 인터넷을 통해 플랫폼(1702)에 액세스할 수 있다. 콘텐츠 서비스 장치(들)(1730)은 플랫폼(1702) 및/또는 디스플레이(1720)에 연결될 수 있다. 플랫폼(1702) 및/또는 콘텐츠 서비스 장치(들)(1730)은 네트워크(1760)로/로부터 미디어 정보를 통신(예를 들어, 송신 및/또는 수신)하기 위해서 네트워크(1760)와 연결될 수 있다. 콘텐츠 전달 장치(들)(1740)는 또한 플랫폼(1702) 및/또는 디스플레이(1720)에 연결될 수 있다.
여러 구현예에서, 콘텐츠 서비스 장치(들)(1730)은 케이블 텔레비젼 박스, 개인용 컴퓨터, 네트워크, 전화, 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 인터넷 가능한 장치 또는 가전기기, 및 네트워크(1760)을 통하거나 직접적으로, 콘텐츠 제공자 및 플랫폼(1702) 및 디스플레이(1720) 사이에서 단일방향 또는 양방향으로 콘텐츠를 전달할 수 있는 임의의 다른 유사한 장치를 포함할 수 있다. 콘텐츠는 네트워크(1760)를 통해 시스템(1700) 내의 컴포넌트 및 콘텐츠 제공자 중 어느 하나와 단일방향 및/또는 양방향으로 전달될 수 있다는 것이 인식될 것이다. 콘텐츠의 예는, 예를 들면 비디오, 음악, 의료 및 게임 정보 등을 포함하여 임의의 매체 정보가 포함될 수 있다.
콘텐츠 서비스 장치(들)(1730)는 매체 정보, 디지털 정보, 및/또는 다른 콘텐츠를 비롯한 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신할 수 있다. 콘텐츠 제공자의 예는 임의의 케이블 또는 위성 텔레비전 또는 라디오 또는 인터넷 콘텐츠 제공자를 포함할 수 있다. 제공된 예들은 어떤 식으로든 본 개시에 따른 구현예를 제한하려는 것을 의미하는 것은 아니다.
여러 구현예에서, 플랫폼(1702)은 하나 이상의 네비게이션 특성을 갖는 네비게이션 제어기(1750)로부터 제어 신호를 수신할 수 있다. 제어기(1750)의 네비게이션 특성은 예를 들어, 사용자 인터페이스(1722)와 상호작용하는데 사용될 수 있다. 여러 실시예에서, 네비게이션 제어기(1750)는 사용자가 입력 공간(예를 들면, 지속적인 다차원의) 데이터를 컴퓨터에 입력하도록 하는 컴퓨터 하드웨어 컴포넌트(특히, 휴먼 인터페이스 장치)이 될 수 있는 포인팅 장치일 수 있다. 그래픽 사용자 인터페이스(GUI), 텔레비전 및 모니터와 같은 많은 시스템들은 사용자가 물리적인 제스처를 사용하여 데이터를 제어하고 컴퓨터 또는 텔레비전에 제공하도록 한다.
제어기(1750)의 네비게이션 특성의 움직임은 포인터, 커서, 포커스 링, 또는 디스플레이 상에 표시되는 다른 시각적 지시자의 움직임에 의해 디스플레이(예들 들면, 디스플레이(1720)) 상에 복제될 수 있다. 예를 들면, 소프트웨어 애플리게이션(1716)의 제어 하에, 네비게이션 제어기(1750)에 배치된 네비게이션 특성은 예를 들어, 사용자 인터페이스(1722) 상에 디스플레이되는 가상 네비게이션 특성에 매핑될 수 있다. 여러 실시예에서, 제어기(1750)는 분리된 컴포넌트가 아니고 플랫폼(1702) 및/또는 디스플레이(1720)로 통합될 수 있다. 그러나, 본 개시는 도시되거나 기술되는 구성요소나 맥락에 한정되지 않는다.
여러 구현예에서, 드라이버(도시되지 않음)는, 예를 들어, 사용될 때, 초기 부트-업 이후 사용자가 버튼을 터치하여 텔레비전과 같은 플렛폼(1702)을 즉각 턴 온 및 오프하도록 하는 기술을 포함할 수 있다. 프로그램 로직은 플랫폼이 턴 ?의?될 때에도 플렛폼(1702)이 콘텐츠를 매체 어탭터 또는 다른 콘텐츠 서비스 장치(들)(1730) 또는 콘텐츠 전달 장치(들)(1740)로 스트리밍하도록 할 수 있다. 추가로, 칩셋(1705)은 예를 들면, 5.1 서라운드 사운드 오디오 및/또는 고화질 7.1 서라운드 사운드 오디오를 위한 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버는 통합 그래픽 플랫폼을 위한 그래픽 드라이버를 포함할 수 있다. 여러 실시예에서, 그래픽 드라이버는 퍼리퍼럴 컴포넌트 인터커넥트(PCI) 익스프레스 그래픽 카드를 포함할 수 있다.
여러 구현예에서, 시스템(1700)에 도시된 하나 이상의 컴포넌트가 통합될 수 있다. 예를 들어, 플랫폼(1702) 및 콘텐츠 서비스 장치(들)(1730)가 통합되고, 플랫폼(1702) 및 콘텐츠 전달 장치(들)(1740)가 통합될 수 있거나, 예를 들면, 플랫폼(1702), 콘텐츠 서비스 장치(들)(1730) 및 콘텐츠 전달 장치(들)(1740)가 통합될 수 있다. 여러 구현예에서, 플랫폼(1702) 및 디스플레이(1720)은 통합된 유니트일 수 있다. 예를 들면, 디스플레이(1720) 및 콘텐츠 서비스 장치(들)(1730)가 통합되거나, 디스플레이(1720) 및 콘텐츠 전달 장치(들)(1740)가 통합될 수 있다. 이러한 예는 본 개시를 제한하려는 것은 아니다.
여러 실시예에서, 시스템(1700)은 무선 시스템, 유선 시스템, 또는 이들의 조합으로 구현될 수 있다. 무선 시스템으로 구현될 때, 시스템(1700)은 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 제어 로직 등과 같은 무선 공유 매체와 통신하는데 적당한 컴포넌트 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 일 예는 RF 스펙트럼 등과 같은 무선 스펙트럼 부분을 포함할 수 있다. 유선 시스템으로 구현될 때, 시스템(1700)은, 입력/출력(I/O) 어탭터, I/O 어댑터를 대응하는 유선 통신 매체에 연결시키는 물리적 커넥터, 네트워크 인터페이스 카드(NIC), 디스크 제어기, 비디오 제어기, 오디오 제어기 등과 같은 유선 통신 매체와 통신하는데 적절한 컴포넌트 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 메탈 리드, 인쇄 회로 기판(PCB), 백플레인, 스위치 파브릭, 반도체 재료, 트위스트 페어 라인, 동축 케이블, 광 섬유 등이 포함될 수 있다.
플랫폼(1702)은 정보를 전달하는 하나 이상의 논리적 또는 물리적 채널을 설정할 수 있다. 정보는 매체 정보 및 제어 정보를 포함할 수 있다. 매체 정보는 사용자에게 의도된 콘텐츠를 표현하는 임의의 데이터를 지칭할 수 있다. 콘텐츠의 예는 음성 대화로부터의 데이터, 비디오 회의, 스트리밍 비디오, 전자 메일("email") 메시지, 음성 메일 메시지, 영숫자 심볼, 그래픽, 이미지, 비디오, 텍스트 등을 포함할 수 있다. 음성 대화로부터의 데이터는 예를 들면, 스피치 정보, 침묵 기간, 배경 잡음, 편안한 잡음, 톤 등일 수 있다. 제어 정보는 코맨드, 명령어, 자동화 시스템에 의도된 제어 단어를 표현하는 데이터를 지칭할 수 있다. 예를 들면, 제어 정보는 시스템을 통해 매체 정보를 라우팅하도록 사용될 수 있고, 또는 미리 결정된 방식으로 매체 정보를 프로세싱하는 노드를 지시하도록 사용될 수 있다. 그러나, 실시예는 도 17에 도시되거나 설명된 구성요소나 맥락에 한정되지 않는다.
전술한 바와 같이, 시스템(1700)은 각종 물리적 스타일 또는 폼 팩터로 구현될 수 있다. 도 18은 시스템(1800)이 구현될 수 있는 작은 폼 팩터 장치(1800)의 구현예를 도시한다. 여러 실시예에서, 예를 들면, 장치(1800)는 무선 성능을 갖는 모바일 컴퓨팅 장치로서 구현될 수 있다. 모바일 컴퓨팅 장치는 프로세싱 시스템 및 예를 들면, 하나 이상의 배터리 같은, 모바일 파워 소스나 서플라이를 갖는 임의의 장치를 지칭할 수 있다.
전술한 바와 같이, 모바일 컴퓨팅 장치의 예는 개인용 컴퓨터(PC), 랩톱 컴퓨터, 울트라-랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, 개인용 디지털 보조기(PDA), 셀룰러폰, 콤비네이션 셀룰러폰/PDA, 텔레비전, 스마트 장치(예를 들면, 스마트폰, 스마트 태블릿이나 스마트 텔레비전), 모바일 인터넷 장치(MID), 메시징 장치, 데이터 통신 장치, 카메라(예를 들면, 포인트-앤드-슛 카메라, 수퍼-줌 카메라, 디지털 싱글-렌즈 리플렉스(DSLR) 카메라) 등을 포함할 수 있다.
모바일 컴퓨팅 장치의 예는 또한, 손목 컴퓨터, 손가락 컴퓨터, 반지 컴퓨터, 안경 컴퓨터, 벨트-클립 컴퓨터, 암-밴드 컴퓨터, 신발 컴퓨터, 의복 컴퓨터, 및 그 밖의 입을 수 있는 컴퓨터와 같이, 인간이 입도록 구성된 컴퓨터를 포함할 수 있다. 다양한 예에서, 예를 들면, 모바일 컴퓨팅 장치는 컴퓨터 애플리케이션뿐만 아니라, 음성 통신 및/또는 데이터 통신을 실행할 수 있는 스마트폰으로서 구현될 수 있다. 비록 일부 실시예가 스마트폰으로서 구현되는 모바일 컴퓨팅 장치를 예를 들어서 설명되었지만, 다른 실시예는 또한 기타 다른 무선 모바일 컴퓨팅 장치를 사용하여 구현될 수 있다는 것이 인정되어야 한다. 실시예는 이러한 맥락에 한정되지 않는다.
도 18에 도시된 바와 같이, 장치(1800)는 하우징(1802), 디스플레이(1804), 입출력(I/O) 장치(1806), 및 안테나(1808)를 포함할 수 있다. 장치(1800)는 또한 네비게이션 기능(1812)을 포함할 수 있다. 디스플레이(1804)는 모바일 컴퓨팅 장치에 적합한 정보를 디스플레이하기 위한 임의의 적절한 디스플레이를 포함할 수 있다. I/O 장치(1806)는 정보를 모바일 컴퓨팅 장치로 입력하기 위한 임의의 적절한 I/O 장치를 포함할 수 있다. I/O 장치(1806)에 대한 예는 영숫자 키보드, 숫자 키보드, 터치 패드, 입력 키, 버튼, 스위치, 로커 스위치, 마이크로폰, 스피커, 음성 인식 장치 및 소프트웨어 등을 포함할 수 있다. 또한 정보는 마이크로폰(도시되지 않음)을 통해 장치(1800)로 입력될 수 있다. 그러한 정보는 음성 인식 장치(도시되지 않음)에 의해 디지털화될 수 있다. 실시예들은 이러한 맥략으로 제한되지 않는다.
여러 실시예들이 하드웨어 장치, 소프트웨어 장치, 또는 이 둘의 결합을 이용하여 구현될 수 있다. 하드웨어 장치의 예는 프로세서, 마이크로프로세서, 회로, 회로 요소(예를 들면, 트랜지스터, 레지스터, 커패시터, 인덕터 등), 집적 회로, 주문형 집적 회로(ASIC), 프로그래머블 논리 장치(PLD), 디지털 신호 처리기(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 논리 게이트, 레지스터, 반도체 소자, 칩, 마이크로칩, 칩 셋트 등을 포함할 수 있다. 소프트웨어의 예는 소프트웨어 컴포넌트, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 오퍼레이팅 시스템 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 함수, 방법, 절차, 소프트웨어 인터페이스, 애플리케이션 프로그램 인터페이스(API), 명령어 집합, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 단어, 값, 심볼, 또는 이들의 조합을 포함할 수 있다. 실시예가 하드웨어 구성요소 및/또는 소프트웨어 구성요소를 사용하여 구현되는지 여부를 결정하는 것은, 바람직한 컴퓨팅 속도, 파워 레벨, 내열성, 프로세싱 사이클 예산, 입력 데이터율, 출력 데이터율, 메모리 자원, 데이터 버스 속도 및 다른 디자인이나 성능 제약조건과 같은, 많은 인자와 관련되어 다양할 수 있다.
적어도 일 실시예의 하나 이상의 양태는 프로세서 내의 다양한 로직을 표현하는 머신-판독가능한 매체에 저장된 대표적인 명령어에 의해서 구현될 수 있으며, 이는 머신에 의해 읽혀질 때, 머신이 여기 설명된 기술을 수행하도록 로직을 제작하도록 유발한다. "IP 코어"로서 알려진, 이러한 표현이 유형의, 머신 판독가능한 매체에 저장되고 다양한 고객이나 제조 설비에 제공되어 로직이나 프로세서를 실제로 만드는 제작 머신에 로딩될 수 있다.
본 개시에서 제시된 특정 특징이 다양한 구현을 참조하여 설명되었지만, 이 설명은 한정하는 의미로 해석되도록 의도되지 않는다. 따라서, 본 개시에서 설명되는 구현의 다양한 수정, 그리고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백한 그 밖의 구현은 본 개시의 정신이나 영역 내에 속한다고 생각한다.
다음의 예는 추가적인 실시예와 관련된다.
일 예에서, 비디오 코딩을 위한 컴퓨터-구현 방법은 엔트로피 인코딩을 위해 제 1 비디오 데이터 및 제 2 비디오 데이터를 획득하는 단계 - 상기 제 1 비디오 데이터 및 상기 제 2 비디오 데이터는 상이한 데이터 타입을 포함함 - 와, 제 1 비디오 데이터에 대한 제 1 비디오 데이터와 연관된 제 1 엔트로피 인코딩 기술을 결정하는 단계 - 제 1 엔트로피 인코딩 기술은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함함 - 와, 제 1 인코딩 기술을 이용하여 제 1 비디오 데이터를 엔트로피 인코딩하여 제 1 압축된 비디오 데이터를 생성하고, 제 2 인코딩 기술을 이용하여 제 2 비디오 데이터를 엔트로피 인코딩하여 제 2 압축된 비디오 데이터를 생성하는 단계와, 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립하여 출력 비트스트림을 생성하는 단계를 포함할 수 있다.
다른 예에서, 비디오 코딩을 위한 컴퓨터-구현 방법은, 출력 비트스트림을 오디오 스트림과 다중화하여 다중화된 오디오-시각 스트림을 생성하는 단계 - 오디오 스트림은 코딩된 오디오 스트림 또는 코딩되지 않은 오디오 스트림 중 적어도 하나를 포함함 - 와, 획득된 움직임 벡터 데이터에 기초하여 움직임 벡터 예측을 수행하여 예측된 움직임 벡터를 생성하는 단계 - 획득된 움직임 벡터 데이터는 원래의 움직임 벡터를 포함함 - 와, 원래의 움직임 벡터 및 예측된 움직임 벡터의 차를 계산하여 차이 움직임 벡터를 생성하는 단계 - 제 2 비디오 데이터는 차이 움직임 벡터를 포함하며 제 2 엔트로피 인코딩 기술은 적응적 분류된 가변 길이 코딩을 포함함 - 와, 엔트로피 인코딩을 위한 제 3 비디오 데이터, 제 4 비디오 데이터, 제 5 비디오 데이터, 제 6 비디오 데이터, 및 제 7 비디오 데이터를 획득하는 단계와, 제 3 비디오 인코딩 기술을 이용하여 상기 제 3 비디오 데이터를 엔트로피 인코딩하여 제 3 압축된 비디오 데이터를 생성하고, 제 4 비디오 인코딩 기술을 이용하여 제 4 비디오 데이터를 엔트로피 인코딩하여 제 4 압축된 비디오 데이터를 생성하고, 제 5 비디오 인코딩 기술을 이용하여 제 5 비디오 데이터를 엔트로피 인코딩하여 제 5 압축된 비디오 데이터를 생성하고, 제 6 비디오 인코딩 기술을 이용하여 제 6 비디오 데이터를 엔트로피 인코딩하여 제 6 압축된 비디오 데이터를 생성하고, 제 7 비디오 인코딩 기술을 이용하여 제 7 비디오 데이터를 엔트로피 인코딩하여 제 7 압축된 비디오 데이터를 생성하기 위는 단계 - 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립하는 단계는 제 3, 제 4, 제 5, 제 6 및 제 7 압축된 비디오 데이터를 조립하여 출력 비트스트림을 생성하는 단계를 더 포함하며 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며, 제 3 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터 또는 픽처 슬라이스 또는 영역 데이터 중 적어도 하나를 포함하며, 제 4 비디오 데이터는 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 예측 참조 정보 데이터, 또는 모드 및 스플릿 정보 데이터의 조인트 코딩 중 적어도 하나를 포함하며, 제 5 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며, 제 6 비디오 데이터는 변환 계수 데이터를 포함하며, 제 7 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함함 - 와, 출력 비트스트림을 전송하는 단계와, 출력 비트스트림을 수신하는 단계와, 출력 비트스트림을 분해하여 제 1, 제 2, 제 3, 제 4, 제 5, 제 6 및 제 7 압축된 비디오 데이터를 결정하는 단계와, 연관된 제 1, 제 2, 제 3, 제 4, 제 5, 제 6 및 제 7 엔트로피 디코딩 기술을 이용하여 제 1, 제2, 제 3, 제 4, 제 5, 제 6 및 제 7 압축된 비디오 데이터를 엔트로피 디코딩하여 비디오 프레임을 생성하는 단계와, 엔트로피 디코딩된 비디오 데이터를 디코딩하여 비디오 데이터를 생성하는 단계와, 비디오 프레임을 디스플레이 장치로 전송하여 보여주는 단계를 포함할 수 있다. 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터 또는 글로벌 맵 데이터 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함할 수 있다. 제 2 비디오 데이터는 변환 계수 데이터를 포함하며, 제 2 엔트로피 인코딩 기술은 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩, 또는 적응적 2-차원 가변 길이 코딩 중 적어도 하나를 포함하며, 변환 계수 데이터는 제 1 변환 계수 데이터, 제 2 변환 계수 데이터, 및 제 3 변환 계수 데이터를 포함하며, 제 1 변환 계수 데이터는 적응적 벡터 가변 길이 코딩을 통해 인코딩되며, 제 2 변환 계수 데이터는 적응적 1-차원 가변 길이 코딩을 통해 인코딩되며, 제 3 변환 계수 데이터는 적응적 2-차원 가변 길이 코딩을 통해 인코딩되며, 제 1 변환 계수 데이터는 일차원에서 블록 크기가 2인 데이터를 포함하며, 제 2 변환 계수 데이터는 4x4 의 블록 크기를 갖는 데이터를 포함하며, 제 3 변환 계수 데이터는 4x8, 8x4, 8x8, 16x16, 32x32, 또는 64x64중 적어도 하나의 블록 크기를 갖는 데이터를 포함할 수 있다. 제 2 비디오 데이터는 픽처 슬라이스 또는 영역 데이터를 포함하며 제 2 엔트로피 인코딩 기술은 적응적 코드북 가변 길이 코딩을 포함할 수 있다. 제 2 비디오 데이터는 모드 및 슬라이스 정보 데이터의 조인트 코딩을 포함하며 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩을 포함할 수 있다. 제 2 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함하며 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩 기술 또는 산술 코딩 기술 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터 및 제 2 비디오 데이터를 획득하는 단계는 제 1 비디오 데이터 및 제 2 비디오 데이터를 상이한 시간에 획득하는 단계를 포함할 수 있다. 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립하는 단계는 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 다중화하는 단계를 포함하며, 제 1 압축된 비디오 데이터는 픽처를 기반으로 하며 제 2 압축된 비디오 데이터는 영역 기반, 슬라이스 기반, 타일 기반, 예측 파티션 기반 또는 코딩 파티션 기반 중 적어도 하나를 기반으로 한다. 적응적 심볼-런 가변 길이 코딩 기술은 적응적 심볼-런 가변 길이 코딩을 적용하기 전에 제 1 비디오 데이터를 비트 맵 데이터로부터 반전된 비트맵, 차분 비트 맵, 또는 그레디언트 예측 비트 맵 중 적어도 하나로 변환하는 단계를 포함할 수 있다. 적응적 심볼-런 가변 길이 코딩 기술은 제 1 비디오 데이터에서 스킵된 브록의 런을 코딩하는 단계를 포함할 수 있다. 적응적 심볼-런 가변 길이 코딩 기술은 제 1 비디오 데이터의 다중-레벨 심볼-런 코딩을 포함할 수 있다. 적응적 프록시 가변 길이 코딩 기술은 제 1 비디오 데이터의 원 고정 길이 1-차원 블록을 가변 길이 코드로 대체하는 단계를 포함할 수 있으며, 원 고정 길이 1-차원 블록은 2 비트, 3 비트 또는 4 비트 중 적어도 하나의 길이를 포함할 수 있으며, 원 고정 길이 1-차원 블록은 2 비트의 길이를 포함할 수 있으며, 가변 길이 코드는 1 내지 3 비트의 가변 길이를 포함할 수 있으며, 원 고정 길이 1-차원 블록은 3 비트의 길이를 포함할 수 있으며, 가변 길이 코드는 1 내지 5 비트의 가변 길이를 포함할 수 있다.
또 다른 예에서, 적응적 인트로피 인코더를 통해, 비디오 코딩을 위한 컴퓨터-구현 방법은, 엔트로피 코딩을 위한 비디오 데이터를 획득하는 단계와, 비디오 데이터를 코딩하기 위한 적응적 심볼-런 가변 길이 코딩 기술과 연관된 선택된 테이블을 결정하는 단계와, 선택된 테이블에 기초하여 적응적 심볼-런 가변 길이 코딩 기술을 이용하여 비디오를 엔트로피 인코딩하여 압축된 비디오 데이터를 생성하는 단계와, 압축된 비디오 데이터 및 선택된 테이블에 대한 지시자를 출력 비트스트림 내에 코딩하는 단계를 포함할 수 있다.
다른 예에서, 적응적 엔트로피 인코더를 통해, 비디오 코딩을 위한 컴퓨터-구현 방법은, 엔트로피 코딩을 위해 비디오 데이터를 획득하는 단계와, 비디오 데이터를 코딩하기 위한 적응적 프록시 가변 길이 코딩 기술과 연관된 선택된 테이블을 결정하는 단계와, 선택된 테이블에 기초하여 적응적 프록시 가변 길이 코딩 기술을 이용하여 비디오 데이터를 엔트로피 코딩하여 압축된 비디오 데이터를 생성하는 단계와, 압축된 비디오 데이터 및 선택된 테이블을 위한 지시자를 출력 비트스트림 내에 코딩하는 단계를 포함할 수 있다.
다른 예에서, 비디오 인코더는 이미지 버퍼와, 엔트로피 인코더 로직 회로를 갖는 그래픽 처리 장치를 포함할 수 있다. 그래픽 처리 장치는 이미지 버퍼에 통신 가능하게 결합될 수 있으며 엔트로피 인코더 로직 회로는 엔트로피 인코딩을 위하여 제 1 비디오 데이터 및 제 2 비디오 데이터를 획 - 제 1 비디오 데이터 및 제 2 비디오 데이터가 상이한 데이터 타입을 포함함 - 하고, 제 1 비디오 데이터에 대한 제 1 엔트로피 인코딩 기술을 결정 - 제 1 엔트로피 인코딩 기술은 적응적-심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함함 - 하고, 제 1 인코딩 기술을 이용하여 제 1 비디오 데이터를 엔트로피 인코딩하여 제 1 압축된 비디오 데이터를 생성하며 그리고 제 2 인코딩 기술을 이용하여 제 2 비디오 데이터를 엔트로피 인코딩하여 제 2 압축된 비디오 데이터를 생성하고, 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립하여 출력 비트스트림을 생성하도록 구성될 수 있다.
다른 예의 비디오 인코더에서, 엔트로피 인코더 로직 회로는 출력 비트스트림을 오디오 스트림과 다중화하여 다중화된 오디오-시각 스트림을 생성 - 오디오 스트림은 코딩된 오디오 스트림 또는 코딩되지 않은 오디오 스트림 중 적어도 하나를 포함함 - 하고, 획득된 움직임 벡터 데이터에 기초하여 움직임 벡터 예측을 수행하여 예측된 움직임 벡터를 생성 - 획득된 움직임 벡터 데이터는 원래의 움직임 벡터를 포함함- 하고, 원래의 움직임 벡터 및 예측된 움직임 벡터와의 차를 계산하여 차이 움직임 벡터를 생성 - 제 2 비디오 데이터는 차이 움직임 벡터를 포함하고 제 2 엔트로피 인코딩 기술은 적응적 분류된 가변 길이 코딩을 포함함 - 하고, 엔트로피 인코딩하기 위한 제 3 비디오 데이터, 제 4 비디오 데이터, 제 5 비디오 데이터, 제 6 비디오 데이터, 및 제 7 비디오 데이터를 획득하고, 제 3 비디오 인코딩 기술을 이용하여 제 3 비디오 데이터를 엔트로피 인코딩하여 제 3 압축된 비디오 데이터를 생성하고, 제 4 비디오 인코딩 기술을 이용하여 제 4 비디오 데이터를 엔트로피 인코딩하여 제 4 압축된 비디오 데이터를 생성하고, 제 5 비디오 인코딩 기술을 이용하여 제 5 비디오 데이터를 엔트로피 인코딩하여 제 5 압축된 비디오 데이터를 생성하고, 제 6 비디오 인코딩 기술을 이용하여 제 6 비디오 데이터를 엔트로피 인코딩하여 제 6 압축된 비디오 데이터를 생성하고, 제 7 비디오 인코딩 기술을 이용하여 제 7 비디오 데이터를 엔트로피 인코딩하여 제 7 압축된 비디오 데이터를 생성 - 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립하는 것은 제 3, 제 4, 제 5, 제 6 및 제 7 압축된 비디오 데이터를 조립하여 출력 비트스트림을 생성하도록 구성되는 엔트로피 인코더 로직 회로를 더 포함하며, 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며, 제 3 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터 또는 픽처 슬라이스 또는 영역 데이터 중 적어도 하나를 포함하며, 제 4 비디오 데이터는 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 예측 참조 정보 데이터, 또는 모드 및 스플릿 정보 데이터의 조인트 코딩 중 적어도 하나를 포함하며, 제 5 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며, 제 6 비디오 데이터는 변환 계수 데이터를 포함하며, 제 7 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터 또는 글로벌 맵 데이터 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함할 수 있다. 제 2 비디오 데이터는 변환 계수 데이터를 포함하며, 제 2 엔트로피 인코딩 기술은 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩, 또는 적응적 2-차원 가변 길이 코딩 중 적어도 하나를 포함하며, 변환 계수 데이터는 제 1 변환 계수 데이터, 제 2 변환 계수 데이터, 및 제 3 변환 계수 데이터를 포함하며, 상기 제 1 변환 계수 데이터는 적응적 벡터 가변 길이 코딩을 통해 인코딩되며, 제 2 변환 계수 데이터는 적응적 1-차원 가변 길이 코딩을 통해 인코딩되며, 제 3 변환 계수 데이터는 적응적 2-차원 가변 길이 코딩을 통해 인코딩되며, 제 1 변환 계수 데이터는 일차원에서 블록 크기가 2인 데이터를 포함하며, 제 2 변환 계수 데이터는 4x4의 블록 크기를 갖는 데이터를 포함하며, 제 3 변환 계수 데이터는 4x8, 8x4, 8x8, 16x16, 32x32, 또는 64x64 중 적어도 하나의 블록 크기를 갖는 데이터를 포함할 수 있다. 제 2 비디오 데이터는 픽처 슬라이스 또는 영역 데이터를 포함하며 제 2 엔트로피 인코딩 기술은 적응적 코드북 가변 길이 코딩을 포함할 수 있다. 제 2 비디오 데이터는 모드 및 슬라이스 정보 데이터의 조인트 코딩을 포함하며 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩을 포함할 수 있다. 제 2 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함할 수 있으며 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩 기술 또는 산술 코딩 기술 중 적어도 하나를 포함할 수 있다. 제 1 비디오 데이터 및 제 2 비디오 데이터를 획득하는 것은 제 1 비디오 데이터 및 제 2 비디오 데이터를 상이한 시간에 획득하는 것을 포함할 수 있다. 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 조립하는 것은 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 다중화하는 단계를 포함하며, 제 1 압축된 비디오 데이터는 픽처를 기반으로 하며 제 2 압축된 비디오 데이터는 영역 기반, 슬라이스 기반, 타일 기반, 예측 파티션 기반 또는 코딩 파티션 기반 중 적어도 하나를 기반으로 한다. 적응적 심볼-런 가변 길이 코딩 기술은 적응적 심볼-런 가변 길이 코딩을 적용하기 전에 제 1 비디오 데이터를 비트 맵 데이터로부터 반전된 비트맵, 차분 비트 맵, 또는 그레디언트 예측 비트 맵 중 적어도 하나로 변환하는 것을 포함할 수 있다. 적응적 심볼-런 가변 길이 코딩 기술은 제 1 비디오 데이터에서 스킵된 블록의 런을 코딩하는 것을 포함할 수 있다. 적응적 심볼-런 가변 길이 코딩 기술은 제 1 비디오 데이터의 다중-레벨 심볼-런 인코딩을 포함할 수 있다. 적응적 프록시 가변 길이 코딩 기술은 제 1 비디오 데이터의 원 고정 길이 1-차원 블록을 가변 길이 코드로 대체하는 것을 포함할 수 있으며, 원 고정 길이 1-차원 블록은 2 비트, 3 비트 또는 4 비트 중 적어도 하나의 길이를 포함하며, 원 고정 길이 1-차원 블록은 2 비트의 길이를 포함하며, 가변 길이 코드는 1 내지 3 비트의 가변 길이를 포함하며, 원 고정 길이 1-차원 블록은 3 비트의 길이를 포함하며 가변 길이 코드는 1 내지 5 비트의 가변 길이를 포함할 수 있다.
또 다른 예에서, 시스템은 비디오 데이터의 엔트로피 인코딩된 비트스트림을 수신하기 위한 안테나와, 안테나와 통신 가능하게 결합되고 인코딩된 비트스트림을 디코딩하도록 구성된 비디오 디코더를 포함할 수 있다. 인코딩된 비트스트림은 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 포함하며, 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터는 상이한 데이터 타입을 포함할 수 있다. 비디오 디코더는 엔트로피 인코딩된 비트스트림을 분해하여 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 결정하고, 제 1 압축된 비디오 데이터에 대한 제 1 엔트로피 디코딩 기술을 결정 - 제 1 엔트로피 디코딩 기술은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함함 - 하고, 제 1 엔트로피 디코딩 기술에 기초하여 제 1 압축된 비디오 데이터를 엔트로피 인코딩하여 제 1 비디오 데이터를 생성하고 제 2 엔트로피 디코딩 기술에 기초하여 제 2 압축된 비디오 데이터를 엔트로피 디코딩하여 제 2 비디오 데이터를 생성하고, 제 1 비디오 데이터 및 제 2 비디오 데이터를 디코딩하여 비디오 프레임을 생성하도록 구성될 수 있다.
또 다른 예 시스템에서, 시스템은 비디오 프레임을 보여주기 위한 디스플레이 장치를 더 포함할 수 있다. 비디오 디코더는 제 2 비디오 데이터를 통해 차이 움직임 벡터를 결정하고, 디코딩된 움직임 벡터 데이터에 기초하여 움직임 벡터 예측을 수행하여 예측된 움직임 벡터를 생성하고, 차이 움직임 벡터 및 예측된 움직임 벡터를 가산하여 재구성된 움직임 벡터를 생성하고, 제 3 비디오 디코딩 기술을 이용하여 제 3 압축된 비디오 데이터를 엔트로피 인코딩하여 제 3 비디오 데이터를 생성하고, 제 4 비디오 디코딩 기술을 이용하여 제 4 압축된 비디오 데이터를 엔트로피 인코딩하여 제 4 비디오 데이터를 생성하고, 제 5 비디오 디코딩 기술을 이용하여 제 5 압축된 비디오 데이터를 엔트로피 인코딩하여 제 5 비디오 데이터를 생성하고, 제 6 비디오 디코딩 기술을 이용하여 제 6 압축된 비디오 데이터를 엔트로피 인코딩하여 제 6 비디오 데이터를 생성하고, 제 7 비디오 디코딩 기술을 이용하여 제 7 압축된 비디오 데이터를 엔트로피 디코딩하를 엔트로피 인코딩하여 제 7 비디오 데이터를 생성 - 제 1 압축된 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며, 제 3 압축된 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터 또는 픽처 슬라이스 또는 영역 데이터 중 적어도 하나를 포함하며, 제 4 압축된 비디오 데이터는 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 예측 참조 정보 데이터, 또는 모드 및 스플릿 정보 데이터의 조인트 코딩 중 적어도 하나를 포함하며, 제 5 압축된 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며, 제 6 압축된 비디오 데이터는 변환 계수 데이터를 포함하며, 제 7 압축된 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함함 - 하고, 비디오 프레임을 디스플레이 장치로 전송하여 보여주도록 더 구성될 수 있다. 제 1 압축된 비디오 데이터는 헤더 데이터, 모핑 파라미터, 합성 파라미터 또는 글로벌 맵 데이터 중 적어도 하나를 포함할 수 있다. 제 1 압축된 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함할 수 있다. 제 1 압축된 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함할 수 있다. 제 1 압축된 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함할 수 있다. 제 2 압축된 비디오 데이터는 변환 계수 데이터를 포함하며, 제 2 엔트로피 디코딩 기술은 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩, 또는 적응적 2-차원 가변 길이 코딩 중 적어도 하나를 포함하며, 변환 계수 데이터는 제 1 변환 계수 데이터, 제 2 변환 계수 데이터, 및 제 3 변환 계수 데이터를 포함하며, 제 1 변환 계수 데이터는 적응적 벡터 가변 길이 코딩을 통해 디코딩되며, 제 2 변환 계수 데이터는 적응적 1-차원 가변 길이 코딩을 통해 디코딩되며, 제 3 변환 계수 데이터는 적응적 2-차원 가변 길이 코딩을 통해 디코딩되며, 제 1 변환 계수 데이터는 일 차원에서 블록 크기가 2인 데이터를 포함하며, 제 2 변환 계수 데이터는 4x4의 블록 크기를 갖는 데이터를 포함하며, 제 3 변환 계수 데이터는 4x8, 8x4, 8x8, 16x16, 32x32, 또는 64x64 중 적어도 하나의 블록 크기를 갖는 데이터를 포함할 수 있다. 제 2 압축된 비디오 데이터는 픽처 슬라이스 또는 영역 데이터를 포함하며 제 2 엔트로피 디코딩 기술은 적응적 코드북 가변 길이 코딩을 포함할 수 있다. 제 2 압축된 비디오 데이터는 모드 및 스플릿 정보 데이터의 조인트 코딩을 포함하며 제 2 엔트로피 디코딩 기술은 적응적 가변 길이 코딩을 포함할 수 있다. 제 2 압축된 비디오 데이터는 인트라-예측 타입 또는 인터-예측 방향 데이터 중 적어도 하나를 포함하며 제 2 엔트로피 디코딩 기술은 적응적 가변 길이 코딩 기술 또는 산술 코딩 기술 중 적어도 하나를 포함할 수 있다.
또 다른 예에서, 적어도 하나의 머신 판독가능한 매체는, 컴퓨팅 장치에서 실행됨에 따라서, 컴퓨팅 장치로 하여금 상기 예들 중 어느 한 예에 따른 방법을 수행하게 하는 복수의 명령어를 포함할 수 있다.
또 다른 예에서, 장치는 상기 예들 중 어느 한 예에 따른 방법을 수행하는 수단을 포함할 수 있다.
전술된 예들은 특징들의 특정 조합을 포함할 수 있다. 그러나, 전술된 그러한 예들은 이에 제한되지 않으며, 여러 구현예에서, 전술된 예들은 그러한 특징들의 서브세트만을 착수하며, 그러한 특징들의 상이한 순서를 착수하고, 그러한 특징들의 상이한 조합을 착수하고, 및/또는 명확히 열거된 이러한 특징들에 추가되는 특징들을 착수하는 것을 포함할 수 있다. 예를 들어, 예시된 방법에 대하여 기술된 모든 특징들은 예시된 장치, 예시된 시스템, 및/또는 예시된 물품에 대하여 실행되거나 그에 대하여 역으로 실행될 수 있다.

Claims (43)

  1. 비디오 코딩을 위한 컴퓨터-구현 방법으로서,
    엔트로피 인코딩을 위한 제 1 비디오 데이터 및 제 2 비디오 데이터를 획득하는 단계 - 상기 제 1 비디오 데이터 및 상기 제 2 비디오 데이터는 상이한 데이터 타입을 포함함 - 와,
    상기 제 1 비디오 데이터에 대한 제 1 엔트로피 인코딩 기술을 결정하는 단계 - 상기 제 1 엔트로피 인코딩 기술은 적응적 심볼-런 가변 길이 코딩 기술(adaptive symbol-run variable length coding technique) 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함함 - 와,
    상기 제 1 인코딩 기술을 이용하여 상기 제 1 비디오 데이터를 엔트로피 인코딩하여 제 1 압축된 비디오 데이터를 생성하고, 제 2 인코딩 기술을 이용하여 상기 제 2 비디오 데이터를 엔트로피 인코딩하여 제 2 압축된 비디오 데이터를 생성하는 단계와,
    상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터를 조립하여 출력 비트스트림을 생성하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 적응적 심볼-런 가변 길이 코딩을 적용하기 전에, 상기 제 1 비디오 데이터를 비트 맵 데이터로부터 반전된 비트맵, 차분 비트 맵, 또는 그레디언트(gradient) 예측 비트 맵 중 적어도 하나로 변환하는 것을 포함하는
    방법.
  3. 제 1 항에 있어서,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 상기 제 1 비디오 데이터의 멀티-레벨 심볼-런 코딩을 포함하는
    방법.
  4. 제 1 항에 있어서,
    상기 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑(morphing) 파라미터, 합성 파라미터 또는 글로벌 맵 데이터 중 적어도 하나를 포함하는
    방법.
  5. 제 1 항에 있어서,
    상기 제 1 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함하며, 상기 제 2 비디오 데이터는 픽처 슬라이스 또는 영역 데이터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 코드북(codebook) 가변 길이 코딩을 포함하는
    방법.
  6. 제 1 항에 있어서,
    상기 제 1 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함하며, 상기 제 2 비디오 데이터는 모드 및 스플릿 정보 데이터의 조인트 코딩을 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩을 포함하는
    방법.
  7. 제 1 항에 있어서,
    상기 제 1 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하는
    방법.

  8. 제 1 항에 있어서,
    상기 제 2 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩 또는 적응적 2-차원 가변 길이 코딩 중 적어도 하나를 포함하며, 상기 변환 계수 데이터는 제 1 변환 계수 데이터, 제 2 변환 계수 데이터 및 제 3 변환 계수 데이터를 포함하며, 상기 제 1 변환 계수 데이터는 적응적 벡터 가변 길이 코딩을 통해 인코딩되며, 상기 제 2 변환 계수 데이터는 적응적 1-차원 가변 길이 코딩을 통해 인코딩되며, 상기 제 3 변환 계수 데이터는 적응적 2-차원 가변 길이 코딩을 통해 인코딩되며, 상기 제 1 변환 계수 데이터는 일 차원에서 2의 블록 크기를 갖는 데이터를 포함하며, 상기 제 2 변환 계수 데이터는 4x4의 블록 크기를 갖는 데이터를 포함하며, 상기 제 3 변환 계수 데이터는 4x8, 8x4, 8x8, 16x16, 32x32, 또는 64x64 중 적어도 하나의 블록 크기를 갖는 데이터를 포함하는
    방법.
  9. 제 1 항에 있어서,
    예측된 움직임 벡터를 생성하기 위해서 획득된 움직임 벡터 데이터를 기초로 하여 움직임 벡터 예측을 수행하는 단계 - 상기 획득된 움직임 벡터 데이터는 원래의 움직임 벡터(an original motion vector)를 포함함 - 와,
    상기 원래의 움직임 벡터와 상기 예측된 움직임 벡터의 차를 계산하여 차이 움직임 벡터(a difference motion vector)를 생성하는 단계 - 상기 제 2 비디오 데이터는 상기 차이 움직임 벡터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 분류된 가변 길이 코딩을 포함함 - 를 더 포함하는
    방법.
  10. 제 1 항에 있어서,
    상기 제 2 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 기술 또는 산술 코딩 기술 중 적어도 하나를 포함하는
    방법.
  11. 제 1 항에 있어서,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 상기 제 1 비디오 데이터에서 스킵된 블록의 런(run)을 코딩하는 것을 포함하는
    방법.

  12. 제 1 항에 있어서,
    상기 제 1 비디오 데이터에 대한 상기 제 1 엔트로피 인코딩 기술을 결정하는 단계는 적응적 심볼-런 가변 길이 코딩 기술 비트 카운트 및 적응적 프록시 가변 길이 코딩 기술 비트 카운트를 결정하는 단계와, 더 낮은 비트 카운트를 갖는 기술을 이용하는 단계를 포함하는
    방법.
  13. 제 1 항에 있어서,
    복수의 이용 가능한 코딩 테이블로부터 상기 제 1 인코딩 기술과 연관된 선택된 코딩 테이블을 결정하는 단계와,
    상기 제 1 비디오 데이터의 길이를 결정하는 단계와,
    상기 제 1 인코딩 기술과 연관된 제 1 지시자, 상기 선택된 코딩 테이블과 연관된 제 2 지시자, 및 상기 제 1 비디오 데이터의 길이와 연관된 제 3 지시자를 생성하는 단계와,
    상기 제 1 지시자, 상기 제 2 지시자 및 상기 제 3 지시자를 상기 출력 비트스트림으로 인코딩하는 단계를 더 포함하는
    방법.
  14. 제 1 항에 있어서,
    상기 출력 비트스트림을 오디오 스트림과 다중화하여 다중화된 오디오-시각 스트림을 생성하는 단계 - 상기 오디오 스트림은 코딩된 오디오 스트림 또는 코딩되지 않은 오디오 스트림 중 적어도 하나를 포함함 - 와,
    획득된 움직임 벡터 데이터에 기초하여 움직임 벡터 예측을 수행하여 예측된 움직임 벡터를 생성하는 단계 - 상기 획득된 움직임 벡터 데이터는 원래의 움직임 벡터를 포함함 - 와,
    상기 원래의 움직임 벡터 및 상기 예측된 움직임 벡터의 차를 계산하여 차이 움직임 벡터를 생성하는 단계 - 상기 제 2 비디오 데이터는 상기 차이 움직임 벡터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 분류된 가변 길이 코딩을 포함함 - 와,
    엔트로피 인코딩을 위한 제 3 비디오 데이터, 제 4 비디오 데이터, 제 5 비디오 데이터, 제 6 비디오 데이터, 및 제 7 비디오 데이터를 획득하는 단계와,
    제 3 비디오 인코딩 기술을 이용하여 상기 제 3 비디오 데이터를 엔트로피 인코딩하여 제 3 압축된 비디오 데이터를 생성하고, 제 4 비디오 인코딩 기술을 이용하여 상기 제 4 비디오 데이터를 엔트로피 인코딩하여 제 4 압축된 비디오 데이터를 생성하고, 제 5 비디오 인코딩 기술을 이용하여 상기 제 5 비디오 데이터를 엔트로피 인코딩하여 제 5 압축된 비디오 데이터를 생성하고, 제 6 비디오 인코딩 기술을 이용하여 상기 제 6 비디오 데이터를 엔트로피 인코딩하여 제 6 압축된 비디오 데이터를 생성하고, 제 7 비디오 인코딩 기술을 이용하여 상기 제 7 비디오 데이터를 엔트로피 인코딩하여 제 7 압축된 비디오 데이터를 생성하는 단계 - 상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터를 조립하는 단계는 상기 제 3 압축된 비디오 데이터, 제 4 압축된 비디오 데이터, 제 5 압축된 비디오 데이터, 제 6 압축된 비디오 데이터 및 상기 제 7 압축된 비디오 데이터를 조립하여 상기 출력 비트스트림을 생성하는 단계를 더 포함하며, 상기 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며, 상기 제 3 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터 또는 픽처 슬라이스 또는 영역 데이터 중 적어도 하나를 포함하며, 상기 제 4 비디오 데이터는 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 예측 참조 정보 데이터, 또는 모드 및 스플릿 정보 데이터의 조인트 코딩 중 적어도 하나를 포함하며, 상기 제 5 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며, 상기 제 6 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 7 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함함 - 와,
    복수의 이용가능한 코딩 테이블로부터 상기 제 1 인코딩 기술과 연관된 선택된 코딩 테이블을 결정하는 단계와,
    상기 제 1 비디오 데이터의 길이를 결정하는 단계와,
    상기 제 1 인코딩 기술과 연관된 제 1 지시자, 상기 선택된 코딩 테이블과 연관된 제 2 지시자, 및 상기 제 1 비디오 데이터의 길이와 연관된 제 3 지시자를 생성하는 단계와,
    상기 제 1 지시자, 상기 제 2 지시자 및 상기 제 3 지시자를 상기 비트스트림 내에 인코딩하여 상기 출력 비트스트림을 전송하는 단계와,
    상기 출력 비트스트림을 획득하는 단계와,
    상기 출력 비트스트림을 분해하여 상기 제 1 압축된 비디오 데이터, 상기 제 2 압축된 비디오 데이터, 상기 제 3 압축된 비디오 데이터, 상기 제 4 압축된 비디오 데이터, 상기 제 5 압축된 비디오 데이터, 상기 제 6 압축된 비디오 데이터 및 상기 제 7 압축된 비디오 데이터를 결정하는 단계와,
    연관된 제 1, 제 2, 제 3, 제 4, 제 5, 제 6 및 제 7 엔트로피 디코딩 기술을 이용하여 상기 제 1, 제 2, 제 3, 제 4, 제 5, 제 6 및 제 7 압축된 비디오 데이터를 엔트로피 디코딩하여 엔트로피 디코딩된 비디오 데이터를 생성하는 단계와,
    상기 엔트로피 디코딩된 비디오 데이터를 디코딩하여 비디오 프레임을 생성하는 단계와,
    상기 비디오 프레임을 보여주기 위해 디스플레이 장치로 전송하는 단계를 더 포함하며,
    상기 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며.
    상기 제 2 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩, 또는 적응적 2-차원 가변 길이 코딩 중 적어도 하나를 포함하며, 상기 변환 계수 데이터는 제 1 변환 계수 데이터, 제 2 변환 계수 데이터, 및 제 3 변환 계수 데이터를 포함하며, 상기 제 1 변환 계수 데이터는 상기 적응적 벡터 가변 길이 코딩을 통해 인코딩되며, 상기 제 2 변환 계수 데이터는 상기 적응적 1-차원 가변 길이 코딩을 통해 인코딩되며, 상기 제 3 변환 계수 데이터는 상기 적응적 2-차원 가변 길이 코딩을 통해 인코딩되며, 상기 제 1 변환 계수 데이터는 일차원에서 블록 크기가 2인 데이터를 포함하며, 상기 제 2 변환 계수 데이터는 4x4 의 블록 크기를 갖는 데이터를 포함하며, 상기 제 3 변환 계수 데이터는 4x8, 8x4, 8x8, 16x16, 32x32, 또는 64x64 중 적어도 하나의 블록 크기를 갖는 데이터를 포함하며,
    상기 제 2 비디오 데이터는 픽처 슬라이스 또는 영역 데이터를 포함하며 상기 제 2 엔트로피 인코딩 기술은 적응적 코드북 가변 길이 코딩을 포함하며, 상기 제 2 비디오 데이터는 모드 및 스플릿 정보 데이터의 조인트 코딩을 포함하며 상기 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩을 포함하며,
    상기 제 2 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함하며 상기 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩 기술 또는 산술 코딩 기술 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터 및 제 2 비디오 데이터를 획득하는 단계는 상기 제 1 비디오 데이터 및 상기 제 2 비디오 데이터를 상이한 시간에 획득하는 단계를 포함하며,
    상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터를 조립하는 단계는 상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터를 다중화하는 단계를 포함하며, 상기 제 1 압축된 비디오 데이터는 픽처에 기반하며 상기 제 2 압축된 비디오 데이터는 영역 기반, 슬라이스 기반, 타일 기반, 예측 파티션 기반 또는 코딩 파티션 기반 중 적어도 하나에 기반하며,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 적응적 심볼-런 가변 길이 코딩을 적용하기 전에 상기 제 1 비디오 데이터를 비트 맵 데이터로부터 반전된 비트맵, 차분 비트 맵, 또는 그레디언트 예측 비트 맵 중 적어도 하나로 변환하는 것을 포함하며,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 상기 제 1 비디오 데이터에서 스킵된 블록의 런(run)을 코딩하는 것을 포함하며,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 상기 제 1 비디오 데이터의 다중-레벨 심볼-런 코딩을 포함하며,
    상기 적응적 프록시 가변 길이 코딩 기술은 상기 제 1 비디오 데이터의 원 고정 길이 1-차원 블록을 가변 길이 코드로 대체하는 것을 포함하며, 상기 원 고정 길이 1-차원 블록은 2 비트, 3 비트 또는 4 비트 중 적어도 하나의 길이를 포함하며, 상기 원 고정 길이 1-차원 블록은 2 비트의 길이를 포함하며, 상기 가변 길이 코드는 1 내지 3 비트의 가변 길이를 포함하며, 상기 원 고정 길이 1-차원 블록은 3 비트의 길이를 포함하며, 상기 가변 길이 코드는 1 내지 5 비트의 가변 길이를 포함하며,
    상기 제 1 비디오 데이터에 대한 상기 제 1 엔트로피 인코딩 기술을 결정하는 단계는 적응적 심볼-런 가변 길이 코딩 기술 비트 카운트 및 적응적 프록시 가변 길이 코딩 기술 비트 카운트를 결정하는 것과 더 낮은 비트 카운트를 갖는 기술을 이용하는 것을 포함하는
    방법.
  15. 적응적 엔트로피 인코더를 통해 비디오 코딩을 위한 컴퓨터-구현 방법으로서,
    엔트로피 코딩을 위한 비디오 데이터를 획득하는 단계와,
    적응적 심볼-런 가변 길이 코딩 기술과 연관된 선택된 테이블을 결정하여 상기 비디오 데이터를 코딩하는 단계와,
    상기 선택된 테이블에 기초하여 상기 적응적 심볼-런 가변 길이 코딩 기술을 이용하여 상기 비디오 데이터를 엔트로피 인코딩하여 압축된 비디오 데이터를 생성하는 단계와,
    상기 압축된 비디오 데이터 및 상기 선택된 테이블에 대한 지시자를 출력 비트스트림 내에 코딩하는 단계를 포함하는
    방법.
  16. 제 15 항에 있어서,
    상기 선택된 테이블을 결정하기 전에, 상기 비디오 데이터를 비트 맵 데이터로부터 반전된 비트맵, 차분 비트 맵, 또는 그레디언트 예측 비트 맵 데이터 중 적어도 하나로 변환하는 단계를 더 포함하는
    방법.
  17. 제 15 항에 있어서,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 상기 제 1 비디오 데이터의 다중-레벨 심볼-런 코딩을 포함하는
    방법.
  18. 제 15 항에 있어서,
    상기 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터 또는 글로벌 맵 데이터 중 적어도 하나를 포함하는
    방법.
  19. 제 15 항에 있어서,
    상기 제 1 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함하는
    방법.
  20. 제 15 항에 있어서,
    상기 제 1 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함하는
    방법.
  21. 제 15 항에 있어서,
    상기 제 1 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하는
    방법.
  22. 적응적 엔트로피 인코더를 통해 비디오 코딩을 위한 컴퓨터-구현 방법으로서,
    엔트로피 코딩을 위해 비디오 데이터를 획득하는 단계와,
    상기 비디오 데이터를 코딩하기 위하여 적응적 프록시 가변 길이 코딩 기술과 연관된 선택된 테이블을 결정하는 단계와,
    상기 선택된 테이블에 기초하여 상기 적응적 프록시 가변 길이 코딩 기술을 이용하여 상기 비디오 데이터를 엔트로피 코딩하여 압축된 비디오 데이터를 생성하는 단계와,
    상기 압축된 비디오 데이터 및 상기 선택된 테이블에 대한 지시자를 출력 비트스트림 내에 코딩하는 단계를 포함하는
    방법.
  23. 제 22 항에 있어서,
    상기 비디오 데이터는 일차원으로 블록 크기가 2인 변환 계수 데이터를 포함하며, 상기 변환 계수 데이터는 쿼드-트리 분할을 통해 나누어져서 네개의 쿼드런트를 생성하며, 제 1 쿼드런트는 상기 제 1 쿼드런트의 계수를 나타내는 벡터 코드워드로 표현되고 인텍스 값과 연관되며, 상기 압축된 비디오 데이터는 상기 인덱스 값을 포함하는
    방법.
  24. 제 22 항에 있어서,
    상기 비디오 데이터는 일차원으로 블록 크기가 4인 변환 계수 데이터를 포함하며, 상기 변환 계수 데이터는 복수의 2x2 서브-블록으로 나누어지며, 제 1 서브-블록은 쿼드-트리 분할을 통해 나누어져서 네개의 쿼드런트를 생성하며, 제 1 쿼드런트는 상기 제 1 쿼드런트의 계수를 나타내는 벡터 코드워드로 표현되고 인덱스 값과 연관되며, 상기 압축된 비디오 데이터는 상기 인덱스 값을 포함하는
    방법.
  25. 제 22 항에 있어서,
    상기 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하는
    방법.
  26. 제 22 항에 있어서,
    상기 제 1 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함하는
    방법.
  27. 제 22 항에 있어서,
    상기 제 1 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함하는
    방법.
  28. 제 22 항에 있어서,
    상기 제 1 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하는
    방법.
  29. 이미지 버퍼와,
    엔트로피 인코더 로직 회로를 포함하는 그래픽 처리 장치를 포함하고,
    상기 그래픽 처리 장치는 상기 이미지 버퍼에 통신 가능하게 결합되며,
    상기 엔트로피 인코더 로직 회로는,
    엔트로피 인코딩을 위한 제 1 비디오 데이터 및 제 2 비디오 데이터를 획득 - 상기 제 1 비디오 데이터 및 상기 제 2 비디오 데이터는 상이한 데이터 타입을 포함함 - 하고,
    상기 제 1 비디오 데이터에 대한 제 1 엔트로피 인코딩 기술을 결정 -상기 제 1 엔트로피 인코딩 기술은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함함 -하고,
    상기 제 1 인코딩 기술을 이용하여 상기 제 1 비디오 데이터를 엔트로피 인코딩하여 제 1 압축된 비디오 데이터를 생성하고, 제 2 인코딩 기술을 이용하여 상기 제 2 비디오 데이터를 엔트로피 인코딩하여 제 2 압축된 비디오 데이터를 생성하고,
    상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터를 조립하여 출력 비트스트림을 생성하도록 구성되는
    비디오 인코더.
  30. 제 29 항에 있어서,
    상기 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하는
    비디오 인코더.
  31. 제 29 항에 있어서,
    상기 제 1 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함하며, 상기 제 2 비디오 데이터는 픽처 슬라이스 또는 영역 데이터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 코드북 가변 길이 코딩을 포함하는
    비디오 인코더.
  32. 제 29 항에 있어서,
    상기 제 1 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함하며, 상기 제 2 비디오 데이터는 모드 및 스플릿 정보 데이터의 조인트 코딩을 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩을 포함하는
    비디오 인코더.
  33. 제 29 항에 있어서,
    상기 제 1 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하는
    비디오 인코더.
  34. 제 29 항에 있어서,
    상기 제 2 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩 또는 적응적 2-차원 가변 길이 코딩 중 적어도 하나를 포함하며, 상기 변환 계수 데이터는 제 1 변환 계수 데이터, 제 2 변환 계수 데이터 및 제 3 변환 계수 데이터를 포함하며, 상기 엔트로피 인코더 로직 회로는 상기 적응적 벡터 가변 길이 코딩을 통해 상기 제 1 변환 계수 데이터를 인코딩하도록 구성되며, 상기 엔트로피 인코더 로직 회로는 상기 적응적 1-차원 가변 길이 코딩을 통해 상기 제 2 변환 계수 데이터를 인코딩하도록 구성되며, 상기 엔트로피 인코더 로직 회로는 상기 적응적 2-차원 가변 길이 코딩을 통해 상기 제 3 변환 계수 데이터를 인코딩하도록 구성되며, 상기 제 1 변환 계수 데이터는 일 차원에서 블록 크기가 2인 데이터를 포함하며, 상기 제 2 변환 계수 데이터는 4x4의 블록 크기를 갖는 데이터를 포함하며, 상기 제 3 변환 계수 데이터는 4x8, 8x4, 8x8, 16x16, 32x32, 또는 64x64 중 적어도 하나의 블록 크기를 갖는 데이터를 포함하는
    비디오 인코더.
  35. 제 29 항에 있어서,
    상기 엔트로피 인코더 로직 회로는,
    획득된 움직임 벡터 데이터를 기초로 하여 움직임 벡터 예측을 수행하여 예측된 움직임 벡터를 생성 - 상기 획득된 움직임 벡터 데이터는 원래의 움직임 벡터를 포함함 - 하고,
    상기 원래의 움직임 벡터 및 상기 예측된 움직임 벡터의 차를 계산하여 차이 움직임 벡터를 생성 - 상기 제 2 비디오 데이터는 상기 차이 움직임 벡터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 분류된 가변 길이 코딩을 포함함 - 하도록 더 구성되는
    비디오 인코더.
  36. 제 29 항에 있어서,
    제 2 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함하며 상기 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩 기술 또는 산술 코딩 기술 중 적어도 하나를 포함하는
    비디오 인코더.
  37. 제 29 항에 있어서,
    상기 엔트로피 인코더 로직 회로는,
    상기 출력 비트스트림을 오디오 스트림과 다중화하여 다중화된 오디오-시각 스트림을 생성 - 상기 오디오 스트림은 코딩된 오디오 스트림 또는 코딩되지 않은 오디오 스트림 중 적어도 하나를 포함함 - 하고,
    획득된 움직임 벡터 데이터에 기초하여 움직임 벡터 예측을 수행하여 예측된 움직임 벡터를 생성 - 상기 획득된 움직임 벡터 데이터는 원래의 움직임 벡터를 포함함 - 하고,
    상기 원래의 움직임 벡터 및 상기 예측된 움직임 벡터의 차를 계산하여 차이 움직임 벡터를 생성 - 상기 제 2 비디오 데이터는 상기 차이 움직임 벡터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 분류된 가변 길이 코딩을 포함함 - 하고,
    엔트로피 인코딩을 위한 제 3 비디오 데이터, 제 4 비디오 데이터, 제 5 비디오 데이터, 제 6 비디오 데이터, 및 제 7 비디오 데이터를 획득하고,
    제 3 비디오 인코딩 기술을 이용하여 상기 제 3 비디오 데이터를 엔트로피 인코딩하여 제 3 압축된 비디오 데이터를 생성하고, 제 4 비디오 인코딩 기술을 이용하여 상기 제 4 비디오 데이터를 엔트로피 인코딩하여 제 4 압축된 비디오 데이터를 생성하고, 제 5 비디오 인코딩 기술을 이용하여 상기 제 5 비디오 데이터를 엔트로피 인코딩하여 제 5 압축된 비디오 데이터를 생성하고, 제 6 비디오 인코딩 기술을 이용하여 상기 제 6 비디오 데이터를 엔트로피 인코딩하여 제 6 압축된 비디오 데이터를 생성하고, 제 7 비디오 인코딩 기술을 이용하여 상기 제 7 비디오 데이터를 엔트로피 인코딩하여 제 7 압축된 비디오 데이터를 생성하고, 상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터를 조립하는 것은 상기 엔트로피 인코더 로직 회로를 상기 제 3, 제 4, 제 5, 제 6 및 제 7 압축된 비디오 데이터를 조립하여 상기 출력 비트스트림을 생성하도록 구성하는 것을 더 포함하며, 상기 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며, 상기 제 3 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터 또는 픽처 슬라이스 또는 영역 데이터 중 적어도 하나를 포함하며, 상기 제 4 비디오 데이터는 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 예측 참조 정보 데이터, 또는 모드 및 스플릿 정보 데이터의 조인트 코딩 중 적어도 하나를 포함하며, 상기 제 5 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며, 상기 제 6 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 7 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며.
    상기 제 2 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 2 엔트로피 인코딩 기술은 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩, 또는 적응적 2-차원 가변 길이 코딩 중 적어도 하나를 포함하며, 상기 변환 계수 데이터는 제 1 변환 계수 데이터, 제 2 변환 계수 데이터, 및 제 3 변환 계수 데이터를 포함하며, 상기 제 1 변환 계수 데이터는 상기 적응적 벡터 가변 길이 코딩을 통해 인코딩되며, 상기 제 2 변환 계수 데이터는 상기 적응적 1-차원 가변 길이 코딩을 통해 인코딩되며, 상기 제 3 변환 계수 데이터는 상기 적응적 2-차원 가변 길이 코딩을 통해 인코딩되며, 상기 제 1 변환 계수 데이터는 일차원에서 블록 크기가 2인 데이터를 포함하며, 상기 제 2 변환 계수 데이터는 4x4의 블록 크기를 갖는 데이터를 포함하며, 상기 제 3 변환 계수 데이터는 4x8, 8x4, 8x8, 16x16, 32x32, 또는 64x64 중 적어도 하나의 블록 크기를 갖는 데이터를 포함하며,
    상기 제 2 비디오 데이터는 픽처 슬라이스 또는 영역 데이터를 포함하며 상기 제 2 엔트로피 인코딩 기술은 적응적 코드북 가변 길이 코딩을 포함하며,
    상기 제 2 비디오 데이터는 모드 및 슬라이스 정보 데이터의 조인트 코딩을 포함하며 상기 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩을 포함하며,
    상기 제 2 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함하며 상기 제 2 엔트로피 인코딩 기술은 적응적 가변 길이 코딩 기술 또는 산술 코딩 기술 중 적어도 하나를 포함하며,
    상기 제 1 비디오 데이터 및 상기 제 2 비디오 데이터를 획득하는 것은 상기 엔트로피 인코더 로직 회로가 상기 제 1 비디오 데이터 및 상기 제 2 비디오 데이터를 상이한 시간에 획득하도록 구성되는 것을 포함하며,
    상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터를 조립하는 것은 상기 엔트로피 인코더 로직 회로가 상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터를 다중화하도록 구성되는 것을 포함하며, 상기 제 1 압축된 비디오 데이터는 픽처에 기반하며, 상기 제 2 압축된 비디오 데이터는 영역 기반, 슬라이스 기반, 타일 기반, 예측 파티션 기반 또는 코딩 파티션 기반 중 적어도 하나에 기반하며,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 적응적 심볼-런 가변 길이 코딩을 적용하기 전에 상기 제 1 비디오 데이터를 비트 맵 데이터로부터 반전된 비트맵, 차등 비트 맵, 또는 그레디언트 예측 비트 맵 중 적어도 하나로 변환하는 것을 포함하며,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 상기 제 1 비디오 데이터에서 스킵된 블록의 런을 코딩하는 것을 포함하며,
    상기 적응적 심볼-런 가변 길이 코딩 기술은 상기 제 1 비디오 데이터의 다중-레벨 심볼-런 인코딩을 포함하며,
    상기 적응적 프록시 가변 길이 코딩 기술은 상기 제 1 비디오 데이터의 원 고정 길이 1-차원 블록을 가변 길이 코드로 대체하는 것을 포함하며, 상기 원 고정 길이 1-차원 블록은 2 비트, 3 비트 또는 4 비트 중 적어도 하나의 길이를 포함하며, 상기 원 고정 길이 1-차원 블록은 2 비트의 길이를 포함하며, 상기 가변 길이 코드는 1 내지 3 비트의 가변 길이를 포함하며, 상기 원 고정 길이 1-차원 블록은 3 비트의 길이를 포함하며 상기 가변 길이 코드는 1 내지 5 비트의 가변 길이를 포함하는
    비디오 인코더.
  38. 비디오 데이터의 엔트로피 인코딩된 비트스트림을 획득하도록 구성된 안테나 - 상기 엔트로피 인코딩된 비트스트림은 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 포함하며, 상기 제 1 압축된 비디오 데이터 및 상기 제 2 압축된 비디오 데이터는 상이한 데이터 타입을 포함함 - 와,
    상기 안테나에 통신 가능하게 결합되고 상기 인코딩된 비트스트림을 디코딩하도록 구성된 비디오 디코더를 포함하며,
    상기 비디오 디코더는,
    상기 엔트로피 인코딩된 비트스트림을 분해하여 제 1 압축된 비디오 데이터 및 제 2 압축된 비디오 데이터를 결정하고,
    상기 제 1 압축된 비디오 데이터에 대한 제 1 엔트로피 디코딩 기술을 결정 - 상기 제 1 엔트로피 디코딩 기술은 적응적 심볼-런 가변 길이 코딩 기술 또는 적응적 프록시 가변 길이 코딩 기술 중 적어도 하나를 포함함 - 하고,
    상기 제 1 엔트로피 디코딩 기술에 기초하여 상기 제 1 압축된 비디오 데이터를 엔트로피 디코딩하여 제 1 비디오 데이터를 생성하고 제 2 엔트로피 디코딩 기술에 기초하여 상기 제 2 압축된 비디오 데이터를 엔트로피 디코딩하여 제 2 비디오 데이터를 생성하고,
    상기 제 1 비디오 데이터 및 상기 제 2 비디오 데이터를 디코딩하여 비디오 프레임을 생성하도록 구성되는
    시스템.
  39. 제 38 항에 있어서,
    상기 비디오 프레임을 보여주도록 구성된 디스플레이 장치를 더 포함하는
    시스템.
  40. 제 38 항에 있어서,
    상기 엔트로피 인코딩된 비트스트림은 제 3 압축된 비디오 데이터, 제 4 압축된 비디오 데이터, 제 5 압축된 비디오 데이터, 제 6 압축된 비디오 데이터, 및 제 7 압축된 비디오 데이터를 더 포함하며,
    상기 비디오 디코더는
    상기 제 2 비디오 데이터를 통해 차이 움직임 벡터를 결정하고,
    디코딩된 움직임 벡터 데이터에 기초하여 움직임 벡터 예측을 수행하여 예측된 움직임 벡터를 생성하고,
    상기 차이 움직임 벡터 및 상기 예측된 움직임 벡터를 가산하여 재구성된 움직임 벡터를 생성하고,
    제 3 비디오 디코딩 기술을 이용하여 상기 제 3 압축된 비디오 데이터를 엔트로피 디코딩하여 제 3 비디오 데이터를 생성하고, 제 4 비디오 디코딩 기술을 이용하여 상기 제 4 압축된 비디오 데이터를 엔트로피 디코딩하여 제 4 비디오 데이터를 생성하고, 제 5 비디오 디코딩 기술을 이용하여 상기 제 5 압축된 비디오 데이터를 엔트로피 디코딩하여 제 5 비디오 데이터를 생성하고, 제 6 비디오 디코딩 기술을 이용하여 상기 제 6 압축된 비디오 데이터를 엔트로피 디코딩하여 제 6 비디오 데이터를 생성하고, 제 7 비디오 디코딩 기술을 이용하여 상기 제 7 압축된 비디오 데이터를 엔트로피 디코딩하여 제 7 비디오 데이터를 생성 - 상기 제 1 압축된 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며, 상기 제 3 압축된 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터 또는 픽처 슬라이스 또는 영역 데이터 중 적어도 하나를 포함하며, 상기 제 4 압축된 비디오 데이터는 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 예측 참조 정보 데이터, 또는 모드 및 스플릿 정보 데이터의 조인트 코딩 중 적어도 하나를 포함하며, 상기 제 5 압축된 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며, 상기 제 6 압축된 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 7 압축된 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함함 - 하도록 더 구성되는
    시스템.
  41. 제 38 항에 있어서,
    상기 인코딩된 비트스트림은 제 3 압축된 비디오 데이터, 제 4 압축된 비디오 데이터, 제 5 압축된 비디오 데이터, 제 6 압축된 비디오 데이터, 및 제 7 압축된 비디오 데이터를 더 포함하며, 상기 시스템은,
    상기 비디오 프레임을 보여주도록 구성된 디스플레이 장치를 더 포함하며,
    상기 비디오 디코더는,
    상기 제 2 비디오 데이터를 통해 차이 움직임 벡터를 결정하고,
    디코딩된 움직임 벡터 데이터에 기초하여 움직임 벡터 예측을 수행하여 예측된 움직임 벡터를 생성하고,
    상기 차이 움직임 벡터 및 상기 예측된 움직임 벡터를 가산하여 재구성된 움직임 벡터를 생성하고,
    제 3 비디오 디코딩 기술을 이용하여 상기 제 3 압축된 비디오 데이터를 엔트로피 디코딩하여 제 3 비디오 데이터를 생성하고, 제 4 비디오 디코딩 기술을 이용하여 상기 제 4 압축된 비디오 데이터를 엔트로피 디코딩하여 제 4 비디오 데이터를 생성하고, 제 5 비디오 디코딩 기술을 이용하여 상기 제 5 압축된 비디오 데이터를 엔트로피 디코딩하여 제 5 비디오 데이터를 생성하고, 제 6 비디오 디코딩 기술을 이용하여 상기 제 6 압축된 비디오 데이터를 엔트로피 디코딩하여 제 6 비디오 데이터를 생성하고, 제 7 비디오 디코딩 기술을 이용하여 상기 제 7 압축된 비디오 데이터를 엔트로피 디코딩하여 제 7 비디오 데이터를 생성 - 상기 제 1 압축된 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며, 상기 제 3 압축된 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터 또는 픽처 슬라이스 또는 영역 데이터 중 적어도 하나를 포함하며, 상기 제 4 압축된 비디오 데이터는 스플릿/논-스플릿 파티션 정보 데이터의 별도 코딩, 스플릿/논-스플릿 스플릿 정보 데이터의 별도 코딩, 예측 참조 정보 데이터, 또는 모드 및 스플릿 정보 데이터의 조인트 코딩 중 적어도 하나를 포함하며, 상기 제 5 압축된 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며, 상기 제 6 압축된 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 7 압축된 비디오 데이터는 인트라-예측 타입 또는 인트라-예측 방향 데이터 중 적어도 하나를 포함함 - 하고,
    상기 비디오 프레임을 보여주기 위해 상기 디스플레이 장치로 전송하도록 더 구성되며,
    상기 제 1 압축된 비디오 데이터는 비트스트림 헤더 데이터, 모핑 파라미터, 합성 파라미터, 또는 글로벌 맵 데이터 중 적어도 하나를 포함하며,
    상기 제 1 압축된 비디오 데이터는 인트라-예측 파티션 데이터, 인터-예측 파티션 데이터, 및/또는 코딩 파티션 데이터 중 적어도 하나를 포함하며,
    상기 제 1 압축된 비디오 데이터는 모드 정보 데이터의 별도 코딩, 스플릿/논-스플릿 정보 데이터의 별도 코딩, 또는 예측 참조 정보 데이터 중 적어도 하나를 포함하며,
    상기 제 1 압축된 비디오 데이터는 코딩되거나 코딩되지 않은 데이터를 포함하며,
    상기 제 2 압축된 비디오 데이터는 변환 계수 데이터를 포함하며, 상기 제 2 엔트로피 디코딩 기술은 적응적 벡터 가변 길이 코딩, 적응적 1-차원 가변 길이 코딩, 또는 적응적 2-차원 가변 길이 코딩 중 적어도 하나를 포함하며, 상기 변환 계수 데이터는 제 1 변환 계수 데이터, 제 2 변환 계수 데이터, 및 제 3 변환 계수 데이터를 포함하며, 상기 제 1 변환 계수 데이터는 상기 적응적 벡터 가변 길이 코딩을 통해 디코딩되며, 상기 제 2 변환 계수 데이터는 상기 적응적 1-차원 가변 길이 코딩을 통해 디코딩되며, 상기 제 3 변환 계수 데이터는 상기 적응적 2-차원 가변 길이 코딩을 통해 디코딩되며, 상기 제 1 변환 계수 데이터는 일 차원에서 블록 크기가 2인 데이터를 포함하며, 상기 제 2 변환 계수 데이터는 4x4의 블록 크기를 갖는 데이터를 포함하며, 상기 제 3 변환 계수 데이터는 4x8, 8x4, 8x8, 16x16, 32x32, 또는 64x64 중 적어도 하나의 블록 크기를 갖는 데이터를 포함하며,
    상기 제 2 압축된 비디오 데이터는 픽처 슬라이스 또는 영역 데이터를 포함하며 상기 제 2 엔트로피 디코딩 기술은 적응적 코드북 가변 길이 코딩을 포함하며,
    상기 제 2 압축된 비디오 데이터는 모드 및 스플릿 정보 데이터의 조인트 코딩을 포함하며 상기 제 2 엔트로피 디코딩 기술은 적응적 가변 길이 코딩을 포함하며,
    상기 제 2 압축된 비디오 데이터는 인트라-예측 타입 또는 인터-예측 방향 데이터 중 적어도 하나를 포함하며 상기 제 2 엔트로피 디코딩 기술은 적응적 가변 길이 코딩 기술 또는 산술 코딩 기술 중 적어도 하나를 포함하는
    시스템.
  42. 컴퓨팅 장치에서 실행됨에 따라서, 상기 컴퓨팅 장치로 하여금 청구항 제 1 항 내지 제 28 항 중 어느 한 항에 따른 상기 방법을 수행하게 하는 복수의 명령어를 포함하는
    적어도 하나의 머신 판독가능한 매체.
  43. 청구항 제 1 항 내지 제 28 항 중 어느 한 항에 따른 상기 방법을 수행하기 위한 수단을 포함하는
    장치.
KR1020157009528A 2013-01-30 2013-12-24 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩 KR20150058324A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361758314P 2013-01-30 2013-01-30
US61/758,314 2013-01-30
PCT/US2013/077698 WO2014120368A1 (en) 2013-01-30 2013-12-24 Content adaptive entropy coding for next generation video

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177015400A Division KR102063385B1 (ko) 2013-01-30 2013-12-24 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩

Publications (1)

Publication Number Publication Date
KR20150058324A true KR20150058324A (ko) 2015-05-28

Family

ID=51262831

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020177015400A KR102063385B1 (ko) 2013-01-30 2013-12-24 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩
KR1020157009528A KR20150058324A (ko) 2013-01-30 2013-12-24 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩
KR1020157017114A KR20150090206A (ko) 2013-01-30 2013-12-24 차세대 비디오를 위한 코딩을 위한 콘텐츠 적응적 파라메트릭 변환
KR1020157016934A KR20150090178A (ko) 2013-01-30 2013-12-27 차세대 비디오용 코딩된/코딩되지 않은 데이터의 콘텐츠 적응적 엔트로피 코딩
KR1020157009347A KR20150055005A (ko) 2013-01-30 2013-12-27 수정된 참조를 가진 차세대 비디오 코딩용 콘텐츠 적응적 예측 및 기능적 예측 픽처
KR1020157017027A KR101770047B1 (ko) 2013-01-30 2014-01-30 차세대 비디오 코팅용 콘텐츠 적응적 예측 거리 분석기 및 계층적 움직임 추정 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177015400A KR102063385B1 (ko) 2013-01-30 2013-12-24 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020157017114A KR20150090206A (ko) 2013-01-30 2013-12-24 차세대 비디오를 위한 코딩을 위한 콘텐츠 적응적 파라메트릭 변환
KR1020157016934A KR20150090178A (ko) 2013-01-30 2013-12-27 차세대 비디오용 코딩된/코딩되지 않은 데이터의 콘텐츠 적응적 엔트로피 코딩
KR1020157009347A KR20150055005A (ko) 2013-01-30 2013-12-27 수정된 참조를 가진 차세대 비디오 코딩용 콘텐츠 적응적 예측 및 기능적 예측 픽처
KR1020157017027A KR101770047B1 (ko) 2013-01-30 2014-01-30 차세대 비디오 코팅용 콘텐츠 적응적 예측 거리 분석기 및 계층적 움직임 추정 시스템

Country Status (8)

Country Link
US (14) US9787990B2 (ko)
EP (12) EP2952003B1 (ko)
JP (3) JP6163674B2 (ko)
KR (6) KR102063385B1 (ko)
CN (10) CN104885470B (ko)
BR (1) BR112015015575A2 (ko)
RU (1) RU2612600C2 (ko)
WO (11) WO2014120369A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057953A1 (ko) * 2015-09-30 2017-04-06 엘지전자 주식회사 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치

Families Citing this family (253)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3288261B1 (en) * 2002-08-08 2019-11-06 Godo Kaisha IP Bridge 1 Moving picture decoding method
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US9380327B2 (en) * 2011-12-15 2016-06-28 Comcast Cable Communications, Llc System and method for synchronizing timing across multiple streams
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
WO2014078068A1 (en) 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
CN104885470B (zh) 2013-01-30 2018-08-07 英特尔公司 用于下一代视频的预测和编码的内容自适应划分
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
US10057599B2 (en) 2014-02-19 2018-08-21 Mediatek Inc. Method for performing image processing control with aid of predetermined tile packing, associated apparatus and associated non-transitory computer readable medium
CN103929642B (zh) * 2014-04-24 2017-04-12 北京航空航天大学 一种hevc变换系数的熵编码上下文模型偏移值快速计算方法
US9723377B2 (en) * 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
US10397574B2 (en) * 2014-05-12 2019-08-27 Intel Corporation Video coding quantization parameter determination suitable for video conferencing
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
US20170249521A1 (en) * 2014-05-15 2017-08-31 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9699464B2 (en) * 2014-07-10 2017-07-04 Intel Corporation Adaptive bitrate streaming for wireless video
US9549188B2 (en) * 2014-07-30 2017-01-17 Intel Corporation Golden frame selection in video coding
CN104301724B (zh) * 2014-10-17 2017-12-01 华为技术有限公司 视频处理方法、编码设备和解码设备
TWI536799B (zh) * 2014-10-29 2016-06-01 虹光精密工業股份有限公司 智慧型複印設備
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10171807B2 (en) * 2015-01-29 2019-01-01 Arris Enterprises Llc Picture-level QP rate control for HEVC encoding
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN104780377B (zh) * 2015-03-18 2017-12-15 同济大学 一种基于分布式计算机系统的并行hevc编码系统及方法
WO2016192073A1 (zh) 2015-06-04 2016-12-08 清华大学 编码方法、解码方法及其装置
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
US9942552B2 (en) * 2015-06-12 2018-04-10 Intel Corporation Low bitrate video coding
US10354290B2 (en) * 2015-06-16 2019-07-16 Adobe, Inc. Generating a shoppable video
WO2016206748A1 (en) * 2015-06-25 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Refinement of a low-pel resolution motion estimation vector
WO2017002283A1 (ja) * 2015-07-01 2017-01-05 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
US10419512B2 (en) * 2015-07-27 2019-09-17 Samsung Display Co., Ltd. System and method of transmitting display data
WO2017023829A1 (en) * 2015-07-31 2017-02-09 Stc.Unm System and methods for joint and adaptive control of rate, quality, and computational complexity for video coding and video delivery
US20170060376A1 (en) * 2015-08-30 2017-03-02 Gaylord Yu Displaying HDMI Content in a Tiled Window
US10430031B2 (en) * 2015-08-30 2019-10-01 EVA Automation, Inc. Displaying HDMI content in a tiled window
FR3040849A1 (fr) * 2015-09-04 2017-03-10 Stmicroelectronics (Grenoble 2) Sas Procede de compression d'un flux de donnees video
US9971791B2 (en) * 2015-09-16 2018-05-15 Adobe Systems Incorporated Method and apparatus for clustering product media files
CN108141595A (zh) * 2015-09-23 2018-06-08 Lg 电子株式会社 图像编码/解码方法及其设备
US10805627B2 (en) * 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
US9998745B2 (en) * 2015-10-29 2018-06-12 Microsoft Technology Licensing, Llc Transforming video bit streams for parallel processing
US20180316914A1 (en) * 2015-10-30 2018-11-01 Sony Corporation Image processing apparatus and method
US10283094B1 (en) * 2015-11-09 2019-05-07 Marvell International Ltd. Run-length compression and decompression of media tiles
EP3166313A1 (en) 2015-11-09 2017-05-10 Thomson Licensing Encoding and decoding method and corresponding devices
EP3375188A1 (en) * 2015-11-10 2018-09-19 VID SCALE, Inc. Systems and methods for coding in super-block based video coding framework
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
KR20230091200A (ko) * 2015-12-14 2023-06-22 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치 및 삼차원 데이터 복호 장치
WO2017114450A1 (en) * 2015-12-31 2017-07-06 Mediatek Inc. Method and apparatus of prediction binary tree structure for video and image coding
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US10445862B1 (en) * 2016-01-25 2019-10-15 National Technology & Engineering Solutions Of Sandia, Llc Efficient track-before detect algorithm with minimal prior knowledge
US20210195241A1 (en) * 2016-02-01 2021-06-24 Lg Electronics Inc. Method and device for performing transform using row-column transforms
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
US10694184B2 (en) 2016-03-11 2020-06-23 Digitalinsights Inc. Video coding method and apparatus
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
US20170280139A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Apparatus and methods for adaptive calculation of quantization parameters in display stream compression
WO2017178827A1 (en) * 2016-04-15 2017-10-19 Magic Pony Technology Limited In-loop post filtering for video encoding and decoding
WO2017178782A1 (en) 2016-04-15 2017-10-19 Magic Pony Technology Limited Motion compensation using temporal picture interpolation
US10574999B2 (en) * 2016-05-05 2020-02-25 Intel Corporation Method and system of video coding with a multi-pass prediction mode decision pipeline
KR102571062B1 (ko) 2016-05-10 2023-08-25 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US11363253B2 (en) 2016-05-13 2022-06-14 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
TWI689148B (zh) * 2016-05-17 2020-03-21 英屬開曼群島商鴻騰精密科技股份有限公司 電連接器組件
US10456672B2 (en) 2016-05-19 2019-10-29 Google Llc Methods and systems for facilitating participation in a game session
CA3025334C (en) * 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
US10284845B2 (en) 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
CA3025340A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
US11146821B2 (en) 2016-05-25 2021-10-12 Arris Enterprises Llc JVET coding block structure with asymmetrical partitioning
EP3855742B1 (en) * 2016-05-25 2023-07-05 ARRIS Enterprises LLC Binary, ternary and quad tree partitioning for jvet coding of video data
KR102445668B1 (ko) * 2016-06-01 2022-09-21 삼성전자주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
US10743210B2 (en) * 2016-06-01 2020-08-11 Intel Corporation Using uplink buffer status to improve video stream adaptation control
CN109643456A (zh) 2016-06-17 2019-04-16 因默希弗机器人私人有限公司 图像压缩方法与设备
US10169362B2 (en) 2016-07-07 2019-01-01 Cross Commerce Media, Inc. High-density compression method and computing system
CN109644267B (zh) * 2016-08-03 2023-07-04 株式会社Kt 视频信号处理方法和装置
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
WO2018023554A1 (en) * 2016-08-04 2018-02-08 SZ DJI Technology Co., Ltd. System and methods for bit rate control
DK3381190T3 (da) * 2016-08-04 2021-08-16 Sz Dji Technology Co Ltd Parallel videokodning
US11089312B2 (en) 2016-08-08 2021-08-10 Lg Electronics Inc. Method for processing image and apparatus therefor
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
CN107872669B (zh) * 2016-09-27 2019-05-24 腾讯科技（深圳）有限公司 视频码率处理方法和装置
US10567775B2 (en) * 2016-10-01 2020-02-18 Intel Corporation Method and system of hardware accelerated video coding with per-frame parameter control
CN115022622A (zh) 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
KR20200062365A (ko) * 2016-10-04 2020-06-03 김기백 영상 데이터 부호화/복호화 방법 및 장치
EP3306938A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for binary-tree split mode coding
EP3306927A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Encoding and decoding methods and corresponding devices
US20180103271A1 (en) * 2016-10-10 2018-04-12 Qualcomm Incorporated Systems and methods for signaling missing or corrupted video data
KR20180039323A (ko) 2016-10-10 2018-04-18 디지털인사이트 주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
US10187178B2 (en) * 2016-10-11 2019-01-22 Microsoft Technology Licensing, Llc Dynamically partitioning media streams
US10779004B2 (en) 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
EP3513563A4 (en) * 2016-10-18 2019-07-24 Zhejiang Dahua Technology Co., Ltd METHODS AND SYSTEMS FOR VIDEO PROCESSING
KR20180043151A (ko) 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
CN116567210A (zh) * 2016-10-19 2023-08-08 Sk电信有限公司 视频编码/解码设备和方法及非暂时性记录介质
CN106454355B (zh) * 2016-10-24 2019-03-01 西南科技大学 一种视频编码方法及装置
KR20190086453A (ko) 2016-11-21 2019-07-22 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
JPWO2018092868A1 (ja) 2016-11-21 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
WO2018097590A1 (ko) * 2016-11-22 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
JP7044778B2 (ja) * 2016-11-28 2022-03-30 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読記録媒体
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
US10397590B2 (en) * 2016-12-05 2019-08-27 Nice-Systems Ltd. System and method for enabling seek in a video recording
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
CN116567236A (zh) * 2016-12-16 2023-08-08 夏普株式会社 图像解码方法
CN110115034B (zh) * 2016-12-23 2023-01-13 华为技术有限公司 一种用于扩展预定定向帧内预测模式集合的帧内预测装置
JPWO2018123314A1 (ja) * 2016-12-26 2019-10-31 日本電気株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム
RU2018131580A (ru) * 2016-12-26 2021-01-26 Нек Корпорейшн Способ кодирования видео, способ декодирования видео, устройство кодирования видео, устройство декодирования видео и программа
GB2574733B (en) * 2016-12-28 2020-05-06 Arris Entpr Llc Improved video bitstream coding
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
TWI617181B (zh) * 2017-01-04 2018-03-01 晨星半導體股份有限公司 用於高效率視訊編碼裝置之排程方法
KR20230096143A (ko) 2017-01-05 2023-06-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 화상의 블록 기반 예측 코딩 및 디코딩
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
EP3349454A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
KR20180088188A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 적응적 영상 변환 방법 및 장치
WO2018143687A1 (ko) * 2017-02-01 2018-08-09 엘지전자(주) 행-열 변환을 이용하여 변환을 수행하는 방법 및 장치
ES2963982T3 (es) * 2017-02-06 2024-04-03 Huawei Tech Co Ltd Método de decodificación de imágenes y dispositivo que utiliza la información de división de una unidad de árbol de codificación
CN110494193A (zh) 2017-02-08 2019-11-22 因默希弗机器人私人有限公司 向多人游戏场地中的用户显示内容
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
US11496747B2 (en) 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
US10904531B2 (en) * 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
CN108665410B (zh) * 2017-03-31 2021-11-26 杭州海康威视数字技术股份有限公司 一种图像超分辨率重构方法、装置及系统
US11551067B2 (en) * 2017-04-06 2023-01-10 Shanghai Cambricon Information Technology Co., Ltd Neural network processor and neural network computation method
KR20200021047A (ko) 2017-04-21 2020-02-27 제니맥스 미디어 인크. 렌더링 및 프리-인코딩된 로드 추정 기반 인코더 힌팅을 위한 시스템들 및 방법들
CA3060089C (en) 2017-04-21 2023-06-13 Zenimax Media Inc. Player input motion compensation by anticipating motion vectors
CA3060578C (en) 2017-04-21 2020-07-21 Zenimax Media Inc. Systems and methods for encoder-guided adaptive-quality rendering
RU2735241C1 (ru) 2017-04-21 2020-10-29 Зенимакс Медиа Инк. Системы и способы для векторов движения, генерируемых во время игры
TWI691200B (zh) 2017-04-21 2020-04-11 美商時美媒體公司 用於在視訊編碼中的順延後處理的系統及方法
US10979728B2 (en) * 2017-04-24 2021-04-13 Intel Corporation Intelligent video frame grouping based on predicted performance
CN108810556B (zh) * 2017-04-28 2021-12-24 炬芯科技股份有限公司 压缩参考帧的方法、装置及芯片
US10638127B2 (en) * 2017-05-15 2020-04-28 Qualcomm Incorporated Adaptive anchor frame and quantization parameter decision in video coding
WO2018223179A1 (en) 2017-06-05 2018-12-13 Immersive Robotics Pty Ltd Digital content stream compression
KR102315524B1 (ko) * 2017-06-16 2021-10-21 한화테크윈 주식회사 영상의 비트레이트 조절 방법 및 영상 획득 장치
CN107222751B (zh) * 2017-06-23 2019-05-10 宁波大学科学技术学院 基于多视点视频特征的3d-hevc深度视频信息隐藏方法
US11245921B2 (en) 2017-06-26 2022-02-08 Interdigital Vc Holdings, Inc. Multiple predictor candidates for motion compensation
CN112601085A (zh) 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
US11032545B2 (en) 2017-06-29 2021-06-08 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
CN109218748B (zh) * 2017-06-30 2020-11-27 京东方科技集团股份有限公司 视频传输方法、装置及计算机可读存储介质
CN107360419B (zh) * 2017-07-18 2019-09-24 成都图必优科技有限公司 一种基于透视模型的运动前视视频帧间预测编码方法
CN114554221B (zh) 2017-07-19 2023-08-01 三星电子株式会社 编码方法及用于其的设备、解码方法及用于其的设备
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
CN107483949A (zh) * 2017-07-26 2017-12-15 千目聚云数码科技（上海）有限公司 增加svac svc实用性的方法及系统
CN107295334B (zh) * 2017-08-15 2019-12-03 电子科技大学 自适应的参考图像抉择方法
CN107483960B (zh) * 2017-09-15 2020-06-02 信阳师范学院 一种基于空间预测的运动补偿帧率上转换方法
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
EP3457695A1 (en) 2017-09-18 2019-03-20 Thomson Licensing Method and apparatus for motion vector predictor adaptation for omnidirectional video
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
BR122021003526B1 (pt) * 2017-09-28 2022-02-15 Lg Electronics Inc Método de decodificação de vídeo realizado por um dispositivo de decodificação, método de codificação de vídeo realizado por um dispositivo de codificação e mídia de armazenamento legível por computador
US10623744B2 (en) * 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
EP3600581B1 (en) 2017-10-10 2024-02-21 Google LLC Distributed sample-based game profiling with game metadata and metrics and gaming api platform supporting third-party content
US11553187B2 (en) 2017-11-21 2023-01-10 Immersive Robotics Pty Ltd Frequency component selection for image compression
CN111699693A (zh) 2017-11-21 2020-09-22 因默希弗机器人私人有限公司 用于数字现实的图像压缩
WO2019104635A1 (en) 2017-11-30 2019-06-06 SZ DJI Technology Co., Ltd. System and method for controlling video coding at frame level
CN110832856A (zh) 2017-11-30 2020-02-21 深圳市大疆创新科技有限公司 用于减小视频编码波动的系统及方法
CN111164980A (zh) 2017-11-30 2020-05-15 深圳市大疆创新科技有限公司 用于控制图像帧内的视频编码的系统和方法
CN109949217B (zh) * 2017-12-20 2023-04-11 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
US11140207B2 (en) 2017-12-21 2021-10-05 Google Llc Network impairment simulation framework for verification of real time interactive media streaming systems
KR101975404B1 (ko) * 2017-12-27 2019-08-28 세종대학교산학협력단 절차적 콘텐츠 생성장치 및 방법
TWI680675B (zh) * 2017-12-29 2019-12-21 聯發科技股份有限公司 影像處理裝置與相關的影像處理方法
WO2019147628A1 (en) 2018-01-24 2019-08-01 Vid Scale, Inc. Generalized bi-prediction for video coding with reduced coding complexity
KR102465206B1 (ko) * 2018-01-26 2022-11-09 삼성전자주식회사 이미지 처리 장치
US11095876B2 (en) * 2018-01-26 2021-08-17 Samsung Electronics Co., Ltd. Image processing device
WO2019147403A1 (en) 2018-01-29 2019-08-01 Interdigital Vc Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
EP3759919A1 (en) * 2018-02-26 2021-01-06 InterDigital VC Holdings, Inc. Method and apparatus for generalized obmc
US11004178B2 (en) * 2018-03-01 2021-05-11 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images
JP7259836B2 (ja) * 2018-03-01 2023-04-18 ソニーグループ株式会社 画像処理装置および方法、撮像素子、並びに、撮像装置
US10432962B1 (en) * 2018-03-13 2019-10-01 Pixelworks, Inc. Accuracy and local smoothness of motion vector fields using motion-model fitting
CN110309328B (zh) * 2018-03-14 2022-03-25 深圳云天励飞技术有限公司 数据存储方法、装置、电子设备及存储介质
WO2019182752A1 (en) * 2018-03-22 2019-09-26 Google Llc Methods and systems for rendering and encoding content for online interactive gaming sessions
CN108449599B (zh) * 2018-03-23 2021-05-18 安徽大学 一种基于面透射变换的视频编码与解码方法
TWI700922B (zh) * 2018-04-02 2020-08-01 聯發科技股份有限公司 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
US11077364B2 (en) 2018-04-02 2021-08-03 Google Llc Resolution-based scaling of real-time interactive graphics
EP3773953A1 (en) 2018-04-02 2021-02-17 Google LLC Methods, devices, and systems for interactive cloud gaming
CN111886057A (zh) 2018-04-02 2020-11-03 谷歌有限责任公司 用于电子系统的输入装置
CN111417978A (zh) 2018-04-10 2020-07-14 谷歌有限责任公司 游戏渲染中的内存管理
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
EP3562162A1 (en) 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on neural network implementation of cabac
JP2021525468A (ja) * 2018-05-29 2021-09-24 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 部分的に共有されている輝度および彩度のコード化木を用いたビデオ符号化および復号化の方法および装置
TWI723430B (zh) 2018-06-19 2021-04-01 大陸商北京字節跳動網絡技術有限公司 不同精度的多個候選
CN108848380B (zh) * 2018-06-20 2021-11-30 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
US10602147B2 (en) * 2018-07-10 2020-03-24 Samsung Display Co., Ltd. Efficient entropy coding group grouping methodology for transform mode
US11039315B2 (en) 2018-08-01 2021-06-15 At&T Intellectual Property I, L.P. On-demand super slice instantiation and orchestration
JP7410033B2 (ja) * 2018-08-20 2024-01-09 日本放送協会 符号化装置、復号装置及びプログラム
CN110876059B (zh) * 2018-09-03 2022-06-10 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
US10863179B1 (en) * 2018-09-05 2020-12-08 Amazon Technologies, Inc. Overlapped rate control for high-quality segmented video encoding
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
EP3827586A1 (en) 2018-09-19 2021-06-02 Beijing Bytedance Network Technology Co. Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
US11606569B2 (en) * 2018-09-25 2023-03-14 Apple Inc. Extending supported components for encoding image data
US10893281B2 (en) 2018-10-12 2021-01-12 International Business Machines Corporation Compression of a video stream having frames with relatively heightened quality parameters on blocks on an identified point of interest (PoI)
US10764589B2 (en) * 2018-10-18 2020-09-01 Trisys Co., Ltd. Method and module for processing image data
WO2020084476A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN111083489A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN109640082B (zh) * 2018-10-26 2021-02-12 浙江鼎越电子有限公司 音视频多媒体数据处理方法及其设备
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
US10939102B2 (en) 2018-11-01 2021-03-02 Mediatek Inc. Post processing apparatus with super-resolution filter and loop restoration filter in block-level pipeline and associated post processing method
KR102628361B1 (ko) 2018-11-12 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인터-예측을 위한 대역폭 제어 방법
EP3807766B1 (en) 2018-11-16 2021-10-27 Google LLC Shadow tracking of real-time interactive simulations for complex system analysis
US10666985B1 (en) * 2018-11-18 2020-05-26 Sony Corporation Sub-block based entropy coding for image coding
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
CN113170093B (zh) 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
WO2020103935A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Blending method for inter prediction with geometry partition
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
JP7040422B2 (ja) * 2018-11-28 2022-03-23 日本電信電話株式会社 動きベクトル生成装置、投影像生成装置、動きベクトル生成方法、およびプログラム
US11025947B2 (en) * 2018-11-29 2021-06-01 Mediatek Inc. Method and apparatus for generating motion field motion vectors for blocks of current frame in on-the-fly manner
US10855988B2 (en) 2018-12-19 2020-12-01 Qualcomm Incorporated Adaptive prediction structures
US10645386B1 (en) * 2019-01-03 2020-05-05 Sony Corporation Embedded codec circuitry for multiple reconstruction points based quantization
KR20210121021A (ko) 2019-01-31 2021-10-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥
US10778972B1 (en) * 2019-02-27 2020-09-15 Google Llc Adaptive filter intra prediction modes in image/video compression
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
JP7252016B2 (ja) * 2019-03-13 2023-04-04 日本放送協会 動画像符号化装置、動画像復号装置及びプログラム
CN113632493A (zh) * 2019-03-13 2021-11-09 北京字节跳动网络技术有限公司 变换跳过模式中的子块变换
US10924625B2 (en) * 2019-03-20 2021-02-16 Xerox Corporation Dynamic compression acceleration using real-time image data entropy analysis
EP3942475A1 (en) * 2019-03-21 2022-01-26 Google LLC Using rate distortion cost as a loss function for deep learning
US11310496B2 (en) * 2019-03-27 2022-04-19 Ati Technologies Ulc Determining quality values for blocks of encoded video
JP7307192B2 (ja) 2019-04-02 2023-07-11 北京字節跳動網絡技術有限公司 デコーダ側の動きベクトルの導出
CN111901593B (zh) * 2019-05-04 2024-01-02 华为技术有限公司 一种图像划分方法、装置及设备
CN113874916A (zh) * 2019-05-26 2021-12-31 阿里巴巴集团控股有限公司 Ai辅助的可编程硬件视频编解码器
US10949982B1 (en) * 2019-06-21 2021-03-16 Amazon Technologies, Inc. Moving object recognition, speed estimation, and tagging
WO2020263499A1 (en) * 2019-06-24 2020-12-30 Alibaba Group Holding Limited Adaptive resolution change in video processing
CN110339567B (zh) * 2019-07-17 2023-05-26 三星电子（中国）研发中心 系统资源配置、场景预测模型训练方法和装置
BR112022002154A2 (pt) 2019-08-06 2022-04-19 Op Solutions Llc Sinalização implícita de gerenciamento de resolução adaptativa com base no tipo de quadro
MX2022001592A (es) 2019-08-06 2022-03-11 Op Solutions Llc Método de gestión de resolución adaptativa para reajuste de predicción.
WO2021026322A1 (en) 2019-08-06 2021-02-11 Op Solutions Block-based adaptive resolution management
WO2021026363A1 (en) * 2019-08-06 2021-02-11 Op Solutions, Llc Implicit signaling of adaptive resolution management based on frame type
CN112449140B (zh) * 2019-08-29 2021-09-14 华为技术有限公司 视频超分辨率处理方法及装置
CN114731404A (zh) * 2019-09-23 2022-07-08 交互数字Vc控股法国有限公司 使用基于块区域的量化矩阵进行视频编码和解码
CN112702603A (zh) * 2019-10-22 2021-04-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
EP3820138A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation
MX2022005534A (es) 2019-11-08 2022-08-04 Op Solutions Llc Metodos y sistemas para recorte adaptativo..
US11843772B2 (en) * 2019-12-06 2023-12-12 Ati Technologies Ulc Video encode pre-analysis bit budgeting based on context and features
US11308093B1 (en) * 2019-12-13 2022-04-19 Amazon Technologies, Inc. Encoding scheme for numeric-like data types
CN111814844B (zh) * 2020-03-17 2023-07-11 同济大学 一种基于位置编码融合的密集型视频描述方法
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
CN111757107B (zh) * 2020-06-29 2024-03-05 北京百度网讯科技有限公司 一种视频编码方法、装置、设备及介质
US11790533B2 (en) 2020-07-02 2023-10-17 Sony Group Corporation Machine learning based image segmentation training with contour accuracy evaluation
US11436699B1 (en) * 2020-08-03 2022-09-06 Meta Platforms, Inc. Predicting encoding parameters for convex hull video encoding
US11388413B1 (en) 2020-08-03 2022-07-12 Meta Platforms, Inc. Fast encoding parameter selection for convex hull video encoding
US20210144377A1 (en) * 2020-11-19 2021-05-13 Intel Corporation Method and system of video coding with content adaptive quantization
US11363262B1 (en) * 2020-12-14 2022-06-14 Google Llc Adaptive GOP structure using temporal dependencies likelihood
CN114630120B (zh) * 2020-12-14 2024-03-29 瑞昱半导体股份有限公司 基于自适应压缩率的视频压缩方法与电路系统
KR20220090887A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
WO2022174118A1 (en) * 2021-02-13 2022-08-18 Meta Platforms, Inc. Video coding efficiency improvement using dynamic frame boost scaling
US20220264111A1 (en) * 2021-02-13 2022-08-18 Meta Platforms, Inc. Video coding efficiency improvement using dynamic frame boost scaling
US11638025B2 (en) * 2021-03-19 2023-04-25 Qualcomm Incorporated Multi-scale optical flow for learned video compression
US11523117B2 (en) * 2021-03-22 2022-12-06 Realtek Semiconductor Corp. Encoder using coding tree unit level adaptive quantization mode to adjust frame level quantization parameter and associated signal processing method
US11871061B1 (en) 2021-03-31 2024-01-09 Amazon Technologies, Inc. Automated adaptive bitrate encoding
GB2608107B (en) * 2021-06-18 2023-06-14 Imagination Tech Ltd Mapping multi-dimensional coordinates to a 1D space
KR102562380B1 (ko) * 2021-10-18 2023-08-02 (주)카이미디어 8k 스케일러블 비디오 부호화 방법
US20230143196A1 (en) * 2021-11-05 2023-05-11 Tencent America LLC Immersive media data complexity analyzer for transformation of asset formats
CN115002482B (zh) * 2022-04-27 2024-04-16 电子科技大学 使用结构性保持运动估计的端到端视频压缩方法及系统
WO2023219600A1 (en) * 2022-05-07 2023-11-16 Google Llc Motion vector coding using a motion vector precision
US20230412812A1 (en) * 2022-06-15 2023-12-21 Tencent America LLC Systems and methods for joint signaling of transform coefficient signs
US20240080483A1 (en) * 2022-08-26 2024-03-07 Tencent America LLC Systems and methods for warp sample selection and grouping
CN115272083B (zh) * 2022-09-27 2022-12-02 中国人民解放军国防科技大学 一种图像超分辨率方法、装置、设备及介质

Family Cites Families (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0151011B1 (ko) 1994-11-30 1998-10-01 김광호 바이폴라 트랜지스터 및 그 제조방법
US6542547B1 (en) * 1995-05-30 2003-04-01 Texas Instruments Incorporated Efficient heuristic based motion estimation method for video compression
US5864711A (en) * 1995-07-05 1999-01-26 Microsoft Corporation System for determining more accurate translation between first and second translator, and providing translated data to second computer if first translator is more accurate
US5729691A (en) * 1995-09-29 1998-03-17 Intel Corporation Two-stage transform for video signals
US6160846A (en) 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
CN1113541C (zh) * 1995-10-25 2003-07-02 皇家菲利浦电子有限公司 分割图象编码方法及系统,以及相应的译码方法及系统
JP3743837B2 (ja) * 1996-06-14 2006-02-08 株式会社大宇エレクトロニクス ランレングス符号器
US5953506A (en) 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
KR20000064585A (ko) * 1997-01-13 2000-11-06 요트.게.아. 롤페즈 디지털 비디오 신호에 보조 데이터 삽입 방법 및장치
US6208693B1 (en) * 1997-02-14 2001-03-27 At&T Corp Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
JP3843581B2 (ja) * 1998-03-05 2006-11-08 富士ゼロックス株式会社 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法
JP2000050263A (ja) * 1998-07-28 2000-02-18 Hitachi Ltd 画像符号化並びに復号化装置及びこれを用いた撮像装置
US6895051B2 (en) 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
US6223162B1 (en) * 1998-12-14 2001-04-24 Microsoft Corporation Multi-level run length coding for frequency-domain audio coding
US7065253B2 (en) 1999-09-03 2006-06-20 Intel Corporation Wavelet zerotree coding of ordered bits
US7792390B2 (en) 2000-12-19 2010-09-07 Altera Corporation Adaptive transforms
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
EP3310049B1 (en) 2001-11-06 2019-01-30 Panasonic Intellectual Property Corporation of America Moving picture coding method and moving picture decoding method
US7453936B2 (en) * 2001-11-09 2008-11-18 Sony Corporation Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system
GB2382940A (en) 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100925968B1 (ko) * 2001-12-17 2009-11-09 마이크로소프트 코포레이션 컴퓨터 시스템에서 비디오 시퀀스의 복수의 비디오 화상을 처리하는 방법, 시스템 및 컴퓨터 판독가능 매체
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
AU2003285850A1 (en) 2002-04-23 2004-04-30 Nokia Corporation Method and device for indicating quantizer parameters in a video coding system
JP2003324731A (ja) * 2002-04-26 2003-11-14 Sony Corp 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP4767992B2 (ja) 2002-06-06 2011-09-07 パナソニック株式会社 可変長符号化方法および可変長復号化方法
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP2004007778A (ja) 2003-07-14 2004-01-08 Victor Co Of Japan Ltd 動き補償復号化方法
US20050094729A1 (en) 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
CN1332563C (zh) * 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
EP1571850A3 (en) 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
KR100654431B1 (ko) * 2004-03-08 2006-12-06 삼성전자주식회사 가변 ｇｏｐ 사이즈를 갖는 스케일러블 비디오 코딩방법및 이를 위한 스케일러블 비디오 인코더
US7461525B2 (en) * 2004-03-13 2008-12-09 Wilson Rodney W Tile sponge washing and conditioning apparatus
JP2005301457A (ja) 2004-04-07 2005-10-27 Fuji Xerox Co Ltd 画像処理装置、プログラムおよび記録媒体
US7689051B2 (en) 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
CN102833538B (zh) * 2004-06-27 2015-04-22 苹果公司 多通路视频编码
KR100664932B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
EP1675402A1 (en) 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
JP2006270301A (ja) * 2005-03-23 2006-10-05 Nippon Hoso Kyokai <Nhk> シーンチェンジ検出装置およびシーンチェンジ検出プログラム
WO2006109974A1 (en) 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method for entropy coding and decoding having improved coding efficiency and apparatus for providing the same
KR100703773B1 (ko) 2005-04-13 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 엔트로피 코딩 및 디코딩 방법과이를 위한 장치, 이를 포함하는 비디오 코딩 및 디코딩방법과 이를 위한 장치
US7397933B2 (en) 2005-05-27 2008-07-08 Microsoft Corporation Collusion resistant desynchronization for digital video fingerprinting
US8064516B2 (en) * 2005-06-02 2011-11-22 Broadcom Corporation Text recognition during video compression
KR20070006445A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 하이브리드 엔트로피 부호화, 복호화 방법 및 장치
WO2007011851A2 (en) 2005-07-15 2007-01-25 Texas Instruments Incorporated Filtered and warped motion compensation
CN101263513A (zh) 2005-07-15 2008-09-10 德克萨斯仪器股份有限公司 过滤和扭曲的运动补偿
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US9258519B2 (en) 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
KR100977101B1 (ko) 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
US8243804B2 (en) 2005-12-01 2012-08-14 Lsi Corporation Hierarchical motion estimation for images with varying horizontal and/or vertical dimensions
US8265145B1 (en) * 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
US8275045B2 (en) * 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
EP2055108B1 (en) * 2006-08-25 2011-04-20 Thomson Licensing Methods and apparatus for reduced resolution partitioning
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US20080075173A1 (en) * 2006-09-22 2008-03-27 Texas Instruments Incorporated Systems and Methods for Context Adaptive Video Data Preparation
US20100040146A1 (en) 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
CN105430398B (zh) 2006-11-08 2019-06-28 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
US7460725B2 (en) 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
US8875199B2 (en) * 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
EP1926321A1 (en) 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
US8396118B2 (en) * 2007-03-19 2013-03-12 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
TW200840366A (en) * 2007-03-28 2008-10-01 Univ Nat Central Complexity control method of video encoder
KR101336445B1 (ko) * 2007-06-08 2013-12-04 삼성전자주식회사 비디오 인코딩 데이터율 제어 방법
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8437564B2 (en) 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
GB0716158D0 (en) 2007-08-17 2007-09-26 Imagination Tech Ltd Data compression
US8526489B2 (en) * 2007-09-14 2013-09-03 General Instrument Corporation Personal video recorder
US9445110B2 (en) * 2007-09-28 2016-09-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
HUE037450T2 (hu) * 2007-09-28 2018-09-28 Dolby Laboratories Licensing Corp Videó információ kezelése
US20090135901A1 (en) 2007-11-28 2009-05-28 The Hong Kong University Of Science And Technology Complexity adaptive video encoding using multiple reference frames
US8149915B1 (en) * 2007-11-29 2012-04-03 Lsi Corporation Refinement of motion vectors in hierarchical motion estimation
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
JP5203717B2 (ja) 2007-12-19 2013-06-05 パナソニック株式会社 符号器、復号器、符号化方法、及び、復号方法
JP4309453B2 (ja) 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
US20090167775A1 (en) 2007-12-30 2009-07-02 Ning Lu Motion estimation compatible with multiple standards
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
CN101272494B (zh) * 2008-01-25 2011-06-08 浙江大学 利用合成参考帧的视频编解码方法及装置
US8798137B2 (en) 2008-02-29 2014-08-05 City University Of Hong Kong Bit rate estimation in data or video compression
US8254469B2 (en) 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
CN102037730B (zh) * 2008-05-22 2013-06-12 爱立信电话股份有限公司 内容自适应视频编码器和编码方法
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
TWI359617B (en) 2008-07-03 2012-03-01 Univ Nat Taiwan Low-complexity and high-quality error concealment
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101441903B1 (ko) 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP4427600B1 (ja) 2008-11-28 2010-03-10 株式会社東芝 映像解析装置およびプログラム
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
TWI498003B (zh) 2009-02-02 2015-08-21 Thomson Licensing 代表一序列圖像的碼式資料連流之解碼方法和一序列圖像之寫碼方法及碼式圖像資料結構
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
US9110849B2 (en) * 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
EP2271102A1 (en) 2009-06-29 2011-01-05 Thomson Licensing Adaptive residual image coding
CN102474268A (zh) 2009-08-06 2012-05-23 松下电器产业株式会社 编码方法、解码方法、编码装置及解码装置
US8379718B2 (en) 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
US8711938B2 (en) * 2009-09-04 2014-04-29 Sharp Laboratories Of America, Inc. Methods and systems for motion estimation with nonlinear motion-field smoothing
JP2011066844A (ja) 2009-09-18 2011-03-31 Toshiba Corp 並列復号装置及びプログラム並びに符号化データの並列復号方法
WO2011039931A1 (ja) 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US8705623B2 (en) * 2009-10-02 2014-04-22 Texas Instruments Incorporated Line-based compression for digital image data
EP2312854A1 (de) 2009-10-15 2011-04-20 Siemens Aktiengesellschaft Verfahren zur Codierung von Symbolen aus einer Folge digitalisierter Bilder
CN102939749B (zh) * 2009-10-29 2016-12-28 韦斯特尔电子行业和贸易有限公司 用于处理视频序列的方法和设备
US20110109721A1 (en) * 2009-11-06 2011-05-12 Sony Corporation Dynamic reference frame reordering for frame sequential stereoscopic video encoding
US9473792B2 (en) * 2009-11-06 2016-10-18 Texas Instruments Incorporated Method and system to improve the performance of a video encoder
KR20120086232A (ko) 2011-01-25 2012-08-02 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US8559511B2 (en) 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
KR101390620B1 (ko) * 2010-03-31 2014-04-30 인텔 코포레이션 비디오 인코딩을 위한 전력 효율적인 움직임 추정 기법
JP5377395B2 (ja) 2010-04-02 2013-12-25 日本放送協会 符号化装置、復号装置及びプログラム
KR20110112168A (ko) 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8410959B2 (en) * 2010-04-09 2013-04-02 Qualcomm, Incorporated Variable length codes for coding of video data
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
EP2559238B1 (en) * 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
JP5676744B2 (ja) * 2010-04-13 2015-02-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン エントロピー符号化
HUE025960T2 (en) * 2010-04-13 2016-04-28 Ge Video Compression Llc Video coding using multi-tree subdivisions of images
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
KR20110135787A (ko) 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
WO2011158225A1 (en) * 2010-06-17 2011-12-22 Mirtemis Ltd. System and method for enhancing images
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
US8934540B2 (en) * 2010-07-20 2015-01-13 Cisco Technology, Inc. Video compression using multiple variable length coding methods for multiple types of transform coefficient blocks
EP2609744A4 (en) 2010-08-26 2017-07-19 NXP USA, Inc. Video processing system and method for parallel processing of video data
PT3849194T (pt) 2010-09-27 2022-09-13 Lg Electronics Inc Método para particionar bloco e dispositivo de descodificação
JP2012080213A (ja) 2010-09-30 2012-04-19 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US8902988B2 (en) 2010-10-01 2014-12-02 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
US9628821B2 (en) * 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US8750373B2 (en) * 2010-10-04 2014-06-10 Vidyo, Inc. Delay aware rate control in the context of hierarchical P picture coding
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US20120269275A1 (en) * 2010-10-20 2012-10-25 Nokia Corporation Method and device for video coding and decoding
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9462280B2 (en) 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
CN102572419B (zh) * 2010-12-28 2014-09-03 深圳市云宙多媒体技术有限公司 一种帧间预测方法、装置
EP2663078A4 (en) 2011-01-07 2015-02-11 Samsung Electronics Co Ltd VIDEO PRESENTATION METHOD FOR CARRYING OUT BILATERAL PREDICTIONS AND UNILATERAL PREDICTIONS AND DEVICE THEREFOR, VIDEO CODING METHOD AND DEVICE THEREFOR AND VIDEO DECODING METHOD AND DEVICE THEREFOR
US10027957B2 (en) * 2011-01-12 2018-07-17 Sun Patent Trust Methods and apparatuses for encoding and decoding video using multiple reference pictures
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US8953690B2 (en) 2011-02-16 2015-02-10 Google Technology Holdings LLC Method and system for processing video data
GB2488159B (en) 2011-02-18 2017-08-16 Advanced Risc Mach Ltd Parallel video decoding
JP2012186763A (ja) 2011-03-08 2012-09-27 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9848197B2 (en) * 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US20120262545A1 (en) * 2011-04-18 2012-10-18 Paul Kerbiriou Method for coding and decoding a 3d video signal and corresponding devices
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US8494290B2 (en) 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US8989270B2 (en) 2011-06-23 2015-03-24 Apple Inc. Optimized search for reference frames in predictive video coding system
WO2013003777A1 (en) 2011-06-29 2013-01-03 General Instrument Corporation Methods and system for using a scan coding pattern during intra coding
NO335667B1 (no) 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
AU2012278484B2 (en) 2011-07-01 2016-05-05 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding
KR101362696B1 (ko) 2011-10-19 2014-02-17 전북대학교산학협력단 하이브리드 아키텍쳐가 적용된 신호 변환 장치, 신호 변환 방법 및 기록매체
KR20130045425A (ko) 2011-10-25 2013-05-06 (주)케이테크 소셜 온톨로지 기반 지식 전문가 추천방법
TW201842453A (zh) 2011-11-07 2018-12-01 美商Ｖｉｄ衡器股份有限公司 使佣偶奇整數轉換視訊及資料處理
US20130223524A1 (en) * 2012-02-29 2013-08-29 Microsoft Corporation Dynamic insertion of synchronization predicted video frames
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
KR101327078B1 (ko) * 2012-04-27 2013-11-07 엘지이노텍 주식회사 카메라 및 이의 영상 처리 방법
WO2014078068A1 (en) 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
EP2920969A4 (en) 2012-11-13 2016-07-13 Intel Corp VIDEO CODEC ARCHITECTURE FOR VIDEOS OF THE NEXT GENERATION
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
CN104885470B (zh) 2013-01-30 2018-08-07 英特尔公司 用于下一代视频的预测和编码的内容自适应划分

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057953A1 (ko) * 2015-09-30 2017-04-06 엘지전자 주식회사 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
US10674146B2 (en) 2015-09-30 2020-06-02 Lg Electronics Inc. Method and device for coding residual signal in video coding system

Also Published As

Publication number Publication date
US20160127741A1 (en) 2016-05-05
JP6339099B2 (ja) 2018-06-06
JP2016508327A (ja) 2016-03-17
US20150373328A1 (en) 2015-12-24
US20170006284A1 (en) 2017-01-05
EP2951995A4 (en) 2016-09-21
WO2014120368A1 (en) 2014-08-07
CN105453570A (zh) 2016-03-30
WO2014120960A1 (en) 2014-08-07
EP2951999A1 (en) 2015-12-09
JP2016506187A (ja) 2016-02-25
CN104718756B (zh) 2019-02-15
KR20150090194A (ko) 2015-08-05
US9609330B2 (en) 2017-03-28
EP2952002A4 (en) 2016-09-21
KR101770047B1 (ko) 2017-08-21
WO2014120374A1 (en) 2014-08-07
WO2015099814A1 (en) 2015-07-02
EP3008900A2 (en) 2016-04-20
US20150229926A1 (en) 2015-08-13
US20150319441A1 (en) 2015-11-05
US20150319442A1 (en) 2015-11-05
CN104885467A (zh) 2015-09-02
WO2014120575A1 (en) 2014-08-07
US20160277738A1 (en) 2016-09-22
EP3013053A2 (en) 2016-04-27
US9973758B2 (en) 2018-05-15
EP2952001A4 (en) 2016-09-14
US9787990B2 (en) 2017-10-10
US10009610B2 (en) 2018-06-26
CN105052140B (zh) 2019-01-15
WO2014120375A2 (en) 2014-08-07
US20170318297A1 (en) 2017-11-02
EP2951998A1 (en) 2015-12-09
JP6286718B2 (ja) 2018-03-07
KR20150055005A (ko) 2015-05-20
WO2014120373A1 (en) 2014-08-07
EP3008900A4 (en) 2017-03-15
US20180176577A1 (en) 2018-06-21
EP3013053A3 (en) 2016-07-20
EP2952003A1 (en) 2015-12-09
EP2952004A4 (en) 2016-09-14
KR20170066712A (ko) 2017-06-14
CN104737542A (zh) 2015-06-24
US10284852B2 (en) 2019-05-07
WO2014120987A1 (en) 2014-08-07
KR20150090178A (ko) 2015-08-05
CN105191309A (zh) 2015-12-23
EP2952002A1 (en) 2015-12-09
US20150010062A1 (en) 2015-01-08
US10284853B2 (en) 2019-05-07
CN104718756A (zh) 2015-06-17
US9762911B2 (en) 2017-09-12
CN104885471A (zh) 2015-09-02
EP2951995A1 (en) 2015-12-09
WO2014120656A1 (en) 2014-08-07
CN104885471B (zh) 2019-06-28
US20140362922A1 (en) 2014-12-11
US20150016523A1 (en) 2015-01-15
EP2952004A1 (en) 2015-12-09
US9794568B2 (en) 2017-10-17
US20150036737A1 (en) 2015-02-05
EP2951999A4 (en) 2016-07-20
EP2996338A3 (en) 2016-07-06
CN104737542B (zh) 2018-09-25
KR102063385B1 (ko) 2020-01-07
EP2952001A1 (en) 2015-12-09
EP2951994A1 (en) 2015-12-09
WO2014120375A3 (en) 2016-03-17
EP2951993A1 (en) 2015-12-09
US10021392B2 (en) 2018-07-10
US9973757B2 (en) 2018-05-15
CN104885455A (zh) 2015-09-02
CN104885470A (zh) 2015-09-02
CN105191309B (zh) 2018-08-10
CN105556964A (zh) 2016-05-04
CN104885470B (zh) 2018-08-07
EP2996338A2 (en) 2016-03-16
RU2612600C2 (ru) 2017-03-09
EP2951998A4 (en) 2016-09-28
CN105052140A (zh) 2015-11-11
US9794569B2 (en) 2017-10-17
JP2016514378A (ja) 2016-05-19
CN104885455B (zh) 2019-02-22
WO2014120367A1 (en) 2014-08-07
BR112015015575A2 (pt) 2020-02-04
EP2951994A4 (en) 2016-10-12
CN105556964B (zh) 2019-02-01
EP2952003A4 (en) 2016-09-14
CN105453570B (zh) 2020-03-17
WO2014120369A1 (en) 2014-08-07
US20160277739A1 (en) 2016-09-22
KR20150090206A (ko) 2015-08-05
US9686551B2 (en) 2017-06-20
EP2952003B1 (en) 2019-07-17
RU2015126241A (ru) 2017-01-11
JP6163674B2 (ja) 2017-07-19
CN104885467B (zh) 2018-08-17
EP2951993A4 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
KR102063385B1 (ko) 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩
US10999606B2 (en) Method and system of neural network loop filtering for video coding
KR101677406B1 (ko) 차세대 비디오용 비디오 코덱 아키텍처
US11722682B2 (en) Simplified binary arithmetic coding engine
KR102148466B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
KR20150056811A (ko) 차세대 비디오를 위한 콘텐츠 적응적 변환 코딩
KR20210134402A (ko) 인코더, 디코더 및 대응하는 인트라 예측을 위한 방법
KR101462637B1 (ko) 영상 부호화/복호화 방법 및 장치
JP2023153802A (ja) イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ
KR20210113367A (ko) 인트라 서브-파티션 코딩 모드를 위한 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision