JP6163674B2 - 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ - Google Patents

高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ Download PDF

Info

Publication number
JP6163674B2
JP6163674B2 JP2015545956A JP2015545956A JP6163674B2 JP 6163674 B2 JP6163674 B2 JP 6163674B2 JP 2015545956 A JP2015545956 A JP 2015545956A JP 2015545956 A JP2015545956 A JP 2015545956A JP 6163674 B2 JP6163674 B2 JP 6163674B2
Authority
JP
Japan
Prior art keywords
frame
coding
picture
segment
pass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015545956A
Other languages
English (en)
Other versions
JP2016514378A (ja
Inventor
プリ、アトゥル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2016514378A publication Critical patent/JP2016514378A/ja
Application granted granted Critical
Publication of JP6163674B2 publication Critical patent/JP6163674B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Systems (AREA)

Description

本願は、２０１３年１月３０日に出願され、発明の名称が「次世代ビデオコーディング」である米国仮出願６１／７５８，３１４の恩恵を請求し、全ての目的のためにここに組み込まれる。
ビデオエンコーダは、与えられた帯域幅でより多くの情報が送信できるように、ビデオ情報を圧縮する。そして、圧縮された信号は、表示の前に信号をデコード又は解凍するデコーダを有するレシーバに送信され得る。
高効率ビデオコーディング（ＨＥＶＣ）は、最新のビデオ圧縮規格であり、ＩＳＯ／ＩＥＣのＭＰＥＧ（Moving Picture Experts Group）及びＩＴＵ−ＴのＶＣＥＧ（Video Coding Experts Group）によって形成されたＪＣＴ−ＶＣ（Joint Collaborative Team on Video Coding）によって開発されている。ＨＥＶＣは、より高い解像度のビデオアプリケーションを進化させるために、十分な圧縮を提供しない前のＨ．２６４／ＡＶＣ（Advanced Video Coding）規格に応えて開発されている。前のビデオコーディング規格と同様に、ＨＥＶＣは、イントラ／インター予測、変換、量子化、インループフィルタリング、及びエントロピーコーディングのような複数の基本機能モジュールを含む。
進行中のＨＥＶＣ規格は、許容される予測パーティション及びコーディングパーティションに対する限定的な選択、限定的な許容される複数の参照及び予測生成、限定的な変換ブロックサイズ及び現実の変換、コーディングアーチファクトを減少するための限定的なメカニズム、及び非効率なエントロピーエンコード技術のようなＨ．２６４／ＡＶＣ規格の制限を改善することを試み得る。しかし、進行中のＨＥＶＣ規格は、そのような問題を解決するための反復アプローチを用い得る。
例えば、圧縮されるビデオの解像度のこれまでの増加及び高いビデオ品質への期待に伴い、Ｈ．２６４のような既存のビデオコーディング規格又はＨ．２６５／ＨＥＶＣのような進化している規格さえも用いるコーディングに対して要求される対応するビットレート／帯域幅は、相対的に高い。前述の規格は、不十分な圧縮／品質の問題に暗黙的に対処するために、従来のアプローチの拡充形を用いるが、その結果は限定される。
本説明は、次世代ビデオ（ＮＧＶ）コーデックプロジェクトの枠組みの中で開発され、デバイス上での実施例のために十分に実用的にしながら、達成可能な圧縮効率を最大化する進化型のビデオコーデックを設計することの一般的な問題に対処する。例えば、ビデオの解像度のこれまでの増加及び良いディスプレイの利用可能性に起因する高いビデオ品質の期待に伴い、前のＭＰＥＧ規格及びさらにより最近のＨ．２６４／ＡＶＣ規格のような既存のビデオコーディング規格を用いて要求される対応するビットレート／帯域幅は、相対的に高い。Ｈ．２６４／ＡＶＣは、より高い解像度のビデオアプリケーションを進化させるために、十分に高い圧縮を提供すると考えられなかった。
ここで説明される題材は、添付の図面において限定のためでなく、例として示される。説明の簡潔さ及び明確さのために、図面において示される要素は、必ずしも縮尺通りに描かれていない。例えば、いくつかの要素の寸法は、明確さのために、他の要素に対して誇張され得る。さらに、適切であると考えられる場合、参照符号は、対応する又は類似する要素を示すために、図の中で繰り返されている。
例示的な次世代ビデオエンコーダを示す図である。 例示的な次世代ビデオデコーダを示す図である。 例示的な次世代ビデオエンコーダ及びサブシステムを示す図である。 例示的な次世代ビデオデコーダ及びサブシステムを示す図である。 本明細書における実施例に係る予測フレームに対するマルチパスコーディングを提供する処理を示すフローチャートである。 本明細書における実施例に係る予測フレームに対するマルチパスコーディングを提供する他の処理を示すフローチャートである。 修正済み参照フレームを有するフレームシーケンスを示す図である。 修正済み参照フレームのスーパーレゾリューション処理を示す図である。 例示的なエンコーダサブシステムを示す図である。 例示的なデコーダサブシステムを示す図である。 チェーン予測及び他の予測技術を実証するフレームシーケンスを示す図である。 例示的なエンコーダサブシステムを示す図である。 例示的なデコーダサブシステムを示す図である。 予測補間及び他の予測技術を実証するフレームシーケンスを示す図である。 マルチパスを伴う参照フレーム依存を実証するフレームシーケンスを示す図である。 マルチパスを伴う参照フレーム依存を実証する他のフレームシーケンスを示す図である。 マルチパスを伴う参照フレーム依存を実証するさらに他のフレームシーケンスを示す図である。 例示的なエンコーダサブシステムを示す図である。 例示的なデコーダサブシステムを示す図である。 マルチパスを伴う参照フレーム依存を実証するＢピクチャを有するフレームシーケンスを示す図である。 例示的なエンコーダサブシステムを示す図である。 例示的なデコーダサブシステムを示す図である。 例示的なビデオコーディングシステムを示す図である。 例示的なシステムを示す図である。 本開示の少なくともいくつかの実施例に従って全て配置される例示的なデバイスを示す。
１又は複数の実施例は、添付の図を参照してここで説明される。特定の構成及び配置が説明されるものの、これは例示の目的だけで行われていることが理解されるであろう。説明の趣旨及び範囲を逸脱することなく他の構成及び配置が採用され得ることを当業者は認識するであろう。ここで説明される技術及び／又は配置が、ここで説明されるもの以外の様々な他のシステム及びアプリケーションでも採用され得ることは当業者にとって明らかであろう。
例えば、システムオンチップ（ＳｏＣ）アーキテクチャのようなアーキテクチャにおいて明示され得る様々な実施例を以下の記述が説明するが、ここで説明される技術及び／又は配置の実施例は、特定のアーキテクチャ及び／又はコンピューティングシステムに制限されず、同様の目的の任意のアーキテクチャ及び／又はコンピューティングシステムによって実装され得る。例えば、複数の集積回路（ＩＣ）チップ及び／又はパッケージを採用する様々なアーキテクチャ、及び／又は様々なコンピューティングデバイス及び／又はセットトップボックス、スマートフォン等の家電（ＣＥ）デバイスは、例えば、ここで説明される技術及び／又は配置を実装し得る。さらに、以下の記述は、ロジックの実施例、システムコンポーネントのタイプ及び相互関係、ロジックパーティショニング／インテグレーション選択等のような多数の特定の詳細を説明し得るが、請求される主題はそのような特定の詳細なしで実施されてよい。他の例において、例えば、制御構造及び全ソフトウェア命令シーケンスのようないくつかの題材は、ここで説明される題材を不明瞭にしないようにするため、詳細に適切に示されない場合がある。
ここで説明される題材は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組み合わせで実装され得る。ここで説明される題材は、１又は複数のプロセッサで読み取られて実行され得る、機械可読媒体に格納される命令として実装されてもよい。機械可読媒体は、機械（例えばコンピューティングデバイス）によって可読な形で情報を格納又は送信する任意の媒体及び／又はメカニズムを含んでもよい。例えば、機械可読媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクストレージ媒体、光学ストレージ媒体、フラッシュメモリデバイス、伝搬される信号（例えば、搬送波、赤外線信号、デジタル信号等）の電気の、光学の、音の、又は他の形態、及び他のものを含んでよい。他の形態において、非一時的コンピュータ又は機械可読媒体のような非一時的な物品は、それが一時的な信号それ自体を含まないことを除いては、上述の例又は他の例のいずれかとともに用いられてよい。それは、ＲＡＭ及びその他のような「一時的」な方法で一時的にデータを保持し得る、信号それ自体以外のこれらの要素を含む。
「１つの実施例」、「実施例」、「例示的な実施例」等への明細書における参照は、説明される実施例が特定の特徴、構造、又は特性を含むが、全ての実施例が必ずしも特定の特徴、構造、又は特性を含まなくてよい。さらに、そのような文言は、必ずしも同じ実施例を参照していない。さらに、特定の特徴、構造、又は特性が実施例に関連して説明される場合、ここで明示的に説明されるか否かに関わらず、他の実施例に関連して、そのような特徴、構造、又は特性をもたらすことが当業者の知識の範囲内であることが提示される。
以下で説明されるシステム、装置、物品、及び方法は、高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャに関連する。これは、進化型のＢピクチャ又はＦピクチャのコーディングと称されもよい。
上で説明されたように、Ｈ．２６４／ＡＶＣ規格は、様々な制限及びその規格を改善するための進行中の試みを有し得、例えば、ＨＥＶＣ規格は、そのような制限に対処するために反復アプローチを用い得る。例えば、圧縮されるビデオの解像度のこれまでの増加及び高いビデオ品質への期待に伴い、Ｈ．２６４のような既存のビデオコーディング規格又はＨ．２６５／ＨＥＶＣのような進化している規格さえも用いるコーディングに対して要求される対応するビットレート／帯域幅は、相対的に高い。前述の規格は、不十分な圧縮／品質の問題に暗黙的に対処するために、従来のアプローチの拡充形を用いるが、その結果は限定される。例えば、従来のインターフレームコーディングは、一般的に、規格によって用いられる動き補償予測を含む。したがって、そのような不十分な圧縮／品質の問題は、一般的に、ビデオのインターフレームコーディングにおける局所的動き補償予測を用いることのみによって暗黙的に対処されている。
さらに、いくつかのアドホックアプローチがこれまでに試みられている。そのような試みは、一般的に、複数の過去の、又は過去及び将来のフレームを採用し得る。そのような複数の過去、又は過去及び将来のフレームの使用は、一般的に、過去のフレーム（Ｐピクチャ／スライス用）におけるもの、又は過去及び将来のフレーム（Ｂピクチャ／スライス用）におけるものより、予測される現在のフレームのエリアに類似するいくつかのエリアがあるかもしれないという、過去又は将来のフレームにおける見込みで採用される。
しかし、多くのそのような不十分な圧縮／品質の問題は、動きだけでなく他の特性にも起因しているので、当然に、動き補償予測が単独で、（Ｐピクチャ／スライスの場合における）前の参照フレーム、並びにＢピクチャ／スライスの場合における前の及び次の参照フレームからの予測を用いて、そのような不十分な圧縮／品質の問題を完全に解決できない。したがって、次世代ビデオ（ＮＧＶ）システム、装置、物品、及び方法が、以下で説明される。ＮＧＶビデオコーディングは、より高い圧縮を達成するために、ビデオコーディング処理における重大なコンテンツベースの適応性を組み込んでよい。ＮＧＶコーデックとの関連で開発されるそのような実施例は、ビデオコーディングにおける高い圧縮効率を回りまわって達成させる予測信号をどのように改善するかの問題に対処する。
より正確には、本開示において、我々は、本開示においてコンテンツ適応予測Ｐピクチャ、コンテンツ適応機能性予測Ｆピクチャ、及びこれらのピクチャタイプを用いる改善された進化型ピクチャ構造と称される同じものの改善版を開発することによって、従来の予測Ｐピクチャ及び双方向性予測Ｂピクチャにおける意味のある前進、及びそれらに採用されるピクチャ構造を提案する。特に、Ｂピクチャも同様であるが、Ｆピクチャは、少なくとも１つの過去の予測、少なくとも１つの将来の予測フレーム、又は両方を用いることによって、再構成されてよい。しかし、上述のように、Ｆピクチャ、又はこのシステムのためのＰピクチャは、ここで説明されるようなモーフィング技術、合成技術、又は両方によって修正される複数の修正済み参照フレームを用いることによって、再構成されてよい。ここで説明される他の態様は、Ｆピクチャ全体を協調的にコーディングするために各パスがＦピクチャを少なくとも部分的にエンコードするツーパス又はマルチパスコーディングを許容することによって、コンテンツ適応Ｆピクチャの概念を拡張する進化型コンテンツ適応Ｆピクチャである。この概念は、Ｂピクチャに拡張して用いられることもできる。
ここで用いられるように、用語「コーダ」は、エンコーダ及び／又はデコーダを指してよい。同様に、ここで用いられるように、用語「コーディング」は、エンコーダを用いてビデオエンコードを実行すること、及び／又はデコーダを用いてビデオデコードを実行することを指してよい。例えば、ビデオエンコーダ及びビデオデコーダは、両方とも、ビデオデータをコーディングすることが可能なコーダの例であってよい。加えて、ここで用いられるように、用語「コーデック」は、例えば、エンコーダ及び／又はデコーダを実装し得るソフトウェア、ファームウェア、及び／又はハードウェアの任意の組み合わせのような任意の処理、プログラム、又は動作のセットを指してよい。さらに、ここで用いられるように、用語「ビデオデータ」は、例えば、ビデオフレーム、画像データ、エンコードされたビットストリームデータ、又はその類のもののようなビデオコーディングに関連付けられる任意のタイプのデータを指してよい。
図１は、本開示の少なくともいくつかの実施例に従って配置される、例示的な次世代ビデオエンコーダ１００を示す図である。図示されるように、エンコーダ１００は、入力ビデオ１０１を受信してよい。入力ビデオ１０１は、例えば、ビデオシーケンスの複数の入力フレームのようなエンコードするための任意の適切な入力ビデオを含んでよい（ここで、フレーム、ピクチャ、及び画像の用語は、特に断りがない限り、互換的に用いられる）。図示されるように、入力ビデオ１０１は、コンテンツプレアナライザモジュール１０２を介して受信されてよい。コンテンツプレアナライザモジュール１０２は、ビデオコーディング効率及び速度性能を改善するための様々なタイプのパラメータを決定するために、入力ビデオ１０１の複数のビデオフレームのコンテンツの分析を実行するように構成されてよい。例えば、コンテンツプレアナライザモジュール１０２は、水平及び鉛直勾配情報（例えば、Ｒｓ、Ｃｓ）、分散、ピクチャ毎の空間複雑性、ピクチャ毎の時間複雑性（ｔｐｃｐｘ）、シーンチェンジ検出、動き範囲推定、ゲイン検出、予測距離推定（ｐｄｉｓｔ）、オブジェクト数推定、領域境界検出、空間複雑性マップ計算、焦点推定、フィルム粒子推定、又はその類のものを決定してよい。コンテンツプレアナライザモジュール１０２によって生成される複数のパラメータは、エンコーダ１００によって（例えば、エンコードコントローラ１０３を介して）用いられ、及び／又は量子化されてデコーダに通信されてよい。
図示されるように、複数のビデオフレーム及び／又は他のデータは、コンテンツプレアナライザモジュール１０２から適応ピクチャオーガナイザモジュール１０４（階層及び／又はチェーンピクチャグループ構造オーガナイザとも称される）に送信されてよい。適応オーガナイザモジュール１０４は、ピクチャグループ構造、及びグループの中の各ピクチャのピクチャタイプを決定し、必要に応じてエンコード順序に複数のピクチャを順序付ける。それは、階層（ピラミッド）ピクチャ構成、チェーンピクチャ構成、及び複数のハイブリッド構成をサポートする。適応オーガナイザモジュール１０４は、ピクチャグループ構造及び複数のピクチャタイプを示す複数の制御信号を出力する（システム１００について示される複数の出力／入力制御のための略語が下に列挙される）。ここで説明されるＮＧＶコーディングは、Ｉピクチャ（イントラコーディング）、（複数の過去／前の参照フレームからのインター予測から形成される）複数のＰピクチャ、及び（後述のような機能性の）Ｆピクチャを用い、これらの全てが下でより詳細に説明される。ピラミッド階層において最も深い（又は、言い換えれば、最も低いポジション又は最も高いランクの数を有する）Ｆピクチャは、非参照であり、他のＦピクチャは参照として用いられる。
いくつかの例において、適応ピクチャオーガナイザモジュール１０４は、複数のフレーム部分を生成するように構成されるフレーム部分ジェネレータを含んでよい。いくつかの例において、コンテンツプレアナライザモジュール１０２及び適応ピクチャオーガナイザモジュール１０４は、併せて、エンコーダ１００のプレアナライザサブシステムと見なされてよい。
図示されるように、複数のビデオフレーム及び／又は他のデータは、適応ピクチャオーガナイザモジュール１０４から予測パーティション生成モジュール１０５に送信されてよい。いくつかの例において、予測パーティション生成モジュール１０５は、第１に、フレーム又はピクチャを複数のタイル又は複数のスーパーフラグメント又はその類のものに分割してよい（ここで、フレーム、ピクチャ、及び画像の用語は、特に断りがない限り、及びフレームが特定のピクチャタイプ（例えば、Ｉ、Ｐ、Ｆ、又はＢピクチャ）が必ずしも割り当てられないフレームを概して指すために用いられることを除いて、互換的に用いられてよい）。いくつかの例において、（例えば、モジュール１０４と１０５との間の）追加のモジュールは、フレーム又はピクチャを複数のタイル又はスーパーフラグメント又はその類のものに分割するために提供されてよい。ＮＧＶコーディングの一例によれば、フレームは、３２×３２又は６４×６４ピクセルの複数のタイルに分割されてよく、６４×６４は、全てのピクチャタイプ（Ｉ、Ｐ、又はＦ）のコーディングに対して全ての標準画質及びより高い解像度のビデオのために用いられる。低い解像度の複数のシーケンスに対して、６４×６４は、Ｉ及びＦピクチャのコーディングに対しても用いられ、３２×３２は、Ｐピクチャに対して用いられる。
一例によれば、予測パーティション生成モジュール（予測Ｋｄ木／二分木パーティションジェネレータと称されてもよい）１０５は、その後、各タイル又はスーパーフラグメントを複数の潜在的予測パーティショニング又はパーティションに分割してよい。いくつかの例において、複数の潜在的予測パーティショニングは、例えば、ｋ−ｄ木パーティショニング技術、二分木パーティショニング技術、又はその類のもののようなパーティショニング技術を用いて決定されてよく、個々のビデオフレームのピクチャタイプ（例えば、Ｉ、Ｐ、又はＦピクチャ）、パーティショニングされるフレーム部分の特性、又はその類のものに基づいて決定されてよい。一例によれば、ピクチャ、Ｉピクチャがコーディングされる場合、全てのタイル又はほぼ全てのタイルは、規定の最小値のサイズが達せられるまでスペースを分割できるＫｄ木ベースの複数のパーティションに、かつ一度に一次元でさらに分割される。スペースを分割するための選択肢は、さらに分割しないこと、２つの等しい半分に分割すること、スペースの１／４及び３／４である２つの部分に分割すること、又はスペースの３／４及び１／４である２つの部分に分割することを含んでよい。そのため、最大サイズとして６４×６４を用いる（及び４×４の最小サイズを許容する）Ｉピクチャで、他の制約が課されなければ、非常に多数のタイルのパーティションが生成され得る。例えば、１つの制約は、複数の切断の第１のペアが、４つの３２×３２のサブタイルが形成されるように、水平及び鉛直方向寸法の両方においてスペースを半分にするために６４×６４のタイルに対して予め決定され、そして、Ｋｄ木パーティショニングによって３２×３２のサブタイルを各サブパーティショニングすることを設定することである。他の複数の制約は、可能なパーティションの組み合わせの数を減少する可能性もある。
Ｉピクチャのタイルのこれらのパーティションは、各タイルパーティションが空間予測（方向性角度予測又は他のタイプの予測）及び複数の予測差分のコーディングのために用いられてよいので、予測パーティションと称される。同様に、Ｐピクチャの複数のタイルも、より低解像度に対して、Ｐピクチャの複数のパーティションが３２×３２のタイルで開始し、Ｋｄ木ベースの複数のパーティションが用いられないが、むしろより単純な二分木パーティショニングが用いられることを除いて、予測のためにこの手法でパーティショニングされることができる。二分木パーティショニングは、２つの次元の間で繰り返しながら、一度に一次元で、スペースを２つの等しい部分に分割する。さらに、いくつかのサブパーティションは、例えば、覆われていない背景に対処するために、イントラ空間予測を用いることができるが、Ｐピクチャの複数のパーティションは、空間予測よりむしろ、（１又は複数の参照で）動きを主に用いて予測される。より高い解像度の複数のピクチャサイズのための標準画質に対して、複数のＰピクチャは、分割される前に、６４×６４のタイルで開始する。最終的に、いくつかのサブパーティションは、（イントラコーディングに対して）空間予測を用いることもできるが、Ｆピクチャも、二分木パーティショニングを用い、（１又は複数のパーティションで）動きを主に用いる複数の予測パーティションを生成するために６４×６４のタイルで開始する。
ＮＧＶコーディングにおいて、予測を生成するために複数の動きベクトルを単純に用いることより、インター予測データの生成のためのさらに多くのことがあり、他の場所で説明される。Ｐ及びＦピクチャのコーディングにおいて、各サブパーティションの予測は、予測モードを含むことによって特定される。複数の予測モードは、ｓｋｉｐ、ａｕｔｏ、ｉｎｔｒａ、ｉｎｔｅｒ、ｍｕｌｔｉ、及びｓｐｌｉｔを含む。ｓｋｉｐモードは、ピクセルデータが、エンコードされる必要がなく、デコードされる場合に１つのフレームから他に単にコピーされるように、例えば、参照フレームから再構成されている現在のフレームに対して変化がない又は相対的にほぼ変化がない場合、予測コーディングをスキップするために用いられる。Ａｕｔｏモードは、例えば、複数の動きベクトルが必要でないかもしれないが、複数の変換係数がデータをコーディングするために用いられることもできるように、部分的なデータだけが必要とされる場合に用いられる。Ｉｎｔｒａモードは、フレーム又はパーティションが空間的にコーディングされることを意味する。Ｓｐｌｉｔは、フレーム又はパーティションが、コーディングされる前に、より小さい複数の部分又はパーティションに分けられることを必要とすることを意味する。Ｉｎｔｅｒモードは、複数の参照フレームが現在のフレームに対して決定され、複数の動き推定が各参照を別々に用いることによって得られ、そして、最良の結果が動き予測データのために用いられることを意味する。Ｍｕｌｔｉモードも、複数の参照フレームを用いるが、この場合において、複数の参照フレームからの動き推定データは、予測のために用いられるための単一の結果を得るために、平均される又は加重平均されるように、組み合わせられる。
予測パーティション生成モジュール１０５の複数の出力のうちの１つは、タイルの数百の潜在的なパーティショニング（及びパーティショニングに課される制限に依存してより多い又はより少ない）であってよい。これらのパーティショニングは、１...ｍとしてインデックス付けされ、使用するための最良の予測パーティショニングを選択するためにエンコードコントローラ１０３に提供される。述べられたように、決定された複数の潜在的予測パーティショニングは、予測（例えば、インター又はイントラ予測）のための複数のパーティションであってよく、複数の予測パーティション又は複数の予測ブロック又はその類のものとして説明されてよい。
いくつかの例において、選択された予測パーティショニング（例えば、複数の予測パーティション）は、複数の潜在的予測パーティショニングから決定されてよい。例えば、選択された予測パーティショニングは、各潜在的予測パーティショニングに対して、複数の特性及び動きベースの複数のマルチ参照予測又はイントラ予測を用いて複数の予測を決定すること、及び複数の予測パラメータを決定することに基づいてよい。各潜在的予測パーティショニングに対して、潜在的予測エラーは、元の複数のピクセルと複数の予測ピクセルとの差分をとることによって決定されてよく、選択された予測パーティショニングは、最小の予測エラーを有する潜在的予測パーティショニングであってよい。他の例において、選択された予測パーティショニングは、パーティショニング及び予測パーティショニングに関連付けられる予測エラーをコーディングするためのビットの数に基づく重み付け採点を含むレート歪み最適化に基づいて決定されてよい。
図示されるように、選択された予測パーティショニング（例えば、現在のフレームの複数の予測パーティション）の元の複数のピクセルは、ディフェレンサ１０６において、複数の予測パーティション（例えば、参照フレーム又は複数のフレーム、及びインター又はイントラ予測データのような他の予測データに基づく現在のフレームの予測パーティションの予測）との差分をとられてよい。複数の予測パーティションの決定は、さらに下で説明され、図１に示されるようなデコードループ１３５を含んでよい。複数の差分に関して、元のパーティショニングされた複数のブロックも、エンコードを保証する任意の残りの信号が存在するか否かを決定するために、複数の予測ブロックとの差分をとられる。したがって、予測は、ある程度のサブパーティションで十分になり得るので、タイルの全てのサブパーティションが、（例えば、変換コーディングを用いて）現実にコーディングされる必要はない。
別のやり方では、（動き補償だけのような）予測だけによってパーティションが補償されることができないことを示す差分からの任意の複数の残り又は残りのデータ（例えば、パーティション予測エラーデータ）は、変換コーディングのために、及び特に、一例によれば、複数のＰピクチャ及びＦピクチャのために、より小さい複数のパーティション（複数のコーディングパーティション）にさらにサブパーティショニングされるために、コーディングパーティション生成モジュール（又は、一例によれば、コーディング二分木パーティションジェネレータ）１０７に送信されてよい。複数のＰ又はＦピクチャ又はフレームにおいて、非常に単純なコンテンツ及び／又は大きい量子化のステップサイズが存在するいくつかの場合に、複数のコーディングパーティションは、タイル全体のサイズに等しくてよく、又は複数のコーディングパーティション及び複数の予測パーティションは、これらの場合において同じサイズを有してよい。したがって、いくつかのＰ及びＦピクチャのタイルは、コーディングパーティショニングを含まなくてもよく、１つのコーディングパーティショニング又は複数のコーディングパーティショニングを含んでもよい。これらのコーディングパーティションは、１...ｎとしてインデックス付けされ、所与の選択肢から予測及びコーディングパーティショニングの最良の組み合わせを選択するためにエンコードコントローラ１０３に提供される。
また、任意のピクチャタイプ（複数のＩ、Ｆ、又はＰピクチャ）における複数の予測パーティションのイントラ予測のようなこれらの例のいくつかにおいて、又は別のやり方では、複数の予測パーティションが複数のコーディングパーティションにさらに分割されない場合（複数のコーディングパーティションがスキップされる場合）、コーディングパーティション生成モジュール１０７は、スイッチ１０７ａ及び１０７ｂを用いてバイパスされてよい。そのような例において、単一レベルのパーティショニングだけが実行されてよい。単一レベルのパーティショニングだけが存在するそのようなパーティショニングにおいて、それは、予測パーティショニング（説明されたように）又はコーディングパーティショニング又は両方として説明されてよい。様々な例において、そのようなパーティショニングは、予測パーティション生成モジュール１０５を用いて実行されてよく（説明されたように）、又はここでさらに説明されるように、そのようなパーティショニングは、コーディングパーティション生成モジュール１０７を用いて実装されるｋ−ｄ木イントラ予測／コーディングパーティショナモジュール又は二分木イントラ予測／コーディングパーティショナモジュールによって実行されてよい。
いくつかの例において、パーティション予測エラーデータは、もしあれば、エンコードを保証するほど十分に意味がなくてよい。他の例において、パーティション予測エラーデータをエンコードすることが望ましい可能性があり、パーティション予測エラーデータがインター予測又はその類のものに関連付けられる場合、コーディングパーティション生成モジュール１０７は、複数の予測パーティションの複数のコーディングパーティションを決定してよい。いくつかの例において、パーティションがコーディングパーティショニングなしで（例えば、図示されるように、スイッチ１０７ａ及び１０７ｂを用いて利用可能なバイパス経路を介して）エンコードされてよいので、コーディングパーティション生成モジュール１０７が必要とされなくてよい。コーディングパーティショニングがあってもなくても、（いずれの場合においても、複数のコーディングパーティションとして後で説明され得る）パーティション予測エラーデータは、複数の残り又は残りのデータがエンコードを必要とする場合、適応変換モジュール１０８に送信されてよい。いくつかの例において、予測パーティション生成モジュール１０５及びコーディングパーティション生成モジュール１０７は、併せて、エンコーダ１００のパーティショナサブシステムと見なされてよい。様々な例において、コーディングパーティション生成モジュール１０７は、パーティション予測エラーデータ、元のピクセルデータ、残りのデータ、又はウェーブレットデータに対して動作してよい。コーディングパーティション生成モジュール１０７は、二分木及び／又はｋ−ｄ木パーティショニング技術又はその類のものを用いて、例えば、パーティション予測エラーデータの複数の潜在的コーディングパーティショニング（例えば、複数のコーディングパーティション）を生成してよい。
パーティショニングの後（複数の予測パーティションがＩピクチャに対して形成され、複数のコーディングパーティションがＰ及びＦピクチャに対して形成され、及びいくつかの例において、潜在的コーディングパーティションが形成された後）、複数のパーティションは、適応変換モジュール１０８（１つの形態において、適応マルチサイズ矩形ハイブリッドパラメータハール変換（ＨＰＨＴ）／離散コサイン変換（ＤＣＴ）ユニットとも称される）を用いて、様々なブロックサイズで適応又は固定の複数の変換を用いて変換されてよい。１つのアプローチによれば、適応変換モジュール１０８は、複数の矩形のブロックについて前方ＨＰＨＴ又は前方ＤＣＴを実行してよい。一例によれば、パーティション／ブロックサイズ及び選択された複数の変換（例えば、適応又は固定、及びＨＰＨＴ又はＤＣＴ）は、レート歪み最適化（ＲＤＯ）又は他の基準に基づいて決定されてよい。いくつかの例において、選択されたコーディングパーティショニング及び／又は選択された（複数の）変換の両方は、コーディングパーティションのサイズ又はその類のものに基づく予め定められた選択方法に基づいて決定されてよい。例えば、適応変換モジュール１０８は、小型から中型のサイズの複数のブロックの局所的最適変換コーディングを許容するために、パラメータ変換を実行する第１の部分又はコンポーネント、及び複数のパラメータ変換を含む様々な変換からのＤＣＴ又はピクチャベースの変換のような固定の変換を用いて、全体的に安定低オーバヘッド変換コーディングを実行する第２の部分又はコンポーネント、又は任意の他の構成を含んでよい。いくつかの例において、局所的最適変換コーディングに対して、ＨＰＨＴが実行されてよい。いくつかの例において、複数の変換は、約４×４ピクセル及び６４×６４ピクセルの間の複数の矩形のサイズの複数の２Ｄブロックについて、変換されたデータがルマ若しくはクロマであるか、又はインター若しくはイントラであるか、又は用いられる決定された変換がＰＨＴ又はＤＣＴ又はその類のものであるかのような多数の要因に依存する現実の複数のサイズで、実行されてよい。
ＨＰＨＴ変換に対して、小型から中型のブロックサイズがサポートされ、ＤＣＴ変換に対して、多数のブロックサイズがサポートされる。ＨＰＨＴ変換に対して、いくらかのオーバヘッドが、水平又は鉛直のいずれかのＤＣＴが適用される方向を特定するために必要とされ、ＰＨＴは、直交方向に適用され、モードも（少なくとも、モードがデコードされた複数のピクセル又は複数の予測差分ピクセルに基づくことができるイントラコーディングに対して）同様である。特定のブロックを変換するために用いられる現実のＰＨＴ変換の基準は、それがデコードされた隣接する複数のピクセルに依存するので、コンテンツ適応であってよい。エンコーダ及びデコーダの両方が同じ基底行列の計算を必要とするので、計算の複雑性は、誰もがそれらから選択できる（エンコーダ及びデコーダの両方に）既知の限定された数の良い変換を許容することによって、低く維持される。
図示されるように、結果として得られる複数の変換係数は、適応量子化モジュール１０９に送信されてよく、エンコードコントローラ１０３における量子化アダプタ制御装置１３３は、効率的にコーディングされてビットストリームに含まれることができるマルチレベルマップによって表される複数の局所的適応量子化パラメータを用意するために、コンテンツの分析を実行する。計算された量子化セット（ｑｓ及び係数ブロックに適用される行列）は、結果として得られる複数の変換係数のスケーリングを実行するために、適応量子化モジュール１０９によって用いられてよい。さらに、パラメータ変換に関連付けられる任意のデータは、必要に応じて、適応量子化モジュール１０９（量子化が所望される場合）又は適応エントロピーエンコーダモジュール１１０のいずれかに送信されてよい。また、図１に示されるように、複数の量子化係数は、スキャンされ、適応エントロピーエンコーダモジュール１１０に送信されてよい。適応エントロピーエンコーダモジュール１１０は、複数の量子化係数をエントロピーエンコードし、出力ビットストリーム１１１にそれらを含めてよい。いくつかの例において、適応変換モジュール１０８及び適応量子化モジュール１０９は、併せて、エンコーダ１００の変換エンコーダサブシステムと見なされてよい。
また、図１に示されるように、エンコーダ１００は、上述のように、複数の予測パーティションとの比較のための複数の予測パーティション（又は複数のフレーム）を形成するローカルデコードループ１３５を含む。予め、ＲＤＯ動作に依存して、上述した数百又はより多いタイルパーティションの全てが、ビット数の探索が十分な場合のように、完全にコーディングされる必要はない。しかし、完全なコーディングが提供され得る場合において、一旦、タイルの最良のパーティショニングが決定される。
ローカルデコードループ１３５は、適応逆量子化モジュール１１２で開始してよい。適応逆量子化モジュール１１２は、複数の変換係数を決定するために、逆スキャンが実行され得、複数の量子化係数がデスケーリングされ得るように、適応量子化モジュール１０９と反対の（複数の）動作を実行するように構成されてよい。そのような適応量子化動作は、例えば、不可逆であってよい。図示されるように、複数の変換係数は、適応逆変換モジュール１１３に送信されてよい。適応逆変換モジュール１１３は、例えば、複数のコーディングパーティションに関連付けられる複数の残り又は複数の残りの値又はパーティション予測エラーデータ（又は説明されたような元のデータ又はウェーブレットデータ）を生成するために、適応変換モジュール１０８によって実行されることの逆変換を実行してよい。いくつかの例において、適応逆量子化モジュール１１２及び適応逆変換モジュール１１３は、併せて、エンコーダ１００の変換デコーダサブシステムと見なされてよい。
図示されるように、Ｐ及びＦピクチャに対するパーティション予測エラーデータ（又はその類のもの）は、任意的なコーディングパーティションアセンブラ１１４に送信されてよい。コーディングパーティションアセンブラ１１４は、予測エラーデータの複数の予測パーティション又は複数のデコードされた残りの予測パーティション又はその類のものを生成するために、必要に応じて、複数のコーディングパーティションを複数のデコードされた予測パーティションにアセンブルしてよい（図示されるように、いくつかの例において、複数のデコードされた予測パーティションが適応逆変換モジュール１１３において生成され得る場合などに、コーディングパーティションアセンブラ１１４は、Ｉピクチャのタイルのパーティショニングに関してのように、かつスイッチ１１４ａ及び１１４ｂを用いてスキップされてよい）。図示されるように、複数のデコードされた残りの予測パーティション（インター又はイントラ）は、加算部１１５において、複数の再構成予測パーティションを生成するために、複数の予測パーティション（例えば、予測ピクセルデータ）に加算されてよい。複数の再構成予測パーティションは、予測パーティションアセンブラ１１６に送信されてよい。予測パーティションアセンブラ１１６は、複数の再構成タイル又は複数のスーパーフラグメントを生成するために、再構成予測パーティションをアセンブルしてよい。いくつかの例において、コーディングパーティションアセンブラモジュール１１４及び予測パーティションアセンブラモジュール１１６は、併せて、エンコーダ１００のアンパーティショナサブシステムと見なされてよい。
複数の段階のうちの次のセットは、フィルタリング、並びにフィルタリング及び予測生成の混合を含む。一般的な４つのタイプのフィルタリングが示される。特に、図１において、再構成された複数のパーティションは、ブロッキネスアナライザ及びデブロックフィルタリングモジュール（また、再構成ブロッキネスアナライザ及びＤＤフィルタジェネレータ）１１７によって、デブロックされ、ディザリングされる。分析に対して結果として生じる複数のパラメータｄｄｉは、フィルタリング動作のために用いられ、さらにコーディングされ、ビットストリーム１１１によってデコーダに送信される。デブロックされて再構成された出力は、その後、複数のＱＲフィルタリングパラメータを計算してそれらをフィルタリングのために用いる品質アナライザ及び品質復元フィルタリングモジュール（又はここで再構成品質アナライザ及びＱＲフィルタジェネレータとも称される品質改善フィルタ）１１８に引き渡される。これらのパラメータは、また、コーディングされ、ビットストリーム１１１によってデコーダに送信される。ＱＲフィルタ出力は、複数の将来のフレームをコーディングするための予測としても用いられる最終再構成フレームである。
より具体的には、複数の再構成タイル又は複数のスーパーフラグメントがブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７に送信され得る場合、ブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７は、複数の再構成タイル又は複数のスーパーフラグメント（又は複数のタイル又は複数のスーパーフラグメントの複数の予測パーティション）をデブロックしてディザリングしてよい。生成されたデブロック及びディザフィルタパラメータは、現在のフィルタ動作に用いられ、及び／又は例えば、デコーダによる使用のためにビットストリーム１１１においてコーディングされてよい。ブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７の出力は、品質アナライザ及び品質復元フィルタリングモジュール１１８に送信されてよい。品質アナライザ及び品質復元フィルタリングモジュール１１８は、複数のＱＲフィルタリングパラメータ（例えば、ＱＲ分解のための）を決定し、決定された複数のパラメータをフィルタリングに対して用いてよい。複数のＱＲフィルタリングパラメータは、デコーダによる使用のためにビットストリーム１１１においてコーディングされてもよい。いくつかの例において、ブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７、並びに品質アナライザ及び品質復元フィルタリングモジュール１１８は、併せて、エンコーダ１００のフィルタリングサブシステムと見なされてよい。いくつかの例において、品質アナライザ及び品質復元フィルタリングモジュール１１８の出力は、他の複数のフレームをコーディングするための予測に用いられ得る最終再構成フレームであってよい（例えば、最終再構成フレームは、参照フレーム又はその類のものであってよい）。したがって、図示されるように、品質アナライザ及び品質復元フィルタリングモジュール１１８の出力は、（デコードピクチャストレージ又はバッファと称されてもよく、又はそれに含まれてよい）マルチ参照フレームストレージ及びフレームセレクタ（又はマルチ参照制御装置）１１９に送信されてよい。依存ロジックモジュール１２８（一例において、階層ピクチャグループ構造における修正マルチ参照予測のための依存ロジックとも称される）は、マルチ参照制御装置１１９による適切な順序付け及び複数のフレームに対する使用のために、及び特定の複数のフレームが他のフレームの予測に対して選択されるべき場合に、複数の参照フレーム、及び複数のフレーム依存、又はより具体的には、複数のパーティション依存のような複数のフレームの間の関係をリストアップするための複数のインデックスを提供してよい。これは、マルチ参照予測、チェーン予測、複数の階層構造、及び／又は後述のような他の複数の予測技術のような複数のピクチャグループ構造に対して依存ロジックを提供することを含んでよい。
後述されるツーパス又はマルチパスコーディングに関して、コーディングされるべき新しいフレーム及び前の参照フレーム（距離ｐｄｉｓｔ離れた）は、背景（又は他の定義されたセグメンテーション）から前景を分け、（予測コーディングを用いる高効率コーディング、及びエントロピーコーディングによるように）明示的に、又は（複数の量子化マップ又はブルースクリーンフレームのコーディングによるように）暗黙的にビットストリームによってデコーダに伝えられるセグメンテーションマスクｓｅｇｍｓｋをもたらす（前／背景セグメンタ又はｃｏｕｒｓｅ／ｆｉｎｅセグメンタとも称される）セグメンタ１３４に入力される有効性のさらなる複数の理由に関して、ピクセル精度マスクは、要求されるビットレートに起因してコストがかかり得るので、このマスクの精度は、さらに減少されてよい。いずれの場合においても、エンコーダ及びデコーダの両方は、同じマスクを用いるべきであり、マスクの精度が減少されるべき場合、エンコーダは、デコーダに利用可能なマスクを用いるべきである。したがって、このエンコーダは、ここで説明された複数のＮＧＶエンコーダの他の複数の能力に加えて、また、前景／背景（又は他の）セグメンテーション情報を含む複数のセグメンテーションマスクｓｅｇｍｓｋを用い得るツーパス（又はマルチパス）のＦピクチャをサポートする。例えば、セグメンテーションマスクからの前景／背景の特定情報は、何がＦピクチャの第１のコーディングパスにおいてコーディングされるか、及び何が第２のパスにおいてコーディングされるかを決定するために用いられてよい。この情報は、モーフィング済みフレームの生成（モーフィング生成及びローカルバッファ１２０において）又は合成済みフレームの生成（合成生成及びローカルバッファ１２１において）をいつ、Ｆピクチャのどの領域に対して実行するかを決定するために、及びこれらの領域上で動き推定及び動き補償を実行するために有益である。さらに、複数のツーパス又はマルチパスＦピクチャは、２つの構成のうちの少なくとも１つを用いてよく、第１の構成において、Ｆピクチャの前景又は背景のいずれかが第１のパスにおいてコーディングされ、補完領域が第２のパスにおいてコーディングされる。上述のように、代替的に又はさらに、第２の構成において、ピクチャの全体又はほとんどは、第１のパスにおいてコーディングされ、領域（前景又は背景）は、第２のパスにおいて強化される。また、参照フレーム選択ロジックは、複数の参照画像としての使用のために、マルチ参照フレームストア及びフレームセレクタ１１９からの適切な複数のフレームを要求する（階層／チェーンピクチャ構造及び修正マルチ参照予測における進化型ツーパスＦピクチャ、Ｆピクチャ、Ｐピクチャに対する依存ロジックと称されてもよい）ユニット依存ロジックモジュール１２８によって提供される。
エンコーダ１００において、複数の予測動作は、インター及び／又はイントラ予測を含んでよい。図１に示されるように、インター予測は、モーフィング生成及びローカルバッファモジュール１２０（及び一例において、モーフィング生成及びローカルバッファと称される、又はインループモーフィング生成モジュールとここで称される）、合成生成及びローカルバッファモジュール１２１（及び一例において、合成生成及びピクチャバッファと称される、又はインループ合成生成モジュールとここで称される）、動き推定部１２２、特性及び動きフィルタリング及び予測モジュール１２３（またいくつかの例において、特性及び動きＡＰフィルタアナライザ及び１／４及び１／８ピクセル補償予測部と称される）、モーフィングアナライザ及び生成モジュール（又はアウトオブループモーフィングアナライザモジュール）１３０、及び合成アナライザ及び生成モジュール（又はアウトオブループ合成アナライザモジュール）１３２を含む１又は複数のモジュールによって実行されてよく、モーフィング及び合成ジェネレータ１２０及び１２１は、インループ（エンコーダのデコーダループの中）と見なされ、モーフィング及び合成アナライザ１３０及び１３２は、アウトオブループ（エンコーダにおけるデコーダループの外）と見なされる。一方がアナライザ、他方がジェネレータと呼ばれるが、インループ及びアウトオブループモジュールの両方が、同じ又は類似の複数のタスク（モーフィング及び／又は合成のための複数の修正済みフレーム及び複数の修正パラメータを形成すること）を実行してよい。これらのコンポーネントを用いて、モーフィング生成モジュール１２０又はモーフィングアナライザ１３０は、様々な形態のモーフィングを可能にしてよく、参照フレーム又はそれがともにコーディングされるべき複数のフレームに関して、及び動き補償予測の前に、（１）ゲインの変化、（２）支配的な（又は全体的な）動きの変化、（３）レジストレーションの変化、及び／又は（４）ブラーの変化に対して、複数のモーフィングパラメータを決定するために現在のピクチャを分析してよい。
アウトオブループモーフィングアナライザ１３０及び合成アナライザ１３２は、適応ピクチャオーガナイザ１０４からピクチャグループ構造データを受信し、複数のモーフィング及び合成パラメータ（ｍｏｐ、ｓｙｐ）、及び量子化されていない、デコードされていない、元のフレームのデータに基づく複数の修正済み参照フレームを形成するためにエンコーダコントローラ１０３と通信する。アウトオブループモーフィング及び合成アナライザ１３０及び１３２からの複数の修正済み参照フレーム及び複数の修正パラメータの形成は、デコーダループ１３５を通じて提供されるものより非常に速くてよく、これは、リアルタイムエンコードに対して特に有利である。しかし、デコーダによるもののように他の位置で補償を実行するための複数の修正済みフレーム及び複数のパラメータの使用は、デコーダで複数のフレームを再構成する場合に正確な補償が繰り返されることができるように、エンコーダのデコードループ側でインループモーフィング及び合成ジェネレータ１２０及び１２１によって実行されるべきである。したがって、アウトオブループアナライザ１３０及び１３２からの結果として生じる複数の修正パラメータは、複数の修正済み参照フレームを形成するために、及び複数の動きベクトルを計算する動き推定部１２２による動き推定のために、インループモーフィング及び合成ジェネレータ１２０及び１２１によって用いられる。したがって、計算された複数のモーフィング及び合成パラメータ（ｍｏｐ及びｓｙｐ）は、量子化／逆量子化され、現在のフレームの高効率動き（及び特性）補償予測のための複数の動きベクトルを計算する動き推定モジュール１２２によって用いられ得る複数のモーフィング済み参照フレームを生成するために（例えば、モーフィング生成モジュール１２０によって）用いられてよい。合成生成モジュール１２１は、複数の合成済みフレーム（動き補償予測が、これらのフレームにおいて高効率動き補償予測のために複数の動きベクトルを決定することによって、より高いゲインをもたらすことができる他のものの中の、複数のＳＲ（スーパーレゾリューション）ピクチャ、複数のＰＩ（予測補間）ピクチャ）のいくつかのタイプを用いる。モーフィング又は合成を実行するいくつかの例に対する詳細は、下で提供される。
動き推定モジュール１２２は、現在のフレームとともに、（複数の）モーフィング済み参照フレーム及び／又は複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャに少なくとも部分的に基づいて、動きベクトルデータを生成してよい。いくつかの例において、動き推定モジュール１２２は、インター予測モジュールと見なされてよい。例えば、動きベクトルデータは、インター予測のために用いられてよい。インター予測が適用される場合、特性及び動きフィルタリング予測モジュール１２３は、説明されたようにローカルデコードループの部分として動き補償を適用してよい。また、特性及び動きフィルタリング予測モジュール１２３は、適応精度（ＡＰ）フィルタリングを含んでよく、フィルタリング及び予測が結び付けられる。複数のフィルタリングパラメータ（ａｐｉ）は、コーディングされ、ビットストリーム１１１によってデコーダに送信されてよい。
イントラ予測は、イントラ方向予測アナライザ及び予測生成モジュール１２４によって実行されてよい。イントラ方向予測アナライザ及び予測生成モジュール１２４は、空間方向性予測を実行するように構成されてよく、複数のデコードされた隣接するパーティションを用いてよい。いくつかの例において、方向の決定及び予測の生成の両方が、イントラ方向予測アナライザ及び予測生成モジュール１２４によって実行されてよい。いくつかの例において、イントラ方向予測アナライザ及び予測生成モジュール１２４は、イントラ予測モジュールと見なされてよい。
図１に示されるように、予測モード及び参照タイプアナライザモジュール１２５は、タイル（又はスーパーフラグメント）の各予測パーティションに対して、上で紹介されたような、「ｓｋｉｐ」、「ａｕｔｏ」、「ｉｎｔｅｒ」、「ｓｐｌｉｔ」、「ｍｕｌｔｉ」、及び「ｉｎｔｒａ」の中から複数の予測モードの選択を可能にさせてよく、それらの全てがＰ及びＦピクチャに（Ｂピクチャが存在する場合にはそれらにも）適用してよい。システムは、Ｉ、Ｐ、及びＦピクチャが利用可能である構成を考慮するが、Ｂピクチャを提供することも可能であり、モーフィング又は合成がＢピクチャに利用可能でないことに留意すべきである。複数の予測モードに加えて、Ｐ及びＦピクチャに対しても同様に、「ｉｎｔｅｒ」又は「ｍｕｌｔｉ」モードに依存して異なり得る複数の参照タイプの選択も可能にさせてよい。予測モード及び参照タイプアナライザモジュール１２５の出力での予測信号は、予測アナライザ及び予測融合フィルタリングモジュール１２６によってフィルタされてよい。予測アナライザ及び予測融合フィルタリングモジュール１２６は、フィルタリングに用いるための複数のパラメータ（例えば、複数のフィルタリング係数、周波数、オーバヘッド）を決定してよく、フィルタリングを実行してよい。いくつかの例において、予測信号をフィルタリングすることは、異なる複数のモード（例えば、ｉｎｔｒａ、ｉｎｔｅｒ、ｍｕｌｔｉ、ｓｐｌｉｔ、ｓｋｉｐ、及びａｕｔｏ）を表す異なる複数のタイプの信号を融合してよい。いくつかの例において、適切なフィルタリングがコーディング効率を非常に強化し得るので、複数のイントラ予測信号は、全ての他のタイプの（複数の）インター予測信号と異なってよい。いくつかの例において、複数のフィルタリングパラメータは、デコーダによる使用のためにビットストリーム１１１においてエンコードされてよい。フィルタされた予測信号は、上で説明されたように、前に説明されたコーディングのための予測差分信号（例えば、パーティション予測エラー）を決定し得るディフェレンサ１０６に、第２の入力（例えば、（複数の）予測パーティション）を提供してよい。さらに、同じフィルタされた予測信号は、同様に上で説明されたような加算部１１５に、第２の入力を提供してよい。説明されたように、出力ビットストリーム１１１は、ビデオの表示のために、デコーダによる使用のために効率的にエンコードされたビットストリームを提供してよい。
実施において、エンコーダ１００のいくつかのコンポーネントは、エンコーダ予測サブシステムとして動作してよい。例えば、エンコーダ１００のそのようなエンコーダ予測サブシステムは、マルチ参照フレームストレージ及びフレームセレクタ１１９、インループモーフィングアナライザ及び生成モジュール１２０、インループ合成アナライザ及び生成モジュール１２１、動き推定モジュール１２２、及び／又は特性及び動き補償精度適応フィルタリング予測モジュール１２３、さらにアウトオブループモーフィングアナライザ１３０及び合成アナライザ１３２を含んでよい。
下でより詳細に説明されるように、いくつかの実施例において、エンコーダ１００のエンコーダ予測サブシステムは、多数のコンポーネント、及び高効率ビデオコーディングアルゴリズムにおいてこれらのコンポーネントによって生成された組み合わせられた複数の予測を組み込んでよい。例えば、ＮＧＶコーダの実施例案は、下記の複数の特徴のうちの１又は複数を含んでよい。１．ゲイン補償（例えば、あるシーンにおけるゲイン／輝度の変化に対する明確な補償）、２．ブラー補償（例えば、あるシーンにおけるブラー／シャープネスの変化に対する明確な補償）、３．支配的／全体的な動き補償（例えば、あるシーンにおける支配的な動きに対する明確な補償）、４．レジストレーション補償（例えば、あるシーンにおける複数のレジストレーションミスマッチに対する明確な補償）、５．スーパーレゾリューション（例えば、あるシーンにおける解像度精度における変化に対する明確なモデル）、６．プロジェクション（例えば、あるシーンにおける動作軌道の変化に対する明確なモデル）、その類のもの、及び／又はそれらの組み合わせ。
例えば、エンコーダ１００のそのようなエンコーダ予測サブシステムにおいて、品質アナライザ及び品質復元フィルタリングの出力は、マルチ参照フレームストレージ及びフレームセレクタ１１９に送信されてよい。いくつかの例において、品質アナライザ及び品質復元フィルタリングの出力は、他の複数のフレームをコーディングするための予測に用いられ得る最終再構成フレームであってよい（例えば、最終再構成フレームは、参照フレーム又はその類のものであってよい）。エンコーダ１００において、複数の予測動作は、インター及び／又はイントラ予測を含んでよい。図示されるように、インター予測は、モーフィング生成モジュール１２０、合成生成モジュール１２１、及び／又は特性及び動き補償精度適応フィルタリング予測モジュール１２３を含む１又は複数のモジュールによって実行されてよい。
下でより詳細に説明されるように、モーフィング生成モジュール１２０は、参照フレーム又はそれとともにコーディングされるべき複数のフレームに関して、ゲインの変化、支配的な動きの変化、レジストレーションの変化、ブラーの変化に対する複数のパラメータを決定するために、現在のピクチャを分析してよい。決定された複数のモーフィングパラメータは、量子化／逆量子化され、複数のモーフィング済み参照フレームを生成するために（例えば、モーフィング生成モジュール１２０によって）用いられてよい。そのような生成された複数のモーフィング済み参照フレームは、バッファに格納されてよく、現在のフレームの高効率動き（及び特性）補償予測のための複数の動きベクトルを計算する動き推定モジュール１２２によって用いられてよい。
同様に、合成アナライザ及び生成モジュール１２１は、複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャ、又はこれらのフレームにおける高効率動き補償予測のための複数の動きベクトルを決定するためのその類のものを生成してよい。そのような生成された複数の合成済み参照フレームは、バッファに格納されてよく、現在のフレームの高効率動き（及び特性）補償予測のための複数の動きベクトルを計算する動き推定モジュール１２２によって用いられてよい。
したがって、エンコーダ１００のそのようなエンコーダ予測サブシステムにおいて、動き推定モジュール１２２は、現在のフレームとともに、（複数の）モーフィング済み参照フレーム及び／又は複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャに基づいて、動きベクトルデータを生成してよい。いくつかの例において、動き推定モジュール１２２は、インター予測モジュールと見なされてよい。例えば、動きベクトルデータは、インター予測に用いられてよい。インター予測が適用される場合、特性及び動きフィルタリング予測モジュール１２３は、説明されるように、ローカルデコードループの部分として、動き補償を適用してよい。
実施において、ＮＧＶコーダ（例えば、エンコーダ１００及び／又はデコーダ２００）の実施例案は、デコードされた過去及び／又は将来のピクチャ／スライスに関する通常の局所的動き補償に加えて、上記複数のコンポーネントのうちの１又は複数を用いてよい。実施例それ自体は、例えば、ゲイン補償に対して又は任意の他の特性補償参照フレーム生成に対して、特定の解決策を義務付けない。
図１は、ビデオエンコーダ１００の動作に関連付けられる例示的な複数の制御信号を示し、以下の複数の略語は、関連する情報を表してよい。
Figure 0006163674
デコーダに送信されることが必要になり得る様々な信号及びデータの項目、つまり、ｐｇｓｔ、ｐｔｙｐ、ｐｒｐ、ｐｐｔｎ、ｃｐｔｎ、ｍｏｄｅｓ、ｒｅｆｔｙｐｅ、ｅｔｈｐ、ｘｍｔｙｐ、ｘｍｄｉｒ、ｘｍｍｏｄ、ｉｄｉｒ、ｓｅｇｍｓｋ、ｍｖ、ｑｓ、ｍｏｐ、ｓｙｐ、ｄｄｉ、ｑｒｉ、ａｐｉ、ｆｉｉ、複数の量子化係数、及び他のものは、集合的にエントロピーエンコーダサブシステムと集合的に称される異なる複数のエントロピーコーダを含み得る適応エントロピーエンコーダ１１０によってエントロピーエンコードされてよい。適応エントロピーエンコーダ１１０は、様々なタイプの制御データ／信号、パラメータ、モード及び参照タイプ、動きベクトル、セグメンテーションマスク、並びに変換係数をエンコードするために用いられてよい。それは、適応可変長コーダ（ｖｌｃ）と呼ばれる低複雑性エントロピーコーダの一般分類に基づく。エントロピーコーディングされるべきデータは、都合がいいときに、いくつかのカテゴリ（我々のケースでは７）に分割されてよく、一般的なｖｌｃコーダから開始して、特殊なコーダが各カテゴリに対して開発される。これらの制御信号が、図１におけるエンコーダ１００の特定の例示的な複数の機能モジュールに関連付けられるものとして説明されるが、他の複数の実施例は、エンコーダ３００の複数の機能モジュールの中の複数の制御信号の異なる分配を含んでよい。本開示は、この点で限定されず、様々な例において、ここでの複数の制御信号の実施例は、示される特定の例示的な複数の制御信号のサブセットのみを扱うこと、追加の複数の制御信号を含んでよく、及び／又は説明されたものとは異なる配置であってよい。
図２は、本開示の少なくともいくつかの実施例に従って配置される、ツーパス又はマルチパスＦピクチャ及びここで結果として生じる複数のピクチャグループを含む複数のコンテンツ適応Ｐ及びＦピクチャを利用する、例示的な次世代ビデオデコーダ２００を示す図である。このＮＧＶデコーダ２００の一般的な動作は、前に説明されたＮＧＶエンコーダ１００におけるローカルデコードループと同様であってよい。ただし、複数のパラメータが現実にビットストリーム１１１又は２０１によってデコーダ２００に送信されるので、デコーダにおける動き補償デコードループは、複数のパラメータを決定するために分析を要求するいずれのコンポーネントも要求しない。デコードされるべきビットストリーム２０１は、複数のヘッダ、複数の制御信号、及びエンコードされたデータをデコードする適応エントロピーエンコーダ（コンテンツ及びコンテキスト適応エントロピーデコーダ）２０２に入力される。例えば、それは、上で列挙されたｐｔｙｐ、ｐｇｓｔ、ｐｒｐ、ｐｐｔｎ、ｃｐｔｎ、ｅｔｈｐ、ｍｏｐ、ｓｙｐ、ｍｏｄ、ｒｅｆｔｙｐ、ｉｄｉｒ、ｓｅｇｍｓｋ、ｑｓ、ｘｍｔｙｐ、ｘｍｄｉｒ、ｘｍｍｏｄ、ｄｄｉ、ｑｒｉ、ａｐｉ、ｆｉｉ、ｍｖ、並びにオーバヘッド、複数の制御信号、及びデコーダの全体に渡る使用のために分配されるデータで構成される複数の量子化変換係数をデコードする。そして、複数の量子化変換係数は、コーディングパーティショニングで用いられたように、アセンブルされたデコードされた複数のピクセル差分の複数の矩形パーティションを生成するために、適応逆量子化モジュール２０３及び適応逆変換（また、適応マルチサイズ矩形ＨＰＨＴ／ＤＣＴ）２０４によって逆量子化され、逆変換される。複数の予測は、デコードされた複数のｑｒｉパラメータを用いる品質復元フィルタリング（又は再構成ＱＲフィルタジェネレータ）２０９による複数の最終再構成フレームを生成する処理が後に続く、デコードされた複数のｄｄｉパラメータを用いるデブロックフィルタ（再構成ＤＤフィルタジェネレータ）２０８においてデブロック及びディザを受ける複数の再構成タイル及びフレームを生成するために、動きパーティショニングのようにさらなるリアセンブリを受ける複数の再構成（再構成された）コーディングパーティションの複数の生成をもたらす複数の差分に加算される。
最終再構成フレームは、マルチ参照フレームストレージ及びフレームセレクタ（デコードピクチャバッファと呼ばれてもよい）２１０に保存される。デコードに関して、特定のピクチャに対する複数の参照は、複数の参照画像としての使用のための、マルチ参照フレームストア及びフレームセレクタ２１０からの適切な複数のフレームを必要とする依存ロジック２２０（進化型ツーパス又はマルチパスＦピクチャ、Ｆピクチャ、階層／チェーンピクチャ構造及び修正マルチ参照予測におけるＰピクチャに対する依存ロジックとも称される）を用いて特定される。そして、（モーフィング済みピクチャジェネレータ及びバッファ２１１における）複数のモーフィング済みピクチャ／ローカルバッファは、複数の参照を用いて、適用されたデコードされた複数のｍｏｐパラメータに依存して生成されてよい。同様に、（合成済みピクチャ生成及びバッファ２１２における）複数の合成済みピクチャ及びローカルバッファは、デコードされた複数のｓｙｐパラメータを、マルチ参照フレームストレージ及びフレームセレクタ２１０（又は、言い換えれば、参照として用いられるべきものであるストレージ又はバッファ２１０における再構成された複数のフレーム）からの複数の参照に適用することによって生成される。依存ロジック２２０は、マルチ参照フレームストレージ２１０に格納された複数のフレームのために、インデックスを保持し、インデックス付けを実行してよい。インデックス付けは、後述のような、複数のマルチ参照フレーム、チェーン予測及び／又は階層（又はピラミッド）フレーム構造、及び／又は他のもののような複数の予測技術のために用いられてよい。複数のモーフィング済みローカルバッファ及び複数の合成済みフレームは、複数のａｐｉパラメータに基づく適応精度（ＡＰ）フィルタリングを用いる動き補償予測のために用いられ、デコードされたｅｔｈｐ信号に依存する１／４又は１／８ピクセル予測のいずれかを保持する。実際には、特性及び動き補償フィルタリング予測部２１３は、ｍｏｄに依存して、「ｉｎｔｅｒ」、「ｍｕｌｔｉ」、「ｓｋｉｐ」、又は「ａｕｔｏ」の複数のパーティションを生成し、イントラ方向予測生成モジュール２１４は、「ｉｎｔｒａ」の複数のパーティションを生成し、予測モードセレクタ２１５は、エンコーダに選択された選択肢に基づいて、正確なモードのパーティションを通過させる。次に、予測をフィルタ及び出力する予測融合フィルタ生成モジュール（又は予測ＦＩフィルタジェネレータ）２１６の選択的な使用が、加算部への第２の入力として、必要に応じて、実行される。
品質フィルタ生成モジュール２０９（又は再構成ＱＲフィルタジェネレータ）の出力における複数の再構成フレームは、ｐｔｙｐ及びｐｇｓｔの複数の制御パラメータに応えて、適応ピクチャリオーガナイザ（又は階層及び／又はチェーンピクチャグループ構造リオーガナイザ）２１７によって、（Ｆピクチャが順序の外にあるように）順序付けられ、さらに、このリオーガナイザの出力は、エンコーダによって送信される複数のｐｒｐパラメータによって制御されるコンテンツポストリストアラ２１８において任意的な処理を受ける。他のものの中のこの処理は、デブロック及びフィルム粒子加算を含んでよい。
より具体的には、図示されるように、デコーダ２００は、入力ビットストリーム２０１を受信してよい。いくつかの例において、入力ビットストリーム２０１は、エンコーダ１００を用いて及び／又はここで説明される複数のエンコード技術を用いてエンコードされてよい。図示されるように、入力ビットストリーム２０１は、適応エントロピーデコーダモジュール２０２によって受信されてよい。適応エントロピーデコーダモジュール２０２は、様々なタイプのエンコードされたデータ（例えば、オーバヘッド、複数の動きベクトル、複数の変換係数等）をデコードしてよい。いくつかの例において、適応エントロピーデコーダ２０２は、可変長デコード技術を用いてよい。いくつかの例において、適応エントロピーデコーダ２０２は、上で説明された適応エントロピーエンコーダモジュール１１０の（複数の）逆演算を実行してよい。
デコードされたデータは、適応逆量子化モジュール２０３に送信されてよい。適応逆量子化モジュール２０３は、複数の変換係数を決定するために、量子化係数を逆スキャンしてデスケーリングするように構成されてよい。そのような適応量子化動作は、例えば、不可逆であってよい。いくつかの例において、適応逆量子化モジュール２０３は、適応量子化モジュール１０９の反対の動作（例えば、実質的に、適応逆量子化モジュール１１２と同じ複数の動作）を実行するように構成されてよい。図示されるように、複数の変換係数（及び、いくつかの例において、パラメータ変換における使用のための変換データ）は、適応逆変換モジュール２０４に送信されてよい。適応逆変換モジュール２０４は、複数のコーディングパーティションに関連付けられる複数の残り又は複数の残りの値又はパーティション予測エラーデータ（又は元のデータ又はウェーブレットデータ）を生成するために、複数の変換係数について逆変換を実行してよい。いくつかの例において、適応逆変換モジュール２０４は、適応変換モジュール１０８の反対の動作（例えば、実質的に、適応逆変換モジュール１１３と同じ複数の動作）を実行するように構成されてよい。いくつかの例において、適応逆変換モジュール２０４は、例えば、デコードされた隣接する複数のパーティションのような、他の前にデコードされたデータに基づいて、逆変換を実行してよい。いくつかの例において、適応逆量子化モジュール２０３及び適応逆変換モジュール２０４は、併せて、デコーダ２００の変換デコーダサブシステムと見なされてよい。
図示されるように、複数の残り又は複数の残りの値又はパーティション予測エラーデータは、コーディングパーティションアセンブラ２０５に送信されてよい。コーディングパーティションアセンブラ２０５は、必要に応じて、複数のコーディングパーティションをデコードされた複数の予測パーティションにアセンブルしてよい（図示されるように、いくつかの例において、デコードされた複数の予測パーティションが適応逆変換モジュール２０４において生成され得るように、コーディングパーティションアセンブラ２０５は、スイッチ２０５ａ及び２０５ｂを用いてスキップされてよい）。予測エラーデータのデコードされた複数の予測パーティション（例えば、予測パーティションの複数の残り）は、複数の再構成予測パーティションを生成するために、加算部２０６において、複数の予測パーティション（例えば、予測ピクセルデータ）に加算されてよい。複数の再構成予測パーティションは、予測パーティションアセンブラ２０７に送信されてよい。予測パーティションアセンブラ２０７は、複数の再構成タイル又は複数のスーパーフラグメントを生成するために、複数の再構成予測パーティションをアセンブルしてよい。いくつかの例において、コーディングパーティションアセンブラモジュール２０５及び予測パーティションアセンブラモジュール２０７は、併せて、デコーダ２００のアンパーティショナサブシステムと見なされてよい。
複数の再構成タイル又は複数のスーパーフラグメントは、デブロックフィルタリングモジュール２０８に送信されてよい。デブロックフィルタリングモジュール２０８は、複数の再構成タイル又は複数のスーパーフラグメント（又は複数のタイル又は複数のスーパーフラグメントの複数の予測パーティション）をデブロック又はディザリングしてよい。生成された複数のデブロック及びディザフィルタパラメータは、例えば、入力ビットストリーム２０１から決定されてよい。デブロックフィルタリングモジュール２０８の出力は、品質復元フィルタリングモジュール２０９に送信されてよい。品質復元フィルタリングモジュール２０９は、例えば、入力ビットストリーム２０１から決定され得る複数のＱＲパラメータに基づいて、品質フィルタリングを適用してよい。図２に示されるように、品質復元フィルタリングモジュール２０９の出力は、（マルチ参照制御装置と称されてよく、又はデコードピクチャバッファを含んでよい）マルチ参照フレームストレージ及びフレームセレクタ２１０に送信されてよい。いくつかの例において、品質復元フィルタリングモジュール２０９の出力は、他の複数のフレームをコーディングするための予測に用いられ得る最終再構成フレームであってよい（例えば、最終再構成フレームは、参照フレーム又はその類のものであってよい）。いくつかの例において、デブロックフィルタリングモジュール２０８及び品質復元フィルタリングモジュール２０９は、併せて、デコーダ２００のフィルタリングサブシステムと見なされてよい。
説明されたように、複数の予測動作に起因する補償は、インター及び／又はイントラ予測補償を含んでよい。図示されるように、インター予測補償は、モーフィング生成モジュール２１１、合成生成モジュール２１２、並びに特性及び動き補償フィルタリング予測モジュール２１３を含む１又は複数のモジュールによって実行されてよい。モーフィング生成モジュール２１１は、複数のモーフィング済み参照フレームを生成するために、複数の逆量子化モーフィングパラメータ（例えば、入力ビットストリーム２０１から決定される）を用いてよい。合成生成モジュール２１２は、入力ビットストリーム２０１から決定された複数のパラメータに基づいて、複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャ又はその類のものを生成してよい。インター予測が適用される場合、特性及び動き補償フィルタリング予測モジュール２１３は、入力ビットストリーム２０１における、受信された複数のフレーム及び動きベクトルデータ又はその類のものに基づく動き補償を適用してよい。
イントラ予測補償は、イントラ方向予測生成モジュール２１４によって実行されてよい。イントラ方向予測生成モジュール２１４は、空間方向性予測を実行するように構成されてよく、入力ビットストリーム２０１におけるイントラ予測データに従ってデコードされた隣接する複数のパーティションを用いてよい。
図２に示されるように、予測モードセレクタモジュール２１５は、タイルの各予測パーティションに対して、「ｓｋｉｐ」、「ａｕｔｏ」、「ｉｎｔｅｒ」、「ｍｕｌｔｉ」、及び「ｉｎｔｒａ」の中から予測モード選択を決定してよく、これらの全ては、入力ビットストリーム２０１におけるモード選択データに基づいて、Ｐ及びＦピクチャに適用してよい。複数の予測モードに加えて、それは、Ｐ及びＦピクチャに対して、「ｉｎｔｅｒ」又は「ｍｕｌｔｉ」モードに依存して異なり得る複数の参照タイプの選択も可能にさせる。予測モードセレクタモジュール２１５の出力における予測信号は、予測融合フィルタリングモジュール２１６によってフィルタされてよい。予測融合フィルタリングモジュール２１６は、入力ビットストリーム２０１によって決定された複数のパラメータ（例えば、複数のフィルタリング係数、周波数、オーバヘッド）に基づいて、フィルタリングを実行してよい。いくつかの例において、予測信号をフィルタリングすることは、異なるモード（例えば、ｉｎｔｒａ、ｉｎｔｅｒ、ｍｕｌｔｉ、ｓｋｉｐ、及びａｕｔｏ）を表す異なるタイプの信号を融合してよい。いくつかの例において、適切なフィルタリングがコーディング効率を非常に強化するように、複数のイントラ予測信号は、全ての他のタイプの（複数の）インター予測信号と異なってよい。フィルタされた予測信号は、上で説明されたように、第２の入力（例えば、（複数の）予測パーティション）をディフェレンサ２０６に提供してよい。
説明されるように、品質復元フィルタリングモジュール２０９の出力は、最終再構成フレームであってよい。複数の最終再構成フレームは、適応ピクチャリオーガナイザ２１７に送信されてよく、これは、必要に応じて、入力ビットストリーム２０１における複数の順序付けパラメータに基づいて、複数のフレームを順序付け又は再編成してよい。順序付けされた複数のフレームは、コンテンツポストリストアラモジュール２１８に送信されてよい。コンテンツポストリストアラモジュール２１８は、デコードされたビデオの知覚品質の改善をさらに実行するように構成される任意的なモジュールであってよい。改善処理は、入力ビットストリーム２０１における複数の品質改善パラメータに応えて実行されてよく、又はそれは、スタンドアロン動作として実行されてよい。いくつかの例において、コンテンツポストリストアラモジュール２１８は、（例えば、デブロックフィルタリングモジュール２０８に関して説明される複数のデブロック動作の後にでも、）例えば、フィルム粒子ノイズ推定又は残りのブロッキネス低減のような品質を改善するために、複数のパラメータを適用する。図示されるように、デコーダ２００は、ディスプレイビデオ２１９を提供してよく、これは、ディスプレイデバイス（不図示）を用いたディスプレイのために構成されてよい。
実施において、デコーダ２００のいくつかのコンポーネントは、デコーダ予測サブシステムとして動作してよい。例えば、デコーダ２００のそのようなデコーダ予測サブシステムは、マルチ参照フレームストレージ及びフレームセレクタ２１０、マルチ参照フレームストレージ及びフレームセレクタ２１０における複数のフレームをインデックス付けする依存ロジック２２０、モーフィングアナライザ及び生成モジュール２１１、合成アナライザ及び生成モジュール２１２、及び／又は特性及び動き補償精度適応フィルタリング予測モジュール２１３を含んでよい。
下でより詳細に説明されるように、いくつかの実施例において、デコーダ２００のそのようなデコーダ予測サブシステムは、多数のコンポーネント、及び高効率ビデオコーディングアルゴリズムにおけるこれらのコンポーネントによって生成される組み合わせられた複数の予測を組み込んでよい。例えば、ＮＧＶコーダの実施例案は、下記の複数の特徴のうちの１又は複数を含んでよい。１．ゲイン補償（例えば、あるシーンにおけるゲイン／輝度の変化に対する明確な補償）、２．ブラー補償（例えば、あるシーンにおけるブラー／シャープネスの変化に対する明確な補償）、３．支配的／全体的な動き補償（例えば、あるシーンにおける支配的な動きに対する明確な補償）、４．レジストレーション補償（例えば、あるシーンにおける複数のレジストレーションミスマッチに対する明確な補償）、５．スーパーレゾリューション（例えば、あるシーンにおける解像度精度における変化に対する明確なモデル）、６．プロジェクション（例えば、あるシーンにおける動作軌道の変化に対する明確なモデル）、その類のもの、及び／又はそれらの組み合わせ。
例えば、デコーダ２００のそのようなデコーダ予測サブシステムにおいて、品質復元フィルタリングモジュールの出力は、マルチ参照フレームストレージ及びフレームセレクタ２１０に送信されてよい。いくつかの例において、品質復元フィルタリングモジュールの出力は、他の複数のフレームをコーディングするための予測に用いられ得る最終再構成フレームであってよい（例えば、最終再構成フレームは、参照フレーム又はその類のものであってよい）。説明されるように、複数の予測動作に起因する補償は、インター及び／又はイントラ予測補償を含んでよい。図示されるように、インター予測補償は、モーフィングアナライザ及び生成モジュール２１１、合成アナライザ及び生成モジュール２１２、及び／又は特性及び動き補償精度適応フィルタリング予測モジュール２１３を含む１又は複数のモジュールによって実行されてよい。
下でより詳細に説明されるように、モーフィングアナライザ及び生成モジュール２１１は、複数のモーフィング済み参照フレームを生成するために、（例えば、入力ビットストリームから決定される）複数の逆量子化モーフィングパラメータを用いてよい。そのような生成された複数のモーフィング済み参照フレームは、バッファに格納されてよく、特性及び動き補償精度適応フィルタリング予測モジュール２１３によって用いられてよい。
同様に、合成アナライザ及び生成モジュール２１２は、入力ビットストリーム２０１から決定された複数のパラメータに基づいて、複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャ又はその類のもののような、１又は複数のタイプの合成済み予測参照画像を生成するように構成されてよい。そのような生成された複数の合成済み参照フレームは、バッファに格納されてよく、動き補償フィルタリング予測モジュール２１３によって用いられてよい。
したがって、デコーダ２００のそのようなデコーダ予測サブシステムにおいて、インター予測が適用される場合には、特性及び動き補償フィルタリング予測モジュール２１３は、現在のフレームとともに、（複数の）モーフィング済み参照フレーム及び／又は複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャに基づいて、動き補償を適用してよい。
実施において、ＮＧＶコーダ（例えば、エンコーダ１００及び／又はデコーダ２００）の実施例案は、デコードされた過去及び／又は将来のピクチャ／スライスに関する通常の局所的動き補償に加えて、上記の複数のコンポーネントのうちの１又は複数を用いてよい。実施例それ自体は、例えば、ゲイン補償に対して、又は任意の他の特性補償参照フレーム生成に対して、特定の解決策を義務付けない。
図２は、ビデオデコーダ２００の動作に関連付けられる例示的な複数の制御信号を示し、示される略語は、図１に関して上で説明されたものと同様の情報を表してよい。これらの制御信号は、デコーダ２００の特定の例示的な複数の機能モジュールに関連付けられるものとして示されるが、他の複数の実施例は、エンコーダ１００の複数の機能モジュールの中の複数の制御信号の異なる分配を含んでよい。本開示は、この点で限定されず、様々な例において、ここでの複数の制御信号の実施例は、示される特定の例示的な複数の制御信号のサブセットのみを扱うこと、追加の複数の制御信号を含んでよく、及び／又は説明されたものとは異なる配置であってもよい。
図１及び２は、特定のエンコード及びデコードモジュールを示すが、図示されていない様々な他のコーディングモジュール又はコンポーネントが、本開示に従って利用されてもよい。さらに、本開示は、図１及び２に示される特定の複数のコンポーネントに、及び／又は様々なコンポーネントが配置される方法に限定されない。ここで説明される複数のシステムの様々なコンポーネントは、ソフトウェア、ファームウェア、及び／又はハードウェア及び／又はそれらの任意の組み合わせで実装されてよい。例えば、エンコーダ１００及び／又はデコーダ２００の様々なコンポーネントは、少なくとも部分的に、例えば、携帯電話のようなコンピューティングシステムにおいて見られ得るように、コンピューティングシステムオンチップ（ＳｏＣ）のハードウェアによって提供されてよい。
さらに、エンコーダ１００は、例えば、ビデオコンテンツサーバシステムを含むコンテンツプロバイダシステムに関連付けられ、及び／又はによって提供されてよく、出力ビットストリーム１１１は、図１及び２に示されていない複数のトランシーバ、アンテナ、複数のネットワークシステム、及びその類のもののような様々な通信コンポーネント及び／又はシステムによって、例えば、デコーダ２００のような複数のデコーダに送信又は伝達されてよいことが認識されてよい。デコーダ２００は、エンコーダ１００から遠隔であり、図１及び２に示されていない複数のトランシーバ、アンテナ、複数のネットワークシステム、及びその類のもののような様々な通信コンポーネント及び／又はシステムを介して入力ビットストリーム２０１を受信するコンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、コンバーチブルラップトップ、携帯電話、又はその類のもの）のようなクライアントシステムに関連付けられてよいことも認識されてよい。したがって、様々な実施例において、エンコーダ１００及びデコーダサブシステム２００は、併せて又は互いに独立して実装されてよい。
図３は、本開示の少なくともいくつかの実施例に従って配置される、次世代ビデオエンコーダ１００に関連付けられる例示的なサブシステムを示す図である。図示されるように、エンコーダ１００は、構造サブシステム３１０、パーティショニングサブシステム３２０、予測サブシステム３３０、変換サブシステム３４０、フィルタリングサブシステム３５０、及び／又はエントロピーコーディングサブシステム３６０を含んでよい。
図３（ａ）は、本開示の少なくともいくつかの実施例に従って配置される、例示的な次世代ビデオエンコーダ３００ａを示す図である。図３（ａ）は、図１に示されるものと同様のエンコーダを示し、同様の複数の要素は、簡潔さの目的のために繰り返されない。図３（ａ）に示されるように、エンコーダ３００ａは、プレアナライザサブシステム３１０ａ、パーティショナサブシステム３２０ａ、予測エンコードサブシステム３３０ａ、変換エンコーダサブシステム３４０ａ、フィルタリングエンコードサブシステム３５０ａ、エントロピーエンコーダサブシステム３６０ａ、変換デコーダサブシステム３７０ａ、及び／又はアンパーティショナサブシステム３８０ａを含んでよい。プレアナライザサブシステム３１０ａは、コンテンツプレアナライザモジュール１０２及び／又は適応ピクチャオーガナイザモジュール１０４を含んでよい。パーティショナサブシステム３２０ａは、予測パーティション生成モジュール１０５及び／又はコーディングパーティションジェネレータ１０７を含んでよい。予測エンコードサブシステム３３０ａは、動き推定モジュール１２２、特性及び動き補償フィルタリング予測モジュール１２３、及び／又はイントラ方向予測アナライザ及び予測生成モジュール１２４を含んでよい。変換エンコーダサブシステム３４０ａは、適応変換モジュール１０８及び／又は適応量子化モジュール１０９を含んでよい。フィルタリングエンコードサブシステム３５０ａは、ブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７、品質アナライザ及び品質復元フィルタリングモジュール１１８、動き推定モジュール１２２、特性及び動き補償フィルタリング予測モジュール１２３、及び／又は予測アナライザ及び予測融合フィルタリングモジュール１２６を含んでよい。エントロピーコーディングサブシステム３６０ａは、適応エントロピーエンコーダモジュール１１０を含んでよい。変換デコーダサブシステム３７０ａは、適応逆量子化モジュール１１２及び／又は適応逆変換モジュール１１３を含んでよい。アンパーティショナサブシステム３８０ａは、コーディングパーティションアセンブラ１１４及び／又は予測パーティションアセンブラ１１６を含んでよい。
エンコーダ３００ａのパーティショナサブシステム３２０ａは、予測のための分析及びパーティショニングを実行し得る予測パーティション生成モジュール１０５、及びコーディングのための分析及びパーティショニングを実行し得るコーディングパーティション生成モジュール１０７の２つのパーティショニングサブシステムを含んでよい。他のパーティショニング方法は、複数のピクチャを複数の領域又は複数のスライスにセグメント化し得、このパーティショナの部分であると任意に見なされてもよい適応ピクチャオーガナイザ１０４を含んでよい。
エンコーダ３００ａの予測エンコーダサブシステム３３０ａは、「ｉｎｔｅｒ」信号の分析及び予測を実行し得る動き推定部１２２、並びに特性及び動き補償フィルタリング予測部１２３、並びに「ｉｎｔｒａ」信号の分析及び予測を実行し得るイントラ方向予測アナライザ及び予測生成モジュール１２４を含んでよい。動き推定部１２２並びに特性及び動き補償フィルタリング予測部１２３は、（ゲイン、全体的な動き、レジストレーションのような）複数の差分の他の複数のソースに対する第１の補償によって予測可能性を増加させてよく、現実の動き補償が後に続く。それらは、より良い複数の予測を許容し得る複数の合成済みフレーム（スーパーレゾリューション及びプロジェクション）を生成するためのデータモデリングの使用をさせてもよく、そのような複数のフレームにおける現実の動き補償の使用が後に続く。
エンコーダ３００ａの変換エンコーダサブシステム３４０ａは、変換のタイプ及びサイズを選択するために分析を実行してよく、２つの主要なタイプのコンポーネントを含んでよい。第１のタイプのコンポーネントは、小型から中型のサイズの複数のブロックの局所的最適変換コーディングを許容するために、パラメータ変換を用いることを許容してよく、しかし、そのようなコーディングは、いくつかのオーバヘッドを必要とし得る。第２のタイプのコンポーネントは、ＤＣＴのような一般的／固定の変換、又は複数のパラメータ変換を含む小さい数の変換の選択からのピクチャベースの変換を用いる全体的に安定した低いオーバヘッドのコーディングを許容してよい。局所的適応変換コーディングに関して、ＰＨＴ（Parametric Haar Transform：パラメータハール変換）が用いられてよい。複数の変換は、変換されたデータがルマ又はクロマ、インター又はイントラである場合、及び用いられた変換がＰＨＴ又はＤＣＴである場合のように、多数の要因に依存し得る現実の複数のサイズを有する、４×４と６４×６４との間の複数の矩形のサイズの複数の２Ｄブロックに対して実行されてよい。結果として生じる複数の変換係数は、量子化され、スキャンされ、エントロピーコーディングされてよい。
エンコーダ３００ａのエントロピーエンコーダサブシステム３６０ａは、特殊なタイプのデータ（様々なタイプのオーバヘッド、複数の動きベクトル、又は複数の変換係数）を効率的にコーディングする目標をそれぞれが有する多数の高効率であるが低い複雑性のコンポーネントを含んでよい。このサブシステムの複数のコンポーネントは、低い複雑性の複数の可変長コーディング技術の一般分類に属してよいが、高効率コーディングに対して、各コンポーネントは、最高の効率にカスタム最適化されてよい。例えば、カスタムソリューションは、「コード化／非コード化」データのコーディングに対して、もう一つは、「モード及び参照タイプ」データに対して、さらにもう一つは、「動きベクトル」データに対して、さらに他の一つは、「予測及びコーディングパーティション」データに対して設計されてよい。最終的に、エントロピーコーディングされるべきデータの非常に大きい部分は、「変換係数」データであるので、特定の複数のブロックサイズの高効率な処理に対する複数のアプローチが、複数のテーブルの間で適応し得るアルゴリズムと同様に用いられてよい。
エンコーダ３００ａのフィルタリングエンコーダサブシステム３５０ａは、複数のパラメータの分析、これらのパラメータに基づく複数の再構成ピクチャのマルチフィルタリングを実行してよく、いくつかのサブシステムを含んでよい。例えば、第１のサブシステムであるブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７は、任意の複数の潜在的ブロックコーディングアーチファクトを減少又はマスクするために、デブロック及びディザリングしてよい。第２の例示的なサブシステムである品質アナライザ及び品質復元フィルタリングモジュール１１８は、任意のビデオコーディングにおける量子化動作に起因する複数のアーチファクトを減少するために、一般的な品質復元を実行してよい。動き推定部１２２並びに特性及び動き補償フィルタリング予測モジュール１２３を含み得る第３の例示的なサブシステムは、コンテンツの動き特性（ぼけの動き速度／程度）に適応するフィルタを用いることによって、動き補償からの複数の結果を改善してよい。第４の例示的なサブシステムである予測融合アナライザ及びフィルタ生成モジュール１２６は、（予測、多くの場合イントラ予測における複数の偽のアーチファクトを減少し得る）予測信号の適応可能フィルタリングを許容してよく、それによって、コーディングされる必要がある予測エラーを減少する。
エンコーダ３００ａのエンコードコントローラモジュール１０３は、所与の複数のリソース及び所望のエンコード速度の制約の下で、全体のビデオ品質に対して責任があってよい。例えば、いかなる簡素化も用いないフルＲＤＯ（Rate Distortion Optimization：レート歪み最適化）ベースのコーディングにおいて、ソフトウェアエンコードのためのエンコード速度は、単純に、複数のコンピューティングリソース（プロセッサの速度、プロセッサの数、ハイパースレッディング、ＤＤＲ３メモリ等）の利用可能性の結果であってよい。そのような場合において、エンコードコントローラモジュール１０３は、複数の予測パーティション及び複数のコーディングパーティションのありとあらゆる組み合わせが入力されてよく、現実のエンコードによって、ビットレートは、各場合に対して再構成されたエラーとともに計算されてよく、ラグランジュ最適化方程式に基づいて、予測及び複数のコーディングパーティションの最良のセットが、コーディングされている各フレームの各タイルに対して送信されてよい。フルＲＤＯベースのモードは、最良の圧縮効率をもたらし得、最も遅いエンコードモードにもなり得る。コンテンツプレアナライザモジュール１０２からの複数のコンテンツ分析パラメータを用いること、及びＲＤＯの単純化する（全ての可能がある場合をテストせず）、又は特定のパーセンテージのブロックにフルＲＤＯをパスさせるためだけにそれらを用いることによって、品質対速度のトレードオフが、より早いエンコードを許容させられ得る。これまで我々は可変ビットレート（ＶＢＲ）ベースのエンコーダの動作を説明してきた。エンコードコントローラモジュール１０３は、一定ビットレート（ＣＢＲ）制御コーディングの場合において呼び出されることができるレートコントローラを含んでもよい。
最後に、エンコーダ３００ａのプレアナライザサブシステム３１０ａは、ビデオコーディング効率及び速度性能を改善するために役に立つ様々なタイプのパラメータを計算するために、コンテンツの分析を実行してよい。例えば、それは、水平及び鉛直勾配情報（Ｒｓ、Ｃｓ）、分散、ピクチャ毎の空間複雑性、ピクチャ毎の時間複雑性、シーンチェンジ検出、動き範囲推定、ゲイン検出、予測距離推定、オブジェクト数推定、領域境界検出、空間複雑性マップ計算、焦点推定、フィルム粒子推定等を計算してよい。プレアナライザサブシステム３１０ａによって生成された複数のパラメータは、エンコーダによって使用され又は量子化され、デコーダ２００に通信されてよい。
図３（ａ）において、サブシステム３１０ａから３８０ａが、エンコーダ３００ａの特定の例示的な複数の機能モジュールに関連付けられるものとして示されるが、エンコーダ３００ａの他の複数の実施例は、ここで、サブシステム３１０ａから３８０ａの中のエンコーダ３００ａの複数の機能モジュールの異なる分配を含んでよい。本開示は、この点で限定されず、様々な例において、ここでの例示的なサブシステム３１０ａから３８０ａの複数の実施例は、示されるエンコーダ３００ａの特定の例示的な複数の機能モジュールのサブセットのみを扱うこと、追加の複数の機能モジュールを含んでよく、及び／又は説明されたものとは異なる配置であってもよい。
図３（ｂ）は、本開示の少なくともいくつかの実施例に従って配置される、例示的な次世代ビデオデコーダ３００ｂを示す図である。図３（ｂ）は、図２に示されるものと類似のデコーダを示し、同様の複数の要素は、簡潔さの目的のために繰り返されない。図３（ｂ）に示されるように、デコーダ３００ｂは、予測デコーダサブシステム３３０ｂ、フィルタリングデコーダサブシステム３５０ｂ、エントロピーデコーダサブシステム３６０ｂ、変換デコーダサブシステム３７０ｂ、アンパーティショナ２サブシステム３８０ｂ、アンパーティショナ１サブシステム３５１ｂ、フィルタリングデコーダサブシステム３５０ｂ、及び／又はポストリストアラサブシステム３９０ｂを含んでよい。予測デコーダサブシステム３３０ｂは、特性及び動き補償フィルタリング予測モジュール２１３及び／又はイントラ方向予測生成モジュール２１４を含んでよい。フィルタリングデコーダサブシステム３５０ｂは、デブロックフィルタリングモジュール２０８、品質復元フィルタリングモジュール２０９、特性及び動き補償フィルタリング予測モジュール２１３、及び／又は予測融合フィルタリングモジュール２１６を含んでよい。エントロピーデコーダサブシステム３６０ｂは、適応エントロピーデコーダモジュール２０２を含んでよい。変換デコーダサブシステム３７０ｂは、適応逆量子化モジュール２０３及び／又は適応逆変換モジュール２０４を含んでよい。アンパーティショナ２サブシステム３８０ｂは、コーディングパーティションアセンブラ２０５を含んでよい。アンパーティショナ１サブシステム３５１ｂは、予測パーティションアセンブラ２０７を含んでよい。ポストリストアラサブシステム７９０は、コンテンツポストリストアラモジュール２１８及び／又は適応ピクチャリオーガナイザ２１７を含んでよい。
デコーダ３００ｂのエントロピーデコードサブシステム３６０ｂは、エンコーダ３００ａのエントロピーエンコーダサブシステム３６０ａの逆演算を実行してよく、すなわち、それは、エントロピーエンコーダサブシステム３６０ａによってエンコードされた様々なデータ（オーバヘッド、複数の動きベクトル、複数の変換係数のタイプ）を、可変長デコードと漠然と称される類の複数の技術を用いてデコードしてよい。特に、デコードされるべき様々なタイプのデータは、「コード化／非コード化」データ、「モード及び参照タイプ」データ、「動きベクトル」データ、予測及びコーディングパーティション」データ、及び「変換係数」データを含んでよい。
デコーダ３００ｂの変換デコーダサブシステム３７０ｂは、エンコーダ３００ａの変換エンコーダサブシステム３４０ａのものの逆演算を実行してよい。変換デコーダサブシステム３７０ｂは、２つのタイプのコンポーネントを含んでよい。例示的なコンポーネントの第１のタイプは、小型から中型のブロックサイズへのパラメータ逆ＰＨＴ変換の使用をサポートしてよく、例示的なコンポーネントの他のタイプは、全てのブロックサイズに対する逆ＤＣＴ変換をサポートしてよい。ブロックに対して用いられるＰＨＴ変換は、隣接する複数のブロックのデコードされたデータの分析に依存してよい。出力ビットストリーム１１１及び／又は入力ビットストリーム２０１は、ＰＨＴ変換に対するパーティション／ブロックサイズ、及びＰＨＴが用いられる逆変換されるべき２Ｄブロックの方向（他の方向がＤＣＴを用いる）についての情報を伝搬する。ＤＣＴによって単純にコーディングされる複数のブロックに対して、パーティション／ブロックサイズの情報は、出力ビットストリーム１１１及び／又は入力ビットストリーム２０１から取り出されて、適切なサイズの逆ＤＣＴを適用するために用いられてもよい。
デコーダ３００ｂアンパーティショナサブシステム３８０ｂは、エンコーダ３００ａのパーティショナサブシステム３２０ａのものの逆演算を実行してよく、２つのアンパーティショニングサブシステム、コーディングされたデータのアンパーティショニングを実行し得るコーディングパーティションアセンブラモジュール２０５、及び予測に対してアンパーティショニングを実行し得る予測パーティションアセンブラモジュール２０７を含んでよい。さらに、任意的な適応ピクチャオーガナイザモジュール１０４が、領域のセグメンテーション又は複数のスライスに対してエンコーダ３００ａで用いられる場合、適応ピクチャリオーガナイザモジュール２１７が、デコーダで必要となり得る。
デコーダ３００ｂの予測デコーダサブシステム３３０ｂは、「ｉｎｔｅｒ」信号の予測を実行し得る特性及び動き補償フィルタリング予測モジュール２１３、及び「ｉｎｔｒａ」信号の予測を実行し得るイントラ方向予測生成モジュール２１４を含んでよい。特性及び動き補償フィルタリング予測モジュール２１３は、（ゲイン、全体的な動き、レジストレーションのような）複数の差分の他の複数のソース、及び複数の合成済みフレーム（スーパーレゾリューション、及びプロジェクション）の作成に対する第１の補償によって予測可能性を増加させてよく、現実の動き補償が後に続く。
デコーダ３００ｂのフィルタリングデコーダサブシステム３５０ｂは、エンコーダ３００ａによって送信された複数のパラメータに基づいて、複数の再構成ピクチャのマルチフィルタリングを実行してよく、いくつかのサブシステムを含んでよい。第１の例示的なサブシステムであるデブロックフィルタリングモジュール２０８は、任意の複数の潜在的ブロックコーディングアーチファクトを減少又はマスクするために、デブロック及びディザリングしてよい。第２の例示的なサブシステムである品質復元フィルタリングモジュール２０９は、任意のビデオコーディングにおける量子化動作に起因する複数のアーチファクトを減少するために、一般的な品質復元を実行してよい。第３の例示的なサブシステムである特性及び動き補償フィルタリング予測モジュール２１３は、コンテンツの動き特性（ぼけの動き速度／程度）に適応し得るフィルタを用いることによって、動き補償からの複数の結果を改善してよい。第４の例示的なサブシステムである予測融合フィルタリングモジュール２１６は、（予測、多くの場合イントラ予測における複数の偽のアーチファクトを減少し得る）予測信号の適応可能フィルタリングを許容してよく、それによって、コーディングされる必要がある予測エラーを減少する。
デコーダ３００ｂのポストリストアラサブシステム３９０ｂは、デコードされたビデオの知覚品質の改善をさらに実行し得る任意的なブロックである。この処理は、エンコーダ１００によって送信された複数の品質改善パラメータに応えてなされることができ、又はそれは、ポストリストアラサブシステム３９０ｂでなされた独立した決定であり得る。エンコーダ１００で計算される特定の複数のパラメータの複数の用語に関して、ポストリストアラサブシステム３９０ｂにおいて品質を改善するために用いられることができるものは、（デブロックの後でさえ）エンコーダ１００でのフィルム粒子ノイズ及び残りのブロッキネスの推定であり得る。フィルム粒子ノイズに関して、複数のパラメータが計算され、出力ビットストリーム１１１及び／又は入力ビットストリーム２０１を介してデコーダ２００に送信されることができる場合、その後、これらのパラメータは、フィルム粒子ノイズを合成するために用いられ得る。同様に、エンコーダ１００での任意の残りのブロッキングアーチファクトに関して、それらが測定され、複数のパラメータが出力ビットストリーム１１１及び／又はビットストリーム２０１を介して送信される場合、ポストリストアラサブシステム３９０ｂは、これらのパラメータをデコードしてよく、表示の前に追加のデブロックを選択的に実行するためにそれらを用いてよい。加えて、エンコーダ１００は、ポストリストアラサブシステム３９０ｂにおいて品質復元に役立ち得るシーンチェンジ空間複雑性、時間複雑性、動き範囲、及び予測距離情報にアクセスしてもよい。
図３（ｂ）において、サブシステム３３０ｂから３９０ｂが、デコーダ３００ｂの特定の例示的な複数の機能モジュールに関連付けられるものとして示されるが、デコーダ３００ｂの他の複数の実施例は、ここで、サブシステム３３０ｂから３９０ｂの中のデコーダ３００ｂの複数の機能モジュールの異なる分配を含んでよい。本開示は、この点で限定されず、様々な例において、ここでの例示的なサブシステム３３０ｂから３９０ｂの複数の実施例は、示されるデコーダ３００ｂの特定の例示的な複数の機能モジュールのサブセットのみを扱うこと、追加の複数の機能モジュールを含んでよく、及び／又は説明されたものとは異なる配置であってもよい。
導入として図４Ａを参照すると、Ｆピクチャのツーパス又はマルチパスの進化型の複数の特徴は、背景及び前景のようなコンテンツ関連の複数のセグメント、又は後述のような他の複数の分割を定義すること、及び現在のＦピクチャを再構成するために複数のセグメントを用いることを含む。この特徴は、Ｂピクチャに適用されることもできる。
ツーパス又はマルチパスコーディングを用いてＦピクチャ又はＢピクチャをコーディングするためのコンピュータ実装方法のための一例の処理４００が、本開示の少なくともいくつかの実施例に従って配置される。処理４００は、動作４０２、４０４、及び／又は４０６のうちの１又は複数によって示されるような１又は複数の動作、機能、又は作用を含んでよい。処理４００は、次世代ビデオコーディング処理の少なくとも一部を形成してよい。非限定的な例として、処理４００は、図１のエンコーダシステム１００、図２のデコーダシステム２００、及び／又は図１−３、７−８、１０−１１、１６−１７、及び／又は１９―２３のものを含む他の複数のコーダシステムのいずれかによってここで扱われるような次世代ビデオエンコード処理の少なくとも一部を形成してよい。
処理４００は、「複数のフレームのシーケンスのうちの少なくとも１つのピクチャを前景又は背景の領域にセグメント化すること」４０２を備えてよい。これは、各Ｆピクチャ（及び／又はＢピクチャ）、又は例えば、強化されたコーディングが所望される、選択されたＦ又はＢピクチャのみに対して実行されてよい。これは、例をいくつか挙げれば、閾値化法、クラスタ化法、圧縮ベース法、ヒストグラムベース法、エッジ検出法、領域成長法、スプリットアンドマージ法、偏微分方程式ベース法、グラフパーティショニング法、流域変形法、モデルベースセグメンテーション法、及びマルチスケールセグメンテーション法のような多くの異なる方法によって実行されてよい。少数の他の例が下で説明される。
処理４００は、「前景形状セグメンテーションマスク又は前景／後景境界マップをコーディングすること」４０４を備えてもよい。第２のコンポーネント、「セグメンテーションマスク」又は「境界マップ」の高効率なコーディングされた表現について、これは、デコーダが、デコーダに利用可能な同じ「マスク」又は「マップ」データへのアクセスを有することができるように（通常、複雑性に起因して実行可能でないデコーダでセグメンテーションを実行することなく）、エンコーダによって実行される。さらに、ラン／レングスｖｌｃコーディング、ファックス適合予測バイナリ画像コーディング（すなわちＪＢＩＧ規格）、（ＭＰＥＧ−４の）コンテキスト適応算術コーディング、バイナリマスクのブロック指向不可逆コーディング、及びセグメント化された境界のクロマキーベースの陰的表現、又は２つの異なる前景及び背景の領域を異なるように処理する量子化による単純な陰的表現のような他のもののような利用可能な多数の解決策がある。特定の解決策の選択は、コーディングオーバーヘッド、複雑性、及び他の複数の要因に依存してよい。
処理４００は、「圧縮効率を改善するために形状セグメンテーションマスク又は境界マップを使用すること」４０６を備えてもよい。これは、ビデオの全体のコーディング効率を改善するために、（ＨＥＶＣの）Ｂピクチャ又は（ＮＧＶ）のＦピクチャと共に、セグメンテーションマスク又は境界マップを用いることを含んでよく、下でより詳細に説明される。スクリーン上の異なる複数のセグメントを定義することで、コーディングは、ユーザの注意を引く可能性がより高いセグメントについてのより高い精度のために、より大きいコーディングパワーを集中することによってのように、複数のセグメントを異なるようにコーディングすることによって、より高効率になされ得る。したがって、一例によれば、背景は、前景より低い品質のコーディングを受け入れてよく、それによって、画像の品質を維持又は増加さえするように見える。
図４Ｂを参照すると、ビデオコーディングするコンピュータ実装方法のための一例の処理４５０が、本開示の少なくともいくつかの実施例に従って配置される。処理４５０は、Ｆピクチャ又はＢピクチャのコーディングのためのセグメンテーションマスク又は境界マップを用いる１つの例示的な方法を提供してよい。方法４５０は、動作４５２、４５４、４５６、及び／又は４５８のうちの１又は複数によって示されるような１又は複数の動作、機能、又は作用を含んでよい。処理４５０は、次世代ビデオコーディング処理の少なくとも一部を形成してよい。非限定的な例として、処理４５０は、図１のエンコーダシステム１００、図２のデコーダシステム２００、及び／又は図１−３、７−８、１０−１１、１６−１７、及び／又は１９―２３のものを含む他の複数のコーダシステムのいずれかによって扱われるような次世代ビデオエンコード処理の少なくとも一部を形成してよい。
処理４５０は、動作「入力ビデオの順序で複数のフレームを受信すること」４５２を含んでよい。この順序は、概して、現在の、過去の（又は前の）、将来の（又は次の）複数のフレーム、複数のピクチャ、又は複数の画像を検討する場合に参照される。そして、処理４５０は、動作「第１のパスにおいて現在のフレームの第１のセグメントをコーディングすること、第１のセグメントは、フレーム上に示されるコンテンツに関連付けられ、現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢が提供され、現在、過去、及び将来は、入力ビデオの順序に関連し、機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する」４５４を含んでよい。ここで説明されるように、一例によれば、コンテンツは、フレーム又はピクチャの背景又は前景であってよい。代替的に又はさらに、第１のセグメントは、より低い又は通常の品質でということを除き、フレーム全体を含むフレームの特定の量のコーディングであってよく、そして、第２のセグメントは、通常の品質（第１のセグメントが低い品質である場合）又は強化された品質（第１のセグメントが通常の品質である場合）を提供する。現在のフレームが、ここで説明されるようなＢフレーム又はＦフレームであることも理解されるであろう。さらなる詳細が下で提供される。
そして、処理４５０は、動作「少なくとも第２のパスにおいて現在のフレームの少なくとも第２のセグメントをコーディングすること、それは、第１のセグメントと異なり、各パスの間の複数の参照フレームの使用が異なる複数の時間に生じるように、第１のパス及び第２のパスは、異なる複数の時間に実行され、第１及び第２のセグメントの少なくとも両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる」４５６を含んでよい。したがって、この処理とともに、第１及び第２のセグメントは、必ずしも同時に又は連続的にコーディングされない。一例によれば、第１のセグメントのコーディングは、十分に詳細には、（Ｐピクチャ又はさらに他のＦピクチャのような）他のフレームの少なくとも部分又はセグメントのコーディングに対する参照フレームとして現在のフレームを用いるために、第１のパスにおいて提供されてよい。現在のフレームを用いることによって一回部分的にコーディングされたその他のフレームは、ここで、第２のパスにおける現在のフレームのコーディングを完了するために、参照フレームとして用いられてよい。したがって、ある１つの観点によれば、複数のパス、又は他のフレームのコーディングは、例えば、一度に、１つのフレーム毎にフレーム全体をコーディングすることに対する通常の順序に関して、順序がばらばらである。そして、（Ｐピクチャのような）他のフレームのコーディングは、他の複数のフレームに対する参照フレームとしてのそれの使用に合わせて完了されてよい。したがって、第１のパスにおいて現在のフレームをコーディングするための複数の参照フレームは、第２のパスにおいて現在のフレームをコーディングするために用いられる複数の参照フレームと異なって（又はオーバーラップして又は同じであって）よい。この処理の詳細及び変形が下で提供される。
そして、処理４５０は、動作「同じ時間インスタンスで又は異なる複数の時間インスタンスで、複数のセグメントを再構成することに関連付けられたデータを、エンコーダビットストリームに書き込むこと」４５８を続けてよい。したがって、異なる複数のマルチパスにおける異なる複数のセグメントをコーディングする順序にかかわらず又は関係なく、デコーダに送信するエンコーダビットストリームにおけるコーディングを配置するためのタイミングは、異なってよい。一例によれば、コーディングは、例えば、２つのセグメントのものの間のビットストリームに配置される他の複数の要素（同じフレームの複数の部分又は異なる複数のフレーム）に対するコーディングと同時に（又は連続的に）ビットストリームに配置されてよく、又は異なる時間に配置されてよい。
図５から１２を参照して、ツーパス又はマルチパスコーディングの説明を提供する前に、複数の修正済み参照フレームが最初に説明される。したがって、特定の複数のピクチャグループ、複数の参照フレーム、及び予測されるべきフレームに対するそれらの依存性は、図１３−２０で説明されるマルチパスコーディングとともに図５−１２に関して下で説明される。
ＮＧＶビデオコーディングは、より高い圧縮を達成するためにビデオコーディング処理における重要なコンテンツベースの適応性を本質的に組み込むので、それは、複数の規格ベースのアプローチと異なる。比較すると、複数の規格ベースのビデオコーディングのアプローチは、典型的に、レガシーな複数のアプローチの適応及び微調整によって、より高いゲインを捻出する傾向がある。例えば、全ての規格ベースのアプローチは、ゲインを達成するために、複数の予測差分を減少する主要な手段として、動き補償されたインターフレームコーディングの適応及びさらには微調整に大きく頼る。一方で、ＮＧＶは、動き補償に起因する複数のフレーム間差分を利用することに加えて、複数の合成済み（スーパーレゾリューション（ＳＲ）、予測補間（ＰＩ））フレームにおいて補足された、隠された空間及び時間解像度を抽出して採用するだけでなく、典型的な複数のビデオシーンにおいて本質的に存在する様々なタイプのモーフィング（ゲイン、ブラー／レジストレーション、支配的／全体的な動き）を補償することによるもののような複数のフレーム間差分の他のタイプも利用する。
図５を参照すると、ビデオシーンの画像処理において、多くの場合、動きに起因しない輝度における急な複数の変化があり得、したがって、それ自身による動き補償は、時間的な複数の冗長を除去することに対して十分でないかもしれない。例えば、輝度の変化は、複数のカメラフラッシュ、ブリンキング、フリッカ、又は複数のストロボライト、急にオン／オフされる複数の電球、嵐からの稲光、複数のフェード又は複数のブレンドのような複数の編集効果等のような現実の複数の物理事象に起因し得る。そのような場合において、そのような複数の変化が存在する複数のフレームペアの間のゲインの補償は、圧縮に対して有利であり得る。ＮＧＶコーディングによって用いられるモーフィング済み予測の１つのタイプは、ゲイン補償予測であり、ゲイン及び／又はオフセットの輝度値を検出及び推定すること、それらをパラメータ化すること、エンコーダでのゲイン／オフセット補償にそれらを用いること、デコーダにそれらを送信すること、及びエンコーダでのゲイン補償処理を複製することによってゲイン補償のためにデコーダでそれらを用いることを含む。
１つの詳細な例によれば、複数のビデオシーンにおいて、多くの場合、フレーム間の複数の差分は、複数のオブジェクトの移動に起因してだけでなく、ゲイン／輝度の変化に起因して、引き起こされる。時には、輝度におけるそのような複数の変化は、フェードイン、フェードアウトのような複数の編集効果に起因する、又はクロスフェードに起因する全体的なものであり得る。しかし、さらに多くの場合において、輝度におけるそのような複数の変化は、例えば、複数のフリッカ光、複数のカメラフラッシュ、複数の爆発、劇又はミュージカルのパフォーマンスにおける複数の色付きのストロボライト等に起因する局所的なものである。
輝度におけるフレーム間の複数の変化の補償は、全体的でも局所的でも、ビデオコーディングにおける圧縮効率を潜在的に改善することができる。しかし、複数の輝度変化パラメータ（ゲイン及びオフセット）は、ビデオエンコーダ及びデコーダの両方で適用され、両方が、ビットストリームによってエンコーダからデコーダまで低いビットコストで効率的に通信しているべきであり、デコーダに対する処理の複雑性は、最小化されるべきである。これまでに、全体的な輝度変化に対する複数の技術だけが開示されてきたが、複数の輝度変化の局所的補償は、成功裏に対処されてきていない。
次の方程式は、フレーム「ｔ」における位置（ｉ，ｊ）のピクセルｓｔ（ｉ，ｊ）の輝度を、ゲイン及びオフセット係数である「ａ」及び「ｂ」を用いて、前のフレーム「ｔ−１」における同じ位置（ｉ，ｊ）のピクセルの輝度に関連付ける。動きは小さいと仮定され、複数の輝度変化だけがモデル化される。
Figure 0006163674
期待値ｓｔ（ｉ，ｊ）及び（ｓｔ ２（ｉ，ｊ））を用いること、及び現在のフレーム及び前のフレームの第１の時点及び第２の時点を同等と見なす方法に従うことで、ゲイン「ａ」及び、オフセット「ｂ」の値が計算される。
Figure 0006163674
Figure 0006163674
「ａ」及び「ｂ」が方程式（２）によって計算されると、それらは、（効率的な送信のために）量子化され、エンコードされ、デコーダに送信される。デコーダにおいて、「ａ」及び「ｂ」のデコードされて逆量子化された値は、方程式（１）に挿入され、前のフレームにおける複数のピクセルのデコードされた複数の値を用いて、前の参照フレームのゲイン補償された修正済みバージョンが計算され、エラーにおいて元の前のフレームより低く、そして、（ゲイン補償された）動き補償予測を生成するために用いられる。最終のデコードされたフレーム（又はフレームの複数のブロック）を生成するために、（逆変換されて逆量子化されて）デコードされた複数の予測エラーブロックに、複数の修正済み前の参照フレームからの対応する複数の予測が加算される。
局所的動き補償について、(ａ，ｂ）のパラメータの単一のセットに代えて、複数のパラメータの複数のセットが計算され、それの複数のパラメータに対応するフレームのそれの部分のマップとともにデコーダに送信され、説明されたようなゲイン補償に用いられる。
図５は、Ｐピクチャ５０２、５０６、５１２、及びＦピクチャ５０４、５０８、５１０（下で定義される）を用いるピクチャ構造５００を示す。各Ｐピクチャは、予測され、又は少なくとも部分、パーティション、又はその他を有し、矢印Ａによって示されるように、少なくとも１つの前のＰピクチャ又はＩピクチャから予測される。ここで、ＦピクチャがＢピクチャに類似していると仮定すると、Ｆピクチャは、矢印Ｂによって示されるように、前の参照フレーム、次の参照フレーム、又は両方から予測され得る。ピクチャ構造５００は、適応数のＦピクチャ、マルチ参照予測、及びピクチャ又はパーティション基準で適用され得るゲイン／オフセット補償を含む。例えば、述べられたように、時間「ｎ」（５０２）、「ｎ＋２」（５０６）、及び「ｎ＋５」（５１２）におけるフレームは、Ｐピクチャとしてコーディングされ、時間「ｎ＋１」（５０４）、「ｎ＋３」（５０８）、及び「ｎ＋４」（５１０）におけるフレームは、Ｆピクチャとしてコーディングされる。「ｎ＋５」におけるＰピクチャ（５１２）は、通常の予測であり得るような「ｎ＋２」（５０６）の両方からの予測を採用するだけでなく、（矢印Ｃによって示されるような）前の予測参照フレームのようなフレーム「ｎ」（５０２）を加えるようなマルチ参照予測を用いるように示される。マルチ参照予測は、Ｐピクチャ又はＦピクチャが複数の前の参照フレームを有する場合はいつでも生じる。
そのようなスキームとＨ．２６４／ＭＰＥＧ−４パート１０ベースのコーディングのものとの主要な差分は、複数のフレーム「ｎ」及び「ｎ＋２」についてのゲイン／オフセット補償の使用である。例えば、複数のゲイン／オフセット値は、修正済み（ゲイン／オフセット補償された）予測フレームの生成における使用のために、フレーム「ｎ＋２」と比較して、フレーム「ｎ」で推定されてパラメータ化され得、現実のフレーム「ｎ」についての動き推定／補償を実行することに代えて、それは、一例によれば、フレームｎ＋１（５０４）を予測するために、修正済みのゲイン／オフセット補償されたフレームＧＣ（５１４）について実行され、Ｐピクチャ５１２を予測するためにＰピクチャ５０２を用いることの代わりに、Ｐピクチャ５１２を予測するために用いられてもよい。同様に、ゲイン補償フレームＧＣ（５１６）は、フレームｎ＋２（５０６）の修正であり、フレームｎ＋５（５１２）予測するために用いられてよい。明確にするために、一例によれば、（ゲイン／オフセット、ＧＣと称される）複数のパラメータの推定は、例えば、モーフィングアナライザ１３０によって元の（コーディングされていない）複数のフレームについて、又はモーフィングジェネレータ１２０によってデコードされた複数のフレームについて実行され得る。しかし、デコーダが補償処理を複製できるように、補償は、「デコードされた複数のフレーム」について実行される必要がある。したがって、ある時間インスタンスの元のフレームとそれの近似との間の差分は、ゲイン補償され、動き補償されたフレームＧＣ（５１４）によって提供されてよい。そして、差分は、計算され、変換コーディングされ、ゲイン補償の使用なしのものより少ないビット（ゲインパラメータコストを含む）でコーディングされてよい。参照フレームの修正が複数のゲイン補償パラメータを用いることによって実行された場合において、Ｆピクチャが、複数の修正済み参照フレームの使用をサポートするという点において、これは、ＢピクチャとＦピクチャとの間の主要な差分を示唆してもよい。
代替的に又はさらに、ビデオシーンの画像処理において、ブラー／レジストレーションの変化があり得、したがって、それ自身による動き補償は、時間的な複数の冗長を除去することに対して十分でないかもしれない。例えば、ブラー／レジストレーションの変化は、シーンにおける複数のオブジェクトの速い移動若しくはカメラの速い移動、又は両方、スキャン中のフィルムのスプロケットにおける機械的な不整合、固定されたカメラの振動等、ブラー／レジストレーションミスマッチとして現れるその他のもののような現実の複数の物理事象に起因し得る。そのような場合において、そのような複数の変化が存在する複数のフレームペアの間のブラー／レジストレーションの補償は、圧縮に対して有利であり得る。ブラー／レジストレーション補償予測の原理は、ＮＧＶコーディングによって用いられるモーフィング済み予測のタイプを含んでよく、複数のブラー／レジストレーション値を検出して推定すること、複数のブラー／レジストレーション値をパラメータ化すること、エンコーダでのブラーの補償のために複数のブラー／レジストレーション値を用いること、デコーダに複数のブラー／レジストレーション値を送信すること、エンコーダでブラー／レジストレーション補償処理を複製することによってブラー／レジストレーション補償のためにデコーダで複数のブラー／レジストレーション値を用いることを含む。
一例によれば、レジストレーション及びブラーの補償のための方法は、複数の用語が互換的に用いられ得るが、下で説明される。
レジストレーション補償：
シーンを画像処理する固定されたビデオカメラでさえも、シーンの全体的な移動、又はシーンにおける大きい複数のオブジェクトの動きよりむしろ、（風のような）環境的な要因、近くの複数のオブジェクトからの振動、震える手、又はジッタ補足処理に起因してフレーム間で異なる、揺れる又は不安定なビデオをもたらすかもしれない。これは、フレーム間のレジストレーションの差分をもたらし、（ゲイン、全体的／支配的な動き、及び局所的動き補償のような補償の他の複数の形態に加えて）それの補償は、ビデオコーディングの圧縮効率の改善をもたらし得る。
現在のフレームと前の参照フレームとの間の複数のレジストレーションパラメータを計算するために、ウィナーフィルタリングが採用され得る。ｘ（ｎ）を入力信号とし、ｙ（ｎ）を出力とし、そして、ｈ（ｎ）が複数のフィルタ係数を表すとする。
フィルタ出力：
Figure 0006163674
 エラー信号：
Figure 0006163674
行列表記において、ｈは、複数のフィルタ係数のベクトルである。（ソースフレームと参照フレームとの間の）相互相関の行ベクトル：
Figure 0006163674
（ブロックデータに基づく）自己相関行列：
Figure 0006163674
そして、ｈを求めるウィナーホップ方程式は、以下のとおりである。ウィナーホップ方程式は、平均二乗誤差で最適な複数のフィルタ係数を決定し、結果として生じるフィルタは、「ウィナー」フィルタと呼ばれる。
Figure 0006163674
ブラー補償：
シーンの速いカメラパンは、電荷蓄積に起因して、ぼけた画像をもたらし得る。さらに、カメラが静止している又は動いているとしても、シーンが速く動いている複数のオブジェクト、例えば、サッカーの試合における複数のサッカー選手を含む場合、画像処理の時間解像度が十分でないので、複数のオブジェクトは、ぼけて現れ得る。前述の場合の両方において、補償の他の複数の形態の前に又はと共に、ブラーの補償は、ビデオコーディングの圧縮効率を改善し得る。
動きブラー推定に関して、ルーシーリチャードソン法が用いられ得る。それは、Ｂ、ブラー演算子（推定された複数のブラーベクトルを用いるブラーフレーム）、及びＢ＊随伴行列演算子を用いて、Ｙソースフレームから反復ｉでの減少されたブラーフレーム（Ｘ）を成功裏に計算するための反復アルゴリズムである。演算子Ｂ＊は、ほぼ同じ視覚品質をもたらすＢによって置換され得るので、Ｂ＊は、ほぼＢと同じであると考えられ得る。
Figure 0006163674
したがって、そのようなスキームとＨ．２６４／ＭＰＥＧ−４パート１０ベースのコーディングのものとの他の主要な差分は、複数のフレーム５０４及び５１２をそれぞれ予測するための複数の修正済みＢＣ（又はＲＣ）フレーム５１８及び５２０によって示されるように、複数のフレーム「ｎ」及び「ｎ＋２」についてのブラー／レジストレーション補償の使用であり得る。例えば、複数のブラー／レジストレーション値は、修正済み（ブラー補償された）予測フレームの生成における使用のために、フレーム「ｎ＋２」と比較して、フレーム「ｎ」で推定されてパラメータ化され得、現実のフレーム「ｎ」についての動き推定／補償を実行することに代えて、それは、ブラー／レジストレーション補償されたフレームについて実行される。明確にするために、上述のように、（ブラー、ＢＣと称される）複数のパラメータの推定は、元の（コーディングされていない）複数のフレームについて、又はデコードされた複数のフレームについてなされ得るが、デコーダが補償処理を複製できるように、補償は、「デコードされた複数のフレーム」について実行される必要がある。したがって、ある時間インスタンスの元のフレームとそれの近似との間の差分は、ブラー／レジストレーション補償され、動き補償されたフレームが、ブラー／レジストレーション補償の使用なしのものより少ないビット（ブラーパラメータコストを含む）で計算されて変換コーディングされる。参照フレームの修正が複数のブラー／レジストレーション補償パラメータを用いることによって実行された場合において、Ｆピクチャが、複数の修正済み参照の使用をサポートするという点において、これは、ＢピクチャとＦピクチャとの間の主要な差分も示唆する。ゲイン補償修正済みフレームＧＣ５１４及び５１６に代えて又は加えて、複数の修正済みフレームＢＣ５１８及び５２０が用いられてよいことが理解される。
代替的に又はさらに複数のフレームをモーフィングするさらなる方法では、ビデオシーンの画像処理において、それ自身によるブロック動き補償であり得、全体的な時間的な複数の冗長を除去することに対して十分でないかもしれない全体的／支配的な動きの変化があり得る。例えば、全体的／支配的な動きの変化は、パン、ズームイン／アウト、又はカメラの回転又はチルト、及び／又は全体的／支配的な動きとして現れる大きなオブジェクトの動きのような現実の複数の物理事象に起因し得る。そのような場合において、そのような複数の変化が存在する複数のフレームペアの間の全体的／支配的な動きの補償は、圧縮に対して有利であり得る。全体的／支配的な動き補償予測の原理は、ＮＧＶコーディングによって用いられるモーフィング済み予測のタイプを用いること含んでよく、フレームの全体的／支配的な動きを検出して推定すること、パラメータ化すること、及びエンコーダでの全体的／支配的な動きの補償のために動きデータを用いること、デコーダにそれを送信すること、及びエンコーダで全体的／支配的な動き補償処理を複製することによって補償のためにデコーダでそれを用いることを含んでよい。
詳細な一例によれば、ビデオにおける全体的な動きは、（並進運動モデル、及びかなりの量の動きベクトルのオーバヘッドからもたらされるより大きい予測に起因する）予測に基づいて、ブロックに課題を提示できるので、非並進／複雑な動きにより適応できるそれの可能性に起因する全体的な動きを直接推定／補償する代替的なアプローチが開発され、複数の動きパラメータのよりコンパクトな表現が、ピクチャ毎に一度のように必要に応じて現在利用可能である。全体的な動きに対する複数の動きモデルの選択肢の中で、かなりの利益を提供する２つのモデルがアフィンモデル、及びパースペクティブモデルである。アフィンモデルは、６つのパラメータを用い、大きい範囲の複雑な動きに対処でき、パースペクティブモデルは、より複雑で柔軟であるが、最大８つのパラメータを用いることができる。アフィンモデルは、多くの場合に対して十分であり得、並進、ズーム、せん断、及び回転のような複数のタイプの動きに対する全体的な補償を可能にできる。
数学的に、アフィン変換処理は、前のフレームにおける複数のポイント（ｘ，ｙ）のセットを複数の修正済みポイント（ｘ'，ｙ'）のセットにマッピングするために、複数のアフィンパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆを用いる次の方程式によって説明される。
Figure 0006163674
Figure 0006163674
全体的な動きの複数のパラメータのデコーダへの効率的な送信に関して、モデルは、３つの動作軌道として送信される。１つはピクチャの左上隅、１つはピクチャの右上隅、そして、１つはピクチャの左下隅である。複数のアフィンパラメータは、２のべき乗に最も近い数の幅及び高さであり、コーディングされたピクチャより大きいと仮定される仮想のピクチャに対して計算（固定小数点演算）される。これは、デコーダで要求される複数の分割を取り除く。
３つの頂点（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）を仮定すると、対応する複数の動作軌道ｍｔ０、ｍｔ１、及びｍｔ２が与えられ、複数の１／８ピクセルユニットにおいて言う（ｄｘ０，ｄｙ０）、（ｄｘ１，ｄｙ１）、及び（ｄｘ２，ｄｙ２）として表されることができる。そして、複数のアフィンパラメータＡ、Ｂ、Ｃ、Ｄ、Ｅ、及びＦは、次のように計算されることができる。
Figure 0006163674
Figure 0006163674
Figure 0006163674
Figure 0006163674
Figure 0006163674
Figure 0006163674
アフィンモデルベースの全体的な動き推定／補償（ＧＭＥ／Ｃ）の使用は、ブロックベースの並進運動の使用を超えて、全体的な動きを伴う複数のシーンに対して顕著な改善であったが、実際には、ブロックベースの局所的及び全体的な動きの両方が、最良のコーディング効率の結果のために組み合わせられる。さらに、アフィンモデルは、シーンにおけるオーバーラップしていない複数のタイル、又は複数の領域／オブジェクトの動き補償に適用されることもできる。これは、全体的な動きパラメータの複数のセットをもたらし、処理は、支配的な動き補償（ＤＣ）を実行することと称される。
ここで、そのようなスキームとＨ．２６４／ＭＰＥＧ−４パート１０ベースのコーディングのものとの主要な差分は、複数のフレーム「ｎ」（５０２）及び「ｎ＋２」（５０６）についての全体的／支配的な動き補償の使用である。例えば、複数の全体的／支配的な動き値は、複数のフレーム５０４及び５１２をそれぞれ予測するために、修正済み（全体的／支配的な動き補償された）予測フレーム５２２又は５２４の生成における使用のために、フレーム「ｎ＋２」（５０６）と比較して、フレーム「ｎ」（５０２）で推定されてパラメータ化され得、現実のフレーム「ｎ」（５０２）についての動き推定／補償を実行することに代えて、それは、例えば、全体的／支配的な動き補償されたフレーム５２２について実行される。明確にするために、上述のように、（全体的／支配的な動き、ＤＣと称される）複数のパラメータの推定は、元の（コーディングされていない）複数のフレームについて、又はデコードされた複数のフレームについて実行され得るが、デコーダが補償処理を複製できるように、補償は、「デコードされた複数のフレーム」について実行される必要がある。したがって、ある時間インスタンスの元のフレームとそれの近似との間の差分は、全体的／支配的な動き補償されてブロック動き補償されたフレームが、全体的／支配的な動き補償の使用なしのものより少ないビット（ブラーパラメータコストを含む）で計算されて変換コーディングされる。参照の修正が複数の全体的／支配的な動き補償パラメータを用いることによって実行された場合において、Ｆピクチャが、複数の修正済み参照の使用をサポートするという点において、これは、ＢピクチャとＦピクチャとの間の他の主要な差分も示唆する。モーフィングストラテジは、ＧＣ、ＢＣ、又はＤＣのそれぞれがそれ単独で、３つの修正済みフレームをともに形成するために組み合わされた３つのすべてで、又は２つの修正済みフレームをともに形成するためにそれらの任意の２つの組み合わせでのように、単独で又は任意の組み合わせで実行されてよい。
そして、シーケンス５００で、複数の修正済みフレームが主要なシーケンスにおける対応するフレームを置き換え、又はに加えて用いられてよく、Ｆピクチャ及びＰピクチャの両方は、それらの参照フレームとして複数の修正済みフレームを用い得ることが理解される。したがって、１つの代替的な例によれば、複数のモーフィング済みフレーム５１４、５１８、及び５２２は、Ｆピクチャ５０４に対する参照としてに代えて又は加えて、Ｐピクチャ５０６に対する複数の過去の参照フレームとして用いられ得る。また、複数のモーフィング済みフレーム５１６、５２０、及び５２４は、Ｆピクチャ５０４に対する複数の将来の参照フレーム、及び／又はＦピクチャ５０８及び５１０に対する複数の過去の参照フレームとして用いられ得る。したがって、コーディングに対して有益であることが見出されるような多くの異なる代替手段が存在し、複数の図面に示されるものに限定されないことが理解される。
シーケンス５００は、また、（２つのＰピクチャ、又はＩピクチャ及びＰピクチャ、又は他のＦピクチャのような）２つのアンカーフレームの間のＦピクチャの数が変わり得る適応モード又は予測技術とともに、Ｆピクチャが用いられ得ることを実証する。したがって、１つのＦピクチャだけが、Ｐピクチャ５０２及び５０６の間に存在し、２つのＦピクチャが、Ｐピクチャ５０６及び５１２の間に存在する。複数のアンカーフレームの間のＦピクチャの数は、一例によれば、０から４に限定されてよく、フレームシーケンスにおける複数のオブジェクトの動きの速度に依存してよい。特に、Ｆピクチャは、多くの場合、任意の他のタイプのピクチャと比較して、最小量のビットを要求し得るので、それらは、コーディングに対して最も高効率なフレームであり得る。しかし、複数のフレームにおける複数のオブジェクトの動きが速いほど、少なくとも複数のアンカーフレームで動いているこれらの複数のオブジェクトを適切に示すために、より詳細が必要とされる。したがって、非常に遅い動きで、多くのＦピクチャが複数のアンカーフレームの間で用いられ得るが、速い動きは、動いている複数のオブジェクトの許容可能な良い品質の複数の画像を生成するために、複数のアンカーフレームの間のＦピクチャの許容される数を、非常に少なく又はなしに減少し得る。
図６を参照すると、モーフィング済み予測（ゲイン、ブラー／レジストレーション、全体的／支配的な動き）の複数のピクチャに加えて、合成済み予測（スーパーレゾリューション（ＳＲ）、及び予測補間（ＰＩ））の複数のピクチャもサポートされる。一般的に、スーパーレゾリューション（ＳＲ）は、欠けている情報を補うために役立つビデオの多くの過去のフレームを用いる単一のビデオフレームの高い解像度の再構成画像を生成するために用いられる技術である。良いスーパーレゾリューション技術の目標は、既知のより高い解像度のビデオでテストされた場合の単独でのアップサンプリングより良い再構成画像を生成できることである。スーパーレゾリューション生成技術は、ここで、インループスーパーレゾリューションフレームを生成するために、コーディングされたビデオコーデックデータを用いてよい。インループスーパーレゾリューションフレームは、その名前が示唆するように、コーディングループ内で再度用いられる。コーディングループにおけるＳＲの使用は、低解像度ビデオコーディングにおいてひいては再構成スーパーレゾリューションビデオにおいて、かなりのゲインを提供する。この処理は、デコードされている現在のフレームの高い解像度の再構成を生成するために、現在のデコードされた複数のフレーム及び複数の過去のフレーム（又は、利用可能であれば、複数の将来のフレーム）と共に、（複数のモード、イントラ、動き、係数等のような）コーデック情報を組み合わせて用いるアルゴリズムを用いる。したがって、提案される技術は、速く、良い視覚品質を生成する。
移動が遅く、コンテンツがかなり詳しい（多くのエッジ、テクスチャ、及びその他）複数のシーケンスに対して、予測における使用のための複数のスーパーレゾリューションフレームを生成する能力は、より大きい動き補償の正確性を提供でき、それによって、より高い程度の圧縮を許容する。図６に示されるように、処理６００が図示され、ＳＲ予測の生成の原理が、Ｐピクチャに適用され、それは、ＮＧＶコーディングによって用いられる合成済み予測のタイプである。この場合において、エンコーダ及びデコーダの両方は、前もって利用可能なデコードされた複数のフレーム及びデータから合成済みフレームを生成する。水平及び鉛直方向寸法の両方においてフレーム「ｎ」６０４の倍のサイズであるＳＲフレーム６１８は、「ｎ」におけるアップサンプリングされてデコードされたＰフレーム６１６、及び「ｎ−１」における前のＳＲフレーム６０８を用いて構成された動き補償ピクチャ６１４を融合することによって生成される。前のＳＲフレーム６０８は、デインターリーブされ、現在のＰピクチャ６０４を用いることによってデインターリーブされたブロック６１０で複数の動き推定値と組み合わせられる。複数のブロック６１０は、動き補償されてデインターリーブされたブロック６１２を形成するために、動き補償に用いられ、そして、動き補償ピクチャ６１４を形成するためにブロック上に再インターリーブされる。マルチ参照予測は、矢印Ｄによって、フレームｎ＋１におけるＰピクチャに対しても示される。
予測補間（ＰＩ）予測フレーム生成と称される他のタイプの合成済み予測は、図１２に関して下で説明され、ＮＧＶコーディングにおいてコンテンツベースのＰ及びＦピクチャによってサポートされる様々な修正済み参照予測の１つである。予測補間は、１又は複数の他の参照フレームからのデータから単に又は実質的に修正済み参照フレームを形成し、表示のための画像又はピクチャそれ自体でない。一例によれば、それは、参照フレームとしてのみ用いられる。
図７を参照すると、より完全な例のＮＧＶエンコーダが図１に示されるが、関連するエンコーダサブシステム７００は、複数のコンテンツ適応Ｐピクチャ及びここでのＦピクチャに対する複数の予測を生成するために用いられる動き推定部、補償予測部、及びピクチャストア（ＭＥＣＰＰＳ）と称されてよい。複数の中心概念に集中し続けるために、（「予測」に用いられる、及び「ｓｋｉｐ」モードに対するデフォルトとして）ダイレクトモードの計算に対する複数の動作が図示されないような、いくつかの単純化がなされている。ＭＥＣＰＰＳサブシステム７００は、デコードされた複数のフレームを格納する複数のフレームストア（複数のマルチ参照フレームストア及びフレームセレクタ７０２）、及び生成されるべき修正済みマルチ参照予測に基づいて複数のフレームストアからのフレームのインデックス付けを許容するそれの関連付けられたロジック（修正済みマルチ参照フレーム予測のための依存ロジック７０４）のようないくつかのコンポーネントを有してよい。エンコーダサブシステム７００は、複数のモーフィング済み又は合成済み予測フレーム又はブロックを現実に計算するユニット７０６（モーフィング及び合成パラメータ推定部及びフレームジェネレータと称される）も有する。動き推定部７０８及び動き補償（ＭＣ）予測部及びＭＣ補間予測部７１０は、サブシステム７００の一部であってもよい。複数のモーフィング済み又は合成済みフレームを計算するために用いられる複数のパラメータｍｐａｒ及びｓｐａｒは、デコーダに送信される。エンコーダでの最後の結果は、それらから選択し、ブロックに適用するために選択するための多数の修正済み予測候補の生成である。これらの候補のいくつかは、現実の修正済み予測ブロック（ｐｂｌｋ１，...ｐｂｌｋｎ）であり、その他は、現実の修正済みブロック、又は複数のダイレクト予測モードから生成された複数のブロックを組み合わせることによって補間された修正済み予測ブロック（ｐｂｌｋｉ１，...ｐｂｌｋｉｋ）である。
図８を参照すると、デコーダサブシステム８００（動き補償部及び予測ピクチャストア（ＭＣＰＰＳ））は、サブシステム７００（図７）を形成するエンコーダの一部に対応するデコーダの一部を含んでよく、修正済み予測信号がＰ及びＢピクチャにおいてどのようにデコーダで生成されるかを表す。サブシステム７００の場合のように、明確さの目的のために、スケーリング及びダイレクトモードにおける予測の計算のための複数の動きベクトルの符号反転のようないくつかの詳細は、省略される。デコーダサブシステム８００は、デコードされた複数のフレームを格納する複数のフレームストア（複数のマルチ参照フレームストア及びフレームセレクタ８０２）、及び生成されるべき修正済みマルチ参照予測に基づいて複数のフレームストア８０２からの複数のフレームのインデックス付けを許容するそれの関連付けられたロジック（修正済みマルチ参照フレーム予測のための依存ロジック８０４）を有してよい。サブシステム８００は、複数のモーフィング済み又は合成済み予測フレーム又はブロックを現実に計算するユニット８０６（モーフィング及び合成パラメータ推定部及びフレームジェネレータ）、及び動き補償（ＭＣ）予測部及びＭＣ補間予測部８０８も有してよい。複数のモーフィング済み又は合成済みフレームを計算するために用いられる複数のパラメータｍｐａｒ及びｓｐａｒは、ビットストリームによってデコーダで受信される。マルチ参照予測において正しい複数のフレームへのアクセスを可能にする複数のフレームリスト及び複数のフレームストアの動作は、サブシステム７００によるエンコードの一部に対するものと同じ又は類似である。
図９を参照すると、チェーンストラテジが、Ｆピクチャで用いられてよく（又は、それは、Ｂピクチャに拡張するために用いられ得）、それは、チェーン予測と称される。チェーン予測の概念は、それが任意のピクチャタイプに適用できるが、それはＦピクチャに特に関連する（そして、Ｂピクチャにも適用され得る）。それは、実際には、マルチ参照予測の概念の拡張であり、ただし、追加的に、それが、直前のコーディングされたＦピクチャを含む他のＦピクチャからのＦピクチャの完全な予測を可能にする。したがって、チェーン予測は、Ｆピクチャの他のＦピクチャへのより高い依存を犠牲にするが、予測効率を増加させ得る。
例えば、ＩＰＦＦピクチャコーディング構造９００は、複数のアンカーフレームの各ペアの間の２つのＦピクチャを用いる。特に、時間「ｎ」（９０２）、「ｎ＋３」（９０８）、及び「ｎ＋６」（９１４）における複数のフレームは、Ｐピクチャとしてコーディングされ、時間「ｎ＋１」（９０４）、「ｎ＋２」（９０６）、「ｎ＋４」（９１０）、及び「ｎ＋５」（９１２）における複数のフレームは、Ｆピクチャとしてコーディングされる。Ｆピクチャで用いられる複数の予測を強調すると、時間「ｎ＋１」におけるＦピクチャ（９０４）は、（不図示の時間「ｎ−１」における）直前のＦピクチャからの、予測チェーン９２０上の矢印９２２によって示される追加の予測を用いる。時間「ｎ＋２」におけるＦピクチャ（９０６）は、時間「ｎ＋１」における直前のＦピクチャ（９０４）からの、矢印９２４によって示される追加の予測を用い、時間「ｎ＋４」におけるＦピクチャ（９１０）は、矢印９２６によって示されるように、時間「ｎ＋２」における直前のＦピクチャ（９０６）からの追加の予測を用いる。時間「ｎ＋５」におけるＦピクチャ（９１２）は、時間「ｎ＋４」における直前のＦピクチャ（９１０）からの、矢印９２８によって示される追加の予測を用いる。Ｆピクチャの予測のこのタイプは、チェーン予測と称される。
明らかに、いくつかのＦピクチャは、直前のＦピクチャからさらに予測され得るので、チェーン予測９２０は、圧縮効率を増加させる可能性を有する。予測のこのタイプは、マルチ参照予測の形態として考えられ得るが、マルチ参照予測においてさえ、Ｆピクチャ（規格におけるＢピクチャ）は、通常、前のデコードＰピクチャからのみ予測する。
しかし、チェーンのＦピクチャは、ソフトウェアエンコード／デコードに対するマルチスレッドにおける高い性能効率を得ることにおいて、いくつかの問題を引き起こし得る増加されたコーディング依存という意味での制約を表す。これに対処するために、全てではなくいくつかのＦピクチャがチェーンコーディングを用いることができるように、複数のピクチャのチェーンを制限することが可能である。これの例は、実線の矢印９２４及び９２８によって示され、時間「ｎ＋２」におけるＦピクチャ（９０６）は、実線の矢印９２４によって示されるように、「ｎ＋１」におけるＦピクチャ（９０４）に関してチェーンコーディングされ、時間「ｎ＋５」におけるＦピクチャ（９１２）は、実線の矢印９２８によって示されるように、時間「ｎ＋４」におけるＦピクチャ（９１０）に関してチェーンコーディングされる。しかし、時間「ｎ＋１」（９０４）及び「ｎ＋４」（９１０）におけるＦピクチャは、破線の矢印９２２、９２６、及び９３０によって示されるように、チェーンコーディングされなくてよく、この場合において省略され得る。代替的に、チェーンコーディングにおいて、その逆も可能であり、破線の矢印９２２、９２６、９３０が存在し、実線の矢印９２４及び９２８が省略され、時間「ｎ＋１」（９０４）及び「ｎ＋４」（９１０）におけるＦピクチャがチェーンコーディングされてよいが、「ｎ＋２」（９０６）及び「ｎ＋５」（９１２）におけるＦピクチャがチェーンコーディングされなくてよい。実際には、これは、「ｎ＋１」（９０４）及び「ｎ＋２」（９０６）、並びに同様に「ｎ＋４」（９１０）及び「ｎ＋５」（９１２）におけるＦピクチャに対する別個の複数のスレッドについてのエンコード／デコードを許容し得る。
次に、ピクチャ構造９００は、本開示のＦピクチャに対するチェーンコーディング９２０に、本開示の修正済みマルチ参照コーディング９３２を組み合わせてもよい。「ｎ＋４」（９１０）、「ｎ＋５」（９１２）、及び「ｎ＋６」（９１４）におけるＦピクチャは、チェーンコーディング及びマルチ参照コーディングの組み合わせを用いて示される。Ｆピクチャ９１０、９１２、及び９１４は、追加の参照フレームとしてＰピクチャ９０２をそれぞれ用いるので、マルチ参照コーディングが存在する。破線の矢印９３４、９３６、及び９３８によって示されるように。これらの原理は、Ｂピクチャに対するチェーンコーディングに組み合わせられるＨ．２６４の通常のマルチ参照コーディングにも適用され得ることが理解される。
チェーン及びマルチ参照の選択肢は、任意の組み合わせで存在してよく、全体のチェーンが存在しても、又はチェーンに沿った複数の部分だけが存在してもよいことも理解される。したがって、組み合わせられたマルチ参照及びチェーンコーディングの場合に対して、コーディング効率の利益と増加される依存との間の妥協案が、Ｆピクチャのチェーンを選択的に用いることによって達成されてよい（例えば、Ｆピクチャの半分だけがチェーンにされるように）。したがって、マルチ参照依存は、上で説明されたように、実線の矢印の依存９２４及び９２８で提供され得、「ｎ＋５」におけるＦピクチャは、「ｎ＋４」にチェーンされ、「ｎ＋２」は、「ｎ＋１」にチェーンされるが、「ｎ＋１」及び「ｎ＋４」におけるＦピクチャは、チェーンされない。前に述べたように、他の代替手段は、示されるチェーンの反対であり得、言い換えれば、破線の矢印が存在し、実線の矢印が存在せず、「ｎ＋１」におけるＦピクチャが「ｎ−１」にチェーンされ得、同様に、「ｎ＋４」におけるＦピクチャが「ｎ＋２」にチェーンされ得るが、「ｎ＋２」及び「ｎ＋５」におけるＦピクチャがチェーンされなくてよい。
図１０を参照すると、複数のコンテンツ適応Ｐピクチャ及びここでのＦピクチャに対する複数の予測を生成するために用いられる「動き推定部、補償予測部、及びピクチャストア（ＭＥＣＰＰＳ）」と称されるエンコーダサブシステム１０００が示される。複数の中心概念に集中し続けるために、（「予測」に用いられる、及び「ｓｋｉｐ」モードに対するデフォルトとして）ダイレクトモードの計算に対する複数の動作が図示されないような、いくつかの単純化がなされている。エンコーダサブシステム１０００は、デコードされた複数のフレームを格納する複数のフレームストア（複数のマルチ参照フレームストア及びフレームセレクタ）１００２、必要に応じてチェーンされた予測を含む修正済みマルチ参照予測に基づいて複数のフレームストアからのフレームのインデックス付けを許容するそれの関連付けられたロジック（チェーンされた予測を含む修正済みマルチ参照フレームに対する依存ロジック）１００４、及び複数のモーフィング済み又は合成済み予測フレーム又はブロックを現実に計算するユニット１００６（モーフィング及び合成パラメータ推定部及びフレームジェネレータ）、動き推定部（動き推定部）１００８、及び動き補償予測部（動き補償（ＭＣ）予測部及びＭＣ補間予測部）１０１０を備えてよい。複数のモーフィング済み又は合成済みフレームを計算するために用いられる複数のパラメータｍｐａｒ及びｓｐａｒは、デコーダに送信される。エンコーダでの最後の結果は、それらから選択し、ブロックでの適用のために選択するための多数の修正済み予測候補の生成である。これらの候補のいくつかは、現実の修正済み予測ブロック（ｐｂｌｋ１，...ｐｂｌｋｎ）であり、その他は、現実の修正済みブロック、又は複数のダイレクト予測モードから生成された複数のブロックを組み合わせることによって補間された修正済み予測ブロック（ｐｂｌｋｉ１，...ｐｂｌｋｉｋ）であってよい。
図１１を参照すると、デコーダサブシステム１１００は、デコードされた複数のフレームを格納する複数のフレームストア（複数のマルチ参照フレームストア及びフレームセレクタ）１１０２、必要に応じてチェーンされた予測を含む修正済みマルチ参照予測に基づいて複数のフレームストアからのフレームのインデックス付けを許容するそれの関連付けられたロジック（チェーンされたフレーム予測を含む修正済みマルチ参照のための依存ロジック）１１０４、及び複数のモーフィング済み又は合成済み予測フレーム又はブロックを現実に計算するユニット１１０６（モーフィング及び合成パラメータ推定部及びフレームジェネレータ）、及び動き補償予測部（動き補償（ＭＣ）予測部及びＭＣ補間予測部）１１０８を備えてよい。複数のモーフィング済み又は合成済みフレームを計算するために用いられる複数のパラメータｍｐａｒ及びｓｐａｒは、ビットストリームによってデコーダで受信される。マルチ参照予測において正しい複数のフレームへのアクセスを可能にする複数のフレームストアのインデックス付けは、エンコーダサブシステム１０００に対するものと同じ又は類似であってよい。
図１２を参照すると、均等に番号付けされた複数のフレーム１２０２から１２１２を伴うピクチャシーケンス１２００が、複数の予測補間フレーム（複数のＰＩピクチャ）の生成及び使用の原理を示すために提供される。単純化のために、Ｆピクチャが、Ｂピクチャのように振る舞い、一方は過去のもので他方は将来のものである２つのアンカーを参照できると仮定する（これは一例の場合にすぎない）。そして、Ｆピクチャ毎に、将来及び過去の複数の参照アンカーフレームを用いる予測補間と称される特殊なタイプの補間によって共存補完フレームが生成され得る。予測補間は、複数のフレームのシーケンスにわたって一定でない（又は直線でない）速度、又は比較的大きい複数の動きを有するオブジェクトの動きを考慮に入れる。ＰＩは、置換されるべき共存又は現在のフレームから補間に用いられる２つの参照フレームのそれぞれまでの距離に依存する複数の重み付け係数を用いる。したがって、これらの２つの距離に比例する最も適合する動きベクトルが決定され、通常、より近い参照により大きい重みが与えられる。これを達成するために、２つのスケール係数（ｘ係数及びｙ係数）が、一例によれば、最小二乗推定によって決定される。そして、さらに、動き補償は、小さい複数の不一致を調整することを許容されてよい。
例えば、時間「ｎ＋１」におけるＦピクチャ（１２０４）に対して、この時間に共存するＰＩピクチャ１２１４が、時間「ｎ」（１２０２）及び「ｎ＋２」（１２０６）における複数のアンカー又は参照フレームを用いて生成される。同様に、時間「ｎ＋３」（１２０８）及び「ｎ＋４」（１２１０）におけるＦピクチャに対して、対応する複数のＰＩピクチャ１２１６及び１２１８が、時間「ｎ＋２」（１２０６）及び「ｎ＋５」（１２１２）における複数のアンカーフレームを用いて生成され得る。この処理は、ＰＩピクチャが各Ｆピクチャに時間を合わせて対応して合成されるように、各将来のＦピクチャに対して繰り返してよい。そして、対応する複数の合成済みＰＩピクチャ１２１４、１２１６、及び１２１８は、２つの参照アンカーが予測に用いられるのと同じ又は類似の方法で、第３の参照として用いられ得る。いくつかの予測パーティションは、複数の予測参照を直接用いてよく、他は、双方向予測を生成するためのように暗黙的にそれらを用いてよい。図１２は、マルチ参照予測１２３２（オプションとして破線によって依存１２３４、１２３６、及び１２３８で示される）が通常の予測１２２０及びＰＩピクチャ予測と組み合わせられ得ることも示す。したがって、複数の合成済みＰＩピクチャは、複数の元のＦピクチャに代えて、マルチ参照予測と共に及び２つの参照アンカーと共に、予測に用いられ得る。
図示されるように、ＰＩピクチャが規定されると、例えば、ＰＩピクチャ１２１４上のブロック１２２４と参照フレーム１２０２及び１２０６上のブロック１２２２及び１２２８との間の動き推定は、ＰＩピクチャ１２１４上のパーティション又はブロックＡ−ｃ１の移動に対して、前述の例示的な方法によって複数の参照フレーム上の位置１２２０及び１２２６から、ＰＩピクチャ１２１４上の動きベクトルｍｖ−ｃ１を決定するために用いられ得る。
図１３を参照すると、上述のように、Ｆピクチャ（又はＢピクチャ）の進化型の特徴は、前景（「ｆｏｒｅｇｒ」又は「ＦＧ」）又は背景（「ｂａｃｋｇｒ」又は「ＢＧ」）領域のようなセグメント化された複数の領域を用いてよい。これを達成するために、図４Ｂを用いて上述のような３つの動作が実行されてよい。（１）各ピクチャの前景及び背景の領域へのセグメンテーション、（２）前景形状セグメンテーションマスク又は前景／後景境界マップのコーディング、（３）２つ又はより多いパスで少なくとも１つのＦピクチャをコーディングすることによって圧縮効率を改善するための形状セグメンテーションマスク又は境界マップ情報の使用。
前景及び背景のセグメンテーションに関して、上述のように、いくつかの既存の解決策、及び１つのピクセル、２つのピクセル、又は固定のブロックサイズ、又は可変のブロックサイズのセグメンテーションのように、複雑性及び精度の様々なレベルを提供する他の解決策が存在する。１つのアプローチによれば、ピクチャが前景／背景の分類を有する場合、１つの境界マップ又はセグメンテーションマスクだけがエンコードされるために必要であってよい。このマップ又はマスクは、予測コーディングとともに又はなしで、インターフレーム予測／イントラフレームで効率的に明示的にコーディングされてよい。別の方法として、マスクは、クロマキーカラーを前景オブジェクト／領域の外の矩形に挿入すること及び完全な矩形をエンコードすること、そして、デコーダで、この矩形のピクチャをデコードすること及び背景の領域も特定する前景の境界の輪郭を回復するためにクロマキーを抽出することによってのように、暗黙的にコーディングされてもよい。
セグメンテーションマスク又は境界マップのコーディングに関して、これは、デコーダがデコーダに利用可能な同じ「マスク」又は「マップ」データへのアクセスを有することができるように、処理の複雑性、コーディング負荷、及びその他に起因して通常実行可能でないデコーダでセグメンテーションを実行することなく、エンコーダによって実行される。多数の解決策が、ラン／レングスｖｌｃコーディング、（ＪＢＩＧ規格を用いるような）ファックスのような予測バイナリ画像コーディング、（ＭＰＥＧ−４の）コンテキスト適応算術コーディング、バイナリマスクのブロック指向不可逆コーディング、及びセグメント化された境界のクロマキーベースの陰的表現、又は前景及び背景の領域を異なるように量子化器に処理させることによる単純な陰的表現のような他のもののように、セグメンテーションマスク及び／又は境界マップをエンコードするために利用可能である。特定の解決策の選択は、コーディングオーバーヘッド、複雑性、及びその他に依存する。
第３の動作は、ビデオの全体のコーディング効率を改善するために、例えば、ＨＥＶＣのＢピクチャ又はＮＧＶのＦピクチャと共に、セグメンテーションマスク及び／又は境界マップの使用を含む。この点において、例示的なピクチャ構造１３００は、Ｆピクチャを再構成するための最大３つの潜在的な参照フレームを有するＦピクチャを有してよい。ピクチャ構造１３００は、階層／ピラミッド構造１３３６におけるＦピクチャを有してよく、合成済み共存予測（修正済みＰＩピクチャ１３３０、１３３２、１３３４）、及びツーパス又はマルチパスコーディングを伴ういくつかのＦピクチャを用い、Ｆピクチャｎ＋３（１３０８）の背景の領域が、第１のパスでコーディングされ得、Ｆピクチャｎ＋３（１３０８）の前景の領域が第２のパスでコーディングされ得る。より具体的には、ピクチャ構造１３００のセクションは、Ｐピクチャ、及び（複数の進化型のＢピクチャをもたらすＢピクチャにも適用可能な）複数の進化型のＦピクチャを示すビデオコーディングが提供される。ピクチャ構造１３００は、時間ｎ（１３０２）、ｎ＋１（１３０４）、及びｎ＋５（１３１２）におけるＰピクチャ、時間ｎ＋２（１３０６）、ｎ＋３（１３０８）、及びｎ＋４（１３１０）におけるＦピクチャを有し、Ｆピクチャ１３０６及び１３１０は、複数の非参照（non-reference）又は非因果（non-causal）Ｆピクチャであるように示され、それらは、任意の他のピクチャの予測のための参照として用いられない。時間ｎ＋３におけるＦピクチャ（１３０８）は、参照Ｆピクチャである。
ピクチャコーディング構造１３００は、ｐピクチャ及びｆピクチャの両方を伴うが、時間ｎ＋３（１３０８）及びｎ＋５（１３１２）における複数のピクチャのチェーンコーディングを伴うチェーンコーディングを部分的に含むハイブリッドである。言い換えれば、Ｐピクチャ１３０４は、矢印１３１４によって示されるように、Ｆピクチャ１３０８に対する参照であり、Ｆピクチャ１３０８は、矢印１３２０によって示されるように、Ｐピクチャ１３２４に対する参照である。時間ｎ＋２（１３０６）及びｎ＋４（１３１０）における複数のピクチャの両方が、それ自体が少なくとも２つの可能性のある複数の参照フレームを有するＦピクチャ参照（１３０８）を有するＦピクチャであるので、ピクチャ構造１３００は、時間ｎ＋２（１３０６）及びｎ＋４（１３１０）における複数のピクチャの階層／ピラミッドコーディングも部分的に含む。回りまわって依存順序に関係するピクチャ構造１３００に対するコーディング順序は、時間ｎ＋１におけるＰピクチャ（１３０４）が後に続く時間ｎにおけるＰピクチャ（１３０２）の第１のコーディングを含む。時間「ｎ」及び時間「ｎ＋１」の表記は、例として示されるだけであり、それらが、これらの２つのＰピクチャ１３０２及び１３０４の間の少なくとも１つのＦピクチャのような中間の複数のフレームなしに、コーディング順序又は表示において直接的に隣接するフレームであることを必ずしも示唆しないことが理解されるだろう。そして、コーディングは、時間ｎ＋５におけるＰピクチャ（１３１２）のコーディングが後に続く時間ｎ＋３におけるＦピクチャ（１３０８）に対する第１のパスにおいて実行される。そして、第２のパスは、時間ｎ＋３におけるＦピクチャ（１３０８）コーディングするために再び実行される。そして、時間ｎ＋２（１３０６）及び時間ｎ＋４（１３１０）におけるＦピクチャは、コーディングされる。ツーパスコーディングを提供することは、下で説明されるように、この構造によって全体の圧縮ゲインを改善し得る。
ここでの一例のアプローチによれば、任意のピクチャのコーディングは、最大３つのデコードされた参照フレームを用いてよい。例えば、第１のパスにおいて、時間ｎ＋３におけるＦピクチャ（１３０８）は、矢印１３１４によって示されるように、参照として時間ｎ＋１におけるＰピクチャ（１３０４）を少なくとも用いてよい。Ｆピクチャ１３０８は、前景の領域１３１６を背景の領域１３１８から区別するセグメンテーションマスク（又は境界マップ）を有してよい。第１のパスにおいて、背景の領域１３１８がコーディングされ、この一部分のピクチャが、Ｐピクチャ１３１２の背景１３２２及び前景１３２４の両方の少なくとも一部をコーディングするために、時間ｎ＋１におけるＰピクチャ１３０４を用いる（矢印１３２１）と共に、時間ｎ＋５におけるＰピクチャ１３１２の背景１３２２の予測に利用可能になる。例えば、第２の参照として、時間的に離れた時間ｎにおけるピクチャ１３０２を用いることと比較すると、時間ｎ＋３におけるＦピクチャ（１３０８）の時間ｎ＋５におけるＰピクチャ（１３１２）へのより近い時間的な接近に起因して、Ｐピクチャ１３１２の改善されたコーディングがもたらされる。
第２のパスに関して、ｎ＋５におけるＰピクチャ１３１２のコーディングの後に、残りの領域（例えば、時間ｎ＋３におけるＦピクチャ１３０８の新しい前景１３２８は、（１）破線の矢印１３２６によって示されるようなｎ＋５におけるＰピクチャ１３１２、（２）３つのＰＩフレーム１３３０、１３３２、及び１３３４のうちの時間ｎ＋３における合成済みＰＩフレーム１３３２、及び（３）再度、矢印１３１６によって示されるような時間ｎ＋１におけるＰピクチャ１３０４を用いてコーディングされる。しかし、この構成によって、第１に、ｎ＋３におけるＦピクチャ１３０８が、（例えば、Ｐピクチャ１３０２及び１３０４によって）完全にコーディングされて参照として利用可能な時間ｎ＋５におけるＰピクチャ１３１２を用いてコーディングされる場合と比較して、ｎ＋３におけるＦピクチャ１３０８が少し非効率的にコーディングされ得るように思われる。しかし、ここで説明される構成によって、（Ｐピクチャ１３０２よりむしろ時間的により近いＦピクチャ１３０８を参照として用いることによって）「ｎ＋５」におけるＰピクチャで達成されるコーディング利得は、（明示的に送信される場合）セグメンテーションマスクのコスト（例えば、ビットにおいて消費される負荷及び時間）を加えたｎ＋３におけるＦピクチャ１３０８へのコーディング効率の損失を上回るだろう。
さらに、この例において、時間ｎ＋３におけるＦピクチャ１３０８の背景１３１８は、第１のパスにおいてコーディングされ、時間ｎ＋５におけるＰピクチャ１３１２の背景１３２２を予測するために参照として用いられ、前景１３２８は、第２のパスにおいてコーディングされ、その逆もまた可能である。したがって、例えば、ｎ＋３におけるＦピクチャ１３０８の前景１３１６／１３２８は、第２のパスにおいてコーディングされた背景１３１８とともに、第１のパスにおいてコーディングされ、時間ｎ＋５におけるＰピクチャ１３１２の前景１３２４を予測するための参照として用いられ得る。実際には、用いるべき構成の最良の選択は、背景１３１８における詳細のレベル、並びに前景１３１６の領域の動きのサイズ及び速度のようなコンテンツの複数の特性に依存し得る。例えば、動かない背景を有するシーンに対してさえ、２つの場合があり得、１つの場合において、前景はゆっくり動き、他の場合において、前景は速い動きを被り、異なる複数の構成を要求し得る。
そして、異なる複数の参照フレームが複数のパスに対して用いられてよいが、いつもその場合でなくてよく、一例において、第１のパスは前の複数の参照を用いてよく、第２又は次のパスは、将来の複数の参照を用いてよいが、これは、同様に、逆にされて又は混ぜられてよいことがわかる。パスが多いほど、例えば、ピクチャの品質と釣り合わなければならないコーディングコストが大きくなるが、要望通りの３又はより多いパスのような２つより多いパスが提供されてよいことが理解されるだろう。
第２のパスが、Ｆピクチャ１３０６及び１３１０に対して修正済みＰＩピクチャ１３３０及び１３３４をそれぞれ用いる可能性を含むことを除いて、Ｆピクチャ１３０８と同様に、Ｆピクチャ１３０６及び１３１０が２又はより多いパスでコーディングされてもよいこともシーケンス１３００から理解される。
ここで図１４を参照すると、ピクチャ構造１４００は、ピクチャ構造１３００に類似し、最大３つの参照を伴うＦピクチャを有し、Ｆピクチャの階層／ピラミッド構造１４３６を含み、合成済み共存予測（修正済みＰＩピクチャ１４３０、１４３２、１４３４）を用い、ツーパスコーディングを伴ういくつかのＦピクチャを用いる。第１のパスにおいて、前景１４１６及び背景１４１８が異なる品質でコーディングされてもよいが、ｎ＋３におけるＦピクチャ１４０８は、一例によれば、ほとんど又は実質的にフレーム全体をコーディングし、第２のパスは、前景の領域１４２８を完全な品質又は強化された品質に洗練する。より具体的には、ビデオコーディングを伴うピクチャ構造１４００は、ピクチャ構造１３００のものと類似であり、時間「ｎ」（１４０２）、「ｎ＋１」（１４０４）、及び「ｎ＋５」（１４１２）におけるＰピクチャを有し、時間「ｎ＋２」（１４０６）、「ｎ＋３」（１４０８）、及び「ｎ＋４」（１４１０）における複数の進化型のＦピクチャ（複数の進化型のＢピクチャをもたらすＢピクチャにも適用可能）を有してよい。ピクチャ構造１３００と同様に、ピクチャ構造１４００は、時間ｎ＋３（１４０８）及びｎ＋５（１４１２）における複数のピクチャの部分チェーンコーディング、並びに時間ｎ＋２（１４０６）及びｎ＋４（１４１０）におけるピクチャの部分階層／ピラミッドコーディングを有するハイブリッドであってよい。ピクチャ構造１４００をコーディングするための順序／依存は、時間「ｎ＋１」におけるＰピクチャ（１４０４）が後に続く時間「ｎ」におけるＰピクチャ（１４０２）、時間「ｎ＋３」におけるＦピクチャ（１４０８）（第１のパス）、時間「ｎ＋５」におけるＰピクチャ（１４１２）、時間「ｎ＋３」におけるＦピクチャ（１４０８）（第２のパス）、そして時間「ｎ＋２」（１４０６）における及び時間「ｎ＋４」（１４１０）におけるＦピクチャをコーディングすることを含む。したがって、説明されたように、時間「ｎ＋３」におけるＦピクチャ（１４０８）は、次に説明されるようなこの構造によって全体の圧縮ゲインを改善する目的で、２つのパスでコーディングされる。代替的に又はさらに、複数のＰＩピクチャ１４３０及び１４３２は、Ｆピクチャ１４０６及び１４１０の第２のパスをそれぞれコーディングするために同様に用いられてよい。
前に説明されたように、任意のピクチャのコーディングに対して、最大３つの参照が許容されると仮定する。例えば、時間「ｎ＋３」におけるＦピクチャ（１４０８）のコーディング（第１のパス）は、矢印１４１４によって示されるように、参照として時間「ｎ＋１」におけるＰピクチャ（１４０４）を少なくとも用いてよい。フレーム「ｎ＋３」（１４０８）に対するセグメンテーションマスク（又は境界マップ）が利用可能である場合、それは、前景の領域１４１６から背景の領域１４１８を区別してよい。第１のパスにおいて、「ｎ＋３」におけるＦピクチャ（１４０８）の全体（又は実質的に全体、又はほとんど）は、例えば、背景１４１８がより高い品質でコーディングされるが、前景１４１６がより低い品質でコーディングされるような手法で、コーディングされる。そして、完全にデコードされた「ｎ＋３」におけるＦピクチャ（１４０８）は、矢印１４２１によって示されるような時間「ｎ＋１」におけるＰピクチャ（１４０４）に加えて、矢印１４２０によって示されるように、時間「ｎ＋５」におけるＰピクチャ（１４１２）の予測ための参照として用いられ得る。いくつかはより低い品質コーディングではあるが、フレームの完全にデコードされたここで意味のあるすべての又は実質的にすべてのエリアは、デコードされる。「ｎ＋３」（１４０８）から「ｎ＋５」（１４１２）のより近い時間的な接近に起因して、（両方の場合において、「ｎ＋１」における複数のピクチャ（１４０４）を参照として用いることに加えて）時間的に離れた時間「ｎ」におけるピクチャ（１４０２）を参照として用いることと比較して、時間「ｎ＋５」におけるＰピクチャ（１４１２）の改善されたコーディングがなされ得る。
第２のパスにおいて、「ｎ＋５」におけるＰピクチャ（１４１２）のコーディングの後、時間「ｎ＋３」におけるＦピクチャ（１４０８）に関して、前景の領域１４２８は、破線の矢印１４２６によって示されるような「ｎ＋５」におけるＰピクチャ（１４１２）、「ｎ＋３」におけるＰＩピクチャ（１４３２）、及び破線の矢印１４１６によって示されるような「ｎ＋１」におけるＰピクチャ（１４０４）を参照として用いて差分信号をコーディングすることによって、品質において強化され得る。しかし、これは、「ｎ＋３」におけるＦピクチャ（１４０８）が、前景のツーパスコーディングにおける固有の冗長性に関連する損失に起因して、少し非効率的にコーディングされる可能性があることを意味する。しかし、Ｐピクチャ（１４１２）において達成されるコーディング利得が、（明示的に送信される場合）セグメンテーションマスクのコストを加えた「ｎ＋３」におけるＦピクチャ（１４０８）のコーディング効率の損失を上回ることが予測される。
他の例によれば、時間「ｎ＋３」におけるＦピクチャ（１４０８）は、第１のパスにおける背景１４１８と比較して、より低い品質でコーディングされた（「ｎ＋５」におけるＰピクチャ（１４１２）の予測のために参照として用いられた「ｎ＋３」における第１のパスのＦピクチャ（１４０８）でデコードされた）前景１４１６を有してよい。これは、「ｎ＋５」におけるＰピクチャ（１４１２）をエンコードした後の時間「ｎ＋３」におけるＦピクチャ（１４０８）の第２のパスのコーディングにおける前景（１４２８）のコーディング品質の強化が後に続いてよい。別のやり方では、その逆も可能であり、第１のパスにおいて、背景１４１８がより低い品質でコーディングされ得るが、前景１４１６／１４２８が高い品質でコーディングされ得る。そのような構成において、時間ｎ＋３におけるＦピクチャ（１４０８）についての第２のパスは、時間ｎ＋５におけるＰピクチャ（１４１２）がすでにコーディング／デコードされた後に、背景のコーディングを洗練するために用いられ得る。実際には、用いるべき構成の最良の選択は、上で説明されたようなコンテンツの複数の特性に依存し得る。
図１５を参照すると、ピクチャ構造１３００及び１４００に類似のピクチャ構造１５００は、Ｐピクチャ及び複数の進化型のＦピクチャ（複数の進化型のＢピクチャをもたらすＢピクチャにも適用可能）を有する。ピクチャ構造１５００は、時間「ｎ」（１５０２）、「ｎ＋１」（１５０４）、及び「ｎ＋５」（１５１２）におけるＰピクチャ、並びに時間「ｎ＋２」（１５０６）、「ｎ＋３」（１５０８）、及び「ｎ＋４」（１５１０）におけるＦピクチャを有し、「ｎ＋２」（１５０６）及び「ｎ＋４」（１５１０）におけるＦピクチャは、非参照Ｆピクチャであるように示される（それらは任意のピクチャの予測のための参照として用いられない）のに対して、時間「ｎ＋３」におけるＦピクチャ（１５０８）は、参照Ｆピクチャである。ピクチャ構造１５００は、例えば、矢印１５１４によって示されるように時間「ｎ＋３」におけるＦピクチャ（１５０８）、及び矢印１５２０によって示されるように時間「ｎ＋５」におけるＰピクチャ（１５１２）の部分チェーンコーディングを伴うハイブリッドである。ピクチャ構造１５００は、時間「ｎ＋２」（１５０６）及び「ｎ＋４」（１５１０）における複数のピクチャの部分階層／ピラミッドコーディング１５４０も用いる。システムが、ＮＧＶ及びＨＥＶＣの両方が３つより多い参照をサポートし、特に、ＮＧＶが最大４つの現実の参照をサポートし、ＨＥＶＣが最大５つの参照をサポートする場合のような、再構成されるべきフレームに関連付けられる３つ又はより多い参照の使用をサポートする場合、ピクチャ構造１５００は、マルチ参照スキーム１５３８を採用してもよい。したがって、図示された例におけるマルチ参照コーディングに関して、Ｆピクチャ（１５０６）、１５０８、及び１５１０は、矢印１５２１、１５２３、及び１５２５によって示されるように、それぞれがＰピクチャ１５０２を追加の参照として用いてよい。ピクチャ構造１５００に対するコーディングの順序、及び回りまわって関連する依存は、矢印１５２９によって示されるように参照としてＰピクチャ１５０２を用いた、時間「ｎ＋１」におけるＰピクチャ（１５０４）が後に続く時間「ｎ」におけるＰピクチャ（１５０２）のコーディングを含む（時間「ｎ」及び時間「ｎ＋１」の表記は、例として示されるだけであり、これらの２つのＰピクチャの間に「Ｆ」ピクチャがあり得ないことを示唆しない）。次に、第１のパスを形成するために、コーディング順序は、矢印１５１４によって示されるような参照１５０６による、及び利用可能な場合には、矢印１５２３によって示されるような参照１５０２による時間「ｎ＋３」におけるＦピクチャ（１５０８）のコーディングを含んでよい。これは、矢印１５２０、１５２７、及び／又は１５３１によって示されるような時間「ｎ＋５」におけるＰピクチャ（１５１２）のコーディングが後に続いてよい。Ｐピクチャ１５１２がデコードされると、時間「ｎ＋３」におけるＦピクチャ（１５０８）が少なくとも参照１５１２（矢印１５２６）、参照１５０４（矢印１５１６）、及び修正済みＰＩピクチャ１５３２を用いてコーディングされ得るように、第２のパスが形成され得る。これは、時間「ｎ＋２」（１５０６）における及び時間「ｎ＋４」（１５１０）におけるＦピクチャのコーディングが後に続いてよい。したがって、時間「ｎ＋３」におけるＦピクチャ（１５０８）は、次に説明されるようなこの構造によって全体の圧縮ゲインを改善する目的で２つのパスでコーディングされる。
ハイブリッドピクチャ構造１５００は、修正済み（モーフィング済み及び合成済み）マルチ参照予測、及びツーパスコーディングを伴う複数の進化型のＦピクチャを有してよい。一例によれば、任意のピクチャのコーディングに関して、３つ又は４つのデコードされたフレームを有するマルチ参照構造が参照として用いられると仮定する。例えば、ピクチャ構造１５００に関して、及び時間「ｎ＋３」におけるＦピクチャ（１５０８）の（第１のパスにおける）コーディングに関して、複数の参照は、時間「ｎ」（１５０２）及び「ｎ＋１」（１５０４）におけるＰピクチャ、並びに時間「ｎ−１」におけるピクチャ（不図示）であってよい。また、フレーム「ｎ＋３」に対するセグメンテーションマスク（又は境界マップ）が、背景の領域１５１８を前景の領域１５１６から区別するために利用可能であると仮定する。第１のパスにおいて、「ｎ＋３」におけるＦピクチャ（１５０８）の背景の領域１５１８は、時間「ｎ＋５」におけるＰピクチャ（１５１２）の予測に利用可能になるようにコーディングされる。述べられたように、Ｐピクチャ１５１２は、（第１のパスにおいて）部分的にコーディングされた時間「ｎ＋３」におけるＦピクチャ（１５０８）だけでなく、「ｎ」（１５０２）及び「ｎ＋１」（１５０４）におけるＰピクチャを参照として用いることによって形成され得る。「ｎ＋３」（１５０８）から「ｎ＋５」（１５１２）のより近い時間的な接近に起因して、時間「ｎ＋５」におけるＰピクチャ（１５１２）のコーディングは、（両方の場合において、「ｎ」（１５０２）及び「ｎ＋２」（１５０６）におけるピクチャを参照として用いることに加えて、）時間的に離れた時間「ｎ−１」におけるピクチャを参照として用いることと比較して改善され得る。「ｎ＋５」におけるＰピクチャ（１５１２）のコーディングの後、時間「ｎ＋３」におけるＦピクチャ（１５０８）の残りの領域（例えば、前景１５２８）は、「ｎ」（１５０２）及び「ｎ＋１」（１５０４）におけるＰピクチャ並びに時間（ｎ＋３）におけるＰＩピクチャ（１５３２）を用いることに加えて、「ｎ＋５」におけるＰピクチャ（１５１２）を用いてコーディングされる。しかし、これは、「ｎ＋３」におけるＦピクチャ（１５０８）が、時間「ｎ＋５」におけるＰピクチャ（１５１２）の全体が参照として利用可能にされる階層／ピラミッドとしてコーディングされるときと比較して、「ｎ＋３」におけるＦピクチャ（１５０８）が少し非効率的にコーディングされる可能性があることを意味する。しかし、Ｐピクチャにおいて達成されるコーディング利得が、（明示的に送信される場合）セグメンテーションマスクのコストを加えた「ｎ＋３」におけるＦピクチャ（１５０８）のコーディング効率の損失を上回ることが予測される。
他の例によれば、時間「ｎ＋２」における非参照Ｆピクチャ（１５０６）は、時間「ｎ＋１」における前のデコードされたＰピクチャ（１５０４）、時間「ｎ＋３」における次のデコードされたＦピクチャ（１５０８）、時間「ｎ＋２」における共存ＰＩピクチャ（１５３０）、及び時間「ｎ＋５」におけるＰピクチャ（１５１２）（矢印不図示）を用いて、第１及び第２のパスの組み合わせでコーディングされてよい。同様に、時間「ｎ＋４」における非参照Ｆピクチャ（１５１０）は、時間「ｎ＋１」におけるＰピクチャ（１５０４）（矢印なし）、時間「ｎ＋３」における前のデコードされたＦピクチャ（１５０８）、時間「ｎ＋４」における共存ＰＩピクチャ（１５３４）、及び時間「ｎ＋５」における次のＰピクチャ（１５１２）を用いて、第１及び第２のパスの組み合わせでコーディングされてよい。
ピクチャ構造１５００は、ピクチャ構造１３００のように、背景対前景によって分割されたセグメントを用いて開示されたが、ピクチャ構造１５００は、コーディングの品質によって決定されるセグメント分割に代えて、ピクチャ構造１４００によって提供されたセグメント分割を有し得る。また、ツーパスコーディングは、各場合において開示されたが、２つより多いパスが提供されてよく、それら自体が１つより多い又は多くないパスにおいてコーディングされる参照を用いること含むことが理解される。また、ピクチャ構造１３００、１４００、及び１５００は、セグメント化された前景及び背景の領域のツーパスコーディング又はマルチパスコーディングがＦピクチャに適用可能であることを示す。Ｂピクチャへの応用は、下で説明される。
図１６を参照すると、エンコーダ１００のようなエンコーダに対する動き推定及び補償予測サブシステム（ＭＥＣＰＳ）１６００は、ＮＧＶコーデック、階層及び／又はチェーンの複数のピクチャ、及び修正済み（モーフィング済み又は合成済み）マルチ参照予測を拡張する複数の進化型の（ツーパス又はマルチパス）Ｆピクチャをサポートする。ＮＧＶコーデックは、Ｉ、Ｐ、及びＦピクチャ、現実の参照を用いて生成された複数のモーフィング済み参照ピクチャ又は複数の合成済み参照画像を有する複数の修正済みマルチ参照もサポートする。このサブシステム１６００は、複数のマルチ参照フレームストア及びフレームセレクタ１６０２（フレームストアユニット又はマルチ参照制御装置とも称される）、及び依存ロジックユニット１６０４（ピクチャシーケンシングロジックユニット、又は階層／チェーンピクチャ構造及び修正マルチ参照予測における進化型ツーパスｆピクチャ、ｆピクチャ、ｐピクチャに対する依存ロジック、又は単純に依存ロジックユニットとも称される）を有する。マルチ参照制御装置１６０２は、参照として用いられるためのデコードされた複数のフレームを保持し、依存ロジックユニット１６０４は、再構成されるフレームに複数の参照フレームを割り当てる複数のインデックスを有し、このタスクは、同様に、マルチ参照制御装置１６０２によって実行されてよい。サブシステム１６００は、モーフィング及び合成パラメータ推定部及びフレームジェネレータ１６０６（モーフィング（ＧＣ、ＢＣ、ＲＣ、ＤＣ）及び合成（ＳＲ及び／又はＰＩ）パラメータ推定部及びフレームジェネレータとも称される）を有してもよい。このユニット１６０４は、複数の修正済み参照フレームを提供するために複数のパラメータを用いる。サブシステム１６００は、動き推定部１６０８（二分木パーティションのブロック動き推定ユニット又は動き推定部とも称される）、及び動き補償ユニット１６１０（補償予測ユニット又は動き補償予測部及び補間予測部とも称される）を有してもよい。
サブシステム１６００の動作は、次のように説明される。デコードされた複数のフレームは、マルチ参照制御装置１６０２に入り、（依存ロジックユニット１６０４によって特定されるような）複数の参照フレームとして用いられる複数のフレームは、制御装置１６０２に格納される。さらに、予測されてコーディングされるフレームの位置及びランクに依存して、複数の参照フレームは、エンコードパラメータ及び適応選択により依存ロジックユニット１６０４によって特定される。モーフィング及び合成パラメータ推定部及びフレームジェネレータ１６０６は、複数のモーフィング及び合成パラメータを計算し、複数のモーフィング済み参照ピクチャ及び複数の合成済みピクチャを生成する。動き推定ユニット１６０８は、複数の動きベクトルを生成し、必要に応じて動き補償予測又は補間された予測を生成する動き補償ユニット１６１０に、元のフレーム及び複数の動きベクトルを渡す。ツーパス又はマルチパスの複数の進化型のＦピクチャに関して、動き推定及び補償が、複数の進化型のＦピクチャに用いられる構成及び処理されている「パス」に依存する前景、背景、又は両方の領域について実行され得るように、セグメンテーションマスク（ｓｅｇｍｓｋ）信号は、前景及び／又は背景の情報をモニタするために用いられる。
図１７を参照すると、デコーダに対する動き補償予測サブシステム１７００は、ツーパス又はマルチパスコーディングを伴う複数の進化型のＦピクチャをサポートし、ＮＧＶコーデックを拡張する。ＮＧＶコーデックは、階層及び／又はチェーンの複数のピクチャ、現実の参照を用いて生成される修正済み（モーフィング済み又は合成済み）マルチ参照予測、並びにＩ、Ｐ、及びＦピクチャをサポートする。このサブシステム１７００は、複数のマルチ参照フレームストア及びフレームセレクタ１７０２（フレームストアユニット又はマルチ参照制御装置とも称される）、及び依存ロジックユニット１７０４（ピクチャシーケンシングロジックユニット、又は階層／チェーンピクチャ構造及び修正マルチ参照予測における進化型ツーパスｆピクチャ、ｆピクチャ、ｐピクチャに対する依存ロジック、又は単純に依存ロジックユニットとも称される）を有する。マルチ参照制御装置１７０２は、参照として用いられるためのデコードされた複数のフレームを保持し、依存ロジックユニット１７０４は、再構成されるフレームに複数の参照フレームを割り当てる複数のインデックスを有し、このタスクは、同様に、マルチ参照制御装置１７０２によって実行されてよい。サブシステム１７００は、モーフィング及び合成パラメータ推定部及びフレームジェネレータ１７０６（モーフィング（ＧＣ、ＢＣ、ＲＣ、ＤＣ）及び合成（ＳＲ及び／又はＰＩ）パラメータ推定部及びフレームジェネレータとも称される）を有してもよい。このユニット１７０４は、複数の修正済み参照フレームを提供するために複数のパラメータを用いる。サブシステム１７００は、動き補償ユニット１７０８（補償予測ユニット又は動き補償予測部及び補間予測部とも称される）を有してもよい。
サブシステム１７００の動作は、次のように説明される。デコードされた複数のフレームは、マルチ参照制御装置１７０２に入り、（依存ロジックユニット１７０４によって特定されるような）複数の参照フレームとして用いられる複数のフレームは、制御装置１７０２に格納される。さらに、予測されてコーディングされるフレームの位置及びランクに依存して、複数の参照フレームは、エンコードパラメータ及び適応選択により依存ロジックユニット１７０４によって特定される。モーフィング及び合成パラメータ推定部及びフレームジェネレータ１７０６は、複数のモーフィング及び合成パラメータを計算し、複数のモーフィング済み参照ピクチャ及び複数の合成済みピクチャを生成する。複数の元のフレーム及び複数の動きベクトルｍｖは、必要に応じて動き補償予測又は補間された予測を生成する動き補償ユニット１７０８に提供される。ツーパス又はマルチパスの複数の進化型のＦピクチャに関して、動き補償が、複数の進化型のＦピクチャに用いられる構成及び処理されている「パス」に依存する前景、背景、又は両方の領域について実行され得るように、セグメンテーションマスク（ｓｅｇｍｓｋ）信号は、前景及び／又は背景の情報をモニタするために用いられる。
図１８を参照すると、（階層１８４０及び柔軟な）ピクチャコーディング構造１８００のハイブリッドのセクションは、Ｐ及びＢピクチャのコーディング、マルチ参照予測１８３８の使用、及びツーパスコーディングされたＢピクチャを用いる。例えば、時間間隔「ｎ」（１８０２）、「ｎ＋１」（１８０４）、「ｎ＋５」（１８１２）におけるピクチャは、Ｐピクチャであり、時間間隔「ｎ＋２」（１８０６）、「ｎ＋３」（１８０８）、及び「ｎ＋４」（１８１０）における他のピクチャは、Ｂピクチャである。時間間隔「ｎ＋２」（１８０６）及び「ｎ＋４」（１８１０）におけるＢピクチャは、他のピクチャの予測に用いられない非参照Ｂピクチャであり、時間間隔「ｎ＋３」におけるＢピクチャは、進化型の（ツーパス又はマルチパス）Ｂピクチャ１８０８である。さらに、予測されてコーディングされる単一のフレームは、複数のフレームの高効率な予測及びコーディングのために、３つ又は４つの参照のような複数の参照を有してよい。ツーパス（又はマルチパス）Ｂピクチャ以外の、Ｐ及びＢピクチャを用いるコーディング環境の残りは、ＨＥＶＣを含む既存のＭＰＥＧ規格と同様でよい。このコーディング構造を示す主な目的は、ＨＥＶＣ規格が、Ｂピクチャのコーディングのように、進化型の（ツーパス又はマルチパス）Ｂピクチャをもたらすツーパス又はマルチパスのピクチャコーディングのアプローチで拡張され得ることを示すことである。ピクチャシーケンス１８００を用いる複数のツーパスＢピクチャの詳細な動作は、前景及び背景のコーディングがツーパスにおいて分けられるピクチャシーケンス１３００のような、又はフレーム全体が部分を除いてより低い品質でコーディングされて第２のパスで通常にされるか強化されるピクチャシーケンス１４００のようなコーディング及びセグメンテーションを用いて実行されてよい。後者の例は、ピクチャシーケンス１８００に対して下で用いられる。
ピクチャシーケンス１８００に関して、時間「ｎ＋１」におけるＰピクチャ（１８０４）は、時間「ｎ」における過去のデコードされたＰピクチャ（１８０２）、及び利用可能であれば他の過去のデコードされたピクチャを用いることによって、通常のＰピクチャコーディング１８３６でコーディングされる。次に、第１のパスに関して、時間「ｎ＋３」におけるＢピクチャ（１８０８）は、ピクチャ全体又は実質的にピクチャ全体をコーディングする参照として、少なくとも、矢印１８１８によって示されるような時間「ｎ＋１」におけるデコードされたＰピクチャ（１８０４）、及び矢印１８２１によって示されるような時間「ｎ」（１８０２）を用いてコーディングされる。ただし、前景の領域１８１６及び背景の領域１８１４がセグメンテーションマスク（ｓｅｇｍｓｋ）情報を用いて異なる品質で全てコーディングされる。他の過去のフレームは、同様に用いられてよい。次に、時間「ｎ＋５」におけるＰピクチャ（１８１２）がコーディングされる。Ｐピクチャに代えて、ＨＥＶＣは、汎用のＢピクチャの使用を許可する。いずれの場合においても、そのピクチャは、矢印１８２３によって示されるような時間「ｎ」（１８０２）、時間「ｎ＋１」（１８０４）（矢印不図示）におけるデコードされた複数のフレーム、及び矢印１８２０によって示されるような時間「ｎ＋３」（１８０８）における第１のパスのピクチャを少なくとも用いてコーディングされる。時間「ｎ＋５」におけるＰピクチャ（１８１２）をエンコードした後、第２のパスは、矢印１８２５によって示されるような時間「ｎ」（１８０２）、矢印１８１６によって示されるような「ｎ＋１」（１８０４）、矢印１８２６によって示されるような「ｎ＋５」（１８１２）におけるピクチャ、及び第１のパスのｎ＋３自体（前景１８１６を有する１８０８）を参照として用いて、時間「ｎ＋３」におけるＢピクチャ（１８０８）を引き受ける。これらの参照で、改善された品質の前景１８２８が、コーディングによって確立される。非参照Ｂピクチャは、次にコーディングされる。時間「ｎ＋２」におけるＢピクチャ（１８０６）のコーディングに関して、少なくとも時間「ｎ＋１」（１８０４）及び「ｎ＋３」（１８０８）におけるデコードされた隣接するピクチャ、並びに時間「ｎ＋５」におけるピクチャ（１８１２）が用いられてよい。同様に、時間「ｎ＋４」におけるＢピクチャ（１８１０）のコーディングに関して、少なくとも時間「ｎ＋３」（１８０８）及び「ｎ＋５」（１８１２）におけるデコードされた隣接するピクチャ、並びに時間「ｎ＋１」におけるピクチャ（１８０４）が用いられてよい。上記のとおり、それが時間的により近いので、このアプローチで、時間「ｎ＋３」におけるＢピクチャ（１８０８）に対する非常に小さい品質の損失は、Ｂピクチャ１８０８によって時間「ｎ＋５」におけるピクチャ（１８１２）のコーディングにおいて得られるより大きいゲインによって容易に相殺される。
図１９を参照すると、ＨＥＶＣ規格エンコーダのようなエンコーダに対する動き推定及び補償予測サブシステム（ＭＥＣＰＳ）１９００は、ＨＥＶＣ又はＭＰＥＧ−４コーデック、階層及び／又は柔軟なピクチャ構造、及びマルチ参照予測を拡張する複数の進化型の（ツーパス又はマルチパス）Ｂピクチャをサポートする。コーデックは、Ｉ、Ｐ、及びＢピクチャもサポートし、ピクチャをコーディングするために４つから５つの（修正されていないような）現実の参照を用いてよい。このサブシステム１９００は、複数のマルチ参照フレームストア及び複数のフレーム選択リスト１９０２（フレームストアユニット又はマルチ参照制御装置とも称される）、及びＢピクチャに対する依存ロジックユニット１９０４（ピクチャシーケンシングロジックユニット、又は階層／柔軟ピクチャ構造及びマルチ参照予測における進化型ツーパスＢピクチャ、Ｂピクチャ、Ｐピクチャに対する依存ロジック又は単純に依存ロジックユニットとも称される）を有する。マルチ参照制御装置１９０２は、参照として用いられるためのデコードされた複数のフレームを保持し、依存ロジックユニット１９０４は、再構成されるフレームに複数の参照フレームを割り当てる複数のインデックスを有し、このタスクは、同様に、マルチ参照制御装置１９０２によって実行されてよい。サブシステム１９００は、動き推定部１９０６（ブロック動き推定ユニット又は動き推定部予測ユニットパーティションとも称される）、及び動き補償ユニット１９０８（動き補償予測ユニット又は動き補償（ＭＣ）予測部及び予測ユニットパーティションのＭＣ双方向予測部とも称される）を有してもよい。
サブシステム１９００の動作は、次のように説明される。デコードされた複数のピクチャは、マルチ参照制御装置１９０２に入り、（依存ロジックユニット１９０４によって特定される）参照として用いられる複数のピクチャは、このユニットに格納される。さらに、（例えば、フレーム階層における）フレームの位置に依存して、実行される必要がある予測に対して、複数の参照フレームは、エンコードパラメータ及び適応選択により依存ロジックユニット１９０４によって特定される。特定された複数の参照画像は、動き推定ユニット１９０６及び動き補償ユニット１９０８によって直接用いられる。動き推定ユニット１９０６は、動きベクトルを生成し、必要に応じて動き補償予測又は双方向予測を生成する動き補償ユニット１９０８に、複数の元のフレーム及び複数の動きベクトルを渡す。進化型のツーパスＢピクチャに関して、動き推定及び補償が、複数の進化型のＦピクチャに用いられる構成及び処理されている「パス」に依存する前景、背景、又は両方の領域について実行され得るように、セグメンテーションマスク（ｓｅｇｍｓｋ）信号は、前景及び／又は背景の情報をモニタするために用いられる。
図２０を参照すると、動き補償予測サブシステム（ＭＣＰＳ）２０００は、階層及び／又は柔軟なピクチャ構造、及びマルチ参照コーディングをサポートするＨＥＶＣ規格を拡張する進化型のツーパス又はマルチパスのＢピクチャをサポートする。ＨＥＶＣ規格は、Ｉ、Ｐ、及びＢピクチャ、並びに４つから５つの現実の（又は修正されていない）参照を用いるマルチ参照もサポートする。このサブシステム２０００は、複数のマルチ参照フレームストア及び複数のフレーム選択リスト２００２（フレームストアユニット又はマルチ参照制御装置とも称される）、及びＢピクチャに対する依存ロジックユニット２００４（ピクチャシーケンシングロジックユニット、又は階層／柔軟ピクチャ構造及びマルチ参照予測における進化型ツーパスＢピクチャ、Ｂピクチャ、Ｐピクチャに対する依存ロジック、又は単純に依存ロジックユニットとも称される）を有する。マルチ参照制御装置２００２は、参照として用いられるためのデコードされた複数のフレームを保持し、依存ロジックユニット２００４は、再構成されるフレームに複数の参照フレームを割り当てる複数のインデックスを有し、このタスクは、同様に、マルチ参照制御装置２００２によって実行されてよい。サブシステム２０００は、動き補償ユニット２００６（動き補償予測ユニット又は動き補償（ＭＣ）予測部及び予測ユニットパーティションのＭＣ双方向予測部とも称される）を有してもよい。
デコーダサブシステム２０００の動作は、次のように説明される。デコードされた複数のピクチャは、マルチ参照制御装置２００２に入り、（依存ロジックユニット２００４によって特定される）参照として用いられる複数のピクチャは、このユニットに格納される。さらに、（例えば、フレーム階層における）フレームの位置に依存して、実行される必要がある予測に対して、複数の参照フレームは、エンコードパラメータ及び適応選択により依存ロジックユニット２００４によって特定される。特定された複数の参照画像及びデコードされた動きベクトルは、動き補償ユニット２００６によって直接用いられる。動き補償ユニット２００６は、必要に応じて動き補償予測又は双方向予測を生成する。進化型のツーパスＢピクチャに関して、動き推定及び補償が、複数の進化型のＦピクチャに用いられる構成及び処理されている「パス」に依存する前景、背景、又は両方の領域について実行され得るように、セグメンテーションマスク（ｓｅｇｍｓｋ）信号は、前景及び／又は背景の情報をモニタするために用いられる。
ここでの例示的な処理の実施例は、説明された順序で示された全ての動作を扱うことを含んでよいが、本開示は、この点で限定されず、様々な例において、ここでの例示的な処理の実施例は、示された動作のサブセットのみを扱うことを含んでよく、及び／又は説明されたものとは異なる順序であってよい。
ここで説明されたシステムの様々なコンポーネントは、ソフトウェア、ファームウェア、及び／又はハードウェア及び／又はそれらの任意の組み合わせで実装されてよい。例えば、ここで説明されたシステムの様々なコンポーネントは、少なくとも部分的に、例えば、スマートフォンのようなコンピューティングシステムにおいて見られ得るように、コンピューティングシステムオンチップ（ＳｏＣ）のハードウェアによって提供されてよい。当業者は、ここで説明されたシステムが対応する図面に示されていない追加のコンポーネントを含み得ることを認識し得る。例えば、ここで説明されたシステムは、明確さのために示されていない、ビットストリームマルチプレクサ又はデマルチプレクサモジュール及びその類のもののような追加のコンポーネントを含んでよい。
加えて、ここで説明された複数の動作の任意の１又は複数は、１又は複数のコンピュータプログラムプロダクトによって提供される複数の命令に応えて扱われてよい。そのような複数のプログラムプロダクトは、例えば、プロセッサ等により実行される場合、ここで説明される機能性をもたらし得る命令を提供する信号記録媒体を含んでもよい。コンピュータプログラムプロダクトは、１又は複数の機械可読媒体の任意の形式で提供されてよい。したがって、例えば、１又は複数のプロセッサコアを含むプロセッサは、１又は複数の機械可読媒体によってプロセッサに伝達されるプログラムコード及び／又は命令又は命令セットに応えて、ここでの例示的な処理の動作の１又は複数を扱ってよい。一般的に、機械可読媒体は、ここで説明されたデバイス及び／又はシステムのいずれかに、ここで説明されたようなビデオシステムの少なくとも部分を実装させ得るプログラムコード及び／又は命令又は命令セットの形式でソフトウェアを伝達し得る。
図２１は、本開示の少なくともいくつかの実施例に従って配置される、例示的なビデオコーディングシステム２１００を示す図である。図示された実施例において、ビデオコーディングシステム２１００は、（複数の）画像処理デバイス２１０１、ビデオエンコーダ１００、ビデオデコーダ２００（及び／又は（複数の）処理ユニット２１２０のロジック回路２１５０を用いて実装されるビデオコーダ）、アンテナ２１０２、１又は複数のプロセッサ２１０３、１又は複数のメモリ記憶装置２１０４、及び／又はディスプレイデバイス２１０５を含んでよい。
図示されるように、（複数の）画像処理デバイス２１０１、アンテナ２１０２、（複数の）処理ユニット２１２０、ロジック回路２１５０、ビデオエンコーダ１００、ビデオデコーダ２００、（複数の）プロセッサ２１０３、（複数の）メモリ記憶装置２１０４、及び／又はディスプレイデバイス２１０５は、互いに通信可能であってよい。説明されるように、ビデオエンコーダ１００及びビデオデコーダ２００の両方とともに図示されたが、ビデオコーディングシステム２１００は、様々な例において、ビデオエンコーダ１００のみ又はビデオデコーダ２００のみを含んでよい。さらに、ビデオエンコーダ及び／又はビデオデコーダに関して説明されたが、システム２１００は、いくつかの例において、図７のビデオエンコーダ７００及び／又は図８のデコーダ８００を実装してよい。
図示されるように、いくつかの例において、ビデオコーディングシステム２１００は、アンテナ２１０２を含んでよい。アンテナ２１０２は、例えば、ビデオデータのエンコードされたビットストリームを送信又は受信するように構成されてよい。さらに、いくつかの例において、ビデオコーディングシステム２１００は、ディスプレイデバイス２１０５を含んでよい。ディスプレイデバイス２１０５は、ビデオデータを提示するように構成されてよい。図示されるように、いくつかの例において、ロジック回路２１５０は、（複数の）処理ユニット２１２０を用いて実装されてよい。（複数の）処理ユニット２１２０は、特定用途向け集積回路（ＡＳＩＣ）ロジック、（複数の）グラフィックスプロセッサ、（複数の）汎用プロセッサ、又はその類のものを含んでよい。ビデオコーディングシステム２１００は、任意的な（複数の）プロセッサ２１０３を含んでもよく、特定用途向け集積回路（ＡＳＩＣ）ロジック、（複数の）グラフィックスプロセッサ、（複数の）汎用プロセッサ、又はその類のものを同様に含んでもよい。いくつかの例において、ロジック回路２１５０は、ハードウェア、ビデオコーディング専用ハードウェア、又はその類のもので実装されてよく、（複数の）プロセッサ２１０３は、汎用ソフトウェア、オペレーティングシステム、又はその類のもので実装されてよい。加えて、（複数の）メモリ記憶装置２１０４は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）又は不揮発性メモリ（例えば、フラッシュメモリなど）及びその他のようなメモリの任意のタイプであってよい。非限定的な例において、（複数の）メモリ記憶装置２１０４は、キャッシュメモリによって実装されてよい。いくつかの例において、ロジック回路２１５０は、（複数の）メモリ記憶装置２１０４にアクセスしてよい（例えば、画像バッファの実施例に関して）。他の例において、ロジック回路２１５０及び／又は（複数の）処理ユニット２１２０は、画像バッファ及びその類のものの実施例に関して、複数のメモリ記憶装置（例えば、キャッシュ又はその類のもの）を含んでよい。
いくつかの例において、ロジック回路で実装されるビデオエンコーダ１００は、（例えば、（複数の）処理ユニット２１２０又は（複数の）メモリ記憶装置２１０４を用いる）画像バッファ、及び（例えば、（複数の）処理ユニット２１２０を用いる）グラフィックス処理ユニットを含んでよい。グラフィックス処理ユニットは、画像バッファに通信可能に連結されてよい。グラフィックス処理ユニットは、図１、３、５、及び８に関して説明されたような様々なモジュールを具現化するために、ロジック回路２１５０で実装されるようなビデオエンコーダ１００（又はエンコーダ７００）を含んでよい。例えば、グラフィックス処理ユニットは、コーディングパーティションジェネレータロジック回路、適応変換ロジック回路、コンテンツプレアナライザ、エンコードコントローラロジック回路、適応エントロピーエンコーダロジック回路などを含んでよい。
ロジック回路は、ここで説明される様々な動作を実行するように構成されてよい。ロジック回路は、ここで説明されたエンコーダ１００又は他の複数のエンコーダサブシステムを含んでよく、依存ロジック１２８によって提供されるインデックス付けに従って、再構成された複数のフレームを現在のフレームに対する参照フレームとして選択し得るマルチ参照フレームストレージ及びフレームセレクタ１１９を含んでよい。そして、モーフィング及び合成アナライザ１２０又は１２１は、複数の修正済み参照フレームを形成し、そして、動き推定部１２２は、現在のフレームのための複数の動き予測を形成するために複数の修正済み参照フレームを用いる。同様に、エンコーダにおけるアウトオブループ参照フレームの修正のためのモーフィング及び合成ジェネレータ１３０及び１３２に関する。グラフィックス処理ユニット２１２０、又はより具体的には、ロジック回路２１５０は、現在のフレームにおけるコンテンツに関連付けられる少なくとも第１及び第２のセグメントにピクセルフレームを分割するためにセグメンタを有してもよい。そして、複数のセグメントの定義は、例えば、図１−２に示されるようなそれらを必要とする各ユニット又はモジュールに提供されてよい。依存ロジック又は複数のマルチ参照制御装置のようなユニットは、どのフレームがセグメントに対して複数の参照フレームになるべきかを示すために提供されてよい。別のやり方ではグラフィックス処理ユニットは、ピクセルデータの複数のフレームのシーケンスに対するデータを受信し、現在のフレームの第１のセグメントに対する動きデータを提供し、第１のセグメントと異なる現在のフレームの少なくとも第２のセグメントをコーディングするために動きデータを提供するように構成されてよく、シーケンスは、表示の順序を有し、各フレームは、表示の順序の時間的な位置に関連付けられ、第１のセグメントは、フレーム上に示されるコンテンツに関連付けられ、少なくとも第１及び第２のセグメントの両方からの動きデータは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられ、複数のセグメントの少なくとも１つをコーディングするための複数の参照フレームの使用は、複数のセグメントの他のものに対する複数の参照フレームと異なる時間に実行され、モーフィングアナライザは、モーフィング技術を用いるように構成されるか、合成アナライザは、合成技術を用いるように構成されるか、及び両方かの少なくともの１つである。ビデオデコーダ２００は、ここで説明されたものと同様の方法で実装されてよい。
いくつかの例において、ビデオコーディングシステム２１００のアンテナ２１０２は、ビデオデータのエンコードされたビットストリームを受信するように構成されてよい。ビデオコーディングシステム２１００は、アンテナ２１０２に連結されてエンコードされたビットストリームをデコードするように構成されたビデオデコーダ２００（又はデコーダ１８００）を含んでもよい。
複数の実施例において、ここで説明された特徴は、１又は複数のコンピュータプログラムプロダクトによって提供される命令に応えて扱われてよい。そのような複数のプログラムプロダクトは、例えば、プロセッサ等により実行される場合、ここで説明される機能性をもたらし得る命令を提供する信号記録媒体を含んでもよい。コンピュータプログラムプロダクトは、１又は複数の機械可読媒体の任意の形式で提供されてよい。したがって、例えば、１又は複数のプロセッサコアを含むプロセッサは、１又は複数の機械可読媒体によってプロセッサに伝達されるプログラムコード及び／又は命令又は命令セットに応えて、ここで説明された１又は複数の特徴を扱ってよい。一般的に、機械可読媒体は、ここで説明されたデバイス及び／又はシステムのいずれかに、ここで説明された特徴の少なくとも部分を実装させ得るプログラムコード及び／又は命令又は命令セットの形式でソフトウェアを伝達し得る。
図２２は、本開示の少なくともいくつかの実施例に従って配置される、例示的なシステム２２００を示す図である。様々な実施例において、システム２２００は、このコンテキストに限定されないが、システム２２００は、メディアシステムであってよい。例えば、システム２２００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯用情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、自動露出カメラ）、スーパーズームカメラ、デジタル一眼レフ（ＤＳＬＲ）カメラ、及びその他に組み込まれてよい。
様々な実施例において、システム２２００は、ディスプレイ２２２０に連結されたプラットフォーム２２０２を含む。プラットフォーム２２０２は、（複数の）コンテンツサービスデバイス２２３０又は（複数の）コンテンツ配信デバイス２２４０又は他の同様な複数のコンテンツソースのようなコンテンツデバイスからコンテンツを受信してよい。１又は複数のナビゲーション機能を含むナビゲーションコントローラ２２５０は、例えば、プラットフォーム２２０２及び／又はディスプレイ２２２０と情報をやりとりするために用いられてよい。これらのコンポーネントのそれぞれは、下でより詳細に説明される。
様々な実施例において、プラットフォーム２２０２は、チップセット２２０５、プロセッサ２２１０、メモリ２２１２、アンテナ２２１３、ストレージ２２１４、グラフィックスサブシステム２２１５、アプリケーション２２１６、及び／又は無線２２１８の任意の組み合わせを含んでよい。チップセット２２０５は、プロセッサ２２１０、メモリ２２１２、ストレージ２２１４、グラフィックスサブシステム２２１５、複数のアプリケーション２２１６、及び／又は無線機２２１８の間の相互通信を提供してよい。例えば、チップセット２２０５は、相互通信にストレージ２２１４を提供可能なストレージアダプタ（不図示）を含んでよい。
プロセッサ２２１０は、複合命令セットコンピュータ（ＣＩＳＣ）又は縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セットに準拠したプロセッサ、マルチコア、又は任意の他のマイクロプロセッサ又は中央演算処理ユニット（ＣＰＵ）として実装されてよい。様々な実施例において、プロセッサ２２１０は、（複数の）デュアルコアプロセッサ、（複数の）デュアルコアモバイルプロセッサ、及びその他であってよい。
メモリ２２１２は、これらに限定されるものではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）のような揮発性メモリデバイスとして実装されてよい。
ストレージ２２１４は、これらに限定されるものではないが、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、取り付けストレージデバイス、フラッシュメモリ、バッテリバックアップされたＳＤＲＡＭ（同期型ＤＲＡＭ）、及び／又はネットワークアクセス可能ストレージデバイスのような不揮発性ストレージデバイスとして実装されてよい。様々な実施例において、ストレージ２２１４は、例えば、複数のハードドライブが含まれる場合、高価なデジタルメディアに対するストレージ性能の強化された保護を向上させる技術を含んでよい。
グラフィックスサブシステム２２１５は、ディスプレイのために静止画又はビデオのような複数の画像の処理を実行してよい。グラフィックスサブシステム２２１５は、例えば、グラフィックス処理ユニット（ＧＰＵ）又はビジュアル処理ユニット（ＶＰＵ）であってよい。アナログ又はデジタルインターフェースは、グラフィックスサブシステム２２１５とディスプレイ２２２０とを通信可能に連結するために用いられてよい。例えば、インターフェースは、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ディスプレイポート（ＤｉｓｐｌａｙＰｏｒｔ）、無線ＨＤＭＩ（登録商標）、及び／又は複数の無線ＨＤ準拠技術のいずれかであってよい。グラフィックスサブシステム２２１５は、プロセッサ２２１０又はチップセット２２０５に統合されてよい。いくつかの実施例において、グラフィックスサブシステム２２１５は、チップセット２２０５に通信可能に連結されたスタンドアロンデバイスであってよい。
ここで説明される複数のグラフィックス及び／又はビデオ処理技術は、様々なハードウェアアーキテクチャで実装されてよい。例えば、グラフィックス及び／又はビデオ機能は、チップセット内に統合されてよい。代替的には、別個のグラフィックス及び／又はビデオプロセッサが用いられてよい。さらに他の実施例として、複数のグラフィックス及び／又はビデオ機能は、マルチコアプロセッサを含む汎用プロセッサによって提供されてよい。さらなる実施形態において、複数の機能は、家庭用電子デバイスで実装されてよい。
無線機２２１８は、様々な適切な無線通信技術を用いて信号の送信及び受信することが可能である１又は複数の無線機を含んでよい。そのような技術は、１又は複数の無線ネットワークをまたがる通信を包含してよい。例示的な無線ネットワークは、（これらに限定されないが）無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、携帯電話ネットワーク、及び衛星ネットワークを含んでよい。そのような複数のネットワークをまたがる通信では、無線２２１８は、任意のバージョンの１又は複数の適用可能な規格に従って動作してよい。
様々な実施例において、ディスプレイ２２２０は、任意のテレビのタイプのモニタ又はディスプレイを含んでよい。ディスプレイ２２２０は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビのようなデバイス、及び／又はテレビを含んでよい。ディスプレイ２２２０は、デジタル及び／又はアナログであってよい。様々な実施例において、ディスプレイ２２２０は、ホログラフィックディスプレイであってよい。また、ディスプレイ２２２０は、視覚投影を受信し得る透明な面であってよい。そのような投影は、様々な形式の情報、画像、及び／又はオブジェクトを伝達してよい。例えば、そのような投影は、移動拡張現実（ＭＡＲ）アプリケーションの視覚的オーバレイであってよい。１又は複数のソフトウェアアプリケーション２２１６の制御下で、プラットフォーム２２０２は、ディスプレイ２２２０上にユーザインターフェース２２２２を表示してよい。
様々な実施例において、（複数の）コンテンツサービスデバイス２２３０は、任意の国立の、国際の、及び／又は独立のサービスによって提供され、ひいては、例えば、インターネットを介してプラットフォーム２２０２にアクセス可能であってよい。（複数の）コンテンツサービスデバイス２２３０は、プラットフォーム２２０２に及び／又はディスプレイ２２２０に連結されてよい。プラットフォーム２２０２及び／又は（複数の）コンテンツサービスデバイス２２３０は、ネットワーク２２６０へ及びからのメディア情報を通信（例えば、送信及び／又は受信）するために、ネットワーク２２６０に連結されてよい。（複数の）コンテンツ配信デバイス２２４０も、プラットフォーム２２０２に及び／又はディスプレイ２２２０に連結されてもよい。
様々な実施例において、（複数の）コンテンツサービスデバイス２２３０は、デジタル情報及び／又はコンテンツを配信することができるケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、複数のインターネット対応デバイス又は家電製品、及び複数のコンテンツプロバイダとプラットフォーム２２０２及びディスプレイ２２２０との間で、ネットワーク２２６０を介して又は直接に、一方向又は双方向にコンテンツを通信することができる任意の他の類似のデバイスを含んでよい。コンテンツは、コンテンツプロバイダ及びシステム２２００における複数のコンポーネントのいずれか１つへ又はから一方向及び／又は双方向に、ネットワーク２２６０を介して通信されてよいことが理解されるだろう。コンテンツの例は、例えば、ビデオ、音楽、医療、ゲーム情報、及びその他を含む任意のメディア情報を含んでよい。
（複数の）コンテンツサービスデバイス２２３０は、メディア情報、デジタル情報を含むケーブルテレビプログラムのようなコンテンツ、及び／又は他のコンテンツを受信してよい。コンテンツプロバイダの例は、任意のケーブル若しくは衛星テレビ、又は無線若しくはインターネットコンテンツプロバイダを含んでよい。提供される例は、本開示に係る複数の実施例を決して限定するものではない。
様々な実施例において、プラットフォーム２２０２は、１又は複数のナビゲーション機能を有するナビゲーションコントローラ２２５０から制御信号を受信してよい。コントローラ２２５０の複数のナビゲーション機能は、例えば、ユーザインターフェース２２２２と情報をやりとりするために用いられてよい。様々な実施形態において、ナビゲーションコントローラ２２５０は、ユーザがコンピュータに空間（例えば、連続及び多次元）データを入力することを許容するコンピュータハードウェアコンポーネント（特に、ヒューマンインターフェースデバイス）であり得るポインティングデバイスであってよい。複数のグラフィカルユーザインターフェース（ＧＵＩ）、並びに複数のテレビ及び複数のモニタのような多くのシステムは、ユーザが複数の物理的ジェスチャを用いてコンピュータ又はテレビジョンの制御及びそれへのデータの提供を許容する。
コントローラ２２５０の複数のナビゲーション機能の移動は、ポインタ、カーソル、フォーカスリング、又はディスプレイ上に表示される他の視覚的インジケータの移動によって、ディスプレイ（例えば、ディスプレイ２２２０）上で複製されてよい。例えば、ソフトウェアアプリケーション２２１６の制御下で、ナビゲーションコントローラ２２５０上に位置づけられる複数のナビゲーション機能は、ユーザインターフェース２２２２上に表示される仮想的な複数のナビゲーション機能にマッピングされてよい。様々な実施形態において、コントローラ２２５０は、別個のコンポーネントでなくてよいが、プラットフォーム２２０２及び／又はディスプレイ２２２０に統合されてよい。しかし、本開示は、ここで示される又は説明される複数の構成要素又は内容に限定されない。
様々な実施例において、複数のドライバ（不図示）は、例えば、初期起動後に機能が有効にされてボタンが操作されたテレビのように、複数のユーザがプラットフォーム２２０２を即座にオン及びオフにすることを可能にする技術を含んでよい。プログラムロジックは、プラットフォームが「オフ」にされている場合でさえ、プラットフォーム２２０２が複数のメディアアダプタ又は他の（複数の）コンテンツサービスデバイス２２３０又は（複数の）コンテンツ配信デバイス２２４０にコンテンツをストリーミングすることを許容してよい。加えて、チップセット２２０５は、例えば、５．１サラウンドサウンドオーディオ及び／又は高品位７．１サラウンドサウンドオーディオをサポートするハードウェア及び／又はソフトウェアを含んでよい。複数のドライバは、複数の統合グラフィックスプラットフォーム用のグラフィックスドライバを含んでよい。様々な実施形態において、グラフィックスドライバは、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）エクスプレスグラフィックスカードを備えてよい。
様々な実施例において、システム２２００に示される複数のコンポーネントのうちの任意の１又は複数は、統合されてよい。例えば、プラットフォーム２２０２及び（複数の）コンテンツサービスデバイス２２３０は統合されてよく、又は、プラットフォーム２２０２及び（複数の）コンテンツ配信デバイス２２４０は統合されてよく、又は、例えば、プラットフォーム２２０２、（複数の）コンテンツサービスデバイス２２３０、及びコンテンツ配信デバイス２２４０は統合されてよい。様々な実施形態において、プラットフォーム２２０２及びディスプレイ２２２０は、統合されたユニットであってよい。例えば、ディスプレイ２２２０及び（複数の）コンテンツサービスデバイス２２３０は統合されてよく、又はディスプレイ２２２０及び（複数の）コンテンツ配信デバイス２２４０は統合されてよい。これらの例は、本開示を限定することを意味するものではない。
様々な実施形態において、システム２２００は、無線システム、有線システム、又は両方の組み合わせとして実装されてよい。無線システムとして実装される場合、システム２２００は、１又は複数のアンテナ、複数の送信機、複数のレシーバ、複数のトランシーバ、複数の増幅器、複数のフィルタ、複数の制御ロジック、及びその他のような無線共有媒体上で通信することに適した複数のコンポーネント及び複数のインターフェースを含んでよい。無線共有媒体の例は、ＲＦスペクトル及びその他のような無線スペクトルの複数の部分を含んでよい。有線システムとして実装される場合、システム２２００は、複数の入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する複数の物理コネクタ、ネットワークインターフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ及びその類のもののような有線通信媒体を介して通信することに適した複数のコンポーネント及び複数のインターフェースを含んでよい。有線通信媒体の例は、ワイヤ、ケーブル、複数の金属リード、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペアワイヤ、同軸ケーブル、光ファイバ、及びその他を含んでよい。
プラットフォーム２２０２は、情報を通信するために１又は複数の論理又は物理チャンネルを確立してよい。情報は、メディア情報及び制御情報を含んでよい。メディア情報は、ユーザ向けのコンテンツを表す任意のデータを指してよい。コンテンツの例は、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（「Ｅメール」）メッセージ、ボイスメールメッセージ、複数の英数字記号、グラフィックス、画像、ビデオ、テキスト、及びその他からのデータを含んでよい。音声会話からのデータは、例えば、発話情報、複数の沈黙期間、バックグラウンドノイズ、快適ノイズ、複数のトーン、及びその他であってよい。制御情報は、自動化システム向けの複数のコマンド、複数の命令、又は複数の制御語を表す任意のデータを指してよい。例えば、制御情報は、システムを介してメディア情報をルーティングするために、又は予め定められた方法でメディア情報を処理することをノードに指示するために用いられてよい。しかし、複数の実施形態は、図２３に示される又は説明される複数の構成要素又は内容に限定されない。
上述のように、システム２２００は、様々な物理スタイル又はフォームファクタで具現化されてよい。図２３は、システム２３００が具体化され得るスモールフォームファクタデバイス２３００の実施例を示す。様々な実施形態において、例えば、デバイス２３００は、無線機能を有するモバイルコンピューティングデバイスとして実装されてよい。例えば、モバイルコンピューティングデバイスは、処理システム、及び１又は複数のバッテリのような移動式の電源又は電力供給装置を有する任意のデバイスを指してよい。
上述のように、モバイルコンピューティングデバイスの例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯用情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、自動露出カメラ、スーパーズームカメラ、デジタル一眼レフ（ＤＳＬＲ）カメラ）、及びその他を含んでよい。
モバイルコンピューティングデバイスの例は、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、眼鏡コンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、複数の靴コンピュータ、複数の衣服コンピュータ、及び他の複数のウェアラブルコンピュータのような、人に装着されるよう配置される複数のコンピュータを含んでもよい。様々な実施形態において、例えば、モバイルコンピューティングデバイスは、音声通信及び／又はデータ通信だけでなく、複数のコンピュータアプリケーションを実行可能なスマートフォンとして実装されてよい。いくつかの実施形態が、例として、スマートフォンとして実装されるモバイルコンピューティングデバイスを用いて説明され得るが、他の実施形態は、同様に、他の複数の無線モバイルコンピューティングデバイスを用いて実装されてよいことが理解されるだろう。複数の実施形態は、この内容に限定されない。
図２３に示されるように、デバイス２３００は、筐体２３０２、ユーザインターフェース２３１０を含み得るディスプレイ２３０４、入力／出力（Ｉ／Ｏ）デバイス２３０６、及びアンテナ２３０８を含んでよい。デバイス２３００は、複数のナビゲーション機能２３１２を含んでもよい。ディスプレイ２３０４は、モバイルコンピューティングデバイスに適した情報を表示するための任意の適切なディスプレイユニットを含んでよい。Ｉ／Ｏデバイス２３０６は、モバイルコンピューティングデバイスに情報を入力するための任意の適切なＩ／Ｏデバイスを含んでよい。Ｉ／Ｏデバイス２３０６の例は、英数字キーボード、数字キーパッド、タッチパッド、複数の入力キー、複数のボタン、複数のスイッチ、複数のロッカースイッチ、複数のマイク、複数のスピーカ、音声認識デバイス及びソフトウェア、並びにその他を含んでよい。情報は、マイク（不図示）を用いてデバイス２４００に入力されてもよい。そのような情報は、音声認識デバイス（不図示）によってデジタル化されてよい。複数の実施形態は、この内容に限定されない。
様々な実施形態は、複数のハードウェア要素、複数のソフトウェア要素、又は両方の組み合わせを用いて実装されてよい。ハードウェア要素の例は、複数のプロセッサ、複数のマイクロプロセッサ、複数の回路、複数の回路要素（例えば、複数のトランジスタ、複数の抵抗器、複数のコンデンサ、複数のインダクタ、及びその他）、複数の集積回路、複数の特定用途向け集積回路（ＡＳＩＣ）、複数のプログラマブルロジックデバイス（ＰＬＤ）、複数のデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複数のロジックゲート、複数のレジスタ、半導体デバイス、複数のチップ、複数のマイクロチップ、複数のチップセット、及びその他を含んでよい。ソフトウェアの例は、複数のソフトウェアコンポーネント、複数のプログラム、複数のアプリケーション、複数のコンピュータプログラム、複数のアプリケーションプログラム、複数のシステムプログラム、複数の機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、複数のソフトウェアモジュール、複数のルーチン、複数のサブルーチン、複数の関数、複数の方法、複数のプロシージャ、複数のソフトウェアインターフェース、複数のアプリケーションプログラムインターフェース（ＡＰＩ）、複数の命令セット、コンピューティングコード、コンピュータコード、複数のコードセグメント、複数のコンピュータコードセグメント、複数のワード、複数の値、複数の記号、又はそれらの任意の組み合わせを含んでよい。実施形態が複数のハードウェア要素及び／又はソフトウェア要素を用いて実装されるかどうかについて決定することは、所望の計算率、複数の電力レベル、複数の耐熱性、処理サイクルバジェット、複数の入力データレート、複数の出力データレート、複数のメモリリソース、複数のデータバス速度、及び他の設計又は性能制約のような任意の数の要因に従って変化してよい。
少なくとも１つの実施形態の１又は複数の態様は、機械によって読み取られると当該機械にここで説明される複数の技術を実行するロジックを作成させる、プロセッサ内の様々なロジックを表す機械可読媒体上に格納された複数の代表的な命令によって実装されてよい。「ＩＰコア」として知られるそのような表現は、現実にロジック又はプロセッサを作る複数の製造機械にロードされるべく、有形の機械可読媒体に格納され、様々なカスタマ又は製造設備に提供されてよい。他の形態において、非一時的機械可読媒体のような非一時的な物品は、それが一時的な信号それ自体を含まないことを除いては、上述された例のいずれか又は他の例とともに用いられてよい。それば、ＲＡＭ及びその他のような「一時的」な方法でデータを一時的に保持し得る、信号それ自体以外のこれらの要素を含む。
ここで説明された特定の複数の特徴が様々な実施例を参照して説明されたが、この説明は限定的な趣旨で解釈されることは意図されていない。よって、ここで説明された複数の実施例の様々な変更であって、本開示に関連する当業者にとって明らかな変更は、他の複数の実施例と同様に、本開示の趣旨及び範囲内であるとみなされる。
以下の例は、さらなる複数の実施例に関連する。
ビデオコーディングのためのコンピュータ実装方法であって、入力ビデオの順序で複数のフレームを受信する段階と、第１のパスで現在のフレームの第１のセグメントをコーディングする段階であって、第１のセグメントは、フレーム上に示されるコンテンツに関連付けられ、現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、入力ビデオの順序に対して相対的である、段階とを備える。機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する。方法は、少なくとも第２のパスで現在のフレームの少なくとも第２のセグメントをコーディングする段階であって、第２のセグメントは、第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、第１のパス及び第２のパスは、異なる時間に実行され、少なくとも第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階も含む。 方法は、同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、複数のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階を備えてもよい。
他の例によれば、方法は、第１及び第２のセグメントが、少なくとも１つの異なる参照フレームを有し、少なくとも１つの他のフレームに対するコーディングが、現在のフレームの第１及び第２のセグメントに対するコーディングの間に少なくとも部分的に実行され、他のフレームは、Ｐピクチャであり、他のフレームの少なくとも一部が第２のセグメントをコーディングするために参照として用いられることを含んでよい。他のフレームは、将来のフレームであってよく、他のフレームの全てより少ない部分は、デコードされ、現在のフレームの第２のセグメントをコーディングするために参照として用いられる。第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いてコーディングされてよく、第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いてコーディングされてよく、（１）第１及び第２のセグメントの一方が、現在のフレームの背景に関連付けられ、第１及び第２のセグメントのうちの他方は、現在のフレームの前景に関連付けられること、（２）第１のセグメントが、現在のフレームの背景及び前景の両方をコーディングし、第２のセグメントが、背景又は前景の強化された品質のコーディングを提供すること、及び（３）第１のセグメントが、現在のフレームの背景及び前景に対して異なる品質のコーディングを提供し、第２のセグメントが、背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供することのうちの少なくとも１つである。一例によれば、現在のフレームは、（ａ）ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術、及び（ｂ）スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術のうちの少なくとも１つを用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームである。入力ビデオの順序における複数のフレームは、複数の参照フレームと、（ｉ）少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、（ｉｉ）少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、（ｉｉｉ）過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び（ｉｖ）複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディングのうちの少なくとも１つを有するコーディングされる対応するフレームとの間の依存構造が提供される。方法は、前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入する段階を備え、第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングする段階と、複数の矩形をエンコードする段階と、前景オブジェクト領域と背景の領域との間の境界を回復するために、クロマキーカラーを抽出する段階を備え、複数の矩形をデコードする段階とを備えてよい。
コーダは、画像バッファと、画像バッファに通信可能に連結され、モーフィングアナライザ又は合成アナライザ、又は両方と、現在のフレームにおけるコンテンツに関連付けられた少なくとも第１及び第２のセグメントにピクセルフレームを分割するセグメンタと、どのフレームがセグメントに対して複数の参照フレームになるべきかを示すユニットとを備えるグラフィックス処理ユニットとを備える。グラフィックス処理ユニットは、入力ビデオの順序で複数のフレームを受信し、第１のパスで現在のフレームの第１のセグメントをコーディングするように構成され、第１のセグメントは、フレーム上に示されるコンテンツに関連付けられ、現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、入力ビデオの順序に対して相対的であり、機能性マルチパスピクチャは、モーフィングアナライザによって実行されるモーフィング技術又は合成アナライザによって実行される合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有し、グラフィックス処理ユニットは、少なくとも第２のパスで現在のフレームの少なくとも第２のセグメントをコーディングするように構成され、第２のセグメントは、第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、第１のパス及び第２のパスは、異なる時間に実行され、少なくとも第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられ、グラフィックス処理ユニットは、同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込むように構成され、第１及び第２のセグメントは、少なくとも１つの異なる参照フレームを有する。
他のアプローチによれば、少なくとも１つの他のフレームに対するコーディングは、現在のフレームの第１及び第２のセグメントに対するコーディングの間に少なくとも部分的に実行され、他のフレームは、Ｐピクチャであり、他のフレームの少なくとも一部は、第２のセグメントをコーディングするために参照として用いられてよく、他のフレームは、将来のフレームであり、他のフレームの全てより少ない部分は、デコードされ、現在のフレームの第２のセグメントをコーディングするために参照として用いられてよい。第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされてよく、第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされてよい。コーダは、（１）第１及び第２のセグメントの一方が、現在のフレームの背景に関連付けられ、第１及び第２のセグメントのうちの他方は、現在のフレームの前景に関連付けられること、（２）第１のセグメントが、現在のフレームの背景及び前景の両方をコーディングし、第２のセグメントが、背景又は前景の強化された品質のコーディングを提供すること、及び（３）第１のセグメントが、現在のフレームの背景及び前景に対して異なる品質のコーディングを提供し、第２のセグメントが、背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供することのうちの少なくとも１つを有してよい。現在のフレームは、（ａ）ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術、及び（ｂ）スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術のうちの少なくとも１つを用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームであってよい。入力ビデオの順序における複数のフレームは、複数の参照フレームと、（ｉ）少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、（ｉｉ）少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、（ｉｉｉ）過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び（ｉｖ）複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディングのうちの少なくとも１つを有するコーディングされる対応するフレームとの間の依存構造が提供されてよい。グラフィックス処理ユニットは、前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入して、第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングし、複数の矩形をエンコードし、前景オブジェクト領域と背景の領域との間の境界を回復するために、クロマキーカラーを抽出して、複数の矩形をデコードするように構成されてよい。
さらなる例において、少なくとも１つの機械可読媒体は、コンピューティングデバイス上で実行されることに応えて、コンピューティングデバイスに上記の例のいずれか一つに係る方法を実行させる複数の命令を含んでよい。
また、さらなる例において、装置は、上記の例のいずれか一つに係る方法を実行する複数の手段を含んでよい。
上記の例は、複数の特徴の特定の組み合わせを含んでよい。しかし、そのような上記の例は、この点で限定されず、様々な実施例において、上記の例は、そのような複数の特徴のサブセットだけを扱うこと、そのような複数の特徴の異なる順序を扱うこと、そのような複数の特徴の異なる組み合わせを扱うこと、及び／又は明示的に記載されたこれらの特徴に対して追加の複数の特徴を扱うことを含んでよい。例えば、例示的な方法に関して説明された全ての特徴は、例示的な装置、例示的なシステム、及び／又は例示的な物品に関して実装されてよく、その逆も同様である。

Claims (38)

  1. ビデオコーディングのためのコンピュータ実装方法であって、
    入力ビデオの順序で複数のフレームを受信する段階と、
    第１のパスで現在のフレームの第１のセグメントをコーディングする段階であって、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する、段階と、
    少なくとも第２のパスで前記現在のフレームの少なくとも第２のセグメントをコーディングする段階であって、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階と、
    同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階と
    を備え、
    前記現在のフレームは、ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術を用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームである方法。
  2. 前記現在のフレームは、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術を用いた少なくとも１つの修正済み参照を用いて再構成される機能性Ｆフレームである請求項１に記載の方法。
  3. ビデオコーディングのためのコンピュータ実装方法であって、
    入力ビデオの順序で複数のフレームを受信する段階と、
    第１のパスで現在のフレームの第１のセグメントをコーディングする段階であって、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する、段階と、
    少なくとも第２のパスで前記現在のフレームの少なくとも第２のセグメントをコーディングする段階であって、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階と、
    同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階と
    を備え、
    前記現在のフレームは、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術を用いた少なくとも１つの修正済み参照を用いて再構成される機能性Ｆフレームである方法。
  4. 前記入力ビデオの順序における前記複数のフレームは、
    複数の参照フレームと、
    少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
    少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
    過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
    複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディングのうちの少なくとも１つを有するコーディングされる対応するフレームと
    の間の依存構造が提供される請求項１から３のいずれか一項に記載の方法。
  5. ビデオコーディングのためのコンピュータ実装方法であって、
    入力ビデオの順序で複数のフレームを受信する段階と、
    第１のパスで現在のフレームの第１のセグメントをコーディングする段階であって、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する、段階と、
    少なくとも第２のパスで前記現在のフレームの少なくとも第２のセグメントをコーディングする段階であって、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階と、
    同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階と
    を備え、
    前記入力ビデオの順序における前記複数のフレームは、
    複数の参照フレームと、
    少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
    少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
    過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
    複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディングのうちの少なくとも１つを有するコーディングされる対応するフレームと
    の間の依存構造が提供される方法。
  6. 前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入する段階を備え、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングする段階と、
    前記複数の矩形をエンコードする段階と、
    前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出する段階を備え、前記複数の矩形をデコードする段階と
    を備える請求項１から５のいずれか一項に記載の方法。
  7. ビデオコーディングのためのコンピュータ実装方法であって、
    入力ビデオの順序で複数のフレームを受信する段階と、
    第１のパスで現在のフレームの第１のセグメントをコーディングする段階であって、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する、段階と、
    少なくとも第２のパスで前記現在のフレームの少なくとも第２のセグメントをコーディングする段階であって、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階と、
    同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階と
    を備え、
    前記方法は、
    前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入する段階を備え、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングする段階と、
    前記複数の矩形をエンコードする段階と、
    前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出する段階を備え、前記複数の矩形をデコードする段階と
    を備える方法。
  8. 前記第１の及び第２のセグメントは、少なくとも１つの異なる参照フレームを有する請求項１から７のいずれか一項に記載の方法。
  9. 少なくとも１つの他のフレームに対するコーディングは、前記現在のフレームの前記第１及び第２のセグメントに対する前記コーディングの間に少なくとも部分的に実行される請求項１から７のいずれか一項に記載の方法。
  10. 前記他のフレームは、Ｐピクチャである請求項９に記載の方法。
  11. 前記他のフレームの少なくとも一部は、前記第２のセグメントをコーディングするために参照として用いられる請求項９に記載の方法。
  12. 前記他のフレームは、将来のフレームであり、前記他のフレームの全てより少ない部分は、デコードされ、前記現在のフレームの前記第２のセグメントをコーディングするために参照として用いられる請求項９に記載の方法。
  13. 前記他のフレームの全てより少ない部分は、デコードされ、前記第２のセグメントをコーディングするために参照として用いられる請求項９に記載の方法。
  14. 前記第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされ、前記第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされる請求項１から７のいずれか一項に記載の方法。
  15. 前記第１及び第２のセグメントのうちの一方は、前記現在のフレームの背景に関連付けられ、前記第１及び第２のセグメントのうちの他方は、前記現在のフレームの前景に関連付けられる請求項１から７のいずれか一項に記載の方法。
  16. 前記第１のセグメントは、前記現在のフレームの背景及び前景の両方をコーディングし、前記第２のセグメントは、前記背景又は前記前景の強化された品質のコーディングを提供する請求項１から７のいずれか一項に記載の方法。
  17. 前記第１のセグメントは、前記現在のフレームの背景及び前景に対して異なる品質のコーディングを提供し、前記第２のセグメントは、前記背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供する請求項１から７のいずれか一項に記載の方法。
  18. ビデオコーディングのためのコンピュータ実装方法であって、
    入力ビデオの順序で複数のフレームを受信する段階と、
    第１のパスで現在のフレームの第１のセグメントをコーディングする段階であって、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する、段階と、
    少なくとも第２のパスで前記現在のフレームの少なくとも第２のセグメントをコーディングする段階であって、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階と、
    同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階と
    を備え、
    前記第１及び第２のセグメントは、少なくとも１つの異なる参照フレームを有し、
    少なくとも１つの他のフレームに対するコーディングは、前記現在のフレームの前記第１及び第２のセグメントに対する前記コーディングの間に少なくとも部分的に実行され、
    前記他のフレームは、Ｐピクチャであり、
    前記他のフレームの少なくとも一部は、前記第２のセグメントをコーディングするために参照として用いられ、
    前記他のフレームは、将来のフレームであり、前記他のフレームの全てより少ない部分は、デコードされ、前記現在のフレームの前記第２のセグメントをコーディングするために参照として用いられ、
    前記他のフレームの全てより少ない部分は、デコードされ、前記第２のセグメントをコーディングするために参照として用いられ、
    前記第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされ、前記第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされ、
    前記第１及び第２のセグメントの一方が、前記現在のフレームの背景に関連付けられ、前記第１及び第２のセグメントのうちの他方は、前記現在のフレームの前景に関連付けられること、
    前記第１のセグメントが、前記現在のフレームの前記背景及び前景の両方をコーディングし、前記第２のセグメントが、前記背景又は前記前景の強化された品質のコーディングを提供すること、及び
    前記第１のセグメントが、前記現在のフレームの前記背景及び前記前景に対して異なる品質のコーディングを提供し、前記第２のセグメントが、前記背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供すること
    のうちの少なくとも１つであり、
    前記現在のフレームは、ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術と、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術とのうちの少なくとも１つを用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームであり、
    前記入力ビデオの順序における前記複数のフレームは、
    複数の参照フレームと、
    少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
    少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
    過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
    複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディング
    のうちの少なくとも１つを有するコーディングされる対応するフレームと
    の間の依存構造が提供され、
    前記方法は、
    前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入する段階を備え、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングする段階と、
    前記複数の矩形をエンコードする段階と、
    前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出する段階を備え、前記複数の矩形をデコードする段階と
    を備える方法。
  19. ビデオコーディングのためのコンピュータ実装方法であって、
    入力ビデオの順序で複数のフレームを受信する段階と、
    現在のフレームにおけるコンテンツに関連付けられた少なくとも第１のセグメント及び第２のセグメントにピクセルフレームを分割する段階と、
    どのフレームがセグメントに対して複数の参照フレームになるべきかを示す段階と、
    第１のパスで前記現在のフレームの前記第１のセグメントをコーディングする段階であって、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する、段階と、
    少なくとも第２のパスで前記現在のフレームの少なくとも前記第２のセグメントをコーディングする段階であって、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階と、
    同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階と
    を備える方法。
  20. コーダであって、
    画像バッファと、
    前記画像バッファに通信可能に連結されたグラフィックス処理ユニットと
    を備え、
    前記グラフィックス処理ユニットは、
    モーフィングアナライザ又は合成アナライザ、又は両方と、
    現在のフレームにおけるコンテンツに関連付けられた少なくとも第１及び第２のセグメントにピクセルフレームを分割するセグメンタと、
    どのフレームがセグメントに対して複数の参照フレームになるべきかを示すユニットと
    を備え、
    前記グラフィックス処理ユニットは、
    入力ビデオの順序で複数のフレームを受信し、
    第１のパスで現在のフレームの第１のセグメントをコーディングし、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、前記モーフィングアナライザによって実行されるモーフィング技術又は前記合成アナライザによって実行される合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有し、
    前記グラフィックス処理ユニットは、
    少なくとも第２のパスで前記現在のフレームの少なくとも第２のセグメントをコーディングし、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられ、
    前記グラフィックス処理ユニットは、
    同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む
    コーダ。
  21. 前記第１及び第２のセグメントは、少なくとも１つの異なる参照フレームを有する請求項２０に記載のコーダ。
  22. 少なくとも１つの他のフレームに対するコーディングは、前記現在のフレームの前記第１及び第２のセグメントに対する前記コーディングの間に少なくとも部分的に実行される請求項２０に記載のコーダ。
  23. 前記他のフレームは、Ｐピクチャである請求項２２に記載のコーダ。
  24. 前記他のフレームの少なくとも一部は、前記第２のセグメントをコーディングするために参照として用いられる請求項２２に記載のコーダ。
  25. 前記他のフレームは、将来のフレームであり、前記他のフレームの全てより少ない部分は、デコードされ、前記現在のフレームの前記第２のセグメントをコーディングするために参照として用いられる請求項２２に記載のコーダ。
  26. 前記他のフレームの全てより少ない部分は、デコードされ、前記第２のセグメントをコーディングするために参照として用いられる請求項２２に記載のコーダ。
  27. 前記第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされ、前記第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされる請求項２０に記載のコーダ。
  28. 前記第１及び第２のセグメントのうちの一方は、前記現在のフレームの背景に関連付けられ、前記第１及び第２のセグメントのうちの他方は、前記現在のフレームの前景に関連付けられる請求項２０に記載のコーダ。
  29. 前記第１のセグメントは、前記現在のフレームの背景及び前景の両方をコーディングし、前記第２のセグメントは、前記背景又は前記前景の強化された品質のコーディングを提供する請求項２０に記載のコーダ。
  30. 前記第１のセグメントは、前記現在のフレームの背景及び前景に対して異なる品質のコーディングを提供し、前記第２のセグメントは、前記背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供する請求項２０に記載のコーダ。
  31. 前記現在のフレームは、ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術を用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームである請求項２０から３０のいずれか一項に記載のコーダ。
  32. 前記現在のフレームは、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術を用いた少なくとも１つの修正済み参照を用いて再構成される機能性Ｆフレームである請求項２０から３０のいずれか一項に記載のコーダ。
  33. 前記入力ビデオの順序における前記複数のフレームは、
    複数の参照フレームと、
    少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
    少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
    過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
    非Ｆピクチャの間でＦピクチャの数が変化する適応コーディング
    のうちの少なくとも１つを有するコーディングされる対応するフレームと
    の間の依存構造が提供される請求項２０から３２のいずれか一項に記載のコーダ。
  34. 前記グラフィックス処理ユニットは、
    前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入して、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングし、
    前記複数の矩形をエンコードし、
    前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出して、前記複数の矩形をデコードする請求項２０から３３のいずれか一項に記載のコーダ。
  35. 前記第１及び第２のセグメントは、少なくとも１つの異なる参照フレームを有し、
    少なくとも１つの他のフレームに対するコーディングは、前記現在のフレームの前記第１及び第２のセグメントに対する前記コーディングの間に少なくとも部分的に実行され、
    前記他のフレームは、Ｐピクチャであり、
    前記他のフレームの少なくとも一部は、前記第２のセグメントをコーディングするために参照として用いられ、
    前記他のフレームは、将来のフレームであり、前記他のフレームの全てより少ない部分は、デコードされ、前記現在のフレームの前記第２のセグメントをコーディングするために参照として用いられ、
    前記他のフレームの全てより少ない部分は、デコードされ、前記第２のセグメントをコーディングするために参照として用いられ、
    前記第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされ、前記第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされ、
    前記第１及び第２のセグメントの一方が、前記現在のフレームの背景に関連付けられ、前記第１及び第２のセグメントのうちの他方は、前記現在のフレームの前景に関連付けられること、
    前記第１のセグメントが、前記現在のフレームの前記背景及び前景の両方をコーディングし、前記第２のセグメントが、前記背景又は前記前景の強化された品質のコーディングを提供すること、及び
    前記第１のセグメントが、前記現在のフレームの前記背景及び前記前景に対して異なる品質のコーディングを提供し、前記第２のセグメントが、前記背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供すること
    のうちの少なくとも１つであり、
    前記現在のフレームは、ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術と、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術とのうちの少なくとも１つを用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームであり、
    前記入力ビデオの順序における前記複数のフレームは、
    複数の参照フレームと、
    少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
    少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
    過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
    複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディング
    のうちの少なくとも１つを有するコーディングされる対応するフレームと
    の間の依存構造が提供され、
    前記グラフィックス処理ユニットは、
    前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入して、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングし、
    前記複数の矩形をエンコードし、
    前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出して、前記複数の矩形をデコードする請求項２０に記載のコーダ。
  36. コンピュータに、請求項１から１９のいずれか一項に記載の方法を実行させるためのプログラム。
  37. 請求項３６に記載のプログラムを格納するコンピュータ可読記憶媒体。
  38. 請求項１から１９のいずれか一項に記載の方法を実行する手段を備える装置。
JP2015545956A 2013-01-30 2013-12-28 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ Expired - Fee Related JP6163674B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361758314P 2013-01-30 2013-01-30
US61/758,314 2013-01-30
PCT/US2013/078157 WO2014120375A2 (en) 2013-01-30 2013-12-28 Content adaptive bi-directional or functionally predictive multi-pass pictures for high efficiency next generation video coding

Publications (2)

Publication Number Publication Date
JP2016514378A JP2016514378A (ja) 2016-05-19
JP6163674B2 true JP6163674B2 (ja) 2017-07-19

Family

ID=51262831

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015545956A Expired - Fee Related JP6163674B2 (ja) 2013-01-30 2013-12-28 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
JP2015551073A Active JP6339099B2 (ja) 2013-01-30 2014-01-24 次世代ビデオのパーティションデータのコンテンツ適応的エントロピーコーディング
JP2015551074A Expired - Fee Related JP6286718B2 (ja) 2013-01-30 2014-01-30 高効率な次世代ビデオコーディングのためのフレーム階層応答型量子化を使用する、コンテンツ適応ビットレートおよび品質管理

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015551073A Active JP6339099B2 (ja) 2013-01-30 2014-01-24 次世代ビデオのパーティションデータのコンテンツ適応的エントロピーコーディング
JP2015551074A Expired - Fee Related JP6286718B2 (ja) 2013-01-30 2014-01-30 高効率な次世代ビデオコーディングのためのフレーム階層応答型量子化を使用する、コンテンツ適応ビットレートおよび品質管理

Country Status (8)

Country Link
US (14) US9973758B2 (ja)
EP (12) EP2951999A4 (ja)
JP (3) JP6163674B2 (ja)
KR (6) KR20150058324A (ja)
CN (10) CN104737542B (ja)
BR (1) BR112015015575A2 (ja)
RU (1) RU2612600C2 (ja)
WO (11) WO2014120368A1 (ja)

Families Citing this family (254)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2636947T3 (es) * 2002-08-08 2017-10-10 Godo Kaisha Ip Bridge 1 Procedimiento de descodificación de imágenes en movimiento
WO2012144876A2 (ko) 2011-04-21 2012-10-26 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US9380327B2 (en) * 2011-12-15 2016-06-28 Comcast Cable Communications, Llc System and method for synchronizing timing across multiple streams
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
US10057599B2 (en) 2014-02-19 2018-08-21 Mediatek Inc. Method for performing image processing control with aid of predetermined tile packing, associated apparatus and associated non-transitory computer readable medium
CN103929642B (zh) * 2014-04-24 2017-04-12 北京航空航天大学 一种hevc变换系数的熵编码上下文模型偏移值快速计算方法
US9723377B2 (en) 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
US10397574B2 (en) * 2014-05-12 2019-08-27 Intel Corporation Video coding quantization parameter determination suitable for video conferencing
US20170249521A1 (en) * 2014-05-15 2017-08-31 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9699464B2 (en) * 2014-07-10 2017-07-04 Intel Corporation Adaptive bitrate streaming for wireless video
US9549188B2 (en) * 2014-07-30 2017-01-17 Intel Corporation Golden frame selection in video coding
CN104301724B (zh) * 2014-10-17 2017-12-01 华为技术有限公司 视频处理方法、编码设备和解码设备
TWI536799B (zh) * 2014-10-29 2016-06-01 虹光精密工業股份有限公司 智慧型複印設備
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10165272B2 (en) * 2015-01-29 2018-12-25 Arris Enterprises Llc Picture-level QP rate control performance improvements for HEVC encoding
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN104780377B (zh) * 2015-03-18 2017-12-15 同济大学 一种基于分布式计算机系统的并行hevc编码系统及方法
CN108028942B (zh) * 2015-06-04 2020-06-26 清华大学 像素预测方法、编码方法、解码方法及其装置、存储介质
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
US9942552B2 (en) * 2015-06-12 2018-04-10 Intel Corporation Low bitrate video coding
US10354290B2 (en) * 2015-06-16 2019-07-16 Adobe, Inc. Generating a shoppable video
WO2016206748A1 (en) * 2015-06-25 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Refinement of a low-pel resolution motion estimation vector
JP6715467B2 (ja) * 2015-07-01 2020-07-01 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
US10419512B2 (en) * 2015-07-27 2019-09-17 Samsung Display Co., Ltd. System and method of transmitting display data
US11076153B2 (en) * 2015-07-31 2021-07-27 Stc.Unm System and methods for joint and adaptive control of rate, quality, and computational complexity for video coding and video delivery
US10743059B2 (en) * 2015-08-30 2020-08-11 EVA Automation, Inc. Displaying HDMI content at an arbitrary location
US10430031B2 (en) * 2015-08-30 2019-10-01 EVA Automation, Inc. Displaying HDMI content in a tiled window
FR3040849A1 (fr) * 2015-09-04 2017-03-10 Stmicroelectronics (Grenoble 2) Sas Procede de compression d'un flux de donnees video
US9971791B2 (en) * 2015-09-16 2018-05-15 Adobe Systems Incorporated Method and apparatus for clustering product media files
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017057953A1 (ko) * 2015-09-30 2017-04-06 엘지전자 주식회사 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
US10805627B2 (en) 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
US9998745B2 (en) * 2015-10-29 2018-06-12 Microsoft Technology Licensing, Llc Transforming video bit streams for parallel processing
WO2017073360A1 (ja) * 2015-10-30 2017-05-04 ソニー株式会社 画像処理装置および方法
US10283094B1 (en) * 2015-11-09 2019-05-07 Marvell International Ltd. Run-length compression and decompression of media tiles
EP3166313A1 (en) 2015-11-09 2017-05-10 Thomson Licensing Encoding and decoding method and corresponding devices
US10972731B2 (en) * 2015-11-10 2021-04-06 Interdigital Madison Patent Holdings, Sas Systems and methods for coding in super-block based video coding framework
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
JP6817961B2 (ja) * 2015-12-14 2021-01-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
US20180359494A1 (en) * 2015-12-31 2018-12-13 Mediatek Inc. Method and apparatus of prediction binary tree structure for video and image coding
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US10445862B1 (en) * 2016-01-25 2019-10-15 National Technology & Engineering Solutions Of Sandia, Llc Efficient track-before detect algorithm with minimal prior knowledge
WO2017135663A2 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 행 -열 변환 (row- column transform)을 이용하여 변환을 수행하는 방법 및 장치
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
US10694184B2 (en) * 2016-03-11 2020-06-23 Digitalinsights Inc. Video coding method and apparatus
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
US20170280139A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Apparatus and methods for adaptive calculation of quantization parameters in display stream compression
WO2017178827A1 (en) * 2016-04-15 2017-10-19 Magic Pony Technology Limited In-loop post filtering for video encoding and decoding
ES2853700T3 (es) 2016-04-15 2021-09-17 Magic Pony Tech Limited Compensación de movimiento utilizando interpolación de imagen temporal
US10574999B2 (en) * 2016-05-05 2020-02-25 Intel Corporation Method and system of video coding with a multi-pass prediction mode decision pipeline
BR112018069135B1 (pt) 2016-05-10 2023-12-26 Samsung Electronics Co., Ltd Método de decodificação de imagem para decodificar uma imagem, aparelho de decodificação de imagens para decodificar uma imagem, método de codificação de imagem para codificar uma imagem, e aparelho de codificação de imagens para codificar uma imagem
WO2017197146A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
TWI689148B (zh) * 2016-05-17 2020-03-21 英屬開曼群島商鴻騰精密科技股份有限公司 電連接器組件
US10456672B2 (en) 2016-05-19 2019-10-29 Google Llc Methods and systems for facilitating participation in a game session
US11146821B2 (en) * 2016-05-25 2021-10-12 Arris Enterprises Llc JVET coding block structure with asymmetrical partitioning
WO2017205700A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data
US10284845B2 (en) 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
WO2017205704A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
PL3446483T3 (pl) * 2016-05-25 2021-10-25 Arris Enterprises Llc Partycjonowanie typu drzewo binarne, potrójne i poczwórne dla kodowania danych wideo przez jvet
US10743210B2 (en) * 2016-06-01 2020-08-11 Intel Corporation Using uplink buffer status to improve video stream adaptation control
KR102445668B1 (ko) * 2016-06-01 2022-09-21 삼성전자주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
CN109643456A (zh) 2016-06-17 2019-04-16 因默希弗机器人私人有限公司 图像压缩方法与设备
US10169362B2 (en) 2016-07-07 2019-01-01 Cross Commerce Media, Inc. High-density compression method and computing system
CN116506596A (zh) * 2016-08-03 2023-07-28 株式会社Kt 视频解码方法、视频编码方法和视频数据的传送方法
CN109479136A (zh) * 2016-08-04 2019-03-15 深圳市大疆创新科技有限公司 用于比特率控制的系统和方法
CN109155850A (zh) * 2016-08-04 2019-01-04 深圳市大疆创新科技有限公司 并行视频编码
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
WO2018030746A1 (ko) * 2016-08-08 2018-02-15 엘지전자(주) 영상의 처리 방법 및 이를 위한 장치
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
CN107872669B (zh) * 2016-09-27 2019-05-24 腾讯科技（深圳）有限公司 视频码率处理方法和装置
US10567775B2 (en) 2016-10-01 2020-02-18 Intel Corporation Method and system of hardware accelerated video coding with per-frame parameter control
KR20200062365A (ko) * 2016-10-04 2020-06-03 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN115022625A (zh) 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
EP3306938A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for binary-tree split mode coding
EP3306927A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Encoding and decoding methods and corresponding devices
KR20180039323A (ko) 2016-10-10 2018-04-18 디지털인사이트 주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
US20180103271A1 (en) * 2016-10-10 2018-04-12 Qualcomm Incorporated Systems and methods for signaling missing or corrupted video data
US10187178B2 (en) * 2016-10-11 2019-01-22 Microsoft Technology Licensing, Llc Dynamically partitioning media streams
US10779004B2 (en) 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
WO2018072675A1 (en) * 2016-10-18 2018-04-26 Zhejiang Dahua Technology Co., Ltd. Methods and systems for video processing
KR20180043151A (ko) 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
CN116567209A (zh) * 2016-10-19 2023-08-08 Sk电信有限公司 视频编码/解码设备和方法及非暂时性记录介质
CN106454355B (zh) * 2016-10-24 2019-03-01 西南科技大学 一种视频编码方法及装置
JPWO2018092868A1 (ja) 2016-11-21 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
CN116320415A (zh) 2016-11-21 2023-06-23 松下电器（美国）知识产权公司 图像编码装置及方法、图像解码装置及方法
KR20180057564A (ko) * 2016-11-22 2018-05-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
CN117528107A (zh) * 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
US10397590B2 (en) * 2016-12-05 2019-08-27 Nice-Systems Ltd. System and method for enabling seek in a video recording
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
AU2017377490B2 (en) 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
KR102574714B1 (ko) 2016-12-23 2023-09-06 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
EP3562152A4 (en) * 2016-12-26 2020-01-15 Nec Corporation IMAGE CODING METHOD, IMAGE DECODING METHOD, IMAGE CODING DEVICE, IMAGE DECODING DEVICE AND PROGRAM
JPWO2018123312A1 (ja) * 2016-12-26 2019-10-31 日本電気株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム
GB2574733B (en) * 2016-12-28 2020-05-06 Arris Entpr Llc Improved video bitstream coding
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
TWI617181B (zh) * 2017-01-04 2018-03-01 晨星半導體股份有限公司 用於高效率視訊編碼裝置之排程方法
CN115190301A (zh) * 2017-01-05 2022-10-14 弗劳恩霍夫应用研究促进协会 图像的基于块的预测编码和解码
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
EP3349454A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
KR20180088188A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 적응적 영상 변환 방법 및 장치
WO2018143687A1 (ko) * 2017-02-01 2018-08-09 엘지전자(주) 행-열 변환을 이용하여 변환을 수행하는 방법 및 장치
KR102230877B1 (ko) 2017-02-06 2021-03-22 후아웨이 테크놀러지 컴퍼니 리미티드 인코딩 방법 및 장치와, 디코딩 방법 및 장치
US11150857B2 (en) 2017-02-08 2021-10-19 Immersive Robotics Pty Ltd Antenna control for mobile device communication
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
US11496747B2 (en) 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
US10904531B2 (en) * 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
CN108665410B (zh) * 2017-03-31 2021-11-26 杭州海康威视数字技术股份有限公司 一种图像超分辨率重构方法、装置及系统
US11551067B2 (en) * 2017-04-06 2023-01-10 Shanghai Cambricon Information Technology Co., Ltd Neural network processor and neural network computation method
GB2585145B (en) 2017-04-21 2021-05-26 Zenimax Media Inc Systems and method for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
EP3613210A4 (en) 2017-04-21 2021-02-24 Zenimax Media Inc. SYSTEMS AND PROCEDURES FOR DELAYED POST-PROCESSING IN VIDEO ENCODING
CA3060578C (en) 2017-04-21 2020-07-21 Zenimax Media Inc. Systems and methods for encoder-guided adaptive-quality rendering
EP3720130B1 (en) 2017-04-21 2022-09-28 Zenimax Media Inc. System and method for rendering and pre-encoded load estimation based encoder hinting
US10567788B2 (en) 2017-04-21 2020-02-18 Zenimax Media Inc. Systems and methods for game-generated motion vectors
US10979728B2 (en) * 2017-04-24 2021-04-13 Intel Corporation Intelligent video frame grouping based on predicted performance
CN108810556B (zh) * 2017-04-28 2021-12-24 炬芯科技股份有限公司 压缩参考帧的方法、装置及芯片
US10638127B2 (en) * 2017-05-15 2020-04-28 Qualcomm Incorporated Adaptive anchor frame and quantization parameter decision in video coding
US20200145696A1 (en) 2017-06-05 2020-05-07 Immersive Robotics Pty Ltd Digital Content Stream Compression
KR102315524B1 (ko) * 2017-06-16 2021-10-21 한화테크윈 주식회사 영상의 비트레이트 조절 방법 및 영상 획득 장치
CN107222751B (zh) * 2017-06-23 2019-05-10 宁波大学科学技术学院 基于多视点视频特征的3d-hevc深度视频信息隐藏方法
WO2019002215A1 (en) 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
CN109151468B (zh) * 2017-06-28 2020-12-08 华为技术有限公司 一种图像数据的编码、解码方法及装置
US10848761B2 (en) * 2017-06-29 2020-11-24 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
CN109218748B (zh) * 2017-06-30 2020-11-27 京东方科技集团股份有限公司 视频传输方法、装置及计算机可读存储介质
CN107360419B (zh) * 2017-07-18 2019-09-24 成都图必优科技有限公司 一种基于透视模型的运动前视视频帧间预测编码方法
CN114554221B (zh) 2017-07-19 2023-08-01 三星电子株式会社 编码方法及用于其的设备、解码方法及用于其的设备
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
CN107483949A (zh) * 2017-07-26 2017-12-15 千目聚云数码科技（上海）有限公司 增加svac svc实用性的方法及系统
CN107295334B (zh) * 2017-08-15 2019-12-03 电子科技大学 自适应的参考图像抉择方法
CN107483960B (zh) * 2017-09-15 2020-06-02 信阳师范学院 一种基于空间预测的运动补偿帧率上转换方法
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
EP3457695A1 (en) 2017-09-18 2019-03-20 Thomson Licensing Method and apparatus for motion vector predictor adaptation for omnidirectional video
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
BR112019022971B1 (pt) * 2017-09-28 2022-02-15 Lg Electronics Inc Método de decodificação de vídeo realizado por um dispositivo de decodificação, método de codificação de vídeo realizado por um dispositivo de codificação e mídia de armazenamento legível por computador
US10623744B2 (en) * 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
CN110678239B (zh) 2017-10-10 2024-02-09 谷歌有限责任公司 利用游戏元数据和量度的分布式基于样本的游戏剖析以及支持第三方内容的游戏api平台
AU2018373495B2 (en) 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Frequency component selection for image compression
TW201926992A (zh) 2017-11-21 2019-07-01 澳大利亞商伊門斯機器人控股有限公司 用於數位實境之影像壓縮
CN111164980A (zh) 2017-11-30 2020-05-15 深圳市大疆创新科技有限公司 用于控制图像帧内的视频编码的系统和方法
CN110832856A (zh) 2017-11-30 2020-02-21 深圳市大疆创新科技有限公司 用于减小视频编码波动的系统及方法
CN111164972A (zh) * 2017-11-30 2020-05-15 深圳市大疆创新科技有限公司 用于在帧级别控制视频编码的系统和方法
CN109949217B (zh) * 2017-12-20 2023-04-11 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
US11140207B2 (en) 2017-12-21 2021-10-05 Google Llc Network impairment simulation framework for verification of real time interactive media streaming systems
KR101975404B1 (ko) * 2017-12-27 2019-08-28 세종대학교산학협력단 절차적 콘텐츠 생성장치 및 방법
TWI680675B (zh) * 2017-12-29 2019-12-21 聯發科技股份有限公司 影像處理裝置與相關的影像處理方法
US11153602B2 (en) 2018-01-24 2021-10-19 Vid Scale, Inc. Generalized bi-prediction for video coding with reduced coding complexity
US11095876B2 (en) * 2018-01-26 2021-08-17 Samsung Electronics Co., Ltd. Image processing device
KR102465206B1 (ko) * 2018-01-26 2022-11-09 삼성전자주식회사 이미지 처리 장치
US11962782B2 (en) 2018-01-29 2024-04-16 Interdigital Vc Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
KR20200123787A (ko) * 2018-02-26 2020-10-30 인터디지털 브이씨 홀딩스 인코포레이티드 일반화된 obmc를 위한 방법 및 장치
WO2019167673A1 (ja) * 2018-03-01 2019-09-06 ソニー株式会社 画像処理装置および方法、撮像素子、並びに、撮像装置
US11004178B2 (en) * 2018-03-01 2021-05-11 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images
US10432962B1 (en) * 2018-03-13 2019-10-01 Pixelworks, Inc. Accuracy and local smoothness of motion vector fields using motion-model fitting
CN110309328B (zh) * 2018-03-14 2022-03-25 深圳云天励飞技术有限公司 数据存储方法、装置、电子设备及存储介质
WO2019182752A1 (en) * 2018-03-22 2019-09-26 Google Llc Methods and systems for rendering and encoding content for online interactive gaming sessions
CN108449599B (zh) * 2018-03-23 2021-05-18 安徽大学 一种基于面透射变换的视频编码与解码方法
US11872476B2 (en) 2018-04-02 2024-01-16 Google Llc Input device for an electronic system
US11077364B2 (en) 2018-04-02 2021-08-03 Google Llc Resolution-based scaling of real-time interactive graphics
WO2019192491A1 (en) * 2018-04-02 2019-10-10 Mediatek Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems
KR20230017925A (ko) 2018-04-02 2023-02-06 구글 엘엘씨 대화형 클라우드 게임용 방법, 디바이스 및 시스템
EP3701489B1 (en) 2018-04-10 2022-10-26 Google LLC Memory management in gaming rendering
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
EP3562162A1 (en) 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on neural network implementation of cabac
CN112166607A (zh) * 2018-05-29 2021-01-01 交互数字Vc控股公司 利用部分共用亮度和色度编码树的视频编码和解码的方法和装置
WO2019244051A1 (en) 2018-06-19 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Selected mvd precision without mvp truncation
CN108848380B (zh) * 2018-06-20 2021-11-30 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
US10602147B2 (en) * 2018-07-10 2020-03-24 Samsung Display Co., Ltd. Efficient entropy coding group grouping methodology for transform mode
US11039315B2 (en) 2018-08-01 2021-06-15 At&T Intellectual Property I, L.P. On-demand super slice instantiation and orchestration
JP7410033B2 (ja) * 2018-08-20 2024-01-09 日本放送協会 符号化装置、復号装置及びプログラム
CN115250350B (zh) * 2018-09-03 2024-04-09 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
US10863179B1 (en) * 2018-09-05 2020-12-08 Amazon Technologies, Inc. Overlapped rate control for high-quality segmented video encoding
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
CN110933427B (zh) 2018-09-19 2023-05-12 北京字节跳动网络技术有限公司 仿射模式编码的模式相关自适应运动矢量分辨率
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
US11606569B2 (en) * 2018-09-25 2023-03-14 Apple Inc. Extending supported components for encoding image data
US10893281B2 (en) 2018-10-12 2021-01-12 International Business Machines Corporation Compression of a video stream having frames with relatively heightened quality parameters on blocks on an identified point of interest (PoI)
US10764589B2 (en) * 2018-10-18 2020-09-01 Trisys Co., Ltd. Method and module for processing image data
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN111083484A (zh) * 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
CN109640082B (zh) * 2018-10-26 2021-02-12 浙江鼎越电子有限公司 音视频多媒体数据处理方法及其设备
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
US10939102B2 (en) 2018-11-01 2021-03-02 Mediatek Inc. Post processing apparatus with super-resolution filter and loop restoration filter in block-level pipeline and associated post processing method
CN111436227B (zh) 2018-11-12 2024-03-29 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
EP3807766B1 (en) 2018-11-16 2021-10-27 Google LLC Shadow tracking of real-time interactive simulations for complex system analysis
US10666985B1 (en) * 2018-11-18 2020-05-26 Sony Corporation Sub-block based entropy coding for image coding
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
CN113170170A (zh) * 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的混合方法
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
JP7040422B2 (ja) * 2018-11-28 2022-03-23 日本電信電話株式会社 動きベクトル生成装置、投影像生成装置、動きベクトル生成方法、およびプログラム
US11025947B2 (en) * 2018-11-29 2021-06-01 Mediatek Inc. Method and apparatus for generating motion field motion vectors for blocks of current frame in on-the-fly manner
US10855988B2 (en) 2018-12-19 2020-12-01 Qualcomm Incorporated Adaptive prediction structures
US10645386B1 (en) * 2019-01-03 2020-05-05 Sony Corporation Embedded codec circuitry for multiple reconstruction points based quantization
EP3895429A4 (en) 2019-01-31 2022-08-10 Beijing Bytedance Network Technology Co., Ltd. CONTEXT FOR CODE AN ADAPTIVE MOTION VECTOR RESOLUTION IN AFFINE MODE
US10778972B1 (en) * 2019-02-27 2020-09-15 Google Llc Adaptive filter intra prediction modes in image/video compression
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
JP7252016B2 (ja) * 2019-03-13 2023-04-04 日本放送協会 動画像符号化装置、動画像復号装置及びプログラム
WO2020182213A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
US10924625B2 (en) * 2019-03-20 2021-02-16 Xerox Corporation Dynamic compression acceleration using real-time image data entropy analysis
CN113767400A (zh) * 2019-03-21 2021-12-07 谷歌有限责任公司 使用率失真成本作为深度学习的损失函数
US11310496B2 (en) * 2019-03-27 2022-04-19 Ati Technologies Ulc Determining quality values for blocks of encoded video
CN113647099B (zh) 2019-04-02 2022-10-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导
CN111901593B (zh) * 2019-05-04 2024-01-02 华为技术有限公司 一种图像划分方法、装置及设备
CN113874916A (zh) * 2019-05-26 2021-12-31 阿里巴巴集团控股有限公司 Ai辅助的可编程硬件视频编解码器
US10949982B1 (en) * 2019-06-21 2021-03-16 Amazon Technologies, Inc. Moving object recognition, speed estimation, and tagging
KR20220024659A (ko) 2019-06-24 2022-03-03 알리바바 그룹 홀딩 리미티드 비디오 처리에서의 적응적 해상도 변경
CN110339567B (zh) * 2019-07-17 2023-05-26 三星电子（中国）研发中心 系统资源配置、场景预测模型训练方法和装置
EP4011084A4 (en) 2019-08-06 2023-08-09 OP Solutions PRESCALE ADAPTIVE RESOLUTION MANAGEMENT
KR20220090493A (ko) 2019-08-06 2022-06-29 오피 솔루션즈, 엘엘씨 블록-기반 적응적 해상도 관리
BR112022002154A2 (pt) 2019-08-06 2022-04-19 Op Solutions Llc Sinalização implícita de gerenciamento de resolução adaptativa com base no tipo de quadro
WO2021026363A1 (en) * 2019-08-06 2021-02-11 Op Solutions, Llc Implicit signaling of adaptive resolution management based on frame type
GB2607692B (en) * 2019-08-23 2023-08-02 Imagination Tech Ltd Random accessible image data compression
CN112449140B (zh) * 2019-08-29 2021-09-14 华为技术有限公司 视频超分辨率处理方法及装置
EP4035367A1 (en) * 2019-09-23 2022-08-03 InterDigital VC Holdings France, SAS Video encoding and decoding using block area based quantization matrices
CN112702603A (zh) * 2019-10-22 2021-04-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
EP3820138A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation
BR112022008918A2 (pt) 2019-11-08 2022-08-02 Op Solutions Llc Métodos e sistemas para corte adaptável
US11843772B2 (en) * 2019-12-06 2023-12-12 Ati Technologies Ulc Video encode pre-analysis bit budgeting based on context and features
US11308093B1 (en) * 2019-12-13 2022-04-19 Amazon Technologies, Inc. Encoding scheme for numeric-like data types
CN111814844B (zh) * 2020-03-17 2023-07-11 同济大学 一种基于位置编码融合的密集型视频描述方法
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
CN111757107B (zh) 2020-06-29 2024-03-05 北京百度网讯科技有限公司 一种视频编码方法、装置、设备及介质
US11790533B2 (en) 2020-07-02 2023-10-17 Sony Group Corporation Machine learning based image segmentation training with contour accuracy evaluation
US11436699B1 (en) * 2020-08-03 2022-09-06 Meta Platforms, Inc. Predicting encoding parameters for convex hull video encoding
US11388413B1 (en) 2020-08-03 2022-07-12 Meta Platforms, Inc. Fast encoding parameter selection for convex hull video encoding
US20210144377A1 (en) * 2020-11-19 2021-05-13 Intel Corporation Method and system of video coding with content adaptive quantization
CN114630120B (zh) * 2020-12-14 2024-03-29 瑞昱半导体股份有限公司 基于自适应压缩率的视频压缩方法与电路系统
US11363262B1 (en) * 2020-12-14 2022-06-14 Google Llc Adaptive GOP structure using temporal dependencies likelihood
KR20220090887A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
US20220264111A1 (en) * 2021-02-13 2022-08-18 Meta Platforms, Inc. Video coding efficiency improvement using dynamic frame boost scaling
WO2022174118A1 (en) * 2021-02-13 2022-08-18 Meta Platforms, Inc. Video coding efficiency improvement using dynamic frame boost scaling
US11638025B2 (en) 2021-03-19 2023-04-25 Qualcomm Incorporated Multi-scale optical flow for learned video compression
US11523117B2 (en) * 2021-03-22 2022-12-06 Realtek Semiconductor Corp. Encoder using coding tree unit level adaptive quantization mode to adjust frame level quantization parameter and associated signal processing method
US11871061B1 (en) * 2021-03-31 2024-01-09 Amazon Technologies, Inc. Automated adaptive bitrate encoding
KR102562380B1 (ko) * 2021-10-18 2023-08-02 (주)카이미디어 8k 스케일러블 비디오 부호화 방법
US11991424B2 (en) 2021-11-05 2024-05-21 Tencent America LLC Immersive media data complexity analyzer for transformation of asset formats
CN115002482B (zh) * 2022-04-27 2024-04-16 电子科技大学 使用结构性保持运动估计的端到端视频压缩方法及系统
WO2023219600A1 (en) * 2022-05-07 2023-11-16 Google Llc Motion vector coding using a motion vector precision
US20230412812A1 (en) * 2022-06-15 2023-12-21 Tencent America LLC Systems and methods for joint signaling of transform coefficient signs
US20240080483A1 (en) * 2022-08-26 2024-03-07 Tencent America LLC Systems and methods for warp sample selection and grouping
CN115272083B (zh) * 2022-09-27 2022-12-02 中国人民解放军国防科技大学 一种图像超分辨率方法、装置、设备及介质

Family Cites Families (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0151011B1 (ko) 1994-11-30 1998-10-01 김광호 바이폴라 트랜지스터 및 그 제조방법
US6542547B1 (en) 1995-05-30 2003-04-01 Texas Instruments Incorporated Efficient heuristic based motion estimation method for video compression
US5864711A (en) 1995-07-05 1999-01-26 Microsoft Corporation System for determining more accurate translation between first and second translator, and providing translated data to second computer if first translator is more accurate
US5729691A (en) * 1995-09-29 1998-03-17 Intel Corporation Two-stage transform for video signals
US6160846A (en) 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
EP0799550B1 (en) 1995-10-25 2000-08-09 Koninklijke Philips Electronics N.V. Segmented picture coding method and system, and corresponding decoding method and system
JP3743837B2 (ja) * 1996-06-14 2006-02-08 株式会社大宇エレクトロニクス ランレングス符号器
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
US6850567B1 (en) * 1997-01-13 2005-02-01 Koninklijke Philips Electronics N.V. Embedding supplemental data in a digital video signal
US6208693B1 (en) * 1997-02-14 2001-03-27 At&T Corp Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
JP3843581B2 (ja) * 1998-03-05 2006-11-08 富士ゼロックス株式会社 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法
JP2000050263A (ja) * 1998-07-28 2000-02-18 Hitachi Ltd 画像符号化並びに復号化装置及びこれを用いた撮像装置
US6895051B2 (en) 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
US6223162B1 (en) * 1998-12-14 2001-04-24 Microsoft Corporation Multi-level run length coding for frequency-domain audio coding
US7065253B2 (en) 1999-09-03 2006-06-20 Intel Corporation Wavelet zerotree coding of ordered bits
TW589870B (en) 2000-12-19 2004-06-01 Pts Corp Adaptive transforms
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
CN100505878C (zh) 2001-11-06 2009-06-24 松下电器产业株式会社 运动画面编码方法及运动画面解码方法
US7453936B2 (en) * 2001-11-09 2008-11-18 Sony Corporation Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system
GB2382940A (en) 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
MXPA04010318A (es) 2002-04-23 2005-02-03 Nokia Corp Metodo y dispositivo para indicar parametros del cuantificador en un sistema de codificacion de video.
JP2003324731A (ja) 2002-04-26 2003-11-14 Sony Corp 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP4767992B2 (ja) * 2002-06-06 2011-09-07 パナソニック株式会社 可変長符号化方法および可変長復号化方法
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP2004007778A (ja) * 2003-07-14 2004-01-08 Victor Co Of Japan Ltd 動き補償復号化方法
US20050094729A1 (en) 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
CN1332563C (zh) * 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
KR100654431B1 (ko) * 2004-03-08 2006-12-06 삼성전자주식회사 가변 ｇｏｐ 사이즈를 갖는 스케일러블 비디오 코딩방법및 이를 위한 스케일러블 비디오 인코더
US7461525B2 (en) * 2004-03-13 2008-12-09 Wilson Rodney W Tile sponge washing and conditioning apparatus
JP2005301457A (ja) * 2004-04-07 2005-10-27 Fuji Xerox Co Ltd 画像処理装置、プログラムおよび記録媒体
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
JP4988567B2 (ja) * 2004-06-27 2012-08-01 アップル インコーポレイテッド マルチパスのビデオ符号化
KR100664932B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
EP1675402A1 (en) 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
JP2006270301A (ja) * 2005-03-23 2006-10-05 Nippon Hoso Kyokai <Nhk> シーンチェンジ検出装置およびシーンチェンジ検出プログラム
KR100703773B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 엔트로피 코딩 및 디코딩 방법과이를 위한 장치, 이를 포함하는 비디오 코딩 및 디코딩방법과 이를 위한 장치
WO2006109974A1 (en) * 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method for entropy coding and decoding having improved coding efficiency and apparatus for providing the same
US7397933B2 (en) 2005-05-27 2008-07-08 Microsoft Corporation Collusion resistant desynchronization for digital video fingerprinting
US8064516B2 (en) * 2005-06-02 2011-11-22 Broadcom Corporation Text recognition during video compression
KR20070006445A (ko) 2005-07-08 2007-01-11 삼성전자주식회사 하이브리드 엔트로피 부호화, 복호화 방법 및 장치
CN101263513A (zh) 2005-07-15 2008-09-10 德克萨斯仪器股份有限公司 过滤和扭曲的运动补偿
WO2007011851A2 (en) * 2005-07-15 2007-01-25 Texas Instruments Incorporated Filtered and warped motion compensation
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US9258519B2 (en) 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
AU2006320064B2 (en) 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
US8243804B2 (en) 2005-12-01 2012-08-14 Lsi Corporation Hierarchical motion estimation for images with varying horizontal and/or vertical dimensions
US8265145B1 (en) * 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
US8275045B2 (en) * 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
TWI375469B (en) 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
JP5474546B2 (ja) * 2006-08-25 2014-04-16 トムソン ライセンシング 低減された解像度の分割の方法及び装置
US20080075173A1 (en) * 2006-09-22 2008-03-27 Texas Instruments Incorporated Systems and Methods for Context Adaptive Video Data Preparation
US20100040146A1 (en) 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
US9277243B2 (en) 2006-11-08 2016-03-01 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US7460725B2 (en) 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
US8875199B2 (en) * 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
EP1926321A1 (en) 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
US8396118B2 (en) * 2007-03-19 2013-03-12 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
TW200840366A (en) 2007-03-28 2008-10-01 Univ Nat Central Complexity control method of video encoder
KR101336445B1 (ko) * 2007-06-08 2013-12-04 삼성전자주식회사 비디오 인코딩 데이터율 제어 방법
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8437564B2 (en) 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
GB0716158D0 (en) 2007-08-17 2007-09-26 Imagination Tech Ltd Data compression
US8526489B2 (en) * 2007-09-14 2013-09-03 General Instrument Corporation Personal video recorder
EP2193663B1 (en) * 2007-09-28 2017-11-08 Dolby Laboratories Licensing Corporation Treating video information
JP5427785B2 (ja) * 2007-09-28 2014-02-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮技法及びビデオ伝達技法
US20090135901A1 (en) 2007-11-28 2009-05-28 The Hong Kong University Of Science And Technology Complexity adaptive video encoding using multiple reference frames
US8149915B1 (en) 2007-11-29 2012-04-03 Lsi Corporation Refinement of motion vectors in hierarchical motion estimation
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
JP5203717B2 (ja) * 2007-12-19 2013-06-05 パナソニック株式会社 符号器、復号器、符号化方法、及び、復号方法
JP4309453B2 (ja) 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
US20090167775A1 (en) 2007-12-30 2009-07-02 Ning Lu Motion estimation compatible with multiple standards
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
CN101272494B (zh) * 2008-01-25 2011-06-08 浙江大学 利用合成参考帧的视频编解码方法及装置
US8798137B2 (en) 2008-02-29 2014-08-05 City University Of Hong Kong Bit rate estimation in data or video compression
US8254469B2 (en) 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
CN102037730B (zh) * 2008-05-22 2013-06-12 爱立信电话股份有限公司 内容自适应视频编码器和编码方法
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
TWI359617B (en) 2008-07-03 2012-03-01 Univ Nat Taiwan Low-complexity and high-quality error concealment
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101441903B1 (ko) 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP4427600B1 (ja) 2008-11-28 2010-03-10 株式会社東芝 映像解析装置およびプログラム
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
TWI498003B (zh) 2009-02-02 2015-08-21 Thomson Licensing 代表一序列圖像的碼式資料連流之解碼方法和一序列圖像之寫碼方法及碼式圖像資料結構
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
US9110849B2 (en) * 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
EP2271102A1 (en) 2009-06-29 2011-01-05 Thomson Licensing Adaptive residual image coding
EP2464016A4 (en) * 2009-08-06 2012-07-18 Panasonic Corp ENCODING METHOD, DECODING METHOD, ENCODING DEVICE, AND DECODING DEVICE
US8379718B2 (en) 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
US8711938B2 (en) * 2009-09-04 2014-04-29 Sharp Laboratories Of America, Inc. Methods and systems for motion estimation with nonlinear motion-field smoothing
JP2011066844A (ja) 2009-09-18 2011-03-31 Toshiba Corp 並列復号装置及びプログラム並びに符号化データの並列復号方法
WO2011039931A1 (ja) 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US8705623B2 (en) 2009-10-02 2014-04-22 Texas Instruments Incorporated Line-based compression for digital image data
EP2312854A1 (de) * 2009-10-15 2011-04-20 Siemens Aktiengesellschaft Verfahren zur Codierung von Symbolen aus einer Folge digitalisierter Bilder
WO2011050998A1 (en) * 2009-10-29 2011-05-05 Thomas Sikora Method and device for processing a video sequence
US9473792B2 (en) * 2009-11-06 2016-10-18 Texas Instruments Incorporated Method and system to improve the performance of a video encoder
US20110109721A1 (en) 2009-11-06 2011-05-12 Sony Corporation Dynamic reference frame reordering for frame sequential stereoscopic video encoding
KR20120086232A (ko) 2011-01-25 2012-08-02 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US8559511B2 (en) 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
US9591326B2 (en) 2010-03-31 2017-03-07 Intel Corporation Power efficient motion estimation techniques for video encoding
JP5377395B2 (ja) * 2010-04-02 2013-12-25 日本放送協会 符号化装置、復号装置及びプログラム
KR20110112168A (ko) 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8410959B2 (en) * 2010-04-09 2013-04-02 Qualcomm, Incorporated Variable length codes for coding of video data
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
WO2011128268A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Probability interval partioning encoder and decoder
EP2559238B1 (en) 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
CN106358045B (zh) * 2010-04-13 2019-07-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
KR20110135787A (ko) 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
WO2011158225A1 (en) * 2010-06-17 2011-12-22 Mirtemis Ltd. System and method for enhancing images
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
US8934540B2 (en) * 2010-07-20 2015-01-13 Cisco Technology, Inc. Video compression using multiple variable length coding methods for multiple types of transform coefficient blocks
US20130148717A1 (en) 2010-08-26 2013-06-13 Freescale Semiconductor, Inc. Video processing system and method for parallel processing of video data
HUE064571T2 (hu) * 2010-09-27 2024-03-28 Lg Electronics Inc Eljárás blokk particionálásra és dekódoló készülék
JP2012080213A (ja) 2010-09-30 2012-04-19 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US8913666B2 (en) 2010-10-01 2014-12-16 Qualcomm Incorporated Entropy coding coefficients using a joint context model
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
US9628821B2 (en) * 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
WO2012047304A1 (en) * 2010-10-04 2012-04-12 Vidyo, Inc. Delay aware rate control in the context of hierarchical p picture coding
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012052968A1 (en) * 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group
US9462280B2 (en) 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
CN102572419B (zh) * 2010-12-28 2014-09-03 深圳市云宙多媒体技术有限公司 一种帧间预测方法、装置
KR20120080548A (ko) 2011-01-07 2012-07-17 삼성전자주식회사 양방향 예측 및 단일방향 예측이 가능한 비디오 예측 방법 및 그 장치, 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10027957B2 (en) * 2011-01-12 2018-07-17 Sun Patent Trust Methods and apparatuses for encoding and decoding video using multiple reference pictures
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US8953690B2 (en) 2011-02-16 2015-02-10 Google Technology Holdings LLC Method and system for processing video data
GB2488159B (en) 2011-02-18 2017-08-16 Advanced Risc Mach Ltd Parallel video decoding
JP2012186763A (ja) * 2011-03-08 2012-09-27 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9848197B2 (en) * 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US20120262545A1 (en) * 2011-04-18 2012-10-18 Paul Kerbiriou Method for coding and decoding a 3d video signal and corresponding devices
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
WO2012144876A2 (ko) 2011-04-21 2012-10-26 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US8494290B2 (en) 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US8989270B2 (en) 2011-06-23 2015-03-24 Apple Inc. Optimized search for reference frames in predictive video coding system
WO2013003777A1 (en) 2011-06-29 2013-01-03 General Instrument Corporation Methods and system for using a scan coding pattern during intra coding
NO335667B1 (no) 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
CA2989032C (en) * 2011-07-01 2020-02-18 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding
KR101362696B1 (ko) 2011-10-19 2014-02-17 전북대학교산학협력단 하이브리드 아키텍쳐가 적용된 신호 변환 장치, 신호 변환 방법 및 기록매체
KR20130045425A (ko) 2011-10-25 2013-05-06 (주)케이테크 소셜 온톨로지 기반 지식 전문가 추천방법
US10452743B2 (en) 2011-11-07 2019-10-22 Vid Scale, Inc. Video and data processing using even-odd integer transforms
US20130223524A1 (en) * 2012-02-29 2013-08-29 Microsoft Corporation Dynamic insertion of synchronization predicted video frames
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
KR101327078B1 (ko) * 2012-04-27 2013-11-07 엘지이노텍 주식회사 카메라 및 이의 영상 처리 방법
JP6055555B2 (ja) 2012-11-13 2016-12-27 インテル コーポレイション 次世代ビデオのためのビデオコーデックアーキテクチャ
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码

Also Published As

Publication number Publication date
EP3008900A4 (en) 2017-03-15
WO2014120960A1 (en) 2014-08-07
CN104885455B (zh) 2019-02-22
RU2612600C2 (ru) 2017-03-09
KR20150058324A (ko) 2015-05-28
EP2952004A1 (en) 2015-12-09
EP2951993A1 (en) 2015-12-09
EP2952002A1 (en) 2015-12-09
EP2951999A1 (en) 2015-12-09
CN105052140A (zh) 2015-11-11
EP2951998A4 (en) 2016-09-28
US20160127741A1 (en) 2016-05-05
KR102063385B1 (ko) 2020-01-07
US9794568B2 (en) 2017-10-17
CN104718756B (zh) 2019-02-15
WO2014120375A2 (en) 2014-08-07
EP2951993A4 (en) 2016-09-14
EP2952001A1 (en) 2015-12-09
EP2951995A4 (en) 2016-09-21
CN105191309A (zh) 2015-12-23
CN105453570A (zh) 2016-03-30
US20160277738A1 (en) 2016-09-22
CN105453570B (zh) 2020-03-17
US20150229926A1 (en) 2015-08-13
US20150036737A1 (en) 2015-02-05
US9973758B2 (en) 2018-05-15
EP3013053A3 (en) 2016-07-20
JP6339099B2 (ja) 2018-06-06
CN104885467A (zh) 2015-09-02
EP2951994A4 (en) 2016-10-12
CN104885471A (zh) 2015-09-02
US20180176577A1 (en) 2018-06-21
EP2951995A1 (en) 2015-12-09
EP3013053A2 (en) 2016-04-27
JP2016506187A (ja) 2016-02-25
WO2014120374A1 (en) 2014-08-07
WO2015099814A1 (en) 2015-07-02
WO2014120987A1 (en) 2014-08-07
KR20150055005A (ko) 2015-05-20
CN104737542B (zh) 2018-09-25
US9686551B2 (en) 2017-06-20
US10021392B2 (en) 2018-07-10
US9973757B2 (en) 2018-05-15
EP2996338A2 (en) 2016-03-16
US9794569B2 (en) 2017-10-17
KR20150090178A (ko) 2015-08-05
US20150319442A1 (en) 2015-11-05
BR112015015575A2 (pt) 2020-02-04
WO2014120368A1 (en) 2014-08-07
CN104885470B (zh) 2018-08-07
EP2952004A4 (en) 2016-09-14
WO2014120373A1 (en) 2014-08-07
US20170318297A1 (en) 2017-11-02
US9762911B2 (en) 2017-09-12
WO2014120367A1 (en) 2014-08-07
CN104718756A (zh) 2015-06-17
US20150016523A1 (en) 2015-01-15
US9787990B2 (en) 2017-10-10
US20150373328A1 (en) 2015-12-24
US20170006284A1 (en) 2017-01-05
US10284853B2 (en) 2019-05-07
EP2952002A4 (en) 2016-09-21
CN104885470A (zh) 2015-09-02
EP2952001A4 (en) 2016-09-14
US10284852B2 (en) 2019-05-07
EP2996338A3 (en) 2016-07-06
WO2014120575A1 (en) 2014-08-07
KR20150090194A (ko) 2015-08-05
CN105052140B (zh) 2019-01-15
JP2016508327A (ja) 2016-03-17
KR20170066712A (ko) 2017-06-14
CN104885467B (zh) 2018-08-17
JP2016514378A (ja) 2016-05-19
EP2952003A4 (en) 2016-09-14
US20160277739A1 (en) 2016-09-22
EP2951998A1 (en) 2015-12-09
WO2014120375A3 (en) 2016-03-17
JP6286718B2 (ja) 2018-03-07
EP3008900A2 (en) 2016-04-20
US20150010062A1 (en) 2015-01-08
EP2952003B1 (en) 2019-07-17
KR101770047B1 (ko) 2017-08-21
US20150319441A1 (en) 2015-11-05
RU2015126241A (ru) 2017-01-11
CN105556964A (zh) 2016-05-04
CN105191309B (zh) 2018-08-10
KR20150090206A (ko) 2015-08-05
EP2951994A1 (en) 2015-12-09
WO2014120656A1 (en) 2014-08-07
EP2951999A4 (en) 2016-07-20
CN104885455A (zh) 2015-09-02
EP2952003A1 (en) 2015-12-09
WO2014120369A1 (en) 2014-08-07
CN105556964B (zh) 2019-02-01
CN104885471B (zh) 2019-06-28
CN104737542A (zh) 2015-06-24
US20140362922A1 (en) 2014-12-11
US10009610B2 (en) 2018-06-26
US9609330B2 (en) 2017-03-28

Similar Documents

Publication Publication Date Title
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
US11930159B2 (en) Method and system of video coding with intra block copying
JP6120390B2 (ja) 次世代動画用コンテンツに適応的な特性補償済み予測
KR101789954B1 (ko) 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
US11223831B2 (en) Method and system of video coding using content based metadata
US9532048B2 (en) Hierarchical motion estimation employing nonlinear scaling and adaptive source block size
CN110741640A (zh) 用于视频代码化中的运动补偿预测的光流估计

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170530

R150 Certificate of patent or registration of utility model

Ref document number: 6163674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees