JP6120390B2 - 次世代動画用コンテンツに適応的な特性補償済み予測 - Google Patents

次世代動画用コンテンツに適応的な特性補償済み予測 Download PDF

Info

Publication number
JP6120390B2
JP6120390B2 JP2015542034A JP2015542034A JP6120390B2 JP 6120390 B2 JP6120390 B2 JP 6120390B2 JP 2015542034 A JP2015542034 A JP 2015542034A JP 2015542034 A JP2015542034 A JP 2015542034A JP 6120390 B2 JP6120390 B2 JP 6120390B2
Authority
JP
Japan
Prior art keywords
prediction
prediction reference
video
partition
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015542034A
Other languages
English (en)
Other versions
JP2016502332A (ja
Inventor
プリ、アトゥル
エヌ． ゴカーレ、ニーレッシュ
エヌ． ゴカーレ、ニーレッシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2016502332A publication Critical patent/JP2016502332A/ja
Application granted granted Critical
Publication of JP6120390B2 publication Critical patent/JP6120390B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

関連出願 本願は、２０１２年１１月１３日に出願された、「ＣＯＮＴＥＮＴ ＡＤＡＰＴＩＶＥ ＶＩＤＥＯ ＣＯＤＥＲ」という名称の米国特許仮出願第６１／７２５，５７６号、ならびに２０１３年１月３０日に出願された「ＮＥＸＴ ＧＥＮＥＲＡＴＩＯＮ ＶＩＤＥＯ ＣＯＤＩＮＧ」という名称の米国特許仮出願第６１／７５８，３１４号に対する利益を主張する。
動画エンコーダは、より多くの情報が所与の帯域で送信され得るように、動画情報を圧縮する。次に、圧縮された信号は、表示する前に信号をデコードまたは復元するデコーダを有する受信機に送信され得る。
Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）は、最新の動画圧縮規格であり、ＩＳＯ／ＩＥＣ ＭＯＶＩＮＧ ＰＩＣＴＵＲＥ ＥＸＰＥＲＴＳ ＧＲＯＵＰ （ＭＰＥＧ）およびＩＴＵ−Ｔ ＶＩＤＥＯ ＣＯＤＩＮＧ ＥＸＰＥＲＴＳ ＧＲＯＵＰ （ＶＣＥＧ）により形成されたＪＯＩＮＴ ＣＯＬＬＡＢＯＲＡＴＩＶＥ ＴＥＡＭ ＯＮ ＶＩＤＥＯ ＣＯＤＩＮＧ（ＪＣＴ−ＶＣ）により、開発されている。ＨＥＶＣは、高解像度の動画アプリケーションを発達させるのに十分な圧縮を提供しない、以前のＨ．２６４／ＡＶＣ（アドバンスド動画コーディング）規格に対応して開発された。以前の動画符号化規格と同様に、ＨＥＶＣは、イントラ／インター予測、変換量子化、インループフィルタリング、およびエントロピ符号化等、複数の基本的機能モジュールを含む。
現在のＨＥＶＣ規格は、複数の予測パーティションおよび符号化パーティションを可能にするのに対して限られた複数の選択肢、限られた複数の参照および予測生成の許可、限られた複数の変換ブロックサイズおよび実際の変換、複数の符号化アーチファクトを低減するのに対して限られた複数のメカニズム、不十分な複数のエントロピエンコード技術等、Ｈ．２６４／ＡＶＣ規格の限界に対して改善を試みる。しかし、現在のＨＥＶＣ規格は、そのような複数の問題を解決する複数の反復アプローチを用い得る。
例えば、圧縮される動画の解像度が増大し、高い動画の質に対する期待が高くなっているので、Ｈ．２６４、またはＨ．２６５／ＨＥＶＣ等の更に発達した規格等、既存の複数の動画符号化規格を用いて符号化するのに必要とされる対応ビットレート／帯域は、比較的高い。複数の上述の規格は、不十分な圧縮／品質問題に暗黙に対処する従来の複数のアプローチの拡大形を用いるが、多くの場合、結果は限られている。
本開示は、次世代動画（ＮＧＶ）コーデックプロジェクトの文脈内で開発され、達成可能な圧縮効率性を最大化する高度な動画コーデックを設計する一般的問題に対処する一方、複数のデバイスに対する実装のために、依然として十分に実用的である。例えば、優良なディスプレイが入手可能となるのに起因して動画の解像度が増大し、高い動画の質に対する期待が高まり、初期のＭＰＥＧ規格、およびさらにより近年のＨ．２６４／ＡＶＣ規格等、複数の既存の動画符号化規格を用いるのに必要とされる対応ビットレート／帯域は、比較的高い。Ｈ．２６４／ＡＶＣは、複数の高解像度の動画アプリケーションを発達させるのに十分に高度な圧縮を提供するとは認知されていなかった。
本明細書において説明される材料は、添付図面において限定ではなく、例として図示される。説明の簡潔さかつ明確さのために、図において図示される複数の要素は、必ずしも縮尺通りに描かれない。例えば、いくつかの要素の寸法は、明確にするために他の複数の要素に対して誇張されることがある。更に、適切とみなされる場合には、対応し、または類似の複数の要素を示すべく、複数の図面間において参照符号が反復されている。
例示的な次世代動画エンコーダの例示的な図である。 例示的な次世代動画デコーダの例示的な図である。 例示的な次世代動画エンコーダサブシステムの例示的な図である。 例示的な次世代動画デコーダサブシステムの例示的な図である。 複数の修正済み予測基準映像の例示的な図である。 例示的なエンコーダサブシステムの例示的な図である。 例示的なエンコーダサブシステムの例示的な図である。 例示的なエンコーダサブシステムの例示的な図である。 例示的なデコーダサブシステムの例示的な図である。 例示的な動画エンコード処理を図示するフロー図である。 例示的なビットストリームを図示する。 例示的な動画デコード処理を図示するフロー図である。 動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。 動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。 動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。 動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。 動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。 例示的な動画符号化システムの例示的な図である。
例示的なシステムの例示的な図である。
全てが本開示の少なくともいくつかの実装に従って構成された、例示的な複数のデバイスを図示する。
ここで、開示された複数の図を参照して、１または複数の実施形態もしくは実装形態を説明する。特定の複数の構成および配置が論じられるが、これは、専ら例示的目的のみで行われることを理解されたい。当業者は、本明細書の趣旨および範囲を逸脱することなく、他の複数の構成および配置が使用され得ることを理解するであろう。また、本明細書において説明される複数の技術および／または構成が、本明細書において説明されるもの以外の様々な他のシステムおよびアプリケーションにおいても使用され得ることは、当業者には明らかであろう。
以下の説明は、例えば、システムオンチップ（ＳｏＣ）アーキテクチャ等の複数のアーキテクチャにおいて現れ得る、様々な実装を記載するが、本明細書において説明される複数の技術および／または構成の実装は、特定のアーキテクチャおよび／またはコンピューティングシステムに限定されず、同様の目的のための任意のアーキテクチャおよび／またはコンピューティングシステムにより実装されてもよい。例えば、例えば、複数の集積回路（ＩＣ）チップおよび／もしくはパッケージ、ならびに／または様々なコンピューティングデバイス、および／もしくはセットトップボックス、スマートフォン等の家電（ＣＥ）複数のデバイスを使用する様々なアーキテクチャは、本明細書において説明される複数の技術および／または構成を実装し得る。更に、以下の説明は、複数のロジック実装、複数のシステムコンポーネントのタイプおよび相互関係、ロジックパーティショニング／統合の選択肢等、多数の具体的な詳細を記載するが、特許請求される主題は、そのような複数の特定の詳細を用いることなく実施され得る。他の複数の例において、例えば、制御構造および完全なソフトウェア命令のシーケンス等、いくつかの材料は、本明細書において開示される材料を不明瞭にしないように、示されないことがある。
本明細書において開示される材料は、ハードウェア、ファームウェア、ソフトウェア、またはそれらのいずれかの組み合わせで実装され得る。また、本明細書において開示される材料は、１または複数のプロセッサにより読み取られ、実行され得る機械可読媒体上に格納された複数の命令として実装されてもよい。機械可読媒体は、機械（例えば、コンピューティングデバイス）により可読な形式の情報を格納または送信するいずれの媒体および／またはメカニズムも含み得る。例えば、機械可読媒体としては、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学ストレージ媒体、フラッシュメモリデバイス、伝播信号の電気的、光学的、音響学的、もしくは他の複数の形態（例えば、伝送波、赤外線信号、デジタル信号等）などが挙げられ得る。
本明細書において「１つの実装」、「実装」、「例示的な実装」等に言及することは、説明される実装が特定の特徴の構造または特性を含み得ることを示すが、全ての実施形態が特定の特徴、構造、または特性を必ずしも含むわけではない場合がある。更に、そのような文言は、同一の実装を必ずしも指すわけではない。更に、一実施形態に関して、特定の特徴、構造、または特性が説明される場合、本明細書において明示的に記載されているか否かに拘わらず、他の複数の実装に関して、そのような機能、構造、または特性をもたらすことが当業者の知識の範囲内であることが述べられている。
フレーム間予測補償に関する複数のシステム、装置、物品、および方法が、以下に説明される。
上述のように、Ｈ．２６４／ＡＶＣ規格は、様々な限界を有し、例えば、ＨＥＶＣ規格等の規格を改善する現在の複数の試みは、そのような複数の限界に対処するべく、複数の反復アプローチを用い得る。例えば、圧縮される動画の解像度が増大し、高い動画の質に対する期待が高くなっているので、Ｈ．２６４等、またはＨ．２６５／ＨＥＶＣ等、更に発達している複数の規格等、既存の複数の動画符号化規格を用いて符号化するのに必要とされる対応ビットレート／帯域は、比較的高い。複数の上述の規格は、不十分な圧縮／品質問題に暗黙に対処する従来の複数のアプローチの拡大形を用い得るが、多くの場合、結果は限られている。例えば、従来のフレーム間符号化は、通常、複数の規格により用いられる、動き補償済み予測を含む。従って、通常、そのような不十分な圧縮／品質問題は、動画のフレーム間符号化においてローカルな動き補償済み予測のみを用いることにより暗黙に対処される。
更に、いくつかの特定目的のアプローチが、現在試みられている。通常、そのような複数の試みは、複数の過去のフレーム、または複数の過去および将来のフレームを採用し得る。通常、複数の過去のフレームまたは複数の過去および将来のフレームをそのように用いることは、複数の過去または将来のフレームにおいて、過去のフレーム（複数のＰ映像／複数のスライスに対する）、または過去または将来の複数のフレーム（複数のＢ映像／複数のスライスに対する）においてよりも、予測される現在のフレームの区域に類似するいくつかの区域が存在し得るとの希望と共に使用される。
しかし、そのような不十分な圧縮／品質問題の多くは、動きのみにならず、他の複数の特性にも起因するので、動き補償済み予測のみでは、前の基準フレーム（複数のＰ映像／複数のスライスの場合）、および複数のＢ映像／複数のスライスの場合に前および次の基準フレームからの複数の予測を用いて、そのような不十分な圧縮／品質問題を完全に解決することはできない。従って、複数の次世代動画（ＮＧＶ）システム、装置、複数の物品、および複数の方法が以下に説明される。ＮＧＶ動画符号化は、より高い圧縮を達成するべく、動画符号化処理において重要なコンテンツベースの適応性を組み込み得る。ＮＧＶコーデックの文脈において開発されたそのような複数の実装は、どのように予測信号を改善するかの問題に対処し、同様に、動画符号化において高い圧縮効率性を達成することを可能にする。
本明細書において用いられるように、「コーダ」という用語は、エンコーダおよび／またはデコーダを指し得る。同様に、本明細書において用いられるように、「符号化」という用語は、エンコーダにより動画のエンコードを実行し、および／またはデコーダにより動画のデコードを実行することを指し得る。例えば、動画エンコーダおよび動画デコーダは、双方が動画データを符号化することが可能なコーダの例であり得る。加えて、本明細書において用いられるように、「コーデック」という用語は、例えば、任意のソフトウェア、ファームウェア、および／またはエンコーダおよび／またはデコーダを実装し得るハードウェアのいずれかの組み合わせ等、複数のオペレーションの任意の処理、プログラム、または設定を指し得る。更に、本明細書において用いられるように、「動画データ」という文言は、例えば、動画フレーム、画像データ、エンコード済みビットストリームデータ等、動画の符号化に関連する任意のタイプのデータを指し得る。
図１は、本開示の少なくともいくつかの実装に従って構成された例示的な次世代動画エンコーダ１００の例示的な図である。示されるように、エンコーダ１００は、入力動画１０１を受信し得る。入力動画１０１は、例えば、動画シーケンスの複数の入力フレーム等をエンコードするための任意の好適な入力動画を含み得る。示されるように、入力動画１０１は、コンテンツ事前解析器モジュール１０２を介して受信され得る。コンテンツ事前解析器モジュール１０２は、入力動画１０１の複数の動画フレームにおけるコンテンツの解析を実行し、動画の符号化の効率性および速度性能を改善するための様々なタイプのパラメータを判断するように構成され得る。例えば、コンテンツ事前解析器モジュール１０２は、水平および垂直の勾配情報（例えば、Ｒｓ、Ｃｓ）、分散、１映像毎の空間的複雑性、１映像毎の時間的複雑性、シーン変化の検出、動き範囲の評価、利得の検出、予測距離の評価、オブジェクト評価の数、領域境界の検出、空間的複雑性マップの計算、合焦評価、フィルム粒子評価等を判断し得る。コンテンツ事前解析器モジュール１０２により生成される複数のパラメータは、（例えば、エンコードコントローラ１０３により）エンコーダ１００により用いられ、および／または量子化され、デコーダに通信され得る。示されるように、複数の動画フレームおよび／または他のデータは、コンテンツ事前解析器モジュール１０２から適応映像構成部モジュール１０４に送信され、適応映像構成部モジュール１０４は、各動画フレームの映像のタイプ（例えば、Ｉ、Ｐ、またはＦ／Ｂ映像）を判断し、必要とされる複数の動画フレームを再度並び替えることができる。いくつかの例において、適応映像構成部モジュール１０４は、フレーム部分を生成するように構成されたフレーム部分生成器を含み得る。いくつかの例において、コンテンツ事前解析器モジュール１０２および適応映像構成部モジュール１０４は、合わせて、エンコーダ１００の事前解析器のサブシステムとみなされ得る。
示されるように、動画フレームおよび／または他のデータは、適応映像構成部モジュール１０４から予測パーティション生成器モジュール１０５に送信され得る。いくつかの例において、予測パーティション生成器モジュール１０５は、フレームまたは映像を複数のタイルまたはスーパフラグメント等に分割し得る。いくつかの例において、（例えば、モジュール１０４とモジュール１０５との間に）フレームまたは映像を複数のタイルまたはスーパフラグメントに分割するための追加のモジュールが、提供されてもよい。予測パーティション生成器モジュール１０５は、各タイルまたはスーパフラグメントを複数の潜在的予測パーティショニングまたはパーティションに分割し得る。いくつかの例において、潜在的予測パーティショニングは、例えば、ｋ−ｄツリーパーティショニング技術、二分木パーティショニング技術等のパーティショニング技術を用いて判断され、これらは、個々の動画フレーム、映像のタイプ（例えば、Ｉ、Ｐ、またはＦ／Ｂ映像）、分割されるフレーム部分の特性等に少なくとも部分的に基づいて判断され得る。いくつかの例において、判断される複数の潜在的予測パーティショニングは、予測（例えば、インター予測またはイントラ予測）用のパーティションであり得、予測パーティションまたは予測ブロック等として記載され得る。
いくつかの例において、選択済み予測パーティショニング（例えば、複数の予測パーティション）は、複数の潜在的予測パーティショニングから判断され得る。例えば、選択済み予測パーティショニングは、各潜在的予測パーティショニングについて、複数の特性および動きベースの複数基準による予測または複数のイントラ予測を用いて複数の予測を判断すること、および、複数の予測パラメータを判断することに少なくとも部分的に基づいてもよい。各潜在的予測パーティショニングについて、潜在的予測誤差は、複数の予測画素と複数の元の画素との差分を取ることにより判断され得、選択済み予測パーティショニングは、最小の予測誤差を有する潜在的予測パーティショニングであり得る。他の複数の例において、選択済み予測パーティショニングは、パーティショニングを符号化するためのビット数、および予測パーティショニングに関連する予測誤差に少なくとも部分的に基づく重み付けスコアリングを含む、レート歪みの最適化に少なくとも部分的に基づいて判断され得る。
示されるように、選択済み予測パーティショニング（例えば、現在のフレームの複数の予測パーティション）の複数の元の画素は、差分器１０６において予測される複数のパーティションとの差分を取り得る（例えば、基準フレーム、または複数のフレーム、および、インター予測データもしくはイントラ予測データ等の他の予測データに少なくとも部分的に基づく、現在のフレームにおける予測パーティションの予測）。予測される複数のパーティションの判断は、以下に更に説明され、図１に示されるように、デコードされたループを含み得る。差分のあらゆる残差または残差データ（例えば、パーティション予測誤差データ）は、符号化パーティション生成器モジュール１０７に送信され得る。いくつかの例において、任意の映像のタイプ（Ｉ、Ｆ／Ｂ、または複数のＰ映像）の複数の予測パーティションのイントラ予測等について、符号化パーティション生成器モジュール１０７は、スイッチ１０７ａおよび１０７ｂを介してバイパスされ得る。そのような複数の例において、１つのレベルのパーティショニングのみが実行されてもよい。そのようなパーティショニングは、（論じられた）予測パーティショニング、もしくは符号化パーティショニング、またはその双方として説明され得る。様々な例において、そのようなパーティショニングは、（論じられた）予測パーティション生成器モジュール１０５を介して実行されてもよく、または本明細書において更に論じられるように、そのようなパーティショニングは、符号化パーティション生成器モジュール１０７を介して実装されたｋ−ｄツリーイントラ予測／符号化パーティショナモジュールまたは二分木イントラ予測／符号化パーティショナモジュールを介して実行され得る。
いくつかの例において、パーティション予測誤差データは、仮にそうであったとしても、エンコードを保証するのに十分には重大ではないことがある。他の複数の例において、パーティション予測誤差データをエンコードすることが所望であり、パーティション予測誤差データがインター予測等に関連する場合には、符号化パーティション生成器モジュール１０７は、複数の予測パーティションの複数の符号化パーティションを判断し得る。いくつかの例において、符号化パーティション生成器モジュール１０７は、必要とされないことがある。パーティションは、（例えば、スイッチ１０７ａおよび１０７ｂを介して利用可能なバイパス経路により示されるように）符号化パーティショニングを用いずにエンコードされ得るからである。符号化パーティショニングを用い、または用いずに、パーティション予測誤差データ（いずれの場合にも符号化パーティションとして次に説明され得る）は、複数の残差（ｒｅｓｉｄｕａｌ）または残差データがエンコードを必要とする場合、適応変換モジュール１０８に送信され得る。いくつかの例において、予測パーティション生成器モジュール１０５および符号化パーティション生成器モジュール１０７は、合わせて、エンコーダ１００のパーティショナサブシステムとみなされ得る。様々な例において、符号化パーティション生成器モジュール１０７は、パーティション予測誤差データ、元の画素データ、残差データ、またはウェーブレットデータに基づいて動作し得る。
符号化パーティション生成器モジュール１０７は、二分木パーティショニング技術および／またはｋ−ｄツリーパーティショニング技術等を用いて、例えば、パーティション予測誤差データの複数の潜在的符号化パーティショニング（例えば、複数の符号化パーティション）を生成し得る。いくつかの例において、複数の潜在的符号化パーティションは、適応変換モジュール１０８を介して様々なブロックサイズを有する適応的または固定変換を用いて変換され得、選択された符号化パーティショニングおよび選択された複数の変換（例えば、適応的または固定の）は、レート歪みの最適化、または他の基礎に少なくとも部分的に基づいて判断され得る。いくつかの例において、選択された符号化パーティショニングおよび／または選択された変換は、複数の符号化パーティションサイズ等に少なくとも部分的に基づく所定の選択方法に少なくとも部分的に基づいて判断され得る。
例えば、適応変換モジュール１０８は、小さいものから中間のサイズの複数のブロックのローカルに最適な変換符号化を可能にする、パラメータ変換を実行するための第１の部分またはコンポーネントと、複数のパラメータ変換、または本明細書において更に論じられるその他の構成を含む、様々な変換からの変換に基づく離散コサイン変換（ＤＣＴ）または映像等の固定変換を用いて、グローバルに安定した、低オーバヘッドの変換符号化を実行するための第２の部分またはコンポーネントとを含み得る。いくつかの例において、ローカルに最適な変換符号化については、本明細書において更に論じられるように、パラメータハール変換（ＰＨＴ）が実行され得る。いくつかの例において、複数の変換は、約４ｘ４画素〜６４ｘ６４画素の矩形サイズの複数の２Ｄブロックに実行され、実際のサイズは、変換されたデータがルマもしくはクロマか、またはインターもしくはイントラかどうか、または用いられる判断済み変換がＰＨＴまたはＤＣＴ等であるか否か等、いくつかの要因に依存し得る。
示されるように、複数の結果としての変換係数は、適応量子化モジュール１０９に送信され得る。適応量子化モジュール１０９は、複数の結果としての変換係数を量子化し得る。更に、必要とされるパラメータ変換に関連する任意のデータは、適応量子化モジュール１０９（量子化が所望である場合）または適応エントロピエンコーダモジュール１１０のいずれかに送信され得る。また、図１に示されるように、複数の量子化係数は、スキャンされ、適応エントロピエンコーダモジュール１１０に送信され得る。適応エントロピエンコーダモジュール１１０は、複数の量子化済み係数をエントロピエンコードし、それらを出力ビットストリーム１１１に含めることができる。いくつかの例において、適応変換モジュール１０８および適応量子化モジュール１０９は、合わせて、エンコーダ１００の変換エンコーダサブシステムとみなし得る。
また、図１において示されるように、エンコーダ１００は、ローカルデコードループを含む。ローカルデコードループは、適応逆量子化モジュール１１２において開始し得る。適応逆量子化モジュール１１２は、逆スキャンが実行され、複数の量子化係数が複数の変換係数を判断するべくデスケーリングされ得るように、適応量子化モジュール１０９と反対のオペレーションを実行するように構成され得る。そのような適応量子化オペレーションは、例えば、不可逆であり得る。示されるように、複数の変換係数は、適応逆変換モジュール１１３に送信され得る。適応逆変換モジュール１１３は、例えば、複数の符号化パーティションに関連する残差値もしくは残差値、またはパーティション予測誤差データ（または論じられた元のデータもしくはウェーブレットデータ）を生成するべく、適応変換モジュール１０８により実行されるものとして逆変換を実行し得る。いくつかの例において、適応逆量子化モジュール１１２および適応逆変換モジュール１１３は、合わせて、エンコーダ１００の変換デコーダサブシステムとみなされ得る。
示されるように、パーティション予測誤差データ（等）は、任意選択の符号化パーティションアセンブラ１１４に送信され得る。符号化パーティションアセンブラ１１４は、複数の符号化パーティションをアセンブルして、必要とされる複数のデコード済み予測パーティションとし（示されるように、いくつかの例において、符号化パーティションアセンブラ１１４は、複数のデコード済み予測パーティションが適応逆変換モジュール１１３において生成され得るように、スイッチ１１４ａおよび１１４ｂを介してしてスキップされ得る）、予測誤差データの複数の予測パーティションまたはデコード済み残差予測パーティション等を生成し得る。
示されるように、複数のデコード済み残差予測パーティションは、加算器１１５において予測される複数のパーティション（例えば、予測画素データ）に加算され、複数の再構成済み予測パーティションを生成し得る。再構成済み予測パーティションは、予測パーティションアセンブラ１１６に送信され得る。予測パーティションアセンブラ１１６は、複数の再構成済み予測パーティションをアセンブルし、複数の再構成済みタイルまたはスーパフラグメントを生成し得る。いくつかの例において、符号化パーティションアセンブラモジュール１１４および予測パーティションアセンブラモジュール１１６は、合わせて、エンコーダ１００のアンパーティショナサブシステムとみなされ得る。
複数の再構成済みタイルまたはスーパフラグメントは、ブロックノイズ解析器に送信され、フィルタリングモジュール１１７をデブロックし得る。ブロックノイズ解析器およびデブロックフィルタリングモジュール１１７は、複数の再構成済みタイルもしくはスーパフラグメント（または複数のタイルまたはスーパフラグメントの複数の予測パーティション）をデブロックしディザし得る。生成されたデブロックおよび複数のディザフィルタリングパラメータは、例えば、現在のフィルタリングオペレーションに用いられ、および／またはデコーダにより用いられるビットストリーム１１１において符号化され得る。ブロックノイズ解析器およびデブロックフィルタリングモジュール１１７の出力は、品質解析器および品質回復フィルタリングモジュール１１８に送信されてもよい。品質解析器および品質回復フィルタリングモジュール１１８は、複数のＱＲフィルタリングパラメータ（例えば、ＱＲ分解）を判断し、フィルタリングのために複数の判断済みパラメータを用い得る。また、複数のＱＲフィルタリングパラメータは、デコーダにより用いられるビットストリーム１１１において符号化され得る。示されるように、品質解析器および品質回復フィルタリングモジュール１１８の出力は、デコード済み映像バッファ１１９に送信され得る。いくつかの例において、品質解析器および品質回復フィルタリングモジュール１１８の出力は、他の複数のフレームを符号化する予測ように用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。いくつかの例において、ブロックノイズ解析器およびデブロックフィルタリングモジュール１１７、ならびに品質解析器および品質回復フィルタリングモジュール１１８は、合わせて、エンコーダ１００のフィルタリングサブシステムとみなされ得る。
エンコーダ１００において、複数の予測オペレーションは、インター予測および／またはイントラ予測を含み得る。図１において示されるように、インター予測は、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、ならびに特性および動きフィルタリング予測器モジュール１２３を含む、１または複数のモジュールにより実行され得る。モーフィング解析器および生成モジュール１２０は、現在の映像を解析し、基準フレームまたは符号化される複数のフレームに関する利得における複数の変化、主要な動きにおける複数の変化、レジストレーション（ｒｅｇｉｓｔｒａｔｉｏｎ）における複数の変化、およびぼかしにおける変化に対する複数のパラメータを判断し得る。複数の判断済みモーフィングパラメータは、量子化／逆量子化（ｄｅ―ｑｕａｎｔｉｚｅ）され、現在のフレームの効率的動き（および特性）補償済み予測のために複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る複数のモーフィング済み基準フレームを生成するべく、（例えば、モーフィング解析器および生成モジュール１２０により）用いられ得る。合成解析器および生成モジュール１２１は、これらのフレームにおける効率的な動き補償済み予測のために複数の動きベクトルを判断する、複数の超解像度（ＳＲ）映像および複数の投影内挿（ＰＩ）映像等を生成し得る。
動き評価器モジュール１２２は、現在のフレームと共にモーフィング済み基準フレーム、ならびに／または複数の超解像度（ＳＲ）映像および複数の投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動きベクトルデータを生成し得る。いくつかの例において、動き評価器モジュール１２２は、インター予測モジュールとみなされ得る。例えば、動きベクトルデータは、インター予測のために用いられ得る。インター予測が適用されると、特性および動きフィルタリング予測器モジュール１２３は、論じられたローカルデコードループの一部として動き補償を適用し得る。
イントラ予測は、イントラ方向の予測解析器および予測生成モジュール１２４により実行され得る。イントラ方向の予測解析器および予測生成モジュール１２４は、空間的方向予測を実行するように構成され、複数のデコード済み隣接パーティションを用い得る。いくつかの例において、方向の判断および予測の生成の双方は、イントラ方向の予測解析器および予測生成モジュール１２４により実行され得る。いくつかの例において、イントラ方向の予測解析器および予測生成モジュール１２４は、イントラ予測モジュールとみなされ得る。
図１において示されるように、予測モードおよび参照タイプ解析器モジュール１２５は、タイル（またはスーパフラグメント）の各予測パーティションについて、「スキップ」、「自動」、「インター」、「分割」、「マルチ」、および「イントラ」から予測モードを選択することを可能にし、これらの全てがＰおよびＦ／Ｂ映像に適用され得る。複数の予測モードに加えて、予測モードおよび参照タイプの解析器モジュール１２５は、「インター」または「マルチ」モードに応じて、ならびにＰおよびＦ／Ｂ映像に対して異なり得る、複数の参照タイプの選択も可能にする。予測モードおよび参照タイプ解析器モジュール１２５の出力部における予測信号は、予測解析器および予測結合フィルタリングモジュール１２６によりフィルタリングされ得る。予測解析器および予測結合フィルタリングモジュール１２６は、フィルタリングのために用いる複数のパラメータ（例えば、複数のフィルタリング係数、周波数、オーバヘッド）を判断し、フィルタリングを実行し得る。いくつかの例において、予測信号をフィルタリングすることにより、複数の異なるモード（例えば、イントラ、インター、マルチ、分割、スキップ、および自動）を表す複数の異なるタイプの信号を結合し得る。いくつかの例において、イントラ予測信号は、適切なフィルタリングが符号化の効率性を大幅に向上させ得るように、他のあらゆるタイプのインター予測信号と異なってもよい。いくつかの例において、複数のフィルタリングパラメータは、デコーダにより用いられるビットストリーム１１１においてエンコードされ得る。フィルタリング済み予測信号は、第２の入力（例えば、予測パーティション）を上述のように差分器１０６に提供し、差分器１０６は、先に論じられた符号化用の予測差異信号（例えば、パーティション予測誤差）を判断し得る。更に、同一のフィルタリング済み予測信号は、第２の入力を、やはり上述のように加算器１１５に提供し得る。論じられたように、出力ビットストリーム１１１は、動画の提示用のデコーダにより用いられる効率的にエンコードされたビットストリームを提供し得る。
動作中、エンコーダ１００のいくつかのコンポーネントは、エンコーダ予測サブシステムとして動作し得る。例えば、エンコーダ１００のそのようなエンコーダ予測サブシステムは、デコード済み映像バッファ１１９、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、動き評価器モジュール１２２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含み得る。
以下により詳細に論じられるように、いくつかの実装において、エンコーダ１００のそのようなエンコーダ予測サブシステムは、効率的な動画符号化アルゴリズムにいくつかのコンポーネント、およびこれらのコンポーネントにより生成される組み合わされた複数の予測を組み込み得る。例えば、提案のＮＧＶコーダの実装は、１または複数の以下の機能を含み得る１．利得補償（例えば、シーンにおける利得／明るさの変化に対する明示的補償）。２．ぼかし補償。例えば、シーンにおけるぼかし／鮮明さの変化に対する明示的補償。３．主要な／グローバルな動き補償（例えば、シーンにおける主要な動きに対する明示的補償）。４．レジストレーション補償（例えば、シーンにおける複数のレジストレーション不一致に対する明示的補償）。５．超解像度（例えば、シーンにおける解像度の精度の変化に対する明示的モデル）。６．投影（例えば、シーンにおける動きの軌道の変化に対する明示的モデル）等、および／またはこれらの組み合わせ。
例えば、エンコーダ１００のそのようなエンコーダ予測サブシステムにおいて、品質解析器および品質回復フィルタリングの出力は、デコード済み映像バッファ１１９に送信され得る。いくつかの例において、品質解析器および品質回復フィルタリングの出力は、他の複数のフレームを符号化する予測のために用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。エンコーダ１００において、複数の予測オペレーションが、インター予測および／またはイントラ予測を含み得る。示されるように、インター予測は、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含む１または複数のモジュールにより実行され得る。
以下により詳細に説明されるように、モーフィング解析器および生成モジュール１２０は、現在の映像を解析し、基準フレームまたは符号化される複数のフレームに関する利得における複数の変化、主要な動きにおける複数の変化、レジストレーションにおける複数の変化、およびぼかしにおける複数の変化に対する複数のパラメータを判断し得る。判断された複数のモーフィングパラメータは、量子化／逆量子化され、複数のモーフィング済み基準フレームを生成するべく（例えば、モーフィング解析器および生成モジュール１２０により）用いられ得る。生成されたそのような複数のモーフィング済み基準フレームは、バッファ内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
同様に、合成解析器および生成モジュール１２１は、これらのフレームにおける効率的動き補償済み予測に対する複数の動きベクトルを判断するための複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。生成されたそのような複数の合成済み基準フレームは、バッファ内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
従って、エンコーダ１００のそのようなエンコーダ予測サブシステムにおいて、動き評価器モジュール１２２は、現在のフレームと共にモーフィング済み基準フレーム、ならびに／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動きベクトルデータを生成し得る。いくつかの例において、動き評価器モジュール１２２は、インター予測モジュールとみなされ得る。例えば、動きベクトルデータは、インター予測のために用いられ得る。インター予測が適用されると、特性および動きフィルタリング予測器モジュール１２３は、論じられたローカルデコードループの一部として動き補償を適用し得る。
動作中に、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、デコード済み過去および／または将来の映像／スライスに関する通常のローカルな動き補償以外に上記の複数のコンポーネントのうち１または複数を用い得る。従って、本実装は、例えば、利得補償またはその他の特性補償済み基準フレーム生成に対する特定の解決法を要求するものではない。
図２は、本開示の少なくともいくつかの実装に従って構成された例示的な次世代動画デコーダ２００の例示的な図である。示されるように、デコーダ２００は、入力ビットストリーム２０１を受信し得る。いくつかの例において、入力ビットストリーム２０１は、エンコーダ１００、および／または本明細書において論じられる複数のエンコード技術によりエンコードされ得る。示されるように、入力ビットストリーム２０１は、適応エントロピデコーダモジュール２０２により受信され得る。適応エントロピデコーダモジュール２０２は、様々なタイプのエンコード済みデータ（例えば、オーバヘッド、複数の動きベクトル、複数の変換係数等）をデコードし得る。いくつかの例において、適応エントロピデコーダ２０２は、可変長のデコード技術を用い得る。いくつかの例において、適応エントロピデコーダ２０２は、上述の適応エントロピエンコーダモジュール１１０の逆オペレーションを実行し得る。
デコード済みデータは、適応逆量子化モジュール２０３に送信され得る。適応逆量子化モジュール２０３は、複数の量子化済み係数を逆スキャンおよびデスケーリングし、複数の変換係数を判断するように構成され得る。そのような適応量子化オペレーションは、例えば、不可逆であり得る。いくつかの例において、適応逆量子化モジュール２０３は、適応量子化モジュール１０９と反対のオペレーション（例えば、適応逆量子化モジュール１１２と実質的に同一の複数のオペレーション）を実行するように構成され得る。示されるように、複数の変換係数（およびいくつかの例において、パラメータ変換において用いる変換データ）は、適応逆変換モジュール２０４に送信され得る。適応逆変換モジュール２０４は、複数の変換係数に逆変換を実行し、複数の符号化パーティションに関連する複数の残差もしくは残差値、またはパーティション予測誤差データ（または元のデータもしくはウェーブレットデータ）を生成し得る。いくつかの例において、適応逆変換モジュール２０４は、適応変換モジュール１０８と反対のオペレーション（例えば、適応逆変換モジュール１１３と実質的に同一の複数のオペレーション）を実行するように構成され得る。いくつかの例において、適応逆変換モジュール２０４は、例えば、複数のデコード済み隣接パーティション等、他の既にデコードされたデータに少なくとも部分的に基づいて逆変換を実行し得る。いくつかの例において、適応逆量子化モジュール２０３および適応逆変換モジュール２０４は、合わせて、デコーダ２００の変換デコーダサブシステムとみなされ得る。
示されるように、複数の残差もしくは残差値、またはパーティション予測誤差データは、符号化パーティションアセンブラ２０５に送信され得る。符号化パーティションアセンブラ２０５は、複数の符号化パーティションをアセンブルして、必要とされる複数のデコード済み予測パーティションとし得る（示されるように、いくつかの例において、符号化パーティションアセンブラ２０５は、複数のデコード済み予測パーティションが適応逆変換モジュール２０４において生成され得るように、スイッチ２０５ａおよび２０５ｂを介してスキップされ得る）。予測誤差データ（例えば、予測パーティション残差）の複数のデコード済み予測パーティションは、加算器２０６において予測される複数のパーティション（例えば、予測画素データ）に加算され、再構成済み予測パーティションを生成し得る。複数の再構成済み予測パーティションは、予測パーティションアセンブラ２０７に送信され得る。予測パーティションアセンブラ２０７は、複数の再構成済み予測パーティションをアセンブルし、複数の再構成済みタイルまたはスーパフラグメントを生成し得る。いくつかの例において、符号化パーティションアセンブラモジュール２０５および予測パーティションアセンブラモジュール２０７は、合わせて、デコーダ２００のアンパーティショナサブシステムとみなされ得る。
複数の再構成済みタイルまたはスーパフラグメントは、デブロックフィルタリングモジュール２０８に送信され得る。デブロックフィルタリングモジュール２０８は、複数の再構成済みタイルもしくはスーパフラグメント（または複数のタイルもしくはスーパフラグメントの予測パーティション）をデブロックし、ディザし得る。生成済みデブロックパラメータおよびディザフィルタリングパラメータは、例えば、入力ビットストリーム２０１から判断され得る。デブロックフィルタリングモジュール２０８の出力は、品質回復フィルタリングモジュール２０９に送信され得る。品質回復フィルタリングモジュール２０９は、複数のＱＲパラメータに少なくとも部分的に基づいて品質フィルタリングを適用し、複数のＱＲパラメータは、例えば、入力ビットストリーム２０１から判断され得る。図２において示されるように、品質回復フィルタリングモジュール２０９の出力は、デコード済み映像バッファ２１０に送信され得る。いくつかの例において、品質回復フィルタリングモジュール２０９の出力は、他の複数のフレームを符号化する予測のために用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。いくつかの例において、デブロックフィルタリングモジュール２０８および品質回復フィルタリングモジュール２０９は、合わせて、デコーダ２００のフィルタリングサブシステムとみなされ得る。
論じられるように、複数の予測オペレーションに起因する補償は、インター予測補償および／またはイントラ予測補償を含み得る。示されるように、インター予測補償は、モーフィング生成モジュール２１１、合成生成モジュール２１２、ならびに特性および動き補償済みフィルタリング予測器モジュール２１３を含む１または複数のモジュールにより実行され得る。モーフィング生成モジュール２１１は、（例えば、入力ビットストリーム２０１から判断される）複数の逆量子化モーフィングパラメータを用い、複数のモーフィング済み基準フレームを生成し得る。合成生成モジュール２１２は、入力ビットストリーム２０１から判断された複数のパラメータに少なくとも部分的に基づいて、複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。インター予測が適用されると、特性および動き補償済みフィルタリング予測器モジュール２１３は、入力ビットストリーム２０１における複数の受信済みフレームおよび動きベクトルデータ等に少なくとも部分的に基づいて動き補償を適用し得る。
イントラ予測補償は、イントラ方向の予測生成モジュール２１４により実行され得る。イントラ方向の予測生成モジュール２１４は、空間的方向予測を実行するように構成され、入力ビットストリーム２０１におけるイントラ予測データにより複数のデコード済み隣接パーティションを用い得る。
図２において示されるように、予測モードセレクタモジュール２１５は、タイルの各予測パーティションについて「スキップ」、「自動」、「インター」、「マルチ」、および「イントラ」から予測モード選択を判断し、これらの全ては、入力ビットストリーム２０１におけるモード選択データに少なくとも部分的に基づいてＰおよびＦ／Ｂ映像に適用され得る。複数の予測モードに加えて、「インター」または「マルチ」モードに応じて、ならびにＰおよびＦ／Ｂ映像に対して異なり得る、複数の参照タイプの選択も可能にする。予測モードセレクタモジュール２１５の出力部における予測信号は、予測結合フィルタリングモジュール２１６によりフィルタリングされ得る。予測結合フィルタリングモジュール２１６は、入力ビットストリーム２０１により判断された複数のパラメータ（例えば、複数のフィルタリング係数、周波数、オーバヘッド）に少なくとも部分的に基づいてフィルタリングを実行し得る。いくつかの例において、予測信号をフィルタリングすることにより、複数の異なるモード（例えば、イントラ、インター、マルチ、スキップ、および自動）を表す複数の異なるタイプの信号を結合し得る。いくつかの例において、複数のイントラ予測信号は、適切なフィルタリングが符号化の効率性を大幅に向上し得るように、他のあらゆるタイプのインター予測信号とは異なってもよい。フィルタリング予測信号は、第２の入力（例えば、予測パーティション）を上述の差分器２０６に提供し得る。
論じられるように、品質回復フィルタリングモジュール２０９の出力は、最終再構成済みフレームであり得る。複数の最終再構成済みフレームは、適応映像再構成部２１７に送信され得る。適応映像再構成部２１７は、入力ビットストリーム２０１における複数のパラメータを並べ替えることに少なくとも部分的に基づいて、必要とされる複数のフレームを再度並べ替え、または再構成し得る。再度並べ替えられた複数のフレームは、コンテンツ事後回復器モジュール２１８に送信され得る。コンテンツ事後回復器モジュール２１８は、デコード済み動画の知覚的品質の更なる改善を実行するように構成される任意選択のモジュールであってもよい。改善処理は、入力ビットストリーム２０１における複数の品質改善パラメータに応答して実行されてもよく、またはスタンドアロンオペレーションとして実行されてもよい。いくつかの例において、（例えば、デブロックフィルタリングモジュール２０８に関して論じられるデブロッキングオペレーションの後であっても）コンテンツ事後回復器モジュール２１８は、例えば、フィルム粒子ノイズまたは残差ブロックノイズ低減の評価等の品質を改善する複数のパラメータを適用し得る。示されるように、デコーダ２００は、ディスプレイデバイス（図示せず）により表示するように構成され得る表示動画２１９を提供し得る。
動作中に、デコーダ２００のいくつかのコンポーネントは、デコーダ予測サブシステムとして動作し得る。例えば、デコーダ２００のそのようなデコーダ予測サブシステムは、デコード済み映像バッファ２１０、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、ならびに／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含み得る。
以下により詳細に論じられるように、いくつかの実装において、デコーダ２００のそのようなデコーダ予測サブシステムは、効率的な動画符号化アルゴリズムにいくつかのコンポーネント、およびこれらのコンポーネントにより生成される組み合わされた複数の予測を組み込み得る。例えば、提案のＮＧＶコーダの実装は、以下の複数の機能のうち１または複数を含み得る。１．利得補償（例えば、シーンにおける利得／明るさの変化に対する明示的補償）。２．ぼかし補償。例えば、シーンにおけるぼかし／鮮明さの変化に対する明示的補償。３．主要な／グローバルな動き補償（例えば、シーンにおける主要な動きに対する明示的補償）。４．レジストレーション補償（例えば、シーンにおける複数のレジストレーション不一致に対する明示的補償）。５．超解像度（例えば、シーンにおける解像度の精度の変化に対する明示的モデル）。６．投影（例えば、シーンにおける動きの軌道の変化に対する明示的モデル）等、および／またはこれらの組み合わせ。
例えば、デコーダ２００のそのようなデコーダ予測サブシステムにおいて、品質回復フィルタリングモジュールの出力は、デコード済み映像バッファ２１０に送信され得る。いくつかの例において、品質回復フィルタリングモジュールの出力は、他の複数のフレームを符号化する予測のために用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。論じられるように、複数の予測オペレーションに起因する補償は、インター予測補償および／またはイントラ予測補償を含み得る。示されるように、インター予測補償は、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含む１または複数のモジュールにより実行され得る。
以下により詳細に説明されるように、モーフィング解析器および生成モジュール２１１は、（例えば、入力ビットストリームから判断される）複数の逆量子化済みモーフィングパラメータを用い、複数のモーフィング済み基準フレームを生成し得る。生成されたそのような複数のモーフィング済み基準フレームは、バッファ内に格納され、特性および動き補償済み精度適応フィルタリング予測器モジュール２１３により用いられ得る。
同様に、合成解析器および生成モジュール２１２は、入力ビットストリーム２０１から判断された複数のパラメータに少なくとも部分的に基づいて、複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等、１または複数のタイプの合成済み予測基準映像（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）を生成するように構成され得る。生成されたそのような複数の合成済み基準フレームは、バッファ内に格納され、動き補償済みフィルタリング予測器モジュール２１３により用いられ得る。
従って、デコーダ２００のそのようなデコーダ予測サブシステムにおいて、インター予測が適用される場合、特性および動き補償済みフィルタリング予測器モジュール２１３は、現在のフレームと共にモーフィング済み基準フレーム、ならびに／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動き補償を適用し得る。
動作中に、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、デコード済みの過去および／または将来の映像／スライスに関するローカルな動き補償以外に、上記の複数のコンポーネントのうち１または複数を用い得る。従って、本実装は、例えば、利得補償、またはその他の特性補償済み基準フレーム生成に対する特定の解決法を要求するものではない。
図１および図２は、特定のエンコードモジュールおよびデコードモジュールを図示するが、図示されない様々な他の符号化モジュールまたはコンポーネントも本開示に従って使用されてもよい。更に、本開示は、図１および図２に図示される複数の特定コンポーネント、および／または様々なコンポーネントが構成される様式に限定されない。本明細書において説明される複数のシステムの様々なコンポーネントは、ソフトウェア、ファームウェア、および／もしくはハードウェア、ならびに／またはこれらのいずれかの組み合わせで実装され得る。例えば、エンコーダ１００および／またはデコーダ２００の様々なコンポーネントは、少なくとも部分的に、例えば、携帯電話等のコンピューティングシステムにおいて見られ得るようなコンピューティングシステムオンチップ（ＳｏＣ）のハードウェアにより提供され得る。
更に、エンコーダ１００は、例えば、動画コンテンツシステムを含むコンテンツプロバイダシステムに関連し、および／またはこれにより提供され、出力ビットストリーム１１１は、例えば、様々な通信コンポーネントによるデコーダ２００等のデコーダ、および／または図１および図２において図示されない送受信機、アンテナ、ネットワークシステム等のシステムに送信または伝達され得ることが理解され得る。また、デコーダ２００は、エンコーダ１００から遠隔にあり、図１および図２において図示されない送受信機、アンテナ、ネットワークシステム等、様々な通信コンポーネントおよび／またはシステムを介して入力ビットストリーム２０１を受信するコンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯電話等）等、クライアントシステムに関連し得ることも理解され得る。従って、様々な実装において、エンコーダ１００およびデコーダサブシステム２００は、一緒にまたは互いに独立して実装され得る。
図３Ａは、本開示の少なくともいくつかの実装に従って構成された次世代動画エンコーダ１００に関連する例示的な複数のサブシステムの例示的な図である。示されるように、エンコーダ１００は、事前解析器サブシステム３１０、パーティショナサブシステム３２０、予測エンコーダサブシステム３３０、変換エンコーダサブシステム３４０、エントロピエンコーダサブシステム３６０、変換デコーダサブシステム３７０、アンパーティショナサブシステム３８０、および／またはフィルタリングエンコードサブシステム３５０を含み得る。
複数のサブシステム３１０〜３８０は、図３Ａにおいてエンコーダ１００の特定の例示的機能モジュールに関連するものとして図示されるが、本明細書におけるエンコーダ１００の他の複数の実装は、複数のサブシステム３１０〜３８０中のエンコーダ１００の複数の機能モジュールにおける異なる分散を含み得る。本開示は、この点において限定されず、様々な例において、本明細書における例示駅な複数のサブシステム３１０〜３８０の実装は、示されるエンコーダ１００、追加の機能モジュール、および／または図示されるものとは異なる構成の特定の例示的な複数の機能モジュールのサブセットのみによる試み（ｕｎｄｅｒｔａｋｉｎｇ）を含み得る。
図３Ｂは、本開示の少なくともいくつかの実装に従って構成された次世代動画デコーダ２００に関連する例示的な複数のサブシステムの例示的な図である。示されるように、デコーダ２００は、エントロピデコーダサブシステム３６２、変換デコーダサブシステム３７２、アンパーティショナサブシステム３８２、フィルタリングデコーダサブシステム３５２、予測デコーダサブシステム３３２、および／または事後回復器サブシステム３９２を含み得る。
複数のサブシステム３２２〜３９２は、図３Ｂにおいてデコーダ２００の特定の例示的な機能モジュールに関連するものとして図示されるが、本明細書におけるエンコーダ１００の他の複数の実装は、複数のサブシステム３２２〜３９２中のデコーダ２００の機能モジュールにおける異なる分散を含み得る。本開示は、この点において限定されず、様々な例において、本明細書における例示的なサブシステム３２２〜３９２の実装は、示されるデコーダ２００、複数の追加の機能モジュール、および／または図示されるものとは異なる構成の特定の例示的な複数の機能モジュールのサブセットのみによる試みを含み得る。
図４は、本開示の少なくともいくつかの実装に従って構成された修正済み予測基準映像４００の例示的な図である。示されるように、品質解析器および品質回復フィルタリングの出力は、他の複数のフレームを符号化する予測のために用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。
提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、複数のモーフィング済み予測基準４２８〜４３８（ＭＲ０〜３）および／または複数の合成済み予測基準４１２および４４０〜４４６（Ｓ０〜Ｓ３、ＭＲ４〜７）の組み合わせを用いるＰ映像符号化を実装し得る。ＮＧＶ符号化は、Ｉ映像、Ｐ映像、およびＦ／Ｂ映像と呼ばれる３つの映像のタイプを用いることを伴う。図示される例において、符号化される現在の映像（Ｐ映像）は、時間ｔ=４に示される。符号化中に、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、既にデコードされた４つの基準Ｒ０ ４１２、Ｒ１ ４１４、Ｒ２ ４１６、およびＲ３ ４１８のうち１または複数を用い得る。これらの基準を予測のために直接的に専ら用い得る他の複数の解決法とは異なり、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、そのような既にデコードされた複数の基準から複数の修正（モーフィングまたは合成）された基準を生成し、生成されたそのような修正済み（モーフィングまたは合成済み）の複数の基準に少なくとも部分的に基づいた、動き補償済み符号化を用い得る。
以下により詳細に説明されるように、いくつかの例において、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、効率的な動画符号化アルゴリズムにいくつかのコンポーネント、およびこれらのコンポーネントにより生成された組み合わされた複数の予測を組み込み得る。例えば、提案のＮＧＶコーダの実装は、以下の複数の機能のうち１または複数を含み得る。１．利得補償（例えば、シーンにおける利得／明るさの変化に対する明示的補償）。２．ぼかし補償。例えば、シーンにおけるぼかし／鮮明さの変化に対する明示的補償。３．主要な／グローバルな動き補償（例えば、シーンにおける主要な動きに対する明示的補償）。４．レジストレーション補償（例えば、シーンにおける複数のレジストレーション不一致に対する明示的補償）。５．超解像度（例えば、シーンにおける解像度の精度の変化に対する明示的モデル）。６．投影（例えば、シーンにおける動きの軌道の変化に対する明示的モデル）等、および／またはこれらの組み合わせ。
図示される例において、インター予測が適用されると、特性および動きフィルタリング予測器モジュールは、ローカルデコードループの一部として、現在の映像４１０（例えば、図においてＰ−ｐｉｃ（ｃｕｒｒ）としてラベリングされる）に動き補償を適用し得る。いくつかの例において、そのような動き補償は、複数の将来のフレーム（図示せず）、および／または前のフレームＲ０ ４１２（例えば、図においてＲ０としてラベリングされる）、前のフレームＲ１ ４１４（例えば、図においてＲ１としてラベリングされる）、前のフレームＲ２ ４１６（例えば、図においてＲ２としてラベリングされる）、および／または前のフレームＲ３ ４１８（例えば、図においてＲ３としてラベリングされる）に少なくとも部分的に基づき得る。
例えば、いくつかの実装において、複数の予測オペレーションは、インター予測および／またはイントラ予測を含み得る。インター予測は、モーフィング解析器、ならびに生成モジュールおよび／または合成解析器および生成モジュールを含む、１または複数のモジュールにより実行され得る。そのようなモーフィング解析器および生成モジュールは、現在の映像を解析し、基準フレームまたは符号化される複数のフレームに関する、ぼかし４２０（例えば、図においてＢｌｕｒ ｐａｒとしてラベリングされている）における複数の変化、利得４２２（例えば、図においてＧａｉｎ ｐａｒとしてラベリングされている）における複数の変化、レジストレーション４２４（例えば、図においてＲｅｇ ｐａｒとしてラベリングされている）における複数の変化、および主要な動き４２６（例えば、図においてＤｏｍ ｐａｒとしてラベリングされている）における複数の変化等に対する複数のパラメータを判断し得る。
複数の判断済みモーフィングパラメータ４２０、４２２、４２４、および／または４２６は、複数のモーフィング済み基準フレームを生成するべく用いられ得る。生成されたそのような複数のモーフィング済み基準フレームは、格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算するべく用いられ得る。図示される例において、複数の判断済みモーフィングパラメータ４２０、４２２、４２４、および／または４２６は、例えば、ぼかし補償済みモーフィング済み基準フレーム４２８（例えば、図においてＭＲ３ｂとしてラベリングされている）、利得補償済みモーフィング済み基準フレーム４３０（例えば、図においてＭＲ２ｇとしてラベリングされている）、利得補償済みモーフィング済み基準フレーム４３２（例えば、図においてＭＲ１ｇとしてラベリングされている）、レジストレーション補償済みモーフィング済み基準フレーム４３４（例えば、図においてＭＲ１ｒとしてラベリングされている）、主要な動き補償済みモーフィング済み基準フレーム４３６（例えば、図においてＭＲ０ｄとしてラベリングされている）、および／またはレジストレーション補償済みモーフィング済み基準フレーム４３８（例えば、図においてＭＲ０ｒとしてラベリングされている）等、またはこれらの複数の組み合わせ等、複数のモーフィング済み基準フレームを生成するべく用いられ得る。
同様に、合成解析器および生成モジュールは、これらのフレームにおいて効率的動き補償済み予測に対する複数の動きベクトルを判断するための複数の超解像度（ＳＲ）映像４４０（例えば、図において、Ｓ０（前のフレームＲ０ ４１２に等しい）、Ｓ１、Ｓ２、Ｓ３としてラベリングされている）、および複数の投影内挿（ＰＩ）映像４４２（例えば、図においてＰＥとしてラベリングされている）等を生成し得る。生成されたそのような複数の合成済み基準フレームは、格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算するべく、用いられ得る。
更にまたは代替的に、複数の判断済みモーフィングパラメータ４２０、４２２、４２４、および／または４２６は、複数の生成済み合成基準フレームの超解像度（ＳＲ）映像４４０、および／または投影内挿（ＰＩ）映像４４２をモーフィングするべく用いられ得る。例えば、合成解析器および生成モジュールは、判断済みレジストレーションモーフィングパラメータ４２４から、複数のレジストレーション補償済みモーフィング済み超解像度（ＳＲ）映像４４４（例えば、図においてＭＲ４ｒ、ＭＲ５ｒ、およびＭＲ６ｒとしてラベリングされている）、および／または複数のレジストレーション補償済みモーフィング済み投影内挿（ＰＩ）映像４４６（例えば、図においてＭＲ７ｒとしてラベリングされている）等を生成し得る。生成されたそのような複数のモーフィング済み基準フレームおよび合成済み基準フレームは、格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算するべく用いられ得る。
いくつかの実装において、複数の特性のセット（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道等、またはこれらの複数の組み合わせ等）における複数の変化は、明示的に計算され得る。複数の特性のそのようなセットは、ローカルな動きに加えて、計算されてもよい。いくつかの場合に、前または次の複数の映像／スライスは、適宜なものとして使用され得る。しかし、他の複数の場合において、そのような複数の特性のセットは、前の映像／複数のスライスからの予測作業をより良好に行い得る。更に、いずれの評価手順（例えば、複数の過去の、または複数の過去および将来の映像／スライスによる）においても誤差が存在し得るので、最適な評価をもたらす複数の特性のセット（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道、等、またはこれらの複数の組み合わせ等）に関連する修正済み基準フレームが、選択され得る。従って、複数の特性のセット（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道、等、またはこれらの複数の組み合わせ等）に関連する複数の修正済み基準フレームを使用する提案のアプローチは、これらの特性における複数の差異を明示的に補償し得る。提案の実装は、予測信号をどのように改善するかの問題に対処し、同様に、動画符号化において高い圧縮効率性を達成することを可能にし得る。
例えば、圧縮される動画の解像度が増大し、高い動画の質に対する期待が高くなっているので、Ｈ．２６４等の複数の既存の動画符号化規格、またはＨ．２６５／ＨＥＶＣ等の更に高度な複数の規格を用いて符号化するのに必要とされる、対応するビットレート／帯域は、比較的高い。複数の上述の規格は、不十分な圧縮／品質問題に暗黙に対処する従来の複数のアプローチの拡大形を用いるが、多くの場合、結果は限られている。
提案の実装は、フレーム間予測を改善することにより動画圧縮の効率性を改善し、これにより同様に、符号化される必要があるフレーム間予測の差異（誤差信号）を低減する。符号化されるフレーム間予測の差異の量が少なれければ少ないほど、符号化するのに必要とするビットの量も少なくなり、これにより符号化された予測差異信号を格納または送信するのにより少ないビットを使用するので、圧縮効率性を効果的に改善する。 複数の動き予測のみに限定することに代えて、提案のＮＣＶコーデックは、動き補償に加えて、またはこれに対する代替として、コンテンツの複数の特性における複数の変化を明示的に補償する複数のアプローチを使用することにより、コンテンツの変化する複数の特性（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道、等、またはこれらの複数の組み合わせ等）に高度の適応的であり得る。従って、問題の根本的問題に明示的に対処することにより、ＮＧＶコーデックは、規格ベースの複数のコーデックの限界の主要な原因に対処し、それにより高い圧縮の効率性を達成し得る。
フレーム間予測の出力におけるこの変更は、動画コンテンツにおける複数の変化の広範な原因を補償する、提案のＮＣＶコーデックの能力により達成され得る。複数の典型的な動画シーンは、多くのローカルおよびグローバルな複数の変化（本明細書において特性と呼ばれる）に起因してフレーム間で変わる。ローカルな動き以外に、現在の複数の解決法によっては十分に対処されない他の多くの特性が存在するが、これらは提案の実装により対処され得る。
提案の実装は、ローカルな動きに加えて、複数の特性のセット（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道、等、またはこれらの複数の組み合わせ等）における複数の変化を明示的に計算し、従って、前または次の複数の映像／スライスからのローカルな動き予測のみを用いるのに比べ、前の映像／複数のスライスからの予測作業を良好に行い得る。更に、複数の過去の、または複数の過去および将来の映像／スライスによるいずれの評価手順においても誤差が存在し得るので、ＮＧＶコーダは、様々な特性における複数の差異を明示的に補償することにより、最良のものをもたらすフレームを選択し得る。
具体的には、ＮＧＶコーダの提案の実装は、以下の複数の機能を含み得る。ｉ．シーンにおける利得／明るさの変化に対する明示的補償、ｉｉ．シーンにおけるぼかし／鮮明さの変化に対する明示的補償、ｉｉｉ．シーンにおける主要な動きに対する明示的補償、ｉｖ．シーンにおける複数のレジストレーション不一致に対する明示的補償、ｖ．シーンにおける解像度の精度の変化に対する明示的モデル、および／またはｖｉ．シーンにおける動きの軌道の変化に対する明示的モデル。
以下に示す表１および２は、複数のコードブックエントリの一例を図示する。複数のエントリの完全なコードブックは、全ての可能なエントリの完全な、または実質的に完全なリスト、およびその符号化を提供し得る。いくつかの例において、コードブックは、上記の複数の制約を考慮に入れることができる。いくつかの例において、複数の予測モードおよび／または参照タイプに対するコードブックエントリに関連するデータは、本明細書において論じられるデコーダにおいて用いるビットストリームにおいてエンコードされ得る。
Figure 0006120390
Figure 0006120390
動作中に、ＮＧＶコーダ（例えば、エンコーダ１００および／またはデコーダ２００）の提案の実装は、予測モードおよび／または参照タイプデータが記号により起動される符号化またはコードブック等を用いて規定され得るように、動作し得る。予測モードおよび／または参照タイプデータは、複数の変換係数を生成するべく、様々な例においてコンテンツ適応または離散変換を用いて変換エンコードされ得る。また、論じられるように、複数のパーティション（例えば、変換係数または量子化済み変換係数）に関連するデータ、オーバヘッドデータ（例えば、変換タイプ、適応変換方向、および／または変換モードについて本明細書において論じられるインジケータ）、および／または複数のパーティションを規定するデータ等は、（例えば、エントロピエンコーダにより）エンコードされ、ビットストリームとし得る。ビットストリームは、デコーダに通信され得る。デコーダは、表示用の複数の動画フレームをデコードするべく、エンコード済みビットストリームを用い得る。ローカルベースで（マクロブロックまたはタイル内でブロック毎に、またはタイルもしくは予測単位内でパーティション毎に、あるいはスーパフラグメントもしくは領域内の複数のフラグメント等）、最適のモードは、例えば、レート歪みの最適化（ＲＤＯ）に少なくとも部分的に基づいて、または動画の事前解析に少なくとも部分的に基づいて選択され得、モードに対する識別子および必要とされる複数の参照は、デコーダにより用いるビットストリーム内でエンコードされ得る。
動作中に、ＮＧＶコーダ（例えば、エンコーダ１００および／またはデコーダ２００）の提案の実装は、デコード済みの過去および／または将来の映像／複数のスライスに関する通常のローカルな動き補償以外に、複数の上記コンポーネントのうち１または複数を用い得る。従って、実装は、例えば、利得補償、またはその他の特性補償済み基準フレーム生成のために特定の解決法を要求しない。
図５は、本開示の少なくともいくつかの実装に従って構成された、特性および動き補償済み予測を実行するための例示的なエンコーダ予測サブシステム３３０の例示的な図である。図示されるように、エンコーダ５００のエンコーダ予測サブシステム３３０は、デコード済み映像バッファ１１９、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、動き評価器モジュール１２２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含み得る。
示されるように、品質解析器および品質回復フィルタリングの出力は、デコード済み映像バッファ１１９に送信され得る。いくつかの例において、品質解析器および品質回復フィルタリングの出力は、他の複数のフレームを符号化する予測ように用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。エンコーダ５００において、複数の予測オペレーションは、インター予測および／またはイントラ予測を含み得る。図５において示されるように、インター予測は、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含む、１または複数のモジュールにより実行され得る。
モーフィング解析器および生成モジュール１２０は、モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０、ならびにモーフィング済み予測基準（ＭＰＲ）バッファ５２０を含み得る。モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０は、現在の映像を解析し、基準フレームまたは符号化される複数のフレームに関する利得における複数の変化、主要な動きにおける複数の変化、レジストレーションにおける複数の変化、およびぼかしにおける複数の変化に対する複数のパラメータを判断し得る。複数の判断済みモーフィングパラメータは、量子化／逆量子化され、複数のモーフィング済み基準フレームを生成するべく、（例えば、モーフィング解析器および生成モジュール１２０により）用いられ得る。生成されたそのような複数のモーフィング済み基準フレームは、モーフィング済み予測基準（ＭＰＲ）バッファ５２０内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
合成解析器および生成モジュール１２１は、合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０、ならびに合成済み予測基準（ＳＰＲ）バッファ５４０を含み得る。合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０は、これらのフレームにおいて効率的動き補償済み予測に対する動きベクトルを判断する、複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ５４０内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
動き評価器モジュール１２２は、現在のフレームと共にモーフィング済み基準フレーム、および／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動きベクトルデータを生成し得る。いくつかの例において、動き評価器モジュール１２２は、インター予測モジュールとみなされ得る。例えば、動きベクトルデータは、インター予測のために用いられ得る。インター予測が適用されると、特性および動きフィルタリング予測器モジュール１２３は、論じられたローカルデコードループの一部として動き補償を適用し得る。
図６は、本開示の少なくともいくつかの実装に従って構成された特性および動き補償済み予測を実行する、例示的なデコーダ予測サブシステム６０１の例示的な図である。図示されるように、デコーダ６００のデコーダ予測サブシステム６０１は、デコード済み映像バッファ２１０、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、ならびに／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含み得る。
示されるように、品質回復フィルタリングモジュールの出力は、デコード済み映像バッファ２１０に送信され得る。いくつかの例において、品質回復フィルタリングモジュールの出力は、他の複数のフレームを符号化する予測ように用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。論じられるように、複数の予測オペレーションに起因する補償は、インター予測補償および／またはイントラ予測補償を含み得る。示されるように、インター予測補償は、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含む１または複数のモジュールにより実行され得る。
モーフィング解析器および生成モジュール２１１は、モーフィング済み映像生成器（ＭＰＧ）６１０、およびモーフィング済み予測基準（ＭＰＲ）バッファ６２０を含み得る。モーフィング済み映像生成器（ＭＰＧ）６１０は、（例えば、入力ビットストリームから判断される）複数の逆量子化済みモーフィングパラメータを用い、複数のモーフィング済み基準フレームを生成し得る。生成されたそのような複数のモーフィング済み基準フレームは、モーフィング済み予測基準（ＭＰＲ）バッファ６２０内に格納され、特性および動き補償済み精度適応フィルタリング予測器モジュール２１３により用いられ得る。
合成解析器および生成モジュール２１２は、合成済み映像生成器６３０、ならびに合成済み予測基準（ＳＰＲ）バッファ６４０を含み得る。合成済み映像生成器６３０は、入力ビットストリーム２０１から判断された複数のパラメータに少なくとも部分的に基づいて、超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等の１または複数のタイプの合成済み予測基準映像を生成するように構成され得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ５４０内に格納され、動き補償済みフィルタリング予測器モジュール２１３により用いられ得る。
インター予測が適用されると、特性および動き補償済みフィルタリング予測器モジュール２１３は、現在のフレームと共にモーフィング済み基準フレーム、および／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動き補償を適用し得る。
図７は、本開示の少なくともいくつかの実装に従って構成された、特性および動き補償済み予測を実行する別の例示的なエンコーダ予測サブシステム３３０の例示的な図である。図示されるように、エンコーダ７００のエンコーダ予測サブシステム３３０は、デコード済み映像バッファ１１９、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、動き評価器モジュール１２２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含み得る。
示されるように、品質解析器および品質回復フィルタリングの出力は、デコード済み映像バッファ１１９に送信され得る。いくつかの例において、品質解析器および品質回復フィルタリングの出力は、他の複数のフレームを符号化する予測に用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。エンコーダ７００において、複数の予測オペレーションは、インター予測および／またはイントラ予測を含み得る。図７において示されるように、インター予測は、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含む１または複数のモジュールにより実行され得る。
モーフィング解析器および生成モジュール１２０は、モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０、ならびにモーフィング済み予測基準（ＭＰＲ）バッファ５２０を含み得る。モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０は、１または複数のタイプの修正済み予測基準映像を解析および／または生成するように構成され得る。
例えば、モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０は、利得評価器および補償済み予測生成器７０５、ぼかし評価器および補償済み予測生成器７１０、主要な動き評価器および補償済み予測生成器７１５、レジストレーション評価器および補償済み予測生成器７２０等、ならびに／またはこれらの複数の組み合わせを含み得る。利得評価器および補償済み予測生成器７０５は、利得における複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を解析および／または生成するように構成され得る。ぼかし評価器および補償済み予測生成器７１０は、ぼかしにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を解析および／または生成するように構成され得る。主要な動き評価器および補償済み予測生成器７１５は、主要な動きにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を解析および／または生成するように構成され得る。レジストレーション評価器および補償済み予測生成器７２０は、レジストレーションにおける変化に対処するように適合される複数のモーフィング済み予測基準映像を解析および／または生成するように構成され得る。
モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０は、モーフィング済み予測基準（ＭＰＲ）バッファ５２０内にそのような生成された複数のモーフィング済み基準フレームを格納し得る。例えば、モーフィング済み予測基準（ＭＰＲ）バッファ５２０は、利得補償済み（ＧＣ）映像バッファ７２５、ぼかし補償（ＢＣ）映像バッファ７３０、主要な動き補償済み（ＤＣ）映像バッファ７３５、レジストレーション補償済み（ＲＣ）映像バッファ７４０等、および／またはこれらの複数の組み合わせを含み得る。利得補償済み（ＧＣ）映像バッファ７２５は、利得における複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。ぼかし補償（ＢＣ）された映像バッファ７３０は、ぼかしにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。主要な動き補償済み（ＤＣ）映像バッファ７３５は、主要な動きにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。レジストレーション補償済み（ＲＣ）映像バッファ７４０は、レジストレーションにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。
合成解析器および生成モジュール１２１は、合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０、および合成済み予測基準（ＳＰＲ）バッファ５４０を含み得る。合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０は、１または複数のタイプの合成済み予測基準映像を解析および／または生成するように構成され得る。例えば、合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０は、超解像度フィルタセレクタおよび予測生成器７４５、投影軌道（Ｐｒｏｊｅｃｔｉｏｎ Ｔｒａｊｅｃｔｏｒｙ）解析器および予測生成器７５０等、および／またはこれらの複数の組み合わせを含み得る。超解像度フィルタセレクタおよび予測生成器７４５は、超解像度（ＳＲ）タイプの複数の合成済み予測基準映像を解析および／または生成するように構成され得る。投影軌道解析器および予測生成器７５０は、投影内挿（ＰＩ）タイプの複数の合成済み予測基準映像を解析および／または生成するように構成され得る。
合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０は、これらのフレームにおいて効率的動き補償済み予測のための複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ５４０内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
例えば、合成済み予測基準（ＳＰＲ）バッファ５４０は、超解像度（ＳＲ）映像バッファ７５５、投影内挿（ＰＩ）映像バッファ７６０等、および／またはこれらの複数の組み合わせを含み得る。超解像度（ＳＲ）映像バッファ７５５は、複数の超解像度（ＳＲ）映像に対して生成される複数の合成済み基準フレームを格納するように構成され得る。投影内挿（ＰＩ）映像バッファ７６０は、複数の投影内挿（ＰＩ）映像に対して生成される複数の合成済み基準フレームを格納するように構成され得る。
動き評価器モジュール１２２は、現在のフレームと共にモーフィング済み基準フレーム、および／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて動きベクトルデータを生成し得る。いくつかの例において、動き評価器モジュール１２２は、インター予測モジュールとみなされ得る。例えば、動きベクトルデータは、インター予測のために用いられ得る。インター予測が適用されると、特性および動きフィルタリング予測器モジュール１２３は、論じられたローカルデコードループの一部として動き補償を適用し得る。
図８は、本開示の少なくともいくつかの実装に従って構成された、特性および動き補償済み予測を実行する別の例示的なデコーダ予測サブシステム６０１の例示的な図である。図示されるように、デコーダ予測サブシステム６０１は、デコード済み映像バッファ２１０、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、ならびに／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含み得る。
示されるように、品質回復フィルタリングモジュールの出力は、デコード済み映像バッファ２１０に送信され得る。いくつかの例において、品質回復フィルタリングモジュールの出力は、他の複数のフレームを符号化する予測ように用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。論じられるように、複数の予測オペレーションに起因する補償は、インター予測補償および／またはイントラ予測補償を含み得る。示されるように、インター予測補償は、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含む１または複数のモジュールにより実行され得る。
モーフィング生成モジュール２１２は、モーフィング済み映像生成器（ＭＰＧ）６１０、ならびにモーフィング済み予測基準（ＭＰＲ）バッファ６２０を含み得る。モーフィング済み映像生成器（ＭＰＧ）６１０は、（例えば、入力ビットストリームから判断される）複数の逆量子化モーフィングパラメータを用い、複数のモーフィング済み基準フレームを生成し得る。例えば、モーフィング済み映像生成器（ＭＰＧ）６１０は、利得補償済み予測生成器８０５、ぼかし補償済み予測生成器８１０、主要な動き補償済み予測生成器８１５、レジストレーション補償済み予測生成器８２０等、および／またはこれらの複数の組み合わせを含み得る。利得補償済み予測生成器８０５は、利得における複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を生成するように構成され得る。ぼかし補償済み予測生成器８１０は、ぼかしにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を生成するように構成され得る。主要な動き補償済み予測生成器８１５は、主要な動きにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を生成するように構成され得る。レジストレーション補償済み予測生成器８２０は、レジストレーションにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を生成するように構成され得る。
モーフィング済み映像生成器（ＭＰＧ）６１０は、モーフィング済み予測基準（ＭＰＲ）バッファ６２０内に生成されたそのような複数のモーフィング済み基準フレームを格納し得る。例えば、モーフィング済み予測基準（ＭＰＲ）バッファ６２０は、利得補償済み（ＧＣ）映像バッファ８２５、ぼかし補償済み（ＢＣ）映像バッファ８３０、主要な動き補償済み（ＤＣ）映像バッファ８３５、レジストレーション補償済み（ＲＣ）映像バッファ８４０等、および／またはこれらの複数の組み合わせを含み得る。利得補償済み（ＧＣ）映像バッファ８２５は、利得における複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。ぼかし補償（ＢＣ）された映像バッファ８３０は、ぼかしにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。主要な動き補償済み（ＤＣ）映像バッファ８３５は、主要な動きにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。レジストレーション補償済み（ＲＣ）映像バッファ８４０は、レジストレーションにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。
合成生成モジュール２１２は、合成済み映像生成器６３０、および合成済み予測基準（ＳＰＲ）バッファ６４０を含み得る。合成済み映像生成器６３０は、入力ビットストリーム２０１から判断された複数のパラメータに少なくとも部分的に基づいて、超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等、１または複数のタイプの合成済み予測基準映像を生成するように構成され得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ６４０内に格納され、動き補償済みフィルタリング予測器モジュール２１３により用いられ得る。例えば、合成済み映像生成器６３０は、超解像度映像生成器８４５、投影軌道映像生成器８５０等、および／またはこれらの複数の組み合わせを含み得る。超解像度映像生成器８４５は、超解像度（ＳＲ）タイプの複数の合成済み予測基準映像を生成するように構成され得る。投影軌道映像生成器８５０は、投影内挿（ＰＩ）タイプの複数の合成済み予測基準映像を生成するように構成され得る。
合成済み映像生成器６３０は、これらのフレームにおいて効率的動き補償済み予測のための複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ６４０内に格納され、現在のフレームの効率的動き（および特性）補償済み予測のための特性および動き補償済みフィルタリング予測器モジュール２１３により用いられ得る。
例えば、合成済み予測基準（ＳＰＲ）バッファ６４０は、超解像度（ＳＲ）映像バッファ８５５、投影内挿（ＰＩ）映像バッファ８６０等、および／またはこれらの複数の組み合わせを含み得る。超解像度（ＳＲ）映像バッファ８５５は、複数の超解像度（ＳＲ）映像に対して生成される複数の合成済み基準フレームを格納するように構成され得る。投影内挿（ＰＩ）映像バッファ８６０は、複数の投影内挿（ＰＩ）映像に対して生成される複数の合成済み基準フレームを格納するように構成され得る。
インター予測が適用されると、特性および動き補償済みフィルタリング予測器モジュール２１３は、現在のフレームと共に、モーフィング済み基準フレーム、および／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動き補償を適用し得る。
図９は、本開示の少なくともいくつかの実装に従って構成された例示的な処理９００を図示するフロー図である。処理９００は、複数のオペレーション９０２、９０４、９０６、９０８、９１０、９１２、９１４、９１６、９１８、９２０、および／または９２２のうち１または複数により図示されるような１または複数のオペレーション、機能、またはアクションを含み得る。処理９００は、次世代動画符号化処理の少なくとも一部を形成し得る。非限定的な例として、処理９００は、図１のエンコーダシステム１００、および／または図１〜図３Ａ・図３Ｂ、および図５〜図８の複数のコーダシステムのいずれかにより試みられる次世代動画エンコード処理の少なくとも一部を形成し得る。
処理９００は、オペレーション９０２において「動画シーケンスの複数の入力動画フレームを受信する」を開始し得、動画シーケンスの複数の入力動画フレームは、例えば、エンコーダ１００により受信され得る。
処理９００は、オペレーション９０４において、「映像のタイプを各動画フレームに関連付ける」を継続し得、映像のタイプは、例えば、コンテンツ事前解析器モジュール１０２により複数の映像グループ内の各動画フレームに関連付けられ得る。例えば、映像のタイプは、Ｆ／Ｂ映像、Ｐ映像、またはＩ映像等であり得る。いくつかの例において、動画シーケンスは、複数の映像グループを含み得る。本明細書において説明される処理（例えば、オペレーション９０３〜９１１）は、複数の映像グループのフレームまたは映像上で実行され得る。処理は、１つのグループの全てのフレームまたは映像について反復され、次に動画シーケンスにおける複数の映像の全てのグループについて反復され得る。
処理９００は、オペレーション９０６において、「映像を複数のタイル、ならびに／または複数のスーパフラグメントおよび潜在的予測パーティショニングに分割する」を継続し得、映像は、例えば、予測パーティション生成器１０５により複数のタイル、または複数のスーパフラグメントおよび潜在的予測パーティションに分割され得る。
処理９００は、オペレーション９０８において、「モーフィング済みまたは合成済み予測基準を生成するための複数の修正（例えば、モーフィングまたは合成）特性パラメータを判断し、予測を実行する」を継続し得、複数の修正（例えば、モーフィングまたは合成）特性パラメータおよび予測が実行され得る。例えば、モーフィング済みまたは合成済み予測基準を生成するための複数の修正（例えば、モーフィングまたは合成）特性パラメータが生成され、予測が実行され得る。
パーティショニング中に、各潜在的予測パーティショニングについて、予測が実行され、複数の予測パラメータが判断され得る。例えば、複数の潜在的予測パーティショニング（各々は、様々な予測パーティションを有する）の範囲が生成され、関連する予測および複数の予測パラメータが判断され得る。例えば、予測は、特性または動きに基づく複数基準による予測または複数のイントラ予測を用いる予測を含んでもよい。
論じられるように、いくつかの例において、インター予測が実行され得る。いくつかの例において、最大４つのデコード済みの過去、および／または将来の映像およびいくつかのモーフィング／合成予測は、多数の参照タイプ（例えば、基準映像）を生成するべく用いられ得る。例えば、「インター」モードにおいて、最大９つの参照タイプが、複数のＰ映像においてサポートされ得、最大１０つの参照タイプが、複数のＦ／Ｂ映像においてサポートされ得る。更に、「マルチ」モードは、１つの基準映像に代えて、２つの基準映像が用いられ、ＰおよびＦ／Ｂ映像がそれぞれ、３つ、そして最大８つの参照タイプを可能にし得る、１つのタイプのインター予測モードを提供し得る。例えば、予測は、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づき得る。そのような例において、ビットストリーム（以下に動作９１２に関して論じられる）は、フレーム参照、複数のモーフィングパラメータ、または予測パーティションに関連する複数の合成パラメータを含み得る。
処理９００は、オペレーション９１０において、「潜在的予測パーティショニングについて潜在的予測誤差を判断する」を継続し得、各潜在的予測パーティショニングについて、潜在的予測誤差が判断され得る。例えば、各予測パーティショニング（および複数の関連する予測パーティション、予測、および複数の予測パラメータ）について、予測誤差が判断され得る。例えば、潜在的予測誤差を判断する段階は、複数の予測画素と複数の元の画素（例えば、予測パーティションの元の画素データ）との差分を取る段階を有し得る。いくつかの例において、関連する複数の予測パラメータが格納され得る。論じられるように、いくつかの例において、予測誤差データパーティションは、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づいて生成された予測誤差データを含み得る。
処理９００は、オペレーション９１２において、「予測パーティショニングおよび予測タイプを選択し、複数のパラメータを保存する」を継続し得、予測パーティショニングおよび予測タイプが選択され、関連する複数のパラメータは、保存され得る。いくつかの例において、最小の予測誤差を有する潜在的予測パーティショニングが選択され得る。いくつかの例において、潜在的予測パーティショニングは、レート歪みの最適化（ＲＤＯ）に少なくとも部分的に基づいて選択され得る。
処理９００は、オペレーション９１４において、「複数の潜在的符号化パーティショニングに複数の変換を実行する」を継続し得、様々なブロックサイズを用いる固定またはコンテンツ適応性変換が、パーティション予測誤差データの様々な潜在的符号化パーティショニング上で実行され得る。例えば、パーティション予測誤差データは、複数の符号化パーティションを生成するべく分割され得る。例えば、パーティション予測誤差データは、本明細書において論じられる符号化パーティション生成器モジュール１０７の二分木符号化パーティショナモジュールまたはｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｆ／ＢまたはＰ映像に関連するパーティション予測誤差データは、二分木符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｉ映像（いくつかの例において、例えば、複数のタイルまたはスーパフラグメント）に関連する動画データは、ｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、符号化パーティショナモジュールは、１つのスイッチまたは複数のスイッチにより選択され得る。例えば、複数のパーティションは、符号化パーティション生成器モジュール１０７により生成され得る。
処理９００は、オペレーション９１６において、「最適な符号化パーティショニング、複数の変換ブロックサイズ、および実際の変換を判断する」を継続し得、最適な符号化パーティショニング、複数の変換ブロックサイズ、および複数の実際の変換が判断され得る。例えば、様々な符号化パーティショニング（例えば、様々な符号化パーティションを有する）は、ＲＤＯ、または（複数の符号化パーティションが論じられる変換ブロックサイズと一致しない場合に、複数の符号化パーティションを複数の変換ブロックに更に分割することも含む）選択された符号化パーティショニングを判断する別の基礎に少なくとも部分的に基づいて、評価され得る。例えば、実際の変換（または選択された変換）は、本明細書において説明される符号化パーティションまたは複数のブロックサイズで実行される、任意のコンテンツ適応性変換または固定変換を含み得る。
処理９００は、オペレーション９１８において、「複数の変換係数を量子化し、スキャンする」を継続し、エントロピ符号化を準備するときに、複数の符号化パーティション（および／または変換ブロック）に関連する複数の変換係数は、量子化され、スキャンされ得る。
処理９００は、オペレーション９２０において、「画素データを再構成し、アセンブルして映像とし、複数の基準映像バッファ内に保存する」を継続し得、画素データは、再構成され、映像にアセンブルされ、複数の基準映像バッファ内に保存され得る。例えば、ローカルデコードループ（例えば、逆スキャン、逆変換、および複数の符号化パーティションのアセンブルを含む）の後に、複数の予測誤差データパーティションが生成され得る。複数の予測誤差データパーティションは、予測パーティションと共に加算され、複数の再構成済み予測パーティションを生成し得る。複数の再構成済み予測パーティションは、アセンブルされ、複数のタイルまたはスーパフラグメントとし得る。アセンブルされた複数のタイルまたはスーパフラグメントは、任意選択で、デブロックフィルタリングおよび／または品質回復フィルタリングにより処理され、映像を生成するべくアセンブルされ得る。映像は、他の（例えば、以下の）複数の映像の予測に対する基準映像として、デコード済み映像バッファ１１９内に保存されてもよい。
処理９００は、オペレーション９２２において、「エントロピエンコード済みビットストリームをデコードし、符号化パーティンションインジケータ、ブロックサイズデータ、変換タイプデータ、量子化器（Ｑｐ）、量子化済み変換係数、複数の動きベクトルおよび参照タイプデータ、複数の特性パラメータ（例えば、ｍｏｐ、ｓｙｐ）を判断する」を継続し得、データは、エントロピエンコードされ得る。例えば、エントロピエンコード済みデータは、複数の符号化パーティションインジケータ、ブロックサイズデータ、変換タイプデータ、複数の量子化器（Ｑｐ）、複数の量子化済み変換係数、複数の動きベクトルおよび参照タイプデータ、複数の特性パラメータ（例えば、ｍｏｐ、ｓｙｐ）等、ならびに／またはこれらの複数の組み合わせを含み得る。更にまたは代替的に、エントロピエンコード済みデータは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、複数の量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
オペレーション９０２〜９２２は、本明細書において論じられるエンコーダシステムにより使用され得る、動画エンコードおよび複数のビットストリーム送信技術を提供し得る。
図１０は、本開示の少なくともいくつかの実装に従って構成された例示的なビットストリーム１０００を図示する。いくつかの例において、ビットストリーム１０００は、図１において示される出力ビットストリーム１１１、および／または図２において示される入力ビットストリーム２０１に対応し得る。提示を明確にする目的で図１０に示されないが、いくつかの例において、ビットストリーム１０００は、ヘッダ部分およびデータ部分を含み得る。様々な例において、ビットストリーム１０００は、本明細書において論じられる動画フレームをエンコードすることに関連する、複数のデータインジケータ、複数の指標値、モード選択データ等を含み得る。
動作中に、複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、予測パーティションに関連するモード等、および／またはこれらの複数の組み合わせは、エントロピエンコードされ、図１において示される出力ビットストリーム１１１とし得る。図１において示される出力ビットストリーム１１１は、図１において示されるエンコーダ１００から図２において示されるデコーダ２００へと送信され得る。図２に示される入力ビットストリーム２０１は、図２において示されるデコーダ２００により受信され得る。図２において示される入力ビットストリーム２０１は、図２において示されるデコーダ２００によりエントロピデコードされ、予測パーティションに関連する複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、モード等、および／またはこれらの複数の組み合わせを判断し得る。
論じられるように、ビットストリーム１０００は、例えば、エンコーダ１００等のエンコーダにより生成され、および／または複数のデコード済み動画フレームがディスプレイデバイスにより提示され得るようにデコードするデコーダ２００により、受信され得る。
図１１は、本開示の少なくともいくつかの実装に従って構成された例示的な処理１１００を図示するフロー図である。処理１１００は、複数のオペレーション１１０２、１１０４、１１０６、１１０８、１１１０、１１１２、および／または１１１４のうち１または複数により図示される１または複数のオペレーション、機能、またはアクションを含み得る。処理１１００は、次世代動画符号化処理の少なくとも一部を形成し得る。非限定的な例として、処理１１００は、図２のデコーダシステム２００により試みられる次世代動画デコード処理の少なくとも一部を形成し得る。
処理１１００は、オペレーション１１０２において、「エンコード済みビットストリームを受信する」を開始し得、ビットストリームが受信され得る。例えば、本明細書において論じられるようにエンコードされたビットストリームは、動画デコーダにおいて受信され得る。いくつかの例において、ビットストリーム１１００は、デコーダ２００により受信され得る。
処理１１００は、動作１１０４において、「エントロピエンコード済みビットストリームをデコードし、符号化パーティンションインジケータ、ブロックサイズデータ、変換タイプデータ、量子化器（Ｑｐ）、複数の量子化済み変換係数、複数の動きベクトルおよび参照タイプデータ、複数の特性パラメータ（例えば、ｍｏｐ、ｓｙｐ）を判断する」を継続し、ビットストリームは、符号化パーティンションインジケータ、ブロックサイズデータ、変換タイプデータ、量子化器（Ｑｐ）、複数の量子化済み変換係数、複数の動きベクトルおよび参照タイプデータ、複数の特性パラメータ（例えば、ｍｏｐ、ｓｙｐ）等、および／またはこれらの複数の組み合わせを判断するべく、デコードされ得る。更にまたは代替的に、エントロピエンコード済みデータは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、複数の量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
処理１１００は、オペレーション１１０６において、「複数の量子化係数に量子化器（Ｑｐ）を適用し、複数の逆量子化済み変換係数を生成する」を継続し得、量子化器（Ｑｐ）は、複数の逆量子化済み変換係数を生成するべく、複数の量子化済み変換係数に適用され得る。例えば、オペレーション１１０６は、適応逆量子化モジュール２０３により適用され得る。
処理１１００は、オペレーション１１０８において、「符号化（またはイントラ予測された）パーティションにおける複数の係数の各デコード済みブロックにおいて、変換タイプおよびブロックサイズデータに少なくとも部分的に基づいて逆変換を実行し、複数のデコード済み予測誤差パーティションを生成する」を継続し得、符号化（またはイントラ予測された）パーティションにおける複数の変換係数び各デコードブロックにおいて、複数のデコード済み予測誤差パーティションを生成するべく、変換タイプおよびブロックサイズデータに少なくとも部分的に基づく逆変換が実行され得る。いくつかの例において、逆変換は、逆固定変換を含み得る。いくつかの例において、逆変換は、逆コンテンツ適応変換を含み得る。そのような複数の例において、逆コンテンツ適応変換を実行する段階は、本明細書において論じられるように、デコード済み動画データの隣接ブロックに少なくとも部分的に基づいて、逆コンテンツ適応変換に関連する複数の基底関数を判断する段階を有し得る。本明細書において論じられるようにエンコードするべく用いられるいずれのフォワード変換も、関連する逆変換を用いてデコードするべく用いられ得る。いくつかの例において、逆変換は、適応逆変換モジュール２０４により実行され得る。また、いくつかの例において、複数のデコード済み予測誤差パーティションを生成する段階は、符号化パーティションアセンブラ２０５により複数の符号化パーティションをアセンブルする段階を有し得る。
処理１１００は、オペレーション１１０９において、「複数のデコード済み修正特性（例えば、ｍｏｐ、ｓｙｐ）を用いて、予測に対する複数の修正済み基準を生成し、複数の動きベクトルおよび参照情報、予測されるパーティション情報、ならびに複数の修正済み基準を用いて、予測されるパーティションを生成する」を継続し得、予測に対する複数の修正済み基準が生成され、予測される複数のパーティションも同様に生成され得る。例えば、予測に対する複数の修正済み基準が複数のデコード済み修正特性（例えば、ｍｏｐ、ｓｙｐ）に少なくとも部分的に基づいて生成され得る場合、予測される複数のパーティションは、複数の動きベクトルおよび参照情報、予測されるパーティション情報、ならびに複数の修正済み基準に少なくとも部分的に基づいて生成され得る。
処理１１００は、オペレーション１１１０において、「デコード済み予測誤差データパーティションに予測パーティションを加算し、再構成済みパーティションを生成する」を継続し得、予測パーティションは、デコード済み予測誤差データパーティションに加算され、再構成済み予測パーティションを生成し得る。例えば、デコード済み予測誤差データパーティションは、加算器２０６により関連する予測パーティションに加算され得る。
処理１１００は、オペレーション１１１２において、「複数の再構成済みパーティションをアセンブルし、タイルまたはスーパフラグメントを生成する」を継続し得、複数の再構成済み予測パーティションは、複数のタイルまたはスーパフラグメントを生成するべくアセンブルされ得る。例えば、複数の再構成済み予測パーティションは、予測パーティションアセンブラモジュール２０７により複数のタイルまたはスーパフラグメントを生成するべく、アセンブルされ得る。
処理１１００は、オペレーション１１１４において、「映像の複数のタイルまたはスーパフラグメントをアセンブルし、完全なデコード済み映像を生成する」を継続し得、映像の複数のタイルまたはスーパフラグメントは、アセンブルされ、完全なデコード済み映像を生成し得る。例えば、任意選択のデブロックフィルタリングおよび／または品質回復フィルタリングの後、複数のタイルまたはスーパフラグメントは、アセンブルされ、完全なデコード済み映像を生成し得、完全なデコード済み映像は、適応映像再構成部モジュール２１７およびコンテンツ事後回復器モジュール２１８により処理した後に、ディスプレイデバイスにより提示するべくデコード済み映像バッファ２１０を介して格納され、および／または送信され得る。
本明細書における複数の例示的な処理の実装は、図示される順序で、示される全てのオペレーションを試みることを含み得るが、本開示は、この点において限定されず、様々な例において、本明細書における複数の例示的な処理の実装は、示される複数のオペレーションのサブセットのみを、および／または図示されるものとは異なる順序で試みることを含み得る。
本明細書において論じられる処理９００、１１００、および他の複数の処理に関するいくつかの追加および／または任意選択の詳細は、本明細書において論じられる複数の実装の１または複数の例、そして具体的には、以下の図１２Ａ・図１２Ｂに関して図示され得る。
図１２Ａおよび図１２Ｂは、本開示の少なくともいくつかの実装に従って構成された動作中の例示的な動画符号化システム１４００および動画符号化処理１２００の例示的な図を提供する。図示される実装において、処理１２００は、複数のアクション１２０１〜１２２３のうち１または複数により図示される１または複数のオペレーション、機能、またはアクションを含み得る。非限定的な例として、処理１２００は、本明細書において、図１４に関して以下に更に論じられる図１のエンコーダ１００および図２のデコーダ２００を含む、例示的な動画符号化システム１４００を参照して、本明細書において説明される。いくつかの例において、動画符号化システム１４００は、図７のエンコーダ７００および図８のデコーダ８００を含み得る。様々な例において、処理１２００は、エンコーダおよびデコーダの双方を含むシステム、または１つのシステムがエンコーダ（および任意選択でデコーダ）を使用し、別のシステムがデコーダ（および任意選択でエンコーダ）を使用する、複数の別個のシステムにより試みられ得る。上述のように、エンコーダは、エンコーダシステムの一部としてローカルデコーダを使用するローカルデコードループを含み得ることに留意されたい。
図示される実装において、動画符号化システム１４００は、論理回路１２５０等、および／またはその複数の組み合わせを含み得る。例えば、論理回路１２５０は、エンコーダ１００（またはエンコーダ７００）を含み、図１、図３Ａ・図３Ｂ、図５、および／または図７に関して論じられたあらゆるモジュール、およびデコーダ２００（またはデコーダ１８００）を含み、図２、図６、および／または図８に関して論じられたあらゆるモジュールを含み得る。図１２Ａおよび図１２Ｂにおいて示される動画符号化システム１４００は、特定の複数のモジュールに関連する複数のブロックまたはアクションの特定の１つの設定を含み得るが、これらのブロックまたはアクションは、ここにおいて図示される特定の複数のモジュールとは異なる複数のモジュールに関連し得る。図示される処理１２００は、エンコードおよびデコードを対象とするが、説明される複数のコンセプトおよび／または動作は、別個にエンコードおよび／またはデコードすることに適用され、より一般には、動画符号化に適用され得る。
処理１２００は、オペレーション１２０１において、「動画シーケンスの複数の入力動画フレームを受信する」を開始し得、動画シーケンスの複数の入力動画フレームは、例えば、エンコーダ１００により受信され得る。
処理１２００は、オペレーション１２０２において、「映像のタイプを複数の映像のグループ内の各動画フレームと関連付ける」を継続し得、映像のタイプは、例えば、コンテンツ事前解析器モジュール１０２により複数の映像のグループ内の各動画フレームに関連付けられ得る。例えば、映像のタイプは、Ｆ／Ｂ映像、Ｐ映像、またはＩ映像等であり得る。いくつかの例において、動画シーケンスは、複数の映像の複数のグループを含み得る。本明細書において説明される処理（例えば、複数のオペレーション１２０３〜１２１１）は、複数の映像のグループのフレームまたは映像に実行され得る。処理は、グループの全てのフレームまたは映像について反復され、次に動画シーケンスにおける複数の映像の全てのグループについて反復され得る。
処理１２００は、オペレーション１２０３において、「映像を複数のタイル、ならびに／または複数のスーパフラグメントおよび潜在的予測パーティショニングに分割する」を継続し得、映像は、例えば、予測パーティション生成器１０５により複数のタイルもしくはスーパフラグメント、および複数の潜在的予測パーティションに分割され得る。
処理１２００は、オペレーション１２０４において、「各潜在的予測パーティショニングについて、予測を実行し、複数の予測パラメータを判断する」を継続し得、各潜在的予測パーティショニングについて、予測が実行され、複数の予測パラメータが判断され得る。例えば、複数の潜在的予測パーティショニング（各々は、様々な予測パーティションを有する）の範囲が生成され、関連する予測および複数の予測パラメータが判断され得る。例えば、予測は、特性または動きに基づく複数基準による予測または複数のイントラ予測を用いる予測を含んでもよい。
論じられるように、いくつかの例において、インター予測が実行され得る。いくつかの例において、最大４つのデコード済みの過去、および／または将来の映像、およびいくつかのモーフィング／合成予測は、多数の参照タイプ（例えば、基準映像）を生成するべく用いられ得る。例えば、「インター」モードにおいて、最大９つの参照タイプが、複数のＰ映像においてサポートされ得、最大１０つの参照タイプが、複数のＦ／Ｂ映像においてサポートされ得る。更に、「マルチ」モードは、１つの基準映像に代えて、２つの基準映像が用いられ、ＰおよびＦ／Ｂ映像がそれぞれ、３つ、そして最大８つの参照タイプを可能にし得る、１つのタイプのインター予測モードを提供し得る。例えば、予測は、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づき得る。そのような例において、ビットストリーム（以下に動作１２１２に関して論じられる）は、予測パーティションに関連するフレーム参照、複数のモーフィングパラメータ、または複数の合成パラメータを含み得る。
処理１２００は、オペレーション１２０５において、「各潜在的予測パーティショニングについて潜在的予測誤差を判断する」を継続し得、各潜在的予測パーティショニングについて、潜在的予測誤差が判断され得る。例えば、各予測パーティショニング（および複数の関連する予測パーティション、予測、および複数の予測パラメータ）について、予測誤差が判断され得る。例えば、潜在的予測誤差を判断する段階は、複数の予測画素と複数の元の画素（例えば、予測パーティションの元の画素データ）との差分を取る段階を有し得る。いくつかの例において、関連する複数の予測パラメータが格納され得る。論じられるように、いくつかの例において、予測誤差データパーティションは、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づいて生成された予測誤差データを含み得る。
処理１２００は、オペレーション１２０６において、「予測パーティショニングおよび予測タイプを選択し、複数のパラメータを保存する」を継続し得、予測パーティショニングおよび予測タイプが選択され、関連する複数のパラメータは、保存され得る。いくつかの例において、最小の予測誤差を有する潜在的予測パーティショニングが選択され得る。いくつかの例において、潜在的予測パーティショニングは、レート歪みの最適化（ＲＤＯ）に少なくとも部分的に基づいて選択され得る。
処理１２００は、オペレーション１２０７において、「様々なブロックサイズを用いる固定またはコンテンツ適応性変換を、パーティション予測誤差データの様々な潜在的符号化パーティショニングに実行する」を継続し得、様々なブロックサイズを用いる固定またはコンテンツ適応性変換が、パーティション予測誤差データの様々な潜在的符号化パーティショニングに実行され得る。例えば、パーティション予測誤差データは、複数の符号化パーティションを生成するべく分割され得る。例えば、パーティション予測誤差データは、本明細書において論じられる符号化パーティション生成器モジュール１０７の二分木符号化パーティショナモジュールまたはｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｆ／ＢまたはＰ映像に関連するパーティション予測誤差データは、二分木符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｉ映像（いくつかの例において、例えば、複数のタイルまたはスーパフラグメント）に関連する動画データは、ｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、符号化パーティショナモジュールは、１つのスイッチまたは複数のスイッチにより選択され得る。例えば、複数のパーティションは、符号化パーティション生成器モジュール１０７により生成され得る。
処理１２００は、オペレーション１２０８において、「最適な符号化パーティショニング、複数の変換ブロックサイズ、および実際の変換を判断する」を継続し得、最適な符号化パーティショニング、複数の変換ブロックサイズ、および複数の実際の変換が判断され得る。例えば、様々な符号化パーティショニング（例えば、様々な符号化パーティションを有する）は、ＲＤＯ、または（複数の符号化パーティションが論じられる変換ブロックサイズと一致しない場合に、複数の符号化パーティションを複数の変換ブロックに更に分割することも含む）選択された符号化パーティショニングを判断する別の基礎に少なくとも部分的に基づいて、評価され得る。例えば、実際の変換（または選択された変換）は、本明細書において説明される符号化パーティションまたは複数のブロックサイズで実行される、任意のコンテンツ適応性変換または固定変換を含み得る。
処理１２００は、オペレーション１２０９において、「複数の変換係数を量子化し、スキャンする」を継続し、エントロピ符号化を準備するときに、複数の符号化パーティション（および／または変換ブロック）に関連する複数の変換係数は、量子化され、スキャンされ得る。
処理１２００は、オペレーション１２１０において、「画素データを再構成し、アセンブルして映像とし、複数の基準映像バッファ内に保存する」を継続し得、画素データは、再構成され、映像にアセンブルされ、複数の基準映像バッファ内に保存され得る。例えば、ローカルデコードループ（例えば、逆スキャン、逆変換、および複数の符号化パーティションのアセンブルを含む）の後に、複数の予測誤差データパーティションが生成され得る。複数の予測誤差データパーティションは、予測パーティションと共に加算され、複数の再構成済み予測パーティションを生成し得る。複数の再構成済み予測パーティションは、アセンブルされ、複数のタイルまたはスーパフラグメントとし得る。アセンブルされた複数のタイルまたはスーパフラグメントは、任意選択で、デブロックフィルタリングおよび／または品質回復フィルタリングにより処理され、映像を生成するべくアセンブルされ得る。映像は、他の（例えば、後の）複数の映像の予測に対する基準映像として、デコード済み映像バッファ１１９内に保存されてもよい。
処理１２００は、オペレーション１２１１において、「各タイルまたはスーパフラグメントに関連するデータをエントロピエンコードする」を継続し得、各タイルまたはスーパフラグメントに関連するデータは、エントロピエンコードされ得る。例えば、各動画シーケンスの複数の映像の各グループにおける各映像の各タイルまたはスーパフラグメントに関連するデータは、エントロピエンコードされ得る。エントロピエンコード済みデータは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
処理１２００は、オペレーション１２１２において、「ビットストリームを生成する」を継続し得、ビットストリームは、エントロピエンコード済みデータに少なくとも部分的に基づいて生成され得る。論じられるように、いくつかの例において、ビットストリームは、フレームもしくは映像参照、複数のモーフィングパラメータ、または予測パーティションに関連する複数の合成パラメータを含み得る。
処理１２００は、オペレーション１２１３において、「ビットストリームを送信する」を継続し得、ビットストリームが送信され得る。例えば、動画符号化システム１４００は、アンテナ１４０２を介して出力ビットストリーム１１１、ビットストリーム１０００等を送信し得る（図１４を参照されたい）。
複数のオペレーション１２０１〜１２１３は、本明細書において論じられるエンコーダシステムにより使用され得る、動画エンコードおよび複数のビットストリーム送信技術を提供し得る。以下の複数のオペレーション１２１４〜１２２３は、本明細書において論じられるデコーダシステムにより使用され得る、動画デコードおよび複数の動画表示技術を提供し得る。
処理１２００は、オペレーション１２１４において、「ビットストリームを受信する」を継続し得、ビットストリームが受信され得る。例えば、入力ビットストリーム２０１、ビットストリーム１０００等は、デコーダ２００により受信され得る。いくつかの例において、ビットストリームは、上述の符号化パーティション、１または複数のインジケータ、および／または符号化パーティションを規定するデータに関連するデータを含み得る。いくつかの例において、ビットストリームは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
処理１２００は、オペレーション１２１５において、「ビットストリームをデコードする」を継続し得、受信済みビットストリームは、例えば、適応エントロピデコーダモジュール２０２によりデコードされ得る。例えば、受信済みビットストリームは、エントロピデコードされ、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを判断し得る。
処理１２００は、オペレーション１２１６において、「各符号化パーティションの各ブロックに逆スキャンおよび逆量子化を実行する」を継続し得、逆スキャンおよび逆量子化が、処理される予測パーティションについて各符号化パーティションの各ブロックに実行され得る。例えば、逆スキャンおよび逆量子化は、適応逆量子化モジュール２０３により実行され得る。
処理１２００は、オペレーション１２１７において、「固定またはコンテンツ適応性逆変換を実行し、複数の変換係数をデコードし、複数のデコード済み予測誤差データパーティションを判断する」を継続し得、固定またはコンテンツ適応性逆変換は、複数の変換係数をデコードし、複数のデコード済み予測誤差データパーティションを判断するべく実行され得る。例えば、逆変換は、ハイブリッドパラメータハール逆変換等の逆コンテンツ適応変換を含み得、従って、ハイブリッドパラメータハール逆変換は、パラメータ変換方向のパラメータハール逆変換、およびパラメータ変換方向と垂直の方向の離散コサイン逆変換を含み得る。いくつかの例において、固定逆変換は、離散コサイン逆変換または離散コサイン逆変換アプロキシメータを含み得る。例えば、固定またはコンテンツ適応性変換は、適応逆変換モジュール２０４により実行され得る。論じられるように、コンテンツ適応性逆変換は、例えば、デコード済み隣接パーティションまたはブロック等、既にデコードされたデータに少なくとも部分的に基づき得る。いくつかの例において、複数のデコード済み予測誤差データパーティションを生成する段階は、符号化パーティションアセンブラモジュール２０５により複数のデコード済み符号化パーティションをアセンブルする段階を有し得る。
処理１２００は、オペレーション１２１８において、「各予測パーティションについて予測画素データを生成する」を継続し得、予測画素データは、各予測パーティションについて生成され得る。例えば、予測画素データは、選択済み予測タイプ（例えば、複数の特性および動き、またはイントラタイプもしくは他の複数のタイプに少なくとも部分的に基づいて）、および関連する複数の予測パラメータを用いて生成され得る。
処理１２００は、オペレーション１２１９において、「各デコード済み予測誤差パーティションに対応する予測パーティションを加算し、再構成済み予測パーティションを生成する」を継続し得、（例えば、複数のゼロ予測誤差パーティションを含む）各デコード済み予測誤差パーティションは、対応する予測パーティションに加算され、再構成済み予測パーティションを生成し得る。例えば、複数の予測パーティションは、図２において図示されるデコードループを介して生成され、加算器２０６により複数のデコード済み予測誤差パーティションに加算され得る。
処理１２００は、オペレーション１２２０において、「再構成済み予測パーティションをアセンブルし、複数のデコード済みタイルまたはスーパフラグメントを生成する」を継続し得、複数の再構成済み予測パーティションは、アセンブルされ、複数のデコード済みタイルまたはスーパフラグメントを生成し得る。例えば、複数の予測パーティションは、予測パーティションアセンブラモジュール２０７によりアセンブルされ、複数のデコード済みタイルまたはスーパフラグメントを生成し得る。
処理１２００は、オペレーション１２２１において、「デブロックフィルタリングおよび／またはＱＲフィルタリングを適用し、複数の最終デコード済みタイルまたはスーパフラグメントを生成する」を継続し得、任意選択のデブロックフィルタリングおよび／または品質回復フィルタリングが、複数のデコード済みタイルまたはスーパフラグメントに適用され、複数の最終デコード済みタイルまたはスーパフラグメントを生成し得る。例えば、任意選択のデブロックフィルタリングは、デブロックフィルタリングモジュール２０８により適用され得、および／または任意選択の品質回復フィルタリングは、品質回復フィルタリングモジュール２０９により適用され得る。
処理１２００は、オペレーション１２２２において、「複数のデコード済みタイルまたはスーパフラグメントをアセンブルし、デコード済み動画映像を生成し、複数の基準映像バッファ内に保存する」を継続し得、複数のデコード済み（または最終デコード済み）タイルまたはスーパフラグメントは、アセンブルされ、デコード済み動画映像を生成し、デコード済み動画映像は、将来予測において用いるべく複数の基準映像バッファ（例えば、デコード済み映像バッファ２１０）内に保存され得る。
処理１２００は、オペレーション１２２３において、「ディスプレイデバイスにより提示するべく複数のデコード済み動画フレームを送信する」を継続し得、複数のデコード済み動画フレームは、ディスプレイデバイスにより提示するべく送信され得る。例えば、複数のデコード済み動画映像は、適応映像再構成部２１７およびコンテンツ事後回復器モジュール２１８により更に処理され、ユーザに提示するべく、表示動画２１９の複数の動画フレームとしてディスプレイデバイスに送信され得る。例えば、動画フレームは、提示するべく、ディスプレイデバイス１４０５（図１４において示される）に送信され得る。
本明細書における複数の例示的な処理の実装は、図示される順序で、示される全てのオペレーションを試みることを含み得るが、本開示は、この点において限定されず、様々な例において、本明細書における複数の例示的な処理の実装は、示される複数のオペレーションのサブセットのみを、および／または図示されるものとは異なる順序で試みることを含み得る。
本明細書において論じられる処理９００、１１００、１２００、および他の複数の処理に関するいくつかの追加および／または代替の詳細は、本明細書において論じられる複数の実装の１または複数の例、そして具体的には、以下の図１３Ａ、図１３Ｂおよび図１３Ｃに関して図示され得る。
図１３Ａ、図１３Ｂ、および図１３Ｃは、本開示の少なくともいくつかの実装に従って構成された動作中の例示的な動画符号化システム１２００および動画符号化処理１３００の例示的な図を提供する。図示される実装において、処理１３００は、複数のアクション１３０１〜１３２３のうち１または複数により図示される１または複数のオペレーション、機能、またはアクションを含み得る。非限定的な例として、処理１３００は、本明細書において、図１４に関して以下に更に論じられる図１のエンコーダ１００および図２のデコーダ２００を含む、例示的な動画符号化システム１４００を参照して、本明細書において説明される。いくつかの例において、動画符号化システム１４００は、図７のエンコーダ７００および図８のデコーダ８００を含み得る。様々な例において、処理１３００は、エンコーダおよびデコーダの双方を含むシステム、または１つのシステムがエンコーダ（および任意選択でデコーダ）を使用し、別のシステムがデコーダ（および任意選択でエンコーダ）を使用する、複数の別個のシステムにより試みられ得る。上述のように、エンコーダは、エンコーダシステムの一部としてローカルデコーダを使用するローカルデコードループを含み得ることに留意されたい。
図示される実装において、動画符号化システム１４００は、論理回路１３５０等、および／またはその複数の組み合わせを含み得る。例えば、論理回路１３５０は、エンコーダ１００（またはエンコーダ７００）を含み、図１、図３Ａ・図３Ｂ、図５、および／または図７に関して論じられたあらゆるモジュール、およびデコーダ２００（またはデコーダ１８００）を含み、図２、図６、および／または図８に関して論じられたあらゆるモジュールを含み得る。図１３Ａ、図１３Ｂ、および図１３Ｃにおいて示される動画符号化システム１４００は、特定の複数のモジュールに関連する複数のブロックまたはアクションの特定の１つのセットを含み得るが、これらのブロックまたはアクションは、ここにおいて図示される特定の複数のモジュールとは異なる複数のモジュールに関連し得る。図示される処理１３００は、エンコードおよびデコードを対象とするが、説明される複数のコンセプトおよび／または動作は、別個にエンコードおよび／またはデコードすることに適用され、より一般には、動画符号化に適用され得る。
処理１３００は、オペレーション１３０１において、「動画シーケンスの複数の入力動画フレームを受信する」を開始し得、動画シーケンスの複数の入力動画フレームは、例えば、エンコーダ１００により受信され得る。
処理１３００は、オペレーション１３０２において、「映像のタイプを複数の映像のグループ内の各動画フレームと関連付ける」を継続し得、映像のタイプは、例えば、コンテンツ事前解析器モジュール１０２により複数の映像のグループ内の各動画フレームに関連付けられ得る。例えば、映像のタイプは、Ｆ／Ｂ映像、Ｐ映像、またはＩ映像等であり得る。いくつかの例において、動画シーケンスは、複数の映像の複数のグループを含み得る。本明細書において説明される処理（例えば、複数のオペレーション１３０３〜１３１１）は、複数の映像のグループのフレームまたは映像に実行され得る。処理は、グループの全てのフレームまたは映像について反復され、次に動画シーケンスにおける複数の映像の全てのグループについて反復され得る。
処理１３００は、オペレーション１３０３において、「映像を複数のタイル、および／または複数のスーパフラグメントおよび潜在的予測パーティショニングに分割する」を継続し得、映像は、例えば、予測パーティション生成器１０５により複数のタイルもしくはスーパフラグメント、および複数の潜在的予測パーティションに分割され得る。
処理１３００は、オペレーション１３０４において、「各潜在的予測パーティショニングについて、予測を実行し、複数の予測パラメータを判断する」を継続し得、各潜在的予測パーティショニングについて、予測が実行され、複数の予測パラメータが判断され得る。例えば、複数の潜在的予測パーティショニング（各々は、様々な予測パーティションを有する）の範囲が生成され、関連する予測および複数の予測パラメータが判断され得る。例えば、予測は、特性または動きに基づく複数基準による予測または複数のイントラ予測を用いる予測を含んでもよい。
論じられるように、いくつかの例において、インター予測が実行され得る。いくつかの例において、最大４つのデコード済みの過去、および／または将来の映像およびいくつかのモーフィング／合成予測は、多数の参照タイプ（例えば、基準映像）を生成するべく用いられ得る。例えば、「インター」モードにおいて、最大９つの参照タイプが、複数のＰ映像においてサポートされ得、最大１０つの参照タイプが、複数のＦ／Ｂ映像においてサポートされ得る。更に、「マルチ」モードは、１つの基準映像に代えて、２つの基準映像が用いられ、ＰおよびＦ／Ｂ映像がそれぞれ、３つ、そして最大８つの参照タイプを可能にし得る、１つのタイプのインター予測モードを提供し得る。例えば、予測は、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づき得る。そのような例において、ビットストリーム（以下に動作１３１２に関して論じられる）は、予測パーティションに関連するフレーム参照、複数のモーフィングパラメータ、または複数の合成パラメータを含み得る。
処理１３００は、オペレーション１３０５において、「各潜在的予測パーティショニングについて潜在的予測誤差を判断する」を継続し得、各潜在的予測パーティショニングについて、潜在的予測誤差が判断され得る。例えば、各予測パーティショニング（および複数の関連する予測パーティション、予測、および複数の予測パラメータ）について、予測誤差が判断され得る。例えば、潜在的予測誤差を判断する段階は、複数の予測画素と複数の元の画素（例えば、予測パーティションの元の画素データ）との差分を取る段階を有し得る。いくつかの例において、関連する複数の予測パラメータが格納され得る。論じられるように、いくつかの例において、予測誤差データパーティションは、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づいて生成された予測誤差データを含み得る。
処理１３００は、オペレーション１３０６において、「予測パーティショニングおよび予測タイプを選択し、複数のパラメータを保存する」を継続し得、予測パーティショニングおよび予測タイプが選択され、関連する複数のパラメータは、保存され得る。いくつかの例において、最小の予測誤差を有する潜在的予測パーティショニングが選択され得る。いくつかの例において、潜在的予測パーティショニングは、レート歪みの最適化（ＲＤＯ）に少なくとも部分的に基づいて選択され得る。
処理１３００は、オペレーション１３０７において、「様々なブロックサイズを用いる固定またはコンテンツ適応性変換を、パーティション予測誤差データの様々な潜在的符号化パーティショニングに実行する」を継続し得、様々なブロックサイズを用いる固定またはコンテンツ適応性変換が、パーティション予測誤差データの様々な潜在的符号化パーティショニングに実行され得る。例えば、パーティション予測誤差データは、複数の符号化パーティションを生成するべく分割され得る。例えば、パーティション予測誤差データは、本明細書において論じられる符号化パーティション生成器モジュール１０７の二分木符号化パーティショナモジュールまたはｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｆ／ＢまたはＰ映像に関連するパーティション予測誤差データは、二分木符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｉ映像（いくつかの例において、例えば、複数のタイルまたはスーパフラグメント）に関連する動画データは、ｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、符号化パーティショナモジュールは、１つのスイッチまたは複数のスイッチにより選択され得る。例えば、複数のパーティションは、符号化パーティション生成器モジュール１０７により生成され得る。
処理１３００は、オペレーション１３０８において、「最適な符号化パーティショニング、複数の変換ブロックサイズ、および実際の変換を判断する」を継続し得、最適な符号化パーティショニング、複数の変換ブロックサイズ、および複数の実際の変換が判断され得る。例えば、様々な符号化パーティショニング（例えば、様々な符号化パーティションを有する）は、ＲＤＯ、または（複数の符号化パーティションが論じられる変換ブロックサイズと一致しない場合に、複数の符号化パーティションを複数の変換ブロックに更に分割することも含む）選択された符号化パーティショニングを判断する別の基礎に少なくとも部分的に基づいて、評価され得る。例えば、実際の変換（または選択された変換）は、本明細書において説明される符号化パーティションまたは複数のブロックサイズで実行される、任意のコンテンツ適応性変換または固定変換を含み得る。
処理１３００は、オペレーション１３０９において、「複数の変換係数を量子化し、スキャンする」を継続し、エントロピ符号化を準備するときに、複数の符号化パーティション（および／または変換ブロック）に関連する複数の変換係数は、量子化され、スキャンされ得る。
処理１３００は、オペレーション１３１１において、「各タイルまたはスーパフラグメントに関連するデータをエントロピエンコードする」を継続し得、各タイルまたはスーパフラグメントに関連するデータは、エントロピエンコードされ得る。例えば、各動画シーケンスの複数の映像の各グループにおける各映像の各タイルまたはスーパフラグメントに関連するデータは、エントロピエンコードされ得る。エントロピエンコード済みデータは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
処理１３００は、オペレーション１３１２において、「ビットストリームを生成する」を継続し得、ビットストリームは、エントロピエンコード済みデータに少なくとも部分的に基づいて生成され得る。論じられるように、いくつかの例において、ビットストリームは、フレームもしくは映像参照、複数のモーフィングパラメータ、または予測パーティションに関連する複数の合成パラメータを含み得る。
処理１３００は、オペレーション１３１３において、「ビットストリームを送信する」を継続し得、ビットストリームが送信され得る。例えば、動画符号化システム１４００は、アンテナ１４０２を介して出力ビットストリーム１１１、ビットストリーム１０００等を送信し得る（図１４を参照されたい）。
処理１３００は、オペレーション１３２０において、「画素データを再構成し、アセンブルして映像とし、複数の基準映像バッファ内に保存する」を継続し得、画素データは、再構成され、映像にアセンブルされ、複数の基準映像バッファ内に保存され得る。例えば、ローカルデコードループ（例えば、逆スキャン、逆変換、および複数の符号化パーティションのアセンブルを含む）の後に、複数の予測誤差データパーティションが生成され得る。複数の予測誤差データパーティションは、予測パーティションと共に加算され、複数の再構成済み予測パーティションを生成し得る。複数の再構成済み予測パーティションは、アセンブルされ、複数のタイルまたはスーパフラグメントとし得る。アセンブルされた複数のタイルまたはスーパフラグメントは、任意選択で、デブロックフィルタリングおよび／または品質回復フィルタリングにより処理され、映像を生成するべくアセンブルされ得る。映像は、他の（例えば、後の）複数の映像の予測に対する基準映像として、デコード済み映像バッファ１１９内に保存されてもよい。
処理１３００は、オペレーション１３２２において、「複数のデコード済み予測基準映像を生成する」を継続し得、複数のデコード済み予測基準映像がデコードされ得る。例えば、複数のデコード済み（または最終デコード済み）タイルまたはスーパフラグメントは、アセンブルされ、デコード済み動画映像を生成し、デコード済み動画映像は、将来予測において用いるべく複数の基準映像バッファ（例えば、デコード済み映像バッファ１１９）内に保存され得る。
処理１３００は、オペレーション１３２３において、「複数の修正特性パラメータを生成する」を継続し得、複数の修正特性パラメータが生成され得る。例えば、第２の修正済み予測基準映像、および第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータは、第２のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。
処理１３００は、オペレーション１３２４において、「複数の修正済み予測基準映像を生成する」を継続し得、複数の修正済み予測基準映像、例えば、第１の修正済み予測基準映像が生成され得る。第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータは、第１のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得る。
処理１３００は、オペレーション１３２５において、「動きデータを生成する」を継続し得、動き評価データが生成され得る。例えば、現在の映像の予測パーティションに関連する動きデータは、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて生成され得る。
処理１３００は、オペレーション１３２６において、「動き補償を実行する」を継続し得、動き補償が実行され得る。例えば、動き補償は、動きデータ、ならびに第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて実行され、予測パーティションに対する予測パーティションデータを生成し得る。処理１３００は、オペレーション１３０４にこの情報をフィードバックし得、（例えば、複数のゼロ予測誤差パーティションを含む）各デコード済み予測誤差パーティションは、対応する予測パーティションに加算され、再構成済み予測パーティションを生成し得る。
複数のオペレーション１３０１〜１３２６は、本明細書において論じられるエンコーダシステムにより使用され得る、動画エンコード技術およびビットストリーム送信技術を提供し得る。以下の複数のオペレーション１３５４〜１３６８は、本明細書において論じられるデコーダシステムにより使用され得る、動画デコード技術および動画表示技術を提供し得る。
処理１３００は、オペレーション１３５４において、「ビットストリームを受信する」を継続し得、ビットストリームが受信され得る。例えば、入力ビットストリーム２０１、ビットストリーム１０００等は、デコーダ２００により受信され得る。いくつかの例において、ビットストリームは、符号化パーティション、１または複数のインジケータ、および／または上述の符号化パーティションを規定するデータに関連するデータを含み得る。いくつかの例において、ビットストリームは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
処理１３００は、オペレーション１３５５において、「ビットストリームをデコードする」を継続し得、受信済みビットストリームは、例えば、適応エントロピデコーダモジュール２０２によりデコードされ得る。例えば、受信済みビットストリームは、エントロピデコードされ、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを判断し得る。
処理１３００は、オペレーション１３５６において、「各符号化パーティションの各ブロックに逆スキャンおよび逆量子化を実行する」を継続し得、逆スキャンおよび逆量子化が、処理される予測パーティションについて各符号化パーティションの各ブロックに実行され得る。例えば、逆スキャンおよび逆量子化は、適応逆量子化モジュール２０３により実行され得る。
処理１３００は、オペレーション１３５７において、「固定またはコンテンツ適応性逆変換を実行し、複数の変換係数をデコードし、複数のデコード済み予測誤差データパーティションを判断する」を継続し得、固定またはコンテンツ適応性逆変換は、複数の変換係数をデコードし、複数のデコード済み予測誤差データパーティションを判断するべく実行され得る。例えば、逆変換は、ハイブリッドパラメータハール逆変換等の逆コンテンツ適応変換を含み得、従って、ハイブリッドパラメータハール逆変換は、パラメータ変換方向のパラメータハール逆変換、およびパラメータ変換方向と垂直の方向の離散コサイン逆変換を含み得る。いくつかの例において、固定逆変換は、離散コサイン逆変換または離散コサイン逆変換アプロキシメータを含み得る。例えば、固定またはコンテンツ適応性変換は、適応逆変換モジュール２０４により実行され得る。論じられるように、コンテンツ適応性逆変換は、例えば、デコード済み隣接パーティションまたはブロック等、他の既にデコードされたデータに少なくとも部分的に基づき得る。いくつかの例において、複数のデコード済み予測誤差データパーティションを生成する段階は、符号化パーティションアセンブラモジュール２０５により複数のデコード済み符号化パーティションをアセンブルする段階を有し得る。
処理１３００は、オペレーション１３５８において、「各予測パーティションについて予測画素データを生成する」を継続し得、予測画素データは、各予測パーティションについて生成され得る。例えば、予測画素データは、選択済み予測タイプ（例えば、複数の特性および動き、またはイントラタイプもしくは他の複数のタイプに少なくとも部分的に基づいて）、ならびに複数の関連する予測パラメータを用いて生成され得る。
処理１３００は、オペレーション１３５９において、「各デコード済み予測誤差パーティションに対応する予測パーティションを加算し、再構成済み予測パーティションを生成する」を継続し得、（例えば、複数のゼロ予測誤差パーティションを含む）各デコード済み予測誤差パーティションは、対応する予測パーティションに加算され、再構成済み予測パーティションを生成し得る。例えば、複数の予測パーティションは、図２において図示されるデコードループを介して生成され、加算器２０６により複数のデコード済み予測誤差パーティションに加算され得る。
処理１３００は、オペレーション１３６０において、「再構成済み予測パーティションをアセンブルし、複数のデコード済みタイルまたはスーパフラグメントを生成する」を継続し得、複数の再構成済み予測パーティションは、アセンブルされ、複数のデコード済みタイルまたはスーパフラグメントを生成し得る。例えば、複数の予測パーティションは、予測パーティションアセンブラモジュール２０７によりアセンブルされ、複数のデコード済みタイルまたはスーパフラグメントを生成し得る。
処理１３００は、オペレーション１３６１において、「デブロックフィルタリングおよび／またはＱＲフィルタリングを適用し、複数の最終デコード済みタイルまたはスーパフラグメントを生成する」を継続し得、任意選択のデブロックフィルタリングおよび／または品質回復フィルタリングが、複数のデコード済みタイルまたはスーパフラグメントに適用され、複数の最終デコード済みタイルまたはスーパフラグメントを生成し得る。例えば、任意選択のデブロックフィルタリングは、デブロックフィルタリングモジュール２０８により適用され得、および／または任意選択の品質回復フィルタリングは、品質回復フィルタリングモジュール２０９により適用され得る。
処理１３００は、オペレーション１３６２において、「複数のデコード済みタイルまたはスーパフラグメントをアセンブルし、デコード済み動画映像を生成し、複数の基準映像バッファ内に保存する」を継続し得、複数のデコード済み（または最終デコード済み）タイルまたはスーパフラグメントは、アセンブルされ、デコード済み動画映像を生成し、デコード済み動画映像は、将来予測において用いるべく複数の基準映像バッファ（例えば、デコード済み映像バッファ２１０）内に保存され得る。
処理１３００は、オペレーション１３６３において、「ディスプレイデバイスにより提示するべく複数のデコード済み動画フレームを送信する」を継続し得、複数のデコード済み動画フレームは、ディスプレイデバイスにより提示するべく送信され得る。例えば、複数のデコード済み動画映像は、適応映像再構成部２１７およびコンテンツ事後回復器モジュール２１８により更に処理され、ユーザに提示するべく、表示動画２１９の複数の動画フレームとしてディスプレイデバイスに送信され得る。例えば、動画フレームは、提示するべく、ディスプレイデバイス１４０５（図１４において示される）に送信され得る。
処理１３００は、オペレーション１３７２において、「複数のデコード済み予測基準映像を生成する」を継続し得、複数のデコード済み予測基準映像がデコードされ得る。例えば、複数のデコード済み符号化パーティションは、アセンブルされ、デコード済み予測誤差データパーティションを生成し得、デコード済み動画映像（例えば、第３のデコード済み予測基準映像および第４のデコード済み予測基準映像が、生成され得る）は、将来予測において用いるべく、複数の基準映像バッファ内に保存され得る。
処理１３００は、オペレーション１３７４において、「複数の修正済み予測基準映像を生成する」を継続し得、複数の修正済み予測基準映像が生成され得、例えば、第３の修正済み予測基準映像の少なくとも一部が、複数の第３の修正特性パラメータに少なくとも部分的に基づいて生成され得る。同様に、第４の修正済み予測基準映像の少なくとも一部は、関連する複数第２の修正特性パラメータに少なくとも部分的に基づいて生成され得る。
処理１３００は、オペレーション１３７５において、「動きデータを生成する」を継続し得、動き評価データが生成され得る。例えば、現在の映像の予測パーティションに関連する動きデータは、第３の修正済み予測基準映像または第４の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて生成され得る。
処理１３００は、オペレーション１３７６において、「動き補償を実行する」を継続し得、動き補償が実行され得る。例えば、動き補償は、動きデータ、ならびに第３の修正済み予測基準映像または第４の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて実行され、予測パーティションに対する予測パーティションデータを生成し得る。処理１３００は、オペレーション１３５９にこの情報をフィードバックし得、（例えば、複数のゼロ予測誤差パーティションを含む）各デコード済み予測誤差パーティションは、対応する予測パーティションに加算され、再構成済み予測パーティションを生成し得る。
処理１３００は、本明細書において論じられる複数のコーダシステムのいずれかにより実装され得る。更に、処理１３００は、予測誤差データパーティション、元のデータパーティション、またはウェーブレットデータ等、動画データの任意の数のインスタンス化に基づいて、連続または並列に反復されてもよい（例えば、オペレーション１３０１において、処理１３００は、説明された予測誤差データパーティションと同様に処理するための元のデータまたはウェーブレットデータを受信し得る）。いくつかの例において、複数のオペレーション１３２２〜１３２６は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成する段階と、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、動きデータ、ならびに第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成する段階とを備え得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。
オペレーション中に、処理１３００は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成し得る。第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータは、第１のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得る。第２の修正済み予測基準映像、および第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータは、第２のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。現在の映像の予測パーティションに関連する動きデータは、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて生成され得る。動き補償は、動きデータ、ならびに第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて実行され、予測パーティションに対する予測パーティションデータを生成し得る。
いくつかの例において、処理１３００は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成するように動作し得る。第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータは、第１のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得る。第２の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第２の修正特性パラメータは、第２のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。現在の映像の予測パーティションに関連する動きデータは、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて生成され得る。動き補償は、動きデータ、ならびに第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて実行され、予測パーティションに対する予測パーティションデータを生成し得る。現在の映像の予測パーティションに関連する第２の動きデータは、動きデータを生成することが、第１の修正済み予測基準映像に少なくとも部分的に基づいて動きデータを生成することを含み得るように、第２の修正済み予測基準映像に少なくとも部分的に基づいて生成され得る。動き補償を実行することが、第１の修正済み予測基準映像に少なくとも部分的に基づいて動き補償を実行することを含み得るように、第２の動き補償は、第２の動きデータおよび第２の修正済み予測基準映像に少なくとも部分的に基づいて実行され、予測パーティションに対する第２の予測済みパーティションデータを生成し得る。予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせることが、予測済みパーティションデータおよび第２の予測済みパーティションデータを平均することを含み得るように、予測済みパーティションデータおよび第２の予測済みパーティションデータは、予測パーティションに対する最終予測済みパーティションデータを生成するべく組み合され得る。予測パーティションデータまたは最終予測済みパーティションは、予測パーティションに関連する元の画素データとの差分を取られ、予測誤差データパーティションを生成し、予測誤差データパーティションを分割し、複数の符号化パーティションを生成し得る。フォワード変換は、複数の符号化パーティションに関連する複数の変換係数を生成するべく複数の符号化パーティションに実行され、複数の変換係数を量子化し、複数の量子化済み変換係数を生成し得る。複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、予測パーティションに関連するモード等、および／またはこれらの複数の組み合わせは、エントロピエンコードされ、ビットストリームとし得る。ビットストリームは、エンコーダ１００からデコーダ２００へと送信され得る。
そのような例において、予測済みパーティションデータは、動きデータおよび修正済み予測基準映像を用いる動き補償に基づいて生成され得る。いくつかの例において、２またはそれより多くの修正済み予測基準映像は、動きデータの２またはそれより多くのインスタンス（例えば、２またはそれより多くの修正済み予測基準映像を参照する２またはそれより多くの動きベクトル）、ならびに１つの予測パーティションに関連する２またはそれより多くの予測済みパーティションを生成するべく用いられ得る。次に、複数の予測済みパーティションは、予測パーティションに対する最終予測済みパーティション（例えば、最終予測パーティションデータ）を生成するべく、組み合わされ得る（例えば、平均され、加重平均等により組み合わされる）。例えば、予測パーティションに関連する第２の動きデータは、第２の修正済み予測基準映像（本明細書において論じられるようにいずれのタイプであってもよい）に基づいて判断され得る。第２の動き補償は、第２の動きデータおよび第２の修正済み予測基準映像に基づいて実行され、第２の予測済みパーティション（例えば、第２の予測済みパーティションデータ）を生成し得る。第２の予測済みパーティションは、本明細書において論じられるように、符号化のために用いられ得る、最終予測済みパーティション（例えば、最終予測済みパーティションデータ）を生成するべく、第１の予測済みパーティション（本明細書において論じられた同様の様式で生成される）と組み合わされ得る。
同様に、処理１３００は、ビットストリームがデコーダ２００により受信され得るように動作し得る。ビットストリームは、エントロピデコードされ、複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、モード等、および／または予測パーティションに関連するこれらの複数の組み合わせを判断し得る。逆量子化は、複数の量子化済み変換係数に少なくとも部分的に基づいて実行され、複数のデコード済み変換係数を生成し得る。逆変換は、複数のデコード済み変換係数に少なくとも部分的に基づいて実行され、複数のデコード済み符号化パーティションを生成し得る。複数のデコード済み符号化パーティションは、デコード済み予測誤差データパーティションを生成するべくアセンブルされ得る。第３のデコード済み予測基準映像および第４のデコード済み予測基準映像が、生成され得る。第３の修正済み予測基準映像の少なくとも一部は、複数の第３の修正特性パラメータに少なくとも部分的に基づいて生成され得る。第４の修正済み予測基準映像の少なくとも一部は、関連する複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成され得る。動き補償は、動きデータ、ならびに第３の修正済み予測基準映像の一部もしくは第４の修正済み予測基準映像の一部のうち少なくとも１つに少なくとも部分的に基づいて実行され、デコード済み予測パーティションデータを生成し得る。デコード済み予測パーティションデータは、デコード済み予測誤差データパーティションに加算され、第１の再構成済み予測パーティションを生成し得る。第１の再構成済み予測パーティションおよび第２の再構成済み予測パーティションは、第１のタイルまたは第１のスーパフラグメントのうち少なくとも１つを生成するべくアセンブルされ得る。デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つは、第１のタイルまたは第１のスーパフラグメントに適用され、第１の最終デコード済みタイルまたはスーパフラグメントを生成し得る。第１の最終デコード済みタイルもしくはスーパフラグメント、および第２の最終デコード済みタイルもしくはスーパフラグメントは、デコード済み動画フレームを生成するべくアセンブルされ、ディスプレイデバイスにより提示するべくデコード済み動画フレームを送信し得る。現在の映像の第２の予測パーティションに関連する第２の動きデータは、第１のデコード済み予測基準映像、第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得る。現在の映像がＰ映像を含む場合に、現在の映像の第３の予測パーティションに関連する第３の動きデータは、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて更に生成され得る。現在の映像がＦ／Ｂ映像を含む場合に、現在の映像の第４の予測パーティションに関連する第４の動きデータは、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて更に生成され得る。第１の修正済み予測基準映像は、モーフィング済み予測基準映像、合成済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像、超解像度予測基準映像、投影軌道予測基準映像等、および／またはこれらの複数の組み合わせのうち少なくとも１つを含み得る。第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み得、第２の修正済み予測基準映像は、合成済み予測基準映像を含み得る。モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像等、および／またはこれらの複数の組み合わせのうち少なくとも１つを含み得る。合成済み予測基準映像は、超解像度予測基準映像、投影軌道予測基準映像等、および／またはこれらの複数の組み合わせのうち少なくとも１つを含み得る。第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み得る。動きデータは、動きベクトルを含み得る。
別の例において、処理１３００は、デコード済み予測基準映像を生成し得る。デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータが、生成され得る。現在の映像の予測パーティションに関連する動きデータは、デコード済み予測基準映像および複数の修正特性パラメータに少なくとも部分的に基づく修正済み基準パーティション（ｒｅｆｅｒｅｎｃｅ ｐａｒｔｉｔｉｏｎ）に少なくとも部分的に基づいて生成され得る。動き補償は、動きデータおよび修正済み基準パーティションに少なくとも部分的に基づいて実行され、予測パーティションに対する予測済みパーティションデータを生成し得る。
そのような例において、処理１３００は、デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータを生成し、デコード済み予測基準映像および複数の修正特性パラメータに少なくとも部分的に基づいて生成される修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成し、動きデータおよび修正済み基準パーティションに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成し、修正パーティショニングおよび第２の修正パーティショニングが複数の異なるパーティショニングを含むように、デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成し、デコード済み予測基準映像および複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する第２の動きデータを生成し、動きデータおよび第２の修正済み基準パーティションに少なくとも部分的に基づいて第２の動き補償を実行し、予測パーティションに対する第２の予測済みパーティションデータを生成し、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わることが、予測済みパーティションデータおよび第２の予測済みパーティションデータを平均することを含み得るように、予測パーティションに対する最終予測済みパーティションデータを生成するべく、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせる、デコード済み予測基準映像を更に生成し得る。複数の修正特性パラメータは、複数のモーフィング特性パラメータ、合成特性パラメータ、利得特性パラメータ、ぼかし特性パラメータ、主要な動き特性パラメータ、レジストレーション特性パラメータ、超解像度特性パラメータ、または投影軌道特性パラメータのうち少なくとも１つを含み得る。複数の第２の修正特性パラメータは、複数のモーフィング特性パラメータ、合成特性パラメータ、利得特性パラメータ、ぼかし特性パラメータ、主要な動き特性パラメータ、レジストレーション特性パラメータ、超解像度特性パラメータ、または投影軌道特性パラメータのうち少なくとも１つを含み得る。
そのような例において、複数の修正特性パラメータおよび修正済み基準映像は、ローカルベースの技術を用いて判断され得る。例えば、複数の修正特性パラメータは、デコード済み予測基準映像の修正パーティショニングに基づいて判断され得る。例えば、パーティショニングは、デコード済み予測基準映像を、複数のタイル、ブロック、フラグメント等に分割することを含み得る。パーティショニングは、予測基準映像を、正方形または矩形等の反復形状に分割し得、またはパーティショニングは、ｋ−ｄツリーパーティショニング、二分木パーティショニング等のパーティショニング技術に基づいて予測基準映像を分割し得る。例えば、パーティショニング技術は、修正（例えば、利得、ぼかし、主要な動き、レジストレーション、超解像度、または投影軌道等）のタイプに基づいて変わり得る。動きデータは、修正済み基準パーティション（例えば、複数の修正特性パラメータに基づいて修正された予測基準映像のパーティション）に基づいて、現在の映像の予測パーティション（例えば、予測基準映像のパーティションではなく、予測に対するパーティション）について生成され得る。そのような動き評価は、グローバルな修正済み予測基準映像と異なり、予測基準映像の修正済みパーティションを用いるので、ローカルベースとみなされ得る。予測済みパーティションは、本明細書の他の箇所で論じられるように、符号化に用いられ得る。更にいくつかの例において、ローカルベースの技術は、論じられるように、（例えば、平均する等により）組み合わされ、最終予測済みパーティションを生成し得る２またはそれより多くの予測済みパーティションを生成するべく、１または複数回反復されてもよい。更に、ローカルベースの複数の技術は、本明細書において論じられる複数の修正技術（例えば、利得、ぼかし、主要な動き、レジストレーション、超解像度、または投影軌道等）のいずれかを用いて実行され得る。
本明細書における複数の例示的な処理の実装は、図示される順序で、示される全てのオペレーションを試みることを含み得るが、本開示は、この点において限定されず、様々な例において、本明細書における複数の例示的な処理の実装は、示される複数のオペレーションのサブセットのみを、および／または図示されるものとは異なる順序で試みることを含み得る。
本明細書において説明される複数のシステムの様々なコンポーネントは、ソフトウェア、ファームウェア、および／もしくはハードウェア、ならびに／またはこれらのいずれかの組み合わせで実装され得る。例えば、システム１４００の様々なコンポーネントは、少なくとも部分的に、例えば、スマートフォン等のコンピューティングシステムにおいて見られ得るようなコンピューティングシステムオンチップ（ＳｏＣ）のハードウェアにより提供され得る。当業者は、本明細書において説明される複数のシステムが、対応する複数の図において図示されていない複数の追加コンポーネントを含み得ることを理解し得る。例えば、本明細書において論じられる複数のシステムは、明確にするべく図示されていないビットストリームマルチプレクサモジュールまたはデマルチプレクサモジュール等の複数の追加コンポーネントを含み得る。
更に、本明細書において論じられる複数のオペレーションのうちいずれか１つまたは複数は、１または複数のコンピュータプログラム製品により提供される複数の命令に応答して試みられ得る。そのような複数のプログラム製品は、例えば、プロセッサにより実行されると、本明細書において説明される機能を提供し得る複数の命令を提供する信号担持媒体を含み得る。複数のコンピュータプログラム製品は、１または複の機械可読媒体の形態で提供されてもよい。従って、例えば、１または複数のプロセッサコアを含むプロセッサは、１または複数の機械可読媒体によりプロセッサに伝達されるプログラムコード、ならびに／または複数の命令もしくは命令セットに応答して、本明細書における例示的な複数の処理の複数のオペレーションのうち１または複数を試み得る。一般に、機械可読媒体は、本明細書において説明される複数のデバイスおよび／またはシステムのいずれかに、本明細書において論じられる複数の動画システムの少なくとも一部を実装させ得る、プログラムコード、ならびに／または複数の命令もしくは命令セットの形態のソフトウェアを伝達し得る。
本明細書において説明されるいずれかの実装において用いられるように、「モジュール」という用語は、本明細書において説明される機能を提供するように構成される、ソフトウェアロジック、ファームウェアロジック、および／またはハードウェアロジックのいずれかの組み合わせを指す。ソフトウェアは、ソフトウェアパッケージ、コード、および／または命令セットもしくは複数の命令として実施されてもよく、本明細書において説明されるいずれかの実装において用いられる「ハードウェア」は、例えば、単独、またはいずれかの組み合わせによるハードワイヤード回路、プログラマブル回路、ステートマシン回路、および／またはプログラマブル回路により実行される複数の命令を格納するファームウェアを含んでもよい。複数のモジュールは、集合的または個別に、より大きなシステム、例えば、集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）等の一部を形成する回路として実施され得る。例えば、モジュールは、本明細書において論じられる複数の符号化システムのソフトウェア、ファームウェア、またはハードウェアにより実装する論理回路において実施され得る。
図１４は、本開示の少なくともいくつかの実装に従って構成された例示的な動画符号化システム１４００の例示的な図である。図示される実装において、動画符号化システム１４００は、イメージングデバイス１４０１、動画エンコーダ１００、動画デコーダ２００（および／または処理ユニット１４２０の論理回路１４５０により実装された動画コーダ）、アンテナ１４０２、１または複数のプロセッサ１４０３、１または複数のメモリストア１４０４、および／またはディスプレイデバイス１４０５を含み得る。
図示されるように、イメージングデバイス１４０１、アンテナ１４０２、処理ユニット１４２０、論理回路１４５０、動画エンコーダ１００、動画デコーダ２００、プロセッサ１４０３、メモリストア１４０４、および／またはディスプレイデバイス１４０５は、互いに通信することが可能である。論じられるように、動画エンコーダ１００および動画デコーダ２００の双方を用いて図示されるが、動画符号化システム１４００は、様々な例において動画エンコーダ１００または動画デコーダ２００のみを含むことがある。更に、動画エンコーダおよび／または動画デコーダに関して説明されているが、システム１４００は、いくつかの例において図７の動画エンコーダ７００および／または図８のデコーダ８００を実装し得る。
示されるように、いくつかの例において、動画符号化システム１４００は、アンテナ１４０２を含み得る。アンテナ１４０２は、例えば、動画データのエンコード済みビットストリームを送信または受信するように構成され得る。更に、いくつかの例において、動画符号化システム１４００は、ディスプレイデバイス１４０５を含み得る。ディスプレイデバイス１４０５は、動画データを提示するように構成され得る。示されるように、いくつかの例において、論理回路１４５０は、処理ユニット１４２０により実装され得る。処理ユニット１４２０は、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックスプロセッサ、汎用プロセッサ等を含み得る。また、動画符号化システム１４００は、任意選択のプロセッサ１４０３も含み得、任意選択のプロセッサ１４０３は、同様に、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックスプロセッサ、汎用プロセッサ等を含む。いくつかの例において、論理回路１４５０は、ハードウェア、動画符号化専用ハードウェア等により実装され得、プロセッサ１４０３は、汎用ソフトウェア、オペレーティングシステム等により実装され得る。更に、メモリストア１４０４は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）、または不揮発性メモリ（例えば、フラッシュメモリなど）等、任意のタイプのメモリであってもよい。非限定的な例において、メモリストア１４０４は、キャッシュメモリにより実装され得る。いくつかの例において、論理回路１４５０は、メモリストア１４０４（例えば、画像バッファの実装用）にアクセスし得る。他の複数の例において、論理回路１４５０および／または処理ユニット１４２０は、画像バッファ等を実装する複数のメモリストア（例えば、キャッシュ等）を含み得る。
いくつかの例において、論理回路により実装された動画エンコーダ１００は、画像バッファ（例えば、処理ユニット１４２０もしくはメモリストア１４０４による）およびグラフィックス処理ユニット（例えば、処理ユニット１４２０による）を含み得る。グラフィックス処理ユニットは、画像バッファに通信可能に結合され得る。グラフィックス処理ユニットは、論理回路１４５０により実装される動画エンコーダ１００（またはエンコーダ７００）を含み、図１、図３Ａ・図３Ｂ、図５、および図８に関して論じられた様々なモジュールを実施し得る。例えば、グラフィックス処理ユニットは、符号化パーティション生成器論理回路、適応変換論理回路、コンテンツ事前解析器、エンコードコントローラ論理回路、適応エントロピエンコーダ論理回路等を含み得る。
論理回路は、本明細書において論じられる様々なオペレーションを実行するように構成され得る。例えば、符号化パーティション生成器論理回路は、モーフィング解析器および生成論理回路、合成解析器および生成論理回路、動き評価器論理回路、ならびに特性および動き補償済みフィルタリング予測器論理回路を含む、画像バッファおよびグラフィックス処理ユニットを含むように構成され得る。グラフィックス処理ユニットは、画像バッファに通信可能に結合され得る。モーフィング解析器および生成論理回路は、第１のデコード済み予測基準映像を受信し、第１のデコード済み予測基準映像に少なくとも部分的に基づいて、モーフィング済み予測基準映像、およびモーフィング済み予測基準映像に関連する複数のモーフィング特性パラメータを生成するように構成され得る。合成解析器および生成論理回路は、第２のデコード済み予測基準映像を受信し、第２のデコード済み予測基準映像に少なくとも部分的に基づいて、合成済み予測基準映像、および合成済み予測基準映像に関連する複数の合成特性パラメータを生成するように構成され得る。動き評価器論理回路は、モーフィング済み予測基準映像または合成済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成するように構成され得る。特性および動き補償済みフィルタリング予測器論理回路は、動きデータ、およびモーフィング済み予測基準映像または合成済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成するように構成され得る。動画デコーダ２００は、同様の様式で実装され得る。
いくつかの例において、動画符号化システム１４００のアンテナ１４０２は、動画データのエンコード済みビットストリームを受信するように構成され得る。また、動画符号化システム１４００は、アンテナ１４０２に結合され、エンコード済みビットストリームをデコードするように構成された動画デコーダ２００（またはデコーダ１８００）を含み得る。
例示的な実施形態において、デコーダシステムは、エンコード済みビットストリームをデコードし、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成し、第１のデコード済み予測基準映像および複数の第１の修正済み映像特性パラメータに少なくとも部分的に基づいて、第１の修正済み予測基準映像の少なくとも一部を生成し、第２のデコード済み予測基準映像および複数の第１の修正済み映像特性パラメータに少なくとも部分的に基づいて第２の修正済み予測基準映像の少なくとも一部を生成し、動きデータ、および第１の修正済み予測基準映像の一部もしくは第２の修正済み予測基準映像の一部のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、予測パーティションに関連するデコードされた予測済みパーティションデータを生成し、デコードされた予測済みパーティションデータをデコード済み予測パーティション誤差データに加算し、第１の再構成済み予測パーティションを生成し、第１の再構成済みパーティションおよび第２の再構成済みパーティションをアセンブルし、タイルまたはスーパフラグメントのうち少なくとも１つを生成するように構成された動画デコーダ２００（またはデコーダ１８００）を含み得る。動画デコーダは、エンコード済みビットストリームをデコードし、複数の第１の修正済み映像特性パラメータ、複数の第２の修正済み映像特性パラメータ、および予測パーティションに関連する動きデータを判断するように構成され得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。
複数の実施形態において、本明細書において説明される複数の機能は、１または複数のコンピュータプログラム製品により提供される複数の命令に応答して試みられ得る。そのような複数のプログラム製品は、例えば、プロセッサにより実行されると、本明細書において説明される機能を提供し得る複数の命令を提供する信号担持媒体を含み得る。複数のコンピュータプログラム製品は、１または複数の機械可読媒体の形態で提供されてもよい。従って、例えば、１または複数のプロセッサコアを含むプロセッサは、１または複数の機械可読媒体によりプロセッサに伝達されるプログラムコード、および／または複数の命令もしくは命令セットに応答して、本明細書において説明される１または複数の機能を試み得る。一般に、機械可読媒体は、本明細書において説明される複数のデバイスおよび／またはシステムのいずれかに、本明細書において説明される複数の機能の少なくとも一部を実装させ得る、プログラムコード、および／または複数の命令もしくは命令セットの形態のソフトウェアを伝達し得る。
図１５は、本開示の少なくともいくつかの実装に従って構成された例示的なシステム１５００の例示的な図である。様々な実装において、システム１５００は、メディアシステムであり得るが、システム１５００は、この文脈において限定されない。例えば、システム１５００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、もしくはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、オートフォーカスのカメラ、スーパズームカメラ、デジタル一眼レフレックス（ＤＳＬＲ）カメラ）等に組み込まれ得る。
様々な実装において、システム１５００は、ディスプレイ１５２０に結合されたプラットフォーム１５０２を含む。プラットフォーム１５０２は、コンテンツサービスデバイス１５３０もしくはコンテンツ配信デバイス１５４０、または他の類似の複数のコンテンツソース等のコンテンツデバイスからコンテンツを受信し得る。１または複数のナビゲーション機能を含むナビゲーションコントローラ１５５０は、例えば、プラットフォーム１５０２および／またはディスプレイ１５２０とインタラクトするべく用いられ得る。これらのコンポーネントの各々は、より詳細に以下に説明される。
様々な実装において、プラットフォーム１５０２は、チップセット１５０５、プロセッサ１５１０、メモリ１５１２、アンテナ１５１３、ストレージ１５１４、グラフィックスサブシステム１５１５、複数のアプリケーション１５１６、および／または無線装置１５１８のいずれかの組み合わせを含み得る。チップセット１５０５は、プロセッサ１５１０、メモリ１５１２、ストレージ１５１４、グラフィックスサブシステム１５１５、複数のアプリケーション１５１６、および／または無線装置１５１８間の相互通信を提供し得る。例えば、チップセット１５０５は、ストレージ１５１４との相互通信を提供することが可能なストレージアダプタ（図示せず）を含み得る。
プロセッサ１５１０は、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサもしくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セットに互換性のある複数のプロセッサ、マルチコアもしくはその他のマイクロプロセッサ、または中央処理装置（ＣＰＵ）として実装され得る。様々な実装において、プロセッサ１５１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ等であってもよい。
メモリ１５１２は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、またはスタティックＲＡＭ（ＳＲＡＭ）等、揮発性メモリデバイスとして実装され得るが、これらに限定されない。
ストレージ１５１４は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、装着ストレージデバイス、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（シンクロナスＤＲＡＭ）、および／またはネットワークアクセス可能なストレージデバイス等の不揮発性ストレージデバイスとして実装され得るが、これらに限定されない。様々な実装において、ストレージ１５１４は、例えば、複数のハードドライブが含まれる場合に、貴重なデジタル媒体のために記憶性能の高度な保護を強化する技術を含み得る。
グラフィックスサブシステム１５１５は、表示する静止画または動画等、複数の画像の処理を実行し得る。グラフィックスサブシステム１５１５は、例えば、グラフィックス処理ユニット（ＧＰＵ）または視覚処理ユニット（ＶＰＵ）であってもよい。アナログまたはデジタルインターフェースは、グラフィックスサブシステム１５１５およびディスプレイ１５２０を通信可能に結合するべく用いられ得る。例えば、インターフェースは、高解像度マルチメディアインターフェース、ＤｉｓｐｌａｙＰｏｒｔ、無線ＨＤＭＩ（登録商標）、および／または無線ＨＤに準拠した複数の技術のいずれかであり得る。グラフィックスサブシステム１５１５は、プロセッサ１５１０またはチップセット１５０５に統合され得る。いくつかの実装において、グラフィックスサブシステム１５１５は、チップセット１５０５に通信可能に結合されたスタンドアロンデバイスであり得る。
本明細書において説明される複数のグラフィックスおよび／または動画処理技術は、様々なハードウェアキテクチャにおいて実装され得る。例えば、グラフィックスおよび／または動画機能は、チップセット内に統合され得るあるいは、離散グラフィックスプロセッサおよび／または動画プロセッサが、用いられ得る。別の実装として、グラフィックス機能および／または動画機能が、マルチコアプロセッサを含む汎用プロセッサにより提供され得る。複数の更なる実施形態において、複数の機能は、家庭用電子機器に実装され得る。
無線装置１５１８は、様々な好適な無線通信技術を用いて複数の信号を送信および受信することが可能な１または複数の無線装置を含み得る。そのような複数の技術は、１または複数の無線ネットワーク間での複数の通信を伴い得る。例示的な複数の無線ネットワークとしては、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）、ワイヤレスメトロポリタンエリアネットワーク（ＷＭＡＮ）、携帯電話ネットワーク、および衛星ネットワークが挙げられる（しかし、これらに限定されない）。そのような複数のネットワーク間で通信するとき、無線装置１５１８は、任意のバージョンの１または複数の適用される規格により動作し得る。
様々な実装において、ディスプレイ１５２０は、任意のテレビ型モニタまたはディスプレイを含み得る。 ディスプレイ１５２０は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、動画モニタ、テレビ型デバイス、および／またはテレビを含み得る。ディスプレイ１５２０は、デジタルおよび／またはアナログであり得る。様々な実装において、ディスプレイ１５２０は、ホログラフィーディスプレイであり得る。また、ディスプレイ１５２０は、視覚投影を受信し得る透明な表面であり得る。そのような複数の投影は、様々な形式の情報、画像、および／またはオブジェクトを伝達し得る。例えば、そのような複数の投影は、モバイル拡張現実（ＭＡＲ）アプリケーションの視覚的オーバーレイであり得る。１または複数のソフトウェアアプリケーション１５１６の制御下で、プラットフォーム１５０２は、ディスプレイ１５２０上にユーザインターフェース１５２２を表示し得る。
様々な実装において、コンテンツサービスデバイス１５３０は、任意の国家的、国際的、および／または独立したサービスにより提供され、従って、例えば、インターネット経由でプラットフォーム１５０２にアクセス可能であり得る。コンテンツサービスデバイス１５３０は、プラットフォーム１５０２および／またはディスプレイ１５２０に結合され得る。プラットフォーム１５０２および／またはコンテンツサービスデバイス１５３０は、ネットワーク１５６０に結合され、メディア情報をネットワーク１５６０に、およびメディア情報をネットワーク１５６０から通信（例えば、送信および／または受信）し得る。また、コンテンツ配信デバイス１５４０は、プラットフォーム１５０２および／またはディスプレイ１５２０に結合され得る。
様々な実装において、コンテンツサービスデバイス１５３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、複数のインターネットイネーブルされたデバイスもしくはデジタル情報および／またはコンテンツを配信することが可能なアプライアンス、ならびにネットワーク１５６０を介して、または直接的にコンテンツプロバイダ、プラットフォーム１５０２、および／ディスプレイ１５２０との間でコンテンツを一方向もしくは双方向に通信することが可能なその他の類似の複数のデバイスを含み得る。コンテンツは、ネットワーク１５６０を介してシステム１５００内の複数のコンポーネントのうちいずれか１つ、およびコンテンツプロバイダに、およびこれらから一方向および／または双方向に通信され得ることが理解されるであろう。コンテンツの複数の例としては、例えば、動画、音楽、医療、およびゲームの情報等を含む、あらゆるメディア情報が挙げられ得る。
コンテンツサービスデバイス１５３０は、メディア情報、デジタル情報、および／または他のコンテンツを含むケーブルテレビプログラム等のコンテンツを受信し得る。複数のコンテンツプロバイダの例としては、あらゆるケーブルもしくは衛星テレビ、またはラジオもしくはインターネットコンテンツプロバイダが挙げられ得る。提供される複数の例は、いかなる様式でも本開示による複数の実装を限定することを意味しない。
様々な実装において、プラットフォーム１５０２は、１または複数のナビゲーション機能を有するナビゲーションコントローラ１５５０から複数の制御信号を受信し得る。コントローラ１５５０の複数のナビゲーション機能は、例えば、ユーザインターフェース１５２２とインタラクトするべく用いられ得る。様々な実施形態において、ナビゲーションコントローラ１５５０は、ユーザが空間（例えば、連続的な多次元）データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント（具体的には、ヒューマンインターフェースデバイス）である、ポインティングデバイスであり得る。グラフィックスユーザインタフェース（ＧＵＩ）、ならびにテレビおよびモニタ等、多くのシステムは、ユーザがデータを制御し、複数の身体的ジェスチャを用いてコンピュータまたはテレビに提供することを可能にする。
コントローラ１５５０のナビゲーション機能の動きは、ディスプレイ上に表示されるポインタ、カーソル、フォーカスリング、または他の複数の視覚インジケータの動きにより、ディスプレイ（例えば、ディスプレイ１５２０）上に複製され得る。例えば、複数のソフトウェアアプリケーション１５１６の制御下で、ナビゲーションコントローラ１５５０上に位置する複数のナビゲーション機能は、ユーザインターフェース１５２２上に表示される複数の仮想ナビゲーション機能にマッピングされ得る。様々な実施形態において、コントローラ１５５０は、別個のコンポーネントではなく、プラットフォーム１５０２および／またはディスプレイ１５２０に統合されていることがある。しかし、本開示は、本明細書において示され、または説明される複数の要素または文脈に限定されない。
様々な実装において、複数のドライバ（図示せず）は、例えばイネーブルされると、初期ブートアップ後にボタンのタッチを用いたテレビのように、プラットフォーム１５０２を、複数のユーザが即座にオンまたはオフにすることを可能にする技術を含み得る。たとえプラットフォームが「オフ」になっても、プログラムロジックは、プラットフォーム１５０２が、複数のメディアアダプタ、または他のコンテンツサービスデバイス１５３０もしくはコンテンツ配信デバイス１５４０にコンテンツをストリーミングすることを可能にし得る。更に、チップセット１５０５は、例えば、５.１サラウンドサウンドオーディオおよび／または高解像度７.１サラウンドサウンドオーディオに対するハードウェアおよび／またはソフトウェアのサポートを含み得る。複数のドライバは、複数の集積グラフィックスプラットフォームのためのグラフィックスドライバを含み得る。様々な実施形態において、グラフィックスドライバは、周辺機器相互接続（ＰＣＩ）エクスプレスグラフィックスカードを備え得る。
様々な実装において、システム１５００において示される複数のコンポーネントのうちいずれか１つまたは複数は、統合され得る。例えば、プラットフォーム１５０２およびコンテンツサービスデバイス１５３０が統合されてもよく、またはプラットフォーム１５０２およびコンテンツ配信デバイス１５４０が統合されてもよく、または、例えば、プラットフォーム１５０２、コンテンツサービスデバイス１５３０、およびコンテンツ配信デバイス１５４０が統合されてもよい。様々な実施形態において、プラットフォーム１５０２およびディスプレイ１５２０は、統合されたユニットであり得る。例えば、ディスプレイ１５２０およびコンテンツサービスデバイス１５３０が統合されてもよく、またはディスプレイ１５２０およびコンテンツ配信デバイス１５４０が統合されてもよい。これらの例は、本開示を限定することを意味しない。
様々な実施形態において、システム１５００は、無線システム、有線システム、または双方の組み合わせとして実装され得る。無線システムとして実装される場合、システム１５００は、１または複数のアンテナ、送信機、受信機、送受信機、増幅器、フィルタ、制御ロジック等の無線共有媒体を介して通信するのに好適な複数のコンポーネントおよびインターフェースを含み得る。無線共有媒体の一例としては、ＲＦスペクトル等の無線スペクトル部分が挙げられ得る。有線システムとして実装される場合、システム１５００は、入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体と接続する物理コネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、動画コントローラ、オーディオコントローラ等、有線通信媒体を介して通信するのに好適な複数のコンポーネントおよびインターフェースを含み得る。有線通信媒体の複数の例としては、ワイヤ、ケーブル、金属リード、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、対ストペアワイヤ、同軸ケーブル、光ファイバ等が挙げられ得る。
プラットフォーム１５０２は、情報を通信するべく、１または複数のロジックチャネルまたは物理チャネルを確立し得る。情報としては、メディア情報および制御情報が挙げられ得る。メディア情報は、ユーザ用のコンテンツを表すデータを指し得る。コンテンツの複数の例としては、例えば、音声会話、ビデオ会議、ストリーミング動画、電子メール（「ｅｍａｉｌ」）メッセージ、音声メールメッセージ、英数字記号、グラフィックス、画像、動画、テキスト等のデータが挙げられ得る。音声会話のデータは、例えば、通話情報、無音期間、バックグラウンドノイズ、コンフォートノイズ、トーン等であり得る。制御情報は、自動化システム用の複数のコマンド、命令、または制御ワードを表すあらゆるデータを指し得る。例えば、制御情報は、システムを介してメディア情報をルーティングし、あるいはノードに所定の様式でメディア情報を処理するように命令するべく用いられ得る。しかし、複数の実施形態は、図１５において示され、または説明される複数の要素または文脈に限定されない。
上記のように、システム１５００は、異なる複数の物理的様式またはフォームファクタで実施され得る。図１６は、システム１６００が実施され得る小型フォームファクタデバイス１６００の複数の実装を図示する。例えば、様々な実施形態において、デバイス１６００は、複数の無線機能を有するモバイルコンピューティングデバイスとして実装され得る。モバイルコンピューティングデバイスは、例えば、処理システム、および１または複数のバッテリ等、移動電源または電源機構を有するあらゆるデバイスを指し得る。
上記のように、モバイルコンピューティングデバイスの複数の例としては、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレットもしくはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、オートフォーカスのカメラ、スーパズームカメラ、デジタル一眼レフレックス（ＤＳＬＲ）カメラ）等が、挙げられ得る。
また、モバイルコンピューティングデバイスの複数の例としては、リストコンピュータ、フィンガコンピュータ、リングコンピュータ、眼鏡レンズコンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、シューズコンピュータ、衣類コンピュータ、および他のウェアラブルコンピュータ等、人により着装されるように構成された複数のコンピュータが挙げられ得る。例えば、様々な実施形態において、モバイルコンピューティングデバイスは、複数のコンピュータアプリケーション、ならびに複数の通信および／またはデータ通信を実行することが可能なスマートフォンとして実装され得る。例として、いくつかの実施形態は、スマートフォンとして実装ｓれ多モバイルコンピューティングデバイスと共に説明され得るが、他の複数の実施形態は、他の複数の無線モバイルコンピューティングデバイスも用いて実装され得ることが理解され得るであろう。複数の実施形態は、この文脈において限定されない。
図１６において示されるように、複数のデバイス１６００は、ハウジング１６０２、ユーザインターフェース１６１０を含むディスプレイ１６０４、入力／出力（Ｉ／Ｏ）デバイス１６０６、アンテナ１６０８を含み得る。デバイス１６００は、複数のナビゲーション機能１６１２も含み得る。ディスプレイ１６０４は、モバイルコンピューティングデバイスに対して適切な情報を表示する、任意の好適なディスプレイユニットを含み得る。Ｉ／Ｏデバイス１６０６は、情報をモバイルコンピューティングデバイスに入力する、任意の好適なＩ／Ｏデバイスを含み得る。Ｉ／Ｏデバイス１６０６の例は、英数字のキーボード、テンキーパッド、タッチパッド、複数の入力キー、複数のボタン、複数のスイッチ、複数のロッカースイッチ、複数のマイク、複数のスピーカ、音声認識デバイス、およびソフトウェア等を含み得る。また、情報は、マイク（図示せず）により複数のデバイス１６００に入力され得る。そのような情報は、音声認識デバイス（図示せず）によりデジタル化され得る。複数の実施形態は、この文脈において限定されない。
様々な実施形態は、複数のハードウェア要素、ソフトウェア要素、または双方の組み合わせを用いて実装され得る。複数のハードウェア要素の例としては、プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗器、コンデンサ、インダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等が挙げられ得る。ソフトウェアの複数の例としては、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、方法、手順、ソフトウェアインターフェース、アプリケーションプログラムインターフェース（ＡＰＩ）、命令セット、計算コード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、記号、またはこれらのいずれかの組み合わせが、挙げられ得る。複数のハードウェア要素および／またはソフトウェア要素を用いて実施形態が実装されているか否かを判断する段階は、所望の計算レート、電源レベル、耐熱性、処理サイクルの予算、入力データレート、出力データレート、メモリリソース、データバススピード、および他の設計もしくは性能制約等のあらゆる数の要因に従って変わり得る。
少なくとも一実施形態の１または複数の態様は、プロセッサ内の様々なロジックを表する機械可読媒体上に格納された複数の代表的命令により実装され、命令は、機械により読み取られると、機械に、本明細書において説明される複数の技術を実行するロジックを作成させ得る。「ＩＰコア」として知られるそのような複数の表現は、有形機械可読媒体上に格納され、実際にロジックまたはプロセッサを作製する複数の製造機械にロードするべく、様々な顧客または製造設備に供給され得る。
本明細書において記載される一定の複数の機能は、様々な実装を参照して説明されるが、この説明は、限定的な意味で解釈されることを意図しない。従って、本明細書において説明される複数の実装、ならびに本開示に関する技術の当業者には明らかな他の複数の実装の様々な変更形態は、本開示の趣旨および範囲内にあるものとみなされる。
以下の複数の例は、複数の更なる実施形態に関する。
一例において、動画符号化のためのコンピュータ実装された方法は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成する段階と、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、動きデータ、および第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測パーティションデータを生成する段階とを備え得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプである。
別の例において、動画符号化のためのコンピュータ実装された方法は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成し、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプである段階と、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションと関連する動きデータを生成する段階と、動きデータ、および第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測パーティションデータを生成する段階と、動きデータを生成する段階が、第１の修正済み予測基準映像に少なくとも部分的に基づいて動きデータを生成する段階を有し得るように、第２の修正済み予測基準映像に少なくとも部分的に基づいて現在の映像の予測パーティションに関連する第２の動きデータを生成する段階と、動き補償を実行する段階が、第１の修正済み予測基準映像に少なくとも部分的に基づいて動き補償を実行する段階を有し得るように、第２の動きデータおよび第２の修正済み予測基準映像に少なくとも部分的に基づいて第２の動き補償を実行し、予測パーティションに対する第２の予測済みパーティションデータを生成するする段階と、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせる段階が、予測済みパーティションデータおよび第２の予測済みパーティションデータを平均する段階を有し得るように、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせて、予測パーティションに対する最終予測済みパーティションデータを生成する段階と、予測パーティションデータまたは最終予測済みパーティションと、予測パーティションに関連する元の画素データとの差分を取り、予測誤差データパーティションを生成する段階と、予測誤差データパーティションを分割し、複数の符号化パーティションを生成する段階と、複数の符号化パーティションにフォワード変換を実行し、複数の符号化パーティションに関連する複数の変換係数を生成する段階と、複数の変換係数を量子化し、複数の量子化済み変換係数を生成する段階と、複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、および予測パーティションに関連するモードをビットストリームにエントロピエンコードする段階と、ビットストリームを送信する段階と、ビットストリームを受信する段階と、ビットストリームをエントロピデコードし、複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、および予測パーティションに関連するモードを判断する段階と、複数の量子化済み変換係数に少なくとも部分的に基づいて逆量子化を実行し、複数のデコード済み変換係数を生成する段階と、複数のデコード済み変換係数に少なくとも部分的に基づいて逆変換を実行し、複数のデコード済み符号化パーティションを生成する段階と、複数のデコード済み符号化パーティションをアセンブルし、デコード済み予測誤差データパーティションを生成する段階と、第３のデコード済み予測基準映像および第４のデコード済み予測基準映像を生成する段階と、複数の第３の修正特性パラメータに少なくとも部分的に基づいて、複数の第３の修正済み予測基準映像の少なくとも一部を生成する段階と、関連する複数の第２の修正特性パラメータに少なくとも部分的に基づいて、第４の修正済み予測基準映像の少なくとも一部を生成する段階と、動きデータ、および第３の修正済み予測基準映像の一部もしくは第４の修正済み予測基準映像の一部のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、デコード済み予測パーティションデータを生成する段階と、デコード済み予測パーティションデータをデコード済み予測誤差データパーティションに加算し、第１の再構成済み予測パーティションを生成する段階と、第１の再構成済み予測パーティションおよび第２の再構成済み予測パーティションをアセンブルし、第１のタイルまたは第１のスーパフラグメントのうち少なくとも１つを生成する段階と、デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つを、第１のタイルまたは第１のスーパフラグメントに適用し、第１の最終デコード済みタイルまたはスーパフラグメントを生成する段階と、第１の最終デコード済みタイルもしくはスーパフラグメント、および第２の最終デコード済みタイルもしくはスーパフラグメントをアセンブルし、デコード済み動画フレームを生成する段階と、ディスプレイデバイスにより提示するべく、デコード済み動画フレームを送信する段階と、第１のデコード済み予測基準映像、第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階と、更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む現在の映像の第３の予測パーティションに関連する第３の動きデータを生成する段階と、更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる修正済み予測基準映像に少なくとも部分的に基づいて、現在の映像の第４の予測パーティションに関連する第４の動きデータを生成する段階とを備え得、現在の映像は、Ｆ／Ｂ映像を含み、第１の修正済み予測基準映像は、モーフィング済み予測基準映像、合成済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像、超解像度予測基準映像、または投影軌道予測基準映像のうち少なくとも１つを含み、第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、第２の修正済み予測基準映像は、合成済み予測基準映像を含み、モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み、動きデータは、動きベクトルを含む。
別の例において、動画符号化のためのコンピュータ実装された方法は、デコード済み予測基準映像を生成する段階と、デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータを生成する段階と、デコード済み予測基準映像および複数の修正特性パラメータに少なくとも部分的に基づいて生成された修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、動きデータおよび修正済み基準パーティションに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成する段階とを備え得る。
別の例において、動画符号化のためのコンピュータ実装された方法は、デコード済み予測基準映像を生成する段階と、デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータを生成する段階と、デコード済み予測基準映像および複数の修正特性パラメータに少なくとも部分的に基づいて生成された修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、動きデータおよび修正済み基準パーティションに少なくとも部分的に基づいて、動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成する段階と、修正パーティショニングおよび第２の修正パーティショニングが複数の異なるパーティショニングを含み得るように、デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、デコード済み予測基準映像および複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する第２の動きデータを生成する段階と、動きデータおよび第２の修正済み基準パーティションに少なくとも部分的に基づいて第２の動き補償を実行し、予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせる段階が、予測済みパーティションデータおよび第２の予測済みパーティションデータを平均する段階を有し得るように、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせ、予測パーティションに対する最終予測済みパーティションデータを生成する段階とを有し得る。複数の修正特性パラメータは、複数のモーフィング特性パラメータ、合成特性パラメータ、利得特性パラメータ、ぼかし特性パラメータ、主要な動き特性パラメータ、レジストレーション特性パラメータ、超解像度特性パラメータ、または投影軌道特性パラメータのうち少なくとも１つを含み得る。複数の第２の修正特性パラメータは、複数のモーフィング特性パラメータ、合成特性パラメータ、利得特性パラメータ、ぼかし特性パラメータ、主要な動き特性パラメータ、レジストレーション特性パラメータ、超解像度特性パラメータ、または投影軌道特性パラメータのうち少なくとも１つを含み得る。
更なる例において、動画エンコーダは、画像バッファと、モーフィング解析器および生成論理回路、合成解析器および生成論理回路、動き評価器論理回路、および特性および動き補償済みフィルタリング予測器論理回路を含むグラフィックス処理ユニットとを備え得、グラフィックス処理ユニットは、画像バッファおよびモーフィング解析器に通信可能に結合され得、生成論理回路は、第１のデコード済み予測基準映像を受信し、第１のデコード済み予測基準映像、モーフィング済み予測基準映像、およびモーフィング済み予測基準映像に関連する複数のモーフィング特性パラメータに少なくとも部分的に基づいて生成するように構成され得、合成解析器および生成論理回路は、第２のデコード済み予測基準映像を受信し、第２のデコード済み予測基準映像、合成済み予測基準映像、および合成済み予測基準映像に関連する複数の合成特性パラメータに少なくとも部分的に基づいて生成するように構成され得、動き評価器論理回路は、モーフィング済み予測基準映像または合成済み予測基準映像のうち１つに少なくとも部分的に基づいて現在の映像の予測パーティションに関連する動きデータを生成するように構成され得、特性および動き補償済みフィルタリング予測器論理回路は、動きデータ、およびモーフィング済み予測基準映像もしくは合成済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、予測パーティションに対する予測パーティションデータを生成するように構成され得る。
更なる例において、このグラフィックス処理ユニットは、予測パーティションデータの予測パーティションに関連する元の画素データとの差異を取り、予測誤差データパーティションを生成するように構成された差分器と、予測誤差データパーティションを分割し、複数の符号化パーティションを生成するように構成された符号化パーティション論理回路と、複数の符号化パーティションにフォワード変換を実行し、複数の符号化パーティションに関連する複数の変換係数を生成するように構成された適応変換論理回路と、複数の変換係数を量子化し、複数の量子化済み変換係数を生成するように構成された適応量子化論理回路と、複数の量子化済み変換係数、複数のモーフィング特性パラメータ、複数の合成特性パラメータ、動きデータ、および予測パーティションに関連するモードをエントロピエンコードしてビットストリームとし、ビットストリームを送信するように構成された適応エントロピエンコーダ論理回路とを更に備え得、動き評価器論理回路は、第１のデコード済み予測基準映像、第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、現在の映像の第２の予測パーティションに関連する第２の動きデータを生成し、更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、現在の映像（現在の映像は、Ｐ映像を含む）の第３の予測パーティションに関連する第３の動きデータを生成し、更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、現在の映像（現在の映像は、Ｆ／Ｂ映像を含む）の第４の予測パーティションに関連する第４の動きデータを生成するように更に構成され、モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、第１のデコード済み予測基準映像は、デコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含む。
なおも更なる例において、デコーダシステムは、動画データのエンコード済みビットストリームを受信するように構成されたアンテナと、アンテナに通信可能に結合され、エンコード済みビットストリームをデコードするように構成された動画デコーダとを備え得、動画デコーダは、エンコード済みビットストリームをデコードし、複数の第１の修正済み映像特性パラメータ、複数の第２の修正済み映像特性パラメータ、および予測パーティションに関連する動きデータを判断し、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成し、第１のデコード済み予測基準映像および複数の第１の修正済み映像特性パラメータに少なくとも部分的に基づいて、第１の修正済み予測基準映像の少なくとも一部を生成し、第２のデコード済み予測基準映像および複数の第２の修正済み映像特性パラメータに少なくとも部分的に基づいて、第２の修正済み予測基準映像（第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプである）の少なくとも一部を生成し、動きデータ、および第１の修正済み予測基準映像の一部または第２の修正済み予測基準映像の一部のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、予測パーティションに関連するデコード済み予測パーティションデータを生成し、デコード済み予測パーティションデータをデコード済み予測パーティション誤差データに加算し、第１の再構成済み予測パーティションを生成し、第１の再構成済みパーティションおよび第２の再構成済みパーティションをアセンブルし、タイルまたはスーパフラグメントのうち少なくとも１つを生成するように構成される。
更なる例において、このデコーダシステムは、複数の動画フレームを提示し、複数の量子化済み変換係数に少なくとも部分的に基づいて逆量子化を実行し、複数のデコード済み変換係数を生成し、複数のデコード済み変換係数に少なくとも部分的に基づいて逆変換を実行し、複数のデコード済み符号化パーティションを生成し、複数のデコード済み符号化パーティションをアセンブルし、予測パーティションに関連する予測パーティション誤差データを生成し、デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つを、タイルまたは第１のスーパフラグメントに適用し、第１の最終デコード済みタイルまたはスーパフラグメントを生成し、第１の最終デコード済みタイルもしくはスーパフラグメント、および第２の最終デコード済みタイルもしくはスーパフラグメントをアセンブルし、デコード済み動画フレームを生成し、ディスプレイデバイスにより提示するべく、デコード済み動画フレームを送信するように構成されたディスプレイデバイスを更に備え得、動画デコーダは、エンコード済みビットストリームをデコードし、予測パーティションに対する予測誤差データに関連する複数の量子化済み変換係数、および予測パーティションに関連するモードを判断するように更に構成され、第１の修正済み予測基準映像は、モーフィング済み予測基準映像、合成済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像、超解像度予測基準映像、または投影軌道予測基準映像のうち少なくとも１つを含み、第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、第２の修正済み予測基準映像は、合成済み予測基準映像を含み、モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み、動きデータは、動きベクトルを含む。
更なる例において、少なくとも１つの機械可読媒体は、コンピューティングデバイス上で実行されることに応答して、コンピューティングデバイスに、上記の複数の例のうちいずれか１つによる方法を実行させる複数の命令を含み得る。
なおも更なる例において、装置は、上記複数の例のうちいずれか１つによる複数の方法を実行するための手段を備え得る。
上記複数の例は、複数の機能の特定の組み合わせを含み得る。しかし、そのような上記複数の例は、この点において限定される、様々な実装において、上記複数の例は、そのような複数の機能のサブセットのみを試み、そのような複数の機能の異なる順序を試み、そのような複数の機能の異なる組み合わせを試み、および／または明示的に列挙された複数の機能以外の追加の複数の機能を試みることを含み得る。例えば、例示的な複数の方法に関して説明される全ての機能は、例示的な装置、複数の例示的なシステム、および／または例示的な物品に関して実装され得、逆もまた同様である。

Claims (31)

  1. 動画符号化のためのコンピュータ実装された方法であって、
    第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、
    前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および前記第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、
    前記第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および前記第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成する段階と、
    前記第１の修正済み予測基準映像および前記第２の修正済み予測基準映像に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、
    前記動きデータ、前記第１の修正済み予測基準映像および前記第２の修正済み予測基準映像に基づいて、動き補償を実行し、前記予測パーティションに対する予測済みパーティションデータを生成する段階とを備え、
    前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、
    前記第２の修正済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含む、方法。
  2. 前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階と、
    更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む前記現在の映像の第３の予測パーティションに関連する第３の動きデータを生成する段階と、
    更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｆ／Ｂ映像を含む前記現在の映像の第４の予測パーティションに関連する第４の動きデータを生成する段階とを更に備える、請求項１に記載の方法。
  3. 動画符号化のためのコンピュータ実装された方法であって、
    第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、
    前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および前記第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、
    前記第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および前記第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成する段階と、
    前記第１の修正済み予測基準映像または前記第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、
    前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階と、
    更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む前記現在の映像の第３の予測パーティションに関連する第３の動きデータを生成する段階と、
    更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｆ／Ｂ映像を含む前記現在の映像の第４の予測パーティションに関連する第４の動きデータを生成する段階と、
    前記動きデータと、前記第１の修正済み予測基準映像もしくは前記第２の修正済み予測基準映像のうち少なくとも１つとに少なくとも部分的に基づいて、動き補償を実行し、前記予測パーティションに対する予測済みパーティションデータを生成する段階と
    を備え、
    前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、
    前記第２の修正済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含む、方法。
  4. 前記予測済みパーティションデータと、前記予測パーティションに関連する元の画素データとの差分を取り、予測誤差データパーティションを生成する段階と、
    前記予測誤差データパーティションを分割し、複数の符号化パーティションを生成する段階と、
    前記複数の符号化パーティションにフォワード変換を実行し、前記複数の符号化パーティションに関連する複数の変換係数を生成する段階と、
    前記複数の変換係数を量子化し、複数の量子化済み変換係数を生成する段階と、
    前記複数の量子化済み変換係数、前記複数の第１の修正特性パラメータ、前記複数の第２の修正特性パラメータ、前記動きデータ、および前記予測パーティションに関連するモードをエントロピエンコードしてビットストリームとする段階とを更に備える、請求項１から３のいずれか１項に記載の方法。
  5. 前記第１の修正済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含む、請求項１から４のいずれか１項に記載の方法。
  6. 前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像および将来のデコード済み予測基準映像のうち少なくとも１つを含む、請求項１から５のいずれか１項に記載の方法。
  7. 前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第３の修正済み予測基準映像、および前記第３の修正済み予測基準映像に関連する複数の第３の修正特性パラメータを生成する段階と、
    前記第３の修正済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階とを更に備える、請求項１から６のいずれか１項に記載の方法。
  8. 前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第３の修正済み予測基準映像、および前記第３の修正済み予測基準映像に関連する第３の修正特性パラメータを生成する段階と、
    前記第３の修正済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階とを更に備え、
    前記第１の修正済み予測基準映像は、利得修正済み予測基準映像を含み、前記第２の修正済み予測基準映像は、ぼかし修正済み予測基準映像を含み、前記第３の修正済み予測基準映像は、超解像度予測基準映像を含む、請求項１から６のいずれか１項に記載の方法。
  9. 前記第２の修正済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
    前記第２の動きデータおよび前記第２の修正済み予測基準映像に少なくとも部分的に基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階とを更に備え、
    前記動きデータを生成する段階は、前記第１の修正済み予測基準映像に少なくとも部分的に基づいて、前記動きデータを生成する段階を有し、
    前記動き補償を実行する段階は、前記第１の修正済み予測基準映像に少なくとも部分的に基づいて、前記動き補償を実行する段階を有し、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせる段階は、前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを平均する段階を有する、請求項１から８のいずれか１項に記載の方法。
  10. 前記第２の修正済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
    前記第２の動きデータおよび前記第２の修正済み予測基準映像に少なくとも部分的に基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階と、
    前記予測済みパーティションデータまたは最終予測済みパーティションと、前記予測パーティションに関連する元の画素データとの差分を取り、予測誤差データパーティションを生成する段階と、
    前記予測誤差データパーティションを分割し、複数の符号化パーティションを生成する段階と、
    前記複数の符号化パーティションにフォワード変換を実行し、前記複数の符号化パーティションに関連する複数の変換係数を生成する段階と、
    前記複数の変換係数を量子化し、複数の量子化済み変換係数を生成する段階と、
    前記複数の量子化済み変換係数、前記複数の第１の修正特性パラメータ、前記複数の第２の修正特性パラメータ、前記動きデータ、および前記予測パーティションに関連するモードをエントロピエンコードしてビットストリームとする段階と、
    前記ビットストリームを送信する段階と、
    前記ビットストリームを受信する段階と、
    前記ビットストリームをエントロピデコードし、前記複数の量子化済み変換係数、前記複数の第１の修正特性パラメータ、前記複数の第２の修正特性パラメータ、前記動きデータ、および前記予測パーティションに関連するモードを判断する段階と、
    前記複数の量子化済み変換係数に少なくとも部分的に基づいて逆量子化を実行し、複数のデコード済み変換係数を生成する段階と、
    前記複数のデコード済み変換係数に少なくとも部分的に基づいて、逆変換を実行し、複数のデコード済み符号化パーティションを生成する段階と、
    前記複数のデコード済み符号化パーティションをアセンブルし、デコード済み予測誤差データパーティションを生成する段階と、
    第３のデコード済み予測基準映像および第４のデコード済み予測基準映像を生成する段階と、
    前記複数の第１の修正特性パラメータに少なくとも部分的に基づいて、第３の修正済み予測基準映像の少なくとも一部を生成する段階と、
    関連する前記複数の第２の修正特性パラメータに少なくとも部分的に基づいて、第４の修正済み予測基準映像の少なくとも一部を生成する段階と、
    前記動きデータ、および前記第３の修正済み予測基準映像の前記一部もしくは前記第４の修正済み予測基準映像の前記一部のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、デコードされた予測済みパーティションデータを生成する段階と、
    前記デコードされた予測済みパーティションデータを前記デコード済み予測誤差データパーティションに加算し、第１の再構成済み予測パーティションを生成する段階と、
    前記第１の再構成済み予測パーティションおよび第２の再構成済み予測パーティションをアセンブルし、第１のタイルまたは第１のスーパフラグメントのうち少なくとも１つを生成する段階と、
    デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つを、前記第１のタイルまたは前記第１のスーパフラグメントに適用し、第１の最終デコード済みタイルまたはスーパフラグメントを生成する段階と、
    前記第１の最終デコード済みタイルもしくはスーパフラグメント、および、第２の最終デコード済みタイルもしくはスーパフラグメントをアセンブルし、デコード済み動画フレームを生成する段階と、
    ディスプレイデバイスにより提示するべく、前記デコード済み動画フレームを送信する段階と、
    前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階と、
    更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む前記現在の映像の第３の予測パーティションに関連する第３の動きデータを生成する段階と、
    更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｆ／Ｂ映像を含む前記現在の映像の第４の予測パーティションに関連する第４の動きデータを生成する段階とを更に備え、
    前記動きデータを生成する段階は、前記第１の修正済み予測基準映像に少なくとも部分的に基づいて、前記動きデータを生成する段階を有し、
    前記動き補償を実行する段階は、前記第１の修正済み予測基準映像に少なくとも部分的に基づいて、前記動き補償を実行する段階を有し、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせる段階は、前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを平均する段階を有し、
    前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像、のうち少なくとも１つを含み、
    前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、
    前記モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、
    前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み、
    前記動きデータは、動きベクトルを含む、請求項１から９のいずれか１項に記載の方法。
  11. 動画符号化のためのコンピュータ実装された方法であって、
    デコード済み予測基準映像を生成する段階と、
    前記デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータを生成する段階と、
    前記デコード済み予測基準映像および前記複数の修正特性パラメータに基づいて生成された修正済み基準パーティションに基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、
    前記動きデータおよび前記修正済み基準パーティションに基づいて、動き補償を実行し、前記予測パーティションに対する予測済みパーティションデータを生成する段階と、
    前記デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、
    前記デコード済み予測基準映像および前記複数の第２の修正特性パラメータに基づいて生成された第２の修正済み基準パーティションに基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
    前記動きデータおよび前記第２の修正済み基準パーティションに基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階と
    を備え、
    前記複数の修正特性パラメータは、複数のモーフィング特性パラメータを含み、
    前記複数の第２の修正特性パラメータは、複数の超解像度特性パラメータまたは複数の投影軌道特性パラメータのうち少なくとも１つを含む、方法。
  12. 前記複数の修正特性パラメータは、複数の利得特性パラメータ、複数のぼかし特性パラメータ、複数の主要な動き特性パラメータ、または複数のレジストレーション特性パラメータのうち少なくとも１つを含む、請求項１１に記載の方法。
  13. 前記デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、
    前記デコード済み予測基準映像および前記複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
    前記動きデータおよび前記第２の修正済み基準パーティションに少なくとも部分的に基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータ生成する段階と、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階とを更に備える、請求項１１または１２に記載の方法。
  14. 前記デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、
    前記デコード済み予測基準映像および前記複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
    前記動きデータおよび前記第２の修正済み基準パーティションに少なくとも部分的に基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを平均し、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階とを更に備える、請求項１１から１３のいずれか１項に記載の方法。
  15. 前記デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、
    前記デコード済み予測基準映像および前記複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
    前記動きデータおよび前記第２の修正済み基準パーティションに少なくとも部分的に基づいて第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階とを更に備え、
    前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせる段階は、前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを平均する段階を有し、
    前記複数の修正特性パラメータは、複数のモーフィング特性パラメータ、複数の利得特性パラメータ、複数のぼかし特性パラメータ、複数の主要な動き特性パラメータ、または複数のレジストレーション特性パラメータのうち少なくとも１つを含み、
    前記複数の第２の修正特性パラメータは、複数の超解像度特性パラメータ、または複数の投影軌道特性パラメータのうち少なくとも１つを含む、請求項１１から１４のいずれか１項に記載の方法。
  16. 画像バッファと、
    モーフィング解析器および生成論理回路、合成解析器および生成論理回路、動き評価器論理回路、および特性および動き補償済みフィルタリング予測器論理回路を有するグラフィックス処理ユニットとを備え、
    前記グラフィックス処理ユニットは、前記画像バッファに通信可能に結合され、
    前記モーフィング解析器および生成論理回路は、
    第１のデコード済み予測基準映像を受信し、
    前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、モーフィング済み予測基準映像、および前記モーフィング済み予測基準映像に関連する複数のモーフィング特性パラメータを生成し、
    前記合成解析器および生成論理回路は、
    第２のデコード済み予測基準映像を受信し、
    前記第２のデコード済み予測基準映像に少なくとも部分的に基づいて、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つと、前記超解像度予測基準映像に関連する複数の超解像度特性パラメータまたは前記投影軌道予測基準映像に関連する複数の投影軌道特性パラメータのうち少なくとも１つとを生成し、
    前記動き評価器論理回路は、
    前記モーフィング済み予測基準映像と、前記超解像度予測基準映像または前記投影軌道予測基準映像のうち少なくとも１つとに基づいて、現在の映像の予測パーティションに関連する動きデータを生成し、
    前記特性および動き補償済みフィルタリング予測器論理回路は、
    前記モーフィング済み予測基準映像と、前記超解像度予測基準映像または前記投影軌道予測基準映像のうち少なくとも１つと、前記動きデータとに基づいて、動き補償を実行し、前記予測パーティションに対する予測済みパーティションデータを生成する、動画エンコーダ。
  17. 前記動き評価器論理回路は、更に、
    前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成し、
    更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む前記現在の映像の第３の予測パーティションに関連する第３の動きデータを生成し、
    更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｆ／Ｂ映像を含む前記現在の映像の第４の予測パーティションに関連する第４の動きデータを生成する、請求項１６に記載の動画エンコーダ。
  18. 画像バッファと、
    モーフィング解析器および生成論理回路、合成解析器および生成論理回路、動き評価器論理回路、および特性および動き補償済みフィルタリング予測器論理回路を有するグラフィックス処理ユニットとを備え、
    前記グラフィックス処理ユニットは、前記画像バッファに通信可能に結合され、
    前記モーフィング解析器および生成論理回路は、
    第１のデコード済み予測基準映像を受信し、
    前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、モーフィング済み予測基準映像、および前記モーフィング済み予測基準映像に関連する複数のモーフィング特性パラメータを生成し、
    前記合成解析器および生成論理回路は、
    第２のデコード済み予測基準映像を受信し、
    前記第２のデコード済み予測基準映像に少なくとも部分的に基づいて、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つと、前記超解像度予測基準映像に関連する複数の超解像度特性パラメータまたは前記投影軌道予測基準映像に関連する複数の投影軌道特性パラメータのうち少なくとも１つとを生成し、
    前記動き評価器論理回路は、
    前記モーフィング済み予測基準映像、もしくは、前記超解像度予測基準映像または前記投影軌道予測基準映像のうち少なくとも１つのうちの一方に少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成し、
    前記特性および動き補償済みフィルタリング予測器論理回路は、
    前記モーフィング済み予測基準映像、もしくは、前記超解像度予測基準映像または前記投影軌道予測基準映像のうち少なくとも１つのうちの一方と、前記動きデータとに少なくとも部分的に基づいて、動き補償を実行し、前記予測パーティションに対する予測済みパーティションデータを生成し、
    前記動き評価器論理回路は、更に、
    前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成し、
    更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む前記現在の映像の第３の予測パーティションに関連する第３の動きデータを生成し、
    更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｆ／Ｂ映像を含む前記現在の映像の第４の予測パーティションに関連する第４の動きデータを生成する、動画エンコーダ。
  19. 前記モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含む、請求項１６から１８のいずれか１項に記載の動画エンコーダ。
  20. 前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含む、請求項１６から１９のいずれか１項に記載の動画エンコーダ。
  21. 前記動き評価器論理回路は、更に、
    前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する、請求項１６に記載の動画エンコーダ。
  22. 前記グラフィックス処理ユニットは、
    予測パーティションデータと、前記予測パーティションに関連する元の画素データとの差異を取り、予測誤差データパーティションを生成する差分器と、
    前記予測誤差データパーティションを分割し、複数の符号化パーティションを生成する符号化パーティション論理回路と、
    前記複数の符号化パーティションにフォワード変換を実行し、前記複数の符号化パーティションに関連する複数の変換係数を生成する適応変換論理回路と、
    前記複数の変換係数を量子化し、複数の量子化済み変換係数を生成する適応量子化論理回路と、
    前記複数の量子化済み変換係数、前記複数のモーフィング特性パラメータ、前記複数の超解像度特性パラメータまたは前記複数の投影軌道特性パラメータのうち少なくとも１つ、前記動きデータ、および前記予測パーティションに関連するモードをエントロピエンコードし、ビットストリームとする適応エントロピエンコーダ論理回路とを更に有する、請求項１６から２１のいずれか１項に記載の動画エンコーダ。
  23. 前記グラフィックス処理ユニットは、
    前記予測済みパーティションデータと、前記予測パーティションに関連する元の画素データとの差異を取り、予測誤差データパーティションを生成する差分器と、
    前記予測誤差データパーティションを分割し、複数の符号化パーティションを生成する符号化パーティション論理回路と、
    前記複数の符号化パーティションにフォワード変換を実行し、前記複数の符号化パーティションに関連する複数の変換係数を生成する適応変換論理回路と、
    前記複数の変換係数を量子化し、複数の量子化済み変換係数を生成する適応量子化論理回路と、
    前記複数の量子化済み変換係数、前記複数のモーフィング特性パラメータ、前記複数の超解像度特性パラメータまたは前記複数の投影軌道特性パラメータのうち少なくとも１つ、前記動きデータ、および前記予測パーティションに関連するモードをエントロピエンコードしてビットストリームとし、前記ビットストリームを送信する適応エントロピエンコーダ論理回路とを更に有し、
    前記動き評価器論理回路は、更に、
    前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成し、
    更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む前記現在の映像の第３の予測パーティションに関連する第３の動きデータを生成し、
    更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｆ／Ｂ映像を含む前記現在の映像の第４の予測パーティションに関連する第４の動きデータを生成し、
    前記モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、
    前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含む、請求項１６から２２のいずれか１項に記載の動画エンコーダ。
  24. エンコード済みビットストリームをデコードする動画デコーダを備え、
    前記動画デコーダは、
    前記エンコード済みビットストリームをデコードし、複数の第１の修正済み映像特性パラメータ、複数の第２の修正済み映像特性パラメータ、および予測パーティションに関連する動きデータを判断し、
    第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成し、
    前記第１のデコード済み予測基準映像および前記複数の第１の修正済み映像特性パラメータに基づいて、第１の修正済み予測基準映像の少なくとも一部を生成し、
    前記第２のデコード済み予測基準映像および前記複数の第２の修正済み映像特性パラメータに基づいて、第２の修正済み予測基準映像の少なくとも一部を生成し、
    前記動きデータ、前記第１の修正済み予測基準映像の前記一部および前記第２の修正済み予測基準映像の前記一部に基づいて動き補償を実行し、前記予測パーティションに関連するデコードされた予測済みパーティションデータを生成し、
    前記デコードされた予測済みパーティションデータを、デコード済み予測パーティション誤差データに加算し、第１の再構成済み予測パーティションを生成し、
    前記第１の再構成済みパーティションおよび第２の再構成済みパーティションをアセンブルし、タイルまたはスーパフラグメントのうち少なくとも１つを生成し、
    前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、
    前記第２の修正済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含む、デコーダシステム。
  25. 前記動画デコーダに通信可能に結合され、動画データの前記エンコード済みビットストリームを受信するアンテナと、
    複数の動画フレームを提示するディスプレイデバイスとを更に備える、請求項２４に記載のデコーダシステム。
  26. 前記第１の修正済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、前記第２の修正済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含む、請求項２４または２５に記載のデコーダシステム。
  27. 前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含む、請求項２４から２６のいずれか１項に記載のデコーダシステム。
  28. 前記動画デコーダに通信可能に結合され、動画データの前記エンコード済みビットストリームを受信するアンテナと、
    複数の動画フレームを提示するディスプレイデバイスとを更に備え、
    前記動画デコーダは、更に
    前記エンコード済みビットストリームをデコードし、前記予測パーティションに対する予測誤差データに関連する複数の量子化済み変換係数および前記予測パーティションに関連するモードを判断し、
    前記複数の量子化済み変換係数に少なくとも部分的に基づいて逆量子化を実行し、複数のデコード済み変換係数を生成し、
    前記複数のデコード済み変換係数に少なくとも部分的に基づいて、逆変換を実行し、複数のデコード済み符号化パーティションを生成し、
    前記複数のデコード済み符号化パーティションをアセンブルし、前記予測パーティションに関連する前記デコード済み予測パーティション誤差データを生成し、
    デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つを、前記タイルまたは第１の前記スーパフラグメントに適用し、第１の最終デコード済みタイルまたはスーパフラグメントを生成し、
    前記第１の最終デコード済みタイルまたはスーパフラグメント、および第２の最終デコード済みタイルまたはスーパフラグメントをアセンブルし、デコード済み動画フレームを生成し、
    ディスプレイデバイスにより提示するべく、前記デコード済み動画フレームを送信し、
    前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、
    前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、
    前記モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、
    前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み、
    前記動きデータは、動きベクトルを含む、請求項２４から２７のいずれか１項に記載のデコーダシステム。
  29. コンピュータに、請求項１から１０のいずれか１項に記載の複数の方法における手順を実行させる、プログラム。
  30. 請求項２９に記載のプログラムを格納するコンピュータ可読記録媒体。
  31. 請求項１から１０のいずれか１項に記載の複数の方法を実行するための手段を備える、装置。
JP2015542034A 2012-11-13 2013-11-13 次世代動画用コンテンツに適応的な特性補償済み予測 Active JP6120390B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261725576P 2012-11-13 2012-11-13
US61/725,576 2012-11-13
US201361758314P 2013-01-30 2013-01-30
US61/758,314 2013-01-30
PCT/US2013/069905 WO2014078422A1 (en) 2012-11-13 2013-11-13 Content adaptive, characteristics compensated prediction for next generation video

Publications (2)

Publication Number Publication Date
JP2016502332A JP2016502332A (ja) 2016-01-21
JP6120390B2 true JP6120390B2 (ja) 2017-04-26

Family

ID=50731602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015542034A Active JP6120390B2 (ja) 2012-11-13 2013-11-13 次世代動画用コンテンツに適応的な特性補償済み予測

Country Status (7)

Country Link
US (9) US9819965B2 (ja)
EP (2) EP2920962A4 (ja)
JP (1) JP6120390B2 (ja)
KR (1) KR20150056811A (ja)
CN (2) CN104704827B (ja)
TW (1) TWI572196B (ja)
WO (4) WO2014078068A1 (ja)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2320659B1 (en) * 2002-08-08 2014-10-01 Panasonic Intellectual Property Corporation of America Moving picture encoding method and decoding method
WO2013067435A1 (en) * 2011-11-04 2013-05-10 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
CN104604225B (zh) 2012-09-10 2018-01-26 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
WO2014120368A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
EP3562170A1 (en) 2013-07-29 2019-10-30 Koninklijke KPN N.V. Providing tile video streams to a client
WO2015059876A1 (ja) * 2013-10-22 2015-04-30 日本電気株式会社 ブロック構造決定回路およびブロック構造決定方法
GB2525208B (en) * 2014-04-15 2020-04-08 Advanced Risc Mach Ltd Method of and apparatus for generating an encoded frame
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
US10080028B2 (en) 2014-11-26 2018-09-18 Samsung Display Co., Ltd. System and method of compensating for image compression errors
US10382795B2 (en) 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
WO2016190690A1 (ko) * 2015-05-26 2016-12-01 엘지전자(주) 적응적인 분리가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
CN108141606B (zh) * 2015-07-31 2022-03-01 港大科桥有限公司 用于全局运动估计和补偿的方法和系统
CN107925758B (zh) 2015-08-04 2022-01-25 Lg 电子株式会社 视频编译系统中的帧间预测方法和设备
EP3334158A4 (en) * 2015-08-07 2019-03-20 LG Electronics Inc. METHOD AND DEVICE FOR INTERPRETING IN A VIDEO CODING SYSTEM
WO2017029400A1 (en) * 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
CN108965869B (zh) 2015-08-29 2023-09-12 华为技术有限公司 图像预测的方法及设备
MX2018002209A (es) 2015-09-01 2018-03-23 Ericsson Telefon Ab L M Mejora espacial de bloques de transformacion.
US10277905B2 (en) * 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US10659779B2 (en) 2015-09-30 2020-05-19 Realnetworks, Inc. Layered deblocking filtering in video processing systems and methods
US10674185B2 (en) 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
US10404996B1 (en) * 2015-10-13 2019-09-03 Marvell International Ltd. Systems and methods for using multiple frames to adjust local and global motion in an image
US10602141B2 (en) * 2015-10-16 2020-03-24 Lg Electronics Inc. Filtering method and apparatus for improving prediction in image coding system
CN106658019B (zh) * 2015-10-31 2019-11-12 华为技术有限公司 参考帧编解码的方法与装置
EP3371974B1 (en) * 2015-11-06 2024-05-01 Microsoft Technology Licensing, LLC Flexible reference picture management for video encoding
CA3005417A1 (en) * 2015-11-17 2017-05-26 Huawei Technologies Co., Ltd. Method and apparatus for video coding
CN105516726B (zh) * 2015-11-27 2019-04-09 传线网络科技（上海）有限公司 视频编码的运动补偿匹配方法和系统
US9955176B2 (en) 2015-11-30 2018-04-24 Intel Corporation Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
US10602187B2 (en) 2015-11-30 2020-03-24 Intel Corporation Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
US20180359494A1 (en) * 2015-12-31 2018-12-13 Mediatek Inc. Method and apparatus of prediction binary tree structure for video and image coding
US10560702B2 (en) 2016-01-22 2020-02-11 Intel Corporation Transform unit size determination for video coding
US10469841B2 (en) 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
US10306258B2 (en) * 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
US20190068989A1 (en) * 2016-02-25 2019-02-28 Kt Corporation Video signal processing method and device
CN116506602A (zh) 2016-03-11 2023-07-28 数字洞察力有限公司 视频编码方法以及装置
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
EP3432578A4 (en) 2016-03-24 2019-11-20 LG Electronics Inc. METHOD AND APPARATUS FOR INTER-PREDICTION IN A VIDEO CODING SYSTEM
US11095898B2 (en) 2016-03-28 2021-08-17 Lg Electronics Inc. Inter-prediction mode based image processing method, and apparatus therefor
CN113411580B (zh) * 2016-05-13 2024-01-30 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
KR102445668B1 (ko) * 2016-06-01 2022-09-21 삼성전자주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
CN116743991A (zh) 2016-08-03 2023-09-12 株式会社Kt 视频解码方法、视频编码方法和视频数据的传送方法
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
US10026153B2 (en) * 2016-09-15 2018-07-17 Intel Corporation Varying image quality rendering in a sort middle architecture
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
KR102480350B1 (ko) * 2016-10-14 2022-12-23 세종대학교산학협력단 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
CN116489404A (zh) 2016-10-14 2023-07-25 世宗大学校产学协力团 影像解码/编码方法、传送比特流的方法及记录介质
US11057624B2 (en) 2016-10-14 2021-07-06 Industry Academy Cooperation Foundation Of Sejong University Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
CN107959855B (zh) * 2016-10-16 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
KR20180043151A (ko) 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
KR20180045530A (ko) 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
GB2557622A (en) * 2016-12-12 2018-06-27 V Nova Int Ltd Motion compensation techniques for video
AU2017377490B2 (en) 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
CN115802033A (zh) * 2016-12-23 2023-03-14 华为技术有限公司 一种用于处理矩形视频编码块的比特流的系统及方法
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
WO2018128379A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
US10225573B1 (en) * 2017-01-31 2019-03-05 Google Llc Video coding using parameterized motion models
WO2018141416A1 (en) 2017-02-06 2018-08-09 Huawei Technologies Co., Ltd. Video encoder and decoder for predictive partitioning
US11259046B2 (en) * 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11150943B2 (en) * 2017-04-10 2021-10-19 Intel Corporation Enabling a single context hardware system to operate as a multi-context system
EP3613015A4 (en) 2017-04-21 2021-02-24 Zenimax Media Inc. SYSTEMS AND PROCEDURES FOR TOY GENERATED MOTION VECTORS
GB2576286B (en) 2017-04-21 2022-09-07 Zenimax Media Inc Systems and methods for deferred post-processes in video encoding
CN117014632A (zh) * 2017-04-27 2023-11-07 松下电器（美国）知识产权公司 解码装置、编码装置以及非暂时性记录介质
WO2018221554A1 (ja) * 2017-06-01 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置及び復号方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11272207B2 (en) * 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
CN112601084A (zh) 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10547839B2 (en) * 2017-07-17 2020-01-28 Intel Corporation Block level rate distortion optimized quantization
CN114554221B (zh) 2017-07-19 2023-08-01 三星电子株式会社 编码方法及用于其的设备、解码方法及用于其的设备
US10762691B2 (en) 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
US10623744B2 (en) * 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
US10582212B2 (en) * 2017-10-07 2020-03-03 Google Llc Warped reference motion vectors for video compression
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US20190116359A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Guided filter for video coding and processing
EP3704857A1 (en) * 2017-11-01 2020-09-09 VID SCALE, Inc. Overlapped block motion compensation
US10681374B2 (en) * 2017-11-16 2020-06-09 Google Llc Diversified motion using multiple global motion models
CN111615828B (zh) 2017-11-29 2023-01-10 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
US20190313107A1 (en) * 2018-03-15 2019-10-10 University-Industry Cooperation Group Of Kyung Hee University Image encoding/decoding method and apparatus
WO2019192491A1 (en) * 2018-04-02 2019-10-10 Mediatek Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
CN108600759B (zh) * 2018-04-16 2021-11-12 北京工业大学 基于非均衡四叉树的3d-hevc快速转码方法
EP4329307A3 (en) * 2018-05-29 2024-03-27 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding with partially shared luma and chroma coding trees
US10880554B2 (en) * 2018-06-06 2020-12-29 Alibaba Group Holding Limited Bit stream management in video communication
US11051025B2 (en) * 2018-07-13 2021-06-29 Tencent America LLC Method and apparatus for video coding
US10674151B2 (en) * 2018-07-30 2020-06-02 Intel Corporation Adaptive in-loop filtering for video coding
TWI695326B (zh) * 2018-08-07 2020-06-01 晶睿通訊股份有限公司 物件屬性分析方法及其相關物件屬性分析裝置
EP3611468A1 (en) * 2018-08-17 2020-02-19 Ordnance Survey Limited Vector tile pyramiding
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
US11763467B2 (en) 2018-09-28 2023-09-19 Intel Corporation Multi-cam ball location method and apparatus
CN113170184A (zh) 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 默认运动候选的配置方法
WO2020122573A1 (ko) * 2018-12-13 2020-06-18 에스케이텔레콤 주식회사 필터링 방법 및 영상 복호화 장치
KR20200073124A (ko) * 2018-12-13 2020-06-23 에스케이텔레콤 주식회사 필터링 방법 및 영상 복호화 장치
GB2580084B (en) * 2018-12-20 2022-12-28 Canon Kk Video coding and decoding
US20220078457A1 (en) * 2019-01-02 2022-03-10 Realnetworks, Inc. Systems, methods, and articles for adaptive lossy decoding
US10887262B1 (en) * 2019-01-25 2021-01-05 Twitter, Inc. Visibility filtering
CA3132582A1 (en) * 2019-03-07 2020-09-10 Digitalinsights Inc. Image encoding/decoding method and apparatus
US11889085B2 (en) * 2019-03-08 2024-01-30 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing encoding/decoding of dependent/independent partitions and related devices
WO2020182207A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Partitions on sub-block transform mode
CN110113603A (zh) * 2019-04-22 2019-08-09 屠晓 高清视频处理终端
JP2022529737A (ja) * 2019-04-25 2022-06-23 オーピー ソリューションズ， エルエルシー 大域的運動を伴うフレームにおける適応型運動ベクトル予測候補
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN110234013B (zh) * 2019-06-20 2022-04-26 电子科技大学 一种帧级运动矢量精度比特分配的优化方法
BR112022002204A2 (pt) 2019-08-06 2022-10-18 Op Solutions Llc Redimensionamento de previsão de gerenciamento de resolução adaptativa
KR20220090493A (ko) 2019-08-06 2022-06-29 오피 솔루션즈, 엘엘씨 블록-기반 적응적 해상도 관리
JP2022544164A (ja) 2019-08-06 2022-10-17 オーピー ソリューションズ， エルエルシー フレームタイプに基づく適応分解能管理の暗示的信号伝達
WO2021026363A1 (en) * 2019-08-06 2021-02-11 Op Solutions, Llc Implicit signaling of adaptive resolution management based on frame type
KR20210020387A (ko) 2019-08-14 2021-02-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US11095901B2 (en) * 2019-09-23 2021-08-17 International Business Machines Corporation Object manipulation video conference compression
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
BR112022008918A2 (pt) 2019-11-08 2022-08-02 Op Solutions Llc Métodos e sistemas para corte adaptável
US20240129468A1 (en) * 2021-02-12 2024-04-18 Google Llc Parameterized noise synthesis for graphical artifact removal
CN113382237B (zh) * 2021-06-08 2022-11-04 北京杰瑞创通科技有限公司 实时视频传输的自适应动态抗网络丢包智能信源解码方法
US20240022709A1 (en) * 2022-07-13 2024-01-18 Tencent America LLC Improvements on model storage for warp extend and warp delta modes
CN115361582B (zh) * 2022-07-19 2023-04-25 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质
US20240048730A1 (en) * 2022-07-26 2024-02-08 Tencent America LLC Method and apparatus for improved warp delta signaling

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US45305A (en) * 1864-11-29 Improvement in water-wheels
US4736448A (en) * 1984-03-31 1988-04-05 Kabushiki Kaisha Toshiba Spatial filter
KR0151011B1 (ko) 1994-11-30 1998-10-01 김광호 바이폴라 트랜지스터 및 그 제조방법
DE69619002T2 (de) * 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
US5729691A (en) 1995-09-29 1998-03-17 Intel Corporation Two-stage transform for video signals
JP3929492B2 (ja) 1995-10-25 2007-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化画像符号化方法及びシステム並びにその復号化方法及びシステム
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6895051B2 (en) 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
US6643387B1 (en) 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
GB9916819D0 (en) * 1999-07-20 1999-09-22 Telemedia Systems Ltd Method of and apparatus for digital data storage
TW589870B (en) * 2000-12-19 2004-06-01 Pts Corp Adaptive transforms
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
TR201802625T4 (tr) 2001-11-06 2018-03-21 Panasonic Ip Corp America Hareketli resim kodlama usulü ve hareketli resim kod çözme usulü.
JP2007049741A (ja) 2001-11-30 2007-02-22 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US8175159B2 (en) * 2002-01-24 2012-05-08 Hitachi, Ltd. Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
HUE045566T2 (hu) 2002-04-19 2020-01-28 Panasonic Ip Corp America Mozgásvektor-számítási eljárás
KR100973216B1 (ko) * 2002-04-23 2010-07-30 노키아 코포레이션 비디오 부호화 시스템에서 양자화 변수들을 표시하는 방법 및 장치
US7609767B2 (en) * 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US20050094729A1 (en) 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
JP2005223631A (ja) 2004-02-05 2005-08-18 Sony Corp データ処理装置およびその方法と符号化装置および復号装置
EP1605403A1 (en) * 2004-06-08 2005-12-14 STMicroelectronics S.r.l. Filtering of noisy images
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
EP1675402A1 (en) 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
US7675573B2 (en) * 2005-02-18 2010-03-09 Genesis Microchip Inc. Global motion adaptive system with motion values correction with respect to luminance level
US8948246B2 (en) * 2005-04-11 2015-02-03 Broadcom Corporation Method and system for spatial prediction in a video encoder
US7397933B2 (en) * 2005-05-27 2008-07-08 Microsoft Corporation Collusion resistant desynchronization for digital video fingerprinting
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
WO2007011851A2 (en) * 2005-07-15 2007-01-25 Texas Instruments Incorporated Filtered and warped motion compensation
CN101263513A (zh) 2005-07-15 2008-09-10 德克萨斯仪器股份有限公司 过滤和扭曲的运动补偿
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
RU2369038C1 (ru) 2005-11-30 2009-09-27 Кабусики Кайся Тосиба Способ кодирования изображения/декодирования изображения, устройство кодирования изображения/декодирования изображения
JP4820191B2 (ja) 2006-03-15 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
CN101491095B (zh) 2006-03-30 2013-07-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
BRPI0715770B1 (pt) 2006-08-25 2020-03-10 Interdigital Vc Holdings, Inc. Método, aparelho e mídia de armazenamento para particionamento com menor resolução
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US20100040146A1 (en) 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
US9319700B2 (en) * 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
WO2008057308A2 (en) 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US7460725B2 (en) 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
EP1926321A1 (en) 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
KR101366242B1 (ko) * 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
GB0716158D0 (en) 2007-08-17 2007-09-26 Imagination Tech Ltd Data compression
ES2634162T3 (es) * 2007-10-25 2017-09-26 Nippon Telegraph And Telephone Corporation Método de codificación escalable de vídeo y métodos de decodificación que utilizan predicción ponderada, dispositivos para ello, programas para ello, y medio de grabación donde se graba el programa
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
JP4309453B2 (ja) * 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
US20090167775A1 (en) 2007-12-30 2009-07-02 Ning Lu Motion estimation compatible with multiple standards
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8254469B2 (en) * 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
TWI359617B (en) 2008-07-03 2012-03-01 Univ Nat Taiwan Low-complexity and high-quality error concealment
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US9237327B2 (en) * 2008-09-23 2016-01-12 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
US20100086048A1 (en) * 2008-10-03 2010-04-08 Faisal Ishtiaq System and Method for Video Image Processing
KR101441903B1 (ko) 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP4427600B1 (ja) 2008-11-28 2010-03-10 株式会社東芝 映像解析装置およびプログラム
DK2371138T3 (da) * 2008-12-25 2012-12-17 Dolby Lab Licensing Corp Rekonstruktion af de-interleaved billeder ved anvendelse af adaptiv interpolation baseret på disparitet mellem billederne til op-sampling
TWI498003B (zh) 2009-02-02 2015-08-21 Thomson Licensing 代表一序列圖像的碼式資料連流之解碼方法和一序列圖像之寫碼方法及碼式圖像資料結構
TWI440363B (zh) * 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
WO2010128420A2 (en) * 2009-05-04 2010-11-11 Novelsat Ltd Front-end for satellite communication
JP5263967B2 (ja) * 2009-06-10 2013-08-14 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 動画ストリーム処理装置及び動画ストリーム処理プログラム
US8409038B2 (en) * 2009-07-17 2013-04-02 Macdougall & Sons Bat Company, Llc Baseball bat
WO2011016246A1 (ja) 2009-08-06 2011-02-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
CN102474568B (zh) * 2009-08-12 2015-07-29 英特尔公司 基于共同处理元件执行视频稳定化和检测视频镜头边界的技术
WO2011039931A1 (ja) 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
EP2494780B1 (en) 2009-10-29 2020-09-02 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for processing a video sequence
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US8559511B2 (en) * 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR20110112168A (ko) 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP2011223319A (ja) * 2010-04-09 2011-11-04 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8665959B2 (en) * 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
JP5856143B2 (ja) 2010-04-13 2016-02-09 ジーイー ビデオ コンプレッション エルエルシー 細分割を使用した２次元情報信号の空間的なサンプリングの符号化
WO2011127961A1 (en) 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus
JP2011237998A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
KR20110135787A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
WO2011158225A1 (en) 2010-06-17 2011-12-22 Mirtemis Ltd. System and method for enhancing images
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
JP5524762B2 (ja) * 2010-08-12 2014-06-18 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
JP5707412B2 (ja) * 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9462280B2 (en) 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
EP2663078A4 (en) 2011-01-07 2015-02-11 Samsung Electronics Co Ltd VIDEO PRESENTATION METHOD FOR CARRYING OUT BILATERAL PREDICTIONS AND UNILATERAL PREDICTIONS AND DEVICE THEREFOR, VIDEO CODING METHOD AND DEVICE THEREFOR AND VIDEO DECODING METHOD AND DEVICE THEREFOR
WO2012094750A1 (en) * 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using multiple filter shapes
US9602819B2 (en) 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US8982960B2 (en) * 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US8861593B2 (en) * 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
US9154799B2 (en) * 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
JP5552093B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5649523B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
NO335667B1 (no) 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
US8964833B2 (en) * 2011-07-19 2015-02-24 Qualcomm Incorporated Deblocking of non-square blocks for video coding
US20130039417A1 (en) * 2011-08-08 2013-02-14 General Instrument Corporation Residual tree structure of transform unit partitioning
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US9344743B2 (en) * 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
KR101362696B1 (ko) * 2011-10-19 2014-02-17 전북대학교산학협력단 하이브리드 아키텍쳐가 적용된 신호 변환 장치, 신호 변환 방법 및 기록매체
US9462298B2 (en) * 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
KR20130045425A (ko) 2011-10-25 2013-05-06 (주)케이테크 소셜 온톨로지 기반 지식 전문가 추천방법
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
KR20140098114A (ko) * 2011-11-07 2014-08-07 브이아이디 스케일, 인크. 홀수-짝수 정수 변환 백그라운드를 사용하는 비디오 및 데이터 처리
US9883198B2 (en) * 2012-11-13 2018-01-30 Intel Corporation Video codec architecture for next generation video
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9948939B2 (en) * 2012-12-07 2018-04-17 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding

Also Published As

Publication number Publication date
TW201545545A (zh) 2015-12-01
US20150281716A1 (en) 2015-10-01
US9894372B2 (en) 2018-02-13
US9819965B2 (en) 2017-11-14
CN104704827A (zh) 2015-06-10
US20140328400A1 (en) 2014-11-06
EP2920968A4 (en) 2016-07-20
US9942572B2 (en) 2018-04-10
US20140328387A1 (en) 2014-11-06
JP2016502332A (ja) 2016-01-21
US20140328414A1 (en) 2014-11-06
US9912958B2 (en) 2018-03-06
US20170013279A1 (en) 2017-01-12
WO2014078422A1 (en) 2014-05-22
US9762929B2 (en) 2017-09-12
TWI572196B (zh) 2017-02-21
CN104704827B (zh) 2019-04-12
EP2920962A1 (en) 2015-09-23
WO2015099816A1 (en) 2015-07-02
CN104854866B (zh) 2019-05-31
CN104854866A (zh) 2015-08-19
US20150010048A1 (en) 2015-01-08
EP2920962A4 (en) 2016-07-20
KR20150056811A (ko) 2015-05-27
US20140362911A1 (en) 2014-12-11
WO2015099823A1 (en) 2015-07-02
WO2014078068A1 (en) 2014-05-22
US20140362921A1 (en) 2014-12-11
US10182245B2 (en) 2019-01-15
EP2920968A1 (en) 2015-09-23
US20180205968A1 (en) 2018-07-19
US9800899B2 (en) 2017-10-24
US9716893B2 (en) 2017-07-25

Similar Documents

Publication Publication Date Title
JP6120390B2 (ja) 次世代動画用コンテンツに適応的な特性補償済み予測
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
US11223831B2 (en) Method and system of video coding using content based metadata
KR101789954B1 (ko) 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
US20210067785A1 (en) Video encoding rate control for intra and scene change frames using machine learning
US9532048B2 (en) Hierarchical motion estimation employing nonlinear scaling and adaptive source block size
US20180220129A1 (en) Motion, coding, and application aware temporal and spatial filtering for video pre-processing
WO2014088772A1 (en) Matched filtering of prediction and reconstruction signals for next generation video
CN110741640A (zh) 用于视频代码化中的运动补偿预测的光流估计
US10356417B2 (en) Method and system of video coding using projected motion vectors
EP3873094B1 (en) Reduction of visual artifacts in parallel video coding
WO2014093175A2 (en) Video coding including shared motion estimation between multiple independent coding streams
KR101425286B1 (ko) 모션 추정을 위한 완전한 서브 매크로블록 형상 후보 저장 및 복구 프로토콜
JP2016506165A (ja) インターレイヤの動きデータ継承
CN115623222A (zh) 多层视频编码的方法和系统
US20180131936A1 (en) Conversion buffer to decouple normative and implementation data path interleaving of video coefficients
JP2022097392A (ja) 密度と品質との間のより良好なトレードオフのためのハードウェアへのビデオ符号化プロセスのオフロード
US10869041B2 (en) Video cluster encoding for multiple resolutions and bitrates with performance and quality enhancements
US10687054B2 (en) Decoupled prediction and coding structure for video encoding
KR101777487B1 (ko) 코딩 단위 비트 수 제한
WO2022115113A1 (en) Determining adaptive quantization matrices using machine learning for video coding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170323

R150 Certificate of patent or registration of utility model

Ref document number: 6120390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250