JP6193370B2 - 適応差分領域空間および時間参照再構成およびスムージング - Google Patents

適応差分領域空間および時間参照再構成およびスムージング Download PDF

Info

Publication number
JP6193370B2
JP6193370B2 JP2015521692A JP2015521692A JP6193370B2 JP 6193370 B2 JP6193370 B2 JP 6193370B2 JP 2015521692 A JP2015521692 A JP 2015521692A JP 2015521692 A JP2015521692 A JP 2015521692A JP 6193370 B2 JP6193370 B2 JP 6193370B2
Authority
JP
Japan
Prior art keywords
video
unit
base layer
enhancement layer
video unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015521692A
Other languages
English (en)
Other versions
JP2015527812A (ja
JP2015527812A5 (ja
Inventor
ラパカ、クリシュナカンス
チェン、ジャンレ
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015527812A publication Critical patent/JP2015527812A/ja
Publication of JP2015527812A5 publication Critical patent/JP2015527812A5/ja
Application granted granted Critical
Publication of JP6193370B2 publication Critical patent/JP6193370B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[0001]本開示はビデオ符号化に関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、無線ブロードキャストシステム、個人用デジタル補助装置（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、ｅ−ブックリーダー、デジタルカメラ、デジタル録音デバイス、デジタル・メディア・プレーヤー、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、パート１０、先進ビデオ符号化（ＡＶＣ）、現在開発中の高機能ビデオ符号化（ＨＥＶＣ）標準、およびこういった標準の拡張によって定義される標準に記載される技術のようなビデオ符号化技術を実装する。ビデオデバイスは、こういったビデオ符号化技術を実装することによって、より効果的にデジタルビデオ情報を送信、受信、エンコード、デコード、および／または格納し得る。
[0003]ビデオ符号化技術は、ビデオシーケンスに内在する冗長性を低減するため、あるいは取り除くための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースでのビデオ符号化のために、ビデオスライス（例えば、ビデオフレームまたはビデオフレームの一部分）はビデオブロックに区分され得、それらは、ツリーブロック、符号化ユニット（ＣＵ）および／または符号化ノードとも称され得る。画像（ｐｉｃｔｕｒｅ）の画面内符号化（ｉｎｔｒａ−ｃｏｄｅｄ）された（Ｉ）スライス内のビデオブロックは、同じ画像における隣接するブロック内の参照用サンプルに関して空間予測を用いてエンコードされる。画像の画面間符号化（ｉｎｔｅｒ−ｃｏｄｅｄ）された（ＰまたはＢ）スライス内のビデオブロックは、同じ画像における隣接するブロック内の参照サンプルに関して空間予測あるいは他の参照画像内の参照サンプルに関して時間予測を用い得る。画像（ｐｉｃｔｕｒｅ）はフレームと称され得、および参照画像は参照フレームと称され得る。
[0004]空間または時間予測は、符号化されるブロックのための予測ブロックをもたらす。残りのデータは、符号化される元のブロックと予測ブロックの間の画素差を表す。画面間符号化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルにしたがってエンコードされ、残りのデータは、符号化されたブロックと予測ブロックの間の差分を示す。画面内符号化ブロックは、画面内符号化モードと残りのデータにしたがってエンコードされる。さらに圧縮のために、残りのデータは画素領域から変換領域に変換され得、次に量子化され得る残りの変形係数がもたらされる。２次元アレイに初めに配列されて量子化された変形係数は、変形係数の１次元ベクトルを生成するために走査され得、エントロピー符号化がさらに圧縮を実現するために適用され得る。
[0005]一般的に、本開示はスケーラブルビデオ符号化（ＳＶＣ）に関する技術を説明する。さらに具体的には、本開示の技術は差分領域符号化の際の画面内および画面間予測に関する。いくつかの例において、この技術は、差分領域に関する参照フレームを生成するために、拡張層からの参照フレームと再構成された基本層からの参照フレームに異なる重みを割り当て得る。いくつかの例において、この技術は、画面内予測（イントラ予測、ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）のために差分領域に関する空間隣接画素を生成するために、拡張層からの空間隣接画素と再構成された基本層からの空間隣接画素に異なる重みを割り当て得る。重み値をＥＬと再構成されたＢＬに割り当てることによって、この技術は同じ層にあるフレーム間の空間および時間の弱い相関関係および／またはＥＬおよびＢＬ間の弱い相関関係を構成し得る。例えば、ＥＬとＢＬは、それらが存在する画像の点では非常に異なり得る。こういった場合、ＥＬ参照フレームは、差分領域参照フレームを生成する際により多くの重みを付与され得る。あるいは、再構成されたＢＬ参照は、ＥＬ参照フレームの代わりにより多くの重みを付与され得る。
[0006]いくつかの例において、この技術はまた、差分領域内に存在する可能性のある高周波ノイズを低減するために、差分領域内の空間隣接画素にスムージングフィルタまたはローパスフィルタを、あるいは画面間予測（インター予測、ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）のための差分領域内の参照フレームにスムージングフィルタまたはローパスフィルタを適用し得る。この技術は、計算の複雑性を加えることなくテクスチャを保持するために、１：２：１のフィルタのような単純なスムージングフィルタを適用し得る。フィルタを適用する利益が付加的な計算の複雑さより勝る限りは、いずれかのスムージングフィルタが適用され得る。
[0007]特定の観点にしたがってビデオ情報を符号化するための装置は、メモリユニットと、メモリユニットと通信するプロセッサを含む。メモリユニットは、ビデオ情報の拡張層と対応する基本層の間の差分から抽出される画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納する。プロセッサは拡張層重みと基本層重みを決定し、および差分ビデオ層に基づく現在のビデオユニットの値と、拡張層重みによって重み付けられた拡張層におけるビデオユニットの値と、基本層重みによって重み付けられた基本層におけるビデオユニットの値を決定する。
[0008]特定の観点にしたがってビデオ情報を符号化するための装置は、メモリユニットと、メモリユニットと通信するプロセッサを含む。メモリユニットは、ビデオ情報の拡張層と対応する基本層の間の差分から抽出される画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納する。プロセッサは、差分ビデオ層における参照ビデオユニットまたは空間隣接ビデオユニットに基づくビデオユニットの値を決定し、およびスムージングフィルタを参照ビデオユニットまたは空間隣接ビデオユニットに適用する。
[0009]１つまたは複数の例の詳細は添付の図面と下記の記述において説明される。他の特徴、オブジェクト、および利点、記述、図面からおよび請求項から明白であるだろう。
[0010]図１は、本開示に記載の観点にしたがった技術を利用し得るビデオエンコーディングおよびデコーディングシステムの例を示すブロック図である。 [0011]図２は、本開示に記載された観点にしたがった技術を実施し得るビデオエンコーダの例を示すブロック図である。 [0012]図３は、本開示に記載された観点にしたがった技術を実施し得るビデオデコーダの例を示すブロック図である. [0013]図４は、本開示の観点にしたがった適応重み付け差分領域参照再構成(adaptive weighted difference domain reference reconstruction)を示す概念図である。 [0014]図４Ａは、本開示の観点にしたがった適応重み付け差分領域参照再構成を示す概念図である。 [0015]図５は、本開示の観点にしたがった差分領域参照のスムージングを示す概念図である。 [0016]図５Ａは、本開示の観点にしたがった差分領域参照のスムージングを示す概念図である。 [0017]図６は、本開示の観点にしたがった差分領域参照を適応的に生成するための方法の例を示すである。 [0018]図６Ａは、本開示の観点にしたがった差分領域参照を適応的に生成するための方法の例を示すフローチャートである。 [0019]図６Ｂは、本開示の観点にしたがった差分領域参照を適応的に生成するための方法の例を示すフローチャートである。 [0020]図７は、本開示の観点にしたがった差分領域参照をスムージングするための方法の例を示すフローチャートである。 [0021]図７Ａは、本開示の観点にしたがった差分領域参照をスムージングするための方法の例を示すフローチャートである。
詳細な説明
[0022]本開示に記載された技術は一般に、スケーラブルビデオ符号化（ＳＶＣ）に関する。例えば、この技術は、高機能ビデオ符号化（ＨＥＶＣ）スケーラブルビデオ符号化（ＳＶＣ）拡張に関し、およびそれと共にまたその中で用いられ得る。ＳＶＣ拡張内には、ビデオ情報の複数の層が存在し得る。最下位層は、基本層（ＢＬ）としての役割を果たし、および最上位層は、拡張層（ＥＬ）としての役割を果たし得る。「拡張された層」は、「拡張層」と称されることもあり、これらの用語は、置換可能に用いられ得る。中間の全ての層は、ＥＬまたはＢＬ、あるいはその両方としての役割を果たし得る。例えば、中間の層は、基本層または任意の介在する拡張層のようなそれより下の層にとってはＥＬであり得、同時に、それより上の拡張層にとってはＢＬとしての役割を果たす。
[0023]例示のみの目的のために、本開示に記載された技術は、２つの層のみ（例えば、基本層のようなより低位の層および拡張された層のようなより高位の層）を含む例を用いて記載される。本開示に記載された例は、複数の基本層と拡張層を同様に用いた例にも拡大適用され得ることが理解されるべきである。
[0024]ビデオ符号化標準は、ＩＴＵＴ−Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵＴ−Ｈ．２６２、またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵＴ−Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＶｉｓｕａｌおよびＩＴＵＴ−Ｈ．２６４（ＩＳＯ／ＩＥＣＭＰＥＧ−４ ＡＶＣとしても知られる）を含み、およびそのスケーラブルビデオ符号化（ＳＶＣ）を含み、マルチビュービデオ符号化（ＭＶＣ）拡張を含む。さらに、新しいビデオ符号化標準、すなわち高機能ビデオ符号化（ＨＥＶＣ）は、ＩＴＵ−Ｔビデオ符号化専門家グループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ動画専門家グループ（ＭＰＥＧ）からなるビデオ符号化（ＪＣＴ−ＶＣ）に関するジョイントコラボレーションチームによって開発されている。ＨＥＶＣの最近のドラフトは、２０１２年６月７日から（１）ＨＰから入手可能となっている。「ＨＥＶＣの作業ドラフト７」と称されるＨＥＶＣ標準の別の最近のドラフトは、２０１２年６月７日から（２）ＨＰからダウンロード可能となっている。ＨＥＶＣの作業ドラフト７の完全版の出典は、ブロス氏、他による文献ＨＣＴＶＣ−Ｉ１００３、「高機能ビデオ符号化（ＨＥＶＣ）テキスト使用ドラフト７」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオ符号化（ＪＣＴ−ＶＣ）に関する共同協力チーム、２０１２年４月２７日から５月７日までスイスのジュネーブで開催された第９回会議である。これらの参照の各々は、その全体における参照によって組み込まれる。
[0025]スケーラブルビデオ符号化（ＳＶＣ）は、品質（信号対雑音（ＳＮＲ）とも称される）スケーリング、空間スケーリングおよび／または時間スケーリングを提供するために用いられ得る。拡張された層は、基本層とは異なる差分空間解像度を有し得る。例えば、ＥＬとＢＬの間の空間アスペクト比率は、１．０、１．５、２．０または他の異なる比率であり得る。換言すると、ＥＬの空間アスペクトはＢＬの空間アスペクトの１．０、１．５、２．０倍に等しい。いくつかの例において、ＥＬのスケーリング要素は、ＢＬよりも大きい可能性がある。例えば、ＥＬ内の画像のサイズは、ＢＬ内の画像のサイズより大きい可能性がある。このように、ＥＬの空間解像度がＢＬの空間解像度より大きい可能性はあり得るが、それに限定されることはない。
[0026]拡張層を符号化する際、画面間予測は、画素領域か、または差分領域を用いて実行され得る。画面間予測とは、時間の連続において、２つのフレームまたはスライス内のビデオブロック間の時間の相関関係に基づく予測である。例えば、符号化中の現在のビデオブロックの値は、予め符号化されたフレームまたはスライス内の参照ビデオブロックからの置換を示す動きベクトルを用いて予測され得る。ＳＶＣにおいて、ビデオ情報は、基本層および１つまたは複数の拡張層を用いてエンコードされ得、および画面間予測は、例えば、拡張層と再構成された基本層の間の差分を取得することによって差分領域内で実行され得る。差分領域は、拡張層内で再構成された画素から再構成された基本層の画素を差し引くことによって形成された差分画素のセットのことを指し得る。差分領域内の画面間予測は、フレーム間の時間の相関関係だけでなく基本層と拡張層の間の相関関係も利用し得る。同様に、画面内予測は、フレーム間の空間の相関関係だけでなく基本層と拡張層の間の相関関係も利用し得る。
[0027]しかし、差分領域内の差分画素は、例えば、基本層を再構成する場合の量子化からの損失に起因して、一般的に高周波成分であり得る。それ故に、参照フレームを用いる画面間予測と差分領域内の空間隣接画素を用いる画面内予測は、質の良い予測結果に到達し得ない。さらに、現在の予測ユニットの空間および時間の相関関係は、拡張層または再構成された基本層内でより強くなり得るか、またはその逆もあり得る。したがって、拡張層と再構成された基本層の特性によって、拡張層と再構成された基本層を重み付けすることによって、差分領域内の時間参照フレームと空間隣接画素を生成することが有益であろう。
[0028]さらに、上記で説明したとおり、差分領域は高周波成分を抱合する可能性があり、それは画面内または画面間予測に適さない。例えば、こういった高周波成分は、フレーム間の空間および時間の弱い相関関係から生じ得る。高周波成分はまた、拡張層と再構成された基本層が異なる量子化で動作しているか、またはそれらが差分空間解像度から成る場合の大きい量子化損失から生じる。例えば、拡張層と基本層は異なる量子化パラメータにおいて演算している可能性があり、それが高周波になる可能性のある拡張層と再構成された基本層の間の差分に至る可能性がある。したがって、差分領域画素の高周波ノイズを低減することが有益であろう。
[0029]本開示に記載された技術は、差分領域において画面内および画面間予測に関する課題に対応し得る。この技術は、差分領域に関する空間隣接画素と参照フレームを生成するために、拡張層からの空間隣接画素と参照フレームおよび再構成された基本層からの空間隣接画素と参照フレームに異なる重みを割り当て得る。重み値をＥＬと再構成されたＢＬに割り当てることによって、この技術は同じ層にあるフレーム間の時間の弱い相関関係および／またはＥＬおよびＢＬ間の弱い相関関係に対処し得る。得る。例えば、ＥＬは基本層よりより高品質であるはずである。こういった場合、ＥＬ参照フレームは、差分領域参照フレームを生成する際により多くの重みを付与され得る。あるいは、再構成されたＢＬ参照は、ＥＬ参照フレームの代わりにより多く重みを付与され得る。
[0030]この技術はまた、差分領域内に存在する可能性のある高周波ノイズを低減するために、差分領域内の参照フレームまたは空間隣接画素にスムージングフィルタを適用し得る。この技術は、計算の複雑さを増すことなくテクスチャを保持するために、１：２：１のフィルタのような単純なスムージングフィルタを適用し得る。フィルタを適用する利益が付加的な計算の複雑さより勝る限りは、いずれかのスムージングフィルタが適用され得る。
[0031]新しいシステム、装置、および方法の様々な観点は、添付の図面を参照して以下でさらに詳細に説明される。しかし、本開示は、多くの異なる形式において具体化されるが、本開示を通して表されるいずれかの特定の構造または機能に限定されると解釈されるべきではない。むしろ、これらの観点は、本開示が完全となり、および当業者に対して本開示の範囲を十分に伝えるために提供される。ここでの教示に基づいて、当業者は、本開示の範囲が本願のいずれ他の観点から独立して、または組み合わせて実施されるかどうかにかかわらず、ここで開示された新規のシステム、装置、および方法のいずれかの観点をカバーすることを目的としていることを評価するべきである。例えば、装置は実装され、または方法は、ここで説明された観点のうちのいくつかを用いて実施され得る。さらに、本願の範囲は、他の構造、機能、またはここで説明される本願の様々な観点に加えたまたはそれ以外の構造、機能、または構造と機能を用いて実施されるこういった装置、または方法をカバーすることを目的としている。ここで開示されたいずれの観点も、請求項の１つまたは複数の要素によって具体化され得ることが理解されるべきである。
[0032]特定の観点はここに記載されたが、これらの観点の多くの変形および並べ替えは本開示の範囲内である。好適な観点のうちのいくつかの利益および利点が述べられるが、本開示の範囲は、特定の利益、使用、または目的に限定されることを目的としない。むしろ、本開示の観点は、異なる無線技術、システム構成、ネットワーク、および送信プロトコルに対して広義に適用可能であることを目的としており、それらのうちのいくつかは、図面内の例および下記の好適な観点の説明における具体例によって示される。詳細な説明および図面は、添付の請求項およびそれらの等価物によって定義される本開示の範囲を限定するよりむしろ本開示の単なる例示にすぎない。
[0033]図１は、本開示に記載された観点にしたがった技術を利用し得るビデオエンコーディングおよびデコーディングシステムの例を示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後でデコードされるエンコードされたビデオデータを提供するソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介して宛先デバイス１４にビデオデータを提供する。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（例えばラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォン、「スマート」パッドのようなテレフォンハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタル・メディア・プレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む広範囲のデバイスのうちのいずれかを備え得る。場合によって、ソースデバイス１２と宛先デバイス１４は、無線通信のために装備され得る。
[0034]宛先デバイス１４は、コンピュータ可読媒体１６を介してデコードされるエンコードされたビデオデータを受信し得る。コンピュータ可読媒体１６は、ソースデバイス１２から宛先デバイス１４へエンコードされたビデオデータを移動することができる任意のタイプの媒体またはデバイスを備え得る。一例において、コンピュータ可読媒体１６は、リアルタイムにエンコードされたビデオデータを宛先デバイス１４へ直接送信することをソースデバイス１２可能にするための通信媒体を備え得る。エンコードされたビデオデータは、無線通信プロトコルのような通信標準にしたがって変調されおよび宛先デバイス１４へ送信される。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物質の送信路のような、任意の無線または有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットのようなグローバルネットワークといったパケットベースのネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４までの通信を容易にするために有用であり得るルータ、スイッチ、基地局、またはいずれか他の機器を含み得る。
[0035]いくつかの例において、エンコードされたデータは、出力インタフェース２２から記憶デバイスへ出力され得る。同様に、エンコードされたデータは、入力インタフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、ブルーレイディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または非揮発性メモリまたはエンコードされたビデオデータを格納するためのいずれか他の適切なデジタル記憶媒体のような様々な分散型または局所的にアクセスされるデータ記憶媒体のうちのいずれかを含み得る。さらなる例において、記憶デバイスは、ソースデバイス１２によって生成されたエンコードされたビデオを格納し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードによって記憶デバイスから格納されたビデオデータにアクセスし得る。ファイルサーバは、エンコードされたビデオデータを格納し、およびそのエンコードされたビデオデータを宛先デバイス１４に送信可能な任意のタイプのサーバであり得る。ファイルサーバの例は、ウェブサーバ（例えば、ウェブサイト用）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＳＡ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む任意の標準のデータ接続を経由してエンコードされたビデオデータにアクセスし得る。これは、ファイルサーバに格納されたエンコードされたビデオデータにアクセスするのに適した無線チャンネル（例えば、Ｗｉ−Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。記憶デバイスからのエンコードされたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
[0036]本開示の技法は必ずしも無線器具または環境に限定されるものではない。この技術は、無線テレビ放送、ケーブルテレビ送信、衛星テレビ送信、ＨＴＴＰを経由する動的適応ストリーミング（ＤＡＳＨ）のようなインターネットストリーミングビデオ送信、データ記憶媒体上でエンコードされるデジタルビデオ、データ記憶媒体上で記憶されるデジタルビデオのデコーディング、または他のアプリケーションのような様々なマルチメディアアプリケーションのいずれかを支援するビデオ符号化に適用され得る。いくつかの例において、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオ電話のような機器を支援するために、一方向または双方向ビデオ送信を支援するように構成され得る。
[0037]図１の例において、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インタフェース２２を含む。宛先デバイス１４は、入力インタフェース２８、ビデオデコーダ３０、およびディスプレイデバイス３２を含む。本開示にしたがって、ソースデバイス１２のビデオエンコーダ２０は、複数の標準または標準の拡張に準拠するビデオデータを含むビットストリームを符号化するための技術を適用するように構成され得る。他の例において、ソースデバイスと宛先デバイスは、他の構成要素または配置を含み得る。例えば、ソースデバイス１２は、外部のカメラのような外部ビデオソース１８からビデオデータを受信し得る。同じく、宛先デバイス１４は、統合されたディスプレイデバイスを含むよりむしろ、外部のディスプレイデバイスと連結し得る。
[0038]図１の例示的なシステム１０は、単なる１つの例である。現在のブロックのために動きベクトル予測器に関する候補リストのための候補を決定する技術は、デジタルビデオエンコーディングおよび／またはデコーディングデバイスによって実行され得る。一般的に、本開示の技術は、ビデオエンコーディングデバイスによって実行されるが、この技術は、通常「ＣＯＤＥＣ」と称されるビデオエンコーダ／デコーダによっても実行され得るさらに、本開示の技術は、ビデオプレプロセッサによっても実行され得る。ソースデバイス１２と宛先デバイス１４は単に、ソースデバイス１２が、宛先デバイス１４への送信のために符号化されたビデオデータを生成する例えば符号化デバイスの例である。いくつかの例において、デバイス１２、１４は、デバイス１２、１４のそれぞれがビデオエンコーディングとデコーディングの構成要素を含むために、実質的に対称的に動作し得る。したがって、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話による通信のためのビデオデバイス１２、１４の間の一方向または双方向ビデオ送信を支援し得る。
[0039]ソースデバイス１２のビデオソース１８は、ビデオカメラ、予め取得したビデオを含むビデオアーカイブ、および／またはビデオコンテンツの提供者からビデオを受信するためのビデオフィードインタフェースのようなビデオ取得デバイスを抱合し得る。さらなる代替として、ビデオソース１８は、ソースビデオのようなコンピュータグラフィックスベースのデータ、またはライブビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組合せを生成し得る。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２と宛先デバイス１４は、いわゆるカメラ電話またはビデオ電話を形成し得る。しかし、上述したとおり、本開示に記載された技術は、一般に、ビデオ符号化に適用可能であり得、および無線および／または有線アプリケーションに適用可能であり得る。それぞれの場合において、取得されたか、予め取得されたか、あるいはコンピュータ生成されたビデオは、ビデオエンコーダ２０によってエンコードされ得る。エンコードされたビデオ情報は次に、コンピュータ可読媒体１６に出力インタフェース２２によって出力され得る。
[0040]コンピュータ可読媒体１６は、無線ブロードキャストまたは有線ネットワーク送信のような一時的媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体のような記憶媒体（すなわち、非一時的な記憶媒体）を含み得る。いくつかの例において、ネットワークサーバ（不図示）は、ソースデバイス１２からエンコードされたビデオデータを受信し、およびネットワーク送信、すなわち例えば、直接の有線通信を介して宛先デバイス１４へエンコードされたビデオデータを提供し得る。同様に、ディスクスタンピング機能のような媒体作成機能の計算デバイスは、ソースデバイス１２からエンコードされたビデオデータを受信し、およびエンコードされたビデオデータを抱合するディスクを作成し得る。したがって、コンピュータ可読媒体１６は、種々の例において、種々の形式の１つまたは複数のコンピュータ可読媒体を含むと理解され得る。
[0041]宛先デバイス１４の入力インタフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義されるシンタックス情報を含み得、その情報は、ブロックおよび他の符号化ユニット例えば、ＧＯＰの特徴および／または処理を記述するシンタックスエレメントを含むビデオデコーダ３０によっても用いられる。ディスプレイデバイス３２は、ユーザにデコードされたビデオデータを表示し、およびカソードレイチューブ（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、またはいずれか別のタイプのディスプレイデバイスのような様々なディスプレイデバイスのいずれかを備え得る。
[0042]ビデオエンコーダ２０とビデオデコーダ３０は、現在開発中の高機能ビデオ符号化（ＨＥＶＣ）標準のようなビデオ符号化標準にしたがって動作し得、およびＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替として、ビデオエンコーダ２０とビデオデコーダ３０は、ＩＴＵＴ−Ｈ．２６４標準のような他の専有的に定める標準または業界の標準にしたがって動作し得、代替として、ＭＰＥＧ−４、パート１０、先進ビデオ符号化（ＡＶＣ）またはこういった標準の拡張と称される。しかし、本開示の技術は、いずれか特定の符号化標準に限定されることはなく、上記に挙げられた標準のいずれかを含むがそれらに限定されることはない。ビデオ符号化標準の他の例はＭＰＥＧ−２とＩＴＵＴ−Ｈ．２６３を含む。図１には図示されていないが、いくつかの観点において、ビデオエンコーダ２０とビデオデコーダ３０はそれぞれ音声エンコーダおよびデコーダと統合され得、および共通のデータストリームまたは別々のデータストリームにおいて音声とビデオの両方のエンコーディングを扱うために、適切なＭＵＸ−ＤＥＭＵＸユニット、あるいは他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコルまたはユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに準拠し得る。
[0043]ビデオエンコーダ２０とビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション特定集積回路（ＡＳＩＣ）フィールド・プログラマブル・ゲイト・アレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せのような様々な適切なエンコーダ回路のいずれかとして実装され得る。この技術がソフトウェアにおいて部分的に実施される場合、デバイスは、本開示の技術を実行するために、ソフトウェアへの命令を適切な非一時的なコンピュータ可読媒体に格納し、および１つまたは複数のプロセッサを用いてハードウェア内の命令を実行し得る。ビデオエンコーダ２０とビデオデコーダ３０のそれぞれは、１つまたは複数のエンコーダまたはデコーダ内に含まれ得、それらのうちのいずれかが、各デバイスに一体化されたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話のような無線通信デバイスを備え得る。
[0044]ＪＣＴ−ＶＣは、ＨＥＶＣ標準の開発に取り組んでいる。ＨＥＶＣ標準化の成果は、ＨＥＶＣテストモデル（ＨＭ）と称されるビデオ符号化デバイスの発展型モデルに基づく。ＨＭは、例えば、ＩＴＵＴ−Ｈ．２６４／ＡＶＣにしたがった既存のデバイスと比較して、ビデオ符号化デバイスの種々の付加的な機能を仮定する。例えば、Ｈ．２６４が９種類の画面内予測エンコーディングモードを提供する一方で、ＨＭは、３３種類もの画面内予測エンコーディングモードを提供し得る。
[0045]一般的に、ＨＭの作業モデルは、ビデオフレームまたは画像が一連のツリーブロックまたはルマおよびクロマの両方のサンプルを含む最大符号化ユニット（ＬＣＵ）に分割され得ることを記載している。ビットストリーム内のシンタックスデータは、画素の数という点で最大符号化ユニットであるＬＣＵに適したサイズを定義し得る。スライスは、符号化順に多数の連続したツリーブロックを含む。ビデオフレームまたは画像は、１つまたは複数のスライスに区分され得る。各ツリーブロックは、四本木にしたがって符号化ユニット（ＣＵ）に分割され得る。一般的に、四本木データ構造は、ＣＵ毎に１つのノードを含み、ツリーブロックはルートノードに対応する。ＣＵが４つのサブＣＵに分割される場合、ＣＵに対応するノードは、４つの葉ノードを含み、それぞれは、サブＣＵのうちの１つに対応する。
[0046]四本木データ構造の各ノードは、対応するＣＵにシンタックスデータを提供し得る。例えば、四本木内のノードは、ノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵに関するシンタックスエレメントは再帰的に定義され得、およびＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがこれ以上分割されない場合、それは葉ＣＵと称される。本開示において、元の葉ＣＵの明示的な分割が無いとしても、葉ＣＵの４つのサブＣＵはやはり葉ＣＵと称されるだろう。例えば、１６ｘ１６サイズのＣＵがこれ以上分割されない場合、１６ｘ１６のＣＵが分割されなかったとしても、４つの８ｘ８のサブＣＵも葉ＣＵと称されるだろう。
[0047]ＣＵは、ＣＵがサイズの区別を持たないことを除いて、Ｈ．２６４の標準のマクロブロックと類似の目的を有する。例えば、ツリーブロックは４つの子ノード（サブＣＵとも称される）に分割され、および各子ノードは、順に親ノードになり得、および別の４つの子ノードに分割され得る。四本木の葉ノードと称される最後の分割されない子ノードは、葉ＣＵとも称される符号化ノードを備える。符号化されたビットストリームと関連付けられるシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、それは最大ＣＵ深さとも称され、および符号化ノードの最小サイズも定義し得る。したがって、ビットストリームはまた、最小符号化ユニット（ＳＣＵ）を定義し得る。本開示は、ＨＥＶＣのコンテキスト内のＣＵ、ＰＵ、またはＴＵのうちのいずれか、あるいは他の標準（例えば、Ｈ．２６４／ＡＶＣ内のそれらのマクロブロックおよびサブブロック）のコンテキスト内の類似のデータ構造に言及するために用語「ブロック」を用いる。
[0048]ＣＵは符号化ノードを含み、および予測ユニット（ＰＵ）と変換ユニット（ＴＵ）は符号化ノードと関連づけられる。ＣＵのサイズは符号化ノードのサイズに対応し、および正方形でなければならない。ＣＵのサイズは、８ｘ８画素から最大６４ｘ６４画素以上を有するツリーブロックのサイズまでの範囲であり得る。各ＣＵは１つまたは複数のＰＵおよび１つまたは複数のＴＵを抱合し得る。ＣＵと関連付けられるシンタックスデータは、例えば、ＣＵを１つまたは複数のＰＵに分割することを記述し得る。分割モードは、ＣＵがスキップあるいはダイレクトモードでエンコードされるか、画面内予測モードでエンコードされるか、あるいは画面間予測モードでエンコードされるかによって異なり得る。ＰＵは、非正方形になるように区分され得る。ＣＵと関連付けられるシンタックスデータは、四本木にしたがって、例えば、ＣＵを１つまたは複数のＴＵへ分割することを記述し得る。ＴＵは、正方形または非正方形（例えば、長方形）であり得る。
[0049]ＨＥＶＣ標準はＴＵにしたがった変形を可能し、それはそれぞれのＣＵによって異なり得る。ＴＵは、常にこうであるとは限らないが、通常、分割されたＬＣＵに関して定義された所与のＣＵ内のＰＵのサイズに基づいてサイズが決められる。ＴＵは通常、ＰＵと同じサイズかあるいはそれより小さい。いくつかの例において、ＣＵに対応する残りのサンプルは、「残りの四本木」（ＲＱＴ）として知られる四本木構造を用いるより小さいユニットにさらに分割され得る。ＲＱＴの葉ノードは、変換ユニット（ＴＵ）と称され得る。ＴＵと関連付けられる画素差分値は変換係数を生成するために変換され得、それらが量子化され得る。
[0050]葉ＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。一般的に、ＰＵは、対応するＣＵの全てあるいは一部に対応する空間領域を表し、およびＰＵに関する参照用サンプルを検索するためのデータを含み得る。さらにＰＵは、予測と関連するデータを含む。例えば、ＰＵが画面内モード（ｉｎｔｒａ−ｍｏｄｅ）でエンコードされる場合、ＰＵに関するデータは残りの四本木（ＲＱＴ）に含まれ得、それは、ＰＵに対応するＴＵに関する画面内予測モードを記述するデータを含み得る。別の例として、ＰＵが画面間モード（ｉｎｔｅｒ−ｍｏｄｅ）でエンコードされる場合、ＰＵはＰＵに関する１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵに関する動きベクトルを定義するデータは、例えば、動きベクトルの水平構成要素、動きベクトルの垂直構成要素、動きベクトルに関する解像度（例えば、４分の１画素精度または８分の１画素精度）、動きベクトルが指し示す参照画像、および／または動きベクトルに関する参照画像リスト（例えば、リスト０、リスト１、またはリストＣ）を記述し得る。
[0051]１つまたは複数のＰＵを有する葉ＣＵはまた、１つまたは複数の変換ユニット（ＴＵ）を含み得る。変換ユニットは、上記で論じられたように、ＲＱＴ（ＴＵ四本木構造とも称される）を用いて特定され得る。例えば、分割フラグは、葉ＣＵが４つの変換ユニットに分割されるかどうかを示し得る。次に、各変換ユニットはさらにサブＴＵに分割され得る。ＴＵがこれ以上分割されない場合、それは葉ＴＵと称される。一般的に、画面内符号化に関して、葉ＣＵに属する全ての葉ＴＵは、同じ画面内予測モードを共有する。すなわち、同じ画面内予測モードは一般的に、葉ＣＵの全てのＴＵに関する予測された値を計算するために適用される。画面内符号化に関して、ビデオエンコーダは、ＴＵに対応するＣＵの一部と元のブロックの間の差分のような画面内予測モードを用いて各葉ＴＵに関する残りの値を計算し得る。ＴＵは、ＰＵのサイズに必ずしも限定されることはない。したがって、ＴＵは、ＰＵよりも大きいか、あるいは小さくなり得る。画面内符号化に関して、ＰＵは、同じＣＵに関して対応する葉ＴＵと共に割り当てられ得る。いくつかの例において、葉ＴＵの最大のサイズは対応する葉ＣＵのサイズに対応し得る。
[0052]さらに、葉ＣＵのＴＵはまた、残りの四本木（ＲＱＴ）と称される各四本木データ構造と関連付けられ得る。すなわち、葉ＣＵは、葉ＣＵがどのようにＴＵに分割されるか示す四本木を含み得る。ＴＵ四本木のルートノードは一般的に葉ＣＵに対応し、その一方で、ＣＵ四本木のルートノードは一般的に、ツリーブロック（またはＬＣＵ）に対応する。分割されないＲＱＴのＴＵは葉ＴＵと称される。一般的に、本開示は、特に断りの無い限り、それぞれ葉ＣＵと葉ＴＵに言及するために、用語ＣＵおよびＴＵを用いる。
[0053]ビデオシーケンスは通常、一連のビデオフレームまたは画像を含む。画像のグループ（ＧＯＰ）は一般的に、一連の１つまたは複数のビデオ画像を備える。ＧＯＰはＧＯＰのヘッダ、１つまたは複数の画像のヘッダ、または他のいずれかの場所にシンタックスデータを含み、それは、ＧＯＰに含まれた多数の画像を記述する。画像の各スライスは、各スライスに関するエンコーディングモードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は通常、ビデオデータをエンコードするために個々のビデオスライス内のビデオブロック上で動作する。ビデオブロックはＣＵ内の符号化ノードに対応し得る。ビデオブロックは、固定されたまたは変化するサイズを有し、および特定された符号化標準によってサイズが異なり得る。
[0054]例として、ＨＭは、様々なサイズのＰＵにおける予測を支援する。特定のＣＵのサイズが２Ｎｘ２Ｎであると仮定すると、ＨＭは、２Ｎｘ２ＮまたはＮｘＮのサイズのＰＵにおける画面内予測、および２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、またはＮｘＮのサイズの対称なＰＵにおける画面間予測を支援する。ＨＭはまた、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２ＮのサイズのＰＵにおける画面間予測のために非対称な分割を支援する。非対称な分割において、ＣＵの１つの方向は分割されないが、他の方向は２５％と７５％に分割される。２５％の分割に対応するＣＵの部分は、「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」の表示が後に続く「ｎ」によって示される。したがって、 例えば「２ＮｘｎＵ」は、上部で２Ｎｘ０．５ＮのＰＵおよび下部で２Ｎｘ１．５ＮのＰＵを用いて水平に分割される２Ｎｘ２ＮのＣＵを指す。
[0055]本開示において、「ＮｘＮ」および「Ｎ掛けるＮ」は、例えば１６ｘ１６画素あるいは１６掛ける１６画素の垂直および水平寸法の寸法を単位としてビデオブロックの画素の寸法に言及するために置換可能に用いられ得る。一般的に、１６ｘ１６ブロックは垂直方向に１６画素（ｙ＝１６）および水平方向に１６画素（ｘ＝１６）を有することになる。同じく、ＮｘＮのブロックは一般的に、垂直方向にＮ個の画素および水平方向にＮ個の画素を有し、そこでＮ個は非負整数の値を表す。ブロック内の画素は、行と列に配列され得る。さらに、ブロックは、垂直方向と水平方向に必ずしも同じ画素の数を有する必要はない。例えば、ブロックはＮｘＭの画素を備え得、そこで、Ｍは必ずしもＮと等しくない。
[0056]ＣＵのＰＵを用いる画面内予測または画面間予測符号化に続いて、ビデオエンコーダ２０は、ＣＵのＴＵのための残りのデータを計算し得る。ＰＵは、空間領域（画素領域とも称される）内で予測画素データを生成する方法またはモードを記述するシンタックスデータを備え得、およびＴＵは、例えばディスクリートコサイン変換（ＤＣＴ）、整数変換、ウェイブレット変換、または残りのビデオデータに概念上類似する変換などの変換のアプリケーションに次いで変換領域内に係数を備え得る。残りのデータは、エンコードされなかった画像の画素とＰＵに対応する予測値の間の画素差に対応し得る。ビデオエンコーダ２０は、ＣＵに関する残りのデータを含むＴＵを形成し、次にＣＵに関する変換係数を生成するためにＴＵを変換し得る。
[0057]変換係数を生成するための任意の変換の次に、ビデオエンコーダ２０は変換係数の量子化を実行し得る。量子化とは一般的に、変換係数が、さらなる圧縮を提供する係数を表すために用いられるデータの量をできるだけ低減するために量子化される過程を指す。量子化の過程は、係数のうちのいくつかまたは全てと関連付けられるビット深さを低減し得る。例えば、ｎビットの値は量子化中にｍビットの値に四捨五入され得、そこにおいて、ｎはｍより大きい。
[0058]量子化の次に、ビデオエンコーダは変換係数を走査し、量子化された変換係数を含む２次元マトリックスから１次元ベクトルを生成し得る。走査は、アレイの前方により高いエネルギー（それ故により低い周波数）係数を設定し、およびアレイの後方により低いエネルギー（それ故により高い周波数）係数を設定するように設計され得る。いくつかの例において、ビデオエンコーダ２０は、エントロピーエンコードされ得るシリアル化されたベクトルを生成するために量子化された変換係数を走査するために既定義の走査順を利用し得る。その他の例において、ビデオエンコーダ２０は適応できる走査を実行し得る。１次元ベクトルを形成するために量子化された変換係数を走査した後、ビデオエンコーダ２０は、例えば、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応二値算術符号化（ＳＢＡＣ）、確立区間分割エントロピー（ＰＩＰＥ）符号化、または別のエントロピーエンコーディング方法論にしたがって、１次元ベクトルをエントロピーエンコードし得る。ビデオエンコーダ２０はまた、ビデオデータをデコーディングする際にビデオデコーダ３０によって用いるためのエンコードされたビデオデータと関連付けられるシンタックスエレメントをエントロピーエンコードし得る。
[0059]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるシンボルにコンテキストモデル内のコンテキストを割り当て得る。コンテキストは例えば、シンボルの隣接する値が非ゼロか否かに関する。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるシンボルに関する可変長符号を選択し得る。ＶＬＣ内のコード名は、比較的より短いコードがより可能性のあるシンボルに対応する一方で、より長いコードがより可能性のないシンボルに対応するように解釈され得る。このように、ＶＬＣの使用は例えば、送信される各シンボルに等しい長さのコード名を使用することを通じてビット節約を実現し得る。可能性判定は、シンボルに割り当てられたコンテキストに基づき得る。
[0060]ビデオエンコーダ２０は、例えばフレームヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ内で、ビデオデコーダ３０にブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータのようなシンタックスデータをさらに送り得る。ＧＯＰシンタックスデータは、各ＧＯＰ内の多数のフレームを記述し得、およびフレームシンタックスデータは、対応のフレームをエンコードするために用いられるエンコーディング／予測モードを示し得る。
[0061]図２は、本開示に記載された観点にしたがった技術を実施し得るビデオエンコーダの例を示すブロック図である。ビデオエンコーダ２０は、本開示の技術のうちのいずれかまたは全てを実行するように構成され得る。１つの例として、モード選択ユニット４０は、本開示に記載された技術のうちのいずれかまたは全てを実行するように構成され得る。しかし、本開示の観点はそれに限定されることはない。いくつかの例において、本開示に記載された技術は、ビデオエンコーダ２０の種々の構成要素の間で共有され得る。１つの例として、モード選択ユニット４０に加えて、あるいはその代わりに、本開示に記載された技術のうちのいずれかまたは全てを実行するように構成され得る。
[0062]いくつかの実施例において、モード選択ユニット４０、動き推定ユニット４２、動き補償ユニット４４、画面内予測ユニット４６（または、図示されたあるいは不図示のモード選択ユニット４０の別の構成要素）、またはエンコーダ２０の別の構成要素（図示されたあるいは不図示の）が、本開示の技術を実行し得る。例えば、モード選択ユニット４０は、エンコードするためのビデオデータを受け取り得、それは、基本層および対応する１つまたは複数の拡張層にエンコードされ得る。モード選択ユニット４０、動き推定ユニット４２、動き補償ユニット４４、画面内予測ユニット４６、またはエンコーダ２０の別の適切なユニットは拡張層重みと基本層重みを決定し得る。エンコーダ２０の適切なユニットは、差分ビデオ層に基づく現在のビデオユニットの値、拡張層重みによって重み付けられた拡張層におけるビデオユニットの値、基本層重みによって重み付けられた基本層におけるビデオユニットの値を決定し得る。エンコーダ２０は、現在のビデオユニットをエンコードしおよびビットストリーム内の拡張層重みと基本層重みに信号を送ることができる。
[0063]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックの画面内および画面間符号化を実行し得る。画面内符号化は、所与のビデオフレームまたは画像の範囲内でビデオ内の空間冗長性を低減または除去するために空間予測に依存する。画面間符号化は、ビデオシーケンスの隣接するフレームまたは画像の範囲内でビデオ内の時間の冗長性を低減または除去するために時間予測に依存する。画面内モード（Ｉモード）とは、種々の空間ベースの符号化モードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）のような画面間モードは、種々の時間ベースの符号化モードのいずれかを指し得る。
[0064]図２に示されるように、ビデオエンコーダ２０は、エンコードされるビデオフレーム内の現在のビデオブロックを受信する。図１の例において、ビデオエンコーダ２０は、モード選択ユニット４０、参照フレームメモリ６４、アナログ加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピーエンコーディングユニット５６を含む。モード選択ユニット４０は、順に、動き補償ユニット４４、動き推定ユニット４２、画面内予測ユニット４６、および区分ユニット４８を含む。ビデオブロックの再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８、逆変換ユニット６０、およびアナログ加算器６２を含む。非ブロック化フィルタ（図２にでは不図示）はまた、再構成されたビデオからブロックノイズアーチファクトを除去するように、ブロック境界にフィルタをかけるために含まれ得る。所望される場合、非フロック化フィルタは通常、アナログ加算器６２の出力にフィルタをかけることもある。追加のフィルタ（ループ内またはループの後）はまた、非フロック化フィルタに加えて用いられ得る。こういったフィルタは簡潔のために不図示であるが、所望される場合、アナログ加算器５０の出力にフィルタをかけ得る（ループ内フィルタとして）。
[0065]エンコーディングの過程の間、ビデオエンコーダ２０は、エンコードされるビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２と動き補償ユニット４４は、時間予測を提供するために、１つまたは複数の参照フレーム内の１つまたは複数のブロックと比較して受信されたビデオブロックの画面間予測符号化を実行する。画面内予測ユニット４６は代替として、空間予測を提供するために符号化されるブロックと同じフレームまたはスライス内の１つまたは複数の隣接するブロックと比較して、受信されたビデオブロックの画面内予測符号化を実行し得る。ビデオエンコーダ２０は、例えば、ビデオデータの各ブロックに適切な符号化モードを選択するために複数の符号化パスを実行し得る。
[0066]さらに、区分ユニット４８は、前の符号化パス内の前の区分スキームの評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、区分ユニット４８は、フレームまたはスライスを複数のＬＣＵに初めに区分し得、および速度ひずみ（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）解析（例えば、速度ひずみ最適化）に基づいて、ＬＣＵのそれぞれをサブＣＵに区分し得る。モード選択ユニット４０はさらに、ＬＣＵをサブＣＵへ区分することを示す四本木データ構造を生成し得る。四本木の葉ノードＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵを含み得る。
[0067]モード選択ユニット４０は、例えば、エラー結果に基づいて、画面内または画面間符号化モードのうちの１つを選択し、そして残りのブロックデータを生成するためにアナログ加算器５０におよび参照フレームとして使用するためのエンコードされたブロックを再構成するためにアナログ加算器６２に結果としての画面内または画面間符号化ブロックを提供する。モード選択ユニット４０はまた、動きベクトル、画面内モードインジケータ、区分情報、および他のこういったシンタックス情報のようなシンタックスエレメントをエントロピーエンコーディングユニット５６に提供する。
[0068]動き推定ユニット４２と動き補償ユニット４４は、概念的な目的で別々に例示されるが、高度に統合さ得る。動き推定ユニット４２によって実行される動き推定は、ビデオブロックに関する動きを推定する動きベクトルを生成する過程である。動きベクトルとは例えば、参照フレーム（または他の符号化されたユニット）内の予測ブロックと比較し、現在のフレーム（または他の符号化されたユニット）内で符号化中の現在のブロックと比較した現在のビデオフレームまたは画像内のビデオブロックのＰＵの置換を示し得る。予測ブロックとは、画素差の点から、符号化されるべきブロックに正確に一致していることがわかるブロックであり、それは、絶対差分値（ＳＡＤ）の和、正方差（ＳＳＤ）の和、または他の差分メトリックによって決定され得る。いくつかの例において、ビデオエンコーダ２０は、参照フレームメモリ６４内に格納された参照画像のサブ整数画素位置に関する値を計算し得る。例えば、ビデオエンコーダ２０は、参照画像の４分の１画素位置、８分の１画素位置、または他の分数画素位置の値を補完し得る。それ故に、動き推定ユニット４２は、フル画素位置と分数画素位置とを比較して動き検出を実行し、および分数画素精度を用いて動きベクトルを出力する。
[0069]動き推定ユニット４２は、ＰＵの位置を参照画像の予測ブロックの位置と比較することによって、画面間符号化したスライス内のビデオブロックのＰＵに関する動きベクトルを計算する。参照画像は、第１の参照画像リスト（リスト０）または第２の参照画像リスト（リスト１）から選択され得、画像リストのそれぞれは、参照フレームメモリ６４内に格納された１つまたは複数の参照画像を識別する。動き推定ユニット４２は、エントロピーエンコーディングユニット５６と動き補償ユニット４４へ、計算された動きベクトルを送る。
[0070]動き補償ユニット４４によって実行された動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて、予測ブロックを取り出すことまたは生成することを抱合し得る。さらに、動き推定ユニット４２と動き補償ユニット４４は、いくつかの例において、機能的に統合され得る。現在のビデオブロックのＰＵに関する動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照画像リストのうちの１つを指す予測ブロックを特定し得る。アナログ加算器５０は、下記で論じられるように、符号化中の現在のビデオブロックの画素値から予測ブロックの画素値を差し引き、画素差分値を形成することにより、残りのビデオブロックを形成する。一般的に、動き推定ユニット４２は、ルマ構成要素と比較して動き推定を実行し、および動き補償ユニット４４は、クロマ構成要素とルマ構成要素の両方に関するルマ構成要素に基づいて計算された動きベクトルを用いる。モード選択ユニット４０はまた、ビデオスライスのビデオブロックをデコードする際に、ビデオデコーダ３０が用いるビデオブロックとビデオスライスと関連付けられるシンタックスエレメントを生成し得る。
[0071]画面内予測ユニット４６は、上述したとおり、動き推定ユニット４２と動き補償ユニット４４によって実行された画面間予測の代わりとして、現在のブロックを画面内予測し得る。特に、画面内予測ユニット４６は、現在のブロックをエンコードするために使用するため、画面内予測モードを決定し得る。いくつかの例において、画面内予測ユニット４６は、例えばエンコーディングパスを分割する間、種々の画面内予測モードを用いて現在のブロックをエンコードし得、および画面内予測ユニット４６（またはいくつかの例におけるモード選択ユニット４０）は、テストされたモードから使用に適切な画面内予測モードを選択し得る。
[0072]例えば、画面内予測ユニット４６は、種々のテストされた画面内予測モードに関する速度歪み解析を用いて速度歪み値を計算し、およびテストされたモードのうちの最適な速度歪みの特性を有する画面内予測モードを選択し得る。速度歪み解析は一般的に、エンコードされたブロックを生成するために用いられるビットレート（すなわち、ビットの数）と同様に、エンコードされたブロックとエンコードされたブロックを生成するためにエンコードされた元のエンコードされなかったブロックの間の歪み（または誤差）の量を決定する。画面内予測ユニット４６は、画面内予測モードがブロックに関する最適な速度歪み値を提示しているかを判断するために、種々のエンコードされたブロックに関する速度と歪みから割合を計算し得る。
[0073]ブロックに関する画面内予測モードを選択した後、画面内予測ユニット４６は、ブロックに関する選択された画面内予測モードを示す情報をエントロピーエンコーディングユニット５６に提供し得る。エントロピーエンコーディングユニット５６は、選択された画面内予測モードを示す情報をエンコードし得る。ビデオエンコーダ２０は、複数の画面内予測モードインデックステーブルと複数の修正された画面内予測モードインデックステーブル（コードワードマッピングテーブルとも称される）を含み得る送信されたビットストリーム構成データ内に、種々のブロックに関するエンコーディングコンテキストの定義と最も可能性のある画面内予測モードの指示、および各コンテキストを使用するための修正された画面内予測モードインデックステーブルと画面内予測モードインデックステーブルを含み得る。
[0074]ビデオエンコーダ２０は、符号化中の元のビデオブロックから、モード選択ユニット４０からの予測データを差し引くことによって残りのビデオブロックを形成する。アナログ加算器５０は、構成要素またはこの差し引き動作を実行する複数の構成要素を表す。変換処理ユニット５２は、ディスクリートコサイン変換（ＤＣＴ）または概念上類似する変換のような変換を残りの変換係数値を備えるビデオブロックを生成する残りのブロックに適用する。変換処理ユニット５２は、ＤＣＴに概念上類似する他の変換を実行し得る。ウェイブレット変換、整数変換、サブ帯域変換、または他のタイプの変換もまた用いられる。いずれかの場合において、変換処理ユニット５２は変換を残りの変換ブロックに適用し、残りの変換係数のブロックを生成する。変換は、画素値領域からの残りの情報を周波数領域のような変換領域へコンバートし得る。変換処理ユニット５２は、生じた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、さらにビットレートを低減するために変換係数を量子化する。量子化の過程は、係数のうちのいずれかまたは全てと関連付けられるビット深さを減じ得る。量子化の程度は量子化パラメータを調整することによって修正され得る。いくつかの例において、量子化ユニット５４は次に、量子化された変換係数を含むマトリックスの走査を実行し得る。代替として、エントロピーエンコーディングユニット５６は走査を実行し得る。
[0075]量子化に続いて、エントロピーエンコーディングユニット５６は量子化された変換係数をエントロピー符号化する。例えば、エントロピーエンコーディングユニット５６は、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確立区間区分エントロピー（ＰＩＰＥ）符号化、または別のエントロピー符号化技術を実行し得る。コンテキストベースのエントロピー符号化の場合において、コンテキストは隣接するブロックに基づき得る。エントロピーエンコーディングユニット５６によるエントロピー符号化に続いて、エンコードされたビットストリームは、別のデバイス（例えば、ビデオデコーダ３０）に送信されるか、または後の送信または検索のためにアーカイブされ得る。
[0076]逆量子化ユニット５８と逆変換ユニット６０は、例えば、後に参照ブロックとして用いるために、画素領域内に残りのブロックを再構成するために、それぞれ逆量子化と逆変換を適用する。動き補償ユニット４４は、参照フレームメモリ６４の複数のフレームのうちの１つの予測ブロックに残りのブロックを追加することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定の際に使用するためのサブ整数画素値を計算するために、再構成された残りのブロックに１つまたは複数の補間フィルタを適用し得る。アナログ加算器６２は、参照フレームメモリ６４に格納するために再構成されたビデオブロックを生成するために、動き補償ユニット４４によって生成された動き補償された予測ブロックに再構成された残りのブロックを追加する。再構成されたビデオブロックは、後続のビデオフレーム内のブロックを画面間符号化するための参照ブロックとして動き推定ユニット４２と動き補償ユニット４４によって用いられ得る。
[0077]図３は、本開示に記載された観点にしたがった技術を実施し得るビデオデコーダの例を示すブロック図である.ビデオデコーダ３０は、本開示の技術のうちのいずれかまたは全てを実行するように構成され得る。１つの例として、動き補償ユニット７２および／または画面内予測ユニット７４は、本開示に記載された技術のうちのいずれかまたは全てを実行するように構成され得る。しかし、本開示の観点はそれに限定されるものではない。いくつかの例において、本開示に記載された技術は、ビデオデコーダ３０の種々の構成要素のうちで共有され得る。いくつかの例において、ビデオデコーダ３０に加えて、あるいはその代わりに、本開示に記載れた技術のうちのいずれかまたは全てを実行するように構成され得る。
[0078]いくつかの実施例において、エントロピーデコーディングユニット７０、動き補償ユニット７２、画面内予測ユニット７４、またはデコーダ３０の別の構成要素（図示されたまたは不図示）は本開示の技術を実行し得る。例えば、エントロピーデコーディングユニット７０は、エンコードされたビデオビットストリームを受け取り得、それは、基本層および対応する１つまたは複数の拡張層に関するデータをエンコードし得る。動き補償ユニット７２、画面内予測ユニット７４、またはデコーダ３０の別の適切なユニットは、拡張層重みと基本層重みを決定し得る。デコーダ３０の適切なユニットはまた、差分ビデオ層に基づいて現在のビデオユニットの値、拡張層重みによって重み付けられた拡張層重み内のビデオユニットの値、基本層重みによって重み付けられた基本層におけるビデオユニットの値を決定し得る。デコーダ３０は、現在のビデオユニットをデコードしおよびビットストリーム内の拡張層重みと基本層重みを受信することができる。デコーダ３０はまた、ビットストリーム内の情報から拡張層重みと基本層重みを少なくとも部分的に抽出し得る。
[0079]図３の例において、ビデオデコーダ３０は、エントロピーデコーディングユニット７０、動き補償ユニット７２、画面内予測ユニット７４、逆量子化ユニット７６、逆変換ユニット７８、参照フレームメモリ８２、およびアナログ加算器８０を含む。ビデオデコーダ３０は、いくつかの例において、ビデオエンコーダ２０（図２）と関連して説明されるエンコーディングパスと一般的に相互関係のあるデコーディングパスを実行し得る。動き補償ユニット７２は、エントロピーデコーディングユニット７０から受信された動きベクトルに基づいて予測データを生成し得、その一方で、画面内予測ユニット７４は、エントロピーデコーディングユニット７０から受信された画面内予測モードインジケータに基づいて予測データを生成し得る。
[0080]デコーディング過程の間に、ビデオデコーダ３０は、ビデオエンコーダ２０から、エンコードされたビデオスライスのビデオブロックを表すエンコードされたビデオビットストリームと、関連するシンタックスエレメントを受信する。ビデオデコーダ３０のエントロピーデコーディングユニット７０は、量子化された係数、動きベクトルまたは画面内予測モードインジケータ、および他のシンタックスエレメントを生成するために、ビットストリームをエントロピーデコードする。エントロピーデコーディングユニット７０は、動きベクトルと他のシンタックスエレメントを動き補償ユニット７２へ転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックスエレメントを受信し得る。
[0081]ビデオスライスが画面内符号化（Ｉ）スライスとして符号化される場合、画面内予測ユニット７４は、信号で伝えられた画面内予測モードと現在のフレームまたは画像の予めデコードされたブロックからのデータに基づいて、現在のビデオスライスのビデオブロックに関する予測データを生成し得る。ビデオフレームが画面間符号化（例えばＢ、Ｐ、またはＧＰＢ）スライスとして符号化される場合、動き補償ユニット７２は、動きベクトルとエントロピーデコーディングユニット７０から受信された他のシンタックスエレメントに基づいて、現在のビデオスライスのビデオブロックに関する予測ブロックを作成する。予測ブロックは、参照画像リストのうちの１つ内の参照画像のうちの１つから作成され得る。ビデオデコーダ３０は、参照フレームメモリ９２に格納された参照画像に基づくデフォルトの再構成技術を用いて、参照フレームリスト、すなわちリスト０とリスト１を構成し得る。動き補償ユニット７２は、動きベクトルと他のシンタックスエレメントを解析することによって現在のビデオスライスのビデオブロックに関する予測情報を決定し、およびデコード中の現在のビデオブロックに関する予測ブロックを作成するために予測情報を使用する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロック、画面間予測スライスのタイプ（例えば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）、スライスに関する１つまたは複数の参照画像リストに関する再構成情報、スライスの各画面間エンコードされたビデオブロックに関する動きベクトル、スライスの各画面間エンコードされたビデオブロックに関する画面間予測ステータス、および現在のビデオスライス内のビデオブロックをデコードするための他の情報を符号化するために用いられる予測モード（例えば、画面内または画面間予測）を決定するために受信されたシンタックスエレメントのうちのいくつかを使用する。
[0082]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、参照ブロックのサブ整数画素に関する補間値を計算するために、ビデオブロックのエンコーディングの間にビデオエンコーダ２０によって用いられるような補間フィルタを用い得る。この場合、動き補償ユニット７２は、受信されたシンタックスエレメントからビデオエンコーダ２０によって用いられる補間フィルタを決定し、および予測ブロックを生成するために補間フィルタを用い得る。
[0083]逆量子化ユニット７６は、例えば、ビットストリームに提供されおよびエントロピーデコーディングユニット８０によってデコードされた量子化変換係数を量子化、例えば逆量子化する。逆量子化の過程は、量子化の程度、および同じく適用されるべき逆量子化の程度を決定するために、ビデオスライス内の各ビデオブロックにビデオデコーダ３０によって計算された量子化パラメータＱＰＹを使用することを含み得る。
[0084]逆変換ユニット７８は、画素領域に残りのブロックを生成するための変換係数に、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念上類似する逆変換の過程を適用する。
[0085]動き補償ユニット８２が、動きベクトルに基づいて現在のビデオブロックに関する予測ブロックを生成した後、ビデオデコーダ３０を介した他のシンタックスエレメントは、動き補償ユニット７２によって生成された対応する予測ブロックを用いて、逆変換ユニット７８からの残りのブロックを加算することによって、デコードされたビデオブロックを形成する。アナログ加算器９０とは、構成要素またはこの加算演算を実行する構成要素を表す。所望の場合、非ブロック化フィルタはまた、ブロッキネスアーチファクトを除去するための復号されたブロックにフィルタをかけるために適用され得る。他のループフィルタ（符号化ループ内、または符号化ループ後）はまた、画素遷移をスムーズにするために用いられ得、それ以外にはビデオ品質を向上する。所与のフレームまたは画像内のデコードされたビデオブロックは次に、次の動き補償に用いられる参照画像を格納する参照画像メモリ９２に格納される。参照フレームメモリ８２はまた、図１のディスプレイデバイス３２のようなディスプレイデバイスに後で表示するために復号されたビデオを格納する。
[0086]図４および図４Ａは、本開示の観点にしたがった適応重み付け差分領域参照用再構成を示す概念図である。上で説明したとおり、差分領域は、多くの高周波成分を含み得る。差分領域の高周波の特質は、異なる量子化または空間解像度で動作する拡張層（ＥＬ）と基本層（ＢＬ）に起因し得る。こういった場合、差分領域フレーム(difference domain frames)を取得するためにＥＬと再構成されたＢＬフレームの間の差分を取ることは高周波成分をもたらすことになり、こういった高周波成分の符号化は良質な速度歪みのトレードオフをもたらし得ない。同様に、ＥＬと再構成されたＢＬフレームは、再構成されたＢＬがＥＬの解像度にマッチするようにアップサンプルされる場合に差分空間解像度で動作している可能性がある。この演算は、それらの間の相関関係を低減しおよび符号化するのが難しい高周波差分領域成分へと導いていた。
[0087]したがって、本開示の技術は、差分領域に関する参照フレームを生成するために、ＥＬ内の参照フレームと再構成されたＢＬ内の参照フレームに重み付け値を割り当て得る。同様に、本開示の技術は、差分領域に関する空間隣接画素を生成するために、ＥＬ内の空間隣接画素と再構成されたＢＬ内の空間隣接画素に重み付け値を割り当て得る。実際の重み付け値は、異なる要素の数に基づき得る。こういった要素はＥＬとＢＬの類似性を含み得る。別の要素は、層が強い時間の相関関係を有するかどうかであり得る。ＥＬが、再構成されたＢＬより強い時間の相関関係を有する場合、より多くの重みがＥＬ参照フレームに付与され得る。第１の重み値は、ＥＬ参照フレームに割り当てられ得、および第２の値は再構成されたＢＬ参照フレームに割り当てられ得る。ＥＬに関する第１の重み値は「ＥＬ重み」と称され得、および再構成されたＢＬ層に関する第２の重み値は、「ＢＬ重み」と称され得る。図４において、ＥＬ重みは、Ｗ1によって示され、およびＢＬ重みはＷ０によって示される。
[0088]ＥＬおよびＢＬ重み値は上記の参照フレームの観点から説明された。しかし、ＥＬおよびＢＬ重み値はまた現在のフレームにも割り当てられ得る。それ故に、時間内の所与のポイントにおけるＥＬフレームと対応する再構成されたＢＬフレームはそれぞれＥＬ重みとＢＬ重みを持つことができる。例えば、時間Ｔ１と時間Ｔ２におけるフレームは、画面間予測に使用される。Ｔ1におけるＥＬと再構成されたＢＬは、対応するＷ1とＷ０の値を有し、およびＴ２におけるＥＬと再構成されたＢＬは、対応するＷ1とＷ０の値を有し、それらは、Ｔ1におけるＷ１とＷ０とは異なり得る。時間内の各ポイントに関する差分再構成フレーム（または差分領域フレーム）は、Ｗ1によって重み付けられたＥＬとＷ０によって重み付けられた再構成されたＢＬとの間の差分を取ることによって生成され得る。差分領域内の画面間予測は、Ｔ1における差分再構成フレームとＴ２における差分再構成フレームを取り、および差分領域の残りを生成するために相互にそれらを予測することによって実行される。したがって、ＥＬと再構成されたＢＬへの重みつけは差分領域内の画面間予測に影響を及ぼす可能性がある。時間内の各ポイントに関する画面内予測に関する差分空間隣接画素(difference spatial neighboring pixels)（または差分領域空間隣接画素）は、Ｗ1によって重み付けられたＥＬとＷ０によって重み付けられた再構成されたＢＬとの間の差分を取ることによって生成され得る。差分領域内の画面内予測は、Ｔ1における現在の差分再構成予測ユニットとＴ1における差分再構成空間隣接画素を取り、および差分領域の残りを生成するために相互にそれらを予測することによって実行される。したがって、ＥＬと再構成されたＢＬへの重みつけは差分領域内の画面間予測に影響を及ぼすことができる。
[0089]本開示の技術にしたがった適応重み付け差分領域の参照用再構成は次に、図４および図４Ａを参照してさらに詳細に説明されるだろう。いくつかの実施例において、適応重み付け差分領域の再構成は、下記の式にしたがって計算され得る。
式（１）において、Ｄｉｆｆ Ｒｅｃｏｎは差分領域の再構成を指し、ＥＬ Ｒｅｃｏｎは拡張層の再構成を指し、ＢＬ Ｒｅｃｏｎは基本層の再構成を指す。いくつかの実施例において、ラウンド値は、下記の式にしたがって重み付け差分領域の再構成を計算している間に加えられる可能性がある。
ラウンド値は、符号化されるか、またはＨＥＶＣでサポートされる異なるシンタックスレベルにおいてデフォルトの値であると過程され得る。例えば、ラウンド値は、シーケンスヘッダ、画像ヘッダ、スライスヘッダ、ＬＣＵヘッダ、およびＣＵレベルシンタックスにおいてサポートされ得る。いくつかの実施例において、より微細なラウンド値は、異なる粒状のシンタックスレベルにおいて速度歪み（Ｒ−Ｄ）最適化の基準によって選択され得る。
[0090]図４の例において、式（２）は、層からフレームに重みを適応的に割り当てるために、時刻（例えばＴ1とＴ２）の異なる位置におけるＥＬと再構成されたＢＬフレームに適用される。Ｔ1において、それぞれ拡張層参照（ＥＬＲ）と再構成された基本層参照（ＢＬＲ）は、拡張層差分参照（ＥＬＤＲ）を生成するために、Ｗ1とＷ０によって重み付けられる。ＥＬＤＲは差分再構成フレームを指す。ＥＬＤＲは、下記の式（２）にしたがって計算され得る。
同様に、Ｔ２において、拡張層現在（ＥＬＣ）と再構成された基本層現在（ＢＬＣ）は、拡張層差分現在（ＥＬＤＣ）を生成するために、それぞれＷ1とＷ０によって重み付けられる。ＥＬＤＣは差分再構成フレームを指す。ＥＬＤＣは、下記の式（２）にしたがって計算され得る。
画面間予測は、拡張層差分残余（ＥＬＤＲ）を生成するために、拡張層差分参照（ＥＬＤＲ）と拡張層差分現在（ＥＬＤＣ）を用いて実行され得る。ＥＬＤＲは、下記の式にしたがって計算され得る。
上記の式は、拡張層差分残余と称され得る差分領域内の動きベクトル基づく動き補償を介して取得されるＥＬＤＲとＥＬＤＣの間の差分を示す。いくつかの例において、エンコーダの単純化の目的のために、エンコーダは、差分領域の動きベクトルの代わりに、非差分領域または画素領域の動きベクトルを選択し得る。次に,上記の式は下記の式に成る。
これは非規範的演算であり、および差分領域の動きベクトルを取得するために差分領域において動き推定を行うことを選択するか、または画素領域の動きベクトルを得るために画素領域上で動き推定を行うかはエンコーダ次第であり得る。いくつかの例において、図４Ａに示されるように、画面内予測はまた、拡張層差分残余（ＥＬＤＲ）を生成するために、拡張層差分隣接画素（ＥＬＤＮＡとＥＬＤＮＢ）と拡張層差分現在のＰＵ（ＥＬＤＣ）を用いて実行され得る。ＥＬＤＲは、下記の式にしたがって計算され得る。
上記の式は、イントラモードに基づいて取得されたＥＬＤＮとＥＬＤＣの間の差分を示し、それは拡張層差分残余と称され得る。
[0091]適応重み付け差分領域参照用再構成において、ＥＬ重みとＢＬ重みは複数の数の任意の組み合わせであり得る。いくつかの例は、例示目的のために下記に提供される。Ｗ1とＷ０が両方１に等しい場合、適応差分領域の再構成は従来の差分領域の再構成と同じであり、そこで、全体の再構成されたＢＬフレームはＥＬフレームから差し引かれる。それ故に、従来の差分領域の再構成は、Ｄｉｆｆ Ｒｅｃｏｎ ＝ （ＥＬ Ｒｅｃｏｎ − ＢＬ Ｒｅｃｏｎ）と表され得る。表１は、Ｗ1とＷ０および式（１）の対応する形式の組み合わせのいくつかの例を提供する。
Ｗ０ = １およびＷ1 = ０.２５の場合、再構成されたＢＬフレームは、２５％で重み付けられ、および差分領域フレームを形成するために、ＥＬ拡張層フレームから差し引かれる。式（１）は、表１に示されたように、Ｄｉｆｆ Ｒｅｃｏｎ = （ＥＬ Ｒｅｃｏｎ −０.２５ * ＢＬ Ｒｅｃｏｎ）まで低減する。Ｗ０ = １およびＷ1 = ０．５の場合、再構成されたＢＬフレームは、５０％で重み付けられ、および式（１）はＤｉｆｆ Ｒｅｃｏｎ = （ＥＬ Ｒｅｃｏｎ − ０．５ * ＢＬ Ｒｅｃｏｎ）まで低減する。Ｗ０ = １およびＷ1 = ０．２５の場合、再構成されたＢＬフレームは、７５%で重み付けられ、および式（１）はＤｉｆｆ Ｒｅｃｏｎ = （ＥＬ Ｒｅｃｏｎ − ０．５ * ＢＬ Ｒｅｃｏｎ）まで低減する。いくつかの実施例において、式（１）を用いる場合、Ｗ1はＷ０より大きくおよびＷ1は２のべきである。上記で説明したとおり、ラウンド因子が追加され得る。
[0092]ＥＬとＢＬの重みは、異なるシンタックスレベルにおいて符号化され得る。例えば、ＨＥＶＣにおいて、適応重み値は、シーケンスヘッダ、画像ヘッダ、スライスヘッダ、およびＬＣＵヘッダ、およびＣＵレベルシンタックスでサポートされ得る。いくつかの実施例において、より微細な適応重みは、異なる粒状のシンタックスレベルにおいて速度歪み（Ｒ−Ｄ）最適化の基準によって選択され得る。
[0093]いくつかの実施例において、ＥＬとＢＬ重みは、ＥＬおよび再構成されたＢＬ層に適応重みが用いられることを示すフラグ（例えば、「ｗｅｉｇｈｔｅｄ＿ｄｉｆｆｅｒｅｎｃｅ＿ｄｏｍａｉｎ＿ｒｅｃｏｎ＿ｆｌａｇ」）を用いて信号伝達され得る。フラグは、下記のシーケンスヘッダ、画像ヘッダ、スライスヘッダ、およびＬＣＵヘッダ、およびＣＵなどのシンタックスレベルにおいて追加され得る。ＥＬとＢＬ重みは１に初期化され得る。１つの実施例において、Ｗ０とＷ1に関するデルタオフセット値が信号伝達される。別の実施例において、Ｗ０とＷ1の値は予め定義され得、および予め定義されたＷ０とＷ1の値の特定のセットを示すインデックスが信号伝達される。
[0094]図４と図４Ａは、ほとんどフレームの観点から説明したが、本開示の観点にしたがった技術は、ビデオ情報ユニットの様々なレベルで実施され得る。例えば、図４および図４Ａに関連して説明された本開示の観点にしたがった技術は、フレーム、スライス、ブロック、および画素レベルで実施され得る。さらに、図４および図４Ａに関連して説明された全ての実施例は別々にまたは相互に組合せて実施され得る。
[0095]図５および図５Ａは、本開示の観点にしたがった差分領域参照のスムージングを示す概念図である。差分領域は高周波成分を抱合する可能性が高いので、画面間または画面内予測は、隣接する時間参照フレームまたは空間参照画素が弱い時間／空間の相関関係またはＥＬと再構成されたＢＬの間の弱い相関関係を持つフレームを用いて計算される場合、好適な予測結果につながり得ない。そのため、この技術は、差分領域内に存在する可能性の高い高周波ノイズを減じるための差分領域内の参照フレームに、スムージングフィルタまたはローパスフィルタを適用し得る。この技術は、計算の複雑性を加えることなくテクスチャを保持するために単純なスムージングフィルタを適用し得る。スムージングフィルタの１つの例は、１:２:１のフィルタをかけることであるが、任意のスムージングフィルタが適用され得る。スムージングフィルタの選択は、高周波ノイズの削減が付加的な計算の複雑性から生じるコストより利点を提供できるがどうかに依存し得る。
[0096]いくつかの実施例において、スムーズされた差分領域予測の使用は、フラグ（例えば、「ｓｍｏｏｔｈｅｄ＿ｄｉｆｆｅｒｅｎｃｅ＿ｄｏｍａｉｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ」を用いて示され得る。１つの実施例において、新しい予測モードは、スムーズされた差分領域予測（例えば、「スムーズされた差分領域予測モード」）のために定義され得、およびフラグは、この新しい予測モードが使用されることを示し得る。特定の実施例において、新しい予測モードは、速度歪み（Ｒ−Ｄ）最適化の基準に基づいて適応的に選択され得る。フラグは、下記のシンタックスレベル、シーケンスヘッダ、画像ヘッダ、スライスヘッダ、およびＬＣＵヘッダ、およびＣＵに追加され得る。図５に関連して説明された全ての実施例は、別々にまたは相互に組合せて実施され得る。
[0097]図５Ａは図５に類似しているが、図５Ａは、差分領域参照を用いる画面間予測の代わりに、差分領域空間の隣接を用いる画面内予測のコンテキストにおけるスムージングを示す。
[0098]図５は、ほとんどフレームに関して説明したが、本開示の観点にしたがった技術は、ビデオ情報ユニットの種々のレベルで実装され得る。例えば、図５に関連して説明された本開示の観点にしたがった技術はフレーム、スライス、ブロック、および画素レベルに実装され得る。さらに、図５および図５Ａに関連して説明された全ての実施例は別々にまたは相互に組合せて実施され得る。
[0099]図６および図６Ａは、本開示の観点にしたがった差分領域参照を適応的に生成するための方法の例を示すフローチャートである。過程６００は、エンコーダ（例えば、図２などに示されるようなエンコーダ）またはデコーダ（例えば、図３などに示されるようなデコーダなど）によって実行され得る。過程６００のブロックは、図２におけるエンコーダ２０に関連して説明されるが、過程６００は上述したように、デコーダのような他の構成部品によって実行され得る。同様に、過程６００Ａは、エンコーダまたはデコーダによって実行され得る。過程６００Ａのブロックは、図２におけるエンコーダ２０に関連して説明されるが、過程６００Ａは、上述したように、デコーダのような他の構成要素によって実行され得る。
[00100]ブロック６０１において、エンコーダ２０は、ＥＬ重みと再構成されたＢＬ重みを決定する。ＥＬ重みとＢＬ重みは、異なる要素の数に基づき得る。こういった要素の１つは、ＥＬと再構成されたＢＬの間の類似性であり得る。関連要素の別の例は、ＥＬ内の時間の相関関係であり得る。再構成されたＢＬ内の時間の相関関係はまた、関連する要素でもあり得る。いくつかの実施例において、ＥＬ重みはＢＬ重みより大きくても良い。他の実施例において、ＢＬ重みはＥＬ重みより大きくても良い。ＥＬ重みとＢＬ重みは符号化標準（例えばＨＥＶＣ）によってサポートされる種々のシンタックスレベルに割り当てられ得る。
[00101]ブロック６０２において、エンコーダ２０は、決定されたＥＬ重みとＢＬ重みをＥＬ参照と再構成されたＢＬ参照に適用する。ブロック６０３において、エンコーダ２０は、重みつけられたＥＬ参照から重みつけられた再構成されたＢＬ参照を差し引くことによって差分領域参照を計算する。ブロック６０４において、エンコーダ２０は、時間内の異なるポイントにおける適応的に重み付けられた差分領域参照に基づいて、画面間予測を実行する。図６に関連して説明された方法の例は、種々のシンタックスレベルにおいて実施され得る。
[00102]図６Ａにおける過程６００Ａは、図６における過程６００と類似しているが、過程６００Ａは、差分領域参照を用いる画面間予測の代わりに、差分領域空間の隣接を用いて画面内予測を実行する。例えば、ブロック６０４Ａにおいて、エンコーダ２０は、時間内の同じポイントにおいて、適応的に重み付けられた差分領域空間の隣接を用いて画面内予測を実行する。
[00103]図６Ｂは、本開示の観点にしたがった差分領域参照を適応的に生成するための別の方法の例を示すフローチャートである。過程６００Ｂは、エンコーダ（例えば、図２などに示されるようなエンコーダ）またはデコーダ（例えば、図３に示されるようなデコーダ）によって実行され得る。過程６００Ｂのブロックは、図２におけるエンコーダ２０に関連して説明されるが、過程６００Ｂは、上述されたように、デコーダのような他の構成要素によって実行され得る。図６Ｂに関連して説明された全ての実施例は、別々にまたは相互に組合せて実施され得る。
[00104]ブロック６０１Ｂにおいて、エンコーダ２０は、拡張層重みと基本層重みを決定する。いくつかの実施例において、拡張層と基本層からのビデオユニットは、例えばより良い予測結果または速度歪みトレードオフを取得するために、別に重み付けられ得る。１つの実施例において、拡張層重みと基本層重みは、拡張層と基本層の間の類似性に基づいて決定され得る。例えば、基本層重みは、２つの層が類似していない場合、拡張層重みと比較して低減され得る。類似性は、例えば、拡張層と基本層の間の時間の相関関係または空間の相関関係に基づき得る。拡張層重みは、拡張層におけるビデオユニットに適用され、および基本層重みは、基本層におけるビデオユニットに適用される。
[00105]ブロック６０２Ｂにおいて、エンコーダ２０は、拡張層重みを拡張層におけるビデオユニットの値に適用し、および基本層重みを基本層におけるビデオユニットの値に適用する。拡張層におけるビデオユニットと基本層におけるビデオユニットは、それぞれ各層からの参照ビデオユニットであり得る。拡張層重みと基本層重みは、次のフレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素などのシンタックスレベルを含む任意の符号化レベルにおいて適用され得るが、それに限定されることはない。拡張層重みと基本層重みはビットストリームにおいて信号伝達され得るか、またはビットストリーム内の情報から少なくとも部分的に抽出され得る。
[00106]ブロック６０３Ｂにおいて、エンコーダ２０は、差分ビデオ層に基づく現在のビデオユニットの値、拡張層重みによって重み付けられた拡張層におけるビデオユニットの値、基本層重みによって重み付けられた基本層におけるビデオユニットの値を決定し得る。差分ビデオ層は差分領域を指し得る。ビデオユニットはビデオデータの任意のユニットであり得、およびフレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を含むことができるが、それに限定されることはない。現在のビデオユニットの値は、現在のビデオユニットに関する予測ユニット（ＰＵ）を生成することよって決定され得る。いくつかの実施例において、現在のユニットは差分ビデオ層と関連付けられる差分ビデオユニットである。現在のビデオユニットの値は、差分ビデオ層と関連付けられる差分空間隣接ビデオユニットまたは差分参照ビデオユニットに基づいて決定され得る差分参照ビデオユニットまたは差分空間隣接ビデオユニットは、重み付けられた拡張層ビデオユニットと重み付けられた基本層ビデオユニットの差分から抽出され得る。
[00107]図７は、本開示の観点にしたがった差分領域参照をスムージングするための方法の例を示すフローチャートである。過程７００は、エンコーダ（例えば、図２などに示されるようなエンコーダ）またはデコーダ（例えば、図３などに示されるようなデコーダ）によって実行され得る。過程７００のブロックは、図２におけるエンコーダ２０に関連して説明されるが、過程７００は、上述したように、デコーダのような他の構成要素によって実行され得る。
[00108]ブロック７０１において、エンコーダ２０は、スムージングフィルタを差分領域参照または空間隣接画素に適用するかどうかを決定する。例えば、エンコーダ２０は、差分領域参照または空間隣接画素が高周波成分を含んでいると判断し得る。エンコーダ２０はまた、デフォルトとしてスムージングフィルタを適用することを選択し得る。エンコーダ２０はまた、スムージングフィルタのアプリケーションによって要求される計算の複雑性に基づいてスムージングフィルタを適用するかどうかを決定し得る。ブロック７０２において、エンコーダ２０は、スムージングフィルタを差分領域参照に適用する。ブロック７０３において、エンコーダ２０は、それぞれスムーズされた差分領域参照または隣接画素に基づいて、画面間予測または画面内予測を実行する。図７に関連して説明された方法の例は、種々のシンタックスレベルにおいて実施され得る。
[00109図７Ａは、本開示の観点にしたがった差分領域参照をスムージングするための方法の別の例を示すフローチャートである。過程７００Ａは、エンコーダ（例えば、図２において示されるようなエンコーダ）またはデコーダ（例えば、図３などにおいて示されるようなデコーダ）によって実行され得る。過程７００Ａのブロックは、図２におけるエンコーダ２０に関連して説明されるが、過程７００Ａは、上述したように、デコーダのような他の構成要素によって実行され得る。図７Ａに関連して説明された全ての実施例は、別々にまたは相互に組合せて実施され得る。
[00110]ブロック７０１Ａにおいて、エンコーダ２０は、スムージングフィルタを差分ビデオ層からの空間隣接ビデオユニットまたは参照ビデオユニットに適用する。差分ビデオ層は、差分領域を指し得る。差分ビデオ層からの参照ビデオユニットは、ビデオユニットに関して画面間予測を実行する際に用いられ得る。差分ビデオ層からの空間隣接ビデオユニットは、ビデオユニットに関して画面内予測を実行する際に用いられ得る。スムージングフィルタの例は３タップフィルタ、４タップフィルタ、６タップフィルタを含むことができるが、それらに限定されることはない。いくつかの実施例において、エンコーダ２０は、１：２：１フィルタのようなローパスフィルタを適用する。他の実施例において、エンコーダ２０はバンドパスフィルタまたはハイフィルタを適用し得る。
[00111]エンコーダ２０は、スムージングフィルタを適用することからのビデオユニットをスムージングする利得と付加的な計算の複雑性のコストの間のトレードオフに基づいて、参照ビデオユニットまたは空間隣接ビデオユニットにスムージングフィルタを適用するかどうかを決定し得る。例えば、エンコーダ２０は、ビデオユニットのテクスチャが多くの計算の複雑性を増すことなく保持され得る場合スムージングフィルタを適用することを決定し得る。
[00112]ブロック７０２Ａにおいて、エンコーダ２０は、参照ビデオユニットまたは空間隣接ビデオユニットに基づいてビデオユニットの値を決定する。ビデオユニットは、ビデオデータの任意のユニットであり得、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を含むことができるが、それらに限定されることはない。ビデオユニットの値はビデオユニットに関する予測ユニット（ＰＵ）を生成することによって決定され得る。
[00113]いくつかの実施例において、エンコーダ２０は、参照ビデオユニットに基づく画面間予測、空間隣接ビデオユニットに基づく画面内予測、またはその両方を用いてビデオユニットの値を決定し得る。１つの実施例において、参照ビデオユニットは拡張層における参照ビデオユニットと基本層における参照ビデオユニットの差分から抽出され、そして拡張層における参照ビデオユニットは拡張層重みによって重み付けられ、および基本層における参照ビデオユニットは基本層重みによって重み付けられる。別の実施例において、空間隣接ビデオユニットは拡張層における空間隣接ビデオユニットと基本層における空間隣接ビデオユニットの差分から抽出され、そして拡張層における空間隣接ビデオユニットは拡張層重みによって重み付けられおよび基本層における空間隣接ビデオユニットは基本層重みによって重み付けられる。
[00114]特定の実施例において、エンコーダ２０は、スムージングフィルタを参照ビデオユニットまたは空間隣接ビデオユニットに適用するための予測モードを定義し得る。エンコーダ２０は、速度歪み最適化基準のような特定の基準に適応的にしたがって予測モードを選択し得る。他の実施例において、エンコーダ２０はスムージングフィルタを参照ビデオユニットまたは空間隣接ビデオユニットに適用するためのフラグを定義し得る。こういったフラグは、ビットストリーム内に信号伝達され得、またはビットストリーム内で受信され得、またはビットストリーム内の情報から少なくとも部分的に抽出される。
[00115]例に依存して、ここに記載のいくつかの技術のうちの特定の動作または事象は、異なるシーケンスにおいて実行されることができ、追加されるか、マージされるか、または完全に除外され得る（例えば、記載された動作または事象の全てが技術の実施に必要ではない）ことが認識されるはずである。さらに、特定の例において、動作または事象は、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサを介して、連続的よりむしろ同時に実行され得る。
[00116]１つまたは複数の例において、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装され得る。ソフトウェアに実装される場合、この機能は、コンピュータ可読媒体上に１つまたは複数の命令またはコードとして格納されるか、またはそれらを介して送信され、およびハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、コンピュータ可読記憶媒体を含み得、それはデータ記憶媒体のような実体のある媒体または、例えば、通信プロトコルにしたがって、１つの場所から別の場所へコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体に対応する。この仕方において、コンピュータ可読媒体は一般的に、（１）非一時的な実体のあるコンピュータ可読記憶媒体または（２）信号または搬送波のような通信媒体に対応し得る。データ記憶媒体は、ここに記載された技術の実施のための命令、コードおよび／またはデータ構造を検索するための１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る任意の入手可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[00117]限定ではなく例として、こういったコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光学ディスク記憶装置、磁気ディスク記憶装置、または他の磁気記憶デバイス、フラッシュメモリ、または命令の形式で望ましいプログラムコードまたはデータ構造を格納するために使用可能なおよびコンピュータによってアクセス可能な任意の他の媒体を備えることができる。同様に、任意の接続は適切にコンピュータ可読媒体と呼ばれる。例えば、命令が同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、無線、およびマイクロ波のような無線技術を用いて、ウェブサイト、サーバ、または他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のような無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体とデータ記憶媒体は、接続、搬送波、信号または他の一時的媒体を含まないが、代わりに非一時的で実体のある記憶媒体を対象にしていることが理解されるべきである。ディスク(disk)およびディスク(disc)は、ここで用いられるように、コンパクトディスク（ＣＤ）、レーザ―ディスク（登録商標）、光ディスク、デジタル多目的ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、およびブルーレイディスクを含み、そこにおいて、ディスク(disk)は通常、データを磁気的に再生し、一方、ディスク(disc)は、レーザを用いて光学的にデータを再生する。上記の組合せはまた、コンピュータ可読媒体の範囲に含まれるべきである。
[00118]１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、アプリケーション特定集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価の集積またはディスクリート論理回路のような１つまたは複数のプロセッサによって実行され得る。従って、ここで用いられたような用語「プロセッサ」は、ここに記載された技術の実施に適した前述の構造または任意の他の構造のうちのいずれかを指し得る。さらに、いくつかの観点において、ここに記載された機能は、エンコーディングおよびデコーディングのために構成された、または組み合わされたコーデックに統合された専用のハードウェアおよび／またはソフトウェアモジュール内に提供され得る。同様に、技術は、１つまたは複数の回路または論理エレメント内で十分に実施されるだろう。
[00119]本開示の技術は、無線ハンドセット、集積回路（ＩＣ）またはＩＣのセット（例えば、チップセット）を含む多種多様なデバイスまたは装置に実装され得る。種々の構成要素、モジュール、またはユニットは、開示された技術を実行するように構成されたデバイスの機能的な観点を強調するためにこの開示において説明されるが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上述したとおり、種々のユニットは、コーデックハードウェアユニットに組み合されるか、または適切なソフトウェアおよび／またはファームウェアと連動して、上述されたような１つまたは複数のプロセッサを含む相互に動作可能なハードウェアユニットの収集によって提供され得る。
[00120]様々な例が説明されてきた。これらのおよびその他の例は、下記の請求項の範
囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]
ビデオ情報を符号化するように構成された装置であって、
前記装置は、
前記ビデオ情報の拡張層と対応する基本層の間の差分から抽出された画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納するように構成されたメモリユニットと、
前記メモリユニットと通信するプロセッサであって、
前記プロセッサは、
拡張層重みと基本層重みを決定し、
前記差分ビデオ層に基づく現在のビデオユニットの値と、前記拡張層重みによって重み付けられた前記拡張層におけるビデオユニットの値と、前記基本層重みによって重み付けられた前記基本層におけるビデオユニットの値を決定する、
ように構成される、
プロセッサ、
を備える、
装置。
[Ｃ２]
拡張層重みと基本層重みを前記決定することは、前記拡張層と前記基本層の間の類似性に基づく、Ｃ１に記載の装置。
[Ｃ３]
前記拡張層における前記ビデオユニットは、前記拡張層における参照ビデオユニットであり、および前記基本層における前記ビデオユニットは、前記基本層における参照ビデオユニットである、Ｃ１に記載の装置。
[Ｃ４]
前記現在のビデオユニットは前記差分ビデオ層と関連付けられる差分ビデオユニットであり、および、前記現在のビデオユニットの前記値は、前記差分ビデオ層と関連付けられる差分参照ビデオユニットに基づいて決定され、前記差分参照ビデオユニットは前記重み付けられた拡張層ビデオユニットと前記重み付けられた基本層ビデオユニットの差分から抽出される、Ｃ３に記載の装置。
[Ｃ５]
前記拡張層における前記ビデオユニットは前記拡張層における空間隣接ビデオユニットであり、および前記基本層における前記ビデオユニットは前記基本層における空間隣接ビデオユニットである、Ｃ１に記載の装置。
[Ｃ６]
前記現在のビデオユニットは前記差分ビデオ層と関連付けられる差分ビデオユニットであり、および、前記現在のビデオユニットの前記値は、前記差分ビデオ層と関連付けられる差分空間隣接ビデオユニットに基づいて決定され、前記差分空間隣接ビデオユニットは、前記重み付けられた拡張層ビデオユニットと前記重み付けられた基本層ビデオユニットの差分から抽出される、Ｃ５に記載の装置。
[Ｃ７]
前記プロセッサは、前記現在のビデオユニットに関する予測ユニットを生成することによって前記現在のビデオユニットの値を決定するようにさらに構成される、Ｃ１に記載の装置。
[Ｃ８]
前記プロセッサは、前記差分ビデオ層における参照フレームに基づく画面間予測を用いて、前記現在のビデオユニットの前記値を決定するようにさらに構成される、Ｃ１に記載の装置。
[Ｃ９]
前記プロセッサは、前記差分ビデオ層における空間隣接画素に基づく画面内予測を用いて前記現在のビデオユニットの前記値を決定するようにさらに構成される、Ｃ１に記載の装置。
[Ｃ１０]
前記拡張層重みは前記基本層重みより大きく、および前記拡張層重みは２のべきである、Ｃ１に記載の装置。
[Ｃ１１]
前記現在のビデオユニットの前記値は、Ｗ １ ＊前記拡張層ビデオユニット−Ｗ ０ ＊前記基本層ビデオユニット＋ラウンド値と予測され、ここにおいて、Ｗ １ は前記拡張層重みであり、およびＷ ０ は前記基本層重みである、Ｃ１に記載の装置。
[Ｃ１２]
前記ラウンド値は、ビットストリームにおいて信号伝達されるか、またはビットストリーム内の情報から少なくとも部分的に抽出される、Ｃ１１に記載の装置。
[Ｃ１３]
前記ラウンド値は、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を備えるグループから選択されたシンタックスレベルにおいて符号化される、Ｃ１２に記載の装置。
[Ｃ１４]
前記拡張層重みと前記基本層重みは、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、ブロック、画素、およびサブ画素を備えるグループから選択されたシンタックスレベルにおいて符号化され、および、前記拡張層重みと前記基本層重みは、ルマ成分のみ、クロマ成分のみ、およびルマおよびクロマ成分の任意の組合せを備えるグループから選択された信号成分に関して符号化される、Ｃ１に記載の装置。
[Ｃ１５]
前記現在のビデオユニットは、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を備えるグループから選択される、Ｃ１に記載の装置。
[Ｃ１６]
前記基本層は再構成された基本層である、Ｃ１に記載の装置。
[Ｃ１７]
前記プロセッサは、前記現在のビデオユニットをエンコードするように、およびビットストリームにおいて前記拡張層重みと前記基本層重みを信号伝達するようにさらに構成される、Ｃ１に記載の装置。
[Ｃ１８]
前記プロセッサは、前記現在のビデオユニットをデコードするように、およびビットストリームにおいて前記拡張層重みと前記基本層重みを受信するか、あるいはビットストリーム内の情報から前記拡張層重みと前記基本層重みを少なくとも部分的に抽出するようにさらに構成される、Ｃ１に記載の装置。
[Ｃ１９]
前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、テレフォンハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、ディスプレイデバイス、デジタル・メディア・プレーヤー、ビデオゲームコンソール、およびビデオストリーミングデバイスのうちの１つまたは複数から成るグループから選択される、Ｃ１に記載の装置。
[Ｃ２０]
ビデオ情報を符号化する方法であって、
前記ビデオ情報の拡張層と対応する基本層の間の差分から抽出された画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納することと、
拡張層重みと基本層重みを決定することと、
前記差分ビデオ層に基づく現在のビデオユニットの値と、前記拡張層重みによって重み付けられた前記拡張層におけるビデオユニットの値と、前記基本層重みによって重み付けられた前記基本層におけるビデオユニットの値を決定すること、
を備える方法。
[Ｃ２１]
拡張層重みと基本層重みを前記決定することは、前記拡張層と前記基本層の間の類似性に基づく、Ｃ２０に記載の方法。
[Ｃ２２]
前記拡張層における前記ビデオユニットは、前記拡張層における参照ビデオユニットであり、および前記基本層における前記ビデオユニットは、前記基本層における参照ビデオユニットである、Ｃ２０に記載の方法。
[Ｃ２３]
前記現在のビデオユニットは前記差分ビデオ層と関連付けられる差分ビデオユニットであり、および、前記現在のビデオユニットの前記値は、前記差分ビデオ層と関連付けられる差分参照ビデオユニットに基づいて決定され、前記差分参照ビデオユニットは前記重み付けられた拡張層ビデオユニットと前記重み付けられた基本層ビデオユニットの差分から抽出される、Ｃ２２に記載の方法。
[Ｃ２４]
前記拡張層における前記ビデオユニットは前記拡張層における空間隣接ビデオユニットであり、および前記基本層における前記ビデオユニットは前記基本層における空間隣接ビデオユニットである、Ｃ２０に記載の方法。
[Ｃ２５]
前記現在のビデオユニットは前記差分ビデオ層と関連付けられる差分ビデオユニットであり、および、前記現在のビデオユニットの前記値は、前記差分ビデオ層と関連付けられる差分空間隣接ビデオユニットに基づいて決定され、前記差分空間隣接ビデオユニットは、前記重み付けられた拡張層ビデオユニットと前記重み付けられた基本層ビデオユニットの差分から抽出される、Ｃ２４に記載の方法。
[Ｃ２６]
前記現在のビデオユニットに関する予測ユニットを生成することによって前記現在のビデオユニットの値を決定することをさらに備える、Ｃ２０に記載の方法。
[Ｃ２７]
前記差分ビデオ層における参照フレームに基づく画面間予測を用いて、前記現在のビデオユニットの前記値を決定することをさらに備える、Ｃ２０に記載の方法。
[Ｃ２８]
前記差分ビデオ層における空間隣接画素に基づく画面内予測を用いて前記現在のビデオユニットの前記値を決定することをさらに備える、Ｃ２０に記載の方法。
[Ｃ２９]
前記拡張層重みは前記基本層重みより大きく、および前記拡張層重みは２のべきである、Ｃ２０に記載の方法。
[Ｃ３０]
前記現在のビデオユニットの前記値は、Ｗ １ ＊前記拡張層ビデオユニット−Ｗ ０ ＊前記基本層ビデオユニット＋ラウンド値と予測され、ここにおいて、Ｗ １ は前記拡張層重みであり、およびＷ ０ は前記基本層重みである、Ｃ２０に記載の方法。
[Ｃ３１]
前記ラウンド値は、ビットストリームにおいて信号伝達されるか、またはビットストリーム内の情報から少なくとも部分的に抽出される、Ｃ３０に記載の方法。
[Ｃ３２]
前記ラウンド値は、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を備えるグループから選択されたシンタックスレベルにおいて符号化される、Ｃ３１に記載の方法。
[Ｃ３３]
前記拡張層重みと前記基本層重みは、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、ブロック、画素、およびサブ画素を備えるグループから選択されたシンタックスレベルにおいて符号化され、および、前記拡張層重みと前記基本層重みは、ルマ成分のみ、クロマ成分のみ、およびルマおよびクロマ成分の任意の組合せを備えるグループから選択された信号成分に関して符号化される、Ｃ２０に記載の方法。
[Ｃ３４]
前記現在のビデオユニットは、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を備えるグループから選択される、Ｃ２０に記載の方法。
[Ｃ３５]
前記基本層は再構成された基本層である、Ｃ２０に記載の方法。
[Ｃ３６]
前記現在のビデオユニットをエンコードすることと、ビットストリームにおいて前記拡張層重みと前記基本層重みを信号伝達することをさらに備える、Ｃ２０に記載の方法。
[Ｃ３７]
前記現在のビデオユニットをデコードすることと、ビットストリームにおいて前記拡張層重みと前記基本層重みを受信するか、あるいはビットストリーム内の情報から前記拡張層重みと前記基本層重みを少なくとも部分的に抽出することをさらに備える、Ｃ２０に記載の方法。
[Ｃ３８]
その上に記憶された命令を有するコンピュータ可読記憶媒体であって、前記命令が実行される時、装置に、
前記ビデオ情報の拡張層と対応する基本層の間の差分から抽出された画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納することと、
拡張層重みと基本層重みを決定することと、
前記差分ビデオ層に基づく現在のビデオユニットの値と、前記拡張層重みによって重み付けられた前記拡張層におけるビデオユニットの値と、前記基本層重みによって重み付けられた前記基本層におけるビデオユニットの値を決定すること、
をさせる、
コンピュータ可読記憶媒体。
[Ｃ３９]
拡張層重みと基本層重みを前記決定することは、前記拡張層と前記基本層の間の類似性に基づく、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４０]
前記拡張層における前記ビデオユニットは、前記拡張層における参照ビデオユニットであり、および前記基本層における前記ビデオユニットは、前記基本層における参照ビデオユニットである、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４１]
前記現在のビデオユニットは前記差分ビデオ層と関連付けられる差分ビデオユニットであり、および、前記現在のビデオユニットの前記値は、前記差分ビデオ層と関連付けられる差分参照ビデオユニットに基づいて決定され、前記差分参照ビデオユニットは前記重み付けられた拡張層ビデオユニットと前記重み付けられた基本層ビデオユニットの差分から抽出される、Ｃ４０に記載のコンピュータ可読記憶媒体。
[Ｃ４２]
前記拡張層における前記ビデオユニットは前記拡張層における空間隣接ビデオユニットであり、および前記基本層における前記ビデオユニットは前記基本層における空間隣接ビデオユニットである、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４３]
前記現在のビデオユニットは前記差分ビデオ層と関連付けられる差分ビデオユニットであり、および、前記現在のビデオユニットの前記値は、前記差分ビデオ層と関連付けられる差分空間隣接ビデオユニットに基づいて決定され、前記差分空間隣接ビデオユニットは、前記重み付けられた拡張層ビデオユニットと前記重み付けられた基本層ビデオユニットの差分から抽出される、Ｃ４２に記載のコンピュータ可読記憶媒体。
[Ｃ４４]
前記拡張層重みは前記基本層重みより大きく、および前記拡張層重みは２のべきである、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４５]
前記現在のビデオユニットの前記値は、Ｗ １ ＊前記拡張層ビデオユニット−Ｗ ０ ＊前記基本層ビデオユニット＋ラウンド値と予測され、ここにおいて、Ｗ １ は前記拡張層重みであり、およびＷ ０ は前記基本層重みである、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４６]
ビデオ情報を符号化するように構成された装置であって、
前記装置は、
前記ビデオ情報の拡張層と対応する基本層の間の差分から抽出された画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納するための手段と、
拡張層重みと基本層重みを決定するための手段と、
前記差分ビデオ層に基づく現在のビデオユニットの値と、前記拡張層重みによって重み付けられた前記拡張層におけるビデオユニットの値と、前記基本層重みによって重み付けられた前記基本層におけるビデオユニットの値を決定するための手段、
を備える、
装置。
[Ｃ４７]
拡張層重みと基本層重みを前記決定することは、前記拡張層と前記基本層の間の類似性に基づく、Ｃ４６に記載の装置。
[Ｃ４８]
前記拡張層における前記ビデオユニットは、前記拡張層における参照ビデオユニットであり、および前記基本層における前記ビデオユニットは、前記基本層における参照ビデオユニットである、Ｃ４６に記載の装置。
[Ｃ４９]
前記現在のビデオユニットは前記差分ビデオ層と関連付けられる差分ビデオユニットであり、および、前記現在のビデオユニットの前記値は、前記差分ビデオ層と関連付けられる差分参照ビデオユニットに基づいて決定され、前記差分参照ビデオユニットは前記重み付けられた拡張層ビデオユニットと前記重み付けられた基本層ビデオユニットの差分から抽出される、Ｃ４８に記載の装置。
[Ｃ５０]
前記拡張層における前記ビデオユニットは前記拡張層における空間隣接ビデオユニットであり、および前記基本層における前記ビデオユニットは前記基本層における空間隣接ビデオユニットである、Ｃ４６に記載の装置。
[Ｃ５１]
前記現在のビデオユニットは前記差分ビデオ層と関連付けられる差分ビデオユニットであり、および、前記現在のビデオユニットの前記値は、前記差分ビデオ層と関連付けられる差分空間隣接ビデオユニットに基づいて決定され、前記差分空間隣接ビデオユニットは、前記重み付けられた拡張層ビデオユニットと前記重み付けられた基本層ビデオユニットの差分から抽出される、Ｃ５０に記載の装置。
[Ｃ５２]
前記拡張層重みは前記基本層重みより大きく、および前記拡張層重みは２のべきである、Ｃ４６に記載の装置。
[Ｃ５３]
前記現在のビデオユニットの前記値は、Ｗ １ ＊前記拡張層ビデオユニット−Ｗ ０ ＊前記基本層ビデオユニット＋ラウンド値と予測され、ここにおいて、Ｗ １ は前記拡張層重みであり、およびＷ ０ は前記基本層重みである、Ｃ４６に記載の装置。

Claims (45)

  1. ビデオ情報を符号化するように構成された装置であって、
    前記装置は、
    拡張層と対応する基本層との間の差分から抽出された画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納するように構成されたメモリユニットと、
    前記メモリユニットと通信するプロセッサであって、
    前記プロセッサは、
    前記拡張層と前記基本層との間の時間相関関係または空間相関関係に基づいて拡張層重みと基本層重みを決定し、
    前記差分ビデオ層と関連付けられる差分参照ビデオユニットを用いて前記差分ビデオ層と関連付けられる現在のビデオユニットの予測ユニットを生成する、
    ここにおいて、前記差分参照ビデオユニットは、前記拡張層重みによって重み付けられた前記拡張層における参照ビデオユニットと前記基本層重みによって重み付けられた前記基本層における参照ビデオユニットとの間の差分として決定され、前記拡張層重みは前記基本層重みと異なる、
    ように構成される、
    プロセッサと、
    を備える、装置。
  2. 前記拡張層における前記参照ビデオユニットは、前記拡張層における時間参照ビデオユニットであり、および前記基本層における前記参照ビデオユニットは、前記基本層における時間参照ビデオユニットである、請求項１に記載の装置。
  3. 前記拡張層における前記参照ビデオユニットは、前記拡張層における空間隣接ビデオユニットであり、および前記基本層における前記参照ビデオユニットは、前記基本層における空間隣接ビデオユニットである、請求項１に記載の装置。
  4. 前記プロセッサは、前記現在のビデオユニットに関する前記予測ユニットに基づいて前記現在のビデオユニットを再構成するようにさらに構成される、請求項１に記載の装置。
  5. 前記プロセッサは、前記差分ビデオ層における参照フレームに基づく画面間予測を用いて、前記現在のビデオユニットの前記予測ユニットを生成するようにさらに構成される、請求項１に記載の装置。
  6. 前記プロセッサは、前記差分ビデオ層における空間隣接画素に基づく画面内予測を用いて前記現在のビデオユニットの前記予測ユニットを生成するようにさらに構成される、請求項１に記載の装置。
  7. 前記拡張層重みは前記基本層重みより大きく、および前記拡張層重みは２のべきである、請求項１に記載の装置。
  8. 前記現在のビデオユニットは、Ｗ１＊前記拡張層における前記参照ビデオユニット−Ｗ０＊前記基本層における前記参照ビデオユニット＋ラウンド値と予測され、ここにおいて、Ｗ１は前記拡張層重みであり、およびＷ０は前記基本層重みである、請求項１に記載の装置。
  9. 前記ラウンド値は、ビットストリームにおいて信号伝達されるか、またはビットストリーム内の情報から少なくとも部分的に抽出される、請求項８に記載の装置。
  10. 前記ラウンド値は、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を備えるグループから選択されたシンタックスレベルにおいて符号化される、請求項９に記載の装置。
  11. 前記拡張層重みと前記基本層重みは、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、ブロック、画素、およびサブ画素を備えるグループから選択されたシンタックスレベルにおいて符号化され、および、前記拡張層重みと前記基本層重みは、ルマ成分のみ、クロマ成分のみ、およびルマおよびクロマ成分の任意の組合せを備えるグループから選択された信号成分に関して符号化される、請求項１に記載の装置。
  12. 前記現在のビデオユニットは、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を備えるグループから選択される、請求項１に記載の装置。
  13. 前記基本層は再構成された基本層である、請求項１に記載の装置。
  14. 前記プロセッサは、前記現在のビデオユニットをエンコードするように、およびビットストリームにおいて前記拡張層重みと前記基本層重みを信号伝達するようにさらに構成される、請求項１に記載の装置。
  15. 前記プロセッサは、前記現在のビデオユニットをデコードするように、およびビットストリームにおいて前記拡張層重みと前記基本層重みを受信するか、あるいはビットストリーム内の情報から前記拡張層重みと前記基本層重みを少なくとも部分的に抽出するようにさらに構成される、請求項１に記載の装置。
  16. 前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、テレフォンハンドセット、スマートフォン、無線通信デバイス、スマートパッド、テレビジョン、カメラ、ディスプレイデバイス、デジタル・メディア・プレーヤー、ビデオゲームコンソール、またはビデオストリーミングデバイスのうちの１つまたは複数を備える、請求項１に記載の装置。
  17. ビデオ情報を符号化する方法であって、
    拡張層と対応する基本層との間の差分から抽出された画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納することと、
    前記拡張層と前記基本層との間の時間相関関係または空間相関関係に基づいて拡張層重みと基本層重みを決定することと、
    前記差分ビデオ層と関連付けられる差分参照ビデオユニットを用いて前記差分ビデオ層と関連付けられる現在のビデオユニットの予測ユニットを生成することと、
    ここにおいて、前記差分参照ビデオユニットは、前記拡張層重みによって重み付けられた前記拡張層における参照ビデオユニットと前記基本層重みによって重み付けられた前記基本層における参照ビデオユニットとの間の差分として決定され、前記拡張層重みは前記基本層重みと異なる、
    を備える、方法。
  18. 前記拡張層における前記参照ビデオユニットは、前記拡張層における時間参照ビデオユニットであり、および前記基本層における前記参照ビデオユニットは、前記基本層における時間参照ビデオユニットである、請求項１７に記載の方法。
  19. 前記拡張層における前記参照ビデオユニットは、前記拡張層における空間隣接ビデオユニットであり、および前記基本層における前記参照ビデオユニットは、前記基本層における空間隣接ビデオユニットである、請求項１７に記載の方法。
  20. 前記現在のビデオユニットに関する前記予測ユニットに基づいて前記現在のビデオユニットを再構成することをさらに備える、請求項１７に記載の方法。
  21. 前記現在のビデオユニットの前記予測ユニットは、前記差分ビデオ層における参照フレームに基づく画面間予測を用いて生成される、請求項１７に記載の方法。
  22. 前記現在のビデオユニットの前記予測ユニットは、前記差分ビデオ層における空間隣接画素に基づく画面内予測を用いて生成される、請求項１７に記載の方法。
  23. 前記拡張層重みは前記基本層重みより大きく、および前記拡張層重みは２のべきである、請求項１７に記載の方法。
  24. 前記現在のビデオユニットは、Ｗ１＊前記拡張層における前記参照ビデオユニット−Ｗ０＊前記基本層における前記参照ビデオユニット＋ラウンド値と予測され、ここにおいて、Ｗ１は前記拡張層重みであり、およびＷ０は前記基本層重みである、請求項１７に記載の方法。
  25. 前記ラウンド値は、ビットストリームにおいて信号伝達されるか、またはビットストリーム内の情報から少なくとも部分的に抽出される、請求項２４に記載の方法。
  26. 前記ラウンド値は、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を備えるグループから選択されたシンタックスレベルにおいて符号化される、請求項２５に記載の方法。
  27. 前記拡張層重みと前記基本層重みは、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、ブロック、画素、およびサブ画素を備えるグループから選択されたシンタックスレベルにおいて符号化され、および、前記拡張層重みと前記基本層重みは、ルマ成分のみ、クロマ成分のみ、およびルマおよびクロマ成分の任意の組合せを備えるグループから選択された信号成分に関して符号化される、請求項１７に記載の方法。
  28. 前記現在のビデオユニットは、フレーム、スライス、最大符号化ユニット（ＬＣＵ）、符号化ユニット（ＣＵ）、ブロック、画素、およびサブ画素を備えるグループから選択される、請求項１７に記載の方法。
  29. 前記基本層は再構成された基本層である、請求項１７に記載の方法。
  30. 前記現在のビデオユニットをエンコードすることと、ビットストリームにおいて前記拡張層重みと前記基本層重みを信号伝達することをさらに備える、請求項１７に記載の方法。
  31. 前記現在のビデオユニットをデコードすることと、ビットストリームにおいて前記拡張層重みと前記基本層重みを受信するか、あるいはビットストリーム内の情報から前記拡張層重みと前記基本層重みを少なくとも部分的に抽出することをさらに備える、請求項１７に記載の方法。
  32. その上に記憶された命令を有する非一時的なコンピュータ可読記憶媒体であって、前記命令が実行される時、装置に、
    拡張層と対応する基本層との間の差分から抽出された画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納することと、
    前記拡張層と前記基本層との間の時間相関関係または空間相関関係に基づいて拡張層重みと基本層重みを決定することと、
    前記差分ビデオ層と関連付けられる差分参照ビデオユニットを用いて前記差分ビデオ層と関連付けられる現在のビデオユニットの予測ユニットを生成することと、
    ここにおいて、前記差分参照ビデオユニットは、前記拡張層重みによって重み付けられた前記拡張層における参照ビデオユニットと前記基本層重みによって重み付けられた前記基本層における参照ビデオユニットとの間の差分として決定され、前記拡張層重みは前記基本層重みと異なる、
    をさせる、非一時的なコンピュータ可読記憶媒体。
  33. 前記拡張層における前記参照ビデオユニットは、前記拡張層における時間参照ビデオユニットであり、および前記基本層における前記参照ビデオユニットは、前記基本層における時間参照ビデオユニットである、請求項３２に記載のコンピュータ可読記憶媒体。
  34. 前記拡張層における前記参照ビデオユニットは、前記拡張層における空間隣接ビデオユニットであり、および前記基本層における前記参照ビデオユニットは、前記基本層における空間隣接ビデオユニットである、請求項３２に記載のコンピュータ可読記憶媒体。
  35. 前記拡張層重みは前記基本層重みより大きく、および前記拡張層重みは２のべきである、請求項３２に記載のコンピュータ可読記憶媒体。
  36. 前記現在のビデオユニットは、Ｗ１＊前記拡張層における前記参照ビデオユニット−Ｗ０＊前記基本層における前記参照ビデオユニット＋ラウンド値と予測され、ここにおいて、Ｗ１は前記拡張層重みであり、およびＷ０は前記基本層重みである、請求項３２に記載のコンピュータ可読記憶媒体。
  37. ビデオ情報を符号化するように構成された装置であって、
    前記装置は、
    拡張層と対応する基本層との間の差分から抽出された画素情報の差分ビデオ層と関連付けられる差分ビデオ情報を格納するための手段と、
    前記拡張層と前記基本層との間の時間相関関係または空間相関関係に基づいて拡張層重みと基本層重みを決定するための手段と、
    前記差分ビデオ層と関連付けられる差分参照ビデオユニットを用いて前記差分ビデオ層と関連付けられる現在のビデオユニットの予測ユニットを生成するための手段と、
    ここにおいて、前記差分参照ビデオユニットは、前記拡張層重みによって重み付けられた前記拡張層における参照ビデオユニットと前記基本層重みによって重み付けられた前記基本層における参照ビデオユニットとの間の差分として決定され、前記拡張層重みは前記基本層重みと異なる、
    を備える、装置。
  38. 前記拡張層における前記参照ビデオユニットは、前記拡張層における時間参照ビデオユニットであり、および前記基本層における前記参照ビデオユニットは、前記基本層における時間参照ビデオユニットである、請求項３７に記載の装置。
  39. 前記拡張層における前記参照ビデオユニットは、前記拡張層における空間隣接ビデオユニットであり、および前記基本層における前記参照ビデオユニットは、前記基本層における空間隣接ビデオユニットである、請求項３７に記載の装置。
  40. 前記拡張層重みは前記基本層重みより大きく、および前記拡張層重みは２のべきである、請求項３７に記載の装置。
  41. 前記現在のビデオユニットは、Ｗ１＊前記拡張層における前記参照ビデオユニット−Ｗ０＊前記基本層における前記参照ビデオユニット＋ラウンド値と予測され、ここにおいて、Ｗ１は前記拡張層重みであり、およびＷ０は前記基本層重みである、請求項３７に記載の装置。
  42. 前記装置は無線通信デバイスであり、
    無線通信プロトコルにしたがってエンコードされたビデオデータを受信するように構成された受信機と、前記エンコードされたビデオデータは、前記差分ビデオ層と関連付けられる前記差分ビデオ情報を備える、
    前記無線通信プロトコルにしたがって動作するように構成された送信機と、
    をさらに備える、請求項１に記載の装置。
  43. 前記無線通信デバイスはセルラー電話であり、前記エンコードされたビデオデータは、前記受信機によって受信され、セルラー通信標準にしたがって復調される、請求項４２に記載の装置。
  44. 前記方法は無線通信デバイス上で実行可能であり、
    前記デバイスは、
    ビデオデータを格納するように構成されたメモリと、
    前記メモリに格納された前記ビデオデータを処理するための命令を実行するように構成されたプロセッサと、
    無線通信プロトコルにしたがってエンコードされたビデオデータを受信するように構成された受信機と、前記エンコードされたビデオデータは、前記差分ビデオ層と関連付けられる前記差分ビデオ情報を備える、
    前記無線通信プロトコルにしたがって動作するように構成された送信機と、
    を備える、請求項１７に記載の方法。
  45. 前記無線通信デバイスはセルラー電話であり、前記エンコードされたビデオデータは、前記受信機によって受信され、セルラー通信標準にしたがって復調される、請求項４４に記載の方法。
JP2015521692A 2012-07-09 2013-07-08 適応差分領域空間および時間参照再構成およびスムージング Active JP6193370B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261669545P 2012-07-09 2012-07-09
US61/669,545 2012-07-09
US201261706741P 2012-09-27 2012-09-27
US201261706739P 2012-09-27 2012-09-27
US61/706,741 2012-09-27
US61/706,739 2012-09-27
US13/935,041 US9516309B2 (en) 2012-07-09 2013-07-03 Adaptive difference domain spatial and temporal reference reconstruction and smoothing
US13/935,041 2013-07-03
PCT/US2013/049582 WO2014011555A1 (en) 2012-07-09 2013-07-08 Adaptive difference domain spatial and temporal reference reconstruction and smoothing

Publications (3)

Publication Number Publication Date
JP2015527812A JP2015527812A (ja) 2015-09-17
JP2015527812A5 JP2015527812A5 (ja) 2017-03-09
JP6193370B2 true JP6193370B2 (ja) 2017-09-06

Family

ID=49878503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015521692A Active JP6193370B2 (ja) 2012-07-09 2013-07-08 適応差分領域空間および時間参照再構成およびスムージング

Country Status (5)

Country Link
US (2) US9516309B2 (ja)
EP (1) EP2870756A1 (ja)
JP (1) JP6193370B2 (ja)
CN (1) CN104429072B (ja)
WO (2) WO2014011555A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
MX361767B (es) * 2012-07-09 2018-12-17 Vid Scale Inc Arquitectura de códec para codificación de video de múltiples capas.
US9516309B2 (en) 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing
KR102273025B1 (ko) * 2013-03-06 2021-07-05 삼성전자주식회사 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치
US10182248B2 (en) * 2016-11-21 2019-01-15 Cisco Technology, Inc. Keyframe mitigation for video streams with multiple receivers
CN109121019B (zh) * 2018-09-12 2020-01-17 中国地质大学（武汉） 用于svc-dash点播系统的动态缓存调度方法、设备及存储设备
CN109121020B (zh) * 2018-09-12 2020-01-17 中国地质大学（武汉） 用于svc-dash点播系统的动态缓存调度方法、设备及存储设备
KR20210135502A (ko) 2019-03-08 2021-11-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 변형 정보의 시그널링
CN113692741B (zh) * 2019-04-18 2022-12-13 北京字节跳动网络技术有限公司 跨分量模式中的参数推导
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
KR102641796B1 (ko) 2019-05-08 2024-03-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차-성분 코딩의 적용가능성에 대한 조건들
CN113994697A (zh) 2019-06-22 2022-01-28 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9206860D0 (en) 1992-03-27 1992-05-13 British Telecomm Two-layer video coder
CA2127151A1 (en) 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
WO2001067953A1 (en) * 2000-03-15 2001-09-20 Cardiac Focus, Inc. Continuous localization and guided treatment of cardiac arrhythmias
US7329414B2 (en) * 2002-05-03 2008-02-12 Biopsy Sciences, Llc Biodegradable polymer for marking tissue and sealing tracts
JP2006154756A (ja) * 2004-11-02 2006-06-15 Fujitsu Ten Ltd 映像信号処理方法、映像信号処理装置、及び、表示装置
EP1862013A4 (en) 2005-03-25 2011-06-08 Samsung Electronics Co Ltd VIDEO ENCODING AND DECODING METHOD USING WEIGHTED PREDICTION AND APPARATUS THEREFOR
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US20070014348A1 (en) 2005-04-12 2007-01-18 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
KR100703788B1 (ko) 2005-06-10 2007-04-06 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP2009500086A (ja) * 2005-07-01 2009-01-08 ハンセン メディカル，インク． ロボットガイドカテーテルシステム
US8867618B2 (en) 2005-07-22 2014-10-21 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
EP1949702A2 (en) 2005-10-12 2008-07-30 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US7505810B2 (en) * 2006-06-13 2009-03-17 Rhythmia Medical, Inc. Non-contact cardiac mapping, including preprocessing
KR20080004340A (ko) 2006-07-04 2008-01-09 한국전자통신연구원 영상 데이터의 스케일러블 코딩 방법 및 그 장치
US8130822B2 (en) 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
GB2440004A (en) * 2006-07-10 2008-01-16 Mitsubishi Electric Inf Tech Fine granularity scalability encoding using a prediction signal formed using a weighted combination of the base layer and difference data
US20080033286A1 (en) * 2006-08-02 2008-02-07 Civco Medical Instruments Co., Inc. Fiducial marker for imaging localization and method of using the same
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
CN101702963A (zh) 2007-03-15 2010-05-05 诺基亚公司 用于为视频编码中的空间可伸缩性提供改进的残差预测的系统和方法
BRPI0813122A2 (pt) 2007-07-02 2015-08-04 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo escalonável, aparelhos e programas para os mesmos, e meio de armazenamento que armazena os programas
KR101436671B1 (ko) 2007-10-15 2014-09-02 톰슨 라이센싱 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들
US8848787B2 (en) 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
US9681142B2 (en) * 2009-02-03 2017-06-13 Thomson Licensing Dtv Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
KR101445009B1 (ko) 2009-08-12 2014-09-26 인텔 코오퍼레이션 공통 프로세싱 요소들에 기초하여 비디오 안정화를 수행하고 비디오 샷 경계를 검출하는 기법
US8551083B2 (en) * 2009-11-17 2013-10-08 Bsd Medical Corporation Microwave coagulation applicator and system
CN102883659A (zh) * 2010-01-19 2013-01-16 美敦力阿迪安卢森堡有限公司 通过立体定向放疗用于肾神经调节的方法和设备
ES2856026T3 (es) * 2010-05-03 2021-09-27 Neuwave Medical Inc Sistemas de suministro de energía
US8855188B2 (en) * 2010-07-15 2014-10-07 Sharp Laboratories Of America, Inc. Method of parallel video coding based on mapping
CN103636137A (zh) * 2011-06-30 2014-03-12 维德约股份有限公司 可伸缩视频编码技术
US9655595B2 (en) * 2012-06-14 2017-05-23 Arcitrax Inc. System, method and device for prostate diagnosis and intervention
US9516309B2 (en) 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing

Also Published As

Publication number Publication date
US9516309B2 (en) 2016-12-06
JP2015527812A (ja) 2015-09-17
CN104429072A (zh) 2015-03-18
WO2014011559A1 (en) 2014-01-16
CN104429072B (zh) 2019-03-15
US20140010300A1 (en) 2014-01-09
WO2014011555A1 (en) 2014-01-16
US9854259B2 (en) 2017-12-26
US20140010290A1 (en) 2014-01-09
EP2870756A1 (en) 2015-05-13

Similar Documents

Publication Publication Date Title
JP6193370B2 (ja) 適応差分領域空間および時間参照再構成およびスムージング
JP6903644B2 (ja) ビデオコーディングのために位置依存の予測組合せを使用する改善されたビデオイントラ予測
JP6293756B2 (ja) スケーラブルビデオ符号化における変換基準の調整
JP6042470B2 (ja) ビデオコーディングのための適応動き解像度
JP6250678B2 (ja) スケーラブル映像コーディングに関するイントラ予測改良
EP2893704B1 (en) Weighted prediction mode for scalable video coding
JP6129969B2 (ja) スケーラブルビデオコード化における代替変換
JP6352314B2 (ja) 異なるアスペクト比を伴う空間スケーラビリティのためのレイヤ間の参照ピクチャの構築
JP2015531561A5 (ja)
US9584805B2 (en) Prediction mode information downsampling in enhanced layer coding
KR102182441B1 (ko) 비디오 코딩에서 ｈｅｖｃ 확장들을 위한 다중 계층들의 저복잡도 지원
JP6239612B2 (ja) スケーラブル映像コーディング及び３ｄ映像コーディングに関する一般化された残差予測
JP2017513342A (ja) ゼロアウトされた係数を使用した低複雑な順変換のためのシステムおよび方法
US20140064359A1 (en) Intra prediction most probable mode order improvement for scalable video coding
JP6199371B2 (ja) ビデオ・コーディングのためのインタ・レイヤ・テクスチャ予測
JP2015534775A (ja) ビデオコーディングにおける関心領域および漸次復号リフレッシュのシグナリング
JP6352391B2 (ja) Ｓｈｖｃのための複数のベースレイヤ参照ピクチャ
US9338452B2 (en) Motion vector difference coding extension for enhancement layer
WO2013184810A1 (en) Bi-layer texture prediction for video coding
EP2883347A1 (en) Weighted difference prediction under the framework of generalized residual prediction
JP2016509436A (ja) レイヤ間シンタックス予測制御
JP6466349B2 (ja) スケーラブルビデオコーディングのための空間動きベクトルスケーリング
US9386306B2 (en) Enhancement layer scan order derivation for scalable video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170123

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170809

R150 Certificate of patent or registration of utility model

Ref document number: 6193370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250