JP6060394B2 - クロスレイヤー・クロスチャネル残差予測 - Google Patents

クロスレイヤー・クロスチャネル残差予測 Download PDF

Info

Publication number
JP6060394B2
JP6060394B2 JP2015517579A JP2015517579A JP6060394B2 JP 6060394 B2 JP6060394 B2 JP 6060394B2 JP 2015517579 A JP2015517579 A JP 2015517579A JP 2015517579 A JP2015517579 A JP 2015517579A JP 6060394 B2 JP6060394 B2 JP 6060394B2
Authority
JP
Japan
Prior art keywords
channel
target
layer
prediction residual
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015517579A
Other languages
English (en)
Other versions
JP2015524219A (ja
Inventor
シュ、リドン
ハン、ユ
ザン、ウェンハオ
チウ、イ−ジェン
ジャン、ホン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2015524219A publication Critical patent/JP2015524219A/ja
Application granted granted Critical
Publication of JP6060394B2 publication Critical patent/JP6060394B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

ビデオエンコーダは、任意の帯域幅でより多くの情報が送信され得るようにビデオ情報を圧縮する。その後、圧縮された信号は、表示の前にその信号をデコードまたは解凍する受信機へ送信され得る。
Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）は、２０１２年の末までに完成される予定の新たなビデオ圧縮規格である。ＨＥＶＣは、ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とにより構成されるＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）により現在開発されている。同チームは、ＨＥＶＣ規格のＳｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ）拡張も規格化するであろう。
現在のＨＥＶＣの仕様において、ピクチャは、Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ（ＬＣＵ）の単位でコーディングされる。ＬＣＵは、１２８×１２８ブロック、６４×６４ブロック、３２×３２ブロック、または１６×１６ブロックであり得る。ＬＣＵは直接エンコードされ得、または、次のレベルのエンコードのために４つのコーディングユニット（ＣＵ）に分割され得る。あるレベルのＣＵは直接エンコードされ得、または次のレベルのエンコードのためにさらに分割され得る。最小のＣＵは８×８である。
一般的に、各レベルにおいて、サイズが２Ｎ×２ＮであるＣＵは、予測のために異なるサイズの複数の予測ユニット（ＰＵ）の分割され得る。イントラコーディングでは、２Ｎ×２Ｎ ＣＵは、１つの２Ｎ×２Ｎ ＰＵ、または４つのＮ×Ｎ ＰＵにエンコードされ得る。インターコーディングでは、２Ｎ×２Ｎ ＣＵは１つの２Ｎ×２Ｎ ＰＵ、２つの２Ｎ×Ｎ ＰＵ、２つのＮ×２Ｎ ＰＵ、０．５Ｎ×２Ｎ ＰＵ＋１．５Ｎ×２Ｎ ＰＵ、１．５Ｎ×２Ｎ ＰＵ＋０．５Ｎ×２Ｎ ＰＵ、２Ｎ×０．５Ｎ ＰＵ＋２Ｎ×１．５Ｎ ＰＵ、２Ｎ×１．５Ｎ ＰＵ＋２Ｎ×０．５Ｎ ＰＵ、または４つのＮ×Ｎ ＰＵにエンコードされ得る。
非グレーピクチャにおいて、ピクチャは、３つのチャネルのデータ、つまり、ルマチャネルＹ、および２つのクロマチャネルＵ、Ｖからなる。対応して、ＰＵは、１つのルマブロックＹ、２つのクロマブロックＵ、Ｖからなる。
ＨＥＶＣエンコーダにおいて、イントラ予測（フレーム内予測モジュール）またはインター予測（動き推定および動き補正モジュール）が実行された後に、入力されるＰＵと予測されるＰＵとの間の差に対応する予測残差が、エントロピーコーディングのために変換および量子化される。ＰＵがイントラコーディングモードでエンコードされる場合、ＤＣ予測、平面予測、水平予測、垂直予測、およびその他を含む異なるイントラ予測モードが適用され得る。
ＨＥＶＣの主要部分の規格化が完了に近づくにつれ、ＪＣＴ−ＶＣは、Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ）拡張をＨＥＶＣ規格に加える計画を始めた。ＳＶＣは、現代のビデオサービス環境におけるネットワークおよびデバイスの不均質性に対処するための重要な課題である。ＳＶＣビットストリームは、それら自身がデコードされ得るいくつかのサブセットのビットストリームを含み、これらのサブストリームは、異なる解像度、フレームレート、品質、ビット深さ、およびその他を有するソースビデオコンテンツを表する。拡張可能性は、マルチレイヤーコーディング構造を用いることにより達成される。一般的にＳＶＣシステムには、１つのベースレイヤーおよびいくつかのエンハンスメントレイヤーが典型的にはある。
本明細書において説明される素材は、添付の図面において限定ではなく例として示されている。図示を単純かつ明確にすべく、図面において示される要素は、必ずしも縮尺通りに描写されていない。例えば、いくつかの要素の寸法は、明確にすべく他の要素と比較して誇張されているかもしれない。さらに、適切であると見なされた場合、対応する、または類似の要素を示すべく、複数の図面間で参照ラベルが繰り返されている。
例示的なビデオコーディングシステムを示す図である。
例示的なビデオコーディングプロセスを示すフローチャートである。
オペレーション中の例示的なビデオコーディングプロセスを示す図である。
例示的なクロスレイヤー・クロスチャネル残差予測スキームを示す図である。
更なる例示的なクロスレイヤー・クロスチャネル残差予測スキームを示す図である。
また更なる例示的なクロスレイヤー・クロスチャネル残差予測スキームを示す図である。
例示的なビデオコーディングシステムを示す図である。
例示的なシステムを示す図である。
全てが本開示の少なくともいくつかの実施例に従って構成された例示的なシステムを示す図である。
添付の図面を参照して、１または複数の実施形態または実施例を説明する。特定の設定および構成が説明されるが、これは例示のみを目的とされていることが理解されるべきである。当業者は、本説明の思想および態様から逸脱することなく他の設定および構成が採用され得ることを認識されよう。当業者には、本明細書において説明される技術および／または構成が、本明細書において説明される以外の他の様々なシステムおよびアプリケーションにおいても採用され得ることが明らかであろう。
以下の説明は、例えばシステムオンチップ（ＳｏＣ）アーキテクチャなどのアーキテクチャで実現され得る様々な実施例を明らかにするが、本明細書において説明される技術および／または構成の実施例は特定のアーキテクチャおよび／またはコンピューティングシステムに限定されず、同様の目的で任意のアーキテクチャおよび／またはコンピューティングシステムで実装され得る。例えば、複数の集積回路（ＩＣ）チップおよび／またはパッケージ、並びに／若しくは、様々なコンピューティングデバイス、および／またはセットトップボックス、スマートフォン、その他など消費者電子（ＣＥ）デバイスを例えば採用する様々なアーキテクチャが、本明細書において説明される技術および／または構成を実装し得る。さらに、以下の説明は、ロジック実装、システムコンポーネントのタイプおよび相互関係、ロジック区分／統合の選択、その他など多数の特定の詳細を明らかにするかもしれないが、特許請求される主題は、そのような特定の詳細なしでも実施され得る。他の例においては、本明細書において開示される素材を曖昧にしないよう、例えば制御構造および完全なソフトウェア命令シーケンスなど何らかの素材が詳細には示されていないかもしれない。
本明細書において開示される素材は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの何らかの組み合わせにより実装され得る。本明細書において開示される素材は、１または複数のプロセッサによって読み取られ実行され得る、マシン可読媒体に格納された命令としても実装され得る。マシン可読媒体は、マシン（例えば、コンピューティングデバイス）により読み取り可能な形態で情報を格納または送信するための何らかの媒体および／またはメカニズムを含み得る。例えば、マシン可読媒体は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電子、光、音響、または他の形態の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号、その他）、およびその他を含み得る。
本明細書において「一実施例」、「実施例」、「例示的な実施例」、その他について言及した場合、その説明される実施例が、特定の特徴、構造、または特性を含み得ることを示すが、あらゆる実施例がその特定の特徴、構造、または特性を必ずしも含まないかもしれない。さらに、そのようなフレーズは、必ずしも同じ実施例について言及しているとは限らない。さらに、特定の特徴、構造、または特性が実施例に関連して説明された場合、本明細書において明示的に説明されていようとされていなかろうと、他の実施例に関連してそのような特徴、構造、または特性を実現することは当業者の知識の範囲に含まれるものである。
クロスレイヤー・クロスチャネル残差予測を含むビデオコーディングのためのオペレーションを含む、システム、装置、物品、および方法が後述される。
上述したように、スケーラブルビデオコーディングにおいて、まずベースレイヤーが、その後、エンハンスメントレイヤーがエンコードされ得る。クロスレイヤー予測において、ベースレイヤーの情報が、エンハンスメントレイヤーをエンコードするために用いられ得る。入力されたビデオシーケンスがカラーフォーマットである場合、当該ビデオシーケンスは、３つのカラーチャネル、つまり、１つのルマチャネルＹおよび２つのクロマチャネルＵ、Ｖを有するであろう。典型的には、これら３つのチャネルは、エントロピーコーディングのために別々に予測、変換、および量子化され得る。
しかし、以下により詳細に説明されるように、これら３つのチャネルは完全に相関性がないのではない。さらに、これら３つのチャネルのいずれか２つが同じ予測タイプおよび／または同じ予測モードを用いる場合、これら２つのチャネルの予測残差は依然として強い相関性を有し得る。したがって、クロスレイヤー・クロスチャネル残差予測が、エンハンスメントレイヤーにおけるコーディングの効率性を改善するべく利用され得る。
図１は、本開示の少なくともいくつかの実施例に従って構成された、例示的なビデオコーディングシステム１００を示す図である。様々な実施例において、ビデオコーディングシステム１００は、１または複数の高度なビデオコーデック規格に従ってビデオコーディングを実行し、および／またはビデオコーデックを実装するよう構成され得る。そのようなビデオコーデック規格としては、例えば、ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とにより形成されるＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって開発されているＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）Ｈ．２６５ビデオ圧縮規格がある。さらに、様々な実施形態において、ビデオコーディングシステム１００は、イメージプロセッサ、ビデオプロセッサ、および／または、メディアプロセッサの一部として実装され得、本開示に従って、クロスチャネル残差予測を含む、インター予測、イントラ予測、予測コーディング、および／または残差予測を実行し得る。
本明細書において用いられる「コーダ」という用語は、エンコーダおよび／またはデコーダを指し得る。同様に、本明細書において用いられる「コーディング」という用語は、エンコーダを介したエンコード、および／またはデコーダを介したデコードを指し得る。例えば、ビデオエンコーダ１０３およびビデオデコーダ１０５は両方とも、コーディング可能なコーダの例であり得る。
いくつかの例において、ビデオコーディングシステム１００は、明確化を目的として図１に示されていない追加のアイテムを含み得る。例えば、ビデオコーディングシステム１００はプロセッサ、無線周波数タイプ（ＲＦ）トランシーバ、ディスプレイ、および／またはアンテナを含み得る。さらに、ビデオコーディングシステム１００は、明確化を目的として図１に示されていないスピーカ、マイク、加速度計、メモリ、ルータ、ネットワークインタフェースロジック、その他など追加のアイテムを含み得る。
いくつかの例において、ビデオコーディングシステム１００はＳＶＣオペレーションを実行し得る。例えば、２つの空間解像度レイヤー（例えば、ベースレイヤー１０１'およびエンハンスメントレイヤー１０１）が示されている。しかし任意の数のエンハンスメントレイヤーがベースレイヤー１０１'に加えて利用され得る。ベースレイヤー１０１'は、ＨＥＶＣ互換性のエンコーダを介してプロセスが行われ得る。ベースレイヤーに関連する情報（例えば、予測モード、再構成されたピクセル、およびその他など）が、エンハンスメントレイヤー１０１のコーディングのために用いられ得る。
例えば、エンハンスメントレイヤー１０１におけるビデオコーディングシステム１００のオペレーションの間、現在のビデオ情報が、ビデオデータのフレームの形態で内部ビット深さ拡張モジュール１０２へ提供され得る。現在のビデオフレームは、モジュール１０４においてＬａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ（ＬＣＵ）に分割され、その後、残差予測モジュール１０６に渡され得る。残差予測モジュール１０６の出力は、変換および量子化モジュール１０８により公知のビデオ変換および量子化プロセスを受け得る。変換および量子化モジュール１０８の出力は、エントロピーコーディングモジュール１０９、並びに非量子化および逆変換モジュール１１０へ提供され得る。非量子化および逆変換モジュール１１０は、変換および量子化モジュール１０８により実行されたオペレーションの逆を実施して、残差予測モジュール１０６の出力を残差再構成モジュール１１２へ提供し得る。当業者は、本明細書において説明される変換および量子化モジュール、並びに非量子化および逆変換モジュールがスケーリング技術を採用し得ることを認識し得る。残差再構成モジュール１１２の出力は残差予測モジュール１０６へフィードバックされ得、デブロックフィルタ１１４と、サンプル適応型オフセットフィルタ１１６と、適応型ループフィルタ１１８と、バッファ１２０と、動き推定モジュール１２２と、動き補正モジュール１２４と、フレーム内予測モジュール１２６とを含むループへも提供され得る図１に示されるように、動き補正モジュール１２４とフレーム内予測モジュール１２６とのうちいずれかの出力は、デブロックフィルタ１１４への入力として残差予測モジュール１０６の出力と組み合わせられ、残差予測モジュール１０６への入力として役割を果たすべくＬＣＵ分割モジュール１０４の出力との差が算出され得る。
同様に、ベースレイヤー１０１'上でのビデオコーディングシステム１００のオペレーションの間、現在のビデオ情報は、ビデオデータのフレームの形態で空間デシメーションまたはビット深さ縮小モジュール１０３へ提供され得る。現在のビデオフレームは、モジュール１０４'においてＬａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ（ＬＣＵ）に分割され得、その後、変換および量子化モジュール１０８'へ渡され得る。変換および量子化モジュール１０８'は、公知のビデオ変換および量子化プロセスを実行し得る。変換および量子化モジュール１０８'の出力は、エントロピーコーディングモジュール１０９'、並びに非量子化および逆変換モジュール１１０'へ提供され得る。非量子化および逆変換モジュール１１０'は、変換および量子化モジュール１０８'により実行されるオペレーションの逆を実施して、ＬＣＵモジュール１０４'の出力を残差再構成モジュール１１２'へ提供し得、デブロックフィルタ１１４'と、サンプル適応型オフセットフィルタ１１６'と、適応型ループフィルタ１１８'と、バッファ１２０'と、動き推定モジュール１２２'と、動き補正モジュール１２４'と、フレーム内予測モジュール１２６'とを含むループへも提供され得る。当業者は、本明細書において説明される変換および量子化モジュール、並びに非量子化および逆変換モジュールがスケーリング技術を採用し得ることを認識し得る。残差再構成モジュール１１２'の出力は残差予測モジュール１０６（例えば、ベースレイヤー１０１'とは対照的に、残差予測モジュール１０６がエンハンスメントレイヤー１０１の処理のために利用される）へフィードバックされ得、また、デブロックフィルタ１１４と、サンプル適応型オフセットフィルタ１１６と、適応型ループフィルタ１１８と、バッファ１２０と、動き推定モジュール１２２と、動き補正モジュール１２４と、フレーム内予測モジュール１２６と（例えば、ベースレイヤー１０１'とは対照的に、これらのモジュールがエンハンスメントレイヤー１０１の処理のために利用される）を含むループに提供され得る。図１に示されるように、動き補正モジュール１２４'とフレーム内予測モジュール１２６'とのうちいずれかの出力は、デブロックフィルタ１１４'への入力として非量子化および逆変換モジュール１１０'の出力と組み合わせられ、変換および量子化モジュール１０８'への入力として役割を果たすべくＬＣＵ分割モジュール１０４の出力との差が算出され得る。
より詳細に以下に説明されるように、残差予測モジュール１０６は、残差再構成モジュール１１２と協同して動作して、本開示に係るクロスレイヤー・クロスチャネル残差予測を提供し得る。様々な実施例において、残差予測モジュール１０６は、ビデオデータの１つのチャネルに関して予測残差を生成するために用いられ得、残差再構成モジュール１１２は、当該チャネルの予測残差を、ビデオデータの他のレイヤーおよび／または他のチャネルに関する予測残差の生成において残差予測モジュール１０６が用いるために再構成し得る。例えば、残差予測モジュール１０６は、予測ユニット（ＰＵ）のベースレイヤー１０１'輝度（ルマ）チャネルの残差再構成モジュール１１２'からの再構成された残差を用いて、ＰＵのエンハンスメントレイヤー１０１色度（クロマ）チャネルに関する予測残差を生成し得る。また、他の例として、残差予測モジュール１０６は、ＰＵのエンハンスメントレイヤー１０１ルマチャネルの残差再構成モジュール１１２からの再構成された残差を用いてＰＵのエンハンスメントレイヤークロマチャネルに関する予測残差を生成し得る。
一般的に、ターゲットチャネルに対してプロセスを行う際に、他のレイヤーにおけるいずれかのチャネル、またはターゲットチャネルと同じレイヤーにおける他のチャネルが同じ予測タイプおよび／または同じ予測モードを用いる場合、２つのチャネルの予測残差の間に相関性が生じる可能性がある。したがって、本明細書において説明されるクロスレイヤー・クロスチャネル残差予測技術を採用することにより、冗長な情報の取り除きが促され、より高いビデオコーディング効率性を可能とし得る。
様々な実施例において、残差予測は予測残差に対して実行され得、結果として得られる最初の予測残差と予測残差との間の二次予測残差が変換および量子化され得る。本開示に係るクロスレイヤー・クロスチャネル残差予測技術において、第１のチャネル（Ａ）の残差が第２のチャネル（Ｂ）の残差から予測される場合、残差予測モジュール１０６により生成されるチャネルＢの残差はまず、変換および量子化モジュール１０８によりエンコード（例えば変換および量子化）され、その後、非量子化および逆変換モジュール１１０並びに残差再構成モジュール１１２により再構成され得、その後、チャネルＢの再構成された残差は、続けてチャネルＡの残差を予測すべく残差予測モジュール１０６により用いられ得る。
より詳細に以下に説明されるように、ビデオコーディングシステム１００は、図２および／または３に関連して以下に説明される様々な機能のいくつかまたは全てを実行するために用いられ得る。
図２は、本開示の少なくともいくつかの実施例に従って構成された例示的なビデオコーディングプロセス２００を図示するフローチャートである。図示される実施例において、プロセス２００は、ブロック２０２および／または２０４のうち１または複数により図示される１または複数のオペレーション、機能、またはアクションを含み得る。非限定的な例として、プロセス２００は、図１および／または７の例示的なビデオコーディングシステム１００を参照して本明細書において説明される。
プロセス２００は、クロスレイヤー・クロスチャネル残差予測のための、コンピュータで実施される方法として利用され得る。プロセス２００は、ブロック２０２「ビデオデータの参照レイヤーにおける参照チャネルに関して参照予測残差を決定」において開始され得、ここで参照予測残差が、ビデオデータの参照レイヤーにおける参照チャネルに関して決定され得る。例えば、参照予測残差が、ビデオコーダを介して、ビデオデータの参照レイヤーにおける参照チャネルに関して決定され得る。
処理はオペレーション２０２からオペレーション２０４「ターゲット予測残差に少なくとも部分的に基づいて第２レイヤーにおけるターゲットチャネルに関してターゲット予測残差を決定」に続き、ここで、ターゲット予測残差が、参照予測残差に少なくとも部分的に基づいてターゲットレイヤーにおけるターゲットチャネルに関して決定され得る。例えば、ターゲット予測残差が、ビデオコーダを介して、参照予測残差に少なくとも部分的に基づいてターゲットレイヤーにおけるターゲットチャネルに関して決定され得る。そのような決定は、クロスレイヤー・クロスチャネル予測を介して行われ得る。いくつかの例において、ターゲットレイヤーは、参照レイヤーより上位のレイヤーであり得、および／または、ターゲットチャネルは参照チャネルとは異なるチャネルであり得る。
オペレーションにおいて、ターゲットレイヤーは参照レイヤーより上位のレイヤーであり得、および／または、ターゲットチャネルは、参照レイヤーとは異なるチャネルであり得る。例えば、参照レイヤーがベースレイヤーを含む場合、ターゲットレイヤーは、エンハンスメントレイヤーを含み得、参照レイヤーがエンハンスメントレイヤーを含む場合、ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み得る。追加的または代替的に、参照チャネルがルマチャネルを含む場合、ターゲットチャネルはクロマチャネルを含み得、参照チャネルがクロマチャネルを含む場合、ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み得る。
プロセス２００に関するいくつかの追加的および／または代替的な詳細は、図３に関してより詳細に以下に説明される実施例の１または複数の例において示され得る。
図３は、本開示の少なくともいくつかの実施例に従って構成された、オペレーションにおける例示的なビデオコーディングシステム１００およびビデオコーディングプロセス３００を示す図である。示される実施例において、プロセス３００は、アクション３１２、３１４、３１６、３１８、３２０、３２２および／または３２４のうち１または複数により示される１または複数のオペレーション、機能、またはアクションを含み得る。非限定的な例として、プロセス３００は、図１および／または７の例示的なビデオコーディングシステム１００を参照して本明細書において説明される。
示される実施例において、ビデオコーディングシステム１００は、ロジックモジュール３０６など、および／またはこれらの組み合わせを含み得る。例えば、ロジックモジュール３０６は、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８、残差予測ロジックモジュール３１０など、および／またはこれらの組み合わせを含み得る。ビデオコーディングシステム１００のクロスレイヤー・クロスチャネル予測ロジックモジュール３０８は、ビデオデータの参照レイヤーにおける参照チャネルに関して参照予測残差を決定し、クロスレイヤー・クロスチャネル予測を介して、参照予測残差に少なくとも部分的に基づいて、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を決定するよう構成され得る。ターゲットレイヤーは参照レイヤーより上位のレイヤーであり得、ターゲットチャネルは参照チャネルとは異なるチャネルであり得る。ビデオコーディングシステム１００の残差再構成ロジックモジュール３１０は、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８と通信可能に結合され得、決定されたターゲット予測残差に少なくとも部分的に基づいてターゲット残差を再構成するよう構成され得る。図３に示されるようにビデオコーディングシステム１００は、特定のモジュールに関連付けられた１つの特定のブロック群またはアクション群を含み得るが、これらのブロックまたはアクションは、ここで示される特定のモジュールとは異なるモジュールに関連付けられ得る。
プロセス３００は、クロスレイヤー・クロスチャネル残差予測のための、コンピュータで実施される方法として利用され得る。プロセス３００はブロック３１２「ビデオデータの参照レイヤーにおける参照チャネルに関して参照予測残差を決定」において開始し得、ここで参照予測残差が、ビデオデータの参照レイヤーにおける参照チャネルに関して決定され得る。例えば、参照予測残差が、ビデオコーダを介して、ビデオデータの参照レイヤーにおける参照チャネルに関して決定され得る。
処理はオペレーション３１２からオペレーション３１４「参照予測残差に基づいて参照残差を再構成」に続き、ここで参照残差が、参照予測残差に少なくとも部分的に基づいて構成され得る。例えば、参照残差が、残差予測ロジックモジュール３１０を介して、参照予測残差に少なくとも部分的に基づいて構成され得る。
処理はオペレーション３１４からオペレーション３１６「更なる参照チャネルおよび／または更なる参照レイヤーに関して更なる参照予測残差を決定」に続き、ここで、更なる参照予測残差が、更なる参照チャネルおよび／または更なる参照レイヤーに関して決定され得る。例えば、更なる参照予測残差が、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８を介して、更なる参照チャネルおよび／または更なる参照レイヤーに関して決定され得る。
処理はオペレーション３１６からオペレーション３１８「更なる参照予測残差に基づき更なる参照残差を再構成」に続き、ここで、更なる参照残差が、更なる参照予測残差に少なくとも部分的に基づいて構成され得る。例えば、更なる参照残差が、残差予測ロジックモジュール３１０を介して、更なる参照予測残差に少なくとも部分的に基づいて構成され得る。
処理はオペレーション３１８からオペレーション３２０「参照予測残差を二次残差から一次残差へ変換」に続き、ここで、二次残差からの参照予測残差が、二次残差から一次残差へ変換され得る。例えば、二次残差からの参照予測残差が、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８を介して、二次残差から一次残差へ変換され得る。
処理はオペレーション３１４、３１８および／または３２０からオペレーション３２２「ターゲットレイヤーにおけるターゲットチャネルに関してターゲット予測残差を決定」に続き、ここで、ターゲット予測残差が決定され得る。例えば、ターゲット予測残差が、ビデオコーダを介して、ターゲットレイヤーにおけるターゲットチャネルに関して決定され得る。そのような決定は、クロスレイヤー・クロスチャネル予測を介して行われ得る。いくつかの例において、ターゲットレイヤーは参照レイヤーより上位のレイヤーであり得、および／または、ターゲットチャネルは参照チャネルとは異なるチャネルであり得る。
いくつかの例において、ターゲットレイヤーは参照レイヤーおよび／または更なる参照レイヤーより上位のレイヤーであり得、並びに／若しくは、ターゲットチャネルは参照レイヤーおよび／または更なる参照レイヤーとは異なるチャネルであり得る。例えば、参照レイヤーがベースレイヤーを含む場合、ターゲットレイヤーはエンハンスメントレイヤーを含み得、参照レイヤーがエンハンスメントレイヤーを含む場合、ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み得る。追加的または代替的に、参照チャネルがルマチャネルを含む場合、ターゲットチャネルはクロマチャネルを含み得、参照チャネルがクロマチャネルを含む場合、ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み得る。
同様に、ターゲットレイヤーは更なる参照レイヤーより上位のレイヤーであり得、および／または、ターゲットチャネルは更なる参照レイヤーとは異なるチャネルであり得る。例えば、更なる参照レイヤーがベースレイヤーを含む場合、ターゲットレイヤーはエンハンスメントレイヤーを含み得、更なる参照レイヤーがエンハンスメントレイヤーを含む場合、ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み得る。追加的または代替的に、更なる参照チャネルがルマチャネルを含む場合、ターゲットチャネルはクロマチャネルを含み得、更なる参照チャネルがクロマチャネルを含む場合、ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み得る。
処理がオペレーション３１４からオペレーション３２２に続く例において、ターゲット予測残差は、オペレーション３１２において決定されオペレーション３１４において再構成される参照予測残差に少なくとも部分的に基づいて決定され得る。オペレーション３２２に関するいくつかの追加的および／または代替的な詳細は、図４に関してより詳細に以下に説明される実施例のうち１または複数の例において示され得る。
処理がオペレーション３１８からオペレーション３２２に続く例において、ターゲット予測残差は、オペレーション３１６において決定されオペレーション３１８において再構成される更なる参照予測残差に少なくとも部分的に基づいて決定され得る。代替的に、ターゲット予測残差は、（オペレーション３１２において決定されオペレーション３１４において再構成される）参照予測残差に加えて、（オペレーション３１６において決定されオペレーション３１８において再構成される）更なる参照予測残差に少なくとも部分的に基づいて決定され得る。例えば、ビデオコーダを介しての、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差の決定は、参照予測残差に加えて更なる参照予測残差に少なくとも部分的に基づき得る。オペレーション３２２に関するいくつかの追加的および／または代替的な詳細は、図５に関してより詳細に以下に説明される実施例の１または複数の例において示され得る。
処理がオペレーション３２０からオペレーション３２２に続く例において、ターゲット予測残差は、二次残差から変換された一次残差に少なくとも部分的に基づいて決定され得る。例えば、ビデオコーダは、参照予測残差に少なくとも部分的に基づいて、更なる参照予測残差の二次タイプ参照予測残差から一次タイプ参照予測残差を再構成し得る。ビデオコーダを介しての、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差の決定は、更なる参照予測残差の再構成された一次タイプ参照予測残差に少なくとも部分的に基づき得る。オペレーション３２２に関するいくつかの追加的および／または代替的な詳細は、図６に関してより詳細に以下に説明される実施例の１または複数の例において示され得る。
処理はオペレーション３２２からオペレーション３２４「ターゲット予測残差に基づいてターゲット残差を再構成」に続き、ここで、ターゲット残差が、ターゲット予測残差に基づいて再構成され得る。例えば、ターゲット残差が、残差予測ロジックモジュール３１０を介してターゲット予測残差に基づいて再構成され得る。
オペレーションにおいて、プロセス３００（および／またはプロセス２００）は、ターゲット予測残差の決定が線形関係モデルまたは非線形関係モデルを適用することを含み得るようにオペレーションを行い得る。例えば、ターゲット予測残差の決定は、線形関係モデルと非線形関係モデルとのうち一方を適応的に適用することを含み得る。いくつかの例において、そのような線形関係モデルまたは非線形関係モデルは、エンコードモードに応じて適応的に適用され得る。例えば、プロセス３００は異なる関係モデルを異なるエンコードモードに適用し得る。例えば、インターコーディングモードと比較して異なる関係モデルが、イントラコーディングモードのために用いられ得る。同様に、異なる関係モデルが異なるブロックサイズのために用いられ得る。同様に、異なる関係モデルが異なるイントラ予測モードのために用いられ得る。
追加的または代替的に、プロセス３００は異なるモデルパラメータ生成スキームを異なるエンコードモードに適用し得る。例えば、インターコーディングモードと比較して異なるモデルパラメータ生成スキームが、イントラコーディングモードのために用いられ得る。同様に、異なるモデルパラメータ生成スキームが、異なるブロックサイズのために用いられ得る。同様に異なるモデルパラメータ生成スキームが、異なるイントラ予測モードのために用いられ得る。
いくつかの例において、モデルパラメータは、同じレイヤーにおける他のモデルパラメータから適応的に生成され得る。いくつかの例において、エンハンスメントレイヤーのモデルパラメータは、ベースレイヤーモデルパラメータから適応的に生成され得る。いくつかの例において、より上位のレイヤーのモデルパラメータが、より下位のレイヤーのモデルパラメータから適応的に生成され得る。いくつかの例において、残差予測モデルパラメータは、サンプル予測モデルパラメータから適応的に生成され得る。
追加的または代替的に、そのような線形関係モデルまたは非線形関係モデルは、ブロックサイズに応じて適応的に適用され得る。追加的または代替的に、そのような線形関係モデルまたは非線形関係モデルは、ブロック単位で（例えば、ＣＵまたはＰＵのブロックとして）適応的に適用され得る。例えば、ピクチャはＬａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ（ＬＣＵ）の単位でコーディングされ得る。ＬＣＵは、１２８×１２８ブロック、６４×６４ブロック、３２×３２ブロック、または１６×１６ブロックであり得る。ＬＣＵは直接エンコードされ得、または、次のレベルのエンコードのために４つのコーディングユニット（ＣＵ）に分割され得る。あるレベルのＣＵのために、ＬＣＵは直接エンコードされ得、またはエンコードのために次のレベルにさらに分割され得る。最小のＣＵは８×８ブロックである。同様に各レベルにおいて、サイズが２Ｎ×２ＮであるＣＵは、予測のために予測ユニット（ＰＵ）の異なるサイズに分割され得る。イントラコーディングのために、２Ｎ×２Ｎ ＣＵは１つの２Ｎ×２Ｎ ＰＵまたは４つのＮ×Ｎ ＰＵにエンコードされ得る。インターコーディングのために、２Ｎ×２Ｎ ＣＵは１つの２Ｎ×２Ｎ ＰＵ、２つの２Ｎ×Ｎ ＰＵ、２つのＮ×２Ｎ ＰＵ、０．５Ｎ×２Ｎ ＰＵ＋１．５Ｎ×２Ｎ ＰＵ、１．５Ｎ×２Ｎ ＰＵ＋０．５Ｎ×２Ｎ ＰＵ、２Ｎ×０．５Ｎ ＰＵ＋２Ｎ×１．５Ｎ ＰＵ、２Ｎ×１．５Ｎ ＰＵ＋２Ｎ×０．５Ｎ ＰＵ、または４つのＮ×Ｎ ＰＵにエンコードされ得る。
ビデオコーディングにおいて、コーディングユニット（ＣＵ）または予測ユニット（ＰＵ）は、複数の利用可能なコーディングモードおよび予測モードを有する。例えば、ＣＵはイントラモードまたはインターモードでエンコードされ得、イントラモードのためにＰＵは、複数の利用可能な予測モード、例えば、ＤＣ予測、平面予測、垂直予測、水平予測、および他の方向予測を有する。プロセス３００は、異なる残差予測スキームを有し得る異なるコーディングモードおよび予測モードを利用し得る。例えば、プロセス３００は、イントラモードのために線形残差予測を適用し得、インターモードのために残差予測を適用しないかもしれない。
いくつかの例において、ターゲット予測残差の決定は、モデルパラメータを適用することを含み得る。例えば、ターゲット予測残差の決定は、１または複数の一定の関係モデルパラメータを適用することを含み得る。追加的または代替的に、ターゲット予測残差の決定は、１または複数の関係モデルパラメータを決定することを含み得る。例えば、そのような関係モデルパラメータは、エンコードモードに応じて適応的に適用され得る。追加的または代替的に、そのような関係モデルパラメータは、ブロックサイズに応じて適応的に適用され得る。追加的または代替的に、そのような線形関係モデルまたは非線形関係モデルは、ブロック単位で適応的に適用され得る。ビデオコーディングにおいて、コーディングユニット（ＣＵ）または予測ユニット（ＰＵ）は、複数の利用可能なコーディングモードおよび予測モードを有する。例えば、ＣＵはイントラモードまたはインターモードでエンコードされ得、イントラモードのためにＰＵは、複数の利用可能な予測モード、例えばＤＣ予測、平面予測、垂直予測、水平予測、および他の方向予測を有する。プロセス３００は、異なる残差予測スキームを有し得る異なるコーディングモードおよび予測モードを利用し得る。例えば、プロセス３００はイントラ垂直および水平予測モードのために一定のパラメータ線形予測を適用し得、ＤＣ、平面、および他の方向予測モードのために適応的な線形予測を適用し得る。
追加的または代替的に、ビデオコーダを介しての、ターゲットチャネルに関するターゲット予測残差のクロスレイヤー・クロスチャネル予測を介した決定は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され得る。代替的に、任意のコーディングモードまたは任意の予測モードのための残差予測の適用は、強制的に適用され得る。
いくつかの例において、ビデオコーダを介しての、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差の決定は、エンコードの間のターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいた、デコードの間の参照レイヤーおよび参照チャネルの選択を含み得る。他の例において、そのようなフラグは、個別のブロックに関連付けられる代わりに、全体のＣＵ、ＰＵ、フレーム、または全体の予測残差に関連付けられ得る。例えば、残差予測のメカニズムは、コーディングモードまたは予測モードに応じて適応的に適用され得、例えば、ＣＵまたはＰＵ毎に、フラグが、特定のコーディングモードまたは予測モードのために残差予測の適用または非適用をシグナリングするために用いられ得る。そのような例において、フラグの適用はレート歪みコストに基づいて決定され得る。例えば、最適なモデルパラメータは、再構成された残差を用いてエンコーダ側で適応的に生成され得る。そのような例において、生成方法の情報がエンコーダ側に送信され得る。例えば、モデルパラメータは、現在のレイヤー、より下位のレイヤー、またはベースレイヤーにおける再構成された残差から生成され得る。同様に、エンハンスメントレイヤーのモデルパラメータは、入力された残差および同じレイヤーにおける再構成された残差に基づいてエンコーダ側で適応的に生成され、その後、エンコードされデコーダへ送信され得る。同様に、エンハンスメントレイヤーのモデルパラメータは、ターゲットレイヤーにおける入力された残差およびベースレイヤーにおける再構成された残差に基づいてエンコーダ側で適応的に生成され得、その後、エンコードされデコーダへ送信され得る。さらに、より上位のレイヤーのモデルパラメータが、このレイヤーにおける入力された残差およびより下位のレイヤーにおける再構成された残差に基づいてエンコーダ側で適応的に生成され得、その後、エンコードされデコーダへ送信され得る。
他の例において、ビデオデコーダは、ビデオデコーダがビデオデータをどのようにエンコードしたかを決定するために、ビデオデコーダにおけるそれらの計算と類似する計算を行い得る。そのような例において、ビデオデコーダは、エンコードの間のターゲット予測残差のブロックに関連するそのようなフラグを用いずにオペレーションを行い得る。例えば、モデルパラメータは、同じレイヤーにおける再構成された残差の情報に基づいてデコーダ側で適応的に生成され得る。いくつかの例において、エンハンスメントレイヤーのモデルパラメータは、ベースレイヤーにおける再構成された残差の情報に基づいてデコーダ側で適応的に生成され得る。いくつかの例において、エンハンスメントレイヤーのモデルパラメータは、ベースレイヤーおよび同じエンハンスメントレイヤーにおける再構成された残差の情報に基づいてデコーダ側で適応的に生成され得る。いくつかの例において、より上位のレイヤーのモデルパラメータは、より下位のレイヤーにおける再構成された残差の情報に基づいてデコーダ側で適応的に生成され得る。
より詳細には、プロセス３００（および／または２００）は、クロスレイヤー・クロスチャネル残差予測モデルを利用し得る。そのような例において、チャネルＡの残差がチャネルＢの再構成された残差から予測されるものと仮定した場合（同様のプロセスが、チャネルＢおよびＣの再構成された残差からチャネルＡの残差を予測する場合に適用され得、チャネルＡ、ＢおよびＣが異なるレイヤーにあり得るわけではない）、線形または非線形モデルが予測のために適用され得る。例えば、残差位置ｋに関して、チャネルＡの残差値Ａ（ｋ）は、以下の数式を用いて、位置ｋの再構成されたチャネルＢの残差値Ｂ'（ｋ）から予測され得る。
ＡＰ（ｋ）＝ｆ（Ｂ'（ｋ）） （１）
ここでＡＰ（ｋ）は、予測値を表し得、ｆ（・）は、線形または非線形関数または変換を表し得る。Ｂ'（ｋ）は、エンコーダ側およびデコーダ側の両方で事前定義されたレイヤーにあり得る。さもなくば、Ｂ'（ｋ）は、最適化された計算の結果に依存する利用可能なレイヤーのいずれかであり得、Ｂ'（ｋ）の情報はデコーダへ送信され得る。様々な実施例において、ｆ（・）のパラメータは、事前に定義された固定値であり得、または、少なくともいくつかの近隣のピクセル位置の生成または再構成された残差値を用いて決定され得る。様々な実施例において、ｆ（・）のパラメータを生成するために用いられる残差とチャネルＡを予測するために用いられる残差とは、同じレイヤーにあってもなくてもよい。固定値ではない場合ｆ（・）のパラメータはその後、周知の技術、例えば、線形最小二乗、非線形最小二乗、加重最小二乗、または他の周知の最適化方法などを用いて得られ得る。
一般的に、ｆ（・）の線形は、以下のように表現され得る。
ＡＰ（ｋ）＝ａ＊Ｂ'（ｋ）＋ｂ （２）
ここでａおよびｂは、モデルパラメータを表し得る。モデルパラメータａおよびｂは固定値であり得、または、デコーダ側において決定され得、または、エンコーダ側で決定され得、その後、デコーダ側へ送信され得る。
一般的に、ｆ（・）の非線形は以下のように表現され得る。
ＡＰ（ｋ）＝ａ（ｋ）＊ Ｂ'（ｋ）＋ｂ（ｋ） （３）
ここでａ（ｋ）およびｂ（ｋ）は、非線形数式パラメータを表し得る。様々な実施例において、パラメータａ（ｋ）およびｂ（ｋ）は、Ｂ'（ｋ）の値により決定し得る。例えば、Ｂ'（ｋ）の値の範囲は、残差値のＭ個のより小さいサブセットＳ（ｋ）に分割され得る。各サブセットＳ（ｋ）はその後、特定の残差位置に関するＢ'（ｋ）の値が任意のサブセットＳ（ｋ）に含まれる場合に当該位置の残差値ＡＰ（ｋ）を予測すべくａ（ｋ）およびｂ（ｋ）の対応する値が適用されるように、数式（３）において用いられるａ（ｋ）およびｂ（ｋ）の異なる値が割り当てられ得る。
エンハンスメントレイヤーにおけるｆ（・）のパラメータも、ベースレイヤーおよび／またはより下位のレイヤーにおけるｆ（・）のパラメータから予測され得る。様々な実施例において、ｆ（・）のパラメータは、デコーダ側において適応的に生成され得、またはデコーダへ送信され得る。
図２および３に図示されるような例示的なプロセス２００および３００の実施例は、示される順番で全てのブロックを実行することを含み得るが、本開示はこの点に関して限定されず、様々な例において、プロセス２００および３００の実施例は、示されるブロックのサブセットのみを、および／または示されるものと異なる順序で実施することを含み得る。
加えて、図２および３のブロックのうちいずれか１つまたは複数は、１または複数のコンピュータプログラムプロダクトにより提供される命令に応じて実行され得る。そのようなプログラムプロダクトは、例えばプロセッサにより実行された場合に本明細書において説明される機能を提供し得る命令を提供する信号を保持した媒体を含み得る。コンピュータプログラムプロダクトは何らかの形態のコンピュータ可読媒体で提供され得る。したがって、例えば、１または複数のプロセッサコアを含むプロセッサは、コンピュータ可読媒体によりプロセッサへ伝達される命令に応じて、図２および３に示されるブロックのうち１または複数を実行し得る。
本明細書において説明される実施例において用いられるように、「モジュール」という用語は、本明細書において説明される機能を提供するよう構成されたソフトウェア、ファームウェア、および／またはハードウェアの何らかの組み合わせを指す。ソフトウェアは、ソフトウェアパッケージ、コードおよび／または命令セット、若しくは命令として実装され得、本明細書において説明されるいずれかの実施例おいて用いられる「ハードウェア」は、例えば、ハードワイヤによる回路、プログラマブル回路、状態マシン回路、および／または、プログラマブル回路により実行される命令を格納したファームウェアを単体で、または何らかの組み合わせで含み得る。モジュールは、集合的または個別に、例えば、集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）およびその他であるより大きなシステムの一部を形成する回路として実装され得る。
図４は、本開示の少なくともいくつかの実施例に係る、例示的なクロスレイヤー・クロスチャネル残差予測スキームを示す図である。示される実施例において、図１のシステム１００は、スキーム４００を実施し得る。スキーム４００において、第１のレイヤー（例えば、ベースレイヤーまたはより下位のエンハンスメントレイヤーなど参照レイヤー）における第１のチャネル（Ｂ）の再構成された予測残差は、第２のレイヤー（例えば、より上位のエンハンスメントレイヤーなどターゲットレイヤー）における第２のチャネル（Ａ）の残差を予測するために用いられ、その後、参照レイヤーチャネルＢのエンコードされた残差、およびターゲットレイヤーチャネルＡの、結果として得られるクロスレイヤー・クロスチャネル予測残差（エンコードされた後の）は、第３のチャネル（Ｃ）のエンコードされた残差と共にエントロピーエンコードを受ける。
様々な実施例において、チャネルＡ、Ｂ、またはＣは、様々なレイヤーに位置付けられ得る。例えば、チャネルＢに関連付けられた参照レイヤーがベースレイヤーである場合、チャネルＡに関連付けられたターゲットレイヤーはエンハンスメントレイヤーであり得る。同様に、チャネルＢに関連付けられた参照レイヤーがエンハンスメントレイヤーである場合、チャネルＡに関連付けられたターゲットレイヤーは、より上位のエンハンスメントレイヤーであり得る。
様々な実施例において、チャネルＡ、Ｂ、またはＣは、ルマチャネル（Ｙ）およびクロマチャネル（Ｕ、Ｖ）のうちいずれか１つであり得、チャネルＡ、Ｂ、またはＣのそれぞれは別個（つまり、他のチャネルとは異なるもの）であり得る。様々な実施例において、チャネルＡはルマチャネルであり得、チャネルＢおよびＣはクロマチャネルであり得る。他の実施例において、チャネルＡはクロマチャネルであり得、チャネルＢおよびＣのうち一方はルマチャネルであり得、チャネルＢおよびＣのうち他方のチャネルは、他方のクロマチャネルであり得る。
したがって、ターゲットレイヤーチャネルＡは、チャネルタイプの差異、レイヤータイプの差異、またはレイヤータイプの差異とチャネルタイプの差異との両方に基づいて、参照レイヤーチャネルＢとは異なり得る。
スキーム４００に示されるように、参照レイヤーチャネルＢの予測残差は、ブロック４０２において変換および量子化され得、その後、ブロック４０４において非量子化および逆変換され得、参照レイヤーチャネルＢの再構成された残差としてクロスレイヤー・クロスチャネル予測ブロック４０６に提供され得る。ブロック２０６において、参照レイヤーチャネルＢの再構成された残差は、ターゲットレイヤーチャネルＡの残差を予測するために用いられ得る。ターゲットレイヤーチャネルＡの予測残差はその後、ブロック４０８において変換および量子化され得、ブロック４１０において、ブロック４０２から得られた変換および量子化された参照レイヤーチャネルＢ残差、および、チャネルＣの変換および量子化された（ブロック４１２）予測残差と共にエントロピーコーディングされ得る。
オペレーションにおいて、スキーム４００は、ベースレイヤー、より下位のレイヤー、またはチャネルＡと同じレイヤーにおけるチャネルＢまたはチャネルＣの再構成された残差から、エンハンスメントレイヤーにおけるチャネルＡの残差を予測するために利用され得る。チャネルＢまたはＣが従来の予測によりエンコードされている場合、ＢまたはＣの再構成された残差は、従来の予測残差（例えば、一次予測残差）であり得る。さもなくば、チャネルＢまたはＣの再構成された残差は、二次予測残差であり得る。図４に示される例において、チャネルＡの残差は、ＢまたはＣの残差（例えば一次残差または二次残差。一次であるか二次であるかはＢおよびＣに関して用いられる特定のコーディング方法に依存する）から直接的に予測され得、二次残差を一次残差へ変換する必要はない。より詳細に以下に説明される図６に示される例において、一次残差の使用が強いられる。そのような例において、二次残差は、一次残差に変換される必要はない。
本明細書において用いられるように「従来の予測残差」という用語は、一次残差を指し得る。例えば、そのような一次残差は、元のピクセル値から減算された予測されるピクセル値を表し得る。同様に、本明細書において用いられる「二次残差」という用語は、チャネルＡの二次残差が、例えばチャネルＢ（またはＣ）の再構成された一次残差を減算されたチャネルＡの一次残差に等しい構成を指し得る。
図５は、本開示の少なくともいくつかの実施例に係る、更なる例示的なクロスレイヤー・クロスチャネル残差予測スキームを示す図である。示される実施例において、図１のシステム１００がスキーム５００を実施し得る。スキーム５００において、チャネルＡのターゲット予測残差は、チャネルＢの参照予測残差およびチャネルＣの更なる参照予測残差に少なくとも部分的に基づいて決定され得る。
スキーム５００において、２つのチャネル（参照レイヤーチャネルＢおよび更なる参照レイヤーチャネルＣ）の再構成された予測残差が、第３のチャネル（Ａ）の残差を予測するために用いられ、その後、参照レイヤーチャネルＢおよび更なる参照レイヤーチャネルＣのエンコードされた残差、並びに、ターゲットレイヤーチャネルＡのクロスレイヤー・クロスチャネル予測残差（エンコードされた後の）は、エントロピーエンコードを受ける。
様々な実施例において、チャネルＡ、Ｂ、またはＣは様々なレイヤーに位置付けられ得る。例えば、チャネルＢに関連付けられた参照レイヤーがベースレイヤーである場合、チャネルＡに関連付けられたターゲットレイヤーはエンハンスメントレイヤーであり得る。同様に、チャネルＢに関連付けられた参照レイヤーがエンハンスメントレイヤーである場合、チャネルＡに関連付けられたターゲットレイヤーはより上位のエンハンスメントレイヤーであり得る。同様に、チャネルＣに関連付けられた更なる参照レイヤーは、チャネルＢに関連付けられた参照レイヤーと同じレイヤーであるか、または異なるレイヤーであり得る。
様々な実施例において、チャネルＡ、Ｂ、またはＣは、ルマチャネル（Ｙ）およびクロマチャネル（Ｕ、Ｖ）のうちいずれか１つであり得、チャネルＡ、Ｂ、またはＣのそれぞれは別個（つまり、他のチャネルとは異なるもの）であり得る。様々な実施例において、チャネルＡはルマチャネルであり得、チャネルＢおよびＣはクロマチャネルであり得る。他の実施例において、チャネルＡはクロマチャネルであり得、チャネルＢおよびＣのうち一方はルマチャネルであり得、チャネルＢおよびＣのうち他方のチャネルは、他方のクロマチャネルであり得る。
したがって、ターゲットレイヤーチャネルＡは、チャネルタイプの差異、レイヤータイプの差異、またはレイヤータイプの差異とチャネルタイプの差異との両方に基づいて、参照レイヤーチャネルＢとは異なり得、更なる参照レイヤーチャネルＣとは異なり得る。
スキーム５００に示されるように、参照レイヤーチャネルＢの予測残差は、ブロック５０２において変換および量子化され得、その後、ブロック５０４において非量子化および逆変換され得、再構成された残差としてクロスレイヤー・クロスチャネル予測ブロック５０６に提供され得る。同様に、更なる参照チャネルＣの予測残差は、ブロック５０８において変換および量子化され得、その後、ブロック５１０において非量子化および逆変換され得、再構成された残差としてクロスチャネル予測ブロック５０６に提供され得る。ブロック５０６において、参照レイヤーチャネルＢと更なる参照レイヤーチャネルＣとの両方の再構成された残差が、本明細書において説明されるようにターゲットレイヤーチャネルＡの残差を予測するために用いられ得る。ターゲットレイヤーチャネルＡの、結果として得られる予測残差はその後、ブロック５１２において変換および量子化され得、チャネルＢおよびＣのエンコードされた残差と共にブロック５１４においてエントロピーコーディングされ得る。
オペレーションにおいて、スキーム５００は、ベースレイヤー、より下位のレイヤー、またはチャネルＡと同じレイヤーにおけるチャネルＢまたはチャネルＣの再構成された従来の予測残差（例えば、一次予測残差）から、エンハンスメントレイヤーにおけるチャネルＡの残差を予測するために利用され得る。この参照チャネルＢまたはＣは、クロスレイヤー・クロスチャネル残差予測によりエンコードされ得る。
図６は、本開示の少なくともいくつかの実施例に係る、また更なる例示的なクロスレイヤー・クロスチャネル残差予測スキームを示す図である。示される実施例において、図１のシステム１００は、スキーム６００を実施し得る。スキーム６００において、チャネルＡのターゲット予測残差は、二次残差から変換された一次残差に少なくとも部分的に基づいて決定され得る。例えば、ビデオコーダは、例えば更なる参照レイヤーチャネルＣの参照予測残差に少なくとも部分的に基づいて、参照レイヤーチャネルＢの二次タイプ参照予測残差から一次タイプ参照予測残差を再構成し得る。ビデオコーダを介しての、ターゲットレイヤーにおけるターゲットチャネルＡに関するターゲット予測残差の決定は、再構成された一次タイプ参照予測残差に少なくとも部分的に基づき得る。
スキーム６００において、参照レイヤーチャネルＢは、残差予測方法によりコーディングされる。参照レイヤーチャネルＢの残差は、二次残差として示されている。ターゲットレイヤーチャネルＡがコーディングされる場合、参照レイヤーチャネルＢの一次残差がまず得られなければならない。ブロック６０４の再構成された残差は、更なる参照チャネルＣまたは異なるチャネルＡから供給される（例えば、図６のターゲットレイヤーチャネルＡとは異なるレイヤーにおいて）。スキーム６００に示されるように、チャネルＢの二次予測残差は、ブロック６０８において変換および量子化され得、その後、ブロック６１０において非量子化および逆変換され得、第１クロスレイヤー・クロスチャネル予測ブロック６１２へ提供され得る。非量子化および逆変換ブロック６１０の出力は、チャネルＢの二次残差である。ブロック６１２の入力は、ブロック６０４の再構成された残差およびチャネルＢの二次残差である。ブロック６１２の出力は、チャネルＢの一次残差である（再構成された残差ブロック６１４により示される）。示されるように、チャネルＢが、ブロック６１２において一次残差へと再構成される必要のある二次残差であるので、チャネルＢの二次残差は、クロスレイヤー・クロスチャネル残差予測が２度行われる必要がある（ブロック６０６において一度、ブロック６１２において一度）。ブロック６１６において、チャネルＢの再構成された残差は、チャネルＡの残差を予測するために用いられる。チャネルＡの、結果として得られるクロスレイヤー・クロスチャネル予測残差はその後、ブロック６１８において変換および量子化され得、ブロック６２０において、３つのチャネル全てのエンコードされた残差がエントロピーコーディングされる。
いくつかの例において、入力されるＹＵＶデータがＹＵＶ４２０またはＹＵＶ４２２のフォーマットである場合、ＵおよびＶチャネルの残差ブロックサイズは、Ｙチャネルの残差ブロックサイズより小さい。これらの場合、ＹチャネルおよびＵまたはＶチャネルが同じ空間解像度レイヤーにある場合、Ｙチャネル残差ブロックがＵおよび／またはＶチャネル残差ブロックを予測するために用いられるのであればＹチャネル残差ブロックに対してダウンサンプリングが適用され得、Ｕおよび／またはＶ残差ブロックがＹチャネル残差ブロックを予測するために用いられるのであれば、Ｕおよび／またはＶ残差ブロックに対してアップサンプリングが適用され得る。
図７は、本開示の少なくともいくつかの実施例に従って構成された、例示的なビデオコーディングシステム１００を示す図である。示される実施例において、ビデオコーディングシステム１００は、イメージングデバイス７０１、ビデオエンコーダ７０２、アンテナ７０３、ビデオデコーダ７０４、１または複数のプロセッサ７０６、１または複数のメモリ記憶装置７０８、ディスプレイ７１０、並びに／若しくはロジックモジュール３０６を含み得る。ロジックモジュール３０６は、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８、残差予測ロジックモジュール３１０、その他を含み得、並びに／若しくはこれらの組み合わせを含み得る。
示されるように、アンテナ７０３、ビデオデコーダ７０４、プロセッサ７０６、メモリ記憶装置７０８、および／またはディスプレイ７１０は互いに通信可能であり得、並びに／若しくは、ロジックモジュール３０６の一部と通信可能であり得る。同様に、イメージングデバイス７０１およびビデオエンコーダ７０２は、互いに通信可能であり得、並びに／若しくはロジックモジュール３０６の一部と通信可能であり得る。したがって、ビデオデコーダ７０４は、ロジックモジュール３０６の全てまたは一部を含み得、ビデオエンコーダ７０２は、同様のロジックモジュールを含み得る。図７に示されるようにビデオコーディングシステム１００は、特定のモジュールに関連付けられた１つの特定のブロック群またはアクション群を含み得るが、これらのブロックまたはアクションは、ここで示される特定のモジュールとは異なるモジュールに関連付けられ得る。
いくつかの例において、ビデオコーディングシステム１００は、アンテナ７０３、ビデオデコーダ７０４、その他を含み得、および／または、これらの組み合わせを含み得る。アンテナ７０３は、ビデオデータのエンコードされたビットストリームを受信するよう構成され得る。ビデオデコーダ７０４は、アンテナ７０３と通信可能に結合され得、エンコードされたビットストリームをデコードするよう構成され得る。ビデオデコーダ７０４は、ビデオデータの参照レイヤーにおける参照チャネルに関する参照予測残差を決定し、クロスレイヤー・クロスチャネル予測を介して、参照予測残差に少なくとも部分的に基づいて、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を決定するよう構成され得、ターゲットレイヤーは参照レイヤーより上位のレイヤーであり得る。
他の例において、ビデオコーディングシステム１００はディスプレイデバイス７１０、１または複数のプロセッサ７０６、１または複数のメモリ記憶装置７０８、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８、残差再構成ロジックモジュール３１０、その他を含み得、並びに／若しくはこれらの組み合わせを含み得る。ディスプレイ７１０は、ビデオデータを提示するよう構成され得る。プロセッサ７０６はディスプレイ７１０と通信可能に結合され得る。メモリ記憶装置７０８は、１または複数のプロセッサ７０６と通信可能に結合され得る。ビデオデコーダ７０４（または、他の例においてはビデオエンコーダ７０２）のクロスレイヤー・クロスチャネル予測ロジックモジュール３０８は、１または複数のプロセッサ７０６と通信可能に結合され得、ビデオデータの参照レイヤーにおける参照チャネルに関する参照予測残差を決定し、クロスレイヤー・クロスチャネル予測を介して、参照予測残差に少なくとも部分的に基づいて、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を決定するよう構成され得る。ターゲットレイヤーは参照レイヤーより上位のレイヤーであり得、ターゲットチャネルは参照チャネルとは異なるチャネルであり得る。ビデオデコーダ７０４（または、他の例において、はビデオエンコーダ７０２）の残差再構成ロジックモジュール３１０は、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８と通信可能に結合され得、決定されたターゲット予測残差に少なくとも部分的に基づいてターゲット残差を再構成するよう構成され得る。
様々な実施形態において、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８および／または残差再構成ロジックモジュール３１０は、ハードウェアにより実装され得、ソフトウェアが他のロジックモジュールを実装し得る。例えば、いくつかの実施形態において、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８は特定用途向け集積回路（ＡＳＩＣ）ロジックにより実装され得、残差再構成ロジックモジュール３１０は、プロセッサ７０６などロジックにより実行されるソフトウェア命令により提供され得る。しかし本開示は、この点に関して限定されず、クロスレイヤー・クロスチャネル予測ロジックモジュール３０８および／または残差再構成ロジックモジュール３１０は、ハードウェア、ファームウェア、および／またはソフトウェアの何らかの組み合わせにより実装され得る。加えてメモリ記憶装置７０８は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、その他）、または不揮発性メモリ（例えば、フラッシュメモリ、その他）など何らかのタイプのメモリ、およびその他であり得る。非限定的な例において、メモリ記憶装置７０８は、キャッシュメモリにより実装され得る。
図８は、本開示に係る例示的なシステム８００を示す。様々な実施例において、システム８００はメディアシステムであり得るが、システム８００はこの文脈に限定されない。例えばシステム８００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、またはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、並びにその他に組み込まれ得る。
様々な実施例において、システム８００はディスプレイ８２０に結合されたプラットフォーム８０２を含む。プラットフォーム８０２は、コンテンツサービスデバイス８３０またはコンテンツ配信デバイス８４０、若しくは他の同様のコンテンツソースなどのコンテンツデバイスからコンテンツを受信し得る。例えばプラットフォーム８０２および／またはディスプレイ８２０とインタラクトするために、１または複数のナビゲーション機能を含むナビゲーションコントローラ８５０が用いられ得る。これらのコンポーネントのそれぞれは、以下により詳細に説明される。
様々な実施例において、プラットフォーム８０２は、チップセット８０５、プロセッサ８１０、メモリ８１２、記憶装置８１４、グラフィックサブシステム８１５、アプリケーション８１６、および／または無線機８１８の何らかの組み合わせを含み得る。チップセット８０５は、プロセッサ８１０、メモリ８１２、記憶装置８１４、グラフィックサブシステム８１５、アプリケーション８１６、および／または無線機８１８の間の相互通信を提供し得る。例えば、チップセット８０５は、記憶装置８１４との相互通信を提供可能な記憶アダプタ（図示せず）を含み得る。
プロセッサ８１０は、Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ（ＣＩＳＣ）またはＲｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ（ＲＩＳＣ）プロセッサ、ｘ８６命令セットと互換性のあるプロセッサ、マルチコア、若しくは他の何らかのマイクロプロセッサまたは中央処理装置（ＣＰＵ）として実装され得る。様々な実施例において、プロセッサ８１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ、およびその他を含み得る。
メモリ８１２は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、またはスタティックＲＡＭ（ＳＲＡＭ）などであるがこれらに限定されない揮発性メモリデバイスとして実装され得る。
記憶装置８１４は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部記憶デバイス、取り付けられた記憶デバイス、フラッシュメモリ、バッテリーバックアップ式のＳＤＲＡＭ（シンクロナスＤＲＡＭ）、および／またはネットワークアクセス可能な記憶デバイスなどであるがこれらに限定されない不揮発性記憶デバイスとして実装され得る。様々な実施例において、記憶装置８１４は、例えば複数のハードドライブが含まれる場合に、貴重なデジタルメディアの保護を高めるために記憶性能を向上させる技術を含み得る。
グラフィックサブシステム８１５は、表示のために静止画またはビデオなどの画像の処理を実行し得る。グラフィックサブシステム８１５は、例えば、グラフィックプロセッシングユニット（ＧＰＵ）またはビジュアルプロセッシングユニット（ＶＰＵ）であり得る。グラフィックサブシステム８１５およびディスプレイ８２０を通信可能に結合するために、アナログまたはデジタルインタフェースが用いられ得る。例えば、インタフェースは、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、Ｄｉｓｐｌａｙ Ｐｏｒｔ、無線ＨＤＭＩ（登録商標）、および／または無線ＨＤ準拠技術のうちいずれかであり得る。グラフィックサブシステム８１５は、プロセッサ８１０またはチップセット８０５に統合され得る。いくつかの実施例において、グラフィックサブシステム８１５は、チップセット８０５と通信可能に結合されたスタンドアロン型カードであり得る。
本明細書に説明されるグラフィックおよび／またはビデオ処理技術は、様々なハードウェアアーキテクチャで実装され得る。例えば、グラフィックおよび／またはビデオ機能は、チップセット内で統合され得る。代替的に、別個のグラフィックおよび／またはビデオプロセッサが用いられ得る。さらに他の実施例として、グラフィックおよび／またはビデオ機能は、マルチコアプロセッサを含む汎用プロセッサにより提供され得る。更なる実施形態において、機能は、家庭用電子機器で実装され得る。
無線機８１８は、様々な適した無線通信技術を用いて信号を送受信可能な１または複数の無線機を含み得る。そのような技術は、１または複数の無線ネットワークを介した通信を伴い得る。例示的な無線ネットワークとしては（これらに限定されるわけではないが）、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、セルラーネットワーク、および衛星ネットワークが含まれる。そのようなネットワークを介した通信において、無線機８１８は、いずれかのバージョンの１または複数の適用可能な規格に準拠してオペレーションを行い得る。
様々な実施例において、ディスプレイ８２０は、何らかのテレビ型のモニタまたはディスプレイを含み得る。ディスプレイ８２０は例えば、コンピュータディスプレイ画面、タッチスクリーンディスプレイ、ビデオモニタ、テレビ型デバイス、および／またはテレビを含み得る。ディスプレイ８２０は、デジタルおよび／またはアナログであり得る。様々な実施例において、ディスプレイ８２０はホログラフィックディスプレイであり得る。また、ディスプレイ８２０は、視覚投影を受け得る透明な面であり得る。そのような投影は、様々な形態の情報、画像、および／またはオブジェクトを伝達し得る。例えば、そのような投影は、モバイル拡張現実（ＭＡＲ）アプリケーションのための視覚的なオーバーレイであり得る。１または複数のソフトウェアアプリケーション８１６の制御下で、プラットフォーム８０２は、ユーザインタフェース８２２をディスプレイ８２０に表示し得る。
様々な実施例において、コンテンツサービスデバイス８３０は、ある国の、国際的な、および／または独立した何らかのサービスによりホストされ得、したがって、例えば、インターネットを介してプラットフォーム８０２にアクセス可能であり得る。コンテンツサービスデバイス８３０は、プラットフォーム８０２および／またはディスプレイ８２０に結合され得る。プラットフォーム８０２および／またはコンテンツサービスデバイス８３０は、ネットワーク８６０へ／からメディア情報を通信（例えば、送信および／または受信）すべく、ネットワーク８６０に結合され得る。コンテンツ配信デバイス８４０も、プラットフォーム８０２および／またはディスプレイ８２０へ結合され得る。
様々な実施例において、コンテンツサービスデバイス８３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、インターネット利用可能デバイスまたはデジタル情報および／またはコンテンツを伝達可能な電気製品、並びに、コンテンツプロバイダと、プラットフォーム８０２およびディスプレイ８２０との間でネットワーク８６０を介して、または直接的に、一方向または双方向にコンテンツを通信可能な他の何らかの同様のデバイスを含み得る。コンテンツは、システム８００内のコンポーネントのうちいずれか１つおよびコンテンツプロバイダへ／からネットワーク８６０を介して、一方向および／または双方向に通信され得ることが理解されよう。コンテンツの例には、例えばビデオ、音楽、医療またはゲームに関する情報、およびその他を含む何らかのメディア情報が含まれ得る。
コンテンツサービスデバイス８３０は、メディア情報、デジタル情報、および／または他のコンテンツを含むケーブルテレビプログラムなどのコンテンツを受信し得る。コンテンツプロバイダの例には、何らかのケーブルまたは衛星テレビ、若しくは無線またはインターネットコンテンツプロバイダが含まれ得る。提供される例は、本開示に係る実施例を何ら限定するよう意図されていない。
様々な実施例において、プラットフォーム８０２は、１または複数のナビゲーション機能を有するナビゲーションコントローラ８５０から制御信号を受信し得る。コントローラ８５０のナビゲーション機能は、例えば、ユーザインタフェース８２２とインタラクトするために用いられ得る。実施形態において、ナビゲーションコントローラ８５０は、ユーザが空間（例えば、連続的であり多次元の）データをコンピュータに入力することを可能とするコンピュータハードウェア構成要素（詳細には、ヒューマンインタフェースデバイス）であり得るポインティングデバイスであり得る。グラフィカルユーザインタフェース（ＧＵＩ）などの多くのシステム、並びにテレビおよびモニタは、身体的なジェスチャを用いてユーザがコンピュータまたはテレビを制御すること、およびこれらにデータを提供することを可能とする。
コントローラ８５０のナビゲーション機能の動きは、ディスプレイ上に表示されるポインタ、カーソル、フォーカスリング、または他の視覚的なインジケータの動きにより、ディスプレイ（例えばディスプレイ８２０）上で反映され得る。例えば、ソフトウェアアプリケーション８１６の制御下で、ナビゲーションコントローラ８５０上に位置付けられるナビゲーション機能は、例えば、ユーザインタフェース８２２上に表示される仮想的なナビゲーション機能へとマッピングされ得る。実施形態において、コントローラ８５０は別個のコンポーネントではなく、プラットフォーム８０２および／またはディスプレイ８２０に統合され得る。しかし本開示は、本明細書に示される、または説明される要素または文脈に限定されない。
様々な実施例において、ドライバ（図示せず）は、例えば、テレビのように、有効にされた場合に、ユーザが最初のブートアップの後にボタンに触れると瞬時にプラットフォーム８０２の電源を入れたり、切ったりすることを可能とする技術を含み得る。プログラムロジックは、プラットフォーム８０２の電源が「切られた」場合であっても、プラットフォームがコンテンツを、メディアアダプタ、若しくは他のコンテンツサービスデバイス８３０またはコンテンツ配信デバイス８４０へストリーミングすることを可能とし得る。加えて、チップセット８０５は、例えば、８．１サラウンドサウンドオーディオおよび／または高精細度の（７．１）サラウンドサウンドオーディオのためのハードウェアおよび／またはソフトウェアサポートを含み得る。ドライバは、統合されたグラフィックプラットフォームのためのグラフィックドライバを含み得る。実施形態において、グラフィックドライバはペリフェラルコンポーネントインターコネクト（ＰＣＩ）Ｅｘｐｒｅｓｓグラフィックカードを含み得る。
様々な実施例において、システム８００に示されるコンポーネントのうちいずれか１つまたは複数は統合され得る。例えば、プラットフォーム８０２とコンテンツサービスデバイス８３０とが統合され得、プラットフォーム８０２とコンテンツ配信デバイス８４０とが統合され得、プラットフォーム８０２と、コンテンツサービスデバイス８３０とコンテンツ配信デバイス８４０とが例えば統合され得る。様々な実施形態において、プラットフォーム８０２とディスプレイ８２０とは統合されたユニットであり得る。例えば、ディスプレイ８２０とコンテンツサービスデバイス８３０とが統合され得、またはディスプレイ８２０とコンテンツ配信デバイス８４０とが統合され得る。これらの例は本開示を限定するよう意図されていない。
様々な実施形態において、システム８００は、無線システム、有線システム、または両方の組み合わせとして実装され得る。無線システムとして実装される場合、システム８００は、１または複数のアンテナ、送信機、受信機、トランシーバ、増幅器、フィルタ、制御ロジック、およびその他など無線共有媒体上での通信に適したコンポーネントおよびインタフェースを含み得る。無線共有媒体の例には、ＲＦスペクトルおよびその他など無線スペクトルの一部が含まれ得る。有線システムとして実装される場合、システム８００は、入出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体と接続する物理コネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ、およびその他など有線通信媒体上での通信に適したコンポーネントおよびインタフェースを含み得る。有線通信媒体の例には、電線、ケーブル、金属鉛、プリント基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペア線、同軸ケーブル、光学繊維、およびその他が含まれ得る。
プラットフォーム８０２は、情報を通信するための１または複数のロジックチャネルまたは物理チャネルを確立し得る。情報は、メディア情報および制御情報を含み得る。メディア情報とは、ユーザ向けのコンテンツを表す何らかのデータを指し得る。コンテンツの例には、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（「ｅメール」）メッセージ、ボイスメールメッセージ、英数字記号、グラフィック、画像、ビデオ、テキスト、およびその他からのデータを含み得る。音声会話からのデータは例えば、会話情報、静寂の期間、背景雑音、快適雑音、トーン、およびその他であり得る。制御情報とは、自動化されたシステム向けのコマンド、命令、または制御語を表す何らかのデータを指し得る。例えば、制御情報は、システムを通じてメディア情報をルーティングする、または、予め定められたやり方でメディア情報に対してプロセスを行うようノードに命令するために用いられ得る。しかし実施形態は、図８に示される、または説明される要素または文脈に限定されない。
上述したように、システム８００は、異なる物理的なスタイルまたはフォームファクタで実施され得る。図９は、システム８００が実施され得る小さなフォームファクタのデバイス９００の実施例を示す。実施形態において、例えば、デバイス９００は、無線機能を有するモバイルコンピューティングデバイスとして実装され得る。モバイルコンピューティングデバイスとは、例えば、プロセッシングシステムと、１または複数のバッテリーなどモバイル電源またはモバイルパワーサプライとを有する何らかのデバイスを指し得る。
上述したように、モバイルコンピューティングデバイスの例には、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、またはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、並びにその他を含み得る。
またモバイルコンピューティングデバイスの例には、リスト（ｗｒｉｓｔ）コンピュータ、フィンガーコンピュータ、リングコンピュータ、アイグラスコンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、シュー（ｓｈｏｅ）コンピュータ、衣服コンピュータ、および他のウェアラブルコンピュータなど人により着用されるよう構成されコンピュータが含まれ得る。様々な実施形態において、例えば、モバイルコンピューティングデバイスは、コンピュータアプリケーション、並びに音声通信および／またはデータ通信を実行可能なスマートフォンとして実装され得る。いくつかの実施形態は、例としてスマートフォンとして実装されるモバイルコンピューティングデバイスを用いて説明されるかもしれないが、他の無線モバイルコンピューティングデバイスを用いても他の実施形態が実装され得ることが理解されよう。実施形態はこの文脈に限定されない。
図９に示されるように、デバイス９００は、筐体９０２、ディスプレイ９０４、入出力（Ｉ／Ｏ）デバイス９０６、およびアンテナ９０８を含み得る。デバイス９００は、ナビゲーション機能９１２も含み得る。ディスプレイ９０４は、モバイルコンピューティングデバイスにとって適切な情報を表示するための何らかの適したディスプレイユニットを含み得る。Ｉ／Ｏデバイス９０６は、モバイルコンピューティングデバイスへ情報を入力するための適した何らかのＩ／Ｏデバイスを含み得る。Ｉ／Ｏデバイス９０６の例には、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイク、スピーカ、音声認識デバイスおよびソフトウェア、並びにその他が含まれ得る。また情報は、マイク（図示せず）を用いてデバイス９００へ入力され得る。そのような情報は、音声認識デバイス（図示せず）によりデジタル化され得る。実施形態はこの文脈に限定されない。
様々な実施形態は、ハードウェア要素、ソフトウェア要素、またはこれら両方の組み合わせを用いて実装され得る。ハードウェア要素の例には、プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗、コンデンサ、誘電子、およびその他）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット、およびその他が含まれ得る。ソフトウェアの例には、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、方法、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、またはこれらの何らかの組み合わせが含まれ得る。実施形態をハードウェア要素を用いて実装する、および／またはソフトウェア要素を用いて実装することについての決定は、所望される演算レート、電力レベル、耐熱性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、データバススピード、および他の設計または性能制約など任意の数の要因に従って変わり得る。
少なくとも１つの実施形態の１または複数の態様は、マシンに読み取られた場合に、当該マシンに本明細書に説明される技術を実行するためのロジックを組み立てさせる、プロセッサ内の様々なロジックを表す、マシン可読媒体に格納された代表的な命令により実装され得る。「ＩＰコア」として公知であるそのような表現は、有形のマシン可読媒体に格納され、実際にロジックまたはプロセッサを作成する組み立てマシンにロードする様々な顧客または製造施設へ供給され得る。
本明細書において明らかにされる特定の特徴は様々な実施例を参照して説明されてきたが、本説明は、限定的な意味で解釈されるよう意図されていない。したがって、本開示が関連する分野の当業者には明らかである、本明細書において説明される実施例の様々な修正、および他の実施例が、本開示の思想および態様の範囲に含まれるものとして見なされる。
以下の例は更なる実施形態に関連する。
一例において、ビデオコーディングのための、コンピュータで実施される方法は、ビデオコーダを介して、ビデオデータの参照レイヤーにおける参照チャネルに関する参照予測残差を決定する段階を含み得る。 上記ビデオコーダを介し、クロスレイヤー・クロスチャネル予測を介して、上記参照予測残差に少なくとも部分的に基づいて、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を決定する段階も含まれ得、
上記ターゲットレイヤーは上記参照レイヤーより上位のレイヤーであり得、
上記ターゲットチャネルは上記参照チャネルとは異なるチャネルであり得る。
他の例において、ビデオコーディングのための、コンピュータで実施される方法は、上記ビデオコーダを介し、上記ビデオデータの更なる参照レイヤーに関する、および／または更なる参照チャネルに関する更なる参照予測残差を決定する段階をさらに含み得る。上記ビデオコーダを介し、上記ターゲットレイヤーにおける上記ターゲットチャネルに関する上記ターゲット予測残差を決定する段階は、上記参照予測残差に加えて上記更なる参照予測残差に少なくとも部分的に基づき得る。上記ターゲットレイヤーは、上記更なる参照レイヤーより上位のレイヤーであり、および／または上記ターゲットチャネルは、上記更なる参照チャネルとは異なるチャネルであり得る。上記参照レイヤーがベースレイヤーを含む場合、上記ターゲットレイヤーはエンハンスメントレイヤーを含み得、上記参照レイヤーがエンハンスメントレイヤーを含む場合、上記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含む。上記参照チャネルがルマチャネルを含む場合、上記ターゲットチャネルはクロマチャネルを含み得、上記参照チャネルがクロマチャネルを含む場合、上記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含む。上記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズに応じて、および／またはエンコードモードに応じて、線形関係モデルと非線形関係モデルとのうち一方を適応的に適用する段階を有し得る。上記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズに応じて、および／またはエンコードモードに応じて、１または複数の一定の関係モデルパラメータのうち１つを適応的に適用する、若しくは１または複数の関係モデルパラメータを適応的に決定する段階を有し得る。上記ビデオコーダを介し、上記ターゲットチャネルに関する上記ターゲット予測残差を、クロスレイヤー・クロスチャネル予測を介して決定する段階は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され得る。上記ビデオコーダを介し、上記ターゲットレイヤーにおける上記ターゲットチャネルに関する上記ターゲット予測残差を決定する段階は、エンコードの間の上記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいてデコードの間の上記参照レイヤーおよび上記参照チャネルを選択する段階を有し得る。
更なる例において、ビデオコーディングのための、コンピュータで実施される方法は、上記ビデオコーダを介し、上記ビデオデータの更なる参照レイヤーに関する、および／または更なる参照チャネルに関する更なる参照予測残差を決定する段階をさらに含み得る。上記ビデオコーダは、上記参照予測残差に少なくとも部分的に基づいて上記更なる参照予測残差の二次タイプ参照予測残差から一次タイプ参照予測残差を再構成し得る。上記ビデオコーダを介し、上記ターゲットレイヤーにおける上記ターゲットチャネルに関する上記ターゲット予測残差を決定する段階は、上記更なる参照予測残差の再構成された上記一次タイプ参照予測残差に少なくとも部分的に基づき得る。上記ターゲットレイヤーは、上記更なる参照レイヤーより上位のレイヤーであり得、および／または上記ターゲットチャネルは、上記更なる参照チャネルとは異なるチャネルであり得る。上記参照レイヤーがベースレイヤーを含む場合、上記ターゲットレイヤーはエンハンスメントレイヤーを含み得、上記参照レイヤーがエンハンスメントレイヤーを含む場合、上記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み得る。上記参照チャネルがルマチャネルを含み得る場合、上記ターゲットチャネルはクロマチャネルを含み得、上記参照チャネルがクロマチャネルを含み得る場合、上記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み得る。上記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズに応じて、および／またはエンコードモードに応じて、線形関係モデルと非線形関係モデルとのうち一方を適応的に適用する段階を有し得る。上記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズに応じて、および／またはエンコードモードに応じて、１または複数の一定の関係モデルパラメータのうち１つを適応的に適用する、若しくは１または複数の関係モデルパラメータを適応的に決定する段階を有し得る。 上記ビデオコーダを介し、上記ターゲットチャネルに関する上記ターゲット予測残差を、クロスレイヤー・クロスチャネル予測を介して決定する段階は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され得る。上記ビデオコーダを介し、上記ターゲットレイヤーにおける上記ターゲットチャネルに関する上記ターゲット予測残差を決定する段階は、エンコードの間の上記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいてデコードの間の上記参照レイヤーおよび上記参照チャネルを選択する段階を有し得る。
他の例において、コンピュータでのビデオコーディングのためのシステムは、ディスプレイデバイスと、１または複数のプロセッサと、１または複数のメモリ記憶装置と、クロスレイヤー・クロスチャネル予測ロジックモジュールと、残差再構成ロジックモジュールと、その他と、並びに／若しくはこれらの組み合わせとを含み得る。ディスプレイデバイスはビデオデータを提示するよう構成され得る。１または複数のプロセッサは、ディスプレイデバイスと通信可能に結合され得る。１または複数のメモリ記憶装置は、１または複数のプロセッサと通信可能に結合され得る。ビデオコーダのクロスレイヤー・クロスチャネル予測ロジックモジュールは、１または複数のプロセッサと通信可能に結合され得、ビデオデータの参照レイヤーにおける参照チャネルに関する参照予測残差を決定し、クロスレイヤー・クロスチャネル予測を介して、上記参照予測残差に少なくとも部分的に基づいてターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を決定するよう構成され得、
上記ターゲットレイヤーは上記参照レイヤーより上位のレイヤーであり得、
上記ターゲットチャネルは上記参照チャネルとは異なるチャネルであり得る。ビデオコーダの残差再構成ロジックモジュールは、上記クロスレイヤー・クロスチャネル予測ロジックモジュールに通信可能に結合され得、決定された上記ターゲット予測残差に少なくとも部分的に基づいてターゲット残差を再構成するよう構成され得る。
他の例において、コンピュータでのビデオコーディングのためのシステムは、上記ビデオデータの更なる参照レイヤーに関する、および／または更なる参照チャネルに関する更なる参照予測残差を決定するようさらに構成された上記クロスレイヤー・クロスチャネル予測ロジックモジュールをさらに含み得る。上記ターゲットレイヤーにおける上記ターゲットチャネルに関する上記ターゲット予測残差の上記決定は、上記参照予測残差に加えて上記更なる参照予測残差に少なくとも部分的に基づき得る。上記ターゲットレイヤーは、上記更なる参照レイヤーより上位のレイヤーであり得、および／または上記ターゲットチャネルは、上記更なる参照チャネルとは異なるチャネルであり得る。上記参照レイヤーがベースレイヤーを含む場合、上記ターゲットレイヤーはエンハンスメントレイヤーを含み得、上記参照レイヤーがエンハンスメントレイヤーを含む場合、上記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み得る。上記参照チャネルがルマチャネルを含み得る場合、上記ターゲットチャネルはクロマチャネルを含み得、上記参照チャネルがクロマチャネルを含み得る場合、上記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み得る。上記ターゲット予測残差の上記決定は、ブロック単位でのブロックサイズに応じた、および／またはエンコードモードに応じた、線形関係モデルと非線形関係モデルとのうち一方の適応的な適用を含み得る。上記ターゲット予測残差の上記決定は、ブロック単位でのブロックサイズに応じた、および／またはエンコードモードに応じた、１または複数の一定の関係モデルパラメータのうち１つの適応的な適用、または１または複数の関係モデルパラメータの適応的な決定を含み得る。クロスレイヤー・クロスチャネル予測を介した上記ターゲットチャネルに関する上記ターゲット予測残差の上記決定は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され得る。上記ターゲットレイヤーにおける上記ターゲットチャネルに関する上記ターゲット予測残差の上記決定は、エンコードの間の上記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいた、デコードの間の上記参照レイヤーおよび上記参照チャネルの選択を含み得る。
また更なる例において、コンピュータでのビデオコーディングのためのシステムは、上記ビデオデータの更なる参照レイヤーに関する、および／または更なる参照チャネルに関する更なる参照予測残差を決定するようさらに構成された上記クロスレイヤー・クロスチャネル予測ロジックモジュールをさらに含み得る。上記残差再構成ロジックモジュールは、上記参照予測残差に少なくとも部分的に基づいて上記更なる参照予測残差の二次タイプ参照予測残差から一次タイプ参照予測残差を再構成するようさらに構成され得る。上記ターゲットレイヤーにおける上記ターゲットチャネルに関する上記ターゲット予測残差の上記決定は、上記更なる参照予測残差の再構成された上記一次タイプ参照予測残差に少なくとも部分的に基づき得る。上記ターゲットレイヤーは、上記更なる参照レイヤーより上位のレイヤーであり得、および／または上記ターゲットチャネルは、上記更なる参照チャネルとは異なるチャネルであり得る。上記参照レイヤーがベースレイヤーを含む場合、上記ターゲットレイヤーはエンハンスメントレイヤーを含み得、上記参照レイヤーがエンハンスメントレイヤーを含む場合、上記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み得る。上記参照チャネルがルマチャネルを含み得る場合、上記ターゲットチャネルはクロマチャネルを含み得、上記参照チャネルがクロマチャネルを含み得る場合、上記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み得る。上記ターゲット予測残差の上記決定は、ブロック単位でのブロックサイズに応じた、および／またはエンコードモードに応じた、線形関係モデルと非線形関係モデルとのうち一方の適応的な適用を含み得る。上記ターゲット予測残差の上記決定は、ブロック単位でのブロックサイズに応じた、および／またはエンコードモードに応じた、１または複数の一定の関係モデルパラメータのうち１つの適応的な適用、若しくは１または複数の関係モデルパラメータの適応的な決定を含み得る。クロスレイヤー・クロスチャネル予測を介した上記ターゲットチャネルに関する上記ターゲット予測残差の上記決定は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され得る。上記ターゲットレイヤーにおける上記ターゲットチャネルに関する上記ターゲット予測残差の上記決定は、エンコードの間の上記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいた、デコードの間の上記参照レイヤーおよび上記参照チャネルの選択を含み得る。
さらに他の例において、システムは、アンテナ、ビデオデコーダ、その他、および／またはこれらの組み合わせを含み得る。アンテナは、ビデオデータのエンコードされたビットストリームを受信するよう構成され得る。ビデオデコーダはアンテナと通信可能に結合され得、エンコードされたビットストリームをデコードするよう構成され得る。ビデオデコーダは、ビデオデータの参照レイヤーにおける参照チャネルに関する参照予測残差を決定し、クロスレイヤー・クロスチャネル予測を介して、上記参照予測残差に少なくとも部分的に基づいてターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を決定するよう構成され得、上記ターゲットレイヤーは上記参照レイヤーより上位のレイヤーであり得る。
更なる例において、少なくとも１つのマシン可読媒体は、コンピューティングデバイスで実行されることに応じて、コンピューティングデバイスに、上記した例のうちいずれか１つに係る方法を実行させる複数の命令を含み得る。
また更なる例において、装置は、上記した例のうちいずれか１つに係る方法を実行する手段を含み得る。
上記した例は、特徴の特定の組み合わせを含み得る。しかし、そのような上記した例はこの点に関して限定されず、様々な実施例において、上記した例は、そのような特徴のサブセットのみを実行すること、そのような特徴を異なる順序で実行すること、そのような特徴の異なる組み合わせを実行すること、および／または、明示的に列挙されたそれらの特徴以外の追加の特徴を実行することを含み得る。例えば、例示的な方法に関して説明された全ての特徴は、例示的な装置、例示的なシステム、および／または例示的な物品に関して実装され得、その逆もまた然りである。

Claims (31)

  1. ビデオコーディングのための、コンピュータで実施される方法であり、
    ビデオコーダを介して、ビデオデータの参照レイヤーにおける参照チャネルに関する参照予測残差を決定する段階と、
    クロスレイヤー・クロスチャネル予測を介して、前記参照予測残差に少なくとも部分的に基づいて、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を前記ビデオコーダを介し決定する段階と
    を備え、
    前記ターゲットレイヤーは前記参照レイヤーより上位のレイヤーであり、
    前記ターゲットチャネルは前記参照チャネルとは異なるチャネルである、方法。
  2. 前記参照レイヤーがベースレイヤーを含む場合、前記ターゲットレイヤーはエンハンスメントレイヤーを含み、前記参照レイヤーがエンハンスメントレイヤーを含む場合、前記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含む、請求項１に記載の方法。
  3. 前記参照チャネルがルマチャネルを含む場合、前記ターゲットチャネルはクロマチャネルを含み、前記参照チャネルがクロマチャネルを含む場合、前記ターゲットチャネルがルマチャネルと他のクロマチャネルとのうち一方を含む、請求項１または２に記載の方法。
  4. 前記参照レイヤーがベースレイヤーであり、かつ前記参照チャネルがルマチャネルである場合、前記ターゲットレイヤーは、エンハンスメントレイヤーであり、かつ前記ターゲットチャネルはクロマチャネルである、請求項１から３のいずれか１つに記載の方法。
  5. 前記ビデオコーダを介し、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関する更なる参照予測残差を決定する段階をさらに備え、
    前記ビデオコーダを介し、前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差を決定する段階は、前記参照予測残差に加えて前記更なる参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーであり、および／または前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルである、請求項１から４のいずれか１つに記載の方法。
  6. 前記ビデオコーダを介し、二次タイプ参照予測残差から一次タイプ参照予測残差を再構成する段階をさらに備え、
    前記ビデオコーダを介し、前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差を決定する段階は、再構成された前記一次タイプ参照予測残差に少なくとも部分的に基づく、請求項１から５のいずれか１つに記載の方法。
  7. 前記ビデオコーダを介し、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関して更なる参照予測残差を決定する段階と、
    前記ビデオコーダを介し、前記参照予測残差に少なくとも部分的に基づいて前記更なる参照予測残差の二次タイプ参照予測残差から一次タイプ参照予測残差を再構成する段階と
    をさらに備え、
    前記ビデオコーダを介し、前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差を決定する段階は、前記更なる参照予測残差の再構成された前記一次タイプ参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーである、および／または、前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルである、請求項１から４のいずれか１つに記載の方法。
  8. 前記ビデオコーダを介し、前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差を決定する段階は、エンコードの間の前記ターゲット予測残差に関連するフラグに少なくとも部分的に基づいてデコードの間の前記参照レイヤーおよび前記参照チャネルを選択する段階を有する、請求項１から７のいずれか１つに記載の方法。
  9. 前記ターゲット予測残差を決定する段階は、線形関係モデルと非線形関係モデルとのうち一方を適用する段階を有する、請求項１から８のいずれか１つに記載の方法。
  10. 前記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じて、線形関係モデルと非線形関係モデルとのうち一方を適応的に適用する段階を有する、請求項１から８のいずれか１つに記載の方法。
  11. 前記ターゲット予測残差を決定する段階は、線形関係モデルと非線形関係モデルとのうち一方を適用する段階を有し、前記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じて、１または複数の一定の関係モデルパラメータのうち１つを適応的に適用する、若しくは１または複数の関係モデルパラメータを適応的に決定する段階を有する、請求項１から８のいずれか１つに記載の方法。
  12. 前記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じて、線形関係モデルと非線形関係モデルとのうち一方を適応的に適用する段階を有し、
    前記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じて、１または複数の一定の関係モデルパラメータのうち１つを適応的に適用する、若しくは１または複数の関係モデルパラメータを適応的に決定する段階を有する、請求項１から８のいずれか１つに記載の方法。
  13. 前記ビデオコーダを介し、前記ターゲットチャネルに関する前記ターゲット予測残差を、クロスレイヤー・クロスチャネル予測を介して決定する段階は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用される、請求項１から１２のいずれか１つに記載の方法。
  14. 前記方法は、前記ビデオコーダを介し、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関する更なる参照予測残差を決定する段階をさらに備え、
    前記ビデオコーダを介し、前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差を決定する段階は、前記参照予測残差に加えて前記更なる参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーであり、および／または前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルであり、
    前記参照レイヤーがベースレイヤーを含む場合、前記ターゲットレイヤーはエンハンスメントレイヤーを含み、前記参照レイヤーがエンハンスメントレイヤーを含む場合、前記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み、
    前記参照チャネルがルマチャネルを含む場合、前記ターゲットチャネルはクロマチャネルを含み、前記参照チャネルがクロマチャネルを含む場合、前記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み、
    前記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じて、線形関係モデルと非線形関係モデルとのうち一方を適応的に適用する段階を有し、
    前記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じて、１または複数の一定の関係モデルパラメータのうち１つを適応的に適用する、若しくは１または複数の関係モデルパラメータを適応的に決定する段階を有し、
    前記ビデオコーダを介し、前記ターゲットチャネルに関する前記ターゲット予測残差を、クロスレイヤー・クロスチャネル予測を介して決定する段階は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され、
    前記ビデオコーダを介し、前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差を決定する段階は、エンコードの間の前記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいてデコードの間の前記参照レイヤーおよび前記参照チャネルを選択する段階を有する、請求項１に記載の方法。
  15. 前記方法は、
    前記ビデオコーダを介し、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関する更なる参照予測残差を決定する段階と
    前記ビデオコーダを介し、前記参照予測残差に少なくとも部分的に基づいて前記更なる参照予測残差の二次タイプ参照予測残差から一次タイプ参照予測残差を再構成する段階と
    をさらに備え、
    前記ビデオコーダを介し、前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差を決定する段階は、前記更なる参照予測残差の再構成された前記一次タイプ参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーであり、および／または前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルであり、
    前記参照レイヤーがベースレイヤーを含む場合、前記ターゲットレイヤーはエンハンスメントレイヤーを含み、前記参照レイヤーがエンハンスメントレイヤーを含む場合、前記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み、
    前記参照チャネルがルマチャネルを含む場合、前記ターゲットチャネルはクロマチャネルを含み、前記参照チャネルがクロマチャネルを含む場合、前記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み、
    前記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じて、線形関係モデルと非線形関係モデルとのうち一方を適応的に適用する段階を有し、
    前記ターゲット予測残差を決定する段階は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じて、１または複数の一定の関係モデルパラメータのうち１つを適応的に適用する、若しくは１または複数の関係モデルパラメータを適応的に決定する段階を有し、
    前記ビデオコーダを介し、前記ターゲットチャネルに関する前記ターゲット予測残差を、クロスレイヤー・クロスチャネル予測を介して決定する段階は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され、
    前記ビデオコーダを介し、前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差を決定する段階は、エンコードの間の前記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいてデコードの間の前記参照レイヤーおよび前記参照チャネルを選択する段階を有する、請求項１に記載の方法。
  16. コンピュータでのビデオコーディングのためのシステムであり、
    ビデオデータを提示するディスプレイデバイスと、
    前記ディスプレイデバイスに通信可能に結合された１または複数のプロセッサと、
    前記１または複数のプロセッサに通信可能に結合された１または複数のメモリ記憶装置と、
    前記１または複数のプロセッサに通信可能に結合されたビデオコーダのクロスレイヤー・クロスチャネル予測ロジックモジュールであり、ビデオデータの参照レイヤーにおける参照チャネルに関する参照予測残差を決定し、クロスレイヤー・クロスチャネル予測を介して、前記参照予測残差に少なくとも部分的に基づいてターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を決定する前記クロスレイヤー・クロスチャネル予測ロジックモジュールと、
    前記クロスレイヤー・クロスチャネル予測ロジックモジュールに通信可能に結合された、前記ビデオコーダの残差再構成ロジックモジュールであり、決定された前記ターゲット予測残差に少なくとも部分的に基づいてターゲット残差を再構成する前記残差再構成ロジックモジュールと
    を備え、
    前記ターゲットレイヤーは前記参照レイヤーより上位のレイヤーであり、
    前記ターゲットチャネルは前記参照チャネルとは異なるチャネルである、システム。
  17. 前記参照レイヤーがベースレイヤーを含む場合、前記ターゲットレイヤーはエンハンスメントレイヤーを含み、前記参照レイヤーがエンハンスメントレイヤーを含む場合、前記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含む、請求項１６に記載のシステム。
  18. 前記参照チャネルがルマチャネルを含む場合、前記ターゲットチャネルはクロマチャネルを含み、前記参照チャネルがクロマチャネルを含む場合、前記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含む、請求項１６または１７に記載のシステム。
  19. 前記クロスレイヤー・クロスチャネル予測ロジックモジュールはさらに、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関する更なる参照予測残差を決定し、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、前記参照予測残差に加えて前記更なる参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーであり、および／または前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルである、請求項１６から１８のいずれか１つに記載のシステム。
  20. 前記残差再構成ロジックモジュールはさらに、二次タイプ参照予測残差から一次タイプ参照予測残差を再構成し、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、再構成された前記一次タイプ参照予測残差に少なくとも部分的に基づく、請求項１６から１９のいずれか１つに記載のシステム。
  21. 前記クロスレイヤー・クロスチャネル予測ロジックモジュールはさらに、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関して更なる参照予測残差を決定し、
    前記残差再構成ロジックモジュールはさらに、前記参照予測残差に少なくとも部分的に基づいて前記更なる参照予測残差の二次タイプ参照予測残差から一次タイプ参照予測残差を再構成し、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、前記更なる参照予測残差の再構成された前記一次タイプ参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーである、および／または、前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルである、請求項１６から１９のいずれか１つに記載のシステム。
  22. 前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、エンコードの間の前記ターゲット予測残差に関連するフラグに少なくとも部分的に基づいた、デコードの間の前記参照レイヤーおよび前記参照チャネルの選択を含む、請求項１６から２１のいずれか１つに記載のシステム。
  23. 前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、線形関係モデルと非線形関係モデルとのうち一方の適応的な適用を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、１または複数の一定の関係モデルパラメータのうち１つの適応的な適用、または、１または複数の関係モデルパラメータの適応的な決定を含む、請求項１６から２２のいずれか１つに記載のシステム。
  24. クロスレイヤー・クロスチャネル予測を介した前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用される、請求項１６から２３のいずれか１つに記載のシステム。
  25. 前記クロスレイヤー・クロスチャネル予測ロジックモジュールはさらに、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関する更なる参照予測残差を決定し、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、前記参照予測残差に加えて前記更なる参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーであり、および／または前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルであり、
    前記参照レイヤーがベースレイヤーを含む場合、前記ターゲットレイヤーはエンハンスメントレイヤーを含み、前記参照レイヤーがエンハンスメントレイヤーを含む場合、前記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み、
    前記参照チャネルがルマチャネルを含む場合、前記ターゲットチャネルはクロマチャネルを含み、前記参照チャネルがクロマチャネルを含む場合、前記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、線形関係モデルと非線形関係モデルとのうち一方の適応的な適用を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、１または複数の一定の関係モデルパラメータのうち１つの適応的な適用、または１または複数の関係モデルパラメータの適応的な決定を含み、
    クロスレイヤー・クロスチャネル予測を介した前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、エンコードの間の前記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいた、デコードの間の前記参照レイヤーおよび前記参照チャネルの選択を含む、請求項１６に記載のシステム。
  26. 前記クロスレイヤー・クロスチャネル予測ロジックモジュールはさらに、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関する更なる参照予測残差を決定し、
    前記残差再構成ロジックモジュールはさらに、前記参照予測残差に少なくとも部分的に基づいて前記更なる参照予測残差の二次タイプ参照予測残差から一次タイプ参照予測残差を再構成し、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、前記更なる参照予測残差の再構成された前記一次タイプ参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーであり、および／または前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルであり、
    前記参照レイヤーがベースレイヤーを含む場合、前記ターゲットレイヤーはエンハンスメントレイヤーを含み、前記参照レイヤーがエンハンスメントレイヤーを含む場合、前記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み、
    前記参照チャネルがルマチャネルを含む場合、前記ターゲットチャネルはクロマチャネルを含み、前記参照チャネルがクロマチャネルを含む場合、前記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、線形関係モデルと非線形関係モデルとのうち一方の適応的な適用を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、１または複数の一定の関係モデルパラメータのうち１つの適応的な適用、若しくは１または複数の関係モデルパラメータの適応的な決定を含み、
    クロスレイヤー・クロスチャネル予測を介した前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、エンコードの間の前記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいた、デコードの間の前記参照レイヤーおよび前記参照チャネルの選択を含む、請求項１６に記載のシステム。
  27. コンピューティングデバイスで実行されることに応じて、前記コンピューティングデバイスに、請求項１から１５のいずれか一項に記載の方法を実行させるプログラム。
  28. 請求項１から１５のいずれか一項に記載の方法を実行するための手段を備える装置。
  29. ビデオデータのエンコードされたビットストリームを受信するアンテナと、
    前記アンテナに通信可能に結合され、前記エンコードされたビットストリームをデコードするビデオデコーダであり、ビデオデータの参照レイヤーにおける参照チャネルに関する参照予測残差を決定し、クロスレイヤー・クロスチャネル予測を介して、前記参照予測残差に少なくとも部分的に基づいて、ターゲットレイヤーにおけるターゲットチャネルに関するターゲット予測残差を決定する前記ビデオデコーダと
    を備え、
    前記ターゲットレイヤーは前記参照レイヤーより上位のレイヤーであり、
    前記ターゲットチャネルは前記参照チャネルとは異なるチャネルであるシステム。
  30. 前記ビデオデコーダはさらに、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関する更なる参照予測残差を決定し、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、前記参照予測残差に加えて前記更なる参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーであり、および／または前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルであり、
    前記参照レイヤーがベースレイヤーを含む場合、前記ターゲットレイヤーはエンハンスメントレイヤーを含み、前記参照レイヤーがエンハンスメントレイヤーを含む場合、前記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み、
    前記参照チャネルがルマチャネルを含む場合、前記ターゲットチャネルはクロマチャネルを含み、前記参照チャネルがクロマチャネルを含む場合、前記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、線形関係モデルと非線形関係モデルとのうち一方の適応的な適用を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、１または複数の一定の関係モデルパラメータのうち１つの適応的な適用、または１または複数の関係モデルパラメータの適応的な決定を含み、
    クロスレイヤー・クロスチャネル予測を介した前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、エンコードの間の前記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいた、デコードの間の前記参照レイヤーおよび前記参照チャネルの選択を含む、請求項２９に記載のシステム。
  31. 前記ビデオデコーダは、前記ビデオデータの更なる参照レイヤーと更なる参照チャネルとのうち少なくとも一方に関する更なる参照予測残差を決定し、前記参照予測残差に少なくとも部分的に基づいて前記更なる参照予測残差の二次タイプ参照予測残差から一次タイプ参照予測残差を再構成し、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、前記更なる参照予測残差の再構成された前記一次タイプ参照予測残差に少なくとも部分的に基づき、
    前記ターゲットレイヤーは、前記更なる参照レイヤーより上位のレイヤーであり、および／または前記ターゲットチャネルは、前記更なる参照チャネルとは異なるチャネルであり、
    前記参照レイヤーがベースレイヤーを含む場合、前記ターゲットレイヤーはエンハンスメントレイヤーを含み、前記参照レイヤーがエンハンスメントレイヤーを含む場合、前記ターゲットレイヤーはより上位のエンハンスメントレイヤーを含み、
    前記参照チャネルがルマチャネルを含む場合、前記ターゲットチャネルはクロマチャネルを含み、前記参照チャネルがクロマチャネルを含む場合、前記ターゲットチャネルはルマチャネルと他のクロマチャネルとのうち一方を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、線形関係モデルと非線形関係モデルとのうち一方の適応的な適用を含み、
    前記ターゲット予測残差の決定は、ブロック単位でのブロックサイズと、エンコードモードとのうち少なくとも一方に応じた、１または複数の一定の関係モデルパラメータのうち１つの適応的な適用、若しくは１または複数の関係モデルパラメータの適応的な決定を含み、
    クロスレイヤー・クロスチャネル予測を介した前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、レート歪みコストに少なくとも部分的に基づいてブロック単位で適応的に適用され、
    前記ターゲットレイヤーにおける前記ターゲットチャネルに関する前記ターゲット予測残差の前記決定は、エンコードの間の前記ターゲット予測残差のブロックに関連するフラグに少なくとも部分的に基づいた、デコードの間の前記参照レイヤーおよび前記参照チャネルの選択を含む、請求項２９に記載のシステム。
JP2015517579A 2012-06-27 2012-06-27 クロスレイヤー・クロスチャネル残差予測 Expired - Fee Related JP6060394B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/077585 WO2014000168A1 (en) 2012-06-27 2012-06-27 Cross-layer cross-channel residual prediction

Publications (2)

Publication Number Publication Date
JP2015524219A JP2015524219A (ja) 2015-08-20
JP6060394B2 true JP6060394B2 (ja) 2017-01-18

Family

ID=49782037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015517579A Expired - Fee Related JP6060394B2 (ja) 2012-06-27 2012-06-27 クロスレイヤー・クロスチャネル残差予測

Country Status (5)

Country Link
US (1) US10536710B2 (ja)
EP (1) EP2868078A4 (ja)
JP (1) JP6060394B2 (ja)
CN (1) CN104322068A (ja)
WO (1) WO2014000168A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
WO2014043885A1 (en) * 2012-09-21 2014-03-27 Intel Corporation Cross-layer motion vector prediction
KR102428831B1 (ko) * 2017-01-23 2022-08-03 삼성디스플레이 주식회사 데이터 전송 방법 및 송신기
CN109274969B (zh) 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
PH12019000380A1 (en) * 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
TWI812874B (zh) * 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
EP4300955A1 (en) * 2022-06-29 2024-01-03 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
EP1509045A3 (en) 2003-07-16 2006-08-09 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using intercolor plane prediction
US20050259729A1 (en) 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP2008516556A (ja) * 2004-10-13 2008-05-15 トムソン ライセンシング コンプレクシティスケーラブル映像符号化復号化方法及び装置
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
CN101662683B (zh) * 2005-04-14 2012-05-30 汤姆森特许公司 空间可缩放视频解码方法和空间可缩放视频解码器
BRPI0613659B1 (pt) * 2005-07-21 2019-06-04 Thomson Licensing Método e aparelho para o prognóstico ponderado para uma codificação de vídeo redimensionável
KR100772868B1 (ko) 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR101256548B1 (ko) * 2005-12-30 2013-04-19 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법
US20070157087A1 (en) 2005-12-30 2007-07-05 Karl-Heinz Foerg Method and system for automatically generating user interfaces for integration
KR101261526B1 (ko) 2006-07-04 2013-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
KR101266168B1 (ko) 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US20080089411A1 (en) 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
WO2008111005A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
TW200845723A (en) * 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
CN101663896A (zh) 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
EP2193661A4 (en) * 2007-06-27 2011-10-19 Thomson Licensing METHOD AND APPARATUS FOR ENCODING AND / OR DECODING VIDEO DATA USING RESIDUAL PREDICTION OF IMPROVING LAYER FOR SCALABILITY OF BINARY DEPTH
JP5534522B2 (ja) * 2007-10-15 2014-07-02 トムソン ライセンシング スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置
US8848787B2 (en) * 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
JP5358485B2 (ja) 2010-03-01 2013-12-04 株式会社Ｋｄｄｉ研究所 画像符号化装置
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
CN103918265B (zh) * 2011-11-07 2018-09-18 英特尔公司 跨通道残余预测
US9392274B2 (en) * 2012-03-22 2016-07-12 Qualcomm Incorporated Inter layer texture prediction for video coding
US9219916B2 (en) * 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
JP5873395B2 (ja) 2012-06-14 2016-03-01 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9860533B2 (en) 2012-06-26 2018-01-02 Intel Corporation Cross-layer cross-channel sample prediction
SG11201502435XA (en) * 2012-09-27 2015-05-28 Dolby Lab Licensing Corp Inter-layer reference picture processing for coding standard scalability

Also Published As

Publication number Publication date
JP2015524219A (ja) 2015-08-20
US20150124875A1 (en) 2015-05-07
CN104322068A (zh) 2015-01-28
EP2868078A1 (en) 2015-05-06
EP2868078A4 (en) 2016-07-27
WO2014000168A1 (en) 2014-01-03
US10536710B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
US10659777B2 (en) Cross-channel residual prediction
JP5976696B2 (ja) 処理方法及びビデオコーディングシステム
JP6060394B2 (ja) クロスレイヤー・クロスチャネル残差予測
JP2015530805A (ja) レイヤ間画素サンプル予測
JP2015528252A (ja) サイズに基づく変換ユニットコンテクスト導出
KR20150036761A (ko) 인터-레이어 잔차 예측
US20140169467A1 (en) Video coding including shared motion estimation between multple independent coding streams
JP2016506165A (ja) インターレイヤの動きデータ継承
US9860533B2 (en) Cross-layer cross-channel sample prediction
JP6005847B2 (ja) スケーラブルなビデオコーディングのためのアダプティブフィルタリング
KR20140098107A (ko) 잔류 예측을 위한 움직임 추정 방법
JP2014209757A (ja) クロスチャネル残差予測
JP6227698B2 (ja) クロスチャネル残差予測
JP6177966B2 (ja) クロスチャネル残差予測
JP6156808B2 (ja) 圧縮されたビデオデータをデコードするための装置、システム、方法、集積回路、およびプログラム
JP2015146599A (ja) レイヤ間画素サンプル予測

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160219

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161114

R150 Certificate of patent or registration of utility model

Ref document number: 6060394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees