JP2024516809A - ニューラルネットワークベースのイントラ予測モードと通常イントラ予測モードとの間の相互作用 - Google Patents

ニューラルネットワークベースのイントラ予測モードと通常イントラ予測モードとの間の相互作用 Download PDF

Info

Publication number
JP2024516809A
JP2024516809A JP2023564532A JP2023564532A JP2024516809A JP 2024516809 A JP2024516809 A JP 2024516809A JP 2023564532 A JP2023564532 A JP 2023564532A JP 2023564532 A JP2023564532 A JP 2023564532A JP 2024516809 A JP2024516809 A JP 2024516809A
Authority
JP
Japan
Prior art keywords
neural network
prediction mode
intra
block
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023564532A
Other languages
English (en)
Inventor
デュマ、ティエリー
ガルパン、フランク
ボルド、フィリップ
リアネック、ファブリース ル
ロベール、アントワン
Original Assignee
インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ filed Critical インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Publication of JP2024516809A publication Critical patent/JP2024516809A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

ニューラルネットワークベースのイントラ予測が有効化されるとき、ルミナンスコーディングブロック及び／又はクロミナンスコーディングブロックのイントラ予測と、関連するシグナリングと、を実行するためのシステム、方法、及び手段が開示される。現在コーディングブロックについて、ニューラルネットワークベースの予測モード及びブロックコンテキストを表す情報が取得され得る。ニューラルネットワークベースの予測子は、ブロックコンテキスト及びニューラルネットワークベースの予測モードに基づいて、現在コーディングブロックのために生成され得る。生成されたニューラルネットワークベースの予測子に対応する非ニューラルネットワークベースのイントラ予測モードが決定され得る。隣接ブロックについての予測モードは、非ニューラルネットワークベースのイントラ予測モードに基づいて決定され得る。

Description

（関連出願の相互参照）
本出願は、２０２１年４月２８日に出願された欧州仮特許出願第２１３０５５４６．０号、２０２１年６月１１日に出願された欧州仮特許出願第２１３０５８０６．８号、２０２１年９月２０日に出願された欧州仮特許出願第２１３０６２９７．９号、及び２０２１年１２月２１日に出願された欧州仮特許出願第２１３０６８９２．７号の利益を主張し、その内容は、参照により本明細書に組み込まれる。
高い圧縮効率を実現するために、画像及びビデオのコーディングスキームは、デオコンテンツ内の空間冗長性及び時間冗長性を活用するために、予測及び変換を用い得る。イントラ予測又はインター予測は、イントラフレーム相関又はインターフレーム相関を活用するために使用され得る。しばしば予測誤差又は予測残差として示される、元のブロックと予測されたブロックとの間の差は、変換、量子化、及びエントロピコーディングされ得る。ビデオを再構成するために、エントロピコーディング、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データが復号され得る。
ニューラルネットワークベースのイントラ予測が有効化されるとき、ルミナンスコーディングブロック及び／又はクロミナンスコーディングブロックのイントラ予測と、関連するシグナリングとを実行するためのシステム、方法、及び手段が開示される。現在コーディングブロックについて、ニューラルネットワークベースの予測モード及びブロックコンテキストを表す情報が取得され得る。ニューラルネットワークベースの予測子は、ブロックコンテキスト及びニューラルネットワークベースの予測モードに基づいて、現在コーディングブロックのために生成され得る。生成されたニューラルネットワークベースの予測子に対応する非ニューラルネットワークベースのイントラ予測モードが決定され得る。隣接ブロックについての予測モードは、非ニューラルネットワークベースのイントラ予測モードに基づいて決定され得る。
本明細書に説明されるシステム、方法、及び手段は、デコーダを含み得る。いくつかの実施例では、本明細書に説明されるシステム、方法、及び手段は、エンコーダを含み得る。いくつかの実施例では、本明細書に説明されるシステム、方法、及び手段は、（例えば、エンコーダからの、及び／又はデコーダによって受信された）信号を含み得る。コンピュータ可読媒体は、１つ以上のプロセッサに、本明細書に説明される方法を実行させるための命令を含み得る。コンピュータプログラム製品は命令を含み得、命令は、プログラムが１つ以上のプロセッサによって実行されるときに、１つ以上のプロセッサに本明細書に説明される方法を行わせ得る。
１つ以上の開示された実施形態が実装され得る、例示的な通信システムを例解するシステム図である。 一実施形態による、図１Ａに例解される通信システム内で使用され得る、例示的な無線送信／受信ユニット（wireless transmit/receive unit、ＷＴＲＵ）を例解するシステム図である。 一実施形態による、図１Ａに例解される通信システム内で使用され得る、例示的な無線アクセスネットワーク（radio access network、ＲＡＮ）及び例示的なコアネットワーク（core network、ＣＮ）を例解するシステム図である。 一実施形態による、図１Ａに例解される通信システム内で使用され得る、更なる例示的なＲＡＮ及び更なる例示的なＣＮを例解するシステム図である。 例示的なビデオエンコーダを例解する。 例示的なビデオデコーダを例解する。 様々な態様及び実施例が実装され得るシステムの実施例を例解する。 予測されるべき矩形ブロックを囲むコンテキストの例を示す。 現在Ｗ×Ｈクロミナンスコーディングブロック（Coding Block、ＣＢ）についてのニューラルネットワークベースのイントラ予測モードのシグナリングの一例を示す。 エンコーダ側で現在ブロックのニューラルネットワーク予測を最もよく表す通常イントラ予測モードのインデックスを推測する例を示す。 デコーダ側で現在ブロックのニューラルネットワーク予測を最もよく表す通常イントラ予測モードのインデックスを推測する例を示す。 エンコーダ側で現在ブロックのニューラルネットワーク予測を最もよく表す通常イントラ予測モードのインデックスを推測する例を示す。 デコーダ側で現在ブロックのニューラルネットワーク予測を最もよく表す通常イントラ予測モードのインデックスを推測する例を示す。 エンコーダ側で現在ブロックのニューラルネットワーク予測を最もよく表すｋ個の通常イントラ予測モードのインデックスを推測する例を示す。 デコーダ側で現在ブロックのニューラルネットワーク予測を最もよく表すｋ個の通常イントラ予測モードのインデックスを推測する例を示す。 現在クロミナンスコーディングブロックについてのイントラ予測シグナリング及びダイレクトモード（direct mode、ＤＭ）の例示的な定義を示す。 現在クロミナンスＣＢについての例示的なイントラ予測シグナリングを示す。 現在クロミナンスＣＢのための例示的なイントラ予測シグナリングを示す。 デコーダ側で現在ブロックのニューラルネットワーク予測を最もよく表す通常イントラ予測モードのインデックスを推測する例を示す。 ニューラルネットワークベースのイントラ予測モードによる予測の例を示す。 ニューラルネットワークベースのイントラ予測モードによる予測の例を示す。 ニューラルネットワークベースのイントラ予測モードによる予測の例を示す。 ニューラルネットワークベースのイントラ予測モードによる予測の例を示す。 ニューラルネットワークベースのイントラ予測モードによるブロックの予測の例を示す。 エンコーダ側のニューラルネットワークベースのパイプラインの例を示す。 デコーダ側のニューラルネットワークベースのパイプラインの例を示す。 ビットＢｒｅｍａｉｎｄｅｒをもたらす、ｐｒｅｄＴｒＧｒｐＩｄｘに対するｔｒＧｒｐＩｄｘの予測符号化を表す例示的な決定木を示す。 予測符号化と関連付けられた予測復号の例を示す。 最確モード（most probable mode、ＭＰＭ）のリストの例示的な導出を示す。 ニューラルネットワークベースのイントラ予測モードを含むビデオコーデックのためのＭＰＭのリストの例示的な導出を示す。 ＭＰＭのリストの例示的な導出を示す。 ニューラルネットワークベースのイントラ予測モードを含むビデオコーデックのためのＭＰＭのリストの例示的な導出を示す。 ニューラルネットワークベースのイントラ予測モードを含むビデオコーデックのためのＭＰＭのリストの例示的な導出を示す。 ＭＰＭのリストの例示的な導出を示す。 デコーダ側で現在ブロックのニューラルネットワーク予測を表す通常イントラ予測モードのインデックスを推測する例を示す。
より詳細な理解は、例示として添付の図面と併せて与えられる、以下の詳細な説明から得られ得る。
図１Ａは、１つ以上の開示された実施形態が実装され得る、例示的な通信システム１００を例解する図である。通信システム１００は、音声、データ、ビデオ、メッセージ伝達、ブロードキャストなどのコンテンツを、複数の無線ユーザに提供する、多重アクセスシステムであり得る。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じて、上記のようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム１００は、コード分割多重アクセス（code division multiple access、ＣＤＭＡ）、時分割多重アクセス（time division multiple access、ＴＤＭＡ）、周波数分割多重アクセス（frequency division multiple access、ＦＤＭＡ）、直交ＦＤＭＡ（ｏｒｔｈｏｇｏｎａｌ ＦＤＭＡ、ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（single-carrier FDMA、ＳＣ－ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ－Ｓｐｒｅａｄ ＯＦＤＭ（zero-tail unique-word DFT-Spread OFDM、ＺＴ ＵＷ ＤＴＳ－ｓ ＯＦＤＭ）、ユニークワードＯＦＤＭ（unique word OFDM、ＵＷ－ＯＦＤＭ）、リソースブロックフィルタ処理ＯＦＤＭ、フィルタバンクマルチキャリア（filter bank multicarrier、ＦＢＭＣ）などの、１つ以上のチャネルアクセス方法を用い得る。
図１Ａに示されるように、通信システム１００は、無線送信／受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄと、ＲＡＮ１０４／１１３と、ＣＮ１０６／１１５と、公衆交換電話網（public switched telephone network、ＰＳＴＮ）１０８と、インターネット１１０と、他のネットワーク１１２とを含み得るが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、及び／又はネットワーク要素を企図していることが理解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの各々は、無線環境において動作し、かつ／又は通信するように構成された、任意のタイプのデバイスであり得る。例として、それらのいずれも「局」及び／又は「ＳＴＡ」と称され得るＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信及び／又は受信するように構成され得、ユーザ機器（user equipment、ＵＥ）、移動局、固定又は移動加入者ユニット、加入ベースのユニット、ページャ、セルラ電話、携帯情報端末（personal digital assistant、ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポット又はＭｉ－Ｆｉデバイス、モノのインターネット（Internet of Things、ＩｏＴ）デバイス、ウォッチ又は他のウェアラブル、ヘッドマウントディスプレイ（head-mounted display、ＨＭＤ）、車両、ドローン、医療デバイス及びアプリケーション（例えば、遠隔手術）、工業用デバイス及びアプリケーション（例えば、工業用及び／又は自動処理チェーンコンテキストで動作するロボット及び／又は他の無線デバイス）、家電デバイス、商業用及び／又は工業用無線ネットワークで動作するデバイスなどを含み得る。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、及び１０２ｄのいずれも、互換的にＵＥと称され得る。
通信システム１００はまた、基地局１１４ａ及び／又は基地局１１４ｂを含み得る。基地局１１４ａ、１１４ｂの各々は、ＣＮ１０６／１１５、インターネット１１０、及び／又は他のネットワーク１１２など、１つ以上の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つと無線でインターフェース接続するように構成された、任意のタイプのデバイスであり得る。例として、基地局１１４ａ、１１４ｂは、基地局トランシーバ（base transceiver station、ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、ｇＮＢ、ＮＲノードＢ、サイトコントローラ、アクセスポイント（access point、ＡＰ）、無線ルータなどであり得る。基地局１１４ａ、１１４ｂは各々単一の要素として描示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局及び／又はネットワーク要素を含み得ることが理解されるであろう。
基地局１１４ａは、基地局コントローラ（base station controller、ＢＳＣ）、無線ネットワークコントローラ（radio network controller、ＲＮＣ）、リレーノードなど、他の基地局及び／又はネットワーク要素（図示せず）も含み得る、ＲＡＮ１０４／１１３の一部であり得る。基地局１１４ａ及び／又は基地局１１４ｂは、セル（図示せず）と称され得る、１つ以上のキャリア周波数で無線信号を送信及び／又は受信するように構成され得る。これらの周波数は、認可スペクトル、未認可スペクトル、又は認可スペクトル及び未認可スペクトルの組み合わせであり得る。セルは、相対的に固定され得るか又は経時的に変化し得る特定の地理的エリアに、無線サービスのカバレッジを提供し得る。セルは、セルセクタに更に分けられ得る。例えば、基地局１１４ａと関連付けられたセルは、３つのセクタに分けられ得る。したがって、一実施形態では、基地局１１４ａは、３つのトランシーバを、すなわち、セルのセクタごとに１つのトランシーバを含み得る。一実施形態では、基地局１１４ａは、多重入力多重出力（multiple-input multiple output、ＭＩＭＯ）技術を用い得、セルのセクタごとに複数のトランシーバを利用し得る。例えば、ビームフォーミングを使用して、所望の空間方向に信号を送信及び／又は受信し得る。
基地局１１４ａ、１１４ｂは、エアインターフェース１１６を介して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つ以上と通信し得るが、このエアインターフェース１１６は、任意の好適な無線通信リンク（例えば、無線周波数（radio frequency、ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（infrared、ＩＲ）、紫外線（ultraviolet、ＵＶ）、可視光など）であり得る。エアインターフェース１１６は、任意の好適な無線アクセス技術（radio access technology、ＲＡＴ）を使用して確立され得る。
より具体的には、上記のように、通信システム１００は、多重アクセスシステムであり得、例えば、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ－ＦＤＭＡなどの、１つ以上のチャネルアクセススキームを用い得る。例えば、ＲＡＮ１０４／１１３内の基地局１１４ａ、及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ユニバーサル移動体通信システム（Universal Mobile Telecommunications System、ＵＭＴＳ）地上無線アクセス（UMTS Terrestrial Radio Access、ＵＴＲＡ）などの無線技術を実装し得、これは広帯域ＣＤＭＡ（wideband CDMA、ＷＣＤＭＡ）を使用してエアインターフェース１１５／１１６／１１７を確立し得る。ＷＣＤＭＡは、高速パケットアクセス（High-Speed Packet Access、ＨＳＰＡ）及び／又は進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含み得る。ＨＳＰＡは、高速ダウンリンク（Downlink、ＤＬ）パケットアクセス（High-Speed Downlink Packet Access、ＨＳＤＰＡ）及び／又は高速アップリンクパケットアクセス（High-Speed UL Packet Access、ＨＳＵＰＡ）を含み得る。
一実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、進化型ＵＭＴＳ地上無線アクセス（Evolved UMTS Terrestrial Radio Access、Ｅ－ＵＴＲＡ）などの無線技術を実装し得、これは、ロングタームエボリューション（Long Term Evolution、ＬＴＥ）及び／又はＬＴＥ－Ａｄｖａｎｃｅｄ（ＬＴＥ－Ａ）及び／又はＬＴＥ－Ａｄｖａｎｃｅｄ Ｐｒｏ（ＬＴＥ－Ａ Ｐｒｏ）を使用してエアインターフェース１１６を確立し得る。
一実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＮＲ無線アクセスなどの無線技術を実装することができ、この技術は、新しい無線（New Radio、ＮＲ）を使用してエアインターフェース１１６を確立することができる。
一実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実装し得る。例えば、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、例えば、デュアルコネクティビティ（dual connectivity、ＤＣ）原理を使用して、ＬＴＥ無線アクセス及びＮＲ無線アクセスを一緒に実装し得る。したがって、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるエアインターフェースは、複数のタイプの基地局（例えば、ｅＮＢ及びｇＮＢ）に／から送信される複数のタイプの無線アクセス技術及び／又は送信によって特徴付けられ得る。
他の実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１１（すなわち、無線フィデリティ（Wireless Fidelity、ＷｉＦｉ）、ＩＥＥＥ８０２．１６（すなわち、ワイマックス（Worldwide Interoperability for Microwave Access、ＷｉＭＡＸ）、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ－ＤＯ、暫定規格２０００（ＩＳ－２０００）、暫定規格９５（ＩＳ－９５）、暫定規格８５６（ＩＳ－８５６）、汎欧州デジタル移動電話方式（Global System for Mobile communications、ＧＳＭ）、ＧＳＭ進化型高速データレート（Enhanced Data rates for GSM Evolution、ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実装し得る。
図１Ａの基地局１１４ｂは、例えば、無線ルータ、ＨｏｍｅノードＢ、Ｈｏｍｅ ｅノードＢ又はアクセスポイントであり得、事業所、家庭、車両、キャンパス、工業施設、（例えば、ドローンによる使用のための）空中回廊、道路などの場所などの局所的エリアにおける無線接続を容易にするために、任意の好適なＲＡＴを利用し得る。一実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実装して、無線ローカルエリアネットワーク（wireless local area network、ＷＬＡＮ）を確立し得る。一実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実装して、無線パーソナルエリアネットワーク（wireless personal area network、ＷＰＡＮ）を確立し得る。更に別の一実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用して、ピコセル又はフェムトセルを確立し得る。図１Ａに示すように、基地局１１４ｂは、インターネット１１０への直接接続を有し得る。したがって、基地局１１４ｂは、ＣＮ１０６／１１５を介してインターネット１１０にアクセスする必要がない場合がある。
ＲＡＮ１０４／１１３は、ＣＮ１０６／１１５と通信し得、これは、音声、データ、アプリケーション、及び／又はボイスオーバインターネットプロトコル（voice over internet protocol、ＶｏＩＰ）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つ以上に提供するように構成された、任意のタイプのネットワークであり得る。データは、例えば、異なるスループット要件、待ち時間要件、エラー許容要件、信頼性要件、データスループット要件、モビリティ要件などの、様々なサービス品質（quality of service、ＱｏＳ）要件を有し得る。ＣＮ１０６／１１５は、呼制御、支払い請求サービス、移動体位置ベースのサービス、プリペイド呼、インターネット接続性、ビデオ配信などを提供し、かつ／又はユーザ認証などの高レベルセキュリティ機能を実行し得る。図１Ａには示されていないが、ＲＡＮ１０４／１１３及び／又はＣＮ１０６／１１５は、ＲＡＮ１０４／１１３と同じＲＡＴ又は異なるＲＡＴを採用する他のＲＡＮと、直接又は間接的に通信し得ることが理解されよう。例えば、ＮＲ無線技術を利用し得るＲＡＮ１０４／１１３に接続されていることに加えて、ＣＮ１０６／１１５はまた、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、又はＷｉＦｉ無線技術を採用して別のＲＡＮ（図示せず）と通信し得る。
ＣＮ１０６／１１５はまた、ＰＳＴＮ１０８、インターネット１１０、及び／又は他のネットワーク１１２にアクセスするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのためのゲートウェイとしての機能を果たし得る。ＰＳＴＮ１０８は、従来型電話サービス（Plain Old Telephone Service、ＰＯＴＳ）を提供する回線交換電話網を含み得る。インターネット１１０は、相互接続されたコンピュータネットワーク及びデバイスのグローバルシステムを含み得るが、これらのネットワーク及びデバイスは、送信制御プロトコル（transmission control protocol、ＴＣＰ）、ユーザデータグラムプロトコル（user datagram protocol、ＵＤＰ）、及び／又はＴＣＰ／ＩＰインターネットプロトコルスイートのインターネットプロトコル（internet protocol、ＩＰ）などの、共通通信プロトコルを使用する。ネットワーク１１２は、他のサービスプロバイダによって所有及び／又は運営される、有線及び／又は無線通信ネットワークを含み得る。例えば、ネットワーク１１２は、ＲＡＮ１０４／１１３と同じＲＡＴ又は異なるＲＡＴを採用し得る、１つ以上のＲＡＮに接続された別のＣＮを含み得る。
通信システム１００におけるＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいくつか又は全ては、マルチモード能力を含み得る（例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含み得る）。例えば、図１Ａに示されるＷＴＲＵ１０２ｃは、セルラベースの無線技術を用い得る基地局１１４ａ、及びＩＥＥＥ８０２無線技術を用い得る基地局１１４ｂと通信するように構成され得る。
図１Ｂは、例示的なＷＴＲＵ１０２を例解するシステム図である。図１Ｂに示すように、ＷＴＲＵ１０２は、とりわけ、プロセッサ１１８、トランシーバ１２０、送信／受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非リムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、全地球測位システム（global positioning system、ＧＰＳ）チップセット１３６、及び／又は他の周辺機器１３８を含み得る。ＷＴＲＵ１０２は、一実施形態との一貫性を有したまま、前述の要素の任意の部分的組み合わせを含み得ることが理解されよう。
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連付けられた１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）回路、任意の他のタイプの集積回路（integrated circuit、ＩＣ）、状態機械などであり得る。プロセッサ１１８は、信号コーディング、データ処理、電力制御、入力／出力処理、及び／又はＷＴＲＵ１０２が無線環境で動作することを可能にする任意の他の機能を実行し得る。プロセッサ１１８は、送信／受信要素１２２に結合され得るトランシーバ１２０に結合され得る。図１Ｂは、プロセッサ１１８及びトランシーバ１２０を別個のコンポーネントとして描示するが、プロセッサ１１８及びトランシーバ１２０は、電子パッケージ又はチップにおいて一緒に統合され得るということが理解されよう。
送信／受信要素１２２は、エアインターフェース１１６を介して基地局（例えば、基地局１１４ａ）に信号を送信するか又は基地局（例えば、基地局１１４ａ）から信号を受信するように構成され得る。例えば、一実施形態では、送信／受信要素１２２は、ＲＦ信号を送信及び／又は受信するように構成されたアンテナであり得る。一実施形態では、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ又は可視光信号を送信及び／又は受信するように構成されたエミッタ／検出器であり得る。更に別の実施形態では、送信／受信要素１２２は、ＲＦ信号及び光信号の両方を送信及び／又は受信するように構成され得る。送信／受信要素１２２は、無線信号の任意の組み合わせを送信及び／又は受信するように構成され得るということが理解されよう。
送信／受信要素１２２は、単一の要素として図１Ｂに描示されているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含み得る。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を用い得る。したがって、一実施形態では、ＷＴＲＵ１０２は、エアインターフェース１１６を介して無線信号を送受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含み得る。
トランシーバ１２０は、送信／受信要素１２２によって送信される信号を変調し、送信／受信要素１２２によって受信される信号を復調するように構成され得る。上記のように、ＷＴＲＵ１０２は、マルチモード能力を有し得る。したがって、トランシーバ１２０は、例えば、ＮＲ及びＩＥＥＥ８０２．１１などの複数のＲＡＴを介してＷＴＲＵ１０２が通信することを可能にするための複数のトランシーバを含み得る。
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、及び／又はディスプレイ／タッチパッド１２８（例えば、液晶ディスプレイ（liquid crystal display、ＬＣＤ）表示ユニット若しくは有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）表示ユニット）に結合され得、これらからユーザが入力したデータを受信し得る。プロセッサ１１８はまた、ユーザデータをスピーカ／マイクロフォン１２４、キーパッド１２６、及び／又はディスプレイ／タッチパッド１２８に出力し得る。加えて、プロセッサ１１８は、非リムーバブルメモリ１３０及び／又はリムーバブルメモリ１３２などの任意のタイプの好適なメモリから情報にアクセスし、かつ当該メモリにデータを記憶し得る。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（random-access memory、ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、ハードディスク、又は任意の他のタイプのメモリ記憶デバイスを含み得る。リムーバブルメモリ１３２は、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリスティック、セキュアデジタル（secure digital、ＳＤ）メモリカードなどを含み得る。他の実施形態では、プロセッサ１１８は、サーバ又はホームコンピュータ（図示せず）上など、ＷＴＲＵ１０２上に物理的に配置されていないメモリから情報にアクセスし、かつ当該メモリにデータを記憶し得る。
プロセッサ１１８は、電源１３４から電力を受信し得るが、ＷＴＲＵ１０２における他のコンポーネントに電力を分配し、かつ／又は制御するように構成され得る。電源１３４は、ＷＴＲＵ１０２に電力を供給するための任意の好適なデバイスであり得る。例えば、電源１３４は、１つ以上の乾電池（例えば、ニッケルカドミウム（nickel-cadmium、ＮｉＣｄ）、ニッケル亜鉛（nickel-zinc、ＮｉＺｎ）、ニッケル金属水素化物（nickel metal hydride、ＮｉＭＨ）、リチウムイオン（lithium-ion、Ｌｉ－ｉｏｎ）など）、太陽電池、燃料電池などを含み得る。
プロセッサ１１８はまた、ＧＰＳチップセット１３６に結合され得、これは、ＷＴＲＵ１０２の現在の場所に関する場所情報（例えば、経度及び緯度）を提供するように構成され得る。ＧＰＳチップセット１３６からの情報に加えて又はその代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１６を介して場所情報を受信し、かつ／又は２つ以上の近くの基地局から受信されている信号のタイミングに基づいて、その場所を判定し得る。ＷＴＲＵ１０２は、一実施形態との一貫性を有したまま、任意の好適な位置判定方法によって位置情報を取得し得るということが理解されよう。
プロセッサ１１８は、他の周辺機器１３８に更に結合され得、他の周辺機器１３８には、追加の特徴、機能、及び／又は有線若しくは無線接続を提供する１つ以上のソフトウェア及び／又はハードウェアモジュールが含まれ得る。例えば、周辺機器１３８には、加速度計、電子コンパス、衛星トランシーバ、（写真及び／又はビデオのための）デジタルカメラ、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（frequency modulated、ＦＭ）無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実及び／又は拡張現実（Virtual Reality/Augmented Reality、ＶＲ／ＡＲ）デバイス、アクティビティトラッカなどが含まれ得る。周辺機器１３８は、１つ以上のセンサを含み得、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体認証センサ、及び／又は湿度センサのうちの１つ以上であり得る。
ＷＴＲＵ１０２は、（例えば、ＵＬ（例えば、送信用）及びダウンリンク（例えば、受信用）の両方のための特定のサブフレームと関連付けられた）信号のいくつか又は全ての送信及び受信が並列及び／又は同時であり得る、全二重無線機を含み得る。全二重無線機は、ハードウェア（例えば、チョーク）又はプロセッサを介した信号処理（例えば、別個のプロセッサ（図示せず）又はプロセッサ１１８を介して）のいずれかを介して自己干渉を低減し、かつ又は実質的に排除するための干渉管理ユニットを含み得る。一実施形態では、ＷＲＴＵ１０２は、（例えば、ＵＬ（例えば、送信用）又はダウンリンク（例えば、受信用）のいずれかのための特定のサブフレームと関連付けられた）信号のうちのいくつか又は全てのうちのどれかの送信及び受信のための半二重無線機を含み得る。
図１Ｃは、一実施形態によるＲＡＮ１０４及びＣＮ１０６を例解するシステム図である。上記のように、ＲＡＮ１０４は、Ｅ－ＵＴＲＡ無線技術を用いて、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信し得る。ＲＡＮ１０４はまた、ＣＮ１０６と通信し得る。
ＲＡＮ１０４は、ｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃを含み得るが、ＲＡＮ１０４は、一実施形態との一貫性を有しながら、任意の数のｅノード－Ｂを含み得るということが理解されよう。ｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃは各々、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つ以上のトランシーバを含み得る。一実施形態では、ｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実装し得る。したがって、ｅノード－Ｂ１６０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、かつ／又はＷＴＲＵ１０２ａから無線信号を受信し得る。
ｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃの各々は、特定のセル（図示せず）と関連付けられ得、ＵＬ及び／又はＤＬにおいて、無線リソース管理決定、ハンドオーバ決定、ユーザのスケジューリングなどを処理するように構成され得る。図１Ｃに示すように、ｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェースを介して互いに通信し得る。
図１Ｃに示されるＣＮ１０６は、モビリティ管理エンティティ（mobility management entity、ＭＭＥ）１６２、サービングゲートウェイ（serving gateway、ＳＧＷ）１６４、及びパケットデータネットワーク（packet data network、ＰＤＮ）ゲートウェイ（又はＰＧＷ）１６６を含み得る。前述の要素の各々は、ＣＮ１０６の一部として描示されているが、これらの要素のいずれも、ＣＮオペレータ以外のエンティティによって所有及び／又は操作され得ることが理解されよう。
ＭＭＥ１６２は、Ｓ１インターフェースを介して、ＲＡＮ１０４におけるｅノード－Ｂ１６２ａ、１６２ｂ、１６２ｃの各々に接続され得、かつ制御ノードとして機能し得る。例えば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ベアラのアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初期アタッチ中に特定のサービス中のゲートウェイを選択すること、などの役割を果たし得る。ＭＭＥ１６２は、ＲＡＮ１０４と、ＧＳＭ及び／又はＷＣＤＭＡなどの他の無線技術を採用する他のＲＡＮ（図示せず）との間で切り替えるための制御プレーン機能を提供し得る。
ＳＧＷ１６４は、Ｓ１インターフェースを介してＲＡＮ１０４におけるｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃの各々に接続され得る。ＳＧＷ１６４は、概して、ユーザデータパケットをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに／それらからルーティングし、かつ転送し得る。ＳＧＷ１６４は、ｅノードＢ間ハンドオーバ中にユーザプレーンをアンカする機能、ＤＬデータがＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに利用可能であるときにページングをトリガする機能、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストを管理かつ記憶する機能などの、他の機能を実行し得る。
ＳＧＷ１６４は、ＰＧＷ１６６に接続され得、ＰＧＷ１６６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得る。
ＣＮ１０６は、他のネットワークとの通信を容易にし得る。例えば、ＣＮ１０６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の地上回線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ１０８などの回路交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得る。例えば、ＣＮ１０６は、ＣＮ１０６とＰＳＴＮ１０８との間のインターフェースとして機能するＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（IP multimedia subsystem、ＩＭＳ）サーバ）を含み得るか、又はそれと通信し得る。加えて、ＣＮ１０６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに他のネットワーク１１２へのアクセスを提供し得、他のネットワーク１１２は、他のサービスプロバイダによって所有される、かつ／又は動作される他の有線及び／又は無線ネットワークを含み得る。
ＷＴＲＵは、無線端末として図１Ａ～図１Ｄに説明されているが、特定の代表的な実施形態では、そのような端末は、通信ネットワークとの（例えば、一時的又は永久的に）有線通信インターフェースを使用し得ることが企図される。
代表的な実施形態では、他のネットワーク１１２は、ＷＬＡＮであり得る。
インフラストラクチャ基本サービスセット（Basic Service Set、ＢＳＳ）モードのＷＬＡＮは、ＢＳＳのアクセスポイント（Access Point、ＡＰ）及びＡＰと関連付けられた１つ以上のステーション（station、ＳＴＡ）を有し得る。ＡＰは、配信システム（Distribution System、ＤＳ）若しくはＢＳＳに入る、かつ／又はＢＳＳから出るトラフィックを搬送する別のタイプの有線／無線ネットワークへのアクセス又はインターフェースを有し得る。ＢＳＳ外から生じる、ＳＴＡへのトラフィックは、ＡＰを通って到達し得、ＳＴＡに配信され得る。ＳＴＡからＢＳＳ外の宛先への生じるトラフィックは、ＡＰに送信されて、それぞれの宛先に送信され得る。ＢＳＳ内のＳＴＡ間のトラフィックは、例えば、ＡＰを介して送信され得、ソースＳＴＡは、ＡＰにトラフィックを送信し得、ＡＰは、トラフィックを宛先ＳＴＡに配信し得る。ＢＳＳ内のＳＴＡ間のトラフィックは、ピアツーピアトラフィックとしてみなされ得る、かつ／又は称され得る。ピアツーピアトラフィックは、ソースＳＴＡと宛先ＳＴＡとの間で（例えば、それらの間で直接的に）、直接リンクセットアップ（direct link setup、ＤＬＳ）で送信され得る。特定の代表的な実施形態では、ＤＬＳは、８０２．１１ｅ ＤＬＳ又は８０２．１１ｚトンネル化ＤＬＳ（tunneled DLS、ＴＤＬＳ）を使用し得る。独立ＢＳＳ（Independent BSS、ＩＢＳＳ）モードを使用するＷＬＡＮは、ＡＰを有しない場合があり、ＩＢＳＳ内又はそれを使用するＳＴＡ（例えば、ＳＴＡの全部）は、互いに直接通信し得る。通信のＩＢＳＳモードは、本明細書では、「アドホック」通信モードと称され得る。
８０２．１１ａｃインフラストラクチャ動作モード又は同様の動作モードを使用するときに、ＡＰは、プライマリチャネルなどの固定チャネル上にビーコンを送信し得る。プライマリチャネルは、固定幅（例えば、２０ＭＨｚ幅の帯域幅）又はシグナリングを介して動的に設定される幅であり得る。プライマリチャネルは、ＢＳＳの動作チャネルであり得、ＡＰとの接続を確立するためにＳＴＡによって使用され得る。特定の代表的な実施形態では、例えば、８０２．１１システムにおいて、衝突回避を備えたキャリア感知多重アクセス（Carrier Sense Multiple Access/Collision Avoidance、ＣＳＭＡ／ＣＡ）が実装され得る。ＣＳＭＡ／ＣＡの場合、ＡＰを含むＳＴＡ（例えば、全てのＳＴＡ）は、プライマリチャネルを感知し得る。プライマリチャネルが特定のＳＴＡによってビジーであると感知され／検出され、かつ／又は判定される場合、特定のＳＴＡは、バックオフされ得る。１つのＳＴＡ（例えば、１つのステーションのみ）は、所与のＢＳＳにおいて、任意の所与の時間に送信し得る。
高スループット（High Throughput、ＨＴ）ＳＴＡは、通信のための４０ＭＨｚ幅のチャネルを使用し得るが、この４０ＭＨｚ幅のチャネルは、例えば、プライマリ２０ＭＨｚチャネルと、隣接又は非隣接の２０ＭＨｚチャネルとの組み合わせを介して形成され得る。
非常に高いスループット（Very High Throughput、ＶＨＴ）のＳＴＡは、２０ＭＨｚ、４０ＭＨｚ、８０ＭＨｚ、及び／又は１６０ＭＨｚ幅のチャネルをサポートし得る。上記の４０ＭＨｚ及び／又は８０ＭＨｚ幅のチャネルは、連続する複数の２０ＭＨｚチャネルを組み合わせることによって形成され得る。１６０ＭＨｚチャネルは、８つの連続する２０ＭＨｚチャネルを組み合わせることによって、又は８０＋８０構成と称され得る２つの連続していない８０ＭＨｚチャネルを組み合わせることによって、形成され得る。８０＋８０構成の場合、チャネル符号化後、データは、データを２つのストリームに分割し得るセグメントパーサを通過し得る。逆高速フーリエ変換（Inverse Fast Fourier Transform、ＩＦＦＴ）処理及び時間ドメイン処理は、各ストリームで別個に行われ得る。ストリームは、２つの８０ＭＨｚチャネルにマッピングされ得、データは、送信ＳＴＡによって送信され得る。受信ＳＴＡの受信機では、８０＋８０構成に対する上記で説明される動作は逆にされ得、組み合わされたデータを媒体アクセス制御（Medium Access Control、ＭＡＣ）に送信し得る。
サブ１ＧＨｚの動作モードは、８０２．１１ａｆ及び８０２．１１ａｈによってサポートされる。チャネル動作帯域幅及びキャリアは、８０２．１１ｎ及び８０２．１１ａｃで使用されるものと比較して、８０２．１１ａｆ及び８０２．１１ａｈでは低減される。８０２．１１ａｆは、ＴＶホワイトスペース（TV White Space、ＴＶＷＳ）スペクトルにおいて、５ＭＨｚ、１０ＭＨｚ及び２０ＭＨｚ帯域幅をサポートし、８０２．１１ａｈは、非ＴＶＷＳスペクトルを使用して、１ＭＨｚ、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、及び１６ＭＨｚ帯域幅をサポートする。代表的な実施形態によれば、８０２．１１ａｈは、マクロカバレッジエリア内のＭＴＣデバイスなど、メータタイプの制御／マシンタイプ通信をサポートし得る。ＭＴＣデバイスは、例えば、特定の、かつ／又は限定された帯域幅のためのサポート（例えば、そのためのみのサポート）を含む、特定の能力を有し得る。ＭＴＣデバイスは、（例えば、非常に長いバッテリ寿命を維持するために）閾値を超えるバッテリ寿命を有するバッテリを含み得る。
複数のチャネル、並びに８０２．１１ｎ、８０２．１１ａｃ、８０２．１１ａｆ、及び８０２．１１ａｈなどのチャネル帯域幅をサポートし得るＷＬＡＮシステムは、プライマリチャネルとして指定され得るチャネルを含む。プライマリチャネルは、ＢＳＳにおける全てのＳＴＡによってサポートされる最大共通動作帯域幅に等しい帯域幅を有し得る。プライマリチャネルの帯域幅は、最小帯域幅動作モードをサポートするＢＳＳで動作する全てのＳＴＡの中から、ＳＴＡによって設定され、かつ／又は制限され得る。８０２．１１ａｈの例では、プライマリチャネルは、ＡＰ及びＢＳＳにおける他のＳＴＡが２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、１６ＭＨｚ、及び／又は他のチャネル帯域幅動作モードをサポートする場合であっても、１ＭＨｚモードをサポートする（例えば、それのみをサポートする）ＳＴＡ（例えば、ＭＴＣタイプデバイス）に対して１ＭＨｚ幅であり得る。キャリア感知及び／又はネットワーク配分ベクトル（Network Allocation Vector、ＮＡＶ）設定は、プライマリチャネルの状態に依存し得る。例えば、ＡＰに送信する（１ＭＨｚ動作モードのみをサポートする）ＳＴＡに起因してプライマリチャネルがビジーである場合、周波数帯域の大部分がアイドルのままであり、利用可能であり得るとしても、利用可能な周波数帯域全体がビジーであるとみなされ得る。
米国では、８０２．１１ａｈにより使用され得る利用可能な周波数帯域は、９０２ＭＨｚ～９２８ＭＨｚである。韓国では、利用可能な周波数帯域は９１７．５ＭＨｚ～９２３．５ＭＨｚである。日本では、利用可能な周波数帯域は９１６．５ＭＨｚ～９２７．５ＭＨｚである。８０２．１１ａｈに利用可能な総帯域幅は、国のコードに応じて６ＭＨｚ～２６ＭＨｚである。
図１Ｄは、一実施形態によるＲＡＮ１１３及びＣＮ１１５を例解するシステム図である。上記のように、ＲＡＮ１１３は、ＮＲ無線技術を使用して、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信し得る。ＲＡＮ１１３はまた、ＣＮ１１５と通信し得る。
ＲＡＮ１１３は、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃを含み得るが、ＲＡＮ１１３は、一実施形態との一貫性を維持しながら、任意の数のｇＮＢを含み得ることが理解されよう。ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは各々、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つ以上のトランシーバを含み得る。一実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実装し得る。例えば、ｇＮＢ１８０ａ、１０８ｂは、ビームフォーミングを利用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃに信号を送信及び／又は受信し得る。したがって、ｇＮＢ１８０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し得る、かつ／又はＷＴＲＵ１０２ａから無線信号を受信し得る。一実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、キャリアアグリゲーション技術を実装し得る。例えば、ｇＮＢ１８０ａは、複数のコンポーネントキャリアをＷＴＲＵ１０２ａ（図示せず）に送信し得る。これらのコンポーネントキャリアのサブセットは、未認可スペクトル上にあり得、残りのコンポーネントキャリアは、認可スペクトル上にあり得る。一実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、協調マルチポイント（Coordinated Multi-Point、ＣｏＭＰ）技術を実装し得る。例えば、ＷＴＲＵ１０２ａは、ｇＮＢ１８０ａ及びｇＮＢ１８０ｂ（及び／又はｇＮＢ１８０ｃ）からの協調送信を受信し得る。
ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、拡張可能なヌメロロジと関連付けられた送信を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。例えば、ＯＦＤＭシンボル間隔及び／又はＯＦＤＭサブキャリア間隔は、無線送信スペクトルの異なる送信、異なるセル、及び／又は異なる部分に対して変化し得る。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、（例えば、様々な数のＯＦＤＭシンボルを含み、かつ／又は様々な長さの絶対時間が持続する）様々な又はスケーラブルな長さのサブフレーム又は送信時間間隔（transmission time interval、ＴＴＩ）を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、スタンドアロン構成及び／又は非スタンドアロン構成でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するように構成され得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、他のＲＡＮ（例えば、ｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃなど）にアクセスすることなく、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、モビリティアンカポイントとしてｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つ以上を利用し得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、未認可バンドにおける信号を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。非スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し、これらに接続する一方で、ｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃなどの別のＲＡＮとも通信し、これらに接続し得る。例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、１つ以上のｇＮＢ１８０ａ、１８０ｂ、１８０ｃ及び１つ以上のｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃと実質的に同時に通信するためのＤＣ原理を実装し得る。非スタンドアロン構成では、ｅノード－Ｂ１６０ａ、１６０ｂ、１６０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのモビリティアンカとして機能し得るが、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃをサービス提供するための追加のカバレッジ及び／又はスループットを提供し得る。
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃの各々は、特定のセル（図示せず）と関連付けられ得、無線リソース管理意思決定、ハンドオーバ意思決定、ＵＬ及び／又はＤＬにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、ＮＲとＥ－ＵＴＲＡとの間のインターワーキング、ユーザプレーン機能（User Plane Function、ＵＰＦ）１８４ａ、１８４ｂへのユーザプレーンデータのルーティング、アクセス及びモビリティ管理機能（Access and Mobility Management Function、ＡＭＦ）１８２ａ、１８２ｂへの制御プレーン情報のルーティングなどを処理するように構成され得る。図１Ｄに示すように、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、Ｘｎインターフェースを介して互いに通信し得る。
図１Ｄに示されるＣＮ１１５は、少なくとも１つのＡＭＦ１８２ａ、１８２ｂ、少なくとも１つのＵＰＦ１８４ａ、１８４ｂ、少なくとも１つのセッション管理機能（Session Management Function、ＳＭＦ）１８３ａ、１８３ｂ、及び場合によってはデータネットワーク（Data Network、ＤＮ）１８５ａ、１８５ｂを含み得る。前述の要素の各々は、ＣＮ１１５の一部として描示されているが、これらの要素のいずれも、ＣＮオペレータ以外のエンティティによって所有及び／又は操作され得ることが理解されよう。
ＡＭＦ１８２ａ、１８２ｂは、Ｎ２インターフェースを介してＲＡＮ１１３におけるｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つ以上に接続され得、制御ノードとして機能し得る。例えば、ＡＭＦ１８２ａ、１８２ｂは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザの認証、ネットワークスライシングのサポート（例えば、異なる要件を有する異なるＰＤＵセッションの処理）、特定のＳＭＦ１８３ａ、１８３ｂの選択、登録エリアの管理、ＮＡＳシグナリングの終了、モビリティ管理などの役割を果たすことができる。ネットワークスライスは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃを利用しているサービスのタイプに基づいて、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのＣＮサポートをカスタマイズするために、ＡＭＦ１８２ａ、１８２ｂによって使用され得る。例えば、異なるネットワークスライスは、高信頼低遅延（ultra-reliable low latency、ＵＲＬＬＣ）アクセスに依存するサービス、高速大容量（enhanced massive mobile broadband、ｅＭＢＢ）アクセスに依存するサービス、マシンタイプ通信（machine type communication、ＭＴＣ）アクセスのためのサービス、及び／又は同様のものなどの異なる使用事例のために確立され得る。ＡＭＦ１６２は、ＲＡＮ１１３と、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ及び／又はＷｉＦｉなどの非３ＧＰＰアクセス技術などの他の無線技術を採用する他のＲＡＮ（図示せず）との間で切り替えるための制御プレーン機能を提供し得る。
ＳＭＦ１８３ａ、１８３ｂは、Ｎ１１インターフェースを介して、ＣＮ１１５内のＡＭＦ１８２ａ、１８２ｂに接続され得る。ＳＭＦ１８３ａ、１８３ｂはまた、Ｎ４インターフェースを介して、ＣＮ１１５内のＵＰＦ１８４ａ、１８４ｂに接続され得る。ＳＭＦ１８３ａ、１８３ｂは、ＵＰＦ１８４ａ、１８４ｂを選択及び制御し、ＵＰＦ１８４ａ、１８４ｂを通るトラフィックのルーティングを構成し得る。ＳＭＦ１８３ａ、１８３ｂは、ＵＥ ＩＰアドレスを管理して割り当てること、ＰＤＵセッションを管理すること、ポリシー執行及びＱｏＳを制御すること、ダウンリンクデータ通知を提供することなど、他の機能を実行し得る。ＰＤＵセッションタイプは、ＩＰベース、非ＩＰベース、イーサネットベースなどであり得る。
ＵＰＦ１８４ａ、１８４ｂは、Ｎ３インターフェースを介して、ＲＡＮ１１３内のｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つ以上に接続され得、これにより、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得る。ＵＰＦ１８４、１８４ｂは、パケットをルーティングして転送すること、ユーザプレーンポリシーを執行すること、マルチホームＰＤＵセッションをサポートすること、ユーザプレーンＱｏＳを処理すること、ダウンリンクパケットをバッファすること、モビリティアンカリングを提供することなど、他の機能を実行し得る。
ＣＮ１１５は、他のネットワークとの通信を容易にし得る。例えば、ＣＮ１１５は、ＣＮ１１５とＰＳＴＮ１０８との間のインターフェースとして機能するＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（IP multimedia subsystem、ＩＭＳ）サーバ）を含み得るか、又はそれと通信し得る。加えて、ＣＮ１１５は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに他のネットワーク１１２へのアクセスを提供し得、他のネットワーク１１２は、他のサービスプロバイダによって所有される、かつ／又は動作される他の有線及び／又は無線ネットワークを含み得る。一実施形態では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＵＰＦ１８４ａ、１８４ｂへのＮ３インターフェース、及びＵＰＦ１８４ａ、１８４ｂとＤＮ１８５ａ、１８５ｂとの間のＮ６インターフェースを介して、ＵＰＦ１８４ａ、１８４ｂを通じてローカルデータネットワーク（ＤＮ）１８５ａ、１８５ｂに接続され得る。
図１Ａ～図１Ｄ、及び図１Ａ～図１Ｄの対応する説明から見て、ＷＴＲＵ１０２ａ～ｄ、基地局１１４ａ～ｂ、ｅノード－Ｂ１６０ａ～ｃ、ＭＭＥ１６２、ＳＧＷ１６４、ＰＧＷ１６６、ｇＮＢ１８０ａ～ｃ、ＡＭＦ１８２ａ～ｂ、ＵＰＦ１８４ａ～ｂ、ＳＭＦ１８３ａ～ｂ、ＤＮ１８５ａ～ｂ、及び／又は本明細書に説明される任意の他のデバイスのうちの１つ以上に関する、本明細書に説明される機能のうちの１つ以上又は全ては、１つ以上のエミュレーションデバイス（図示せず）によって実行され得る。エミュレーションデバイスは、本明細書に説明される機能の１つ以上又は全てをエミュレートするように構成された１つ以上のデバイスであり得る。例えば、エミュレーションデバイスを使用して、他のデバイスを試験し、かつ／又はネットワーク及び／若しくはＷＴＲＵ機能をシミュレートし得る。
エミュレーションデバイスは、ラボ環境及び／又はオペレータネットワーク環境における他のデバイスの１つ以上の試験を実装するように設計され得る。例えば、１つ以上のエミュレーションデバイスは、通信ネットワーク内の他のデバイスを試験するために、有線及び／又は無線通信ネットワークの一部として完全に若しくは部分的に実装され、かつ／又は展開されている間、１つ以上若しくは全ての機能を実行し得る。１つ以上のエミュレーションデバイスは、有線及び／又は無線通信ネットワークの一部として一時的に実装／展開されている間、１つ以上若しくは全ての機能を実行し得る。エミュレーションデバイスは、試験を目的として別のデバイスに直接結合され得、かつ／又は地上波無線通信を使用して試験を実行し得る。
１つ以上のエミュレーションデバイスは、有線及び／又は無線通信ネットワークの一部として実装／展開されていない間、全てを含む１つ以上の機能を実行し得る。例えば、エミュレーションデバイスは、１つ以上のコンポーネントの試験を実装するために、試験実験室での試験シナリオ、並びに／又は展開されていない（例えば、試験用の）有線及び／若しくは無線通信ネットワークにおいて利用され得る。１つ以上のエミュレーションデバイスは、試験機器であり得る。ＲＦ回路（例えば、１つ以上のアンテナを含み得る）を介した直接ＲＦ結合及び／又は無線通信は、データを送信する、かつ／又は受信するように、エミュレーションデバイスによって使用され得る。
本出願では、ツール、特徴、実施例、モデル、手法などを含む様々な態様について説明している。これらの態様のうちの多くは、具体的に説明され、少なくとも個々の特性を示すために、しばしば限定的に聞こえ得るように説明される。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際、異なる態様の全てが組み合わされ、交換されて、更なる態様を提供し得る。その上、態様は、同様に、先の出願に説明される態様と組み合わされ、かつ交換され得る。
本出願において説明及び企図される態様は、多くの異なる形態で実装され得る。本明細書に説明される図５～図１５は、いくつかの実施例を提供し得るが、他の実施例も企図される。図５～図１５の考察は、実装形態の範囲を限定するものではない。態様のうちの少なくとも１つは、概して、ビデオ符号化及び復号に関し、少なくとも１つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び他の態様は、方法、装置、説明される方法のうちのいずれかに従ってビデオデータを符号化又は復号するための命令を記憶したコンピュータ可読記憶媒体、及び／又は説明される方法のうちのいずれかに従って生成されたビットストリームを記憶したコンピュータ可読記憶媒体として実装され得る。
本出願では、「再構成された（reconstructed）」及び「復号された（decoded）」という用語は、交換可能に使用され得、「ピクセル（pixel）」及び「サンプル（sample）」という用語は、交換可能に使用され得、「画像（image）」、「ピクチャ（picture）」、及び「フレーム（frame）」という用語は、交換可能に使用され得る。
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための１つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、修正又は組み合わされ得る。加えて、「第１の（first）」、「第２の（second）」などの用語は、様々な実施例において、例えば、「第１の復号（first decoding）」及び「第２の復号（second decoding）」などの要素、コンポーネント、ステップ、動作などを修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、この実施例では、第１の復号は、第２の復号の前に実行される必要はなく、例えば、第２の復号の前、第２の復号の間、又は第２の復号と重複する時間中に発生し得る。
本出願に記載の様々な方法及び他の態様は、図２及び図３に示すように、ビデオエンコーダ２００及びデコーダ３００のモジュール、例えば、復号モジュールを修正するために使用され得る。その上、本明細書で開示される主題は、例えば、標準又は推奨に記載されているかどうかにかかわらず、既存の又は将来開発されるかどうかにかかわらず、任意のタイプ、形式、又はバージョンのビデオコーディング、並びに任意のかかる標準及び推奨の拡張に適用され得る。別段の指示がない限り、又は技術的に除外されない限り、本出願に記載の態様は、個々に又は組み合わせて使用され得る。
本出願に説明される実施例では、ビット数、ビット深度など、様々な数値が使用される。これら及び他の特定の値は、例を説明するためのものであり、説明する態様は、これらの特定の値に限定されない。
図２は、例示的なビデオエンコーダを示す図である。例示的なエンコーダ２００の変形例が企図されるが、エンコーダ２００は、全ての予想される変形例を説明することなく、明確にする目的で以下に記載される。
ビデオシーケンスは、符号化される前に、符号化前処理２０１、例えば、入力カラーピクチャに色変換を適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより耐性のある信号分布を得るために入力ピクチャコンポーネントの再マッピングを実行すること（例えば、色成分の１つのヒストグラム等化を使用する）を経得る。メタデータは、その前処理と関連付けられ、ビットストリームに添付され得る。
エンコーダ２００では、以下に説明されるように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、分割され２０２、例えば、コーディングユニット（coding unit、ＣＵ）の単位で処理される。各単位は、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化される場合、このユニットは、イントラ予測を実行する２６０。インターモードでは、動き推定２７５及び動き補償２７０を実行する。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのどちらを使用すべきかを決定２０５し、例えば、予測モードフラグによって、イントラ／インターの決定を示す。例えば、元画像ブロックから予測ブロックを減算２１０することによって、予測残差を計算する。
次に、この予測残差を変換２２５し、量子化する２３０。量子化後の変換係数、並びに動きベクトル及び他の構文要素をエントロピコーディング２４５して、ビットストリームを出力する。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コーディングされる。
エンコーダは、符号化されたブロックを復号して、更なる予測のための参照を提供する。量子化後の変換係数を逆量子化２４０し、逆変換２５０して、予測残差を復号する。復号後の予測残差と予測ブロックとを組み合わせて２５５、画像ブロックを再構成する。ループ内フィルタ２６５を再構成後のピクチャに適用して、例えば、符号化アーチファクトを低減するための非ブロック化／ＳＡＯ（サンプル適応オフセット）フィルタリングを実行する。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。
図３は、ビデオデコーダの実施例を示す図である。例示的なデコーダ３００では、ビットストリームは、以下に説明されるように、デコーダ要素によって復号される。ビデオデコーダ３００は、図２に説明されるように、一般に、符号化パスとは逆の復号パスを実行する。エンコーダ２００も又、概して、ビデオデータを符号化することの一部としてビデオ復号を実行する。
特に、デコーダの入力は、ビデオビットストリームを含み、ビデオエンコーダ２００によって生成され得る。最初に、ビットストリームをエントロピ復号３３０して、変換係数、動きベクトル、及び他のコーディングされた情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、デコーダは、復号後のピクチャ分割情報に従って、ピクチャを分割する３３５ことができる。変換係数を逆量子化３４０し、逆変換３５０して、予測残差を復号する。復号後の予測残差と予測ブロックとを組み合わせて３５５、画像ブロックを再構成する。予測されたブロックは、イントラ予測３６０から又は動き補償予測（すなわち、インター予測）３７５から取得され得る３７０。ループ内フィルタ３６５を、再構成後の画像に適用する。フィルタ処理後の画像を参照ピクチャバッファに記憶する３８０。
復号されたピクチャは、復号後処理３８５、例えば、逆カラー変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理２０１において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。実施例では、復号された画像（例えば、復号後処理が使用される場合、ループ内フィルタ３６５の適用後及び／又は復号後処理３８５の後）は、ユーザへのレンダリングのためにディスプレイデバイスに送信され得る。
図４は、本明細書に説明される様々な態様及び実施例が実装され得るシステムの実施例を示す図である。システム４００は、以下に説明される様々なコンポーネントを含むデバイスとして具体化され得、本明細書に説明される態様のうちの１つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム４００の要素は、単独で、又は組み合わせて、単一の集積回路（ＩＣ）、複数のＩＣ、及び／又は別個のコンポーネントに具現化され得る。例えば、少なくとも１つの実施例では、システム４００の処理及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又は別個のコンポーネントにわたって分散される。様々な実施例では、システム４００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通じて、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施例では、システム４００は、本明細書に説明される態様のうちの１つ以上を実装するように構成されている。
システム４００は、例えば、本明細書に説明される様々な態様を実装するために、それ自体にロードされた命令を実行するように構成された少なくとも１つのプロセッサ４１０を含む。プロセッサ４１０は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム４００は、少なくとも１つのメモリ４２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム４００は、記憶デバイス４４０を含み、これは、不揮発性メモリ及び／又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能なプログラマブル読み出し専用メモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス４４０は、非限定的な例として、内部記憶デバイス、付属記憶デバイス（取り外し可能及び取り外し不可能な記憶デバイスを含む）、及び／又はネットワークアクセス可能な記憶デバイスを含むことができる。
システム４００は、例えば、符号化されたビデオ又は復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール４３０を含み、エンコーダ／デコーダモジュール４３０は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール４３０は、符号化機能及び／又は復号機能を実行するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化モジュール及び復号モジュールのうちの一方又は両方を含むことができる。加えて、エンコーダ／デコーダモジュール４３０は、システム４００の別個の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアの組み合わせとしてプロセッサ４１０内に組み込まれ得る。
本明細書に説明される様々な態様を実行するためにプロセッサ４１０又はエンコーダ／デコーダ４３０にロードされるプログラムコードは、記憶デバイス４４０に記憶され、その後、プロセッサ４１０による実行のためにメモリ４２０上にロードされ得る。様々な実施例によれば、プロセッサ４１０、メモリ４２０、記憶デバイス４４０、及びエンコーダ／デコーダモジュール４３０のうちの１つ以上は、本明細書に説明されるプロセスの実行中に様々なアイテムのうちの１つ以上を記憶することができる。かかる格納されたアイテムは、これらに限定されないが、入力ビデオ、復号されたビデオ、又は復号されたビデオの部分、ビットストリーム、マトリックス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
いくつかの実施例では、プロセッサ４１０及び／又はエンコーダ／デコーダモジュール４３０の内部のメモリは、命令を記憶し、符号化又は復号中に必要な処理のための作業メモリを提供するために使用される。ただし、他の実施例では、処理デバイスの外部のメモリ（例えば、処理デバイスは、プロセッサ４１０又はエンコーダ／デコーダモジュール４３０のいずれかであり得る）が、これらの機能のうちの１つ以上のために使用される。外部メモリは、メモリ４２０及び／又は記憶デバイス４４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施例では、外部不揮発性フラッシュメモリが、例えば、テレビのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施例では、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ビデオ符号化及び復号動作のためのワーキングメモリとして使用される。
システム４００の要素への入力は、ブロック４４５に示されるように、様々な入力デバイスを通して提供され得る。かかる入力デバイスとしては、これらに限定されないが、（ｉ）例えば、放送局によって地上波で送信されるＲＦ信号を受信する無線周波数（radio frequency、ＲＦ）部分、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端子（又は一組のＣＯＭＰ入力端子）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が挙げられる。図４に示されていない他の実施例は、コンポジットビデオを含む。
様々な実施例では、ブロック４４５の入力デバイスは、当該技術分野で知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択すること（信号を選択すること、又は信号をある帯域の周波数に帯域制限することとも称される）、（ｉｉ）選択された信号をダウンコンバートすること、（ｉｉｉ）（例えば）ある特定の実施例ではチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限すること、（ｉｖ）ダウンコンバートされ帯域制限された信号を復調することと、（ｖ）誤り訂正を実行すること、及び／又は（ｖｉ）所望のデータパケットストリームを選択するために逆多重化することと、に好適な要素と関連付けられ得る。様々な実施例のＲＦ部分は、これらの機能を実行するための１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、及び多重分離器を含む。ＲＦ部分は、様々なこれらの機能を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数（例えば、中間周波数又は近ベースバンド周波数）に又はベースバンドにダウンコンバートすることを含む。１つのセットトップボックスの実施例では、ＲＦ部分及びその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体によって送信されたＲＦ信号を受信し、フィルタ処理、ダウンコンバート、及び所望の周波数帯域への再度のフィルタ処理によって周波数選択を実行する。様々な実施例は、上で説明される（及び他の）要素の順序を再配列し、これらの要素のいくつかを除去し、並びに／又は他の要素を追加して、類似の機能若しくは異なる機能を実行する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施例では、ＲＦ部分は、アンテナを含む。
ＵＳＢ端子及び／又はＨＤＭＩ端子は、システム４００をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内又はプロセッサ４１０内に実装され得ることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内又はプロセッサ４１０内に実装され得る。例えば、プロセッサ４１０、並びにメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ４３０を含む様々な処理要素に、復調され、誤差訂正され、逆多重化されたストリームを提供して、出力デバイス上に提示するために、必要に応じて、データストリームを処理する。
システム４００の様々な要素は、統合型ハウジング内に提供され得る。統合型ハウジング内では、様々な要素が相互接続され、好適な接続配列４２５、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む当該技術分野で知られている内部バスを使用して、それらの間でデータを送信し得る。
システム４００は、通信チャネル４６０を介して他のデバイスとの通信を可能にする通信インターフェース４５０を含む。通信インターフェース４５０は、通信チャネル４６０によってデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース４５０は、モデム又はネットワークカードを含むことができるが、これに限定されず、通信チャネル４６０は、例えば、有線及び／又は無線媒体内に実装され得る。
データは、様々な実施例において、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓを指す）などの無線ネットワークを使用して、システム４００にストリーミングされるか、又は他の方法で提供される。これらの実施例のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信用に適合された通信チャネル４６０及び通信インターフェース４５０を介して受信される。これらの実施例の通信チャネル４６０は、典型的には、ストリーミングアプリケーション及び他のオーバートップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施例は、入力ブロック４４５のＨＤＭＩ接続によってデータを提供するセットトップボックスを使用して、ストリーミングされたデータをシステム４００に提供する。更に他の実施例は、入力ブロック４４５のＲＦ接続を使用して、ストリーミングされたデータをシステム４００に提供する。上記のように、様々な実施例は、非ストリーミング方式でデータを提供する。加えて、様々な実施例は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラーネットワーク又はＢｌｕｅｔｏｏｔｈ（登録商標）ネットワークを使用する。
システム４００は、ディスプレイ４７５、スピーカ４８５、及び他の周辺デバイス４９５を含む様々な出力デバイスに出力信号を提供することができる。様々な実施例のディスプレイ４７５は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ４７５は、テレビ、タブレット、ラップトップ、携帯電話（モバイルフォン）、又は他のデバイスのためのものであり得る。ディスプレイ４７５はまた、他のコンポーネントと統合することができる（例えば、スマートフォンのように）か、又は別個にすることもできる（例えば、ラップトップ用の外部モニタ）。他の周辺デバイス４９５は、様々な実施例において、スタンドアロンデジタルビデオディスク（若しくはデジタル多用途ディスク）（両方の用語についてＤＶＤ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上を含む。様々な実施例は、システム４００の出力に基づいて機能を提供する１つ以上の周辺デバイス４９５を使用する。例えば、ディスクプレーヤは、システム４００の出力を再生する機能を実行する。
様々な実施例では、制御信号は、ＡＶ．Ｌｉｎｋ、コンシューマエレクトロニクス制御（Consumer Electronics Control、ＣＥＣ）、又はユーザ介入の有無を問わずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム４００とディスプレイ４７５、スピーカ４８５、又は他の周辺デバイス４９５との間で通信される。出力デバイスは、それぞれのインターフェース４７０、４８０、及び４９０を通じた専用接続を介してシステム４００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース４５０を介し、通信チャネル４６０を使用して、システム４００に接続され得る。ディスプレイ４７５及びスピーカ４８５は、例えば、テレビなどの電子デバイス内のシステム４００の他のコンポーネントと単一のユニットに統合され得る。様々な実施例では、ディスプレイインターフェース４７０は、例えば、タイミングコントローラ（timing controller、ＴＣｏｎ）チップなどのディスプレイドライバを含む。
ディスプレイ４７５及びスピーカ４８５は、代替的に、例えば、入力４４５のＲＦ部分が別個のセットトップボックスの一部分である場合、他のコンポーネントのうちの１つ以上とは別個であり得る。ディスプレイ４７５及びスピーカ４８５が外部コンポーネントである様々な実施例では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して提供され得る。
これらの実施例は、プロセッサ４１０によって、又はハードウェアによって、又はハードウェア及びソフトウェアの組み合わせによって実装されるコンピュータソフトウェアによって実行され得る。非限定的な実施例として、これらの実施例は、１つ以上の集積回路によって実装され得る。メモリ４２０は、技術環境に適切な任意のタイプであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリなどの任意の適切なデータ記憶技術を使用して実装され得る。プロセッサ４１０は、技術環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。
様々な実装形態は、復号することを含む。本出願で使用する際、「復号」は、例えば、ディスプレイに好適な最終出力をもたらすために、受信した符号化されたシーケンスに対して実行されるプロセスの全て又は一部を包含することができる。様々な実施例では、かかるプロセスは、典型的には、デコーダによって実行されるプロセス、例えば、エントロピ復号、逆量子化、逆変換、及び差分復号のうちの１つ以上を含む。様々な実施例では、そのようなプロセスは、同じく、又は代替的に、本出願に説明される様々な実装形態のデコーダによって実行されるプロセス、例えば、逆量子化、逆変換、並びに現在コーディングブロックについて、ニューラルネットワークベースの予測モード及びブロックコンテキストを表す情報を取得すること、ブロックコンテキスト及びニューラルネットワークベースの予測モードに基づいて現在コーディングブロックについてのニューラルネットワークベースの予測子を生成すること、生成されたニューラルネットワークベースの予測子に対応する非ニューラルネットワークベースのイントラ予測モードを決定すること、非ニューラルネットワークベースのイントラ予測モードに基づいて隣接ブロックについての予測モードを決定することなどを含む。
更なる実施例として、一実施例では、「復号（decoding）」はエントロピ復号のみを指し、別の実施例では、「復号（decoding）」は、差分復号のみを指し、別の実施例では、「復号（decoding）」は、エントロピ復号及び差分復号の組み合わせを指す。「復号プロセス」という句が、具体的に動作のサブセットを指すか、又は全体としてより広範な復号プロセスを指すことを意図するものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
様々な実装形態は、符号化することを含む。「復号（decoding）」に関する上記の考察と同様に、本出願で使用される「符号化（encoding）」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部を包含することができる。様々な実施例では、かかるプロセスは、典型的には、エンコーダによって実行されるプロセス、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化のうちの１つ以上を含む。様々な実施例では、かかるプロセスは、また、又は代替的に、本出願に説明される様々な実装形態のエンコーダによって実行されるプロセス、例えば、量子化、変換を実行すること、並びに現在コーディングブロックについて、ニューラルネットワークベースの予測モード及びブロックコンテキストを表す情報を取得すること、ブロックコンテキスト及びニューラルネットワークベースの予測モードに基づいて現在コーディングブロックについてのニューラルネットワークベースの予測子を生成すること、生成されたニューラルネットワークベースの予測子に対応する非ニューラルネットワークベースのイントラ予測モードを決定すること、非ニューラルネットワークベースのイントラ予測モードに基づいて隣接ブロックについての予測モードを決定することなどを含む。
更なる実施例として、一実施例では、「符号化（encoding）」は、エントロピ符号化のみを指し、別の実施例では、「符号化（encoding）」は、差分符号化のみを指し、別の実施例では、「符号化（encoding）」は、差分符号化及びエントロピ符号化の組み合わせを指す。「符号化プロセス」という句が、具体的に動作のサブセットを指すか、又は全体としてより広範な符号化プロセスを指すことを意図するものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
本明細書で使用されるシンタックス要素、例えば、イントラ予測モードインデックス、確率、ブロックコンテキストなどに関するコーディングシンタックスは、説明的用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフローチャートも提供するものと理解されたい。
本明細書に説明される実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。本方法は、例えば、プロセッサで実装され得るが、プロセッサは、一般に処理デバイスを指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスが含まれる。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル／携帯情報端末（「Personal Digital Assistant、ＰＤＡ」）などのデバイスなどの通信デバイスも含まれる。
「一実施例（one example）」若しくは「実施例（an example）」又は「一実装形態（one implementation）」若しくは「実装形態（an implementation）」、並びにそれらの他の変形例への言及は、実施例に関連して説明される特定の特徴、構造、特性などが少なくとも１つの実施例に含まれることを意味する。そのため、本出願全体を通して様々な場所に現れる「一実施例では（in one example）」若しくは「実施例では（in an example）」又は「一実装形態では（in one implementation）」若しくは「実装形態では（in an implementation）」という句、並びに任意の他の変形例の出現は、必ずしも全てが同じ実施例を指すとは限らない。
加えて、本出願は、様々な情報を「判定すること」に言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。取得することは、受信すること、取り出すこと、構築すること、生成すること、及び／又は判定することを含み得る。
更に、本出願は、様々な情報に「アクセスすること」に言及し得る。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。
加えて、本出願は、様々な情報を「受信すること」に言及し得る。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、典型的には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何とかして関与する。
例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ（A and/or B）」及び「Ａ及びＢのうちの少なくとも１つ（at least one of A and B）」の場合、次の「／」、「及び／又は（and/or）」、及び「のうちの少なくとも１つ（at least one of）」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ（A,B,and/or C）」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ（at least one of A，B，and C）」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを指す。エンコーダ信号は、例えば、予測モードなどを使用するブロックのための入力に対する符号化関数を含み得る。このようにして、一実施例では、同じパラメータがエンコーダ側とデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明示的シグナリング）。逆に、デコーダが既に特定のパラメータ並びに他のパラメータを有する場合、シグナリングを使用して、送信（暗黙的なシグナリング）することなく、単にデコーダが特定のパラメータを知り選択することを可能にし得る。あらゆる実際の機能の送信を回避することによって、様々な実施例においてビット節約が実現される。シグナリングは、様々な方式で達成され得ることが理解されるべきである。例えば、様々な実施例では、１つ以上のシンタックス要素、フラグなどを使用して、対応するデコーダに情報をシグナリングする。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用され得る。
当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を搬送するようにフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、信号は、説明される実施例のビットストリームを搬送するようにフォーマットされ得る。かかる信号は、例えば、（例えば、スペクトルの無線周波数部分を使用して）電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する信号は、例えば、アナログ情報又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線又は無線リンクによって送信され得る。信号は、プロセッサ可読媒体に記憶されるか、プロセッサ可読媒体からアクセス若しくは受信され得る。
多くの実施例が、本明細書に説明されている。実施例の特徴は、様々な特許請求のカテゴリ及びタイプにわたって単独で又は任意の組み合わせで提供され得る。更に、実施例は、本明細書に説明される特徴、デバイス、又は態様のうちの１つ以上を、単独で又は任意の組み合わせで、様々な特許請求のカテゴリ及びタイプにわたって含み得る。例えば、本明細書に説明される特徴は、本明細書に説明されるように生成された情報を含むビットストリーム又は信号に実装され得る。情報により、デコーダが、説明される実施形態のいずれかに従って、ビットストリーム、エンコーダ、ビットストリーム、及び／又はデコーダを復号することが可能になり得る。例えば、本明細書に記載の特徴は、ビットストリーム又は信号を作成及び／又は送信及び／又は受信及び／又は受信及び／又は復号することによって実装され得る。例えば、本明細書に記載の特徴が実装され得、方法、プロセス、装置、データを記憶する媒体、命令を記憶する媒体、又は信号。例えば、本明細書に記載の特徴は、ＴＶ、セットトップボックス、携帯電話、タブレット、又は復号を実行する他の電子デバイスによって実装され得る。ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、結果として得られる画像（例えば、ビデオビットストリームの残差再構成からの画像）を（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示し得る。ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化された画像を含む信号を受信し、復号を実行し得る。
ブロックベースのビデオコーデックにおけるニューラルネットワークベースのイントラ予測モードがシグナリングされ得る。通常イントラ予測モードは、６５の指向性イントラ予測モード、ＰＬＡＮＡＲモード及びＤＣモードなどの非指向性モード、マトリックスベースのイントラ予測（matrix-based intra prediction、ＭＩＰ）モードなどの非ニューラルネットワークベースのイントラ予測モードを指す場合がある。相互作用は、現在ブロックを予測するために選択されたイントラ予測モードと、現在ブロックを囲むブロック（例えば、現在ブロックの隣接ブロック）を予測するために選択されたイントラ予測モードとの間の相互作用を意味し得る。相互作用は、現在ブロックを予測するために選択されたイントラ予測モードのシグナリングコストが、現在ブロックの周りのブロックを予測するために選択されたイントラ予測モードによってどのように影響され得るかに関係し得る。
ニューラルネットワークベースのイントラ予測モードと関連付けられたニューラルネットワークは、現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークイントラ予測モード）を決定する（例えば、そのインデックスを推測する）際に訓練され得る。例えば、ニューラルネットワークベースの予測子は、ブロックコンテキスト及びニューラルネットワークベースのイントラ予測モードに基づいて、現在ブロックについて生成され得る。ニューラルネットワークベースのイントラ予測モードによって予測されたブロックは、ニューラルネットワーク予測を最もよく表す通常イントラ予測モードのインデックスを介して表され得る。例えば、ＭＰＭのリストの導出が、現在ルミナンスＣＢを予測するために選択されたイントラ予測モードをシグナリングするために使用される場合、導出は、現在ルミナンスＣＢに隣接するルミナンスＣＢ（例えば、隣接ルミナンスＣＢ）を予測するとき、ニューラルネットワークベースのイントラ予測モードによって推測された通常イントラ予測モードインデックスを使用し得る（例えば、非ニューラルネットワークベースのイントラ予測モードのインデックスが、導出されたＭＰＭリストに追加され得る）。
ニューラルネットワークベースのイントラ予測モードに属するニューラルネットワークは、現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）複数（例えば、ｋ個）の通常イントラ予測モードのインデックスを推測する際に訓練され得る。ニューラルネットワークベースのイントラ予測モードと関連付けられたニューラルネットワークは、通常イントラ予測モード（例えば、各通常イントラ予測モード）が現在ブロックのニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）をどのように（例えば、どれだけ良好に）表すかに基づいて、ランク付けにおいて訓練され得る。ニューラルネットワークベースのイントラ予測モードによって予測されたブロックは、例えば、ｋ個の推測されたインデックスを介して表され得る。例えば、現在ルミナンスＣＢを予測するために選択されたイントラ予測モードをシグナリングするために、ＭＰＭのリストが使用される場合、ニューラルネットワークベースのイントラ予測モードを使用して、複数の非ニューラルネットワークベースのイントラ予測モードインデックス（例えば、ｋ個の通常イントラ予測モードインデックス）が推測され得る。例えば、インデックスは、現在ルミナンスＣＢに隣接するルミナンスＣＢ（例えば、隣接ルミナンスＣＢ）を予測するとき、導出されたＭＰＭリストに追加され得る。
機械学習ベースのイントラ予測モード及び通常イントラ予測モードは、ビデオコンテンツを符号化及び復号するときに使用され得る。機械学習ベースのイントラ予測モードインデックス（例えば、各機械学習ベースのイントラ予測モードインデックス）と通常イントラ予測モードインデックスとの間のマッピングは、例えば、機械学習ベースのイントラ予測モードと通常イントラ予測モードとの間の相互作用を容易にするために使用され得る。機械学習ベースのイントラ予測モードは、例えば、機械学習ベースのイントラ予測モードと通常のイントラ予測モードとの間の相互作用を容易にするために、無視及び／又は無効化され得る。
機械学習ベースのイントラ予測モードインデックス（例えば、各機械学習ベースのイントラ予測モードインデックス）と通常イントラ予測モードのインデックスとの間のマッピングが取得され得る。ＭＩＰモードは、例えば、ＭＩＰモードのマトリックスが学習される場合、機械学習ベースのイントラ予測モードのグループに属し得る。ＭＩＰモードは、エンコーダ側及び／又はデコーダ側で固定され得る。実施例では、マッピングは、例えば、現在ルミナンスＣＢ（例えば、ＭＰＭのリストの導出における現在ルミナンスＣＢ）より上に位置するか又は左側に位置するルミナンスＣＢを予測するために選択されたイントラ予測モードが、ＭＩＰモードである場合、ＭＩＰモードのインデックスを（例えば、ＭＰＭのリストの導出によって使用される）通常イントラ予測モードのインデックスに変えることができる。
以下の実施例では、ＰＵ：ｇｅｔＩｎｔｒａＤｉｒＬｕｍａの引数は、は予測ユニット（prediction unit、ＰＵ）（例えば、以下の実施例ではｐｕとして示される）であり得る。ＰＵは、ＰＵのコーディングユニット（coding unit、ＣＵ）と同等であり得る。実施例では、ＰＵ；ｇｅｔＩｎｔｒａＤｉｒＬｕｍａに供給されるＰＵ（例えば、以下の実施例においてｐｕとして示される）は、現在ルミナンスＣＢより上に位置するか又は現在ルミナンスＣＢの左側に位置するルミナンスＣＢのＣＵのＰＵであり得る。ＭＩＰモードインデックス（例えば、各ＭＩＰモードインデックス）から通常イントラ予測モードのインデックスへのマッピングは、ＭＩＰモードインデックス（例えば、各ＭＩＰモードインデックス）からＰＬＡＮＡＲインデックスへのマッピングによって置き換えられ得る。
上記の実施例では、ファイルＵｎｉｔＴｏｏｌｓ．ｃｐｐにおけるＰＵ：ｇｅｔＩｎｔｒａＤｉｒＬｕｍａが提供され得る。ｉｓＭｉｐは、例えば、ｉｓＭｉｐの引数ＰＵ（例えば、上記の実施例ではｐｕとして示される）がＭＩＰモードを介して予測される場合、真を返し得る。上記の実施例では、ｐｕ．ｉｎｔｒａＤｉｒ［ＣＨＡＮＮＥＬ＿ＴＹＰＥ＿ＬＵＭＡ］は、（例えば、上記の実施例でｐｕとして示される）ＰＵのルミナンス成分を予測するために選択されたイントラ予測モードのインデックスであり得る。上記の実施例では、ｇ＿ｍａｐＭｉｐＴｏＡｎｇｕｌａｒ６５は、ＭＩＰモードインデックス（例えば、各ＭＩＰモードインデックス）から通常イントラ予測モードのインデックスへのマッピングであり得る。
上記の実施例は、線形及び／又はアフィン機械学習ベースのイントラ予測モードに適用され得る。機械学習ベースのイントラ予測モードインデックス（例えば、各機械学習ベースのイントラ予測モードインデックス）から通常イントラ予測モードのインデックスへのマッピング（例えば、固定マッピング）が構築され得る。
現在ルミナンスＣＢについて（例えば、ＭＰＭのリストの導出において）、例えば、現在ルミナンスＣＢより上に位置するルミナンスＣＢがニューラルネットワークベースのイントラ予測モードによって予測される場合、ニューラルネットワークベースのイントラ予測モードを介した予測と関連した情報は破棄され得る。ＭＰＭのリストの導出は、残りの情報に依存するように適合され得る。例えば、現在ルミナンスＣＢの左側に位置するルミナンスＣＢがニューラルネットワークベースのイントラ予測モードによって予測される場合、ニューラルネットワークベースのイントラ予測モードによる予測と関連した情報は無視され得る。ＭＰＭのリストの導出は、残りの情報に依存し得る。以下の実施例では、現在ルミナンスＣＢについて、例えば、Ｌ＝＝Ａ＝＝ＮＮ＿ＩＤＸである場合、ＭＰＭのデフォルトリストが導出され得る。２つの隣接ルミナンスＣＢ（例えば、２つの隣接ルミナンスＣＢの各々）を予測するために選択されたイントラ予測モードのインデックスは、ＭＰＭのリストを導出するための情報を提供しない場合がある。
以下の実施例のセマンティクスは、以下を含み得る。
Ｌは、
に属し得る、左のルミナンスＣＢのイントラ予測モードのインデックスを示し得る。
Ａは、
に属し得る、上のルミナンスＣＢのイントラ予測モードのインデックスを示し得る。
ｏｆｆｓｅｔは、６１の数値を示し得る。
ｍｏｄは、６４の数値を示し得る。
ＮＮ＿ＩＤＸは、ニューラルネットワークベースのイントラ予測モードのインデックス（例えば、７２）を示し得る。及び
ｍｕｌｔｉＲｅｆｌｄｘは、｛０，１，２｝に属し得る複数の基準線（ＭＲＬ）インデックスであり得る。
ＭＰＭリストの初期化は、例えば、以下のように提供され得る。
上記の実施例では、ニューラルベースのイントラ予測モードは、現在ルミナンスＣＢを予測することができるニューラルネットワークを含み得る。例えば、ニューラルネットワークイントラ予測モードのフラグｎｎＦｌａｇ特性を含む、Ｓ０と示されるイントラ予測モードシグナリングが使用され得、ｉｓＳｉｇｎａｌｉｎｇ０は、真として示され得る。そうでない場合、フラグｎｎＦｌａｇを含まない、Ｓ１と示されるイントラ予測モードシグナリングが使用され得、ｉｓＳｉｇｎａｌｉｎｇ０は、偽として示され得る。
上記の実施例では、現在ルミナンスＣＢについて、ＭＰＭのリストの導出は、例えば、隣接ルミナンスＣＢ（例えば、２つの隣接ＣＢ）がニューラルネットワークベースのイントラ予測モードを介して予測される場合、あるルミナンスＣＢから後続のルミナンスＣＢ（例えば、次のルミナンスＣＢ）への選択された予測モードインデックスにおける相関を考慮しない（例えば、もはや考慮しない）場合がある。
クロミナンスにおけるニューラルネットワークベースのイントラ予測モードが、シグナリングされ得る。実施例では、ニューラルネットワークベースのイントラ予測モードは、ブロックベースのビデオコーデックにニューラルネットワークベースのイントラ予測モードを追加する場合、ルミナンスブロックに排他的に適用するように構築され得る。
ルミナンスブロック及びクロミナンスブロック（例えば、ルミナンスブロックとクロミナンスブロックの両方）のためのニューラルネットワークベースのモードが提供され得る。ルミナンスブロック及びクロミナンスブロック（例えば、ルミナンスブロックとクロミナンスブロックの両方）のためのニューラルネットワークモードと関連付けられたイントラ予測シグナリングが提供され得る。現在クロミナンスＣＢのイントラ予測シグナリングは、例えば、同じイントラ予測シグナリングを共有する現在ＣＵのクロミナンスＣＢ（例えば、２つのクロミナンスＣＢ）を記述するために使用され得る。
ルミナンス及びクロミナンスにおけるニューラルネットワークベースのモードの統一されたシグナリングが提供され得る。実施例では、イントラ予測シグナリングは、ニューラルネットワークベースのイントラ予測モード（例えば、追加のニューラルネットワークベースのイントラ予測モード）がルミナンスブロックとクロミナンスブロックの両方に適用される場合、ＣＵレベルでニューラルネットワークフラグを設定することを含み得る。現在ＣＵについて、現在ＣＵ中の変換ユニット（ＴＵ）（例えば、ルミナンスＴＢ及びクロミナンスＴＢ）は、例えば、フラグが１に等しい場合、ニューラルネットワークベースのイントラ予測モードを選択し得る。ルミナンスとクロミナンスとの間の別個のツリー中のＣＵでは、ルミナンスにおけるローカルパーティショニングは、クロミナンスにおけるローカルパーティショニングとは異なり得る。
ダイレクトモード（direct mode、ＤＭ）を介したクロミナンスにおけるニューラルネットワークベースのモードのシグナリングが提供され得る。現在クロミナンスＣＢでは、ニューラルネットワークベースのイントラ予測モードを介した予測は、ＤＭを介して（例えば、排他的にＤＭを介して）可能にされ得る。ＤＭは、例えば、現在クロミナンスＣＢとコロケートされるルミナンスＣＢがニューラルネットワークベースのイントラ予測モードを介して予測される場合、例えば、エンコーダ側でクロミナンスにおけるレート歪み探索の候補であるニューラルネットワークベースのイントラ予測モードになり得る。
図５は、予測される矩形ブロックを囲むコンテキストの一例を示す図である。実施例では、ニューラルネットワークベースのイントラ予測モードにおいて、θＨ，Ｗによってパラメータ化されたニューラルネットワークｆＨ，Ｗ（．；θＨ，Ｗ）は、Ｗ×ＨブロックＹの周りの復号されたピクセル（例えば、デコーダ側では再構成されたピクセル、符号化側では既に符号化されたピクセルであり、両方とも現在ＣＢＹに隣接する）のコンテキストＸを取り込んで（例えば取得して）、Ｙの予測を返し得る。
図６は、現在Ｗ×ＨクロミナンスＣＢに対するニューラルネットワークベースのイントラ予測モードのシグナリングの一例を示す図である。ＣＢの左上ピクセルは、現在フレーム中の（ｘ，ｙ）に位置し得る。ＮＮ＿ＩＤＸは、ニューラルネットワークベースのイントラ予測モードのインデックス（例えば、７２）であり得る。現在Ｗ×ＨクロミナンスＣＢとコロケートされたルミナンスＣＢは、ニューラルネットワークベースのイントラ予測モードによって予測され得る。Ｔは、ブロックの高さ及び幅のペアのセットを示し得、例えば、ここで、各高さＨ及び幅Ｗについて、ニューラルネットワークベースのイントラ予測モードは、サイズＷ×Ｈのブロックを予測することができるニューラルネットワークを含み得る。例えば、左上ピクセルが現在フレーム中の（ｘ，ｙ）に位置する所与のＷ×ＨクロミナンスＣＢについて、例えば、クロミナンスＣＢとコロケートされたルミナンスＣＢがニューラルネットワークベースのイントラ予測モードによって予測され、（Ｈ，Ｗ）∈Ｔかつｘ≧ｎｌかつｙ≧ｎａである場合、ＤＭは、ニューラルネットワークイントラ予測モードのインデックスになり得る。実施例では、ＤＭは、ＰＬＡＮＡＲに設定され得る。
現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測（例えば、非ニューラルネットワークイントラ予測モード）のインデックスが決定され得る。
図７は、エンコーダ側で現在ブロックのニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）を最もよく表す通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスを推測する例を示している７００。ニューラルネットワークベースのイントラ予測モードは、現在ブロックＹに隣接するコンテキストＸ（例えば、コンテキストＸは、ブロックＹに隣接し、既に符号化されているピクセルであり得る）を取り込んで（例えば、取得して）、Ｙの予測（例えば、コンテキストＸの隣接ピクセル上で潜在的なニューラルベースの予測モードをテストすることによって、ニューラルネットワークベースの予測子を生成する）
と、ベクトルＰと、を提供し得、そのインデックスｉの係数は、エンコーダ側でニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）
に対応する（例えば、最もよく表す）インデックスｉの確率その通常イントラ予測（例えば、非ニューラルネットワークベースのイントラ予測モード）に対応し得る。例えば、ニューラルネットワーク予測を最もよく表す通常イントラ予測（例えば、非ニューラルネットワークベースのイントラ予測モード）は、使用されるとき、生成されたニューラルネットワークベースの予測子が符号化されることをもたらす通常イントラ予測（例えば、非ニューラルネットワークベースのイントラ予測モード）であり得る。
実施例では、ブロックベースのビデオコーデックは、ｍ∈Ｎ＊通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）を含み得る。所与のブロックについて、ニューラルネットワークベースのイントラ予測モードは、ベクトルＰ∈［０，１］ｍを（例えば、１つ以上の他の出力の中から返す（例えば、計算する）ことができ、このインデックスｉの係数は、インデックスｉの通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）がブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）確率に対応し得る。実施例では、それぞれの非ニューラルネットワークベースのイントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）と関連付けられた複数の確率（例えば、表現確率）が、ブロックコンテキスト（例えば、生成されたニューラルネットワークベースの予測子を最もよく表するモードがどれであるかを確認するために、隣接ピクセルに非ニューラルネットワークベースのイントラ予測モードを適用することによって）、及びニューラルネットワークベースの予測モードに基づいて取得（例えば、計算）され得る。Ｐから、ブロックのニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）に対応する（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスｒｅｐＩｄｘ∈［｜０，ｍ－１｜］が、選択（例えば、それぞれの非ニューラルネットワークベースのイントラ予測モードから選択）され得る。実施例では、通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のサブセットについての確率が計算され得、非ニューラルネットワークベースのイントラ予測モードがサブセットから選択され得る。実施例では、ブロックがイントラ内で予測された隣接ブロック間の依存性に関与するとき、ｒｅｐＩｄｘが代用として使用され得る。
本明細書に説明される方法、システム、及び手段は、符号化デバイス、図２に関して説明されるそのようなエンコーダ２００の上で実装され得る。実施例では、ニューラルネットワークベースのイントラ予測モード７０５及び現在ブロックＹのコンテキストＸに基づいて、Ｙの予測
及び／又はインデックスｉの係数がｒｅｐＩｄｘ＝ｉである確率であり得る、ベクトルＰ∈［０，１］ｍが計算され得る。例えば、ｒｅｐＩｄｘは、ａｒｇｍａｘ（Ｐ）７１０に等しくなり得る（例えば、これは、生成されたニューラルネットワークベースの予測子を最もよく表す非ニューラルネットワークベースのイントラ予測モードを見つけるために使用されて得る）。残差
は、一次変換７１５に供給され得る。実施例では、結果として得られる一次変換係数Ｔ０は、例えば、二次変換７２０を介して、二次変換係数Ｔ１に変えられ得る。Ｔ１は、量子化器７２５に供給され得る。
図８は、デコーダ側で現在ブロックのニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）を最もよく表す通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスを推測する例を示している８００。ニューラルネットワークベースのイントラ予測モードは、現在Ｙに隣接するコンテキストＸ（例えば、コンテキストＸは、ブロックＹに隣接し、既に再コンスタクトされているピクセルであり得る）を取り込んで（例えば、取得して）、Ｙの予測（例えば、コンテキストＸの隣接ピクセル上で潜在的なニューラルベースの予測モードをテストすることによって、ニューラルネットワークベースの予測子を生成する）
と、ベクトルＰと、を提供し得、このインデックスｉの係数は、デコーダ側でインデックスｉの通常イントラ予測（例えば、非ニューラルネットワークベースのイントラ予測モード）が、ニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）
を表す（例えば、最もよく表す）確率に対応し得る。例えば、ニューラルネットワーク予測を最もよく表す通常イントラ予測（例えば、非ニューラルネットワークイントラ予測モード）は、使用されるとき、生成されたニューラルネットワークベースの予測子が再構成されることをもたらす通常イントラ予測（例えば、非ニューラルネットワークイントラ予測モード）であり得る。
本明細書に説明される方法、システム、及び手段は、図３に関して説明されるデコーダ３００などの復号デバイス上で実装され得る。図８に示すように、Ｙの予測
及び／又はＰは、ＹのコンテキストＸから、ニューラルネットワークベースのイントラ予測モード８０５を介して計算され得る。例えば、ｒｅｐＩｄｘは、ａｒｇｍａｘ（Ｐ）８１０に等しくなり得る（例えば、これは、生成されたニューラルネットワークベースの予測子を最もよく表す非ニューラルネットワークイントラ予測モードを見つけるために使用されて得る）。実施例では、逆量子化器８２５は、再構成された二次変換係数
のブロックを提供し得る。
は、例えば、逆二次変換８２０を介して、再構成された一次変換係数に
に変えられ得る。逆一次変換８１５は、
から、再構成された残差
を計算し得る。次いで、
となる。
図７及び図８に示されるように、例示的なブロックベースのビデオコーデックにおけるブロックについて、一次変換及び二次変換が適用され得る。実施例では、変換（例えば、一次変換、二次変換、及び三次変換）の組み合わせが適用され得る。
通常モードインデックスのセットのサブセット中の通常イントラ予測モードインデックスが推測され得る。実施例では、推測された通常イントラ予測モードインデックスは、例示的なブロックベースのビデオコーデックにおける通常イントラ予測モードインデックスのセットのサブセットに属し得る。例えば、ｃａｒｄ（Ｓ）＝１となるように、Ｓ⊂［｜０，ｍ－１｜］が提供され得る。例えば、図７及び図８では、Ｐ∈［０，１］ｌ及びｒｅｐＩｄｘ∈Ｓである。
実施例では、Ｓ＝［｜０，６６｜］は、６５個の方向イントラ予測モード、ＰＬＡＮＡＲ及びＤＣのインデックスのセットを示し得る。実施例では、ｌは６７に等しくなり得る。例えば、Ｓを除くイントラ予測モードインデックス（例えば、例示的なコーデックにおけるイントラ予測モードインデックス）のセットは、ＭＩＰモードインデックスのセットに等しくなり得る。
隣接ブロックのためのＭＰＭは、（例えば、ニューラルネットワークベースの予測を使用して符号化／復号されると予測される）現在ブロックのために推測された非ニューラルネットワークベースのイントラ予測モードインデックスに基づいて導出され得る。例えば、生成されたニューラルネットワークベースの予測子に対応する（例えば、最もよく表す）非ニューラルネットワークベースのイントラ予測モードと関連付けられたインデックスが取得され得る。インデックスは、隣接ブロックのＭＰＭリストに追加され得る。現在ルミナンスＣＢについて、現在ルミナンスＣＢより上に位置するルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスＡの計算、及び現在ルミナンスＣＢの左側に位置するルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスＬの計算は、次のような例で示され得る。
上の例において示されるように、現在ルミナンスＣＢより上に位置するルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスＡの計算、及び現在ルミナンスＣＢの左側に位置するルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスＬの計算が実行され得る。実施例では、Ａ及びＬは、例えば、計算（例えば、２つの計算）の後に、現在ルミナンスＣＢのためのＭＰＭのリストを導出するために使用され得る。‘ｐｕＬｅｆｔ’は、左ＰＵへのポインタであり得る。ＮＵＬＬにおける‘ｐｕＬｅｆｔ’は、現在ルミナンスＣＢの左側にＰＵがない（例えば、ＣＵがない）ことを示し得る。‘ｐｕＡｂｏｖｅ’は、上のＰＵへの５月ポインタであり得る。ＮＵＬＬにおける‘ｐｕＡｂｏｖｅ’は、現在ルミナンスＣＢより上にＰＵがない（例えば、ＣＵがない）ことを示し得る。ＮＮ＿ＩＤＸは、ニューラルネットワークベースのイントラ予測モードのインデックスを示し得る。‘ＰＵ：：ｇｅｔＩｎｔｒａＤｉｒＬｕｍａ’は、引数ＰＵのＣＵのルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスを返し得る。‘ＰＵ：：ｇｅｔＩｎｔｒａＤｉｒＬｕｍａ’は、例えば、引数ＰＵのＣＵのルミナンスＣＢを予測するためにＭＩＰモードが使用される場合、ＭＩＰモードインデックスをＰＬＡＮＡＲ＿ＩＤＸに置き換え得る。実施例では、ｒｅｐＩｄｘｌｅｆｔ∈［｜０，６６｜］は、例えば、ニューラルネットワークベースのイントラ予測モードが現在ルミナンスＣＢの左側のルミナンスＣＢを予測するために使用される場合、ニューラルネットワークベースのイントラ予測モードが推測する通常イントラ予測モードのインデックスを示し得る。実施例では、ｒｅｐＩｄｘａｂｏｖｅ∈［｜０，６６｜］は、例えば、ニューラルネットワークベースのイントラ予測モードが現在ルミナンスＣＢより上のルミナンスＣＢを予測する場合、ニューラルネットワークベースのイントラ予測モードが推測する通常イントラ予測モードのインデックスを示し得る。
ニューラルネットワークベースのイントラ予測モードを有するビデオコーデックでは、現在ルミナンスＣＢについて、ＭＰＭのリスト（例えば、本明細書に説明されるＭＰＭのリスト）の導出の適応が適用され得る。例えば、ＡとＮＮ＿ＩＤＸとの間の比較、及びＬとＮＮ＿ＩＤＸとの間の比較（例えば、その両方が図３に示されている）は、バイパスされ得る。
以下の実施例のセマンティクスは、以下を含み得る。
Ｌは、左のルミナンスＣＢのイントラ予測モードのインデックスを示し得、これは、
に属し得る（例えば、図８に示されるように）。
Ａは、上のルミナンスＣＢのイントラ予測モードのインデックスを示し得、これは
（に属し得る例えば、図８に示されるように）。
ｏｆｆｓｅｔは、６１の数値を示し得る。
ｍｏｄは、６４の数値を示し得る。
ＮＮ＿ＩＤＸは、ニューラルネットワークベースのイントラ予測モードのインデックス（例えば、７２）を示し得る。及び
ｍｕｌｔｉＲｅｆｌｄｘは、｛０，１，２｝に属し得る複数の基準線（ＭＲＬ）インデックスであり得る。
ＭＰＭリストの初期化は、例えば、以下のように提供され得る。
上の実施例に示されているように、ＭＰＭのリストは、例えば、左ルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスＬ、及び上のルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスＡが、本明細書に説明される１つ以上の実施例から生じる場合、導出され得る。実施例では、ニューラルネットワークベースのイントラ予測モードは、現在ルミナンスＣＢを予測するために使用され得るニューラルネットワークを含み得る。例えば、指示は、ニューラルベースのイントラ予測モードが現在ルミナンスＣＢを予測することができるニューラルネットワークを含む場合、現在ルミナンスＣＢを予測するために使用され得るニューラルネットワークベースのイントラ予測モードにおけるニューラルネットワークの存在を示し得る。例えば、ニューラルネットワークベースのイントラ予測モードのフラグｎｎＦｌａｇ特性を含み得る、Ｓ０と示されるイントラ予測モードシグナリングが、使用され得る。例えば、ニューラルベースのイントラ予測モードが、現在ルミナンスＣＢを予測することができるニューラルネットワークを含む場合、ニューラルネットワークイントラ予測モードのフラグｎｎＦｌａｇ特性を含む、Ｓ０と示されるイントラ予測モードシグナリングが、が使用され得、ｉｓＳｉｇｎａｌｉｎｇ０は、真として示され得る。そうでない場合、フラグｎｎＦｌａｇを含まない、Ｓ１と示されるイントラ予測モードシグナリングが使用され得、ｉｓＳｉｇｎａｌｉｎｇ０は、偽として示され得る。
ニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスが計算され得る、異なる出力ベクトルが計算され得る。実施例では、ニューラルネットワークベースのイントラ予測モードの出力は変化し得る。実施例では、所与のブロックについて、ニューラルネットワークベースのイントラ予測モードは、ブロックを囲むコンテキストに基づいて、少なくとも１つのベクトルを計算するために使用され得、このインデックスｉの係数は、ｒｅｐＩｄｘ＝ｉである確率である。実施例では、ニューラルネットワークベースのイントラ予測モードは、ｒｅｐＩｄｘが計算され得るスカラー、ベクトル、及び／又はテンソルを返し得る。例えば、ニューラルネットワークベースのイントラ予測モードが、インデックスｉの係数がｒｅｐＩｄｘ＝ｉである対数確率と反対の対数確率である、ベクトル
を（例えば、Ｐの代わりに）返す場合、ａｒｇｍａｘ（例えば、各ａｒｇｍａｘ）は、ａｒｇｍｉｎに置き換えられ得る（例えば、図９及び図１０に示すように）。実施例では、所与のブロックについて、ニューラルネットワークベースのイントラ予測モードは、ブロックを囲むコンテキストに基づいて、１つ以上の１０進数スカラーを計算するために使用され得、このスカラーは、（例えば、最も近い整数に丸められた後に）このブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスをもたらし得る。
図９は、エンコーダ側で、現在ブロックのニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）を最もよく表す通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスを推測する例を示している。ニューラルネットワークベースのイントラ予測モードは、現在ブロックＹに隣接するコンテキストＸ（例えば、コンテキストＸは、ブロックＹに隣接し、既に符号化されているピクセルであり得る）を取り込んで（例えば、取得して）、Ｙの予測（例えば、コンテキストＸの隣接ピクセルについて、潜在的なニューラルネットワークベースの予測モードをテストすることによってニューラルネットワークベースの予測子を生成すること）
を提供し得る。ニューラルネットワークベースのイントラ予測モードは、現在ブロックＹに隣接するコンテキストＸ（例えば、コンテキストＸは、ブロックＹに隣接し、既に符号化されているピクセルであり得る）を取り込んで（例えば、取得して）、ベクトル
を提供し得、このインデックスｉの係数は、エンコーダ側でインデックスｉの通常イントラ予測（例えば、非ニューラルネットワークベースのイントラ予測モード）が、ニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）
を表す（例えば、最もよく表す）対数確率に対応する。
図１０は、デコーダ側で現在ブロックのニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）に対応する通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスを推測する例を示している。ニューラルネットワークベースのイントラ予測モードは、現在ブロックＹに隣接するコンテキストＸ（例えば、コンテキストＸは、ブロックＹに隣接し、既に再構成されているピクセルであり得る）を取り込んで、Ｙの予測（例えば、コンテキストＸの隣接ピクセルについて、潜在的なニューラルネットワークベースの予測モードをテストすることによってニューラルネットワークベースの予測子を生成すること）
を提供し得る。ニューラルネットワークベースのイントラ予測モードは、現在ブロックＹに隣接するコンテキストＸ（例えば、コンテキストＸは、ブロックＹに隣接し、既に再構成されているピクセルであり得る）を取り込んで、ベクトル
を提供し、このインデックスｉの係数は、デコーダ側でインデックスｉの通常イントラ予測（例えば、非ニューラルネットワークベースのイントラ予測モード）が、ニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）
を表す（例えば、最もよく表す）対数確率に対応する。
ニューラルネットワークベースのイントラ予測モードは、ニューラルネットワークベースのイントラ予測モードによって返される予測を表し（例えば、最もよく表し）得る、複数の通常イントラ予測モードのインデックスを推測するために使用され得る。
図１１は、エンコーダ側で、現在ブロックのニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）を最もよく表す通常イントラ予測モード（例えば、ｋ個の非ニューラルネットワークベースのイントラ予測モード）のインデックスを推測する例を示している９００。推測された通常イントラ予測モードは、隣接ブロックのＭＰＭリストに追加され得る。
ニューラルネットワークベースのイントラ予測モードは、現在ブロックＹに隣接するコンテキストＸ（例えば、コンテキストＸは、ブロックＹに隣接し、既に符号化されているピクセルであり得る）を取り込んで（例えば、取得して）、Ｙの予測（例えば、コンテキストＸの隣接ピクセル上で潜在的なニューラルベースの予測モードをテストすることによって、ニューラルネットワークベースの予測子を生成する）
を提供し得る。実施例では、ベクトルＰであり、このインデックスｉの係数は、エンコーダ側でインデックスｉの通常イントラ予測モード（例えば、非ニューラルネットワークイントラ予測モード）が、ニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）
を表す（例えば、最もよく表す）確率に対応し得る。
本明細書に説明される方法、システム、及び手段は、符号化デバイス、例えば、図２に関して説明されるエンコーダ上で実装され得る。実施例では、ニューラルネットワークベースのイントラ予測モード９０５及び現在ブロックＹのコンテキストＸに基づいて、Ｙの予測
及び／又はベクトルＰ∈［０，１］ｍが計算され得る。「トップｋ」コンポーネント９１０は、Ｐにおけるｋ個の最大係数のインデックスを返し得る。変数ｒｅｐＩｄｘ＿ｉは、Ｐにおける（ｉ＋１）ｔｈの最大係数のインデックスであり得る。残差
は、一次変換９１５に供給され得る。実施例では、結果として得られる一次変換係数Ｔ０は、例えば、二次変換９２０を介して、二次変換係数Ｔ１に変えられ得る。Ｔ１は、量子化器９２５に供給され得る。
図１２は、デコーダ側で、現在ブロックのニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）を最もよく表す通常イントラ予測モード（例えば、非ニューラルネットワークイントラ予測モード）の例示的なインデックスを示している１０００。
ニューラルネットワークベースのイントラ予測モードは、現在ブロックＹに隣接するコンテキストＸ（例えば、コンテキストＸは、ブロックＹに隣接し、既に再構成されているピクセルであり得る）を取り込んで（例えば、取得して）、Ｙの予測（例えば、コンテキストＸの隣接ピクセル上で潜在的なニューラルベースの予測モードをテストすることによって、ニューラルネットワークベースの予測子を生成する）
及びベクトルＰを提供し得、このインデックスｉの係数は、デコーダ側でインデックスｉのそれぞれの通常イントラ予測モード（例えば、非ニューラルネットワークイントラ予測モード）が、ニューラルネットワーク予測（例えば、生成されたニューラルネットワークベースの予測子）
を表す（例えば、最もよく表す）確率に対応し得る。
本明細書に説明される方法、システム、及び手段は、復号デバイス、例えば、図３に関して説明されるデコーダ上で実装され得る。図１０に示されるように、Ｙの予測
及び／又はＰは、ＹのコンテキストＸから、例えば、ニューラルネットワークベースのイントラ予測モードに基づいて計算され得る１００５。「トップｋ」コンポーネント１０１０は、Ｐにおけるｋ個の最大係数変数のインデックスを返し得る。変数ｒｅｐＩｄｘｉは、Ｐにおける（ｉ＋１）ｔｈの最大係数のインデクスを示し得る。実施例では、逆量子化器１０２５は、再構成された二次変換係数
のブロックを提供し得る。再構成された一次変換係数
は、例えば、逆二次変換１０２０を介して、
に基づいて計算され得る。逆一次変換１０１５は、
から、再構成された残差
を計算するために使用され得る。次いで、
となる。
現在ルミナンスＣＢについて、ＭＰＭのリストが導出され得る。例えば、ｋ＝２である場合、現在ルミナンスＣＢの左側に位置するルミナンスＣＢ及び現在ルミナンスＣＢより上に位置するルミナンスＣＢを予測するためにニューラルネットワークベースのイントラ予測モードが選択され、現在ルミナンスＣＢの左側に位置するルミナンスＣＢの予測時に２つの通常イントラ予測モードのインデックスが推測され得、現在ルミナンスＣＢより上に位置するルミナンスＣＢの予測時に２つの通常イントラ予測モードのインデックスが推測され得る。
この実施例のセマンティクスは、以下を含み得る。
Ｌは、例えば、
に属し得る、左ルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスを示し得る。
Ａは、例えば、
に属し得る、上のルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスを示し得る。
ｏｆｆｓｅｔは、６１の数値を示し得る。
ｍｏｄは、６４の数値を示し得る。
ＮＮ＿ＩＤＸは、ニューラルネットワークベースのイントラ予測モードのインデックス（例えば、７２）を示し得る。
ｍｕｌｔｉＲｅｆｌｄｘは、例えば、｛０，１，２｝に属し得る、多重基準線（Multiple Reference Line、ＭＲＬ）インデックスであり得る。
‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ’は、現在ルミナンスＣＢの左側に位置するルミナンスＣＢの予測中に推測されたニューラルネットワークベースのイントラ予測モードの通常イントラ予測モードの２つのインデックスを含むバッファへのポインタであり得る。実施例では、現在ルミナンスＣＢの左側に位置するルミナンスＣＢを予測するために、ニューラルネットワークベースのイントラ予測モードとは異なるイントラ予測モードが選択された場合、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ’はＮＵＬＬであり得る。
‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ’は、現在ルミナンスＣＢより上に位置するルミナンスＣＢの予測中に推測されたニューラルネットワークベースのイントラ予測モードの通常イントラ予測モードの２つのインデックスを含むバッファへのポインタであり得る。実施例では、現在ルミナンスＣＢより上に位置するルミナンスＣＢを予測するために、ニューラルネットワークベースのイントラ予測モードとは異なるイントラ予測モードが選択された場合、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ’はＮＵＬＬであり得る。
Ａ及びＬの計算は、以下のとおりであり得る。
‘ｐｕＬｅｆｔ’は、左ＰＵへのポインタであり得る。実施例では、ＮＵＬＬにおける‘ｐｕＬｅｆｔ’は、現在ルミナンスＣＢの左側にＰＵがない（例えば、ＣＵがない）ことを示し得る。‘ｐｕＡｂｏｖｅ’は、上のＰＵへのポインタであり得る。実施例では、ＮＵＬＬにおける‘ｐｕＡｂｏｖｅ’は、現在ルミナンスＣＢより上にＰＵがない（例えば、ＣＵがない）ことを示し得る。‘ＰＵ：：ｇｅｔＩｎｔｒａＤｉｒＬｕｍａ’は、引数ＰＵのＣＵのルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスを返し得る。‘ＰＵ：：ｇｅｔＩｎｔｒａＤｉｒＬｕｍａ’は、例えば、引数ＰＵのＣＵのルミナンスＣＢを予測するためにＭＩＰモードが使用される場合、ＭＩＰモードインデックスをＰＬＡＮＡＲ＿ＩＤＸに置き換え得る。
現在ルミナンスＣＢについて、ＭＰＭのリストが以下のように導出され得る。
‘ｆｉｌｌＬｉｓｔＭＰＭｓＮＮＬｅｆｔＡｂｏｖｅ’は、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［０］’、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［１］’、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［０］’、及び‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［１］’を‘ＭＰＭ’によって指されたＭＰＭのリストに入れる関数（例えば、任意の関数）であり得る。実施例では、‘ｆｉｌｌＬｉｓｔＭＰＭｓＮＮＬｅｆｔＡｂｏｖｅ’は、ＭＰＭ（例えば、全てのＭＰＭ）が異なるように設計され得る。
実施例では、‘ｆｉｌｌＬｉｓｔＭＰＭｓＮＮＬｅｆｔＡｂｏｖｅ’は、本明細書に説明されるように挙動し得る。ＭＰＭのリスト内の優先度は、以下に例解されるように、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［０］’、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［０］’、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［１］’、及び‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［１］」’であり得る。
‘ａｒｅＲｅｄｕｎｄａｎｔＩｎＳｅｃｏｎｄＡｒｒａｙ’は、例えば、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［０］’＝‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［０］’又は‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［０］’＝‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［１］」’である場合、‘ｉｓＩｄｘ０Ｒｅｄｕｎｄａｎｔ’を真に設定するために使用され得る。‘ａｒｅＲｅｄｕｎｄａｎｔＩｎＳｅｃｏｎｄＡｒｒａｙ’は、例えば、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［１］’＝‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［０］’又は‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［１］’＝‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［１］’である場合、‘ｉｓＩｄｘ１Ｒｅｄｕｎｄａｎｔ’を真に設定するために使用され得る。
上で例解されるように、条件‘ｉｓＩｄｘ０Ｒｅｄｕｎｄａｎｔ’＆＆‘ｉｓＩｄｘ１Ｒｅｄｕｎｄａｎｔ’は、セット｛‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［０］’，‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［１］’｝がセット｛‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［０］’，‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［１］’｝と冗長であることを示し得る。「冗長」とは、セットの順序を考慮せずに、言及された２つのセットが等しいことを意味し得る（プログラミング言語Ｐｙｔｈｏｎにおけるセット同等性の概念を参照）。｛‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［０］’，‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［１］’｝がセット｛‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［０］’，‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＬｅｆｔ［１］’｝と冗長であるという決定に基づいて、‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［０］’及び‘ｐｔｒＩｎｄｉｃｅｓＲｅｐＮＮＡｂｏｖｅ［１］’が、ＭＰＭの導出リストから除外され得る。
‘ｆｉｌｌＵｐＴｏＳｉｘ’は、リストインデックス‘ｉｄｘＩｎｃ’から５までの‘ＭＰＭ’によって指されるＭＰＭのリストを埋めるために使用され得る。‘ｆｉｌｌＵｐＴｏＳｉｘ’は、埋めることを実行するための手順を使用し得る。実施例では、‘ｆｉｌｌＵｐＴｏＳｉｘ’は、異なるイントラ予測モードインデックスを含むＭＰＭのリストを生成し得る。
実施例では、ＭＰＭのリストは、現在ルミナンスＣＢの左側に位置するルミナンスＣＢの予測中に推測された２つの通常イントラ予測モードのインデックスが、ＭＰＭの導出されたリスト中に現れ得るように導出され得る。例えば、現在ルミナンスＣＢの左側に位置するルミナンスＣＢを予測するためにニューラルネットワークベースのイントラ予測モードが選択され、現在ルミナンスＣＢより上に位置するルミナンスＣＢを予測するために通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）が選択される場合、現在ルミナンスＣＢの左側に位置するルミナンスＣＢの予測時に推測された２つの通常イントラ予測モードのインデックスは、ＭＰＭの導出リストに含まれ得る。上の例解図では、‘ｆｉｌｌＬｉｓｔＭＰＭｓＷｉｔｈｏｕｔＩｎｉｔｉａｌｉｚａｔｉｏｎ’は、以下のようになり得る。
実施例では、ＭＰＭのリストは、現在ルミナンスＣＢより上に位置するルミナンスＣＢの予測中に推測された２つの通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスが、ＭＰＭの導出されたリストに含まれ得るように導出され得る。例えば、現在ルミナンスＣＢより上に位置するルミナンスＣＢを予測するためにニューラルネットワークベースのイントラ予測モードが選択され、現在ルミナンスＣＢの左側に位置するルミナンスＣＢを予測するために通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）が選択される場合、現在ルミナンスＣＢより上に位置するルミナンスＣＢの予測時に推測された２つの通常イントラ予測モードのインデックスは、ＭＰＭの導出リストに含まれ得る。例解図では、ｆｉｌｌＬｉｓｔＭＰＭｓＷｉｔｈｏｕｔＩｎｉｔｉａｌｉｚａｔｉｏｎ’は以下のようになり得る。
クロミナンスにおけるイントラ予測におけるニューラルネットワークベースのモードに関連する指示がシグナリングされ得る。実施例では、ニューラルネットワークベースのイントラ予測モードの特性を示し得る、フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅなどの指示が、現在クロミナンスＣＢのイントラ予測シグナリングにおけるｄｉｒｅｃｔＦｌａｇの前に配置され得る。ニューラルネットワークベースのイントラ予測モードは、例えば、ｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅが１に等しい場合、現在クロミナンスＣＢを予測するために使用され得る。冗長性を低減するために、エンコーダは、１つ以上の条件に基づいて、現在クロミナンスＣＢのイントラ予測シグナリングにおけるニューラルネットワークベースのイントラ予測モードのシグナリングに指示（例えば、フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅ）を含めるかどうかを決定し得る。デコーダは、１つ以上の条件に基づいて、現在クロミナンスＣＢのイントラ予測シグナリングにおけるニューラルネットワークベースのイントラモードのシグナリングにおける指示（例えば、フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅ）を解析するかどうかを決定し得る。１つ以上の条件は、例えば、ＤＭが（例えば、図１４及び図１５に示されているように）ニューラルネットワークベースのイントラ予測モードになる場合、ｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅが現在クロミナンスＣＢのイントラ予測シグナリングに現れないことを保証し得る。ビットを節約するために、例えば、ニューラルネットワークベースのイントラ予測モードを介した現在クロミナンスＣＢの予測が実行され得ない場合、条件は、ｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅが現在クロミナンスＣＢのイントラ予測シグナリングに現れないことを保証し得る。ニューラルネットワークベースのイントラ予測モードは、現在クロミナンスＣＢのコンテキストが抽出され得ないこと、及び／又は現在クロミナンスＣＢを予測するために使用され得るニューラルネットワークベースのイントラ予測モードにニューラルネットワークが存在しないこと（例えば、図１４及び図１５に示すように）、のうちの１つ以上に基づいて実行されない場合がある。
図１３は、その左上ピクセルが現在フレーム中の（ｘ，ｙ）に位置する現在Ｗ×ＨクロミナンスＣＢのための例示的なイントラ予測シグナリング及びＤＭを示している。現在クロミナンスＣＢのコンテキストのパラメータｎｌ及びｎａが、指定され得る（例えば、図５に示されるように）。ＮＮＩＤＸは、ニューラルネットワークベースのイントラ予測モードのインデックスを示し得る。Ｃ１０，Ｃ１１，及びＣ０に関連するシグナリングが取得され得る（例えば、図１５に示されるように）。
図１４は、現在クロミナンスＣＢについての例示的なイントラ予測シグナリングを示している。状態Ｓ１０１の場合、４個の非ＤＭモードのうち非ＤＭのトランケートされたバイナリ符号化がシグナリングされ得る。図示するように、ニューラルネットワークベースのモードのフラグ特性は、ｄｉｒｅｃｔＦｌａｇの前に配置され得る。
図１５は、現在クロミナンスＣＢのための例示的なイントラ予測シグナリングを示している。実施例では、ニューラルネットワークベースのイントラ予測モードのｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅ特性は、現在クロミナンスＣＢのイントラ予測シグナリングにおけるｄｉｒｅｃｔＦｌａｇの後に配置され得る。イントラ予測シグナリングは、本明細書に説明される例に従い得る。状態Ｓ１０１の場合、４個の非ＤＭモードのうち非ＤＭのトランケートされたバイナリ符号化がシグナリングされ得る。図１５に示されるように、現在クロミナンスＣＢのイントラ予測シグナリングにおいて、ｄｉｒｅｃｔＦｌａｇの後に、ニューラルネットワークベースのイントラ予測モードの特性を示し得るフラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅなどの指示子が配置され得る。ニューラルネットワークベースのイントラ予測モードは、例えば、ｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅが１に等しい場合、現在クロミナンスＣＢを予測するために使用され得る。フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅをシグナリングするかどうかは、ｄｉｒｅｃｔＦｌａｇの値に基づいて決定され得る。ｄｉｒｅｃｔＦｌａｇが、ニューラルネットワークベースのイントラ予測モードを介した現在クロミナンスＣＢの予測が実行され得ない（例えば、ｄｉｒｅｃｔＦｌａｇ＝１、直接モードが使用される）ことを示す場合、フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅのシグナリングはスキップされ得る。ｄｉｒｅｃｔＦｌａｇが、ニューラルネットワークベースのイントラ予測モードを介した現在クロミナンスＣＢの予測が実行され得ることを示す（例えば、ｄｉｒｅｃｔＦｌａｇ＝０、ダイレクトモードが使用されない）場合、フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅは、ビットストリーム中に含まれ得る。デコーダ側では、フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅを解析するかどうかは、ｄｉｒｅｃｔＦｌａｇの値に基づいて決定され得る。ｄｉｒｅｃｔＦｌａｇが、ニューラルネットワークベースのイントラ予測モードを介した現在クロミナンスＣＢの予測が実行され得ない（例えば、ｄｉｒｅｃｔＦｌａｇ＝１、直接モードが使用される）ことを示す場合、フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅの解析はスキップされ得る。ｄｉｒｅｃｔＦｌａｇが、ニューラルネットワークベースのイントラ予測モードを介した現在クロミナンスＣＢの予測が実行され得ることを示す（例えば、ｄｉｒｅｃｔＦｌａｇ＝０、ダイレクトモードが使用されない）場合、フラグｎｎＦｌａｇＣｈｒｏｍｉｎａｎｃｅは、ビットストリームから解析され得る。
図１６は、デコーダ側で現在ブロックのニューラルネットワーク予測に対応する（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスの一例を示している。
１６００において、ニューラルネットワークベースの予測及び／又はブロックコンテキストを表す情報が取得され得る。実施例では、情報は、ピクチャ及び／又はビデオ中の現在ブロックについて取得され得る。情報は、図５及び図６を参照しながら説明されるように取得され得る。例えば、ブロックコンテキストは、現在ブロックを囲む復号されたピクセルのセットを含み得る。
１６０５において、ニューラルネットワークベースのイントラ予測が実行され得る。例えば、ニューラルネットワークベースのイントラ予測は、ブロックコンテキスト及び／又はニューラルネットワークベースのイントラ予測モードに基づいて現在ブロックに対して実行され得る。ニューラルネットワークベースのイントラ予測は、図８及び図１０に関して説明されるように実行され得る。実施例では、ニューラルネットワークベースのイントラ予測は、現在ブロックのルミナンス成分及び／又はクロミナンス成分において実行され得る。ビットストリームからのシグナリング情報が復号され得る。シグナリング情報は、例えば、図１４及び図１５を参照しながら説明されるように、ニューラルネットワークベースの予測モードが現在ブロックを予測するかどうかを示すフラグを含み得る。
１６１０において、非ニューラルネットワークベースのイントラ予測モードが決定され得る。例えば、非ニューラルネットワークベースのイントラ予測モードは、実行されたニューラルネットワークベースのイントラ予測に対応し得る。非ニューラルネットワークベースのイントラ予測モードは、図８及び図１０を参照して説明されるように決定され得る。実施例では、複数の非ニューラルネットワークベースのイントラ予測モードが、図１２に関して説明されるように決定され得る。非ニューラルネットワークベースのイントラ予測モードは、ニューラルネットワークベースのイントラ予測を表す非ニューラルネットワークベースのイントラ予測モードと関連付けられたメトリックに基づいて決定され得る。メトリックは、図８に関して説明されるような確率を含み得る。例えば、確率は、ブロックコンテキスト及び／又はニューラルネットワークベースの予測モードに基づいて決定され得る。実施例では、決定された非ニューラルネットワークベースのイントラ予測モードは、例えば、複数の非ニューラルネットワークベースのイントラ予測モードと関連付けられた複数の表現確率の中の最大確率と関連付けられ得る。
１６１５において、予測モードが決定され得る。決定された非ニューラルネットワークベースのイントラ予測モードに基づいて予測モードが決定され得る。予測モードは、現在ブロックに隣接したブロックについて決定され得る。実施例では、ＭＰＭは、決定された非ニューラルネットワークベースのイントラ予測モードに基づいて、隣接ブロックについて決定され得る。
例示的なニューラルネットワークベースのイントラ予測モードでは、予測されるべき現在ブロックのコンテキストとブロックのニューラルネットワーク予測とを転置する（例えば、任意選択的に転置する）ことによって、かつ／又は現在ブロックのコンテキストをダウンサンプリングし、ブロックのニューラルネットワーク予測を補間することによって、異なるサイズのブロックを予測するために、ニューラルネットワークが使用され得る。例えば、予測されるべき現在ブロックのコンテキストとブロックのニューラルネットワーク予測とが転置される場合、現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードの推測されたインデックスｒｅｐＩｄｘが転置され（例えば、同じく転置され）得る。
図１７は、ニューラルネットワークベースのイントラ予測モードによる予測の例を示している。実施例では、ブロックの高さＨ及び幅Ｗの所与のペアについて、ニューラルネットワークベースのイントラ予測モードは、サイズＷ×Ｈのブロックを予測するニューラルネットワークを含む場合、又は含まない場合がある。垂直ダウンサンプリング係数γ∈Ｎ＊及び水平ダウンサンプリング係数δ∈Ｎ＊について、ニューラルネットワークベースのイントラ予測モードは、
によってパラメータ化された、サイズ（Ｈ／δ）×（Ｗ／γ）のブロックを予測する、ニューラルネットワーク
を含み得る。実施例では、図７及び図８に関して説明されるように、現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックス（例えば、単一インデックス）が、推測され得る。ニューラルネットワークベースのイントラ予測モードを介した現在Ｗ×Ｈブロックの予測は、本明細書に説明されるように実行され得る。２７２０において、現在Ｗ×Ｈブロックのコンテキスト２７１０が転置され得る。コンテキストの転置は、例えば、復号されたサンプル２７１１、２７１２、及び２７１３がそれぞれサンプル２７２１、２７２２、及び２７２３に転置される、転置された形状をもたらし得る。２７３０において、結果として得られる転置されたコンテキストは、垂直ダウンサンプリング係数γ及び水平ダウンサンプリング係数δを使用してダウンサンプリングされ得る。２７４０において、ニューラルネットワークイントラ予測が実行され得る。２７６０において、結果として得られる予測２７５０は、γ，δを使用して及び／又は転置されたコンテキストにおける復号されたピクセルを使用して補間され得る。２７７０において、補間の結果が転置され得る。
は、ベクトルＰを返し得、このインデックスｉの係数は、インデックスｉの通常のイントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）がニューラルネットワーク予測を表す（例えば、最もよく表す）確率に対応し得る。現在ブロックのニューラルネットワーク予測に対応する（例えば、最もよく表す）通常イントラ予測モードが決定され得る。例えば、ｒｅｐＩｄｘ＝ａｒｇｍａｘ（Ｐ）である。２７８０において、ｒｅｐＩｄｘはｒｅｐＩｄｘＴｒに転置され得る。例えば、現在ブロックを囲むブロックのＭＰＭのリストを導出するために、例えば、ｒｅｐＩｄｘの代わりにｒｅｐＩｄｘＴｒが使用され得る。なお図１７では、Ｈ＝８、Ｗ＝４、γ＝δ＝２であるが、当業者であれば、この技術が他のサイズのブロックに適用されることを理解するであろう。
実施例では、推測された通常イントラ予測モードインデックスが６５方向の通常イントラ予測モード、ＰＬＡＮＡＲ、及び／又はＤＣ（例えば、ｍ＝６７）のインデックスのセットに属する場合、推測されたインデックスの転置は、左上から右下への対角線に関する推測された通常イントラ予測モード方向の転置に対応し得る。例えば、推測されたインデックスの転置は、以下のように取得され得る。
ＰＬＡＮＡＲ＿ＩＤＸは、ＰＬＡＮＡＲのインデックス（例えば、０）を示し得る。ＤＣ＿ＩＤＸは、ＤＣのインデックス（例えば、１）を示し得る。６８は、通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）の数に対応し得る。コーデック内のイントラ予測モードの数に基づいて、異なるコーデックに対して異なる数が使用され得る。例えば、この数は、ＭＩＰモード及び／又はＣＣＬＭモードに１を加えたものを除外し得る。上で説明される推測された通常イントラ予測モードインデックスの転置は、図１７の２７８０と同様であり得る。
実施例では、図１７は、図１１及び図１２に関して説明されるように、現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）の複数のインデックスが推測される場合に適合され得る。例えば、２７８０は、同じ転置を使用する推測された通常イントラ予測モードインデックスｒｅｐＩｄｘｉの転置を含み得る。例えば、２７８０において、ｒｅｐＩｄｘｉは、ｒｅｐＩｄｘＴｒｉに変えられ得る。ｒｅｐＩｄｘＴｒｉは、例えば、現在ブロックに隣接するブロックのＭＰＭのリストを導出するために使用され得る。
実施例では、図１７は、ニューラルネットワーク
によって返されるベクトルＰが転置される場合に適合され得、これにより、図１８に関して説明される例が導かれ得る。
図１８は、ニューラルネットワークベースのイントラ予測モードによる予測の例を示している。実施例では、ニューラルネットワーク
によって返されるベクトルＰは、転置され得る。図１８に関して説明されるように、推測された通常イントラ予測モードインデックスは、ＰＬＡＮＡＲ及びＤＣにおける通常方向イントラ予測モードのインデックスのセットに属し得、転置は、左上から右下への対角線に関するものである。例えば、２７９０において、［｜２，３３｜］に属するインデックスのＰにおける係数（例えば、各係数）は、インデックス３４の位置に関してその対称である係数と入れ替えられ得る。図１７を参照して説明される現在ブロックの最終予測値及びｒｅｐＩｄｘＴｒ値は、それぞれ、図１８を参照して説明されるものと等しくなり得る。
ニューラルネットワークベースのイントラ予測モードを介して予測されるべきブロックについて、ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードのインデックスのニューラルネットワークベースのモードによる推測は、ニューラルネットワーク予測の残差に適用されるべき変換のための暗黙的変換シグナリングのニューラルネットワークベースのモードによる推測及び／又は予測と組み合わされ得る。例えば、ニューラルネットワークベースのイントラ予測モードは、ニューラルネットワーク予測の残差への離散コサイン変換２（ＤＣＴ２）の水平方向及びＤＣＴ２の垂直方向の適用から生じる一次変換係数のブロックに適用されるべき低周波非分離変換（low-frequency non-separable transform、ＬＦＮＳＴ）のための暗黙的変換シグナリングを予測するために使用され得る。予測されるべき現在ルミナンスＣＢのコンテキストとＣＢのニューラルネットワーク予測とが転置される場合、ＣＢのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードの推測されたインデックスｒｅｐＩｄｘは転置され（例えば、同じく転置され）得、ｌｆｎｓｔＩｄｘＹ＝ｉ，ｉ∈｛１，２｝のＬＦＮＳＴグループインデックスの予測ｐＩｄｘｉ Ｙが転置され（例えば、同じく転置され）得る。ｌｆｎｓｔＩｄｘＹ∈｛０，１，２｝は、現在ルミナンスＣＢのＬＦＮＳＴインデックスを示し得る。例えば、ｌｆｎｓｔＩｄｘＹ＝０は、ＬＦＮＳＴが現在ルミナンスＣＢに適用されないことを示し得る。ｌｆｎｓｔＩｄｘＹ∈｛１，２｝は、例えば、ＬＦＮＳＴグループインデックスによって与えられるＬＦＮＳＴカーネルのペアにおいてインデックスｌｆｎｓｔＩｄｘＹ－１のＬＦＮＳＴカーネルを使用して、ＤＣＴ２を水平に、ＤＣＴ２を垂直に、ニューラルネットワーク予測の残差に適用することから生じる一次変換係数のブロックにＬＦＮＳＴが適用されることを示し得る。ＬＦＮＳＴグループインデックスは、考慮されるべきＬＦＮＳＴカーネルのペアのインデックスと、ニューラルネットワーク予測の残差へのＤＣＴ２の水平方向及びＤＣＴの垂直方向の適用から生じる一次変換係数のブロックが転置され得るかどうかとを示し得る。
図１９は、ニューラルネットワークベースのイントラ予測モードによる予測の例を示している。実施例では、ブロックのニューラルネットワーク予測は、ニューラルネットワーク予測の残差に適用されるべき変換のための暗黙的変換シグナリングのニューラルネットワークベースのイントラ予測モードによる推測及び／若しくは予測、並びに／又はブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードのインデックスのニューラルネットワークベースのイントラ予測モードによる推測と組み合わされ得る。ニューラルネットワーク
は、ベクトルＰ１ Ｙ∈［０，１］７を返し得、このインデックスｉの係数は、ｌｆｎｓｔＩｄｘＹ＝１のＬＦＮＳＴグループインデックスの予測がｉに等しい確率を示し得る。
は、ベクトルをＰ２ Ｙ∈［０，１］７返し得、このインデックスｉの係数は、ｌｆｎｓｔＩｄｘＹ＝２のＬＦＮＳＴグループインデックスの予測がｉに等しい確率を示し得る。例えば、ｐＩｄｘ１ Ｙ＝ａｒｇｍａｘ（Ｐ１ Ｙ）及びｐＩｄｘ２ Ｙ＝ａｒｇｍａｘ（Ｐ２ Ｙ）である。３００１において、ｐＩｄｘ１ ＹはｐＩｄｘＴｒ１ Ｙに転置され得る。３００２において、ｐＩｄｘ２ ＹはｐＩｄｘＴｒ２ Ｙに転置され得る。ＬＦＮＳＴグループインデックスの最終予測ｐｒｅｄＴｒＧｒｐＩｄｘＹは、ｌｆｎｓｔＩｄｘＹ＝１の場合、ｐＩｄｘ１ Ｙに等しくなり、ｌｆｎｓｔＩｄｘＹ＝２の場合、ｐＩｄｘ２ Ｙに等しくなり得る。
実施例では、ｌｆｎｓｔＩｄｘＹ＝ｉ，ｉ∈｛１，２｝に対するＬＦＮＳＴグループインデックスの予測ｐＩｄｘｉ Ｙの転置は、以下のように取得され得る。
上で説明されるｌｆｎｓｔＩｄｘＹ＝ｉ，ｉ∈｛１，２｝に対するＬＦＮＳＴグループインデックスの予測の転置は、図１９に関して本明細書に説明される３００１及び３００２と同様であり得る。
実施例では、図１８は、ニューラルネットワーク
によって返されるベクトルＰ１ Ｙが転置され、かつ／又は
によって返されるベクトルＰ２ Ｙが転置される場合に適合され得、これにより、図２０に関して説明されるような例が導かれ得る。
図２０は、ニューラルネットワークベースのイントラ予測モードによる予測の例を示している。実施例では、ニューラルネットワークによって返されるベクトルＰ１ Ｙは転置され得る。例えば、３００３において、［｜１，６｜］に属するインデックスのＰ１ Ｙにおける係数（例えば、各係数）は、Ｐ１ Ｙ［１：７］の中間に関してその対称である係数と入れ替えられ得る。実施例では、ニューラルネットワークによって返されるベクトルＰ２ Ｙは転置され得る。３００４において、［｜１，６｜］に属するインデックスのＰ２ Ｙにおける係数（例えば、各係数）は、Ｐ２ Ｙ［１：７］の中間に関してその対称である係数と入れ替えられ得る。図１９に関して説明される現在ブロックの最終予測値、ｒｅｐＩｄｘＴｒの値、及びｐｒｅｄＴｒＧｒｐＩｄｘＹの値は、図２０のものとそれぞれ等しくなり得る。
ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードのインデックスのニューラルネットワークベースのイントラ予測モードによる推測と、ニューラルネットワーク予測の残差に適用されるべき変換のための暗黙的変換シグナリングのニューラルネットワークベースのイントラ予測モードによる推測及び／又は予測との組み合わせにおいて、推測及び／又は予測によって対象とされる変換は、一次、二次、三次、及び／又は別のレベルの変換であり得る。推測及び／又は予測によってターゲットとされる変換（例えば、各変換）は、ニューラルネットワーク予測の残差、又はルミナンスブロック若しくはクロミナンスブロックと関連する異なる変換（例えば、前の変換）の出力である変換係数のブロックに適用され得る。
図２１は、ニューラルネットワークベースのイントラ予測モードによる予測の例を示している。実施例では、ここで、ブロックの高さＨ及び幅Ｗのペアについて、ニューラルネットワークベースのイントラ予測モードは、サイズＷ×Ｈのブロックを予測するニューラルネットワークを含む場合、又は含まない場合がある。垂直ダウンサンプリング係数γ∈Ｎ＊及び水平ダウンサンプリング係数δ∈Ｎ＊について、ニューラルネットワークベースのイントラ予測モードは、
によってパラメータ化された、サイズ（Ｈ／δ）×（Ｗ／γ）のブロックを予測する、ニューラルネットワーク
を含み得る。４００１において、現在Ｗ×ＨブロックのコンテキストＸが転置され得る。Ｘの転置は、転置された形状をもたらし得る。４００２において、結果として得られる転置されたコンテキストは、垂直ダウンサンプリング係数γ及び水平ダウンサンプリング係数δを使用してダウンサンプリングされ得る。４００３において、ニューラルネットワークベースのイントラ予測が実行され得る。４００４において、結果として得られる予測は、γ，δを使用して、及び／又は転置されたコンテキストにおける復号されたピクセルを使用して補間され得る。４００５において、補間の結果が転置されて、現在ブロックの最終予測をもたらし得る。
は、ベクトルＰを返し得、このインデックスｉの係数は、インデックスｉの対応する通常イントラ予測モード（例えば、非ニューラルネットワークベースの予測モード）がニューラルネットワーク予測を表す（例えば、最もよく表す）確率に対応し得る。例えば、ｒｅｐＩｄｘ＝ａｒｇｍａｘ（Ｐ）である。４００６において、ｒｅｐＩｄｘはｒｅｐＩｄｘＴｒに転置され得る。例えば、ｒｅｐＩｄｘＴｒは、現在ブロックを囲むブロックのＭＰＭのリストを導出するために使用され得る。ニューラルネットワーク
は、ベクトルＰ０を返し得、このインデックスｉの係数は、選択された一次変換インデックスの予測がｉに等しい確率を示し得る。
は、ベクトルＰ１を返し得、このインデックスｉの係数は、選択された二次変換インデックスの予測がｉに等しい確率を示し得る。例えばｐＩｄｘ０＝ａｒｇｍａｘ（Ｐ０）及びｐＩｄｘ１＝ａｒｇｍａｘ（Ｐ１）である。４００７において、ｐＩｄｘ０は、ｐｒｅｄＴｒＩｄｘに転置され得る。４００８において、ｐＩｄｘ１は、ｐｒｅｄＴｒＧｒｐＩｄｘに転置され得る。４０００において、本明細書に説明される例は、Ｘを入力として取り、
ｐｒｅｄＴｒＩｄｘ、ｐｒｅｄＴｒＧｒｐＩｄｘ及び／又はｒｅｐＩｄｘＴｒを返す、ニューラルネットワークパイプラインに集められ得る。
図２２は、エンコーダ側上のニューラルネットワークベースのパイプラインの一例を示している４１００。４１０１において、ニューラルネットワークベースのパイプラインは、現在ブロックＹのコンテキストＸから、Ｙの予測
現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードのインデックスｒｅｐＩｄｘ、ニューラルネットワーク予測の残差に適用されるべき選択された一次変換のインデックスの予測ｐｒｅｄＴｒＩｄｘ、及び／又は一次変換によって返された変換係数のブロックに適用されるべき選択された二次変換のインデックスの予測ｐｒｅｄＴｒＧｒｐＩｄｘを計算し得る。インデックスは、レート歪み最適化を介してエンコーダによって見つけられ得る。４１０２において、予測
の残差は、エンコーダによって見つけられたインデックスｔｒＩｄｘの一次変換に供給され得る。４１０３において、結果として得られる一次変換係数Ｔ０は、エンコーダによって見つけられるインデックスｔｒＧｒｐＩｄｘの二次変換に供給され得る。４１０４において、結果として得られる二次変換係数Ｔ１は、量子化器に供給され得る。４１０５において、予測エンコーダ（例えば、第１の予測エンコーダ）は、ｔｒＩｄｘをｐｒｅｄＴｒＩｄｘに対して符号化し、例えば、ビットストリームに書き込まれるビットＡｒｅｍａｉｎｄｅｒをもたらし得る。４１０６において、第２の予測エンコーダは、ｐｒｅｄＴｒＧｒｐＩｄｘに対してｔｒＧｒｐＩｄｘを符号化して、例えば、ビットストリームに書き込まれるビットＢｒｅｍａｉｎｄｅｒをもたらし得る。４１０７において、ｒｅｐＩｄｘは、例えば、隣接ブロックを予測するために選択されたイントラ予測モードをシグナリングするためのＭＰＭのリストを導出するときに、ニューラルネットワークベースのモードのインデックスをｒｅｐＩｄｘで置き換えることによって、現在再構成されたブロックに関して後続のブロックを符号化するときに、ニューラルネットワークベースのイントラ予測モードを表すために使用され得る。
図２３は、デコーダ側上のニューラルネットワークベースのパイプラインの一例を示している４２００。４２０１において、ニューラルネットワークベースのパイプラインは、コンテキストＸから、現在ブロックの予測
現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードのインデックスｒｅｐＩｄｘ、ニューラルネットワーク予測の残差に適用されるべき選択された一次変換のインデックスの予測ｐｒｅｄＴｒＩｄｘ、及び／又は一次変換によって返された変換係数のブロックに適用されるべき選択された二次変換のインデックスの予測ｐｒｅｄＴｒＧｒｐＩｄｘを計算し得る。４２０５において、予測エンコーダ（例えば、第１の予測エンコーダ）と関連付けられたデコーダは、ｐｒｅｄＴｒＩｄｘ、及び例えば、ビットストリームから読み取られるビットＡｒｅｍａｉｎｄｅｒを使用してｔｒＩｄｘを復号し得る。４２０６において、第２の予測エンコーダと関連付けられたデコーダは、ｐｒｅｄＴｒＧｒｐＩｄｘ、及び例えば、ビットストリームから読み取られるビットＢｒｅｍａｉｎｄｅｒを使用して、ｔｒＧｒｐＩｄｘを復号し得る。４２０４において、逆量子化器は、再構成された二次変換係数
のブロックを提供し得る。４２０３において、インデックスｔｒＧｒｐＩｄｘの逆二次変換は
を再構成された一次変換係数のブロック
に変え得る。４２０２において、インデックスｔｒＩｄｘの逆一次変換は、
から再構成された残差
を計算し得る。再構成されたブロックは、
であり得る。４２０７において、ｒｅｐＩｄｘは、例えば、隣接ブロックを予測するために選択されたイントラ予測モードをシグナリングするためのＭＰＭのリストを導出するときに、ニューラルネットワークベースのモードのインデックスをｒｅｐＩｄｘで置き換えることによって、現在復号されたブロックに関して後続のブロックを復号するときに、ニューラルネットワークベースのイントラ予測モードを表すために使用され得る。
現在ブロックがイントラモードでコーディングされ、ニューラルネットワークベースのイントラ予測モードが、選択されたＬＦＮＳＴグループインデックスの予測ｐｒｅｄＴｒＧｒｐＩｄｘを返す場合、ニューラルネットワークベースのモードは、ＬＦＮＳＴの暗黙的シグナリングを予測するために使用され得る。図２４は、ビットＢｒｅｍａｉｎｄｅｒをもたらす、ｐｒｅｄＴｒＧｒｐＩｄｘに対するｔｒＧｒｐＩｄｘの予測符号化を表す例示的な決定木を示している。他の予測符号化スキームは、図２２に関して説明される例と互換性であり得る。
現在ブロックがイントラモードでコーディングされ、ニューラルネットワークベースのイントラ予測モードが、選択されたＬＦＮＳＴグループインデックスの予測ｐｒｅｄＴｒＧｒｐＩｄｘを返す場合、予測復号が実行され得る。図２５は、図２４に関して本明細書で説明されるような予測符号化と関連する例示的な予測復号を示す。
ニューラルネットワークベースのイントラ予測モードによって予測された所与のブロックについて、ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードのインデックスは、ブロックのイントラ予測を表すために、例えば、ビデオ符号化中又はビデオ復号中のいずれかの任意の時間に使用され得る。ブロックのニューラルネットワーク予測を表す通常イントラ予測モードのインデックスは、通常イントラ予測モードインデックスが、前のブロックをホストするコーディングツリーユニット（coding tree unit、ＣＴＵ）とは異なるＣＴＵ内に位置し得る別のブロックの符号化又は復号のいずれかの間に使用されるとしても、使用され得る。ブロックのニューラルネットワークベースの予測を表す通常イントラ予測モードのインデックスは、通常イントラ予測モードインデックスが、前のブロックをホストするフレームとは異なるフレーム中に位置する別のブロックの符号化又は復号のいずれかの間に使用されるとしても、使用され得る。これは、所与のルミナンスＣＢについてのＭＰＭのリストの導出のコンテキストにおいて例解され得る。ＭＰＭのリストの導出は、例えば、ソフトウェアを実行するコンピューティングシステムによって実装され得る。図２６、図２７、図２８、図２９、及び図３０は、現在ルミナンスＣＢについてのＭＰＭのリストの導出を描示しており、ニューラルネットワークベースのイントラ予測モードを含むシステムにおいて、ＭＰＭのリストが現在ルミナンスＣＢについてどのように導出され得るかを例解する。
図２６は、現在ルミナンスＣＢについてのＭＰＭのリストの例示的な導出を描示している。導出は、例えば、コンピューティングシステム上で実行されるソフトウェアを使用して実装され得る。導出は、２２個のＭＰＭの一般的リストを埋めることを含み得る。図２６において、現在ルミナンスＣＢに直接隣接するルミナンスＣＢは、イントラ内で予測されると仮定され得る。これは、現在ルミナンスＣＢがイントラフレーム内にある場合に当てはまり得る。ＭＰＭの一般的リストを埋めるとき、イントラ予測モードインデックスがインデックスｋのセルを埋めるために提案されるとき、イントラ予測モードインデックスがＭＰＭの一般的リストにまだ存在しない場合、インデックスはインデックスｋのセルに配置され得、埋めることは、インデックスｋ＋１のセルで再開し得る。そうでない場合（例えば、イントラ予測モードインデックスがＭＰＭの一般リスト中に既に存在する場合）、イントラ予測モードインデックスは無視され得、埋めることはインデックスｋのセルにおいて再開し得る。図２６を参照すると、４３００において、ＰＬＡＮＡＲＩＤＸは、ＭＰＭのリストのインデックス０のセルを埋めるように提案され得る。４３０１において、現在ルミナンスＣＢの高さがその幅よりも大きい場合、上記ＣＢと称され得る、正方形「１」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。そうでない場合、左ＣＢと称され得る、正方形「２」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４３０２において、現在ルミナンスＣＢの高さがその幅よりも大きい場合、正方形「２」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。そうでない場合、正方形「１」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４３０３において、左下ＣＢと称され得る、正方形「４」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４３０４において、右上ＣＢと称され得る、正方形「３」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４３０５において、左上ＣＢと称され得る、正方形「０」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。
４３０６において、デコーダ側イントラモード導出（decoder side intra mode derivation、ＤＩＭＤ）によって導出された第１のイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４３０７において、ＤＩＭＤによって導出された第２のイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４３０８において、ＭＰＭの現在の一般的リスト中の第２のイントラ予測モードインデックスがＰＬＡＮＡＲ＿ＩＤＸでもＤＣ＿ＩＤＸでもない場合、指向性に関してＭＰＭの現在の一般的リスト中のこの第２のイントラ予測モードの近隣である８つの方向イントラ予測モード（例えば、８つの方向イントラ予測モードの各々）のインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４３０９において、ＭＰＭの現在の一般的リスト中の第３のイントラ予測モードインデックスがＰＬＡＮＡＲ＿ＩＤＸでもＤＣ＿ＩＤＸでもない場合、指向性に関してＭＰＭの現在の一般的リスト中のこの第３のイントラ予測モードの近隣である８つの方向イントラ予測モード（例えば、８つの方向イントラ予測モードの各々）のインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４３１０において、ＭＰＭの現在の一般的リスト中の第２のイントラ予測モードインデックス又は第３のイントラ予測モードインデックスがＤＣＩＤＸに等しく、ＭＰＭの現在の一般的リスト中の第４のイントラ予測モードインデックスがＰＬＡＮＡＲ＿ＩＤＸでもＤＣ＿ＩＤＸでもない場合、指向性に関してＭＰＭの現在の一般的リスト中のこの第４のイントラ予測モードに隣接する６つの方向イントラ予測モードのインデックス（例えば、６つの方向イントラ予測モードの各々）が、ＭＰＭの一般的リストを埋めるために提案され得る。４３１１において、ＭＰＭの一般的リスト中の残りのセルは、デフォルトイントラ予測モードインデックスで埋められ得る。２２個のＭＰＭの一般的リストが埋められると、最初の６個のＭＰＭは一次ＭＰＭのリストにグループ化され得、最後の１６個のＭＰＭは二次ＭＰＭのリストに集約され得る。
図２７は、現在ブロックのニューラルネットワーク予測を表すために通常イントラ予測モードのインデックスを推測することを伴う、本明細書に説明される実装形態の図２６に描示される導出への例示的な適用を描示している。図２７は、例えば、ニューラルネットワークベースのイントラ予測モードを含むビデオコーデックにおける、現在ルミナンスＣＢについてのＭＰＭのリストの導出を伴う。導出は、例えば、ソフトウェアを実行するコンピューティングシステム上で実装され得る。図２７では、図２６と同様に、現在ルミナンスＣＢに直接隣接するルミナンスＣＢが、イントラ内で予測され得る。図２７の例示的な導出は、図２６における導出と同様に進むが、例えば、現在ルミナンスＣＢを囲み、それぞれ正方形「０」、「１」、「２」、「３」、及び「４」に重なる５つのルミナンスＣＢ（例えば、５つのルミナンスＣＢの各々）について、ＣＢを予測するために選択されたイントラ予測モードのインデックスがニューラルネットワークベースのイントラ予測モードのインデックスＮＮ＿ＩＤＸに等しい場合、インデックスは、隣接ルミナンスＣＢのニューラルネットワーク予測を表す、例えば、最もよく表す通常イントラ予測モードのインデックスｒｅｐＩｄｘによって置き換えられ得ることを除く。これらの５つのルミナンスＣＢ（例えば、５つのルミナンスＣＢの各々）について、この潜在的な置き換えは、ＭＰＭの一般的リストを埋めるために、隣接ルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスを提案する前に実行され得る。
図２８は、現在ルミナンスＣＢに直接隣接する複数のルミナンスＣＢがインター内で予測される場合の、現在ルミナンスＣＢについてのＭＰＭのリストの例示的な導出を描示している。実装形態は、例えば、ソフトウェアを実行するコンピューティングシステム上で実行され得る。図２８は、正方形「２」及び「４」にそれぞれ重なる現在ルミナンスＣＢの周りの（例えば、隣接する）ルミナンスＣＢがインター内で予測され得るが、正方形「０」、「１」、及び「３」にそれぞれ重なる現在ルミナンスＣＢの周りの（例えば、隣接する）ルミナンスＣＢがイントラ内で予測され得る例示的な事例を描示している。現在ルミナンスＣＢの幅は、その高さよりも大きくあり得る。図２８を参照すると、４４００において、ＰＬＡＮＡＲ＿ＩＤＸは、ＭＰＭのリストのインデックス０のセルを埋めるように提案され得る。４４０１において、上ＣＢと称され得る、正方形「１」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４４０２において、例えば、「ｇｅｔＩｐｍＩｎｆｏ」と称され得るコード（例えば、サブルーチン）の一部は、左ＣＢと称され得る正方形「２」に重なるルミナンスＣＢに対して動作し得る。「ｇｅｔＩｐｍＩｎｆｏ」によって返されるイントラ予測モードインデックスは、ＭＰＭの一般的リストを埋めるために提案され得る。「ｇｅｔＩｐｍＩｎｆｏ」は、復号された動きベクトルを使用して、動きを介して「ｇｅｔＩｐｍＩｎｆｏ」のルミナンスＣＢ引数にリンクされ、イントラ内で予測される最後に復号されたＣＵを過去の復号されたフレームにおいて見つけ得る。「ｇｅｔＩｐｍＩｎｆｏ」は、「ｇｅｔＩｐｍＩｎｆｏ」のルミナンスＣＢ引数を生じさせる動きベクトルの履歴を探して、イントラ内で予測される最後のＣＵを探し得る。「ｇｅｔＩｐｍＩｎｆｏ」は、見つかったＣＵのルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスを返し得る。４４０３において、右上ＣＢと称され得る、正方形「３」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４４０４において、左上ＣＢと称され得る、正方形「０」に重なるルミナンスＣＢを予測するイントラ予測モードのインデックスが、ＭＰＭの一般的リストを埋めるために提案され得る。４４０５において、「ｇｅｔＩｐｍＩｎｆｏ」は、左下ＣＢと称され得る正方形「４」に重なるルミナンスＣＢ上で呼び出され得、返されたイントラ予測モードインデックスは、ＭＰＭの一般的リストを埋めるように提案され得る。図２８の４４０６、４４０７、４４０８、４４０９、４４１０、及び４４１１における処理は、それぞれ、図２６の４３０６、４３０７、４３０８、４３０９、４３１０、及び４３１１に関連して説明されるものと一致して進み得る。
図２９は、現在ブロックのニューラルネットワーク予測を表すために通常イントラ予測モードのインデックスを推測することを伴う、本明細書に説明される実装形態の、図２８に描示された導出への適用を描示している。図２９は、ニューラルネットワークベースのイントラ予測モードを含む現在ルミナンスＣＢについてのＭＰＭのリストの導出を伴う。図２９では、例えば、図２８と同様に、それぞれ、正方形「２」及び「４」に重なる現在ルミナンスＣＢの周りの（例えば、隣接する）ルミナンスＣＢは、インター内で予測され得、それぞれ、正方形「０」、「１」、及び「３」に重なる現在ルミナンスＣＢの周りの（例えば、隣接する）ルミナンスＣＢは、イントラ内で予測され得る。現在ルミナンスＣＢの幅は、その高さよりも大きくあり得る。図２８と比較して、図２９では、第１の違いは、現在ルミナンスＣＢに隣接し、それぞれ正方形「０」、「１」、及び「３」に重複する３つのルミナンスＣＢ（例えば、３つのルミナンスＣＢの各々）について、このＣＢを予測するために選択されたイントラ予測モードのインデックスがニューラルネットワークベースのイントラ予測モードのインデックスＮＮ＿ＩＤＸに等しい場合、インデックスは、隣接ルミナンスＣＢのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスｒｅｐＩｄｘによって置き換えられ得ることであり得る。第２の違いは、現在ルミナンスＣＢに隣接し、それぞれ正方形「２」及び「４」に重なる２つのルミナンスＣＢ（例えば、２つのルミナンスＣＢの各々）について、「ｇｅｔＩｐｍＩｎｆｏ」への呼び出し中に、イントラ内で予測された最後に見つかったＣＵについて、この見つかったＣＵのルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスがニューラルネットワークベースのイントラ予測モードのインデックスＮＮ＿ＩＤＸに等しい場合、このインデックスは、見つかったＣＵのルミナンスＣＢのニューラルネットワーク予測を表す（例えば、最もよく表す）通常のイントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスｒｅｐＩｄｘによって置き換えられ得ることであり得る。
図２８及び図２９は、それぞれ、正方形「２」及び「４」と重複する現在ルミナンスＣＢの周りの（例えば、隣接する）ルミナンスＣＢがインター内で予測され、それぞれ、正方形「０」、「１」、及び「３」と重複する現在ルミナンスＣＢの周りのルミナンスＣＢがイントラ内で予測され、現在ルミナンスＣＢの幅がその高さよりも大きいとき、現在ルミナンスＣＢのためのＭＰＭのリストの導出を例解するが、例示的な導出（例えば、これらの図に描示される）は、インター及び／又はイントラ内で予測される現在ルミナンスＣＢの周りの（例えば、隣接する）異なるルミナンスＣＢを伴う他の事例に適用され得る。例えば、図３０は、現在ブロックのニューラルネットワーク予測を表すために通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスを推測することを伴う、本明細書に説明される実装形態の図２８に描示された導出に対する別の例示的な適用を描示している。図３０は、例えば、ニューラルネットワークベースのイントラ予測モードを含むビデオコーデックにおける現在ルミナンスＣＢのためのＭＰＭのリストの例示的な導出を描示している。導出は、例えば、コンピューティングシステム上で実行されるソフトウェアによって実行され得る。それぞれ、正方形「１」及び「３」と重複する現在ルミナンスＣＢの周りの（例えば、隣接する）ルミナンスＣＢは、インター内で予測され得、正方形「０」、「２」、及び「４」とそれぞれ重複する現在ルミナンスＣＢの周りのルミナンスＣＢは、イントラ内で予測され得る。現在ルミナンスＣＢの高さは、その高さよりも大きくあり得る。
図２６、図２７、図２８、図２９、及び図３０に示された原理は、現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測のインデックスを推測する代わりに、ニューラルネットワークベースのイントラ予測モードが、現在ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）ｋ個の通常イントラ予測モードのインデックスを推測し得る場合に適用され得る。
一実施例では、「ｇｅｔＩｐｍＩｎｆｏ」は、異なる動作を実行するようにプログラムされ得る。例えば、所与のビデオの符号化中に、所与の再構成されたイントラフレームに続く第１の非イントラフレームについて、所与の再構成されたイントラフレーム中のルミナンスＣＢ（例えば、各ルミナンスＣＢ）について、ルミナンスＣＢを予測するために選択されたイントラ予測モードのインデックスは、関連する動きベクトルに続く非イントラフレーム中でインター内で予測されたルミナンスＣＢに伝搬され得る。この処理は、イントラ予測モードインデックスのマップをもたらし得、非イントラフレーム内のインター内で予測されるルミナンスＣＢ（例えば、各ルミナンスＣＢ）は、その伝搬されたイントラ予測モードインデックスを所有する。このプロセスは、非イントラフレームに対して繰り返され得る。「ｇｅｔＩｐｍＩｎｆｏ」は、その偏角ルミナンスＣＢの動きベクトルを使用して、動き補償に関与するＣＵを決定し、その偏角ルミナンスＣＢの予測と、見つかったＣＵの伝搬されたイントラ予測モードインデックスとをもたらし得る。「ｇｅｔＩｐｍＩｎｆｏ」は、伝搬されたイントラ予測モードインデックスを返し得る。同様の処理が、所与のビデオの復号に適用され得る。実施例では、所与のルミナンスＣＢについて、ルミナンスＣＢのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モード（例えば、非ニューラルネットワークベースの予測モード）のインデックスｒｅｐＩｄｘによるニューラルネットワークベースのイントラ予測モードのインデックスＮＮ＿ＩＤＸの置換は、「ｇｅｔＩｐｍＩｎｆｏ」への呼び出し中に実行されない場合がある。実施例では、それは、ビデオフレームから次のビデオフレームに移動するときに、伝搬イントラ予測モードインデックスのマップの作成中に実行され得る。図３１は、ＭＰＭのリストの対応する例示的な導出を描示している。
符号化段階中に、ニューラルネットワークベースのイントラ予測モードによって予測された所与のブロックについて、ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードのインデックスが、例えば、イントラ予測工程に続くブロックの符号化中にいつでも使用され得る。ブロックの符号化中に適用されるべき変換のインデックスの暗黙的シグナリングが、選択されたイントラ予測モードのインデックスを使用する場合、推測された通常イントラ予測モードのインデックスは、ニューラルネットワークベースのイントラ予測モードのインデックスを置き換え得る。同様に、復号段階中に、ニューラルネットワークベースのイントラ予測モードによって予測された所与のブロックについて、ブロックのニューラルネットワーク予測を表す（例えば、最もよく表す）通常イントラ予測モードのインデックスが、例えば、イントラ予測工程に続くブロックの復号中にいつでも使用され得る。ブロックの復号中に適用されるべき変換のインデックスの暗黙的シグナリングが、選択されたイントラ予測モードのインデックスを使用する場合、推測された通常イントラ予測モードのインデックスは、ニューラルネットワークベースのイントラ予測モードのインデックスを置き換え得る。図３２は、そのような実装形態への図８の適応を提示する。図３２は、デコーダ側で現在ブロックのニューラルネットワーク予測を表し得る（例えば、最もよく表し得る）通常イントラ予測モード（例えば、非ニューラルネットワークベースのイントラ予測モード）のインデックスを推測する例を示している４５００。ニューラルネットワークベースのイントラ予測モードは、Ｙを囲むコンテキストＸを取り込んで（例えば、取得して）、Ｙの予測Ｙ＾及びベクトルＰを提供し得、このインデックスｉの係数は、デコーダ側で、インデックスｉの通常のイントラ予測（例えば、非ニューラルネットワークベースのイントラ予測モード）がニューラルネットワーク予測Ｙ＾を表す（例えば、最もよく表す）確率に対応し得る４５０１。ｒｅｐＩｄｘは、ａｒｇｍａｘ（Ｐ）を等しいものとし得る４５０２。実施例では、逆量子化器４５０５は、再構成された二次変換係数
のブロックを提供し得る。
は、例えば、逆二次変換を介して、再構成された一次変換係数
に変えられ得る４５０４。ニューラルネットワークベースのイントラ予測モードのインデックスＮＮ＿ＩＤＸは、ｒｅｐＩｄｘによって置き換えられ得、これは、示されるように、
に適用されるべき逆一次変換の暗黙的シグナリングを特徴付ける。逆一次変換４５０３は、
から再構成された残差
を計算し得る。したがって、
である。
図３２に提示される原理は、現在ブロックのニューラルネットワーク予測に対応する（例えば、最もよく表す）複数の通常イントラ予測モードのインデックスに適用され得る。特徴及び要素は、特定の組み合わせにおいて上で説明されているが、当業者は、各特徴又は要素が単独で又は他の特徴及び要素との任意の組み合わせで使用され得ることを理解されよう。加えて、本明細書に説明される方法は、コンピュータ又はプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアにおいて実施され得る。コンピュータ可読媒体の例には、電子信号（有線又は無線接続を介して送信される）及びコンピュータ可読記憶媒体が含まれる。コンピュータ可読記憶媒体の例としては、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスク及びリムーバブルディスクなどの磁気媒体、磁気光学媒体及びＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（digital versatile disk、ＤＶＤ）などの光学媒体が挙げられるが、これらに限定されない。ソフトウェアと関連付けられたプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ又は任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実装し得る。

Claims (27)

  1. デバイスであって、
    プロセッサを備え、前記プロセッサは、
    現在コーディングブロックについて、ニューラルネットワークベースの予測モード及びブロックコンテキストを表す情報を取得することと、
    前記ブロックコンテキスト及び前記ニューラルネットワークベースの予測モードに基づいて、前記現在コーディングブロックについてのニューラルネットワークベースの予測子を生成することと、
    前記生成されたニューラルネットワークベースの予測子に対応する非ニューラルネットワークベースのイントラ予測モードを決定することと、
    前記非ニューラルネットワークベースのイントラ予測モードに基づいて、隣接ブロックのための予測モードを決定することと、を行うように構成されている、デバイス。
  2. 前記ブロックコンテキストが、前記現在コーディングブロックに隣接するピクセルのセットを含む、請求項１に記載のデバイス。
  3. 前記現在コーディングブロックが、現在ルミナンスブロック及び現在クロミナンスブロックを含み、前記生成されたニューラルネットワークベースの予測子が、前記現在ルミナンスブロックについてのルミナンス予測子及び前記現在クロミナンスブロックについてのクロミナンス予測子を含む、請求項１に記載のデバイス。
  4. 前記非ニューラルネットワークベースのイントラ予測モードを決定することが、
    前記ブロックコンテキスト及び前記ニューラルネットワークベースの予測モードに基づいて、複数の非ニューラルネットワークベースのイントラ予測モードと関連付けられた複数の表現確率を取得することと、
    前記複数の表現確率に基づいて、前記複数の非ニューラルネットワークベースのイントラ予測モードから、前記決定された非ニューラルネットワークベースのイントラ予測モードを選択することと、を更に含む、請求項１に記載のデバイス。
  5. 第１の非ニューラルネットワークベースのイントラ予測モードと関連付けられた第１の表現確率は、前記現在ブロックに対して前記第１の非ニューラルネットワークベースのイントラ予測モードを使用することが、前記生成されたニューラルネットワークベースの予測子の表現をもたらす確率を示すように構成されており、より高い確率が、より低い確率と比較したとき、前記表現が前記生成されたニューラルネットワークベースの予測子により類似していることを示す、請求項４に記載のデバイス。
  6. 最も高い表現確率と関連付けられた非ニューラルネットワークベースのイントラ予測モードが選択される、請求項５に記載のデバイス。
  7. 前記プロセッサが、
    前記生成されたニューラルネットワークベースの予測子に対応する、前記決定された非ニューラルネットワークベースのイントラ予測モードと関連付けられたイントラ予測インデックスを取得することと、
    前記決定された非ニューラルネットワークベースのイントラ予測モードと関連付けられた前記イントラ予測インデックスを、前記隣接ブロックの最確モード（ＭＰＭ）リストに追加することと、を行うように更に構成されている、請求項１に記載のデバイス。
  8. 前記プロセッサが、
    前記非ニューラルネットワークベースのイントラ予測モードに基づいて、一次逆変換又は二次逆変換のうちの少なくとも１つを適用するように更に構成されている、請求項１に記載のデバイス。
  9. 前記プロセッサが、
    前記決定された非ニューラルネットワークベースのイントラ予測モードに基づいて、前記隣接ブロックのための最確モード（ＭＰＭ）を導出するように更に構成されている、請求項１に記載のデバイス。
  10. 前記デバイスが、符号化デバイスである、請求項１～９のいずれか一項に記載のデバイス。
  11. 前記デバイスが、復号デバイスである、請求項１～９のいずれか一項に記載のデバイス。
  12. 前記デバイスが、メモリを更に備える、請求項１～１１のいずれか一項に記載のデバイス。
  13. 前記デバイスが、ディスプレイ、アンテナ、又は帯域制限器のうちの１つ以上を更に備える、請求項１～１２のいずれか一項に記載のデバイス。
  14. 方法であって、
    現在コーディングブロックについて、ニューラルネットワークベースの予測モード及びブロックコンテキストを表す情報を取得することと、
    前記ブロックコンテキスト及び前記ニューラルネットワークベースの予測モードに基づいて、前記現在コーディングブロックについてのニューラルネットワークベースの予測子を生成することと、
    前記生成されたニューラルネットワークベースの予測子に対応する非ニューラルネットワークベースのイントラ予測モードを決定することと、
    前記非ニューラルネットワークベースのイントラ予測モードに基づいて、隣接ブロックのための予測モードを決定することと、含む、方法。
  15. 前記ブロックコンテキストが、前記現在コーディングブロックに隣接するピクセルのセットを含む、請求項１に記載の方法。
  16. 前記現在コーディングブロックが、現在ルミナンスブロック及び現在クロミナンスブロックを含み、前記生成されたニューラルネットワークベースの予測子が、前記現在ルミナンスブロックについてのルミナンス予測子及び前記現在クロミナンスブロックについてのクロミナンス予測子を含む、請求項１に記載の方法。
  17. 前記非ニューラルネットワークベースのイントラ予測モードを決定することが、
    前記ブロックコンテキスト及び前記ニューラルネットワークベースの予測モードに基づいて、複数の非ニューラルネットワークベースのイントラ予測モードと関連付けられた複数の表現確率を取得することと、
    前記複数の表現確率に基づいて、前記複数の非ニューラルネットワークベースのイントラ予測モードから、前記決定された非ニューラルネットワークベースのイントラ予測モードを選択することと、を更に含む、請求項１に記載の方法。
  18. 第１の非ニューラルネットワークベースのイントラ予測モードと関連付けられた第１の表現確率は、前記現在ブロックに対して前記第１の非ニューラルネットワークベースのイントラ予測モードを使用することが、前記生成されたニューラルネットワークベースの予測子の表現をもたらす確率を示すように構成されており、より高い確率が、より低い確率と比較したとき、前記表現が前記生成されたニューラルネットワークベースの予測子により類似していることを示す、請求項１７に記載の方法。
  19. 最も高い表現確率と関連付けられた非ニューラルネットワークベースのイントラ予測モードが選択される、請求項１８に記載の方法。
  20. 前記生成されたニューラルネットワークベースの予測子に対応する、前記決定された非ニューラルネットワークベースのイントラ予測モードと関連付けられたイントラ予測インデックスを取得することと、
    前記決定された非ニューラルネットワークベースのイントラ予測モードと関連付けられた前記イントラ予測インデックスを、前記隣接ブロックの最確モード（ＭＰＭ）リストに追加することと、を更に含む、請求項１４に記載の方法。
  21. 前記非ニューラルネットワークベースのイントラ予測モードに基づいて、一次逆変換又は二次逆変換のうちの少なくとも１つを適用することを更に含む、請求項１４に記載の方法。
  22. 前記決定された非ニューラルネットワークベースのイントラ予測モードに基づいて、前記隣接ブロックのための最確モード（ＭＰＭ）を導出することを更に含む、請求項１４に記載の方法。
  23. 前記方法が、符号化デバイスにおいて実行される、請求項１４～２２のいずれか一項に記載の方法。
  24. 前記方法が、復号デバイスにおいて実行される、請求項１４～２２のいずれか一項に記載の方法。
  25. 非一時的コンピュータ可読媒体に記憶されており、プロセッサによって実行されるときに、請求項１４～２４の少なくとも一項に記載の方法の工程を実装するためのプログラムコード命令を含む、コンピュータプログラム製品。
  26. プロセッサによって実行されるときに、請求項１４～２４のうちの少なくとも一項に記載の方法の工程を実装するためのプログラムコード命令を含む、コンピュータプログラム。
  27. 請求項１４～２４のいずれか一項に記載の方法のうちの１つに従って符号化された前記ニューラルネットワークベースの予測モードを表す情報を含む、ビットストリーム。
JP2023564532A 2021-04-28 2022-04-28 ニューラルネットワークベースのイントラ予測モードと通常イントラ予測モードとの間の相互作用 Pending JP2024516809A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
EP21305546.0 2021-04-28
EP21305546 2021-04-28
EP21305806 2021-06-11
EP21305806.8 2021-06-11
EP21306297.9 2021-09-20
EP21306297 2021-09-20
EP21306892 2021-12-21
EP21306892.7 2021-12-21
PCT/IB2022/000252 WO2022229707A1 (en) 2021-04-28 2022-04-28 Interactions between neural network-based intra prediction modes and regular intra prediction modes

Publications (1)

Publication Number Publication Date
JP2024516809A true JP2024516809A (ja) 2024-04-17

Family

ID=83847822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023564532A Pending JP2024516809A (ja) 2021-04-28 2022-04-28 ニューラルネットワークベースのイントラ予測モードと通常イントラ予測モードとの間の相互作用

Country Status (3)

Country Link
EP (1) EP4331233A1 (ja)
JP (1) JP2024516809A (ja)
WO (1) WO2022229707A1 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252410B2 (en) * 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
EP4331233A1 (en) 2024-03-06
WO2022229707A1 (en) 2022-11-03
WO2022229707A8 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
US20220377344A1 (en) Systems and methods for versatile video coding
US20220191502A1 (en) Methods and apparatus for prediction refinement for decoder side motion vector refinement with optical flow
US20220394298A1 (en) Transform coding for inter-predicted video data
US20220345701A1 (en) Intra sub-partitions related infra coding
US20220150486A1 (en) Intra sub-partitions in video coding
US20240214558A1 (en) Interactions between neural network-based intra prediction modes and regular intra prediction modes
JP2024516809A (ja) ニューラルネットワークベースのイントラ予測モードと通常イントラ予測モードとの間の相互作用
US20240196007A1 (en) Overlapped block motion compensation
WO2024133043A1 (en) Decoder side intra mode derivation with contextual adjustment of the number of derived modes
WO2024079193A1 (en) Extended angular prediction modes with decoder side refinement
WO2023118048A1 (en) Most probable mode list generation with template-based intra mode derivation and decoder-side intra mode derivation
CN117652140A (zh) 基于神经网络的帧内预测模式与常规帧内预测模式之间的交互
WO2023057487A2 (en) Transform unit partitioning for cloud gaming video coding
WO2023194193A1 (en) Sign and direction prediction in transform skip and bdpcm
WO2023046955A1 (en) Template-based syntax element prediction
WO2024133058A1 (en) Gradual decoding refresh padding
WO2023057501A1 (en) Cross-component depth-luma coding
WO2023194558A1 (en) Improved subblock-based motion vector prediction (sbtmvp)
WO2024003115A1 (en) Chroma multiple transform selection
WO2024133762A1 (en) Extension of spatial geometric prediction mode
WO2024002895A1 (en) Template matching prediction with sub-sampling
WO2024133767A1 (en) Motion compensation for video blocks
WO2023194138A1 (en) Transform index determination
WO2023194395A1 (en) Chroma direct mode
WO2024002947A1 (en) Intra template matching with flipping

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231227