JP7416490B2 - ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム - Google Patents

ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム Download PDF

Info

Publication number
JP7416490B2
JP7416490B2 JP2022561176A JP2022561176A JP7416490B2 JP 7416490 B2 JP7416490 B2 JP 7416490B2 JP 2022561176 A JP2022561176 A JP 2022561176A JP 2022561176 A JP2022561176 A JP 2022561176A JP 7416490 B2 JP7416490 B2 JP 7416490B2
Authority
JP
Japan
Prior art keywords
frame
reference frame
module
generating
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022561176A
Other languages
English (en)
Other versions
JP2023521734A (ja
Inventor
ゼチアン・リ
ビョンドゥ・チェ
ウェイ・ワン
ウェイ・ジアン
シャオジョン・シュ
シャン・リュウ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023521734A publication Critical patent/JP2023521734A/ja
Application granted granted Critical
Publication of JP7416490B2 publication Critical patent/JP7416490B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本出願は、2020年12月29日に出願された米国仮特許出願第63／131，625号及び2021年9月16日に出願された米国特許出願第17／476，928号に基づいており、それらの優先権を主張し、それらの開示はその全体が参照により本明細書に組み込まれる。
非圧縮デジタルビデオは、一連のピクチャから成ることができ、各ピクチャは、例えば1920×1080の輝度サンプル及び関連する色差サンプルの空間次元を有する。一連の画像は、例えば毎秒60ピクチャ又は60Hzの固定又は可変画像レート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、サンプルあたり8ビットの1080p60 4：2：0ビデオ（60Hzのフレームレートで1920×1080の輝度サンプル解像度）は、1．5Gbit／sに近い帯域幅を必要とする。そのようなビデオの1時間は、600GByteを超える記憶空間を必要とする。
H．264／アドバンストビデオコーディング（H．264／AVC）、高効率ビデオコーディング（HEVC）、及び多用途ビデオコーディング（VVC）などの従来のビデオコーディング規格は、同様の（再帰的）ブロックベースのハイブリッド予測／変換フレームワークを共有する。ここでは、イントラ／インター予測、整数変換、及びコンテキスト適応エントロピーコーディングなどの個々のコーディングツールは、全体的な効率を最適化するために集中的に手作りされる。
実施形態によれば、ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングの方法は、少なくとも1つのプロセッサによって実行され、入力フレームに基づいて中間フローを生成するステップと、中間フローを用いて入力フレームのバックワードワーピングを実行することによって再構成フレームを生成するステップと、入力フレーム、中間フロー、及び再構成フレームに基づいて、融合マップ及び残差マップを生成するステップと、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームに基づいて、第1のニューラルネットワークを使用して、複数のレベルを有する特徴マップを生成するステップと、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームを精緻化することによって、生成された特徴マップから整列された特徴に基づいて、予測フレームを生成するステップと、予測フレームに基づいて、最終残差を生成するステップと、現在の参照フレームに最終残差を加算することによって、出力として強調フレームを計算するステップと、を含む。
実施形態によれば、ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングのための装置は、プログラムコードを記憶するように構成された少なくとも1つのメモリと、プログラムコードを読み取り、プログラムコードによって命令されるように動作するように構成された少なくとも1つのプロセッサと、を含む。プログラムコードは、少なくとも1つのプロセッサに、入力フレームに基づいて中間フローを生成させるように構成された第1の生成コードと、少なくとも1つのプロセッサに、再構成フレームを生成するために中間フローを用いて入力フレームのバックワードワーピングを実行させるように構成された第2の生成コードと、少なくとも1つのプロセッサに、入力フレーム、中間フロー、及び再構成フレームに基づいて、融合マップ及び残差マップを生成させるように構成された融合コードと、少なくとも1つのプロセッサに、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームに基づいて、第1のニューラルネットワークを使用して、複数のレベルを有する特徴マップを生成させるように構成された第3の生成コードと、少なくとも1つのプロセッサに、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームを精緻化することによって、生成された特徴マップから整列された特徴マップに基づいて、フレームを予測させる予測コードと、少なくとも1つのプロセッサに、予測フレームに基づいて、最終残差を生成させるように構成された残差コードと、少なくとも1つのプロセッサに、最終残差を現在の参照フレームに加算することによって、出力として強調フレームを生成させるように構成された第4の生成コードと、を含む。
実施形態によれば、非一時的コンピュータ可読媒体は、ニューラル・ネットワーク・ベースのフレーム間予測を使用してビデオコーディングのために少なくとも1つのプロセッサによって実行されると、入力フレームに基づいて中間フローを生成させることと、中間フローを用いて入力フレームのバックワードワーピングを実行して、再構成フレームを生成させることと、入力フレーム、中間フロー、及び再構成フレームに基づいて、融合マップ及び残差マップを生成させることと、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームに基づいて、第1のニューラルネットワークを使用して複数のレベルを有する特徴マップを生成させることと、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームを精緻化することにより、生成された特徴マップから整列された特徴に基づいてフレームを予測させることと、予測フレームに基づいて最終残差を生成させることと、最終残差を現在の参照フレームに加算することにより、強調フレームを出力として生成させることとを、少なくとも1つのプロセッサに引き起こす、命令を記憶する。
実施形態による、本明細書に記載された方法、装置、及びシステムがその中で実現され得る環境の図である。 図1の1つ又は複数のデバイスの例示的な構成要素のブロック図である。 仮想参照ピクチャの生成及び参照ピクチャリストへの挿入の一例を示す模式図である。 実施形態による、試験段階中の仮想参照生成処理のテスト装置のブロック図である。 実施形態による、試験段階中の図4の試験装置からのオプティカルフロー推定及び中間フレーム合成モジュールの詳細なブロック図である。 実施形態による、試験段階中の図4の試験装置からの詳細強調モジュールの詳細ブロック図である。 実施形態による、試験段階中のPCD整列モジュールの詳細なブロック図である。 実施形態による、試験段階中のTSA融合モジュールの詳細なブロック図である。 別の実施形態による、試験段階中のTSA融合モジュールの詳細なブロック図である。 実施形態による、ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングの方法のフローチャートである。 実施形態による、ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングの装置のブロック図である。
本開示は、ビデオ符号化及び復号に関するディープ・ニューラル・ネットワーク（DNN）ベースのモデルを説明する。より具体的には、（DNN）ベースのモデルは、フレームの品質をさらに改善し、動き境界上のアーチファクト（例えば、ノイズ、ぼやけ、ブロック効果など）を低減するように、ビデオフレーム補間（VFI）タスク及び詳細強調モジュールとしてフレーム間予測のために、隣接する参照フレームから仮想参照データを使用及び生成する。
ビデオの符号化及び復号の1つの目的は、圧縮を介して、入力ビデオ信号内の冗長度を低減することであり得る。圧縮は、前述の帯域幅又は記憶空間要件を、場合によっては2桁以上、低減するのに役立つことができる。可逆圧縮及び非可逆圧縮の両方、並びに、これらの組合せが用いられ得る。可逆圧縮とは、圧縮された原信号から原信号の正確なコピーを再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は原信号と同一ではないことがあるが、原信号と再構成された信号との間の歪みは、再構成された信号を意図した用途に役立てるのに十分小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを許容することがある。達成可能な圧縮比は、より高い容認可能／許容可能な歪みがより高い圧縮比をもたらし得ることを反映し得る。
基本的に、時空間画素近傍は、後続する、変換、量子化、及びエントロピーコーディングのための対応する残差を得るために、予測信号構築のために活用される。一方、ディープ・ニューラル・ネットワーク（DNN）の性質は、隣接画素の受容野からの時空間情報を解析することによって、異なるレベルの時空間刺激を抽出することである。高度な非線形性及び非局所的な時空間相関を探索する能力は、圧縮品質を大幅に改善するための有望な機会を提供する。
複数の隣接するビデオフレームからの情報を活用する1つの注意点は、移動カメラ及び動的シーンによって引き起こされる複雑な動きである。従来のブロックベースの動きベクトルは、平行移動でない動きにはうまく機能しない。学習ベースのオプティカルフロー方法は、画素レベルで正確な動き情報を提供することができ、これは、特に移動物体の境界に沿って、残念ながら誤りを起こしやすい。本開示は、DNNベースのモデルを使用して、明示的な動き推定なしに、データ駆動方式で任意の複雑な動きを暗黙的に処理することを提案する。
図1は、実施形態による、本明細書に記載された方法、装置、及びシステムがその中で実現され得る環境100の図である。
図1に示されたように、環境100は、ユーザデバイス110、プラットフォーム120、及びネットワーク130を含んでもよい。環境100のデバイスは、有線接続、無線接続、又は有線接続と無線接続との組合せを介して相互接続してもよい。
ユーザデバイス110は、プラットフォーム120に関連付けられた情報を受信、生成、記憶、処理、及び／又は提供することが可能な1つ又は複数のデバイスを含む。例えば、ユーザデバイス110は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブルデバイス（例えば、一対のスマートグラス若しくはスマートウォッチ）、又は同様のデバイスを含んでもよい。いくつかの実装形態では、ユーザデバイス110は、プラットフォーム120から情報を受信し、かつ／又は情報をプラットフォームに送信してもよい。
プラットフォーム120は、本明細書の他の箇所に記載されるような1つ又は複数のデバイスを含む。いくつかの実装形態では、プラットフォーム120は、クラウドサーバ又はクラウドサーバのグループを含んでもよい。いくつかの実装形態では、プラットフォーム120は、ソフトウェア構成要素がスワップイン又はスワップアウトされ得るようにモジュール式に設計されてもよい。これにより、プラットフォーム120は、異なる用途向けに、容易かつ／又は迅速に復元され得る。
いくつかの実装形態では、図示されたように、プラットフォーム120は、クラウドコンピューティング環境122内でホストされてもよい。特に、本明細書に記載された実装形態は、クラウドコンピューティング環境122内でホストされるものとしてプラットフォーム120を記載するが、いくつかの実装形態では、プラットフォーム120は、クラウドベースでなくてもよい（すなわち、クラウドコンピューティング環境の外部に実装されてもよい）し、部分的にクラウドベースであってもよい。
クラウドコンピューティング環境122は、プラットフォーム120をホストする環境を含む。クラウドコンピューティング環境122は、プラットフォーム120をホストするシステム及び／又はデバイスの物理的な位置及び構成のエンドユーザ（例えば、ユーザデバイス110）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供することができる。図示されたように、クラウドコンピューティング環境122は、（まとめて「コンピューティングリソース124」と呼ばれ、個別に「コンピューティングリソース124」と呼ばれる）コンピューティングリソース124のグループを含んでもよい。
コンピューティングリソース124は、1つ又は複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、又は他のタイプの計算デバイス及び／若しくは通信デバイスを含む。いくつかの実装形態では、コンピューティングリソース124は、プラットフォーム120のホストすることができる。クラウドリソースは、コンピューティングリソース124内で実行される計算インスタンス、コンピューティングリソース124内で提供されるストレージデバイス、コンピューティングリソース124によって提供されるデータ転送デバイスなどを含んでもよい。いくつかの実装形態では、コンピューティングリソース124は、有線接続、無線接続、又は有線接続と無線接続との組合せを介して他のコンピューティングリソース124と通信することができる。
図1にさらに示されたように、コンピューティングリソース124は、1つ又は複数のアプリケーション（「APP」）124－1、1つ又は複数の仮想マシン（「VM」）124－2、仮想化ストレージ（「VS」）124－3、1つ又は複数のハイパーバイザ（「HYP」）124－4などのクラウドリソースのグループを含む。
アプリケーション124－1は、ユーザデバイス110及び／若しくはプラットフォーム120に提供され得る、又はユーザデバイス110及び／若しくはプラットフォーム120によってアクセスされ得る1つ又は複数のソフトウェアアプリケーションを含む。アプリケーション124－1は、ユーザデバイス110上でソフトウェアアプリケーションをインストールし実行する必要性を排除することができる。例えば、アプリケーション124－1は、プラットフォーム120に関連付けられたソフトウェア及び／又はクラウドコンピューティング環境122を介して提供されることが可能な任意の他のソフトウェアを含んでもよい。いくつかの実装形態では、1つのアプリケーション124－1は、仮想マシン124－2を介して1つ又は複数の他のアプリケーション124－1との間で情報を送受信することができる。
仮想マシン124－2は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装形態を含む。仮想マシン124－2は、仮想マシン124－2による用途及び任意の実マシンとの対応関係の程度に応じて、システム仮想マシン又は処理仮想マシンのいずれかであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「OS」）の実行をサポートする完全なシステムプラットフォームを提供することができる。処理仮想マシンは、単一のプログラムを実行することができ、単一の処理をサポートすることができる。いくつかの実装形態では、仮想マシン124－2は、ユーザ（例えば、ユーザデバイス110）の代わりに動作することができ、データ管理、同期、又は長期データ転送などのクラウドコンピューティング環境122の基盤を管理することができる。
仮想化ストレージ124－3は、コンピューティングリソース124のストレージシステム又はデバイス内で仮想化技法を使用する1つ若しくは複数のストレージシステム及び／又は1つ若しくは複数のデバイスを含む。いくつかの実装形態では、ストレージシステムに関連して、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含んでもよい。ブロック仮想化は、ストレージシステムが物理ストレージ又は異種構造に関係なくアクセスされ得るような、物理ストレージからの論理ストレージの抽象化（又は分離）を指すことができる。分離により、ストレージシステムの管理者がエンドユーザのためにストレージを管理する方法の柔軟性が可能になり得る。ファイル仮想化は、ファイルレベルでアクセスされるデータとファイルが物理的に記憶された場所との間の依存関係を排除することができる。これにより、ストレージ使用の最適化、サーバ統合、及び／又はスムーズなファイル移行の実行が可能になり得る。
ハイパーバイザ124－4は、複数のオペレーティングシステム（例えば、「ゲスト・オペレーティング・システム」）をコンピューティングリソース124などのホストコンピュータ上で同時に実行することを可能にするハードウェア仮想化技法を提供することができる。ハイパーバイザ124－4は、仮想オペレーティングプラットフォームをゲスト・オペレーティング・システムに提示することができ、ゲスト・オペレーティング・システムの実行を管理することができる。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有することができる。
ネットワーク130は、1つ又は複数の有線及び／又は無線のネットワークを含む。例えば、ネットワーク130は、セルラーネットワーク（例えば、第5世代（5G）ネットワーク、ロングタームエボリューション（LTE）ネットワーク、第3世代（3G）ネットワーク、符号分割多元接続（CDMA）ネットワークなど）、公的地域モバイルネットワーク（PLMN）、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、メトロポリタンエリアネットワーク（MAN）、電話ネットワーク（例えば、公衆交換電話網（PSTN））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、及び／又はそれら若しくは他のタイプのネットワークの組合せを含んでもよい。
図1に示すデバイス及びネットワークの数及び配置は、一例として提供されている。実際には、図1に示すものに比べて、さらなるデバイス及び／若しくはネットワーク、少ないデバイス及び／若しくはネットワーク、異なるデバイス及び／若しくはネットワーク、又は異なる配置のデバイス及び／若しくはネットワークが存在してもよい。さらに、図1に示された2つ以上のデバイスは、単一のデバイス内に実装されてもよく、又は図1に示された単一のデバイスは、複数の分散型デバイスとして実装されてもよい。追加又は代替として、環境100のデバイスのセット（例えば、1つ又は複数のデバイス）は、環境100のデバイスの別のセットによって実行されるものとして記載された1つ又は複数の機能を実行することができる。
図2は、図1の1つ又は複数のデバイスの例示的な構成要素のブロック図である。
デバイス200は、ユーザデバイス110及び／又はプラットフォーム120に対応してもよい。図2に示すように、デバイス200は、バス210、プロセッサ220、メモリ230、ストレージ構成要素240、入力構成要素250、出力構成要素260、及び通信インターフェース270を含んでもよい。
バス210は、デバイス200の構成要素間の通信を可能にする構成要素を含む。プロセッサ220は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組合せに実装される。プロセッサ220は、中央処理装置（CPU）、グラフィック処理装置（GPU）、加速処理装置（APU）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（DSP）、フィールド・プログラマブル・ゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、又は別のタイプの処理構成要素である。いくつかの実装形態では、プロセッサ220は、機能を実行するようにプログラムされることが可能な1つ又は複数のプロセッサを含む。メモリ230は、ランダム・アクセス・メモリ（RAM）、読み取り専用メモリ（ROM）、並びに／又はプロセッサ220が使用するための情報及び／若しくは命令を記憶する別のタイプの動的若しくは静的なストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、及び／若しくは光メモリ）を含む。
ストレージ構成要素240は、デバイス200の動作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば、ストレージ構成要素240は、対応するドライブと共に、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、及び／又はソリッドステートディスク）、コンパクトディスク（CD）、デジタル多用途ディスク（DVD）、フロッピー（登録商標）ディスク、カートリッジ、磁気テープ、及び／又は別のタイプの非一時的コンピュータ可読媒体を含んでもよい。
入力構成要素250は、デバイス200がユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロフォン）などを介して情報を受信することを可能にする構成要素を含む。追加又は代替として、入力構成要素250は、情報を検知するためのセンサ（例えば、全地球測位システム（GPS）構成要素、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含んでもよい。出力構成要素260は、デバイス200（例えば、ディスプレイ、スピーカ、及び／又は1つ若しくは複数の発光ダイオード（LED））からの出力情報を提供する構成要素を含む。
通信インターフェース270は、デバイス200が有線接続、無線接続、又は有線接続と無線接続との組合せなどを介して他のデバイスと通信することを可能にする、送受信機様の構成要素（例えば、送受信機並びに／又は別個の受信機及び送信機）を含む。通信インターフェース270は、デバイス200が別のデバイスから情報を受信し、かつ／又は別のデバイスに情報を提供することを可能にすることができる。例えば、通信インターフェース270は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（RF）インターフェース、ユニバーサルシリアルバス（USB）インターフェース、Wi－Fiインターフェース、セルラーネットワークインターフェースなどを含んでもよい。
デバイス200は、本明細書に記載された1つ又は複数の処理を実行することができる。デバイス200は、プロセッサ220がメモリ230及び／又はストレージ構成要素240などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令を実行することに応答して、これらの処理を実行することができる。コンピュータ可読媒体は、本明細書では非一時的メモリデバイスと定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、又は複数の物理ストレージデバイスにわたって広がるメモリ空間を含む。
ソフトウェア命令は、別のコンピュータ可読媒体から、又は通信インターフェース270を介して別のデバイスから、メモリ230及び／又はストレージ構成要素240に読み込まれてもよい。メモリ230及び／又はストレージ構成要素240に記憶されたソフトウェア命令は、実行されると、本明細書に記載された1つ又は複数の処理をプロセッサ220に実行させることができる。追加又は代替として、ハードワイヤード回路は、本明細書に記載された1つ又は複数の処理を実行するために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて使用されてもよい。このように、本明細書に記載された実装形態は、ハードウェア回路とソフトウェアとのいかなる特定の組合せにも限定されない。
図2に示された構成要素の数及び配置は、一例として提供されている。実際には、デバイス200は、図2に示す構成要素に比べて、さらなる構成要素、少ない構成要素、異なる構成要素、又は異なる配置の構成要素を含んでもよい。追加又は代替として、デバイス200の構成要素のセット（例えば、1つ又は複数の構成要素）は、デバイス200の構成要素の別のセットによって実行されるものとして記載された1つ又は複数の機能を実行することができる。
典型的なビデオ圧縮フレームワークは、以下のように説明することができる。複数の画像フレームx1、・・・、xTを含む入力ビデオxが与えられると、第1の動き推定ステップにおいて、フレームは空間ブロックに分割される。各ブロックをより小さいブロックに反復的に分割することができ、現在のフレームxtと以前の再構成されたフレームのセット
Figure 0007416490000001
 との間の動きベクトルmtのセットが、各ブロックについて計算される。下付き文字tは、現在のt番目の符号化サイクルを示し、これは画像フレームのタイムスタンプと一致しない場合があることに留意されたい。また、以前の再構成されたフレームのセット
Figure 0007416490000002
 は、複数の以前の符号化サイクルからのフレームを含む。次に、第2の動き補償ステップにおいて、動きベクトルmtに基づいて以前の再構成されたフレームのセット
Figure 0007416490000003
 の対応する画素をコピーすることによって、予測フレーム
Figure 0007416490000004
 が取得され、元のフレームxtと予測フレーム
Figure 0007416490000005
 との間の残差rtを取得することができる（すなわち、
Figure 0007416490000006
 ）。第3の動き補償ステップでは、残差rtを量子化する。量子化ステップは、量子化された
Figure 0007416490000007
 を与える。動きベクトルmt及び量子化された
Figure 0007416490000008
 の両方は、エントロピーコーディングによってビットストリームに符号化され、デコーダに送信される。次に、デコーダ側では、量子化された
Figure 0007416490000009
 が逆量子化され（通常は、逆量子化された係数を有するIDCTのような逆変換によって）、復元された残差
Figure 0007416490000010
 が得られる。次に、復元された残差
Figure 0007416490000011
 が予測フレーム
Figure 0007416490000012
 に加算されて戻され、再構成されたフレーム
Figure 0007416490000013
 が得られる（すなわち、
Figure 0007416490000014
 ）。再構成されたフレーム
Figure 0007416490000015
 の視覚的品質を改善するために、追加の構成要素がさらに使用される。通常は、非ブロッキングフィルタ（DF）、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）などを含む、強調モジュールのうちの1つ又は複数を選択して、再構成されたフレーム
Figure 0007416490000016
 を処理することができる。
HEVC、VVC又は他のビデオコーディングフレームワーク又は規格では、復号されたピクチャは、参照ピクチャリスト（RPL）に含まれてもよく、符号化若しくは復号順序で後続するピクチャをコーディングするための参照ピクチャ及び他のパラメータ予測として動き補償予測に使用されてもよく、又は、現在のピクチャの異なる領域若しくはブロックをコーディングするために、イントラ予測若しくはイントラ・ブロック・コピーに使用されてもよい。
実施形態では、1つ又は複数の仮想参照が生成され、エンコーダとデコーダの両方のRPLに含まれてもよいし、又は、デコーダのみに含まれてもよい。仮想参照ピクチャは、信号処理、空間又は時間フィルタリング、スケーリング、加重平均、アップ／ダウンサンプリング、プーリング、メモリを用いた再帰的処理、線形システム処理、非線形システム処理、ニューラルネットワーク処理、ディープ・ラーニング・ベースの処理、AI処理、事前訓練されたネットワーク処理、機械学習ベースの処理、オンライン訓練ネットワーク処理、又はそれらの組合せを含む、1つ又は複数の処理によって、生成され得る。仮想参照を生成する処理には、出力／表示順及び符号化／復号順の両方で、現在のピクチャに先行する0個以上のフォワード参照ピクチャと、出力／表示順の両方だが現在のピクチャの後にある符号化／復号順で、現在のピクチャに後続する0個以上のバックワード参照ピクチャとが、入力データとして用いられる。処理の出力は、新たな参照ピクチャとして使用される仮想／生成ピクチャである。
仮想参照ピクチャ生成のためのDNN事前訓練ネットワーク処理を、実施形態に従って説明する。図3は、仮想参照ピクチャの生成と、階層GOP構造300を含む参照ピクチャリストへの挿入、参照ピクチャリスト310、仮想参照生成処理320の例を示している。
図3に示すように、階層GOP構造300を考えると、現在のピクチャが3に等しいピクチャ順序カウント（POC）を有するとき、通常、0、2、4、又は8に等しいPOCを有する復号されたピクチャは、復号されたピクチャバッファに記憶されてもよく、それらのうちのいくつかは、現在のピクチャを復号するための参照ピクチャリストに含まれる。一例として、POCが2又は4に等しい最も近い復号ピクチャは、入力データとして仮想参照生成処理320に供給されてもよい。仮想参照ピクチャは、1つ又は複数の処理を介して生成され得る。生成された仮想参照ピクチャは、復号ピクチャバッファに記憶され、復号順序で、現在のピクチャ、又は1つ若しくは複数の将来のピクチャの参照ピクチャリスト310に含まれ得る。仮想参照ピクチャが、現在のピクチャの参照ピクチャリスト310に含まれる場合、仮想参照ピクチャが使用されることが参照インデックスによって示されるとき、仮想参照ピクチャの生成された画素データは、参照データとして動き補償予測に使用され得る。
同じ又は別の実施形態では、仮想参照生成処理全体は、1つ又は複数の事前訓練されたニューラル・ネットワーク・モデル又は任意の事前定義されたパラメータを有する、1つ又は複数のシグナリング処理モジュールを含むことができる。例えば、仮想参照生成処理320全体は、図3に示すように、フロー推定モジュール330、フロー補償モジュール340、及び詳細強調モジュール350から構成することができる。フロー推定モジュール330は、DNNモデリングを用いたオプティカル特徴フロー推定処理であってもよい。フロー補償モジュール340は、DNNモデリングを用いたオプティカルフロー補償及び粗い中間フレーム合成処理であってもよい。詳細強調モジュール350は、DNNモデリングによる強調処理であってもよい。
次に、実施形態によるビデオフレーム補間（VFI）のためのDNNモデルの方法及び装置について詳細に説明する。
図4は、実施形態による、試験段階中の仮想参照生成処理400のための試験装置のブロック図である。
図4に示すように、仮想参照生成処理400は、オプティカルフロー推定及び中間フレーム合成モジュール410と、詳細強調モジュール420とを含む。
VVCデコーダのランダムアクセス構成では、2つの参照フレームがオプティカルフロー推定及び中間フレーム合成モジュール410に供給されてフローマップを生成し、次いで、フレームの品質をさらに改善するために、フォワード／バックワード参照フレームと共に詳細強調モジュール420に供給される粗い中間フレームを生成する。DNNモジュール、オプティカルフロー推定及び中間フレーム合成モジュール410、並びに、詳細強調モジュール420は、参照フレーム生成処理を実行するために使用され、より詳細な説明は、それぞれ図5及び図6を参照して後で詳述される。
予測構造及び／又は符号化構成に応じて、2つ以上の異なるモデルを選択的に訓練及び使用することができる。ランダムアクセス構成では、動き補償予測のためにフォワード及びバックワード予測参照ピクチャの両方を有する階層予測構造を使用することができ、出力（又は表示）順序で現在のピクチャに先行する1つ又は複数のフォワード参照ピクチャ、及び、出力（又は表示）順序で現在のピクチャに後続する1つ又は複数のバックワード参照ピクチャが、ネットワークの入力である。動き補償予測のためだけのフォワード予測参照ピクチャを有し得る低遅延構成では、2つ以上の順方向参照ピクチャがネットワークの入力である。各構成について、1つ又は複数の異なるネットワークモデルを選択し、インター予測に使用することができる。
ネットワーク推論が処理される前に1つ又は複数の参照ピクチャリスト（RPL）が構築されると、ネットワーク推論の入力として使用され得る適切な参照ピクチャの存在が、エンコーダとデコーダの両方でチェックされる。現在のピクチャからフォワード参照ピクチャのPOC距離と同じPOC距離を有するバックワード参照ピクチャが存在する場合、ランダムアクセス構成のための訓練されたモデルが、ネットワーク推論において、選択され使用されて、中間（仮想）参照ピクチャを生成することができる。適切なバックワード参照ピクチャが存在しない場合、一方が他方の2倍のPOC距離を有する2つのフォワード参照ピクチャが、ネットワーク推論において、選択され使用され得る。
インター予測のためのネットワークモデルが明示的に符号化構成を使用するとき、パラメータセット又はヘッダなどの高レベルなシンタックス構造内の1つ又は複数のシンタックス要素は、現在のシーケンス、ピクチャ、又はスライスにどのモデルが使用されるかを示すことができる。一実施形態では、現在のコーディングされたビデオシーケンス内のすべての利用可能なネットワークモデルがシーケンス・パラメータ・セット（SPS）にリストされ、各コーディングされたピクチャ又はスライスに対して選択されたモデルは、ピクチャ・パラメータ・セット（PPS）又はピクチャ／スライスヘッダ内の1つ又は複数のシンタックス要素によって示される。
ネットワークトポロジ及びパラメータは、VVC、HEVC、又はAV1などのビデオコーディング規格の仕様文書で明示的に指定されてもよい。この場合、予め定義されたネットワークモデルは、コーディングされたビデオシーケンス全体に使用され得る。本明細書において2つ以上のネットワークモデルが定義されている場合、それらのうちの1つ又は複数は、コーディングされたビデオシーケンス、コーディングされたピクチャ又はスライス毎に選択され得る。
カスタマイズされたネットワークが、コーディングされたビデオシーケンス、ピクチャ、又はスライス毎に使用される場合、ネットワークトポロジ及びパラメータは、エレメンタリビットストリーム内のパラメータセット又はSEIメッセージなどの高レベルなシンタックス構造で、又はファイルフォーマット内のメタデータトラックで、明示的にシグナリングされてもよい。一実施形態では、ネットワークトポロジ及びパラメータを有する1つ又は複数のネットワークモデルが、1つ又は複数のSEIメッセージで指定され、それらのSEIメッセージは、異なる活性化スコープを有するコーディングされたビデオシーケンスに挿入され得る。さらに、コーディングビデオビットストリーム内の以下のSEIメッセージは、以前に活性化されたSEIメッセージを更新することができる。
図5は、実施形態による、試験段階中のオプティカルフロー推定及び中間フレーム合成モジュール410の詳細なブロック図である。
図5に示すように、オプティカルフロー推定及び中間フレーム合成モジュール410は、フロー推定モジュール510と、バックワード・ワーピング・モジュール520と、融合処理モジュール530とを含む。
合成されることが期待されるフレームItの観点から中間フロー｛F0－＞t、F1－＞t｝を近似するフロー推定モジュール510への入力として、2つの参照フレーム｛I0、I1｝が使用される。フロー推定モジュール510は、解像度を漸進的に増加させる粗から細への戦略を採用し、これは、フローフィールドを反復的に更新する。概念的には、反復的に更新されたフローフィールドに従って、対応する画素が2つの入力フレームから潜在的な中間フレーム内の同じ位置に移動される。
推定された中間フロー｛F0－＞t、F1－＞t｝を用いて、バックワード・ワーピング・モジュール520は、入力フレーム｛I0、I1｝に対してバックワードワーピングを実行することによって、粗い再構成フレーム又はワーピングされたフレーム｛I0－＞t、I1－＞t｝を生成する。潜在的な中間フレームの画素を入力フレーム｛I0、I1｝に、逆マッピングしてサンプリングすることによって、フレームのバックワードワーピングが実行され、ワーピングされたフレーム｛I0－＞t、I1－＞t｝を生成することができる。融合処理モジュール530は、入力フレーム｛I0、I1｝、ワープフレーム｛I0－＞t、I1－＞t｝、及び、推定中間フロー｛F0－＞t、F1－＞t｝を、入力とする。融合処理モジュール530は、別の残差マップと共に、融合マップを推定する。融合マップ及び残差マップは、入力における特徴変動をマッピングする推定マップである。次に、ワープフレームは、融合結果に従って線形結合され、残差マップと加算されて再構成を行い、中間フレームを得る（図5では参照フレームItと呼ばれる）。
図6は、実施形態に係る、試験段階中の詳細強調モジュール420の詳細ブロック図である。
図6に示されるように、詳細強調モジュール420は、PCD整列モジュール610と、TSA融合モジュール620と、再構成モジュール630とを含む。
参照フレームItは、他のすべてのフレームが、使用される2つの参照フレーム｛It－1，It＋1｝を、一緒に入力として整列されることになる参照であると仮定すると、PCD（ピラミッド、カスケード及び変形可能な畳み込み）整列モジュール610は、参照フレーム（It－1，It，It＋1）の特徴を、整列された特徴Ft－alignedとして精緻化する。整列された特徴Ft－alignedを使用して、TSA（時空間注目）融合モジュール620は、その後の復元のために重要な特徴を強調するために注目を適用するために特徴マップの重みを提供し、予測フレームIpを出力する。PCD整列モジュール610及びTSA融合モジュール620のより詳細な説明は、それぞれ図7及び図8を参照して後で詳述する。
次に、再構成モジュールは、予測フレームIpに基づいて参照フレームItの最終残差をフォーマットする。最後に、加算モジュール640は、フォーマットされた最終残差を参照フレームItに加算して、詳細強調モジュール420の最終出力として強調フレームIt－enhancedを得る。
図7は、実施形態に係る、試験段階中の詳細強調モジュール420内のPCD整列モジュール610の詳細なブロック図である。同じ名称及び番号付け規則を有する図7のモジュールは、同じであってもよく、又は記載された機能（例えば、変形可能畳み込みモジュール730）を実行する複数のモジュールのうちの1つであってもよい。
図7に示すように、PCD整列モジュール610は、特徴抽出モジュール710と、オフセット生成モジュール720と、変形可能畳み込みモジュール730とを含む。PCD整列モジュール610は、フレーム間の整列された特徴Ft－alignedを計算する。
まず、｛I0，I1．．．It，It＋1．．．｝内の各参照フレームを入力として使用して、特徴抽出モジュール710は、フォワード推論による特徴抽出DNNを使用することによって、3つの異なるレベルを有する特徴マップ｛F0，F1．．．Ft，Ft＋1．．．｝を計算する。異なるレベルは、異なるレベルの空間／時間情報の取り込み用の特徴補償のために、異なる解像度を有する。例えば、シーケンス内のより大きな動きにより、より小さい特徴マップは、より大きなそれぞれのフィールドを有することができ、様々なオブジェクトオフセットを処理することができる。
異なるレベルの特徴マップを用いて、オフセット生成モジュール720は、特徴マップ｛Ft、Ft＋1｝を連結し、次いで連結された特徴マップをオフセット生成DNNに渡すことによって、オフセットマップ△Pを計算する。そして、変形可能畳み込みモジュール730は、時間的に変形可能な畳み込み（TDC）演算を用いて、元の位置Poriginal（すなわち、△P＋Poriginal）にオフセットマップ△Pを加算することにより、DNN畳み込みカーネルPnewの新たな位置を計算する。参照フレームItは、｛I0，I1．．．It，It＋1．．．｝内の任意のフレームとすることができることに留意されたい。一般性を失うことなく、フレームは、それらのタイムスタンプに基づいて、アクセント順にランク付けされ得る。一実施形態では、現在の目標が現在の再構成されたフレーム
Figure 0007416490000017
 を強調することである場合、参照フレームItが中間フレームとして使用される。
新たな位置Pnewは、不規則な位置であってもよいし、整数でなくてもよいので、補間（例えば、バイリニア補間）を用いてTDC演算を行うことができる。変形可能畳み込みモジュール730において変形可能畳み込みカーネルを適用することにより、レベルの特徴マップ及び対応する生成されたオフセットに基づいて、異なるレベルからの補償特徴を生成することができる。次に、変形可能な畳み込みカーネルを適用して、オフセットマップ△P及び1つ又は複数の補償特徴に基づいて、より上位レベルの補償特徴にアップサンプリング及び加算することによって、最上位レベルの整列された特徴Ft－aligned特徴を取得することができる。
図8は、実施形態に係る、試験段階中の詳細強調モジュール420内のTSA融合モジュール620の詳細ブロック図である。
図8に示すように、TSA融合モジュール620は、活性化モジュール810と、要素毎の乗算モジュール820と、融合畳み込みモジュール830と、フレーム再構成モジュール840と、フレーム合成モジュール850とを含む。TSA融合モジュール620は、時空間注目を使用する。時間注目の目的は、埋め込み空間内のフレーム類似性を計算することである。直感的に、埋め込み空間では、参照フレームにより類似する隣接フレームに、より注意を払うべきである。特徴マップ｛Ft－1、Ft＋1｝及び中央フレームの整列された特徴Ft－aligned特徴が入力として与えられると、活性化モジュール810は、シグモイド活性化関数を使用して、時間注目マップ｛F’t－1，F’t，F’t＋1｝を活性化モジュール810の出力として取得するための単純な畳み込みフィルタとして入力を［0，1］に制限する。各空間位置について、時間注目は空間固有であることに留意されたい。
次に、要素毎の乗算モジュール820は、整列された特徴Ft－alignedで、時間注目マップ｛F’t－1，F’t，F’t＋1｝を、画素毎に乗算する。追加の融合畳み込み層が、融合畳み込みモジュール830において採用され、集約された注目変調特徴Ft－aligned－TSAが得られる。時間注目マップ｛F’t－1，F’t，F’t＋1｝及び注目変調された特徴Ft－aligned－TSAを使用して、フレーム再構成モジュール840は、整フィードフォワード推論計算を介して、フレーム再構成DNNを使用して、整列されたフレームIt－alignedを生成する。そして、整列されたフレームIt－alignedは、フレーム合成モジュール850を通過し、合成された予測フレームIpを最終出力として生成する。
図9は、別の例示的な実施形態による、試験段階中の詳細強調モジュール420内のTSA融合モジュール620の詳細なブロック図である。同じ名称及び番号付け規則を有する図9のモジュールは、同じであってもよく、又は記載された機能を実行する複数のモジュールのうちの1つであってもよい。
図9に示すように、本実施形態によるTSA融合モジュール620は、活性化モジュール910と、要素毎の乗算モジュール920と、融合畳み込みモジュール930と、ダウンサンプリング畳み込み（DSC）モジュール940と、アップサンプリング及び加算モジュール950と、フレーム再構成モジュール960と、フレーム合成モジュール970とを含む。図8の実施形態と同様に、TSA融合モジュール620は、時空間注目を使用する。特徴マップ｛Ft－1、Ft＋1｝及び中央フレームの整列された特徴Ft－alignedが入力として与えられると、活性化モジュール910は、シグモイド活性化関数を使用して、時間注目マップ｛Mt－1、Mt、Mt＋1｝を活性化モジュール910の出力として取得するための単純な畳み込みフィルタとして、入力を［0，1］に制限する。
次に、要素毎の乗算モジュール920は、整列された特徴Ft－alignedを用いて、時間注目マップ｛Mt－1、Mt、Mt＋1｝を、画素毎に乗算する。融合畳み込みモジュール930において、融合特徴Ffusedを生成するために、積に対して、融合畳み込みが実行される。融合特徴Ffusedは、DSCモジュール940によってサンプリングされ、畳み込まれる。図9に示すように、別の畳み込み層を採用し、DSCモジュール940によって処理することができる。DSCモジュール940の各層からの出力は、アップサンプリング及び加算モジュール950に入力される。図9に示すように、アップサンプリング及び加算の追加の層は、追加の層への入力として融合特徴Ffusedと共に適用される。アップサンプリング及び加算モジュール950は、融合注目マップMt－fusedを生成する。要素毎の乗算モジュール920は、融合注目マップMt－fusedを、画素毎に融合特徴Ffusedと乗算して、TSA整列された特徴Ft－TSAを生成する。時間注目マップ｛Mt－1、Mt、Mt＋1｝及びTSA整列された特徴Ft－TSAを使用して、フレーム再構成モジュール960は、フィードフォワード推論計算を介してフレーム再構成DNNを使用して、TSA整列されたフレームIt－TSAを生成する。そして、整列されたフレームIt－TSAをフレーム合成モジュール970に通し、合成予測フレームIpを最終出力として生成する。
図10は、実施形態による、ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングの方法1000のフローチャートである。
いくつかの実装形態では、図10の1つ又は複数の処理ブロックは、プラットフォーム120によって実行されてもよい。いくつかの実装形態では、図10の1つ又は複数の処理ブロックは、ユーザデバイス110などのプラットフォーム120とは別個の又はプラットフォームを含む別のデバイス又はデバイスのグループによって実行されてもよい。
図10に示すように、動作1001において、方法1000は、入力フレームに基づいて中間フローを生成するステップを含む。中間フローはさらに反復的に更新され、対応する画素は潜在的な中間フレーム内の2つの入力フレームから同じ位置に移動され得る。
動作1002において、方法1000は、中間フローを用いて入力フレームのバックワードワーピングを実行することによって再構成フレームを生成するステップを含む。
動作1003において、方法1000は、入力フレーム、中間フロー、及び再構成フレームに基づいて、融合マップ及び残差マップを生成するステップを含む。
動作1004において、方法1000は、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームに基づいて、第1のニューラルネットワークを使用して、複数のレベルを有する特徴マップを生成するステップを含む。現在の参照フレームは、融合マップに従って再構成フレームを線形結合し、結合された再構成フレームを残差マップと加算することによって、生成することができる。さらに、第1の参照フレームは、出力順序において現在の参照フレームに先行する参照フレームであってもよく、第2の参照フレームは、出力順序において現在の参照フレームに後続する参照フレームであってもよい。
動作1005において、方法1000は、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームを精緻化することによって、生成された特徴マップから整列された特徴に基づいて、予測フレームを生成するステップを含む。具体的には、予測フレームは、まず、畳み込みを実行して注目マップを取得し、注目マップ及び整列された特徴に基づいて注目特徴を生成し、注目マップ及び注目特徴に基づいて整列されたフレームを生成し、次いで、整列されたフレームを合成して予測フレームを取得することによって生成され得る。
整列された特徴は、動作1004で生成された特徴マップの複数のレベルのオフセットを計算し、変形可能な畳み込みを実行して複数のレベルの補償特徴を生成することによって生成され得る。次いで、整列された特徴は、オフセット及び生成された補償特徴のうちの少なくとも1つに基づいて生成され得る。
動作1006において、方法1000は、予測フレームに基づいて最終残差を生成するステップを含む。動作1004で生成された特徴マップの重みも生成され得、後続の最終残差の生成のための重要な特徴を強調することができる。
動作1007において、方法1000は、現在の参照フレームに最終残差を加算することによって、出力として強調フレームを計算するステップを含む。
図10は、本方法の例示的なブロックを示しているが、いくつかの実装形態では、本方法は、図10に示されているものよりも追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含んでもよい。追加的又は代替的に、本方法のブロックのうちの2つ以上が並列に実行されてもよい。
図11は、実施形態による、ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングの装置1100のブロック図である。
図11に示すように、装置は、第1の生成コード1101と、第2の生成コード1102と、構成された融合コード1103と、第3の生成コード1104と、予測コード1105と、残差コード1106と、第4の生成コード1107とを含む。
第1の生成コード1101は、少なくとも1つのプロセッサに、入力フレームに基づいて中間フローを生成させるよう構成される。
第2の生成コード1102は、少なくとも1つのプロセッサに、再構成フレームを生成するために中間フローを用いて入力フレームのバックワードワーピングを実行させるように構成される。
構成された融合コード1103は、少なくとも1つのプロセッサに、入力フレーム、中間フロー、及び再構成フレームに基づいて、融合マップ及び残差マップを生成させるように構成される。
第3の生成コード1104は、少なくとも1つのプロセッサに、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームに基づいて、第1のニューラルネットワークを用いて、複数のレベルを有する特徴マップを生成させるように構成されている。
予測コード1105は、少なくとも1つのプロセッサに、現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームを精緻化することによって、生成された特徴マップから整列された特徴に基づいて、フレームを予測させるように構成される。
残差コード1106は、少なくとも1つのプロセッサに、予測フレームに基づいて、最終残差を生成させるように構成される。
第4の生成コード1107は、少なくとも1つのプロセッサに、現在の参照フレームに最終残差を加算することによって、出力として強調フレームを生成させるように構成されている。
図11は装置の例示的なブロックを示しているが、いくつかの実装形態では、装置は、図11に示されたものよりも追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含んでもよい。追加又は代替として、本装置のブロックのうちの2つ以上が並行して実行されてもよい。
本装置は、少なくとも1つのプロセッサに、中間フローを反復的に更新させ、対応する画素を2つの入力フレームから潜在中間フレーム内の同じ位置に移動させるように構成された、更新コードと、少なくとも1つのプロセッサに、融合マップに従って再構成フレームを線形結合し、結合された再構成フレームを残差マップと加算することによって、現在の参照フレームを生成させるように構成された、参照フレームコードと、少なくとも1つのプロセッサに、特徴マップの重みを決定させるように構成された、決定コードであって、重みは、後続の最終残差を生成するための重要な特徴を強調する、決定コードと、少なくとも1つのプロセッサに、複数のレベルのオフセットを計算させるように構成された、計算コードと、少なくとも1つのプロセッサに、複数のレベルの補償特徴を生成させるために、変形可能な畳み込みを実行させるように構成された、補償特徴生成コードと、少なくとも1つのプロセッサに、オフセット、及び少なくとも1つの生成された補償特徴に基づいて、整列された特徴を生成するように構成された、整列された特徴生成コードと、少なくとも1つのプロセッサに、注目マップを取得するために、畳み込みを実行させるように構成された、実行コードと、少なくとも1つのプロセッサに、注目マップ及び整列された特徴に基づいて、注目特徴を生成させるように構成された、注目特徴生成コードと、少なくとも1つのプロセッサに、第2のニューラルネットワークを使用して、注目マップ及び注目特徴に基づいて、整列されたフレームを生成させるように構成された、整列されたフレーム生成コードと、少なくとも1つのプロセッサに、整列されたフレームを合成し、予測フレームを取得させるように構成された、合成コードと、をさらに含む。
従来のフレーム間生成手法と比較して、提案された方法は、ビデオコーディングにおいてDNNベースのネットワークを実行する。複雑な動きを処理できないか、又は誤りを起こしやすい、明示的な動きベクトル又は動きフローを計算する代わりに、提案された方法は、参照画像リスト（RPL）からデータを直接取得して、仮想参照フレームを生成する。次に、強調された変形可能畳み込み（DCN）が適用されて、画素のオフセットを取り込み、より詳細な強調のために大きな複雑な動きを暗黙的に補償する。最後に、DNNモデルによって高品質な強調フレームが再構成される。
提案された方法は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、本方法（又は実施形態）の各々は、処理回路（例えば、1つ若しくは複数のプロセッサ、又は1つ若しくは複数の集積回路）によって実装されてよい。一例では、1つ又は複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。
本開示は、例示及び説明を提供するが、網羅的であること、又は実装形態を開示された正確な形態に限定すること、を意図するものではない。修正形態及び変形形態は、現開示に照らして実現可能であり、又は実装形態の実践から取得されてもよい。
本明細書で使用される場合、構成要素という用語は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組合せとして広く解釈されることを意図されている。
本明細書に記載のシステム及び／又は方法は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組合せの異なる形態で実装されてもよいことは明らかであろう。これらのシステム及び／又は方法を実装するために使用される実際の専用の制御ハードウェア又はソフトウェアコードは、実装形態を限定するものではない。したがって、システム及び／又は方法の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェア及びハードウェアは、本明細書の記載に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。
特徴の組合せが特許請求の範囲に列挙され、及び／又は本明細書に開示されているが、これらの組合せは、可能な実装形態の開示を限定するものではない。実際には、これらの特徴の多くは、特許請求の範囲に具体的に列挙されていない、及び／又は本明細書に開示されていない方法で組み合わされてもよい。以下に列挙される各従属請求項は1つの請求項のみに直接従属してもよいが、可能な実装形態の開示は、各従属請求項を請求項セット内のあらゆる他の請求項と組み合わせて含む。
本明細書で使用される要素、行為、又は指示は、明示的にそのように記載されていない限り、重要又は必須であると解釈されなくてもよい。また、本明細書で使用される冠詞「a」及び「an」は、1つ又は複数の項目を含むものであり、「1つ又は複数」と同じ意味で使用されてもよい。さらに、本明細書で使用される「セット」という用語は、1つ又は複数の項目（例えば、関連項目、非関連項目、関連項目と非関連項目の組合せなど）を含むものであり、「1つ又は複数」と同じ意味で使用されてもよい。1つの項目のみが対象とされる場合、「1つ」という用語又は同様の言葉が使用される。また、本明細書で使用される「有する（has）」、「有する（have）」、「有する（having）」などの用語は、オープンエンド用語であることが意図される。さらに、「に基づいて」という語句は、特に明記されない限り、「に少なくとも部分的に基づいて」を意味するものである。
100 環境
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124－1 アプリケーション
124－2 仮想マシン
124－3 仮想化ストレージ
124－4 ハイパーバイザ
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 ストレージ構成要素
250 入力構成要素
260 出力構成要素
270 通信インターフェース
300 階層GOP構造
310 参照ピクチャリスト
320 仮想参照生成処理
330 フロー推定モジュール
340 フロー補償モジュール
350 詳細強調モジュール
400 仮想参照生成処理
410 オプティカルフロー推定及び中間フレーム合成モジュール
420 詳細強調モジュール
510 フロー推定モジュール
520 バックワード・ワーピング・モジュール
530 融合処理モジュール
610 PCD整列モジュール
620 TSA融合モジュール
630 再構成モジュール
640 加算モジュール
710 特徴抽出モジュール
720 オフセット生成モジュール
730 変形可能畳み込みモジュール
810 活性化モジュール
820 要素毎の乗算モジュール
830 融合畳み込みモジュール
840 フレーム再構成モジュール
850 フレーム合成モジュール
910 活性化モジュール
920 要素毎の乗算モジュール
930 融合畳み込みモジュール
940 ダウンサンプリング畳み込み（DSC）モジュール
950 アップサンプリング及び加算モジュール
960 フレーム再構成モジュール
970 フレーム合成モジュール
1000 方法
1001～1007 動作
1100 装置
1101 第1の生成コード
1102 第2の生成コード
1103 融合コード
1104 第3の生成コード
1105 予測コード
1106 残差コード
1107 第4の生成コード

Claims (9)

  1. ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングの方法であって、前記方法は、少なくとも1つのプロセッサによって実行され、
    入力フレームに基づいて、中間フローを生成するステップと、
    前記中間フローを用いて前記入力フレームのバックワードワーピングを実行することによって、再構成フレームを生成するステップと、
    前記入力フレーム、前記中間フロー、及び前記再構成フレームに基づいて、融合マップ及び残差マップを生成するステップと、
    現在の参照フレーム、第1の参照フレーム、及び第2の参照フレームに基づいて、第1のニューラルネットワークを使用して複数のレベルを有する特徴マップを生成するステップと、
    前記現在の参照フレーム、前記第1の参照フレーム、及び前記第2の参照フレームを精緻化することにより、前記生成された特徴マップから整列された特徴に基づいて、予測フレームを生成するステップと、
    前記予測フレームに基づいて、最終残差を生成するステップと、
    前記最終残差を前記現在の参照フレームに加算することによって、出力として強調フレームを計算するステップと、
    を備える方法。
  2. 前記中間フローが反復的に更新され、対応する画素が、2つの入力フレームから潜在的な中間フレーム内の同じ位置に移動される、請求項1に記載の方法。
  3. 前記融合マップに従って前記再構成フレームを線形結合し、前記結合された再構成フレームを前記残差マップと加算することによって、前記現在の参照フレームを生成するステップ、をさらに備える、請求項1または2に記載の方法。
  4. 前記第1の参照フレームは、出力順序において前記現在の参照フレームに先行する参照フレームであり、前記第2の参照フレームは、前記出力順序において前記現在の参照フレームに後続する参照フレームである、請求項1から3のいずれか一項に記載の方法。
  5. 前記特徴マップ内の特徴の重みを決定することをさらに備え、前記重みは、後続の最終残差を生成するための特徴のサブセットを強調する、請求項1から4のいずれか一項に記載の方法。
  6. 前記複数のレベルのオフセットを計算するステップと、
    前記複数のレベルの補償特徴を生成するために、変形可能な畳み込みを実行するステップと、
    前記オフセットと前記生成された補償特徴のうちの少なくとも1つとに基づいて、前記整列された特徴を生成するステップと、
    をさらに備える、請求項1から5のいずれか一項に記載の方法。
  7. 融合注目マップを取得するために、畳み込みを実行するステップと、
    前記注目マップ及び前記整列された特徴に基づいて、注目特徴を生成するステップと、
    第2のニューラルネットワークを使用して、前記注目マップ及び前記注目特徴に基づいて、整列されたフレームを生成するステップと、
    前記予測フレームを取得するために、前記整列されたフレームを合成するステップと、
    をさらに備える、請求項1から6のいずれか一項に記載の方法。
  8. ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングのための装置であって、
    プログラムコードを記憶するように構成された少なくとも1つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードによって命令される通りに動作するように構成された少なくとも1つのプロセッサと、
    を備え、
    前記プログラムコードは、前記プロセッサにより実行されると、請求項1から7のいずれか一項に記載の方法を実施するように構成されている、装置。
  9. コンピュータプログラムであって、ニューラル・ネットワーク・ベースのフレーム間予測を使用するビデオコーディングのために、少なくとも1つのプロセッサによって実行されると、請求項1から7のいずれか一項に記載の方法を実施するように構成されている、コンピュータプログラム。
JP2022561176A 2020-12-29 2021-09-24 ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム Active JP7416490B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063131625P 2020-12-29 2020-12-29
US63/131,625 2020-12-29
US17/476,928 US11490078B2 (en) 2020-12-29 2021-09-16 Method and apparatus for deep neural network based inter-frame prediction in video coding
US17/476,928 2021-09-16
PCT/US2021/051961 WO2022146509A1 (en) 2020-12-29 2021-09-24 Method and apparatus for deep neural network based inter-frame prediction in video coding

Publications (2)

Publication Number Publication Date
JP2023521734A JP2023521734A (ja) 2023-05-25
JP7416490B2 true JP7416490B2 (ja) 2024-01-17

Family

ID=82118047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022561176A Active JP7416490B2 (ja) 2020-12-29 2021-09-24 ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム

Country Status (6)

Country Link
US (2) US11490078B2 (ja)
EP (1) EP4107628A4 (ja)
JP (1) JP7416490B2 (ja)
KR (1) KR20220162786A (ja)
CN (1) CN115486068A (ja)
WO (1) WO2022146509A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240054664A1 (en) * 2022-08-12 2024-02-15 Meta Platforms, Inc. Video Reconstruction from Videos with Ultra-low Frame-per-second
CN115941872B (zh) * 2023-02-08 2023-06-16 吉林大学 一种水下高速移动目标的视频插帧方法及其系统
CN115883424B (zh) * 2023-02-20 2023-05-23 齐鲁工业大学(山东省科学院) 一种高速骨干网间流量数据预测方法及系统
CN117034982B (zh) * 2023-10-10 2023-12-29 成都新西旺自动化科技有限公司 一种具有自动修复功能的二维码识别方法和装置
CN117830874B (zh) * 2024-03-05 2024-05-07 成都理工大学 一种多尺度模糊边界条件下的遥感目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464815A (zh) 2020-04-17 2020-07-28 中国科学技术大学 一种基于神经网络的视频编码方法及系统
CN113132729A (zh) 2020-01-15 2021-07-16 北京大学 一种基于多参考帧的环路滤波方法及电子装置
JP2023504418A (ja) 2020-09-24 2023-02-03 テンセント・アメリカ・エルエルシー ビデオコーディングに関して仮想参照ピクチャを用いたインターピクチャ予測のための方法及び機器
JP2023517846A (ja) 2020-03-03 2023-04-27 クゥアルコム・インコーポレイテッド 再帰ベースの機械学習システムを使用したビデオ圧縮

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180918B2 (en) 2003-03-07 2012-05-15 Tria Network Systems, LLC Multiplexing and congestion control
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US20060215934A1 (en) 2005-03-25 2006-09-28 Yissum Research Development Co of the Hebrew University of Jerusalem Israeli Co Online registration of dynamic scenes using video extrapolation
JP4862930B2 (ja) 2009-09-04 2012-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR102124714B1 (ko) 2015-09-03 2020-06-19 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치
US10841577B2 (en) * 2018-02-08 2020-11-17 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132729A (zh) 2020-01-15 2021-07-16 北京大学 一种基于多参考帧的环路滤波方法及电子装置
JP2023517846A (ja) 2020-03-03 2023-04-27 クゥアルコム・インコーポレイテッド 再帰ベースの機械学習システムを使用したビデオ圧縮
CN111464815A (zh) 2020-04-17 2020-07-28 中国科学技术大学 一种基于神经网络的视频编码方法及系统
JP2023504418A (ja) 2020-09-24 2023-02-03 テンセント・アメリカ・エルエルシー ビデオコーディングに関して仮想参照ピクチャを用いたインターピクチャ予測のための方法及び機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Byeongdoo Choi et al.，AHG11: Information on inter-prediction coding tool with deep neural network，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29 20th Meeting, by teleconference, 7 - 16 Oct. 2020，JVET-T0058-v3，2020年10月08日，pp.1-3
Zeqiang Li et al.，AHG11: Updated information on inter-prediction coding tool with deep neural network，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29 21st Meeting, by teleconference, 6-15 Jan. 2021，JVET-U0087，2020年12月30日，pp.1-4

Also Published As

Publication number Publication date
WO2022146509A1 (en) 2022-07-07
US20230007240A1 (en) 2023-01-05
CN115486068A (zh) 2022-12-16
US11490078B2 (en) 2022-11-01
EP4107628A1 (en) 2022-12-28
JP2023521734A (ja) 2023-05-25
US20220210402A1 (en) 2022-06-30
KR20220162786A (ko) 2022-12-08
EP4107628A4 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
JP7416490B2 (ja) ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム
JP7335315B2 (ja) 画像予測方法および関連装置
CN112889269B (zh) 视频解码方法及装置
JP7313816B2 (ja) 画像予測方法および関連装置
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
US11689713B2 (en) Predicted frame generation by deformable convolution for video coding
CN112789851B (zh) 视频解码方法、装置、电子设备及可读存储介质
JPWO2012131895A1 (ja) 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
CN113301333A (zh) 视频解码的方法和装置
KR101883265B1 (ko) 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
JP2023506057A (ja) イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置、およびコンピュータプログラム
JP7411113B2 (ja) 品質入力を有するループフィルタのためのマスクされたニューラルネットワークによるモデル共有
JP7449402B2 (ja) ビデオコーディングのための方法および装置
US11900640B2 (en) Method and apparatus for substitutional neural residual compression
WO2014156647A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
US11750847B2 (en) Quality-adaptive neural network-based loop filter with smooth quality control by meta-learning
US20220383554A1 (en) Substitutional quality factor learning for quality-adaptive neural network-based loop filter
US20160227246A1 (en) Video encoding apparatus and method, and video decoding apparatus and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231222

R150 Certificate of patent or registration of utility model

Ref document number: 7416490

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150