JP7345654B2 - ビデオコーディングのための変形可能な畳み込みによる予測フレーム生成 - Google Patents

ビデオコーディングのための変形可能な畳み込みによる予測フレーム生成 Download PDF

Info

Publication number
JP7345654B2
JP7345654B2 JP2022530792A JP2022530792A JP7345654B2 JP 7345654 B2 JP7345654 B2 JP 7345654B2 JP 2022530792 A JP2022530792 A JP 2022530792A JP 2022530792 A JP2022530792 A JP 2022530792A JP 7345654 B2 JP7345654 B2 JP 7345654B2
Authority
JP
Japan
Prior art keywords
frame
dnn
feature
deformable
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022530792A
Other languages
English (en)
Other versions
JP2023502535A (ja
Inventor
ウェイ・ジアン
ウェイ・ワン
ディン・ディン
シャン・リュウ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023502535A publication Critical patent/JP2023502535A/ja
Application granted granted Critical
Publication of JP7345654B2 publication Critical patent/JP7345654B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

参照による組み込み
本開示は、２０２０年７月１５日に出願された米国仮出願第６３／０５２，２３１号である「変形可能な畳み込みによる予測フレーム生成」に対する優先権の利益を主張する、２０２１年５月１３日に出願された米国特許出願第１７／３１９，９３２号である「ビデオコーディングのための変形可能な畳み込みによる予測フレーム生成」に対する優先権の利益を主張する。先行出願の開示内容は、その全体が参照により本明細書に組み込まれる。
本開示は、一般に、人工ニューラルネットワークに基づくビデオコーディングに関連する実施形態を説明する。
本明細書で提供される「背景技術」の記載は、本開示の文脈を一般的に提示するためのものである。この背景技術セクションに記載されている範囲で、現在の発明者の研究、並びに、そうでない場合出願時に従来技術として認められない可能性のある記載の態様は、本開示に対する従来技術として明示的又は暗黙的に認められない。
ニューラルネットワークは、生物学的な脳内のニューロンを緩やかにモデリングする、接続ノード（ニューロンとも呼ばれる）の集まりに基づいている。ニューロンは、複数の層に組織化されることができる。ある層のニューロンは、直前及び直後の層のニューロンに接続することができる。
生物学的な脳内のシナプスのような２つのニューロン間の接続は、信号を一方のニューロンから他方のニューロンへ伝達することができる。信号を受信するニューロンは、次にその信号を処理し、他の接続されたニューロンをシグナリングすることができる。いくつかの例では、ニューロンの出力を見つけるために、ニューロンへの入力を、入力からニューロンへの接続の重みによって重み付けし、重み付けされた入力を合計して、重み付き和を生成する。重み付き和にバイアスを加算してもよい。さらに、重み付き和をその後、活性化関数に通して、出力を生成する。
本開示の態様は、ビデオコーディング装置におけるビデオコーディングの方法を提供する。前記方法は、変形可能な畳み込みディープニューラルネットワーク（ＤＮＮ）を介して変形可能な畳み込みを行って、１つ又は複数の以前に再構成された参照フレームのセットに基づいて１つ又は複数の第１特徴マップを生成するステップと、前記１つ又は複数の第１特徴マップに基づいて、予測フレームを生成するステップと、前記予測フレームに基づいて、現在フレームを再構成するステップと、を含むことができる。
一実施形態では、特徴抽出ＤＮＮに基づいて、前記１つ又は複数の以前に再構成された参照フレームに対応する１つ又は複数の第２特徴マップのセットを生成することができる。オフセット生成ＤＮＮを用いて、前記１つ又は複数の第２特徴マップに対応する１つ又は複数のオフセットマップをそれぞれ生成することができる。各オフセットマップは、生成される前記オフセットマップに対応する前記第２特徴マップ、及び、前記１つ又は複数の以前に再構成された参照フレームのうちの１つであるターゲットフレームに対応する前記第２特徴マップ、との前記オフセット生成ＤＮＮへの入力に基づいて生成されることができる。前記１つ又は複数のオフセットマップは、同一のターゲットフレームを有することができる。
一実施形態では、前記現在フレームと前記１つ又は複数の以前に再構成された参照フレームとが表示順に配置される場合、前記ターゲットフレームは前記現在フレームに隣接する。一実施形態では、前記現在フレームがＰフレームである場合、前記ターゲットフレームは、前記１つ又は複数の以前に再構成された参照フレームの最後のフレームである。前記現在フレームがＢフレームである場合、前記ターゲットフレームは、前記１つ又は複数の以前に再構成された参照フレームのうち、表示順で前記現在フレームより前にあるフレームの最後のフレームである。
一実施形態では、前記１つ又は複数の第２特徴マップを前記変形可能な畳み込みＤＮＮへの入力として受け付けることができる。前記１つ又は複数の第２特徴マップに対応する前記１つ又は複数の第１特徴マップをそれぞれ生成することができる。一実施形態では、前記変形可能な畳み込みＤＮＮは、各々が変形可能な畳み込みカーネルに関連付けられる１つ又は複数の変形可能な畳み込み層を含み、前記１つ又は複数の変形可能な畳み込み層のうちの１つで、各第２特徴マップに対応して、それぞれの変形可能な畳み込みカーネルとそれぞれの第２特徴マップのオフセットマップとに基づいて、変形可能な畳み込みが行われる。
一実施形態では、前記１つ又は複数の第１特徴マップと前記１つ又は複数の以前に再構成された参照フレームとに基づいて、フレーム再構成ＤＮＮを用いて１つ又は複数のアライメントフレームを構成することができる。前記１つ又は複数のアライメントフレームに基づいて、フレーム合成ＤＮＮを用いて予測フレームを生成することができる。
一実施形態では、前記方法は、前記１つ又は複数の以前に再構成された参照フレームのセットによって形成された４Ｄテンソルの入力で特徴抽出ＤＮＮを用いて、４次元（４Ｄ）特徴テンソルを生成するステップをさらに含むことができる。各フレームは、多数のチャネルを含むことができる。一実施形態では、前記４Ｄ特徴テンソルを前記変形可能な畳み込みＤＮＮへの入力として受け付けることができる。融合されたアライメントされた特徴マップを生成することができる。
一実施形態では、変形可能な畳み込みＤＮＮは、各々が３Ｄ変形可能な畳み込みカーネル及び３Ｄオフセットマップに関連付けられる１つ又は複数の３Ｄ変形可能な畳み込み層を含み、前記１つ又は複数の変形可能な畳み込み層の１つで、それぞれの３Ｄ変形可能な畳み込みカーネルとそれぞれの３Ｄオフセットマップとに基づいて、３Ｄ変形可能な畳み込みが行われる。一実施形態では、前記方法は、前記融合されたアライメントされた特徴マップを前記フレーム再構成ＤＮＮへの入力として、前記フレーム再構成ＤＮＮを用いて前記予測フレームを生成するステップをさらに含むことができる。
本開示の態様は、ニューラルネットワークのトレーニングの方法をさらに提供する。前記方法は、参照フレームのセットを予測フレーム生成モジュールに入力して、予測フレームを生成するステップを含むことができる。前記予測フレーム生成モジュールは、最適化されるべきパラメータを有するニューラルネットワークを含むことができる。前記ニューラルネットワークは、変形可能な畳み込みＤＮＮを含むことができる。損失関数の損失を決定することができる。前記損失関数は、前記予測フレームとグラウンドトゥルースフレームとの間の差に基づいて推定されたビットレートを示す圧縮損失と、前記グラウンドトゥルースフレームに対する前記予測フレームの品質を示す再構成品質損失と、を含むことができる。前記損失関数の前記損失に基づいてバックプロパゲーションを行って、前記予測フレーム生成モジュール内の前記ニューラルネットワークの前記パラメータを更新することができる。
一実施形態では、前記参照フレームは、時間的ダウンサンプリング操作に基づいて、ビデオ内のフレームのシーケンスから選択され、前記フレームのシーケンス内の、前記ダウンサンプリング操作によって選択されないフレームは、前記グラウンドトゥルースフレームとして使用される。
一実施形態では、前記損失関数は、アライメント誤差を示すアライメント損失をさらに含む。前記トレーニング方法は、前記予測フレーム生成モジュール内の特徴抽出ディープニューラルネットワーク（ＤＮＮ）を用いて、前記参照フレームに対応する第１特徴マップをそれぞれ生成するステップと、前記予測フレーム生成モジュール内の前記変形可能な畳み込みＤＮＮを用いて、前記第１特徴マップに対応する第２特徴マップをそれぞれ生成するステップと、前記第２特徴マップの１つと、前記予測フレーム生成モジュールに入力された前記参照フレームの１つであるターゲットフレームに対応する前記第１特徴マップとの差を決定するステップをさらに含むことができる。前記差は、前記アライメント損失の一部である。一実施形態では、前記ターゲットフレームは、前記グラウンドトゥルースフレームと前記参照フレームとが表示順に配置される場合、前記グラウンドトゥルースフレームに隣接する前記参照フレームである。
一実施形態では、ニューラルネットワークのトレーニング方法は、前記グラウンドトゥルースフレームと前記予測フレームとの間の残差信号を生成するステップと、続いて前記残差信号に対して残差エンコード及びデコードを行って、再構成された残差信号を生成するステップと、前記グラウンドトゥルースフレームを前記再構成された残差信号と組み合わせて、再構成された参照フレームを生成するステップと、前記再構成された参照フレームを参照フレームのセットに含めるステップと、をさらに含むことができる。
本開示の態様は、プロセッサによって実行されると、前記プロセッサにビデオコーディングの方法を行わせる命令を記憶する非一時的なコンピュータ読取可能な媒体をさらに提供する。
開示された主題の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
本開示の一実施形態による、２Ｄ時間的変形可能な畳み込みを用いた予測フレーム生成プロセス（１００）を示す。 本開示の一実施形態による、３Ｄ時間的変形可能な畳み込みを用いた別の予測フレーム生成プロセス（２００）を示す。 本開示の一実施形態によるニューラルネットワークトレーニングプロセス（３００）を示す。 本開示の一実施形態によるビデオエンコーダ（４００）を示す。 本開示の一実施形態によるビデオデコーダ（５００）を示す。 本開示の一実施形態によるビデオコーディングプロセス（６００）を示す。 本開示の一実施形態によるニューラルネットワークトレーニングプロセス（７００）を示す。 一実施形態によるコンピュータシステム（８００）の概略図である。
Ｉ．時間的変形可能な畳み込み
本開示は、人工ニューラルネットワークベースのビデオコーディング方法を提供する。例えば、ディープニューラルネットワーク（ＤＮＮ）において、変形可能な畳み込みを用いて、予測フレームを生成することができる。さらに、一定期間にわたる参照フレームのシーケンスに対して変形可能な畳み込みを行うことができる。別々のフレームにおける時間的に変化した特徴をキャプチャし、ターゲットフレーム（アライメント基準として機能する）にアライメントさせ、その後、予測フレームに合成することができる。したがって、本明細書に開示された予測フレームを生成するための技術は、時間的変形可能な畳み込みベースの予測フレーム生成と称することができる。
２次元（２Ｄ）変形可能な畳み込み又は３次元（３Ｄ）変形可能な畳み込みベースの実施形態を含む、様々な実施形態が提供される。生成された予測フレームの品質と残差（予測フレームとグラウンドトゥルースフレームとの差）の圧縮性とを共同で考慮することにより、時間的変形可能な畳み込みは、ビデオによく見られる複雑で長距離の動き（タイムドメイン（ｔｉｍｅｄｏｍａｉｎ）及び時間領域（ｔｅｍｐｏｒａｌｄｏｍａｉｎ）で）に効果的に対応し、圧縮性能を向上させることができる。本開示では、「フレーム」と「ピクチャ」という用語を交換可能に使用することができる。
ＩＩ．ハンドクラフト（Ｈａｎｄｃｒａｆｔｅｄ）及び学習ベースのビデオコーディング
Ｈ．２６４／アドバンスドビデオコーディング（Ｈ．２６４／ＡＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）、及び多用途ビデオコーディング（ＶＶＣ）などの従来のビデオコーディング規格は、同様のブロックベースのハイブリッド予測／変換フレームワークを共有する。例えば、イントラ／インター予測、整数変換、及び文脈適応型エントロピー符号化などの個々の符号化ツールは、全体的な効率を最適化するために集中的にハンドクラフトされる。時空間的画素近傍を予測信号構築に活用して、後続の変換、量子化、及びエントロピー符号化のための対応する残差を取得する。一方、ＤＮＮの性質は、近傍画素の受容野から時空間情報を分析することにより、時空間刺激の異なるレベル（例えば、ＤＮＮの異なる層に対応する）を抽出することである。高度に非線形かつ非局所的な時空間相関を探索する能力は、圧縮品質を大幅に向上させる有望な機会を提供する。
一例では、ビデオ圧縮フレームワークのインター予測プロセスを以下のように行うことができる。入力ビデオｘは、複数の画像フレーム（又はピクチャ）ｘ1、・・・、ｘＴを含む。第１動き推定ステップでは、ビデオ内のフレームを空間ブロックに分割することができる。各ブロックをさらに、例えば、ツリー構造（例えば、四分木又は二分木）に基づいて、より小さいブロックに再帰的に分割することができる。現在フレームｘｔと以前に再構成されたフレームのセット

Figure 0007345654000001
 との間の動きベクトルｍｔのセットを、ブロックごとに算出することができる。なお、添え字ｔは、画像フレームのタイムスタンプと一致しなくてもよい現在のｔ番目のエンコードサイクルを示す。また、

Figure 0007345654000002
 には、複数の以前のエンコードサイクルからのフレームが含まれる。
第２動き補償ステップでは、動きベクトルｍｔに基づいて、以前の

Figure 0007345654000003
 の対応する画素をコピーすることにより、予測フレーム

Figure 0007345654000004
 を取得する。元フレームｘｔと予測フレーム

Figure 0007345654000005
 との間の残差ｒｔは、

Figure 0007345654000006
 で取得されることができる。第３ステップでは、残差ｒｔを（典型的には、より良い量子化性能を得るためにｒｔのＤＣＴ係数を量子化する変換（例えば、ＤＣＴ）の後に）量子化する。量子化ステップは、量子化された

Figure 0007345654000007
 を与える。動きベクトルｍｔと量子化された

Figure 0007345654000008
 の両方を、エントロピー符号化によってビットストリームにエンコードする。このビットストリームをデコーダに送ることができる。
デコーダ側では、まず、量子化された

Figure 0007345654000009
 を（典型的には、非量子化された係数への逆変換（例えば、逆ＤＣＴ）を介して）非量子化して、回復残差

Figure 0007345654000010
 を取得する。次に、

Figure 0007345654000011
 を

Figure 0007345654000012
 に再度加算して、再構成された

Figure 0007345654000013
 を取得する。
動き推定は、上記ビデオ圧縮プロセスにおける重要な構成要素の一つである。従来のブロックベースの動きベクトルｍｔは、非並進運動に対してうまく機能できず、結果として、圧縮効率を大きく損なう無効な予測フレーム

Figure 0007345654000014
 及び残差ｒｔが生じる。この問題に対処するために、様々な学習ベースの技術を採用することができる。例えば、学習ベースのオプティカルフロー法は、画素レベルでの正確な動き情報を提供するために使用されることができる。しかし、オプティカルフローは、特に移動物体の境界に沿って誤差が生じやすい。オプティカルフロー法の例は、Ｒ． Ｙａｎｇ， Ｆ． Ｍｅｎｔｚｅｒ， Ｌ． Ｖａｎ Ｇｏｏｌ， ａｎｄ Ｒ． Ｔｉｍｏｆｔｅ， “Ｌｅａｒｎｉｎｇ ｆｏｒ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｈｉｅｒａｒｃｈｉｃａｌ ｑｕａｌｉｔｙ ａｎｄ ｒｅｃｕｒｒｅｎｔ ｅｎｈａｎｃｅｍｅｎｔ，” ｉｎ ＣＶＰＲ， ２０２０（これを参照により本明細書に組み込むものとする）という著作に記載されている。
明示的な動き推定を行わない場合、フレーム補間法を採用して、以前に再構成された

Figure 0007345654000015
 に基づいて追加の合成フレーム

Figure 0007345654000016
 を直接算出し、より効率的な残差の生成を助けることができる。しかしながら、フレームは、中～大の動きを処理できない空間的同一位置にあるパッチに基づいて補間されたため、このような方法の有効性が制限される。フレーム補間法の例は、Ｈ． Ｃｈｏｉ， Ｉ． Ｂａｊｉｃ， “Ｄｅｅｐ Ｆｒａｍｅ Ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，” ｉｎ ＩＥＥＥ Ｔｒａｎｓ． ＣＳＶＴ， ２０１９という著作に記載されており、これを参照により本明細書に組み込むものとする。
ＩＩＩ．時間的変形可能な畳み込みによる予測フレーム生成
様々な実施形態では、以前に再構成された参照フレーム

Figure 0007345654000017
 に基づいて、潜在的に高品質の合成予測フレーム

Figure 0007345654000018
 を生成することができる。したがって、予測フレーム

Figure 0007345654000019
 に基づいて、高度に圧縮可能な残差フレームｒｔを生成することができる。エンドツーエンドでトレーニングされた又は学習可能なＤＮＮ（Ｅ２Ｅ ＤＮＮ）を用いて、予測フレーム

Figure 0007345654000020
 を算出することができる。異なる実施形態では、２Ｄ又は３Ｄの時間的変形可能な畳み込みを採用して、複雑かつ長距離の動きを処理し、高品質の予測フレーム

Figure 0007345654000021
 を生成することができる。時間的変形可能な畳み込みベースのコーディング方法は、明示的な誤差が生じやすい動き推定又は画像歪みなしに、圧縮効率及び視覚品質を含む異なるターゲットを柔軟にサポートすることができる。
１、２Ｄ変形可能な畳み込みによる予測フレーム生成
図１は、本開示の一実施形態による、２Ｄ時間的変形可能な畳み込みを用いた予測フレーム生成プロセス（１００）を示す。プロセス（１００）は、ビデオコーディングシステム（例えば、エンコーダ又はデコーダ）内の予測フレーム生成モジュール（１５０）で行うことができる。予測フレーム生成モジュール（１５０）は、Ｅ２Ｅ ＤＮＮに基づくことができる。図１に示す具体的な例では、Ｅ２Ｅ ＤＮＮは、特徴抽出ＤＮＮ（１１１）、オフセット生成ＤＮＮ（１１２）、変形可能な畳み込みＤＮＮ（１１３）、フレーム再構成ＤＮＮ（１１４）、及びフレーム合成ＤＮＮ（１１５）を含むことができる。
プロセス（１００）を行うことにより、予測フレーム生成モジュール（１５０）は、ｎ個の以前に再構成されたフレームのセット

Figure 0007345654000022
 を入力として、潜在的に高品質の予測フレーム

Figure 0007345654000023
 を生成することができる。例えば、以前に再構成されたフレームを、ビデオコーディングシステム内の参照ピクチャバッファに記憶することができる。予測フレーム

Figure 0007345654000024
 は、エンコーダで現在フレームをエンコードするために、又はデコーダで現在フレームを再構成するために使用されることができる。ｘｔと表記される現在フレームとは、現在処理（エンコード又は再構成）中のフレームを意味する。
プロセス（１００）は、特徴抽出モジュール（１０１）、オフセット生成モジュール（１０２）、変形可能な畳み込みモジュール（１０３）、フレーム再構成モジュール（１０４）、及びフレーム合成モジュール（１０５）において行われる操作を含むことができる。それらのモジュール（１０１～１０５）は、図１の例では、それぞれのＤＮＮ（１１１～１１５）を採用して、それぞれの操作を行う。
図１に示すように、参照フレーム

Figure 0007345654000025
 の各フレーム

Figure 0007345654000026
 を入力として使用して、特徴抽出モジュール（１０１）は、フォワード推論により特徴抽出ＤＮＮ（１１１）を用いて特徴マップ

Figure 0007345654000027
 を算出する。
参照フレーム

Figure 0007345654000028
 中のフレーム

Figure 0007345654000029
 は、

Figure 0007345654000030
 中の他の全てのフレームがアライメントされる参照（ターゲットフレーム）として使用されることができる。いくつかの実施形態では、ターゲットフレーム

Figure 0007345654000031
 は、

Figure 0007345654000032
 から選択され、アライメント基準として使用される任意のフレームであることができる。いくつかの実施形態では、ターゲットフレーム

Figure 0007345654000033
 の選択は、現在フレームｘｔのタイミングに依存することができる。
一例では、ターゲットフレーム

Figure 0007345654000034
 を決定するために、

Figure 0007345654000035
 における参照フレームは、それらのタイムスタンプに基づいてアクセント付け順（例えば、表示順）でランク付けされる。現在のプロセスがＰフレームｘｔのエンコードである場合、これら以前に再構成されたフレームは全てｘｔの前にある。ターゲットフレーム

Figure 0007345654000036
 を、

Figure 0007345654000037
 と設定することができる。
現在のプロセスがＢフレームのエンコードである場合、参照フレーム

Figure 0007345654000038
 の一部はＢフレームより先であることができ、参照フレーム

Figure 0007345654000039
 の一部はＢフレームより後であることができる。従って、参照フレーム

Figure 0007345654000040
 の中で、現在フレームｘｔに隣接する（それより前又は後の）フレームを選択して、ターゲットフレームとすることができる。例えば、以前に再構成されたフレーム

Figure 0007345654000041
 はｘｔの前にあり、一方、残りの

Figure 0007345654000042
 はｘｔの後にある。したがって、フレーム

Figure 0007345654000043
 がターゲットフレームとして使用される。
現在のターゲットが低遅延Ｂフレームのエンコードである場合、ターゲットフレーム

Figure 0007345654000044
 を、最後のフレーム

Figure 0007345654000045
 と設定することができる。これら以前に再構成されたフレームは、全てｘｔの前にある。
オフセット生成モジュール（１０２）は、再構成されたフレーム

Figure 0007345654000046
 及び

Figure 0007345654000047
 に基づいて、又は抽出された特徴

Figure 0007345654000048
 及び

Figure 0007345654000049
 に基づいて、特徴マップ

Figure 0007345654000050
 ごとにオフセットマップ

Figure 0007345654000051
 を算出する。一例では、特徴マップ

Figure 0007345654000052
 及び

Figure 0007345654000053
 は入力として使用され、オフセット生成ＤＮＮ（１１２）に通してオフセットマップ

Figure 0007345654000054
 を生成する。一例では、特徴マップ

Figure 0007345654000055
 及び

Figure 0007345654000056
 を、オフセット生成ＤＮＮ（１１２）に入力する前に、まず連結して、連結された特徴マップを形成することができる。
変形可能な畳み込みモジュール（１０３）は、変形可能な畳み込みＤＮＮ（１１３）を用いて、それぞれの特徴マップ

Figure 0007345654000057
 とそれぞれのオフセットマップ

Figure 0007345654000058
 とに基づいて、アライメントされた特徴マップ

Figure 0007345654000059
 を算出する。各抽出された特徴マップ

Figure 0007345654000060
 に対応して、１つ又は複数のアライメントされた特徴マップ

Figure 0007345654000061
 を生成することができる。
一例として、ｗｋ（ｋ＝１，・・・，Ｋ）が２Ｄ変形可能な畳み込みカーネルの重み係数を示し、ｐｋがカーネル内のｋ番目の位置に対する予め指定されたオフセットを示すとする。例えば、３×３カーネルは、Ｋ＝９及びｐｋ∈｛（－１，－１），（－１，０），・・・，（１，１）｝で定義される。２Ｄ変形可能な畳み込み層は、入力特徴ｆｉｎと学習可能なオフセットマップΔＰとに基づいて出力特徴ｆｏｕｔを算出し、ここで、サンプリング位置ｐ０における特徴は、次式で与えられる。

Figure 0007345654000062
不規則な位置ｐ０＋ｐｋ＋Δｐｋは整数とは限らないため、この変形可能な畳み込み演算は、補間（例えば、バイリニア補間）を用いて行うことができる。
変形可能な畳み込みＤＮＮ（１１３）は、いくつかのこのような変形可能な畳み込み層（各層の後にＲｅＬＵのような非線形活性化層が続く）及び他のＤＮＮ層（たとえば、ボトルネック層）を積層することによって形成されることができる。一例では、変形可能な畳み込み層は、同じ又は異なる２Ｄ変形可能な畳み込みカーネルを使用することができる。一例として、変形可能な畳み込み層は、同じ又は異なるオフセットマップを使用することができる。
変形可能な畳み込みは、空間領域における幾何学的変換（例えば、異なるスケーリング又は異なる位置での変形）を処理する強化された能力を有する。様々なタイプの動きによって引き起こされるフレームのシーケンスに対して、異なるスケーリング又は変形は、異なる時間場面で起こり得る。変形可能な畳み込みＤＮＮ（１１３）での変形可能な畳み込みによって、異なる場面における特徴（異なるように変形／スケーリングされるもの）は、結果として得られた特徴マップにキャプチャされることができる。さらに、それらの特徴マップを、ターゲットフレーム（及び現在フレーム）に対応するターゲット時刻にアライメントする。次いで、アライメントされた特徴マップに基づいて、予測フレームを構築することができる。時間的変形可能な畳み込みは、フレームのシーケンス内の動きを処理して、ターゲットフレーム（及び現在フレーム）の時刻に対応する予測フレームを生成できることが分かる。
アライメント損失

Figure 0007345654000063
 は、アライメント誤差算出モジュール（１０６）において、アライメントされた特徴マップ

Figure 0007345654000064
 と抽出された特徴マップ

Figure 0007345654000065
 との間のズレの誤差を測定するように算出されることができる。例えば、Ｌ１－ノルム（絶対誤差の平均）又はＬ２ノルム（二乗誤差の平均）は

Figure 0007345654000066
 に使用されることができる。それらのアライメント損失を、トレーニングプロセス中に同様に算出し、損失関数の一部として使用することができる。
一例では、アライメントされた特徴マップ

Figure 0007345654000067
 及び任意選択で、抽出された特徴マップ

Figure 0007345654000068
 を使用して、フレーム再構成モジュール（１０４）は、フィードフォワード推論算出によりフレーム再構成ＤＮＮ（１１４）を用いて、各アライメントされた特徴マップ

Figure 0007345654000069
 に対応するアライメントフレーム

Figure 0007345654000070
 を生成する。次いで、アライメントフレーム

Figure 0007345654000071
 をフレーム合成モジュール（１０５）に通して、フレーム合成ＤＮＮ（１１５）を用いて、合成された予測フレーム

Figure 0007345654000072
 を生成することができる。
様々な実施形態では、アライメントされた特徴マップ

Figure 0007345654000073
 から予測フレーム

Figure 0007345654000074
 を生成するための異なる方法が存在し得る。一例では、アライメントフレーム

Figure 0007345654000075
 の数はｎ未満であってもよい。一例では、フレーム再構成ＤＮＮ（１１４）及びフレーム合成ＤＮＮ（１１５）の両方の代わりに１つのＤＮＮが動作して、アライメントされた特徴マップ

Figure 0007345654000076
 から予測フレーム

Figure 0007345654000077
 を生成することができる。一例では、まず、アライメントされた特徴マップ

Figure 0007345654000078
 を、後で予測フレーム

Figure 0007345654000079
 を生成するために使用される１つ又は複数（ｎよりも少ない）の特徴マップに合成することができる。
いくつかの実施形態では、オフセット生成モジュール（１０２）及びオフセット生成ＤＮＮ（１１２）は、プロセス１００又は予測フレーム生成モジュール（１５０）から省かれてもよい。従って、オフセットマップは明示的に生成されない。変形可能な畳み込みＤＮＮ（１１３）の各２Ｄ変形可能な畳み込み層で使用される各画素位置でのオフセットΔｐｋは、２Ｄ変形可能な畳み込みカーネルと共にトレーニングプロセス中に学習されることができる、トレーニング可能なモデルパラメータとして扱われ得る。
本開示において、特徴抽出ＤＮＮ（１１１）、オフセット生成ＤＮＮ（１１２）、変形可能な畳み込みＤＮＮ（１１３）、フレーム再構成ＤＮＮ（１１４）、又はフレーム合成ＤＮＮ（１１５）における特定のネットワーク構造（層の種類、層の数、カーネルサイズなど）には制限がないことに留意されたい。例えば、任意のバックボーンネットワーク（例えば、ＲｅｓＮｅｔ）を特徴抽出ＤＮＮとして使用することができ、通常の畳み込み及びボトルネック層のセットをオフセット生成ＤＮＮとして積層することができ、変形可能な畳み込み層のセットを変形可能な畳み込みＤＮＮとして積層することができ、スキップ接続を有するいくつかの畳み込み層をフレーム再構成ＤＮＮとして互いに積層することができ、いくつかの残差ブロック層をフレーム合成ＤＮＮとして互いに積層することができる。
２、３Ｄ変形可能な畳み込みによる予測フレーム生成
図２は、本開示の一実施形態による、３Ｄ時間的変形可能な畳み込みを用いた別の予測フレーム生成プロセス（２００）を示す。プロセス（２００）は、ビデオコーディングシステム（例えば、エンコーダ又はデコーダ）内の予測フレーム生成モジュール（２５０）で行うことができる。予測フレーム生成モジュール（２５０）は、Ｅ２Ｅ ＤＮＮに基づくことができる。図２に示す具体的な例では、Ｅ２Ｅ ＤＮＮは、特徴抽出ＤＮＮ（２１１）、変形可能な畳み込み及び特徴融合ＤＮＮ（２１２）、及びフレーム再構成ＤＮＮ（２１３）を含むことができる。
プロセス（２００）を行うことにより、予測フレーム生成モジュール（２５０）は、ｎ個の以前に再構成されたフレームのセット

Figure 0007345654000080
 を入力として、ビデオのコーディングのための予測フレーム

Figure 0007345654000081
 （潜在的に高品質）を生成することができる。予測フレーム

Figure 0007345654000082
 は、エンコーダで現在フレームをエンコードするために、又はデコーダで現在フレームを再構成するために使用されることができる。
プロセス（２００）は、特徴抽出モジュール（２０１）、変形可能な畳み込み及び特徴融合モジュール（２０２）、及びフレーム再構成モジュール（２０３）において行われる操作を含むことができる。それらのモジュール（２０１～２０３）は、それぞれのＤＮＮ（２１１～２１３）を採用して、それぞれの操作を行う。
一例として、入力フレーム

Figure 0007345654000083
 は、サイズ（ｎ，ｃ，ｈ，ｗ）の４次元（４Ｄ）入力テンソルを形成するように互いに積層されることができ、ここで、ｃはチャネルの数（例えば、カラーフレームの場合は３）であり、（ｈ，ｗ）はビデオフレームの解像度（例えば、高さと幅）を与える。図２に示すように、特徴抽出モジュール（２０１）は、フォワード推論により特徴抽出ＤＮＮ（２１１）を用いて４Ｄ特徴テンソル

Figure 0007345654000084
 を算出することができる。特徴抽出モジュール（２０１）を実装するために、様々な構造を持つ様々なＤＮＮを採用することができる。
一実施形態では、特徴マップ

Figure 0007345654000085
 を算出してビデオ中の時空間特性をキャプチャするために、特徴抽出ＤＮＮ（２１１）は、Ｄ． Ｔｒａｎ， ａｎｄ ｅｔ ａｌ．， “Ｌｅａｒｎｉｎｇ ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｆｅａｔｕｒｅｓ ｗｉｔｈ ３ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ，” ｉｎ ＩＣＣＶ， ２０１５（これを参照により全体として組み込むものとする）という著作で記載された３Ｄ畳み込み層（Ｃ３Ｄ）を使用する。
別の実施形態では、各個別の特徴マップ

Figure 0007345654000086
 は、図１の例で説明された方法と同様の２Ｄ畳み込み層を用いて、各入力フレームに基づいて個別に算出され、その後４Ｄテンソルへ連結されることができる。実施形態のいずれの場合にも、特徴抽出モジュール（２０１）の出力は、４Ｄ特徴テンソルであることができる。
３Ｄ時間的変形可能な畳み込みを行うために、ｗｋ（ｋ＝１，・・・，Ｋ）が３Ｄ変形可能な畳み込みカーネルの重み係数を示し、ｐｋがカーネル内のｋ番目の位置に対する予め指定されたオフセットを示すとする。例えば、３×３×３カーネルは、Ｋ＝２７及びｐｋ∈｛（－１、－１、－１）、（－１、－１、０）、・・・、（１、１、１）｝で定義される。３Ｄ変形可能な畳み込み層は、入力特徴ｆｉｎと学習可能なオフセットΔＰとに基づいて出力特徴ｆｏｕｔを算出し、ここで、サンプリング位置ｐ０における特徴は、次式で与えられる。

Figure 0007345654000087
不規則な位置ｐ０＋ｐｋ＋Δｐｋは整数とは限らないため、この変形可能な畳み込み演算は、３Ｄ空間での補間（例えば、バイリニア補間）を用いて行うことができる。
図２に示すように、変形可能な畳み込み及び特徴融合ＤＮＮ（２１２）は、いくつかの上記３Ｄ変形可能な畳み込み層（各層の後にＲｅＬＵのような非線形活性化層が続く）及び他のＤＮＮ層（たとえば、ボトルネック層）を積層することによって形成されることができる。フレーム

Figure 0007345654000088
 は、他のすべてのフレームがアライメントされる参照であることができる。変形可能な畳み込み及び特徴融合モジュール（２０２）は、変形可能な畳み込み及び特徴融合ＤＮＮ（２１２）を用いて、４Ｄ特徴テンソル

Figure 0007345654000089
 に基づいて、融合されたアライメントされた特徴マップ

Figure 0007345654000090
 を算出する。
次いで、フレーム再構成モジュール（２０３）は、フレーム再構成ＤＮＮ（２１３）を用いて、融合されたアライメントされた特徴マップ

Figure 0007345654000091
 に基づいて、再構成された予測フレーム

Figure 0007345654000092
 を算出する。説明されたように、アライメントされた特徴マップが生成される図１の例とは対照的に、図２のこのパイプラインでは、明示的な空間アライメントは実施されない。その代わりに、３Ｄ変形可能な畳み込みは、時空間オフセットを直接学習して、アライメントされた融合された特徴マップ

Figure 0007345654000093
 を生成する。
図１の例と同様に、特徴抽出ＤＮＮ（２１１）、変形可能な畳み込み及び特徴融合ＤＮＮ（２１２）、又はフレーム再構成ＤＮＮ（２１３）における特定のネットワーク構造（層の種類、層の数、カーネルサイズなど）には制限がない。
ＩＶ．時間的変形可能な畳み込みによる予測フレーム生成のためのトレーニングプロセス
図３は、本開示の一実施形態によるニューラルネットワークトレーニングプロセス（３００）を示す。トレーニングプロセス（３００）中に、予測フレーム生成モジュール（３０１）内のニューラルネットワークのモデルパラメータを最適化し、決定することができる。例えば、図１又は図２の例における予測フレーム生成モジュール（１５０）又は（２５０）を予測フレーム生成モジュール（３０１）の代わりに配置し、トレーニングプロセス（３００）を用いてトレーニングすることができる。
一実施形態では、トレーニングプロセス（３００）の現在の反復中、図１及び図２の例と同様に、予測フレーム生成モジュール（３０１）は、参照フレームのセット

Figure 0007345654000094
 を受け付け、現在フレームｘｔに対して予測フレーム

Figure 0007345654000095
 を生成する。予測フレーム生成モジュール（３０１）内のニューラルネットワークは、最後の反復の終わりに更新されたモデルパラメータで構成されることができる。いくつかの実施形態では、トレーニングの目的で、ビデオシーケンス内のダウンサンプリングされた元フレームは、後述する参照フレームのセット

Figure 0007345654000096
 の代わりに使用されることができる。
予測フレーム生成モジュール（３０１）から予測フレーム

Figure 0007345654000097
 を取得した後、元フレーム（現在フレーム）ｘｔと予測フレーム

Figure 0007345654000098
 との間の残差ｒｔは、加算モジュール（３１１）を用いて次のように取得することができる。

Figure 0007345654000099
次いで、圧縮損失Ｌcompress（ｒｔ）を圧縮損失算出モジュール（３０４）によって算出して、残差ｒｔの潜在的な圧縮率を測定することができる。例えば、より良い圧縮のために、残差ｒｔのＬ１－ノルム（平均絶対誤差）を使用して、残差の全体的なスパース性を促進することができる。また、ここではより複雑な統計的レート推定方法を使用することもできる。
例えば、残差ｒｔにおける各要素のエントロピーを推定することができる。推定されたエントロピーに基づいて、残差ｒｔのコーディングのためのビットの数を適宜決定することができる。したがって、ビットレート（例えば、ビット／ピクセル（ＢＰＰ）又はビット／秒（ＢＰＳ））を決定し、現在フレームｘｔのコーディングのための圧縮損失Ｌcompress（ｒｔ）として使用することができる。様々な実施形態では、エントロピー及びレート損失を推定するための様々な技術が採用されることができる。レート損失推定方法の一例は、Ｊ． Ｂａｌｌｅ ｅｔ ａｌ．， “Ｅｎｄ－ｔｏ－ｅｎｄ Ｏｐｔｉｍｉｚｅｄ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ” ｉｎ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ （ＩＣＬＲ） ２０１７によって説明されている。
再構成品質損失

Figure 0007345654000100
 を再構成品質損失算出モジュール（３０５）によって算出して、再構成されたアライメントされた予測フレーム

Figure 0007345654000101
 の品質を測定することができる。一例では、再構成されたアライメントされた予測フレーム

Figure 0007345654000102
 の品質は、現在フレームｘｔに関して決定されることができる。
一実施形態では、トレーニングプロセス（３００）中に、合成されたアライメントされた予測フレームのためのグラウンドトゥルースフレームが利用可能となるように、元のビデオシーケンスを時間的にダウンサンプリングする。例えば、元のＴ個のフレームｘ１，ｘ２，．．．,ｘＴを、Ｔ／２個のフレームｘ２，ｘ４，．．．,ｘＴに時間的にダウンサンプリングすることができる。ダウンサンプリングされたシーケンスを使用して、予測フレーム生成モジュール（３０１）は、与えられた参照フレーム

Figure 0007345654000103
 に対応する予測フレーム

Figure 0007345654000104
 を算出することができる。参照フレーム

Figure 0007345654000105
 に対応するグラウンドトゥルースフレーム

Figure 0007345654000106
 が利用可能となる。一例において、ダウンサンプリングされたフレームｘ２，ｘ４，．．．,ｘＴに属さないフレームをグラウンドトゥルースフレーム

Figure 0007345654000107
 として使用することができる。グラウンドトゥルースフレーム

Figure 0007345654000108
 を現在フレームｘｔとして使用することができる。ダウンサンプリングされたフレームｘ２，ｘ４，．．．,ｘＴのうち、グラウンドトゥルースフレーム

Figure 0007345654000109
 に隣接するフレームを参照フレーム

Figure 0007345654000110
 として使用することができる。そして、

Figure 0007345654000111
 と

Figure 0007345654000112
 との間のＬ２－ノルム（ＭＳＥ）を

Figure 0007345654000113
 として使用することができる。
圧縮損失Ｌcompress（ｒｔ）と品質損失

Figure 0007345654000114
 は、次のように組み合わせることができる。

Figure 0007345654000115
また、図１に示すように、２Ｄ変形可能な畳み込みが予測フレーム生成モジュール（３０１）によって使用される場合、アライメント損失のセット

Figure 0007345654000116
 は、以下のように上記ジョイント損失に（図１の破線でマークされているオプションとして）加算することができる。

Figure 0007345654000117
次いで、ジョイント損失Ｌｊｏｉｎｔ（式４又は式５）の勾配を算出し、バックプロパゲーションモジュール（３０６）を介してバックプロパゲーションして、予測フレーム生成モジュール（３０１）内のＤＮＮモデルパラメータ（例えば、重み係数、オフセットなど）を更新することができる。例えば、モデルパラメータは、図１の例のＤＮＮ（１１１～１１５）又は図２の例のＤＮＮ（２１１～２１３）におけるモデルパラメータであり得る。
一実施形態では、残差ｒｔを、残差エンコードモジュール（３０２）によってエンコードして、圧縮表現

Figure 0007345654000118
 を生成する。

Figure 0007345654000119
 に基づいて、残差デコードモジュール（３０３）は、新しい再構成されたフレーム

Figure 0007345654000120
 を算出するために加算モジュール（３１２）で予測フレーム

Figure 0007345654000121
 に再度加算される、デコードされた残差

Figure 0007345654000122
 を算出する。次に、一例では、予測フレーム

Figure 0007345654000123
 及び／又は再構成されたフレーム

Figure 0007345654000124
 を加算して、以前に構成されたフレームセット

Figure 0007345654000125
 を更新する。例えば、現在フレームから遠い最も古いフレームをセットから除去することができる。その後、システムは、ｔからｔ＋１までの次のエンコードサイクル（トレーニングサイクル又は反復）に入る。
Ｖ．時間的変形可能な畳み込みによる予測フレーム生成を備えたコーディングシステム
図４は、本開示の一実施形態によるビデオエンコーダ（４００）を示す。ビデオエンコーダ（４００）は、時間的変形可能な畳み込みを行って、現在フレームｘｔをエンコードするための予測フレーム

Figure 0007345654000126
 を生成するように構成される予測フレーム生成モジュール（４０１）を含むことができる。また、ビデオエンコーダ（４００）は、残差エンコードモジュール（４０２）、残差デコードモジュール（４０３）、第１加算モジュール（４１１）、及び第２加算モジュール（４１２）をさらに含むことができる。それらの要素は、図４に示すように、互いにカップリングされる。
ｎ個の以前に再構成されたフレームのセット

Figure 0007345654000127
 （例えば、参照フレームバッファに記憶されている）を入力として、予測フレーム生成モジュール（４０１）は、図１に示されたフレームワーク（２Ｄ変形可能な畳み込みに基づく）又は図２に示されたフレームワーク（３Ｄ変形可能な畳み込みに基づく）を用いることで予測フレーム

Figure 0007345654000128
 を生成することができる。次に、第１加算モジュール（４１１）を用いて、元フレームｘｔと予測フレーム

Figure 0007345654000129
 との間の残差ｒｔを算出することができる。残差ｒｔを、残差エンコードモジュール（４０２）によってエンコードして、圧縮表現

Figure 0007345654000130
 を生成することができる。
圧縮表現

Figure 0007345654000131
 に基づいて、残差デコードモジュール（４０３）は、デコードされた残差

Figure 0007345654000132
 を算出する。デコードされた残差

Figure 0007345654000133
 を、第２加算モジュール（４１２）で予測フレーム

Figure 0007345654000134
 に再度加算して、新しい再構成されたフレーム

Figure 0007345654000135
 を算出する。
圧縮表現

Figure 0007345654000136
 （エントロピーコーディング後）を、例えばビットストリームで伝送して、デコーダ側に送ることができる。その後、再構成された

Figure 0007345654000137
 及び／又は生成された予測フレーム

Figure 0007345654000138
 を加算して、フレームのセット

Figure 0007345654000139
 を更新することができる。エンコードシステム（４００）は、ｔからｔ＋１までの次のエンコードサイクルに入る。
図５は、本開示の一実施形態によるビデオデコーダ（５００）を示す。ビデオデコーダ（５００）は、時間的変形可能な畳み込みを行って、現在フレームｘｔを再構成するための予測フレーム

Figure 0007345654000140
 を生成するように構成される予測フレーム生成モジュール（５０１）を含むことができる。また、ビデオデコーダ（５００）は、残差デコードモジュール（５０２）、及び加算モジュール（５１１）をさらに含むことができる。それらの要素は、図５に示すように、互いにカップリングされる。
示されているように、例えば、ビデオエンコーダ（４００）から生成されたビットストリームから、圧縮表現

Figure 0007345654000141
 を受け付けた後、残差デコードモジュール（５０２）はデコードされた残差

Figure 0007345654000142
 を算出する。以前に再構成されたフレームのセット

Figure 0007345654000143
 が与えられると、予測フレーム生成モジュール（５０１）は予測フレーム

Figure 0007345654000144
 を算出する。次に、加算モジュール（５１１）で予測フレーム

Figure 0007345654000145
 と残差

Figure 0007345654000146
 を一緒に加算して、現在フレームｘｔに対応する再構成されたフレーム

Figure 0007345654000147
 を取得する。
再構成された

Figure 0007345654000148
 及び／又は生成された予測フレーム

Figure 0007345654000149
 を加算して、参照フレームのセット

Figure 0007345654000150
 を更新することができる。デコードシステム（５００）は、ｔからｔ＋１までの次のデコードサイクルに入る。
ビデオエンコーダ（４００）又はデコーダ（５００）における残差エンコードモジュール及び残差デコードモジュールが使用するエンコード方法及びデコード方法の種類には制限がないことに留意されたい。例えば、残差処理モジュール（４０２）、（４０３）、及び（５０２）には、ＨＥＶＣ又はＶＶＣコーディング規格における残差信号処理方法、又は他の非規格化された方法が採用されることができる。
ＶＩ．時間的変形可能な畳み込みによる予測フレーム生成に基づくビデオコーディングプロセス
図６は、本開示の一実施形態によるビデオコーディングプロセス（６００）を示す。プロセス（６００）は、ビデオエンコーダ又はビデオデコーダで行われて、予測フレームを生成することができる。プロセス（６００）は、（Ｓ６０１）から開始し、（Ｓ６１０）へ進むことができる。
（Ｓ６１０）では、変形可能な畳み込みＤＮＮを介して変形可能な畳み込みを行って、１つ又は複数の以前に再構成された参照フレームのセットに基づいて１つ又は複数の第１特徴マップを生成することができる。
例えば、特徴抽出ＤＮＮに基づいて、１つ又は複数の以前に再構成された参照フレームに対応する１つ又は複数の第２特徴マップのセットを生成することができる。オフセット生成ＤＮＮを用いて、１つ又は複数の第２特徴マップにそれぞれ対応する１つ又は複数のオフセットマップを生成することができる。例えば、各オフセットマップは、生成されるオフセットマップに対応する第２特徴マップ、及び、１つ又は複数の以前に再構成された参照フレームのうちの１つであるターゲットフレームに対応する第２特徴マップ、とのオフセット生成ＤＮＮへの入力に基づいて生成されることができる。１つ又は複数のオフセットマップは、同一のターゲットフレームを有することができる。
一例では、ターゲットフレームは、１つ又は複数の再構成された参照フレームのうちのいずれか１つであることができる。一例では、現在フレームと１つ又は複数の以前に再構成された参照フレームとが表示順に配置される場合、ターゲットフレームは現在フレームに隣接する。一例では、現在フレームがＰフレームである場合、ターゲットフレームは、１つ又は複数の以前に再構成された参照フレームの最後のフレームであることができる。現在フレームがＢフレームである場合、ターゲットフレームは、１つ又は複数の以前に再構成された参照フレームのうち、表示順で現在フレームより前にあるフレームの最後のフレームであることができる。
一例では、変形可能な畳み込みＤＮＮは、１つ又は複数の第２特徴マップを入力として受け付け、１つ又は複数の第２特徴マップにそれぞれ対応する１つ又は複数の第１特徴マップを生成することができる。例えば、変形可能な畳み込みＤＮＮは、各々が変形可能な畳み込みカーネルに関連付けられる１つ又は複数の変形可能な畳み込み層を含むことができる。１つ又は複数の変形可能な畳み込み層の１つで、各第２特徴マップに対応して、それぞれの変形可能な畳み込みカーネルとそれぞれの第２特徴マップのオフセットマップとに基づいて変形可能な畳み込みが行われる。
（Ｓ６２０）では、１つ又は複数の第１特徴マップに基づいて予測フレームを生成することができる。例えば、１つ又は複数の第１特徴マップと１つ又は複数の以前に再構成された参照フレームとに基づいて、フレーム再構成ＤＮＮを用いて１つ又は複数のアライメントフレームを再構成することができる。１つ又は複数のアライメントフレームに基づいて、フレーム合成ＤＮＮを用いて予測フレームを生成することができる。
（Ｓ６３０）では、予測フレームに基づいて現在フレームを再構成することができる。例えば、デコーダ側では、予測フレームを再構成された残差フレーム（又は信号）と組み合わせて、再構成された現在フレームを生成することができる。次いで、再構成された現在フレームを、次の現在フレームをデコードするための参照フレームとして使用することができる。
いくつかの例では、現在フレームの再構成は、ブロックベースであることができる。例えば、処理中の現在ブロック（前記現在ブロックから分割された）に対して、対応する予測ブロックを予測フレームから分割し、現在ブロックの残差信号と組み合わせて現在ブロックを再構成することができる。
エンコーダ側では、現在フレームと予測フレームとの間で残差信号を生成することができる。そして、残差信号を圧縮表現にエンコードし、ビットストリームで伝送することができる。その後、圧縮表現をデコードして、再構成された残差信号を生成することができる。次いで、再構成された信号を予測フレームと組み合わせて、再構成された現在フレームを生成することができる。再構成された現在フレームを、次の現在フレームのコーディングのための参照フレームとして使用することができる。プロセス（６００）は、（Ｓ６９９）に進むことができ、（Ｓ６９９）で終了することができる。
図７は、本開示の一実施形態によるニューラルネットワークトレーニングプロセス（７００）を示す。プロセス（７００）は、（Ｓ７０１）から開始し、（Ｓ７１０）に進むことができる。
（Ｓ７１０）では、参照フレームのセットを予測フレーム生成モジュールに入力して、予測フレームを生成する。予測フレーム生成モジュールは、最適化されるべきパラメータを有するニューラルネットワークを含むことができる。ニューラルネットワークは、変形可能な畳み込みディープニューラルネットワーク（ＤＮＮ）を含むことができる。一例では、参照フレームは、時間的ダウンサンプリング操作に基づいて、ビデオ内のフレームのシーケンスから選択される。フレームのシーケンス内の、ダウンサンプリング操作によって選択されないフレームは、グラウンドトゥルースフレームとして使用される。
（Ｓ７２０）では、損失関数の損失を決定することができる。損失関数は、予測フレームとグラウンドトゥルースフレームとの差に基づいて推定されたビットレートを示す圧縮損失と、グラウンドトゥルースフレームに対する予測フレームの品質を示す再構成品質損失とを含むことができる。
一例では、損失関数は、アライメント誤差を示すアライメント損失をさらに含むことができる。アライメント損失を以下のように決定することができる。予測フレーム生成モジュール内の特徴抽出ＤＮＮを用いて、参照フレームに対応する第１特徴マップをそれぞれ生成することができる。予測フレーム生成モジュール内の変形可能な畳み込みＤＮＮを用いて、第１特徴マップに対応する第２特徴マップをそれぞれ生成することができる。第２特徴マップの１つと、グラウンドトゥルースフレームと参照フレームとが表示順に配置される場合、グラウンドトゥルースフレームに隣接する参照フレームに対応する第１特徴マップとの間の差を決定する。グラウンドトゥルースフレームに隣接する参照フレームに対応する第１特徴マップに対して、第２特徴マップごとに、差を決定することができる。この差は、アライメント損失に含まれることができる。
（Ｓ７３０）では、損失及び損失関数に基づいてバックプロパゲーションを行って、予測フレーム生成モジュール内のニューラルネットワークのパラメータを更新することができる。プロセス（７００）は、（Ｓ７９９）に進み、（Ｓ７９９）で終了することができる。
ＶＩＩ．コンピュータシステム
本明細書に開示された技法（例えば、様々な実施形態又は例における機能、モジュール、要素、方法、プロセス、操作）は、処理回路（例えば、１つ又は複数のプロセッサ又は１つ又は複数の集積回路）によって実装されることができる。いくつかの例では、本技法は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実装され、１つ又は複数のコンピュータ読取可能な媒体に物理的に記憶されることができる。
コンピュータソフトウェアは、１つ又は複数のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などによって直接、又は解釈、マイクロコード実行などを通じて実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、又は同様のメカニズムに従うことができる任意の適切な機械コード又はコンピュータ言語を用いて符号化されることができる。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置などを含む、様々なタイプのコンピュータ又はそのコンポーネント上で実行されることができる。
図８は、開示された主題のいくつかの実施形態を実装するのに適したコンピュータシステム（８００）を示す。コンピュータシステム（８００）の図８に示されたコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能性に関するいかなる限定も示唆することを意図していない。また、コンポーネントの構成は、コンピュータシステム（８００）の例示的な実施形態では示されたコンポーネントの任意の１つ又は組み合わせに関連する任意の依存又は要件を有すると解釈されるべきではない。
コンピュータシステム（８００）は、特定のヒューマンインタフェース入力装置を含むことができる。このようなヒューマンインタフェース入力装置は、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（示されていない）を介して１又は複数の人間ユーザによる入力に応答してもよい。ヒューマンインタフェース装置は、また、オーディオ（音声、音楽、環境音など）、画像（スキャン画像、静止画カメラから取得した写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、必ずしも人間の意識的入力に直接関係しないメディアをキャプチャするために使用されることができる。
入力ヒューマンインタフェース装置は、キーボード（８０１）、マウス（８０２）、トラックパッド（８０３）、タッチスクリーン（８１０）、データグローブ（図示せず）、ジョイスティック（８０５）、マイク（８０６）、スキャナ（８０７）、及びカメラ（８０８）のうちの１つ又は複数（それぞれ１つのみ示されている）を含むことができる。
コンピュータシステム（８００）は、また、特定のヒューマンインタフェース出力装置を含むことができる。このようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、及び匂い／味を通じて１又は複数の人間ユーザの感覚を刺激するものであってもよい。このようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン（８１０）、データグローブ（図示せず）、又はジョイスティック（８０５）による触覚フィードバックなどであるが、入力装置として機能しない触覚フィードバック装置も存在し得る）、オーディオ出力装置（スピーカー（８０９）、ヘッドフォン（示されていない）など）、視覚出力装置（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（８１０）（それぞれタッチスクリーン入力能力を有するか有しないか、それぞれ触覚フィードバック能力を有するか有しないか）（そのうちのいくつかは、ステレオグラフィックス出力などの手段によって二次元視覚出力又は三次元を超えた出力を出力することができる）、仮想現実メガネ（示されていない）、ホログラムディスプレイ及びスモークタンク（示されていない）など）、ならびにプリンタ（示されていない）を含むことができる。
コンピュータシステム（８００）は、また、ＣＤ／ＤＶＤ付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（８２０）又は類似したメディア（８２１）、サムドライブ（８２２）、リムーバブルハードドライブ又はリッドステートドライブ（８２３）、テープ及びフロッピーディスク等のレガシ磁気メディア（図示せず）、セキュリティドングル等の専用ＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）などを含む光学メディアなど、人間がアクセス可能な記憶装置及びそれらに関連するメディアを含むことができる。
当業者は、また、現在開示されている主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を包含しないことを理解すべきである。
コンピュータシステム（８００）は、また、１つ又は複数の通信ネットワーク（８５５）へのインタフェース（８５４）を含むことができる。１つ又は複数のネットワーク（８５５）は、例えば、無線、有線、光であり得る。１つ又は複数のネットワーク（８５５）は、さらに、ローカル、広域、メトロポリタン、車両及び産業、リアルタイム、遅延耐性等であり得る。１つ又は複数のネットワーク（８５５）の例は、イーサネット、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワークなどのローカルエリアネットワーク、ケーブルテレビ、衛星テレビ、地上波放送テレビなどを含むテレビ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓなどを含む車両及び産業用を含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺バス（８４９）（例えば、コンピュータシステム（８００）のＵＳＢポートなど）に取り付けられた外部ネットワークインタフェースアダプタを必要とし、他のものは、後述するようにシステムバス（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース又はスマートコンピュータシステムへのセルラーネットワークインタフェースなど）への取り付けによってコンピュータシステム（８００）のコアに一般に統合される。これらのネットワークのいずれかを使用して、コンピュータシステム（８００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送テレビ）、単方向送信のみ（例えば、特定のＣＡＮｂｕｓ装置へのＣＡＮｂｕｓ）、又は双方向、例えば、ローカル又は広域デジタルネットワークを使用して他のコンピュータシステムへ、であることができる。特定のプロトコル及びプロトコルスタックは、上述したように、それらのネットワーク及びネットワークインタフェースの各々で使用されることができる。
前述のヒューマンインタフェース装置、人間がアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム（８００）のコア（８４０）に取り付けられることができる。
コア（８４０）は、１つ又は複数の中央処理装置（ＣＰＵ）（８４１）、グラフィックス処理装置（ＧＰＵ）（８４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（８４３）の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（８４４）、グラフィックスアダプタ（８５０）など、を含むことができる。これらの装置は、リードオンリーメモリ（ＲＯＭ）（８４５）、ランダムアクセスメモリ（８４６）、ユーザがアクセスできない内部ハードディスク、ＳＳＤなどの内部マスストレージ（８４７）と共に、システムバス（８４８）を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス（８４８）は、１つ又は複数の物理的なプラグの形態でアクセス可能であって、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にすることができる。周辺機器は、コアのシステムバス（８４８）に直接、又は周辺バス（８４９）を介して取り付けられることができる。一例として、スクリーン（８１０）は、グラフィックスアダプタ（８５０）に接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。
ＣＰＵ（８４１）、ＧＰＵ（８４２）、ＦＰＧＡ（８４３）、及びアクセラレータ（８４４）は、組み合わせで前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（８４５）又はＲＡＭ（８４６）に記憶されることができる。過渡的なデータもＲＡＭ（８４６）に記憶されることができ、一方、永久的なデータは、例えば、内部大容量ストレージ（８４７）に記憶されることができる。１つ又は複数のＣＰＵ（８４１）、ＧＰＵ（８４２）、大容量ストレージ（８４７）、ＲＯＭ（８４５）、ＲＡＭ（８４６）などに密に関連付けられることができるキャッシュメモリの使用によって、いずれかのメモリ装置への高速な記憶及び検索を可能にすることができる。
コンピュータ読取可能な媒体は、様々なコンピュータ実装操作を実行するためのコンピュータコードをその上に持つことができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであり得るか、又はコンピュータソフトウェア分野の技術を持つ者によく知られ利用可能な種類のものであり得る。
一例として、限定ではなく、アーキテクチャを有するコンピュータシステム（８００）、特にコア（８４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形のコンピュータ読取可能な媒体で具現化されたソフトウェアを実行する結果として、機能性を提供することができる。このようなコンピュータ読取可能な媒体は、上記で紹介したようなユーザがアクセス可能な大容量ストレージに関連付けられる媒体、ならびにコア内部大容量ストレージ（８４７）又はＲＯＭ（８４５）などの非一時的な性質を有するコア（８４０）の特定のストレージであることができる。本開示の様々な実施形態を実装するソフトウェアは、このような装置に記憶され、コア（８４０）によって実行されることができる。コンピュータ読取可能な媒体は、特別な必要性に応じて、１つ又は複数のメモリ装置又はチップを含むことができる。ソフトウェアは、コア（８４０）、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（８４６）に記憶されたデータ構造の定義、及びソフトウェアによって定義されたプロセスに従ってこのようなデータ構造の変更を含む、本明細書に記載された特別なプロセス又は特別なプロセスの特別な部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ソフトウェアの代わりに又はソフトウェアと共に動作して、本明細書に記載された特別なプロセス又は特別なプロセスの特別な部分を実行することができる回路（例えば、アクセラレータ（８４４））にハードワイヤード又はその他の方法で具現化されたロジックの結果として機能性を提供できる。ソフトウェアへの言及は、適切な場合、ロジックを包含することができ、その逆もまた同様である。コンピュータ読取可能な媒体への言及は、適切な場合、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、又はその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
本開示は、いくつかの例示的な実施形態を説明したが、本開示の範囲内に入る変更、置換、及び様々な代替の等価物が存在する。したがって、当業者は、本明細書で明示的に示されていないか又は説明されていないが、本開示の原理を具現化し、ゆえにその精神及び範囲内にある多数のシステム及び方法を考案することができることが理解されるであろう。
848 システムバス
850 グラフィックスアダプタ
854 ネットワークインタフェース

Claims (17)

  1. ビデオコーディング装置におけるビデオコーディングの方法であって、
    変形可能な畳み込みディープニューラルネットワーク（ＤＮＮ）を介して変形可能な畳み込みを行って、１つ又は複数の以前に再構成された参照フレームのセットに基づいて１つ又は複数の第１特徴マップを生成するステップと、
    前記１つ又は複数の第１特徴マップに基づいて、予測フレームを生成するステップと、
    前記予測フレームに基づいて、現在フレームを再構成するステップと、を含み、
    前記１つ又は複数の以前に再構成された参照フレームの前記セットによって形成された４次元（４Ｄ）テンソルの入力で特徴抽出ＤＮＮを用いて、４Ｄ特徴テンソルを生成するステップをさらに含み、
    前記４Ｄテンソルは、各参照フレームのそれぞれに基づいて個別に算出された特徴マップを連結することによって得られる、方法。
  2. 特徴抽出ＤＮＮに基づいて、前記１つ又は複数の以前に再構成された参照フレームに対応する１つ又は複数の第２特徴マップのセットを生成するステップと、
    オフセット生成ＤＮＮを用いて、前記１つ又は複数の第２特徴マップに対応する１つ又は複数のオフセットマップをそれぞれ生成するステップであって、
    各オフセットマップは、
    生成される前記オフセットマップに対応する前記第２特徴マップ、及び、
    前記１つ又は複数の以前に再構成された参照フレームのうちの１つであるターゲットフレームに対応する前記第２特徴マップ、
    との前記オフセット生成ＤＮＮへの入力に基づいて生成され、前記１つ又は複数のオフセットマップは、同一のターゲットフレームを有する、ステップと、をさらに含む、請求項１に記載の方法。
  3. 前記現在フレームと前記１つ又は複数の以前に再構成された参照フレームとが表示順に配置される場合、前記ターゲットフレームは前記現在フレームに隣接する、請求項２に記載の方法。
  4. 前記現在フレームがＰフレームである場合、前記ターゲットフレームは、前記１つ又は複数の以前に再構成された参照フレームの最後のフレームであり、
    前記現在フレームがＢフレームである場合、前記ターゲットフレームは、前記１つ又は複数の以前に再構成された参照フレームのうち、表示順で前記現在フレームより前にあるフレームの最後のフレームである、請求項２に記載の方法。
  5. 前記変形可能な畳み込みＤＮＮを介して前記変形可能な畳み込みを行って、前記１つ又は複数の第１特徴マップを生成するステップは、
    前記１つ又は複数の第２特徴マップを前記変形可能な畳み込みＤＮＮへの入力として受け付けるステップと、
    前記１つ又は複数の第２特徴マップに対応する前記１つ又は複数の第１特徴マップをそれぞれ生成するステップと、を含む、請求項２に記載の方法。
  6. 前記変形可能な畳み込みＤＮＮは、各々が変形可能な畳み込みカーネルに関連付けられる１つ又は複数の変形可能な畳み込み層を含み、
    前記１つ又は複数の変形可能な畳み込み層のうちの１つで、各第２特徴マップに対応して、それぞれの前記変形可能な畳み込みカーネルとそれぞれの前記第２特徴マップの前記オフセットマップとに基づいて、変形可能な畳み込みが行われる、請求項５に記載の方法。
  7. 前記１つ又は複数の第１特徴マップに基づいて、前記予測フレームを生成するステップは、
    前記１つ又は複数の第１特徴マップと前記１つ又は複数の以前に再構成された参照フレームとに基づいて、フレーム再構成ＤＮＮを用いて１つ又は複数のアライメントフレームを再構成するステップと、
    前記１つ又は複数のアライメントフレームに基づいて、フレーム合成ＤＮＮを用いて前記予測フレームを生成するステップと、を含む、請求項１に記載の方法。
  8. 前記参照フレームの前記セットの各フレームは、多数のチャネルを含む、請求項１に記載の方法。
  9. 前記変形可能な畳み込みＤＮＮを介して前記変形可能な畳み込みを行って、前記１つ又は複数の第１特徴マップを生成するステップは、
    前記４Ｄ特徴テンソルを前記変形可能な畳み込みＤＮＮへの入力として受け付けるステップと、
    融合されたアライメントされた特徴マップを生成するステップと、を含む、請求項８に記載の方法。
  10. 前記変形可能な畳み込みＤＮＮは、各々が３Ｄ変形可能な畳み込みカーネル及び３Ｄオフセットマップに関連付けられる１つ又は複数の３Ｄ変形可能な畳み込み層を含み、
    前記１つ又は複数の３Ｄ変形可能な畳み込み層の１つで、それぞれの前記３Ｄ変形可能な畳み込みカーネルとそれぞれの前記３Ｄオフセットマップとに基づいて、３Ｄ変形可能な畳み込みが行われる、請求項９に記載の方法。
  11. 前記融合されたアライメントされた特徴マップをフレーム再構成ＤＮＮへの入力として、前記フレーム再構成ＤＮＮを用いて前記予測フレームを生成するステップをさらに含む、請求項９に記載の方法。
  12. 参照フレームのセットを予測フレーム生成モジュールに入力して、予測フレームを生成するステップであって、前記予測フレーム生成モジュールは、最適化されるべきパラメータを有するニューラルネットワークを含み、前記ニューラルネットワークは、変形可能な畳み込みディープニューラルネットワーク（ＤＮＮ）を含む、ステップと、
    損失関数の損失を決定するステップであって、前記損失関数は、
    前記予測フレームとグラウンドトゥルースフレームとの間の差に基づいて推定されたビットレートを示す圧縮損失と、
    前記グラウンドトゥルースフレームに対する前記予測フレームの品質を示す再構成品質損失と、
    を含む、ステップと、
    前記損失関数の前記損失に基づいてバックプロパゲーションを行って、前記予測フレーム生成モジュール内の前記ニューラルネットワークの前記パラメータを更新するステップと、
    をさらに含む、請求項１から１１のいずれか一項に記載の方法。
  13. 前記参照フレームは、時間的ダウンサンプリング操作に基づいてビデオ内のフレームのシーケンスから選択され、前記フレームのシーケンス内の、前記ダウンサンプリング操作によって選択されないフレームは、前記グラウンドトゥルースフレームとして使用される、請求項１２に記載の方法。
  14. 前記損失関数は、アライメント誤差を示すアライメント損失をさらに含み、
    前記方法は、
    前記予測フレーム生成モジュール内の特徴抽出ディープニューラルネットワーク（ＤＮＮ）を用いて、前記参照フレームに対応する第１特徴マップをそれぞれ生成するステップと、
    前記予測フレーム生成モジュール内の前記変形可能な畳み込みＤＮＮを用いて、前記第１特徴マップに対応する第２特徴マップをそれぞれ生成するステップと、
    前記第２特徴マップの１つと、前記予測フレーム生成モジュールに入力された前記参照フレームの１つであるターゲットフレームに対応する前記第１特徴マップとの差を決定するステップであって、前記差は、前記アライメント損失の一部である、ステップと、をさらに含む請求項１２に記載の方法。
  15. 前記ターゲットフレームは、前記グラウンドトゥルースフレームと前記参照フレームとが表示順に配置される場合、前記グラウンドトゥルースフレームに隣接する前記参照フレームである、請求項１４に記載の方法。
  16. 前記グラウンドトゥルースフレームと前記予測フレームとの間の残差信号を生成するステップと、
    続いて前記残差信号に対して残差エンコード及びデコードを行って、再構成された残差信号を生成するステップと、
    前記グラウンドトゥルースフレームを前記再構成された残差信号と組み合わせて、再構成された参照フレームを生成するステップと、
    前記再構成された参照フレームを前記参照フレームのセットに含めるステップと、をさらに含む、請求項１２に記載の方法。
  17. コンピュータに、請求項１乃至１１のいずれか一項に記載の方法を実行させるように構成される、コンピュータプログラム。
JP2022530792A 2020-07-15 2021-06-10 ビデオコーディングのための変形可能な畳み込みによる予測フレーム生成 Active JP7345654B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063052231P 2020-07-15 2020-07-15
US63/052,231 2020-07-15
US17/319,932 2021-05-13
US17/319,932 US11689713B2 (en) 2020-07-15 2021-05-13 Predicted frame generation by deformable convolution for video coding
PCT/US2021/036764 WO2022015435A1 (en) 2020-07-15 2021-06-10 Predicted frame generation by deformable convolution for video coding

Publications (2)

Publication Number Publication Date
JP2023502535A JP2023502535A (ja) 2023-01-24
JP7345654B2 true JP7345654B2 (ja) 2023-09-15

Family

ID=79293632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530792A Active JP7345654B2 (ja) 2020-07-15 2021-06-10 ビデオコーディングのための変形可能な畳み込みによる予測フレーム生成

Country Status (6)

Country Link
US (1) US11689713B2 (ja)
EP (1) EP4032287A4 (ja)
JP (1) JP7345654B2 (ja)
KR (1) KR20220070326A (ja)
CN (1) CN114503576A (ja)
WO (1) WO2022015435A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11829450B2 (en) * 2021-03-26 2023-11-28 Siemens Healthineers International Ag Dual domain tracking of target structures
US20230186525A1 (en) * 2021-12-13 2023-06-15 Tencent America LLC System, method, and computer program for content adaptive online training for multiple blocks in neural image compression
CN114554213B (zh) * 2022-02-21 2023-04-18 电子科技大学 一种运动自适应和关注细节的压缩视频质量增强方法
CN114449280B (zh) * 2022-03-30 2022-10-04 浙江智慧视频安防创新中心有限公司 一种视频编解码方法、装置及设备
CN114827616B (zh) * 2022-04-28 2023-03-10 电子科技大学 一种基于时空信息平衡的压缩视频质量增强方法
CN115239551A (zh) * 2022-07-22 2022-10-25 三星电子（中国）研发中心 视频增强方法和装置
CN115103188B (zh) * 2022-08-24 2022-12-30 中南大学 Svc的错误隐藏方法、模型训练方法、系统及设备
CN116437089B (zh) * 2023-06-08 2023-09-05 北京交通大学 一种基于关键目标的深度视频压缩方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703772B1 (ko) 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
US9928213B2 (en) * 2014-09-04 2018-03-27 Qualcomm Incorporated Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals
CN110892723B (zh) * 2017-07-06 2024-04-12 三星电子株式会社 用于编码或解码图像的方法和装置
US10672164B2 (en) 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
US10924755B2 (en) 2017-10-19 2021-02-16 Arizona Board Of Regents On Behalf Of Arizona State University Real time end-to-end learning system for a high frame rate video compressive sensing network
US10841577B2 (en) 2018-02-08 2020-11-17 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
CN109862208B (zh) * 2019-03-19 2021-07-02 深圳市商汤科技有限公司 视频处理方法、装置、计算机存储介质以及终端设备
CN110913219A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
US10713493B1 (en) 2020-02-06 2020-07-14 Shenzhen Malong Technologies Co., Ltd. 4D convolutional neural networks for video recognition

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hyomin Choi, and Ivan V. Bajic，Deep Frame Prediction for Video Coding，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，IEEE，2020年07月，Vol. 30, No. 7，pp.1843-1855
Jianing Deng, Li Wang, Shiliang Pu, and Cheng Zhuo，Spatio-Temporal Deformable Convolution for Compressed Video Quality Enhancement，The Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-20)，Vol.34,No.07: AAAI-20 Technical Tracks 7，AAAI，2020年06月18日，pp.10696-10703
Jifeng Dai, et al.，Deformable Convolutional Networks，arXiv:1703.06211v3，2017年06月05日，pp.1-12

Also Published As

Publication number Publication date
CN114503576A (zh) 2022-05-13
WO2022015435A1 (en) 2022-01-20
US11689713B2 (en) 2023-06-27
EP4032287A4 (en) 2022-11-30
KR20220070326A (ko) 2022-05-30
JP2023502535A (ja) 2023-01-24
US20220021870A1 (en) 2022-01-20
EP4032287A1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
JP7345654B2 (ja) ビデオコーディングのための変形可能な畳み込みによる予測フレーム生成
JP7416490B2 (ja) ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム
JP7482232B2 (ja) 時間変形可能畳み込みによるディープループフィルタ
Liu et al. Reconstruction of compressed-sensed multiview video with disparity-and motion-compensated total variation minimization
BR102021001287A2 (pt) Método para comprimir dados de light-field
Chien et al. Efficient stereo video coding system for immersive teleconference with two-stage hybrid disparity estimation algorithm
US11727536B2 (en) Method and apparatus for geometric smoothing
JP7504533B2 (ja) ビデオ符号化および復号化の方法、装置およびコンピュータプログラム
US11979606B2 (en) Conditional recolor for video based point cloud coding
JP7508709B2 (ja) 動的メッシュ圧縮のための２ｄ ｕｖアトラスサンプリングベースの方法、装置及びプログラム
US20240007670A1 (en) Dynamic mesh vertex displacements coding
US20220394295A1 (en) Fast recolor for video based point cloud coding
Mukati Light field coding and processing for view sequences
Hung Super-resolution study via interpolation techniques
CN117201796A (zh) 视频编码方法、装置、计算设备和存储介质
CN117178294A (zh) 使用具有一般拓扑结构的图进行基于图集采样的网格压缩
MAITRE “TRAVELLING WITHOUT MOVING”: A STUDY ON THE RECONSTRUCTION, COMPRESSION, AND RENDERING OF 3D ENVIRONMENTS FOR TELEPRESENCE

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230905

R150 Certificate of patent or registration of utility model

Ref document number: 7345654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150