JP2024500744A - ニューラルネットワークによりピクチャを符号化又は復号する方法及び装置 - Google Patents

ニューラルネットワークによりピクチャを符号化又は復号する方法及び装置 Download PDF

Info

Publication number
JP2024500744A
JP2024500744A JP2023536909A JP2023536909A JP2024500744A JP 2024500744 A JP2024500744 A JP 2024500744A JP 2023536909 A JP2023536909 A JP 2023536909A JP 2023536909 A JP2023536909 A JP 2023536909A JP 2024500744 A JP2024500744 A JP 2024500744A
Authority
JP
Japan
Prior art keywords
size
input
downsampling
layer
upsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023536909A
Other languages
English (en)
Other versions
JP7585500B2 (ja
Inventor
アレキサンドロヴナ アルシナ，エレナ
ガオ，ハン
エセンリク，セミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2024500744A publication Critical patent/JP2024500744A/ja
Application granted granted Critical
Publication of JP7585500B2 publication Critical patent/JP7585500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

ここでは、ピクチャを符号化する方法及びシステムと、符号化されたピクチャを表し得るビットストリームを復号する方法及びシステムとが開示される。符号化及び復号化の間、ニューラルネットワークのレイヤによって処理することができるサイズに入力をリスケーリングするために、リスケーリング操作が適用される。ここで開示されている実施形態は、ビットストリームのサイズの削減を実現するリスケーリング方法を提供し、それによって圧縮を改善する。

Description

本願は、ニューラルネットワークによりピクチャを符号化する方法及びニューラルネットワークによりピクチャを復号する方法に関係がある。本願は更に、ピクチャを符号化するエンコーダ及びピクチャを復号するデコーダ、並びにコンピュータ可読記憶媒体に関係がある。
ビデオコーディング（ビデオ符号化及び復号化）は、広範囲のデジタルビデオアプリケーション、例えば、デジタルＴＶ放送、インターネット及び移動体ネットワークを介したビデオ伝送、ビデオチャットなどのリアルタイムの会話アプリケーション、ビデオ会議、ＤＶＤ及びＢｌｕｅ－ｒａｙディスク、ビデオコンテンツ取得及び編集システム、並びにセキュリティアプリケーションのカムコーダにおいて使用されている。
比較的短いビデオでさえ描画するのに必要なビデオデータの量はかなりの量である可能性があり、その結果、データが有限な帯域幅容量で通信ネットワークにわたってストリーミングされるか又は別なふうに通信される場合に問題が生じる。よって、ビデオデータは、今日のテレコミュニケーションズネットワークにわたって通信される前に、一般的には圧縮される。メモリ資源が有限である可能性があるために、ビデオが記憶デバイスに記憶される場合に、ビデオのサイズも問題になることがある。ビデオ圧縮デバイスは、伝送又は記憶の前にビデオデータをコーディングするようソース側でソフトウェア及び／又はハードウェアをしばしば使用して、デジタルビデオ画像を表すのに必要なデータの量を減らす。圧縮されたデータは、次いで、ビデオデータを復号するビデオ圧縮解除デバイスによってあて先側で受信される。ネットワークリソースが限られておりかつより高いビデオ品質要求が更に高まるにつれて、ピクチャ品質をほとんど又は全く犠牲にせずに圧縮比を向上させる改善された圧縮及び圧縮解除技術が望ましい。
ニューラルネットワーク及びニューラルネットワークを使用するディープラーニング技術が、現在、ビデオ、画像などの符号化及び復号化の技術分野でも、かねてより使用されてきた。
かような場合に、ビットストリームは通常、値の２次元行列によって合理的に表現され得るデータを表すか、又はデータそのものである。例えば、これは、画像、ビデオシーケンス、又は同様のデータを表すか又はそのようなものであるビットストリームに当てはまる。２Ｄデータは別として、本開示で言及されているニューラルネットワーク及びフレームワークは、通常は１Ｄ信号として表されるオーディオ信号、又は他の信号などの更なるソース信号に適用されてもよい。
例えば、複数のダウンサンプリングレイヤを有するニューラルネットワークは、ピクチャのような符号化されるべき入力にダウンサンプリング（ダウンサンプリングレイヤが畳み込みレイヤである場合に、畳み込み）を適用し得る。このダウンサンプリングを入力ピクチャに適用することによってサイズが低減され、これは、最終的なサイズが得られるまで繰り返され得る。そのようなニューラルネットワークは、ディープラーニングニューラルネットワークによる画像認識及びピクチャの符号化の両方に使用され得る。相応して、そのようなネットワークは、符号化されたピクチャを復号するために使用され得る。２つよりも少ない又は多い次元を有する信号などの他のソース信号も、同様のネットワークによって処理され得る。
サイズが異なる可能性がある様々な異なる信号に効率的に適用され得るニューラルネットワークフレームワークを提供することが望ましい場合がある。
本開示のいくつかの実施形態は、情報を運ぶビットストリームのサイズを低減することを可能にしながら、情報の損失を可能な限り最小限に抑えて元の情報が再構成され得ることを依然として保証し得る。
いくつかの実施形態は、独立請求項１に係る、ニューラルネットワークによりビットストリームを符号化する方法、及び請求項２９に係る、ニューラルネットワークによりビットストリームを復号する方法と、請求項５５又は５６に係る、ピクチャを符号化するエンコーダ、及び請求項５７又は５８に係る、ビットストリームを復号するデコーダと、請求項５９に係るコンピュータ可読記憶媒体とを提供する。更なる好ましい実施形態は、従属請求項で提供される。
ピクチャを符号化する方法は、ニューラルネットワークＮＮを使用して提供され、ＮＮは、少なくとも１つの次元でサイズＳを有するマトリクスを表す入力にダウンサンプリングを適用する少なくとも１つのダウンサンプリングレイヤを含む複数のレイヤを有し、方法は、少なくとも１つのダウンサンプリングレイヤにより入力を処理する前に、入力にリスケーリングを適用することであり、リスケーリングは、
であるように、少なくとも１つの次元でのサイズＳを変更することを含み、ここで、ｒは、レイヤのダウンサンプリング比である、ことと、
リスケーリングの後に、ダウンサンプリングレイヤによって入力を処理し、サイズＳ１＜Ｓを有する出力を供給することと、
ＮＮによりピクチャを処理した後（例えば、ＮＮの各レイヤによりピクチャを処理した後）、ビットストリームをＮＮの出力として供給することと
を有する。
本開示の文脈中、ピクチャは、ビデオ又はビデオシーケンスという意味で静止画又は動画として理解され得る。更に、本開示でのピクチャは、より大きい（全体の）ピクチャのセクションのみに関連してもよい。更に、ピクチャは画像又はフレームとも呼ばれ得る。いずれの場合にも、ピクチャは、マトリクスの形で値（通常、サンプルと呼ばれる）の２又はそれ以上の次元の配列であると又はそのようなものによって表現可能であると見なされてよく、それは、次いでニューラルネットワークによって、具体的には、上述されたような方法でダウンサンプリングレイヤによって処理され得る。
本開示に従うビットストリームは、符号化されたピクチャであっても又はそれを有してもよい。ビットストリームは、例えば、ビットストリームを復号してピクチャを再構成するのに必要な情報に関連する追加情報（サイド情報）を有することができる。
これに関連して、ビットストリームは、マトリクスとしてビットストリームの表現で見られる場合に、少なくとも１つの次元で元々も入力されたピクチャのサイズよりも小さいサイズを有してもよい。ここでのサイズという用語は、例えば、１つ以上の次元（例えば、幅及び高さ）におけるサンプルの数を指す。サイズはまた、ピクチャ又はピクチャエリアごとのサンプルの数によって通常特徴付けられる解像度表すこともある。
本開示は、入力ピクチャの次元の全てがエンコーダの出力で低減される場合に制限されない、ことが留意されるべきである。例えば、入力ピクチャは、その次元のただ１つでのサイズにおいて低減され得る。
更に、ビットストリームは、例えば、第３の次元を有しもよく、第３の次元は、入力ピクチャの対応する次元よりも大きいサイズを有してもよい。第３の次元は、チャネルとも呼ばれ得る特徴マップの数を表し得る。１つの具体例では、第３の次元のサイズは、入力（ピクチャ）では３であり、出力（ビットストリーム）では１９２であってよい。特徴マップのサイズは、通常は、入力をそれらの重要度に応じてより効率的に分類するために、エンコーダによって増大される。
ダウンサンプリングは、任意の既知の又は技術的に妥当な方法で達成されてよい。それは、例えば、各々のダウンサンプリングレイヤの入力に畳み込みを適用することによるダウンサンプリングを有してもよい。それに関連して、ダウンサンプリングレイヤは、具体的に、畳み込みを入力に適用する畳み込みレイヤとして実装されてよい。
ダウンサンプリングは、マトリクスの形で表される場合に、入力ピクチャのただ１つの次元でしか実行されなくてもよい。それはまた、マトリクスの１つよりも多い又は全ての次元に適用されることも可能である。しかし、本開示は、如何なる特定のダウンサンプリングにも限定されない。処理レイヤの１つ以上は、例えば、入力ピクチャ又は入力特徴マップの２番目、３番目、などの行及び／又は列ごとに削除（除外）することによって、畳み込み以外のダウンサンプリングを適用してもよい。
ここで提供される本開示実施形態は、各々のダウンサンプリングレイヤによる入力の処理の直前にリスケーリングが適用されるように理解されるべきである。ニューラルネットワークに１つよりも多いダウンサンプリングレイヤがある場合に、リスケーリングは、各々のダウンサンプリングレイヤの夫々の前に、しかし、前のレイヤによる入力の処理の後に適用されることになる。スケーリングは、このようにして、上記に沿って、各々のダウンサンプリングレイヤのダウンサンプリング比に依存することになる。
リスケーリングは、いくつかの実施形態で、事前の判定によりこのリスケーリングが必要であることが示される場合にのみ入力に適用される、ことが留意されるべきである。リスケーリング操作を入力に適用する前に、リスケーリングが適用されるべきかどうかがチェックされ得る。例えば、Ｓ＝ｎ・ｒであるかどうかがチェックされ得る。その場合に、ダウンサンプリングレイヤへの入力がダウンサンプリング比の整数倍であるサイズを既に有しているので、リスケーリングは不要であると次に決定され得る。
レイヤごとにリスケーリングを適用することによって、リスケーリングは、入力に適用される変更が可能な限り少なくなるように実行される。それによって、品質の低下及び／又は入力のサイズの増大は最小限に抑えられ得る。
一実施形態で、ＮＮは、多数の
のダウンサンプリングレイヤを含み、各ダウンサンプリングレイヤｍ
は、関連するダウンサンプリング比
を有し、方法は、
少なくとも１つの次元でのサイズＳｍを有するマトリクスを表す入力をダウンサンプリングレイヤｍにより処理する前に、サイズＳｍがダウンサンプリングレイヤｍのダウンサンプリング比ｒｍの整数倍でない場合に、入力にリスケーリングを適用することであり、リスケーリングは、
であるように、少なくとも１つの次元でのサイズＳｍを変更することを含む、ことを更に有する。より具体的には、ダウンサンプリングレイヤｍの入力に適用されるリスケーリングは、他のダウンサンプリングレイヤのダウンサンプリング比ｒｋ，ｋ≠ｍと無関係であり得る。
更なる実施形態で、ダウンサンプリングレイヤｍへの入力は、ダウンサンプリングレイヤｍのダウンサンプリング比ｒｍの整数倍でない値を有する少なくとも１つの次元でのサイズＳｍを有し、入力のサイズＳｍは、ダウンサンプリング比ｒｍの最も近い小さい方の整数倍に一致するか又はダウンサンプリング比ｒｍの最も近い大きい方の整数倍に一致するかのどちらかであるようリスケーリング中に変更される。
この実施形態によれば、直ぐ後の（又は後続の若しくは連続する，ここでは同義的に使用される）ダウンサンプリングレイヤのダウンサンプリング比に依存するリスケーリングが、この特定のダウンリンクレイヤの前にのみ実行されることが指定される。これは、符号化されたビットストリームのサイズが、リスケーリングが入力のサイズの増大を有する場合でさえ最小限に低減されることを保証し得る。
上記の実施形態に関して、ダウンサンプリングレイヤへの入力にリスケーリングを適用する前に、リスケーリングが必要であるかどうかが（明示的に又は暗黙的に）決定又はチェックされることが提供され得る。リスケーリングが（例えば、入力のサイズが既に各々のダウンサンプリング比の整数倍であるために）不要であると決定される場合に、リスケーリングは適用されないことが提供され得る。
一実施形態で、サイズＳｍを有する入力にリスケーリングを適用することの前に、Ｓｍがダウンサンプリング比ｒｍの整数倍であるかどうかが決定され、Ｓｍがダウンサンプリング比ｒｍの整数倍でない場合に、リスケーリングが入力に適用され、それにより、サイズＳｍは、
であるように、少なくとも１つの次元で変更される。この決定は、方法の追加のステップという意味で明示的な決定であることができ、あるいは、この決定は、別なふうに実行された計算の部分であることができるので、暗黙的な決定であることができる。結果（サイズＳｍと整数倍との間の差を示す数という意味で）がこの決定によって実際に取得されることは不要である。
リスケーリングを実行する前にかような決定を適用することは、必要な出ないリスケーリングが回避され得るということで、符号化の計算複雑性を低減することができる。
一実施形態で、入力のサイズＳｍがダウンサンプリングレイヤｍのダウンサンプリング比ｒｍの整数倍である場合に、サイズ
へのリスケーリングは、ダウンサンプリングレイヤｍによって入力を処理する前に入力に適用されない。この実施形態は、サイズＳｍを変更しないリスケーリングステップが適用されることを除外するものではない。例えば、サイズＳｍ＝ｎ・ｒｍである場合に、”リスケーリングされた”サイズは、リスケーリングが
に基づいてサイズＳｍを増大させることを有する場合に、ここでは、
であるため、
となる。リスケーリングはこのようにして、この実施形態では何らかのデフォルトステップとして実行され得る一方で、リスケーリングは、入力のサイズＳｍの変化を生じさせない。Ｓｍが既にダウンサンプリング比の整数倍である場合にサイズ
へのリスケーリングを止めることによって、サイズの不必要な低減による情報の損失又はサイズの不必要な増大による冗長若しくは無関係な情報の追加は回避される。
更なる実施形態で、Ｓｍがダウンサンプリング比ｒｍの整数倍であるかどうかの決定は、サイズＳｍをダウンサンプリングレイヤｍの許容入力サイズと比較することを含む。許容入力サイズは事前定義されてよく、あるいは、それは、このサイズがダウンサンプリング比の整数倍である限りは如何なるサイズであってもよい。具体的に、許容入力サイズは、サイズＳｍに依存してよく、あるいは、それが事前定義されない場合には、Ｓｍを用いて（動的に）決定されてもよい。
一実施形態で、ダウンサンプリングレイヤｍの許容入力サイズは、ダウンサンプリング比ｒｍ及びサイズＳｍのうちの少なくとも一方に基づき計算される。
これにより、決定は、各々のダウンサンプリングレイヤ及び／又はその入力に特有であり、それによって、潜在的に必要なリスケーリングの決定を信頼できるものとし、具体的には、様々なダウンサンプリング比を有するダウンサンプリングレイヤを備えたニューラルネットワークに適したものとする。
より具体的に、比較することは、Ｓｍとダウンサンプリングレイヤｍの許容入力サイズとの間の差を計算することを含んでよい。
一実施形態で、比較することは、ｃｅｉｌ（Ｓｍ／ｒｍ）・ｒｍ－Ｓｍ又はｆｌｏｏｒ（Ｓｍ／ｒｍ）・ｒｍ－Ｓｍを決定することを含む。本文脈中、ｃｅｉｌ（Ｓｍ／ｒｍ）・ｒｍ及びｆｌｏｏｒ（Ｓｍ／ｒｍ）は、上述された「許容入力サイズ」と見なされてよい。
より具体的な実施形態では、ｃｅｉｌ（Ｓｍ／ｒｍ）・ｒｍ－Ｓｍが決定され、ｃｅｉｌ（Ｓｍ／ｒｍ）・ｒｍ－Ｓｍ≠０である場合に、リスケーリングは、サイズＳｍを有する入力に適用される。
代替的に、又は追加的に、ｆｌｏｏｒ（Ｓｍ／ｒｍ）・ｒｍ－Ｓｍが決定され、ｆｌｏｏｒ（Ｓｍ／ｒｍ）・ｒｍ－Ｓｍ≠０である場合に、リスケーリングは、サイズＳｍを有する入力に適用される。上記の式に従って決定を行うことによって、ｃｅｉｌ（Ｓｍ／ｒｍ）・ｒｍ又はｆｌｏｏｒ（Ｓｍ／ｒｍ）が許容入力サイズを構成し、
として使用される場合に、同時に、リスケーリング中に、Ｓｍに加えられるか又はＳｍから除かれる必要がある必要量を求めることも可能である。これは、リスケーリングを求める信頼できる方法をもたらし、更には、入力サイズＳｍを可能な限りほとんど変化させないリスケーリングをもたらし得る。
更なる実施形態で、サイズ
は、ダウンサンプリング比ｒｍ及びサイズＳｍのうちの少なくとも一方を用いて決定される。
具体的に、サイズ
は、ｃｅｉｌ、ｉｎｔ、ｆｌｏｏｒのうちの少なくとも１つを含む関数を用いて決定され得る。
より具体的には、サイズ
は、次の方法のうちの１つで決定されてよい：
－ サイズ
は、
を用いて決定されるか、あるいは、
－ サイズ
は、
を用いて決定されるか、あるいは、
－ サイズ
は、
を用いて決定される。
これらの方法を用いて
を計算することは、ダウンサンプリング比の最も近い小さい方の整数倍又はダウンサンプリング比の最も近い大きい方の整数倍がサイズ
を構成するということで、サイズＳｍを有する入力への変更を最小限に抑えることになる。それによって、スケーリング中に入力に加えられる冗長な情報が最小限となり（例えば、リスケーリングが、入力のサイズを増大させるために入力にパディングすることによって行われる場合）、あるいは、リケーリング中に除かれる関連する情報は最小限となる（例えば、入力サイズを低減させるために入力をクロッピングすることによる）。
一実施形態で、ダウンサンプリングレイヤｍへの入力は、ダウンサンプリングレイヤｍのダウンサンプリング比ｒｍの最も近い小さい方の整数倍と、ダウンサンプリングレイヤｍのダウンサンプリング比ｒｍの最も近い大きい方の整数倍との間にある値を有する少なくとも１つの次元でのサイズＳｍを有し、条件に応じて、入力のサイズＳｍは、ダウンサンプリング比ｒｍの最も近い小さい方の整数倍に一致するか又はダウンサンプリング比ｒｍの最も近い大きい方の整数倍に一致するかのどちらかであるようリスケーリング中に変更される。条件は、任意の適切な条件であることができ、例えば、入力からの情報の削除の回避又は入力への冗長な又は意味のない情報の最低限の付加を有し得る。かような条件でのリスケーリング中にサイズを増大させるべきか又はサイズを低減させるべきかどうかの決定に基づくことによって、数学的なだけでなく潜在的に計算上の制約又は要件が満足され得る。更に、これにより、符号化の品質が所与の要件を、例えば、符号化されたピクチャの復号化中の達成可能な品質に関して満足することを保証することが可能である。
一実施形態で、ダウンサンプリングレイヤｍへの入力は、少なくとも１つの次元でのサイズＳｍを有し、ここで、
であり、ｒｍは、ダウンサンプリングレイヤｍのダウンサンプリング比であり、サイズＳｍは、条件に応じて、
のどちらかにリスケーリングされる。望ましくは、ｌは、ｌ及びｌ＋１がサイズＳに関してダウンサンプリング比の“最も近い”整数倍を指すような小さい自然数である。
リスケーリングの計算効率は、元の入力がサイズを増大されるか又はサイズを低減されるかどうかに依存し得るということでそれらのリスケーリングされたサイズのいずれも利点を有し得る。具体的に、サイズをｌｒｍに低減することは、符号化されたビットストリームが最終的により小さくなるとは言え、情報の損失を生じさせる可能性がある。サイズをｒｍ（ｌ＋１）に増大させることは、更なるエントロピが入力に与えられること、及びそれほど有意でない情報により符号化されたピクチャのサイズを増大させることを生じさせる。しかし、少なくとも情報が失われないので、符号化されたピクチャを高品質で復号することが可能である。
一実施形態で、入力のサイズＳｍが、ダウンサンプリング比ｒｍの最も近い大きい方の整数倍よりもダウンサンプリングレイヤｍのダウンサンプリング比ｒｍの最も近い小さい方の整数倍に近い場合に、入力のサイズＳｍは、ダウンサンプリング比ｒｍの最も近い小さい方の整数倍に一致するサイズ
に低減される。それによって、ほんの少しの情報しか入力から削除されない一方で、著しく大量の冗長又は無駄な情報を追加することは回避される。
一実施形態で、入力のサイズＳｍをサイズ
に低減させることは、入力をクロッピングすることを含む。これは、情報の削除を生じさせるが、符号化方法において効率的に実施され得る。更に、入力の境界は、ピクチャの関連性が高い情報を提供しないので、ピクチャの再構成中に大幅な品質の損失無しに削除され得ることが可能である。
更なる実施形態で、入力のサイズＳｍが、ダウンサンプリング比ｒｍの最も近い小さい方の整数倍よりもダウンサンプリングレイヤｍのダウンサンプリング比ｒｍの最も近い大きい方の整数倍に近い場合に、入力のサイズＳｍは、ダウンサンプリング比ｒｍの最も近い大きい方の整数倍に一致するサイズ
に増大される、ことが提供される。これにより、冗長な又は意味のない情報の量は小さいままであることができ、かつ、入力の情報は失われない。
具体的に、入力のサイズＳｍをサイズ
に増大させることは、サイズＳｍを有する入力にゼロを又はサイズＳｍを有する入力から得られたパディング情報をパディングすることを含んでもよい。どちらのパディング方法も計算効率よく実装され得る。
より具体的な実施形態では、サイズＳｍを有する入力から得られたパディング情報は、入力のサイズＳｍをサイズ
に増大させるための冗長なパディング情報として適用される。
より具体的には、冗長なパディング情報によるパディングすることは、反射パディング又は繰り返しパディングのうちの少なくとも一方を含んでよい。これらのパディング方法によれば、既に入力の一部となっている情報を使用することができるので、ピクチャを再構成するときのピクチャの境界でのひずみは軽減される。
一実施形態で、パディング情報は、冗長なパディング情報が加えられるべき入力内の領域に最も近い、サイズＳｍを有する入力の少なくとも１つの値であるか又は該少なくとも１つの値を含む。
一実施形態で、ダウンサンプリングレイヤｍへの入力のサイズＳｍは、ダウンサンプリング比ｒｍの最も近い大きい方の整数倍に一致するサイズ
に増大される。これはデフォルトして提供され得、つまり、入力のサイズＳｍがダウンサンプリング比ｒｍの最も近い大きい方の整数倍よりもレイヤｍのダウンサンプリング比の小さい方の整数倍により近いかどうかに関わらず、サイズＳｍは、例えば、上記の実施形態で見られるようにパディングを使用することによって、増大される。それによって、入力に含まれている情報の損失は回避される。
一実施形態で、条件は、Ｍｉｎ（｜Ｓ－ｌｒｍ｜，｜Ｓ－ｒｍ（ｌ＋１）｜）を使用し、条件は、Ｍｉｎが｜Ｓｍ－ｌｒｍ｜を投じるか又は選択する場合に、入力のサイズＳｍは
に低減され、Ｍｉｎが｜Ｓｍ－（ｌ＋１）ｒｍ｜を投じるか又は選択する場合に、入力のサイズＳｍは、
に増大されることを含む。この条件を使用することによって、計算上より効率的なリスケーリングが適用されることが確かにされる。
具体的に、ｌは、ダウンサンプリングレイヤｍへの入力のサイズＳｍ及びダウンサンプリングレイヤｍのダウンサンプリング比ｒｍのうちの少なくとも一方を用いて決定されてよい。
１つの具体的な実施形態では、ｌは、ｌ＝ｆｌｏｏｒ（Ｓｍ／ｒｍ）によって決定され、かつ／あるいは、ｌ＋１は、ｌ＋１＝ｃｅｉｌ（Ｓｍ／ｒｍ）によって決定される。これは、計算上効率の良い方法で上記の値を求めることを可能にする。上記の実施形態から分かるように、ｌは、必ずしも何らかの計算の出力の形で明示的に求められず、
の計算中に直接使用され得る。
これの他の具体的な実現では、条件は、
を最小化するために値の組｛ｋｒｍ｝からの
の選択であり、ここで、ｋは正の整数であり、Ｓはリスケーリング前の入力のサイズである。この条件を使用することによって、計算上より効率的なリスケーリングが適用されることが確かにされ得る。
一実施形態で、ダウンサンプリングレイヤの少なくとも１つは、２つの次元で入力（にダウンサンプリングを適用し、第１次元でのダウンサンプリング比は、第２次元でのダウンサンプリング比に等しい。この実施形態は、ピクチャのサイズの有意な低減を実現する。ピクチャのサイズは、例えば、その幅及び高さによって、例えば、幅及び高さの方向におけるサンプルの数によって定義される。
更なる実施形態では、全てのダウンサンプリングレイヤのダウンサンプリング比は等しい。全てのダウンサンプリングのダウンサンプリング比が等しい場合に、必要であるリスケーリングを決定することは、計算上より容易である。
ニューラルネットワークＮＮにより、ピクチャを表すビットストリームを復号する方法によれば、一実施形態に従って、ＮＮは、少なくとも１つの次元でサイズＴを有するマトリクスを表す入力にアップサンプリングを適用する少なくとも２つのアップサンプリングレイヤを含む複数のレイヤを有し、方法は、第１アップサンプリングレイヤによって入力を処理し、第１アップサンプリングレイヤの出力を供給することであり、出力は、サイズ
を有し、ｕ１は、第１アップサンプリングレイヤのアップサンプリング比である、ことと、
第２アップサンプリングレイヤによって第１アップサンプリングレイヤの出力を処理する前に、第１アップサンプリングレイヤの出力にリスケーリングを適用することであり、リスケーリングは、少なくとも１つの次元での出力のサイズ
を、取得された情報に基づいて少なくとも１つの次元でのサイズ
に変更することを含む、ことと、
リスケーリング（リサイズ）された出力を第２アップサンプリングレイヤによって処理し、第２アップサンプリングレイヤの出力を供給することであり、ここで又はそれにより、出力は、少なくとも１つの次元でサイズ
を有し、ｕ２は、第２アップサンプリングレイヤのアップサンプリング比である、ことと、
ＮＮを用いてビットストリームを処理した後（例えば、ＮＮの各レイヤでビットストリームを処理した後）、復号されたピクチャをＮＮの出力として供給することと
を有する。
復号されたピクチャが、ビットストリームを復号する本方法により再構成されるということで、復号されたピクチャは、再構成されたピクチャとも呼ばれ得る。復号されたピクチャは、マトリクスの形で提示されるか又は表現可能であることができ、その意味で、幅Ｗ及び高さＨを有し得る。
更に、
は、第１アップサンプリングレイヤの出力の目標出力サイズ及び第２アップサンプリングレイヤの目標入力サイズと呼ばれ得る。
取得された情報は、例えば、復号されたビットストリーム又はそれが表すマトリクスの目標出力サイズに関連する情報を有することができる。この情報は、デコーダで復号化を実行するのに必要であるか又は復号化を支援する情報であることができる。また、出力
に必要な特定のサイズのような他の情報も、取得された情報又はその部分であってよい。本開示は更に、どのように情報が取得されるかという具体的な方法に制限されない。例えば、情報は、デコーダに既に利用可能であってよく、あるいは、それは、符号化されたビットストリーム又は追加のビットストリームによりデコーダへ供給されてもよい。また、それらの組み合わせも可能である。
符号化の場合と同様に、ビットストリームは、任意の適当な形式で供給されてよい。この方法によれば、サイズを低減されているビットストリームからビットストリームにおいて符号化されている情報を再構成するためにビットストリームを復号することが可能である。
アップサンプリングレイヤは、転置畳み込み（逆畳み込み）レイヤを有する、ことが提供され得る。
転置畳み込みは、「逆畳み込み」とも呼ばれ得る。これは、エンコーダによって適用され得る畳み込みと比較して逆の操作であり、復号されたビットストリームを最終的に得るために入力の離散表現を含む。
一実施形態で、情報は、ビットストリームによって表されるマトリクスの目標サイズ、ビットストリームによって表現されるマトリクスの高さＨ、ビットストリームによって表現されるマトリクスの幅Ｗ、アップサンプリング比ｕ１、アップサンプリング比ｕ２、第２アップサンプリングレイヤの目標出力サイズ
、サイズ
のうちの少なくとも１つを含む。
更なる実施形態では、情報は、ビットストリーム、第２ビットストリーム、デコーダで利用可能な情報、のうちの少なくとも１つから取得される。情報は、デコーダに既に知られているので、例えば、アップスケーリング比に関する限り、デコーダで利用可能であることができる。目標サイズのような更なる情報も、デコーダに既に利用可能であることができる。しかし、例えば、中間ステップのサイズは、デコーダに知られていない場合があるので、それがデコーダの詳細に依存し得るということで、ビットストリーム自体によって又は別個のビットストリームで供給されてもよい。これは、使用されるアップサンプリング及びダウンサンプリングレイヤに関してもデコーダがエンコーダの“逆”として実装される場合に特に関係があり、あるいは、そのような場合に特に有利であり得る。これにより、デコーダに必要である情報の量が供給され得、計算効率が良い一方で、同時に、ビットストリームのサイズを最小限に保つ又は低減することができる。
少なくとも１つの次元でのサイズ
をサイズ
に変更するリスケーリングは、
に依存する式に基づいて決定されることも企図され得、ここで、
は、第２アップサンプリングレイヤの出力の目標出力サイズであり、ｕ２は、第２アップサンプリングレイヤのアップサンプリング比である。
アップサンプリング比ｕ２は固定であるが、この第２アップサンプリングレイヤの入力のサイズはリスケーリングに依存するということで、アップサンプリング後の出力サイズも、実際に適用されたリスケーリングに依存する。翻って、出力の目標サイズが固定である（例えば、後続レイヤにおける入力の要件による）場合に、これらの条件はリスケーリングを決定するために使用され得る。それによって、通常はデコーダそれ自体に利用可能である情報（具体的に、最終的な目標サイズ）は、ビットストリームに含まれる必要がある情報の量を更に減らすことができ、それによってそのサイズを低減する必須のリスケーリングを決定するために使用され得る。
更なる実施形態では、少なくとも１つの次元でのサイズ
をサイズ
に変更するリスケーリングは、ｕ２及びＮに依存する式に基づいて決定され、Ｎは、ＮＮによるビットストリームの処理順序において第１アップサンプリングレイヤに続くアップサンプリングレイヤの総数である。
この実施形態では、アップサンプリングレイヤの夫々は、同じアップサンプリング比を有し、この実施形態により、必要とされるリスケーリングの計算効率の良い計算が可能である。具体的に、各レイヤのリスケーリングは、アップサンプリング比、最終的な目標サイズ、及び処理される必要がある残りのレイヤの数Ｎにのみ依存する。しかし、この実施形態は、全てのアップサンプリングレイヤが同じアップサンプリング比を有する場合に制限されない。一例では、第１アップサンプリングレイヤに続くレイヤのアップサンプリング比は、２及び８であってよい。この場合に、計算の単純化のために、２に等しい残りレイヤの数Ｎ及び４に等しいアップサンプリング比ｕ２を考慮に入れることが可能である。
一実施形態で、式は、
によって与えられ、Ｔｏｕｔｐｕｔは、ＮＮの出力の目標サイズである。
式は、後続レイヤのための合理的に処理可能なリスケーリングされた入力を得るために、リスケーリングが常に、前のレイヤの出力に加えられるか又は該出力から減じられ得る整数値であることを保証する。最後のアップサンプリングレイヤについては、アップサンプリングが、いくつかの実施形態で、ＮＮの出力の目標サイズＴｏｕｔｐｕｔを常にもたらす、ことが留意されるべきである、具体的に、デコーダのＮＮの最後のレイヤについては、よって、最後のレイヤへの入力が適切なサイズを有するかどうか又は最後のレイヤの出力が適切なサイズを有するかどうかをチェックしなくてもよい。
より具体的には、サイズＴ３を示す指示が、ビットストリームに含まれてもよい。
代替の実施形態では、式は、
によって与えられるか、あるいは、式は、
によって与えられる。それによって、リスケーリングは、後続レイヤの出力サイズにのみ依存するように提供される。これは、必要なリスケーリングを決定する際の計算複雑性を低減することができる。
複数の事前定義された式のうちのどれが選択されるかを示す指示がビットストリームから取得されることも提供され得る。複数の事前定義された式は、上述されたようにかつ以下で言及されるように、
を決定するための式を含んでもよい。
一実施形態で、方法は、サイズ
を有する出力に対するリスケーリングの前に、出力の前イズ
がサイズ
と一致するかどうかを決定することを更に有する。かような決定は、サイズ
を有する出力の不必要なリスケーリングを潜在的に回避するために使用され得る。
更には、サイズ
がサイズ
と一致すると決定される場合に、サイズ
を変更するリスケーリングは適用されないことが提供され得る。これは、サイズ
へのリスケーリングを生じさせるサイズ
にリスケーリングが適用されないことを意味する。しかし、サイズを変更せずに形式的にリスケーリングを適用する「同一の変換」が、たとえサイズ
がサイズ
と一致すると決定されるとしても依然として起用されてよい。例えば、サイズ
である場合に、これは
をもたらし、これに基づき適用されたリスケーリングは
を変更しない。
更なる実施形態では、方法は、サイズ
がサイズ
よりも大きいかどうか又はサイズ
がサイズ
よりも小さいかどうかを決定することを更に有する。この決定に基づいて、リスケーリングに関して、更なる動作がとられてもよい。例えば、この決定に基づいて、サイズ
は、１つの特定の技術を用いて低減されてよく、あるいは、
は、他の技術を用いて増大されてもよい。
更なる実施形態では、サイズ
がサイズ
よりも大きいと決定される場合に、リスケーリングは、サイズ
を有する出力にクロッピングを適用して、サイズ
がサイズ
に低減されるようにすることが提供され得る。クロッピングは情報の損失を生じさせるが、サイズ
を低減させるための計算効率の良い方法である。
一実施形態で、サイズ
がサイズ
よりも小さいと決定される場合に、リスケーリングは、サイズ
を有する出力にパディングを適用して、サイズ
がサイズ
に増大されるようにすることが提供され得る。パディングは、種々の方法で実現され得る。具体的に、パディングは、追加情報がサイズ
を有する出力の１つ以上の境界にのみ加えられるように提供されてよい。それによって、再構成されたピクチャ内で関連性が低い可能性のある領域のみパディングの影響を受け得るので、再構成されたピクチャの品質は向上する。
より具体的な実施形態では、パディングは、サイズ
を有する出力にゼロを又はサイズ
を有する出力から得られたパディング情報をパディングすることを有する。いずれの代替案にも利点がある。ゼロによるパディングは、出力の情報から独立しているということで、計算効率の良い方法で実現され得る。サイズ
を有する出力から得られた情報を出力にパディングすることは、計算上通常はより複雑であるが、出力における実際の情報と付加された情報との間のトランジションを制御することを可能にするので、再構成されたピクチャでの処理アーチファクトを軽減することを可能にする。
更なるより具体的な実施形態では、サイズ
を有する出力から得られたパディング情報は、出力のサイズ
をサイズ
に増大させる冗長なパディング情報として適用される。
一実施形態で、パディングは、反射パディング又は繰り返しパディングを有する。
更なる実施形態では、パディング情報は、冗長なパディング情報が加えられるべき出力内の領域に最も近い、サイズ
を有する出力の少なくとも１つの値であるか又は該少なくとも１つの値を含む。これは、実際の出力とパディングによって付加された情報との間のトランジションでのひずみを低減させる。
更には、
が
に等しくないと決定される場合に、リスケーリングは補間フィルタを適用することを含むことが更に提供され得る。
一般的に、サイズ
を計算するためのリサイジング式は、次の形式：
を有し得る。例えば、
である。
一例で、各アップサンプリングレイヤ後にサイズを計算するための式は異なってもよい。例えば：
である。
情報は、ビットストリーム又は更なるビットストリームで提供され、ビットストリームを符号化したエンコーダの少なくとも１つのダウンサンプリングレイヤのダウンサンプリング比ｒｍを含み、ダウンサンプリングレイヤは、入力を処理する順序において、デコーダのアップサンプリングレイヤに対応することも提供され得る。
この実施形態は、エンコーダ及びデコーダが互いの厳密に反転であることによって互いに対応している場合に、特に有利である。
一実施形態で、アップサンプリングレイヤの少なくとも１つは、２つの次元でアップサンプリングを適用し、第１次元でのアップサンプリング比は、第２次元でのアップサンプリング比に等しい。
更なる実施形態では、全てのアップサンプリングレイヤのアップサンプリングは等しい。
これは、デコーダの計算複雑性を軽減する。
更に、ビットストリームは、幅Ｗを有する第１次元及び幅Ｈを有する第２次元を有するマトリクスを表すか、及び／又は復号されたビットストリームは再構成されたピクチャ、例えば、静止画及び／又はビデオピクチャであることが提供され得る。かようなビットストリームについては、当該復号化方法を適用することが特に有利である。
更なる実施形態では、リスケーリングは、リスケーリングに従って入力のサイズを変更するために補間、パディングクロッピングを入力に適用することの少なくとも１つであるか又はその少なくとも１つを含むリスケーリング操作を有する。これらのリスケーリング操作は、リスケーリングが元の入力のサイズの増大又は元の入力のサイズの低減を有する場合に有利に適用され得る。
一実施形態で、ＮＮは、ＮＮによるビットストリームの処理順序において、少なくとも１つの次元での入力のサイズを変更しない入力への変換を適用する更なるユニットを含み、方法は、更なるユニットによる入力の処理の後、後続のレイヤによって入力を処理する前に、リスケーリングが少なくとも１つの次元での入力のサイズの増大をもたらす場合に、リスケーリングを適用することを有し、かつ／あるいは、方法は、更なるユニットによる入力の処理の前に、リスケーリングが少なくとも１つの次元での入力のサイズの低減を含む場合に、リスケーリングを適用することを有する。
それによって、ニューラルネットワークの各レイヤ又はステップで必要な処理は、最小限に保たれる。
更なるユニットは、バッチ正規化部及び／又は正規化線形ユニットＲｅＬＵであることができ、あるいは、それを有することができる。
かような更なるユニットは、これらのユニットの後又はそれらの前にリスケーリングが行われる場合に計算効率を向上させることができるマトリクスのエントリへの変更を適用する。それによって、冗長な又は意味のない情報の不必要な処理は回避される。
また更には、ビットストリームは、ビットストリームの異なるカラーチャネルに対応するサブビットストリームを有してもよく、ＮＮは、サブニューラルネットワークｓＮＮを有し、ｓＮＮは夫々、上記の実施形態のいずれかに係る方法を、ｓＮＮへの入力として供給されたサブビットストリームに適用するよう構成される。
これは、本開示を、例えば、基礎を成すビットストリームの異なるカラーチャネルが考慮されるべきであるが、これらが互いに独立して符号化される場合にも適用可能にする。
更なる実施形態では、リスケーリングがサイズＳをサイズ
に増大させることを含む場合に、サイズ
は、
によって与えられ、リスケーリングがサイズＳをサイズ
に低減させることを含む場合に、サイズ
は、
によって与えられることが提供される。これらのリスケーリングによれば、後続のダウンサンプリングレイヤへのリスケーリングされた入力のサイズは常に、サイズＳを有する入力を処理する後続のダウンサンプリングレイヤのダウンサンプリング比ｒの整数倍であることが保証される。
他の実施形態では、リスケーリングがサイズ
をサイズ
に増大させることを含む場合に、サイズ
は、
によって与えられ、リスケーリングがサイズ
をサイズ
に低減させることを含む場合に、サイズ
は、
によって与えられることが提供される。これによれば、アップサンプリングレイヤの出力は、続くアップサンプリングレイヤによって合理的に処理され得るサイズを有することが保証される。
一実施形態に従って、ピクチャを符号化するエンコーダが提供され、エンコーダは、ピクチャを受信（取得）する受信器又はインターフェースと、ニューラルネットワークＮＮを実装するよう構成され、ＮＮは、ＮＮによるピクチャの処理順序において、入力にダウンサンプリングを適用するよう構成される少なくとも１つのダウンサンプリングレイヤを含む複数のレイヤを有する、１つ以上のプロセッサと、ビットストリームを出力する送信器とを有し、エンコーダは、上記の実施形態のいずれかに係る方法を実行するよう構成される。このエンコーダは、ピクチャを符号化するための上記の実施形態に係る方法を有利に実施する。
更なる実施形態では、ピクチャを符号化するエンコーダが提供され、エンコーダは、ニューラルネットワークＮＮを実装する１つ以上のプロセッサを有し、１つ以上のプロセッサは、上記の実施形態のいずれかに係る方法を実行するよう構成される。
従って、例えば、ニューラルネットワークＮＮによりピクチャを符号化するエンコーダが提供され、エンコーダは、ＮＮを実装する１つ以上のプロセッサを有し、ＮＮは、少なくとも１つの次元でサイズＳを有するマトリクスを表す入力にダウンサンプリングを適用する少なくとも１つのダウンサンプリングレイヤを含む複数のレイヤを有し、１つ以上のプロセッサは、少なくとも１つのダウンサンプリングレイヤにより入力を処理する前に、入力にリスケーリングを適用することであり、リスケーリングは、
であるように、少なくとも１つの次元でのサイズＳを変更することを含み、ここで、ｒは、レイヤのダウンサンプリング比である、ことと、リスケーリングの後に、ダウンサンプリングレイヤによって入力を処理し、サイズＳ１＜Ｓを有する出力を供給することと、ＮＮによりピクチャを処理した後（例えば、ＮＮの各レイヤでピクチャを処理した後）、ビットストリームをＮＮの出力として供給することとを実行するよう構成される。
一実施形態で、ピクチャを表すビットストリームを復号するデコーダが提供され、デコーダは、ビットストリームを受信する受信器又はインターフェースと、ニューラルネットワークＮＮを実装するよう構成され、ＮＮは、ＮＮによるビットストリームの処理順序において、入力にアップサンプリングを適用するよう構成される少なくとも２つのアップサンプリングレイヤを含む複数のレイヤを有する、１つ以上のプロセッサと、復号されたピクチャを出力する送信器とを有し、デコーダは、上記の実施形態の方法のいずれかを実行するよう構成される。このデコーダは、ピクチャを表すビットストリームを復号する上記の方法の利点を実現する。
一実施形態で、ピクチャを表すビットストリームを復号するデコーダが提供され、デコーダは、ニューラルネットワークＮＮを実装する１つ以上のプロセッサを有し、１つ以上のプロセッサは、上記の実施形態のいずれかに係る方法を実行するよう構成される。
従って、例えば、ピクチャを表すビットストリームを復号するデコーダが提供され、デコーダは、ＮＮを実装する１つ以上のプロセッサを有し、ＮＮは、少なくとも１つの次元でサイズＴを有するマトリクスを表す入力にアップサンプリングを適用する少なくとも第１アップサンプリングレイヤ及び第２アップサンプリングレイヤを含む複数のレイヤを有し、１つ以上のプロセッサは、第１アップサンプリングレイヤによって入力を処理し、第１アップサンプリングレイヤの出力を供給することであり、出力は、サイズ
を有し、ｕ１は、第１アップサンプリングレイヤのアップサンプリング比である、ことと、第２アップサンプリングレイヤによって第１アップサンプリングレイヤの出力を処理する前に、第１アップサンプリングレイヤの出力にリスケーリングを適用することであり、リスケーリングは、少なくとも１つの次元での出力のサイズ
を、取得された情報に基づいて少なくとも１つの次元でのサイズ
に変更することを含む、ことと、リスケーリングされた出力を第２アップサンプリングレイヤによって処理し、第２アップサンプリングレイヤの出力を供給することであり、出力は、少なくとも１つの次元でサイズ
を有し、ｕ２は、第２アップサンプリングレイヤのアップサンプリング比である、ことと、ＮＮを用いてビットストリームを処理した後（例えば、ＮＮの各レイヤでビットストリームを処理した後）、復号されたピクチャをＮＮの出力として供給することとを実行するよう構成される。
実施形態において、コンピュータプログラムが提供され、コンピュータプログラムは、例えば、コンピューティングシステムで又は１つ以上のプロセッサによって実行される場合に、上記の実施形態のいずれかに係る方法を実行するよう構成される。
他の実施形態では、コンピュータ可読記憶媒体が提供され、コンピュータ可読記憶媒体は、コンピューティングシステムで実行される場合に、コンピューティングシステムに、上記の実施形態のいずれかに係る方法を実行させるコンピュータ実行可能命令を有する。具体的に、コンピュータ可読記憶媒体は非一時的な媒体であることができる。
本開示の実施形態を実施するよう構成されるビデオコーディングシステムの例を示すブロック図である。 本開示のいくつかの実施形態を実施するよう構成されるビデオコーディングシステムの他の例を示すブロック図である。 符号化装置又は復号化装置の例を表すブロック図である。 符号化装置又は復号化装置の他の例を表すブロック図である。 一実施形態に係るエンコーダ及びデコーダを一緒に示す。 入力の符号化及び復号化の模式図を示す。 ＶＡＥフレームワークに従うエンコーダ及びデコーダを示す。 一実施形態に従って図４に係るエンコーダのコンポーネントを示す。 一実施形態に従って図４に係るデコーダのコンポーネントを示す。 入力のリスケーリング及び処理を示す。 エンコーダ及びデコーダを示す。 更なるエンコーダ及び更なるデコーダを示す。 一実施形態に従って入力のリスケーリング及び処理を示す。 一実施形態に従ってリスケーリングオプションのシグナリングの実施形態を示す。 図１３に係る実施形態のより具体的な実現を示す。 図１４に係る実施形態のより具体的な実現を示す。 パディング操作の種々の可能性の比較を示す。 パディング操作の種々の可能性の更なる比較を示す。 一実施形態に従って、エンコーダ及びデコーダと、エンコーダ及びデコーダへの入力の処理における関係とを示す。 一実施形態に係るエンコーダの模式図を示す。 一実施形態に係るデコーダの模式図を示す。 符号化の実施形態を示すフロー図を示す。 復号化の実施形態のフロー図を示す。 リスケーリングするとの決定が条件に応じてどのように行われるかの実施形態を示す。
以下で、いくつかの実施形態は、図を参照して記載される。図１から３は、更なる図で記載される本発明のより具体的な実施形態とともに使用され得るビデオコーディングのシステム及び方法を参照する。具体的に、図１から３に関して記載される実施形態は、ビットストリームの符号化及び／又はビットストリームの復号化のためにニューラルネットワークを利用する、以下で更に記載される符号化／復号化技術とともに使用されてよい。
以下の記載では、本開示の一部を形成し、実例として、本開示の具体的な態様、又は本開示の実施形態が使用される可能性がある具体的な態様を示す添付の図面が参照される。実施形態は、他の態様で使用され、図に表されていない構造上又は論理上の変更を含んでもよいことが理解される。従って、以下の詳細な説明は、限定の意味で解釈されるべきではなく、本開示の範囲は、添付の特許請求の範囲によって定義される。
例えば、開示は、記載される方法に関連して、方法を実行するよう構成される対応するデバイス又はシステムにも当てはまり、逆もまた然りであることが理解される。例えば、１つ又は複数の具体的な方法ステップが記載される場合に、対応する装置は、記載されている１つ又は複数の方法ステップを実行するための１つ又は複数のユニット、例えば、機能ユニット（例えば、１つ又は複数のステップを実行する１つのユニット、あるいは、複数のステップのうちの１つ以上を夫々実行する複数のユニット）を、たとえそのような１つ以上のユニットが明示的に記載又は図示されていないとしても、含んでよい。他方で、例えば、具体的な装置が１つ又は複数のユニット、例えば、機能ユニットに基づいて記載される場合に、対応する方法は、１つ又は複数のユニットの機能を実行するための１つのステップ（例えば、１つ又は複数のユニットの機能を実行する１つのステップ、あるいは、複数のユニットのうちの１つ以上の機能を夫々実行する複数のステップ）を、たとえそのような１つ又は複数のステップが明示的に記載又は図示されていないとしても、含んでよい。更に、ここで記載されている様々な例示的な実施形態及び／又は態様の特徴は、特に別なふうに述べられない限りは、互いに結合されてもよいことが理解される。
ビデオコーディングは、通常、ビデオ又はビデオシーケンスを形成するピクチャの連続の処理を指す。「ピクチャ」という用語の代わりに、「フレーム」又は「画像」という用語が、ビデオコーディングの分野では同義語として使用される場合がある。ビデオコーディング（又はコーディング全般）は、２つの部分、つまり、ビデオ符号化及びビデオ復号化を含む。ビデオ符号化はソース側で実行され、通常、（より効率的な記憶及び／又は伝送のために）ビデオピクチャを表現するのに必要なデータの量を減らすよう元のビデオピクチャを（例えば、圧縮によって）処理することを含む。ビデオ復号化はあて先側で実行され、通常、ビデオピクチャを再構成するためにエンコーダと比較して逆の処理を含む。ビデオピクチャ（又はピクチャ全般）の“コーディング”に言及する実施形態は、ビデオピクチャ又は各々のビデオシーケンスの“符号化”又は“復号化”に関係があると理解されるべきである。符号化部分及び復号化部分の結合は、ＣＯＤＥＣ（Ｃｏｄｉｎｇ ａｎｄ Ｄｅｃｏｄｉｎｇ）とも呼ばれる。
可逆ビデオコーディングの場合に、元のビデオピクチャは再構成可能であり、つまり、再構成されたビデオピクチャは元のビデオピクチャと同じ品質を有する（記憶又は伝送の間に伝送損失又は他のデータ損失がないとする）。不可逆ビデオコーディングの場合に、例えば、量子化による、更なる圧縮が、ビデオピクチャを表すデータの量を減らすために実行され、これにより、ビデオピクチャはデコーダで完全には再構成され得ず、つまり、再構成されたビデオピクチャの品質は、元のビデオピクチャの品質と比べて低いか又は悪い。
いくつかのビデオコーディング標準規格は、“不可逆ハイブリッドビデオコーデック”（つまり、同じ領域での空間及び時間予測と、変換領域で量子化を適用する２Ｄ変換コーディングとを組み合わせること）のグループに属する。ビデオシーケンスの各ピクチャは、通常、重なり合わないブロックの組にパーティション化され、コーディングは、通常、ブロックレベルで実行される。換言すれば、エンコーダでは、ビデオは、通常、ブロック（ビデオブロック）レベルで、例えば、空間（イントラピクチャ）予測及び／又は時間（インターピクチャ）予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック（現在処理中の／処理されることになっているブロック）から引き算して残差ブロックを取得し、残差ブロックを変換し、残差ブロックを変換領域で量子化して、伝送されるべきデータの量を減らすこと（圧縮）によって、処理、つまり、符号化され、一方、デコーダでは、エンコーダと比較して逆の処理が、表示のために現在ブロックを再構成するよう、符号化又は圧縮されたブロックに適用される。更に、エンコーダはデコーダ処理ループを複製し、それにより、両方ともが、後続のブロックを処理、つまり、コーディングするために、同じ予測（例えば、イントラ及びインター予測）及び／又は再構成を生成することになる。近年、いくつかの部分又は符号化及び復号化チェーンの全体は、ニューラルネットワーク又は、一般に、任意の機械学習若しくはディープラーニングフレームワークを使用することによって実施されている。
ビデオコーディングシステム１０の以下の実施形態では、ビデオエンコーダ２０及びビデオデコーダ３０が図１に基づいて記載される。
図１Ａは、例となるコーディングシステム１０、例えば、本願の技術を利用し得るビデオコーディングシステム（略してコーディングシステム１０）を表す略ブロック図である。ビデオコーディングシステム１０のビデオエンコーダ２０（略してエンコーダ２０）及びビデオデコーダ３０（略してデコーダ３０）は、本願で記載される様々な例に従う技術を実行するよう構成され得るデバイスの例を表す。
図１Ａに示されるように、コーディングシステム１０は、例えば、符号化されたピクチャデータ１３を復号するあて先デバイス１４へ、符号化されたピクチャデータ２１を供給するよう構成されるソースデバイス１２を有する。
ソースデバイス１２はエンコーダ２０を有し、更には、つまり、任意に、ピクチャソース１６、プリプロセッサ（又は前処理ユニット）１８、例えば、ピクチャプリプロセッサ１８、及び通信インターフェース又は通信ユニット２２を有してもよい。本開示のいくつかの実施形態（例えば、初期リスケーリング又は２つの連続するレイヤ間のリスケーリングに関係がある）は、エンコーダ２０によって実施されてよい。いくつかの実施形態（例えば、初期リスケーリングに関係がある）は、ピクチャプリプロセッサ１８によって実施されてよい。
ピクチャソース１６は、任意の種類のピクチャ捕捉デバイス、例えば、現実世界のピクチャを捕捉するカメラ、及び／又は任意の種類のピクチャ生成デバイス、例えば、コンピュータアニメーション化されたピクチャを生成するコンピュータグラフィクスプロセッサ、あるいは、現実世界のピクチャ、コンピュータにより生成されたピクチャ（例えば、スクリーンコンテンツ、仮想現実（ＶＲ）ピクチャ）及び／又はそれらの任意の組み合わせ（例えば、拡張現実（ＡＲ）ピクチャ）を取得及び／又は供給する任意の種類の他のデバイスを有しても又はそのようなものであってもよい。ピクチャソースは、上記のピクチャのいずれかを記憶する任意の種類のメモリ又はストレージであってもよい。
プリプロセッサ１８及び前処理ユニット１８によって実行される処理と区別して、ピクチャ又はピクチャデータ１７は、生ピクチャ又は生ピクチャデータ１７とも呼ばれ得る。
プリプロセッサ１８は、（生）ピクチャデータ１７を受け取り、ピクチャデータ１７に前処理を実行して、前処理されたピクチャ１９又は前処理されたピクチャデータ１９を取得するよう構成される。プリプロセッサ１８によって実行される前処理は、例えば、トリミング、（例えば、ＲＧＢからＹＣｂＣｒへの）カラーフォーマット変換、色補正、又はノイズ除去を含んでもよい。前処理ユニット１８は任意のコンポーネントであってもよい、ことが理解され得る。
ビデオエンコーダ２０は、前処理されたピクチャデータ１９を受け取り、符号化されたピクチャデータ２１を供給するよう構成される。
ソースデバイス１２の通信インターフェース２２は、符号化されたピクチャデータ２１を受け取り、符号化されたピクチャデータ２１（又はその任意の更に処理されたバージョン）を通信チャネル１３上で他のデバイス、例えば、あて先デバイス１４又は任意の他のデバイスへ記憶又は直接の再構成のために送信するよう構成されてよい。
あて先デバイス１４はデコーダ３０（例えば、ビデオデコーダ３０）を有し、更には、つまり任意に、通信インターフェース又は通信ユニット２８、ポストプロセッサ３２（又は後処理ユニット３２）、及び表示デバイス３４を有してもよい。
あて先デバイス１４の通信インターフェース２８は、符号化されたピクチャデータ２１（又はその任意の更に処理されたバージョン）を、例えば、ソースデバイス１２から直接又は、任意の他のソース、例えば、記憶デバイス、例えば、符号化ピクチャデータ記憶デバイスから受け取り、符号化されたピクチャデータ２１をデコーダ３０へ供給するよう構成される。
通信インターフェース２２及び通信インターフェース２８は、符号化されたピクチャデータ２１又は符号化されたデータ１３を、ソースデバイス１２とあて先デバイス１４との間の直接通信リンク、例えば、直接有線若しくは無線接続を介して、あるいは、任意の種類のネットワーク、例えば、有線若しくは無線ネットワーク又はそれらの任意の組み合わせ、又は任意の種類のプライベート及びパブリックネットワーク、あるいは、それらの任意の組み合わせを介して、送信又は受信するよう構成されてよい。
通信インターフェース２２は、例えば、符号化されたピクチャデータ２１を適切なフォーマット、例えば、パケットにパッケージ化するよう、及び／又は通信リンク若しくは通信ネットワーク上での伝送のために任意の種類の伝送符号化若しくは処理を使用して、符号化されたピクチャデータを処理するよう構成されてよい。
通信インターフェース２８は、通信インターフェース２２の対応物を形成し、例えば、送信されたデータを受信し、任意の種類の対応する伝送復号化若しくは処理及び／又はデパッキングにより伝送データを処理して、符号化されたピクチャデータ２１を取得するよう構成されてよい。
通信インターフェース２２及び通信インターフェース２８のいずれも、図１Ａでソースデバイス１２からあて先デバイス１４に向いた通信チャネル１３の矢印によって示されるような一方向の通信インターフェース、又は双方向の通信インターフェースとして構成されてよく、例えば、メッセージを送信又は受信するよう、例えば、通信リンク及び／又はデータ伝送、例えば、符号化されたピクチャデータ伝送に関係がある任意の他の情報を承認及び交換するために、接続をセットアップするよう構成されてよい。
デコーダ３０は、符号化されたピクチャデータ２１を受け取り、復号されたピクチャデータ３１又は復号されたピクチャ３１を供給するよう構成される（更なる詳細は、例えば、図３に基づいて、以下で記載される）。
あて先デバイス１４のポストプロセッサ３２は、復号されたピクチャデータ３１（再構成されたピクチャデータとも呼ばれる）、例えば、復号されたピクチャ３１を後処理して、後処理されたピクチャデータ３３、例えば、後処理されたピクチャ３３を取得するよう構成される。後処理ユニット３２によって実行される後処理は、例えば、（例えば、ＹＣｂＣｒからＲＧＢへの）カラーフォーマット変換、色補正、トリミング、若しくはリサンプリング、又は、例えば、復号されたピクチャデータ３１を、例えば、表示デバイス３４による表示のために準備するための任意の他の処理を有してもよい。
本開示のいくつかの実施形態は、デコーダ３０によって又はポストプロセッサ３２によって実施されてよい。
あて先デバイス１４の表示デバイス３４は、ピクチャを、例えば、ユーザ又はビューアに表示するために、後処理されたピクチャデータを受け取るよう構成される。表示デバイス３４は、再構成されたピクチャを表示するための任意の種類のディスプレイ、例えば、内蔵された又は外付けのディスプレイ又はモニタであっても、あるいは、そのようなものを有してもよい。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、リキッドクリスタル・オン・シリコン（ＬＣｏＳ）、デジタルライトプロセッサ（ＤＬＰ）又は任意の種類の他のディスプレイを有してもよい。
図１Ａはソースデバイス１２及びあて先デバイス１４を別個のデバイスとして表しているが、デバイスの実施形態は、両方又は両方の機能、ソースデバイス１２又は対応する機能及びあて先デバイス１４又は対応する機能を有してもよい。かような実施形態では、ソースデバイス又は対応する機能及びあて先デバイス１４又は対応する機能は、同じハードウェア及び／又はソフトウェアを用いて、あるいは、別個のハードウェア及び／又はソフトウェア又はそれらの任意の組み合わせによって、実施されてもよい。
記載に基づき当業者に明らかなように、異なるユニットの機能、つまり、図１Ａに示されるソースデバイス１２及び／又はあて先デバイス１４内の機能の存在及び（厳密な）分割は、実際のデバイス及びアプリケーションに応じて様々であってよい。
エンコーダ２０（例えば、ビデオエンコーダ２０）若しくはデコーダ３０（例えば、ビデオデコーダ３０）又はエンコーダ２０及びデコーダ３０の両方は、１つ以上のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ハードウェア、ビデオコーディング専用、又はそれらの任意の組み合わせなどの、図１Ｂに示されている処理回路により実施されてもよい。エンコーダ２０は、ここで記載されている様々なモジュール及び／又は任意の他のエンコーダシステム若しくはサブシステムを具現化するよう処理回路４６により実施されてもよい。デコーダ３０は、ここで記載されている様々なモジュール及び／又は任意の他のデコーダシステム若しくはサブシステムを具現化するよう処理回路４６により実施されてもよい。処理回路は、後述される様々な動作を実行するよう構成されてよい。図３に示されるように、技術が部分的にソフトウェアで実施される場合に、デバイスは、適切な、非一時的なコンピュータ可読記憶媒体にソフトウェア用の命令を記憶してよく、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示の技術を実行してよい。ビデオエンコーダ２０及びビデオデコーダ３０のいずれも、例えば、図１Ｂに示されるように、単一のデバイスで複合エンコーダ／デコーダ（ＣＯＤＥＣ）の部分として組み込まれてもよい。
ソースデバイス１２及びあて先デバイス１４は、任意の種類の携帯又は固定デバイス、例えば、ノートブック若しくはラップトップコンピュータ、携帯電話、スマートフォン、タブレット若しくはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビジョン、表示デバイス、デジタルメディアプレイヤー、ビデオゲーム機、ビデオストリーミングデバイス（例えば、コンテンツサービスサーバ若しくはコンテンツ配信サーバ）、放送受信機、放送送信機、などを含む、広範なデバイスのうちのいずれかを有してよく、オペレーティングシステムを全く使用しなくても又は任意の種類のオペレーティングシステムを使用してもよい。いくつかの場合に、ソースデバイス１２及びあて先デバイス１４は、無線通信のために装備されてもよい。よって、ソースデバイス１２及びあて先デバイス１４は、無線通信デバイスであってもよい。
いくつかの場合に、図１Ａに表されているビデオコーディングシステム１０は、一例にすぎず、本願の技術は、符号化デバイスと復号化デバイスとの間の如何なるデータ通信も必ずしも含むわけではないビデオコーディング設定（例えば、ビデオ符号化又はビデオ復号化）に適用されてもよい。他の例では、データは、ローカルメモリから読み出されるか、ネットワーク上でストリーミングされるか、などである。ビデオ符号化デバイスは、データを符号化してメモリに記憶してよく、かつ／あるいは、ビデオ復号化デバイスは、メモリからデータを読み出して復号してよい。いくつかの例では、符号化及び復号化は、互いに通信しないデバイスによって実行されるが、単純にデータをメモリに符号化しかつ／あるいはデータをメモリから読み出して復号する。
記載の便宜上、いくつかの実施形態は、ここでは、例えば、Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）を参照して、又はＩＴＵ－Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）及ＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ－ＶＣ）によって開発された次世代のビデオコーディング標準であるＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ ｃｏｄｉｎｇ（ＶＶＣ）の参照ソフトウェアを参照して、記載される。当業者であれば、本発明の実施形態がＨＥＶＣ又はＶＶＣに制限されないことを理解するだろう。
図２は、本開示の実施形態に従うビデオコーディングデバイス４００の模式図である。ビデオコーディングデバイス４００は、ここで記載されている開示された実施形態を実装するのに適している。実施形態において、ビデオコーディングデバイス４００は、図１Ａのビデオデコーダなどのデコーダ、又は図１Ａのビデオエンコーダ２０などのエンコーダであってよい。
ビデオコーディングデバイス４００は、データを受け取る入口ポート４１０（又は入力ポート４１０）及び受信器ユニット（Ｒｘ）４２０と、データを処理するためのプロセッサ、ロジックユニット、又は中央演算処理装置（ＣＰＵ）４３０と、データを送信する送信器ユニット（Ｔｘ）４４０及び出口ポート４５０（又は出力ポート４５０）と、データを記憶するメモリ４６０とを有する。ビデオコーディングデバイス４００はまた、光又は電気信号の出口又は入口のために入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、及び出口ポート４５０へ結合された光電気（ＯＥ）コンポーネント及び電気光（ＥＯ）コンポーネントを有してもよい。
プロセッサ４３０は、ハードウェア及びソフトウェアによって実装される。プロセッサ４３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実装されてよい。プロセッサ４３０は、入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、出口ポート４５０、及びメモリ４６０と通信する。プロセッサ４３０はコーディングモジュール４７０を有する。コーディングモジュール４７０は、上記の開示された実施形態を実装する。例えば、コーディングモジュール４７０は、様々なコーデック操作を実装、処理、準備、又は提供する。コーディングモジュール４７０の包含は、従って、ビデオコーディングデバイス４００の機能性に実質的な改善をもたらし、異なる状態へのビデオコーディングデバイス４００の変形を達成する。代替的に、コーディングモジュール４７０は、メモリ４６０に記憶されてプロセッサ４３０によって実行される命令として実装される。
メモリ４６０は、１つ以上のディスク、テープドライブ、及びソリッドステートドライブを有してよく、プログラムが実行のために選択される場合にかようなプログラムを記憶するために、かつ、プログラム実行中に読み出される命令及びデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてもよい。メモリ４６０は、例えば、揮発性及び／又は不揮発性であってよく、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、及び／又は静的ランダムアクセスメモリ（ＳＲＡＭ）であってもよい。
図３は、例示的な実施形態に従って、ソースデバイス１２及びあて先デバイス１４の一方又は両方として使用され得る装置５００の略ブロック図である。
装置５００のプロセッサ５０２は、中央演算処理装置であることができる。代替的に、プロセッサ５０２は、現在存在しているか又は今後開発される、情報を操作又は処理可能な任意の他のタイプのデバイス又は複数のデバイスであることができる。開示されている実施は、示されるように単一のプロセッサ、例えば、プロセッサ５０２で実施することができるが、速度及び効率における利点は、１よりも多いプロセッサを用いて達成することができる。
装置５００のメモリ５０４は、実施においてランダムアクセスメモリ（ＲＯＭ）デバイス又はランダムアクセスメモリ（ＲＡＭ）デバイスであることができる。任意の他の適切なタイプの記憶デバイスがメモリ５０４として使用され得る。メモリ５０４は、バス５１２を用いてプロセッサ５０２によってアクセスされるコード及びデータ５０６を含むことができる。メモリ５０４は、オペレーティングシステム５０８及びアプリケーションプログラム５１０を更に含むことができ、アプリケーションプログラム５１０は、プロセッサ５０２がここで記載されている方法を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、アプリケーション１乃至Ｎを含むことができ、更には、ここで記載されてる方法を実行するビデオコーディングアプリケーションを含む。
装置５００はまた、ディスプレイ５１８などの１つ以上の出力デバイスも含むことができる。ディスプレイ５１８は、一例では、タッチ入力を検知するよう動作するタッチ検知素子とディスプレイを組み合わせるタッチ検知ディスプレイであってもよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２へ結合され得る。
単一のバスとしてここでは表されているが、装置５００のバス５１２は、複数のバスから成ることができる。更に、二次ストレージ５１４が、装置５００の他のコンポーネントへ直接に結合され得るか、あるいは、ネットワークを介してアクセス可能であり、メモリカードなどの単一の集積ユニット又は複数のメモリカードなどの複数のユニットを有することができる。装置５００は、このように、多種多様な構成で実施され得る。
以下では、本発明のより具体的な、非限定的な、例示的な実施形態が記載される。その前に、いくつかの説明が、本開示の理解を助けるよう与えられる。
人工ニューラルネットワーク（ＡＮＮ）又はコネクショニストシステムは、動物の脳を構成する生体ニューラルネットワークから漠然とインスピレーションを受けたコンピューティングシステムである。ＡＮＮは、生物学的な脳のニューロンを大まかにモデル化した、人工ニューロンと呼ばれる接続されたユニット又はノードの集合に基づいている。生物学的な脳のシナプスと同様に、各接続は他のニューロンに信号を送信することができる。信号を受信した人工ニューロンはそれを処理し、自身に接続されているニューロンに信号を送ることができる。ＡＮＮの実装では、接続における「信号」は実数であり、各ニューロンの出力は、その入力の合計に関する何らかの非線形関数によって計算することができる。この接続はエッジと呼ばれている。ニューロン及びエッジは通常、学習の進行に応じて調整される重みを有する。重みにより、接続における信号の強度が増減する。ニューロンは閾値を有する場合があり、それにより、集合信号がその閾値を超えた場合にのみ信号が送信される。通常、ニューロンはレイヤに集約される。異なるレイヤは、それらの入力に対して異なる変換を実行してもよい。信号は、場合により複数回レイヤを通過した後、最初のレイヤ（入力レイヤ）から最後のレイヤ（出力レイヤ）まで伝わる。
ＡＮＮアプローチの当初の目標は、人間の脳と同じ方法で問題を解決することであった。時間が経つにつれて、特定のタスクを実行することに注意が移り、生物学から逸脱するようになった。ＡＮＮは、コンピュータビジョンを含む様々なタスクに使用されている。
「畳み込みニューラルネットワーク」（ＣＮＮ）という名前は、ネットワークが畳み込みと呼ばれる数学的演算を使用していることを示している。畳み込みは、特殊な種類の線形演算である。畳み込みネットワークは、単に、少なくとも１つのレイヤで一般的な行列乗算の代わりに畳み込みを使用するニューラルネットワークである。畳み込みニューラルネットワークは、入力レイヤ及び出力レイヤ、並びに複数の隠れレイヤから成る。入力レイヤは、処理のために入力が供給されるレイヤである。例えば、図６のニューラルネットワークはＣＮＮである。ＣＮＮの隠れレイヤは通常、乗算又は他のドット積を使って畳み込む一連の畳み込みレイヤから成る。レイヤの結果は、チャネルとも呼ばれることがある１つ以上の特徴マップである。一部又は全てのレイヤにサブサンプリングが含まれてもよい。結果として、特徴マップはより小さくなり得るす。ＣＮＮの活性化関数は、上で既に例示したＲＥＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）レイヤ又はＧＤＮレイヤであり、その後に、入力及び出力が活性化関数及び最終的な畳み込みによってマスクされるために隠れレイヤと呼ばれる、プーリングレイヤ、全結合レイヤ、及び正規化レイヤなどの追加の畳み込みが続く。レイヤは口語的に畳み込みと呼ばれるが、これは単に慣例によるものである。数学的には、それは技術的にスライディングドット積又は相互相関である。これは、特定のインデックスポイントでの重みの決定方法に影響を与えるため、マトリクスのインデックスにとって重要である。
ピクチャ又は画像を処理するためにＣＮＮをプログラミングする場合、入力は形状（画像の数）×（画像の幅）×（画像の高さ）×（画像の深さ）を持つテンソルである。次に、畳み込みレイヤを通過した後、画像は、形状（画像の数）×（特徴マップの幅）×（特徴マップの高さ）×（特徴マップチャネル）を持つ特徴マップに抽象化される。ニューラルネットワーク内の畳み込みレイヤには次の属性が必要である。幅及び高さ（ハイパーパラメータ）によって定義された畳み込みカーネル。入力チャネル及び出力チャネルの数（ハイパーパラメータ）。畳み込みフィルタの深さ（入力チャネル）は、入力特徴マップのチャネル数（深さ）と同じである必要がある。
これまで、画像認識には従来のマルチレイヤパーセプトロン（ＭＬＰ）モデルが使用されてきた。しかし、ノード間の完全な接続により、高次元性が問題となり、高解像度の画像ではうまく拡張できなかった。ＲＧＢカラーチャネルを含む１０００×１０００ピクセルの画像には３００万の重みがあり、完全な接続で大規模に効率的に処理するには高すぎる。また、このようなネットワークアーキテクチャはデータの空間構造を考慮しておらず、遠く離れた入力ピクセルを、互いに近いピクセルと同じように扱う。これは、計算的にも意味的にも、画像データ内の参照の局所性を無視している。従って、ニューロンの完全な接続は、空間的に局所的な入力パターンによって支配される画像認識などの目的にとっては無駄である。ＣＮＮモデルは、自然画像に存在する強力な空間的局所相関を利用することで、ＭＬＰアーキテクチャによってもたらされる課題を軽減する。畳み込みレイヤは、ＣＮＮの中核となる構成要素である。このレイヤのパラメータは、ひと組の学習可能なフィルタ（前述のカーネル）から成り、受容野は小さいが、入力ボリュームの深さ全体に広がる。順方向パス中に、各フィルタは入力ボリュームの幅及び高さにわたって畳み込まれ、フィルタのエントリと入力の間のドット積が計算され、そのフィルタの２次元活性化マップが生成される。その結果、ネットワークは、入力内のある空間位置である特定の種類の特徴を検出したときにアクティブになるフィルタを学習する。
全てのフィルタの活性化マップを深さ次元に沿って積み重ねると、畳み込みレイヤの完全な出力ボリュームが形成される。従って、出力ボリューム内の全てのエントリは、入力内の小さな領域を調べ、同じ活性化マップ内のニューロンとパラメータを共有するニューロンの出力として解釈することもできる。機能マップ又は活性化マップは、所与のフィルタの出力活性化である。機能マップと活性化とは同じ意味である。いくつかの論文では、それは、画像の種々の部分の活性化に対応するマッピングであるため、活性化マップと呼ばれたり、画像内で特定の種類の特徴が見つかる場所のマッピングでもあるため、特徴マップとも呼ばれたりする。活性化が高いということは、特定の機能が見つかったことを意味する。
ＣＮＮのもう１つの重要な概念は、非線形ダウンサンプリングの形式であるプーリングであるす。プーリングを実装する非線形関数はいくつかあるが、その中で最も一般的なのは最大値プーリングである。それは入力画像をひと組の重なり合わない長方形にパーティション化し、そのようなサブ領域ごとに最大値を出力する。直感的には、特徴の正確な位置は、他の特徴と比較した大まかな位置ほど重要ではない。これは、畳み込みニューラルネットワークでのプーリングの使用の背後にある考え方である。プーリングレイヤは、表現の空間サイズを段階的に縮小し、パラメータの数、メモリフットプリント、及びネットワーク内の計算量を削減し、それによってオーバーフィッティングを制御する役割も果たす。ＣＮＮアーキテクチャでは、連続した畳み込みレイヤの間にプーリングレイヤを周期的に挿入するのが一般的である。プーリング操作は別の形式の並進不変をもたらす。
上記ＲｅＬＵは、Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔの略称であり、非飽和活性化関数を適用する。それは、負の値をゼロに設定することで、活性化マップから負の値を有効に除く。それは、畳み込みレイヤの受容野に影響を与えることなく、決定関数及びネットワーク全体の非線形特性を高める。非線形性を高めるために、例えば、飽和双曲線正接及びシグモイド関数などの他の関数も使用される。ＲｅＬＵは、一般化の精度に重大な影響を与えることなく、ニューラルネットワークを数倍高速にトレーニングできるため、他の関数よりもしばしば好まれる。
いくつかの畳み込みレイヤ及び最大値プーリングレイヤの後、ニューラルネットワークの高度な推論が全結合レイヤを介して実行される。通常の（非畳み込み）人工ニューラル
ネットワークに見られるように、全結合レイヤ内のニューロンは、前のレイヤの全ての活性化と接続している。従って、それらの活性化は、行列乗算の後にバイアスオフセット（学習又は固定バイアス項のベクトル加算）を行うアフィン変換として計算することができる。
オートエンコーダは、教師なし方式で効率的なデータコーディングを学習するために使用される人工ニューラルネットワークの一種である。オートエンコーダの目的は、信号の「ノイズ」を無視するようにネットワークをトレーニングすることにより、通常は次元削減のために、データの組の表現（符号化）を学習することである。削減側とともに、再構築側も学習され、そこでは、オートエンコーダは、その元の入力にできるだけ近い表現を削減された符号化から生成しようとする。これがその名前の由来である。
ピクチャサイズ：ピクチャの幅若しくは高さ又は幅と高さの組を指す。画像の幅及び高さは、通常、ルーマサンプルの数で測定される。
ダウンサンプリング：ダウンサンプリングは、離散入力信号のサンプリングレート（サンプリングインターバル）が低減されるプロセスである。例えば、入力信号が、高さｈ及び幅ｗ（又は、以下、Ｈ及びＷも同様）のサイズを有する画像であり、ダウンサンプリングの出力が高さｈ２及び幅ｗ２である場合に、次のうちの少なくとも１つが当てはまる：
● ｈ２＜ｈ
● ｗ２＜ｗ
１つの実施例では、ダウンサンプリングは、各ｍ番目のサンプルのみを保持し、入力信号（本発明の文脈中、基本的にピクチャである）残りを破棄するものとして実施され得る。
アップサンプリング：アップサンプリングは、離散入力信号のサンプリングレート（サンプリングインターバル）が増大するプロセスである。例えば、入力画像がｈ及びｗ（又は、以下、Ｈ及びＷも同様）のサイズを有し、ダウンサンプリングの出力がｈ２及びｗ２である場合に、次のうちの少なくとも１つが当てはまる：
● ｈ＜ｈ２
● ｗ＜ｗ２
リサンプリング：ダウンサンプリングプロセス及びアップサンプリングプロセスは両方ともリサンプリングの例である。リサンプリングは、入力信号のサンプリングレート（サンプリングインターバル）が変更されるプロセスである。
補間フィルタリング：アップサンプリング又はダウンサンプリングプロセス中に、フィルタリングは、リサンプリングされた信号の精度を控除させかつエイリアシングの影響を軽減するために適用することができる。補間フィルタは、通常、リサンプリング位置の周りのサンプル位置でのサンプル値の重み付けされた結合を含む。それは：

ｆ（ｘｒ、ｙｒ）＝Σｓ（ｘ，ｙ）Ｃ（ｋ）

として実施され得る。ここで、ｆ（）はリサンプリングされた信号であり、（ｘｒ、ｙｒ）はリサンプリング座標であり、Ｃ（ｋ）は補間フィルタ係数であり、ｓ（ｘ，ｙ）は入力信号である。加算演算が、（ｘｒ，ｙｒ）の近傍にある（ｘ，ｙ）に対して行われる。
クロッピング：デジタル画像の外縁をトリミングする。クロッピングは、画像を（サンプルの数において）より小さくするために、及び／又は画像のアスペクト比（幅に対する長さ）を変えるために使用され得る。
パディング：パディングは、画像の境界で新しいサンプルを生成することによって、入力画像（又は画像）のサイズを増大させることを指す。これは、例えば、事前定義されたサンプル値を使用するか、又は入力画像内の位置のサンプル値を使用するかのどちらかによって、行われ得る。
リサイジング：リサイジングは、入力画像のサイズが変更される一般用語である。それは、パディング又はクロッピングの方法の１つを使用して行われてもよい。それは、補間を使用するリサイジング操作によって行われ得る。以下で、リサイジングは、リスケーリングとも呼ばれ得る。
整数除算：整数除算は、小数部（余り）が捨てられる除算である。
畳み込み：畳み込みは、次の一般式によって与えられる。以下で、ｆ（）は、入力信号として定義することができ、ｇ（）は、フィルタとして定義することができる。
ダウンサンプリングレイヤ：入力の次元の少なくとも１つの削減をもたらすニューラルネットワークのレイヤなどの処理レイヤ。一般に、入力は３以上の次元を有する可能性があり、次元はチャネルの数、幅及び高さを含み得る。しかし、本開示は、そのような信号に制限されない。むしろ、１つ又は２つの次元を有し得る（例えば、オーディオ信号又は複数のチャネルを有するオーディオ信号）信号が処理されてもよい。ダウンサンプリングレイヤは、通常、幅及び高さの次元の削減を指す。それは、畳み込み、平均化、最大値プーリングなどの操作で実施することができる。また、他のダウンサンプリング方法が可能であり、本発明がこれに関して制限されない。
アップサンプリングレイヤ：入力の次元の１つの増加をもたらすニューラルネットワークのレイヤなどの処理レイヤ。一般に、入力は３以上の次元を有する可能性があり、次元はチャネルの数、幅及び高さを含み得る。アップサンプリングレイヤは、通常、幅及び高さの次元の増加を指す。それは、逆畳み込み、複製などの操作で実施することができる。また、他のアップサンプリング方法が可能であり、本発明はこれに関して制限されない。
いくつかのディープラーニングに基づいた画像及びビデオ圧縮アルゴリズムは、変分オートエンコーダフレームワーク（ＶＡＥ）、例えば、https://arxiv.org/abs/2003.02012から入手することができるG-VAE: A Continuously Variable Rate Deep Image Compression Framework, (Ze Cui, Jing Wang, Bo Bai, Tiansheng Guo, Yihui Feng)に従う。
ＶＡＥフレームワークは、非線形変換コーディングモデルとして数えられ得る。
変換プロセスは、主に、４つの部分に分割することができる。図４はＶＡＥフレームワークを例示する。図４で、エンコーダ６０１は、入力画像ｘを、関数ｙ＝ｆ（ｘ）により、潜在表現（ｙで表記される）にマッピングする。この潜在表現は、以下で「潜在空間」内の点又は部分とも呼ばれ得る。関数ｆ（）は、入力信号ｘを圧縮しやすい表現ｙに変換する変換関数である。量子化器６０２は、潜在表現ｙを、
によって、（離散）値を有する量子化された潜在表現
に変換し、Ｑは量子化関数を表す。エントロピモデル、又はハイパーエンコーダ／デコーダ（ハイパープライアとしても知られる）６０３は、可逆エントロピソースコーディングにより達成可能な最小レートを得るよう、量子化された潜在表現
の分布を推定する。
潜在空間は、類似したデータ点が潜在空間において互いにより近くにある圧縮されたデータの表現として理解することができる。潜在空間は、データ特徴を学習すること及び解析のためにデータのより簡単な表現を見つけることにとって有用である。ハイパープライア３の量子化された潜在表現Ｔ、
及びサイド情報
は、算術コーディング（ＡＥ）を用いてビットストリーム２に含められる（二値化される）。
更に、デコーダ６０４が設けられ、量子化された潜在表現を、再構成された画像
に変換する。信号
は、入力画像ｘの推定である。ｘは可能な限り
に近いことが望ましく、換言すれば、再構成品質は可能な限り高い。しかし、
とｘとの間の類似度が高ければ高いほど、伝送される必要があるサイド情報の量はますます多くなる。サイド情報は、図４に示されるビットストリーム１及びビットストリーム２を含み、これらはエンコーダによって生成されて、デコーダへ送信される。通常、サイド情報の量が多ければ多いほど、再構成品質はますます高くなる。しかし、サイド情報の量が多いとは、圧縮比が低いことを意味する。従って、図４で記載されるシステムの１つの目的は、再構成品質と、ビットストリームで運ばれるサイド情報の量とのバランスをとることである。
図４で、コンポーネントＡＥ６０５は、算術符号化モジュールであり、量子化された潜在表現
及びサイド情報
のサンプルを二値表現ビットストリーム１に変換する。
のサンプルは、例えば、整数又は浮動小数点数を有してよい。算術符号化モジュールの１つの目的は、サンプル値を（二値化のプロセスにより）二進数の列（次いで、符号化された画像に対応する更なる部分又は更なるサイド情報を含み得るビットストリームに含まれる）に変換することである。
算術復号化（ＡＤ）６０６は、二値化プロセスを元に戻すプロセスであり、二進数はサンプル値に逆変換される。算術復号化は、算術復号化モジュール６０６によって提供される。
本開示はこの特定のフレームワークに制限されないことが留意されるべきである。更に、本開示は、画像又はビデオ圧縮に制限されず、オブジェクト検出、画像生成、及び認識システムなどにも適用することができる。
図４には、互いに連結された２つのサブネットワークがある。本文脈中のサブネットワークは、ネットワーク全体の部分の間の論理的な分割である。例えば、図４で、モジュール６０１、６０２、６０４、６０６、及び６０６は、「エンコーダ／デコーダ」サブネットワークと呼ばれる。「エンコーダ／デコーダ」サブネットワークは、第１ビットストリーム“ビットストリーム１”の符号化（生成）及び復号化（パーシング）に関与する。図４の第２ネットワークは、モジュール６０３、６０８、６０９、６１０、及び６０７を含み、「ハイパーエンコーダ／デコーダ」サブネットワークと呼ばれる。第２サブネットワークは、第２ビットストリーム“ビットストリーム２”を生成することに関与する。２つのサブネットワークの目的は異なる。第１サブネットワークは：
● 入力画像ｘのその潜在表現ｙ（そのｘを圧縮する方が容易である）への変換６０１，
● 潜在表現ｙを量子化された潜在表現
に量子化すること６０２，
● ビットストリーム“ビットストリーム１”を得るよう、算術符号化モジュール６０５によってＡＥを用いて、量子化された潜在表現
を圧縮すること，”。
● 算術復号化モジュール６０６を用いてＡＤによりビットストリーム１をパースすること，及び
● パースされたデータを用いて、再構成された画像
を再構成すること６０４
に関与する。第２サブネットワークの目的は、第１サブネットワークによるビットストリーム１の圧縮がより効率的であるように、“ビットストリーム１”のサンプルの統計的性質（例えば、ビットストリーム１のサンプル間の平均値、分散、及び相関）を得ることである。第２サブネットワークは、上記の情報（例えば、ビットストリーム１のサンプル間の平均値、分散、及び相関）を含む第２ビットストリーム“ビットストリーム２”を生成する。
第２ネットワークは、量子化された潜在表現
のサイド情報ｚへの変換６０３、サイド情報ｚを量子化されたサイド情報
に量子化すること、量子化されたサイド情報
をビットストリーム２に符号化すること（例えば、二値化すること）６０９を含む符号化部分を含む。この例では、二値化は算術符号化（ＡＥ）によって行われる。第２ネットワークの復号化部分は、入力ビットストリーム２を復号された量子化されたサイド情報
に変換する算術復号化（ＡＤ）６１０を含む。算術符号化及び復号化操作は可逆圧縮方法であるから、
は、
と同じであることができる。復号された量子化されたサイド情報
は、次いで、復号されたサイド情報
に変換６０７される。
は、
の統計的性質（例えば、
のサンプルの平均値、又はサンプル値の分散、など）を表す。復号された潜在表現
は、次いで、
の確率モデルを制御するよう上記の算術エンコーダ６０５及び算術デコーダ６０６へ供給される。
図４は、ＶＡＥ（変分オートエンコーダ）の一例を記載しており、その詳細は、異なる実施において異なる可能性がある。例えば、具体的な実施では、追加のコンポーネントが、ビットストリーム１のサンプルの統計的性質より効率的に得るために存在してもよい。１つのかような実施において、コンテキストモデラが存在してもよく、ビットストリーム１の相互相関情報を抽出することを目標とする。第２サブネットワークによって提供される統計情報は、ＡＥ（算術エンコーダ）６０５及びＡＤ（算術デコーダ）６０６のコンポーネントによって使用されてもよい。
図４は、単一の図でエンコーダ及びデコーダを表している。当業者には明らかなように、エンコーダ及びデコーダは、相互に異なるデバイスに埋め込まれてもよく、埋め込まれていることが非常に多い。
図７は、ＶＡＥフレームワークのエンコーダコンポーネントを表し、分離して、図８は、ＶＡＥフレームワークのデコーダコンポーネントを表す。入力として、エンコーダは、いくつかの実施形態に従って、ピクチャを受け取る。入力されたピクチャは、カラーチャネル又は他の種類のチャネル、例えば、デプスチャネル又は動き情報チャネル、などのような１つ以上のチャネルを含んでよい。エンコーダ（図７に図示）の出力はビットストリーム１及びビットストリーム２である。ビットストリーム１は、エンコーダの第１サブネットワークの出力であり、ビットストリーム２は、エンコーダの第２サブネットワークの出力である。
同様に、図８では、２つのビットストリーム、つまり、ビットストリーム１及びビットストリーム２が入力として受け取られ、再構成された（復号された）画像である
が出力として生成される。
上述されたように、ＶＡＥは、異なる動作を実行する異なる論理的ユニットに分けられ得る。これは図７及び図８で例示されており、図７は、ビデオなどの信号の符号化に関与するコンポーネント及び供給された符号化された情報を示している。この符号化された情報は、次に、例えば符号化のために、図８に示されるデコーダコンポーネントによって受信される。符号９ｘｘ及び１０ｘｘで示されるエンコーダ及びデコーダのコンポーネントは、その機能において、図４において上で参照されて符号６ｘｘで示されているコンポーネントに対応し得ることに留意されたい。
具体的に、図７から分かるように、エンコーダは、入力ｘを、次に量子化器９０２へ供給されるｙに変換するエンコーダ９０１を有する。量子化器９０２は、情報を算術符号化モジュール９０５及びハイパーエンコーダ９０３へ供給する。ハイパーエンコーダ９０３は、既に上で議論されたビットストリーム２をハイパーデコーダ９０７へ供給し、ハイパーデコーダ９０７は次いで、情報を算術符号化モジュール６０５へ伝える。
符号化は、図１９に関連して以下で更に詳細に説明されるように、畳み込みを利用することができる。
算術符号化モジュールの出力はビットストリーム１である。ビットストリーム１及びビットストリーム２は信号の符号化の出力であり、それらは次いで、復号化プロセスへ供給（伝送）される。
ユニット９０１は「エンコーダ」と呼ばれるが、図７に記載されている完全なサブネットワークを「エンコーダ」と呼ぶことも可能である。一般に、符号化のプロセスは、入力を符号化（例えば、圧縮）された出力に変換するユニット（モジュール）を意味する。図７からは、ユニット９０１が入力ｘを、ｘの圧縮された表現であるｙに変換するということで、それがサブネットワーク全体の中核と実際に見なされ得ることが分かる。エンコーダ９０１の圧縮は、例えば、ニューラルネットワーク、又は一般に、１つ以上のレイヤを備えた任意の処理ネットワークによって、達成されてもよい。そのようなネットワークで、圧縮は、入力チャネルのサイズ及び／又は数を低減するダウンサンプリングを含むカスケード接続された処理によって実行されてもよい。よって、エンコーダは、例えば、ニューラルネットワーク（ＮＮ）に基づいたエンコーダなどと呼ばれることがある。
図中の残りの部分（量子化ユニット、ハイパーエンコーダ、ハイパーデコーダ、算術エンコーダ／デコーダ）は全て、符号化プロセスの効率を向上させたり、又は圧縮された出力ｙをビットの連続（ビットストリーム）に変換することに関与したりする部分である。量子化は、不可逆圧縮によってＮＮエンコーダ９０１の出力を更に圧縮するよう提供されてよい。ＡＥ９０５は、ＡＥ９０５を構成するために使用されるハイパーエンコーダ９０３及びハイパーデコーダ９０７と組み合わせて、量子化された信号を可逆圧縮によって更に圧縮し得る二値化を実行してよい。従って、図７のサブネットワーク全体を「エンコーダ」と呼ぶことも可能である。
ディープラーニング（ＤＬ）に基づいた画像／ビデオ圧縮システムの大部分は、信号を二進数（ビット）に変換する前に信号の次元を削減する。ＶＡＥフレームでは、例えば、非線形変換であるエンコーダは、入力画像ｘをｙにマッピングし、ｙは、ｘよりも小さい幅及び高さを有する。ｙはより小さい幅及び高さ、よって、より小さいサイズを有するので、信号の次元（のサイズ）は削減され、従って、信号ｙを圧縮する方が容易である。一般に、エンコーダは、両方の（又は一般に全ての）次元のサイズを削減する必要が必ずしもないことが留意されるべきである。むしろ、いくつかの例示的な実施は、１つの次元（又は一般的にそのサブセット）でのみサイズを削減するエンコーダを提供し得る。
圧縮の一般的な原理は、図５で例示されている。エンコーダの出力であり、デコーダの入力である潜在空間は、圧縮されたデータを表す。潜在空間のサイズは、入力信号サイズよりもずっと小さくなることが留意されるべきである。ここで、サイズという用語は、解像度を、例えば、エンコーダによって出力される特徴マップのサンプルの数を指すことができる。解像度は、各次元ごとのサンプルの数の積として与えられ得る（例えば、入力画像の又は特徴マップの幅×高さ×チャネルの数）。
入力信号のサイズの低減は、ディープラーニングに基づいたエンコーダ及びデコーダを表す図５で例示されている。図５で、入力画像ｘは、エンコーダの入力である入力データに対応する。変換された信号ｙは、入力信号よりも少なくとも１つの次元で小さい次元性又はサイズを有する潜在空間に対応する、円の各列は、エンコーダ又はデコーダの処理チェーン内のレイヤを表す。各レイヤにおける円の数は、そのレイヤでの信号のサイズ又は次元性を示す。
図５から分かるように、符号化操作は、入力信号のサイズの低減に対応し、一方、復号化操作は、画像の元のサイズの再構成に対応する。
信号サイズの低減のための方法の１つはダウンサンプリングである。ダウンサンプリングは、入力信号のサンプリングレートが低減されるプロセスである。例えば、入力画像がｈ及びｗのサイズを有し、ダウンサンプリングの出力がｈ２及びｗ２である場合に、次のうちの少なくとも１つが当てはまる：
● ｈ２＜ｈ
● ｗ２＜ｗ
信号サイズの低減は、通常は、一度にではなく処理レイヤのチェーンに沿って段階的に起こる。例えば、入力画像ｘが（高さ及び幅を示す）ｈ及びｗの次元（又は次元のサイズ）をし、潜在空間ｙが次元１／１６及びｗ／１６を有する場合に、サイズの低減は、符号化中に４つのレイヤで起こる可能性があり、各レイヤは、各次元で信号のサイズを２分の１にする。
いくつかのディープラーニングに基づいたビデオ／画像圧縮方法は、複数のダウンサンプリングレイヤを用いる。一例として、ＶＡＥフレームワーク、図６は、８０１から８０６でマークされた６つのダウンサンプリングレイヤを利用する。ダウンサンプリングを含むレイヤは、レイヤの説明において下向き矢印で示されている。レイヤの説明「Ｃｏｎｖ Ｎ×５×５／２↓」は、レイヤがＮ個のチャネルを有する畳み込みレイヤであることを意味し、畳み込みカーネルはサイズが５×５である。述べられているように、２↓は、係数２によるダウンサンプリングがこのレイヤで実行されることを意味する。係数２によるダウンサンプリングは、入力信号の次元の１つが出力で半分に削減されることをもたらす。図６で、２↓は、入力画像の幅及び高さの両方が係数２で低減されることを示す。６つのダウンサンプリングレイヤがあるので、入力画像８１４（ｘでも表記される）の幅及び高さがｗ及びｈによって与えられる場合に、出力信号
８１３は、夫々、ｗ／６４及びｈ／６４に等しい幅及び高さを有する。ＡＥ及びＡＤによって示されるモジュールは、図４、図７、及ぶ図８に関して既に上で説明された算術エンコーダ及び算術デコーダである。算術エンコーダ及び算術デコーダは、エントロピコーディングの具体的な実施である。ＡＥ及びＡＤ（コンポーネント８１３及び８１５の部分として）は、他のエントロピコーディング手段によって置換することができる。情報理論では、エントロピ符号化は、シンボルの値を二値表現に変換するために使用される可逆データ圧縮スキームであり、これは復帰可能なプロセスである。また、図中の「Ｑ」は、図４に関して上でも言及されており、「量子化」のセクションにおいて上で更に説明されている量子化操作に対応する。また、コンポーネント８１３及び８１５の部分としての量子化操作及び対応する量子化ユニットは、必ずしも存在するわけではなく、かつ／あるいは、他のユニットで置換することができる。
図６には、アップサンプリングレイヤ８０７から８１２を含むデコーダも示されている。更なるレイヤ８２０が、入力の処理順においてアップサンプリングレイヤ８１１及び８１０の間に設けられており、畳み込みレイヤとして実装されるが、受信した入力にアップサンプリングを施さない。対応する畳み込みレイヤ８３０もデコーダに対して示されている。かようなレイヤは、入力サイズを変更しないが特定の特性を変更する操作を入力に対して実行するためにＮＮに設けられ得る。
デコーダを通るビットストリーム２の処理順で見たとき、アップサンプリングレイヤは逆の順序で、つまり、アップサンプリングレイヤ８１２からアップサンプリングレイヤ８０７まで実行される。各アップサンプリングレイヤは、ここでは、↑によって示される２のアップサンプリング比によるアップサンプリング提供するよう示されている。当然ながら、全てのアップサンプリングレイヤが同じアップサンプリング比を持つとは限らず、３、４、８などの他のアップサンプリング比も使用されてよい。レイヤ８０７から８１２は、畳み込みレイヤ（ｃｏｎｖ）として実装される。具体的に、それらは、エンコーダの操作とは逆である操作を入力に提供するよう意図され得るので、アップサンプリングレイヤは、受け取った入力に逆畳み込み操作を適用することができ、それにより、入力のサイズは、アップサンプリング比に対応する係数だけ増大される。しかし、本開示は、概して、逆畳み込みに制限されず、アップサンプリングは、如何なる他の方法でも、２つの隣接したサンプル間の双線形補間や最近傍サンプルコピーなどによって実行されてもよい。
第１サブネットワークにおいて、いくつかの畳み込みレイヤ（８０１から８０３）の後には、エンコーダ側では一般化分割正規化（ＧＤＮ）が、デコーダ側では逆ＧＤＮ（ＩＧＤＮ）が続いている。第２サブネットワークにおいて、適用される活性化関数はＲｅＬｕである。本開示はそのような実施に制限されず、一般に、他の活性化関数がＧＤＮ又はＲｅＬｕの代わりに使用されてもよいことが留意されるべきである。
画像及びビデオ圧縮システムは、一般に、任意の入力画像サイズを処理することができない。その理由は、圧縮システム内の処理ユニットの一部（例えば、変換ユニット、又は動き補償ユニット）が最小単位で動作し、入力画像サイズが最小処理単位の整数倍でない場合には、画像を処理することは不可能であるからである。
一例として、ＨＥＶＣは、予測残差をコーディングするよう４×４、８×８、１６×１６、及び３２×３２の４つの変換ユニット（ＴＵ）を規定している。最小変換ユニットは４×４であるから、ＨＥＶＣエンコーダ及びデコーダを用いて、３×３のサイズを有する入力画像を処理することは不可能である。同様に、画像サイズが１つの次元で４の倍数でない場合に、画像を、有効な変換ユニット（４×４、８×８、１６×１６、及び３２×３２）によって処理可能であるサイズにパーティション化することは不可能であるから、画像を処理することはやはり不可能である。従って、入力画像が８×８である最小コーディング単位サイズの倍数でなければならないことが、ＨＥＶＣ標準の要件である。さもなければ、入力画像はＨＥＶＣによって圧縮可能でない。同様の要件は、他のコーデックによっても課されている。既存のハードウェア又はソフトウェアを利用するために、あるいは、既存のコーデックの一部又は一部の相互運用制を維持するために、そのような制限を維持することが望ましい場合がある。しかし、本開示は、如何なる特定の変換ブロックサイズにも制限されない。
いくつかのＤＮＮ（ｄｅｅｐ ｎｕｅｒａｌ ｎｅｔｗｏｒｋ）又はＮＮに基づいた画像及びビデオ圧縮システムは、複数のダウンサンプリングレイヤを利用する。図６では、例えば、４つのダウンサンプリングレイヤが第１サブネットワーク（レイヤ８０１から８０４）に含まれ、２つの追加のダウンサンプリングレイヤが第２サブネットワーク（レイヤ８０５から８０６）に含まれている。従って、入力画像のサイズがｗ及びｈ（幅及び高さを示す）によって夫々与えられる場合に、第１サブネットワーク出力はｗ／１６及びｈ／１６であり、第２ネットワークの出力はｗ／６４及びｈ／６４によって与えられる。
ディープニューラルネットワークの「ディープ」という用語は、通常、入力に順に適用される処理レイヤの数を指す。レイヤの数が多いとき、ニューラルネットワークはディープニューラルネットワークと呼ばれるが、ネットワークがディープネットワークと呼ばれるべき明りょうな記載又はガイダンスはない。従って、本願の目的のために、ＤＮＮとＮＮとの間には大きな違いはない。ＤＮＮは、１よりも多いレイヤを有するＮＮを指すことができる。
ダウンサンプリング中、例えば、入力に畳み込みが適用される場合、場合によっては、符号化されたピクチャの小数（最終的な）サイズが取得されることがある。このような小数サイズは、ニューラルネットワークの後続のレイヤによって又はデコーダによって合理的に処理されない可能性がある。
別の言い方をすると、一部のダウンサンプリング操作（畳み込みなど）は、ニューラルネットワークの特定のレイヤへの入力のサイズが特定の条件を満たすことを（例えば、設計などによって）期待する場合があるため、ダウンサンプリングを実行するニューラルネットワークのレイヤ内で実行されるか、又はダウンサンプリングに続く演算は、依然として明確に定義された数学的演算である。例えば、少なくとも１つの次元で入力のサイズを比率ｒだけ低減するダウンサンプリング比
を持つダウンサンプリングレイヤの場合、入力がこの次元でダウンサンプリング比ｒの整数倍であるサイズを有するならば、妥当な出力が得られる。ｒによるダウンサンプリングは、１つの次元（例えば、幅）又はより多くの次元（例えば、幅及び高さ）での入力サンプルの数が出力サンプルの数を求めるために２で除されることを意味する。
数値例を挙げると、レイヤのダウンサンプリング比は４である。第１の入力は、ダウンサンプリングが適用される次元でサイズ５１２を有する。１２８×４＝５１２であるから、５１２は４の整数倍である。従って、入力の処理はダウンサンプリングレイヤによって実行され、妥当な出力が得らる。第２の入力は、ダウンサンプリングが適用される次元で５１３のサイズを持つ可能性がある。５１３は４の整数倍ではないため、この入力はダウンサンプリングレイヤ又は後続のダウンサンプリングレイヤによって、それらが、例えば、設計によって、特定の（例えば、５１２の）入力サイズを期待している場合には、合理的に処理できない。これを考慮して、入力のサイズが常に同じではない場合でも、入力がニューラルネットワークの各レイヤによって合理的な方法（事前定義されたレイヤ入力サイズに従って）で処理され得ることを保証するために、リスケーリングは、ニューラルネットワークによって入力を処理する前に適用されてもよい。このリスケーリングは、ニューラルネットワークの全てのダウンサンプリングレイヤに関して上記の条件を満たすように、ニューラルネットワークへの（例えば、ニューラルネットワークの入力レイヤへの）入力の実際のサイズを変更又は適応させることを含む。このリスケーリングは、ダウンサンプリングが適用される次元での入力のサイズを、
になるように増減することによって行われ、ここで、ｒｉは、ダウンサンプリングレイヤのダウンサンプリング比であり、Ｋは、ゼロよりも大きい整数である。換言すれば、ダウンサンプリング方向における入力ピクチャ（信号）の入力サイズは、ダウンサンプリング方向（次元）におけるネットワーク処理チェーンで入力ピクチャ（信号）に適用される全てのダウンサンプリング比の積の整数倍であるよう適応される。
それによって、ニューラルネットワークへの入力サイズは、例えば、レイヤの事前定義された入力サイズ設定に従って、各レイヤがその各々の入力を処理することができることを保証するサイズを有する。
そのようなリスケーリングを提供することによって、しかしながら、符号化されるべきピクチャのサイズの低減には制限があり、相応して、例えば、符号化された情報を再構成するために、デコーダに供給され得る符号化されたピクチャのサイズにも、下限がある。更に、これまで提供されたアプローチによれば、相当な量のエントロピが（サイズをリスケーリングによって増大させる場合に）ビットストリームに加えられる場合があり、あるいは、相当な量の情報損失が（ビットストリームのサイズをリスケーリングによって増大させる場合に）起こる可能性がある。どちらも、復号化後のビットストリームの品質に悪影響を与える可能性がある。
従って、高品質の符号化／復号されたビットストリーム及びそれらが表すデータを得ながら、同時に、低減されたサイズで符号化されたビットストリームを供給することは困難である。
ネットワーク内のレイヤの出力サイズは小数であることができない（サンプルの整数個の行及び列が必要ある）から、入力画像サイズには制限がある。図６では、信頼できる処理を保証するために、入力画像サイズは、水平及び垂直の両方の方向で６４の整数倍である。さもなければ、第２ネットワークの出力は整数にならない。
この問題を解決するために、入力画像にゼロをパディングしてそれを各方向で６４サンプルの倍数にする方法を使用することが可能である。この解決法に従って、入力画像サイズは、次の量：
だけ幅及び高さを拡張され得る。ここで、「Ｉｎｔ」は整数変換である。整数変換は、第１の値ａ及び第２の値ｂの商を計算し、次いで、全ての小数部の桁を無視する出力を供給して、整数だけであるようにすることができる。新たに生成されたサンプル値は０にセットされ得る。
上記の問題を解決する他の可能性は、入力画像をクロッピングし、つまり、入力画像の端部からサンプルの行及び列を捨て、入力画像サイズを６４サンプルの倍数にすることである。クロッピングされる必要がある行及びサンプルの最低限の量は、次の通りに計算され得る：
ここで、ｗｄｉｆｆ及びｗｄｉｆｆは、夫々、画像の両側から捨てられる必要があるサンプル行及び列の量に対応する。
上記により、水平（ｈｎｅｗ）及び垂直（ｗｎｅｗ）次元での入力画像の新しいサイズは、次の通りである：
パディングの場合に：
● ｈｎｅｗ＝ｈ＋ｈｄｉｆｆ
● ｗｎｅｗ＝ｗ＋ｗｄｉｆｆ
クロッピングの場合に：
● ｈｎｅｗ＝ｈ－ｈｄｉｆｆ
● ｗｎｅｗ＝ｗ－ｗｄｉｆｆ
これは、図１０及び図１１でも示されている。図１０には、エンコーダ及びデコーダ（まとめて１２００で表記されている）が多数のダウンサンプリング及びアップサンプリングレイヤを有し得ることが示されている。各レイヤは、係数２によるダウンサンプリング又は係数２によるアップサンプリングを適用する。更に、エンコーダ及びデコーダは、エンコーダ側では一般化分割正規化（ＧＤＮ）１２０１のような、デコーダ側では逆ＧＤＮ（ＩＧＤＮ）１２０２によって、更なるコンポーネントを有することができる。更に、エンコーダ及びデコーダはいずれも、１つ以上のＲｅＬｕ、具体的には、ｌｅａｋｙ ＲｅＬｕ１２０３を有してもよい。また、エンコーダでは因数分解エントロピモデル１２０５が、デコーダではガウスエントロピモデル１２０６が設けられ得る。更に、複数の畳み込みマスク１２０４が設けられてもよい。更に、エンコーダは、図１０及び図１１の実施形態において、汎用量子化器（ＵｎｉｖＱｕａｎ）１２０７を含み、デコーダはアテンションモジュール１２０８を有する。参照を簡単にするために、機能的に対応するコンポーネントは、図１１で対応する符号を有する。
ダウンサンプリング操作及びストライドの総数は、入力チャネルサイズ、つまり、ニューラルネットワークへの入力のサイズに対する条件を定義する。
ここで、入力チャネルサイズが６４＝２×２×２×２×２×２の整数倍である場合に、チャネルサイズは、全ての一連のダウンサンプリング操作の後、整数のままである。対応するアップサンプリング操作をアップサンプリング中にデコーダで適用することによって、及びアップサンプリングレイヤを通る入力の処理の終わりに同じリスケーリングを適用することによって、出力サイズは、再びエンコーダでの入力サイズと同じである。それによって、元の入力の信頼できる再構成が得られる。
図１１において、図１０で説明されているもののより一般的な例が示されている。この例も、まとめて１３００で表記されているエンコーダ及びデコーダを示す。ｍ個のダウンサンプリングレイヤ（及び対応するアップサンプリングレイヤ）は、ダウンサンプリング比ｓｉ及び対応するアップサンプリング比を有する。ここで、入力チャネルサイズが
の整数倍である場合に、チャネルサイズは、全てのｍ個の一連の（連続した又は後続の又はカスケード接続された）ダウンサンプリング操作の後に整数のままである。エンコーダでニューラルネットワークによって入力を処理する前のそれの対応するリスケーリングは、上記の式が満足されることを保証する。換言すれば、ダウンサンプリング方向における入力チャネルサイズは、（サブ）ネットワークの各々のｍ個のダウンサンプリングレイヤによって入力に適用される全てのダウンサンプリング比の積である。上述されたように入力のサイズを変更するこのモードは、依然としていくつかの欠点を有する場合がある。
図６で、「ビットストリーム」及び「ビットストリーム２」によって示されるビットストリームは、夫々、Ａ（ｈｎｅｗ／１６）（ｗｎｅｗ／１６）及びＢ（ｈｎｅｗ／６４）（ｗｎｅｗ／６４）である。Ａ及びＢは、圧縮比を記述するスカラーパラメータである。圧縮比が高ければ高いほど、数Ａ及びＢはますます小さくなる。ビットストリームの全体のサイズは、従って、Ａ（ｈｎｅｗ／１６）（ｗｎｅｗ／１６）＋Ｂ（ｈｎｅｗ／６４）（ｗｎｅｗ／６４）として与えられる。
圧縮の目標は、再構成された画像の品質を高く保ちながらビットストリームのサイズを低減することであるから、ｈｎｅｗ及びｗｎｅｗは、ビットレートを下げるよう可能な限り小さくなければならないことが明らかである。
従って、「ゼロでパディングすること」の問題は、入力サイズの増大によるビットレートの増大である。換言すれば、入力画像のサイズは、入力画像に冗長データを加えることによって増大し、つまり、更なるサイド情報が、入力信号の再構成のためにエンコーダからデコーダへ伝送されなければならない。その結果、ビットストリームのサイズは大きくなる。
一例として、図６のエンコーダ／デコーダの組を用いると、入力画像が、ＷＱＶＧＡ（Ｗｉｄｅ Ｑｕａｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）として一般的に知られている画像サイズフォーマットであるサイズ４１６×２４０を有する場合に、入力画像は、サイズ４４８×２５６に等しくなるようパディングされなければならず、これは、冗長データの包含によるビットレートの１５％の増大に等しい。
第２アプローチ（入力画像のクロッピング）に伴う問題は、情報の損失である。圧縮及び圧縮解除の目標は、忠実度を高く保ちながら入力信号を伝送することであるから、信号の部分を捨てる目的に逆らっている。従って、クロッピングは、通常はそうではないが、入力信号に不要な部分があることが分からない限りは、有利ではない。
一実施形態に従って、入力画像のサイズ調整は、ＤＮＮに基づいたピクチャ又はビデオ圧縮システムの全てのダウンサンプリング又はアップサンプリングレイヤの前に行われる。より具体的には、ダウンサンプリングレイヤがダウンサンプリング比２を有する（レイヤの出力で入力サイズが半分になる）場合に、入力リサイジングは、レイヤの入力に対して、それが奇数のサンプル行又は列を有する場合に適用され、パディングは、サンプル行又は列の数が偶数（２の倍数）である場合に適用されない。
更に、リサイジング操作は、対応するダウンサンプリングレイヤが（その）入力でリサイジングを適用されている場合に、最後に、例えば、アップサンプリングレイヤの出力で適用することができる。ダウンサンプリングレイヤの対応するレイヤは、再構成された画像から開始してアップサンプリングレイヤの数を数え、入力画像から開始してダウンサンプリングレイヤの数を数えることによって、見つけることができる。これは図１８で例示されており、アップサンプリングレイヤ１及びダウンサンプリングレイヤ１は対応する例やであり、アップサンプリングレイヤ２及びダウンサンプリングレイヤ２は対応するレイヤである、など。
ダウンサンプリングレイヤの入力で適用されるリサイジング操作及びアップサンプリングレイヤの出力で適用されるリサイジング操作は、両方の出力でのデータのサイズが同じままであるように相補的である。
結果として、ビットストリームのサイズの増大は最小限にされる。例示的な実施形態は、図１２を参照して説明することができ、これは、図９とは対照的に、他のアプローチについて記載している。図９で、入力のリサイジングは、入力でＤＮＮへ供給される前に行われ、リサイジングされた入力がＤＮＮ全体を通って処理され得るように行われる。図９に示される例は、図６に記載されているエンコーダ／デコーダにより実現（実施）されてもよい。
図１２では、任意のサイズを有する入力画像がニューラルネットワークへ供給される。この実施形態のニューラルネットワークはＮ個のダウンサンプリングレイヤを有し、各レイヤｉ（１≦ｉ≦Ｎ）はダウンサンプリング比ｒｉを有する。「≦」は、以下を示す。ダウンサンプリング比ｒｉは、ｉこの異なる値ごとに必ずしも同じではなく、いくつかの実施形態では全ての等しく、例えば、全てｒｉ＝ｒ＝２であることができる。図１２で、ダウンサンプリングレイヤ１からＭは、ダウンサンプリングレイヤのサブネット１としてまとめられる。サブネット１（サブネットワーク１）はビットストリーム１を出力として供給する。ダウンサンプリングレイヤの集約は、本文脈中、しかしながら、記載のためたけである。レイヤＭ＋１からＮを含む第２サブネット２（サブネットワーク２）はビットストリーム２を出力として供給する。
この実施形態では、ダウンサンプリングレイヤ、例えば、ダウンサンプリングレイヤＭはへの入力がダウンサンプリングレイヤへ供給される前であるが、それが前のダウンサンプリングレイヤ（この場合に、レイヤＭ－１）によって処理された後に、入力は、リサイジング操作を適用することによってリサイジングされ、それにより、ダウンサンプリングレイヤＭへの入力はサイズ
を有する。ｒＭは、ダウンサンプリングレイヤＭのダウンサンプリング比を表し、前もってセットされた値であってよく、従って、デコーダで既に利用可能であり得る。この実施形態で、このリサイジング操作は、上記の条件が特定のダウンサンプリングレイヤ及びその各々のダウンサンプリング比について満足されるように、各ダウンサンプリングの前に実行される。換言すれば、サイズＳは、後続の（一連の処理においてダウンサンプリングに続く）レイヤのダウンサンプリング比の整数倍に適応されるか又はそのようにセットされる。
図９で、入力画像は、データを次々に処理するであろう全てのダウンサンプリングレイヤを考慮するようパディングされる（これは画像リサイジングの一種である）。図９で、ダウンサンプリング比は、例として、デモンストレーションの目的で、２に等しくなるよう選択される。この場合に、比率２でダウンサンプリングを実行するＮ個のレイヤが存在するので、入力画像サイズは、２Ｎの整数倍であるよう（ゼロによる）パディングによって調整される。ここで、整数“倍”は依然として１に等しくてもよく、つまり、倍数は、複数の意味よりむしろ、（例えば、１以上による）定数の意味を有することに留意されたい。
実施形態は図１２で示されている。図１２で、入力リサイジングは各ダウンサンプリングレイヤの前に適用される。入力は、各レイヤのダウンサンプリング比の整数倍であるようリサイジングされる。例えば、レイヤのダウンサンプリング比が３：１（入力サイズ：出力サイズ）、つまり比率３である場合に、レイヤの入力は、３の倍数になるようにリサイジングされる。
いくつかの実施形態は図６にも適用することができる。図６では、ダウンサンプリングを有する６つのレイヤ、つまり、レイヤ８０１、８０２、８０３、８０４、８０５、及び８０６が存在する。全てのダウンサンプリングレイヤは係数２を有する。一実施形態に従って、入力リサイジングは、全ての６つのレイヤの前に適用される。図６で、リサイジングは、アップサンプリングレイヤ（８０７、８０８、８０９、８１０、８１１、及び８１２）の各レイヤ出力の後にも、対応する方法（上の段落で説明される）で適用される。これは、エンコーダのニューラルネットワークにおいて具体的な順序又は位置でダウンサンプリングレイヤの前に適用されたリサイジングが、デコーダ内の対応する位置で適用されることを意味する。
いくつかの実施形態において、入力をリスケーリングする２つのオプションが存在し、それらのうちの１つは、例えば、更に以下で説明される条件又は状況に応じて、選択され得る。これらの実施形態は、図１３から１５を参照して記載される。
第１のオプション１５０１は、入力のサイズを、ダウンサンプリング比の整数倍に一致するサイズに増大させるために、入力を、例えば、ゼロ又は入力それ自体からの冗長な情報でパディングすることを有してよい。デコーダ側では、リスケーリングするために、クロッピングが、このオプションでは、入力のサイズを、例えば、後続のアップサンプリングレイヤの目標入力サイズに一致するサイズに低減させるために、使用されてよい。
このオプションは、計算効率良く実施することができるが、エンコーダ側ではサイズを増大させることしか可能でない。
第２のオプション１５０２は、入力をリスケーリング／リサイジングするために、エンコーダでは補間を、デコーダでは補間を利用してよい。これは、補間が、入力のサイズを、後続のダウンサンプリングレイヤのダウンサンプリング比の整数倍、又は後続のアップサンプリングレイヤの目標入力サイズなどの意図されたサイズに増大させるために使用され得ること、あるいは、補間が、後続のダウンサンプリングレイヤのダウンサンプリング比の整数倍、又は後続のアップサンプリングレイヤの目標入力サイズなどの意図されたサイズに低減させるために使用され得ることを意味する。それによって、入力のサイズを増大又は低減させることによってエンコーダでリサイジングを適用することが可能である。更に、このオプション１５０２では、異なる補間フィルタが使用されてもよく、それによってスペクトル特性制御がもたらされる。
異なるオプション１５０１及び１５０２は、例えば、サイド情報としてビットストリームにおいて、通知され得る。第１のオプション（オプション１）１５０１と第２のオプション（オプション２）１５０２との間の違いは、２つの値のうちの１つをとることができるシンタックス要素ｍｅｔｈｏｄＩｄｘなどの指示で通知され得る。例えば、第１の値（例えば、０）は、パディング／クロッピングを示すためのものであり、第２の値（例えば、１）は、リサイジングのために補間が使用されることを示すためのものである。例えば、デコーダは、ピクチャを符号化しており、場合により、要素ｍｅｔｈｏｄＩｄｘを含むサイド情報を有するビットストリームを受信し得る。このビットストリームをパースすると、サイド情報が取得され、ｍｅｔｈｏｄＩｄｘの値が導出され得る。ｍｅｔｈｏｄＩｄｘの値に基づいて、デコーダは、次いで、ｍｅｔｈｏｄＩｄｘが第１の値を有する場合にはパディング／クロッピングを用いて、あるいは、ｍｅｔｈｏｄＩｄｘが第２の値を有する場合に対応する場合には補間を用いて、リサイジング又はリスケーリング方法を続けることができる。
これは図１３に示されている。ｍｅｔｈｏｄＩｄｘの値が０又は１であることに依存して、クリッピング（パディング若しくはクロッピングのどちらかを含む）又は補間のいずれかが選択される。
たとえ図１３の実施形態が、リサイジングを実現するために使用される方法として、ｍｅｔｈｏｄＩｄｘに基づいた、クリッピング（パディング／クロッピングの一方を含む）と補間との間の選択又は決定に言及しているとして、本発明はこれに関して制限されないことに留意されたい。図１３に関して説明されている方法は、第１のオプション１５０１がリサイジング操作中にサイズを増大させる補間であり、第２のオプション１５０２がリサイジング操作中にサイズを低減させる補間である場合にも実現され得る。上又は下で説明されているいずれか２つ又はそれ以上の（ｍｅｔｈｏｄＩｄｘの二値サイズに依存する）異なるリサイジング方法を選択して、ｍｅｔｈｏｄＩｄｘで通知することができる。一般に、ｍｅｔｈｏｄＩｄｘは、別のシンタックス要素である必要はない。それは、他の１つ以上のパラメータと一緒に指示又はコーディングされてもよい。
更なる指示又はフラグが図１４に示されるように供給されてもよい。ｍｅｔｈｏｄＩｄｘに加えて、サイズ変更フラグ（１ビット）ＳＣＩｄｘが、第２のオプション１５０２の場合についてのみ条件付きで通知され得る。図１４の実施形態では、第２のオプション１５０２は、リサイジングを実現するための補間の使用を含む。図１４で、第２のオプション１５０２は、ｍｅｔｈｏｄＩｄｘ＝１の場合に選択される。サイズ変更フラグＳＣＩｄｘは、第３又は第４の値を有する可能性があり、これは、０（例えば、第３の値に対する）又は１（例えば、第４の値に対する）のどちらか一方の値であってよい。この実施形態では、“０”はダウンサイジングを示してよく、“１”はアップサンプリングを示してよい。よって、ＳＣＩｄｘが０である場合には、入力のサイズが低減されるように、リサイジングを実現する補間が行われる。ＳＣＩｄｘが１である場合には、入力サイズを増大させるように、リサイジングを実現する補間が行われ得る。ＳＣＩｄｘの条件付きコーディングは、より簡潔かつ効率的なシンタックスを提供し得る。しかし、本開示は、そのような条件付きシンタックスによって制限されず、ＳＣＩｄｘは、ｍｅｔｈｏｄＩｄｘとは無関係に指示されても、又はｍｅｔｈｏｄＩｄｘと一緒に（例えば、ＳＣＩｄｘ及びｍｅｔｈｏｄＩｄｘの全ての組み合わせを示す値の中から値の一部のみをとることができる共通のシンタックス要素内で）指示（コーディング）されてもよい。
指示ｍｅｔｈｏｄＩｄｘと同様に、ＳＣＩｄｘも、再構成されるべきピクチャも潜在的に復号するビットストリームを解析することによってデコーダによって取得され得る。ＳＣＩｄｘの値を取得すると、ダウンサイジング又はアップサイジングが選択され得る。
上記の指示に加えて、又はその代替案として、図１５に示されるように、リサイジングフィルタインデックスＲＦＩｄｘの追加（サイド）指示が通知されてもよい（ビットストリーム内で指示される）。
いくつかの例示的な実施形態において、ＲＦＩｄｘは、第２のオプション１５０２の場合に条件付きで指示されてよく、ＲＦＩｄｘが、ｍｅｔｈｏｄＩｄｘ＝１の場合に通知され、ｍｅｔｈｏｄＩｄｘ＝０の場合に通知されないことを有してよい。ＲＦＩｄｘは、１ビットよりも大きいサイズを有してよく、例えば、その値に応じて、どの補間フィルタがリサイジングを実現する補間で使用されるかを通知し得る。代替的に、又は追加的に、ＲＦＩｄｘは、複数の補間フィルタからフィルタ係数を指定してもよい。これは、例えば、とりわけ、双線形、バイキュービック、Ｌａｎｃｚｏｓ３、Ｌａｎｃｚｏｓ５、Ｌａｎｃｚｏｓ８であってよい。
上述されたように、ｍｅｔｈｏｄＩｄｘ、ＳＣＩｄｘ、及びＲＦＩｄｘのうちの少なくとも１つ又はそれらの全て又はそれらのうちの少なくとも２つは、ビットストリームで供給されてよく、ビットストリームは、再構成されるべきピクチャも符号化するビットストリームであってよく、あるいは、追加のビットストリームである。デコーダは、次いで、各々のビットストリームをパースし、ｍｅｔｈｏｄＩｄｘ及び／又はＳＣＩｄｘ及び／又はＲＦＩｄｘの値を取得し得る。値に応じて、上述された動作が行われてよい。
リサイジングを実現する補間に使用されるフィルタは、例えば、スケーリング比によって決定することができる。
項目１７１により図１５の右下に示されるように、ＲＦＩｄｘの値は明示的に通知されてよい。代替的に、又は追加的に、ＲＦＩｄｘは、ＲＦＩｄｘ＝ＬＵＴ（ＳＣＩｄｘ）であるように、ルックアップテーブルから取得されてもよい。
他の例では、２つのルックアップテーブルが存在し、アップサイジングの場合に１つ、ダウンサイジングの場合に１つであってもよい。この場合に、ＬＵＴ１（ＳＣＩｄｘ）は、ダウンサイジングが選択される場合のリサイジングフィルタを示してよく、ＬＵＴ２（ＳＣＩｄｘ）は、アップサイジングの場合のリサイジングフィルタを示してよい。一般に、本開示は、任意の特定のＲＦＩｄｘシグナリング方法に制限されない。それは、個別的であり、他の要素から独立していても、あるいは、一緒に通知されてもよい。
図１６及び図１７は、リサイジング方法のいくつかの例を示す。図１６及び図１７には、３つの異なるタイプのパディング操作及びそれらの性能が示されている。示されている図中の横軸は、サンプル位置を示す、縦軸は、各々のサンプルの値を示す。
続く説明は、単なる例示であって、本発明を特定の種類のパディング操作に制限する意図はないことに留意されたい。直線の縦線は、入力（実施形態に従って、ピクチャ）の境界を示し、境界の右手側は、新しいサンプルを生成するようパディング操作が適用されるサンプル位置である。これらの部分は、以下で「利用不可能部分」とも呼ばれ、それらが元の入力に存在せず、更なる処理のためにリスケーリング操作中にパディングによって加えられていることを意味する。入力境界線の左側は、利用可能であり、入力の部分であるサンプルを表す。図に表されている３つのパディング方法は、複製パディング、反射パディング、及びゼロ充てんである。いくつかの実施形態に従って実行されるべきダウンサンプリング操作の場合に、ＮＮのダウンサンプリングレイヤへの入力は、パディングされた情報、つまり、適用されたパディングによって拡張された元の入力になる。
図１６において、利用不可能であり、パディングによって充てんされ得る位置（つまり、サンプル位置）は、位置４及び５である。ゼロ充てんの場合に、利用不可能な位置は、値０を有するサンプルで満たされる。反射パディングの場合に、位置４でのサンプル値は、位置２でのサンプル値に等しくセットされ、位置５での値は、位置１での値に等しくセットされる。換言すれば、反射パディングは、入力境界にある最後の利用可能なサンプルである位置３での利用可能なサンプルをミラーリングすることと同等である。複製パディングの場合に、位置３でのサンプル値は、位置４及び５にコピーされる。異なるパディングタイプは、異なるアプリケーションごとに好まれ得る。具体的に、適用されるパディングタイプは、実行されるべきタスクに依存し得る。例えば：
ゼロによるパディング又は充てんは、認識又は検出タスクなどのコンピュータビジョン（ＣＶ）タスクに使用されるのが適当であり得る。それによって、元の入力に既に存在している情報の量／値／重要度を変更しないために、情報は追加されない。
反射パディングは、追加される値が、定義された“反射ライン”（つまり、元の入力の境界）に沿って既存の値からコピーされさえすればよいので、計算上容易なアプローチであり得る。
繰り返しパディング（繰り返しパディングとも呼ばれる）は、ほとんどのサンプル値及び導関数の連続性が留保されるので、畳み込みレイヤによる圧縮タスクのために好ましい場合がある。サンプル（利用可能なサンプル及びパディングされたサンプルを含む）の導関数は、図１６及び図１７の右手側に示されている。例えば、反射パディングの場合に、信号の導関数は、位置４での急激な変化を示す（図示されている例示的な値については、－９の値が得られる）。滑らかな信号（導関数が小さい信号）は圧縮が容易であるから、ビデオ圧縮タスク場合に反射パディングを使用することは望ましくない場合がある。
示されている例では、複製パディングは、導関数の変化が最も小さい。これは、ビデオ圧縮タスクの観点から有利であるが、より多くの冗長な情報が境界で加えられることになる。これにより、境界での情報は、他のタスクで意図されたよりも重みになる可能性があるので、いくつかの実施では、ゼロによるパディングの全体的な性能は、反射パディングよりも優先される場合がある。
図１８は更なる実施形態を示す。ここで、エンコーダ２０１０及びデコーダ２０２０は横並びに示されている。示されている実施形態において、エンコーダは複数のダウンサンプリングレイヤ１からＮを有する。ダウンサンプリングレイヤは、グループにまとめられ、あるいは、エンコーダ２０１０内のニューラルネットワークのサブネットワーク２０１１及び２０１２の部分を形成することができる。これらのサブネットワークは、例えば、デコーダ２０２０へ供給され得る特定のビットストリーム１及び２を供給することに関与することができる。この意味で、エンコーダのダウンサンプリングレイヤのサブネットワークは、合理的に分離することができない論理的なユニットを形成し得る。図１８に示されるように、エンコーダ２０２０の第１サブネット２０１１はダウンサンプリングレイヤ１から３を含み、夫々がその各々のダウンサンプリング比を有する。第２サブネットワーク２０１２は、各々のダウンサンプリング比を持ったダウンサンプリングレイヤＭからＮを含む。
デコーダ２０２０は、アップサンプリングレイヤ１からＮの対応する構造を備えている。デコーダ２０２０の１つのサブネットワーク２０２２は、アップサンプリングレイヤＮからＭを含み、他のサブネットワーク２０２１は、アップサンプリングレイヤ３から１（ここでは、各々の入力の処理順序で見たときに、番号付けがデコーダと一致するように降順にしている）を含む。
上述されたように、エンコーダのダウンサンプリングレイヤ２の前に入力に適用されたリスケーリングは、相応して、アップサンプリングレイヤ２の出力に適用される。これは、上述されたように、ダウンサンプリングレイヤ２への入力のサイズがアップサンプリングレイヤ２の出力のサイズと同じであることを意味する。
より一般的には、エンコーダのダウンサンプリングレイヤｎの入力に適用されたリスケーリングは、アップサンプリングレイヤｎの出力に適用されるリスケーリングに対応し、それにより、リスケーリングされた入力のサイズは、リスケーリングされた出力サイズと同じになる。
図１９から２３に関連して続く記載では、いくつかの更なる実施形態が更に詳細に説明される。後述される実施形態は上記の実施形態のいずれかと組み合わせることが意図され、特に、符号化及び復号化のおけるニューラルネットワークの具体的な使用については、図１２から１５及び１８を参照されたい。更に、図１３から１５で説明されているような、どのリスケーリングモードが行われるべきかを通知する具体的な方法は、必要なリスケーリングに関する情報や、ピクチャに加えて、ピクチャをビットストリームに符号化するときに適用されるべきリスケーリングに関する情報を供給する情報を、例えば、ピクチャを符号化しているビットストリームで、デコーダへ供給するために、以下の教示と組み合わされてよい。また、後述される実施形態は、図１から３に関連して記載されているシステム及び方法のいずれかを用いて実施されてよく、あるいは、それらは、これらの図で記載されているシステム及び方法の部分として実施されてもよい。
図１９及び２０は、いくつかの実施形態に使用され得るエンコーダ（図１９）及びデコーダ（図２０）の例示的な実施形態を示す。エンコーダ及びデコーダの具体的な実施形態は、図１から３及び図４及び６から８を参照して上で既に説明されている。各々の実施形態は、続く記載に含まれることが意図される。これは、図１から３及び図４及び６から８並びに図１０及び１１に関連して記載されている全てのコンポーネント及び機能が、たとえ以下で明示的に言及されていないとしても、図２０のデコーダ及び図１９のエンコーダにも提供されてよいことを意味する。
エンコーダ及びデコーダの構造に関して詳細に入る前に、以下の記載は、エンコーダ又はデコーダの具体的な実現に本発明を制限する意図はない。更に、それらの夫々は、エンコーダ／デコーダの機能を実現するよう汎用ハードウェアと相互作用するソフトウェアを使用すること、又はその構造に基づいて、エンコーダ／デコーダの機能を実現する具体的に適応されたハードウェアを使用することのいずれかによって、実施され得る。更に、それらの組み合わせも可能である。
更に、続く記載は、エンコーダ及びデコーダで提供されるニューラルネットワークに焦点を当てている。しかし、エンコーダ／デコーダは、パーシングユニット、インタープリタ、暗号化ユニット、暗号解読ユニット、ピクチャ又は他のデータを受信する受信ユニット、データ及び／又はビットストリームを出力する出力ユニットなどの更なるコンポーネントも有してよい。
パーシングユニットは、当業者に知られているパーサとして実現されてもよい。受信ユニットは、アンテナ又は受信器として実施されてよく、あるいは、当業者に知られているように、それらを有してもよい。また、出力ユニットは、送信器又はアンテナとして実施されてよく、あるいは、それらを有してもよい。更に、受信ユニット及び出力ユニットは、単一のコンポーネントとして、例えばトランシーバとして、実施されてもよい。
図１９から始めると、エンコーダ２１００のコンポーネントが模式的に示されている。
この実施形態において、エンコーダは、複数のレイヤ２１１０，２１２０、２１３０及び２１４０を含むニューラルネットワークを有する。
それらのレイヤの夫々は、望ましくは、特定の方法でニューラルネットワークの各々のレイヤへの入力２１０１、２１０２、２１０３、２１０４を処理するよう構成される。図１９において、入力２１０１はニューラルネットワークへの入力であり、つまり、ニューラルネットワークの先行レイヤは入力を処理していない。いくつかの実施形態に従って、ニューラルネットワークへの入力はピクチャである。ピクチャは、静止画若しくは動画又はそれらの部分であってよい。入力は必ずしもピクチャそのものである必要はなく、ピクチャを表す適切なデータ構造の形で供給されてもよい。例えば、ピクチャは、高さ及び幅を有するマトリクス並びに対応するサンプルの値を表すマトリクスの各エントリのように扱われ得る複数のサンプルの形で供給され得る。
出力２１０５はここでは、ニューラルネットワークの最終的な出力として示され得る。これに関して、本発明は、前処理、例えば、パース、暗号解読、などされていない入力に限られない。また、出力は、暗号化などの何らかの更なる処理を受け得る。一般に、出力２１０５は、ビットストリーム又は符号化されたビットストリームと呼ばれ得る。それは、入力ピクチャの表現であるか、又はそれを含む。
更に、図１９に関連して、エンコーダ２１００は、ニューラルネットワーク４つのレイヤしか有さないことに制限されず、任意の数のレイヤが、各々の入力を処理するためにニューラルネットワークに設けられてもよい。
ピクチャは、例えば、単一のピクチャ若しくはピクチャファイル又は動画若しくはビデオファイルのような動画ファイル、あるいは、例えば高さＨ及び幅Ｗとして表され得る２つの次元を有するマトリクスによって表現することができる任意の他の情報を表し得る。
一実施形態に従って、エンコーダは、受信された入力にダウンサンプリングを適用するよう構成されている、ニューラルネットワークの複数のレイヤ内の少なくとも１つのレイヤを有する。入力は必ずしも元のピクチャである必要はなく、何らかの変更をピクチャに既に適用したニューラルネットワークの先行レイヤの出力であってもよく、あるいは、それは、ピクチャを前処理したプリプロセッサの出力であってもよい。
かようなダウンサンプリングは、ピクチャを符号化するために使用され得る。このダウンサンプリングによって、ピクチャのサイズは、例えば、ビットストリームが実際に表すマトリクスのサイズを低減することによって、低減される。
例えば、１０２４×５１２ピクセルの解像度を有するピクチャが例として考えられ得る。説明を簡単にするために、このピクチャは、グレースケールピクチャであるように１つ（カラーチャネル）しか提供しなくてもよく、従って、２次元マトリクス内で各ピクセルが１０２４×５１２個の点を形成する単一色（強度）値を有する、ことが更に仮定される。本発明の一実施形態に従ってダウンサンプリングを適用することによって、このマトリクスのサイズは、２つの次元のうちの少なくとも１つで係数２によって低減され、例えば、５１２×２５６ピクセルのサイズを有するダウンサンプリングされた画像をもたらす。これは、ニューラルネットワークの複数のレイヤのうちの少なくとも１つのダウンサンプリングレイヤを、受信した入力に畳み込みを適用する畳み込みとして設けることによって、達成され得る。他の例では、ダウンサンプリングは、１つの次元で入力のｎ番目ごとのサンプルを保持し、ｎ個ごとのサンプルのうちのｎ－１個のサンプルを破棄することによって、実施され得る。
ダウンサンプリング操作は１回以上適用されてよく、つまり、サイズが５１２×２５６であるダウンサンプリングされた中間画像は、両方の次元で係数２によって更にダウンサンプリングすることができ、２５６×１２８の出力サイズが得られる。ダウンサンプリングの目的は、互いに相関性が高いサンプルを捨てることであるから、画像の圧縮性は高まる。自然画像では、隣接するサンプル値は通常非常に類似している。例えば、青空の画像の１つのピクセルサンプルは、隣のピクセルサンプルに非常に類似している（どちらも青いが、色合いがわずかに変わる可能性がある）これは、画像の隣接するサンプルの値が非常に相関しており、１つのサンプルの値が分かれば、隣接するサンプルの値について非常に正確に推測できることを意味する。ダウンサンプリング操作は、そのような冗長性を排することを目的としているので、冗長な情報を捨てることによって、画像をより圧縮しやすくする。結果として生じるコーディングされたビットストリームサイズは、冗長な情報がどれくらい含まれているかに依存するので、冗長な情報が少なければ少ないほど、ビットストリームのサイズはますます小さくなる。
上記の例では、ＮＮが、（ダウンサンプリングを実行しない他の処理レイヤとともに）２のダウンサンプリング比を夫々有している全部で２つのダウンサンプリングレイヤを有する場合に、かつ、入力画像のサイズが１０２４×５１２である場合に、問題は観測されない。２つのダウンサンプリング操作の後以降、結果として得られるダウンサンプリングされた出力は２５６×１２８である。しかし、入力が１０２４×５１１のサイズを有する場合には、最初のダウンサンプリングの後で、中間出力の期待されるサイズが５１２×２５５．２であって整数ではなく、部分的なピクセルサンプルを有することが不可能であるために、ＮＮにより入力を処理することは不可能となる。これは、当該例でのＮＮが、４×４の倍数ではない入力画像を処理することができないことを意味する。
問題は、上では、少数（例えば、２つ）のダウンサンプリングレイヤの場合について説明された。しかし、画像圧縮は複雑なタスクであり（画像は、膨大な量の次元を有する信号であるから）、通常、ディープニューラルネットワークがこのタスクを実行するために必要である。これは、通常、ＮＮに含まれているダウンサンプリングレイヤの数が２つよりも多いか又はそれよりずっと多いことを意味する。これは、例えば、ダウンサンプリングレイヤの数が６である（２のダウンサンプリング比を夫々有する）場合に、ＮＮが、２６×２６＝６４×６４の倍数である入力サイズしか処理することができないために、問題を大きくする。異なるエンドユーザデバイスによって得られた画像のほとんどは、この要件を満足しない。
かような畳み込みは、入力の元のマトリクス（この場合、１０２４×５１２のエントリを含むマトリクスであり、エントリはＭｉｊで表される）のエントリと、このマトリクスに対して実行（シフト）され、通常は入力のサイズよりも小さいカーネルＫとの要素ごとの乗算を有する。２つの離散変数の畳み込み演算は次のように記載され得る：
従って、ｎの全てのとり得る値に対する関数（ｆ＊ｇ）［ｎ］の計算は、入力アレイｇ［］に対してカーネル又はフィルタｆ［］を実行（シフト）し、各シフトされた位置の要素ごとの乗算を実行することと同等である。
上記の例では、カーネルＫは、２のステッピング範囲によって入力に対して実行される２×２マトリクスであるから、ダウンサンプリングされたビットストリームＤの最初のエントリＤ１１は、カーネルＫにエントリＭ１１、Ｍ１２、Ｍ２１、Ｍ２２を乗じることによって取得される。水平方向における次のエントリＤ１２は、次いで、カーネルとエントリ及びエントリＭ１２、Ｍ１４、Ｍ２３、Ｍ２４を含む縮退されたマトリクスとの内積を計算することによって取得され得る。垂直方向で、これは相応して実行され、それにより、ＭとＫとの各々の内積を計算することで取得されたエントリＤｉｊを有し、方向又は次元ごとに半分のエントリしか有さないマトリクスＤが最終的に取得される。
換言すれば、畳み込み出力を取得するために使用されるシフト量は、ダウンサンプリング比を決定する。カーネルが各計算ステップの間で２サンプルをシフトされる場合に、出力は係数２によってダウンサンプリングされる。２のダウンサンプリング比は、次のように上記の式で表現することができる：
転置畳み込み演算は、畳み込み演算と同じように数学的に表現することができる。「転置」という用語は、上記の転置畳み込み演算が特定の畳み込み演算の反転に対応するという事実に対応する。しかし、実施ごとに、転置畳み込み演算は、上記の式を使用することによって同様に実施され得る。転置畳み込みを使用することによるアップサンプリング演算は、関数：
を使用することによって実施することができる。上記の式において、ｕはアップサンプリング比に対応し、ｉｎｔ（）は整数への変換に対応する。ｉｎｔ（）は、例えば、丸め演算として実施することができる。
上記の式において、値ｍ及びｎは、畳み込みカーネル又はフィルタｆ（）及び入力変数アレイｇ（）が１次元アレイである場合にスカラーインデックスであることができる。それらはまた、カーネル及び入力アレイが多次元である場合に多次元インデックスとして理解することもできる。
本発明は、畳み込み又は逆畳み込みによるダウンサンプリング又はアップサンプリングに制限されない。如何なる可能なダウンサンプリング又はアップサンプリング方法も、ニューラルネットワークＮＮのレイヤにおいて実施され得る。
このプロセス（ダウンサンプリング）は、１つよりも多いダウンサンプリングレイヤがより一層サイズを低減するためにニューラルネットワーク内に設けられる場合に繰り返され得る。それによって、符号化されたビットストリーム２１０５は、図１９に従ってニューラルネットワークから出力として供給され得る。この繰り返しダウンサンプリングは、図６、図１０及び図１１で議論されているエンコーダにおいて実装され得る。
エンコーダ及び具体的にニューラルネットワークのレイヤは、畳み込みを適用するダウンサンプリングレイヤを単に有するものに制限されず、入力のサイズの低減を取得する畳み込みを必ずしも適用する必要がない他のダウンサンプリングレイヤも考えることができる。
更に、ニューラルネットワークのレイヤは、ニューラルネットワークのそれらの対応するレイヤの各々の入力及び／又は出力に対して他の演算を実行する更なるユニットを有することができる。例えば、ニューラルネットワークのレイヤ２１２０はダウンサンプリングレイヤを有してもよく、ダウンサンプリング前のこのレイヤへの入力の処理順序において、正規化線形ユニット（ＲｅＬｕ）及び／又はバッチ正規化が設けられてもよい。
正規化線形ユニットは、変更されたエントリＰ’ｉｊを形式
で取得するために、マトリクスＰのエントリＰｉｊに調整を適用することが知られている。それによって、変更されたマトリクス内の値は全て０に等しいかそれよりも大きいことが保証される。これは、いくつかのアプリケーションの場合に必要又は有利であり得る。
バッチ正規化は、サイズＭ×Ｎを有するマトリクスＰのエントリＰｉｊから形式
で平均値を最初に計算することによって、マトリクスの値を正規化することが知られている。この平均値Ｖを用いて、次に、エントリＰ’ｉｊを有するバッチ正規化されたマトリクスＰ’が、Ｐ’ｉｊ＝Ｐｉｊ－Ｖによって取得される。
バッチ正規化によって得られる計算も、正規化線形ユニットによって得られた計算も、どちらともエントリの数（つまりサイズ）を変更せずに、マトリクス内の値のみを変更する。
かようなユニットは、状況に応じて、各々のダウンサンプリングレイヤの前、又は各々のダウンサンプリングレイヤの後に配置され得る。具体的に、ダウンサンプリングレイヤはマトリクス内のエントリの数を減らすということで、ビットストリームの処理順序において各々のダウンサンプリングレイヤの後にバッチ正規化を配置する方が適切である。それによって、Ｖ及びＰ’ｉｊを取得するのに必要な計算の数は大幅に減る。正規化線形ユニットは、一部のエントリが０になる可能性があるので、畳み込みがダウンサンプリングレイヤに使用される場合に、サイズを低減されたマトリクスを取得するための乗算を簡単にすることができるということで、畳み込みの適用の前に正規化線形ユニットを配置することが有利であり得る。
しかし、本発明はこれに関して制限されず、バッチ正規化又は正規化線形ユニットは、ダウンサンプリングレイヤに対して他の順序で配置されてもよい。
更に、各レイヤが必ずしもそれらの更なるユニットのうちの１つを有する必要はなく、あるいは、他の変更又は計算を実行する他の更なるユニットが使用されてもよい。
ニューラルネットワークがニューラルネットワークを通じて２１０１の入力を確実に処理し、最終的に出力２１０５を得ることができるようにするために、エンコーダのニューラルネットワークを通じて入力ビットストリームを処理するときに適用されるダウンサンプリング操作は、定義された数学的演算であることが必要である。
畳み込みがダウンサンプリングレイヤの一実施として提供される上記の例を考慮して、実施形態は、例えば、各次元で入力（ピクチャ）によって表されるマトリクスのエントリの数がこの次元でのカーネルのサイズの整数倍に対応することを保証することができる。よって、それらは、畳み込みが数学的に実行され得ず、エンコーダ２１００のニューラルネットワークを通じて入力２１０１を処理するときに障害を発生させたり、あるいは一貫性のない結果をもたらしたりする可能性がある状況を回避することができる。同時に、実施形態は、エンコーダ２１００のニューラルネットワークを通じた入力ピクチャ２１０１の処理の終わりに最終的に出力されるビットストリームのサイズを可能な限り小さいままにすることができる。
これは、図２１に関連して更に詳細に説明される方法を適用することによって達成され、ニューラルネットワークのレイヤへの入力のサイズをリスケーリングするリスケーリング操作を含む。これは、以下で更に詳細に説明される。
図２０は、一実施形態に係るデコーダ２２００を示す。
このデコーダは、ここで示されるように連続した順序で複数のレイヤ２２０１、２２２０、２２３０、及び２２４０を含むニューラルネットワークを少なくとも有し、それにより、入力２２０１は、ニューラルネットワークの後続レイヤによって処理され、それがニューラルネットワークの全てのレイヤによって処理された（その後の出力２２０１、２２０３、２２０４を得た）後、出力２２０５が供給される。
本発明と関連して、エンコーダ２２００のニューラルネットワークは少なくとも１つのレイヤ、例えば、レイヤ２２２０を有し、このレイヤ２２２０への入力２２０２にアップサンプリング操作を適用する。このアップサンプリング操作は、入力がマトリクスの形で表現され得る場合に、少なくとも１つの次元での入力のサイズの増大を含む。これに関連して図１９で既に与えられた説明は、ここでも当てはまる。
図１９の上記の実施形態を考慮すると、デコーダへの入力２２０１は、画像を表すビットストリームである。具体的に、ビットストリームは、図１９のエンコーダによって取得されたビットストリームであってよい。よって、ビットストリームは、静止画若しくは動画又はそれらの部分のようなピクチャを表してよく、前にダウンサンプリングされた（それによって符号化された）ビットストリームのアップサンプリングを適用することによって、具体的に図２０に従うデコーダ２２００を使用することによって復号され得る。
入力ビットストリーム２２０１のサイズは、それが少なくとも２つの次元を有するマトリクスを表す限りは、このようにして、デコーダ２２００の出力２２０５と比較してこれらの次元のうちの少なくとも１つで小さくなる。具体的に、出力は、デコーダ２２００へ入力されたビットストリーム２２０１から再構成された復号化されたピクチャ又は再構成されたピクチャであってよい。
しかし、ニューラルネットワークのレイヤは、アップサンプリングレイヤを含むものに限られず、少なくとも１つのアップサンプリングレイヤに加えて、少なくとも１つの更なるレイヤを有することができる。更に、レイヤの数も本発明に従って制限されず、デコーダは任意の数のレイヤを有してよい。
アップサンプリングレイヤは、例えば、入力に対して補間又は逆畳み込み（つまり、転置畳み込み演算）を実行することによって、受信した入力を少なくとも１つの次元でアップサンプリングする。これに関連して、アップサンプリングは、アップサンプリング比
によって入力のサイズを増大させることを含む。
デコーダ２２００のニューラルネットワーク及び具体的にこのニューラルネットワークのアップサンプリングレイヤは、上で説明された正規化線形ユニット及び／又はやはり上で説明されたバッチ正規化のような追加のユニットを更に有してもよい。
図１９及び図２１の実施形態を考えると、デコーダはエンコーダの逆の操作であると仮定することができ、図１９のエンコーダ２１０１によって符号化された入力２２０１に対してデコーダがその操作を適用する場合に、最初にエンコーダへ供給された入力２１０１をもたらす。これは理想的なケースであるが、図１９に従うエンコーダを用いてビットストリームを符号化する際の情報の損失により、デコーダ２２００によるビットストリーム２２０１の処理の終了時の復号されたビットストリーム２２０５は、元の入力２１０１と同じでない可能性がある。
いくつかの実施形態において、エンコーダは多数の連続した畳み込みレイヤ又は（より一般的には）０からＮまで番号付けされたダウンサンプリングレイヤを有すると仮定され得る。デコーダは、そのような場合に、対応する順序で対応する数Ｎのアップサンプリングレイヤを有してよく、デコーダのアップサンプリングレイヤｎのアップサンプリング比ｕは、エンコーダの対応するダウンサンプリングレイヤのダウンサンプリング比ｒに等しく、つまり、ｕｎ＝ｒＮ－ｎであり、インデックスｎ及びＮ－ｎは夫々、入力を処理する順序におけるアップサンプリングレイヤ又はダウンサンプリングレイヤの位置を表す。これは、デコーダのニューラルネットワークを通る入力（つまり、ビットストリーム）の処理順序において最初のアップサンプリングレイヤのアップサンプリング比は、エンコーダのニューラルネットワークを通る入力（つまり、ピクチャ）の処理順序における最後のダウンサンプリングレイヤのダウンサンプリング比に等しいことを意味する。
これにより、各々のニューラルネットワークを通る入力の処理において同じポイントで実行されるダウンサンプリング操作と比較して逆のアップサンプリング操作が得られる。
上記の実施形態は、例えば、シェーディングなしの白黒ピクチャの２次元マトリクスで表される例示的な入力ピクチャを参照して、エンコーダ及びデコーダに関して記載された。しかし、技術は、夫々の利用可能なカラーチャネルで複数の値を有するピクチャ又は（動画としての）カラー映像のような、より複雑な情報を含むピクチャにも適用されることが、本開示によって企図されている。
かような場合について、上述されるような単一のニューラルネットワークでそのようなより複雑な入力も処理することは原理上可能であるが、各カラーチャネルについて、図１９及び／又は図２０に従って提供される構造を備えた“サブニューラルネットワーク”ｓＮＮが各々のエンコーダ及び／又はデコーダで設けられることが好ましい。更に、エンコーダ及び／又はデコーダのニューラルネットワークのレイヤを特徴付ける値は、各ｓＮＮについて同一であってよい。しかし、ｓＮＮの１つでニューラルネットワーク及びニューラルネットワークレイヤを規定するパラメータは、他のｓＮＮの各々の値と相違することも企図されてよい。例えば、緑のカラーチャネルを処理するサブニューラルネットワークは、赤の色チャネルと比較して異なるように構造されてよい（カーネルの異なる値又はダウンサンプリング比の異なる順序によるより多い又はより少ないレイヤ又は畳み込みを含む）。これに関連して、如何なる技術的に適当な組み合わせも想到可能である。しかし、エンコーダ内のｓＮＮに関してピクチャの部分を処理することによって取得されたサブビットストリームがエンコーダの各々のニューラルネットワークを通る処理の終わりに同じサイズを有する場合に、それは好ましい場合がある。デコーダにも同じことが好ましい。これは、異なるｓＮＮを通ってサブビットストリームを処理することによって処理されたビットストリームが、サブビットストリームを復号することで得られた再構成された画像をもたらすことを意味し、夫々の復号されたサブビットストリームは、復号される場合に、望ましくは、他の復号されたサブビットストリームと同じサイズを有する。
図２１は、例えば図１９のニューラルネットワークの部分として提供されるダウンサンプリングレイヤにより少なくとも１つの次元で入力ピクチャ又は一般的にサイズＳを有する入力を処理する方法を特定する。
方法２３００はステップ２３０１から始まり、少なくとも１つの次元でサイズＳを有する入力が受け取られる。説明を容易にするために、ダウンサンプリングは、ただ１つの次元に関して以下で記載される。しかし、本発明は２つの次元で入力をダウンサンプリングするために使用されることは上記から明らかであり、意図される。
より容易に説明されるように、入力は、静止画又は動画などのようなピクチャであってよい。更に、ステップ２３０１は、図１９に表されているニューラルネットワーク内の任意のポイントで行われてもよい。よって、入力は、ニューラルネットワークを通って入力２１０１を処理する順序において最初のレイヤであるレイヤ２１１０で受け取られる必要はなく、ステップ２３０１は、その後のダウンサンプリングレイヤ、例えば、インデックスｉを有するダウンサンプリングレイヤで行われてもよい。
サイズＳを有する入力は、次のステップで、望ましくは、そのサイズが各々のダウンサンプリングレイヤｉのダウンサンプリング比ｒｉの倍数の整数に等しいかどうかについてチェックされる。
このチェックは、例えば、サイズＳとｃｅｉｌ（ｓ／ｒ）ｒ又はｆｌｏｏｒ（ｓ／ｒ）ｒとの間の差を計算することを含むことができる。この差がゼロである場合に、Ｓは既に、各々のダウンサンプリングレイヤのダウンサンプリング比ｒの整数倍である。差がゼロではない場合には、Ｓは、ダウンサンプリングレイヤのダウンサンプリング比ｒの整数倍ではない。
例えば、サイズＳ＝５１２及びダウンサンプリング比ｒ＝４を考える。その場合に、Ｓ＝１２８ｒｉであり、従って、ダウンサンプリング比の整数倍である。その場合に、上記の計算は、ｃｅｉｌ（ｓ／ｒ）ｒ－Ｓ＝ｆｌｏｏｒ（ｓ／ｒ）ｒ－Ｓ＝０に至る。サイズＳ＝５１３ならば、それは、このダウンサンプリングレイヤのダウンサンプリング比ｒｉの整数倍にならない。その場合に、例えば、ｃｅｉｌ（ｓ／ｒ）ｒ－Ｓ＝３及びｆｌｏｏｒ（ｓ／ｒ）ｒ－Ｓ＝１である。従って、差のいずれの計算も、ゼロではない差をもたらす。
Ｓがダウンサンプリング比ｒの整数倍であるかどうかのこの決定は、Ｓ及び／又はｒに依存する関数を使用して、Ｓがダウンサンプリング比ｒの整数倍であることを示す結果を前提として、Ｓがダウンサンプリング比ｒの整数倍ではないときには他の結果を与える他の適切な方法でも行うことができる。
この決定に応じて、２つの異なるアプローチがとられ得る。
ステップ２３０２で、サイズＳがダウンサンプリング比の整数倍に等しいことが決定される場合に（２３１０で示される）、方法はステップ２３１１へ進んでよい。これは、サイズＳを有する入力にリスケーリングが適用されないことを意味する。入力のサイズＳが各々のダウンサンプリングレイヤのダウンサンプリング比ｒｉの整数倍であるということで、ステップ２３１１で、入力のダウンサンプリング操作は、入力のサイズがサイズＳｉ＜Ｓに低減されるように実行され得る。
このダウンサンプリングを実行した後、出力はこのレイヤによってニューラルネットワークの処理順序において他のレイヤへ供給され得るか、あるいは、これは既に、図１９ｆで項目２１０５により示されたニューラルネットワークの最終出力であることができる。
更に、前に示されたように、ニューラルネットワークの各々のレイヤが更なるユニットに関連するか又はそれを有する場合に、更なる操作は、ステップ２３１１の前に（例えば、正規化線形ユニットを使用することによって）及び／又はステップ２３１１の後に、実際に出力２３１２を供給する前に、適用されてよい。具体的に、ダウンサンプリングを実行した後、バッチ正規化は、低減されたサイズＳｉを有する取得されたビットストリームの値を、これがその後のエンティティへの出力として供給される前に正規化するために使用され得る。
他方で、ステップ２３０２で、サイズＳがニューラルネットワークの各々のレイヤのダウンサンプリング比ｒｉの整数倍ではないと決定される場合に（ステップ２３２０）、リスケーリングが入力に適用されてよく、ダウンサンプリングレイヤが入力を実際に処理することを可能にするために入力のサイズＳを変更する。このリスケーリング操作は、入力のサイズＳを増大又は低減することを有することができ、それにより、変更されたサイズ
が得られる。
望ましくは、サイズ
は、元のサイズＳに行われる変更が可能な限り少なくなるように決定される。望ましくは、サイズＳは、ダウンサンプリング比ｒの最も近い小さい方の整数倍に又はダウンサンプリング比ｒの最も近い大きい方の整数倍に変更される。ダウンサンプリング比ｒの最も近い小さい方の整数倍又は最も近い大きい方の整数倍は、関数ｆ（ｎ）＝｜Ｓ－ｎｒ｜を最小化することによって取得され得る。正の整数値に制限されるように、この最小化は、ダウンサンプリング比ｒの最も近い小さい方の整数倍又は最も近い大きい方の整数倍のどちらかをもたらす。ダウンサンプリング比の最も近い小さい方の整数倍又は最も近い大きい方の整数倍は、Ｓが既にダウンサンプリング比ｒの整数倍である場合に、Ｓと同じであることもできる。
代替的に、
は、ｃｅｉｌ（ｓ／ｒ）ｒ又はｆｌｏｏｒ（ｓ／ｒ）ｒのどちらか一方を計算することによっても取得され得る。前者は、ダウンサンプリング比の最も近い大きい方の整数倍をもたらし、一方、後者は、ダウンサンプリング比の最も近い小さい方の整数倍をもたらす。
これら２つの選択肢には、ｎの値を明示的に取得することが必ずしも含まれるわけではない。ｎの各々の値は、これらがｎの値を提供するため、別々のステップでｃｅｉｌ（ｓ／ｒ）又はｆｌｏｏｒ（ｓ／ｒ）を計算することによって明示的に取得され得る。
サイズ
を取得すると、入力のサイズＳは、そのサイズが
に変更されるようにリスケーリングを適用することにおいて増大又は低減される。これは、如何なる適切な方法でも行われ得る。サイズＳからサイズ
へのサイズの低減をもたらすリスケーリングの場合について、これは、図１３から１５に関して上で説明されたように、入力をクロッピングするか、又は補間を使用することによって、行われてもよい。リスケーリングがサイズＳからサイズ
へのサイズの増大をもたらす場合に、これは、入力にゼロをパディングするか、又は補間を使用するか、又は冗長な情報によるパディングを使用することによって、行われてもよい。ここで、具体的に、反射パディング又は繰り返しパディングは、図１３から１５に関してやはり上で説明されたように使用されてよい。
明示的な例を与えるために、上述されたように、入力が５１３のサイズを有するが、ダウンサンプリング比ｒが４である場合に、入力サイズは、ダウンサンプリング比の整数倍に対応するために、１では大きすぎ、３では小さすぎる。従って、境界での“０”による元の入力のパディング（又は反射若しくは繰り返しパディングによって元の入力内の既存のサンプルを存在しない位置にコピーすること）は、サイズＳを、その場合にダウンサンプリング比ｒの整数倍に等しいサイズ
に増大させるために行われる。代替的に、サイズＳを有する入力は、サイズＳをサイズ
に低減するよう入力の１つ以上の境界でエントリを削除することによってクロッピングされてもよい。他の手段、例えば、補間が、各々のリスケーリングを実行するために使用されてもよい。
本発明はこれに関して制限されず、図２３に関して更に説明されたように、入力のサイズを増大すべきか又は入力のサイズを低減すべきかの決定は、また、このためにどのリスケーリング操作を実際に使用すべきかの決定も、特定の条件に依存してよい。
更に、ニューラルネットワークにより入力を処理するとき、次のダウンサンプリングレイヤの前にサイズが増大されるか、又は次のダウンサンプリングレイヤの前にサイズが低減される場合に、リスケーリングは単一の方法でのみ適用されることは不要であることに留意されたい。例えば、第１のダウンサンプリングレイヤの前に、入力のサイズはゼロによるパディングを用いて増大され、一方、第２のダウンサンプリングレイヤの前に、サイズは、冗長な情報によるパディングを用いて、具体的には、反射パディング又は繰り返しパディングを用いて増大されることが提供されてもよい。
入力がステップ２３２２でサイズ
にリスケーリングされると、ダウンサンプリング操作はステップ２３１１に従って、しかし、サイズＳを有する元の入力によらずに、サイズ
を有する変更された入力により実行され得る。いずれの場合にも、ダウンサンプリングは、元の入力サイズＳよりも依然として小さいダウンサンプリングレイヤの出力のサイズＳｉをもたらすことが企図される。これは、ステップ２３２１で適用されるリスケーリングが、望ましくは、可能な限り少ない追加のエントリを加えるように実行されるか、あるいは、デフォルトに従って、いずれの場合にも入力サイズＳを各々のダウンサンプリング比の最も近い小さい方の整数倍に低減することによって、実現されてもよい。
例えば、各々のダウンサンプリングレイヤのダウンサンプリング比が２であり、入力のサイズが２の整数倍でない場合に、リスケーリングは、原則として、入力のサイズの２倍を有してもよい。これは、いずれの場合にも、リスケーリングされたサイズ
をもたらすことになる。これは、しかし、サイズＳと比較してサイズ
を大幅に増大させ、ダウンサンプリングを実行した後のサイズＳｉが実際に入力のサイズＳよりも実際には小さくなるわけではない。そのような操作は、従って、望ましくは回避され、むしろ、入力がサイズｌｒｉ＜Ｓ＜ｒｉ（ｌ＋１）を有する場合に、
になるように、ステップ２３２１に従うリスケーリングが行われることが保証される。これは、望ましくは、ダウンサンプリング比の最も近い整数倍がリスケーリングのために選択されることを意味する。
ｌの値は、ｃｅｉｌ（）若しくはｆｌｏｏｒ（）、又は各々の値を得ることを可能にする任意の関数を用いて、取得されてもよい。例えば、ｌを取得するために、ｆｌｏｏｒ（ｓ／ｒ）は、ｒを乗じられる場合に、Ｓ以下でありながらＳに最も近くなる整数値ｌになるように計算され得る。従って、これにより
を取得することは、
が実際にダウンサンプリング比の最も近い小さい方の整数倍であることを確かにする。ｌ又はｌ＋１は、ｃｅｉｌ（ｓ／ｒ）により取得されてもよい。この関数は、ダウンサンプリング比ｒを乗じられる場合に、Ｓ以上でありながらＳに最も近くなる整数値（ｌ＋１）になるように（ｌ＋１）を提供する。従って、これにより
を取得することは、実際にダウンサンプリング比の最も近い大きい方の整数倍であることを確かにする。
例を与えるために、ダウンサンプリング比ｒ＝４であり、入力のサイズは５１３であってよい。その場合に、ｌを計算するためにｆｌｏｏｒ（ｓ／ｒ）を使用することは、最も近い小さい方の整数としてｌ＝１２８をもたらす。ｃｅｉｌ（ｓ／ｒ）を使用することは、（ｌ＋１）＝１２９をもたらす。５１３は（４×１２８＝５１２であるから）ｒの最小整数倍に近いということで、入力のサイズは５１２に低減されて、可能な限りほとんど情報は失われないことになる。しかし、デフォルトとして、サイズＳは、情報が失われないことを確かにするために５１６に増大されることも提供されてよい。
他の実施形態では、２３０２のチェックステップ及び２３１０のステップを含み左分岐は存在しなくてもよい。かような場合に、リスケーリングステップ２３２１は、Ｓが既にダウンサンプリング比ｒｉの整数倍であるときに、Ｓに等しいサイズ
を出力することができる。換言すれば、リスケーリング関数は、Ｓがｒｉの整数倍である可能性があるという事実を既に考慮に入れることができる。従って、チェックステップ２３０２は実施されなくてもよい。更なる実施形態では、２３２１のリスケーリングステップは、Ｓが既にダウンサンプリング比ｒｉの整数倍である場合でも、リスケーリングを実行することができる。これは、例えば、入力のサイズの低減が重要である場合に、かつリサイジング操作がＳよりも小さいサイズ
を生成する場合に、有利になり得る。
更に、この決定は明示的に行われなくてもよい。むしろ、例えばデフォルトによって、サイズＳを有する入力がダウンサンプリング比ｒを有するダウンサンプリングレイヤについて取得されるとき、値ｃｅｉｌ（ｓ／ｒ）ｒ又はｆｌｏｏｒ（ｓ／ｒ）ｒは決定されてよく、これに基づいて、リスケーリングは、ｃｅｉｌ（ｓ／ｒ）ｒ又はｆｌｏｏｒ（ｓ／ｒ）ｒがＳに等しいかどうかを決定又は判断せずに実行される。これらの値がＳに等しい場合に、リスケーリングは、“ゼロ”リスケーリング又は同一リスケーリングであってよく、サイズＳを変更しない。これらの値がＳと相違する場合にのみ、実際のリスケーリングは適用される。
本発明の実施形態に従って、方法２３００は、各ダウンサンプリングレイヤの前に別々に実行される。具体的に、ステップ２３０２の決定及びステップ２３２１のリスケーリングは、望ましくは図１９に従うエンコーダのニューラルネットワーク内の他のダウンサンプリングレイヤの任意の他のダウンサンプリング比から独立している。例えば、図１９のレイヤ２１１０がダウンサンプリングレイヤであり、レイヤ２１３０もダウンサンプリングレイヤである場合に、方法２３００は、ダウンサンプリングレイヤ２１１０のダウンサンプリング比ｒ２１１０のみを用いて、ダウンサンプリングレイヤ２１１０の前に実行される。その後に、ニューラルネットワークのレイヤ２１２０によるビットストリームの処理後、それを更なるダウンサンプリングレイヤ２１３０で処理する前に、ビットストリーム２１０３は、その各々のサイズ及びダウンサンプリングレイヤ２１３０のダウンサンプリング比ｒ２１３０を使用することによって、方法２３００により処理される。
それによって、リスケーリング操作は、現在の入力を処理すべき特定のダウンサンプリングレイヤについてステップ２３０２の条件のみを考慮して実行され、ビットストリームによって表されるマトリクスへの追加のエントリの付加又は削除は、必要な分だけ行われる。それによって、図１９に従ってエンコーダ２１００による出力として供給される符号化されたビットストリーム２１０５のサイズは、可能な限り低減される。
図２２は、図２０に従うデコーダのアップサンプリングレイヤの１つにより実行されるリサイジング又はリスケーリング操作を参照する更なる実施形態を示す。
符号化の場合と同様に、このリスケーリングは、各アップサンプリングに対して別々に実行される。しかし、以下の議論から明らかなように、これは、特に、デコーダのニューラルネットワーク（図２０）の最終出力２２０５の目標サイズが既に固定されている場合に、後続のアップスケーリングレイヤから完全に独立している方法で実行され得ない。これに対する１つの例外は、リサイジングに関する全ての必要な情報がビットストリームで明示的にデコーダに供給される場合であってよい。
それでもなお、１つよりも多いアップサンプリングレイヤ、例えば、図２０に示されるレイヤ２２００及びレイヤ２２４０が存在する場合に、アップサンプリングは、ビットストリームがレイヤ２２１０によって処理された後、それがアップサンプリング２２２０によって処理される前に、適用されてよい。同様に、第２のアップサンプリングは、レイヤ２２３０による処理の後、アップサンプリングレイヤ２２４０による処理の前に、行われてよい。
図２２及び方法２４００に関連して、入力は、サイズＴを有してステップ２４０１で受け取られてよい。この入力の受け取りは、前のレイヤによる出力の供給に対応してよい。いずれの場合にも、ステップ２４０１のビットストリームは、例えば、ビットストリームが水平成分及び垂直成分を有する２次元マトリクスを表す場合に水平次元などの少なくとも１つの次元で、サイズＴを有する。
アップサンプリングレイヤによりこの入力を処理する前に、ステップ２４０２で決定が行われる。一般に、この決定は、アップサンプリングがサイズＴを有する入力に適用される場合に、対応する出力が意図された目標サイズに一致するサイズを有するかどうかを考慮すると見なされてよい。意図された目標サイズは、この特定のレイヤの処理の後に意図されているサイズであってよい。それは、しかし、ニューラルネットワークを通る符号化されたビットストリームの処理の終わりに最終的な復号されたビットストリームが取得されるまで、この特定のアップサンプリング操作後に実行されるべきアップサンプリングなどの追加情報を考慮した評価も含んでよい。かような場合に、ステップ２４０２で、アップサンプリングレイヤ（アップサンプリング比ｕを有する）による入力のアップサンプリング後に取得されたサイズＴｉ＝ｕＴが意図されたサイズ
に等しいかどうかが決定されてよく、この意図されたサイズは、
によって与えられ、ｕｉは、後続のアップサンプリングレイヤのアップサンプリング比である。全てのアップサンプリング比が等しい場合に、この積はｕＮで置換されてもよく、Ｎは後続のアップサンプリングレイヤの数である。
出力の意図されたサイズ又は目標サイズを
と見なす。出力のこの目標サイズは、デコーダ又は再構成された画像の目標出力サイズＴｔａｒｇｅｔから取得されてよい。これは、例えば、１０２４であってよく、残り２つのアップサンプリングレイヤについては、アップサンプリング比ｕｉ＝ｕ＝２である。
の値を計算すると、
が得られる。サイズＴｉが、例えば、２５８である場合に、アップサンプリングレイヤへの入力が１２９のサイズを有しているので、サイズＴｉは
に一致しないので、リスケーリングが必要になる。
この決定ステップ２４０２は、上述されたように明示的な決定として提供されてよい。しかし、それは、記載された方法において別個のステップとして又は明示的なステップとして実行されなくてもよい。例えば、いくつかの実施形態において、デフォルトによって、リスケーリングは、サイズＴを
に変更するために適用される。Ｔが既に
である場合に、これによりサイズＴは変更されない。他方で、Ｔが既に
に等しくない場合に、サイズのリサイジング（例えば、パディングによる増大又はクロッピングによる低減）が提供されてよい。しかし、この実施形態では、ステップ２４０２でのような別個の決定は実行されず、このチェックは、リスケーリングを適用する計算の暗黙的な一部である。
一般に、意図されたサイズ
は、形式
のリサイジング関数によって取得することができ、ｕｉ，ｕｊ，ｕｋ，・・・は、入力の処理順序における後続のアップサンプリングレイヤのアップサンプリング比である。
の他の例は、
であってよい。
従って、後続のアップサンプリングレイヤによる処理のために現在のアップサンプリングレイヤによって供給される出力の実際のサイズは、必要になる後続のアップサンプリングに依存するが、既に実行されたアップサンプリングには依存しない。しかし、実行されたかもしれない前のアップサンプリングプロセスが対応する決定により取得され得ることは明らかであり、その場合、当然に、先行するレイヤの一部も考慮に入れられる。それによって、既に入力のサイズＴは、少なくとも何らかの形で完全なニューラルネットワークのアップサンプリング比に依存するようになった。
Ｃｅｉｌ関数は、余りのない除算を結果として与える関数である。この演算の、具体的にはステップ２４０２の結果は、
を示し得る。
場合
は、サイズＴを有する入力のこれ以上のリスケーリングがアップサンプリング後に不要であることが決定されるステップ２４１０の決定をもたらし、ステップ２４１１で、入力をサイズＴからサイズ
（アップサンプリングレイヤｉの出力として図２２ではＴｉとも呼ばれる）へアップサンプリングするアップサンプリング操作が実行され得、サイズ
を有する出力は、例えば、更なるアップサンプリングレイヤによる更なる処理のために、ステップ２４１２で供給され得る。
他方で、ステップ２４０２において、サイズ
が
に等しくないことが決定される場合に（２４２０）、サイズＴｉを有する出力のリスケーリングが、
を取得するためにステップ２４２１で必要である。このリスケーリングは、補間又は０によるパディング又は繰り返しパディング又は反射パディングなどのような上記の手段の１つを適用することによって、サイズＴｉをサイズ
に増大させることを有してもよい。代替的に、
の場合に、リスケーリングは、サイズＴｉを低減するカッティング、クロッピング又は任意の他の操作を有してもよく、それにより、サイズＴｉは意図されたサイズ
と一致する。
リスケーリングが必要であったならば、リスケーリングされた出力は、次いで、例えば、他のアップサンプリングレイヤによる後続の処理のために、出力として供給され得る。
ステップ２４０２でどのような決定がなされたとしても、ステップ２４１１でのアップサンプリングの適用後に供給される出力は、適切なサイズを有する出力になるように後続のレイヤによって更に処理され得るサイズ
を有することになる。
２４０２のチェックステップは任意であってよく、リサイジング（リスケーリング）操作／関数に組み込まれ得る。この場合に、リサイジング関数は、Ｔｉに等しい
を出力し得る。これは、先行するアップサンプリングレイヤの出力を次のアップサンプリングレイヤによって処理する前に、サイズＴが
にリスケーリングされる場合に当てはまる。いくつかの場合に、
の場合に、これは、出力のサイズが変更されない“ゼロ”リスケーリング又は同一リスケーリングをもたらす。これは、チェックステップがリサイジング関数ｆ（ｕｉ，ｕｊ，ｕｋ，・・・，Ｔｔａｒｇｅｔ）の実行を既に含む場合に特に有用であり得る。かような場合に、チェックステップは、リスケーリングから独立して実行されないが、リスケーリングの部分を既に形成している暗黙的なステップであると見なされてよい。例えば、図２２で、関数ｆ（）は
に等しく、それは、リサイジングが必要であるか否かを決定するために実行される必要がある。従って、いくつかの実施において、このチェックステップは提供されなくてもよく、リサイジング操作（２４２１）の部分として解釈され得る。
しかし、チェックステップが同じ方法でリサイジング操作の実行を含まない他の実施では、チェックステップは別個に実施されてもよい。一例は、チェックステップ２４０２がレイヤＩＤ（処理順序におけるレイヤ番号）をチェックすることを含み得ることであってよい。このチェック動作はリサイジング動作を含まない。従って、チェック動作はこの例では必要である。
次のアップサンプリングレイヤでは、対応する決定が行われてよく、リスケーリング（リサイジング）は実行されてもされなくてもよい。
リサイジング及びリスケーリングという用語は同義的に使用され、どちらも、ニューラルネットワークのダウンサンプリングレイヤ又はアップサンプリングレイヤによって入力を実際に処理することの外側で入力のサイズを変更することを指す。
上記の実施形態では、決定２４０２は、アップサンプリングレイヤによる入力の処理の前に行われている。しかし、この決定は、アップサンプリングが実行されると、又は後続のアップサンプリングレイヤの直前に行われることも提供され得る。いずれの場合にもリスケーリングは、アップサンプリングが実行された後に実行されるべきである。
決定２４０２を行うために、デコーダ及び具体的にはニューラルネットワークは、異なる方法で取得され得る追加情報を知っている必要があり得る。具体的には、リスケーリングが実際に適用されるようにリスケーリングが適用されるべきか否かの決定は、先に与えられた式を考慮して、符号化されたビットストリームを復号するときに実際に取得されるべきである目標サイズに依存してよい。例えば、復号されたビットストリームの最終的な目標サイズが２次元マトリクスとして表現されるときに１０２４×５１２である場合に、異なるリスケーリングが、ニューラルネットワーク内の特定の点での２０４８×１０２４と比較して必要である場合がある。従って、ニューラルネットワークの各レイヤ又はニューラルネットワークそれ自体又はデコーダは、例えば、目標サイズを知っている場合がある。
代替的に、又は追加的に、ニューラルネットワークが、各アップサンプリングレイヤｉ後に出力されるべきである出力サイズ
Figure 2024500744000211
を知っている場合が望ましい可能性がある。これは、目標サイズの知識を潜在的にもはや不要にする。更に、リスケーリングが必要であるかどうかを決定するたびに、上記の天井関数を実行することは不要になる。
代替的に、各々の出力サイズ
は、ルックアップテーブルＬＵＴのような所与のフォーマットで既に与えられている場合がある。そのルックアップテーブルで、サイズ
は、それらがマトリクスからフェッチされ得るように与えられ得る。マトリクスのエントリは、目標サイズ及びアップサンプリングレイヤｉの数に応じて定義されてよく、それにより、ｉ及び目標サイズが知られている場合に、
は、ＬＵＴ内の各々の位置を指し示すポインタを使用することによってＬＵＴからフェッチされ得る。
更に、リスケーリングが必要であるか否かをステップ２４０２で確実に決定するために、この決定に影響を与えることになるアップサンプリング比も、ニューラルネットワークを通る符号化されたビットストリームの処理におけるこの時点で知られている必要がある場合がある。
そのような情報は、既に上述されたように、異なる方法で供給され得る。本発明のいくつかの実施形態の利点が符号化されたビットストリームの削減にあるので、符号化されたビットストリームがサイズを増大されないように、符号化されたビットストリームから独立している可能な限り多くの情報を提供することが好ましいが、依然として必須ではない。
従って、例えば、各アップサンプリングレイヤの後に取得されるべきである中間目標サイズ
の目標サイズに関する情報、又はアップサンプリング比に関する情報は、符号化されたビットストリームの部分でない別個のビットストリームで供給されてよい。代替的に、この必要な情報も、ビットストリームの全体のサイズが小さく保たれ得る限りは、ビットストリームで供給され得る。
更なる代替案は、特にアップサンプリングレイヤのアップサンプリング比及び／又はデコーダ上に既に存在する目標サイズに関して、この情報の一部又は全部を供給することである。このように、デコーダは、固定された（又は少なくとも既知の）アップサンプリングを特定の順序で適用することによって、入力から固定目標サイズを持つ復号されたビットストリームを取得するように特に設計されている。従って、ビットストリームのサイズを可能な限り小さく保ちながら、ビットストリームに含める必要がない。しかし、デコーダが異なる目標サイズの出力を供給することができる場合に、ビットストリームには、その目標サイズを示すフラグ又はポインタが含まれてもよい。
この情報は、どの種類のリスケーリングが適用されるべきかを示す情報（図１３から１５で説明される）とともに、図１３から１５に関してやはり上で説明されたように、ビットストリーム自体又は別のビットストリームに含まれ得る。具体的に、ビットストリーム（又は更なるビットストリーム）は、上述されたｍｅｔｈｏｄＩｄｘ、ＳＣＩｄｘ、およｂ意ＲＦＩｄｘのような指示を含んでよい、これらは、エンコーダによって、どのような種類のリスケーリングを適用すべきかを決定するために使用されてよい。
図２３は、図２１のステップ２３２１で入力のサイズを増大させるべきか又はダウンサンプリングを実行する前に入力のサイズを低減させるべきかどうかを決定する更なる方法２５００を示す。
方法２５００はステップ２５０１から始まり、ステップ２５０１で、受け取られた入力がサイズＳ≠ｌｒｍを有することが既に決定されているか又はステップ２３２０で決定されている。
ステップ２５０１でこの決定がなされると、次のステップ２５０２は、入力のより詳細な評価を有することができる。具体的に、それは、サイズＳがｌｒｍ≦Ｓ≦ｒｍ（ｌ＋１）であるとの決定を有することができる。
当業者には明らかなように、ステップ２５０１は不要であり無くてもよい。
これが決定されると、条件がステップ２５３０使用され得、この結果に基づいて、ステップ２５１０又は２５２０で、異なる更なるステップが行われる。これは、条件に対するサイズＳの評価が、サイズが
に増大されるとの結論を有する第１の結果をもたらすことができ、一方で、条件の評価の第２の結果２５２０が、ダウンサンプリングがステップ２５３０で実行される前にステップ２５２１で、サイズの
への低減をもたらすことができる、ことを意味する。
例として、条件は、Ｍｉｎ（｜Ｓ－ｌｒｍ｜，｜Ｓ－ｒｍ（ｌ＋１）｜）を利用することができ、ｌ及びｌ＋１の値は、図２１に関して上述されたものに従って決定され得る。具体的に、ｌは、ｌ＝ｆｌｏｏｒ（ｓ／ｒｍ）から取得されてよく、ｌ＋１は、この結果に１を加えること又はｌ＋１＝ｃｅｉｌ（ｓ／ｒｍ）を計算することによって取得されてよい。ｌを取得すると、又は上記のＭｉｎ関数において直接にｆｌｏｏｒ（ｓ／ｒｍ）及びｃｅｉｌ（ｓ／ｒｍ）を使用することによって、Ｓ－ｌｒｍの差又は次に大きい整数倍数Ｓ－ｒｍ（ｌ＋１）に対する差がより小さいかどうかが決定されるので、入力に提供される追加情報の数が最小限であること、又は元の入力から削除される情報の数が最小限であることを必要とする。
例えば、一例として上で既に参照されたように、ｒｍ＝４及びＳ＝５１３の場合に、ｌ＝１２８であり、入力のサイズＳは、ｒｍの最も近い大きい方の整数倍よりもｒｍの最も近い小さい方の整数倍により近い。ＳがＳ＝５１５になる場合に、入力のサイズは、ｒｍの最も近い小さい方の整数倍よりもｒｍの最も近い大きい方の整数倍により近くなる。
上記のＭｉｎ評価に基づいて、実行される必要がある計算ステップの数はこのようにして決定され、最小限に保たれ得る。
上記のＭｉｎ評価を利用する条件は、リスケーリング操作を実行するための計算ステップを小さく保つことであってよい。例えば、１次元の場合に、ダウンサンプリング比ｒｍが４であり、サイズＳ＝ｋｒｍ＋１であるならば、サイズＳを
に低減し、それを
に増大しない方が計算効率が良い可能性がある。
リスケーリングで実行される必要がある操作の数がサイズＳを増大させること及びサイズＳを低減させることに関して等しい場合に、条件は更に、付加される冗長な情報を可能な限り少なくすること、又は入力から削除される情報を可能な限り少なくなることのどちらかであってよい。上記の場合に、サイズＳ＝ｋｍ＋２に関して、サイズを、ゼロをパディングすることによって
に増大させることが決定されてもよい。これは、冗長な情報の量を増大させるが、情報の損失をもたらさない。
一般に、ステップ２５０３の条件に対して入力のサイズＳを評価することによって、サイズＳ－ｒｍ（ｌ＋１）の差がＳ－ｌｒｍよりも小さいと決定される場合に、例えば、ダウンサンプリングを実行する前に、結果２５１０から、サイズＳをサイズ
に増大させる方が計算効率が良い可能性があると決定される。
他方で、差Ｓ－ｌｒｍが差Ｓ－ｒｍ（ｌ＋１）よりも小さいと決定され、例えば、サイズＳをサイズ
に低減させる方が計算効率が良い可能性があると決定される場合に、サイズＳは
に低減され得る。
しかし、これは、ダウンサンプリングを実行する前に入力のサイズを増大又は低減するべきかどうかという評価が行われ得る条件を特に実施するために使用される１つの実施形態にすぎない。この点で、入力サイズ
が実際に小さければ小さいほど、ダウンサンプリングを実行するために通常必要な計算はますます少なくなることも考慮に入れることができる、また、適切と見なされる如何なる他の条件も、この決定を行うために使用されてよい。
上記を考慮して、いずれの場合にも、ダウンサンプリングレイヤによって入力を処理する前の入力のリスケーリングは、特定の次元での入力のサイズの増大又は低減をもたらすことになる。
上記の例では、任意のダウンサンプリング比及びアップサンプリング比が使用された。しかし、いくつかの好適な実施形態は、エンコーダのニューラルネットワークの全てのダウンサンプリングレイヤのダウンサンプリング比が同じであってもよいことを有し得る。同様に、又は代替的に、デコーダのニューラルネットワークの全てのアップサンプリングレイヤのアップサンプリング比は同じであってよい。本発明は、しかしながら、この点で制限されず、アップサンプリング及び／又はダウンサンプリング比は、想到可能である如何なる整数値もとることができる。しかし、好適な実施形態は、２及び１０の範囲内にあるアップサンプリング及び／又はダウンサンプリング比を参照する。
ここで記載されている符号化方法又はエンコーダの実施形態において、例えば、ＮＮによって出力されるビットストリーム出力は、例えば、ＮＮの最後のサブネットワーク又はネットワークレイヤの出力又はビットストリームであってよい。
ここで記載されている符号化方法又はエンコーダの更なる実施形態においては、例えば、ＮＮによって出力されるビットストリーム出力は、例えば、サブビットストリームとも呼ばれ得る２つのビットストリーム、例えば、ビットストリーム又はサブビットストリーム ビットストリーム１及びビットストリーム２、あるいは、より一般的には、第１ビットストリーム又は第１サブビットストリーム及び第２ビットストリーム又は第２サブビットストリーム（例えば、ＮＮの各々のサブネットワークによって生成及び／又は出力される各ビットストリーム又はサブビットストリーム）によって決定されるか又はそれらを含むビットストリームであってよい。どちらのビットストリーム又はサブビットストリームも別々に伝送若しくは記憶されるか、あるいは、１つのビットストリームとして結合、例えば、多重化されてよい。
ここで記載されている符号化方法又はエンコーダの更に別の実施形態においては、例えば、ＮＮによって出力されるビットストリーム出力は、例えば、サブビットストリームとも呼ばれ得る２つよりも多いビットストリーム、例えば、第１ビットストリーム／サブビットストリーム、第２ビットストリーム／サブビットストリーム、第３ビットストリーム／サブビットストリーム、及び任意に更なるビットストリーム／サブビットストリーム（例えば、ＮＮの各々のサブネットワークによって生成及び／又は出力される各ビットストリーム／サブビットストリーム）によって決定されるか又はそれらを含むビットストリームであってよい。ビットストリーム／サブビットストリームは、別々に伝送若しくは記憶されるか、あるいは、１つのビットストリーム又は１つよりも多い複合ビットストリームとして結合、例えば、多重化されてよい。
ここで記載されている復号化方法又はデコーダの実施形態において、例えば、ＮＮによって受け取られる受信ビットストリームは、例えば、ＮＮの最初のサブネットワーク又はネットワークレイヤの入力として使用されてよい。
ここで記載されている復号化方法又はデコーダの更なる実施形態においては、受信ビットストリームは、例えば、サブビットストリームとも呼ばれ得る２つのビットストリーム、例えば、ビットストリーム／サブビットストリーム ビットストリーム１及びビットストリーム２、あるいは、より一般的には、第１ビットストリーム／サブビットストリーム及び第２ビットストリーム／サブビットストリーム（例えば、ＮＮの各々のサブネットワークによって受信及び／又は処理される各ビットストリーム／サブビットストリーム）によって決定されるか又はそれらを含むビットストリームであってよい。どちらのビットストリーム又はサブビットストリームも別々に受信若しくは記憶されるか、あるいは、１つのビットストリームとして結合、例えば、多重化され、ビットストリーム／サブビットストリームを取得するよう逆多重化されてよい。
ここで記載されている復号化方法又はデコーダの更に別の実施形態においては、受信ビットストリームは、例えば、サブビットストリームとも呼ばれ得る２つよりも多いビットストリーム、例えば、第１ビットストリーム／サブビットストリーム、第２ビットストリーム／サブビットストリーム、第３ビットストリーム／サブビットストリーム、及び任意に更なるビットストリーム／サブビットストリーム（例えば、ＮＮの各々のサブネットワークによって受信及び／又は処理される各ビットストリーム／サブビットストリーム）によって決定されるか又はそれらを含むビットストリームであってよい。ビットストリーム／サブビットストリームは、別々に受信若しくは記憶されるか、あるいは、１つのビットストリームとして結合、例えば、多重化され、ビットストリーム／サブビットストリームを取得するよう逆多重化されてよい。
数学演算子
本願で使用される数学演算子は、Ｃプログラミング言語で使用されているものと類似している。しかし、整数除算及び算術シフト演算の結果は、より厳密に定義され、指数及び実数値除算のような、更なる演算が定義される。番号付け及び計数の規則は、一般的に０から始まり、例えば、「第１」は０番目と等価であり、「第２」は１番目と等価である、など。
算術演算子
以下の算術演算が、次のように定義される：
論理演算子
以下の算術演算子が、次のように定義される：
ｘ＆＆ｙ ｘ及びｙのブール論理“ＡＮＤ”
ｘ｜｜ｙ ｘ及びｙのブール論理“ＯＲ”
！ ブール論理“ＮＯＴ”
ｘ？ｙ：ｚ ｘがＴＲＵＥであるか、又は０に等しくない場合には、ｙの値として評価し、そうでない場合には、ｚの値として評価する。
関係演算子
以下の関係演算子が、次のように定義される：
＞ ～よりも大きい
＞＝ ～以上
＜ ～よりも小さい
＜＝ ～以下
＝＝ ～に等しい
！＝ ～に等しくない。
関係演算子が、値“ＮＡ”（ｎｏｔ ａｐｐｌｉｃａｂｌｅ）を割り当てられているシンタックス要素又は変数に適用される場合に、値“ＮＡ”は、そのシンタックス要素又は変数のディスティンクト値として扱われる。値“ＮＡ”は、如何なる他の値にも等しくないと見なされる。
ビット演算子
以下のビット演算子が、次のように定義される：
＆ ビット単位“ＡＮＤ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
｜ ビット単位“ＯＲ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
＾ ビット単位“ＸＯＲ”。整数引数に作用する場合に、整数値の２の補数表現に作用する。他の引数よりも少ないビットを含む２進引数に作用する場合に、より短い方の引数は、０に等しい更なる有効ビットを加えることによって拡張される。
ｘ＞＞ｙ ｙ個の２進桁によるｘの２の補数整数表現の算術右シフト。この関数は、ｙの非負整数値についてのみ定義される。右シフトの結果として最上位ビット（ＭＳＢ）へシフトされたビットは、シフト演算の前のｘのＭＳＢに等しい値を有する。
ｘ＜＜ｙ ｙ個の２進桁によるｘの２の補数整数表現の算術左シフト。この関数は、ｙの非負整数値についてのみ定義される。左シフトの結果として最下位ビット（ＬＳＢ）へシフトされたビットは、０に等しい値を有する。
代入演算子
以下の算術演算子が、次のように定義される：
＝ 代入演算子
＋＋ インクリメント、すなわち、ｘ＋＋は、ｘ＝ｘ＋１と等価であり、アレイインデックスで使用される場合には、インクリメント演算の前の変数の値として評価する。
－－ デクリメント、すなわち、ｘ－－は、ｘ＝ｘ－１と等価であり、アレイインデックスで使用される場合には、デクリメント演算の前の変数の値として評価する。
＋＝ 指定された量によるインクリメント、すなわち、ｘ＋＝３は、ｘ＝ｘ＋３と等価であり、ｘ＋＝（－３）は、ｘ＝ｘ＋（－３）と等価である。
－＝ 指定された量によるデクリメント、すなわち、ｘ－＝３は、ｘ＝ｘ－３と等価であり、ｘ－＝（－３）は、ｘ＝ｘ－（－３）と等価である。
範囲表記
以下の表記は、値の範囲を指定するために使用される：
ｘ＝ｙ．．ｚ ｘ、ｙ及びｚは整数であり、ｚはｙよりも大きいとして、ｘは、ｙ以上ｚ以下の整数値を呈する。
数学関数
以下の数学関数が定義される：
Ａｓｉｎ（ｘ） －１．０以上１．０以下の範囲内にある引数ｘに作用して、出力値がラジアン単位で－π÷２以上π÷２以下の範囲内にある三角関数の逆正弦関数
Ａｔａｎ（ｘ） 引数ｘに作用して、出力値がラジアン単位で－π÷２以上π÷２以下の範囲内にある三角関数の逆正接関数
Ｃｅｉｌ（ｘ） ｘ以上の最小の整数
Ｃｌｉｐ１Ｙ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＹ）－１，ｘ）
Ｃｌｉｐ１Ｃ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＣ）－１，ｘ）
Ｃｏｓ（ｘ） ラジアン単位で引数ｘに作用する三角関数の余弦関数
Ｆｌｏｏｒ（ｘ） ｘ以下の最大の整数
Ｌｎ（ｘ） ｘの自然対数（底ｅの対数、ここで、ｅは、自然対数の底定数２．７１８２８１８２８・・・である）
Ｌｏｇ２（ｘ） ｘの底２の対数
Ｌｏｇ１０（ｘ） ｘの底１０の対数
Ｓｉｎ（ｘ） ラジアン単位で引数ｘに作用する三角関数の正弦関数
Ｓｑｒｔ（ｘ）＝√ｘ
Ｓｗａｐ（ｘ，ｙ）＝（ｙ，ｘ）
Ｔａｎ（ｘ） ラジアン単位で引数ｘに作用する三角関数の正接関数。
演算の優先順位
式中の優先順位がパラメータの使用によって明示的に示されていない場合に、以下の規則が適用される：
・優先度のより高い演算は、優先度のより低い演算の前に評価される。
・同じ優先度の演算は、左から右に順番に評価される。
以下の表は、最高から最低までの演算の優先度を定め、表中のより高い位置は、より高い優先度を示す。
Ｃプログラミング言語でも使用される演算については、本明細書で使用されている優先順位は、Ｃプログラミング言語で使用されているものと同じである。
論理演算のテキスト記述
テキスト中で、次の形式で数学的に記述されることになる論理演算のステートメント：

ｉｆ（条件０）
ステートメント０
ｅｌｓｅ ｉｆ（条件１）
ステートメント１
・・・
ｅｌｓｅ／＊残りの条件に関する説明的所見＊／
ステートメントｎ

は、次の様態で記述されてもよい：

・・・次のように／・・・次が適用される：
－ 条件０の場合に、ステートメント０
－ そうではなく、条件１の場合に、ステートメント１
－ ・・・
－ 上記以外の場合に（残りの条件に関する説明的所見）、ステートメントｎ
テキスト中の夫々の「・・・の場合に、・・・そうではなく、・・・の場合に、・・・上記以外の場合に、・・・」のステートメントは、「・・・の場合に」の直ぐ後に続く「・・・次のように」又は「・・・次が適用される」により導入される。「・・・の場合に、・・・そうではなく、・・・の場合に、・・・上記以外の場合に、・・・」の最後の条件は常に「上記以外の場合に、・・・」である。交互配置された「・・・の場合に、・・・そうではなく、・・・の場合に、・・・上記以外の場合に、・・・」のステートメントは、「・・・次のように」又は「・・・次が適用される」を終わりの「上記以外の場合に、・・・」と適合させることによって識別され得る。
テキスト中で、次の形式で数学的に記述されることになる論理演算のステートメント：

ｉｆ（条件０ａ＆＆条件０ｂ）
ステートメント０
ｅｌｓｅ ｉｆ（条件１ａ｜｜条件１ｂ）
ステートメント１
・・・
ｅｌｓｅ
ステートメントｎ

は、次の様態で記述されてもよい：

・・・次のように／・・・次が適用される：
－ 次の全ての条件が真である場合に、ステートメント０：
－ 条件０ａ
－ 条件０ｂ
－ そうではない場合に、次の条件の１つ以上が真である場合に、ステートメント１：
－ 条件１ａ
－ 条件１ｂ
－ ・・・
－ 上記以外の場合に、ステートメントｎ
テキスト中で、次の形式で数学的に記述されることになる論理演算のステートメント：

ｉｆ（条件０）
ステートメント０
ｉｆ（条件１）
ステートメント１

は、次の様態で記述されてもよい：

条件０の場合に、ステートメント０
条件１の場合に、ステートメント１
いくつかの実施形態は、独立請求項１に係る、ニューラルネットワークによりピクチャを符号化する方法、及び請求項３１に係る、ニューラルネットワークによりビットストリームを復号する方法と、請求項６０又は６１又は６２に係る、ピクチャを符号化するエンコーダ、及び請求項６３又は６４又は６５に係る、ビットストリームを復号するデコーダと、請求項６６に係るコンピュータ可読記憶媒体とを提供する。更なる好ましい実施形態は、従属請求項で提供される。
ピクチャを符号化する方法は、ニューラルネットワークＮＮを使用して提供され、ＮＮは、少なくとも１つの次元でサイズＳを有するマトリクスを表す入力にダウンサンプリングを適用する少なくとも１つのダウンサンプリングレイヤを含む複数のレイヤを有し、方法は、少なくとも１つのダウンサンプリングレイヤにより入力を処理する前に、入力にリスケーリングを適用することであり、リスケーリングは、
であるように、少なくとも１つの次元でのサイズＳを変更することを含み、ここで、ｒは、ダウンサンプリングレイヤのダウンサンプリング比である、ことと、
リスケーリングの後に、ダウンサンプリングレイヤによって入力を処理し、サイズＳ１＜Ｓを有する出力を供給することと、
ＮＮによりピクチャを処理した後（例えば、ＮＮの各レイヤによりピクチャを処理した後）、ビットストリームをＮＮの出力として供給することと
を有する。
一実施形態で、ＮＮは、数
個のダウンサンプリングレイヤを含み、
として、各ダウンサンプリングレイヤｍは、関連するダウンサンプリング比
を有し、方法は、
少なくとも１つの次元でのサイズＳｍを有するマトリクスを表す入力をダウンサンプリングレイヤｍにより処理する前に、サイズＳｍがダウンサンプリングレイヤｍのダウンサンプリング比ｒｍの整数倍でない場合に、入力にリスケーリングを適用することであり、リスケーリングは、
であるように、少なくとも１つの次元でのサイズＳｍを変更することを含む、ことを更に有する。より具体的には、ダウンサンプリングレイヤｍの入力に適用されるリスケーリングは、他のダウンサンプリングレイヤのダウンサンプリング比ｒｋ，ｋ≠ｍと無関係であり得る。
例えば、開示は、記載される方法に関連して、方法を実行するよう構成される対応するデバイス又はシステムにも当てはまり、逆もまた然りであることが理解される。例えば、１つ又は複数の具体的な方法ステップが記載される場合に、対応する装置は、記載されている１つ又は複数の方法ステップを実行するための１つ又は複数のユニット、例えば、機能ユニット（例えば、１つ又は複数のステップを実行する１つのユニット、あるいは、複数のステップのうちの１つ以上を夫々実行する複数のユニット）を、たとえそのような１つ以上のユニットが明示的に記載又は図示されていないとしても、含んでよい。他方で、例えば、具体的な装置が１つ又は複数のユニット、例えば、機能ユニットに基づいて記載される場合に、対応する方法は、１つ又は複数のユニットの機能を実行するための１つ又は複数のステップ（例えば、１つ又は複数のユニットの機能を実行する１つのステップ、あるいは、複数のユニットのうちの１つ以上の機能を夫々実行する複数のステップ）を、たとえそのような１つ又は複数のステップが明示的に記載又は図示されていないとしても、含んでよい。更に、ここで記載されている様々な例示的な実施形態及び／又は態様の特徴は、特に別なふうに述べられない限りは、互いに結合されてもよいことが理解される。
図１Ａに示されるように、コーディングシステム１０は、例えば、符号化されたピクチャデータ２１を復号するあて先デバイス１４へ、符号化されたピクチャデータ２１を供給するよう構成されるソースデバイス１２を有する。
通信インターフェース２２及び通信インターフェース２８は、符号化されたピクチャデータ２１又は符号化されたデータ２１を、ソースデバイス１２とあて先デバイス１４との間の直接通信リンク、例えば、直接有線若しくは無線接続を介して、あるいは、任意の種類のネットワーク、例えば、有線若しくは無線ネットワーク又はそれらの任意の組み合わせ、又は任意の種類のプライベート及びパブリックネットワーク、あるいは、それらの任意の組み合わせを介して、送信又は受信するよう構成されてよい。
いくつかの場合に、図１Ａに表されているビデオコーディングシステム１０は、一例にすぎず、本願の技術は、符号化デバイスと復号化デバイスとの間の如何なるデータ通信も必ずしも含むわけではないビデオコーディング設定（例えば、ビデオ符号化又はビデオ復号化）に適用されてもよい。他の例では、データは、ローカルメモリから読み出されるか、ネットワーク上でストリーミングされるか、などである。ビデオ符号化デバイスは、データを符号化してメモリに記憶してよく、かつ／あるいは、ビデオ復号化デバイスは、メモリからデータを読み出して復号してよい。いくつかの例では、符号化及び復号化は、互いに通信しないデバイスによって実行されるが、単純にデータを符号化してメモリに記憶しかつ／あるいはデータをメモリから読み出して復号する。
アップサンプリング：アップサンプリングは、離散入力信号のサンプリングレート（サンプリングインターバル）が増大するプロセスである。例えば、入力画像がｈ及びｗ（又は、以下、Ｈ及びＷも同様）のサイズを有し、アップサンプリングの出力がｈ２及びｗ２である場合に、次のうちの少なくとも１つが当てはまる：
● ｈ＜ｈ２
● ｗ＜ｗ２
図４には、互いに連結された２つのサブネットワークがある。本文脈中のサブネットワークは、ネットワーク全体の部分の間の論理的な分割である。例えば、図４で、モジュール６０１、６０２、６０４、６０６、及び６０６は、「エンコーダ／デコーダ」サブネットワークと呼ばれる。「エンコーダ／デコーダ」サブネットワークは、第１ビットストリーム“ビットストリーム１”の符号化（生成）及び復号化（パーシング）に関与する。図４の第２サブネットワークは、モジュール６０３、６０８、６０９、６１０、及び６０７を含み、「ハイパーエンコーダ／デコーダ」サブネットワークと呼ばれる。第２サブネットワークは、第２ビットストリーム“ビットストリーム２”を生成することに関与する。２つのサブネットワークの目的は異なる。第１サブネットワークは：
● 入力画像ｘのその潜在表現ｙ（ｘよりも圧縮するのが容易である）への変換６０１，
● 潜在表現ｙを量子化された潜在表現
に量子化すること６０２，
● ビットストリーム“ビットストリーム１”を得るよう、算術符号化モジュール６０５によってＡＥを用いて、量子化された潜在表現
を圧縮すること，
● 算術復号化モジュール６０６を用いてＡＤによりビットストリーム１をパースすること，及び
● パースされたデータを用いて、再構成された画像
を再構成すること６０４
に関与する。第２サブネットワークの目的は、第１サブネットワークによるビットストリーム１の圧縮がより効率的であるように、“ビットストリーム１”のサンプルの統計的性質（例えば、ビットストリーム１のサンプル間の平均値、分散、及び相関）を得ることである。第２サブネットワークは、上記の情報（例えば、ビットストリーム１のサンプル間の平均値、分散、及び相関）を含む第２ビットストリーム“ビットストリーム２”を生成する。
第２サブネットワークは、量子化された潜在表現
のサイド情報ｚへの変換６０３、サイド情報ｚを量子化されたサイド情報
に量子化すること、量子化されたサイド情報
をビットストリーム２に符号化すること（例えば、二値化すること）６０９を含む符号化部分を含む。この例では、二値化は算術符号化（ＡＥ）によって行われる。第２サブネットワークの復号化部分は、入力ビットストリーム２を復号された量子化されたサイド情報
に変換する算術復号化（ＡＤ）６１０を含む。算術符号化及び復号化操作は可逆圧縮方法であるから、
は、
と同じであることができる。復号された量子化されたサイド情報
は、次いで、復号されたサイド情報
に変換６０７される。
は、
の統計的性質（例えば、
のサンプルの平均値、又はサンプル値の分散、など）を表す。復号された潜在表現
は、次いで、
の確率モデルを制御するよう上記の算術エンコーダ６０５及び算術デコーダ６０６へ供給される。
上述されたように、ＶＡＥは、異なる動作を実行する異なる論理的ユニットに分けられ得る。これは図７及び図８で例示されており、図７は、ビデオなどの信号の符号化に関与するコンポーネント及び供給された符号化された情報を示している。この符号化された情報は、次に、例えば復号化のために、図８に示されるデコーダコンポーネントによって受信される。符号９ｘｘ及び１０ｘｘで示されるエンコーダ及びデコーダのコンポーネントは、その機能において、図４において上で参照されて符号６ｘｘで示されているコンポーネントに対応し得ることに留意されたい。
具体的に、図７から分かるように、エンコーダは、入力ｘを、次に量子化器９０２へ供給されるｙに変換するエンコーダ９０１を有する。量子化器９０２は、情報を算術符号化モジュール９０５及びハイパーエンコーダ９０３へ供給する。ハイパーエンコーダ９０３は、既に上で議論されたビットストリーム２をハイパーデコーダ９０７へ供給し、ハイパーデコーダ９０７は次いで、情報を算術符号化モジュール９０５へ伝える。
いくつかのＤＮＮ（ｄｅｅｐ ｎｕｅｒａｌ ｎｅｔｗｏｒｋ）又はＮＮに基づいた画像及びビデオ圧縮システムは、複数のダウンサンプリングレイヤを利用する。図６では、例えば、４つのダウンサンプリングレイヤが第１サブネットワーク（レイヤ８０１から８０４）に含まれ、２つの追加のダウンサンプリングレイヤが第２サブネットワーク（レイヤ８０５から８０６）に含まれている。従って、入力画像のサイズがｗ及びｈ（幅及び高さを示す）によって夫々与えられる場合に、第１サブネットワーク出力はｗ／１６及びｈ／１６であり、第２サブネットワークの出力はｗ／６４及びｈ／６４によって与えられる。
ネットワーク内のレイヤの出力サイズは小数であることができない（サンプルの整数個の行及び列が必要ある）から、入力画像サイズには制限がある。図６では、信頼できる処理を保証するために、入力画像サイズは、水平及び垂直の両方の方向で６４の整数倍である。さもなければ、第２サブネットワークの出力は整数にならない。
上記の問題を解決する他の可能性は、入力画像をクロッピングし、つまり、入力画像の端部からサンプルの行及び列を捨て、入力画像サイズを６４サンプルの倍数にすることである。クロッピングされる必要がある行及びサンプルの最低限の量は、次の通りに計算され得る：
ここで、ｗｄｉｆｆ及びｈ ｄｉｆｆは、夫々、画像の両側から捨てられる必要があるサンプル行及び列の量に対応する。
複製パディング（繰り返しパディングとも呼ばれる）は、ほとんどのサンプル値及び導関数の連続性が留保されるので、畳み込みレイヤによる圧縮タスクのために好ましい場合がある。サンプル（利用可能なサンプル及びパディングされたサンプルを含む）の導関数は、図１６及び図１７の右手側に示されている。例えば、反射パディングの場合に、信号の導関数は、位置４での急激な変化を示す（図示されている例示的な値については、－９の値が得られる）。滑らかな信号（導関数が小さい信号）は圧縮が容易であるから、ビデオ圧縮タスク場合に反射パディングを使用することは望ましくない場合がある。
このデコーダは、ここで示されるように連続した順序で複数のレイヤ２２１０、２２２０、２２３０、及び２２４０を含むニューラルネットワークを少なくとも有し、それにより、入力２２０１は、ニューラルネットワークの後続レイヤによって処理され、それがニューラルネットワークの全てのレイヤによって処理された（その後の出力２２０１、２２０３、２２０４を得た）後、出力２２０５が供給される。
本発明と関連して、デコーダ２２００のニューラルネットワークは少なくとも１つのレイヤ、例えば、レイヤ２２２０を有し、このレイヤ２２２０への入力２２０２にアップサンプリング操作を適用する。このアップサンプリング操作は、入力がマトリクスの形で表現され得る場合に、少なくとも１つの次元での入力のサイズの増大を含む。これに関連して図１９で既に与えられた説明は、ここでも当てはまる。

Claims (66)

  1. ニューラルネットワークＮＮによりピクチャを符号化する方法であって、前記ＮＮは、少なくとも１つの次元でサイズＳを有するマトリクスを表す入力（２１０１，２１０２，２１０３，２１０４）にダウンサンプリングを適用する少なくとも１つのダウンサンプリングレイヤ（２１１０，２１２０，２１３０，２１４０）を含む複数のレイヤを有する、前記方法において、
    前記少なくとも１つのダウンサンプリングレイヤにより前記入力を処理する（２３１１）前に、前記入力にリスケーリングを適用すること（２３２１）であり、前記リスケーリングは、
    であるように、前記少なくとも１つの次元での前記サイズＳを変更することを含み、ここで、ｒは、前記レイヤの前記ダウンサンプリング比である、前記適用することと、
    前記リスケーリングの後に、前記ダウンサンプリングレイヤ（２１１０，２１２０，２１３０，２１４０）によって前記入力を処理し（２３１１）、前記サイズＳ１＜Ｓを有する出力を供給すること（２３１２）と、
    前記ＮＮにより前記ピクチャを処理した後、ビットストリームを前記ＮＮの出力として供給することと
    を有する方法。
  2. 前記ＮＮは、多数の
    のダウンサンプリングレイヤを含み、各ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）
    は、関連するダウンサンプリング比
    を有し、当該方法は、
    少なくとも１つの次元でのサイズＳｍを有するマトリクスを表す入力（２１０１，２１０２，２１０３，２１０４）をダウンサンプリングレイヤｍにより処理する（２３１１）前に、前記サイズＳｍが前記ダウンサンプリングレイヤｍの前記ダウンサンプリング比ｒｍの整数倍でない場合に、前記入力にリスケーリングを適用することであり、前記リスケーリングは、
    であるように、前記少なくとも１つの次元での前記サイズＳｍを変更することを含む、こと
    を更に有する、
    請求項１に記載の方法。
  3. 前記サイズＳｍを有する前記入力（２１０１，２１０２，２１０３，２１０４）に前記リスケーリングを適用すること（２３２１）の前に、Ｓｍが前記ダウンサンプリング比ｒｍの整数倍であるかどうかが決定され、Ｓｍが前記ダウンサンプリング比ｒｍの整数倍でない場合に、前記リスケーリングが前記入力に適用され、それにより、前記サイズＳｍは、
    であるように、前記少なくとも１つの次元で変更される、
    請求項２に記載の方法。
  4. 前記入力（２１０１，２１０２，２１０３，２１０４）の前記サイズＳｍが前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の前記ダウンサンプリング比ｒｍの整数倍である場合に、サイズ
    へのリスケーリングは、前記ダウンサンプリングレイヤｍによって前記入力を処理する前に前記入力に適用されない、
    請求項２又は３に記載の方法。
  5. Ｓｍが前記ダウンサンプリング比ｒｍの整数倍であるかどうかの前記決定は、前記サイズＳｍを前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の許容入力サイズと比較することを含む、
    請求項３又は４に記載の方法。
  6. 前記ダウンサンプリングレイヤｍの前記許容入力サイズは、前記ダウンサンプリング比ｒｍ及び前記サイズＳｍのうちの少なくとも一方に基づき計算される、
    請求項５に記載の方法。
  7. 前記比較することは、Ｓｍと前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の前記許容入力サイズとの間の差を計算することを含む、
    請求項５又は６に記載の方法。
  8. 前記比較することは、
    を決定することを含む、
    請求項５又は７に記載の方法。
  9. が決定され、
    である場合に、前記リスケーリングは、前記サイズＳｍを有する前記入力に適用される、
    請求項８に記載の方法。
  10. が決定され、
    である場合に、前記リスケーリングは、前記サイズＳｍを有する前記入力に適用される、
    請求項８に記載の方法。
  11. 前記サイズ
    は、前記ダウンサンプリング比ｒｍ及び前記サイズＳｍのうちの少なくとも一方を用いて決定される、
    請求項１０に記載の方法。
  12. 前記サイズ
    は、ｃｅｉｌ、ｉｎｔ、ｆｌｏｏｒのうちの少なくとも１つを含む関数を用いて決定される、
    請求項１１に記載の方法。
  13. － 前記サイズ
    は、
    を用いて決定されるか、あるいは、
    － 前記サイズ
    は、
    を用いて決定されるか、あるいは、
    － 前記サイズ
    は、
    を用いて決定される、
    請求項１２に記載の方法。
  14. ダウンサンプリングレイヤｍの入力（２１０１，２１０２，２１０３，２１０４）に適用される前記リスケーリングは、他のダウンサンプリングレイヤの前記ダウンサンプリング比ｒｋ，ｋ≠ｍと無関係である、
    請求項２乃至１３のうちいずれかに記載の方法。
  15. ダウンサンプリングレイヤｍへの前記入力（２１０１，２１０２，２１０３，２１０４）は、前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の前記ダウンサンプリング比ｒｍの最も近い小さい方の整数倍と、前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の前記ダウンサンプリング比ｒｍの最も近い大きい方の整数倍との間にある値を有する前記少なくとも１つの次元でのサイズＳｍを有し、
    条件に応じて、前記入力の前記サイズＳｍは、前記ダウンサンプリング比ｒｍの前記最も近い小さい方の整数倍に一致するか又は前記ダウンサンプリング比ｒｍの前記最も近い大きい方の整数倍に一致するかのどちらかであるよう前記リスケーリング中に変更される、
    請求項１乃至１４のうちいずれかに記載の方法。
  16. ダウンサンプリングレイヤｍへの前記入力（２１０１，２１０２，２１０３，２１０４）は、前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の前記ダウンサンプリング比ｒｍの整数倍でない値を有する前記少なくとも１つの次元でのサイズＳｍを有し、
    前記入力の前記サイズＳｍは、前記ダウンサンプリング比ｒｍの前記最も近い小さい方の整数倍に一致するか又は前記ダウンサンプリング比ｒｍの前記最も近い大きい方の整数倍に一致するかのどちらかであるよう前記リスケーリング中に変更される、
    請求項１乃至１５のうちいずれかに記載の方法。
  17. ダウンサンプリングレイヤｍへの前記入力（２１０１，２１０２，２１０３，２１０４）は、前記少なくとも１つの次元でのサイズＳｍを有し、ここで、
    であり、ｒｍは、前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の前記ダウンサンプリング比であり、サイズＳｍは、条件に応じて、
    のどちらかにリスケーリングされる、
    請求項１乃至１６のうちいずれかに記載の方法。
  18. 前記入力（２１０１，２１０２，２１０３，２１０４）の前記サイズＳｍが、前記ダウンサンプリング比ｒｍの前記最も近い大きい方の整数倍よりも前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の前記ダウンサンプリング比ｒｍの前記最も近い小さい方の整数倍に近い場合に、前記入力の前記サイズＳｍは、前記ダウンサンプリング比ｒｍの前記最も近い小さい方の整数倍に一致するサイズ
    に低減される、
    請求項１乃至１７に記載の方法。
  19. 前記入力（２１０１，２１０２，２１０３，２１０４）の前記サイズＳｍを前記サイズ
    に低減させることは、前記入力をクロッピングすることを含む、
    請求項１８に記載の方法。
  20. 前記入力（２１０１，２１０２，２１０３，２１０４）の前記サイズＳｍが、前記ダウンサンプリング比ｒｍの前記最も近い小さい方の整数倍よりも前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）の前記ダウンサンプリング比ｒｍの前記最も近い大きい方の整数倍に近い場合に、前記入力の前記サイズＳｍは、前記ダウンサンプリング比ｒｍの前記最も近い大きい方の整数倍に一致するサイズ
    に増大される、
    請求項１乃至１９のうちいずれかに記載の方法。
  21. 前記入力（２１０１，２１０２，２１０３，２１０４）の前記サイズＳｍを前記サイズ
    に増大させることは、前記サイズＳｍを有する前記入力にゼロを又は前記サイズＳｍを有する前記入力から得られたパディング情報をパディングすることを含む、
    請求項２０に記載の方法。
  22. 前記サイズＳｍを有する前記入力から得られた前記パディング情報は、前記入力（２１０１，２１０２，２１０３，２１０４）の前記サイズＳｍを前記サイズ
    に増大させるための冗長なパディング情報として適用される、
    請求項２１に記載の方法。
  23. 冗長なパディング情報による前記パディングすることは、反射パディング又は繰り返しパディングのうちの少なくとも一方を含む、
    請求項２２に記載の方法。
  24. 前記パディング情報は、前記冗長なパディング情報が加えられるべき前記入力（２１０１，２１０２，２１０３，２１０４）内の領域に最も近い、前記サイズＳｍを有する前記入力の少なくとも１つの値であるか又は該少なくとも１つの値を含む、
    請求項２２又は２３に記載の方法。
  25. 前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）への前記入力（２１０１，２１０２，２１０３，２１０４）の前記サイズＳｍは、前記ダウンサンプリング比ｒｍの前記最も近い大きい方の整数倍に一致するサイズ
    に増大される、
    請求項１又は１３に記載の方法。
  26. 前記条件は、Ｍｉｎ（｜Ｓ－ｌｒｍ｜，｜Ｓ－ｒｍ（ｌ＋１）｜）を使用し、前記条件は、Ｍｉｎが｜Ｓｍ－ｌｒｍ｜を投じる場合に、前記入力の前記サイズＳｍは
    に低減され、Ｍｉｎが｜Ｓｍ－（ｌ＋１）ｒｍ｜を投じる場合に、前記入力の前記サイズＳｍは、
    に増大されることを含む、
    請求項１７に記載の方法。
  27. ｌは、前記ダウンサンプリングレイヤｍ（２１１０，２１２０，２１３０，２１４０）への前記入力の前記サイズＳｍ及び前記ダウンサンプリングレイヤｍの前記ダウンサンプリング比ｒｍのうちの少なくとも一方を用いて決定される、
    請求項２６に記載の方法。
  28. ｌは、
    によって決定され、かつ／あるいは、
    ｌ＋１は、
    によって決定される、
    請求項２７に記載の方法。
  29. 前記ダウンサンプリングレイヤ（２１１０，２１２０，２１３０，２１４０）の少なくとも１つは、前記２つの次元で前記入力（２１０１，２１０２，２１０３，２１０４）にダウンサンプリングを適用し、前記第１次元での前記ダウンサンプリング比は、前記第２次元での前記ダウンサンプリング比に等しい、
    請求項１乃至２８のうちいずれかに記載の方法。
  30. 全てのダウンサンプリングレイヤ（２１１０，２１２０，２１３０，２１４０）の前記ダウンサンプリング比は等しい、
    請求項１乃至２９のうちいずれかに記載の方法。
  31. ニューラルネットワークＮＮにより、ピクチャを表すビットストリームを復号する方法であって、前記ＮＮは、少なくとも１つの次元でサイズＴを有するマトリクスを表す入力（２２０１，２２０２，２２０３，２２０４）にアップサンプリングを適用する少なくとも第１アップサンプリングレイヤ及び第２アップサンプリングレイヤを含む複数のレイヤを有する、前記方法において、
    前記第１アップサンプリングレイヤによって前記入力を処理し、前記第１アップサンプリングレイヤの出力を供給することであり、前記出力は、サイズ
    を有し、ｕ１は、前記第１アップサンプリングレイヤの前記アップサンプリング比である、ことと、
    前記第２アップサンプリングレイヤによって前記第１アップサンプリングレイヤの前記出力を処理する前に、前記第１アップサンプリングレイヤの前記出力にリスケーリング（２４２１）を適用することであり、前記リスケーリングは、前記少なくとも１つの次元での前記出力の前記サイズ
    を、取得された情報に基づいて前記少なくとも１つの次元でのサイズ
    に変更することを含む、ことと、
    前記リスケーリングされた出力を前記第２アップサンプリングレイヤによって処理し、前記第２アップサンプリングレイヤの出力を供給することであり、前記出力は、前記少なくとも１つの次元でサイズ
    を有し、ｕ２は、前記第２アップサンプリングレイヤの前記アップサンプリング比である、ことと、
    前記ＮＮを用いて前記ビットストリームを処理した後、復号されたピクチャを前記ＮＮの出力として供給することと
    を有する方法。
  32. 前記アップサンプリングレイヤは、転置畳み込み又は畳み込みレイヤを有する、
    請求項３１に記載の方法。
  33. 前記情報は、前記復号されたピクチャの高さＨ及び前記復号されたピクチャの幅Ｗのうちの少なくとも一方を含む前記復号されたピクチャの目標サイズ、前記アップサンプリング比ｕ１、前記アップサンプリング比ｕ２、前記第２アップサンプリングレイヤの目標出力サイズ
    、前記サイズ
    のうちの少なくとも１つを含む、
    請求項３１又は３２に記載の方法。
  34. 前記情報は、前記ビットストリーム、第２ビットストリーム、前記デコーダで利用可能な情報、のうちの少なくとも１つから取得される、
    請求項３１乃至３３のうちいずれかに記載の方法。
  35. 前記少なくとも１つの次元での前記サイズ
    をサイズ
    に変更する前記リスケーリング（２４２１）は、
    に依存する式に基づいて決定され、
    は、前記第２アップサンプリングレイヤの前記出力の目標出力サイズであり、ｕ２は、前記第２アップサンプリングレイヤの前記アップサンプリング比である、
    請求項３１乃至３４のうちいずれかに記載の方法。
  36. 前記少なくとも１つの次元での前記サイズ
    をサイズ
    に変更する前記リスケーリングは、ｕ２及びＮに依存する式に基づいて決定され、Ｎは、前記ＮＮによる前記ビットストリームの処理順序において前記第１アップサンプリングレイヤに先行するアップサンプリングレイヤの総数である、
    請求項３１乃至３５のうちいずれかに記載の方法。
  37. 前記式は、
    によって与えられ、Ｔｏｕｔｐｕｔは、前記ＮＮの前記出力の目標サイズである、
    請求項３１又は３６に記載の方法。
  38. 前記式は、
    によって与えられ、Ｔｏｕｔｐｕｔは、前記ＮＮの前記出力の前記目標サイズであり、ｕはアップサンプリング比である、
    請求項３１又は３７に記載の方法。
  39. 前記サイズＴｏｕｔｐｕｔを示す指示は、前記ビットストリームに含まれる、
    請求項３８に記載の方法。
  40. 前記式は、
    によって与えられるか、あるいは、前記式は、
    によって与えられる、
    請求項３５に記載の方法。
  41. 前記複数の事前定義された式のうちのどれが選択されるかを示す指示は、前記ビットストリームに含まれる、
    請求項４０に記載の方法。
  42. 当該方法は、前記サイズ
    を有する前記出力をリスケーリングすること（２４１２）の前に、前記出力の前記サイズ
    が前記サイズ
    と一致するかどうかを決定することを更に有する、
    請求項３１乃至４１のうちいずれかに記載の方法。
  43. 前記サイズ
    が前記サイズ
    と一致すると決定される場合に、前記サイズ
    を変更するリスケーリングは適用されない、
    請求項４２に記載の方法。
  44. 当該方法は、前記サイズ
    が前記サイズ
    よりも大きいかどうか又は前記サイズ
    が前記サイズ
    よりも小さいかどうかを決定することを更に有する、
    請求項４２又は４３に記載の方法。
  45. 前記サイズ
    が前記サイズ
    よりも大きいと決定される場合に、前記リスケーリングは、前記サイズ
    を有する前記出力にクロッピングを適用して、前記サイズ
    が前記サイズ
    に低減されるようにする、
    請求項４４に記載の方法。
  46. 前記サイズ
    が前記サイズ
    よりも小さいと決定される場合に、前記リスケーリングは、前記サイズ
    を有する前記出力にパディングを適用して、前記サイズ
    が前記サイズ
    に増大されるようにする、
    請求項４４又は４５に記載の方法。
  47. 前記パディングは、前記サイズ
    を有する前記出力にゼロを又は前記サイズ
    を有する前記出力から得られたパディング情報をパディングすることを有する、
    請求項４６に記載の方法。
  48. 前記サイズ
    を有する前記出力から得られた前記パディング情報は、前記出力の前記サイズ
    を前記サイズ
    に増大させる冗長なパディング情報として適用される、
    請求項４７に記載の方法。
  49. 前記パディングは、反射パディング又は繰り返しパディングを有する、
    請求項４８に記載の方法。
  50. 前記パディング情報は、前記冗長なパディング情報が加えられるべき前記出力内の領域に最も近い、前記サイズ
    を有する前記出力の少なくとも１つの値であるか又は該少なくとも１つの値を含む、
    請求項４８又は４９に記載の方法。
  51. が
    に等しくないと決定される場合に、前記リスケーリングは、補間フィルタを適用することを含む、
    請求項４４に記載の方法。
  52. 前記情報は、前記ビットストリーム又は更なるビットストリームで提供され、前記ビットストリームを符号化したエンコーダの少なくとも１つのダウンサンプリングレイヤのダウンサンプリング比ｒｍを含み、
    前記ダウンサンプリングレイヤは、前記入力を処理する順序において、前記デコーダの前記アップサンプリングレイヤに対応する、
    請求項３１乃至５１のうちいずれかに記載の方法。
  53. 前記アップサンプリングレイヤの少なくとも１つは、前記２つの次元でアップサンプリングを適用し、前記第１次元での前記アップサンプリング比は、前記第２次元での前記アップサンプリング比に等しい、
    請求項３１乃至５２のうちいずれかに記載の方法。
  54. 全てのアップサンプリングレイヤの前記アップサンプリングは等しい、
    請求項３１乃至５３のうちいずれかに記載の方法。
  55. 前記ＮＮは、前記ＮＮによる前記ビットストリームの処理順序において、前記少なくとも１つの次元での前記入力のサイズを変更しない前記入力への変換を適用する更なるユニットを含み、
    当該方法は、前記更なるユニットによる前記入力の処理の後、後続のレイヤによって前記入力を処理する前に、前記リスケーリングが前記少なくとも１つの次元での前記入力のサイズの増大をもたらす場合に、前記リスケーリングを適用することを有し、かつ／あるいは、当該方法は、前記更なるユニットによる前記入力の処理の前に、前記リスケーリングが前記少なくとも１つの次元での前記入力のサイズの低減を含む場合に、前記リスケーリングを適用することを有する、
    請求項１乃至５４のうちいずれかに記載の方法。
  56. 前記更なるユニットは、バッチ正規化部及び／又は正規化線形ユニットＲｅＬＵであるか又はそれを有する、
    請求項５５に記載の方法。
  57. 前記ビットストリームは、前記ピクチャの異なるカラーチャネルに対応するサブビットストリームを有し、
    前記ＮＮは、サブニューラルネットワークｓＮＮを有し、該ｓＮＮは夫々、請求項１乃至５１のうちいずれかに記載の方法を、前記ｓＮＮへの入力として供給された前記サブビットストリームに適用するよう構成される、
    請求項１乃至５６のうちいずれか一項に記載の方法。
  58. 前記リスケーリングが前記サイズＳを前記サイズ
    に増大させることを含む場合に、前記サイズ
    は、
    によって与えられ、
    前記リスケーリングが前記サイズＳを前記サイズ
    に低減させることを含む場合に、前記サイズ
    は、
    によって与えられる、
    請求項１乃至３０のうちいずれかに記載の方法。
  59. 前記リスケーリングが前記サイズ
    を前記サイズ
    に増大させることを含む場合に、前記サイズ
    は、
    によって与えられ、
    前記リスケーリングが前記サイズ
    を前記サイズ
    に低減させることを含む場合に、前記サイズ
    は、
    によって与えられる、
    請求項３１乃至５４のうちいずれかに記載の方法。
  60. ピクチャを符号化するエンコーダ（２１００）であって、
    ピクチャを受信する受信器と、
    ニューラルネットワークＮＮを実装するよう構成され、前記ＮＮは、前記ＮＮによるピクチャの処理順序において、入力（２１０１，２１０２，２１０３，２１０４）にダウンサンプリングを適用するよう構成される少なくとも１つのダウンサンプリングレイヤを含む複数のレイヤ（２１１０，２１２０，２１３０，２１４０）を有する、１つ以上のプロセッサと、
    ビットストリームを出力する送信器と
    を有し、
    当該エンコーダは、請求項１乃至３０又は５５乃至５９のうちいずれかに記載の方法を実行するよう構成される、
    エンコーダ。
  61. ピクチャを符号化するエンコーダ（２１００）であって、
    ニューラルネットワークＮＮを実装する１つ以上のプロセッサを有し、
    前記１つ以上のプロセッサは、請求項１乃至３０又は５５乃至５９のうちいずれかに記載の方法を実行するよう構成される、
    エンコーダ。
  62. ニューラルネットワークＮＮによりピクチャを符号化するエンコーダ（２１００）であって、
    前記ＮＮを実装する１つ以上のプロセッサを有し、前記ＮＮは、少なくとも１つの次元でサイズＳを有するマトリクスを表す入力（２１０１，２１０２，２１０３，２１０４）にダウンサンプリングを適用する少なくとも１つのダウンサンプリングレイヤ（２１１０，２１２０，２１３０，２１４０）を含む複数のレイヤを有し、
    前記１つ以上のプロセッサは、
    前記少なくとも１つのダウンサンプリングレイヤにより前記入力を処理する（２３１１）前に、前記入力にリスケーリングを適用すること（２３２１）であり、前記リスケーリングは、
    であるように、前記少なくとも１つの次元での前記サイズＳを変更することを含み、ここで、ｒは、前記レイヤの前記ダウンサンプリング比である、前記適用することと、
    前記リスケーリングの後に、前記ダウンサンプリングレイヤ（２１１０，２１２０，２１３０，２１４０）によって前記入力を処理し（２３１１）、前記サイズＳ１＜Ｓを有する出力を供給すること（２３１２）と、
    前記ＮＮにより前記ピクチャを処理した後、ビットストリームを前記ＮＮの出力として供給することと
    を実行するよう構成される、
    エンコーダ。
  63. ピクチャを表すビットストリームを復号するデコーダ（２２００）であって、
    ビットストリームを受信する受信器と、
    ニューラルネットワークＮＮを実装するよう構成され、前記ＮＮは、前記ＮＮによるビットストリームの処理順序において、入力（２２０１，２２０２，２２０３，２２０４）にアップサンプリングを適用するよう構成される少なくとも２つのアップサンプリングレイヤを含む複数のレイヤ（２２１０，２２２０，２２３０，２２４０）を有する、１つ以上のプロセッサと、
    復号されたピクチャを出力する送信器と
    を有し、
    当該デコーダは、請求項３１乃至５７又は５９のうちいずれかに記載の方法を実行するよう構成される、
    デコーダ。
  64. ピクチャを表すビットストリームを復号するデコーダ（２２００）であって、
    ニューラルネットワークＮＮを実装する１つ以上のプロセッサを有し、
    前記１つ以上のプロセッサは、請求項３１乃至５７又は５９のうちいずれかに記載の方法を実行するよう構成される、
    デコーダ。
  65. ピクチャを表すビットストリームを復号するデコーダ（２２００）であって、
    ニューラルネットワークＮＮを実装する１つ以上のプロセッサを有し、前記ＮＮは、少なくとも１つの次元でサイズＴを有するマトリクスを表す入力（２２０１，２２０２，２２０３，２２０４）にアップサンプリングを適用する少なくとも第１アップサンプリングレイヤ及び第２アップサンプリングレイヤを含む複数のレイヤを有し、
    前記１つ以上のプロセッサは、
    前記第１アップサンプリングレイヤによって前記入力を処理し、前記第１アップサンプリングレイヤの出力を供給することであり、前記出力は、サイズ
    を有し、ｕ１は、前記第１アップサンプリングレイヤの前記アップサンプリング比である、ことと、
    前記第２アップサンプリングレイヤによって前記第１アップサンプリングレイヤの前記出力を処理する前に、前記第１アップサンプリングレイヤの前記出力にリスケーリング（２４２１）を適用することであり、前記リスケーリングは、前記少なくとも１つの次元での前記出力の前記サイズ
    を、取得された情報に基づいて前記少なくとも１つの次元でのサイズ
    に変更することを含む、ことと、
    前記リスケーリングされた出力を前記第２アップサンプリングレイヤによって処理し、前記第２アップサンプリングレイヤの出力を供給することであり、前記出力は、前記少なくとも１つの次元でサイズ
    を有し、ｕ２は、前記第２アップサンプリングレイヤの前記アップサンプリング比である、ことと、
    前記ＮＮを用いて前記ビットストリームを処理した後、復号されたピクチャを前記ＮＮの出力として供給することと
    を実行するよう構成される、
    デコーダ。
  66. コンピューティングシステムで実行される場合に、前記コンピューティングシステムに、請求項１乃至５９のうちいずれかに記載の方法を実行させるコンピュータ実行可能命令を有するコンピュータ可読記憶媒体。
JP2023536909A 2020-12-18 ニューラルネットワークによりピクチャを符号化又は復号する方法及び装置 Active JP7585500B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/087333 WO2022128138A1 (en) 2020-12-18 2020-12-18 A method and apparatus for encoding or decoding a picture using a neural network

Publications (2)

Publication Number Publication Date
JP2024500744A true JP2024500744A (ja) 2024-01-10
JP7585500B2 JP7585500B2 (ja) 2024-11-18

Family

ID=

Also Published As

Publication number Publication date
EP4226325A1 (en) 2023-08-16
WO2022128138A1 (en) 2022-06-23
MX2023007191A (es) 2023-07-03
KR20230072491A (ko) 2023-05-24
US20240015314A1 (en) 2024-01-11
CN116648909A (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
JP7571363B2 (ja) ニューラルネットワーク・ベースのビットストリームのデコードとエンコード
US20230336776A1 (en) Method for chroma subsampled formats handling in machine-learning-based picture coding
US20230353766A1 (en) Method and apparatus for encoding a picture and decoding a bitstream using a neural network
JP2023548507A (ja) セグメンテーション情報のシグナリングを用いた復号化
US20230336736A1 (en) Method for chroma subsampled formats handling in machine-learning-based picture coding
US20240037802A1 (en) Configurable positions for auxiliary information input into a picture data processing neural network
EP4432655A1 (en) Image encoding and decoding method and device
US20240015314A1 (en) Method and apparatus for encoding or decoding a picture using a neural network
CN118872266A (zh) 基于多模态处理的视频译码方法
US20240013446A1 (en) Method and apparatus for encoding or decoding a picture using a neural network comprising sub-networks
TW202420815A (zh) 使用神經網路進行圖像區域的並行處理－解碼、後濾波和ｒｄｏｑ
JP7585500B2 (ja) ニューラルネットワークによりピクチャを符号化又は復号する方法及び装置
CN116939218A (zh) 区域增强层的编解码方法和装置
KR20230145096A (ko) 신경망 기반 픽처 프로세싱에서의 보조 정보의 독립적 위치결정
CN118020306A (zh) 视频编解码方法、编码器、解码器及存储介质
JP7583926B2 (ja) 機械学習を基にしたピクチャコーディングにおけるクロマサブサンプリングフォーマット取り扱いのための方法
TW202416712A (zh) 使用神經網路進行圖像區域的並行處理-解碼、後濾波和rdoq
WO2024083405A1 (en) Neural network with a variable number of channels and method of operating the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241008