JP2023518306A - 深層強化学習を用いたエンドツーエンドのタスク指向型潜在圧縮のための方法、装置およびコンピュータプログラム - Google Patents
深層強化学習を用いたエンドツーエンドのタスク指向型潜在圧縮のための方法、装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2023518306A JP2023518306A JP2022556610A JP2022556610A JP2023518306A JP 2023518306 A JP2023518306 A JP 2023518306A JP 2022556610 A JP2022556610 A JP 2022556610A JP 2022556610 A JP2022556610 A JP 2022556610A JP 2023518306 A JP2023518306 A JP 2023518306A
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- keys
- scheme
- neural network
- inverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 title claims abstract description 35
- 230000006835 compression Effects 0.000 title claims abstract description 34
- 230000002787 reinforcement Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims description 73
- 238000004590 computer program Methods 0.000 title 1
- 238000013139 quantization Methods 0.000 claims abstract description 274
- 238000013528 artificial neural network Methods 0.000 claims abstract description 84
- 230000009471 action Effects 0.000 claims description 44
- 230000015654 memory Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 20
- 230000003068 static effect Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
深層強化学習（ＤＲＬ）を使用するエンドツーエンドのタスク指向型潜在圧縮は、少なくとも１つのプロセッサによって実行され、第１のニューラルネットワークを使用して、入力画像の潜在表現を生成するステップであって、前記潜在表現は潜在信号のシーケンスである、ステップと、第２のニューラルネットワークを使用して、前記潜在信号を符号化するステップと、以前の量子化状態のセットに基づいて、量子化キーのセットを生成するステップであって、前記量子化キーのセット内の各量子化キーおよび前記以前の量子化状態のセット内の各以前の量子化状態は、第３のニューラルネットワークを使用して、前記潜在信号の各々に対応する、ステップと、第４のニューラルネットワークを使用して、前記量子化キーのセットに基づいて、前記符号化された潜在信号の逆量子化表現を表す逆量子化数値のセットを生成するステップと、前記逆量子化数値のセットに基づいて、再構築された出力を生成するステップと、第５のニューラルネットワークを使用して、再構築された出力に基づいて、ターゲットタスクを実行するステップと、を含む。
Description
本出願は、２０２１年１月４日に出願された米国仮特許出願第６３／１３３，６９６号および２０２１年９月１７日に出願された米国特許出願第１７／４７８，０８９号に基づいており、それらの優先権を主張し、それらの開示はその全体が参照により本明細書に組み込まれる。
国際標準化機関ＩＳＯ／ＩＥＣ／ＩＥＥＥは、ＡＩベースのビデオ符号化技術を、特に、深層ニューラルネットワーク（ＤＮＮ）に基づく技術に焦点を合わせて、積極的に探索している。様々な専門家班（ＡｈＧ）が、ニューラルネットワーク圧縮（ＮＮＲ）、機械用ビデオ符号化（ＶＣＭ）、ニューラルネットワークに基づくビデオ符号化（ＮＮＶＣ）などを調査するために形成されている。中国のＡＩＴＩＳＡおよびＡＶＳも、同様の技術の標準化を研究するために対応する専門家グループを確立した。
エンドツーエンドの潜在表現圧縮（Ｅ２ＥＬＲＣ）の処理は、以下のように記述することができる。入力画像またはビデオシーケンスｘが与えられると、ＤＮＮ潜在生成器は、最初に潜在表現ｆを計算し、これはＤＮＮ符号化器を通過して、離散値量子化表現
に量子化されるコンパクト表現ｙを計算する。この離散値表現
は、記憶および送信を容易にするために、損失なくエントロピー符号化され得る。復号器側では、離散値表現
は、可逆エントロピー復号から復元され、ＤＮＮ復号器への入力として使用されて、再構築された潜在表現
を計算することができる。次に、ＤＮＮタスク実行器は、再構築された潜在表現
に基づいて、検出、認識、セグメント化などのターゲットタスクを実行する。言い換えれば、（潜在表現ｆから再構築された潜在表現
までの）符号化および復号処理なしで、元のＤＮＮ潜在生成器は、潜在表現ｆを計算し、これは、ターゲットタスクを実行するためにＤＮＮタスク実行器によって直接使用されている。したがって、再構築された潜在表現
は、潜在表現ｆの変更版として見ることができる。Ｅ２ＥＬＲＣの目標は、コンパクトな表現
が記憶および送信に効率的であり、復元され再構築された潜在表現
が元のタスク性能を維持できるように、効果的な符号化－復号メカニズムを見つけることである。
量子化は、画像、ビデオ、および潜在特徴について、すべての圧縮規格および生成におけるコア処理である。量子化はまた、圧縮品質損失の主な原因の１つであり、量子化効率を向上させると、画像およびビデオ圧縮タスクにおいて大きな性能利得をもたらすことができる。
実施形態によれば、深層強化学習を使用するエンドツーエンドのタスク指向型の潜在画像圧縮の方法は、少なくとも１つのプロセッサによって実行され、第１のニューラルネットワークを使用して、入力画像の複数の潜在表現を生成するステップであって、複数の潜在表現が潜在信号のシーケンスを含む、ステップと、第２のニューラルネットワークを使用して、複数の潜在表現を符号化するステップと、第３のニューラルネットワークを使用して、以前の量子化状態のセットに基づいて量子化キーのセットを生成するステップであって、量子化キーのセット内の各量子化キーおよび以前の量子化状態のセット内の各以前の量子化状態が複数の潜在表現に対応する、ステップと、第４のニューラルネットワークを使用して、量子化キーのセットに基づいて、符号化された複数の潜在表現の逆量子化表現を表す逆量子化数値のセットを生成するステップと、逆量子化数値のセットに基づいて、再構築された出力を生成するステップと、第５のニューラルネットワークを使用して、再構築された出力に基づいて、ターゲットタスクを実行するステップと、を含む。
実施形態によれば、深層強化学習を使用するエンドツーエンドのタスク指向型潜在画像圧縮のための装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードによる命令通りに動作するように構成された少なくとも１つのプロセッサ、とを含む。プログラムコードは、第１のニューラルネットワークを使用して、少なくとも１つのプロセッサに、入力の複数の潜在表現を生成させるように構成された第１の生成コードであって、複数の潜在表現は潜在信号のシーケンスを含む、第１の生成コードと、第２のニューラルネットワークを使用して、少なくとも１つのプロセッサに、複数の潜在表現を符号化させるように構成された符号化コードと、第３のニューラルネットワークを使用して、少なくとも１つのプロセッサに、以前の量子化状態のセットに基づいて、量子化キーのセットを生成させるように構成された第２の生成コードであって、量子化キーのセットにおける各量子化キーおよび以前の量子化状態のセットにおける各以前の量子化状態が複数の潜在表現に対応する、第２の生成コードと、第４のニューラルネットワークを使用して、少なくとも１つのプロセッサに、量子化キーのセットに基づいて、符号化された複数の潜在表現の逆量子化表現を表す逆量子化数値のセットを生成させるように構成された第３の生成コードと、少なくとも１つのプロセッサに、逆量子化数値のセットに基づいて、再構築された出力を復号させるように構成された復号コードと、第５のニューラルネットワークを使用して、少なくとも１つのプロセッサに、再構築された出力に基づいて、ターゲットタスクを実行させるように構成された実行コードと、を含む。
実施形態によれば、非一時的コンピュータ可読媒体は、少なくとも１つのプロセッサによって、深層強化学習を使用したエンドツーエンドのタスク指向型潜在画像圧縮のために、実行されると、少なくとも１つのプロセッサに、第１のニューラルネットワークを使用して、潜在信号のシーケンスを備えた、複数の潜在表現を生成させ、第２のニューラルネットワークを使用して、複数の潜在表現を符号化させ、第３のニューラルネットワークを使用して、以前の量子化状態のセットに基づいて、量子化キーのセットを生成させ、量子化キーのセット内の各量子化キーおよび以前の量子化状態のセット内の各以前の量子化状態は、複数の潜在表現に対応しており、第４のニューラルネットワークを使用して、量子化キーのセットに基づいて、符号化された複数の潜在表現の逆量子化表現の逆量子化数値のセットを生成させ、逆量子化数値のセットに基づいて、再構築された出力を復号させ、第５のニューラルネットワークを使用して、再構築された出力に基づいて、再構築された出力を実行させる、命令を記憶する。
実施形態は、深層強化学習（ＤＲＬ）を使用するエンドツーエンド潜在表現圧縮（Ｅ２ＥＬＲＣ）のフレームワークに関することができる。本方法は、タスク性能と圧縮効率の両方を考慮し、システムを共同で最適化する。
元の入力画像／ビデオを符号化して送信する代わりに、元の入力の潜在表現を符号化して送信することは、送信コストの削減およびプライバシーの向上などの利点をもたらすことができる。例えば、異常車両を検出することを目的とする監視システムは、元のビデオストリームを見る必要はなく、検出タスクに必要な抽出された潜在特徴のみを見る必要がある。ＶＣＭおよびＤＣＭ（機械用の中国データ符号化）規格は、潜在特徴符号化技術を調査して、記憶および送信に効率的であり、機械視覚タスクまたは人間視覚タスクを実行するのに有効な符号化された潜在特徴を生成するため作られた。
従来の画像およびビデオ符号化規格は、依存量子化（ＤＱ）または手動設計された量子化規則によるトレリス符号化量子化を使用する。ＤＱは、２つの量子化器Ｑ０およびＱ１と、それらを切り替えるための手順とを含む。図３は、ＤＱ設計における量子化器Ｑ０およびＱ１を使用するＤＱメカニズムの例示的な図を示す。円の上の表示は関連する状態を示し、円の下の表示は関連する量子化キーを示す。復号器側では、量子化器Ｑ０またはＱ１のいずれかの量子化ステップサイズΔを乗算する整数キーｋによって、再構築された数値ｘ’が決定される。量子化器Ｑ０とＱ１との間の切り替えは、Ｍ＝２ＫのＤＱ状態、Ｋ≧２（したがって、Ｍ≧４）を有するステートマシンによって表すことができ、各ＤＱ状態は量子化器Ｑ０またはＱ１のうちの１つと関連付けられる。現在のＤＱ状態は、前回のＤＱ状態と今回の量子化キーｋｉの値とによって一意的に決定される。入力ストリームｘ１，ｘ２，．．．を符号化するために、量子化器Ｑ０とＱ１との間の潜在的な遷移は、２ＫのＤＱ状態を有するトレリスによって示され得る。したがって、量子化キーｋ１，ｋ２，．．．の最適シーケンスを選択することは、最小レート歪み（Ｒ－Ｄ）コストを有するトレリス経路を見つけることと等価である。この問題は、ビタビ・アルゴリズムによって解くことができる。
従来、ステートマシンは経験的に手動で設計されている。図４は、４つの状態を有するＶＶＣ規格で使用される手動設計ステートマシンの一例を示す。具体的には、図４（ａ）は、手動設計のステートマシンの状態図である。図４（ｂ）は、手動設計のステートマシンの状態図を表す状態テーブルである。
従来のＤＱ方式には３つの主な制約がある。まず、２つの量子化器のみが使用される。量子化器の数を増やすと、数値を符号化する際のビット消費量を削減することができる。第２に、ステートマシンの手動設計は最適ではなく、多数のＤＱ状態を含めるには費用がかかりすぎる。量子化器の数を増やすには、ＤＱ状態の数を増やす必要があり、これにより量子化効率を向上させることができるが、ステートマシンが複雑すぎて手動設計できない。最後に、キー生成および数値の再構築の方法は、体験学習的に手動で設計されており、これも最適ではない。他のより良い方法を探索するには、専門知識が必要であり、手作業で設計するには費用がかかりすぎる可能性がある。
したがって、本開示の実施形態は、ＤＲＬメカニズムによって学習される学習ベースの量子化に関することができる。実施形態は、様々なタイプの量子化方式（例えば、一様量子化、コードブックに基づく量子化、または深層学習に基づく量子化）を柔軟にサポートすることができ、データ駆動方式で、最適量子化器を学習する。さらに、実施形態は、Ｅ２ＥＬＲＣ処理全体に共同で関連してもよく、ＤＮＮ符号化器、ＤＮＮ復号器、学習に基づく量子化方式、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器は、改善されたデータ適応型圧縮結果を提供するために、共同で最適化されてもよい。
図１は、実施形態による、本明細書に記載された方法、装置、およびシステムがその中で実現され得る環境１００の図である。
図１に示すように、環境１００は、ユーザデバイス１１０、プラットフォーム１２０、およびネットワーク１３０を含んでもよい。環境１００のデバイスは、有線接続、無線接続、または有線接続と無線接続の組合せを介して相互接続することができる。
ユーザデバイス１１０は、プラットフォーム１２０に関連付けられた情報を受信、生成、記憶、処理、および／または提供することが可能な１つまたは複数のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブルデバイス（例えば、一対のスマートグラスもしくはスマートウォッチ）、または同様のデバイスを含んでもよい。いくつかの実装形態では、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信し、かつ／またはプラットフォーム１２０に情報を送信することができる。
プラットフォーム１２０は、本明細書の他の箇所に記載されるような１つまたは複数のデバイスを含む。いくつかの実装形態では、プラットフォーム１２０は、クラウドサーバまたはクラウドサーバのグループを含んでもよい。いくつかの実装形態では、プラットフォーム１２０は、ソフトウェア構成要素がスワップインまたはスワップアウトされ得るようにモジュール式に設計されてもよい。そのため、プラットフォーム１２０は、異なる用途向けに、容易かつ／または迅速に復元されてもよい。
いくつかの実装形態では、図示されたように、プラットフォーム１２０は、クラウドコンピューティング環境１２２内でホストされてもよい。特に、本明細書に記載された実装形態は、クラウドコンピューティング環境１２２内でホストされるものとしてプラットフォーム１２０を記載するが、いくつかの実装形態では、プラットフォーム１２０は、クラウドベースでなくてもよく（すなわち、クラウドコンピューティング環境の外部に実装されてもよく）、部分的にクラウドベースであってもよい。
クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストするシステムおよび／またはデバイスの物理的な位置および構成のエンドユーザ（例えば、ユーザデバイス１１０）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供することができる。図示されたように、クラウドコンピューティング環境１２２は、（まとめて「コンピューティングリソース１２４」と呼ばれ、個別に「コンピューティングリソース１２４」と呼ばれる）コンピューティングリソース１２４のグループを含んでもよい。
コンピューティングリソース１２４は、１つまたは複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、または他のタイプの計算デバイスおよび／もしくは通信デバイスを含む。いくつかの実装形態では、コンピューティングリソース１２４は、プラットフォーム１２０のホストすることができる。クラウドリソースは、コンピューティングリソース１２４内で実行される計算インスタンス、コンピューティングリソース１２４内で提供されるストレージデバイス、コンピューティングリソース１２４によって提供されるデータ転送デバイスなどを含んでもよい。いくつかの実装形態では、コンピューティングリソース１２４は、有線接続、無線接続、または有線接続と無線接続の組合せを介して他のコンピューティングリソース１２４と通信することができる。
図１にさらに示すように、コンピューティングリソース１２４は、１つまたは複数のアプリケーション（「ＡＰＰ」）１２４－１、１つまたは複数の仮想マシン（「ＶＭ」）１２４－２、仮想化ストレージ（「ＶＳ」）１２４－３、１つまたは複数のハイパーバイザ（「ＨＹＰ」）１２４－４などのクラウドリソースのグループを含む。
アプリケーション１２４－１は、ユーザデバイス１１０および／もしくはプラットフォーム１２０に提供され得るか、またはユーザデバイス１１０および／もしくはプラットフォーム１２０によってアクセスされ得る１つまたは複数のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０上でソフトウェアアプリケーションをインストールし実行する必要性を排除することができる。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連付けられたソフトウェアおよび／またはクラウドコンピューティング環境１２２を介して提供されることが可能な任意の他のソフトウェアを含んでもよい。いくつかの実装形態では、１つのアプリケーション１２４－１は、仮想マシン１２４－２を介して１つまたは複数の他のアプリケーション１２４－１との間で情報を送受信することができる。
仮想マシン１２４－２は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装形態を含む。仮想マシン１２４－２は、仮想マシン１２４－２による用途および任意の実マシンとの対応関係の程度に応じて、システム仮想マシンまたはプロセス仮想マシンのいずれかであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一のプログラムを実行することができ、単一の処理をサポートすることができる。いくつかの実装形態では、仮想マシン１２４－２は、ユーザ（例えば、ユーザデバイス１１０）の代わりに動作することができ、データ管理、同期、または長期データ転送などのクラウドコンピューティング環境１２２の基盤を管理することができる。
仮想化ストレージ１２４－３は、コンピューティングリソース１２４のストレージシステムまたはデバイス内で仮想化技法を使用する１つもしくは複数のストレージシステムおよび／または１つもしくは複数のデバイスを含む。いくつかの実装形態では、ストレージシステムのコンテキスト内で、仮想化のタイプは、ブロック仮想化およびファイル仮想化を含んでもよい。ブロック仮想化は、ストレージシステムが物理ストレージまたは異種構造に関係なくアクセスされ得るような、物理ストレージからの論理ストレージの抽象化（または分離）を指すことができる。分離により、ストレージシステムの管理者がエンドユーザのためにストレージを管理する方法の柔軟性が可能になり得る。ファイル仮想化は、ファイルレベルでアクセスされるデータとファイルが物理的に記憶された場所との間の依存関係を排除することができる。これにより、ストレージ使用の最適化、サーバ統合、および／またはスムーズなファイル移行の実行が可能になり得る。
ハイパーバイザ１２４－４は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）をコンピューティングリソース１２４などのホストコンピュータ上で同時に実行することを可能にするハードウェア仮想化技法を提供することができる。ハイパーバイザ１２４－４は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示することができ、ゲストオペレーティングシステムの実行を管理することができる。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有することができる。
ネットワーク１３０は、１つまたは複数の有線および／または無線のネットワークを含む。例えば、ネットワーク１３０は、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワークなど）、公的地域モバイルネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆交換電話網（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、および／またはそれらもしくは他のタイプのネットワークの組合せを含んでもよい。
図１に示すデバイスおよびネットワークの数および配置は、一例として提供されている。実際には、図１に示すものに比べて、さらなるデバイスおよび／もしくはネットワーク、少ないデバイスおよび／もしくはネットワーク、異なるデバイスおよび／もしくはネットワーク、または異なる配置のデバイスおよび／もしくはネットワークが存在してもよい。さらに、図１に示す２つ以上のデバイスは、単一のデバイス内に実装されてもよく、または図１に示す単一のデバイスは、複数の分散型デバイスとして実装されてもよい。追加または代替として、環境１００のデバイスのセット（例えば、１つまたは複数のデバイス）は、環境１００のデバイスの別のセットによって実行されるものとして記載された１つまたは複数の機能を実行することができる。
図２は、図１の１つまたは複数のデバイスの例示的な構成要素のブロック図である。
デバイス２００は、ユーザデバイス１１０および／またはプラットフォーム１２０に対応してもよい。図２に示すように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、記憶構成要素２４０、入力構成要素２５０、出力構成要素２６０、および通信インターフェース２７０を含んでもよい。
バス２１０は、デバイス２００の構成要素間の通信を可能にする構成要素を含む。プロセッサ２２０は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組合せに実装される。プロセッサ２２０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、または別のタイプの処理構成要素である。いくつかの実装形態では、プロセッサ２２０は、機能を実行するようにプログラムされることが可能な１つまたは複数のプロセッサを含む。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ならびに／またはプロセッサ２２０が使用するための情報および／もしくは命令を記憶する別のタイプの動的もしくは静的なストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、および／もしくは光メモリ）を含む。
記憶構成要素２４０は、デバイス２００の動作および使用に関連する情報および／またはソフトウェアを記憶する。例えば、記憶構成要素２４０は、対応するドライブとともに、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、および／もしくはソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、ならびに／または別のタイプの非一時的コンピュータ可読媒体を含んでもよい。
入力構成要素２５０は、デバイス２００がユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、および／またはマイクロフォン）などを介して情報を受信することを可能にする構成要素を含む。追加または代替として、入力構成要素２５０は、情報を検知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）構成要素、加速度計、ジャイロスコープ、および／またはアクチュエータ）を含んでもよい。出力構成要素２６０は、デバイス２００（例えば、ディスプレイ、スピーカ、および／または１つもしくは複数の発光ダイオード（ＬＥＤ））からの出力情報を提供する構成要素を含む。
通信インターフェース２７０は、デバイス２００が有線接続、無線接続、または有線接続と無線接続の組合せなどを介して他のデバイスと通信することを可能にする、トランシーバ様の構成要素（例えば、トランシーバならびに／または別個の受信機および送信機）を含む。通信インターフェース２７０は、デバイス２００が別のデバイスから情報を受信し、かつ／または別のデバイスに情報を提供することを可能にすることができる。例えば、通信インターフェース２７０は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラーネットワークインターフェースなどを含んでもよい。
デバイス２００は、本明細書に記載された１つまたは複数の処理を実行することができる。デバイス２００は、プロセッサ２２０がメモリ２３０および／または記憶構成要素２４０などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令を実行することに応答して、これらの処理を実行することができる。コンピュータ可読媒体は、本明細書では非一時的メモリデバイスと定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、または複数の物理ストレージデバイスにわたって広がるメモリ空間を含む。
ソフトウェア命令は、別のコンピュータ可読媒体から、または通信インターフェース２７０を介して別のデバイスから、メモリ２３０および／または記憶構成要素２４０に読み込まれてもよい。メモリ２３０および／または記憶構成要素２４０に記憶されたソフトウェア命令は、実行されると、本明細書に記載された１つまたは複数の処理をプロセッサ２２０に実行させることができる。追加または代替として、ハードワイヤード回路は、本明細書に記載された１つまたは複数の処理を実行するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用されてもよい。このように、本明細書に記載された実装形態は、ハードウェア回路とソフトウェアのいかなる特定の組合せにも限定されない。
図２に示す構成要素の数および配置は、一例として提供されている。実際には、デバイス２００は、図２に示す構成要素に比べて、さらなる構成要素、少ない構成要素、異なる構成要素、または異なる配置の構成要素を含んでもよい。追加または代替として、デバイス２００の構成要素のセット（例えば、１つまたは複数の構成要素）は、デバイス２００の構成要素の別のセットによって実行されるものとして記載された１つまたは複数の機能を実行することができる。
次に、潜在表現圧縮（ＬＲＣ）システムの一般的な処理のための方法および装置について、実施形態の図５を参照して詳細に説明する。
図５は、潜在表現圧縮（ＬＲＣ）システムの一般的な処理のための装置のブロック図である。
図５に示すように、一般的な処理の装置は、ＤＮＮ潜在生成モジュール５１０と、ＤＮＮ符号化モジュール５２０と、量子化モジュール５３０と、エントロピー符号化モジュール５４０と、エントロピー復号モジュール５５０と、逆量子化モジュール５６０と、ＤＮＮ復号モジュール５７０と、を含む。
Ｘを入力（画像、ビデオ、オーディオ、または他の種類のデータ）とする。ＤＮＮ潜在生成モジュール５１０は、ＤＮＮ潜在生成器を用いて、潜在表現Ｆを生成する。潜在表現Ｆは、コード化シグナルのシーケンス、Ｆ＝ｆ１、ｆ２、・・・、に直列化することができ、ここで、シグナルｆｔは、一般に、サイズ（ｈ，ｗ，ｃ，ｄ）の４次元のテンソルとして表すことができる。各信号ｆｔについて、ＤＮＮ符号化モジュール５２０は、ＤＮＮ符号化器を使用して、信号ｆｔに基づいてＤＮＮ符号化表現ｙｔを計算する。次に、量子化モジュール５３０は、量子化器を使用して符号化表現ｙｔに基づいて、量子化表現
を生成する。その後、エントロピー符号化モジュール５４０は、エントロピー符号化器を使用することによって、量子化表現
をコンパクトな表現
への、簡単な格納および送信のために符号化する。次いで、復号器側では、コンパクトな表現
を受信した後、エントロピー復号モジュール５５０は、エントロピー復号器を使用して、コンパクトな表現
に基づいて復号表現
を復元する。可逆エントロピー符号化方式は、エントロピー符号化器およびエントロピー復号器によって使用されてもよく、その結果、復号表現
は量子化表現
に等しくなる（すなわち、
）。次に、逆量子化モジュール５６０は、逆量子化を使用することにより、復号表現
に基づいて、逆量子化表現ｙ’ｔを計算する。次に、ＤＮＮ復号モジュール５７０は、ＤＮＮ復号器を使用することにより、逆量子化表現ｙ’ｔに基づいて再構築された潜在表現
を生成する。最後に、ＤＮＮタスク実行モジュール５８０は、ＤＮＮタスク実行器を使用することによって、復元され再構築された潜在表現
に基づいて、ターゲットタスクを実行する。
ＬＲＣシステムの全体的な目標は、２つの側面を考慮に入れた、統合損失
を最小化することである。すなわち、量子化表現
がほとんどビット消費を有さず（レート損失
によって反映される）、かつ、再構築された潜在表現
が元のｆｔに近い（歪み損失
によって反映される）ように、レート歪み（Ｒ－Ｄ）損失を最小化すること、および、再構築された潜在表現
が元のターゲットタスクを良好に実行することができるように、タスク予測損失
を最小化すること、である。統合損失
は、以下の式に従って計算できる。
歪み損失
は、ＰＳＮＲおよび／またはＳＳＩＭメトリックなどの再構築誤差を測定する。レート損失
は、量子化表現
のビットレートに関連する。ハイパーパラメータβおよびλは、異なる損失項の重要性のバランスをとる。
量子化／逆量子化演算は一般に微分可能ではないため、量子化器／逆量子化器は、ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器、とは別に最適化される。例えば、従来の方法は、線形量子化を想定し、エントロピー推定によって微分可能なレート損失
を近似し、その結果、ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器は、逆伝播によって学習できる。
実施形態は、ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器、ならびに量子化器および逆量子化器が共同で学習されるＥ２ＥＬＲＣ方式を提案する。具体的には、ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、ＤＮＮタスク実行器の最適化、ならびに量子化器および逆量子化器の最適化を組み合わせるために、深層強化学習（ＤＲＬ）が活用される。提案されたＥ２ＥＬＲＣフレームワークは、一般的かつ広範であり、様々なタイプの量子化方式および様々なタイプのＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器ネットワーク・アーキテクチャに対応する
ここで、深層強化学習（ＤＲＬ）を用いたエンドツーエンド潜在表現圧縮（Ｅ２ＥＬＲＣ）システムの方法および装置について詳細に説明する。
図６は、実施形態による、試験段階中のＥ２ＥＬＲＣ装置のブロック図である。
図６に示すように、Ｅ２ＥＬＲＣ試験装置は、ＤＮＮ潜在生成モジュール６１０と、ＤＮＮ符号化モジュール６２０と、ＤＲＬ量子化モジュール６３０と、エントロピー符号化モジュール６４０と、エントロピー復号モジュール６５０と、ＤＲＬ逆量子化モジュール６６０と、ＤＮＮ復号モジュール６７０と、ＤＮＮタスク実行モジュール６８０と、を含む。
符号化処理の一部として、入力信号Ｘが与えられると、ＤＮＮ潜在生成モジュール６１０は、ＤＮＮ潜在生成器を使用して、潜在表現Ｆを生成する。潜在表現Ｆは、符号化信号のシーケンスＦ＝ｆ１，ｆ２，・・・に直列化され、各信号ｆｔはサイズ（ｈ，ｗ，ｃ，ｄ）の４次元のテンソルである。ＤＮＮ符号化モジュール６２０は、ＤＮＮ符号化器を使用して、信号ｆｔに基づいてＤＮＮ符号化表現ｙｔを計算する。ＤＮＮ符号化表現ｙｔは、数値のストリームとして見ることができ、ｙｔ＝ｙｔ，１，ｙｔ，２・・・である。ｍ個の数値Ｙｔ，ｉ＝・・・，ｙｔ，ｉ－１，ｙｔ，ｉのバッチについて、ＤＲＬ量子化モジュール６３０は、ＤＲＬ量子化器を使用して、各ＱＫ ｋｔ，ｌが符号化表現ｙｔ，ｌの各々に対応する、量子化キー（ＱＫｓ）Ｋｔ，ｉ＝・・・，ｋｔ，ｉ－１，ｋｔ，ｉのバッチを計算する。１サイズバッチ（ｍ＝１）の場合、数値は、１つずつ個別に処理される。ｍ＞１の場合、数値は、体系的に量子化される。数値はまた、異なる順序で体系化されてもよい。例えば、数値は、相対位置情報を保存するためにブロック単位で体系化されてもよい。次に、システムは、ＱＫ ｋｔ，ｉを復号処理に送信し、数値Ｙｔ，ｉ＋１の次のバッチの処理に進む。任意選択的に、ＱＫ ｋｔ，ｉは、記憶および送信を容易にするために、エントロピー符号化モジュール６４０によって（好ましくは可逆的に）さらに圧縮される。
復号処理の一部として、ＱＫ Ｋｔ，ｉを受信した後、受信したＱＫがエントロピー符号化されている場合、エントロピー復号モジュール６５０は、エントロピー復号されたＱＫ
を取得するために適用される。次に、ＤＲＬ逆量子化モジュール６６０は、逆量子化表現ｙ’ｔの全蒸気内のバッチであるＤＲＬ逆量子化器を使用して、逆量子化数値Ｙ’ｔ，ｉ＝・・・，ｙ’ｔ，ｉ－１，ｙ’ｔ，ｉのバッチを復元する。次に、ＤＮＮ復号モジュール６７０は、ＤＮＮ復号器を使用することにより、逆量子化表現ｙ’ｔに基づいて、再構築された出力
を生成する。最後に、ＤＮＮタスク実行モジュール６８０は、ＤＮＮタスク実行器を使用して、復元された再構築された出力
に基づいて、ターゲットタスクを実行する。エントロピー符号化モジュール６４０およびエントロピー復号モジュール６５０は、任意選択であり、図６において点線によってマークされていることに留意されたい。例示的な実施形態では、エントロピー符号化モジュール６４０およびエントロピー復号モジュール６５０が使用される場合、この実施形態は、可逆エントロピー符号化方式をとり、したがって、エントロピー復号されたＱＫと、ＤＲＬ量子化モジュール６３０によって計算されたＱＫとは、同じである（すなわち、
）。したがって、以下では、符号化処理および復号処理によって計算されたＱＫの両方に同じ表記（Ｋｔ，ｉ）が使用される。
図６のＤＲＬ量子化器およびＤＲＬ逆量子化器は、学習ベースの量子化方式を使用する。図７および図８は、それぞれＤＲＬ量子化モジュール６３０およびＤＲＬ逆量子化モジュール６６０の詳細なワークフローを説明する。
図７に示すように、ＤＲＬ量子化モジュール６３０は、計算キーモジュール７１０および状態予測モジュール７２０を含む。
符号化処理の一部として、各ＱＳ ｓｔ，ｌ－１が符号化表現ｙｔ，ｌの各々に対応する、以前の量子化状態（ＱＳ）Ｓｔ，ｉ－１＝・・・，ｓｔ，ｉ－２，ｓｔ，ｉ－１のバッチに従って、ｍ個の数値Ｙｔ，ｉ＝・・・，ｙｔ，ｉ－１，ｙｔ，ｉのバッチが与えられると、計算キーモジュール７１０は、キー生成器を使用して、各ＱＫ ｋｔ，ｌが符号化表現ｙｔ，ｌの各々に対応する、ＱＫ Ｋｔ，ｉ＝・・・，ｋｔ，ｉ－１，ｋｔ，ｉを計算する。次いで、状態予測モジュール７２０は、状態予測器を用いて、現在のＱＳ Ｓｔ，ｉ＝・・・，ｓｔ，ｉ－１，ｓｔ，ｉを計算する。
以前のＱＳ Ｓｔ，ｉ－１が与えられると、キー生成器は、量子化方式を用いてＱＫを計算する。この量子化方式は、固定ステップサイズを有する一様量子化のような所定のルールベースの方式とすることができ、ここで、ＱＫ ｋｔ，ｉは、ＱＫ ｋｔ，ｉと量子化ステップサイズとの乗算として、対応する符号化表現ｙｔ，ｉを最もよく再構築することができる整数である。この量子化方式はまた、ｋ平均化法のような統計モデルとすることができ、ここで、ＱＫ ｋｔ，ｉは、その重心が符号化表現ｙｔ，ｉを最もよく再構築することができるクラスタのインデックスである。本開示は、キー生成器として使用される特定の量子化方式にいかなる制限も課さない。
以前のＱＳ Ｓｔ，ｉ－１および現在のＱＫ Ｋｔ，ｉが与えられると、状態予測モジュール７２０は、現在のＱＳ ｓｔ，ｉを計算する。例示的な実施形態では、ｍ個のＱＫの各々に取り付けられてペアを形成する、状態予測モジュール７２０によって最新のＱＳ ｓｔ，ｉ－１のみが使用され、ｍ個のペアのすべてが、一緒にスタックされサイズ（ｍ、２）の入力行列を形成する。別の例示的な実施形態では、各ＱＫおよび対応するＱＳはペア（ｋｔ，ｌ，ｓｔ，ｌ－１）を形成し、ｍ個のペアは共にスタックされサイズ（ｍ、２）の入力行列を形成する。状態予測モジュール７２０は、ＱＳが取り得る任意の数の可能な状態間の遷移をサポートするために、学習ベースのモデルを使用する状態予測器に基づいて、現在のＱＳ ｓｔ，ｉを計算する。実施形態では、学習ベースのモデルは、後で詳細に説明する深層Ｑ学習（ＤＱＮ）アルゴリズムによって訓練される。
図８に示すように、ＤＲＬ逆量子化モジュール６６０は、状態予測モジュール７２０と再構築モジュール８１０とを含む。
復号処理の一部として、ＱＫ Ｋｔ，ｉ＝・・・，ｋｔ，ｉ－１，ｋｔ，ｉを受信した後、状態予測モジュール７２０は、入力ＱＫ Ｋｔ，ｉおよび以前のＱＳ Ｓｔ，ｉ－１＝・・・，ｓｔ，ｉ－２，ｓｔ，ｉ－１に基づいて、符号化処理が現在のＱＳ ｓｔ，ｉを計算するのと同じ方法で状態予測器を使用することによって、現在のＱＳ ｓｔ，ｉを計算する。次に、再構築モジュール８１０は、再構築器を使用して、ＱＫ Ｋｔ，ｉおよびＱＳ Ｓｔ，ｉ－１に基づいて、逆量子化数値Ｙ’ｔ，ｉ＝・・・，ｙ’ｔ，ｉ－１，ｙ’ｔ，ｉのバッチを計算する。再構築器は、キー生成器で用いられる量子化方式に対応する逆量子化方式を用いる。例えば、量子化方式が、固定ステップサイズの一様量子化のような所定のルールベース方式である場合、逆量子化数値ｙ’ｔ，ｉを、量子化ステップサイズとＱＫ ｋｔ，ｉとの乗算として演算するなど、逆量子化方式も所定のルールベースである。量子化方式がｋ平均化法のような統計モデルである場合、逆量子化方式は、ＱＫ ｋｔ，ｉによってインデックス付けされた重心であってもよい。本開示は、再構築器として使用される特定の逆量子化方式に制限を課すものではない。
状態予測器は、行動ａｊと行動に関連付けられた出力Ｑ値ｖｊとの間の行動値マッピング関数ｆ（ａｊ，ｖｊ｜Ｋｔ，ｉ，Ｓｔ，ｉ－１）であり、ｊ＝１，・・・，Ｊ（合計でＪ個の可能な行動があると仮定）であり、ＱＫ Ｋｔ，ｉおよびＱＳ Ｓｔ，ｉ－１が与えられる。各行動ａｊは、ＱＳ ｓｔ，ｉが取り得る状態に対応する。現在のＱＫ Ｋｔ，ｉおよびＱＳ Ｓｔ，ｉ－１が与えられると、状態予測器は、すべての可能な行動ａｊのＱ値ｖｊを計算し、最適なＱ値
を有する最適な行動
を選択する。最適な行動
に対応する状態は、システムが選択するＱＳ ｓｉである。Ｑ値は、行動のシーケンスに関連するターゲット圧縮性能を測定するように設計される。したがって、最適な行動を選択することにより、最適なターゲット圧縮性能が得られる。
実施形態では、深層Ｑ学習メカニズム、具体的にはＤＱＮアルゴリズムが訓練方法として使用される。ＤＱＮは、行動に報酬Ｑ値を割り当てるために行動値マッピング関数を学習することによって、任意の所与の有限マルコフ決定処理のための最適行動選択の方策を見つける方策外ＤＲＬ方式である。方策は、システムが行動を選択する際に従う規則である。現在の状態が与えられると、学習エージェントは、候補行動のセットから選択することができ、これは、異なる報酬価値をもたらす。様々な状況を経験し、様々な状況にある様々な行動を試みることによって、学習エージェントは、報酬を最適化するために時間をかけて学習し、その結果、報酬は、それがある任意の所与の状況において将来最適に行動することができる。
具体的には、ＤＮＮが状態予測器として使用され、これは、行動値マッピング関数ｆ（ａｊ，ｖｊ｜Ｋｔ，ｉ，Ｓｔ，ｉ－１）を推定するための関数近似器として機能する。状態予測器ＤＮＮは、典型的には、１つまたは複数の完全に接続された層が続く畳み込み層のセットを含む。本開示は、状態予測器の特定のネットワーク・アーキテクチャにいかなる制限も課さない。
次に、実施形態によるＤＲＬ量子化モジュール６３０およびＤＲＬ逆量子化モジュール６６０の訓練処理について説明する。訓練処理の全体的なワークフローを図９に示す。
図９に示すように、Ｅ２ＥＬＲＣシステム訓練装置は、ＤＮＮ潜在生成モジュール６１０と、ＤＮＮ符号化モジュール６２０と、ＤＮＮ復号モジュール６７０と、タスク実行モジュール６８０と、計算キーモジュール７１０と、状態予測モジュール７２０と、再構築モジュール８１０と、歪み計算モジュール９１０と、レート計算モジュール９２０と、報酬計算モジュール９３０と、メモリリプレイ＆重み更新モジュール９４０と、ＬＲＣ歪み計算モジュール９５０と、ＬＲＣレート計算モジュール９６０と、ＬＲＣ重み更新モジュール９７０とを含む。
状態（ｔｓ－１）を現在の状態予測器とし、Ｋｅｙ（ｔｋ－１）を現在のキー生成器とし、Ｒｅｃｏｎ（ｔｒ－１）を現在の再構築器とし、Ｅｎｃ（ｔｅ－１）を現在のＤＮＮ符号化器とし、Ｄｅｃ（ｔｄ－１）を現在のＤＮＮ復号器とし、Ｌａｔｅｎｔ（ｔｌ－１）を現在のＤＮＮ潜在生成器とし、Ｔａｓｋ（ｔｔ－１）を現在のＤＮＮタスク実行器とする。ｔｓ、ｔｋ、ｔｒ、ｔｅ、ｔｌおよびｔｔは異なっていてもよく、その結果、状態予測器、キー生成器、再構築器、ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器は、異なる更新頻度で異なる時間に更新されてもよい。
訓練入力Ｘが与えられると、ＤＮＮ潜在生成モジュール６１０は、現在のＤＮＮ潜在生成器Ｌａｔｅｎｔ（ｔｌ－１）を使用して、潜在信号Ｆ＝ｆｌ，ｆ２，・・・のシーケンスを計算する。各信号ｆｔについて、ＤＮＮ符号化モジュール６２０は、現在のＤＮＮ符号化器Ｅｎｃ（ｔｅ－１）を使用して、ＤＮＮ符号化表現ｙｔ＝ｙｔ，１，ｙｔ，２・・・を計算する。ｍ個の数値Ｙｔ，ｉ＝・・・，ｙｔ，ｉ－１，ｙｔ，ｉのバッチについては、以前のＱＳ Ｓｔ，ｉ－１＝・・・，ｓｔ，ｉ－２，ｓｔ，ｉ－１に従って、計算キーモジュール７１０が、現在のキー生成器Ｋｅｙ（ｔｋ－１）を用いて、ＱＫ Ｋｔ，ｉ＝・・・，ｋｔ，ｉ－１，ｋｔ，ｉを計算する。バッチサイズおよび数字の整理方法は、試験段階と同じである。次いで、状態予測モジュール７２０は、現在の状態予測器Ｓｔａｔｅ（ｔｓ－１）を使用して、以前のＱＳ Ｓｔ，ｉ－１および現在のＱＳ Ｋｔ，ｉに基づいて、現在のＱＳ ｓｔ，ｉを計算する。状態予測モジュール７２０の入力も、試験段階と同じである。次に、再構築モジュール８１０は、現在の再構築器Ｒｅｃｏｎ（ｔｒ－１）を使用して、ＱＫ Ｋｔ，ｉおよびＱＳ Ｓｔ，ｉ－１に基づいて、逆量子化数値Ｙ’ｔ，ｉ＝・・・，ｙ’ｔ，ｉ－１，ｙ’ｔ，ｉのバッチを計算する。最後に、ＤＮＮ復号モジュール６７０は、現在のＤＮＮ復号器Ｄｅｃ（ｔｄ－１）を使用して、逆量子化数値ｙ’ｔに基づいて、再構築ｚｔを生成する。
訓練処理において、状態予測器は、εグリーディ法を使用して最適な行動
を選択する。具体的には、現在の状態予測器Ｓｔａｔｅ（ｔｓ－１）がすべての可能な行動ａｊのＱ値ｖｊを計算した後、確率ε（０と１の間の数）で、ランダムな行動が最適な行動
として選択され、確率（１－ε）で、最適なＱ値
を有する最適な行動
が選択される。
歪み計算モジュール９１０は、元のＤＮＮ符号化表現Ｙｔ，ｉと復号表現Ｙ’ｔ，ｉとの間の差を測定するために、歪み損失Ｄ（Ｙｔ，ｉ，Ｙ’ｔ，ｉ）を計算する。例えば、歪み損失Ｄ（Ｙｔ，ｉ，Ｙ’ｔ，ｉ）は、符号化表現Ｙｔ，ｉ内の対応する要素と復号表現Ｙ’ｔ，ｉ内の対応する要素との間の差の、Ｌｋ－ノルム（例えば、平均絶対誤差としてのＬ１－ノルムおよび平均二乗誤差としてのＬ２－ノルム）の平均とすることができる。
同時に、レート計算モジュール９２０は、量子化表現のビット消費（すなわち、符号化器から復号器へ送信される計算されたＱＫ Ｋｔ，ｉ）を測定するために、レート損失Ｒ（Ｋｔ，ｉ）を計算する。レート損失を計算する方法は複数ある。例えば、ＱＫは、任意の可逆エントロピー符号化方式を用いて圧縮され、圧縮されたビットストリームの実際のビットカウントが、レート損失として取得されうる。
歪みＤ（Ｙｔ，ｉ，Ｙ’ｔ，ｉ）およびＤ（Ｙｔ，ｉ＋１，Ｙ’ｔ，ｉ＋１）、ならびに、レート損失Ｒ（Ｋｔ，ｉ）およびＲ（Ｋｔ，ｉ＋１）に基づいて、数値Ｙｔ，ｉおよびＹｔ，ｉ＋１の隣接するバッチについて、報酬計算モジュール９３０は、報酬φ（Ｙｔ，ｉ＋１，Ｋｔ，ｉ＋１，Ｙ’ｔ，ｉ＋１）を計算する。報酬φ（Ｙｔ，ｉ＋１，Ｋｔ，ｉ＋１，Ｙ’ｔ，ｉ＋１）は、以下の式に従って、現在のＱＫ Ｋｔ，ｉおよびＱＳ Ｓｔ，ｉ－１が与えられると、状態予測器が最適な行動
をとることによって得ることができる報酬を測定する。
φ（Ｙｔ，ｉ＋１，Ｋｔ，ｉ＋１，Ｙ’ｔ，ｉ＋１）＝Ｄ（Ｙｔ，ｉ＋１，Ｙ’ｔ，ｉ＋１）＋αＲ（Ｋｔ，ｉ＋１） （３）
ここで、αは、レート損失と報酬の歪みとのバランスをとるハイパーパラメータである。経験
、すなわち、ＱＫ Ｋｔ，ｉおよびＱＳ Ｓｔ，ｉ－１に基づいて関連するＱ値
を有する行動
を選択し、次いで、報酬φ（Ｙｔ，ｉ＋１，Ｋｔ，ｉ＋１，Ｙ’ｔ，ｉ＋１）を取得することが、リプレイメモリに追加される。リプレイメモリは、通常、最大記憶限界を有し、限界に達すると、最も古い経験が最新の経験に置き換えられる。
状態予測器、キー生成器、および再構築器を更新する時間になると、システムは、リプレイメモリからの経験のバッチをサンプリングし、これらのサンプリングされた経験を使用して、メモリリプレイおよび重み更新モジュール９４０内のモデルパラメータを更新する。図１０は、訓練段階中のメモリリプレイおよび重み更新モジュール９４０の詳細なワークフローである。
図１０に示すように、メモリリプレイおよび重み更新モジュール９４０は、計算キーモジュール７１０と、状態予測モジュール７２０と、再構築モジュール８１０と、歪み計算モジュール９１０と、レート計算モジュール９２０と、報酬計算モジュール９３０と、サンプル経験モジュール１００１と、損失計算モジュール１００２と、重み更新モジュール１００３とを含む。
訓練段階の間、ターゲット状態予測器ＳｔａｔｅＴ、ターゲットキー生成器ＫｅｙＴ、およびターゲット再構築器ＲｅｃｏｎＴは維持され、それぞれ状態予測器、キー生成器、および再構築器と全く同じモデル構造を有する。唯一の違いは、モデルパラメータであり、例えば、状態予測器のＤＮＮ重み係数、またはｋ平均量子化が使用される場合のキー生成器のｋ平均モデルパラメータ、または量子化が深層クラスタリングに基づく場合のキー生成器のＤＮＮ重み係数、などである。これらのモデルパラメータは、Ｔｓ、Ｔｋ、およびＴｒパラメータ更新サイクルごとに、対応する状態予測器、キー生成器、および再構築器から複製される。
各パラメータ更新サイクルの間、サンプル経験モジュール１００１は、リプレイメモリ
から、経験のセットをサンプリングする。状態予測モジュール７２０は、各経験
について、ターゲット状態予測器ＳｔａｔｅＴを使用して、その経験におけるＱＫ Ｙｔ，ｌおよびＱＳ Ｓｔ，ｌ－１に基づいて、ターゲットＱＳ
を予測する。ターゲットＱＳ
に基づいて、ターゲットキー生成器ＫｅｙＴは、計算キーモジュール７１０において、ターゲットキー
を計算する。ターゲットキー
およびターゲットＱＳ
に基づいて、ターゲット再構築器ＲｅｃｏｎＴは、再構築モジュール８１０において、ターゲット逆量子化数値
のバッチを計算することができる。次に、歪み計算モジュール９１０は、経験における元の表現Ｙｔ，ｌ＋１と復号表現
との間のターゲット歪み
を計算する。レート計算モジュール９２０は、ターゲットキー
に基づいて、ターゲットレート損失
を計算する。次いで、ターゲット報酬
が、以下のように報酬計算モジュール９３０において計算される。
次に、損失計算モジュール１００２は、ターゲット報酬
を以下のように計算する。
ここで、
は、ＱＫ
およびＱＳ
が与えられた場合の行動
について、ターゲット状態予測器ＳｔａｔｅＴによって予測されるＱ値である。ハイパーパラメータγは、０～１の間の値の割引率であり、これは、システムが短期報酬に対して長期報酬をどの程度重み付けするかを決定する。割引率が小さいほど、システムは長期報酬にあまり重み付せず、短期報酬のみを考慮する。次に、ターゲット損失
が、ターゲット報酬
および経験からのＱ値
、（例えば、２つの報酬の差のＬｋ－ノルム）に基づいて、計算される。
次いで、重み更新モジュール１００３は、ターゲット損失の勾配を計算し、これは、状態予測器のＤＮＮの重みパラメータを、Ｓｔａｔｅ（ｔｓ）に更新するために逆伝播される。ターゲット損失の勾配はまた、キー生成器Ｋｅｙ（ｔｋ）および再構築器Ｒｅｃｏｎ（ｔｒ）を更新するために、学習ベースのキー生成器および再構築器の最適化ターゲットと組み合わせて使用されてもよい。例えば、キー生成器と再構築器が深層クラスタリング基づく量子化方式を用いる場合、キー生成器と再構築器のＤＮＮの重みパラメータは、逆伝搬により更新される。他の学習ベースの方法が量子化に使用される場合、モデルパラメータはターゲット関数を最適化することによって学習され、ターゲット損失
は、モデルパラメータを更新するために追加の正則化項として、最適化ターゲット関数に重み付けされ加算されてもよい。前述したように、状態予測器、キー生成器、および再構築器は、異なるタイムスタンプで更新され得る。
Ｔｓ、Ｔｋ、およびＴｒの反復ごとに、状態予測器、キー生成器、および再構築器の重みパラメータは、それぞれ、ターゲット状態予測器ＳｔａｔｅＴ、ターゲットキー生成器ＫｅｙＴ、およびターゲット再構築器ＲｅｃｏｎＴに複製される。
実施形態は、リプレイメモリ、ターゲット状態予測器、ターゲットキー生成器、およびターゲット再構築器を使用して、訓練処理を安定させる。リプレイメモリは、１つの最新の経験しか有することができず、これは、リプレイメモリを有さないことに等しい。また、Ｔｓ、ＴｋおよびＴｒはすべて１に等しくてもよく、その結果、ターゲット状態予測器、ターゲットキー生成器、およびターゲット再構築器は反復ごとに更新され、これはターゲット状態予測器、ターゲットキー生成器、およびターゲット再構築器の別のセットを持たないことに等しい。
各入力Ｘに対するＥ２ＥＬＲＣシステム全体（図９にて説明）に関して、ＤＮＮ潜在生成モジュール６１０は、現在のＤＮＮ潜在生成器Ｌａｔｅｎｔ（ｔｌ－１）を使用して、潜在信号Ｆ＝ｆ１，ｆ２，・・・のシーケンスを計算する。各信号ｆｔについて、ＤＮＮ符号化モジュール６２０は、現在のＤＮＮ符号化器Ｅｎｃ（ｔｅ－１）を使用して、ＤＮＮ符号化表現ｙｔ＝ｙｔ，ｌ，ｙｔ，２，・・・を計算する。ＤＲＬ量子化モジュール６３０およびＤＲＬ逆量子化モジュール６６０を介して、逆量子化表現ｙ’ｔ＝ｙ’ｔ，ｌ，ｙ’ｔ，２，・・・が生成される。次に、ＤＮＮ復号モジュール６７０は、現在のＤＮＮ復号器Ｄｅｃ（ｔｄ－１）を使用して逆量子化表現ｙ’ｔに基づいて、再構築潜在表現
を生成する。最後に、ＤＮＮタスク実行モジュール６８０は、現在のＤＮＮタスク実行器Ｔａｓｋ（ｔｔ－１）を使用して、再構築された潜在表現
に基づいて、ターゲットタスクを実行し、訓練ラベル（例えば、元のタスクの分類または回帰損失）に基づいて、タスク予測損失
を計算する。
次に、ＬＲＣ歪み計算モジュール９５０は、ＰＳＮＲおよび／またはＳＳＩＭ関連メトリックなどの潜在表現圧縮処理によって導入される誤差を測定するために、潜在表現の歪み損失
を計算する。ＬＲＣレート計算モジュール９６０は、例えば、均一密度または通常密度を有する量子化表現
（すなわち、ＱＫ ｋｔ，ｌ，ｋｔ，２，・・・が格納され、復号処理に送信される）に基づくノンパラメトリック密度推定によって、潜在圧縮レート損失
を計算する。次に、全体的な統合損失
は、以下のように計算することができる。
ハイパーパラメータβおよびλは、異なる損失項の重要性のバランスをとる。
次いで、ＬＲＣ重み更新モジュール９７０は、統合損失の勾配を（例えば、いくつかの入力データにわたって統合損失の勾配を合計することによって）計算し、これにより、ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器の重みパラメータを、逆伝播により、それぞれＥｎｃ（ｔｅ）、Ｄｅｃ（ｔｄ）、Ｌａｔｅｎｔ（ｔｌ）、およびＴａｓｋ（ｔｔ）に更新することができる。
実施形態では、ＤＮＮ潜在生成器およびＤＮＮタスク実行器は、符号化／復号の処理を省略することによって、事前に訓練される（それぞれＬａｔｅｎｔ（０）およびＴａｓｋ（０）によって示される）。そのような事前訓練処理では、事前訓練入力Ｘが与えられると、ＤＮＮ潜在生成モジュール６１０は、ＤＮＮタスク実行モジュール６８０によって直接使用される潜在表現Ｆを計算する。次いで、タスク予測損失ＴＬＲＣ（ｆｔ）を計算することができ、その勾配は、ＤＮＮ潜在生成器およびＤＮＮタスク実行器を学習するために逆伝播される。
また、実施形態では、ＤＮＮ符号化器およびＤＮＮ復号器は、一様量子化方式を仮定し、エントロピー推定モデルによって潜在圧縮率損失
を推定することによって、事前に訓練される（それぞれＥｎｃ（０）およびＤｅｃ（０）で示される）。そのような事前訓練処理では、事前訓練潜在信号ｆｔが与えられると、ＤＮＮ符号化器は表現ｙｔを計算し、これは、潜在圧縮率損失
を計算するためにエントロピー推定モデルによって、さらに使用される。次に、ＤＮＮ復号器は、表現ｙｔに基づいて、出力（再構築された潜在表現
）を計算する。次いで、潜在歪み損失
が計算され、以下のようにＲ－Ｄ損失を得ることができる。
その勾配は、逆伝搬によって、ＤＮＮ符号化器およびＤＮＮ復号器を更新するために使用され得る。
事前訓練されたＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器が配備されると、図９および図１０の実施形態で説明された訓練処理は、ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器に対処して量子化性能を向上させるために、ＤＲＬ量子化器およびＤＲＬ逆量子化器を訓練する。記載された訓練処理はまた、現在の訓練データに従ってＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器およびＤＮＮタスク実行器を更新することができ、その結果、潜在圧縮システム全体が、総圧縮性能およびタスク性能を適応的に改善することができる。ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器、およびＤＮＮタスク実行器の更新は、オフラインまたはオンラインで行われてもよく、永続的または一時的なデータ依存であってもよい。
同様に、展開後、ＤＲＬ量子化器およびＤＲＬ逆量子化器内の状態予測器、キー生成器、および再構築器も、オフラインまたはオンラインで更新されてもよく、永続的または一時的にデータ依存であってもよい。例えば、ビデオベースのタスクの場合、ＤＮＮ符号化器、ＤＮＮ復号器、ＤＮＮ潜在生成器ＤＮＮタスク実行器状態予測器、キー生成器、および再構築器の一部またはすべては、最初の数フレームに基づいて更新され得る。しかし、これらの更新は、将来のビデオの計算に影響を及ぼすために記録されることはない。どのモジュールが将来のビデオに適用されるように永続的に更新され得るかに基づいて、そのような更新はまた、一定量まで蓄積され得る。パラメータ更新に関しては、ＤＮＮのモデルパラメータの一部を凍結し、残りのパラメータのみを更新することができる。本開示は、ＤＮＮモデルのうち、どのＤＮＮモデルを更新するか、または重みパラメータのどの部分を更新するかについて、何ら制約を課すものではない。
図１１は、実施形態による、深層強化学習を使用するエンドツーエンド潜在表現圧縮の方法のフローチャートである。
いくつかの実装形態では、図１１の１つまたは複数の処理ブロックは、プラットフォーム１２０によって実行されてもよい。いくつかの実装形態では、図１１の１つまたは複数の処理ブロックは、ユーザデバイス１１０などのプラットフォーム１２０とは別個の、またはプラットフォーム１２０を含む別のデバイスもしくはデバイスのグループによって実行されてもよい。
図１１に示すように、動作１１０１において、本方法は、第１のニューラルネットワークを使用して、入力の複数の潜在表現を生成するステップを含む。複数の潜在表現は、潜在信号のシーケンスであってもよい。
動作１１０２において、本方法は、第２のニューラルネットワークを使用して、複数の潜在表現を符号化するステップを含む。
動作１１０３において、本方法は、以前の量子化状態のセットに基づいて、第３のニューラルネットワークを使用して、量子化キーのセットを生成するステップを含み、量子化キーのセット内の各量子化キー、および以前の量子化状態のセット内の各以前の量子化状態は、複数の潜在表現に対応する。量子化キーのセットをエントロピー符号化することによって、符号化された量子化キーのセットを生成することもできる。
現在の量子化状態のセットは、第３のニューラルネットワークを訓練することによって、以前の量子化状態のセットおよび量子化キーのセットに基づいている。第３のニューラルネットワークは、すべての可能な行動のｑ値を計算し、最適なｑ値を有する最適な行動として行動をランダムに選択し、選択された最適な行動の報酬を生成し、選択された最適な行動のセットをサンプリングし、歪み損失を最小限に抑えるために第３のニューラルネットワークの重みパラメータを更新する、ことによって訓練される。
動作１１０４において、本方法は、第４のニューラルネットワークを使用して、量子化キーのセットに基づいて、符号化された複数の潜在表現の逆量子化表現を表す逆量子化数値のセットを生成するステップを含む。符号化された量子化キーのセットが生成される場合、符号化された量子化キーのセットをエントロピー復号することによって、復号された量子化キーのセットを生成することもでき、逆量子化数値のセットは、その代わりに、復号された量子化キーのセットに基づいて生成される。
動作１１０３で生成された量子化キーのセットおよび動作１１０４で生成された逆量子化数値のセットは、ブロック単位の量子化／逆量子化方式、個々の量子化／逆量子化方式、または静的量子化／逆量子化モデル方式を使用して、それぞれ量子化および逆量子化される。また、量子化キーのセットの量子化方式、および逆量子化数値のセットの逆量子化方式は同じである。
動作１１０５において、本方法は、逆量子化数値のセットに基づいて、再構築された出力を生成するステップを含む。
動作１１０６において、本方法は、第５のニューラルネットワークを使用して、再構築された出力に基づいて、ターゲットタスクを実行するステップを含む。
その代わりに、生成された複数の潜在表現に基づいて、ターゲットタスクが実行されてもよい。ターゲットタスクに基づくタスク予測損失を計算することもでき、第１のニューラルネットワークおよび第５のニューラルネットワークは、タスク予測損失の勾配を逆伝播し、第１のニューラルネットワークおよび第５のニューラルネットワークの重みパラメータを更新することによって、訓練される。
図１１は、本方法の例示的なブロックを示すが、いくつかの実装形態では、本方法は、図１１に描写されたブロックに比べて、さらなるブロック、少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。追加または代替として、本方法のブロックのうちの２つ以上が並行して実行されてもよい。
図１２は、実施形態による、深層強化学習を使用したエンドツーエンド潜在表現圧縮のための装置のブロック図である。
図１２に示すように、装置は、第１の生成コード１２０１と、符号化コード１２０２と、第２の生成コード１２０３と、第３の生成コード１２０４と、復号コード１２０５と、実行コード１２０６とを含む。
第１の生成コード１２０１は、少なくとも１つのプロセッサに、第１のニューラルネットワークを使用して、入力の複数の潜在表現を生成させるように構成され、複数の潜在表現は潜在信号のシーケンスを含む。
符号化コード１２０２は、少なくとも１つのプロセッサに、第２のニューラルネットワークを使用して、複数の潜在表現を符号化させるように構成される。
第２の生成コード１２０３は、少なくとも１つのプロセッサに、第３のニューラルネットワークを使用して、以前の量子化状態のセットに基づいて、量子化キーのセットを生成させるように構成されており、量子化キーのセットにおける各量子化キー、および以前の量子化状態のセットにおける各以前の量子化状態は、複数の潜在表現に対応する。
さらに、装置の動作はまた、第３のニューラルネットワークを訓練することによって、以前の量子化状態のセットおよび量子化キーのセットに基づいて、現在の量子化状態のセットを、少なくとも１つのプロセッサに、行わせるように構成された状態生成コードを含むことができる。第３のニューラルネットワークは、すべての可能な行動のｑ値を計算し、最適なｑ値を有する最適な行動として行動をランダムに選択し、選択された最適な行動の報酬を生成し、選択された最適な行動のセットをサンプリングし、歪み損失を最小限に抑えるために第３のニューラルネットワークの重みパラメータを更新する、ことによって訓練される。
第３の生成コード１２０４は、少なくとも１つのプロセッサに、第４のニューラルネットワークを使用して、量子化キーのセットに基づいて、符号化された複数の潜在表現の逆量子化表現を表す逆量子化数値のセットを、生成させるように構成される。
第２の生成コード１２０３によって生成された量子化キーのセット、および第３の生成コード１２０４によって生成された逆量子化数値のセットは、ブロック単位の量子化／逆量子化方式、個別の量子化／逆量子化方式、または静的量子化／逆量子化モデル方式を使用して、それぞれ量子化および逆量子化することができる。また、量子化キーのセットの量子化方式、および逆量子化数値のセットの逆量子化方式は同じである。
復号コード１２０５は、少なくとも１つのプロセッサに、逆量子化数値のセットに基づいて、再構築された出力を復号させるように構成される。
実行コード１２０６は、少なくとも１つのプロセッサに、第５のニューラルネットワークを使用して、再構築された出力に基づいて、ターゲットタスクを実行させるように構成されている。
その代わりに、生成された複数の潜在表現に基づいて、ターゲットタスクが実行されてもよい。図１２の装置はまた、少なくとも１つのプロセッサに、ターゲットタスクに基づいてタスク予測損失を計算させるように構成された計算コードを含むことができ、第１のニューラルネットワークおよび第５のニューラルネットワークは、タスク予測損失の勾配を逆伝播させ、第１のニューラルネットワークおよび第５のニューラルネットワークの重みパラメータを更新することによって訓練される。
図１２は、本装置の例示的なブロックを示すが、いくつかの実装形態では、本装置は、図１２に描写されたブロックに比べて、さらなるブロック、少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。追加または代替として、本装置のブロックのうちの２つ以上が並行して実行されてもよい。
実施形態は、システム全体としてターゲットタスクを実行するために潜在表現圧縮を最適化することによって、圧縮性能を改善するエンドツーエンド潜在表現圧縮（Ｅ２ＥＬＲＣ）に関する。本方法は、現在のデータに基づいてオンラインまたはオフラインで学習ベースの量子化および符号化方式を調整し、ＤＮＮベースまたは従来のモデルベースの方式を含む、様々なタイプの学習ベースの量子化方式をサポートする柔軟性を提供する。記載された方法はまた、異なるＤＮＮアーキテクチャおよびタスクに対応する柔軟で一般的なフレームワークを提供する。
提案された方法は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、本方法（または実施形態）の各々は、処理回路（例えば、１つもしくは複数のプロセッサ、または１つもしくは複数の集積回路）によって実装されてよい。一例では、１つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。
本開示は、例示および説明を提供するが、網羅的であること、または実施態様を開示された正確な形態に限定すること、を意図するものではない。修正形態および変形形態は、現開示に照らして実現可能であり、または実装形態の実践から取得されてもよい。
本明細書で使用される場合、構成要素という用語は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組合せとして広く解釈されることを意図されている。
本明細書に記載されたシステムおよび／または方法は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組合せの異なる形態で実装されてもよいことは明らかであろう。これらのシステムおよび／または方法を実装するために使用される実際の専用の制御ハードウェアまたはソフトウェアコードは、実装形態を限定するものではない。したがって、システムおよび／または方法の動作および挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェアおよびハードウェアは、本明細書の記載に基づいてシステムおよび／または方法を実装するように設計され得ることが理解される。
特徴の組合せが特許請求の範囲に列挙され、かつ／または本明細書に開示されているが、これらの組合せは、可能な実装形態の開示を限定するものではない。実際には、これらの特徴の多くは、特許請求の範囲に具体的に列挙されていない、かつ／または本明細書に開示されていない方法で組み合わされてもよい。以下に列挙される各従属請求項は１つの請求項のみに直接依存してもよいが、可能な実装形態の開示は、各従属請求項を請求項セット内のあらゆる他の請求項と組み合わせて含む。
本明細書で使用される要素、行為、または指示は、明示的にそのように記載されていない限り、重要または必須であると解釈されなくてもよい。また、本明細書で使用される冠詞「ａ」および「ａｎ」は、１つまたは複数の項目を含むものであり、「１つまたは複数」と同じ意味で使用されてもよい。さらに、本明細書で使用される「セット」という用語は、１つまたは複数の項目（例えば、関連項目、非関連項目、関連項目と非関連項目の組合せなど）を含むものであり、「１つまたは複数」と同じ意味で使用されてもよい。１つの項目のみが対象とされる場合、「１つ」という用語または同様の言葉が使用される。また、本明細書で使用される「有する（ｈａｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｖｉｎｇ）」などの用語は、オープンエンド用語であることが意図される。さらに、「に基づいて」という語句は、特に明記されない限り、「に少なくとも部分的に基づいて」を意味するものである。
１００ 環境
１１０ ユーザデバイス
１２０ プラットフォーム
１２２ クラウドコンピューティング環境
１２４ コンピューティングリソース
１２４－１ アプリケーション
１２４－２ 仮想マシン
１２４－３ 仮想化ストレージ
１２４－４ ハイパーバイザ
１３０ ネットワーク
２００ デバイス
２１０ バス
２２０ プロセッサ
２３０ メモリ
２４０ 記憶構成要素
２５０ 入力構成要素
２６０ 出力構成要素
２７０ 通信インターフェース
５１０ ＤＮＮ潜在生成モジュール
５２０ ＤＮＮ符号化モジュール
５３０ 量子化モジュール
５４０ エントロピー符号化モジュール
５５０ エントロピー復号モジュール
５６０ 逆量子化モジュール
５７０ ＤＮＮ復号モジュール
５８０ ＤＮＮタスク実行モジュール
６１０ ＤＮＮ潜在生成モジュール
６２０ ＤＮＮ符号化モジュール
６３０ ＤＲＬ量子化モジュール
６４０ エントロピー符号化モジュール
６５０ エントロピー復号モジュール
６６０ ＤＲＬ逆量子化モジュール
６７０ ＤＮＮ復号モジュール
６８０ ＤＮＮタスク実行モジュール
７１０ 計算キーモジュール
７２０ 状態予測モジュール
８１０ 再構築モジュール
９１０ 歪み計算モジュール
９２０ レート計算モジュール
９３０ 報酬計算モジュール
９４０ メモリリプレイおよび重みモジュール
９５０ ＬＲＣ歪み計算モジュール
９６０ ＬＲＣレート計算モジュール
９７０ ＬＲＣ重み更新モジュール
１００１ サンプル経験モジュール
１００２ 損失計算モジュール
１００３ 重み更新モジュール
１１０１ 動作
１１０２ 動作
１１０３ 動作
１１０４ 動作
１１０５ 動作
１１０６ 動作
１２０１ 第１の生成コード
１２０２ 符号化コード
１２０３ 第２の生成コード
１２０４ 第３の生成コード
１２０５ 復号コード
１２０６ 実行コード
１１０ ユーザデバイス
１２０ プラットフォーム
１２２ クラウドコンピューティング環境
１２４ コンピューティングリソース
１２４－１ アプリケーション
１２４－２ 仮想マシン
１２４－３ 仮想化ストレージ
１２４－４ ハイパーバイザ
１３０ ネットワーク
２００ デバイス
２１０ バス
２２０ プロセッサ
２３０ メモリ
２４０ 記憶構成要素
２５０ 入力構成要素
２６０ 出力構成要素
２７０ 通信インターフェース
５１０ ＤＮＮ潜在生成モジュール
５２０ ＤＮＮ符号化モジュール
５３０ 量子化モジュール
５４０ エントロピー符号化モジュール
５５０ エントロピー復号モジュール
５６０ 逆量子化モジュール
５７０ ＤＮＮ復号モジュール
５８０ ＤＮＮタスク実行モジュール
６１０ ＤＮＮ潜在生成モジュール
６２０ ＤＮＮ符号化モジュール
６３０ ＤＲＬ量子化モジュール
６４０ エントロピー符号化モジュール
６５０ エントロピー復号モジュール
６６０ ＤＲＬ逆量子化モジュール
６７０ ＤＮＮ復号モジュール
６８０ ＤＮＮタスク実行モジュール
７１０ 計算キーモジュール
７２０ 状態予測モジュール
８１０ 再構築モジュール
９１０ 歪み計算モジュール
９２０ レート計算モジュール
９３０ 報酬計算モジュール
９４０ メモリリプレイおよび重みモジュール
９５０ ＬＲＣ歪み計算モジュール
９６０ ＬＲＣレート計算モジュール
９７０ ＬＲＣ重み更新モジュール
１００１ サンプル経験モジュール
１００２ 損失計算モジュール
１００３ 重み更新モジュール
１１０１ 動作
１１０２ 動作
１１０３ 動作
１１０４ 動作
１１０５ 動作
１１０６ 動作
１２０１ 第１の生成コード
１２０２ 符号化コード
１２０３ 第２の生成コード
１２０４ 第３の生成コード
１２０５ 復号コード
１２０６ 実行コード
Claims (20)
- 少なくとも１つのプロセッサによって実行される、深層強化学習を使用するエンドツーエンドのタスク指向型潜在画像圧縮の方法であって、
第１のニューラルネットワークを使用して、入力の複数の潜在表現を生成するステップであって、前記複数の潜在表現が、潜在信号のシーケンスを含む、ステップと、
第２のニューラルネットワークを使用して、前記複数の潜在表現を符号化するステップと、
第３のニューラルネットワークを使用して、以前の量子化状態のセットに基づいて、量子化キーのセットを生成するステップであって、前記量子化キーのセット内の各量子化キーおよび以前の量子化状態のセット内の各以前の量子化状態が、前記複数の潜在表現に対応する、ステップと、
第４のニューラルネットワークを使用して、前記量子化キーのセットに基づいて、前記符号化された複数の潜在表現の逆量子化表現を表す、逆量子化数値のセットを生成するステップと、
前記逆量子化数値のセットに基づいて、再構築された出力を生成するステップと、
第５のニューラルネットワークを使用して、前記再構築された出力に基づいて、ターゲットタスクを実行するステップと、
を含む、方法。 - 前記ターゲットタスクに基づいて、タスク予測損失を計算するステップを、さらに含み、
前記第１のニューラルネットワークおよび前記第５のニューラルネットワークは、前記タスク予測損失の勾配を逆伝播させるステップと、前記第１のニューラルネットワークおよび前記第５のニューラルネットワークの重みパラメータを更新するステップと、によって訓練される、
請求項１に記載の方法。 - 前記ターゲットタスクは、前記生成された複数の潜在表現に基づいて実行される、請求項１に記載の方法。
- 前記量子化キーのセットをエントロピー符号化することによって、符号化された量子化キーのセットを生成するステップと、
前記符号化された量子化キーのセットをエントロピー復号することによって、復号された量子化キーのセットを生成するステップと、
をさらに含み、
前記逆量子化数値のセットは、前記復号された量子化キーのセットに基づいて生成される、
請求項１に記載の方法。 - ブロック単位量子化方式、個別量子化方式、および静的量子化モデル方式のうちの少なくとも１つを使用して、前記量子化キーのセットを生成するステップと、
ブロック単位逆量子化方式、個別逆量子化方式、および静的逆量子化モデル方式のうちの少なくとも１つを使用して、前記逆量子化数値のセットを生成するステップと、
をさらに含む、請求項１に記載の方法。 - 前記量子化キーのセットの量子化方式は、前記逆量子化数値のセットの逆量子化方式と同じであり、
前記量子化方式として前記ブロック単位量子化方式を使用した前記量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記ブロック単位逆量子化方式を使用し、
前記量子化方式として前記個別量子化方式を使用した前記量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記個別逆量子化方式を使用し、
前記量子化方式として前記静的量子化モデル方式を使用した前記量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記静的逆量子化モデル方式を使用する、
請求項５に記載の方法。 - 前記第３のニューラルネットワークを訓練することによって、前記以前の量子化状態のセットおよび前記量子化キーのセットに基づいて、現在の量子化状態のセットを生成するステップをさらに含み、
前記第３のニューラルネットワークは、すべての可能な行動に対するｑ値を計算するステップと、最適なｑ値を有する最適な行動として行動をランダムに選択するステップと、前記選択された最適な行動の報酬を生成するステップと、選択された最適な行動のセットをサンプリングするステップと、歪み損失を最小化するために前記第３のニューラルネットワークの重みパラメータを更新するステップと、によって訓練される、
請求項１に記載の方法。 - 深層強化学習を使用するエンドツーエンドのタスク指向型潜在画像圧縮のための装置であって、
プログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによる命令通りに動作するように構成された少なくとも１つのプロセッサと、を備え、
前記プログラムコードは、
前記少なくとも１つのプロセッサに、第１のニューラルネットワークを使用して、入力の複数の潜在表現を生成させるように構成された第１の生成コードであって、前記複数の潜在表現は潜在信号のシーケンスを含む、第１の生成コードと、
前記少なくとも１つのプロセッサに、第２のニューラルネットワークを使用して、前記複数の潜在表現を符号化させるように構成された符号化コードと、
前記少なくとも１つのプロセッサに、第３のニューラルネットワークを使用して、以前の量子化状態のセットに基づいて、量子化キーのセットを生成させるように構成された第２の生成コードであって、前記量子化キーのセット内の各量子化キーおよび前記以前の量子化状態のセット内の各以前の量子化状態は、前記複数の潜在表現に対応する、第２の生成コードと、
前記少なくとも１つのプロセッサに、第４のニューラルネットワークを使用して、前記量子化キーのセットに基づいて、前記符号化された複数の潜在表現の逆量子化表現を表す逆量子化数値のセットを生成させるように構成された第３の生成コードと、
前記少なくとも１つのプロセッサに、前記逆量子化数値のセットに基づいて、再構築された出力を復号させるように構成された復号コードと、
前記少なくとも１つのプロセッサに、第５のニューラルネットワークを使用して、前記再構築された出力に基づいて、ターゲットタスクを実行させるように構成された実行コードと、を含む、
装置。 - 前記プログラムコードは、前記少なくとも１つのプロセッサに、前記ターゲットタスクに基づいて、タスク予測損失を計算させるように構成された計算コードをさらに含み、
前記第１のニューラルネットワークおよび前記第５のニューラルネットワークは、前記タスク予測損失の勾配を逆伝播させるステップと、前記第１のニューラルネットワークおよび前記第５のニューラルネットワークの重みパラメータを更新するステップと、によって訓練される、
請求項８に記載の装置。 - 前記ターゲットタスクは、前記生成された複数の潜在表現に基づいて実行される、請求項８に記載の装置。
- 前記プログラムコードは、
前記少なくとも１つのプロセッサに、前記量子化キーのセットをエントロピー符号化するステップによって、符号化された量子化キーのセットを生成させるように構成された符号化キーコードと、
前記少なくとも１つのプロセッサに、前記符号化された量子化キーのセットをエントロピー復号するステップによって、復号された量子化キーのセットを生成させるように構成された復号キーコードと、
をさらに備え、
前記逆量子化数値のセットは、前記復号された量子化キーのセットに基づいて、生成される、
請求項８に記載の装置。 - 前記プログラムコードは、
前記少なくとも１つのプロセッサに、ブロック単位量子化方式、個別量子化方式、および静的量子化モデル方式のうちの少なくとも１つを使用して、前記量子化キーのセットを生成させるように構成された第４の生成コードと、
前記少なくとも１つのプロセッサに、ブロック単位逆量子化方式、個別逆量子化方式、および静的逆量子化モデル方式のうちの少なくとも１つを使用して、前記逆量子化数値のセットを生成させるように構成された第５の生成コードと、
をさらに備える、請求項８に記載の装置。 - 前記量子化キーのセットの量子化方式は、前記逆量子化数値のセットの逆量子化方式と同じであり、
前記量子化方式として前記ブロック単位量子化方式を使用した前記量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記ブロック単位逆量子化方式を使用し、
前記量子化方式として前記個別量子化方式を使用した前記量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記個別逆量子化方式を使用し、
前記量子化方式として前記静的量子化モデル方式を使用した前記量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記静的逆量子化モデル方式を使用した、
請求項１２に記載の装置。 - 前記少なくとも１つのプロセッサに、前記第３のニューラルネットワークを訓練することによって、前記以前の量子化状態のセットおよび前記量子化キーのセットに基づいて、現在の量子化状態のセットを生成させるように構成された状態生成コード、をさらに備え、
前記第３のニューラルネットワークは、すべての可能な行動に対するｑ値を計算するステップと、最適なｑ値を有する最適な行動として行動をランダムに選択するステップと、前記選択された最適な行動の報酬を生成するステップと、選択された最適な行動のセットをサンプリングするステップと、歪み損失を最小化するために前記第３のニューラルネットワークの重みパラメータを更新するステップと、によって訓練される、
請求項８に記載の装置。 - 深層強化学習を使用するエンドツーエンドのタスク指向型潜在画像圧縮のために少なくとも１つのプロセッサによって実行されると、
少なくとも１つのプロセッサに、
第１のニューラルネットワークを使用して、複数の潜在表現を生成させ、複数の潜在表現は、潜在信号のシーケンスを備え、
第２のニューラルネットワークを使用して、前記複数の潜在表現を符号化させ、
第３のニューラルネットワークを使用して、以前の量子化状態のセットに基づいて、量子化キーのセットを生成させ、前記量子化キーのセット内の各量子化キーおよび前記以前の量子化状態のセット内の各以前の量子化状態は、複数の潜在表現に対応し、
第４のニューラルネットワークを使用して、前記量子化キーのセットに基づいて、前記符号化された複数の潜在表現の逆量子化表現を表す逆量子化数値のセットを生成させ、
逆量子化数値のセットに基づいて、再構築された出力を復号させ、
第５のニューラルネットワークを使用して、前記再構築された出力に基づいてターゲットタスクを実行させる、
ための命令を記憶する、非一時的コンピュータ可読媒体。 - 前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサにさらに、前記ターゲットタスクに基づいてタスク予測損失を計算させ、
前記第１のニューラルネットワークおよび前記第５のニューラルネットワークは、前記タスク予測損失の勾配を逆伝播させるステップと、前記第１のニューラルネットワークおよび前記第５のニューラルネットワークの重みパラメータを更新するステップと、によって訓練される、
請求項１５に記載の非一時的コンピュータ可読媒体。 - 前記ターゲットタスクは、前記生成された複数の潜在表現に基づいて実行される、請求項１５に記載の非一時的コンピュータ可読媒体。
- 前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサにさらに、
前記量子化キーのセットをエントロピー符号化することによって、符号化された量子化キーのセットを生成させ、
前記符号化された量子化キーのセットをエントロピー復号することによって、復号された量子化キーのセットを生成させ、
前記逆量子化数値のセットは、前記復号された量子化キーのセットに基づいて生成される、
請求項１５に記載の非一時的コンピュータ可読媒体。 - 前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサにさらに、
ブロック単位量子化方式、個別量子化方式、および静的量子化モデル方式のうちの少なくとも１つを使用して、前記量子化キーのセットを生成させ、
ブロック単位逆量子化方式、個別逆量子化方式、および静的逆量子化モデル方式のうちの少なくとも１つを使用して、前記逆量子化数値のセットを生成させ、
前記量子化キーのセットの量子化方式は、前記逆量子化数値の逆量子化方式と同じであり、
前記量子化方式として前記ブロック単位量子化方式を使用する前記量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記ブロック単位逆量子化方式を使用し、
前記量子化方式として前記個別量子化方式を使用する量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記個別逆量子化方式を使用し、
前記量子化方式として前記静的量子化モデル方式を使用する量子化キーのセットに基づいて、前記逆量子化数値のセットは、前記逆量子化方式として前記静的逆量子化モデル方式を使用する、
請求項１５に記載の非一時的コンピュータ可読媒体。 - 前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサにさらに、前記第３のニューラルネットワークを訓練することによって、前記以前の量子化状態のセットおよび前記量子化キーのセットに基づいて、現在の量子化状態のセットを生成させ、
前記第３のニューラルネットワークは、すべての可能な行動に対するｑ値を計算するステップと、最適なｑ値を有する最適な行動として行動をランダムに選択するステップと、前記選択された最適な行動の報酬を生成するステップと、選択された最適な行動のセットをサンプリングするステップと、歪み損失を最小化するために前記第３のニューラルネットワークの重みパラメータを更新するステップと、によって訓練される、
請求項１５に記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163133696P | 2021-01-04 | 2021-01-04 | |
| US63/133,696 | 2021-01-04 | ||
| US17/478,089 US20220215265A1 (en) | 2021-01-04 | 2021-09-17 | Method and apparatus for end-to-end task-oriented latent compression with deep reinforcement learning |
| US17/478,089 | 2021-09-17 | ||
| PCT/US2021/053952 WO2022146523A1 (en) | 2021-01-04 | 2021-10-07 | Method and apparatus for end-to-end task-oriented latent compression with deep reinforcement learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023518306A true JP2023518306A (ja) | 2023-04-28 |
| JP7416489B2 JP7416489B2 (ja) | 2024-01-17 |
Family
ID=82219733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022556610A Active JP7416489B2 (ja) | 2021-01-04 | 2021-10-07 | 深層強化学習を用いたエンドツーエンドのタスク指向型潜在圧縮のための方法、装置およびコンピュータプログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220215265A1 (ja) |
| EP (1) | EP4059219A4 (ja) |
| JP (1) | JP7416489B2 (ja) |
| KR (1) | KR20220101178A (ja) |
| CN (1) | CN115280777A (ja) |
| WO (1) | WO2022146523A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11917154B2 (en) * | 2020-12-29 | 2024-02-27 | Tencent America LLC | End-to-end neural compression with deep reinforcement learning |
| WO2023208948A1 (en) * | 2022-04-25 | 2023-11-02 | Deep Render Ltd | Method and data processing system for lossy image or video encoding, transmission and decoding |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4560694B2 (ja) | 2000-04-05 | 2010-10-13 | ソニー株式会社 | 符号化装置及びその方法 |
| US6873343B2 (en) | 2000-05-11 | 2005-03-29 | Zoran Corporation | Scalable graphics image drawings on multiresolution image with/without image data re-usage |
| GB2509311B (en) * | 2012-12-21 | 2016-12-14 | Canon Kk | Method and device for determining residual data for encoding or decoding at least part of an image |
| CA3004885C (en) | 2015-11-12 | 2020-07-14 | Deepmind Technologies Limited | Asynchronous deep reinforcement learning |
| CN118075466A (zh) | 2018-09-28 | 2024-05-24 | 松下电器（美国）知识产权公司 | 编码装置、解码装置、以及非暂时性的计算机可读取的记录介质 |
| US11159789B2 (en) * | 2018-10-24 | 2021-10-26 | City University Of Hong Kong | Generative adversarial network based intra prediction for video coding |
| US20200264876A1 (en) * | 2019-02-14 | 2020-08-20 | Microsoft Technology Licensing, Llc | Adjusting activation compression for neural network training |
| GB2581808B (en) * | 2019-02-26 | 2022-08-10 | Imperial College Innovations Ltd | Scene representation using image processing |
| CN111818346B (zh) | 2019-04-11 | 2023-04-18 | 富士通株式会社 | 图像编码方法和装置、图像解码方法和装置 |
| US11057634B2 (en) | 2019-05-15 | 2021-07-06 | Disney Enterprises, Inc. | Content adaptive optimization for neural data compression |
| JP7359878B2 (ja) | 2019-06-28 | 2023-10-11 | バイトダンス インコーポレイテッド | 変換スキップモードにおける量子化パタメータの修正技術 |
| US11558617B2 (en) | 2020-11-30 | 2023-01-17 | Tencent America LLC | End-to-end dependent quantization with deep reinforcement learning |
-
2021
- 2021-09-17 US US17/478,089 patent/US20220215265A1/en active Pending
- 2021-10-07 KR KR1020227020799A patent/KR20220101178A/ko active Search and Examination
- 2021-10-07 WO PCT/US2021/053952 patent/WO2022146523A1/en unknown
- 2021-10-07 JP JP2022556610A patent/JP7416489B2/ja active Active
- 2021-10-07 EP EP21899321.0A patent/EP4059219A4/en active Pending
- 2021-10-07 CN CN202180021180.XA patent/CN115280777A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4059219A4 (en) | 2022-12-28 |
| EP4059219A1 (en) | 2022-09-21 |
| JP7416489B2 (ja) | 2024-01-17 |
| CN115280777A (zh) | 2022-11-01 |
| KR20220101178A (ko) | 2022-07-19 |
| WO2022146523A1 (en) | 2022-07-07 |
| US20220215265A1 (en) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7416489B2 (ja) | 深層強化学習を用いたエンドツーエンドのタスク指向型潜在圧縮のための方法、装置およびコンピュータプログラム | |
| KR20220082921A (ko) | 인트라-예측 잔차들에 의한 멀티-스케일 신경 이미지 압축을 위한 방법 및 장치 | |
| US20230122449A1 (en) | Substitutional quality factor learning in the latent space for neural image compression | |
| JP7471733B2 (ja) | 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化 | |
| US11652994B2 (en) | Neural image compression with adaptive intra-prediction | |
| US11790566B2 (en) | Method and apparatus for feature substitution for end-to-end image compression | |
| US11917154B2 (en) | End-to-end neural compression with deep reinforcement learning | |
| JP7434605B2 (ja) | メタ学習によるスムーズな品質制御を用いた適応ニューラル画像圧縮のための方法、装置、非一時的コンピュータ可読媒体、およびコンピュータプログラム | |
| JP7471730B2 (ja) | メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム | |
| US11803988B2 (en) | Method and apparatus for adaptive image compression with flexible hyperprior model by meta learning | |
| US20230186525A1 (en) | System, method, and computer program for content adaptive online training for multiple blocks in neural image compression | |
| JP2024518239A (ja) | ニューラル画像圧縮における反復的なコンテンツ適応型オンライントレーニングのためのシステム、方法、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7416489 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |