JP7498377B2 - 強化学習を通してレート制御ニューラルネットワークを訓練すること - Google Patents
強化学習を通してレート制御ニューラルネットワークを訓練すること Download PDFInfo
- Publication number
- JP7498377B2 JP7498377B2 JP2023560140A JP2023560140A JP7498377B2 JP 7498377 B2 JP7498377 B2 JP 7498377B2 JP 2023560140 A JP2023560140 A JP 2023560140A JP 2023560140 A JP2023560140 A JP 2023560140A JP 7498377 B2 JP7498377 B2 JP 7498377B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- video
- training
- rate control
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 149
- 238000012549 training Methods 0.000 title claims description 132
- 230000002787 reinforcement Effects 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 49
- 238000013139 quantization Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 9
- 238000013442 quality metrics Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 14
- 238000010606 normalization Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000009334 Singa Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Feedback Control In General (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
1.ビデオにおける全ての表示フレームに対する一連の第1パス統計量。例えば、システムは、H.Mao、C.Gu、M.Wang、A.Chen、N.Lazic、N.Levine、D.Pang、R.Claus、M.Hechtman、C.-H.Chiang、C.ChenおよびJ.Han.Neural rate control for video encoding using imitation learning、2020、arXiv:2012.05339によって使用される第1パス統計量および特徴正規化方法の一部または全てを使用できる。
2.これまでのビデオにおける全ての前にエンコードされたフレームに対する一連のPSNR、使用ビット数および適用QPと共に、それらのフレームのインデックス。
3.次にエンコードされるべきフレームのインデックスおよび型式。型式は、SimpleEncode APIからの5つのフレーム型の1つであることができる。
4.ビデオの持続時間。
5.エンコードに対する目標ビットレート。
102A~102N ビデオフレーム
104 目標データ尺度
106A~106N 入力特徴
110 レート制御ニューラルネットワーク
112A~112N スコア
114A~114N QP値
150 ビデオコーデック
160A~160N エンコードビデオフレーム
200 訓練システム
202 パラメータ値
210 訓練データ
220 訓練例
222 訓練ビデオ
224 目標データ尺度
230 履歴性能データ
240 エンコード訓練ビデオ
250 現在の性能データ
260 報酬値
270 パラメータ更新
302 入力特徴
310 表現ニューラルネットワーク
312 特徴表現
320 ポリシーニューラルネットワークヘッド
322 スコア
330 価値ニューラルネットワークヘッド
332 価値評価
340 総合品質ニューラルネットワークヘッド
342 総合品質評価
350 総合データニューラルネットワークヘッド
352 総合データ評価
360 前フレーム品質ニューラルネットワークヘッド
362 前フレーム品質評価
388 QP値
390 動的ニューラルネットワーク
392 予測特徴表現
Claims (13)
ビデオフレームの訓練シーケンスおよび前記訓練シーケンスに対する目標データ尺度を備える訓練例を得るステップと、
前記訓練例に対する履歴性能を得るステップと、
エンコードビデオフレームのシーケンスを備える前記訓練シーケンスのエンコード表現を生成するステップであり、前記訓練シーケンスにおける各ビデオフレームに対して、
前記レート制御ニューラルネットワークを使用して、前記複数の可能な量子化パラメータ値の各々に対するそれぞれのポリシースコアを備える前記ビデオフレームに対するポリシー出力を生成するステップと、
前記ポリシー出力を使用して、前記複数の可能な量子化パラメータ値から量子化パラメータ値を選択するステップと、
前記選択された量子化パラメータ値に従ってビデオコーデックを使用して前記ビデオフレームをエンコードするステップとを含む、ステップと、
前記訓練例に対する現在の性能を決定するステップであり、(i)前記エンコード表現の品質を測定する品質尺度および(ii)前記エンコード表現を表現するために必要とされるデータ量を測定するデータ尺度を決定するステップを含む、ステップと、
前記現在の性能および前記履歴性能から報酬値を生成するステップと、
強化学習を通して前記報酬値を使用して前記レート制御ニューラルネットワークを訓練するステップとを含み
前記現在の性能および前記履歴性能から報酬値を生成するステップが、
現在の性能尺度が第1の閾値量を超えるだけ履歴性能尺度よりも大きい場合、前記報酬値を正値に設定するステップを含む、方法。
前記レート制御ニューラルネットワークを使用して前記ビデオフレームに対する入力特徴を処理して、前記複数の可能な量子化パラメータ値の各々に対するそれぞれのスコアを生成するステップと、
前記それぞれのスコアを前記それぞれのポリシースコアとして使用するステップとを含む、請求項1に記載の方法。
前記レート制御ニューラルネットワークによって導かれる前記エンコードの可能な将来の状態の先読み検索を行うステップを含む、請求項1に記載の方法。
を更に含む、請求項4の方法。
現在のオーバーシュートか前のオーバーシュートの前記指数移動平均かがゼロよりも大きいかどうかを判定するステップと、
現在のオーバーシュートか前のオーバーシュートの前記指数移動平均かがゼロよりも大きい場合、
前記現在のオーバーシュートが前のオーバーシュートの前記指数移動平均以下であれば前記報酬値を正値に設定するステップと、
前記現在のオーバーシュートが前のオーバーシュートの前記指数移動平均よりも大きければ前記報酬値を負値に設定するステップとを含む、請求項4に記載の方法。
前記現在のオーバーシュートも前のオーバーシュートの指数移動平均もゼロよりも大きくない場合、
前記エンコード表現の品質を測定する前記品質尺度が前の品質尺度の前記指数移動平均と同じまたはより良ければ前記正値に等しい前記報酬値を設定するステップと、
前記エンコード表現の品質を測定する前記品質尺度が前の品質尺度の前記指数移動平均よりも悪ければ前記報酬値を前記負値に設定するステップとを含む、請求項6に記載の方法。
前記現在の性能尺度が前記第1の閾値量を超えるだけ前記履歴性能尺度よりも小さい場合、前記報酬値を負値に設定するステップを含む、請求項1に記載の方法。
前記入力特徴を処理して前記ビデオフレームに対する特徴表現を生成するように構成される表現ニューラルネットワークと、
前記特徴表現を処理して前記複数の可能な量子化パラメータ値の各々に対する前記それぞれのスコアを生成するように構成されるポリシーニューラルネットワークヘッドとを備える、請求項1に記載の方法。
対応する補助ニューラルネットワークヘッドを使用して前記ビデオフレームに対する前記特徴表現を処理して前記補助タスクに対する予測出力を生成するステップと、
前記予測出力と前記補助タスクに対する対応するグラウンドトゥルース出力との間のそれぞれの誤差を決定するステップとを更に含み、
強化学習を通して前記報酬値を使用して前記レート制御ニューラルネットワークを訓練するステップが、前記1つまたは複数の補助タスクに対する前記それぞれの誤差を使用して前記レート制御ニューラルネットワークを訓練するステップを含む、請求項9に記載の方法。
各ビデオフレームに対する入力特徴を生成するステップと、
各ビデオフレームに対して、請求項1に記載の方法によって訓練され、前記入力特徴を処理して複数の可能な量子化パラメータ値の各々に対するそれぞれのスコアを生成するように構成されるレート制御ニューラルネットワークに、各ビデオフレームの前記入力特徴を連続して送信するステップと、
前記スコアに基づいて前記ビデオフレームの各々に対するそれぞれの量子化パラメータ値を選択するステップと、
前記選択された量子化パラメータに基づいて各ビデオフレームをエンコードするステップとを含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163194940P | 2021-05-28 | 2021-05-28 | |
US63/194,940 | 2021-05-28 | ||
PCT/EP2022/064566 WO2022248736A1 (en) | 2021-05-28 | 2022-05-30 | Training rate control neural networks through reinforcement learning |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2024521612A JP2024521612A (ja) | 2024-06-04 |
JP7498377B2 true JP7498377B2 (ja) | 2024-06-11 |
Family
ID=82258546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023560140A Active JP7498377B2 (ja) | 2021-05-28 | 2022-05-30 | 強化学習を通してレート制御ニューラルネットワークを訓練すること |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP4289138A1 (ja) |
JP (1) | JP7498377B2 (ja) |
KR (1) | KR20230148252A (ja) |
CN (1) | CN117044199A (ja) |
AU (1) | AU2022279597B2 (ja) |
BR (1) | BR112023019978A2 (ja) |
CA (1) | CA3214193A1 (ja) |
WO (1) | WO2022248736A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100790900B1 (ko) | 2006-12-14 | 2008-01-03 | 삼성전자주식회사 | 영상 부호화를 위한 초기 QP (QuantizationParameter) 값 예측 방법 및 장치 |
US20190132591A1 (en) | 2017-10-26 | 2019-05-02 | Intel Corporation | Deep learning based quantization parameter estimation for video encoding |
JP2019512938A (ja) | 2016-03-09 | 2019-05-16 | ソニー株式会社 | 量子化パラメータに基づくビデオ処理のためのシステム及び方法 |
US20200344472A1 (en) | 2019-04-23 | 2020-10-29 | National Chiao Tung University | Reinforcement learning method for video encoder |
CN112399176A (zh) | 2020-11-17 | 2021-02-23 | 深圳大学 | 一种视频编码方法、装置、计算机设备及存储介质 |
-
2022
- 2022-05-30 CA CA3214193A patent/CA3214193A1/en active Pending
- 2022-05-30 CN CN202280023614.4A patent/CN117044199A/zh active Pending
- 2022-05-30 EP EP22734129.4A patent/EP4289138A1/en active Pending
- 2022-05-30 BR BR112023019978A patent/BR112023019978A2/pt unknown
- 2022-05-30 KR KR1020237033044A patent/KR20230148252A/ko unknown
- 2022-05-30 JP JP2023560140A patent/JP7498377B2/ja active Active
- 2022-05-30 AU AU2022279597A patent/AU2022279597B2/en active Active
- 2022-05-30 WO PCT/EP2022/064566 patent/WO2022248736A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100790900B1 (ko) | 2006-12-14 | 2008-01-03 | 삼성전자주식회사 | 영상 부호화를 위한 초기 QP (QuantizationParameter) 값 예측 방법 및 장치 |
JP2019512938A (ja) | 2016-03-09 | 2019-05-16 | ソニー株式会社 | 量子化パラメータに基づくビデオ処理のためのシステム及び方法 |
US20190132591A1 (en) | 2017-10-26 | 2019-05-02 | Intel Corporation | Deep learning based quantization parameter estimation for video encoding |
US20200344472A1 (en) | 2019-04-23 | 2020-10-29 | National Chiao Tung University | Reinforcement learning method for video encoder |
CN112399176A (zh) | 2020-11-17 | 2021-02-23 | 深圳大学 | 一种视频编码方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
BR112023019978A2 (pt) | 2023-11-21 |
AU2022279597A1 (en) | 2023-10-05 |
EP4289138A1 (en) | 2023-12-13 |
CA3214193A1 (en) | 2022-12-01 |
KR20230148252A (ko) | 2023-10-24 |
WO2022248736A1 (en) | 2022-12-01 |
JP2024521612A (ja) | 2024-06-04 |
AU2022279597B2 (en) | 2024-07-11 |
CN117044199A (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mentzer et al. | Conditional probability models for deep image compression | |
US11606560B2 (en) | Image encoding and decoding, video encoding and decoding: methods, systems and training methods | |
Mandhane et al. | Muzero with self-competition for rate control in vp9 video compression | |
KR102398529B1 (ko) | 이중 언어 말뭉치의 스크린 방법과 장치, 및 기록매체 | |
US20230300354A1 (en) | Method and System for Image Compressing and Coding with Deep Learning | |
JP2024519657A (ja) | 精度が向上し、計算リソースの消費が減少した拡散モデル | |
US20230299788A1 (en) | Systems and Methods for Improved Machine-Learned Compression | |
CN108898221B (zh) | 基于状态特征和后继特征的特征与策略的联合学习方法 | |
US20230319292A1 (en) | Reinforcement learning based rate control | |
JP7451591B2 (ja) | 機械学習モデルベースのビデオ圧縮 | |
Wu et al. | Paas: A preference-aware deep reinforcement learning approach for 360 video streaming | |
CN113660488B (zh) | 对多媒体数据进行流控及流控模型训练方法、以及装置 | |
JP7498377B2 (ja) | 強化学習を通してレート制御ニューラルネットワークを訓練すること | |
US20230336739A1 (en) | Rate control machine learning models with feedback control for video encoding | |
CN116469359A (zh) | 音乐风格迁移方法、装置、计算机设备及存储介质 | |
TW202348029A (zh) | 使用限幅輸入數據操作神經網路 | |
Nguyen et al. | Joint communication and computation framework for goal-oriented semantic communication with distortion rate resilience | |
US20230316588A1 (en) | Online training-based encoder tuning with multi model selection in neural image compression | |
US20240020887A1 (en) | Conditional variational auto-encoder-based online meta-learned image compression | |
Linck et al. | SVG-CNN: A shallow CNN based on VGGNet applied to intra prediction partition block in HEVC | |
Gotoh et al. | Video Compression Method Using Vector Quantization | |
WO2023076108A1 (en) | Systems and methods for video coding | |
EP4305619A2 (en) | Generating output signals using variable-rate discrete representations | |
TW202345034A (zh) | 使用條件權重操作神經網路 | |
JP2023521292A (ja) | 深層強化学習によるエンドツーエンドニューラル圧縮のための方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231127 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7498377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |