JP7489466B2 - ニューラルネットワークベースのビデオコーディングのためのプルーニング方法、装置およびコンピュータプログラム - Google Patents
ニューラルネットワークベースのビデオコーディングのためのプルーニング方法、装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7489466B2 JP7489466B2 JP2022537382A JP2022537382A JP7489466B2 JP 7489466 B2 JP7489466 B2 JP 7489466B2 JP 2022537382 A JP2022537382 A JP 2022537382A JP 2022537382 A JP2022537382 A JP 2022537382A JP 7489466 B2 JP7489466 B2 JP 7489466B2
- Authority
- JP
- Japan
- Prior art keywords
- pruning
- parameters
- index
- picture
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 79
- 238000013138 pruning Methods 0.000 title claims description 71
- 238000000034 method Methods 0.000 title claims description 70
- 238000004590 computer program Methods 0.000 title claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000000153 supplemental effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 15
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本出願は、2020年10月8日に出願された米国仮特許出願第63/089,481号、および2021年6月29日に出願された米国特許出願第17/362,184号からの優先権を主張しており、その全体は、参照により本明細書に組み込まれる。
実施形態と一致する方法および装置は、ビデオコーディングに関し、特に、ニューラルネットワークベースのビデオコーディングのためのプルーニング(pruning)方法および装置に関する。
Claims (15)
- 少なくとも1つのプロセッサによって実行される、ビデオシーケンスのピクチャの現在のブロックのニューラルネットワークベースのビデオコーディングのためのプルーニング方法であって、
ニューラルネットワークのパラメータをグループに分類するステップと、
前記グループのうちの第1グループがプルーニングされることを示すように第1インデックスを設定し、前記グループのうちの第2グループがプルーニングされないことを示すように第2インデックスを設定するステップと、
前記グループのうちの前記第1グループの第1優先度と、前記グループのうちの前記第2グループの第2優先度とを設定するステップであって、前記第2優先度は、前記第1優先度よりも低いステップと、
前記設定された第1インデックス、前記設定された第2インデックス、前記設定された第1優先度、前記設定された第2優先度、およびプルーニングされるべき前記ニューラルネットワークの前記パラメータの割合をデコーダに送信するステップと、を含み、
ここで、前記送信された第1インデックスおよび前記送信された第2インデックスに基づいて、前記現在のブロックは、前記グループのうちの前記第1グループをプルーニングするためのパラメータを使用して処理される、
ことを特徴とするプルーニング方法。 - 前記現在のブロックは、前記グループのうちの前記第2優先度を有する前記第2グループから開始し、続いて、前記グループのうちの前記第1優先度を有する前記第1グループに対して、前記割合に達するまで、前記割合をプルーニングするためのパラメータを使用して処理される、
ことを特徴とする請求項1に記載のプルーニング方法。 - 前記ピクチャがBまたはPスライスまたはピクチャであることに基づいて、プルーニングされるべき前記ニューラルネットワークの前記パラメータの割合は、より大きくなり、
前記ピクチャがIスライスまたはピクチャであることに基づいて、プルーニングされるべき前記ニューラルネットワークの前記パラメータの割合は、より小さくなる、
ことを特徴とする請求項2に記載のプルーニング方法。 - コーディングされたビットストリームでプルーニングが実行されるかどうかを示すシーケンスパラメータセット(SPS)フラグを設定するステップと、
前記コーディングされたビットストリームで前記プルーニングが実行されることを示すように前記SPSフラグが設定されていることに基づいて、前記ニューラルネットワークの前記パラメータのうちの1つまたは複数のパラメータがプルーニングされるべきかどうかを示す、ピクチャパラメータセット(PPS)フラグ、および/または、プルーニングされるべき前記ニューラルネットワークの前記パラメータの割合を示すピクチャレベル情報を設定するステップと、をさらに含む、
ことを特徴とする請求項1に記載のプルーニング方法。 - 前記設定されたPPSフラグおよび前記設定されたピクチャレベル情報を前記デコーダに送信するステップを、さらに含み、
ここで、前記1つまたは複数のパラメータがプルーニングされるべきことを示す前記送信されたPPSフラグと、前記送信されたピクチャレベル情報とに基づいて、前記現在のブロックは、前記割合に達するまで、前記割合をプルーニングするためのパラメータを使用して処理される、
ことを特徴とする請求項4に記載のプルーニング方法。 - 前記設定された第1インデックスおよび前記設定された第2インデックスは、補足強化情報(SEI)メッセージを介して前記デコーダに送信される、
ことを特徴とする請求項1に記載のプルーニング方法。 - 前記ニューラルネットワークの前記パラメータは、2次元(2D)アレイに配置され、
前記ニューラルネットワークの前記パラメータが分類される前記グループは、前記2Dアレイの行、列、および位置のうちの任意の1つまたは任意の組み合わせを含み、
前記第1インデックスおよび前記第2インデックスは、バイナリマスクに含まれるバイナリインジケータである、
ことを特徴とする請求項1に記載のプルーニング方法。 - ビデオシーケンスのピクチャの現在のブロックのニューラルネットワークベースのビデオコーディングのためのプルーニング装置であって、
コンピュータプログラムコードを記憶するように構成される少なくとも1つのメモリと、
前記少なくとも1つのメモリにアクセスして、前記コンピュータプログラムコードに従って動作するように構成される少なくとも1つのプロセッサと、を含み、前記コンピュータプログラムコードは、
前記少なくとも1つのプロセッサに、ニューラルネットワークのパラメータをグループに分類させるように構成される分類コードと、
前記少なくとも1つのプロセッサに、前記グループのうちの第1グループがプルーニングされることを示すように第1インデックスを設定し、前記グループのうちの第2グループがプルーニングされないことを示すように第2インデックスを設定させるように構成される第1設定コードと、
前記少なくとも1つのプロセッサに、前記グループのうちの前記第1グループの第1優先度と、前記グループのうちの前記第2グループの第2優先度とを設定させるように構成される第2設定コードであって、前記第2優先度は、前記第1優先度よりも低い第2設定コードと、
前記少なくとも1つのプロセッサに、前記設定された第1インデックス、前記設定された第2インデックス、前記設定された第1優先度、前記設定された第2優先度、およびプルーニングされるべき前記ニューラルネットワークの前記パラメータの割合をデコーダに送信させるように構成される第1送信コードと、
を含み、
ここで、前記送信された第1インデックスおよび前記送信された第2インデックスに基づいて、前記現在のブロックは、前記グループのうちの第1グループをプルーニングするためのパラメータを使用して処理される、
ことを特徴とするプルーニング装置。 - 前記現在のブロックは、前記グループのうちの前記第2優先度を有する前記第2グループから開始し、続いて、前記グループのうちの前記第1優先度を有する前記第1グループに対して、前記割合に達するまで、前記割合をプルーニングするためのパラメータを使用して処理される、
ことを特徴とする請求項8に記載のプルーニング装置。 - 前記ピクチャがBまたはPスライスまたはピクチャであることに基づいて、プルーニングされるべき前記ニューラルネットワークの前記パラメータの割合は、より大きくなり、
前記ピクチャがIスライスまたはピクチャであることに基づいて、プルーニングされるべき前記ニューラルネットワークの前記パラメータの割合は、より小さくなる、
ことを特徴とする請求項9に記載のプルーニング装置。 - 前記コンピュータプログラムコードは、さらに、前記少なくとも1つのプロセッサに、
コーディングされたビットストリームでプルーニングが実行されるかどうかを示すシーケンスパラメータセット(SPS)フラグを設定させ、
前記コーディングされたビットストリームで前記プルーニングが実行されることを示すように前記SPSフラグが設定されていることに基づいて、前記ニューラルネットワークの前記パラメータのうちの1つまたは複数のパラメータがプルーニングされるべきかどうかを示す、ピクチャパラメータセット(PPS)フラグ、および/または、プルーニングされるべき前記ニューラルネットワークの前記パラメータの割合を示すピクチャレベル情報を設定させるように構成される第2設定コード、を含む、
ことを特徴とする請求項8に記載のプルーニング装置。 - 前記コンピュータプログラムコードは、さらに、
前記少なくとも1つのプロセッサに、前記設定されたPPSフラグおよび前記設定されたピクチャレベル情報を前記デコーダに送信させるように構成される第2送信コード、を含み、
ここで、前記1つまたは複数のパラメータがプルーニングされるべきことを示す前記送信されたPPSフラグと、前記送信されたピクチャレベル情報とに基づいて、前記現在のブロックは、前記割合に達するまで、前記割合をプルーニングするためのパラメータを使用して処理される、
ことを特徴とする請求項11に記載のプルーニング装置。 - 前記設定された第1インデックスおよび前記設定された第2インデックスは、補足強化情報(SEI)メッセージを介して前記デコーダに送信される、
ことを特徴とする請求項8に記載のプルーニング装置。 - 前記ニューラルネットワークの前記パラメータは、2次元(2D)アレイに配置され、
前記ニューラルネットワークの前記パラメータが分類される前記グループは、前記2Dアレイの行、列、および位置のうちの任意の1つまたは任意の組み合わせを含み、
前記第1インデックスおよび前記第2インデックスは、バイナリマスクに含まれるバイナリインジケータである、
ことを特徴とする請求項8に記載のプルーニング装置。 - コンピュータプログラムであって、請求項1~7のいずれか1項に記載の方法を、ビデオコーディングのためのデバイスに実行させる、
ことを特徴とするコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063089481P | 2020-10-08 | 2020-10-08 | |
US63/089,481 | 2020-10-08 | ||
US17/362,184 US11765376B2 (en) | 2020-10-08 | 2021-06-29 | Pruning methods and apparatuses for neural network based video coding |
US17/362,184 | 2021-06-29 | ||
PCT/US2021/044904 WO2022076071A1 (en) | 2020-10-08 | 2021-08-06 | Pruning methods and apparatuses for neural network based video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023510504A JP2023510504A (ja) | 2023-03-14 |
JP7489466B2 true JP7489466B2 (ja) | 2024-05-23 |
Family
ID=81078442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022537382A Active JP7489466B2 (ja) | 2020-10-08 | 2021-08-06 | ニューラルネットワークベースのビデオコーディングのためのプルーニング方法、装置およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11765376B2 (ja) |
EP (1) | EP4205388A4 (ja) |
JP (1) | JP7489466B2 (ja) |
KR (1) | KR20220100704A (ja) |
CN (1) | CN114788272A (ja) |
WO (1) | WO2022076071A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140016708A1 (en) | 2012-07-10 | 2014-01-16 | Qualcomm Incorporated | Coding timing information for video coding |
WO2016199330A1 (ja) | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
US20190130271A1 (en) | 2017-10-27 | 2019-05-02 | Baidu Usa Llc | Systems and methods for block-sparse recurrent neural networks |
WO2019088657A1 (ko) | 2017-10-30 | 2019-05-09 | 한국전자통신연구원 | 은닉 변수를 이용하는 영상 및 신경망 압축을 위한 방법 및 장치 |
US20200351509A1 (en) | 2017-10-30 | 2020-11-05 | Electronics And Telecommunications Research Institute | Method and device for compressing image and neural network using hidden variable |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012085211A (ja) * | 2010-10-14 | 2012-04-26 | Sony Corp | 画像処理装置および方法、並びにプログラム |
KR102410032B1 (ko) | 2016-06-24 | 2022-06-16 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
US11315018B2 (en) * | 2016-10-21 | 2022-04-26 | Nvidia Corporation | Systems and methods for pruning neural networks for resource efficient inference |
US10949398B2 (en) * | 2017-03-29 | 2021-03-16 | Commvault Systems, Inc. | Synchronization operations for network-accessible folders |
US10742975B2 (en) | 2017-05-09 | 2020-08-11 | Futurewei Technologies, Inc. | Intra-prediction with multiple reference lines |
CA3070850A1 (en) * | 2017-07-31 | 2019-02-07 | Smiths Detection Inc. | System for determining the presence of a substance of interest in a sample |
EP4216550A1 (en) | 2018-03-28 | 2023-07-26 | FG Innovation Company Limited | Device and method for coding video data in multiple reference line prediction |
US11588499B2 (en) * | 2018-11-05 | 2023-02-21 | Samsung Electronics Co., Ltd. | Lossless compression of neural network weights |
EP3972251A4 (en) * | 2019-07-10 | 2022-08-24 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | IMAGE COMPONENT PREDICTION METHOD, ENCODER, DECODER AND MEMORY MEDIA |
EP4032293A4 (en) * | 2019-10-07 | 2022-11-30 | Huawei Technologies Co., Ltd. | ERROR PREVENTION IN A SUB-BITSTREAM EXTRACTION |
US20210287074A1 (en) * | 2020-03-12 | 2021-09-16 | Semiconductor Components Industries, Llc | Neural network weight encoding |
-
2021
- 2021-06-29 US US17/362,184 patent/US11765376B2/en active Active
- 2021-08-06 JP JP2022537382A patent/JP7489466B2/ja active Active
- 2021-08-06 CN CN202180006086.7A patent/CN114788272A/zh active Pending
- 2021-08-06 KR KR1020227021068A patent/KR20220100704A/ko active Search and Examination
- 2021-08-06 WO PCT/US2021/044904 patent/WO2022076071A1/en unknown
- 2021-08-06 EP EP21878167.2A patent/EP4205388A4/en active Pending
-
2023
- 2023-06-20 US US18/337,986 patent/US20230336762A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140016708A1 (en) | 2012-07-10 | 2014-01-16 | Qualcomm Incorporated | Coding timing information for video coding |
WO2016199330A1 (ja) | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
US20190130271A1 (en) | 2017-10-27 | 2019-05-02 | Baidu Usa Llc | Systems and methods for block-sparse recurrent neural networks |
WO2019088657A1 (ko) | 2017-10-30 | 2019-05-09 | 한국전자통신연구원 | 은닉 변수를 이용하는 영상 및 신경망 압축을 위한 방법 및 장치 |
US20200351509A1 (en) | 2017-10-30 | 2020-11-05 | Electronics And Telecommunications Research Institute | Method and device for compressing image and neural network using hidden variable |
Non-Patent Citations (4)
Title |
---|
Benjamin Bross et al.,Versatile Video Coding (Draft 3) [online],JVET-L1001-v9,インターネット <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L1001-v13.zip>,2019年01月08日,pp.46-48,JVET-L1001-v9.docx |
Hujun Yin et al.,AHG9: Adaptive convolutional neural network loop filter [online],JVET-M0566,インターネット <URL: https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M0566-v3 .zip>,2019年01月13日 |
Pavlo Molchanov et al.,Importance Estimation for Neural Network Pruning [online],Published in: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),2020年01月09日,pp.11256-11264,インターネット <URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8953464>,DOI: 10.1109/CVPR.2019.01152 |
Philipp Helle et al.,Intra Picture Prediction for Video Coding with Neural Networks [online],Published in: 2019 Data Compression Conference (DCC),2019年05月13日,pp.448-457,DOI: 10.1109/DCC.2019.00053 |
Also Published As
Publication number | Publication date |
---|---|
US20220116639A1 (en) | 2022-04-14 |
JP2023510504A (ja) | 2023-03-14 |
WO2022076071A1 (en) | 2022-04-14 |
EP4205388A4 (en) | 2024-04-10 |
KR20220100704A (ko) | 2022-07-15 |
US11765376B2 (en) | 2023-09-19 |
CN114788272A (zh) | 2022-07-22 |
EP4205388A1 (en) | 2023-07-05 |
US20230336762A1 (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102653789B1 (ko) | 멀티-라인 인트라 예측을 위한 방법 및 장치 | |
JP7295289B2 (ja) | 高速dst-7 | |
CN112385216B (zh) | 用于多行帧内预测的帧内插值滤波器的方法、装置和介质 | |
JP7490843B2 (ja) | イントラピクチャブロック補償のための予測候補リストサイズシグナリングのための方法および装置 | |
JP7177179B2 (ja) | 簡略化された最確モードリスト生成スキーム | |
JP7478835B2 (ja) | 符号化ビデオストリームにおいてニューラルネットワークトポロジ及びパラメータを伝達するための技術 | |
US11765373B2 (en) | Method for layerwise random access in a coded video stream | |
JP7495563B2 (ja) | マルチラインイントラ予測のためのモードリストを生成する方法、並びにその装置及びコンピュータプログラム | |
KR20210145814A (ko) | 코딩된 비디오 스트림에서 픽처 헤더를 시그널링하는 방법 | |
JP2023527144A (ja) | ビデオストリームにおけるニューラル・ネットワーク・トポロジ、パラメータ、および処理情報をシグナリングするための技術 | |
JP7237410B2 (ja) | ビデオビットストリームにおけるピクチャサイズおよび分割情報の効率的なシグナリングのための方法、装置、およびコンピュータプログラム | |
JP7326436B2 (ja) | イントラ予測におけるイントラモード選択 | |
CN113491128B (zh) | 已解码图片存储器管理的方法和相关装置 | |
JP7489466B2 (ja) | ニューラルネットワークベースのビデオコーディングのためのプルーニング方法、装置およびコンピュータプログラム | |
JP2023542333A (ja) | Dnnベースのクロスコンポーネント予測 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7489466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |