JPWO2020192034A5

JPWO2020192034A5 -

Info

Publication number: JPWO2020192034A5
Application number: JP2021555871A
Authority: JP
Publication date: 2022-09-12

Description

フィルターがオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成される場合、又は、フィルターがオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在する場合、フィルタリング装置がフィルターによって、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームのフィルタリング待ちの画素情報をフィルタリングし、フィルタリング画像、即ちフィルタリング後画素を得る実現プロセスは、
フィルタリング装置がオフラインフィルタリングモデルを用いて、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームをフィルタリングし、中間フィルタリング画像を得ており、オンラインフィルタリングモデルを用いて、エッジ情報と組み合わせて中間フィルタリング画像をフィルタリングし、フィルタリング画像を得ること、又は、
フィルタリング装置がオンラインフィルタリングモデルを用いて、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームをフィルタリングし、中間フィルタリング画像を得ており、オフラインフィルタリングモデルを用いて、エッジ情報と組み合わせて中間フィルタリング画像をフィルタリングし、フィルタリング画像を得ることであり、即ち、
フィルタリング待ちの画素情報及びエッジ情報をニューラルネットワークに基づくオフラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、中間フィルタリング後画素及びエッジ情報をニューラルネットワークに基づくオンラインフィルタリングモデルに入力して、フィルタリング後画素を出力すること、又は、
フィルタリング待ちの画素情報及びエッジ情報をニューラルネットワークに基づくオンラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、中間フィルタリング後画素及びエッジ情報をニューラルネットワークに基づくオフラインフィルタリングモデルに入力して、フィルタリング後画素を出力することである。 The filter is formed by cascading an online filtering model and an offline filtering model, or the filter is formed by cascading an online filtering model and an offline filtering model , and the offline filtering model is partially trained online. The realization process in which the filtering device filters the pixel information to be filtered of the video frame to be filtered in combination with the edge information by the filter to obtain a filtered image, i.e. the pixels after filtering, if the parameters are present ,
A filtering device uses an offline filtering model to combine edge information to filter the video frames waiting to be filtered to obtain an intermediate filtered image, and an online filtering model to combine edge information to filter the intermediate filtered image. , obtaining a filtered image, or
A filtering device uses an online filtering model to combine edge information to filter the video frames waiting to be filtered to obtain an intermediate filtered image, and an offline filtering model to combine edge information to filter the intermediate filtered image. , to obtain a filtered image, i.e.
Input pixel information and edge information to be filtered into an offline filtering model based on a neural network, output pixels after intermediate filtering, and input pixel and edge information after intermediate filtering into an online filtering model based on a neural network for filtering. outputting a subsequent pixel; or
Input pixel information and edge information to be filtered into an online filtering model based on a neural network, output pixels after intermediate filtering, and input pixel and edge information after intermediate filtering into an offline filtering model based on a neural network for filtering. outputting the subsequent pixels.

本願の実施例では、フィルターはいずれもオフラインフィルタリング部とオンラインフィルタリング部を有するものである。相違点として、場合によって、あるオンラインフィルタリング部は、オンラインフィルタリングモデルによって直接に実現されるが、あるオンラインフィルタリング部は、オフラインフィルタリングモデルにおける一部のパラメータがオンラインで訓練されて得ることによって実現され、後者は上記２種のフィルタリングを組み合わせて実現される。 In the embodiments of the present application, each filter has an off-line filtering part and an on-line filtering part. The difference is that in some cases, some online filtering units are directly implemented by the online filtering model, while some online filtering units are implemented by training some parameters in the offline filtering model to obtain online, The latter is realized by combining the above two types of filtering .

本願のいくつかの実施例では、オンラインフィルタリング部はオンラインフィルタリングモデルであってもよく、オフラインモデルにおける一部の畳み込みニューラルネットワークの階層であってもよく、該階層がパラメータをオンラインで更新でき、これにいって、パラメータ更新情報（即ち、オンラインフィルタリングパラメータ）を得て、オンラインフィルタリング部はこれら２種のオンラインフィルタリング部の組み合わせであってもよく、本願の実施例では限定しない。 In some embodiments of the present application, the online filtering unit may be an online filtering model, or a layer of some convolutional neural network in an offline model , which layer can update parameters online, which In other words, obtaining parameter update information (ie, online filtering parameters), the online filtering unit may be a combination of these two online filtering units, and is not limited in the embodiments of the present application.

本願のいくつかの実施例では、適応フィルターのフィルタリングパラメータを決定することは、オフライン訓練によってニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、第２フィルタリングパラメータはニューラルネットワークフィルターのすべてのパラメータであることと、オンライン訓練によってニューラルネットワークフィルターの第３フィルタリングパラメータを決定し、第３フィルタリングパラメータはニューラルネットワークフィルターの一部のパラメータであることと、第３フィルタリングパラメータを使用して第２フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第２フィルタリングパラメータをニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、を含む。 In some embodiments of the present application, determining filtering parameters of the adaptive filter includes determining second filtering parameters of the neural network filter by offline training, wherein the second filtering parameters are all parameters of the neural network filter. and determining a third filtering parameter of the neural network filter by online training, wherein the third filtering parameter is a parameter of a part of the neural network filter; and using the third filtering parameter to correspond in the second filtering parameter Updating the filtering parameters and making the updated second filtering parameters all filtering parameters of the neural network filter.

同じ技術的構想に基づいて、図１１は本願の実施例に係る選択可能なフィルタリング装置の構造模式図である。図１１に示すように、該フィルタリング装置１は、第１取得部１１、第１決定部１２及び第１フィルタリング部１３を備えてもよく、
第１取得部１１は、フィルタリング待ちの画素情報を取得するように設定され、
第１決定部１２は、エッジ情報を決定するように設定され、
第１フィルタリング部１３は、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力するように設定され、前記フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなる。 Based on the same technical concept, FIG. 11 is a structural schematic diagram of a selectable filtering device according to an embodiment of the present application. As shown in FIG. 11, the filtering device 1 may include a first acquisition unit 11, a first determination unit 12 and a first filtering unit 13 ,
The first acquisition unit 11 is set to acquire pixel information waiting for filtering,
The first determiner 12 is configured to determine edge information,
The first filtering unit 13 is configured to input the pixel information waiting for filtering and the edge information to a filter based on a neural network and output filtered pixels, the filter comprising an online filtering unit and an offline filtering unit. Combined.

本願のいくつかの実施例では、前記フィルターは第１訓練部１４及び第１書き込み部１５を更に備え、
前記第１訓練部１４は、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力した後、前記フィルタリング後画素に基づいて、前記フィルターに対してオンライン訓練を行い、オンラインフィルタリングパラメータを得るように設定される。 In some embodiments of the present application, the filter further comprises a first training unit 14 and a first writing unit 15 ;
The first training unit 14 inputs the pixel information awaiting filtering and the edge information to a filter based on a neural network, outputs filtered pixels, and then, based on the filtered pixels, performs It is set to perform online training and obtain online filtering parameters.

本願のいくつかの実施例では、前記第２決定部２０は更に、オフライン訓練によってニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、第２フィルタリングパラメータはニューラルネットワークフィルターのすべてのパラメータであり、オンライン訓練によってニューラルネットワークフィルターの第３フィルタリングパラメータを決定し、第３フィルタリングパラメータはニューラルネットワークフィルターの一部のパラメータであり、第３フィルタリングパラメータを使用して第２フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第２フィルタリングパラメータをニューラルネットワークフィルターのすべてのフィルタリングパラメータとするように設定される。 In some embodiments of the present application, the second determining unit 20 further determines second filtering parameters of the neural network filter by offline training, the second filtering parameters being all parameters of the neural network filter, and online training determining a third filtering parameter of the neural network filter by, the third filtering parameter being a parameter of the neural network filter, using the third filtering parameter to update the corresponding filtering parameter in the second filtering parameter; All the filtering parameters of the neural network filter are set as the updated second filtering parameters.

Claims

A filtering method comprising:
obtaining pixel information awaiting filtering;
determining edge information;
inputting the pixel information to be filtered and the edge information into a neural network-based filter to output filtered pixels, the filter comprising an online filtering unit and an offline filtering unit, wherein the neural network-based filter is , post-processing filtering, in-loop filtering, pre-processing filtering or being applied to the prediction process .

the filter is formed by cascading an online filtering model and an offline filtering model, or
2. The method of claim 1, wherein the filter is formed by cascading an online filtering model and an offline filtering model, wherein some online-trained parameters are present in the offline filtering model.

the filter is formed by an offline filtering model, the offline filtering model has some online trained parameters;
inputting the pixel information awaiting filtering and the edge information to a filter based on a neural network and outputting the filtered pixel;
2. The method of claim 1, comprising inputting the pixel information awaiting filtering and the edge information into the neural network-based offline filtering model to output the filtered pixels.

inputting the pixel information awaiting filtering and the edge information to a filter based on a neural network and outputting the filtered pixel;
inputting the pixel information awaiting filtering and the edge information into the off-line filtering model based on a neural network to output pixels after intermediate filtering; and converting the pixels after intermediate filtering and the edge information to the online filtering model based on a neural network. and outputting the filtered pixels; or
inputting the pixel information awaiting filtering and the edge information into the online filtering model based on a neural network to output pixels after intermediate filtering; and converting the pixels after intermediate filtering and the edge information into the offline filtering model based on a neural network. and outputting the filtered pixels.

The method further comprises:
performing online training on the filter based on the filtered pixels to obtain online filtering parameters;
After training the online part of the filter based on the online filtering parameters, inputting pixel information awaiting subsequent filtering and the edge information into an updated filter for filtering to obtain subsequent filtered pixels;
and writing the online filtering parameters to a video bitstream.

A filtering method for encoding video, comprising:
determining filtering parameters of the adaptive filter;
filtering input pixels using the adaptive filter to obtain filtered pixels based on the filtering parameters and edge information;
determining a first filtering parameter that is part of the filtering parameters that need to be encoded;
encoding and writing the first filtering parameter to a video bitstream ;
A filtering method , wherein said adaptive filter is a neural network filter .

7. The method of claim 6 , wherein said adaptive filter is a cascaded filter of a first neural network filter and a second neural network filter.

Determining filtering parameters of the adaptive filter comprises:
determining all or some filtering parameters of the neural network filter by offline training;
8. The method of claim 7 , comprising determining filtering parameters of all or some of said neural network filters by online training.

A filtering method for decoding a video bitstream, comprising:
analyzing a video bitstream to determine a first filtering parameter of an adaptive filter, said first filtering parameter being part of all filtering parameters of said adaptive filter;
determining all filtering parameters of the adaptive filter based on the first filtering parameters;
filtering input pixels using the adaptive filter to obtain filtered pixels based on all the filtering parameters and edge information ;
A filtering method , wherein said adaptive filter is a neural network filter .

said adaptive filters are two or more neural network filters of different types cascaded; or
10. The method of claim 9 , wherein the adaptive filter is a cascaded filter of a first neural network filter and a second neural network filter .

Determining all filtering parameters of the adaptive filter includes:
determining second filtering parameters of the neural network filter, wherein the second filtering parameters are all parameters of the neural network filter;
using the first filtering parameters to update corresponding filtering parameters in the second filtering parameters, the updated second filtering parameters being all filtering parameters of the neural network filter. 9. The method according to 9.

Determining a second filtering parameter of the neural network filter comprises:
determining a second filtering parameter of the neural network filter by offline training; or
11. The method of claim 10 , comprising obtaining the second filtering parameter prior to decoding the video bitstream.

Determining all filtering parameters of the adaptive filter includes:
determining all filtering parameters of the first neural network filter;
11. The method of claim 10 , comprising making the first filtering parameters all filtering parameters of the second neural network filter.

1. A filtering device for encoding video, comprising a second determining unit, a second filtering unit, and a second writing unit,
the second determining unit is configured to determine filtering parameters of an adaptive filter;
the second filtering unit is configured to filter input pixels using the adaptive filter to obtain filtered pixels based on the filtering parameters and edge information;
the second determiner is further configured to determine a first filtering parameter, the first filtering parameter being part of the filtering parameter that needs to be encoded;
the second writer is configured to encode and write the first filtering parameter to a video bitstream;
A filtering device , wherein said adaptive filter is a neural network filter .

A filtering device for decoding a video bitstream, comprising:
analyzing a video bitstream to determine a first filtering parameter of an adaptive filter that is part of all filtering parameters of said adaptive filter; and based on said first filtering parameter, all filtering parameters of said adaptive filter. a third decision unit configured to decide;
a third filtering unit configured to filter input pixels using the adaptive filter to obtain filtered pixels based on all the filtering parameters and edge information ;
A filtering device , wherein said adaptive filter is a neural network filter .