RU2021129277A - ENCODER, DECODER AND CORRESPONDING METHODS OF INTER-FRAME PREDICTION - Google Patents

ENCODER, DECODER AND CORRESPONDING METHODS OF INTER-FRAME PREDICTION Download PDF

Info

Publication number
RU2021129277A
RU2021129277A RU2021129277A RU2021129277A RU2021129277A RU 2021129277 A RU2021129277 A RU 2021129277A RU 2021129277 A RU2021129277 A RU 2021129277A RU 2021129277 A RU2021129277 A RU 2021129277A RU 2021129277 A RU2021129277 A RU 2021129277A
Authority
RU
Russia
Prior art keywords
sample
gradient
block
prediction
parameters
Prior art date
Application number
RU2021129277A
Other languages
Russian (ru)
Other versions
RU2809192C2 (en
Inventor
Срирам СЕТХУРАМАН
Сагар КОТЕЧА
Джива Радж А
Original Assignee
Хуавей Текнолоджиз Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Хуавей Текнолоджиз Ко., Лтд. filed Critical Хуавей Текнолоджиз Ко., Лтд.
Publication of RU2021129277A publication Critical patent/RU2021129277A/en
Application granted granted Critical
Publication of RU2809192C2 publication Critical patent/RU2809192C2/en

Links

Claims (48)

1. Способ предсказания двунаправленного оптического потока, содержащий этапы, на которых1. A method for predicting a bidirectional optical flow, comprising steps in which получают начальную пару векторов движения для текущего блока, где начальная пара векторов движения содержит вектор движения вперед и вектор движения обратно;obtaining an initial pair of motion vectors for the current block, where the initial pair of motion vectors contains a forward motion vector and a reverse motion vector; получают блок прямого предсказания, соответствующий вектору движения вперед, и блок обратного предсказания, соответствующий вектору движения обратно;obtaining a forward prediction block corresponding to the forward motion vector and a backward prediction block corresponding to the backward motion vector; вычисляют параметры градиента для текущей выборки в текущем блоке, основываясь на выборке прямого предсказания, и для выборки обратного предсказания, соответствующей текущей выборке, где выборка прямого предсказания является блоком прямого предсказания, а выборка обратного предсказания находится в блоке обратного предсказания;calculating gradient parameters for the current sample in the current block based on the forward prediction sample and for the reverse prediction sample corresponding to the current sample, where the forward prediction sample is a forward prediction block and the reverse prediction sample is in a reverse prediction block; получают по меньшей мере два параметра выборок оптического потока для текущей выборки, основываясь на параметрах градиента, причем параметры выборок оптического потока содержат первый параметр и второй параметр; obtaining at least two optical flow sample parameters for the current sample based on the gradient parameters, the optical flow sample parameters comprising a first parameter and a second parameter; получают параметры блока оптического потока, основываясь на параметрах выборок оптического потока в текущем блоке, причем один из параметров блока оптического потока получают посредством операции перемножения значения первого параметра и значения функции знака второго параметра, при этом функция знака является кусочной функцией по меньшей мере с тремя поддиапазонами; the parameters of the optical flow block are obtained based on the parameters of the optical flow samples in the current block, wherein one of the parameters of the optical flow block is obtained by multiplying the value of the first parameter and the value of the sign function of the second parameter, the sign function being a piecewise function with at least three subranges ; получают значение предсказания текущего блока, основываясь на параметрах блока прямого предсказания, блока обратного предсказания, параметрах блока оптического потока и параметрах выборок оптического потока.obtaining a prediction value of the current block based on the parameters of the forward prediction block, the backward prediction block, the parameters of the optical flow block, and the parameters of the samples of the optical flow. 2. Способ по п. 1, в котором функция знака имеет вид:2. The method according to claim 1, in which the sign function has the form: Sign( x ) =
Figure 00000001
,
Sign( x ) =
Figure 00000001
,
где T - неотрицательное вещественное число.where T is a non-negative real number. 3. Способ по п. 2, где T равно 0; соответственно, функция знака имеет вид: 3. The method according to p. 2, where T is 0; accordingly, the sign function has the form: Sign( x ) =
Figure 00000002
.
Sign( x ) =
Figure 00000002
.
4. Способ по из пп. 1-3, в котором начальную пару векторов движения получают согласно информации о движении по меньшей мере одного пространственного и/или временного блока, соседнего с текущим блоком. 4. The method according to paragraphs. 1-3, wherein the initial motion vector pair is obtained according to the motion information of at least one spatial and/or temporal block adjacent to the current block. 5. Способ по любому из пп. 1-4, в котором текущий блок является блоком кодирования или субблоком блока кодирования.5. The method according to any one of paragraphs. 1-4, in which the current block is a coding block or a subblock of a coding block. 6. Способ по любому из пп. 1-5, в котором параметры градиента содержат прямой горизонтальный градиент, обратный горизонтальный градиент, прямой вертикальный градиент и обратный вертикальный градиент.6. The method according to any one of paragraphs. 1-5, in which the gradient parameters comprise a forward horizontal gradient, a reverse horizontal gradient, a forward vertical gradient, and a reverse vertical gradient. 7. Способ по п. 6, в котором прямой горизонтальный градиент является разностью правой выборки и левой выборки, смежной с выборкой прямого предсказания.7. The method of claim 6, wherein the direct horizontal gradient is the difference between a right sample and a left sample adjacent to the forward prediction sample. 8. Способ по п. 6 или 7, в котором обратный горизонтальный градиент является разностью правой выборки и левой выборки, смежных с выборкой обратного предсказания.8. The method of claim 6 or 7, wherein the inverse horizontal gradient is the difference between a right sample and a left sample adjacent to the inverse prediction sample. 9. Способ по любому из пп. 6-8, в котором прямой вертикальный градиент является разностью нижней выборки и верхней выборки, смежных с выборкой прямого предсказания.9. The method according to any one of paragraphs. 6-8, in which the direct vertical gradient is the difference between the bottom sample and the top sample adjacent to the forward prediction sample. 10. Способ по любому из пп. 6-9, в котором обратный вертикальный градиент является разностью нижней выборки и верхней выборки, смежных с выборкой обратного предсказания.10. The method according to any one of paragraphs. 6-9, in which the inverse vertical gradient is the difference between the lower sample and the upper sample adjacent to the inverse prediction sample. 11. Способ по любому из пп. 6-10, в котором параметры выборки оптического потока содержат разность выборок, горизонтальный средний градиент и вертикальный средний градиент.11. The method according to any one of paragraphs. 6-10, in which the optical flow sampling parameters comprise a sampling difference, a horizontal average gradient, and a vertical average gradient. 12. Способ по п. 11, в котором первый параметр является разностью выборок, горизонтальным средним градиентом или вертикальным средним градиентом.12. The method of claim 11, wherein the first parameter is a sample difference, a horizontal mean gradient, or a vertical mean gradient. 13. Способ по п. 12, в котором второй параметр является разностью выборок, горизонтальным средним градиентом или вертикальным средним градиентом и второй параметр не равен первому параметру.13. The method of claim 12, wherein the second parameter is a sample difference, a horizontal mean gradient, or a vertical mean gradient, and the second parameter is not equal to the first parameter. 14. Устройство двунаправленного предсказания оптического потока, содержащее14. Device for bidirectional prediction of the optical flow, containing модуль получения, выполненный с возможностью получения начальной пары векторов движения для текущего блока, причем начальная пара векторов движения содержит вектор движения вперед и вектор движения обратно;an acquisition module, configured to obtain an initial motion vector pair for the current block, the initial motion vector pair comprising a forward motion vector and a reverse motion vector; модуль исправления, выполненный с возможностью получения блока прямого предсказания, соответствующего вектору движения вперед, и блока обратного предсказания, соответствующего вектору движения обратно;a correction module, configured to obtain a forward prediction block corresponding to the forward motion vector and a backward prediction block corresponding to the reverse motion vector; модуль градиента, выполнен с возможностью вычисления параметров градиента для текущей выборки в текущем блоке, основываясь на выборке прямого предсказания и выборке обратного предсказания, соответствующих текущей выборке, причем выборка прямого предсказания находится в блоке прямого предсказания, а выборка обратного предсказания находится в блоке обратного предсказания;the gradient module, configured to calculate gradient parameters for the current sample in the current block based on the forward prediction sample and the reverse prediction sample corresponding to the current sample, where the forward prediction sample is in the forward prediction block and the reverse prediction sample is in the reverse prediction block; модуль вычисления, выполненный с возможностью получения по меньшей мере двух параметров выборки оптического потока для текущей выборки, основываясь на параметрах градиента, причем параметры выборки оптического потока содержат первый параметр и второй параметр; a calculation module configured to obtain at least two optical flow sampling parameters for the current sample based on the gradient parameters, the optical flow sampling parameters comprising a first parameter and a second parameter; модуль обучения, выполненный с возможностью получения параметров блока оптического потока на основе параметров выборок оптического потока для выборок в текущем блоке, причем один из параметров блока оптического потока получают посредством операции, содержащей перемножение значения первого параметра и значения функции знака второго параметра, при этом функция знака является кусочной функцией по меньшей мере с тремя субдиапазонами; и a learning module configured to obtain the parameters of the optical flow block based on the parameters of the samples of the optical flow for the samples in the current block, wherein one of the parameters of the optical flow block is obtained by an operation comprising multiplying the value of the first parameter and the value of the sign function of the second parameter, wherein the sign function is a piecewise function with at least three subranges; And модуль предсказания, выполненный с возможностью получения значения предсказания текущего блока, основываясь на параметрах блока прямого предсказания, блока обратного предсказания, блока оптического потока и параметрах выборок оптического потока.a prediction module configured to obtain a prediction value of the current block based on the parameters of the forward prediction block, the backward prediction block, the optical flow block, and the parameters of the optical flow samples. 15. Устройство по п. 14, в котором функция знака имеет вид:15. The device according to claim 14, in which the sign function has the form: Sign( x ) =
Figure 00000001
,
Sign( x ) =
Figure 00000001
,
где T - неотрицательное вещественное число.where T is a non-negative real number. 16. Устройство по п. 15, в котором T равно 0; соответственно, функцией знака является16. The device according to p. 15, in which T is equal to 0; accordingly, the sign function is Sign( x ) =
Figure 00000002
.
Sign( x ) =
Figure 00000002
.
17. Устройство по любому из пп. 14-16, в котором начальную пару векторов движения получают в соответствии с информацией о движении по меньшей мере одного пространственного и/или временного блока, соседнего с текущим блоком.17. The device according to any one of paragraphs. 14-16, in which the initial pair of motion vectors is obtained in accordance with the motion information of at least one spatial and/or temporal block adjacent to the current block. 18. Устройство по любому из пп. 14-17, в котором текущий блок является блоком кодирования или субблоком блока кодирования.18. The device according to any one of paragraphs. 14-17, in which the current block is a coding block or a subblock of a coding block. 19. Устройство по любому из пп. 14-18, в котором параметры градиента содержат прямой горизонтальный градиент, обратный горизонтальный градиент, прямой вертикальный градиент и обратный вертикальный градиент.19. The device according to any one of paragraphs. 14-18, in which the gradient parameters comprise a forward horizontal gradient, a reverse horizontal gradient, a forward vertical gradient, and a reverse vertical gradient. 20. Устройство по п. 19, в котором прямой горизонтальный градиент является разностью правой выборки и левой выборки, смежных с выборкой прямого предсказания.20. The apparatus of claim 19, wherein the forward horizontal gradient is the difference between a right sample and a left sample adjacent to the forward prediction sample. 21. Устройство по п. 19 или 20, в котором обратный горизонтальный градиент является разностью правой выборки и левой выборки, смежных с выборкой обратного предсказания.21. The apparatus of claim 19 or 20, wherein the inverse horizontal gradient is the difference between a right sample and a left sample adjacent to the inverse prediction sample. 22. Устройство по любому из пп. 19-21, в котором прямой вертикальный градиент является разностью нижней выборки и верхней выборки, смежных с выборкой прямого предсказания.22. The device according to any one of paragraphs. 19-21, in which the forward vertical gradient is the difference between the bottom sample and the top sample adjacent to the forward prediction sample. 23. Устройство по любому из пп. 19-22, где обратный вертикальный градиент является разностью нижней выборки и верхней выборки, смежных с обратным образцом предсказания.23. The device according to any one of paragraphs. 19-22, where the inverse vertical gradient is the difference between the bottom sample and the top sample adjacent to the inverse prediction sample. 24. Устройство по любому из пп. 19-23, в котором параметры выборки оптического потока содержат разность выборок, горизонтальный средний градиент и вертикальный средний градиент.24. The device according to any one of paragraphs. 19-23, in which the optical flow sampling parameters comprise a sampling difference, a horizontal average gradient, and a vertical average gradient. 25. Устройство по п. 24, в котором первый параметр является разностью выборок, горизонтальным средним градиентом или вертикальным средним градиентом.25. The apparatus of claim 24, wherein the first parameter is a sample difference, a horizontal mean gradient, or a vertical mean gradient. 26. Устройство по п. 25, в котором второй параметр является разностью выборок, горизонтальным средним градиентом или вертикальным средним градиентом, причем второй параметр не равен первому параметру.26. The apparatus of claim 25, wherein the second parameter is a sample difference, a horizontal mean gradient, or a vertical mean gradient, wherein the second parameter is not equal to the first parameter. 27. Устройство двунаправленного предсказания оптического потока, содержащее27. Device for bidirectional prediction of the optical flow, containing один или более процессоров; иone or more processors; And машиночитаемый энергонезависимый носитель хранения, соединенный с процессорами и хранящий программирование, исполняемое процессорами, причем программирование, при исполнении процессорами, вызывает выполнение способа по любому из пп. 1-13.a computer-readable, non-volatile storage medium coupled to the processors and storing programming executed by the processors, wherein the programming, when executed by the processors, causes the execution of a method according to any one of claims. 1-13. 28. Компьютерный программный продукт, содержащий управляющую программу для выполнения способа по любому из пп. 1-13.28. Computer software product containing a control program for performing the method according to any one of paragraphs. 1-13.
RU2021129277A 2019-03-08 2020-02-28 Encoder, decoder and related methods of interframe prediction RU2809192C2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IN201931009184 2019-03-08

Publications (2)

Publication Number Publication Date
RU2021129277A true RU2021129277A (en) 2023-04-10
RU2809192C2 RU2809192C2 (en) 2023-12-07

Family

ID=

Similar Documents

Publication Publication Date Title
CN113034380B (en) Video space-time super-resolution method and device based on improved deformable convolution correction
TWI445411B (en) Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
Wu et al. Liteeval: A coarse-to-fine framework for resource efficient video recognition
RU2018143851A (en) IMAGE FORECASTING METHOD AND IMAGE FORECASTING METHOD
US8644384B2 (en) Video coding reference picture prediction using information available at a decoder
EP3651055A1 (en) Gesture recognition method, apparatus, and device
US20170039750A1 (en) Avatar facial expression and/or speech driven animations
RU2019137993A (en) METHOD AND DEVICE FOR IMAGE CODING AND METHOD AND DEVICE FOR IMAGE DECODING
BR112017006018A2 (en) Image prediction method and associated apparatus
RU2020115378A (en) RESTRICTED ACCESS TO MEMORY WINDOW FOR REFINING THE MOTION VECTOR
CN103096117A (en) Video noise detecting method and device
RU2021129277A (en) ENCODER, DECODER AND CORRESPONDING METHODS OF INTER-FRAME PREDICTION
JPWO2020156541A5 (en)
CN101263662A (en) Adaptive area of influence filter
Seon et al. Stop or forward: Dynamic layer skipping for efficient action recognition
CN113658231B (en) Optical flow prediction method and device, electronic equipment and storage medium
CN118077177A (en) Method, apparatus and medium for adaptive reasoning in compressed video domain
KR20140144961A (en) Detection device for region of interesting and detecting method the same
CN112634331A (en) Optical flow prediction method and device
KR101930049B1 (en) Apparatus and Method for Interesting Object Based Parallel Video Analysis
CN115222639A (en) Image segmentation method and device, electronic device and storage medium
CN111402302B (en) Optical flow generating device and method
RU2021118433A (en) IMAGE PREDICTION METHOD AND DEVICE
CN104995917A (en) Self-adaption motion estimation method and module thereof
RU2022101152A (en) METHOD FOR CALCULATION OF POSITION OF REFERENCE SAMPLE OF INTEGER GRID FOR CALCULATION OF GRADIENT OF BOUNDARY SAMPLE OF BLOCK LEVEL IN CALCULATION OF OPTICAL FLOW WITH DOUBLE PREDICTION AND CORRECTION WITH DOUBLE PREDICTION