RU2020138597A - Способ и устройство для кодирования и декодирования видео на основе реализации нейронной сети CABAC - Google Patents

Claims (80)

1. Способ кодирования видео, содержащий этапы, на которых:

осуществляют доступ к бину синтаксического элемента, связанного с текущим блоком в кадре видео;

определяют контекст для бина синтаксического элемента, причем данный контекст связан с упомянутым синтаксическим элементом; и

выполняют энтропийное кодирование бина синтаксического элемента на основе этого определенного контекста;

причем при упомянутом осуществлении доступа к бину синтаксического элемента

определяют, для синтаксического элемента, предсказание синтаксического элемента посредством применения нейронной сети в отношении данных, закодированных перед упомянутым синтаксическим элементом, каковые данные, закодированные перед синтаксическим элементом, содержат пространственную и временную информацию касаемо ранее закодированного блока или текущего блока; и

определяют бин синтаксического элемента на основе значения, представляющего собой разность между предсказанием и синтаксическим элементом.

2. Способ по п.1, в котором синтаксический элемент представляет собой флаг, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является значением XOR между предсказанием и флагом.

3. Способ по п.1, в котором синтаксический элемент представляет собой целочисленное значение, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является разностью между предсказанием и значением синтаксического элемента.

4. Способ по п.1, в котором предсказание синтаксического элемента, выводимое из нейронной сети, является вектором, задающим вероятности для каждого возможного значения синтаксического элемента, и при этом значение, представляющее собой разность между предсказанием и синтаксическим элементом, является кодовым словом для каждого из значений синтаксического элемента на основе связанной с ним вероятности с использованием кодирования Хаффмана.

5. Способ по п.1, в котором упомянутые данные, закодированные перед синтаксическим элементом, содержат по меньшей мере одно из:

- значений ранее закодированных синтаксических элементов одного и того же типа по соседству с текущим блоком;

- восстановленных выборок в L-форме текущего блока;

- выборок предсказания текущего блока;

- восстановленных остатков текущего блока;

- выборок в L-форме опорного блока для текущего блока, когда текущий блок закодирован в интер-режиме;

- поля движения для текущего блока, когда текущий блок закодирован в интер-режиме;

- выборок предсказания текущего блока, сгенерированного с компенсацией движения с использованием упомянутого поля движения;

- параметра квантования;

- размера текущего блока.

6. Способ декодирования видео, содержащий этапы, на которых:

осуществляют доступ к закодированному бину синтаксического элемента, связанного с текущим блоком в кадре закодированного видео;

определяют контекст для бина синтаксического элемента, связанный с упомянутым синтаксическим элементом; и

выполняют энтропийное декодирование закодированного бина синтаксического элемента на основе этого определенного контекста;

причем при упомянутом энтропийном декодировании

определяют, для синтаксического элемента, предсказание синтаксического элемента посредством применения нейронной сети в отношении данных, декодированных перед упомянутым синтаксическим элементом, каковые данные, декодированные перед синтаксическим элементом, содержат пространственную и временную информацию касаемо ранее декодированного блока или текущего блока;

определяют синтаксический элемент на основе этого определенного предсказания синтаксического элемента и декодированного бина синтаксического элемента, при этом декодированный бин синтаксического элемента является значением, представляющим собой разность между предсказанием и синтаксическим элементом.

7. Способ по п.6, в котором синтаксический элемент представляет собой флаг, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является значением XOR между предсказанием и флагом.

8. Способ по п.6, в котором синтаксический элемент представляет собой целочисленное значение, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является разностью между предсказанием и значением синтаксического элемента.

9. Способ по п.6, в котором предсказание синтаксического элемента, выводимое из нейронной сети, является вектором, задающим вероятности для каждого возможного значения синтаксического элемента, и при этом значение, представляющее собой разность между предсказанием и синтаксическим элементом, является кодовым словом для каждого из значений синтаксического элемента на основе связанной с ним вероятности с использованием кодирования Хаффмана.

10. Способ по п.6, в котором упомянутые данные, декодированные перед синтаксическим элементом, содержат по меньшей мере одно из:

- значений ранее декодированных синтаксических элементов одного и того же типа по соседству с текущим блоком;

- восстановленных выборок в L-форме текущего блока;

- выборок предсказания текущего блока;

- восстановленных остатков текущего блока;

- выборок в L-форме опорного блока для текущего блока, когда текущий блок закодирован в интер-режиме;

- поля движения для текущего блока, когда текущий блок закодирован в интер-режиме;

- выборок предсказания текущего блока, сгенерированного с компенсацией движения с использованием упомянутого поля движения;

- параметра квантования;

- размера текущего блока.

11. Устройство для кодирования видео, содержащее память и один или более процессоров, выполненных с возможностью:

осуществлять доступ к бину синтаксического элемента, связанного с текущим блоком в кадре видео;

определять контекст для бина синтаксического элемента, связанный с упомянутым синтаксическим элементом; и

выполнять энтропийное кодирование бина синтаксического элемента на основе этого определенного контекста;

причем один или более процессоров дополнительно выполнены с возможностью:

определять посредством нейронной сети, для синтаксического элемента, предсказание синтаксического элемента в отношении данных, закодированных перед упомянутым синтаксическим элементом, каковые данные, закодированные перед синтаксическим элементом, содержат пространственную и временную информацию касаемо ранее закодированного блока или текущего блока; и

определять бин синтаксического элемента на основе значения, представляющего собой разность между предсказанием и синтаксическим элементом.

12. Устройство по п.11, при этом синтаксический элемент представляет собой флаг, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является значением XOR между предсказанием и флагом.

13. Устройство по п.11, при этом синтаксический элемент представляет собой целочисленное значение, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является разностью между предсказанием и значением синтаксического элемента.

14. Устройство по п.11, при этом предсказание синтаксического элемента, выводимое из нейронной сети, является вектором, задающим вероятности для каждого возможного значения синтаксического элемента, и при этом значение, представляющее собой разность между предсказанием и синтаксическим элементом, является кодовым словом для каждого из значений синтаксического элемента на основе связанной с ним вероятности с использованием кодирования Хаффмана.

15. Устройство по п.11, при этом упомянутые данные, закодированные перед упомянутым синтаксическим элементом, содержат по меньшей мере одно из:

- значений ранее закодированных синтаксических элементов одного и того же типа по соседству с текущим блоком;

- восстановленных выборок в L-форме текущего блока;

- выборок предсказания текущего блока;

- восстановленных остатков текущего блока;

- выборок в L-форме опорного блока для текущего блока, когда текущий блок закодирован в интер-режиме;

- поля движения для текущего блока, когда текущий блок закодирован в интер-режиме;

- выборок предсказания текущего блока, сгенерированного с компенсацией движения с использованием упомянутого поля движения;

- параметра квантования;

- размера текущего блока.

16. Устройство для декодирования видео, содержащее память и один или более процессоров, выполненных с возможностью:

осуществлять доступ к закодированному бину синтаксического элемента, связанного с текущим блоком в кадре закодированного видео;

определять контекст для бина синтаксического элемента, связанный с упомянутым синтаксическим элементом; и

выполнять энтропийное декодирование закодированного бина синтаксического элемента на основе этого определенного контекста;

причем один или более процессоров дополнительно выполнены с возможностью:

определять посредством нейронной сети, для синтаксического элемента, предсказание синтаксического элемента в отношении данных, декодированных перед упомянутым синтаксическим элементом, каковые данные, декодированные перед синтаксическим элементом, содержат пространственную и временную информацию касаемо ранее декодированного блока или текущего блока;

определять синтаксический элемент в отношении этого определенного предсказания синтаксического элемента и декодированного бина синтаксического элемента, при этом декодированный бин синтаксического элемента является значением, представляющим собой разность между предсказанием и синтаксическим элементом.

17. Устройство по п.16, при этом синтаксический элемент представляет собой флаг, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является значением XOR между предсказанием и флагом.

18. Устройство по п.16, при этом синтаксический элемент представляет собой целочисленное значение, и значение, представляющее собой разность между предсказанием и синтаксическим элементом, является разностью между предсказанием и значением синтаксического элемента.

19. Устройство по п.16, при этом предсказание синтаксического элемента, выводимое из нейронной сети, является вектором, задающим вероятности для каждого возможного значения синтаксического элемента, и при этом значение, представляющее собой разность между предсказанием и синтаксическим элементом, является кодовым словом для каждого из значений синтаксического элемента на основе связанной с ним вероятности с использованием кодирования Хаффмана.

20. Устройство по п.16, при этом упомянутые данные, декодированные перед синтаксическим элементом, содержат по меньшей мере одно из:

- значений ранее декодированных синтаксических элементов одного и того же типа по соседству с текущим блоком;

- восстановленных выборок в L-форме текущего блока;

- выборок предсказания текущего блока;

- восстановленных остатков текущего блока;

- выборок в L-форме опорного блока для текущего блока, когда текущий блок закодирован в интер-режиме;

- поля движения для текущего блока, когда текущий блок закодирован в интер-режиме;

- выборок предсказания текущего блока, сгенерированного с компенсацией движения с использованием упомянутого поля движения;

- параметра квантования;

- размера текущего блока.