RU2021100103A - Преобразование изображения в кодировании видео с использованием оптимизации зависимости искажения от скорости передачи - Google Patents

Преобразование изображения в кодировании видео с использованием оптимизации зависимости искажения от скорости передачи Download PDF

Info

Publication number
RU2021100103A
RU2021100103A RU2021100103A RU2021100103A RU2021100103A RU 2021100103 A RU2021100103 A RU 2021100103A RU 2021100103 A RU2021100103 A RU 2021100103A RU 2021100103 A RU2021100103 A RU 2021100103A RU 2021100103 A RU2021100103 A RU 2021100103A
Authority
RU
Russia
Prior art keywords
codeword
representation
codewords
interval
input
Prior art date
Application number
RU2021100103A
Other languages
English (en)
Other versions
RU2021100103A3 (ru
RU2772104C2 (ru
Inventor
Пэн ИНЬ
Фанцзюнь ПУ
Таожань ЛУ
Тао ЧЭНЬ
Уолтер Дж. ГУСАК
Шон Томас Маккарти
Original Assignee
Долби Лабораторис Лайсэнзин Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Долби Лабораторис Лайсэнзин Корпорейшн filed Critical Долби Лабораторис Лайсэнзин Корпорейшн
Publication of RU2021100103A publication Critical patent/RU2021100103A/ru
Publication of RU2021100103A3 publication Critical patent/RU2021100103A3/ru
Application granted granted Critical
Publication of RU2772104C2 publication Critical patent/RU2772104C2/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Claims (58)

1. Видеопоток содержащий:
кодированный битовый поток, содержащий одно или более кодированных изображений во входном представлении кодовых слов;
элементы синтаксиса, относящиеся к метаданным преобразования для одного или более кодированных преобразованных изображений в кодированном битовом потоке, при этом метаданные преобразования содержат параметры для генерирования функции прямого преобразования на основании метаданных преобразования, при этом функция прямого преобразования отображает пиксели изображения из первого представления кодовых слов во входное представление кодовых слов, при этом метаданные преобразования содержат:
первый параметр для определения минимального индекса интервала, используемого при преобразовании;
второй параметр для определения максимального индекса интервала, используемого при преобразовании;
абсолютные дельта-значения кодового слова для каждого интервала во входном представлении кодовых слов; и
знаки абсолютных дельта-значений кодового слова для каждого интервала во входном представлении кодовых слов.
2. Видеопоток по п. 1, отличающийся тем, что функция прямого преобразования представлена как кусочно-линейная функция с линейными сегментами, полученными посредством метаданных преобразования.
3. Устройство для кодирования кодированных видеоданных, причем устройство содержит:
вход для приема входного изображения в первом представлении кодовых слов; и
процессор для генерирования функции прямого преобразования, отображающей пиксели входного изображения во второе представление кодовых слов, при этом генерирование функции прямого преобразования включает:
разделение входного изображения на множество пиксельных областей;
распределение каждой из пиксельных областей в один из множества интервалов кодовых слов согласно первой яркостной характеристике каждой пиксельной области;
вычисление показателя интервала для каждого из множества интервалов кодовых слов согласно второй яркостной характеристике каждой из пиксельных областей, распределенных в каждый из множества интервалов кодовых слов;
распределение некоторого количества кодовых слов во втором представлении кодовых слов в каждый из множества интервалов кодовых слов согласно показателю интервала каждого из множества интервалов кодовых слов и критерию оптимизации зависимости искажения от скорости передачи; и
генерирование функции прямого преобразования в ответ на распределение кодовых слов во втором представлении кодовых слов в каждый из множества интервалов кодовых слов.
4. Устройство по п. 3, отличающееся тем, что первая яркостная характеристика пиксельной области включает среднее значение яркости пикселей в пиксельной области.
5. Устройство по п. 3, отличающееся тем, что вторая яркостная характеристика пиксельной области включает дисперсию значений яркости пикселей в пиксельной области.
6. Устройство по п. 5, отличающееся тем, что вычисление показателя интервала для интервала кодовых слов включает вычисление среднего дисперсий значений яркости пикселей для всех пиксельных областей, распределенных в интервал кодовых слов.
7. Устройство по п. 3, отличающееся тем, что распределение некоторого количества кодовых слов во втором представлении кодовых слов в интервал кодовых слов согласно его показателю интервала включает:
отсутствие распределения кодовых слов в интервал кодовых слов, если никакие пиксельные области не распределены в интервал кодовых слов;
распределение первого количества кодовых слов, если показатель интервала для интервала кодовых слов ниже, чем верхнее пороговое значение; и
распределение второго количества кодовых слов в интервал кодовых слов в противном случае.
8. Устройство для восстановления кодированных видеоданных, причем устройство содержит:
вход для приема кодированного битового потока (122), содержащего одно или более кодированных преобразованных изображений во входном представлении кодовых слов;
вход для приема метаданных (207) преобразования для одного или более кодированных преобразованных изображений в кодированном битовом потоке; и
процессор, при этом процессор:
генерирует функцию (282) прямого преобразования на основании метаданных преобразования, при этом функция прямого преобразования отображает пиксели изображения из первого представления кодовых слов во входное представление кодовых слов;
генерирует функцию (265-3) обратного преобразования на основании метаданных преобразования или функции прямого преобразования, при этом функция обратного преобразования отображает пиксели преобразованного изображения из входного представления кодовых слов в первое представление кодовых слов;
извлекает из кодированного битового потока кодированное преобразованное изображение, содержащее один или более кодированных элементов, при этом:
для CU с внешним кодированием (внешний CU) в кодированном преобразованном изображении:
применяет функцию (282) прямого преобразования к выборкам внешнего предсказания, хранящимся в опорном буфере в первом представлении кодовых слов, для генерирования преобразованных выборок предсказания для внешнего CU во входном представлении кодовых слов;
генерирует преобразованные восстановленные выборки внешнего CU на основании преобразованных разностей во внешнем CU и преобразованных выборок предсказания для внешнего CU;
применяет функцию (265-3) обратного преобразования к преобразованным восстановленным выборкам внешнего CU для генерирования декодированных выборок внешнего CU в первом представлении кодовых слов;
применяет контурный фильтр (270) к декодированным выборкам внешнего CU
для генерирования выходных выборок внешнего CU; и
сохраняет выходные выборки внешнего CU в опорном буфере; и
генерирует декодированное изображение в первом представлении кодовых слов на основании выходных выборок в опорном буфере.
9. Устройство по п. 8, отличающееся тем, что генерирование преобразованной восстановленной выборки (RecSample) внешнего CU включает вычисление:
RecSample=(Res+Fwd(PredSample)),
где Res обозначает преобразованную разность во внешнем CU во входном представлении кодовых слов, Fwd() обозначает функцию прямого преобразования, а PredSample обозначает выборку внешнего предсказания в первом представлении кодовых слов.
10. Устройство по п. 9, отличающееся тем, что генерирование выходной выборки, подлежащей хранению в опорном буфере (RecSampleInDPB), включает вычисление:
RecSampleInDPB = LPF(Inv(RecSample)),
где Inv() обозначает функцию обратного преобразования и LPF() обозначает контурный фильтр.
11. Устройство по п. 8, отличающееся тем, что для разностных выборок цветности в CU с внешним кодированием (внешний CU) во входном представлении кодовых слов дополнительно включает:
определение коэффициента масштабирования цветности на основании значений яркости пикселей во входном представлении кодовых слов и метаданных преобразования;
умножение разностных выборок цветности во внешнем CU на коэффициент масштабирования цветности для генерирования масштабированных разностных выборок цветности во внешнем CU в первом представлении кодовых слов;
генерирование восстановленных выборок цветности внешнего CU на основании масштабированных разностей цветности во внешнем CU и выборок внешнего предсказания цветности, хранящихся в опорном буфере, для генерирования декодированных выборок цветности внешнего CU;
применение контурного фильтра (270) к декодированным выборкам цветности внешнего CU
для генерирования выходных выборок цветности внешнего CU; и
сохранение выходных выборок цветности внешнего CU в опорном буфере.
12. Устройство по п. 11, отличающееся тем, что во внешнем режиме коэффициент масштабирования цветности основан на среднем значений яркости, полученных внешним предсказанием, во входном представлении кодовых слов.
13. Устройство по п. 8, отличающееся тем, что метаданные преобразования содержат:
первый параметр для определения минимального индекса интервала, используемого при преобразовании;
второй параметр для определения максимального индекса интервала, используемого при преобразовании;
первый набор параметров, указывающий абсолютные дельта-значения кодового слова для каждого интервала во входном представлении кодовых слов; и
второй набор параметров, указывающий знаки дельта-значений кодового слова для каждого интервала во входном представлении кодовых слов.
14. Устройство по п. 8, отличающееся тем, что функцию прямого преобразования восстанавливают как кусочно-линейную функцию с линейными сегментами, полученными посредством метаданных преобразования.
RU2021100103A 2018-02-14 2019-02-13 Преобразование изображения в кодировании видео с использованием оптимизации зависимости искажения от скорости передачи RU2772104C2 (ru)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US201862630385P 2018-02-14 2018-02-14
US62/630,385 2018-02-14
US201862691366P 2018-06-28 2018-06-28
US62/691,366 2018-06-28
US201862726608P 2018-09-04 2018-09-04
US62/726,608 2018-09-04
US201862739402P 2018-10-01 2018-10-01
US62/739,402 2018-10-01
US201862772228P 2018-11-28 2018-11-28
US62/772,228 2018-11-28
US201862782659P 2018-12-20 2018-12-20
US62/782,659 2018-12-20
US201962792122P 2019-01-14 2019-01-14
US62/792,122 2019-01-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2020126572A Division RU2741586C1 (ru) 2018-02-14 2019-02-13 Преобразование изображения в кодировании видео с использованием оптимизации зависимости искажения от скорости передачи

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2022111114A Division RU2022111114A (ru) 2018-02-14 2022-04-22 Преобразование изображения в кодировании видео с использованием оптимизации зависимости искажения от скорости передачи

Publications (3)

Publication Number Publication Date
RU2021100103A true RU2021100103A (ru) 2021-02-16
RU2021100103A3 RU2021100103A3 (ru) 2021-10-19
RU2772104C2 RU2772104C2 (ru) 2022-05-16

Family

ID=

Also Published As

Publication number Publication date
CL2021003512A1 (es) 2022-08-19
AU2019222715A1 (en) 2020-08-27
US11395009B2 (en) 2022-07-19
IL276062B2 (en) 2023-09-01
ZA202206622B (en) 2023-11-29
KR102487032B1 (ko) 2023-01-11
SG11202006779RA (en) 2020-08-28
US20210211738A1 (en) 2021-07-08
JP2021513284A (ja) 2021-05-20
JP7353401B2 (ja) 2023-09-29
JP2023166582A (ja) 2023-11-21
CN117097903A (zh) 2023-11-21
CN117082248A (zh) 2023-11-17
KR102435014B1 (ko) 2022-08-23
IL276062B1 (en) 2023-05-01
IL305463A (en) 2023-10-01
KR20200101990A (ko) 2020-08-28
WO2019160986A1 (en) 2019-08-22
ZA202104693B (en) 2023-01-25
MX2020008499A (es) 2020-09-25
JP7024102B2 (ja) 2022-02-22
RU2021100103A3 (ru) 2021-10-19
EP3753253A1 (en) 2020-12-23
CN117135355A (zh) 2023-11-28
IL276062A (en) 2020-08-31
KR20220087569A (ko) 2022-06-24
AU2021282439A1 (en) 2021-12-23
CL2020002090A1 (es) 2020-10-23
RU2741586C1 (ru) 2021-01-27
AU2023203814A1 (en) 2023-07-13
AU2021282439B2 (en) 2023-03-30
CA3142715A1 (en) 2019-08-22
CA3091190C (en) 2023-12-05
US20220224946A1 (en) 2022-07-14
CN111713108B (zh) 2023-10-20
TW201941606A (zh) 2019-10-16
BR112020015394A2 (pt) 2020-12-08
CA3091190A1 (en) 2019-08-22
CN117082247A (zh) 2023-11-17
KR20230021187A (ko) 2023-02-13
TW202320544A (zh) 2023-05-16
IL300136A (en) 2023-03-01
TWI787460B (zh) 2022-12-21
JP2022058944A (ja) 2022-04-12
AU2019222715B2 (en) 2021-09-16
KR20220120713A (ko) 2022-08-30
KR102625573B1 (ko) 2024-01-16
KR102457485B1 (ko) 2022-10-24
IL300136B2 (en) 2024-02-01
CN117082246A (zh) 2023-11-17
UA126871C2 (uk) 2023-02-15
KR102409649B1 (ko) 2022-06-22
CN111713108A (zh) 2020-09-25
CL2021000102A1 (es) 2021-07-02
KR20220145423A (ko) 2022-10-28
IL300136B1 (en) 2023-10-01
MA51865A (fr) 2020-12-23
KR20230010062A (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
US11683522B2 (en) Adaptive switching of color spaces, color sampling rates and/or bit depths
US11166042B2 (en) Encoding/decoding with flags to indicate switching of color spaces, color sampling rates and/or bit depths
US20210120253A1 (en) High dynamic range image/video coding
JP7356478B2 (ja) カラー・ピクチャを符号化および復号する方法および装置
RU2648276C1 (ru) Корректировка квантования/масштабирования и обратного квантования/масштабирования при переключении цветовых пространств
BR112020003037A2 (pt) sistema e método de ajuste de faixa dinâmico de componente cruzado (cc-dra) em codificação de vídeo
CN113748677A (zh) 编码器、解码器及对应的帧内预测方法
JP5608245B2 (ja) イメージエンコーダ、イメージデコーダ、符号化されたイメージデータを提供するための方法、イメージデータを復号化するための方法およびコンピュータプログラム
CN108476325B (zh) 用于高动态范围颜色转换校正的介质、方法和设备
JP2018525883A (ja) カラー・ピクチャを符号化および復号する方法およびデバイス
KR20060045712A (ko) 이미지 및 비디오의 예측 무손실 코딩 방법
CN112042202B (zh) 解码图片缓冲区管理及动态范围调整
JP2017522794A (ja) ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置
CN113597761A (zh) 帧内预测方法和装置
CN113660489B (zh) 用于帧内子划分的解码方法、装置、解码器和存储介质
TW202127884A (zh) 用於用於視訊譯碼的跨分量適應性環路濾波的位元位移
JP7247349B2 (ja) イントラ予測のための成分間線形モデリングの方法、装置、デコーダ、エンコーダ、およびプログラム
CN113615178A (zh) 视频译码中的色度帧内预测
RU2021100103A (ru) Преобразование изображения в кодировании видео с использованием оптимизации зависимости искажения от скорости передачи
TW202141979A (zh) 用於針對具有基於聯合圖元/變換的量化的視訊解碼的量化參數控制的方法
KR20210008080A (ko) 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법
RU2022111114A (ru) Преобразование изображения в кодировании видео с использованием оптимизации зависимости искажения от скорости передачи
CN114900702B (zh) 降低平面模式的帧内预测的复杂度的编解码器和对应方法
Hsiao et al. Dual-Layer Lossless Coding for Infrared Video
CN116830575A (zh) 用于对具有不同位深度的视频信号进行哈达玛变换域滤波的方法和装置