RU2682838C1 - Method and device for coding with transformation with choice of transformation of the block level and implicit alarm system within the framework of the hierarchical division - Google Patents

Method and device for coding with transformation with choice of transformation of the block level and implicit alarm system within the framework of the hierarchical division Download PDF

Info

Publication number
RU2682838C1
RU2682838C1 RU2018114968A RU2018114968A RU2682838C1 RU 2682838 C1 RU2682838 C1 RU 2682838C1 RU 2018114968 A RU2018114968 A RU 2018114968A RU 2018114968 A RU2018114968 A RU 2018114968A RU 2682838 C1 RU2682838 C1 RU 2682838C1
Authority
RU
Russia
Prior art keywords
information
transform
hidden
transform coefficients
coefficients
Prior art date
Application number
RU2018114968A
Other languages
Russian (ru)
Inventor
Алексей Константинович Филиппов
Василий Алексеевич Руфицкий
Original Assignee
Хуавей Текнолоджиз Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Хуавей Текнолоджиз Ко., Лтд. filed Critical Хуавей Текнолоджиз Ко., Лтд.
Application granted granted Critical
Publication of RU2682838C1 publication Critical patent/RU2682838C1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

FIELD: coding.SUBSTANCE: invention relates to the encoding and decoding of the image. To implement the technical result, the invention provides an encoder, a decoder and a method for decoding the input bitstream into a decoded image, besides the method contains the steps where: receive from the original image input data located in the conversion unit, convert it, in accordance with the type of conversion, selected from a set of transform types, perform quantization of transform coefficients to generate quantized transform coefficients, generate index information adapted to identify the selected conversion type from the set of transformation types, determine the information to be hidden, besides the information to be hidden is at least a part of the index information, and hide the information that should to be hidden in the quantized transform coefficients.EFFECT: technical result of the invention is to improve the quality of encoding and decoding of images, as well as improving the efficiency of using quantized transform coefficients in encoding and decoding.15 cl, 9 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Настоящее изобретение в целом относится к области кодирования и декодирования изображений, являющихся неподвижными изображениями или видеоизображениями, и конкретно относится к кодированию исходного изображения в выходной битовый поток с использованием квантованных коэффициентов преобразования и к декодированию входного битового потока в декодированное изображение с использованием обратно преобразованных коэффициентов преобразования. Настоящее изобретение дополнительно относится к кодеру для кодирования исходного изображения и декодеру для декодирования входного битового потока с использованием обратно преобразованных коэффициентов преобразования. Кроме того, настоящее изобретение относится к компьютерной программе, имеющей программный код для выполнения данного способа.The present invention generally relates to the field of encoding and decoding images that are still images or video images, and specifically relates to encoding an original image into an output bitstream using quantized transform coefficients and to decoding an input bitstream into a decoded image using inverse transformed transform coefficients. The present invention further relates to an encoder for encoding an original image and a decoder for decoding an input bitstream using inverse transformed transform coefficients. In addition, the present invention relates to a computer program having program code for performing this method.

Уровень техникиState of the art

Приложения цифровой видеосвязи и способ хранения информации реализуются широким спектром цифровых устройств, например, цифровыми камерами, сотовыми радиотелефонами, ноутбуками, системами радиовещания, системами видеоконференцсвязи и т.д. Одной из наиболее важных и сложных задач этих приложений является сжатие видео. Задача сжатия видео сложна и ограничена двумя противоречивыми параметрами: эффективностью сжатия и вычислительной сложностью. Стандарты кодирования видео, такие как ITU-T H.264/AVC или ITU-T H.265/HEVC, обеспечивают компромисс между этими параметрами. По этой причине, поддержка стандартов кодирования видео является обязательным требованием для практически любого приложения сжатия видео.Digital video communication applications and a method of storing information are implemented by a wide range of digital devices, for example, digital cameras, cellular radiotelephones, laptops, broadcasting systems, video conferencing systems, etc. One of the most important and complex tasks of these applications is video compression. The task of video compression is complex and limited by two conflicting parameters: compression efficiency and computational complexity. Video encoding standards, such as ITU-T H.264 / AVC or ITU-T H.265 / HEVC, provide a compromise between these parameters. For this reason, support for video coding standards is a must for almost any video compression application.

Современные стандарты кодирования видео основаны на разбиении исходного изображения на блоки. Обработка этих блоков зависит от их размера, пространственного положения и режима кодирования, заданного кодером. Режимы кодирования можно разделить на две группы в соответствии с типом предсказания: режимы внутреннего и внешнего предсказания. В режимах внутреннего предсказания используют пиксели одного и того же изображения для генерирования опорных выборок для вычисления значений предсказания для пикселей восстанавливаемого блока. Внутреннее предсказание можно также назвать пространственным предсказанием. Режимы внешнего предсказания предназначены для временного предсказания и используют опорные выборки предшествующих или следующих изображений для предсказания пикселей блока текущего изображения. После этапа предсказания выполняют кодирование преобразования для определения ошибки предсказания или остаточной ошибки, то есть, разностной величины между исходным сигналом и его предсказанием. Затем коэффициенты преобразования и вспомогательная информация кодируются с использованием энтропийного кодера, например, посредством контекстно-адаптивного двоичного арифметического кодирования, CABAC, для AVC/H.264 и HEVC/H.265.Modern video coding standards are based on breaking the source image into blocks. The processing of these blocks depends on their size, spatial position and coding mode specified by the encoder. Coding modes can be divided into two groups according to the type of prediction: modes of internal and external prediction. In intra prediction modes, pixels of the same image are used to generate reference samples to calculate prediction values for pixels of the reconstructed block. Intrinsic prediction can also be called spatial prediction. Inter prediction modes are designed for temporal prediction and use reference samples of previous or next images to predict the pixels of the current image block. After the prediction step, conversion coding is performed to determine the prediction error or residual error, that is, the difference value between the original signal and its prediction. Then, the transform coefficients and auxiliary information are encoded using an entropy encoder, for example, through context adaptive binary arithmetic coding, CABAC, for AVC / H.264 and HEVC / H.265.

Очевидно, что ошибки предсказания имеют разные статистические данные для разных режимов предсказания и в значительной степени зависят от предсказанного контента. Следовательно, для разных случаев выгодны различные режимы преобразования с точки зрения производительности сжатия. Чтобы повысить эффективность кодирования на этапе кодирования преобразования, можно использовать множество преобразований, которые обладают разными степенями уплотнения энергии для разных конкретных случаев.Obviously, prediction errors have different statistics for different prediction modes and are largely dependent on the predicted content. Therefore, for different cases, various conversion modes are beneficial in terms of compression performance. In order to increase the coding efficiency at the stage of transform coding, many transformations can be used that have different degrees of energy compression for different specific cases.

Согласно первому примеру, известный и недавно принятый стандарт ITU-T H.265/HEVC, определенный в ISO/IEC 23008-2: 2013, «Информационные технологии. Высокоэффективное кодирование и доставка мультимедиа в гетерогенных средах. Часть 2: Высокоэффективное кодирование видео», ноябрь 2013 года, описывает набор современных инструментов кодирования видео, которые обеспечивают разумный компромисс между эффективностью кодирования и сложностью вычислений. Обзор стандарта ITU-T H.265/HEVC приведен в статье Gary J. Sullivan «Обзор стандарта высокоэффективного кодирования видео (HEVC)» в IEEE Transactions on Circuits and Systems for Video Technology, Vol , 22, № 12, декабрь 2012 г., все содержание которого включено в настоящий документ посредством ссылки.According to the first example, the well-known and recently adopted standard ITU-T H.265 / HEVC, defined in ISO / IEC 23008-2: 2013, “Information technology. Highly efficient coding and delivery of multimedia in heterogeneous environments. Part 2: Highly Effective Video Coding ”, November 2013, describes a set of modern video coding tools that provide a reasonable compromise between coding efficiency and computational complexity. An overview of the ITU-T H.265 / HEVC standard is given in an article by Gary J. Sullivan, “An Overview of the High Performance Video Coding Standard (HEVC)” in IEEE Transactions on Circuits and Systems for Video Technology, Vol. 22, No. 12, December 2012, all contents of which are incorporated herein by reference.

Стандарт кодирования видео HEVC/H.265 предусматривает разбивку исходного изображения на блоки, например, блоки кодирования, CUs. Каждый из CUs может быть дополнительно разделен на меньшие CUs или блоки предсказания, PUs. PU может быть предсказан посредством, как внутреннего, так и внешнего предсказания, в соответствии с типом обработки, применяемым для пикселей PU. В случае внешнего предсказания, PU представляет собой область пикселей, которая обрабатывается в режиме обработки с компенсацией движения, используя вектор движения, указанный для PU. Для внутреннего предсказания PU определяет режим предсказания для набора блоков преобразования, TUs. TU может иметь разные размеры, например, 4x4, 8x8, 16x16 и 32x32 пикселей, и может обрабатываться по-разному. Для кодирования TU выполняют преобразование, то есть, ошибка предсказания преобразуется дискретным косинусным преобразованием, DCT, или дискретным синусным преобразованием, DST в стандарте HEVC/H.265, которое применяют к внутрикодированным блокам, и затем квантуют. Следовательно, восстановленные пиксели содержат шум квантования и артефакты блочности, которые могут влиять на точность предсказания.The HEVC / H.265 video coding standard provides for breaking the source image into blocks, for example, coding blocks, CUs. Each of the CUs can be further divided into smaller CUs or prediction blocks, PUs. The PU can be predicted by both intra and inter prediction, according to the type of processing applied to the pixels of the PU. In the case of inter prediction, the PU is a region of pixels that is processed in the motion compensation processing mode using the motion vector specified for the PU. For intra prediction, the PU determines the prediction mode for the set of transform blocks, TUs. TUs can have different sizes, for example, 4x4, 8x8, 16x16 and 32x32 pixels, and can be handled differently. For TU coding, a transform is performed, that is, a prediction error is converted by a discrete cosine transform, DCT, or discrete sine transform, DST in the HEVC / H.265 standard, which is applied to intra-coded blocks, and then quantized. Consequently, the reconstructed pixels contain quantization noise and blocking artifacts, which can affect the accuracy of the prediction.

По сравнению с известными стандартами кодирования видео, использующими только одно преобразование для упрощения устройства, стандарт HEVC/H.265 определяет два типа преобразования для внутреннего кодирования: DST для блоков 4x4 и DCT для других блоков. Для блоков 4x4 выбирают DST, поскольку этот тип преобразования обеспечивает лучшее уплотнение энергии для небольших внутрипредсказанных блоков.Compared to well-known video coding standards that use only one conversion to simplify the device, the HEVC / H.265 standard defines two types of conversion for internal coding: DST for 4x4 blocks and DCT for other blocks. For 4x4 blocks, DST is chosen because this type of conversion provides better energy compaction for small intra-predicted blocks.

Согласно дополнительному примеру, в JM/KTA предлагают известное направленное преобразование, зависящее от режима, MDDT, для компактных остаточных значений, полученных путем внутреннего предсказания, поскольку остаточная величина обычно имеют высокую энергию по направлению предсказания, при этом контуры более трудно предсказать, чем ровные области. Преобразование состоит из серии предопределенных отдельных преобразований; каждое преобразование эффективно при уплотнении энергии вдоль одного из направлений предсказания, что благоприятствует одному из режимов внутреннего предсказания. Тип MDDT соотносится с выбранным режимом внутреннего предсказания, поэтому явно не сигнализируется.According to a further example, the JM / KTA offers a well-known mode-dependent directional transformation, MDDT, for compact residual values obtained by intra-prediction, since the residual value usually has high energy in the prediction direction, and it is more difficult to predict the contours than even regions . A transformation consists of a series of predefined individual transformations; each transformation is effective in compressing energy along one of the directions of prediction, which favors one of the modes of internal prediction. The MDDT type corresponds to the selected intra prediction mode, therefore, it is not explicitly signaled.

Для ошибок внешнего предсказания, которые также содержат информацию о направлении, MDDT не может использоваться, если только направления контуров явным образом не обнаружены и не переданы. Однако представленная таким образом дополнительная информация является значительной и ухудшает общее повышение производительности. Следовательно, MDDT предлагается только для внутрикодированных макроблоков.For inter prediction errors, which also contain directional information, MDDT cannot be used unless contour directions are explicitly detected and transmitted. However, the additional information presented in this way is significant and worsens the overall increase in productivity. Therefore, MDDT is only offered for intra-coded macroblocks.

Предварительно определены двадцать два различных типов преобразования для 22 режимов внутреннего предсказания; каждое из них состоит из двух матриц преобразования для горизонтального и вертикального преобразований. Память для хранения всех MDDT матриц составляет около 1.5Kb. Матрицы преобразования получают на основании большого набора видеопоследовательностей, которые все внутрикодированы. Все блоки подразделяются на 22 категории, в соответствии с их соответствующими режимами внутреннего предсказания. Для каждой категории блоков вычисляют горизонтальные и вертикальные матрицы корреляции ошибок предсказания, из которых собственные векторы использую для построения матриц горизонтального и вертикального преобразования, соответственно. Процедура получения матрицы MDDT аналогична процедуре Karhunen-Loève-преобразованию, KLT, но MDDT не является оптимальной, поскольку MDDT является разделимой и разработано на основании общих статистических данных, что может не соответствовать локальным статистическим данным определенных видеопоследовательностей. Кроме того, основные векторы MDDT, содержащие только целые числа, представляют собой масштабированные и округленные версии собственных векторов и не ортогональны друг другу.Twenty-two different conversion types are predefined for 22 intra prediction modes; each of them consists of two transformation matrices for horizontal and vertical transformations. The memory for storing all MDDT matrices is about 1.5Kb. Transformation matrices are obtained based on a large set of video sequences, which are all intra-coded. All blocks are divided into 22 categories, in accordance with their respective modes of internal prediction. For each category of blocks, horizontal and vertical correlation matrices of prediction errors are calculated, of which I use eigenvectors to construct horizontal and vertical transformation matrices, respectively. The procedure for obtaining the MDDT matrix is similar to the Karhunen-Loève transform, KLT, but the MDDT is not optimal, since the MDDT is separable and developed on the basis of general statistical data, which may not correspond to the local statistics of certain video sequences. In addition, MDDT main vectors containing only integers are scaled and rounded versions of eigenvectors and are not orthogonal to each other.

Хорошо известно, что различные типы преобразования эффективно обрабатывают горизонтальные и вертикальные контуры, поскольку основные изображения содержат только горизонтальные и вертикальные контуры, например, шахматные доски. В MDDT тип раздельного преобразования используют для уплотнения энергии по произвольным направлениям, что кажется довольно противоречивым. Основные изображения MDDT для разных режимов внутреннего предсказания хорошо известны. Обнаружено, что, хотя основные изображения также используют шаблоны шахматной доски, положения нулевого пересечения отличаются от положений DCT или целочисленного косинусного преобразования, ICT.It is well known that various types of transformations efficiently process horizontal and vertical contours, since the main images contain only horizontal and vertical contours, for example, chessboards. In MDDT, the type of split conversion is used to compress energy in arbitrary directions, which seems rather contradictory. MDDT core images for various intra prediction modes are well known. It has been found that although the main images also use checkerboard patterns, the zero crossing positions are different from the DCT or integer cosine transform, ICT.

В MDDT, руководствуясь статистическим наблюдением, можно утверждать, что каждый внутренний режим имеет определенную информацию о направлении, и одна матрица преобразования используется для каждого внутреннего режима. Хотя это не требует дополнительной сигнализации информации или величины искажения в каждом внутреннем режиме, одна матрица преобразования может не учитывать потенциальную изменчивость остаточных характеристик из-за разнообразия контента изображения.In MDDT, guided by statistical observation, it can be argued that each internal mode has certain direction information, and one transformation matrix is used for each internal mode. Although this does not require additional signaling of information or the amount of distortion in each internal mode, one transformation matrix may not take into account the potential variability of the residual characteristics due to the variety of image content.

В соответствии с дополнительным примером, в известном преобразовании с оптимизированной величиной искажения в зависимости от скорости передачи, RDOT, остаточное предсказание преобразуют с использованием различных базисных функций, и наилучшее значение выбирается с точки зрения величины искажения в зависимости от скорости передачи, R-D. В RDOT для каждого внутреннего направления существуют различные К-пары кандидатов вертикального и горизонтального преобразования, подготовленные в автономном режиме, которые генерируют полностью K различные пути преобразования для каждого внутреннего режима. Кодер тестирует все кандидаты и выбирает оптимальный путь с минимальным R-D значением стоимости. Индексы преобразования явно сигнализируются в битовом потоке. По сравнению с MDDT, RDOT дополнительно уточняет тип преобразования, предписывая, как режим, так и зависимость данных и, таким образом, в области преобразования может быть достигнуто лучшее уплотнение энергии. Хотя RDOT может расширять MDDT, предоставляя больше матриц преобразования для каждого пути преобразования, кодер должен выполнять преобразование, квантование, энтропийное кодирование, деквантование, обратное преобразование и восстановление, что предполагает наличие большей вычислительной нагрузки на кодер.According to a further example, in a known conversion with an optimized distortion value depending on the transmission rate, RDOT, residual prediction are converted using various basis functions, and the best value is selected in terms of the distortion value depending on the transmission rate, R-D. In the RDOT, for each internal direction, there are different K-pairs of vertical and horizontal transformation candidates prepared in stand-alone mode that completely generate K different transformation paths for each internal mode. The encoder tests all candidates and selects the optimal path with a minimum R-D value. Conversion indices are explicitly signaled in the bitstream. Compared to MDDT, RDOT further refines the type of conversion, prescribing both the mode and the dependence of the data, and thus better energy compaction can be achieved in the area of conversion. Although the RDOT can extend the MDDT by providing more transform matrices for each transform path, the encoder must perform transform, quantization, entropy encoding, dequantization, inverse transform, and reconstruction, which implies a greater computational load on the encoder.

В свете этого ограничения могут также использоваться несколько схем быстрого RDOT для совместного ускорения процесса кодирования, см. X. Zhao, L. Zhang, S. Ma и W. Gao, «Кодирование видео посредством преобразования с оптимизированной величиной искажения в зависимости от скорости передачи», IEEE Trans. Circuits Syst. Video Technol., Vol. 22, no. 1, стр. 138-151, январь 2012 г. Один из подходов заключается в использовании результатов DCT кодирования для пропуска ненужных RDOT путей. В частности, DCT реализуется до RDOT, и если R-D стоимость с DCT ниже порогового значения, то будет выполняться RDOT. Это указывает на то, что RDOT будет выполняться только тогда, когда DCT также может обеспечить хорошую производительность кодирования, поскольку оптимальные режимы кодирования, основанные на DCT и RDOT, сильно коррелированы. Другой подход заключается в применении ускорения кодирования яркости, LCS, технологии в RDOT. В LCS результаты кодирования яркости для режима DC внутреннего предсказания для цветности восстанавливают для остальных режимов.In light of this limitation, several fast RDOT schemes can also be used to jointly speed up the encoding process, see X. Zhao, L. Zhang, S. Ma, and W. Gao, “Video Encoding by Conversion with Optimized Distortion Depending on Bit Rate” , IEEE Trans. Circuits Syst. Video Technol., Vol. 22, no. 1, pp. 138-151, January 2012. One approach is to use DCT coding results to skip unnecessary RDOT paths. In particular, the DCT is implemented before the RDOT, and if the R-D cost with the DCT is lower than the threshold, then the RDOT will be executed. This indicates that RDOT will only be performed when the DCT can also provide good coding performance, since the optimal coding modes based on DCT and RDOT are strongly correlated. Another approach is to use brightness coding acceleration, LCS, technology in RDOT. In LCS, the luminance coding results for the intra prediction mode for chroma are restored for the remaining modes.

В отличие от подходов, основанных на подстройке, согласно раздельному 2-D кодированию двумерным преобразованием DCT при кодировании изображений, R.A. Cohen, S. Klomp, A. Vetro и H. Sun предлагают новую структуру адаптивно-направленного остаточного преобразования, DART, в своей работе «Адаптивно-направленное кодирование с преобразованием остаточного предсказания», в Proc. IEEE Int. Conf. Процесс обработки изображения. (ICIP), 2010, стр. 185-188. DART содержит первичное и вторичное преобразование. На этапе первичного преобразования DART различные 1-D преобразования используют по каждому ориентированному пути в каждом направлении. Тогда только DC коэффициенты, сгенерированные на первом этапе, обрабатываются посредством DCT на этапе вторичного преобразования. В некоторых случаях наблюдают короткие DCT пути, что может ограничить DCT спецификацию. Для решения этой технической задачи выполняют свертывание пути объединением пикселей от соседних сканирований. По сравнению с существующими зависимыми от направления преобразованиями, основанные на KLT режиме, этот способ является более гибким, поскольку не требует подстройки. DART схема была внедрена в программное обеспечение H.264/KTA, и получают лучшие характеристики кодирования по сравнению с MDDT.In contrast to tuning-based approaches, according to separate 2-D coding by two-dimensional DCT transform for image coding, R.A. Cohen, S. Klomp, A. Vetro, and H. Sun offer a new adaptive directional residual transform structure, DART, in their work, Adaptively Directional Coding with Residual Prediction Conversion, in Proc. IEEE Int. Conf. Image processing process. (ICIP), 2010, pp. 185-188. DART contains primary and secondary conversion. In the initial DART conversion step, various 1-D transformations are used for each oriented path in each direction. Then only the DC coefficients generated in the first step are processed by the DCT in the secondary conversion step. In some cases, short DCT pathways are observed, which may limit the DCT specification. To solve this technical problem, the path is minimized by combining pixels from neighboring scans. Compared to existing direction-dependent conversions based on KLT mode, this method is more flexible because it does not require adjustment. The DART circuit has been implemented in the H.264 / KTA software, and get better encoding characteristics compared to MDDT.

Согласно дополнительному примеру, другим способом повышения эффективности кодирования с остаточным преобразованием является использование адаптивного множественного преобразования, AMT, также называемого усовершенствованным множественным преобразованием, EMT, см. Gary Sullivan, Gill Boyce, Jianle Chen и Elena Alshina, «Будущее кодирования видео: Объединенная модель исследования 1 (JEM1) для исследования будущих технологий кодирования видео», ITU-T SG16 Q6, TD 213 (WP 3/16). В дополнение к DCT-II и 4x4 DST-VII, которые использовались в высокоэффективном кодировании видео, HEVC, AMT используется для остаточного кодирования как для внешне, так и для внутрикодированных блоков. Он использует множество выбранных преобразований из семейств DCT/DST, отличных от текущих преобразований в HEVC. Недавно представленные матрицы преобразования является DST-VII, DCT-VIII, DST-I и DCT-V.According to a further example, another way to increase the efficiency of residual transform coding is to use adaptive multiple transform, AMT, also called advanced multiple transform, EMT, see Gary Sullivan, Gill Boyce, Jianle Chen and Elena Alshina, “The Future of Video Encoding: A Combined Study Model 1 (JEM1) for research on future video coding technologies ”, ITU-T SG16 Q6, TD 213 (WP 3/16). In addition to DCT-II and 4x4 DST-VII, which were used in high-performance video coding, HEVC, AMT is used for residual coding for both externally and intra-coded blocks. It uses many selected transformations from the DCT / DST families, different from the current transformations in HEVC. The recently presented transformation matrix is DST-VII, DCT-VIII, DST-I and DCT-V.

На фиг.9 показана сигнализация кодирования с преобразованием в соответствии с ATM. AMT применяется к CUs меньшим, чем 64x64, и для всех TUs в пределах CU на CU уровне определяют, применять AMT или нет. Для каждого TU с АМТ в пределах CU, используемое горизонтальное или вертикальное преобразование сигнализируют индексом в выбранный набор преобразований. Каждый набор преобразований формируют путем выбора двух преобразований из вышеупомянутых матриц преобразования.Figure 9 shows the conversion coding signaling in accordance with ATM. AMT applies to CUs smaller than 64x64, and for all TUs within the CU at the CU level, it is determined whether or not to apply AMT. For each TU with AMT within the CU, the horizontal or vertical transform used is signaled by an index into the selected transform set. Each set of transforms is formed by selecting two transforms from the above transformation matrices.

Как показано на фиг.9, на CU уровне используют emtCuFlag флаг для выбора одного из двух вариантов. Первый вариант заключается в применении DCT-II (DCT2_EMT) к остаточному кодированию с преобразованием, которое не требует дополнительных бит. Второй вариант состоит в применении одного из преобразований, включенных в набор преобразований, обозначенных как EMT преобразования на фиг.9.As shown in FIG. 9, at the CU level, the emtCuFlag flag is used to select one of two options. The first option is to apply DCT-II (DCT2_EMT) to residual transform coding that does not require additional bits. The second option is to apply one of the transformations included in the set of transformations, designated as EMT transformations in Fig.9.

Согласно первому варианту, все TUs, содержащиеся в заданном CU, разбивают с использованием DCT-II. Согласно второму варианту, для каждого ТU необходимы два дополнительных бита сигнализации, так называемый emtTuIdx. Для внутреннего кодирования используют таблицу поиска для отображения режима внутреннего предсказания на набор преобразований, который содержит только два преобразования. Для внешнего кодирования всегда используют набор преобразований {DCT-VIII, DST-VII}. Таким образом, достаточно двух бит, чтобы кодировать с выбранными вертикальными и горизонтальными преобразованиями. Все перечисленные выше биты кодируют с использованием CABAC с контекстным моделированием.According to the first embodiment, all TUs contained in a given CU are broken using DCT-II. According to the second embodiment, for each TU two additional signaling bits are required, the so-called emtTuIdx. For internal coding, a lookup table is used to map the intra prediction mode to a set of transforms that contains only two transforms. For external coding, a set of transforms {DCT-VIII, DST-VII} is always used. Thus, two bits are enough to encode with the selected vertical and horizontal transforms. All of the bits listed above are encoded using context-modeled CABAC.

Для остаточного внутреннего предсказания наборы преобразований предварительно определены на основе режима внутреннего предсказания, поэтому каждый режим внутреннего предсказания имеет свой собственный набор преобразований. Например, один набор преобразований может быть {DCT-VIII, DST-VII}. Обратите внимание, что набор преобразований для горизонтального преобразования может отличаться от набора преобразования для вертикального преобразования даже для одного и того же режима внутреннего предсказания. Однако общее количество различных наборов преобразований для всех режимов внутреннего предсказания, а также количество вновь введенных преобразований, ограничено. Однако для остаточного внешнего предсказания используют только один набор преобразований для всех режимов внешнего предсказания и для горизонтальных и вертикальных преобразований.For residual intra prediction, transform sets are predefined based on the intra prediction mode, so each intra prediction mode has its own set of transforms. For example, one set of transformations may be {DCT-VIII, DST-VII}. Note that the transform set for horizontal transform may differ from the transform set for vertical transform even for the same intra prediction mode. However, the total number of different sets of transforms for all intra prediction modes, as well as the number of newly introduced transforms, is limited. However, for residual inter prediction, only one set of transforms is used for all inter prediction modes and for horizontal and vertical transforms.

Важным аспектом любой процедуры преобразования, в которой должно быть выбрано одно из нескольких преобразований, является сигнализация, поскольку сигнализация может значительно повлиять на производительность кодирования. В HEVC/H.265 сигнализация не требуется, поскольку тип преобразования может быть определен путем анализа режима внутреннего предсказания и размера блока. Аналогично, MMDT не требует никакой сигнализации, поскольку направленные преобразования однозначно отображаются на режимы внутреннего предсказания. В случае RDOT требуется сигнализация, поскольку преобразование выбирается в процедуре оптимизации величины искажения в зависимости от скорости передачи, RDO, и не может быть определен со стороны декодера без дополнительной информации, то есть, без сигнализации. AMT также требует сигнализации.An important aspect of any conversion procedure in which one of several conversions should be selected is signaling, since signaling can significantly affect coding performance. HEVC / H.265 does not require signaling because the type of transform can be determined by analyzing the intra prediction mode and block size. Similarly, MMDT does not require any signaling, since directional transforms are uniquely mapped to intra prediction modes. In the case of RDOT, signaling is required, since the conversion is selected in the procedure for optimizing the amount of distortion depending on the transmission rate, RDO, and cannot be determined by the decoder without additional information, that is, without signaling. AMT also requires signaling.

Технология скрытия данных знака в форме способа скрытия данных знака описана в Gordon Clare, Félix Henry, Joël Jung, «Скрытие данных знака», Orange Lab доклад на JCT-VC совещании, JCTVC-G273, Женева, ноябрь 2011. С незначительными модификациями упомянутый документ был принят для HEVC/H.265 стандарта, как технология скрытия бита, SBH. В случае сжатия видео, матрица квантованных коэффициентов преобразования может быть разбита на группы коэффициентов, CGs и преобразована в одномерный массив в соответствии с порядком сканирования коэффициентов, чтобы эти коэффициенты могли быть эффективно кодированы энтропийным кодером. Например, ITU T H.265/HEVC стандарт определяет горизонтальные, вертикальные и диагональные порядки сканирования. Выбор порядка сканирования в соответствии с этим стандартом зависит от режима предсказания блока и, следовательно, от статистических свойств остаточного сигнала.The technology for hiding sign data in the form of a method for hiding sign data is described in Gordon Clare, Félix Henry, Joël Jung, “Hiding Sign Data”, Orange Lab report at the JCT-VC meeting, JCTVC-G273, Geneva, November 2011. The document is mentioned with minor modifications. was adopted for the HEVC / H.265 standard as bit hiding technology, SBH. In the case of video compression, the matrix of quantized transform coefficients can be divided into groups of coefficients, CGs and converted into a one-dimensional array in accordance with the order of coefficient scanning, so that these coefficients can be effectively encoded by an entropy encoder. For example, the ITU T H.265 / HEVC standard defines horizontal, vertical, and diagonal scan orders. The choice of scan order in accordance with this standard depends on the prediction mode of the block and, therefore, on the statistical properties of the residual signal.

TU может быть разделен на несколько CGs, и в каждой CG указаны позиции первого и последнего ненулевых квантованных коэффициентов преобразования. Эти позиции могут быть указаны только в контексте конкретного порядка сканирования, поскольку первый и последний элементы могут быть определены только для упорядоченного набора.The TU can be divided into several CGs, and the positions of the first and last nonzero quantized transform coefficients are indicated in each CG. These positions can only be indicated in the context of a specific scanning order, since the first and last elements can only be determined for an ordered set.

Способ скрытия данных знака предполагает скрытие только одного флага знака в пределах заданного набора значений или изменяемых коэффициентов, который определяется как интервал, ограниченный последним и первым ненулевым квантованным коэффициентом преобразования. Этот способ выгоден не во всех случаях, и поэтому принято специальное решение о применении неявного или явного кодирования знака в пределах заданной CG.The method of hiding sign data involves hiding only one sign flag within a given set of values or variable coefficients, which is defined as an interval limited by the last and first non-zero quantized transform coefficient. This method is not beneficial in all cases, and therefore a special decision has been made to use implicit or explicit character encoding within a given CG.

Существует процедура проверки условий скрытия знака на стороне декодера. В частности, это решение основано на количестве коэффициентов преобразования или модифицируемых коэффициентов. Если это количество больше порогового значения, то первый знак первого коэффициента преобразования получают из четности суммы остатка. В противном случае, выполняется нормальное явное декодирование знаков коэффициентов, как изложено в US20130272424A1.There is a procedure for checking the conditions for hiding the character on the side of the decoder. In particular, this decision is based on the number of transform coefficients or modifiable coefficients. If this amount is greater than the threshold value, then the first sign of the first conversion coefficient is obtained from the parity of the sum of the remainder. Otherwise, normal explicit decoding of the coefficient signs is performed, as set forth in US20130272424A1.

В EP2675159A1 раскрыт способ скрытия многобитовой информации с использованием перекрывающихся подмножеств. Исходный набор коэффициентов преобразования в CG делится на частично перекрывающиеся подмножества, так что значения скрытых знаков для обоих частично перекрывающихся подмножеств можно контролировать посредством изменения значения в области перекрытия. Первый бит знака основан на значении четности, определяемом с использованием первого подмножества, и второй знаковый бит основан на значении четности, определяемом с использованием второго подмножества. Первое подмножество и второе подмножество перекрываются в том смысле, что коэффициенты являются частью обоих подмножеств.EP2675159A1 discloses a method for hiding multibit information using overlapping subsets. The original set of transform coefficients in CG is divided into partially overlapping subsets, so that the values of the hidden characters for both partially overlapping subsets can be controlled by changing the value in the overlapping area. The first sign bit is based on the parity value determined using the first subset, and the second sign bit is based on the parity value determined using the second subset. The first subset and the second subset overlap in the sense that the coefficients are part of both subsets.

Раскрытие сущности изобретенияDisclosure of the invention

Признав наличие вышеупомянутых недостатков и необходимость решения технических задач, настоящее изобретение направлено на повышение уровня техники. В частности, задачей настоящего изобретения является обеспечение кодера, декодера, способа кодирования и способа декодирования для повышения качества кодирования и декодирования изображений.Recognizing the presence of the aforementioned disadvantages and the need to solve technical problems, the present invention is aimed at improving the level of technology. In particular, it is an object of the present invention to provide an encoder, a decoder, an encoding method and a decoding method for improving the quality of encoding and decoding of images.

В частности, задачей настоящего изобретения является повышения эффективности использования квантованных коэффициентов преобразования в кодировании и декодировании. Варианты осуществления изобретения также повышают эффективность кодирования и декодирования с точки зрения механизма сигнализации для поддержки низкого уровня сигнализации.In particular, an object of the present invention is to increase the efficiency of using quantized transform coefficients in encoding and decoding. Embodiments of the invention also increase the efficiency of encoding and decoding in terms of a signaling mechanism to maintain a low signaling level.

Вышеупомянутая задача настоящего изобретения достигается решением, предусмотренным в прилагаемых независимых пунктах формулы изобретения. Полезные эффекты настоящего изобретения дополнительно определены в соответствующих зависимых пунктах формулы изобретения.The aforementioned object of the present invention is achieved by the solution provided in the attached independent claims. The beneficial effects of the present invention are further defined in the respective dependent claims.

Первый аспект настоящего изобретения обеспечивает кодер для кодирования исходного изображения в выходной битовый поток с использованием квантованных коэффициентов преобразования. Кодер содержит средство получения, выполненное с возможностью получения из исходного изображения входных данных, расположенных в блоке преобразования. Кодер содержит средство преобразования, выполненное с возможностью преобразования, в соответствии с типом преобразования, выбранным из набора типов преобразований, входных данных в коэффициенты преобразования. Кодер содержит средство квантования, выполненное с возможностью квантования коэффициентов преобразования для генерирования квантованных коэффициентов преобразования. Кодер содержит средство вычисления, выполненное с возможностью генерирования индексной информации для идентификации выбранного типа преобразования из набора типов преобразований, и определения информации, подлежащей сокрытию, при этом информация, которая должна быть скрыта, является, по меньшей мере, частью индексной информации. Кодер содержит средство сокрытия, выполненное с возможностью скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах преобразования.A first aspect of the present invention provides an encoder for encoding a source image into an output bitstream using quantized transform coefficients. The encoder comprises acquisition means configured to obtain input data located in a transform unit from an original image. The encoder comprises conversion means adapted to convert, in accordance with a type of transform selected from a set of transform types, input data into transform coefficients. The encoder comprises quantization means configured to quantize the transform coefficients to generate quantized transform coefficients. The encoder comprises calculation means configured to generate index information for identifying a selected type of transform from a set of transform types, and determining information to be hidden, wherein the information to be hidden is at least part of the index information. The encoder comprises a hiding means configured to hide information that should be hidden in the quantized transform coefficients.

Таким образом, предлагают скрыть информацию, относящуюся к выбранному типу преобразования, то есть скрыть информацию, адаптированную, по меньшей мере, для частичной идентификации выбранного типа преобразования из набора типов преобразования. Средство вычисления выгодно тем, что нет необходимости добавлять явную сигнализацию индексной информации в выходной битовый поток. Преимущественно явная сигнализация индексной информации может быть, по меньшей мере, снижена. Следовательно, битовая скорость выходного битового потока может быть уменьшена.Thus, it is proposed to hide information related to the selected type of transformation, that is, hide information adapted at least to partially identify the selected type of transformation from the set of transformation types. The computing means is advantageous in that there is no need to add explicit signaling of the index information to the output bitstream. Advantageously, explicit signaling of the index information can be at least reduced. Therefore, the bit rate of the output bitstream can be reduced.

В первом варианте реализации кодера, в соответствии с первым аспектом, информация, подлежащая скрытию, является индексной информацией, так что тип преобразования, выбранный из набора типов преобразования, может быть идентифицирован на основе скрытой информации.In a first embodiment of an encoder, in accordance with a first aspect, the information to be hidden is index information, so that a transform type selected from a set of transform types can be identified based on the hidden information.

Таким образом, скрыть всю индексную информацию, адаптированную для идентификации выбранного типа преобразования, выгодно тем, что для идентификации выбранного типа преобразования не требуется никакой другой информации. Дополнительная явная сигнализация не требуется в рамках выходного битового потока.Thus, to hide all index information adapted to identify the selected type of conversion, it is advantageous in that no other information is required to identify the selected type of conversion. Additional explicit signaling is not required within the output bitstream.

Во втором варианте реализации кодера, в соответствии с первым аспектом, кодер содержит средство сигнализации. Информация, которая должна быть скрыта, является частью индексной информации. Средство сигнализации выполнено с возможностью добавления в выходной битовый поток информации сигнализации, являющейся еще одной частью индексной информации, так, что тип преобразования, выбранный из набора типов преобразований, может быть идентифицирован на основании скрытой информации и информации сигнализации.In a second embodiment of an encoder, in accordance with a first aspect, the encoder comprises signaling means. Information that must be hidden is part of the index information. The signaling means is configured to add signaling information, which is another piece of index information, to the output bitstream, so that a transform type selected from a set of transform types can be identified based on hidden information and signaling information.

Таким образом, скрытая информация, состоящая только из части индексной информации, выгодна тем, что количество явной сигнализации, необходимой для идентификации выбранного типа преобразования, может быть уменьшено. Другими словами, скрытая информация, адаптированная для идентификации поднабора, содержащего выбранный тип преобразования, является предпочтительной. Выходной битовый поток может, например, содержать скрытую информацию в квантованных коэффициентах преобразования, а также информацию сигнализации, переданную как явную сигнализацию, причем упомянутая информация сигнализации добавляется к выходному битовому потоку в дополнение к квантованным коэффициентам преобразования. Затем скрытая информация позволяет идентифицировать поднабор, содержащий выбранный тип преобразования, и дополнительная информация сигнализации позволяет идентифицировать выбранный тип преобразования в пределах поднабора. Поскольку нет необходимости, чтобы сигнальная информация идентифицировала выбранный тип преобразования во всем наборе типов преобразования, размер или количество информации сигнализации может быть уменьшено.Thus, hidden information, consisting only of a part of the index information, is advantageous in that the amount of explicit signaling necessary to identify the selected type of conversion can be reduced. In other words, hidden information adapted to identify a subset containing the selected type of transformation is preferred. The output bitstream may, for example, contain hidden information in the quantized transform coefficients, as well as signaling information transmitted as an explicit signaling, said signaling information being added to the output bitstream in addition to the quantized transform coefficients. Then, the hidden information allows you to identify the subset containing the selected type of conversion, and additional signaling information allows you to identify the selected type of transformation within the subset. Since it is not necessary that the signaling information identifies the selected transform type in the entire set of transform types, the size or amount of signaling information can be reduced.

В третьем варианте реализации кодера, в соответствии с первым аспектом, средство скрытия выполнено с возможностью скрытия информации, которая должна быть скрыта, в квантованных коэффициентах преобразования, в зависимости от условия сокрытия.In the third embodiment of the encoder, in accordance with the first aspect, the hiding means is configured to hide the information that should be hidden in the quantized transform coefficients, depending on the hiding condition.

В четвертой варианте реализации кодера, в соответствии с первым аспектом, условие сокрытия содержит сравнение параметра, зависящего от квантованных коэффициентов преобразования, с пороговым значением. Средство скрытия выполнено с возможностью проверки условия сокрытия, и скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах преобразования, только если условие сокрытия истинно.In a fourth embodiment of the encoder, in accordance with the first aspect, the hiding condition comprises comparing a parameter depending on the quantized transform coefficients with a threshold value. The hiding means is configured to check the hiding condition, and to hide information that should be hidden in the quantized transform coefficients, only if the hiding condition is true.

В пятом варианте реализации кодера, в соответствии с первым аспектом, если условие сокрытия является ложным, средство сигнализации выполнено с возможностью добавления в выходной битовый поток информации сигнализации, являющейся индексной информацией.In the fifth embodiment of the encoder, in accordance with the first aspect, if the hiding condition is false, the signaling means is configured to add signaling information, which is index information, to the output bitstream.

В шестом варианте реализации кодера, в соответствии с первым аспектом, кодер содержит средство разбиения, выполненное с возможностью рекурсивного разбиения исходного изображения в соответствии с иерархически уровневой структурой данных, причем один уровень структуры данных является блоком преобразования. В соответствии с первым альтернативным вариантом, средство скрытия выполнено с возможностью скрывать первую часть информации, которая должна быть скрыта, в первом уровне структуры данных, и вторую часть информации, которая должна быть скрыта, во втором уровне структуры данных, которая отличается от первого уровня. Согласно второму альтернативному варианту, информация, которая должна быть скрыта, является частью индексной информации, и средство скрытия выполнено с возможностью скрывать информацию, которая должна быть скрыта, в первом уровне структуры данных, и средство сигнализации выполнено с возможностью добавления в выходной битовый поток информации сигнализации, которая является другой частью индексной информации во втором уровне структуры данных, которая отличается от первого уровня.In a sixth embodiment of an encoder, in accordance with a first aspect, the encoder comprises decomposing means configured to recursively decompose the original image in accordance with a hierarchical level data structure, wherein one level of the data structure is a transform unit. According to a first alternative, the concealment means is configured to hide the first part of the information that should be hidden in the first level of the data structure, and the second part of the information that should be hidden in the second level of the data structure, which is different from the first level. According to a second alternative embodiment, the information to be hidden is part of the index information, and the hiding means is configured to hide the information to be hidden in the first level of the data structure, and the signaling means is configured to add signaling information to the output bitstream , which is another piece of index information in the second level of the data structure, which is different from the first level.

В седьмом варианте реализации кодера, в соответствии с первым аспектом, кодер содержит средство разбиения, выполненное с возможностью рекурсивного разбиения исходного изображения, в соответствии с иерархически уровневой структурой данных, причем один уровень структуры данных является блоком преобразования. Средство разбиения выполнено с возможностью разбиения блока преобразования на множество групп коэффициентов. Средство скрытия выполнено с возможностью скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах преобразования, расположенных, по меньшей мере, в одной из множества групп коэффициентов.In a seventh embodiment of an encoder, in accordance with a first aspect, the encoder comprises decomposing means configured to recursively decompose the original image in accordance with a hierarchical level data structure, wherein one level of the data structure is a transform unit. The splitting means is configured to split the transform block into a plurality of coefficient groups. The concealment means is configured to hide information that should be hidden in the quantized transform coefficients located in at least one of the plurality of coefficient groups.

В восьмом варианте реализации кодера, в соответствии с первым аспектом, средство вычисления выполнено с возможностью применения контрольной функции к квантованным коэффициентам преобразования для получения результата функции проверки. Средство вычисления выполнено с возможностью определения, соответствует ли результат функции проверки информации, подлежащей сокрытию. Если результат функции проверки не соответствует информации, подлежащей сокрытию, средство вычисления выполнено с возможностью модификации, по меньшей мере, одного из квантованных коэффициентов преобразования, так что результат функции проверки соответствует информации, подлежащей сокрытию.In an eighth embodiment of an encoder, in accordance with a first aspect, the computing means is adapted to apply a control function to the quantized transform coefficients to obtain a result of the verification function. The calculation means is arranged to determine whether the result of the function of checking the information to be hidden. If the result of the verification function does not correspond to the information to be hidden, the calculation means is adapted to modify at least one of the quantized transform coefficients, so that the result of the verification function corresponds to the information to be hidden.

В девятом варианте реализации кодера, в соответствии с первым аспектом, информация, подлежащая сокрытию, содержит флаг, имеющий первое и второе значение. Первое значение идентифицирует, что тип преобразования по умолчанию, набора типов преобразований, является выбранным типом преобразования. Второе значение указывает, что выбранный тип преобразования состоит из поднабора, содержащийся в наборе типов преобразования без типа преобразования по умолчанию.In a ninth embodiment of an encoder, in accordance with a first aspect, information to be hidden comprises a flag having a first and second value. The first value identifies that the default transform type, the set of transform types, is the selected transform type. The second value indicates that the selected transform type consists of a subset contained in the transform type set without the default transform type.

Второй аспект настоящего изобретения обеспечивает декодер для декодирования входного битового потока в декодированное изображение с использованием обратно преобразованных коэффициентов преобразования. Декодер содержит средство получения, выполненное с возможностью получения из входного битового потока квантованных коэффициентов преобразования, расположенных в блоке преобразования. Декодер содержит средство деквантования, выполненное с возможностью деквантования квантованных коэффициентов преобразования для генерирования коэффициентов преобразования. Декодер содержит средство вычисления, выполненное с возможностью восстановления скрытой информации из квантованных коэффициентов преобразования, причем скрытая информация является, по меньшей мере, частью индексной информации. Декодер содержит средство обратного преобразования, выполненное с возможностью выполнения обратного преобразования, в соответствии с типом преобразования, идентифицированным из набора типов преобразований посредством индексной информации, коэффициентов преобразования в обратные преобразованные коэффициенты преобразования.A second aspect of the present invention provides a decoder for decoding an input bitstream into a decoded image using inverse transformed transform coefficients. The decoder comprises receiving means configured to obtain quantized transform coefficients located in the transform block from the input bitstream. The decoder comprises a dequantization means configured to dequantize the quantized transform coefficients to generate transform coefficients. The decoder comprises calculation means adapted to recover hidden information from the quantized transform coefficients, the hidden information being at least part of the index information. The decoder comprises an inverse transform means configured to perform an inverse transform in accordance with a transform type identified from a set of transform types by index information, transform coefficients into inverse transformed transform coefficients.

В первом варианте реализации декодера, согласно второму аспекту, скрытая информация представляет собой индексную информацию, так что тип преобразования идентифицируется из набора типов преобразования на основе скрытой информации.In the first embodiment of the decoder, according to the second aspect, the hidden information is index information, so that the type of transformation is identified from the set of transformation types based on the hidden information.

Во втором варианте реализации декодера, согласно второму аспекту, декодер содержит средство извлечения. Скрытая информация является частью индексной информации. Средство извлечения выполнено с возможностью извлечения из входного битового потока информации сигнализации, являющейся еще одной частью индексной информации, так что тип преобразования идентифицируется из набора типов преобразования на основании скрытой информации и информации сигнализации.In a second embodiment of the decoder, according to the second aspect, the decoder comprises extraction means. Hidden information is part of the index information. The extraction means is configured to extract signaling information from the input bitstream, which is another part of the index information, so that the type of transformation is identified from the set of transformation types based on the hidden information and signaling information.

В третьем варианте реализации декодера, согласно второму аспекту, средство вычисления выполнено с возможностью восстановления скрытой информации из квантованных коэффициентов преобразования в зависимости от условия сокрытия.In the third embodiment of the decoder, according to the second aspect, the calculation means is adapted to recover hidden information from the quantized transform coefficients depending on the concealment condition.

В четвертом варианте реализации декодера, согласно второму аспекту, условие сокрытия содержит сравнение параметра, зависящего от квантованных коэффициентов преобразования, с пороговым значением. Средство вычисления выполнено с возможностью проверки условия сокрытия и восстановления скрытой информации из квантованных коэффициентов преобразования только в том случае, если условие сокрытия истинно.In a fourth embodiment of the decoder, according to the second aspect, the hiding condition comprises comparing a parameter depending on the quantized transform coefficients with a threshold value. The calculation tool is configured to verify the condition of concealment and restore hidden information from the quantized transform coefficients only if the condition of concealment is true.

В пятом варианте реализации декодера, согласно второму аспекту, если условие сокрытия является ложным, средство извлечения выполнено с возможностью извлечения из входного битового потока информации сигнализации, являющейся индексной информацией.In the fifth embodiment of the decoder, according to the second aspect, if the hiding condition is false, the extraction means is configured to extract signaling information, which is index information, from the input bitstream.

В шестом варианте реализации декодера, согласно второму аспекту, декодер содержит средство обратного разбиения, выполненное с возможностью получения декодированного изображения путем обратного разбиения иерархически уровневой структуры данных, причем один уровень структуры данных является блоком преобразования. Согласно первому альтернативному варианту, средство вычисления выполнено с возможностью восстановления первой части скрытой информации из первого уровня структуры данных, и второй части скрытой информации из второго уровня структуры данных, которая отличается от первого уровня. Согласно второму альтернативному варианту, скрытая информация является частью индексной информации, и средство вычисления выполнено с возможностью восстановления скрытой информации из первого уровня структуры данных, и средство извлечения выполнено с возможностью извлечения из входного битового потока информации сигнализации, которая является другой частью индексной информации, во втором уровне структуры данных, которая отличается от первого уровня.In a sixth embodiment of the decoder, according to the second aspect, the decoder comprises a reverse partitioning means configured to obtain a decoded image by reverse partitioning a hierarchically level data structure, wherein one level of the data structure is a transform unit. According to a first alternative, the calculation means is adapted to recover a first part of the hidden information from the first level of the data structure, and a second part of the hidden information from the second level of the data structure, which is different from the first level. According to a second alternative, the hidden information is part of the index information, and the computing means is configured to recover the hidden information from the first level of the data structure, and the extraction means is configured to extract signaling information from the input bitstream, which is another part of the index information, in the second a data structure level that is different from the first level.

В седьмом варианте реализации декодера, согласно второму аспекту, декодер содержит средство обратного разбиения, выполненное с возможностью получения декодированного изображения путем обратного разбиения иерархически уровневой структуры данных, причем один уровень структуры данных является блоком преобразования. Средство обратного разбиения выполнено с возможностью получения блока преобразования путем обратного разбиения множества групп коэффициентов. Средство вычисления выполнено с возможностью восстановления скрытой информации из квантованных коэффициентов преобразования, расположенных, по меньшей мере, в одной из множества групп коэффициентов.In a seventh embodiment of a decoder, according to a second aspect, the decoder comprises a reverse partitioning means configured to obtain a decoded image by reverse partitioning a hierarchically level data structure, wherein one level of the data structure is a transform unit. The reverse partitioning means is configured to obtain a transform block by reverse partitioning a plurality of coefficient groups. The calculation tool is configured to recover hidden information from the quantized transform coefficients located in at least one of the plurality of coefficient groups.

В восьмом варианте реализации декодера, согласно второму аспекту, средство вычисления выполнено с возможностью применения функции проверки к квантованным коэффициентам преобразования для получения результата функции проверки, в котором результат функции проверки соответствует скрытой информации.In the eighth embodiment of the decoder, according to the second aspect, the calculation means is adapted to apply the verification function to the quantized transform coefficients to obtain a result of the verification function in which the result of the verification function corresponds to the hidden information.

В девятом варианте реализации декодера, согласно второму аспекту, скрытая информация содержит флаг, имеющий первое и второе значение, при этом первое значение идентифицирует, что тип преобразования по умолчанию набора типов преобразований является идентифицированным типом преобразования, а второе значение указывает, что идентифицированный тип преобразования содержится в поднаборе, содержащийся в наборе типов преобразований без типа преобразования по умолчанию.In a ninth embodiment of the decoder, according to the second aspect, the hidden information comprises a flag having a first and second value, the first value identifying that the default transform type of the transform type set is the identified transform type, and the second value indicates that the identified transform type is contained in the subset contained in the set of transform types without the default transform type.

Функции кодера, согласно первому аспекту, и функции декодера, согласно второму аспекту, и любые функции любого из их вариантов реализации могут выполняться процессором или компьютером, и любое их средство может быть реализовано как программное обеспечение и/или аппаратное обеспечение в таком процессоре или компьютере.The functions of the encoder, according to the first aspect, and the functions of the decoder, according to the second aspect, and any functions of any of their implementations can be performed by a processor or computer, and any of their means can be implemented as software and / or hardware in such a processor or computer.

Третий аспект настоящего изобретения предусматривает способ кодирования исходного изображения в выходной битовый поток с использованием квантованных коэффициентов преобразования. Способ содержит получение из исходного изображения входных данных, расположенных в блоке преобразования. Способ содержит преобразование в соответствии с типом преобразования, выбранным из набора типов преобразований, входных данных в коэффициенты преобразования. Способ содержит квантование коэффициентов преобразования для генерирования квантованных коэффициентов преобразования. Способ содержит генерирование индексной информации, адаптированной для идентификации выбранного типа преобразования из набора типов преобразований. Способ содержит определение информации, подлежащей скрытию, в котором информация, подлежащая скрытию, является, по меньшей мере, частью индексной информации. Способ содержит скрытие информации, которая должна быть скрыта, в квантованных коэффициентах преобразования.A third aspect of the present invention provides a method for encoding a source image into an output bitstream using quantized transform coefficients. The method comprises obtaining from an original image input data located in a transform unit. The method comprises transforming in accordance with a transform type selected from a set of transform types, input data into transform coefficients. The method comprises quantizing transform coefficients to generate quantized transform coefficients. The method comprises generating index information adapted to identify a selected transformation type from a set of transformation types. The method comprises determining information to be hidden, in which information to be hidden is at least part of the index information. The method comprises hiding information that should be hidden in quantized transform coefficients.

Дополнительные признаки или варианты реализации способа кодирования исходного изображения в выходной битовый поток с использованием квантованных коэффициентов преобразования согласно третьему аспекту изобретения могут выполнять функциональные возможности кодера в соответствии с первым аспектом изобретения и его различными вариантами реализации.Additional features or implementations of a method for encoding an original image into an output bitstream using the quantized transform coefficients according to the third aspect of the invention may fulfill the functionality of the encoder in accordance with the first aspect of the invention and its various embodiments.

Четвертый аспект настоящего изобретения обеспечивает способ декодирования входного битового потока в декодированное изображение с использованием обратно преобразованных коэффициентов преобразования. Способ содержит получение из входного битового потока квантованных коэффициентов преобразования, расположенных в блоке преобразования. Этот способ содержит деквантование квантованных коэффициентов преобразования для генерирования коэффициентов преобразования. Способ содержит восстановление скрытой информации из квантованных коэффициентов преобразования, причем скрытая информация является, по меньшей мере, частью индексной информации. Способ содержит обратное преобразование, в соответствии с типом преобразования, идентифицированным из набора типов преобразований посредством индексной информации, коэффициентов преобразования в обратно преобразованные коэффициенты преобразования.A fourth aspect of the present invention provides a method for decoding an input bitstream into a decoded image using inverse transformed transform coefficients. The method comprises obtaining from the input bit stream quantized transform coefficients located in the transform block. This method comprises dequantizing the quantized transform coefficients to generate transform coefficients. The method comprises recovering hidden information from quantized transform coefficients, the hidden information being at least part of the index information. The method comprises an inverse transform, in accordance with a transform type identified from a set of transform types by means of index information, transform coefficients to inversely converted transform coefficients.

Способы, в соответствии с третьим или четвертым аспектами, или любые их варианты реализации могут выполняться процессором или компьютером.Methods, in accordance with the third or fourth aspects, or any implementation options can be performed by a processor or computer.

Дополнительные признаки или варианты реализации способа декодирования входного битового потока в декодированное изображение с использованием обратно преобразованных коэффициентов преобразования, в соответствии с четвертым аспектом изобретения, могут выполнять функциональные возможности декодера в соответствии со вторым аспектом изобретения и его различными вариантами реализации.Additional features or implementations of a method for decoding an input bitstream into a decoded image using inverse transformed transform coefficients, in accordance with a fourth aspect of the invention, may fulfill the functionality of a decoder in accordance with a second aspect of the invention and its various embodiments.

Пятый аспект настоящего изобретения обеспечивает компьютерную программу, содержащую программный код для выполнения способа кодирования исходного изображения в соответствии с третьим аспектом изобретения или способ декодирования входного битового потока в соответствии с четвертым аспектом изобретения, при этом компьютерная программа работает на устройстве вычисления.A fifth aspect of the present invention provides a computer program comprising program code for executing a method for encoding an original image in accordance with a third aspect of the invention, or a method for decoding an input bit stream in accordance with a fourth aspect of the invention, wherein the computer program runs on a computing device.

Важным аспектом изобретения является то, что на стороне декодера полная или частичная информация о том, что обратное преобразование следует выбирать, извлекается путем применения функции проверки, например, функции проверки на четность, для анализируемых квантованных коэффициентов преобразования. Изобретение относится к сигнализации выбранного типа преобразования. В частности, на стороне декодера полная или частичная информация о том, что следует выбрать обратное преобразование, извлекается путем применения функции проверки, например, функция проверки на четность, анализируемых квантованных коэффициентов преобразования, QTCs. Этот тип неявной сигнализации может упоминаться как скрытие.An important aspect of the invention is that, on the decoder side, full or partial information that the inverse transform should be selected is extracted by applying a verification function, for example, a parity function, for the quantized transform coefficients being analyzed. The invention relates to signaling a selected type of conversion. In particular, on the decoder side, full or partial information that you should choose the inverse transform is extracted by applying the verification function, for example, the parity function, the analyzed quantized transform coefficients, QTCs. This type of implicit signaling may be referred to as hiding.

Следует отметить, что все устройства, элементы, узлы и средства, описанные в настоящей заявке, могут быть реализованы в программных или аппаратных элементах или любой их комбинации. Все этапы, которые выполняются различными объектами, описанными в настоящей заявке, а также функциональные возможности, описанные для выполнения различными объектами, предназначены для обозначения того, что соответствующий объект адаптирован или выполнен с возможностью выполнять соответствующие этапы и функциональные возможности. Даже если в последующем описании конкретных вариантов осуществления конкретная функциональность или этап, которые должны быть полностью сформированы внешними объектами, не указаны в описании конкретного подробного элемента этого объекта, который выполняет этот конкретный этап или функциональность, должно быть ясно, что эти способы и функциональные возможности могут быть реализованы в соответствующих программных или аппаратных элементах или любой их комбинации.It should be noted that all devices, elements, nodes and means described in this application can be implemented in software or hardware elements or any combination thereof. All the steps that are performed by the various objects described in this application, as well as the functionality described to be performed by various objects, are intended to indicate that the corresponding object is adapted or configured to perform the corresponding steps and functionality. Even if in the following description of specific embodiments a specific functionality or step that should be completely formed by external objects is not indicated in the description of a specific detailed element of that object that performs this particular step or functionality, it should be clear that these methods and functionality may be implemented in appropriate software or hardware elements or any combination thereof.

Краткое описание чертежейBrief Description of the Drawings

Вышеупомянутые аспекты и варианты реализации настоящего изобретения будут объяснены в нижеследующем описании конкретных вариантов осуществления со ссылкой на прилагаемые чертежи, на которыхThe above aspects and embodiments of the present invention will be explained in the following description of specific embodiments with reference to the accompanying drawings, in which

Фиг.1 показывает кодер согласно варианту осуществления настоящего изобретения.1 shows an encoder according to an embodiment of the present invention.

Фиг.2 показывает декодер согласно варианту осуществления настоящего изобретения.2 shows a decoder according to an embodiment of the present invention.

Фиг.3 показывает кодер в соответствии с дополнительным вариантом осуществления настоящего изобретения.Figure 3 shows an encoder in accordance with a further embodiment of the present invention.

Фиг.4 показывает блок-схему последовательности операций способа декодирования согласно варианту осуществления настоящего изобретения.4 shows a flowchart of a decoding method according to an embodiment of the present invention.

Фиг.5 показывает блок-схему последовательности операций способа декодирования согласно дополнительному варианту осуществления настоящего изобретения.FIG. 5 shows a flowchart of a decoding method according to a further embodiment of the present invention.

Фиг.6 показывает блок-схему последовательности операций способа декодирования согласно дополнительному варианту осуществления настоящего изобретения.6 shows a flowchart of a decoding method according to a further embodiment of the present invention.

Фиг.7 показывает способ кодирования исходного изображения согласно варианту осуществления настоящего изобретения.7 shows a method of encoding a source image according to an embodiment of the present invention.

Фиг.8 показывает способ декодирования входного битового потока в соответствии с дополнительным вариантом осуществления настоящего изобретения.FIG. 8 shows a method for decoding an input bit stream in accordance with a further embodiment of the present invention.

Фиг.9 показывает сигнализацию кодирования с преобразованием согласно предшествующему уровню техники.FIG. 9 shows transform coding signaling according to the related art.

Осуществление изобретения The implementation of the invention

На фиг.1 показан кодер 100 согласно варианту осуществления настоящего изобретения и, в частности, кодер 100 для кодирования исходного изображения 101 в выходной битовый поток 114 с использованием квантованных коэффициентов 112 преобразования.1 shows an encoder 100 according to an embodiment of the present invention, and in particular, an encoder 100 for encoding a source image 101 into an output bitstream 114 using quantized transform coefficients 112.

Кодер 100 содержит средство 102, 104, 106 получения, выполненное с возможностью получать из исходного изображения 101 входные данные, расположенные в блоке преобразования ТU.The encoder 100 comprises receiving means 102, 104, 106 adapted to receive input data located in the transform unit TU from the original image 101.

Кодер 100 содержит средство 109 преобразования, выполненное с возможностью преобразовывать, в соответствии с типом преобразования, выбранным из набора типов преобразования, входные данные в коэффициенты 110 преобразования.The encoder 100 comprises conversion means 109 configured to convert, in accordance with the type of transform selected from the set of transform types, input data into transform coefficients 110.

Кодер 100 содержит средство 111 квантования, выполненное с возможностью квантовать коэффициенты 110 преобразования для генерирования квантованных коэффициентов 112 преобразования.Encoder 100 comprises quantization means 111 configured to quantize transform coefficients 110 to generate quantized transform coefficients 112.

Кодер 100 содержит средство вычисления, выполненные с возможностью генерировать индексную информацию, выполненную с возможностью идентифицировать выбранный тип преобразования среди набора типов преобразований, и определять информации, подлежащую скрытию, при этом информация, которая должна быть скрыта, является, по меньшей мере, частью индексной информации.The encoder 100 comprises calculation means configured to generate index information configured to identify a selected type of transform from among a set of transform types and determine information to be hidden, while the information to be hidden is at least part of the index information .

Кодер 100 содержит средство скрытия, выполненное с возможностью скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах 112 преобразования.Encoder 100 comprises concealment means configured to conceal information that should be hidden in quantized transform coefficients 112.

На фиг.3 показан кодер в соответствии с дополнительным вариантом осуществления настоящего изобретения и, в частности, кодер 300 для кодирования исходного изображения 301 в выходной битовый поток 318 с использованием квантованных коэффициентов 308, 313 преобразования.FIG. 3 shows an encoder in accordance with a further embodiment of the present invention, and in particular, an encoder 300 for encoding an original image 301 into an output bitstream 318 using quantized transform coefficients 308, 313.

Кодер 300 содержит средство 302 получения, выполненное с возможностью получать из исходного изображения 301 входные данных 303, расположенные в блоке преобразования ТU.The encoder 300 includes a means 302 receiving, configured to receive from the source image 301 input data 303 located in the conversion unit TU.

Кодер 300 содержит средство 305, 310 преобразования, выполненное с возможностью преобразовывать, в соответствии с типом преобразования, выбранным из набора типов 305, 310 преобразования, входные данные 303 в коэффициенты 306, 311 преобразования.Encoder 300 includes conversion means 305, 310 configured to convert, in accordance with a type of conversion selected from a set of conversion types 305, 310, input 303 into conversion coefficients 306, 311.

Кодер 300 содержит средство 307, 312 квантования, выполненное с возможностью квантовать коэффициенты 306, 311 преобразования для генерирования квантованных коэффициентов 308, 313 преобразования.Encoder 300 includes quantization means 307, 312 configured to quantize transform coefficients 306, 311 to generate quantized transform coefficients 308, 313.

Кодер 300 содержит средство 315 вычисления, выполненное с возможностью генерировать индексную информацию, выполненную с возможностью идентифицировать выбранный тип преобразования среди набора типов 305, 310 преобразования, и определять информацию, подлежащую скрытию, при этом информация, которая должна быть скрыта, является, по меньшей мере, частью индексной информации.Encoder 300 comprises calculation means 315 configured to generate index information configured to identify a selected type of transformation from among a set of types 305, 310 of transformation and determine information to be hidden, while the information to be hidden is at least , part of the index information.

Кодер 300 содержит средство 319 скрытия, выполненное с возможностью скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах 308, 313 преобразования.Encoder 300 comprises a concealment means 319 configured to hide information that should be hidden in quantized transform coefficients 308, 313.

В частности, исходным изображением может быть неподвижное изображение или изображение видео.In particular, the source image may be a still image or a video image.

В частности, кодер может содержать средство разбиения. Средство разбиения обозначено на фиг.1 ссылочной позицией 102. Средство разбиения выполнено с возможностью рекурсивно разбивать исходное изображение 101 в соответствии с иерархически уровневой структурой данных. Одним уровнем структуры данных является блок преобразования. Средство разбиения может быть в частности выполнено с возможностью выполнять разбиение исходного изображения 101 на дерево квадратов.In particular, the encoder may comprise a splitter. The partitioning means is indicated in FIG. 1 by the reference numeral 102. The partitioning means is configured to recursively split the original image 101 in accordance with a hierarchical level data structure. One level of data structure is a transform unit. The splitting means may in particular be configured to split the original image 101 into a tree of squares.

Иерархически уровневая структура данных может содержать дополнительные уровни, определяющие, по меньшей мере, один из пакет кодового дерева, CTU, блок кодирования, CU, блок предсказания, PU, или блок преобразования, TU. CTU является корнем структуры кодирования видеопоследовательности предварительно определенного размера, содержащего часть изображения, например, 64x64 пикселей. CTU может быть разбит на CUs. CU представляет собой базовую структуру кодирования видеопоследовательности предварительно определенного размера, содержащую часть изображения, которая принадлежит к CTU. CU может быть разбит на дополнительные CUs. PU является структурой кодирования, которая является результатом разбиения CU. PU может быть внутри- или внешне предсказанным, в соответствии с типом обработки, применяемым для пикселей PU. PU можно разбит на несколько TUs или соответствовать одному TU. TU является примером блока преобразования.The hierarchical level data structure may comprise additional levels defining at least one of a code tree packet, CTU, coding unit, CU, prediction unit, PU, or transform unit, TU. CTU is the root of the coding structure of a video sequence of a predetermined size containing a portion of the image, for example, 64x64 pixels. CTUs can be broken down into CUs. A CU is a basic structure for encoding a video sequence of a predetermined size, containing a portion of the image that belongs to the CTU. CUs can be broken down into additional CUs. A PU is an encoding structure that results from splitting a CU. The PU can be intra or externally predicted, according to the type of processing applied to the pixels of the PU. PU can be divided into several TUs or correspond to one TU. TU is an example of a transform unit.

В частности, средство 102, 104, 106, 302 получения может быть выполнено с возможностью получать входные данные 303 блока преобразования из остаточных данных блока предсказания, причем PU является примером блока предсказания. Входные данные 303 могут быть составной частью остаточных данных, то есть, блок TU преобразования может быть подблоком блока PU предсказания. Таким образом, кодер может быть выполнен с возможностью кодировать исходное изображение 101 видео.In particular, the obtaining means 102, 104, 106, 302 may be configured to obtain input data 303 of the transform unit from the residual data of the prediction unit, the PU being an example of the prediction unit. The input 303 may be an integral part of the residual data, that is, the transform unit TU may be a subunit of the prediction unit PU. Thus, the encoder may be configured to encode the original video image 101.

На фиг.1 остаточные данные соответствуют ссылке 105, 107. Средство получения содержит средство 104, 106 предсказания, выполненное с возможностью формировать разностное значение между данными пикселей исходного изображения 101, то есть, данными пикселей, расположенными в блоке предсказания, и данными предсказания для упомянутых пикселей для получения остаточных данных 105, 107. Средство предсказания предпочтительно поддерживает, как режимы внутреннего, так и внешнего предсказания и, соответственно, содержит средство 104 внутреннего предсказания и средство 106 внешнего предсказания. Ссылка 103 на фиг.1 иллюстрирует тот факт, что исходное изображение 101 может обрабатываться посредством внутреннего или внешнего предсказания.1, the residual data corresponds to reference 105, 107. The obtaining means comprises prediction means 104, 106 configured to generate a difference value between the pixel data of the original image 101, that is, the pixel data located in the prediction block and the prediction data for said pixels to obtain residual data 105, 107. The prediction tool preferably supports both the intra and inter prediction modes and, accordingly, comprises an intra prediction means 104 and Tool 106 of inter prediction. Reference 103 in FIG. 1 illustrates the fact that the original image 101 may be processed by internal or external prediction.

В частности, средство получения может альтернативно быть выполнено с возможностью получать входные данных 303, являющимися данными пикселей исходного изображения 101, например, в соответствии с одним уровнем иерархически уровневой структуры данных. Таким образом, кодер не содержит этап предсказания, и может быть выполнен с возможностью кодировать исходное изображение 101, которое представляет собой неподвижное изображение.In particular, the acquisition means may alternatively be configured to receive input data 303, which are pixel data of the original image 101, for example, in accordance with one level of the hierarchical level data structure. Thus, the encoder does not contain a prediction step, and can be configured to encode the original image 101, which is a still image.

В частности, кодер может содержать переключатель 304 для отправки входных данных 303 в набор типов 305, 310 преобразования для получения нескольких кандидатов преобразования на основе входных данных. Входные данные могут обрабатываться несколькими параллельными средствами 305, 310 преобразования, причем каждое средство преобразования выполнено с возможностью преобразовывать входные данные в соответствии с одним из типов преобразования. Набор типов преобразования может содержать N различных типов, причем N типы преобразования идентифицированы на фиг.3 как «Преобразование 1» и «Преобразование N».In particular, the encoder may include a switch 304 for sending input 303 to a set of transform types 305, 310 to obtain multiple transform candidates based on the input. The input data can be processed by several parallel conversion means 305, 310, and each conversion means is configured to convert the input data in accordance with one of the types of conversion. The set of transformation types may contain N different types, wherein N transformation types are identified in FIG. 3 as “Transformation 1” and “Transformation N”.

Каждое средство 305, 310 преобразования генерирует коэффициенты 306, 311 преобразования, а также индексную информацию 309, 314, идентифицирующую соответствующий тип преобразования, используемый для получения коэффициентов 306, 311 преобразования. Коэффициенты 306, 311 преобразования квантуют посредством средств 307, 312 квантования для получения квантованных коэффициентов преобразования.Each transform means 305, 310 generates transform coefficients 306, 311, as well as index information 309, 314 identifying the corresponding type of transform used to obtain transform coefficients 306, 311. The transform coefficients 306, 311 are quantized by quantization means 307, 312 to obtain quantized transform coefficients.

Средство 319 скрытия выполнено с возможностью скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах 308, 313 преобразования. Средство 315 вычисления выполнено с возможностью выбирать квантованные коэффициенты 308, 313 преобразования и ассоциированную с ними индексную информацию 309, 314, которые обеспечивают минимальную величину стоимости соотношения скорость-искажения, RD. Средство 315 вычисления соответственно выводит выбранные квантованные коэффициенты 316 преобразования, которые затем предпочтительно энтропийно кодируют посредством энтропийным средством 317. Энтропийное средство на фиг.1 обозначено ссылкой 113.The hiding means 319 is configured to hide information that should be hidden in the quantized transform coefficients 308, 313. The calculation means 315 is configured to select the quantized transform coefficients 308, 313 and their associated index information 309, 314, which provide a minimum value for the cost of the speed-distortion ratio, RD. The calculation means 315 respectively outputs the selected quantized transform coefficients 316, which are then preferably entropy encoded by the entropy means 317. The entropy means in FIG. 1 is indicated by reference 113.

Различные признаки вариантов осуществления, показанных на фиг. 1 и 3 могут быть объединены вместе.Various features of the embodiments shown in FIG. 1 and 3 can be combined together.

В частности, средство 319 скрытия выполнено с возможностью скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах 112, 308, 313 преобразования, в соответствии со способом скрытия данных.In particular, the hiding means 319 is configured to hide information that should be hidden in the quantized transform coefficients 112, 308, 313, in accordance with the data hiding method.

В частности, средство 319 скрытия выполнено с возможностью скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах 112, 308, 313 преобразования в зависимости от условия скрытия. Условие скрытия может содержать сравнение параметра, в зависимости от квантованных коэффициентов 112, 308, 313 преобразования, с пороговым значением, и средство 319 скрытия может быть выполнено с возможностью проверять условие скрытия, и скрывать информацию, которая должна быть скрыта, в квантованных коэффициентах 112, 308, 313 преобразования, только если условие скрытия истинно.In particular, the hiding means 319 is configured to hide information that should be hidden in the quantized transform coefficients 112, 308, 313 depending on the hiding condition. The concealment condition may comprise comparing a parameter, depending on the quantized transform coefficients 112, 308, 313, with a threshold value, and the concealment means 319 may be configured to check the concealment condition and hide information that should be hidden in the quantized coefficients 112, 308, 313 conversions only if the hide condition is true.

Условием скрытия может быть сравнение квантованных коэффициентов 112, 308, 313 преобразования с пороговым ограничением. Например, условие скрытия может содержать следующие условия или другие известные условия скрытия:The concealment condition may be a comparison of the quantized transform coefficients 112, 308, 313 with a threshold constraint. For example, a hide condition may contain the following conditions or other known hide conditions:

- число ненулевых квантованных коэффициентов преобразования, QTCs, больше порогового значения. В этом случае, подсчитывается количество наличия ненулевых QTC в TU или CG. Если это число превышает пороговое значение, то условие скрытия является истинным.- the number of nonzero quantized transform coefficients, QTCs, is greater than the threshold value. In this case, the amount of non-zero QTC in the TU or CG is counted. If this number exceeds the threshold value, then the hiding condition is true.

- пороговое значение ниже максимальной разностной величины между позициями старших QTCs при сканировании QTCs. В этом случае, QTCs TU или CG или множества CGs сканируются в соответствии с шаблоном сканирования или порядком сканирования. Старшие QTCs выбираются из сканированных QTCs, причем старшие QTCs представляют собой, например, ненулевые коэффициенты или коэффициенты выше заданного значения. Вычисляется разносная величина между позициями старших QTCs в соответствии с шаблоном сканирования или порядком сканирования. Если разностная величина превышает пороговое значение, то условие скрытия истинно.- the threshold value is below the maximum difference between the positions of senior QTCs when scanning QTCs. In this case, the QTCs of the TU or CG or the plurality of CGs are scanned according to the scan pattern or scan order. Higher QTCs are selected from the scanned QTCs, the higher QTCs being, for example, nonzero coefficients or coefficients above a predetermined value. The offset value between senior QTCs positions is calculated according to the scan pattern or scan order. If the difference value exceeds the threshold value, then the hiding condition is true.

- размер TU больше порогового значения. В этом случае, условие скрытия истинно, если размер TU превышает пороговое значение.- the size of the TU is greater than the threshold value. In this case, the hide condition is true if the size of the TU exceeds a threshold value.

В частности, средство 315 вычисления выполнено с возможностью применять функцию проверки к квантованным коэффициентам 112, 308, 313 преобразования, чтобы получить результат функции проверки, и определять, соответствует ли результат функции проверки информации, которая должна быть скрыта, и если нет, изменять, по меньшей мере, один из квантованных коэффициентов 112, 308, 313 преобразования, чтобы результат функции проверки соответствовал информации, подлежащей скрытию.In particular, the calculation means 315 is configured to apply the verification function to the quantized transform coefficients 112, 308, 313 to obtain the result of the verification function, and to determine whether the result of the verification function corresponds to information that should be hidden, and if not, change at least one of the quantized transform coefficients 112, 308, 313, so that the result of the verification function matches the information to be hidden.

Например, функция проверки может быть одной из следующих функций или других известных функций проверки:For example, a verification function may be one of the following functions or other known verification functions:

- функция проверки четности, применяемая к младшим битам некоторых QTCs, выбранных из TU, с использованием двоичного шаблона, и- a parity function applied to the least significant bits of some QTCs selected from the TU using a binary pattern, and

- функция проверки четности, применяемая к индексу позиции последнего или первого ненулевого QTC или к линейной комбинации последнего и первого ненулевого QTC индекса позиции.- a parity function applied to the position index of the last or first non-zero QTC or to a linear combination of the last and first non-zero QTC position index.

Такая функция проверки на четность, применяемая к заданным QTCs, состоит в проверке значения четности заданных QTCs. Поскольку информация, которая должна быть скрыта, содержит один или несколько битов, один такой бит может быть скрыт с помощью значения четности заданных QTCs. В частности, если значение четности заданных QTCs соответствует биту четности, который должен быть скрыт, в кодере не требуется выполнение дополнительной обработки. Это означает, что заданные QTCs кодируют в неизмененном виде в битовом потоке. С другой стороны, если значение четности заданных QTCs не соответствует биту четности, который должен быть скрыт, тогда кодер выполнен с возможностью изменять заданные QTCs таким образом, чтобы их четность соответствовала биту четности, подлежащему скрытию. Это может быть достигнуто, например, путем изменения значения одного из заданных QTCs для получения соответствия четности. Например, может быть изменен самый младший бит, LSB, одного из заданных QTCs.Such a parity function applied to given QTCs consists in checking the parity of the given QTCs. Since the information to be hidden contains one or more bits, one such bit can be hidden using the parity value of the specified QTCs. In particular, if the parity value of the specified QTCs corresponds to a parity bit that should be hidden, additional processing is not required in the encoder. This means that the specified QTCs encode unchanged in the bitstream. On the other hand, if the parity value of the specified QTCs does not match the parity bit to be hidden, then the encoder is configured to modify the specified QTCs so that their parity corresponds to the parity bit to be hidden. This can be achieved, for example, by changing the value of one of the specified QTCs to obtain parity. For example, the least significant bit, LSB, of one of the specified QTCs may be changed.

Как правило, для скрытия информации о типах преобразования могут использоваться различные известные механизмы, такие как срытие одноуровневых данных в неперекрывающихся наборах коэффициентов преобразования, как это делается для скрытия нескольких битов знака в соответствии с US20130272424A1, или срытие одноуровневых данных в перекрывающихся наборах коэффициентов преобразования в соответствии с EP2675159A1, или скрытие многоуровневых данных в иерархически структурированных блоках кодирования в соответствии с документом, предложенным авторами Алексеем Филипповым, Василием Руфицким и Владимиром Потаповым, «Скрытие многоуровневых данных на основе скалярного квантования данных для приложений кодирования видео» Конференция IEEE по визуальной коммуникации и обработке изображений, декабрь 2014 года, Валлетта, Мальта, стр. 262-265.As a rule, various well-known mechanisms can be used to hide information about conversion types, such as hiding single-level data in non-overlapping sets of conversion coefficients, as is done to hide several bits of a sign in accordance with US20130272424A1, or hiding single-level data in overlapping sets of conversion coefficients in accordance with EP2675159A1, or hiding layered data in hierarchically structured coding units in accordance with a document proposed by the authors lekseem Filippov Vasily Rufitskim and Vladimir Potapov, "Hiding the multilevel data based on the data of the scalar quantization for video encoding applications» IEEE Conference on Visual Communication and Image Processing, December 2014, Valletta, Malta, pp. 262-265.

На фиг.2 показан декодер 200 согласно варианту осуществления настоящего изобретения и, в частности, декодер 200 для декодирования входного битового потока 201 в декодированное изображение 212 с использованием обратно преобразованных коэффициентов преобразования.FIG. 2 shows a decoder 200 according to an embodiment of the present invention, and in particular, a decoder 200 for decoding an input bitstream 201 into a decoded image 212 using inverse transformed transform coefficients.

Декодер содержит средство 202, 204, 206 получения, выполненное с возможностью получать из входного битового потока 201 квантованные коэффициенты преобразования, расположенные в блоке преобразования ТU.The decoder comprises receiving means 202, 204, 206 configured to obtain quantized transform coefficients located in the transform unit TU from the input bitstream 201.

Декодер содержит средство 209 деквантования, выполненное с возможностью деквантовать квантованные коэффициенты преобразования для генерирования коэффициентов 210 преобразования.The decoder comprises a dequantization means 209 adapted to dequantize the quantized transform coefficients to generate transform coefficients 210.

Декодер содержит средство 208 вычисления, выполненные с возможностью восстанавливать скрытую информацию из квантованных коэффициентов преобразования, причем скрытая информация является, по меньшей мере, частью индексной информации.The decoder comprises computing means 208, configured to recover hidden information from the quantized transform coefficients, the hidden information being at least part of the index information.

Декодер содержит средство 211 обратного преобразования, выполненное с возможностью выполнять обратное преобразование, в соответствии с типом преобразования, идентифицированным из набора типов преобразований посредством индексной информации, коэффициентов 210 преобразования в обратно преобразованные коэффициенты 212 преобразования.The decoder comprises inverse transform means 211 configured to perform inverse transform in accordance with a transform type identified from a set of transform types by index information, transform coefficients 210 to inverse transform transform coefficients 212.

Декодер 200 на фиг.2 является симметричным объектом кодера 100 на фиг.1, в котором средство получения содержит средство 202 энтропийного декодирования для обработки входного битового потока. Он также содержит средство 204, 206 предсказания для соответственно режимов внутреннего и внешнего предсказания, где ссылка 203 иллюстрирует выбор между внутренним и внешним предсказанием. Соответствующие выходные данные 205, 207 средств 204, 206 предсказания обрабатываются средством 209 деквантования.The decoder 200 of FIG. 2 is a symmetrical object of the encoder 100 of FIG. 1, wherein the obtaining means comprises entropy decoding means 202 for processing an input bitstream. It also comprises prediction means 204, 206 for respectively intra and inter prediction modes, where reference 203 illustrates the choice between intra and inter prediction. The corresponding output 205, 207 of the prediction means 204, 206 is processed by the dequantization means 209.

На фиг.4 показана блок-схема последовательности операций способа декодирования согласно варианту осуществления настоящего изобретения.4 is a flowchart of a decoding method according to an embodiment of the present invention.

Вариант осуществления основан на известном усовершенствованном множественном преобразовании, ЕМТ, описанном, например, в Gary Sullivan, Gill Boyce, Jianle Chen и Elena Alshina, «Будущее кодирование видео: Совместная исследовательская модель 1 (JEM1) для будущего исследования кодирования видео», ITU-T SG16 Q6, TD 213 (WP 3/16), с использованием выделенных флагов сигнализации emtCuFlag и emtTuIdx в синтаксисе битового потока, которые явно указывают выбранный тип преобразования на стороне декодера.The embodiment is based on the well-known advanced multiple conversion, EMT, described for example in Gary Sullivan, Gill Boyce, Jianle Chen and Elena Alshina, “Future video coding: Collaborative research model 1 (JEM1) for future video coding research”, ITU-T SG16 Q6, TD 213 (WP 3/16), using the emtCuFlag and emtTuIdx dedicated signaling flags in the bitstream syntax, which explicitly indicate the selected type of transform on the decoder side.

Теперь, в варианте осуществления, показанном на фиг.14, emtCuFlag явно кодируется на уровне CU или PU, и emtTuFlag кодируется неявно на TU уровне в QTCs согласно схеме кодирования по настоящему изобретению. Другими словами, emtTuFlag - это информация, которая скрыта в QTCs кодером, и информация, которая была восстановлена декодером из QTCs.Now, in the embodiment shown in FIG. 14, emtCuFlag is explicitly encoded at the CU or PU level, and emtTuFlag is implicitly encoded at the TU level in QTCs according to the encoding scheme of the present invention. In other words, emtTuFlag is information that is hidden in QTCs by the encoder, and information that has been recovered by the decoder from QTCs.

После начала выполнения способа на этапе 401 emtCuFlag анализируют из входного битового потока. Затем значение emtCuFlag проверяют на этапе 403. Если этот emtCuFlag является ложным, то применяют первый тип преобразования, например, DCT-II, на CU или PU уровне, то есть, средство 211 обратного преобразования применяет обратное преобразование в соответствии с этим первым типом преобразования для каждого TU CU или PU, содержащего emtCuFlag. Этот первый тип преобразования является, например, типом преобразования по умолчанию. Если этот emtCuFlag является истинным, то используют дополнительный тип преобразования средством 211 обратного преобразования. В этом случае, для всех TUs заданного CU или PU активируют разные типы преобразований. В этом и во всех дополнительных вариантах осуществления emtCuFlag не является обязательным.After the method begins, at step 401, the emtCuFlag is analyzed from the input bitstream. Then, the emtCuFlag value is checked at step 403. If this emtCuFlag is false, then the first type of transform is applied, for example, DCT-II, at the CU or PU level, that is, the inverse transform means 211 applies the inverse transform in accordance with this first type of transform for each CU or PU TU containing emtCuFlag. This first conversion type is, for example, the default conversion type. If this emtCuFlag is true, then an additional type of transform is used by the inverse transform 211. In this case, for all TUs of a given CU or PU, different types of transforms are activated. In this and in all further embodiments, emtCuFlag is optional.

Если emtCuFlag флаг установлен на истинное значение, выполняют дополнительную обработку в цикле TU. Индекс текущего TU, обрабатываемого в цикле, обозначен как «idx» и сканируют от 0 до N-1, где N обозначает количество TUs в обрабатываемом CU или PU. На этапе 405 инициализации индексы emtTuIdx (idx) преобразования для каждого индекса TU устанавливают на ноль. Цикл TU начинается с проверки 410 условия скрытия, которая указывает, присутствует ли скрытый флаг в QTCs текущего обрабатываемого TU.If the emtCuFlag flag is set to true, additional processing is performed in the TU loop. The index of the current TU processed in the loop is designated as "idx" and scanned from 0 to N-1, where N denotes the number of TUs in the processed CU or PU. In initialization step 405, conversion indices emtTuIdx (idx) for each TU index are set to zero. The TU loop begins by checking the hide condition 410, which indicates whether a hidden flag is present in the QTCs of the currently processed TU.

Если условие 410 скрытия является ложным, то значение флага, которое позволяет выбирать преобразование для обработанного TU (emtTuFlag), анализируется 412 из битового потока. В противном случае, значение этого флага восстанавливают или извлекают 411 из QTCs, применяя функцию проверки.If the hide condition 410 is false, then the flag value, which allows you to select a transform for the processed TU (emtTuFlag), is analyzed 412 from the bitstream. Otherwise, the value of this flag is restored or extracted 411 from QTCs, using the check function.

Таким образом, средство 208 вычисления выполнено с возможностью применять функцию проверки к QTCs, чтобы получить результат функции проверки, при этом результат функции проверки соответствует скрытой информации. Эта скрытая информация может быть непосредственно индексом типа преобразования, который должен быть выбран или идентифицирован.Thus, the calculation means 208 is configured to apply the verification function to QTCs to obtain the result of the verification function, wherein the result of the verification function corresponds to hidden information. This hidden information may be directly an index of the type of transformation that must be selected or identified.

В качестве альтернативы, как показано на фиг.4, эта скрытая информация «emtTuFlag (idx) = checkFunc ()» предназначена для идентификации выбранного типа преобразования в том случае, если значение emtTuFlag истинно 420, на следующем этапе анализируют 422 индекс emtTuIdx типа преобразования из битового потока, который указывает типы горизонтального и вертикального преобразования. В противном случае, если значение emtTuFlag является ложным 420, то выбирают тип преобразования по умолчанию путем присвоения emtTuIdx нулевого значения.Alternatively, as shown in FIG. 4, this hidden information “emtTuFlag (idx) = checkFunc ()” is intended to identify the selected conversion type if the value of emtTuFlag is true 420, in the next step, 422 emtTuIdx conversion type indexes from a bitstream that indicates the types of horizontal and vertical conversion. Otherwise, if the emtTuFlag value is false 420, then the default conversion type is selected by setting emtTuIdx to zero.

Другой вариант осуществления содержит те же этапы обработки, которые описаны со ссылкой на фиг.4, но с той разницей, что в случае, если условие 410 скрытия является ложным, то значение emtTuFlag устанавливается как ложное. В частности, тогда выбирают тип преобразования по умолчанию путем присвоения emtTuIdx нулевого значения.Another embodiment comprises the same processing steps that are described with reference to FIG. 4, but with the difference that if the hide condition 410 is false, then the emtTuFlag value is set to false. In particular, then the default conversion type is selected by setting emtTuIdx to zero.

На фиг.5 показана блок-схема последовательности операций способа декодирования согласно дополнительному варианту осуществления настоящего изобретения.5 is a flowchart of a decoding method according to a further embodiment of the present invention.

Этот вариант осуществления имеет, если сравнивать вариант осуществления, показанный на фиг.4, различные преобразования по умолчанию, каждое из упомянутых преобразований применяют, как в вертикальном, так и в горизонтальном направлениях и соответственно выбирают в соответствии с двумя случаями:This embodiment has, when comparing the embodiment shown in FIG. 4, various default transforms, each of the transforms is applied both in the vertical and horizontal directions, and accordingly is selected in accordance with two cases:

- условие скрытия ложно;- the hide condition is false;

- условие скрытия истинно, но emtTuIdx равно нулю.- The hide condition is true, but emtTuIdx is zero.

Например, когда условие 510 скрытия ложно, то emtTuIdx равен -1, и DCT2 применяют 513 как к горизонтальному, так и вертикальному направлениям. В другом случае, если условие 510 скрытия истинно, но emtTuFlag равно нулю, то DST2 применяют 523 как в горизонтальном, так и в вертикальном направлениях. Остальные этапы на фиг.5 соответствуют этапам, показанным на фиг.4.For example, when the hide condition 510 is false, emtTuIdx is -1, and DCT2 applies 513 to both horizontal and vertical directions. In another case, if the hide condition 510 is true, but emtTuFlag is zero, then DST2 applies 523 in both horizontal and vertical directions. The remaining steps in FIG. 5 correspond to the steps shown in FIG. 4.

На фиг.6 показана блок-схема последовательности операций способа декодирования согласно дополнительному варианту осуществления настоящего изобретения.FIG. 6 is a flowchart of a decoding method according to a further embodiment of the present invention.

В этом варианте осуществления вводится дополнительная проверка условия. Идея этого варианта осуществления основана на том факте, что TU обрабатываются во время кодирования и декодирования в том же порядке. Если указано несколько TUs, обработанных последовательно в порядке обработки, чтобы иметь тип преобразования по умолчанию, предполагается, что остальные TUs имеют одинаковый тип преобразования по умолчанию, и сигнализация для остальных TUs не выполняется, что уменьшает служебную сигнализацию. Количество этих последовательно обработанных TUs, которые могут отключать сигнализацию TU-уровня, определяется пороговым значением TZC.In this embodiment, an additional condition check is introduced. The idea of this embodiment is based on the fact that TUs are processed during encoding and decoding in the same order. If several TUs are processed sequentially in processing order to have a default transform type, it is assumed that the remaining TUs have the same default transform type, and no signaling for the remaining TUs is performed, which reduces the signaling. The number of these sequentially processed TUs that can turn off TU level signaling is determined by the threshold value T ZC .

Ниже приведено подробное описание порядка модификации варианта осуществления, показанного на фиг.6, относительно варианта осуществления, показанного на фиг.4. На этапе 605 переменная «zero_counter» счетчика, которая содержит текущее количество последовательно обработанных TUs, которое имеет значение emtTuFlag, равное нулю, инициализируется на «0». На этапе 606 значение «zero_counter» сравнивается с пороговым значением TZC. Если «zero_counter» выше или равен пороговому значению TZC, тогда предполагается, что остальные TUs имеют одинаковый тип преобразования по умолчанию, и emtTuIdx устанавливается 607 на «0». В противном случае, выполняют проверку 610 условия скрытия, соответствующую этапу 410 на фиг.1. Как видно из блок-схемы алгоритма на фиг.6, результат сравнения между «zero_counter» и TZC управляет обработкой остальных TUs в заданном CU или PU. Еще одно изменение относительно фиг.4, заключается в том, что если TU имеет ненулевой emtTuFlag, то «zero_counter» сбрасывается 621 на ноль. В противном случае, если TU имеет нулевой emtTuFlag, то «zero_counter» увеличивается 624.The following is a detailed description of the modification order of the embodiment shown in FIG. 6 with respect to the embodiment shown in FIG. 4. At step 605, the counter zero_counter variable, which contains the current number of sequentially processed TUs, which has an emtTuFlag value of zero, is initialized to “0”. At step 606, the value "zero_counter" is compared with the threshold value T ZC . If “zero_counter” is higher than or equal to the threshold value T ZC , then it is assumed that the remaining TUs have the same default conversion type, and emtTuIdx is set 607 to “0”. Otherwise, a concealment condition check 610 corresponding to step 410 of FIG. 1 is performed. As can be seen from the flowchart of FIG. 6, the result of the comparison between “zero_counter” and T ZC controls the processing of the remaining TUs in a given CU or PU. Another change with respect to FIG. 4 is that if the TU has a nonzero emtTuFlag, then the “zero_counter” is reset to 621 to zero. Otherwise, if TU has zero emtTuFlag, then zero_counter is incremented by 624.

Варианты осуществления, показанные на фиг. 5 и фиг.6, также могут быть объединены.The embodiments shown in FIG. 5 and 6 can also be combined.

В альтернативных вариантах осуществления emtCUFlag может быть удален. Важнейшим преимуществом, как результат удаления такого флага CU-уровня для преобразования, является возможность уменьшить вычислительную сложность из-за исключения схемы двойного прохода при рассмотрении RD-стоимости двух разных вариантов, то есть, для значений флага 0 и 1. С другой стороны, наличие флага CU уровня может минимизировать стоимость сигнализации, если одно преобразование гораздо чаще выбирается в CU, чем другие. Таким образом, оба варианта могут использоваться с учетом соответствующей цели оптимизации, то есть, либо снижение сложности, либо увеличение эффективности кодирования.In alternative embodiments, emtCUFlag may be deleted. The most important advantage, as a result of removing such a CU-level flag for conversion, is the ability to reduce computational complexity due to the elimination of the double-pass scheme when considering the RD cost of two different options, that is, for flag values 0 and 1. On the other hand, the presence CU level flag can minimize the cost of signaling if one conversion is much more often selected in the CU than others. Thus, both options can be used taking into account the corresponding optimization goal, that is, either reducing complexity or increasing coding efficiency.

Изобретение решает указанную техническую задачу уменьшения служебной сигнализации, когда все преобразования, включающие в себя DCT-II (DCT2_EMT), доступны на TU уровне. Это достигается с помощью скрытия данных для сигнализации, используется ли DCT-II (или другое преобразование в зависимости от режима предсказания, размера предсказанного блока и т.д.) или нет. Изобретение в вариантах осуществления кодирования мультимедийной информации обеспечивает следующие преимущества:The invention solves the indicated technical problem of reducing overhead when all conversions including DCT-II (DCT2_EMT) are available at the TU level. This is achieved by hiding data for signaling whether DCT-II is used (or another conversion depending on the prediction mode, the size of the predicted block, etc.) or not. The invention in embodiments of encoding multimedia information provides the following advantages:

- могут использовать во многих потенциальных приложениях в гибридной системе кодирования видео, которые совместимы с JEM, что является основой для стандарта кодирования следующего поколения.- can be used in many potential applications in a hybrid video coding system that are compatible with JEM, which is the basis for the next generation coding standard.

- обеспечивают снижение BD скорости и повышают субъективное качество по сравнению с JEM1 по сравнению с кодированием этого флага с использованием CABAC.- provide a decrease in BD speed and increase subjective quality compared to JEM1 compared to encoding this flag using CABAC.

- каждый TU могут обрабатывать отдельно без принятия решений на CU уровне.- Each TU can be processed separately without decision making at the CU level.

- снижают избыточную сигнализацию (синтаксис), например emtCuFlag.- Reduce excessive signaling (syntax), for example emtCuFlag.

На фиг.7 показан способ 700 для кодирования исходного изображения 101 в выходной битовый поток 114 с использованием квантованных коэффициентов 112 преобразования согласно варианту осуществления настоящего изобретения.7 shows a method 700 for encoding a source image 101 into an output bitstream 114 using quantized transform coefficients 112 according to an embodiment of the present invention.

Способ содержит получение 701 из исходного изображения 101, 301 входных данных 303, расположенных в блоке преобразования TU.The method comprises obtaining 701 from an input image 101, 301 of input data 303 located in a TU transform unit.

Способ содержит преобразование 702, в соответствии с типом преобразования, выбранным из набора типов 305, 310 преобразования, входных данных 303 в коэффициенты 110, 306, 311 преобразования.The method comprises a conversion 702, in accordance with a conversion type selected from a set of conversion types 305, 310, input 303 into conversion factors 110, 306, 311.

Способ содержит квантование 703 коэффициентов 110, 306, 311 преобразования для генерирования квантованных коэффициентов 112, 308, 313 преобразования.The method comprises quantizing 703 transform coefficients 110, 306, 311 to generate quantized transform coefficients 112, 308, 313.

Способ содержит генерирование 704 индексной информации, приспособленной для идентификации выбранного типа преобразования среди набора типов 305, 310 преобразования.The method comprises generating 704 index information adapted to identify a selected transform type among a set of transform types 305, 310.

Способ содержит определение 705 информации, которая должна быть скрыта, причем информация, которая должна быть скрыта, является, по меньшей мере, частью индексной информации.The method comprises determining 705 information that should be hidden, the information that should be hidden is at least part of the index information.

Способ содержит скрытие 706 информации, которая должна быть скрыта, в квантованных коэффициентах 112, 308, 313 преобразования.The method comprises hiding 706 information that should be hidden in quantized transform coefficients 112, 308, 313.

На фиг.8 показан способ 800 для декодирования входного битового потока 201 в декодированное изображение 212 с использованием обратно преобразованных коэффициентов преобразования в соответствии с дополнительным вариантом осуществления настоящего изобретения.FIG. 8 shows a method 800 for decoding an input bitstream 201 into a decoded image 212 using inverse transformed transform coefficients in accordance with a further embodiment of the present invention.

Способ содержит получение 801 из входного битового потока 201 квантованных коэффициентов преобразования, расположенных в блоке преобразования TU.The method comprises obtaining 801 from the input bitstream 201 quantized transform coefficients located in the transform unit TU.

Способ содержит деквантование 802 квантованных коэффициентов преобразования для генерирования коэффициентов 210 преобразования.The method comprises dequantizing 802 quantized transform coefficients to generate transform coefficients 210.

Способ содержит восстановление 803 скрытой информации из квантованных коэффициентов преобразования, причем скрытая информация является, по меньшей мере, частью индексной информации.The method comprises restoring 803 hidden information from the quantized transform coefficients, the hidden information being at least part of the index information.

Способ содержит обратное преобразование 804, в соответствии с типом преобразования, идентифицированным из набора типов преобразований посредством индексной информации, коэффициентов 210 преобразования в обратно преобразованные коэффициенты 212 преобразования.The method comprises an inverse transform 804, in accordance with a transform type identified from a set of transform types by index information, conversion coefficients 210 to inverted transform coefficients 212.

Настоящее изобретение было описано совместно с различными вариантами осуществления, как в качестве примеров, так и как варианты реализации. Однако другие варианты осуществления могут быть поняты и реализованы специалистами в данной области и применены, в соответствии с заявленным изобретением, посредством изучения чертежей, настоящего раскрытия и независимых пунктов формулы изобретения. В формуле изобретения, а также в описании слово «содержащий» не исключает других элементов или этапов, а неопределенный артикль «a» или «an» не исключает множественного числа. Один элемент или другой блок может выполнять функции нескольких объектов или элементов, указанных в формуле изобретения. Сам факт, что определенные признаки перечислены во взаимных различных зависимых пунктах формулы изобретения, не указывает на то, что комбинация этих признаков не может использоваться в преимущественном варианте реализации.The present invention has been described in conjunction with various embodiments, both as examples and as embodiments. However, other embodiments may be understood and implemented by those skilled in the art and applied, in accordance with the claimed invention, by studying the drawings, the present disclosure and the independent claims. In the claims, as well as in the description, the word “comprising” does not exclude other elements or steps, and the indefinite article “a” or “an” does not exclude the plural. One element or another block may fulfill the functions of several objects or elements indicated in the claims. The fact that certain features are listed in mutually different dependent claims does not indicate that a combination of these features cannot be used in the preferred embodiment.

Claims (55)

1. Кодер (100, 300) для кодирования исходного изображения (101, 301) в выходной битовый поток (114, 318) с использованием квантованных коэффициентов (112, 308, 313) преобразования, содержащий:1. An encoder (100, 300) for encoding a source image (101, 301) into an output bitstream (114, 318) using quantized transform coefficients (112, 308, 313), comprising: средство (102, 104, 106, 302) получения, выполненное с возможностью получения, из исходного изображения (101, 301), входных данных (303), расположенных в блоке преобразования (TU),means (102, 104, 106, 302) for receiving, configured to obtain, from the original image (101, 301), input data (303) located in the conversion unit (TU), средство (109, 305, 310) преобразования, выполненное с возможностью преобразования, в соответствии с типом преобразования, выбранным из набора типов (305, 310) преобразования, входных данных (303) в коэффициенты (110, 306, 311) преобразования,conversion tool (109, 305, 310) configured to convert according to a conversion type selected from a set of conversion types (305, 310), input data (303) into conversion coefficients (110, 306, 311), средство (111, 307, 312) квантования, выполненное с возможностью квантования коэффициентов (110, 306, 311) преобразования для генерирования квантованных коэффициентов (112, 308, 313) преобразования,quantization means (111, 307, 312) configured to quantize transform coefficients (110, 306, 311) to generate quantized transform coefficients (112, 308, 313), средство (315) вычисления, выполненное с возможностью генерирования индексной информации, адаптированной для идентификации выбранного типа преобразования из набора типов (305, 310) преобразования, и определения информации, подлежащей скрытию, причем информация, подлежащая скрытию, является по меньшей мере частью индексной информации, иcalculation means (315) adapted to generate index information adapted to identify the selected type of transformation from the set of transformation types (305, 310) and determine information to be hidden, the information to be hidden is at least part of the index information, and средство (319) скрытия, выполненное с возможностью скрытия информации, подлежащей скрытию, в квантованных коэффициентах (112, 308, 313) преобразования.concealment means (319) configured to conceal information to be hidden in quantized transform coefficients (112, 308, 313). 2. Кодер по п.1, в котором 2. The encoder according to claim 1, in which информация, подлежащая скрытию, является индексной информацией, так что тип преобразования, выбранный из набора типов (305, 310) преобразования, идентифицируют на основе скрытой информации.the information to be hidden is index information, so that a transform type selected from a set of transform types (305, 310) is identified based on the hidden information. 3. Кодер по п.1, дополнительно содержащий средство (320) сигнализации, при этом3. The encoder according to claim 1, additionally containing means (320) signaling, while информация, подлежащая скрытию, является частью индексной информации, аinformation to be hidden is part of the index information, and средство (320) сигнализации выполнено с возможностью добавления в выходной битовый поток (114, 318) информации сигнализации, являющейся другой частью индексной информации, так что тип преобразования, выбранный из набора типов (305, 310) преобразования, идентифицируют на основе скрытой информации и информации сигнализации.the signaling means (320) is configured to add signaling information, which is another part of the index information, to the output bitstream (114, 318), so that a transform type selected from a set of transform types (305, 310) is identified based on hidden information and information alarm. 4. Кодер по п. 1, в котором 4. The encoder according to claim 1, in which средство (319) скрытия выполнено с возможностью скрытия информации, подлежащей скрытию, в квантованных коэффициентах (112, 308, 313) преобразования, в зависимости от условия скрытия; при этомthe hiding means (319) is configured to hide the information to be hidden in the quantized transform coefficients (112, 308, 313), depending on the hiding condition; wherein условие скрытия содержит сравнение параметра, зависящего от квантованных коэффициентов (112, 308, 313) преобразования, с пороговым значением, аthe hiding condition contains a comparison of a parameter depending on the quantized coefficients (112, 308, 313) of the transformation with a threshold value, and средство (319) скрытия выполнено с возможностью проверки условия скрытия и скрытия информации, подлежащей скрытию, в квантованных коэффициентах (112, 308, 313) преобразования, только если условие скрытия является истинным; причемthe hiding means (319) is configured to check the conditions for hiding and hiding information to be hidden in the quantized transform coefficients (112, 308, 313) only if the hiding condition is true; moreover если условие скрытия является ложным, средство (320) сигнализации выполнено с возможностью добавления в выходной битовый поток (114, 318) информации сигнализации, являющейся индексной информацией.if the hiding condition is false, the signaling means (320) is configured to add signaling information, which is index information, to the output bitstream (114, 318). 5. Декодер (200) для декодирования входного битового потока (201) в декодированное изображение (212) с использованием обратно преобразованных коэффициентов преобразования, содержащий:5. A decoder (200) for decoding an input bitstream (201) into a decoded image (212) using inversely converted transform coefficients, comprising: средство (202, 204, 206) получения, выполненное с возможностью получения из входного битового потока (201) квантованных коэффициентов преобразования, расположенных в блоке преобразования (TU),means (202, 204, 206) for receiving, configured to obtain from the input bitstream (201) quantized transform coefficients located in the transform unit (TU), средство (209) деквантования, выполненное с возможностью деквантования квантованных коэффициентов преобразования для генерирования коэффициентов (210) преобразования,dequantization means (209) configured to dequantize the quantized transform coefficients to generate transform coefficients (210), средство (208) вычисления, выполненное с возможностью восстановления скрытой информации из квантованных коэффициентов преобразования, при этом скрытая информация является по меньшей мере частью индексной информации, иcalculation means (208) adapted to recover hidden information from the quantized transform coefficients, wherein the hidden information is at least part of the index information, and средство (211) обратного преобразования, выполненное с возможностью осуществления обратного преобразования, в соответствии с типом преобразования, идентифицированным из набора типов преобразования посредством индексной информации, коэффициентов (210) преобразования в обратно преобразованные коэффициенты (212) преобразования.inverse transform means (211) configured to perform the inverse transform according to the type of transform identified from the set of transform types by index information, transform coefficients (210) to inverse transform transform coefficients (212). 6. Декодер по п.5, в котором 6. The decoder according to claim 5, in which скрытая информация является индексной информацией, при этом тип преобразования идентифицируют из набора типов преобразований на основе скрытой информации.Hidden information is index information, and the type of transformation is identified from a set of transformation types based on the hidden information. 7. Декодер по п.5, дополнительно содержащий7. The decoder according to claim 5, further comprising средство извлечения, при этомextraction means, wherein скрытая информация является частью индексной информации, аhidden information is part of the index information, and средство извлечения выполнено с возможностью извлечения из входного битового потока (201) информации сигнализации, являющейся другой частью индексной информации, при этом тип преобразования идентифицируют из набора типов преобразования на основе скрытой информации и информации сигнализации.the extraction means is configured to extract signaling information, which is another part of the index information, from the input bitstream (201), wherein the type of transform is identified from a set of transform types based on the hidden information and the signaling information. 8. Декодер по п.5, в котором8. The decoder according to claim 5, in which средство (208) вычисления выполнено с возможностью восстановления скрытой информации из квантованных коэффициентов преобразования в зависимости от условия скрытия.the calculation means (208) are configured to recover hidden information from the quantized transform coefficients depending on the concealment condition. 9. Декодер по п.8, в котором9. The decoder of claim 8, in which условие скрытия содержит сравнение параметра, зависящего от квантованного коэффициента преобразования, с пороговым значением, аthe hiding condition contains a comparison of a parameter depending on the quantized transform coefficient with a threshold value, and средство (208) вычисления выполнено с возможностью проверки условия скрытия и восстановления скрытой информации из квантованных коэффициентов преобразования только когда условие скрытия истинно.the calculation means (208) are configured to check the condition for hiding and restoring hidden information from the quantized transform coefficients only when the condition for hiding is true. 10. Декодер по п.9, в котором10. The decoder according to claim 9, in which если условие скрытия является ложным, средство извлечения выполнено с возможностью извлечения из входного битового потока (201) информации сигнализации, являющейся индексной информацией.if the hiding condition is false, the extraction means is configured to extract signaling information, which is index information, from the input bitstream (201). 11. Декодер по п.5, дополнительно содержащий11. The decoder according to claim 5, further comprising средство обратного разбиения, выполненное с возможностью получения декодированного изображения (212) посредством обратного разбиения иерархически уровневой структуры (CU, PU, TU, CG) данных, причем один уровень структуры данных является блоком преобразования (TU), при этомreverse partitioning means configured to obtain a decoded image (212) by reverse partitioning a hierarchically level data structure (CU, PU, TU, CG), wherein one level of the data structure is a transform unit (TU), wherein средство (208) вычисления выполнено с возможностью восстановления первой части скрытой информации из первого уровня структуры (CU, PU, TU, CG) данных и второй части скрытой информации из второго уровня структуры (CU, PU, TU, CG) данных, отличающегося от первого уровня, илиthe calculation means (208) is configured to recover the first part of the hidden information from the first level of the data structure (CU, PU, TU, CG) and the second part of the hidden information from the second level of the data structure (CU, PU, TU, CG) different from the first level, or скрытая информация является частью (emtTuFlag) индексной информации, а средство (208) вычисления выполнено с возможностью восстановления скрытой информацию из первого уровня структуры (CU, PU, TU, CG) данных, и средство извлечения выполнено с возможностью извлечения, из входного битового потока (201), информации сигнализации, являющейся другой частью (emtCuFlag, emtTuIdx) индексной информации из второго уровня структуры (CU, PU, TU, CG) данных, отличающегося от первого уровня.the hidden information is part (emtTuFlag) of the index information, and the calculation tool (208) is configured to recover the hidden information from the first level of the data structure (CU, PU, TU, CG), and the extraction means is configured to extract from the input bit stream ( 201), signaling information, which is another part (emtCuFlag, emtTuIdx) of index information from a second level structure (CU, PU, TU, CG) of data other than the first level. 12. Декодер по п.5, дополнительно содержащий12. The decoder according to claim 5, further comprising средство обратного разбиения, выполненное с возможностью получения декодированного изображения (212) посредством обратного разбиения иерархически уровневой структуры (CU, PU, TU, CG) данных, причем один уровень структуры данных является блоком преобразования (TU), при этомreverse partitioning means configured to obtain a decoded image (212) by reverse partitioning a hierarchically level data structure (CU, PU, TU, CG), wherein one level of the data structure is a transform unit (TU), wherein средство обратного разбиения выполнено с возможностью получения блока преобразования (TU) посредством обратного разбиения множества групп коэффициентов (CG), аthe reverse partitioning means is configured to obtain a transform unit (TU) by reverse partitioning the plurality of coefficient groups (CG), and средство (208) вычисления выполнено с возможностью восстановления скрытой информации из квантованных коэффициентов преобразования, расположенных по меньшей мере в одной из множества групп коэффициентов (CG).the calculation means (208) are configured to recover hidden information from the quantized transform coefficients located in at least one of the plurality of coefficient groups (CG). 13. Декодер по п.5, в котором13. The decoder according to claim 5, in which средство (208) вычисления выполнено с возможностью:the calculation means (208) are configured to: применения функции проверки к квантованным коэффициентам преобразования для получения результата функции проверки, при этомapplying the verification function to the quantized transform coefficients to obtain the result of the verification function, while результат функции проверки соответствует скрытой информации.The result of the verification function corresponds to hidden information. 14. Декодер по п.5, в котором14. The decoder according to claim 5, in which скрытая информация содержит флаг (emtTuFlag), имеющий первое и второе значения, при этомhidden information contains a flag (emtTuFlag) having the first and second values, while первое значение идентифицирует, что тип преобразования по умолчанию набора типов преобразований является идентифицированным типом преобразования, аthe first value identifies that the default transform type of the transform type set is the identified transform type, and второе значение указывает, что идентифицированный тип преобразования содержится в поднаборе, состоящем из набора типов преобразований без типа преобразования по умолчанию.the second value indicates that the identified transform type is contained in a subset consisting of a set of transform types without a default transform type. 15. Способ (800) декодирования входного битового потока (201) в декодированное изображение (212) с использованием обратно преобразованных коэффициентов преобразования, содержащий этапы, на которых:15. A method (800) for decoding an input bitstream (201) into a decoded image (212) using inversely converted transform coefficients, comprising the steps of: получают (801) из входного битового потока (201) квантованные коэффициенты преобразования, расположенные в блоке преобразования (TU),obtain (801) from the input bitstream (201) quantized transform coefficients located in the transform unit (TU), осуществляют деквантование (802) квантованных коэффициентов преобразования для генерирования коэффициентов (210) преобразования,dequantizing (802) the quantized transform coefficients to generate transform coefficients (210), восстанавливают (803) скрытую информацию из квантованных коэффициентов преобразования, причем скрытая информация является по меньшей мере частью индексной информации, иrecovering (803) the hidden information from the quantized transform coefficients, the hidden information being at least part of the index information, and осуществляют обратное преобразование (804), в соответствии с типом преобразования, идентифицированным из набора типов преобразований посредством индексной информации, коэффициентов (210) преобразования в обратно преобразованные коэффициенты (212) преобразования.carry out the inverse transform (804), in accordance with the type of transform identified from the set of transform types by means of index information, conversion coefficients (210) to inversely converted transform coefficients (212).
RU2018114968A 2015-12-23 2015-12-23 Method and device for coding with transformation with choice of transformation of the block level and implicit alarm system within the framework of the hierarchical division RU2682838C1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2015/000921 WO2017111648A1 (en) 2015-12-23 2015-12-23 Method and apparatus for transform coding with block-level transform selection and implicit signaling within hierarchical partitioning

Publications (1)

Publication Number Publication Date
RU2682838C1 true RU2682838C1 (en) 2019-03-21

Family

ID=56464267

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018114968A RU2682838C1 (en) 2015-12-23 2015-12-23 Method and device for coding with transformation with choice of transformation of the block level and implicit alarm system within the framework of the hierarchical division

Country Status (10)

Country Link
US (1) US20180262777A1 (en)
EP (1) EP3335422B1 (en)
JP (1) JP6595711B2 (en)
KR (1) KR102143908B1 (en)
CN (1) CN107925763B (en)
AU (1) AU2015417837B2 (en)
CA (1) CA2998468C (en)
MY (1) MY188166A (en)
RU (1) RU2682838C1 (en)
WO (1) WO2017111648A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2795346C1 (en) * 2019-09-20 2023-05-03 Нокиа Текнолоджиз Ой Device method and computer program for encoding and decoding video
US11949880B2 (en) 2019-09-02 2024-04-02 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142319A1 (en) * 2016-02-16 2017-08-24 삼성전자 주식회사 Image encoding method and apparatus, and image decoding method and apparatus
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10728548B2 (en) 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
US10750181B2 (en) 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
JP7334730B2 (en) * 2018-03-30 2023-08-29 ソニーグループ株式会社 Image processing device and method
US10986340B2 (en) * 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
US10687081B2 (en) 2018-06-29 2020-06-16 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10666981B2 (en) 2018-06-29 2020-05-26 Tencent America LLC Method, apparatus and medium for decoding or encoding
JP7127160B2 (en) * 2018-07-02 2022-08-29 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． Entropy Coding of Transform Coefficients Suitable for Dependent Scalar Quantization
US11259052B2 (en) * 2018-07-16 2022-02-22 Qualcomm Incorporated Transform variations of multiple separable transform selection
EP3723376A4 (en) * 2018-09-02 2021-01-27 LG Electronics Inc. Method for encoding/decoding video signals, and device therefor
US20220038702A1 (en) * 2018-09-20 2022-02-03 Nokia Technologies Oy A method and an apparatus for encoding and decoding of digital image/video material
WO2020073882A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Video decoder and corresponding methods
US10893286B2 (en) * 2018-10-09 2021-01-12 Tencent America LLC Methods and apparatus for low-complexity MTS
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
KR20220027281A (en) * 2018-12-21 2022-03-07 삼성전자주식회사 Video encoding method and device, and video decoding method and device
US11363306B2 (en) * 2019-04-05 2022-06-14 Comcast Cable Communications, Llc Methods, systems, and apparatuses for processing video by adaptive rate distortion optimization
CN110072109B (en) * 2019-04-25 2021-04-09 四川大学 H.264/AVC video information hiding method for macroblock-level minimized distortion
JP6912522B2 (en) * 2019-06-24 2021-08-04 Kddi株式会社 Image decoding device, image decoding method and program
WO2021137633A2 (en) * 2019-12-30 2021-07-08 재단법인 경주스마트미디어센터 Drm content parallel packaging device, drm content parallel packaging system comprising same, and drm content parallel packaging method
KR102302755B1 (en) * 2019-12-30 2021-09-16 재단법인 경주스마트미디어센터 DRM contents parallel packaging device and system comprising it and method for DRM contents parallel packaging
WO2021134327A1 (en) * 2019-12-30 2021-07-08 Oppo广东移动通信有限公司 Transformation method, encoder, decoder, and storage medium
CN114079772B (en) * 2020-08-21 2023-04-07 腾讯科技（深圳）有限公司 Video decoding method and device, computer readable medium and electronic equipment
CN113824957B (en) * 2020-09-27 2022-10-28 腾讯科技（深圳）有限公司 Video encoding and decoding method and device and electronic equipment
CN112533000B (en) * 2020-10-16 2022-08-05 腾讯科技（深圳）有限公司 Video decoding method and device, computer readable medium and electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2533444C2 (en) * 2009-08-26 2014-11-20 Сони Корпорейшн Image processing device and method
EP2928184A1 (en) * 2012-11-29 2015-10-07 LG Electronics Inc. Method and device for encoding/ decoding image supporting plurality of layers

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164778B1 (en) * 1999-01-25 2007-01-16 Nippon Telegraph And Telephone Corporation Digital watermark embedding method, digital watermark embedding apparatus, and storage medium storing a digital watermark embedding program
AU2003259839A1 (en) * 2002-08-21 2004-03-11 Thomson Licensing S.A. Watermarking digital data at a user device
JP4124366B2 (en) * 2004-09-17 2008-07-23 大日本印刷株式会社 Method for embedding and extracting digital watermark
US8149451B2 (en) * 2007-07-18 2012-04-03 Ricoh Company, Ltd. Information processing device, information embedding method, and program
CN101810007B (en) * 2007-09-28 2013-03-06 杜比实验室特许公司 Multimedia coding and decoding with additional information capability
KR20180123153A (en) * 2009-01-27 2018-11-14 톰슨 라이센싱 Methods and apparatus for transform selection in video encoding and decoding
CN102223540B (en) * 2011-07-01 2012-12-05 宁波大学 Information hiding method facing to H.264/AVC (automatic volume control) video
US9313498B2 (en) 2012-04-16 2016-04-12 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding
EP2675159B1 (en) 2012-06-15 2018-08-08 BlackBerry Limited Multi-bit information hiding using overlapping subsets
US20140286413A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Disabling sign data hiding in video coding
CN104683811B (en) * 2013-11-29 2017-12-29 中国科学院声学研究所 A kind of Information hiding and extracting method based on the modulation of integer DCT coefficient
KR101953855B1 (en) * 2014-04-01 2019-03-04 후아웨이 테크놀러지 컴퍼니 리미티드 Methods and apparatus for data hiding in multi-layer structured coding units
US9208534B2 (en) * 2014-05-07 2015-12-08 Cisco Technology Inc. System and method for embedding data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2533444C2 (en) * 2009-08-26 2014-11-20 Сони Корпорейшн Image processing device and method
EP2928184A1 (en) * 2012-11-29 2015-10-07 LG Electronics Inc. Method and device for encoding/ decoding image supporting plurality of layers

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMONOU I. et al.: "Description of video coding technology proposal by France Telecom, NTT, NTT DOCOMO, Panasonic and Technicolor", Joint Collaborative Team on Video Coding (JCT-VC), Dresden, 15-23 April, 2010. *
AMONOU I. et al.: "Description of video coding technology proposal by France Telecom, NTT, NTT DOCOMO, Panasonic and Technicolor", Joint Collaborative Team on Video Coding (JCT-VC), Dresden, 15-23 April, 2010. FILIPPOV A. et al.: "Scalar-quantization-based multi-layer data hiding for video coding applications", IEEE, 2014. *
FILIPPOV A. et al.: "Scalar-quantization-based multi-layer data hiding for video coding applications", IEEE, 2014. *
TAKESHI C. et al.: "Description of video coding technology proposal by TOSHIBA", Joint Collaborative Team on Video Coding (JCT-VC), Dresden, 15-23 April, 2010. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949880B2 (en) 2019-09-02 2024-04-02 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format
RU2795346C1 (en) * 2019-09-20 2023-05-03 Нокиа Текнолоджиз Ой Device method and computer program for encoding and decoding video
RU2807441C2 (en) * 2019-09-21 2023-11-14 Бейджин Байтдэнс Нетворк Текнолоджи Ко., Лтд. Size limitation based on intra-frame colour mode

Also Published As

Publication number Publication date
EP3335422B1 (en) 2021-12-01
CA2998468A1 (en) 2017-06-29
CA2998468C (en) 2021-02-16
KR102143908B1 (en) 2020-08-28
AU2015417837A1 (en) 2018-03-22
BR112018008131A2 (en) 2018-11-06
WO2017111648A1 (en) 2017-06-29
CN107925763A (en) 2018-04-17
JP2018530970A (en) 2018-10-18
JP6595711B2 (en) 2019-10-23
US20180262777A1 (en) 2018-09-13
MY188166A (en) 2021-11-24
EP3335422A1 (en) 2018-06-20
KR20180048809A (en) 2018-05-10
CN107925763B (en) 2020-01-10
AU2015417837B2 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
RU2682838C1 (en) Method and device for coding with transformation with choice of transformation of the block level and implicit alarm system within the framework of the hierarchical division
US10873762B2 (en) Non-separable secondary transform for video coding
US11659210B2 (en) Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
CN108028942B (en) Pixel prediction method, encoding method, decoding method, device thereof, and storage medium
KR102645498B1 (en) Single-level transform partitioning and adaptive sub-block transform
KR20190027815A (en) Look-up tables for enhanced multiple conversions
JP7124222B2 (en) Method and apparatus for color conversion in VVC
US20190238843A1 (en) Devices and methods for video coding
AU2020235621A1 (en) Implicit transform selection in video coding
KR20180111986A (en) Method and apparatus for selecting scan order
KR20210064362A (en) Method and apparatus for video coding
JP2022521933A (en) Coding method, decoding method, decoder, encoder and storage medium
KR102210230B1 (en) Method and apparatus for selecting the scan order
CN116830584A (en) Intra-frame prediction method, encoder, decoder, and storage medium
KR20210002506A (en) Encoding and decoding of video