RU2568266C1 - Video encoding and decoding method - Google Patents
Video encoding and decoding method Download PDFInfo
- Publication number
- RU2568266C1 RU2568266C1 RU2014123059/08A RU2014123059A RU2568266C1 RU 2568266 C1 RU2568266 C1 RU 2568266C1 RU 2014123059/08 A RU2014123059/08 A RU 2014123059/08A RU 2014123059 A RU2014123059 A RU 2014123059A RU 2568266 C1 RU2568266 C1 RU 2568266C1
- Authority
- RU
- Russia
- Prior art keywords
- coefficients
- wavelet transform
- discrete
- decoding
- coding
- Prior art date
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
Изобретение относится к области электросвязи и видеоинформационных технологий и касается цифрового кодирования и декодирования видеоинформации на основе трехмерного дискретного частотного преобразования, а именно на основе дискретного косинусного преобразования по времени и дискретного вейвлет-преобразования по двум пространственным координатам.The invention relates to the field of telecommunications and video information technologies and relates to digital coding and decoding of video information based on a three-dimensional discrete frequency conversion, namely, on the basis of a discrete cosine transform in time and a discrete wavelet transform in two spatial coordinates.
Заявленный способ может быть использован для кодирования и декодирования видеоинформации на основе трехмерного дискретного частотного преобразования, передаваемой в современных телекоммуникационных системах.The claimed method can be used for encoding and decoding video information based on a three-dimensional discrete frequency conversion transmitted in modern telecommunication systems.
Известны способы цифрового кодирования и декодирования видеоинформации на основе двухмерного ортогонального преобразования с формированием векторов движения, описанные например, в книге Я. Ричардсон "Видеокодирование. Н.264 и MPEG-4 - стандарты нового поколения". - М., Техносфера, 2005, стр. 55-65. В известных способах в последовательности телевизионных кадров выделяют опорные кадры, разделяют каждый телевизионный кадр на двумерные блоки размером n×n пикселей, над которыми выполняют дискретное косинусное преобразование. Для блоков дискретного косинусного преобразования телевизионных кадров, не относящихся к опорным кадрам, вычисляют характеристики степени их близости к блокам дискретного косинусного преобразования ближайшего опорного телевизионного кадра, которые кодируют в виде вектора движения.Known methods for digital coding and decoding of video information based on two-dimensional orthogonal transformation with the formation of motion vectors are described, for example, in the book by J. Richardson "Video coding. H.264 and MPEG-4 - new generation standards." - M., Technosphere, 2005, pp. 55-65. In known methods, reference frames are extracted in a sequence of television frames, each television frame is divided into two-dimensional blocks of n × n pixels in size, over which a discrete cosine transform is performed. For discrete cosine transform blocks of television frames that are not related to reference frames, the characteristics of the degree of their proximity to the discrete cosine transform blocks of the nearest television reference frame, which are encoded as a motion vector, are calculated.
Недостатками данных способов является то, что передача векторов движения существенно снижает помехоустойчивость передачи закодированного телевизионного сигнала по каналам связи с помехами, а также то, что нахождение векторов движения требует сложных вычислений.The disadvantages of these methods is that the transmission of motion vectors significantly reduces the noise immunity of the transmission of an encoded television signal through communication channels with interference, as well as the fact that finding motion vectors requires complex calculations.
Известны также способы кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования, описанные, например, авторами Ni Wei, Guo Bao-long, Yang Liu в статье «Novel video coding algorithm based on 3D-bin DCT», OPTO ELECTRONICS LETTERS, Vol. 1, No. 3, 2005. В известных способах предварительно формируют таблицы квантования и таблицы энтропийного кода, выделяют незначащие коэффициенты трехмерного дискретного косинусного преобразования с использованием трехмерных границ разрешающей способности зрения, на передающей стороне из входной последовательности n≥2 кадров видеосигнала формируют трехмерные блоки пикселей размером n×n×n пикселей, вычисляют в каждом трехмерном блоке пикселей количество движения, на основе которого повторно выделяют незначащие коэффициенты трехмерного дискретного косинусного преобразования этого блока. Затем выполняют прямое дискретное косинусное преобразование каждого трехмерного блока пикселей без учета ранее выделенных незначащих коэффициентов трехмерного дискретного косинусного преобразования, после чего по предварительно заданным таблицам квантования квантуют коэффициенты дискретного косинусного преобразования, формируют одномерную последовательность квантованных коэффициентов каждого трехмерного блока коэффициентов дискретного косинусного преобразования и статистически кодируют ее по таблицам энтропийного кода.There are also known methods of encoding and decoding video information based on three-dimensional discrete cosine transform, described, for example, by Ni Wei, Guo Bao-long, Yang Liu in the article "Novel video coding algorithm based on 3D-bin DCT", OPTO ELECTRONICS LETTERS, Vol. 1, No. 3, 2005. In the known methods, quantization tables and entropy code tables are preliminarily formed, insignificant coefficients of a three-dimensional discrete cosine transform are extracted using three-dimensional boundaries of the resolution of vision, three-dimensional n × n pixel blocks are formed on the transmitting side from the input sequence n≥2 frames of the video signal × n pixels, the amount of motion is calculated in each three-dimensional block of pixels, based on which insignificant coefficients of the three-dimensional discrete are re-allocated the cosine transform of this block. Then, a direct discrete cosine transform of each three-dimensional block of pixels is performed without taking into account previously selected insignificant coefficients of a three-dimensional discrete cosine transform, then, according to predefined quantization tables, the discrete cosine transform coefficients are quantized, a one-dimensional sequence of quantized coefficients of each three-dimensional block of discrete cosine transform coefficients is generated, and its statistics are encoded according to the tables of entropy code.
Передают закодированную последовательность по каналу передачи, на приемной стороне принятую закодированную последовательность статистически декодируют по таблицам энтропийного кода. Далее преобразуют принятую декодированную последовательность в трехмерные блоки квантованных коэффициентов дискретного косинусного преобразования, которые деквантуют по таблицам квантования, над каждым трехмерным блоком деквантованных коэффициентов дискретного косинусного преобразования выполняют обратное дискретное косинусное преобразование, и восстанавливают видеосигнал.The encoded sequence is transmitted over the transmission channel; on the receiving side, the received encoded sequence is statistically decoded according to the tables of the entropy code. Next, the received decoded sequence is converted into three-dimensional blocks of quantized coefficients of the discrete cosine transform, which are dequantized according to the quantization tables, the inverse discrete cosine transform is performed on each three-dimensional block of dequantized coefficients of the discrete cosine transform, and the video signal is restored.
В известных способах обеспечивается уменьшение сложности кодирования видеосигнала благодаря исключению предварительно выделенных незначащих коэффициентов трехмерного дискретного косинусного преобразования с использованием трехмерных границ разрешающей способности зрения и исключению незначащих коэффициентов трехмерного дискретного косинусного преобразования на основе вычисленного в каждом трехмерном блоке пикселей количества движения.The known methods reduce the coding complexity of the video signal by eliminating pre-selected insignificant coefficients of the three-dimensional discrete cosine transform using three-dimensional boundaries of the resolution of vision and eliminating insignificant coefficients of the three-dimensional discrete cosine transform based on the amount of motion calculated in each three-dimensional block of pixels.
Недостатком известных способов является появление дополнительной погрешности кодирования видеосигналов, отличающихся от усредненной модели видеосигнала, для которого предварительно построены трехмерные границы разрешающей способности зрения и определены подлежащие исключению незначащие коэффициенты трехмерного дискретного косинусного преобразования. Для каждого из отличающихся от усредненной модели видеосигналов необходимо заново построить трехмерные границы разрешающей способности зрения и определить подлежащие исключению незначащие коэффициенты трехмерного дискретного косинусного преобразования, иначе использование несоответствующих кодируемому видеосигналу трехмерных границ разрешающей способности зрения и подлежащих исключению незначащих коэффициентов трехмерного дискретного косинусного преобразования вызывает появление дополнительной погрешности кодирования.A disadvantage of the known methods is the appearance of an additional error in the encoding of video signals that differ from the average model of the video signal for which three-dimensional boundaries of the resolution of vision have been preliminarily constructed and insignificant coefficients of the three-dimensional discrete cosine transform to be excluded are determined. For each of the video signals that differ from the average model, it is necessary to re-construct the three-dimensional boundaries of the resolution of vision and determine the insignificant coefficients of the three-dimensional discrete cosine transform to be excluded, otherwise the use of three-dimensional boundaries of the resolution of the vision that are inconsistent with the encoded video signal and the insignificant coefficients of the three-dimensional discrete cosine transform should cause an additional error coding.
Наиболее близким по своей технической сущности к заявленному способу кодирования и декодирования видеоинформации является способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования, описанный в патенте РФ 2375838 С1, опубликован 10.12.2009, приоритет от 19.11.2008. Способ-прототип заключается в том, что кодирование видеоинформации, представленной в виде последовательности телевизионных кадров, разбиваемой на пакеты по n кадров, в котором на первом этапе кодирования для обнаружения и устранения временной избыточности в каждом домене размером n×n×n пикселей осуществляют дискретное косинусное преобразование по времени, затем определяют наличие движения в каждом фрагменте размером n×n пикселей по признаку наличия ненулевых спектральных коэффициентов, кроме первого фрагмента домена, на втором этапе кодирования в случае наличия движения в каждом фрагменте домена для устранения пространственной избыточности вычисляют коэффициенты дискретного косинусного преобразования по двум пространственным координатам x и y, полученные коэффициенты квантуют, их совокупность кодируют для устранения статистической избыточности и передают в канал связи, а в случае отсутствия движения вычисляют коэффициенты дискретного косинусного преобразования только для первого фрагмента домена и в канал связи передают спектральные коэффициенты первого фрагмента и количество фрагментов домена без движения, на последующих этапах кодирования при поступлении очередных пакетов, если движение имеется, то процесс кодирования повторяют, если же в конкретных доменах движения нет, то для них передают сигнал об использовании при декодировании предыдущего фрагмента и число фрагментов без движения, на этапе декодирования сжатый видеопоток последовательно подвергают декодированию, декватованию, и в случае наличия движения в доменах - обратному трехмерному дискретному косинусному преобразованию, в случае отсутствия движения в конкретных доменах по переданным в предыдущих доменах спектральным коэффициентам по двум пространственным координатам x и y первого фрагмента и сигналам о количестве фрагментов без движения восстанавливают соответствующие фрагменты этих доменов при выполнении только обратного дискретного косинусного преобразования по времени, в результате по сжатому сигналу восстанавливают исходный видеопоток.The closest in technical essence to the claimed method of encoding and decoding video information is a method of encoding and decoding video information based on a three-dimensional discrete cosine transform, described in RF patent 2375838 C1, published on 12/10/2009, priority dated 11/19/2008. The prototype method consists in the fact that the encoding of video information, presented in the form of a sequence of television frames, divided into packets of n frames, in which at the first stage of coding, a discrete cosine code is performed to detect and eliminate temporary redundancy in each n × n × n domain time conversion, then the presence of motion in each fragment of size n × n pixels is determined by the presence of non-zero spectral coefficients, except for the first fragment of the domain, at the second stage In the case of motion in each domain fragment, in order to eliminate spatial redundancy, the coefficients of the discrete cosine transform along two spatial coordinates x and y are calculated, the obtained coefficients are quantized, their combination is encoded to eliminate statistical redundancy and transmitted to the communication channel, and in the absence of movement, the coefficients are calculated discrete cosine transform only for the first fragment of the domain and the spectral coefficients of the first fragment are transmitted to the communication channel ment and the number of fragments of the domain without movement, at the subsequent stages of coding when the next packets arrive, if there is movement, then the coding process is repeated, if there is no movement in specific domains, then they transmit a signal about the use of the previous fragment and the number of fragments without movement when decoding , at the stage of decoding, the compressed video stream is sequentially subjected to decoding, decoding, and in the case of movement in the domains, to the inverse three-dimensional discrete cosine transform, in In the absence of motion in specific domains, the spectral coefficients transmitted in previous domains for the two spatial coordinates x and y of the first fragment and the signals about the number of fragments without movement restore the corresponding fragments of these domains when performing only the inverse discrete cosine transformation in time, as a result, the compressed signal is restored source video stream.
Способ-прототип обеспечивает уменьшение сложности реализации устройств кодирования и декодирования видеоинформации благодаря исключению выполнения прямого и обратного дискретного косинусного преобразования по двум пространственным координатам x и y для большинства фрагментов домена в случае отсутствия движения.The prototype method reduces the complexity of the implementation of video encoding and decoding devices due to the elimination of direct and inverse discrete cosine transforms along two spatial coordinates x and y for most fragments of the domain in the absence of movement.
Недостатком ближайшего аналога является относительно малая степень удаления избыточности кодируемой видеоинформации и относительно невысокая устойчивость передаваемого сжатого видеопотока к воздействию ошибок канала связи. Относительно малая степень удаления избыточности кодируемой видеоинформации обусловлена тем, что для удаления пространственной и временной избыточности используется одно и то же дискретное косинусное преобразование, которое не обеспечивает требуемую адаптивность к переменной пространственной избыточности реальных видеосигналов. Относительно невысокая устойчивость передаваемого сжатого видеопотока к воздействию ошибок канала связи обусловлена тем, что при воздействии ошибок канала связи на закодированные для устранения статистической избыточности квантованные коэффициенты трехмерного дискретного косинусного преобразования при их декодировании искажения распространяются на весь домен размером n×n×n пикселей восстанавливаемого видеосигнала.The disadvantage of the closest analogue is the relatively small degree of removal of redundancy of the encoded video information and the relatively low resistance of the transmitted compressed video stream to the effects of communication channel errors. The relatively small degree of redundancy removal of encoded video information is due to the fact that the same discrete cosine transform is used to remove spatial and temporal redundancy, which does not provide the required adaptability to the variable spatial redundancy of real video signals. The relatively low stability of the transmitted compressed video stream to the effects of communication channel errors is due to the fact that when the communication channel errors affect the quantized coefficients of the three-dimensional discrete cosine transform, encoded to eliminate statistical redundancy, distortions are distributed over the entire n × n × n pixel domain of the reconstructed video signal when they are decoded.
Техническим результатом заявляемого решения является повышение степени удаления избыточности кодируемой видеоинформации и повышение устойчивости передаваемого сжатого видеопотока к воздействию ошибок канала связи.The technical result of the proposed solution is to increase the degree of redundancy of the encoded video information and increase the stability of the transmitted compressed video stream to the effects of communication channel errors.
Указанный технический результат достигается тем, что в известном способе кодирования и декодирования видеоинформации, представленной в виде последовательности телевизионных кадров, разбиваемой на пакеты по n кадров, заключающемся в том, что на первом этапе кодирования для устранения временной избыточности в каждом домене размером n×n×n пикселов осуществляют дискретное косинусное преобразование по времени, на втором этапе кодирования для устранения пространственной избыточности вычисляют коэффициенты дискретного частотного преобразования по двум пространственным координатам x и y, полученные коэффициенты квантуют, их совокупность кодируют для устранения статистической избыточности и передают в канал связи, на этапе декодирования сжатый видеопоток последовательно подвергают декодированию, деквантованию, обратному дискретному преобразованию, в результате по сжатому сигналу восстанавливают исходный видеопоток, дополнительно на втором этапе кодирования в каждом фрагменте домена для устранения пространственной избыточности вычисляют коэффициенты дискретного вейвлет-преобразования по двум пространственным координатам x и y, а для устранения статистической избыточности совокупность квантованных коэффициентов дискретного вейвлет-преобразования кодируют с использованием адаптивного дихотомического кодирования, причем на этапе декодирования сжатый видеопоток последовательно подвергают адаптивному дихотомическому декодированию, деквантованию, обратному двухмерному дискретному вейвлет-преобразованию по двум пространственным координатам x и y и обратному дискретному косинусному преобразованию по времени.The specified technical result is achieved by the fact that in the known method of encoding and decoding video information, presented in the form of a sequence of television frames, divided into packets of n frames, which consists in the fact that at the first stage of coding to eliminate temporary redundancy in each domain of size n × n × n pixels perform discrete cosine time conversion, at the second stage of coding, to eliminate spatial redundancy, the coefficients of the discrete frequency conversion are calculated If the coefficients are quantized, the resulting coefficients are quantized, they are encoded to eliminate statistical redundancy and transmitted to the communication channel, at the decoding stage, the compressed video stream is sequentially decoded, dequantized, inverse discrete transformation, as a result, the original video stream is restored from the compressed signal, in addition, at the second stage of coding, in each domain fragment, discrete coefficients in yvlet transforms along two spatial coordinates x and y, and to eliminate statistical redundancy, the set of quantized coefficients of a discrete wavelet transform is encoded using adaptive dichotomous coding, and at the decoding stage, the compressed video stream is sequentially subjected to adaptive dichotomous decoding, dequantization, the inverse of two-dimensional discrete wavelet transform in two spatial coordinates x and y and inverse discrete cosine transform aniyu time.
Указанная новая совокупность существенных признаков за счет последовательного вычисления коэффициентов дискретного косинусного преобразования по времени в каждом домене размером n×n×n пикселов для устранения временной избыточности и коэффициентов дискретного вейвлет-преобразования по двум пространственным координатам х и у для устранения пространственной избыточности, а также использования адаптивного дихотомического кодирования квантованных коэффициентов дискретного вейвлет-преобразования для устранения статистической избыточности позволяет повысить степень удаления избыточности кодируемой видеоинформации. Также указанная новая совокупность существенных признаков за счет использования для устранения статистической избыточности адаптивного дихотомического кодирования квантованных коэффициентов дискретного вейвлет-преобразования, обеспечивающего адаптацию числа одновременно кодируемых квантованных коэффициентов дискретного вейвлет-преобразования в зависимости от их статистических характеристик, позволяет уменьшить в среднем число искаженных ошибкой канала передачи декодируемых деквантованных коэффициентов дискретного вейвлет-преобразования. Отмеченное позволяет повысить устойчивость передаваемого сжатого видеопотока к воздействию ошибок канала связи, то есть достичь сформулированного технического результата. Заявленный способ поясняется чертежами, на которых показаны:This new set of essential features due to the sequential calculation of the coefficients of the discrete cosine transform in time in each domain of size n × n × n pixels to eliminate temporal redundancy and the coefficients of the discrete wavelet transform in two spatial coordinates x and y to eliminate spatial redundancy, as well as use adaptive dichotomous coding of quantized coefficients of a discrete wavelet transform to eliminate the statistical hut ochnosti you can increase the removal of redundancy encoded video. Also, the indicated new set of essential features due to the use of discrete wavelet transform coefficients to adapt the statistical redundancy of adaptive dichotomous coding, which adapts the number of simultaneously encoded discrete wavelet transform coefficients depending on their statistical characteristics, reduces the average number of transmission channels distorted by an error decoded dequantized discrete wavelet coefficients -transformations. The aforementioned allows to increase the stability of the transmitted compressed video stream to the effects of communication channel errors, that is, to achieve the formulated technical result. The claimed method is illustrated by drawings, which show:
- на фиг. 1 - общая схема кодирования видеоинформации;- in FIG. 1 is a general video coding scheme;
- на фиг. 2 - алгоритм кодирования видеоинформации на передающей стороне;- in FIG. 2 - video encoding algorithm on the transmitting side;
- на фиг. 3 - примерный вид первой битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования;- in FIG. 3 is an exemplary view of a first bit plane of a constellation 512 by 256 quantized coefficients of a discrete wavelet transform;
- на фиг. 4 - примерный вид второй битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования;- in FIG. 4 is an exemplary view of a second bit plane of a set of 512 by 256 quantized coefficients of a discrete wavelet transform;
- на фиг. 5 - примерный вид девятой битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования;- in FIG. 5 is an exemplary view of a ninth bit plane of a constellation 512 by 256 quantized coefficients of a discrete wavelet transform;
- на фиг. 6 - алгоритм декодирования видеоинформации на принимающей стороне.- in FIG. 6 is a video decoding algorithm for the receiving side.
Предлагаемый способ может быть реализован следующим образом. На фиг. 1 показана система кодирования и декодирования видеоинформации, состоящая из кодера видеоинформации 1 и декодера видеоинформации 2.The proposed method can be implemented as follows. In FIG. 1 shows a video encoding and decoding system consisting of a video information encoder 1 and a video information decoder 2.
На передающей стороне телевизионный сигнал, состоящий из последовательности кадров, разбиваемой на пакеты по n кадров и затем на домены размером n×n×n пикселей, поступает на вход кодера видеоинформации 1. Кодер видеоинформации 1 состоит из последовательно соединенных блоков одномерного дискретного косинусного преобразования 11 (ДКП-1D), двухмерного дискретного вейвлет-преобразования 12 (ДВП-2D), квантования 13 и кодирования 14. С выхода кодера видеоинформации 1 сжатый видеопоток поступает на вход канала связи 3, выход которого соединен с входом декодера видеоинформации 2. Устройство декодирования видеоинформации 2 состоит из последовательно соединенных блоков декодирования 21, деквантования 22, обратного двухмерного дискретного вейвлет-преобразования 23 (ОДВП-2D) и обратного одномерного дискретного косинусного преобразования 24 (ОДКП-1D).On the transmitting side, a television signal, consisting of a sequence of frames, divided into packets of n frames and then into domains of size n × n × n pixels, is fed to the input of video encoder 1. Video encoder 1 consists of series-connected blocks of one-dimensional discrete cosine transform 11 ( DKP-1D), two-dimensional discrete wavelet transform 12 (DVP-2D), quantization 13, and coding 14. From the output of the video information encoder 1, the compressed video stream is fed to the input of communication channel 3, the output of which is connected to input d 2. The video encoder video decoding apparatus 2 is composed of serially connected decoding unit 21, dequantization 22, inverse two-dimensional discrete wavelet transform 23 (ODVP-2D) and a one-dimensional inverse discrete cosine transform 24 (IDCT-1D).
В заявленном способе для кодирования и декодирования видеоинформации реализуется следующая последовательность действий.In the claimed method for encoding and decoding video information, the following sequence of actions is implemented.
Алгоритм кодирования видеоинформации показан на фиг. 2.The video encoding algorithm is shown in FIG. 2.
Известные способы осуществления дискретного косинусного преобразования по времени в каждом домене размером n×n×n пикселов описаны, например, в патенте РФ 2375838, где из очередных кадров домена с номерами от 1 до n последовательно считываются значения пикселей с одноименными пространственными координатами x и y. Из считанной последовательности значений пикселей вычисляются n коэффициентов дискретного косинусного преобразования по времени. Если очередные кадры обрабатываемого домена существенно отличаются друг от друга, то есть имеется движение во времени, то все вычисленные n коэффициентов дискретного косинусного преобразования являются ненулевыми. Чем меньше движения имеется в очередных кадрах обрабатываемого домена, тем больше последних по счету вычисленных коэффициентов дискретного косинусного преобразования являются нулевыми. В результате осуществления дискретного косинусного преобразования по времени в каждом домене размером n×n×n пикселов по каждой координате x и y формируют трехмерную матрицу коэффициентов дискретного косинусного преобразования размером n×n×n коэффициентов.Known methods for performing discrete cosine time conversion in each n × n × n domain are described, for example, in RF patent 2375838, where pixel values with spatial coordinates x and y are sequentially read from successive frames of a domain with numbers from 1 to n. From a read sequence of pixel values, n coefficients of a discrete cosine transform in time are calculated. If the next frames of the domain being processed are significantly different from each other, that is, there is a movement in time, then all the calculated n coefficients of the discrete cosine transform are nonzero. The less movement there is in the next frames of the processed domain, the more recent calculated coefficients of the discrete cosine transform are zero. As a result of the implementation of the discrete cosine transform in time in each domain of size n × n × n pixels for each x and y coordinate, a three-dimensional matrix of coefficients of the discrete cosine transform of size n × n × n coefficients is formed.
Известные способы вычисления коэффициентов дискретного вейвлет-преобразования по двум пространственным координатам x и y описаны, например, в книге Д. Сэломон "Сжатие данных, изображений и звука". - М., Техносфера, 2006, стр. 252-264. Поочередно, начиная с первой до n по временной координате двухмерной матрицы коэффициентов дискретного косинусного преобразования, выделенной из сформированной трехмерной матрицы размером n×n×n коэффициентов дискретного косинусного преобразования, вычисляют коэффициенты дискретного вейвлет-преобразования по двум пространственным координатам в каждой из частотных полос вейвлет-преобразования.Known methods for calculating discrete wavelet transform coefficients using two spatial coordinates x and y are described, for example, in D. Salomon's book “Data, Image, and Sound Compression”. - M., Technosphere, 2006, pp. 252-264. Alternately, starting from the first to n in the time coordinate of the two-dimensional matrix of discrete cosine transform coefficients extracted from the generated three-dimensional matrix of size n × n × n coefficients of the discrete cosine transform, the coefficients of the discrete wavelet transform are calculated from two spatial coordinates in each of the frequency bands of the wavelet transformations.
Известные способы квантования полученных коэффициентов дискретного вейвлет-преобразования описаны, например, в книге Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин "Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео". - М., ДИАЛОГ-МИФИ, 2002, стр. 308. Таблица квантования имеет n×n коэффициентов квантования, обычно выбирают размер таблицы квантования величиной 8×8, 16×16 коэффициентов квантования и т.д. Величину каждого коэффициента квантования определяют как целое положительное число, на которое делят значение соответствующего коэффициента дискретного вейвлет-преобразования при его квантовании, затем результат деления округляют до ближайшего целого значения.Known methods for quantizing the obtained discrete wavelet transform coefficients are described, for example, in the book by D. Vatolin, A. Ratushnyak, M. Smirnov, V. Yukin, “Data compression methods. Archiver device, image and video compression”. - M., DIALOGUE – MEPhI, 2002, p. 308. The quantization table has n × n quantization coefficients, usually the size of the quantization table is 8 × 8, 16 × 16 quantization coefficients, etc. The value of each quantization coefficient is defined as a positive integer, by which the value of the corresponding coefficient of the discrete wavelet transform is divided when it is quantized, then the division result is rounded to the nearest integer value.
Кодирование совокупности квантованных коэффициентов дискретного вейвлет-преобразования с использованием адаптивного дихотомического кодирования заключается в следующем.The coding of the set of quantized coefficients of the discrete wavelet transform using adaptive dichotomous coding is as follows.
Определяют максимальный по абсолютному значению коэффициент Bmax из совокупности квантованных коэффициентов дискретного вейвлет-преобразования кодируемой частотной полосы вейвлет-преобразования и вычисляют минимально требуемое для адаптивного дихотомического кодирования число битовых плоскостей k по правилу: 2k≥Bmax. Например, для максимального по абсолютному значению коэффициента Bmax=348 минимально требуемое для адаптивного дихотомического кодирования число битовых плоскостей составило k=9.The absolute value maximum coefficient B max is determined from the set of quantized coefficients of the discrete wavelet transform of the encoded wavelet transform frequency band and the minimum number of bit planes k required for adaptive dichotomous coding is calculated according to the rule: 2 k ≥B max . For example, for the maximum absolute value of the coefficient B max = 348, the minimum number of bit planes required for adaptive dichotomous coding was k = 9.
Совокупность квантованных коэффициентов дискретного вейвлет-преобразования представляют в виде битовых плоскостей, что описано, например, в стандарте сжатия изображений JPEG2000 ISO/IEC 15444-1. Information technology. JPEG 2000 image coding system. Каждая битовая плоскость определяется значениями соответствующего разряда двоичных символов совокупности квантованных коэффициентов дискретного вейвлет-преобразования. Первая битовая плоскость соответствует значениям старших двоичных символов, вторая - значениям двоичных символов меньшей значности и т.д. Примерный вид первой битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования показан на фиг. 3. Пиксел черного цвета означает единичное значение двоичного символа квантованного коэффициента дискретного вейвлет-преобразования данной битовой плоскости. Пиксел белого цвета означает нулевое значение двоичного символа квантованного коэффициента дискретного вейвлет-преобразования данной битовой плоскости. Примерный вид второй битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования показан на фиг. 4. Примерный вид девятой, последней по счету в данном примере, битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования показан на фиг. 5. Видно, что расположение единичных или нулевых двоичных символов совокупности квантованных коэффициентов дискретного вейвлет-преобразования характеризуется явным группированием, причем в зависимости от номера битовой плоскости наблюдается, как правило, преобладание или единичных, или нулевых двоичных символов.The set of quantized discrete wavelet transform coefficients is represented in the form of bit planes, as described, for example, in the JPEG2000 ISO / IEC 15444-1 image compression standard. Information technology. JPEG 2000 image coding system. Each bit plane is determined by the values of the corresponding category of binary symbols of the set of quantized coefficients of the discrete wavelet transform. The first bit plane corresponds to the values of the most significant binary symbols, the second to the values of binary symbols of lower significance, etc. An exemplary view of the first bit plane of the constellation 512 by 256 quantized coefficients of the discrete wavelet transform is shown in FIG. 3. A black pixel means the unit value of the binary symbol of the quantized coefficient of the discrete wavelet transform of a given bit plane. A white pixel means the zero value of the binary symbol of the quantized coefficient of the discrete wavelet transform of a given bit plane. An exemplary view of the second bit plane of the constellation 512 by 256 quantized coefficients of the discrete wavelet transform is shown in FIG. 4. An exemplary view of the ninth, last in this example, bit plane of the constellation 512 by 256 quantized coefficients of the discrete wavelet transform is shown in FIG. 5. It can be seen that the arrangement of single or zero binary symbols of the set of quantized coefficients of the discrete wavelet transform is characterized by explicit grouping, and depending on the number of the bit plane, as a rule, either single or zero binary symbols predominate.
Очередную битовую плоскость совокупности квантованных коэффициентов дискретного вейвлет-преобразования делят на непересекающиеся области размером m×m двоичных символов, где m>2. Например, размер непересекающихся областей может составлять 32×32 или 16×16 элементов и т.д. двоичных символов. Если очередная область размером m×m двоичных символов, например 32×32 двоичных символов, состоит только из нулевых двоичных символов, или только из единичных двоичных символов, то результатом кодирования является выявленное двоичное значение и расположение его области, после чего осуществляется переход к кодированию следующей области размером m×m двоичных символов. В противном случае очередную область делят на четыре равные области размером m/2×m/2 двоичных символов, например 16×16 или 8×8 элементов и т.д. двоичных символов. Далее, каждую из областей размером m/2×m/2 двоичных символов кодируют аналогично области большего размера. Описанный процесс может итерационно повторяться, пока кодируемая область на каком-либо этапе не достигнет размеров 2×2 двоичных символов. Такую область кодируют путем непосредственной передачи в канал связи значений каждого из ее четырех двоичных символов.The next bit plane of the set of quantized coefficients of the discrete wavelet transform is divided into disjoint regions of size m × m binary characters, where m> 2. For example, the size of the disjoint areas may be 32 × 32 or 16 × 16 elements, etc. binary characters. If the next region of size m × m binary characters, for example 32 × 32 binary characters, consists only of zero binary characters, or only of single binary characters, then the encoding result is the identified binary value and the location of its area, after which the next encoding proceeds areas of size m × m binary characters. Otherwise, the next area is divided into four equal areas of size m / 2 × m / 2 binary characters, for example 16 × 16 or 8 × 8 elements, etc. binary characters. Further, each of the m / 2 × m / 2 binary symbol regions is encoded similarly to the larger region. The described process can be iteratively repeated until the encoded region at some stage reaches the size of 2 × 2 binary characters. Such a region is encoded by directly transmitting to the communication channel the values of each of its four binary symbols.
Адаптивность дихотомического кодирования совокупности квантованных коэффициентов дискретного вейвлет-преобразования заключается в том, что на каждой итерации и для каждой области размером m×m двоичных символов в зависимости от преобладания в этой области нулевых или единичных двоичных символов, для ее кодирования выбирают преобладающее в этой области нулевое двоичное значение или единичное двоичное значение.The adaptability of the dichotomous encoding of the set of quantized coefficients of the discrete wavelet transform lies in the fact that at each iteration and for each region of size m × m binary symbols, depending on the prevalence of zero or single binary symbols in this region, the zero prevailing in this region is chosen binary value or single binary value.
Известные способы передачи закодированной совокупности квантованных коэффициентов дискретного вейвлет-преобразования по каналу передачи описаны, например, в книге: А.Г. Зюко, Д.Д. Кловский, М.В. Назаров, Л.М. Финк "Теория передачи сигналов". - М.: Радио и связь, 1986, стр. 11.Known methods for transmitting an encoded set of quantized coefficients of a discrete wavelet transform over a transmission channel are described, for example, in the book: A.G. Zyuko, D.D. Klovsky, M.V. Nazarov, L.M. Fink "Theory of signal transmission." - M.: Radio and Communications, 1986, p. 11.
Известные способы адаптивного дихотомического декодирования сжатого видеопотока описаны, например, в книге Фадеев Д.К., Фадеева В.Н. Вычислительные методы линейной алгебры. - М. Лань, 2002. Они заключаются в декодировании закодированных значений областей с первой до последней битовых плоскостей совокупности квантованных коэффициентов дискретного вейвлет-преобразования и восстановлении из декодированных двоичных разрядов совокупности квантованных коэффициентов дискретного вейвлет-преобразования каждой частотной полосы вейвлет-преобразования.Known methods for adaptive dichotomous decoding of a compressed video stream are described, for example, in the book Fadeev D.K., Fadeeva V.N. Computational methods of linear algebra. - M. Lan, 2002. They consist in decoding the encoded values of the regions from the first to the last bit planes of the set of quantized coefficients of the discrete wavelet transform and recovering from the decoded binary bits the set of quantized coefficients of the discrete wavelet transform of each frequency band of the wavelet transform.
Известные способы деквантования коэффициентов дискретного вейвлет-преобразования описаны, например, в книге Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин "Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео". - М., ДИАЛОГ-МИФИ, 2002, стр. 308. Для этого, например, значение каждого квантованного коэффициента деквантуют путем умножения его значения на значение соответствующего коэффициента квантования таблицы квантования.Known methods for dequantizing discrete wavelet transform coefficients are described, for example, in the book by D. Vatolin, A. Ratushnyak, M. Smirnov, V. Yukin, “Data compression methods. Archiver device, image and video compression”. - M., DIALOGUE – MEPhI, 2002, p. 308. For this, for example, the value of each quantized coefficient is dequantized by multiplying its value by the value of the corresponding quantization coefficient of the quantization table.
Известные способы выполнения обратного двухмерного дискретного вейвлет-преобразования по двум пространственным координатам x и y описаны, например, в книге Д. Сэломон "Сжатие данных, изображений и звука". - М., Техносфера, 2006, стр. 252-264.Known methods for performing the inverse two-dimensional discrete wavelet transform in two spatial coordinates x and y are described, for example, in the book by D. Salomon "Compression of data, images and sound." - M., Technosphere, 2006, pp. 252-264.
Известные способы выполнения обратного дискретного косинусного преобразования по времени описаны, например, в патенте РФ 2375838. В результате по сжатому сигналу восстанавливают исходный видеопоток.Known methods for performing the inverse discrete cosine time conversion are described, for example, in RF patent 2375838. As a result, the original video stream is restored from the compressed signal.
Проверка теоретических предпосылок заявленного способа кодирования и декодирования видеоинформации проверялась путем его аналитических исследований.Verification of the theoretical premises of the claimed method of encoding and decoding video information was verified by its analytical studies.
Была разработана программная модель кодирования и декодирования видеоинформации на основе предложенных технических решений, которые сравнивались с кодеком кодирования и декодирования видеоинформации на основе рекомендации Н.264. Использовалась кодируемая видеоинформация в виде последовательности телевизионных кадров, разбиваемой на пакеты по n=16 кадров размером 1920 на 1080 пикселов с частотой кадров 30 кадров в секунду. Кодирование видеоинформации на основе предложенных технических решений обеспечило сжатие видеоинформации в 160 раз в среднем, при этом кодек на основе рекомендации Н.264 сжал эту же последовательность телевизионных кадров в 155 раз в среднем. Повышение степени удаления избыточности кодируемой видеоинформации на основе предложенных технических решений достигнуто за счет последовательного вычисления коэффициентов дискретного косинусного преобразования по времени в каждом домене размером n×n×n пикселов для устранения временной избыточности и коэффициентов дискретного вейвлет-преобразования по двум пространственным координатам x и y для устранения пространственной избыточности, а также использования адаптивного дихотомического кодирования квантованных коэффициентов дискретного вейвлет-преобразования для устранения статистической избыточности.A software model for encoding and decoding video information was developed based on the proposed technical solutions, which were compared with a codec for encoding and decoding video information based on the recommendation of H.264. We used encoded video information in the form of a sequence of television frames, divided into packets of n = 16 frames of size 1920 by 1080 pixels with a frame rate of 30 frames per second. Encoding video information on the basis of the proposed technical solutions provided compression of video information 160 times on average, while the codec based on the H.264 recommendation compressed the same sequence of television frames 155 times on average. An increase in the degree of redundancy removal of encoded video information based on the proposed technical solutions was achieved by sequentially calculating the discrete cosine transform coefficients in time in each domain of size n × n × n pixels to eliminate temporal redundancy and discrete wavelet transform coefficients in two spatial coordinates x and y for elimination of spatial redundancy, as well as the use of adaptive dichotomous coding of quantized coefficients di scratched wavelet transform to eliminate statistical redundancy.
Также была исследована устойчивость передаваемого сжатого видеопотока к воздействию ошибок канала связи. Исследование влияния ошибок канала связи осуществлялось путем генерации ошибок передачи двоичных символов и их наложения на двоичные символы сжатого видеопотока. Для этого генерировались равновероятно распределенные ошибки передачи очередных двоичных символов сжатого видеопотока с вероятностью их возникновения 10-6, 10-5, 10-4.The stability of the transmitted compressed video stream to the effects of communication channel errors was also investigated. The study of the influence of communication channel errors was carried out by generating binary symbol transmission errors and their superposition on the binary symbols of the compressed video stream. To this end, equally distributed errors were generated for transmitting the next binary symbols of the compressed video stream with a probability of their occurrence 10 -6 , 10 -5 , 10 -4 .
Экспериментально установлено, что при использовании кодирования и декодирования видеоинформации на основе предложенных технических решений при воздействии ошибок канала связи с вероятностью ошибки передачи двоичных символов 10-6 искажения в восстановленных кадрах визуально не наблюдаются. При воздействии ошибок канала связи с вероятностью ошибки передачи двоичных символов 10-5 и 10-4 появляются искажения в восстановленных кадрах, но во всех случаях изображение восстанавливается полностью. При этом искажения в восстановленных кадрах из-за воздействия ошибок канала связи проявляются в виде размытия четкости изображения. При воздействии аналогичных ошибок канала связи на сжатый видеопоток, закодированный и декодированный кодеком на основе рекомендации Н.264, выявлена существенно большая степень визуальных искажений в восстановленных кадрах, причем наблюдаются полностью искаженные фрагменты восстановленных кадров.It was experimentally established that when using encoding and decoding of video information based on the proposed technical solutions when exposed to communication channel errors with a probability of transmission errors of binary symbols of 10 -6, distortions in the recovered frames are not visually observed. Under the influence of channel errors due to the probability of binary symbol error 10 -5 and 10 -4 distortion occurs in the reconstructed frames, but in all cases the image is completely restored. In this case, distortions in the reconstructed frames due to the influence of communication channel errors appear in the form of blurring the image clarity. Under the influence of similar communication channel errors on the compressed video stream encoded and decoded by the codec based on the H.264 recommendation, a significantly higher degree of visual distortion was revealed in the restored frames, and completely distorted fragments of the restored frames are observed.
Повышение устойчивости передаваемого сжатого видеопотока к воздействию ошибок канала связи достигнуто за счет уменьшения в среднем числа искаженных ошибкой канала передачи декодируемых деквантованных коэффициентов дискретного вейвлет-преобразования.An increase in the stability of the transmitted compressed video stream to the effect of communication channel errors was achieved by decreasing the average number of decoded dequantized coefficients of the discrete wavelet transform distorted by the transmission channel error.
Проведенные исследования подтверждают, что при использовании предлагаемого способа кодирования и декодирования видеоинформации обеспечивается повышение степени удаления избыточности кодируемой видеоинформации и повышение устойчивости передаваемого сжатого видеопотока к воздействию ошибок канала связи.The studies confirm that when using the proposed method of encoding and decoding video information, an increase in the degree of removal of redundancy of the encoded video information and an increase in the resistance of the transmitted compressed video stream to the effects of communication channel errors are provided.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014123059/08A RU2568266C1 (en) | 2014-06-05 | 2014-06-05 | Video encoding and decoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014123059/08A RU2568266C1 (en) | 2014-06-05 | 2014-06-05 | Video encoding and decoding method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2568266C1 true RU2568266C1 (en) | 2015-11-20 |
Family
ID=54597899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014123059/08A RU2568266C1 (en) | 2014-06-05 | 2014-06-05 | Video encoding and decoding method |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2568266C1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005055608A1 (en) * | 2003-12-01 | 2005-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for scalable video encoding and decoding |
| EP2357827A1 (en) * | 2002-04-18 | 2011-08-17 | Kabushiki Kaisha Toshiba | Video decoding method and apparatus |
| RU2479941C2 (en) * | 2008-04-10 | 2013-04-20 | Квэлкомм Инкорпорейтед | Prediction techniques for interpolation in video coding |
| RU2481727C2 (en) * | 2008-04-10 | 2013-05-10 | Квэлкомм Инкорпорейтед | Advanced interpolation techniques for motion compensation in video coding |
| RU2483468C2 (en) * | 2008-02-21 | 2013-05-27 | Квэлкомм Инкорпорейтед | Two-pass quantisation for context-based adaptive binary arithmetic coding coders |
-
2014
- 2014-06-05 RU RU2014123059/08A patent/RU2568266C1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2357827A1 (en) * | 2002-04-18 | 2011-08-17 | Kabushiki Kaisha Toshiba | Video decoding method and apparatus |
| WO2005055608A1 (en) * | 2003-12-01 | 2005-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for scalable video encoding and decoding |
| RU2483468C2 (en) * | 2008-02-21 | 2013-05-27 | Квэлкомм Инкорпорейтед | Two-pass quantisation for context-based adaptive binary arithmetic coding coders |
| RU2479941C2 (en) * | 2008-04-10 | 2013-04-20 | Квэлкомм Инкорпорейтед | Prediction techniques for interpolation in video coding |
| RU2481727C2 (en) * | 2008-04-10 | 2013-05-10 | Квэлкомм Инкорпорейтед | Advanced interpolation techniques for motion compensation in video coding |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Efficient and robust image coding and transmission based on scrambled block compressive sensing | |
| US5850482A (en) | Error resilient method and apparatus for entropy coding | |
| US10958944B2 (en) | Video coding with embedded motion | |
| CN115379241A (en) | Method and apparatus for coding last significant coefficient flag | |
| Ram et al. | Facial image compression using patch-ordering-based adaptive wavelet transform | |
| Tomar et al. | Lossless image compression using differential pulse code modulation and its application | |
| Sahoo et al. | Haar wavelet transform image compression using run length encoding | |
| Agrwal et al. | Improved image compression technique using IWT-DCT transformation | |
| Bugár et al. | Data hiding in still images based on blind algorithm of steganography | |
| CN106612429A (en) | Image lossless compression method based on controllable-parameter encryption and compression algorithm | |
| RU2568266C1 (en) | Video encoding and decoding method | |
| Naimi et al. | Multiple description image coding using contourlet transform | |
| Wu et al. | Comparisons of Threshold EZW and SPIHT Wavelets Based Image Compression Methods | |
| RU2375838C1 (en) | Method of coding and decoding video information based on three-dimensional discrete cosine transformation | |
| Naveen et al. | Comparative analysis of video compression mechanisms based on EZW coded 3D-DWT and AVI | |
| Sahooinst et al. | Haar wavelet transform image compression using various run length encoding schemes | |
| JP2839987B2 (en) | Image signal decoder | |
| Rakshit et al. | A Hybrid JPEG & JPEG 2000 Image Compression Scheme for Gray Images | |
| CN118678002B (en) | An image privacy protection method based on DCT compression and nonlinear dynamics | |
| CN109413446B (en) | Gain control method in multiple description coding | |
| Wenna et al. | Medical image coding based on wavelet transform and distributed arithmetic coding | |
| Farzamnia et al. | Investigation of error concealment using different transform codings and multiple description codings | |
| Karthikeyan et al. | EMBEDDED ZERO TREE WAVELET AND ORTHOGONAL POLYNOMIAL BASED TRANSFORM CODING. | |
| Patel et al. | Vector Quantization And Lzw Based Lossy Image Compression | |
| Ashwini et al. | Sparse based image compression in wavelet domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160606 |