RU2799099C1 - Способ обработки видеоинформации на основе трехмерного дискретного косинусного преобразования с компенсацией движения - Google Patents

Abstract

Изобретение относится к области вычислительной техники для цифровой обработки видеоинформации. Технический результат заключается в улучшении эффективности сжатия подвижных и неподвижных изображений при заданной ошибке восстановления за счет устранения межкадровой избыточности и адаптации кодирования к содержимому кадров. Технический результат достигается за счет того, что на первом этапе каждый кадр кроме первого из группы, содержащей m кадров, подвергают циклическому смещению в соответствии с вычисленным вектором глобального движения кадра. Этим осуществляют адаптацию кодера к движению камеры или объекта. На втором этапе группу циклически сдвинутых кадров разбивают на домены размера n×n×m, вычисляют трехмерное дискретное косинусное преобразование (ДКП), для чего сначала над каждым фрагментом размера n×n выполняется двумерное ДКП, затем одномерное ДКП вдоль оси времени. В заявленном способе используют составное одномерное ДКП. Для этого фрагменты домена группируют в однородные интервалы суммарной длины m, над каждым интервалом производят вычисление ДКП длины этого интервала. Этим производят адаптацию к резкому изменению содержимого домена. 2 з.п. ф-лы, 4 ил.

Description

Изобретение относится к области цифровой обработки видеоинформации, а именно к способам кодирования и декодирования подвижных и неподвижных изображений. Техническим результатом является улучшение эффективности сжатия видеоданных при заданной ошибке синтезированного изображения по отношению к исходному изображению.

Кодирование видеоинформации может осуществляться без использования и с использованием межкадрового сжатия. В последнем случае достигается существенно более высокая эффективность сжатия. Существуют два основных подхода для учета и использования зависимости информации между кадрами: первый метод основан на использовании векторов компенсации движения, второй метод основан на использовании трехмерного дискретного косинусного преобразования (ДКП).

Известен и широко применяется способ Н.264 с высокой степенью сжатия, использующий вектора компенсации движения для устранения межкадровой избыточности [Marpe D., Schwarz Н., Wiegand Т. Context-Based adaptive Binary arithmetic coding in the H.264/AVC Video Compression Standard/IЕЕЕ Transaction on Circuits and Systems for Video Technology, 2003]. В этом методе входной кадр разбивают на блоки, например размера 8х8, и для каждого такого блока ищут наиболее похожий образец среди одного или нескольких уже закодированных и переданных кадров. Для каждого блока передают смещение по горизонтали и вертикали (вектор движения блока) и номер референсного кадра, в котором найден наиболее похожий образец, разностный сигнал между текущим блоком и его образцом в референсном кадре подвергают двумерному ДКП, коэффициенты которого квантуют и кодируют кодом, устраняющим избыточность.

Недостатком способа является большой объем данных для передачи векторов движения всех блоков кадра. Другим недостатком является высокая вычислительная сложность, связанная с поиском вектора движения для каждого блока кадра. Указанные недостатки особенно проявляются при сжатии видеоинформации в стандарте High Definition (HD), который имеет размер кадра 1920×1080 точек.

Известен способ кодирования на основе трехмерного дискретного косинусного преобразования (ДКП) [Zaharia R., Aggoun A., McCormick М. Adaptive 3D-DCT compression algorithm for continuous parallax 3D integral imaging. Journal of Signal processing: Image Communication. 17, pp. 231-242, 2002]. В данном способе межкадровая избыточность устраняется за счет использования трехмерного ДКП.

Недостатком способа является то, что в нем не учитывается возможность быстрого изменения содержимого кадра, характерного для подвижных объектов, что снижает эффективность сжатия видеоданных при заданной ошибке кодирования, а также приводит к существенной потере видеоинформации при условии сильного ограничения на битовую скорость кодирования.

Известен способ сжатия видеоданных, в котором применяется трехмерное ДКП [Bozinovic N., Konrad J. Scan or derandquantization for 3D-DCT coding in Proc. of SPIEV is. Comm. Andlm. Proc. Vol.5150. pp. 1204-1215, 2003]. В данном способе межкадровая избыточность устраняется за счет использования трехмерного ДКП. Обработку видеоинформации начинают с вычисления двумерного ДКП по пространственным координатам х и у, а затем полученные одноименные спектральные коэффициенты подвергают одномерному ДКП вдоль оси времени t.

Основным недостатком способа является то, что он не адаптируется к изменениям изображения на соседних кадрах, что не позволяет достигать высокой степени сжатия. 

Наиболее близким по технической сущности к заявляемому способу является "Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования" патент RU №2557449, опубл. 20.07.2015, бюл. №20. Способ-прототип заключается в следующих действиях: на передающей стороне поток кадров разбивают на группы по n кадров, из которых формируют домены размером n×n×n пикселей, затем на первом этапе кодирования в каждом домене размером n×n×n пикселей над каждым фрагментом n×n пикселей осуществляют двумерное ДКП для устранения пространственной избыточности, фрагменты переставляются, для устранения межкадровой избыточности над одноименными коэффициентами двумерного ДКП выполняется одномерное ДКП размера n, формируя результирующее трехмерное ДКП, коэффициенты которого квантуют, выбирая из набора перестановок ту, которая обеспечивает наименьшее количество ненулевых квантованных данных, которые кодируют для устранения информационной избыточности и передают в канал связи совместно с вектором перестановки, однозначно описывающим, каким образом фрагменты n×n пикселей переставлены внутри домене размером n×n×n.

На приемной стороне закодированные данные декодируют, деквантуют, выполняют обратное одномерное ДКП размера n, после чего над фрагментами размера n×n пикселей выполняют обратную перестановку в соответствии с принятым вектором перестановки и выполняют обратное двумерное ДКП размера n×n, получая восстановленный домен размером n×n×n. Из всех синтезированных доменов текущей группы формируют очередные выходные n кадров видео потока.

Недостаток прототипа в том, что перестановка фрагментов внутри домена достаточно редко позволяет существенно уменьшить число ненулевых квантованных коэффициентов трехмерного ДКП, например: в кадре появился объект из-за чего в текущем домене зафиксирована смена светлых фрагментов на темные фрагменты. Независимо от перестановки фрагментов, данные, подвергающиеся одномерному ДКП, будут содержать скачок по значению, который породит существенное количество ненулевых квантованных элементов.

Другим недостатком является то, что перебор по множеству перестановок с последующим вычислением одномерного ДКП и квантованием является достаточно затратным с точки зрения объема вычислений.

Еще одним недостатком является то, что не всегда наименьшему числу квантованных ненулевых элементов соответствует наименьший объем данных, порожденных кодом.

Все это делает способ кодирования недостаточно эффективным для уменьшения объема передаваемых сжатых данных вследствие того, что адаптация к содержимому видео последовательности не является достаточно глубокой, особенно при ограничении на длительность обработки изображения в реальном масштабе времени.

Целью заявляемого способа является улучшение эффективности сжатия подвижных и неподвижных изображений при заданной ошибке восстановления за счет устранения межкадровой избыточности и адаптации кодирования к содержимому кадров.

В заявляемом способе кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования с компенсацией движения поставленная цель достигается тем, что в заявляемом способе на стороне кодера каждую группу из n кадров, полученных из потока видеокадров от источника, на первом этапе кодирования для обнаружения и устранения межкадровой избыточности подвергают процедуре циклической компенсации глобального движения, которая заключается в сравнения всех кадров из группы кроме самого первого с предыдущим, выборе векторов глобального движения, то есть смещения по вертикали и горизонтали, обеспечивающего наилучшее совпадение пары соседних кадров и компенсации этого смещения путем циклического сдвига кадров, на втором этапе кодирования группу кадров после циклической компенсации глобального движения разделяют на домены размера n×n×m, каждый домен обрабатывают независимо, а именно для каждого фрагмента n×n вычисляют двумерное ДКП для устранения пространственной избыточности, анализируют структуру домена и выделяют однородные интервалы, после чего над результатами двумерного ДКП применяют составное одномерное ДКП на однородных интервалах общей длины m вдоль оси времени для окончательного устранения межкадровой избыточности, формируя тем самым выходные значения трехмерного ДКП, коэффициенты которого квантуют, на третьем этапе кодирования для каждого домена размера n×n×m вычисляют количество ненулевых квантованных элементов трехмерного ДКП, которое используют для управления выбором кода, используемого для устранения информационной избыточности в квантованном домене, на стороне декодера каждый принятый квантованный домен декодируют кодами, выбираемыми с учетом числа ненулевых компонент в домене, подвергают деквантованию, составному обратному одномерному ДКП общей длины m, обратному двумерному ДКП размера n×n, восстанавливая таким образом домен, который используют для восстановления группы кадров с циклически сдвинутым изображением, которую подвергают процедуре циклической компенсации глобального движения, для чего используют вектора движения с инвертированными значениями, тем самым формируя восстановленную группу кадров.

Заявляемый способ поясняется чертежами, поясняющими суть предложенного решения:

На фиг. 1 представлена структурная схема кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования с компенсацией движения.

На фиг. 2 представлена структурная схема блоков кодирования и декодирования.

На фиг. 3 представлен пример циклической компенсации глобального движения для одного кадра.

На фиг. 4 представлен пример составного по времени одномерного ДКП для одного домена.

Предлагаемый способ может быть реализован следующим образом.

Система кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования с компенсацией движения содержит (см. фиг. 1) устройство кодирования (кодер), включающее в себя анализатор глобального движения 11, циклический компенсатор глобального движения 12, анализатор структуры домена 13, блок двумерного ДКП (ДКП-2D) 14, блок составного одномерного ДКП (ДКП-1D) 15, блок квантования 16, счетчик ненулевых элементов 17 и блок кодирования 18, причем вход анализатора глобального движения 11 соединен со входом кодера, а выход соединен с первым входом циклического компенсатора глобального движения 12, второй вход которого соединен со входом кодера, входы анализатора структуры домена 13 и блока двумерного ДКП (ДКП-2D) 14 соединены с выходом циклического компенсатора глобального движения 12, первый вход блока составного одномерного ДКП (ДКП-1D) 15 соединен с выходом блока двумерного ДКП 14, а второй вход блока составного одномерного ДКП (ДКП-1D) 15 соединен с выходом анализатора структуры домена 13, вход блока квантования 16 соединен с выходом блока составного одномерного ДКП 15, вход счетчика ненулевых элементов 17 соединен с выходом блока квантования 16, а выход - с первым входом блока кодирования 18, второй вход которого соединен с выходом блока квантования 16, а также устройство декодирования (декодер) включающее в себя последовательно соединенные блок декодирования 21, блок обратного квантования 22, блок обратного составного одномерного ДКП (ОДКП-1D) 23 и блок обратного двумерного ДКП (ОДКП-2D) 24, также циклический компенсатор глобального движения 25 и инвертор 26, выход которого соединен со первым входом циклического компенсатора глобального движения 25, второй вход которого соединен с выходом блок обратного двумерного ДКП (ОДКП-2D) 24, выход циклического компенсатора глобального движения 25 является выходом декодера.

Блок кодирования 18 (см. фиг. 2) состоит из последовательно соединенных вычитающего счетчика 30, селектора кода 31 и банка кодеров 32, первый выход которого является выходом блока кодирования 18, а второй выход соединен со вторым входом счетчика 30.

Блок кодирования 21 (см. фиг. 2) состоит из последовательно соединенных вычитающего счетчика 33, селектора кода 34 и банка декодеров 35, первый выход которого является выходом блока декодирования 21, а второй выход соединен со вторым входом счетчика 33.

Система кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования с компенсацией движения работает следующим образом.

Исходный поток видео кадров разбивается на группы по m кадров. Каждая группа кадров обрабатывается кодером независимо, таким образом, восстановление видеосигнала возможно с любой принятой сжатой группы.

На первом этапе кодирования кадры, входящие в группу анализируются в блоке 11 (см. фиг.1) на предмет возможности устранения глобального движения. Группа из m кадров разбивается на m-1 пар соседних кадров, причем предыдущий кадр в паре считается опорным, а последующий – смещенным. В каждой паре для смещенного кадра находят вектор глобального движения (x, y), то есть горизонтальное и вертикальное смещение, которые обеспечивают наибольшую похожесть пары кадров. В качестве меры расхождения кадров можно использовать абсолютную меру искажения или квадратическую меру искажения [Кудряшов Б.Д., Кудряшов Б.Д. Теория информации: [учеб. пособие по направлению подгот. 230200 "Информ. системы"]. – Издательский дом "Питер", 2009]. Выбор меры искажения зависит от удобства реализации устройства и в целом не оказывает решающего влияния на эффективность сжатия видео информации. Все возможные смещения образуют набор, состоящий из ограниченного количества положительных и отрицательных целых чисел и нуля. Ограничения связаны с размером кадра и допустимой вычислительной сложностью. Перебор среди пар, образованных горизонтальным и вертикальным смещениями из допустимого набора, с вычислением выбранной меры расхождения между опорным кадром и смещенным кадром позволяет найти наилучший вектор глобального движения для пары соседних кадров. Для уменьшения вычислительной сложности при поиске смещений вместо целого смещенного кадра можно использовать набор прямоугольных фрагментов этого кадра (или один фрагмент в вырожденном случае).

Если изображение неподвижно, то вектор глобального движения равен (0, 0). В противном случае смещения x и у могут принимать как положительные, так и отрицательные значения. После того, как вектора относительного движения определены, начинается процедура циклической компенсации движения, реализованная в блоке 12 (см. фиг. 1). Самый первый кадр в группе всегда остается неподвижным. Для каждого очередного кадра сначала вычисляется вектор глобального движения относительно первого кадра в группе. Для этого вычисляется сумма векторов глобального движения всех пар кадров до очередного кадра включительно. Полученный вектор используется для перестановки очередного кадра, которую можно, например, провести в два этапа. На первом этапе компенсируется горизонтальное смещение, на втором этапе – вертикальное смещение, как это показано на фиг. 2. Вектора глобального движения передаются в канал связи (устройство хранения данных). Использование процедуры циклической компенсации глобального движения позволяет в значительной степени устранить временную (межкадровую) избыточность в потоке видеоинформации. Это обеспечивает лучшую локализацию энергии на выходе трехмерного ДКП, что ведет к уменьшению размера сжатого потока. Имитационное моделирование на разных видео потоках показало, что выигрыш по сжатию может достигать 30 процентов при одинаковом качестве восстановленного изображения. Особенно эффективно циклическая компенсация глобального движения работает в случаях, когда камера следит за крупным объектом, движущимся на переднем фоне, или когда присутствует дрожание плохо закрепленной камеры, например при съемке с рук.

На втором этапе кодирования группа из m кадров после компенсации глобального движения разбивается на домены размера n×n×m, каждый из которых сжимается независимо. Сначала для устранения пространственной избыточности над каждым фрагментом n×n в блоке 14 (см. фиг. 1) выполняется двумерное ДКП. При достаточной однородности содержимого фрагмента n×n энергия ДКП локализуется в небольшом количестве элементов. После квантования это количество может существенно уменьшиться, обеспечивая сжатие видео потока с потерями. В случае отсутствия движения изображения или при умеренном движении наблюдается следующий факт: одноименные компоненты двумерных ДКП от разных фрагментов домена могут иметь близкие значения. Циклическая компенсация глобального движения значительно уменьшает их различия. Окончательно межкадровая избыточность устраняется посредством вычисления одномерного ДКП длины m вдоль оси времени для каждой компоненты двумерного ДКП. Для домена размера n×n×m требуется выполнить n×n таких одномерных преобразований, что порождает трехмерное ДКП, содержащее n×n×m коэффициентов, которые затем подвергается квантованию. Замечено, что при резкой смене содержимого домена число ненулевых квантованных элементов может быть достаточно большим, снижая тем самым эффективность сжатия группы кадров в целом. Для борьбы с этим эффектом в заявляемом видео кодере предлагается использовать составное одномерное ДКП вдоль оси времени. Все m фрагментов трехмерного домена разбиваются на однородные интервалы, и над каждым интервалом независимо и одновременно вычисляется свое ДКП соответствующей длины, причем сумма длин всех одномерных ДКП вдоль оси времени равно числу фрагментов m в домене. Общее количество коэффициентов трехмерного ДКП не изменяется и остается равным n×n×m.

Алгоритм разбиения на однородные интервалы, реализованный в блоке 13 (Анализатор структуры домена на фиг. 1) работает следующим образом. Номеру интервала присваивается единица. Началом текущего интервала назначается фрагмент №1. Длине текущего интервала присваивается единица. Фрагмент №2 назначается текущим фрагментом. До тех пор пока не обработан последний текущий фрагмент, выполняются описанные далее действия. Если текущий фрагмент схож с предыдущим, то длина текущего интервала увеличивается на единицу, иначе номер текущего интервала увеличивается на единицу, длине текущего интервала присваивается единица, началом текущего интервала назначается текущий фрагмент. Номер текущего фрагмента увеличивается на единицу. После завершения алгоритма набор длин интервалов однозначно описывает составное одномерное ДКП. Этот набор передается в канал связи (устройство хранения информации). В качестве меры расхождения фрагментов, как и в случае поиска векторов глобального движения, можно использовать либо абсолютную меру искажения, либо квадратическую меру искажения. Если мера искажения не превышает заданного порога, выносится решение, что фрагменты схожи.

Для каждого интервала независимо в блоке 15 (см. фиг. 1) выполняется одномерное ДКП длины данного интервала в соответствие с [Ахмед Р., Рао К. Ортогональные преобразования при обработке цифровых сигналов / Под ред. И.Б. Фоменко; Пер. с англ. – М.: Связь, 1980, – 248 с].

Фиг. 3 иллюстрирует разбиение домена из восьми фрагментов (m=8) на однородные интервалы для наиболее ярко выраженного случая, когда первая половина домена состоит из одинаковых светлых фрагментов, а вторая – из одинаковых темных фрагментов, например на фоне неба внезапно появился движущийся объект. Для наглядности все светлые точки имеют одинаковую яркость, так же как и все темные точки. Поскольку в каждом фрагменте все точки одинаковы (либо светлые, либо темные), все элементы двумерного ДКП за исключением одного с координатами (0, 0), будут равны нулю. Одномерное ДКП длины m вдоль оси времени над элементами с координатами (0, 0) будет иметь m ненулевых элементов. Легко видеть, что домен можно разбить на два интервала длины 4, и над каждым из них будет применено ДКП длины 4. Поскольку фрагменты на интервалах одинаковы, ДКП над левым интервалом будет иметь только один ненулевой коэффициент, так же как и ДКП над правым интервалом. Таким образом, для приведенного примера учет однородности фрагментов позволяет уменьшить число ненулевых компонент трехмерного ДКП в m/2 раз. Имитационное моделирование на разных видео потоках показало, что общий выигрыш по сжатию может достигать 40 процентов при одинаковом качестве восстановленного изображения.

На третьем этапе кодирования элементы трехмерного ДКП после квантования в блоке 16 (см. фиг. 1) подвергаются процедуре стохастического кодирования для устранения информационной избыточности. В счетчике ненулевых элементов 17 для текущего домена накапливается общее количество ненулевых коэффициентов, позиции и значения которых следует передать в канал связи. Содержимое счетчика управляет процессом стохастического кодирования, реализованного в блоке 18.

Изначально в вычитающий счетчик 30 (см. фиг. 2) записывается общее количество ненулевых элементов, после чего он переходит в режим вычитания. Содержимое счетчика уменьшается после кодирования и передачи в канал связи очередного ненулевого элемента. Таким образом, счетчик обнуляется после того, как домен будет полностью обработан.

Стохастическое кодирование организовано в виде набора кодов, например кодов Хаффмена [Колесник В.Д., Полтырев Г.Ш. Курс теории информации. М.: "Наука", Главная редакция физико-математической литературы. 1982. - 416 с], построенных на основе данных, собранных для набора тренировочных файлов. Описание кодов сгруппировано в банке кодеров 32 (см. фиг. 2) в виде таблицы, содержащей длины кодовых слов и их значения.

Решение о выборе текущего кода происходит на основании числа ненулевых компонент, которое уменьшается по мере передачи элементов в канал связи. Таким образом, кодирование адаптируется к содержимому домена. Номер кода вычисляется в селекторе кода 31, например, как целая часть двоичного логарифма от числа ненулевых элементов. Если в видео кодере используется ограниченный набор стохастических кодов, то полученный номер кода умножается на заданное число, меньшее единицы, которое заранее выбирается так, чтобы номер текущего кода не превысил общее число кодов. Имитационное моделирование на разных видео потоках показало, что выигрыш по сжатию от использования адаптации стохастического кодирования по числу ненулевых элементов может достигать 20 - 25 процентов при одинаковом качестве восстановленного изображения по сравнению с кодированием без адаптации.

В декодере (см. фиг. 1) в обратном порядке выполняются операции, обратные операциям кодера. Структура блока декодирования 21 аналогична структуре блока кодирования 18 (см. фиг. 2). Инвертор 26 меняет знаки векторов глобального движения для того, чтобы в блоке циклической компенсации движения 25, который полностью идентичен блоку 12, произвести обратные циклические сдвиги для формирования восстановленной группы кадров.

Таким образом, в заявленном способе кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования с компенсацией движения достигается суммарный выигрыш свыше 50 процентов в эффективности сжатия, что соответствует уменьшению сжатого потока более чем в два раза при сохраненном качестве восстановленного видео сигнала.

Claims (3)

1. Способ обработки видеоинформации на основе трехмерного дискретного косинусного преобразования с компенсацией движения, заключающийся в том, что на передающей стороне сжимают поток видео кадров, для чего разбивают его на группы из m кадров, из которых формируют домены размера n×n×m пикселей, каждый домен обрабатывают независимо, для чего выполняют над его содержимым трехмерное дискретное косинусное преобразование (ДКП) в виде каскада из двумерного ДКП размера n×n для устранения внутрикадровой (пространственной) избыточности и одномерного ДКП размера m для устранения межкадровой (временной) избыточности, полученные коэффициенты трехмерного ДКП квантуют и кодируют кодом для устранения статистической избыточности, кодовые слова передают по каналу связи или записывают в устройство хранения информации, формируя сжатый поток, на приемной стороне сжатый поток декодируют, подвергают обратному квантованию и трехмерному обратному дискретному косинусному преобразованию (ОДКП) в виде каскада одномерного ОДКП размера m и двумерного ОДКП размера n×n, из полученных восстановленных доменов размера n×n×m пикселей формируют синтезированную группу из m кадров как очередной фрагмент восстановленного видео потока, отличающийся тем, что на передающей стороне предварительно кадры группы для устранения межкадровой избыточности подвергают циклическому сдвигу в соответствии с векторами глобального движения, которые вычисляют для всех кадров группы кроме первого и передают в канал связи, после чего из циклически сдвинутых кадров формируют домены размера n×n×m пикселей, а также домен разбивают на однородные неперекрывающиеся интервалы, записывают длины интервалов в канал связи и одномерное ДКП вычисляют как составное преобразование на этих интервалах так, что суммарная длина составного ДКП остается равной m, а также накапливают число ненулевых квантованных коэффициентов трехмерного ДКП, передают это число в канал связи и используют его для управления процессом кодирования для адаптации кода к содержимому домена, на приемной стороне принимают поток из канала связи, декодируют каждый домен, используя число принятых ненулевых элементов, а также вычисляют составное обратное одномерное ДКП, используя принятые длины однородных интервалов домена, а также подвергают сформированную из синтезированных доменов группу кадров циклическому сдвигу в соответствии с принятыми и инвертированными векторами глобального движения, восстанавливают тем самым видео поток.

2. Способ по п.1, отличающийся тем, что для кодирования домена используют вычитающий счетчик, в который исходно записывают число ненулевых квантованных элементов домена, с помощью селектора кода используют значение счетчика для выбора кода из банка заранее построенных кодов и кодируют положение и величину очередного ненулевого элемента домена словом из выбранного кода, после чего уменьшают содержимое счетчика на единицу.

3. Способ по п.1, отличающийся тем, что для декодирования домена используют вычитающий счетчик, в который исходно записывают число ненулевых квантованных элементов домена, принятое из канала связи, с помощью селектора кода используют значение счетчика для выбора кода из банка заранее построенных кодов и декодируют положение и величину очередного ненулевого элемента домена словом из выбранного кода, после чего уменьшают содержимое счетчика на единицу.

Images