RU2534751C1

RU2534751C1 - Способ и устройство для кодирования и декодирования видео

Info

Publication number: RU2534751C1
Application number: RU2013128143/07A
Authority: RU
Inventors: Тамер ШАНАБЛЕХ; Ших-та СИАН; Файсал ИШТИАК
Original assignee: Моторола Мобилити, Инк.
Priority date: 2008-04-24
Filing date: 2013-06-19
Publication date: 2014-12-10
Also published as: MX2010011541A; US20090268805A1; RU2010147830A; US8249142B2; BRPI0910340B1; RU2013128143A; CN102067599A; KR20100137010A; BRPI0910340A2; EP2279619B1; EP2279619A1; CN102067599B; WO2009131830A1; KR101249652B1

Abstract

Изобретение относится к передаче видео, и в частности, к передаче видео, предоставляющего масштабируемое разрешение изображения и улучшенную устойчивость к ошибкам. Техническим результатом является снижение сложности обработки изображения. Предложен способ и устройство кодирования/декодирования видео, которые выполняют преобразование по меньшей мере участка видеокадра высокого разрешения в изображение низкого разрешения и множество наборов данных улучшения. Далее кодируют изображение низкого разрешения, как первичное кодированное изображение в формате потока битов, и кодируют каждый из множества наборов данных улучшения, как различное избыточное кодированное изображение в формате потока битов. Для декодирования генерируется декодированное изображение низкого разрешения и множество декодированных наборов данных улучшения и выполняется обратное преобразование для создания декодированного изображения высокого разрешения. Первичное кодированное изображение и избыточное кодированное изображение могут форматироваться согласно спецификации ITU-T H.264 Advanced Coding, а преобразование может быть многофазным или субполосным преобразованием. 4 н. и 6 з.п. ф-лы, 10 ил.

Description

РОДСТВЕННЫЕ ЗАЯВКИ

Настоящая заявка связана со следующей заявкой на выдачу патента США, находящейся в общей собственности с этой заявкой у корпорации Моторола (Motorola, Inc.): Порядковый № 11/866771, подана 3 октября 2007 года, озаглавлена "METHOD AND APPARATUS FOR INTRA FRAME SPATIAL SCALABLE VIDEO CODING (СПОСОБ И УСТРОЙСТВО ДЛЯ ВНУТРИКАДРОВОГО ПРОСТРАНСТВЕННОГО МАСШТАБИРУЕМОГО КОДИРОВАНИЯ ВИДЕО)" (досье поверенного под номером CML04718EV).

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение в целом относится к передаче видео, более конкретно к методикам передачи видео, предоставляющего масштабируемое разрешение изображения и улучшенную устойчивость к ошибкам.

УРОВЕНЬ ТЕХНИКИ

В стандарте кодирования видео H.264/AVC, датированном 3/2005, каждый блок доступа (стр. 4, часть 3.1, определение "блока доступа") содержит кодированное первичное изображение для предоставления требуемой информации для представления кодированного движущегося изображения. Блок доступа может дополнительно вмещать в себя одно или более избыточных кодированных изображений, которые "не имеют нормативного влияния на процесс декодирования". Часть 7.4.3 ("семантика заголовка последовательности макроблоков: redundant_pic_cnt") этих стандартов утверждает: “Процесс декодирования не требуется для кодированной последовательности макроблоков или разделения данных кодированной последовательности макроблоков избыточного кодированного изображения. Когда redundant_pic_cnt в заголовке последовательности макроблоков кодированной последовательности макроблоков больше чем 0, декодер может отбрасывать кодированную последовательность макроблоков. Примечание 6 - Когда некоторые из отсчетов в декодированном первичном изображении не могут быть корректно декодированы из-за ошибок и потерь в передаче последовательности, а кодированная избыточная последовательность макроблоков может быть декодирована корректно, декодер должен заменить отсчеты декодированного первичного изображения соответствующими отсчетами декодированной избыточной последовательности макроблоков. Когда более чем одна избыточная последовательность макроблоков покрывает релевантную область первичного изображения, должна быть использована избыточная последовательность макроблоков, имеющая наименьшее значение redundant_pic_cnt." Таким образом, наличие одного или более избыточных кодированных изображений в закодированном потоке битов является необязательным, и использование по назначению (но не требуемое использование) избыточного кодированного изображения - коррекция ошибок передачи в первичном кодированном изображении. Wikipedia.com представила (15 марта 2008) свойство избыточного кодированного изображения H.264 следующим образом: "Избыточные последовательности макроблоков (RS), свойство устойчивости к ошибкам/потерям, позволяющее кодеру отправлять дополнительное представление области изображения (типично с меньшей точностью), которое может быть использовано, если первичное представление повреждено или потеряно."

Ранее опубликованная новая версия стандарта MPEG-4 AVC/H.264 дополнительно предоставляет инструменты масштабируемого кодирования видео и позволяет декодеру восстанавливать либо первичное закодированное изображение, либо форму первичного кодированного изображения более высокого разрешения. Однако эти инструменты нового стандарта кодирования, влекущие повышенную сложность реализации, не были быстро освоены промышленностью.

КРАТКОЕ ОПИСАНИЕ ФИГУР

Сопроводительные фигуры, на которых схожие ссылочные номера указывают на идентичные или функционально похожие элементы на всем протяжении отдельных обзоров и которые вместе с подробным описанием ниже включены в и формируют часть описания изобретения, и служат для дополнительной иллюстрации вариантов осуществления идей, которые включают в себя заявленное изобретение, и объяснения различных принципов и преимуществ этих вариантов осуществления.

Фиг.1 - диаграмма, которая показывает участок цветного видео кадра, в соответствии с определенными вариантами осуществления.

Фиг.2 и фиг.3 - это, соответственно, функциональная блок-схема и блок-схема последовательности операций устройства и некоторых этапов способа для кодирования по меньшей мере участка видеокадра в соответствии с определенными вариантами осуществления.

Фиг.4 - блок-схема последовательности операций, которая показывает этап способа для выполнения преобразования в соответствии с определенными вариантами осуществления.

Фиг.5 - блок-схема функции преобразования в соответствии с определенными вариантами осуществления.

Фиг.6 - диаграмма, которая иллюстрирует структуру отсчетов для участка видео кадра, в соответствии с определенными вариантами осуществления.

Фиг.7 - блок-схема последовательности операций, которая показывает некоторые этапы способа выполнения преобразования, в соответствии с определенными вариантами осуществления.

Фиг.8 и фиг.9 - это, соответственно, блок-схема декодера и этапы способа для декодирования, представленные в соответствии с определенными вариантами осуществления.

Фиг.10 - блок-схема функции обратного преобразования для усредняющей функции, описанной со ссылкой на Фиг.6.

Специалисты в данной области техники должны понимать, что элементы на фигурах проиллюстрированы для простоты и ясности, и не обязательно были изображены в масштабе. Например, размеры некоторых элементов на фигурах могут быть преувеличены относительно других элементов, чтобы помочь улучшить понимание вариантов осуществления настоящего изобретения.

Устройство и компоненты способа были представлены, где это уместно, традиционными символами на чертежах, показывая только те специфические подробности, которые имеют отношение к пониманию вариантов осуществления настоящего изобретения, с тем чтобы не затруднять раскрытие подробностями, которые будут без труда очевидны специалистам в данной области, что принесет пользу описанию настоящей заявки.

ПОДРОБНОЕ ОПИСАНИЕ

В соответствии с определенными аспектами настоящих вариантов осуществления, описываются методики, которые предоставляют преобразование первоначального видеокадра высокого разрешения в изображение низкого разрешения и множество наборов данных улучшения, которые затем кодируются и могут быть переданы как кодированные потоки битов. Изображение низкого разрешения может быть декодировано и использовано для генерирования версии низкого разрешения восстановленного видеокадра высокого разрешения. Изображение низкого разрешения и множество наборов данных улучшения могут быть декодированы и обратно преобразованы, чтобы создать декодированный видеокадр высокого разрешения. В некоторых вариантах осуществления, образ действий, которым кодируется и декодируется видео, совместим со спецификацией, опубликованной Международным Телекоммуникационным Союзом, которая идентифицируется как спецификация ITU-T H.264 от 03/2005, озаглавленная как "SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video/Advanced video coding for generic audiovisual services (Серия H: аудиовизуальные и мультимедийные системы. Инфраструктура аудиовизуальных служб - Кодирование движущегося видео/Усовершенствованное видео кодирование для общих аудиовизуальных служб)", которая в дальнейшем в материалах настоящей заявки будет указываться ссылкой как "ITU-T H.264 Advanced Coding"; и эквивалентной спецификацией, опубликованной экспертной группой по движущимся изображениям, которая, как правило, указывается ссылкой как спецификация MPEG-4 Part 10 AVC. К тому же, образ действий, посредством которого видео кодируется и декодируется, может быть совместим с еще не выпущенными спецификациями. В частности, методики, описанные в материалах настоящей заявки, выявляют новое использование средства избыточного изображения, которое не имеет нормативного влияния на процесс декодирования, в сочетании с субполосным кодированием и кодированием с многократным описанием (MDC). Эти методики могут также быть совместимы с методиками кодирования видео, отличными от специфицированных в ITU-T H.264 Advanced Coding.

Субполосное/вейвлетное преобразование разлагает входное изображение в сигнальное представление множественного разрешения. В литературе было продемонстрировано, что этот способ является одним из наиболее эффективных способов для сжатия; и он используется в международном стандарте JPEG 2000 для приложений, кодирующих изображение и видео (в формате Motion JPEG 2000) в промышленности. Благодаря высокоэнергетическому сжатию субполосного/вейвлетного преобразования, субполосные/вейвлетные кодеры способны достигать отличной эффективности сжатия, без традиционных блочных артефактов, ассоциированных с блочным преобразованием. Что более важно, они легко могут приспосабливать желательные пространственно масштабируемые кодирующие функциональные средства почти без ухудшения в эффективности сжатия, так как вейвлетное субполосное преобразование является преобразованием масштабируемого разрешения по своему характеру.

Определенные формы многофазной понижающей дискретизации использовались в кодировании по множественным наборам признаков. Кодирование видео с многократным описанием (MD) является одним из подходов для одновременного (simulcast) и многоадресного (multicast) вещания видео по подверженным ошибкам сетям. Кодирование видео с многократным описанием концептуально отличается от традиционного многослойного масштабируемого кодирования видео, доступного в гибридных кодеках, таких как MPEG-2, MPEG-4 и семействе спецификаций H.26x. В MD кодировании видео генерируется некоторое количество в равной степени важных дескрипторов видео, и, возможно, передается через различные каналы передачи или пути. Каждый дескриптор видео является индивидуально декодируемым и способным к воспроизведению первоначального разрешения видео, хотя, возможно, в более низком качестве. Поэтому кодированное видео может быть восстановлено и потреблено удаленным пользователем, как только один, по меньшей мере один, набор признаков был успешно принят. Понятие иерархических видеослоев не применяется, следовательно, чем больше дескрипторов видео доступны приемнику, тем выше качество декодируемого видео, независимо от порядка принятых дескрипторов. Другими словами, кодирование видео с многократным описанием устраняет зависимости между слоями, и, по этой причине, назначение приоритета видеослоя, введенное традиционным многослойным кодированием, больше не является необходимым.

Фиг.1 - диаграмма, которая показывает структуру отсчета для участка 100 цветного видео кадра, в соответствии с определенными вариантами осуществления. Она схожа с Фиг.6-1 спецификации ITU-T H.264 Advanced Coding, которая озаглавлена "Nominal vertical and horizontal locations of 4:2:0 luma and chroma samples in a frame (Номинальные вертикальные и горизонтальные расположения 4:2:0 отсчетов яркости и цветности в кадре)". На фиг.1 отсчеты 105 яркости видеокадра показаны знаками X и один из двух ассоциированных наборов отсчетов 110 цветности показаны знаками O. Отсчеты цветности в другом наборе цветности находились бы в тех же позициях, показанных для отсчетов 110 цветности. Число отсчетов 105 яркости связано с разрешением и размером видео изображения в кадре. Число отсчетов цветности связно с числом отсчетов яркости. Фиг.1 иллюстрирует заданный видеокадр в формате 4:2:0, в котором число отсчетов цветности составляет ¼ от числа отсчетов яркости. Стандарт ITU-T H.264 Advanced Coding предусматривает другие соотношения, такие как 1 к 1 и ½ к 1. Конечно, одноцветное изображение не имеет отсчетов цветности. Когда видео кадр или участок видео кадра, такой как сегмент, макроблок или область, представляющая интерес, кодируется, например, в соответствии со стандартом ITU-T H.264 Advanced Coding, операции, производимые на отсчетах яркости, также производятся на отсчетах цветности, отмасштабированных по количеству отсчетов цветности. То же самое верно для уникальных операций, заданных в материалах настоящей заявки. Чтобы упростить описание операций, они описываются в терминах пикселей, при этом пиксель можно считать отсчетом яркости или отсчетом цветности. Чтобы дополнительно упростить термины, используемые в материалах настоящей заявки, когда используется термин "участок", он означает "по меньшей мере, участок", что может включать часть, части или целое. Когда видеокадр является цветным кадром, описанные операции выполняются на наборах отсчетов яркости и цветности для участка видеокадра, отмасштабированного по размерам наборов отсчетов.

Фиг.2 и фиг.3 - это соответственно функциональная блок-схема 200 и блок-схема 300 последовательности операций устройства, и некоторые этапы способа для кодирования по меньшей мере участка видеокадра в соответствии с определенными вариантами осуществления. Со ссылкой на Фиг.2, информация из последовательности 205 видеокадров присоединяется к входу 210 функции 215 преобразования. Типично информация обрабатывается по одному видеокадру одновременно, или, по меньшей мере, участку (такому как последовательность макроблоков) видеокадра. В этом примере, видеокадр 206 из последовательности 205 видеокадров обрабатывается функцией 215 преобразования. Видеокадр 206 является видеокадром высокого разрешения. Функция 215 преобразования преобразует (305, фиг.3) по меньшей мере участок видеокадра 206 (фиг.2) в изображение 220 низкого разрешения и множество наборов 225, 230, 235 данных улучшения. В примере, показанном на фиг.2, имеется три набора 225, 230, 235 данных улучшения. Множество наборов данных улучшения по количеству может отличаться от трех в некоторых вариантах осуществления. Преобразование, использованное функцией 215 преобразования, имеет несколько вариантов осуществления, как описано более подробно ниже. Типы преобразований, которые используются функцией 215 преобразования в определенных вариантах осуществления таковы, что выполнение обратного преобразования изображения низкого разрешения и множества наборов данных улучшения воссоздает видеокадр (или его участок) высокого разрешения.

Изображение низкого разрешения 220 присоединяется к кодеру 240 первичного изображения (кодер PP), который кодирует изображение низкого разрешения, используя методики кодирования для кодировки первичного изображения, генерируя первичное кодированное изображение 250. Каждый из множества наборов данных улучшения присоединяется к кодеру 245 избыточного изображения (кодеру RP), который кодирует соответствующий набор данных улучшения, используя методики кодирования избыточного изображения, генерируя избыточное кодированное изображение 255, 260, 265. В соответствии с определенными вариантами осуществления, кодер 240 первичного изображения кодирует (310, фиг.3) изображение низкого разрешения как первичное изображение в формате, специфицированном ITU-T H.264 Advanced Coding, и каждый кодер 245 избыточного изображения кодирует (315, фиг.3) один из наборов данных улучшения как другое избыточное кодированное изображение в формате, специфицированном стандартом ITU-T H.264 Advanced Coding. Когда используются методики кодирования, отличные от определенных стандартом ITU-T H.264 Advanced Coding, кодирование, описанное выше, как кодирование первичного изображения, может быть выполнено любым способом кодирования методикой, которая совместима с кодированием изображения низкого разрешения, которое, как правило, декодируется декодером для этой методики, и кодирование, описанное выше, как кодирование избыточного изображения, может быть выполнено любым способом кодирования методикой, которая совместима с кодированием улучшения или дополнительного набора данных - то есть того, который идентифицируется декодером для этой методики, как ассоциированный с видеокадром высокого разрешения, и для которого декодирование может быть необязательным. Форматы изображения и кодирования, использованные для других методик, могут быть идентифицированы по именам, отличным от "первичное кодированное изображение" и "избыточное кодированное изображение". Когда кодирование изображения низкого разрешения в наборе данных улучшения завершено, первичное кодированное изображение 250 и множество избыточных кодированных изображений 255, 260, 265 присоединяется к потоку битов, формируя функцию 270, которая формирует их в поток битов 275, который затем может быть передан (320, фиг.3).

Со ссылкой на фиг.4, блок-схема показывает этап способа для выполнения преобразования в соответствии с определенными вариантами осуществления. В этих вариантах осуществления функция 215 преобразования выполняет 405 субполосное преобразование участка видеокадра высокого разрешения, чтобы генерировать представление низкого разрешения и наборы данных улучшения, как правило, указывающиеся ссылкой как субполосы LL, HL, LH и HH видеокадра (или его участка).

Со ссылкой на фиг.5, показана блок-схема функции 215 субполосного преобразования в соответствии с определенными вариантами осуществления. Функция 215 преобразования содержит гребенки 505, 515 фильтров субполосного анализа, которые являются традиционными субполосными гребенками фильтров, и, в некоторых вариантах осуществления, вейвлетные гребенки фильтров, которые хорошо известны в данной области техники. Входной видеокадр (или его участок) 206 сначала, соответственно, обрабатывается низкочастотным фильтром 506 и высокочастотным фильтром 507, после чего следует операция понижающей дискретизации вдоль вертикального направления изображения, генерирующая промежуточные сигналы 510. Промежуточные сигналы 510 затем, соответственно, обрабатываются низкочастотным фильтром и высокочастотным фильтром, которые имеют одинаковые функции передачи, после чего следует операция понижающей дискретизации вдоль горизонтального направления, генерирующая четыре субполосы LL 220, HL 225, LH 230, и HH 235, которые подвергаются кодированию кодером 240 PP и кодерами 245 RP на фиг.2, соответственно. Этот процесс, как правило, указывается ссылкой как субполосное разложение. Соответствующие гребенки фильтров субполосного синтеза, которые используются в декодере 800 обратной функции 875 (фиг.8) преобразования, могут создавать из четырех декодированных субполос декодированную версию изначального видеокадра 206 высокого разрешения, который был подвергнут разложению гребенками фильтров 505, 515 (фиг.5) субполосного анализа. Фильтры, использованные в гребенках 505, 515 фильтров субполосного анализа/синтеза, могут принадлежать семейству вейвлетных фильтров или семейству квадратурных зеркальных фильтров (QMF), которые являются известными в данной области техники, а структура гребенок субполосных фильтров может иметь структуру, отличную от показанной, которая является известной в данной области техники.

Со ссылкой на фиг.6, диаграмма иллюстрирует участок видеокадра 600 в соответствии с определенными вариантами осуществления. Пиксели участка видеокадра, показанные на фиг.6, были подвергнуты понижающей дискретизации до фаз участка видеокадра. В этом примере понижающая дискретизация выполнялась с множителем два в каждом пространственном измерении. Таким образом, были сформированы четыре уникально разных набора пикселей, каждый из которых содержит приблизительно одну четвертую числа пикселей в участке видеокадра. Одна четвертая указывается как приблизительная величина из-за краевых эффектов. Пиксели четырех различных фаз изображены в виде треугольников, знаков X, квадратов и кругов. Может быть задана окрестность пикселя, что справедливо для любого пикселя в видеокадре. В этом примере окрестность пикселя задана включающей в себя выбранный пиксель, такой как пиксель 615, и другие пиксели заключенные внутри границы 610 окрестности. В общем случае окрестность пикселя может иметь любую форму и размер. Группа фаз пикселя может быть задана для любого пикселя в видеокадре. Группа фаз пикселя включает в себя один пиксель из каждой фазы, расположенной в той же позиции на соответствующей решетке изображения, подвергнутой понижающей дискретизации. В примере фиг.6 был выбран пиксель 615, и он идентифицирует группу фаз пикселя внутри границы 605. Размер группы фаз пикселя определяется коэффициентом понижающей дискретизации. Для целей настоящего документа выбранный пиксель 615 обозначается как пиксель(0, 0). Пиксель, идентифицированный знаком x внутри группы фаз пикселя, обозначается как пиксель (1, 0). Пиксель, идентифицированный квадратом внутри группы фаз пикселя, обозначается как пиксель (0, 1). Пиксель, идентифицированный кругом внутри группы фаз пикселя, обозначается как пиксель (1, 1). Хотя группа фаз пикселя должна иметь согласованную топографическую взаимосвязь с выбранным пикселем конкретной фазы для конкретного варианта осуществления, топографическая взаимосвязь может быть различной в иных вариантах осуществления. Например, группа фаз пикселя, показанная на фиг.6, использует пиксели, которые являются ближайшими соседями выбранного пикселя, и которые находятся справа и ниже от отобранного пикселя, но мог бы быть использован другой набор из четырех уникальных ближайших соседей для группы фаз.

Со ссылкой на фиг.7, блок-схема 700 показывает некоторые этапы способа 700 для выполнения преобразования в соответствии с определенными вариантами осуществления. На этапе 705 функция 215 преобразования формирует множество фаз участка видеокадра 206 высокого разрешения. В примере, показанном на фиг.6, множество равно четырем. На этапе 710 функция 215 преобразования формирует изображение низкого разрешения так, чтобы оно содержало пиксели низкого разрешения, в которых значение каждого пикселя низкого разрешения определяется путем использования усредняющей функции значений пикселей внутри окрестности пикселя каждого пикселя, который находится в первой фазе из множества фаз. На этапе 715 функция 215 преобразования определяет каждый набор данных улучшения из множества наборов данных улучшения как уникальный набор, который содержит все пиксели фазы, отличной от первой фазы. Например, наборы данных улучшения для преобразованного участка видеокадра 600, показанного на фиг.6, будут содержать набор всех пикселей в участке видеокадра 600, обозначенных квадратами, набор всех пикселей в участке видеокадра 600, обозначенных знаками x, и набор всех пикселей в участке видеокадра 600, обозначенных кругами. Стоит отметить, что первая фаза может являться любой конкретной фазой из множества фаз, которые являются пригодными для способа.

В соответствии с определенными вариантами осуществления, усредняющая функция является импульсной функцией, которая определяет значение каждого пикселя низкого разрешения, как равное значению соответствующего пикселя первой фазы. Другими словами, усреднение есть среднее одного числа. В примере, показанном на фиг.6, изображение низкого разрешения просто содержит все пиксели, обозначенные треугольниками.

В соответствии с определенными вариантами осуществления, усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значений пикселей внутри окрестности пикселя первой фазы. В примере, показанном на фиг.6, значение пикселя изображения низкого разрешения, который связан с пикселем 615 конкретной фазы, определяется усреднением значений девяти пикселей внутри границы 610. В соответствии с определенными вариантами осуществления, усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значений пикселя внутри группы фаз пикселя первой фазы. В примере, показанном на фиг.6 значение пикселя изображения низкого разрешения, который связан с пикселем 615 первой фазы, может быть определен усреднением значений четырех пикселей внутри границы 605.

В соответствии с определенными вариантами осуществления число фаз равно четырем. Четыре пикселя, идентифицированные со ссылкой на фиг.6 треугольником, знаком x, квадратом и кругом в каждой группе фаз пикселя, альтернативно идентифицируются, соответственно, как пиксели (0, 0), (0, 1), (1, 0), и (1, 1). Пиксели (0, 0) и (1, 1) расположены по диагонали. Усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значения пикселя первой фазы (пиксель 615 на фиг.6) и предиктора, y. Предиктор y определяется из пикселей в той же группе фаз пикселя, что и пиксель первой фазы, как изложено ниже:

у=max((0, 1), (1, 0)) когда (1, 1)>=max((0, 1),(1, 0))

(1)

у=min((0, 1), (1, 0)) когда (1, 1)<=min((0, 1),(1, 0))

(2)

у=(0, 1)+(1, 0)-(1, 1) в иных случаях.

(3)

Со ссылкой на фиг.8 и фиг.9, блок-схема декодера 800 и этапы способа 900 для декодирования, соответственно, показаны согласно определенным вариантам осуществления. Поток 805 (фиг.8) битов, который был закодирован в соответствии с вариантом осуществления, описанным со ссылкой на фиг.1-7, присоединяется к разделителю 810 потоков битов (фиг.8). Первичное кодированнное изображение 815 и множество избыточных кодированных изображений 820, 825, 830 принимаются (905, фиг.9) в поток битов и разделяются разделителем 810 потоков битов. Декодер 835 (фиг.2) первичного изображения генерирует (910, фиг.9) изображение 855 низкого разрешения путем декодирования первичного кодированного изображения 815. На этапе 915 (фиг.9), если был произведен выбор использовать изображение низкого разрешения, на этапе 930 (фиг.9), функция 875 (фиг.8) обратного преобразования может просто масштабировать информацию в изображении низкого разрешения и генерировать декодированное изображение 885 низкого разрешения на выходе 880, и никакие дальнейшие этапы способа 900 не могут выполняться. На этапе 915 (фиг.9), если был произведен выбор использовать изображение высокого разрешения, множество декодеров 840 (фиг.8) избыточного изображения генерирует (920, фиг.9) множество наборов 860, 865, 870 данных улучшения путем декодирования соответствующего множества избыточных кодированных изображений 820, 825, 830. Функция 875 (фиг.8) обратного преобразования выполняет (925, фиг.9) обратное преобразование изображения 855 (фиг.2) низкого разрешения и каждого из множества наборов данных улучшения 860, 865, 870 (фиг.2), создавая декодированную версию участка видеокадра 885 высокого разрешения, из которого были сгенерированы первичное кодированное изображение и множество наборов данных улучшения, на выходе 880, как часть последовательности 890 видеокадров. Этап 925 может быть сформулирован немного иначе - как по меньшей мере значительное воссоздание участка видеокадра 206 высокого разрешения.

Во время воссоздания участка видеокадра 885 высокого разрешения функция 875 обратного преобразования использует преобразование, обратное преобразованию, которое было использовано для кодирования видеокадра 206 высокого разрешения. Для кодированной версии видеокадра высокого разрешения, который был сгенерирован с использованием субполосного преобразования, как описано на фиг.4, функция 875 обратного преобразования является операцией субполосного синтеза, которая синтезирует декодированный видеокадр высокого разрешения, используя гребенки фильтров двойного синтеза, как известно специалистам в данной области техники. Для кодированного видеокадра высокого разрешения, который был сгенерирован с использованием многофазного преобразования, как описано на фиг.7, функция 875 обратного преобразования содержит обратную усредняющую функцию. Со ссылкой на фиг.10, блок-схема функции 1000 обратного преобразования для усредняющей функции, описанной выше со ссылкой на фиг.6, показана в соответствии с определенными вариантами осуществления. Функция 1000 обратного преобразования содержит запоминающее устройство 1005, обратную усредняющую функцию 1010 и функцию 1035 воссоздания. Множество наборов 860, 865, 870 данных улучшения присоединяется к запоминающему устройству 1005, которое хранит наборы данных улучшения, как фазы 2, 3 и 4 изображения высокого разрешения. Изображение 855 низкого разрешения присоединяется к обратной усредняющей функции 1010. Когда в способе 900 (фиг.9) совершается выбор изображения низкого разрешения, обратная усредняющая функция 1010 генерирует изображение 855 низкого разрешения на выходе 880. Изображение 855 низкого разрешения принимается функцией 1035 воссоздания и передается на выход 880. Обратная усредняющая функция 1010 или функция 1035 воссоздания, или обе эти функции могут применять масштабирование к значениям изображения 855 низкого разрешения. Когда в способе 900 (фиг.9) совершается выбор изображения высокого разрешения, обратная усредняющая функция 1010 определяет первую фазу участка видеокадра высокого разрешения из изображения 855 низкого разрешения и другие фазы 1020, 1025, 1030 участка видеокадра высокого разрешения, используя способы хорошо известные специалистам в данной области техники. Первая фаза участка видеокадра высокого разрешения присоединяется из выхода 1015 к функции 1035 воссоздания наряду с другими фазами 1020, 1025, 1030 участка видеокадра высокого разрешения, где они объединяются, чтобы воссоздать участок видеокадра 885 высокого разрешения на выходе 880.

Следует принять во внимание, что определенные этапы способов, описанных в материалах настоящей заявки, могут необязательно выполняться в описанном порядке. В качестве лишь одного примера, этап 920 способа 900 на фиг.9 мог быть выполнен перед этапом 915; в таком случае результаты этапа 920 могут не использоваться, если выбрано изображение низкого разрешения.

Варианты осуществления, описанные в материалах настоящей заявки, предоставляют новые подходы к масштабируемому кодированию изображения/видео и кодированию с многократным описанием, не требуя значительных изменений в существующих немасштабируемых кодерах и декодерах. В частности, методики могут дополнительно использовать средство избыточного изображения и быть легко применимыми в традиционных системах кодирования видео, которые спроектированы совместимыми только с немасштабируемыми профилями ITU-T H.264.

Следует принять во внимание, что некоторые варианты осуществления могут содержать один или более общих или специализированных процессоров (или "устройств обработки"), таких как микропроцессоры, процессоры цифровых сигналов, модифицированные процессоры и программируемые пользователем вентильные матрицы (FPGA), и уникальные сохраненные команды программ (включая как программное обеспечение, так и встроенные программы), которые управляют одним или более процессорами для выполнения, в сочетании с определенными схемами без процессоров, некоторых, большинства или всех функции способов и/или устройств, описанных в материалах настоящей заявки. В качестве альтернативы, некоторые, большинство, или все эти функции могли быть выполнены конечным автоматом, который не имеет сохраненных запрограммированных команд, или в одной или более специализированных интегральных схем (ASICs), в которых каждая функция или некоторые комбинации определенных функций выполняются, как заказные логические схемы. Конечно, может использоваться комбинация двух подходов.

Более того, вариант осуществления может быть выполнен как компьютерно-читаемый носитель данных, имеющий компьютерно-читаемый код, хранящийся на нем для программирования вычислительного устройства (например, содержащего процессор), чтобы выполнить способ, как описано и заявлено в материалах настоящей заявки. Примеры таких компьютерно-читаемых носителей данных включают в себя, но не в качестве ограничения, жесткий диск, CD-ROM, оптическое устройство хранения данных, магнитное устройство хранения данных, ROM (постоянное запоминающее устройство), PROM (программируемое постоянное запоминающее устройство), EPROM (стираемое программируемое постоянное запоминающее устройство), EEPROM (электрически стираемое программируемое постоянное запоминающее устройство) и флеш-память. Дополнительно, ожидается, что специалист в данной области, несмотря на возможно значительные усилия и большой выбор конструкции, мотивированный, например, имеющимся в распоряжении временем, современной технологией и экономическими соображениями, руководствуясь концепциями и принципами, раскрытыми в материалах настоящей заявки, будет без труда способен к генерированию таких команд программного обеспечения и программно реализованных программ, а также IC (интегральных схем) с минимальным экспериментированием.

В вышеизложенной спецификации изобретения были описаны характерные варианты осуществления. Тем не менее, специалист в данной области понимает, что могут быть сделаны различные модификации и изменения без отклонения от объема настоящего изобретения, как изложено ниже в формуле изобретения. Соответственно, спецификация и фигуры должны быть рассмотрены скорее в иллюстративном, а не ограничительном смысле, и все такие модификации предназначены для включения в объем настоящих идей изобретения. Выгоды, преимущества, решения проблем, и любой элемент(ы), который может привести к возникновению выгоды, преимущества или решения или сделать их более явными, не должны быть истолкованы как критические, требуемые или существенные признаки или элементы некоторого или всех пунктов формулы изобретения. Изобретение задано исключительно прилагаемой формулой изобретения, в том числе любыми изменениями, произведенными во время нахождения этой заявки в процессе рассмотрения, и всеми эквивалентами этой формулы изобретения по выдаче.

Более того, в настоящем документе, относительные термины, такие как первый и второй, верхний и нижний, и подобные, могут использоваться исключительно для разграничения одной сущности или действия от другой сущности или действия, без необходимого требования или применения в реальности такого соотношения или порядка между такими сущностями или действиями. Термины "содержит", "содержащий", "имеет", "имеющий", "включает в себя", "включающий в себя", "вмещает в себя", "вмещающий в себя" или любые другие их вариации предназначены для покрытия неисключающего включения, таким образом, чтобы последовательность операций, способ, изделие или устройство, которое содержит, имеет, включает в себя, вмещает в себя список элементов, включает в себя не только эти элементы, но может включать в себя другие элементы, не перечисленные в прямой форме и не присущие такой последовательности операций, способу, изделию или устройству. Элемент, следующий за "содержит…", "имеет…", "включает в себя...", "вмещает в себя...", без дополнительных ограничений, не исключает существование дополнительных идентичных элементов в последовательности операций, способе, изделии или устройстве, которое содержит, имеет, включает в себя, вмещает в себя элемент. Неопределенный артикль "a" и "an" задан как "один или более", если обратное не указано в явном виде материалах настоящей заявки. Термины "значительно", "существенно", "приблизительно", "около" или любые другие их варианты, заданы как являющиеся приблизительными, в смысле, понимаемом специалистами в данной области техники, и в одном неограничительном варианте осуществления, термин задан находящимся в пределах 10%, в другом варианте осуществления в пределах 5%, в другом варианте осуществления в пределах 1%, и в другом варианте осуществления в пределах 0.5%. Термин "присоединен", использованный в материалах настоящей заявки, задан как "соединен", хотя необязательно прямо и необязательно механически. Устройство или структура, которая "сконфигурирована" определенным путем, сконфигурирована по меньшей мере этим путем, но также может быть сконфигурирована путями, которые не перечислены.

Реферат раскрытия предоставлен, чтобы позволить читателю быстро определить характер технического раскрытия. Он представлен с пониманием того, что он не будет использован для интерпретации или ограничения области или значения формулы изобретения. Кроме того, в вышеприведенном подробном описании можно видеть, что различные свойства сгруппированы вместе в различных вариантах осуществления с целью упрощения раскрытия. Способ раскрытия не должен быть интерпретирован как отражающий намерение, что заявленные варианты осуществления требуют больше свойств, чем в прямой форме изложено в каждом пункте формулы изобретения. Скорее, как отражают нижеследующая формула изобретения, предмет изобретения заключается лишь в части всех свойств единственного раскрытого варианта осуществления. Таким образом, нижеследующая формула изобретения заключается настоящим в подробное описание, причем каждый пункт формулы изобретения обладает самостоятельным статусом, как отдельно заявленный предмет изобретения.

Claims

1. Способ кодирования видео, содержащий этапы, на которых:
преобразуют по меньшей мере участок видеокадра высокого разрешения в изображение низкого разрешения и множество наборов данных улучшения;
кодируют изображение низкого разрешения, как первичное кодированное изображение; и
кодируют, используя методику избыточного кодирования, каждый из множества наборов данных улучшения, как другие кодированные изображения,
причем преобразование содержит этапы, на которых:
выполняют многофазное преобразование для разложения видеокадра высокого разрешения на субкадры множества различных фаз;
формируют изображение низкого разрешения так, чтобы оно содержало пиксели низкого разрешения, при этом значение каждого пикселя низкого разрешения определяют, используя усредняющую функцию значений заданных пикселей внутри окрестности пикселя каждого пикселя, который находится в конкретной фазе из множества фаз; и
определяют каждый набор данных улучшения из множества наборов данных улучшения, как уникальный набор, содержащий все пиксели фазы, отличной от первой фазы,
причем число фаз равно четырем, причем четыре пикселя в каждой группе фаз пикселей идентифицируют как пиксели (0,0), (0,1), (1,0) и (1,1), при этом пиксели (0,0) и (1,1) расположены по диагонали, и причем усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значению пикселя фазы (0,0) (конкретной фазы) и предиктора y, причем предиктор y определяют из пикселей в той же группе фаз пикселей, что и пиксель конкретной фазы, как изложено ниже:
у = max((0,1), (1,0)), когда (1,1) >= max((0,1), (1,0))
у = min((0,1), (1,0)), когда (1,1) <= min((0,1), (1,0)),
у = (0,1)+(1,0)-(1,1) в иных случаях.

2. Способ кодирования видео по п.1, в котором преобразование имеет обратное преобразование, и выполнение обратного преобразования изображения низкого разрешения и множества наборов данных улучшения сконфигурировано воссоздавать видеокадр высокого разрешения.

3. Способ по п.1, в котором усредняющая функция является импульсной функцией, которая определяет значение каждого пикселя низкого разрешения, как равное значению соответствующего пикселя конкретной фазы.

4. Способ по п.1, в котором усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значений пикселей внутри окрестности пикселя конкретной фазы.

5. Способ по п.1, в котором окрестность пикселя является одной группой фаз пикселей.

6. Способ пространственного масштабируемого кодирования видео, содержащий этапы, на которых:
преобразуют по меньшей мере участок видеокадра высокого разрешения в изображение низкого разрешения и множество наборов данных улучшения,
причем преобразование содержит этапы, на которых
формируют множество фаз участка видеокадра высокого разрешения, причем каждая фаза является различным изображением участка, подвергнутым понижающей дискретизации,
формируют изображение низкого разрешения, как содержащее пиксели низкого разрешения, причем значение каждого пикселя низкого разрешения определяют, используя усредняющую функцию значений заданных пикселей внутри окрестности пикселя каждого пикселя в конкретной фазе из множества фаз,
определяют каждый набор данных улучшения из множества наборов данных улучшения, как уникальный набор, содержащий все пиксели фазы, отличной от конкретной фазы;
кодируют изображение низкого разрешения, используя кодирование первичного изображения; и
кодируют каждый из множества наборов данных улучшения, используя кодирование избыточного изображения,
причем число фаз равно четырем, причем четыре пикселя в каждой группе фаз пикселей идентифицируют как пиксели (0,0), (0,1), (1,0) и (1,1), причем пиксели (0,0) и (1,1) расположены по диагонали, и причем усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значению пикселя конкретной фазы и предиктора y, причем предиктор y определяют из пикселей в той же группе фаз пикселей, что и пиксель конкретной фазы, как изложено ниже:
у = max((0,1), (1,0)), когда (1,1) >= max((0,1), (1,0))
у = min((0,1), (1,0)), когда (1,1) <= min((0,1), (1,0)),
у = (0,1)+(1,0)-(1,1) в иных случаях.

7. Способ по п.6, в котором усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значений пикселей внутри окрестности пикселя конкретной фазы.

8. Способ декодирования видео, содержащий этапы, на которых:
генерируют декодированное изображение низкого разрешения посредством декодирования первичного кодированного изображения;
генерируют множество декодированных наборов данных улучшения посредством декодирования соответствующего множества избыточных кодированных изображений; и
выполняют обратное преобразование декодированного изображения низкого разрешения и множества декодированных наборов данных улучшения для создания декодированной версии участка видеокадра высокого разрешения, из которого были сгенерированы первичное кодированное изображение и множество избыточных кодированных изображений,
причем изображение низкого разрешения содержит пиксели низкого разрешения, причем значение каждого пикселя низкого разрешения определяют, используя усредняющую функцию значений заданных пикселей внутри окрестности пикселя каждого пикселя в конкретной фазе из множества фаз участка видеокадра высокого разрешения, и каждый из множества наборов данных улучшения является уникальным набором, содержащим все пиксели фазы участка видеокадра высокого разрешения, отличной от конкретной фазы,
причем обратное преобразование содержит этапы, на которых:
устанавливают каждую фазу видеокадра высокого разрешения, отличную от конкретной фазы, в соответствующий один из множества наборов данных улучшения;
определяют конкретную фазу участка видеокадра высокого разрешения из изображения низкого разрешения и других фаз участка видео высокого разрешения, и
объединяют конкретную фазу и другие фазы для создания декодированной версии видеокадра высокого разрешения,
причем число фаз равно четырем, причем четыре пикселя в каждой группе фаз пикселей идентифицируют как пиксели (0,0), (0,1), (1,0) и (1,1), причем пиксели (0,0) и (1,1) расположены по диагонали, и причем усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значению пикселя конкретной фазы и предиктора y, причем предиктор y определяют из пикселей в той же группе фаз пикселей, что и пиксель конкретной фазы, как изложено ниже:
у = max((0,1), (1,0)), когда (1,1) >= max((0,1), (1,0))
у = min((0,1), (1,0)), когда (1,1) <= min((0,1), (1,0)),
у = (0,1)+(1,0)-(1,1) в иных случаях.

9. Устройство декодирования, содержащее:
декодер, который восстанавливает изображение низкого разрешения из первичного кодированного изображения в потоке битов, и восстанавливает множество наборов данных улучшения из соответствующего множества избыточных кодированных изображений в потоке битов; и
постпроцессор, который выполняет обратное преобразование на изображении низкого разрешения и множестве наборов данных улучшения, создавая декодированную версию участка видеокадра высокого разрешения, из которого были сгенерированы первичное кодированное изображение и множество избыточных кодированных изображений,
причем изображение низкого разрешения содержит пиксели низкого разрешения, причем значение каждого пикселя низкого разрешения определяется с использованием усредняющей функции значений заданных пикселей внутри окрестности пикселя каждого пикселя в конкретной фазе из множества фаз участка видеокадра высокого разрешения, и каждый из множества наборов данных улучшения является уникальным набором, содержащим все пиксели фазы участка видеокадра высокого разрешения, отличной от конкретной фазы,
причем обратное преобразование содержит:
установку каждой фазы видеокадра высокого разрешения, отличной от конкретной фазы, в соответствующий один из множества наборов данных улучшения;
определение конкретной фазы участка видеокадра высокого разрешения из изображения низкого разрешения и других фаз участка видео высокого разрешения, и
объединение конкретной фазы и других фаз для создания декодированной версии видеокадра высокого разрешения,
причем число фаз равно четырем, причем четыре пикселя в каждой группе фаз пикселей идентифицируются как пиксели (0,0), (0,1), (1,0) и (1,1), причем пиксели (0,0) и (1,1) расположены по диагонали, и причем усредняющая функция определяет значение каждого пикселя низкого разрешения, как равное среднему значению пикселя конкретной фазы и предиктора y, причем предиктор y определяется из пикселей в той же группе фаз пикселей, что и пиксель конкретной фазы, как изложено ниже:
у = max((0,1), (1,0)), когда (1,1) >= max((0,1), (1,0))
у = min((0,1), (1,0)), когда (1,1) <= min((0,1), (1,0)),
у = (0,1)+(1,0)-(1,1) в иных случаях.

10. Устройство декодирования по п.9, дополнительно содержащее:
память для установления каждой фазы видеокадра высокого разрешения, отличной от конкретной фазы, в соответствующий один из множества наборов данных улучшения;
обратную усредняющую функцию, которая определяет конкретную фазу участка видеокадра высокого разрешения из изображения низкого разрешения и другие фазы участка видеокадра высокого разрешения, и
модуль воссоздания, который объединяет конкретную фазу и другие фазы в декодированную версию видеокадра высокого разрешения.