RU2414092C2 - Адаптация отбрасываемого низкого уровня при масштабируемом кодировании видеосигнала - Google Patents

Адаптация отбрасываемого низкого уровня при масштабируемом кодировании видеосигнала Download PDF

Info

Publication number
RU2414092C2
RU2414092C2 RU2009117291/09A RU2009117291A RU2414092C2 RU 2414092 C2 RU2414092 C2 RU 2414092C2 RU 2009117291/09 A RU2009117291/09 A RU 2009117291/09A RU 2009117291 A RU2009117291 A RU 2009117291A RU 2414092 C2 RU2414092 C2 RU 2414092C2
Authority
RU
Russia
Prior art keywords
level
reference block
slice
discarded
block
Prior art date
Application number
RU2009117291/09A
Other languages
English (en)
Other versions
RU2009117291A (ru
Inventor
Йи ГУО (CN)
Йи ГУО
Йе-Куи ВАНГ (FI)
Йе-Куи ВАНГ
Миска ХАННУКСЕЛА (FI)
Миска ХАННУКСЕЛА
Хоукьянг ЛИ (CN)
Хоукьянг ЛИ
Original Assignee
Нокиа Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нокиа Корпорейшн filed Critical Нокиа Корпорейшн
Publication of RU2009117291A publication Critical patent/RU2009117291A/ru
Application granted granted Critical
Publication of RU2414092C2 publication Critical patent/RU2414092C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к области масштабируемого кодирования видеосигнала. Техническим результатом является улучшение эффективности кодирования и точности декодирования при масштабируемом кодировании видеосигнала. Указанный технический результат достигается тем, что осуществляют адаптацию отбрасываемого более низкого уровня видеосигнала, где приложения могут не выполнять передачу неиспользуемых данных межуровневого предсказания для всех уровней ниже рабочей точки приемников. Используются индикаторные флаги, чтобы избежать передачи элементов синтаксиса, которые должны быть установлены в фиксированные значения. Кроме того, в процессе кодирования используются алгоритмы заполнения или ограничения дополнительного кодирования. 6 н. и 6 з.п. ф-лы, 3 ил., 11 табл.

Description

Область техники
[0001] Настоящее изобретение в целом относится к области масштабируемого кодирования видеосигнала. Более конкретно, настоящее изобретение относится к адаптации отбрасываемого более низкого уровня при масштабируемом кодировании видеосигнала.
Уровень техники
[0002] Назначение этого раздела состоит в том, чтобы изложить предпосылки или контекст изобретения, которое раскрыто в пунктах формулы изобретения. Здесь описание может включать концепции, которые могли предлагаться, но не обязательно уже рассматривались и планировались. Поэтому, если не сказано иначе, то содержание этого раздела не является описанием известного уровня техники для данного изобретения и его формулы, и упоминание в настоящем разделе не предполагает, что это содержание есть описание известного уровня техники.
[0003] Существует множество стандартов кодирования видеосигнала, включая ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 или ISO/IEC MPEG-2 Visual, ITU-T Н.263, ISO/IEC MPEG-4 Visual и ITU-T H.264 или ISO/IEC MPEG-4 AVC. Имеются также частные решения для кодирования видеосигнала (например, VC-1, известное также как стандарт SMPTE 421 М на основе Microsoft Windows Media Video, версия 9) и национальные стандарты, например кодек AVS, разработанный китайской рабочей группой Audio and Video Coding Standard Workgroup. Некоторые из этих стандартов уже определяют масштабируемое расширение, например MPEG-2 для видео и MPEG-4 для видео. Для стандарта H.264/AVC в настоящее время разрабатывается расширение по масштабируемому видеокодированию SVC, иногда также называемое стандартом SVC.
[0004] Самая последняя версия SVC описана в документе JVT-T201, "Joint Draft 7 of SVC Amendment," 20th JVT Meeting, Klagenfurt, Austria, July 2006, доступном по адресу http://ftp3.itu.ch/av-arch/jvt-site/2006_07_Klagenfurt/JVT-T201.zip.
[0005] Стандарт SVC может обеспечить масштабируемые битовые видеопотоки. Часть масштабируемого битового видеопотока может быть извлечена и декодирована с ухудшением качества визуального воспроизведения. Масштабируемый битовый видеопоток содержит немасштабируемый базовый уровень и один или более уровней расширения. Уровень расширения может повышать временное разрешение (то есть частоту кадров), пространственное разрешение или просто качество видеоконтента, представленного более низким уровнем или его частью. В некоторых случаях данные уровня расширения могут быть усечены после некоторой позиции и даже в произвольных позициях, и каждая позиция усечения может включать некоторые дополнительные данные, соответствующие все более и более хорошему качеству изображения. Такая масштабируемость называется мелкозернистой масштабируемостью (FGS, fine-grained scalability). В отличие от FGS, масштабируемость, осуществляемая уровнем повышения качества, который не обеспечивает мелкозернистой масштабируемости, называется крупнозернистой масштабируемостью (CGS, coarse-grained scalability). Базовые уровни могут быть разработаны также с возможностью масштабирования FGS.
[0006] Механизм, обеспечивающий временную масштабируемость в самых последних версиях стандарта SVC, называется кодовой структурой "иерархические В-изображения" (hierarchical В pictures). Эта функция полностью поддерживается стандартом AVC (Advanced Video Coding), и часть сигнализации может быть выполнена с использованием сообщений с информацией о дополнительном расширении (SEI, supplemental enchancement information), относящейся к субпоследовательности.
[0007] Механизм, обеспечивающий временную масштабируемость в самых последних версиях стандарта SVC, называется кодовой структурой "иерархические В-изображения". Эта функция полностью поддерживается стандартом AVC, и часть сигнализации может быть выполнена с использованием сообщений с информацией о дополнительном расширении (SEI, supplemental enchancement information), относящейся к субпоследовательности.
[0008] Для механизмов, обеспечивающих пространственную масштабируемость и масштабируемость CGS, обычные многоуровневые технические решения по кодированию, аналогичные используемым в более ранних стандартах, используется с некоторыми новыми способами межуровневого предсказания. Данные, которые могут быть предсказаны межуровневым предсказанием, включают данные интратекстуры, данные движения и остаточные данные. Одноконтурное декодирование осуществляется в режиме усеченного предсказания интратекстуры, в то время как межуровневое предсказание интратекстуры может быть применено к макроблокам (MB), для которых соответствующий блок базового уровня расположен внутри интрамакроблока. В то же самое время, в этих интрамакроблоках в базовом уровне используется усеченное интрапредсказание. При одноконтурном декодировании декодер должен выполнять компенсацию движения и полное восстановление изображения только для масштабируемого уровня, который требуется воспроизвести (называемого желаемым уровнем). Поэтому сложность декодирования значительно снижается. Нет необходимости декодировать все уровни, кроме желаемого, поскольку все данные макроблоков или их часть, не используемые для предсказания промежуточного уровня (в этом межуровневом предсказании интратекстуры, межуровневом предсказании движения или межуровневом предсказании остаточных данных), не являются необходимыми для восстановления желаемого уровня.
[0009] Было произведено обобщение пространственной масштабируемости, чтобы базовый уровень представлял собой усеченную или масштабированную версию уровня расширения. Кодирующие модули квантования и энтропии были приспособлены для обеспечения возможностей FGS. Режим кодирования называют прогрессивным построчным уточнением, при этом последовательное уточнение коэффициентов преобразования кодируют путем периодического уменьшения размера шага квантования и применения кодирования "циклической" энтропии, близкого к кодированию в битовой плоскости
[0010] Структура масштабируемого уровня в текущем проекте стандарта SVC характеризуется тремя переменными, называемыми temporal_level, dependency_id и quality-level, которые сигнализируются в потоке двоичных сигналов или могут быть определены согласно техническим требованиям. Переменная temporal_level используется для идентификации временной иерархии уровня или скорости кадров. Уровень, включающий изображения с меньшими значениями temporal_level, имеет меньшую скорость кадров, чем уровень, включающий изображения с большим значением temporal_level. Переменная dependency_id используется для идентификации иерархии зависимости межуровневого кодирования. В любой момент времени изображение с меньшим значением dependency_id может использоваться в межуровневом предсказании для кодирования изображения с большим значением dependency_id. Переменная quality_level используется для идентификации иерархии уровня FGS. В любой момент времени при одинаковых значениях dependency_id изображение FGS со значением quality_level, равным QL, использует изображение FGS или изображение с базовым качеством (то есть изображение не-FGS, когда QL-1=0) при quality_level равном QL-1 для межуровневого предсказания.
[0011] При одноконтурном декодировании масштабируемого видеосигнала, включающего по меньшей мере два CGS- или пространственно масштабируемых уровня, только часть кодированного изображения на более низком уровне используется для предсказания соответствующего кодированного изображения на более высоком уровне (то есть для межуровневого предсказания). Поэтому, если отправитель знает, какой масштабируемый уровень требуется для воспроизведения в приемниках, скорость передачи данных, используемую для передачи, можно было бы снизить, опуская те части, которые не используются для межуровневого предсказания и не присутствуют ни в одном из масштабируемых уровней, желаемых для воспроизведения. Следует отметить, что в случае группового вещания или трансляции, когда различные клиенты могут требовать разных уровней воспроизведения, эти уровни будем называть желаемыми уровнями.
[0012] В настоящее время над развитием стандарта SVC работает объединенная группа по кодированию видеоизображений (JVT, Joint Video Team). Ранее в разработках JVT-R050rl ("Отбрасываемые биты и многоуровневая оценка RD для контурного декодировании," 18th Meeting: Bangkok, Thailand, 14-20 January, 2006, имеется по адресу http //ftp3.itu.ch/av-arch/jvt-site/2006_01_Bangkok/JVT-R050.zip) и JVT-R064 ("Избирательное межуровневое предсказание," 18th Meeting: Bangkok, Thailand, 14-20 January, 2006, имеется по адресу http://ftp3.itu.ch/av-arch/jvt-site/2006_01_Bangkok/JVT-R064.zip) была сделана попытка использовать "ненужные данные" для улучшения рабочих характеристик SVC в сценариях некоторых приложений. Если кратко, то в JVT-R050rl предложено, чтобы отбрасываемые остатки кодировались в отдельном блоке уровня сетевой абстракции (NAL, Network Abstraction Layer) или слайсе с установленным флагом NAL discardable_flag, где discardable_flag указывает, что для декодирования верхних уровней блок NAL не требуется. Однако были упомянуты только остаточные данные, и не определено, как кодировать эти "отбрасываемые" остатки для отдельного блока или слайса NAL. Согласно текущему проекту SVC, это невозможно, если только макроблоки, имеющие остаточные данные, которые не требуются для межуровневого предсказания, не являются последовательными в порядке сканирования растра, что маловероятно. В JVT-R064 предложено принудительно не использовать все макроблоки для межуровневого предсказания для набора изображений (то есть каждое кодируется как один слайс) в некоторых уровнях среди высоких временных уровней. В JVT-S051 ("Избирательное межуровневое предсказание на основе кадров," 19th Meeting: Geneva, CH, 31 March-7 April, 2006, имеется по адресу http://ftp3.itu.ch/av-arch/jvt-site/2006_04_Geneva/JVT-S051.zip), был предложен способ избирательного межуровневого предсказания на основе кадров, в котором для определенных изображений (каждое кодируется как один слайс) все макроблоки в изображении принудительно не используются для межуровневого предсказания. Выбор определенных изображений моделируется как "задача о ранце" (knapsack problem) и решается с использованием динамического программирования. В заявке на патент США №60/786496 и документе JVT-S039 ("Об адаптации отбрасываемого более низкого уровня," 19th Meeting: Geneva, CH5 31 March-7 April, 2006, имеется по адресу http://ftp3.itu.ch/av-arch//jvt-site/2006_04_Geneva//JVT-S039.zip), полностью включенных в настоящее описание путем ссылки, предложено использовать группы слайсов и/или секционирование данных для такого отделения данных, необходимых для межуровневого предсказания (неотбрасываемых данных) и данных, не необходимых для межуровневого предсказания (отбрасываемых данных), чтобы отбрасываемые данные можно было отбраковать и избежать их ненужной передачи и/или декодирования.
[0013] В стандарте SVC, если обеспечивается пространственная масштабируемость, макроблок высокого уровня может применять межуровневое предсказание с использованием масштабируемых данных движения базового уровня, когда флаг base_mode_flag или флаг base_mode_refinement_flag равен 1. В этом сценарии макроблок высокого уровня восстанавливается с использованием данных движения по умолчанию, полученных из базового уровня. Например, если базовый уровень имеет размер формата QCIF, а уровень расширения имеет размер формата CIF, то вектор движения одного блока в базовом уровне будет масштабирован с коэффициентом 2 с повышением частоты дискретизации до векторов движения 2×2 для четырех совмещенных блоков на уровне расширения.
[0014] Если пространственное разрешение изображений в уровне расширения и базовом уровне различается, то при предсказании текстуры структуры промежуточного уровня необходим интерполяционный фильтр для повышения частоты дискретизации базового уровня. Перед применением интерполяционного фильтра интрамакроблоки базового уровня расширяют границей с 4 выборками в каждом направлении с использованием процесса расширения границы. Перед выполнением расширения границы ко всем границам внутри интрамакроблока или между интрамакроблоками применяют деблокирующий фильтр.
[0015] При межуровневом разностном предсказании SVC, если предыдущий уровень представляет уровень с половинным пространственным разрешением относительно текущего уровня, частоту дискретизации остаточного сигнала повышают с использованием отдельного билинейного фильтра до того, как этот сигнал будет использоваться в качестве сигнала предсказания. Для коэффициентов пространственного разрешения промежуточного уровня, отличающихся от 1 и 2, процесс интерполяции основан на процессе четвертьпиксельной (quarter-pel) интерполяции, как определено в стандарте AVC.
[0016] Предположим, что в текущем SVC имеется два уровня, то есть более низкий уровень и более высокий уровень; кодированный блок слайса NAL в низком уровне можно маркировать как отбрасываемый, и этот отбрасываемый слайс не должен присутствовать при декодировании более высокого уровня. Поэтому декодирование более высокого уровня не должно зависеть ни от каких-либо данных, передаваемых в отбрасываемом слайсе, даже если отбрасываемый слайс присутствует. Это требование может быть выполнено, когда каждое изображение кодировано как один слайс, при этом base_id_plus1 для слайса/изображения более высокого уровня, чем слайс/изображение отбрасываемого более низкого уровня, устанавливают в 0. Однако, когда изображение более низкого уровня закодировано в более чем одном слайсе, и некоторые из слайсов являются отбрасываемыми, в то время как другие - неотбрасываемыми, возникают проблемы в выполнении вышеуказанного требования.
[0017] Первая проблема возникает, когда слайс в изображении высокого уровня охватывает области, охваченные как отбрасываемыми, так и неотбрасываемыми слайсами низкого уровня. Для каждой из охватываемых областей макроблоков, охватываемых отбрасываемыми слайсами низкого уровня, все экземпляры элементов синтаксиса base_mode_flag, base_mode_refinement_flag, intra_base_flag, motion_prediction_fiag_10 [], motion_prediction_flag_11[], и residual_prediction_fiag должны быть установлены в 0. Однако эти элементы синтаксиса все еще передаются в битовом потоке, что приводит к уменьшению эффективности кодирования по сравнению с случаем, когда эти элементы синтаксиса для макроблока не передаются.
[0018] Вторая проблема возникает, когда высокий уровень представляет собой пространственно масштабируемый уровень. Процесс декодирования включает процессы повышения частоты дискретизации для выборок или остаточных значений для изображений низкого уровня прежде, чем эти значения используются для межуровневого предсказания. Однако результат повышения частоты дискретизации может оказаться непредсказуемым для тех макроблоков, которые граничат с отбрасываемыми макроблоками, из-за неинициализированных значений отбрасываемых макроблоков. Следовательно, трудно обеспечить правильность результата декодирования.
Сущность изобретения
[0019] Настоящее изобретение обеспечивает создание системы и способа для эффективного кодирования слайса в кодированном изображении, состоящем из более чем одного слайса, кодируемого как отбрасываемый для более высоких уровней (то есть такой, который не требуется для декодирования на более высоких уровнях). Во-первых, предотвращается передача элементов синтаксиса, которые должны быть установлены в фиксированные значения, что улучшает эффективность кодирования. В частности, к заголовку слайса в масштабируемом расширении и/или к различным таблицам синтаксиса макроблоков могут быть добавлены различные флаги, чтобы можно было избежать передачи определенных элементов синтаксиса в переменных таблицах синтаксиса макроблоков. Во-вторых, предотвращаются также помехи от возможно отбрасываемых данных в процессе повышения частоты дискретизации в выборках или остаточных данных, используемых для межуровневого предсказания, и таким образом обеспечивается правильное декодирование более высоких уровней. В частности, значения выборок или остаточные значения отбрасываемых слайсов в течение процессов как кодирования, так и декодирования заполняют незначащей информацией независимо от того, имеются ли отбрасываемые слайсы. Альтернативно, можно наложить ограничения на процесс кодирования, чтобы значения выборок или остаточные значения отбрасываемых слайсов в изображениях низкого уровня не использовались в процессах повышения частоты дискретизации.
[0020] Эти и другие преимущества и признаки изобретения, а также устройство и способ его работы станут очевидными из последующего подробного описания совместно с сопровождающими чертежами, где одинаковые элементы обозначены одинаковыми позициями.
Краткое описание чертежей
[0021] На фиг.1 показана обобщенная система мультимедиасвязи для использования с настоящим изобретением,
[0022] на фиг.2 показан вид в перспективе мобильного телефона, который может использоваться в рамках настоящего изобретения; и
[0023] на фиг.3 показана схема мобильного телефона, изображенного на фиг.2.
Подробное описание предпочтительных вариантов выполнения настоящего изобретения
[0024] Настоящее изобретение обеспечивает создание системы и способа для эффективного кодирования слайса в кодированном изображении, состоящем из более чем одного слайса, кодируемого как отбрасываемый для более высоких уровней (то есть такой, который не требуется для декодирования на высоких уровнях). Во-первых, предотвращается передача элементов синтаксиса, которые должны быть установлены в фиксированные значения, что улучшает эффективность кодирования. Во-вторых, предотвращаются также помехи от возможно отбрасываемых данных в процессе повышения частоты дискретизации в выборках или остаточных данных, используемых для межуровневого предсказания, и таким образом обеспечивается правильное декодирование более высоких уровней.
[0025] Настоящее изобретение включает видеокодер (и способ кодирования), предназначенный для разделения данных, необходимых для межуровневого предсказания и не необходимых для межуровневого предсказания. Кроме того, настоящее изобретение включает видеодекодер (и способ декодирования), позволяющий идентифицировать данные, не необходимые для межуровневого предсказания и не находящиеся в желаемом для воспроизведения уровне, а также исключить декодирование таких идентифицированных данных, и декодирование желаемого для воспроизведения уровня без отбрасываемых данных.
[0026] На фиг.1 показана типичная система мультимедиасвязи для использования с настоящим изобретением. Как показано на фиг.1, источник 100 данных выдает исходный сигнал в аналоговом, несжатом цифровом или сжатом цифровом формате или в любой комбинации этих форматов. Кодер 110 кодирует исходный сигнал в кодированный двоичный поток медиаданных. Кодер 110 может быть способен кодировать более одного типа медиаданных, например аудио и видео, или же для кодирования различных видов медиаданных исходного сигнала может понадобиться более одного кодера 110. Кроме того, кодер 110 может получать искусственно созданные входные сигналы, например графические данные и текст, или он может быть способен генерировать кодированные двоичные потоки медиаданных. Ниже для упрощения описания рассматривается обработка только одного кодированного двоичного потока одного типа медиаданных. Однако следует отметить, что типичные службы трансляции в реальном времени включают несколько потоков (обычно, по меньшей мере, потоки с аудиоданными, видеоданными и текстом для субтитров). Кроме того, следует отметить, что система может включать много кодеров, но в последующем описании для упрощения, не нарушающего общность, рассмотрен только один кодер 110.
[0027] Кодированный двоичный поток медиаданных попадает в память 120. Память 120 может включать любой тип памяти большой емкости, предназначенный для хранения кодированного двоичного потока медиаданных. Формат кодированного двоичного потока медиаданных в памяти 120 может быть элементарным автономным форматом двоичного потока или одним или несколькими кодированными битовыми потоками медиаданных, встроенными в контейнерный файл. Некоторые системы работают «на лету», то есть не используют память и передают кодированный двоичный поток медиаданных из кодера 110 непосредственно отправителю 130. Затем кодированный двоичный поток медиаданных передается отправителю 130, также называемому сервером, на основе потребности. Формат, используемый при передаче, может быть элементарным автономным форматом двоичного потока, форматом пакетного потока или одним или несколькими кодированными битовыми потоками медиаданных, включенными в контейнерный файл. Кодер 110, память 120 и отправитель 130 могут располагаться в одном и том же физическом устройстве или же они могут входить в отдельные устройства. Кодер 110 и отправитель 130 могут работать с контентом в реальном времени в прямом эфире, когда кодированный двоичный поток медиаданных, как правило, не хранится постоянно, а буферируется в течение небольших промежутков времени в кодере 110 контента и/или в отправителе 130 для сглаживания вариаций из-за задержек обработки, задержек передачи и скорости передачи кодированных медиаданных.
[0028] Отправитель 130 посылает кодированный двоичный поток медиаданных с использованием стека протоколов связи. Стек может включать протокол передачи в реальном времени (RTP, Real-Time Transport Protocol), протокол пользовательских дейтаграмм (UDP, User Datagramm Protocol) и протокол маршрутизации в среде Интернет (IP, Internet Protocol), но не обязательно только их. Когда стек протокола связи является пакетно-ориентированным, отправитель 130 инкапсулирует кодированный двоичный поток медиаданных в пакеты. Например, когда используется протокол RTP, отправитель 130 инкапсулирует кодированный двоичный поток медиаданных в пакеты RTP согласно формату полезной нагрузки протокола RTP. Как правило, каждый вид медиаданных имеет специфический формат полезной нагрузки для протокола RTP. Следует отметить, что система может содержать более одного отправителя 130, но ради простоты в последующем описании рассматривается только один отправитель 130.
[0029] Отправитель 130 может быть, а может и не быть связан со шлюзом 140 через систему связи. Шлюз 140 может выполнять различные функции, например передачу пакетного потока согласно стеку одного протокола связи в стек другого протокола связи, объединяя и разделяя потоки данных и манипулируя потоками данных согласно возможностям нисходящей связи и/или приемника, например, управляя скоростью передачи данных передаваемых потоков согласно преобладающим условиям нисходящей сети. Примеры шлюзов 140 включают устройство управления многосторонней связью (MCU, multipoint conference control unit), шлюзы между устройствами видеотелефонии с соединениями по коммутируемым линиям и с пакетной коммутацией, серверы симплексного канала для сотовой связи (РоС, Push-to-talk over Cellular), IP-инкапсуляторы в системах цифрового телевизионного вещания на мобильные устройства (стандарт DVB-H, digital video broadcasting-handheld) или телевизионные преобразователи (set-top box), которые передают транслируемые сигналы в локальные домашние беспроводные сети. При использовании протокола RTP шлюз 140 называют микшером протокола RTP, и этот шлюз действует как конечная точка соединения RTP.
[0030] Система включает один или несколько приемников 150, обычно способных к приему, демодуляции и декапсулированию переданного сигнала в кодированный двоичный поток медиаданных. Двоичный поток медиаданных кодека обычно подвергается дальнейшей обработке декодером 160, на выходе которого получается один или несколько потоков несжатых медиаданных. Наконец, рендерер 170 может воспроизвести несжатые потоки медиаданных, например, в громкоговорителе или на дисплее. Приемник 150, декодер 160 и рендерер 170 могут располагаться в одном и том же физическом устройстве или же они могут входить в отдельные устройства.
[0031] Масштабируемость в отношении скорости передачи данных, сложности декодирования и размера изображения является желательной характеристикой для неоднородной и подверженной ошибкам среды передачи. Эта характеристика желательна для обхода ограничений, например ограничений на скорость передачи данных, разрешение дисплея, пропускную способность сети и вычислительную мощность, в приемном устройстве.
[0032] Устройства связи согласно настоящему изобретению могут осуществлять связь с использованием различных способов передачи, включая, но этим не ограничиваясь, многостанционный доступ с кодовым разделением каналов (CDMA, Code Division Multiple Access), Глобальную систему мобильной связи (GSM, Global System for Mobile communications), Универсальную систему мобильной связи (UMTS, Universal Mobile Telecommunications System), Многостанционный доступ с временным разделением каналов (TDMA, Time Division Multiple Access), Многостанционный доступ с частотным разделением каналов (FDMA, Frequency-Division Multiple Access), Протокол управления передачей/Протокол Интернет (TCP/IP, Transmission Control Protocol/Internet Protocol), службу коротких сообщений (SMS, Short Message Service), службу передачи мультимедиасообщений (MMS, Multimedia Message Service), электронную почту (e-mail), службу мгновенной передачи сообщений (IMS, Instant Massaging Service), стандарт Bluetooth, IEEE 802.11 и т.д. Устройство связи может осуществлять связь с использованием различных средств, включая, но этим не ограничиваясь, радиоволны, инфракрасное излучение, лазерное излучение, кабельное соединение и т.п.
[0033] На фиг.2 и 3 показан типичный мобильный телефон 12, в котором может быть осуществлено настоящее изобретение. Однако должно быть понятно, что настоящее изобретение не ограничено конкретным типом мобильного телефона 12 или другого электронного устройства. Некоторые или все признаки, изображенные на фиг.2 и 3, могут быть встроены в любые из устройств, представленных на фиг.1.
[0034] Мобильный телефон 12 на фиг.2 и 3 содержит корпус 30, дисплей 32 в виде жидкокристаллического дисплея, клавиатуру 34, микрофон 36, динамик 38, батарею 40, инфракрасный порт 42, антенну 44, интеллектуальную карту 46, которая, согласно одному варианту выполнения настоящего изобретения, может быть картой с идентификационным кодом пользователя (UICC), считыватель 48 карты, схему 52 радиоинтерфейса, схему 54 кодека, контроллер 56 и память 58. Все отдельные схемы и элементы хорошо известны и могут быть найдены, например, среди мобильных телефонов фирмы Nokia.
[0035] Реализация настоящего изобретения согласно различным вариантам его выполнения основана на стандарте SVC и прогрессивном кодировании. Однако следует отметить, что настоящее изобретение применимо также к другим способам масштабируемого кодирования, а также к чересстрочному кодированию.
[0036] Рассмотрим, например, случай существования двух уровней, то есть низкого уровня и высокого уровня, где макроблоки низкого уровня могут быть отнесены к одному из двух следующих типов.
1. Данные из этого макроблока необходимы для межуровневого предсказания (Тип А).
2. Никакие данные из этого макроблока не необходимы для межуровневого предсказания (Тип В).
Макроблоки типа В в одном изображении кодированы в одном или нескольких слайсах, при этом элемент синтаксиса discardable_flag (флаг возможности отбрасывания) установлен в 1. Такие макроблоки типа В могут быть по желанию отброшены.
[0037] При решении первой проблемы, описанной выше, при кодировании к заголовку слайса в масштабируемом расширении добавляют флаг base_discardable_flag_present_flag (флаг присутствия базового флага discardable_flag) для указания того, присутствует ли базовый флаг base_discardable_flag в функции macroblock_layer_in_scalable_extension() в таблице синтаксиса макроблока. Добавляют base_discardable_flag к macroblock_layer_in_scalable_extension() в таблице синтаксиса макроблока, указывая, что базовый слайс, охватывающий ту же область в изображении базового уровня и обозначенный как base_id_plus1, является отбрасываемым, когда base_discardable_flag равен 1. Когда base_discardable_flag равен 0, флаг base_discardable_fiag не добавляют в таблице синтаксиса макроблока к macroblock_layer_in_scalable_extension(). Поэтому в масштабируемом расширении может быть применен следующий синтаксис заголовка слайса:
Figure 00000001
Figure 00000002
Figure 00000003
[0038] Кроме того, таблица синтаксиса уровня макроблока в масштабируемом расширении имеет следующий вид:
Figure 00000004
Figure 00000005
Figure 00000006
[0039] Синтаксис предсказания макроблока в масштабируемом расширении имеет следующий вид:
Figure 00000007
Figure 00000008
[0040] Синтаксис предсказания субмакроблока в масштабируемом расширении имеет следующий вид:
Figure 00000009
Figure 00000010
[0041] Синтаксис остатка в масштабируемом расширении имеет следующий вид:
Figure 00000011
Figure 00000012
Альтернативный способ, позволяющий избежать наличия base_discardable_flag в каждом макроблоке, заключается в следующем. К заголовку слайса в масштабируемом расширении добавляют флаг pps_discardable_info_flag, указывающий, имеется ли в наборе параметров изображения (PPS, picture parameter set), используемом в изображении базового уровня и обозначенном base_id_plus1, информация о карте групп слайсов, при этом каждая из групп слайсов соответствует отбрасываемым или неотбрасываемым слайсам. Группа 0 слайсов может включать неотбрасываемые слайсы, в то время как группа 1 слайсов может включать отбрасываемые слайсы. Переменная BaseDiscardableFlag определяется согласно информации о группе слайсов. Если текущий макроблок охватывает макроблок базового уровня отбрасываемого слайса, BaseDiscardableFlag устанавливают равным 1. В противном случае BaseDiscardableFlag приравнивают 0. Если имеется только одна группа слайсов для каждого кодированного изображения, то информация о карте уровней для макроблоков или слайсов может сигнализироваться, например, набором PPS, аналогично случаю, когда используется более одной группы слайсов. В этом случае переменную BaseDiscardableFlag можно определить аналогично. При этом переменная BaseDiscardableFlag может использоваться для замены переменной base_discardable_flag в вышеуказанных таблицах синтаксиса макроблоков, а сигнализация base_discardable_flag может отсутствовать.
Когда рассматривают изменение синтаксиса для независимого синтаксического анализа в JVT-T079 ("см. "Updated results for independent parsing of spatial and CGS layers," 20th JVT Meeting, Klagenfurf, Austria. July 2006, доступна по адресу http://ftp3. itu. ch/av-arch/ivt-site/2006 07 Klagenfurt/ JVT-T079 zip), измененные таблицы синтаксиса для решения этой задачи имеют следующий вид. Следует отметить, что применен альтернативный процесс использования pps_discardable_info_flag и BaseDiscardableFlag. Синтаксис заголовка слайса в масштабируемом расширении имеет следующий вид:
Figure 00000013
Figure 00000014
Figure 00000015
Уровень макроблока в синтаксисе масштабируемого расширения имеет следующий вид:
Figure 00000016
Figure 00000017
Предсказание макроблока в синтаксисе масштабируемого расширения имеет следующий вид:
Figure 00000018
Figure 00000019
Предсказание субмакроблока в масштабируемом синтаксисе имеет следующий вид:
Figure 00000020
Figure 00000021
Остаток в синтаксисе масштабируемого расширения имеет следующий вид:
Figure 00000022
Figure 00000023
[0042] Для решения второй проблемы, описанной выше, как при кодировании, так и при декодировании значения выборок или остаточные значения отбрасываемых слайсов заполняют незначащей информацией независимо от того, имеются ли эти отбрасываемые слайсы. Пример алгоритма заполнения, который может использоваться в различных вариантах настоящего изобретения, включает проверку каждого макроблока в порядке сканирования растра для определения, находится ли этот макроблок в отбрасываемом слайсе или нет. Если он находится в отбрасываемом слайсе, во время процесса заполнения макроблок в отбрасываемом слайсе рассматривают как находящийся в неотбрасываемом слайсе. Если имеется соседний слева макроблок, причем в неотбрасываемом слайсе, то значение ряда выборок в макроблоке устанавливают равным значению самой правой выборки в соседнем слева макроблоке из того же ряда. Этот процесс можно назвать процессом заполнения по горизонтали. Если соседний слева макроблок отсутствует (то есть текущий макроблок находится на левой границе изображения), и имеется соседний сверху макроблок, причем в неотбрасываемом слайсе, применяют процесс заполнения по вертикали, при котором значение колонки выборок в макроблоке приравнивают к самому нижнему значению самой нижней выборки соседнего верхнего макроблока из той же колонки. Процессы заполнения по горизонтали и вертикали применимы как для выборок, так и для остаточных сигналов. Если не имеется ни левого, ни верхнего соседнего макроблока в виде сигнала выборки, то все значения выборок для макроблока устанавливают равными 128, в то время как для остаточного сигнала все остаточные значения для макроблока устанавливают равными 0. Следует отметить, что в разных вариантах выполнения настоящего изобретения можно использовать и другие алгоритмы заполнения. Например, в противоположность вышеописанному заполнению макроблоками слева и сверху, можно использовать заполнение макроблоками снизу и справа.
[0043] Альтернативно, при решении второй проблемы, описанной выше, к процедуре кодирования могут быть применены ограничения, чтобы выборка или остаточные значения отбрасываемых слайсов в изображениях более низкого уровня не использовалась в процессах повышения частоты дискретизации. Для этого требуется, чтобы макроблок в неотбрасываемых слайсах и соседний макроблок в отбрасываемых слайсах не использовал межуровневого предсказания значений выборок или остаточных значений. Другими словами, для этих макроблоков в неотбрасываемых слайсах оба элемента синтаксиса intra_base_flag и residual_prediction_flag установлены в 0. Это альтернативное решение второй проблемы работает, когда в проект SVC включен синтаксис, предложенный в стандарте JVT-T079 ("Updated results for independent parsing of spatial and CGS layers," 20th JVT Meeting, Klagenfurt, Austria, July 2006, available from http://ftp3.itu.ch/av-arch/j'vt-site/2006_07_Klagenfurt/JVT-T079.zip).
[0044] Настоящее изобретение было описано в контексте шагов способа, которые в одном из вариантов выполнения настоящего изобретения могут быть реализованы в программном продукте, включающем выполняемые на компьютере инструкции, например программные коды, реализованные на считываемом компьютером носителе и выполняемые компьютерами в сетевом окружении. Примеры считываемых компьютером носителей могут включать различные типы носителей данных, включая, но этим не ограничиваясь, блоки электронной памяти, оперативную память (RAM, Random Access Memory), постоянную память (ROM, Read-Only Memory), диски CD, DVD и другие внутренние или внешние запоминающие устройства. В общем случае, программные модули включают процедуры, программы, объекты, компоненты, структуры данных и т.д., которые решают конкретные задачи или реализуют конкретные абстрактные типы данных. Выполняемые на компьютере инструкции, соответствующие структуры данных и программные модули являются примерами программного кода, предназначенного для реализации шагов способов, раскрытых в настоящем описании. Конкретная последовательность таких выполняемых инструкций или соответствующих структур данных представляет примеры соответствующих действий для реализации функций, описанных в таких шагах.
[0045] Программное обеспечение и сетевая реализация настоящего изобретения могут быть осуществлены с помощью стандартных методов программирования с логикой на базе правил и другой логикой, обеспечивающей реализацию шагов по поиску в различных базах данных, шагов сравнения и шагов принятия решения. Следует отметить, что используемые здесь и в формуле изобретения слова «компонент» и «модуль» подразумевают реализацию с использованием одной или нескольких строк программного кода, и/или аппаратных средств, и/или оборудования для приема данных, вводимых вручную.
[0046] Вышеизложение вариантов выполнения настоящего изобретения было дано только для иллюстрации и описания. Оно не задумано исчерпывающим или ограничивающим настоящее изобретение в точности раскрытыми формами, и поэтому возможны изменения и модификации изобретения в рамках раскрытых идей или идей, полученных при практической реализации настоящего изобретения. Варианты выполнения настоящего изобретения были выбраны и описаны для объяснения принципов настоящего изобретения и его практического применения, чтобы позволить специалистам в данной области техники использовать настоящее изобретение в его различных вариантах и с различными модификациями, наиболее подходящими для конкретного использования.

Claims (12)

1. Способ декодирования кодированного видеосигнала, включающий:
расширение границы опорного блока опорного уровня путем заполнения значений выборок за этой границей вне опорного блока, при этом опорный блок принадлежит неотбрасываемому слайсу опорного уровня, а граница проходит между опорным блоком и отбрасываемым слайсом опорного уровня; повышение частоты дискретизации значений выборок опорного блока по меньшей мере частично на основе значений выборок заполнения и декодирование блока уровня расширения с использованием предсказания относительно значений выборок опорного блока опорного уровня, имеющих повышенную частоту дискретизации.
2. Способ кодирования видеосигнала с получением масштабируемого битового потока, содержащего уровень расширения и опорный уровень, включающий: повышение частоты дискретизации выборок опорного блока в изображении опорного уровня, при этом изображение опорного уровня содержит отбрасываемый слайс и неотбрасываемый слайс, и опорный блок находится в неотбрасываемом слайсе изображения опорного уровня, причем процесс повышения частоты дискретизации выполняют независимо от какой-либо информации из отбрасываемого слайса; и кодирование блока уровня расширения с использованием предсказания относительно выборок опорного блока опорного уровня, имеющих повышенную частоту дискретизации.
3. Способ по п.2, дополнительно включающий: расширение границы опорного блока опорного уровня путем заполнения значений выборок за границей опорного блока, которая проходит между опорным блоком и отбрасываемым слайсом; при этом повышение частоты дискретизации по меньшей мере частично основано на значениях выборок заполнения.
4. Способ по п.2, в котором отбрасываемые слайсы кодируют в другие группы слайсов, нежели неотбрасываемые слайсы.
5. Считываемый компьютером носитель для декодирования кодированных видеосигналов, содержащий: машинный код для расширения границы опорного блока опорного уровня путем заполнения значений выборок за границей вне опорного блока, при этом опорный блок принадлежит неотбрасываемому слайсу опорного уровня, а граница опорного блока проходит между опорным блоком и отбрасываемым слайсом опорного уровня; машинный код для повышения частоты дискретизации значений выборок опорного блока по меньшей мере частично на основе значений выборок заполнения и машинный код для декодирования блока уровня расширения с использованием предсказания относительно выборок опорного блока опорного уровня, имеющих повышенную частоту дискретизации.
6. Считываемый компьютером носитель для кодирования видеосигнала с получением масштабируемого битового потока, содержащего уровень расширения и опорный уровень, включающий: машинный код для повышения частоты дискретизации выборок опорного блока в изображении опорного уровня, при этом изображение опорного уровня содержит отбрасываемый слайс и неотбрасываемый слайс, и опорный блок находится в неотбрасываемом слайсе изображения опорного уровня, причем процесс повышения частоты дискретизации выполняется независимо от какой-либо информации из отбрасываемого слайса; и машинный код для кодирования блока уровня расширения с использованием предсказания относительно значений выборок опорного блока опорного уровня, имеющих повышенную частоту дискретизации.
7. Считываемый компьютером носитель по п.6, дополнительно включающий: машинный код для расширения границы опорного блока опорного уровня путем заполнения значений выборок за границей опорного блока вне опорного блока, при этом граница опорного блока проходит между опорным блоком и отбрасываемым слайсом; при этом повышение частоты дискретизации основано по меньшей мере частично на значениях выборок заполнения.
8. Считываемый компьютером носитель по п.6, в котором отбрасываемые слайсы кодируются в другие группы слайсов, нежели неотбрасываемые слайсы.
9. Декодер, содержащий: процессор и блок памяти, функционально связанный с процессором, при этом декодер конфигурирован для: расширения границы опорного блока опорного уровня путем заполнения значений выборок за границей опорного блока вне опорного блока, при этом опорный блок принадлежит неотбрасываемому слайсу опорного уровня, а граница опорного блока проходит между опорным блоком и отбрасываемым слайсом опорного уровня; повышения частоты дискретизации значений выборок опорного блока по меньшей мере частично на основе значений выборок заполнения и декодирования блока уровня расширения с использованием предсказания относительно значений выборок опорного блока опорного уровня, имеющих повышенную частоту дискретизации.
10. Кодер, содержащий: процессор и блок памяти, функционально связанный с процессором, при этом кодер сконфигурирован для: повышения частоты дискретизации выборок опорного блока в изображении опорного уровня, при этом изображение опорного уровня содержит отбрасываемый слайс и неотбрасываемый слайс, и опорный блок находится в неотбрасываемом слайсе изображения опорного уровня, причем процесс повышения частоты дискретизации выполняют независимо от какой-либо информации из отбрасываемого слайса; и кодирования блока уровня расширения с использованием предсказания относительно выборок опорного блока опорного уровня, имеющих повышенную частоту дискретизации.
11. Кодер по п.10, дополнительно сконфигурированный для: расширения границы опорного блока опорного уровня путем заполнения значений выборок за границей опорного блока, которая проходит между опорным блоком и отбрасываемым слайсом; при этом повышение частоты дискретизации по меньшей мере частично основано на значениях выборок заполнения.
12. Кодер по п.10, в котором отбрасываемые слайсы кодируются в другие группы слайсов, нежели неотбрасываемые слайсы.
RU2009117291/09A 2006-10-16 2007-10-16 Адаптация отбрасываемого низкого уровня при масштабируемом кодировании видеосигнала RU2414092C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US85193806P 2006-10-16 2006-10-16
US60/851,938 2006-10-16

Publications (2)

Publication Number Publication Date
RU2009117291A RU2009117291A (ru) 2010-11-27
RU2414092C2 true RU2414092C2 (ru) 2011-03-10

Family

ID=39313653

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2009117291/09A RU2414092C2 (ru) 2006-10-16 2007-10-16 Адаптация отбрасываемого низкого уровня при масштабируемом кодировании видеосигнала

Country Status (9)

Country Link
US (1) US7991236B2 (ru)
EP (1) EP2092749A4 (ru)
KR (1) KR101014432B1 (ru)
CN (1) CN101558651A (ru)
AU (1) AU2007311477A1 (ru)
BR (1) BRPI0718207A2 (ru)
RU (1) RU2414092C2 (ru)
TW (1) TW200826689A (ru)
WO (1) WO2008047304A1 (ru)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2571410C2 (ru) * 2011-09-23 2015-12-20 Квэлкомм Инкорпорейтед Построение списка опорных изображений для видеокодирования
RU2573743C1 (ru) * 2012-01-19 2016-01-27 Квэлкомм Инкорпорейтед Сигнализация параметров фильтра удаления блочности при кодировании видео
RU2575397C2 (ru) * 2011-11-04 2016-02-20 Квэлкомм Инкорпорейтед Заполнение незначащей информацией сегментов в блоках уровня абстракции сети кодированного слайса
US9407932B2 (en) 2012-09-28 2016-08-02 Telefonaktiebolaget Lm Ericsson (Publ) Decoding and encoding of pictures of a video sequence using bumping of pictures from a decoded picture buffer
RU2609073C2 (ru) * 2012-01-18 2017-01-30 Квэлкомм Инкорпорейтед Указание использования параллельной волновой обработки в кодировании видео
RU2625534C2 (ru) * 2012-07-02 2017-07-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
RU2667048C2 (ru) * 2013-10-23 2018-09-13 Квэлкомм Инкорпорейтед Структуры формата файла многоуровневого видео
RU2674312C2 (ru) * 2013-07-22 2018-12-06 Сони Корпорейшн Устройство и способ обработки информации

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
EP1972154A4 (en) 2006-01-09 2014-11-19 Lg Electronics Inc INTERLAYER PREDICTION METHOD FOR VIDEO SIGNAL
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
CN101573883B (zh) 2006-10-16 2017-03-01 维德约股份有限公司 用于在可分级视频编码中信令并执行时间级切换的系统和方法
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
JP4901772B2 (ja) * 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
US7990421B2 (en) * 2008-07-18 2011-08-02 Sony Ericsson Mobile Communications Ab Arrangement and method relating to an image recording device
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
BR112012005106B1 (pt) 2009-09-14 2022-02-15 Interdigital Ce Patent Holdings Método e dispositivo para distribuir um fluxo multiplexado de multimídia através de uma rede, e método e dispositivo para receber um fluxo multiplexado de multimídia através de uma rede
CN102316317B (zh) 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
HUE053802T2 (hu) * 2010-07-14 2021-07-28 Ntt Docomo Inc Kis komplexitású intra predikció videó kódoláshoz
US9060174B2 (en) 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
US20120230398A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including slices
EP3007445A1 (en) * 2011-04-15 2016-04-13 SK Planet Co., Ltd. High speed scalable video coding device and method using multi-track video
US9154804B2 (en) * 2011-06-04 2015-10-06 Apple Inc. Hint based adaptive encoding
EP2732627A1 (en) * 2011-07-13 2014-05-21 Telefonaktiebolaget L M Ericsson (PUBL) Encoder, decoder and methods thereof for reference picture management
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US9866839B2 (en) * 2012-01-20 2018-01-09 Electronics And Telecommunications Research Institute Method for encoding and decoding quantized matrix and apparatus using same
CN104396240B (zh) * 2012-01-31 2018-02-02 Vid拓展公司 用于可缩放的高效视频编码(hevc)的参考图片集(rps)信令
KR102061201B1 (ko) * 2012-04-12 2019-12-31 주식회사 골드피크이노베이션즈 블록 정보에 따른 변환 방법 및 이러한 방법을 사용하는 장치
CN102833542B (zh) * 2012-08-09 2015-12-02 芯原微电子(北京)有限公司 一种提高可伸缩视频编码质量增强层编码速度装置和方法
EP2894854A4 (en) * 2012-09-09 2016-01-27 Lg Electronics Inc IMAGE DECODING METHOD AND APPARATUS USING THE SAME
US9247256B2 (en) 2012-12-19 2016-01-26 Intel Corporation Prediction method using skip check module
US9992493B2 (en) * 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
WO2015005024A1 (ja) * 2013-07-09 2015-01-15 ソニー株式会社 画像処理装置及び画像処理方法
RU2662922C2 (ru) * 2013-07-12 2018-07-31 Сони Корпорейшн Способ и устройство кодирования изображений
US9591324B2 (en) * 2013-10-14 2017-03-07 Qualcomm Incorporated Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction
EP3090549A1 (en) * 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
US9654794B2 (en) 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
US20150195564A1 (en) * 2014-01-03 2015-07-09 Qualcomm Incorporated Method for coding a reference picture set (rps) in multi-layer coding
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
WO2016026283A1 (zh) * 2014-08-22 2016-02-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
CN105430417B (zh) * 2014-09-22 2020-02-07 中兴通讯股份有限公司 编码方法、解码方法、装置及电子设备
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
WO2019199151A1 (ko) * 2018-04-13 2019-10-17 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
CN118138783A (zh) * 2019-10-07 2024-06-04 华为技术有限公司 编码器、解码器及对应方法
WO2021115362A1 (en) 2019-12-11 2021-06-17 Beijing Bytedance Network Technology Co., Ltd. Sample padding for cross-component adaptive loop filtering
EP4173290A4 (en) 2020-06-30 2024-01-10 Beijing Bytedance Network Technology Co., Ltd. BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095783B1 (en) * 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6792047B1 (en) * 2000-01-04 2004-09-14 Emc Corporation Real time processing and streaming of spliced encoded MPEG video and associated audio
US7649943B2 (en) * 2000-04-21 2010-01-19 Microsoft Corporation Interface and related methods facilitating motion compensation in media processing
US6891893B2 (en) * 2000-04-21 2005-05-10 Microsoft Corp. Extensible multimedia application program interface and related methods
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6720893B2 (en) * 2002-02-22 2004-04-13 International Business Machines Corporation Programmable output control of compressed data from encoder
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US7570270B2 (en) * 2004-05-21 2009-08-04 Broadcom Corporation Buffer for driving display with asynchronous display engine
KR100679011B1 (ko) 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100703734B1 (ko) * 2004-12-03 2007-04-05 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
WO2006059847A1 (en) 2004-12-03 2006-06-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding multi-layer video using dct upsampling
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US8401082B2 (en) * 2006-03-27 2013-03-19 Qualcomm Incorporated Methods and systems for refinement coefficient coding in video compression
US20070230567A1 (en) * 2006-03-28 2007-10-04 Nokia Corporation Slice groups and data partitioning in scalable video coding
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
US8457214B2 (en) * 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
РИЧАРДСОН ЯН. Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения. - М.: Техносфера, 2005, сс.188-206. EDOUARD FRANCOIS et al. Extended Spatial Scalability: A Generalization of Spatial Scalability for Non Dyadic Configurations, IEEE International Conference on Image Processing, Atlanta, 8-11 Oct. 2006, c.c.169-172. YILIANG BAO et al. LOW COMPLEXITY LOW DELAY FGS CODING WITH ADAPTVIE REFERENCE, IEEE International Conference on Image Processing, Atlanta, 9 Oct. 2006, c.c.185-188. *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US10542285B2 (en) 2011-09-23 2020-01-21 Velos Media, Llc Decoded picture buffer management
US10856007B2 (en) 2011-09-23 2020-12-01 Velos Media, Llc Decoded picture buffer management
RU2571410C2 (ru) * 2011-09-23 2015-12-20 Квэлкомм Инкорпорейтед Построение списка опорных изображений для видеокодирования
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9998757B2 (en) 2011-09-23 2018-06-12 Velos Media, Llc Reference picture signaling and decoded picture buffer management
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US11490119B2 (en) 2011-09-23 2022-11-01 Qualcomm Incorporated Decoded picture buffer management
RU2575397C2 (ru) * 2011-11-04 2016-02-20 Квэлкомм Инкорпорейтед Заполнение незначащей информацией сегментов в блоках уровня абстракции сети кодированного слайса
RU2612616C1 (ru) * 2012-01-18 2017-03-09 Квэлкомм Инкорпорейтед Подпотоки для волновой параллельной обработки в видеокодировании
US9749661B2 (en) 2012-01-18 2017-08-29 Qualcomm Incorporated Sub-streams for wavefront parallel processing in video coding
RU2609073C2 (ru) * 2012-01-18 2017-01-30 Квэлкомм Инкорпорейтед Указание использования параллельной волновой обработки в кодировании видео
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
RU2573743C1 (ru) * 2012-01-19 2016-01-27 Квэлкомм Инкорпорейтед Сигнализация параметров фильтра удаления блочности при кодировании видео
US9723331B2 (en) 2012-01-19 2017-08-01 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
RU2625534C2 (ru) * 2012-07-02 2017-07-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
US9848203B2 (en) 2012-09-28 2017-12-19 Telefonaktiebolagetg L M Ericsson (Publ) Decoding and encoding of pictures of a video sequence
US9407932B2 (en) 2012-09-28 2016-08-02 Telefonaktiebolaget Lm Ericsson (Publ) Decoding and encoding of pictures of a video sequence using bumping of pictures from a decoded picture buffer
RU2623896C2 (ru) * 2012-09-28 2017-06-29 Телефонактиеболагет Л М Эрикссон (Пабл) Декодирование и кодирование изображений видеопоследовательности
US9706225B2 (en) 2012-09-28 2017-07-11 Telefonaktiebolaget L M Ericsson (Publ) Decoding and encoding of pictures of a video sequence
RU2607979C2 (ru) * 2012-09-28 2017-01-11 Телефонактиеболагет Лм Эрикссон (Пабл) Декодирование и кодирование изображений видеопоследовательности
RU2674312C2 (ru) * 2013-07-22 2018-12-06 Сони Корпорейшн Устройство и способ обработки информации
RU2667048C2 (ru) * 2013-10-23 2018-09-13 Квэлкомм Инкорпорейтед Структуры формата файла многоуровневого видео

Also Published As

Publication number Publication date
US20080089597A1 (en) 2008-04-17
KR101014432B1 (ko) 2011-02-15
RU2009117291A (ru) 2010-11-27
EP2092749A1 (en) 2009-08-26
WO2008047304A1 (en) 2008-04-24
CN101558651A (zh) 2009-10-14
EP2092749A4 (en) 2013-10-16
US7991236B2 (en) 2011-08-02
BRPI0718207A2 (pt) 2013-11-12
KR20090079950A (ko) 2009-07-22
TW200826689A (en) 2008-06-16
AU2007311477A1 (en) 2008-04-24

Similar Documents

Publication Publication Date Title
RU2414092C2 (ru) Адаптация отбрасываемого низкого уровня при масштабируемом кодировании видеосигнала
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
KR101031022B1 (ko) 버추얼 디코딩된 참조 픽처 마킹 및 참조 픽처 리스트
US10110924B2 (en) Carriage of SEI messages in RTP payload format
RU2697741C2 (ru) Система и способ предоставления указаний о выводе кадров при видеокодировании
US20070230567A1 (en) Slice groups and data partitioning in scalable video coding
US20080089411A1 (en) Multiple-hypothesis cross-layer prediction
US8170116B2 (en) Reference picture marking in scalable video encoding and decoding
US20080267287A1 (en) System and method for implementing fast tune-in with intra-coded redundant pictures
US20080253467A1 (en) System and method for using redundant pictures for inter-layer prediction in scalable video coding
US20080095234A1 (en) System and method for implementing low-complexity multi-view video coding
CN101755458A (zh) 可缩放视频编码
US20080013623A1 (en) Scalable video coding and decoding
WO2023131435A1 (en) Gradual decoding refresh

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20160602