RU2733273C1 - Мозаичное расположение при кодировании и декодировании видео - Google Patents

Мозаичное расположение при кодировании и декодировании видео Download PDF

Info

Publication number
RU2733273C1
RU2733273C1 RU2020115046A RU2020115046A RU2733273C1 RU 2733273 C1 RU2733273 C1 RU 2733273C1 RU 2020115046 A RU2020115046 A RU 2020115046A RU 2020115046 A RU2020115046 A RU 2020115046A RU 2733273 C1 RU2733273 C1 RU 2733273C1
Authority
RU
Russia
Prior art keywords
view
function block
image
block
syntax element
Prior art date
Application number
RU2020115046A
Other languages
English (en)
Inventor
Пурвин Бибхас ПАНДИТ
Пэн ИНЬ
Дун ТЯНЬ
Original Assignee
Долби Интернэшнл Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39810226&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=RU2733273(C1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Долби Интернэшнл Аб filed Critical Долби Интернэшнл Аб
Application granted granted Critical
Publication of RU2733273C1 publication Critical patent/RU2733273C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Control Of El Displays (AREA)

Abstract

Изобретение относится к средствам для кодирования и декодирования видеосигнала. Технический результат заключается в повышении эффективности кодирования видеосигнала. Осуществляют доступ к видеоизображению в битовом потоке, которое включает в себя множество изображений, объединенных в одно изображение, при этом упомянутое множество изображений включает в себя первое изображение из первого вида и второе изображение из второго вида. Осуществляют доступ к информации в битовом потоке, указывающей на то, как объединяется множество изображений в видеоизображении, к которому осуществлен доступ, причем упомянутая информация указывает, действительно ли по меньшей мере одно из изображений по отдельности зеркально отражается. Декодируют видеоизображение в декодированные версии упомянутого первого изображения и упомянутого второго изображения на основе извлеченной из битового потока информации о зеркальном отражении, к которой осуществлен доступ. 6 з.п. ф-лы, 5 табл., 31 ил.

Description

Перекрестная ссылка на родственные заявки
По настоящей заявке испрашивается приоритет в соответствии с (1) предварительной заявкой на патент США № 60/923014, поданной 12 апреля 2007 года, и имеющей название «Multiview Information» (реестровый номер поверенного PU070078), и (2) предварительной заявкой на патент США № 60/925400, поданной 20 апреля 2007 года, и имеющей название «View Tilling in MVC Coding» (реестровый номер поверенного PU070103). Каждая из двух вышеперечисленных заявок полностью включена в настоящий документ посредством ссылки.
Область техники, к которой относится изобретение
Настоящие принципы, в целом, относятся к кодированию и/или декодированию видеосигнала.
Предшествующий уровень техники
Изготовители устройств отображения могут использовать структуру относительного или мозаичного расположения различных видов в одном кадре. В таком случае виды могут быть извлечены из их соответствующих местоположений и визуально воспроизведены.
Сущность изобретения
В соответствии с общим аспектом, осуществляется доступ к видеоизображению, которое включает в себя множество изображений, объединенных в одно изображение. Осуществляется доступ к информации, которая указывает то, как объединить множество изображений в видеоизображении, к которому осуществляется доступ. Видеоизображение декодируется для обеспечения декодированного представления объединенного множества изображений. Информация, к которой осуществляется доступ, и декодированное видеоизображение обеспечиваются в качестве вывода.
В соответствии с другим общим аспектом, генерируется информация, которая указывает то, как объединить множество изображений, включенных в состав видеоизображения, в одно изображение. Видеоизображение кодируется для обеспечения кодированного представления объединенного множества изображений. Сгенерированная информация и кодированное видеоизображение обеспечиваются в качестве вывода.
В соответствии с другим общим аспектом, сигнал или структура сигнала включает в себя информацию, которая указывает то, как объединить множество изображений, включенных в состав одного видеоизображения, в одно видеоизображение. Сигнал или структура сигнала также включает в себя кодированное представление объединенного множества изображений.
В соответствии с другим общим аспектом, осуществляется доступ к видеоизображению, которое включает в себя множество изображений, объединенных в одно изображение. Осуществляется доступ к информации, которая указывает то, как объединить множество изображений в видеоизображении, к которому осуществляется доступ. Видеоизображение декодируется для обеспечения декодированного представления, по меньшей мере, одного из множества изображений. Информация, к которой осуществляется доступ, и декодированное представление обеспечиваются в качестве вывода.
В соответствии с другим общим аспектом, осуществляется доступ к видеоизображению, которое включает в себя множество изображений, объединенных в одно изображение. Осуществляется доступ к информации, которая указывает то, как объединить множество изображений в видеоизображении, к которому осуществляется доступ. Видеоизображение декодируется для обеспечения декодированного представления объединенного множества изображений. Принимается пользовательский ввод, который выбирает, по меньшей мере, одно из множества изображений для отображения. Обеспечивается декодированный вывод, по меньшей мере, одного выбранного изображения, причем декодированный вывод обеспечивается на основе информации, к которой осуществляется доступ, на основе декодированного представления, а также на основе пользовательского ввода.
Ниже, на сопроводительных чертежах, а также в описании сформулированы детали одного или нескольких вариантов осуществления. Даже при описании со ссылкой на один конкретный способ, должно быть понятно, что варианты осуществления могут быть сконфигурированы или воплощены различными способами. Например, вариант осуществления может быть выполнен в качестве способа, или воплощен в качестве устройства, сконфигурированного для выполнения набора операций, или воплощен в качестве устройства, сохраняющего команды для выполнения набора операций, или воплощен в сигнале. Другие аспекты и отличительные признаки станут понятными из следующего подробного описания, которое рассматривается в связи с сопроводительными чертежами и формулой изобретения.
Краткий перечень чертежей
Фиг.1 изображает графическое представление, иллюстрирующее пример четырех видов, расположенных мозаикой в одном кадре;
Фиг.2 изображает графическое представление, иллюстрирующее пример четырех зеркально отраженных видов, расположенных мозаикой в одном кадре;
Фиг.3 изображает блок-схему для видеокодера, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов;
Фиг.4 изображает блок-схему для видеодекодера, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов;
Фиг.5 изображает схему последовательности операций для способа кодирования изображений с множеством видов с использованием стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.6 изображает схему последовательности операций для способа декодирования изображений с множеством видов с использованием стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.7 изображает схему последовательности операций для способа кодирования изображений с множеством видов и сигналами глубины с использованием стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.8 изображает схему последовательности операций для способа декодирования изображений с множеством видов и сигналами глубины с использованием стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.9 изображает графическое представление, иллюстрирующее пример сигнала глубины, в соответствии с вариантом осуществления настоящих принципов;
Фиг.10 изображает графическое представление, иллюстрирующее пример усиления сигнала глубины в виде мозаики, в соответствии с вариантом осуществления настоящих принципов;
Фиг.11 изображает графическое представление, иллюстрирующее пример пяти видов, расположенных мозаикой в одном кадре, в соответствии с вариантом осуществления настоящих принципов;
Фиг.12 изображает блок-схему для иллюстративного кодера, работающего по принципу кодирования видеосигнала с множеством видов (MVC), к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов;
Фиг.13 изображает блок-схему для иллюстративного декодера, работающего по принципу кодирования видеосигнала с множеством видов (MVC), к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов;
Фиг.14 изображает схему последовательности операций для способа обработки изображений с множеством видов при подготовке к кодированию изображений с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.15 изображает схему последовательности операций для способа кодирования изображений с множеством видов с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.16 изображает схему последовательности операций для способа обработки изображений с множеством видов при подготовке к декодированию изображений с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.17 изображает схему последовательности операций для способа декодирования изображений с множеством видов с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.18 изображает схему последовательности операций для способа обработки изображений с множеством видов и сигналами глубины при подготовке к кодированию изображений с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.19 изображает схему последовательности операций для способа кодирования изображений с множеством видов и сигналами глубины с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.20 изображает схему последовательности операций для способа обработки изображений с множеством видов и сигналами глубины при подготовке к декодированию изображений с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.21 изображает схему последовательности операций для способа декодирования изображений с множеством видов и сигналами глубины с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4, в соответствии с вариантом осуществления настоящих принципов;
Фиг.22 изображает графическое представление, иллюстрирующее примеры мозаичного расположения на уровне элементов изображения, в соответствии с вариантом осуществления настоящих принципов; и
Фиг.23 изображает блок-схему для устройства обработки видеосигнала, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов.
Подробное описание
Различные варианты осуществления ориентированы на способы и устройство для мозаичного расположения видов при кодировании и декодировании видеосигнала. Следовательно, должно быть понятно, что специалисты в данной области техники смогут конструировать различные схемы относительного расположения, которые, несмотря на то, что они не были явно описаны или изображены в настоящем документе, реализуют настоящие принципы, а также включены в его сущность и объем.
Все описанные в настоящем документе примеры, а также условный язык предназначены для педагогических целей, заключаемых в помощи читателю в понимании настоящих принципов и понятий, вносимых изобретателем(-ями) для развития области техники, а также интерпретируются для неограниченного рассмотрения применительно к таким конкретно описанным примерам и условиям.
Кроме того, все формулировки настоящего документа, описывающие принципы, аспекты и варианты осуществления настоящих принципов, а также их конкретные примеры подразумевают охват как структурных, так и функциональных эквивалентов. Кроме того, предполагается, что такие эквиваленты включают в себя как эквиваленты, известные в настоящее время, так и эквиваленты, которые будут разработаны в будущем, то есть любые элементы, разработанные для выполнения аналогичной функции, независимо от структуры.
Следовательно, к примеру, специалистам в данной области техники должно быть понятно, что представленная в настоящем документе блок-схема обеспечивает концептуальные представления иллюстративной схемы, воплощающей настоящие принципы. Также должно быть понятно, что любые логические схемы, схемы последовательности операций, диаграммы состояний, псевдокод и т.п., представляют различные процессы, которые по существу могут быть представлены на компьютерно-читаемом носителе, а также выполнены посредством компьютера или процессора, несмотря на то, был ли изображен такой компьютер или процессор явным образом.
Функции различных изображенных на фигурах элементов могут быть обеспечены посредством использования специализированных аппаратных средств, а также аппаратных средств, выполненных с возможностью выполнения программного обеспечения в связи с соответствующим программным обеспечением. При обеспечении посредством процессора, функции могут быть обеспечены посредством одного специализированного процессора, посредством одного совместно используемого процессора или посредством нескольких отдельных процессоров, некоторые из которых могут быть использованы совместно. Кроме того, явное использование термина «процессор» или «контроллер» не должно рассматриваться для ссылки исключительно на аппаратные средства, выполненные с возможностью выполнения программного обеспечения, а также может потенциально включать в себя, в числе прочего, аппаратные средства цифрового сигнального процессора (DSP), постоянное запоминающее устройство (ROM) для сохранения программного обеспечения, оперативное запоминающее устройство (RAM) и энергонезависимое запоминающее устройство.
Также могут быть включены и другие обычные или специализированные аппаратные средства. Также любые изображенные на фигурах переключатели являются исключительно концептуальными. Их функция может быть выполнена посредством операции логики программы, посредством специализированной логики, посредством взаимодействия управляющей программы и специализированной логики, или же вручную, причем конкретная технология может быть выбрана посредством конструктора, как будет понятно в большей степени из контекста.
В настоящей формуле изобретения подразумевается, что любой элемент, представленный в качестве средства для выполнения заданной функции охватывает любой способ выполнения этой функции, в том числе, например, a) комбинация элементов схемы, которые выполняют эту функцию, или b) программное обеспечение в любой форме, в том числе микропрограммное обеспечение, микрокод или подобное, объединенное с соответствующей схемой для выполнения этого программного обеспечения, для выполнения функции. Настоящие принципы, заданные посредством настоящей формулы изобретения, заключаются в том, что функциональные возможности, обеспечиваемые посредством различных описанных средств, объединяются и сводятся воедино способом, заявленным в формуле изобретения. Следовательно, считается, что любое средство, которое может обеспечить эти функциональные возможности, является эквивалентным средству, изображенному в настоящем документе.
Ссылка в описании на «один вариант осуществления» (или «один вариант реализации») или «вариант осуществления» (или «вариант реализации») настоящих принципов означает, что конкретный отличительный признак, структура, параметр и т.д., описанный в связи с вариантом осуществления, включен, по меньшей мере, в один вариант осуществления настоящих принципов. Следовательно, фраза «в одном варианте осуществления» или «в варианте осуществления», встречающаяся в различных местах по всему описанию, не ссылается в обязательном порядке на один вариант осуществления.
Должно быть понятно, что использование терминов «и/или» и «по меньшей мере, один из», например, в случаях «A и/или B» и «по меньшей мере, один из A и B», подразумевает выбор исключительно первого перечисленного варианта (A) или выбор исключительно второго перечисленного варианта (B), или выбор обоих вариантов (A и B). В качестве дополнительного примера, в случаях «A, B и/или C» и «по меньшей мере, один из A, B и C», такое выражение подразумевает выбор исключительно первого перечисленного варианта (A), или выбор исключительно второго перечисленного варианта (B), или выбор исключительно третьего перечисленного варианта (C), или выбор исключительно первого и второго вариантов (A и B) из перечисленных вариантов, или выбор исключительно первого и третьего вариантов (A и C) из перечисленных вариантов, или выбор исключительно второго и третьего вариантов (B и C) из перечисленных вариантов, или выбор всех трех вариантов (A и В, и C). Как должно быть понятно специалистам в данном и предшествующем уровнях техники, вариантов может быть и больше.
Кроме того, должно быть понятно, что несмотря на то, что один или несколько вариантов осуществления настоящих принципов описаны в настоящем документе применительно к стандарту кодирования AVC MPEG-4, настоящие принципы не ограничиваются исключительно этим стандартом и, следовательно, могут быть использованы применительно к другим стандартам, рекомендациям и их расширениям, в частности, к стандартам кодирования видеосигнала, рекомендациям и их расширениям, в том числе к расширениям стандарта кодирования AVC MPEG-4, наряду с поддержкой сущности настоящих принципов.
Кроме того, должно быть понятно, что, несмотря на то, что один или несколько других вариантов осуществления настоящих принципов описаны в настоящем документе применительно к расширению кодирования видеосигнала с множеством видов стандарта кодирования AVC MPEG-4, настоящие принципы не ограничиваются исключительно этим расширением и/или этим стандартом и, следовательно, могут быть использованы применительно к другим стандартам кодирования видеосигнала, рекомендациям и их расширениям, относящихся к кодированию видеосигнала с множеством видов, наряду с поддержкой сущности настоящих принципов. Кодирование видеосигнала с множеством видов (MVC) является структурой сжатия для кодирования последовательностей с множеством видов. Последовательность кодирования видеосигнала с множеством видов (MVC) является набором из двух или более видеопоследовательностей, которые захватывают одну сцену с различных точек наблюдения.
Кроме того, должно быть понятно, что несмотря на то, что в настоящем документе описан один или несколько других вариантов осуществления настоящих принципов, которые используют информацию о глубины применительно к информационному содержанию видеосигнала, настоящие принципы не ограничиваются этими вариантами осуществления и, следовательно, могут быть реализованы другие варианты осуществления, которые не используют информацию о глубины, наряду с поддержкой сущности настоящих принципов.
Кроме того, используемый в настоящем документе термин «синтаксис высокого уровня» относится к синтаксису, присутствующему в битовом потоке, который иерархически находится выше уровня макроблока. Например, используемый в настоящем документе синтаксис высокого уровня может относиться, в числе прочего, к синтаксису на уровне заголовка части, уровне дополнительной информации расширения (SEI), уровне набора параметров изображения (PPS), уровне набора параметров последовательности (SPS), уровне набора параметров вида (VPS) и уровне заголовка блока уровня сетевой абстракции (NAL).
В текущем варианте осуществления кодирования видеосигнала с множеством видов (MVC), основанного на стандарте усовершенствованного кодирования видеосигнала (AVC) экспертной группы по вопросам движущегося изображения 4 (MPEG-4) части 10 международной организации по стандартизации/международной электротехнической комиссии (ISO/IEC)/рекомендации H.264 сектора по стандартизации телекоммуникаций в составе международного телекоммуникационного союза (ITU-T) (далее «стандарт кодирования AVC MPEG-4»), связанное программное обеспечение достигает предсказания множества видов посредством кодирования каждого вида одним кодером, а также учитывает ссылки на перекрестные виды. Каждый вид кодируется в качестве отдельного битового потока посредством кодера в своем оригинальном разрешении, а затем все битовые потоки объединяются для формирования одного битового потока, который впоследствии декодируется. Каждый вид производит отдельный декодированный вывод YUV.
Другой подход для предсказания множества видов подразумевает группировку набора представлений в псевдовиды. В одном примере этого подхода мы можем расположить мозаикой изображения из каждых N видов из всех М видов (выбранных одновременно) в большем кадре или в суперкадре с возможной субдискретизацией или другими операциями. На Фиг.1 пример четырех видов, расположенных мозаикой в одном кадре, обозначен, в целом, посредством ссылочного номера 100. Все четыре вида имеют свою нормальную ориентацию.
На Фиг.2 пример четырех зеркально отраженных видов, расположенных мозаикой в одном кадре, обозначен, в целом, посредством ссылочного номера 200. Верхний левый вид имеет свою нормальную ориентацию. Верхний правый вид зеркально отражен по горизонтали. Нижний левый вид зеркально отражен по вертикали. Нижний правый вид зеркально отражен как по горизонтали, так и по вертикали. Следовательно, в случае присутствия четырех видов, изображение из каждого вида располагается в суперкадре подобно мозаике. Это приводит к одной некодированной последовательности ввода с большим разрешением.
Альтернативно, мы можем выполнить субдискретизацию для получения меньшего разрешения. Следовательно, мы создаем множество последовательностей, каждая из которых включает в себя различные виды, которые совместно располагаются мозаикой. Затем каждая такая последовательность формирует псевдовид, причем каждый псевдовид включает в себя N различных видов, расположенных мозаикой. Фиг.1 изображает один псевдовид, а Фиг.2 изображает другой псевдовид. Затем эти псевдовиды могут быть закодированы с использованием существующих стандартов кодирования видеосигнала, таких как стандарт ISO/IEC MPEG-2 и AVC MPEG-4.
Еще один подход для предсказания множества видов попросту подразумевает кодирование различных видов с независимым использованием нового стандарта и, после декодирования, мозаичное расположение видов, как требуется воспроизводящим устройством.
Кроме того, при другом подходе виды также могут быть расположены мозаикой по образу элементов изображения. Например, в супервиде, то есть составленном из четырех видов, элемент (x, y) изображения может принадлежать виду 0, наряду с тем, как элемент (x+1, y) изображения может принадлежать виду 1, элемент (x, y+1) изображения может принадлежать виду 2, а элемент (x+1, y+1) изображения может принадлежать виду 3.
Многие изготовители устройств отображения используют такую структуру относительного или мозаичного расположения различных видов в одном кадре, а затем извлекают виды из их соответствующих местоположений, и визуально воспроизводят их. В таких случаях отсутствует стандартный способ определения того, имеет ли битовый поток такое свойство. Следовательно, если система использует способ мозаичного расположения изображений различных видов в большом кадре, то способ извлечения различных видов является подходящим.
Однако не существует стандартного способа определения того, имеет ли битовый поток такое свойство. Мы предлагаем синтаксис высокого уровня для упрощения средства визуализации или устройства воспроизведения, извлекающего такую информацию для помощи в отображении или другой постобработке. Также возможно, чтобы субизображения имели различные разрешения и, кроме того, для того, чтобы в конечном счете визуально воспроизвести вид может быть необходима некоторая передискретизация. Пользователь может пожелать иметь способ передискретизации, также обозначенной в синтаксисе высокого уровня. Кроме того, также могут быть переданы параметры для изменения фокуса глубины.
В варианте осуществления мы предлагаем новое сообщение с дополнительной информацией расширения (SEI) для передачи информации о множестве видов в битовом потоке, совместимом со стандартом кодирования AVC MPEG-4, где каждое изображение включает в себя субизображения, которые принадлежат отличному виду. Вариант осуществления предназначен, например, для легкого и удобного отображения потоков видеосигналов с множеством видов на трехмерных (3D) мониторах, которые могут использовать такую структуру. Понятие может быть расширено на другие стандарты кодирования видеосигнала, а также на рекомендации передачи такой информации с использованием синтаксиса высокого уровня.
Кроме того, в варианте осуществления мы предлагаем способ передачи структуры расположения видов перед их посылкой на видеокодер и/или видеодекодер множества видов. Преимущественно вариант осуществления может привести к упрощенному варианту осуществления кодирования множества видов, а также может быть полезен в отношении эффективности кодирования. Определенные виды могут быть сведены, а также сформировать псевдовид или супервид, после чего расположенный мозаикой супервид обрабатывается (рассматривается) в качестве обычного вида посредством стандартного видеокодера и/или видеодекодера, работающего по принципу кодирования видеосигнала с множеством видов, например, в соответствии с текущим вариантом осуществления, основанном на стандарте кодирования видеосигнала с множеством видов AVC MPEG-4. Для сигнализации об использовании технологии псевдовидов предлагается новый флаг в расширении набора параметров последовательности (SPS) кодирования видеосигнала с множеством видов. Вариант осуществления предназначен для легкого и удобного отображения потоков видеосигналов с множеством видов на трехмерных (3D) мониторах, которые могут использовать такую структуру.
Кодирование/декодирование с использованием стандарта/рекомендации кодирования/декодирования видеосигнала с одним видом
В текущем варианте осуществления кодирования видеосигнала с множеством видов (MVC), основанного на стандарте усовершенствованного кодирования видеосигнала (AVC) экспертной группы по вопросам движущегося изображения 4 (MPEG-4) части 10 международной организации по стандартизации/международной электротехнической комиссии (ISO/IEC) / рекомендации H.264 сектора по стандартизации телекоммуникаций в составе международного телекоммуникационного союза (ITU-T) (далее «стандарт кодирования AVC MPEG-4»), связанное программное обеспечение достигает предсказания множества видов посредством кодирования каждого вида одним кодером, а также учитывает ссылки на перекрестные виды. Каждый вид кодируется в качестве отдельного битового потока посредством кодера в своем оригинальном разрешении, а затем все битовые потоки объединяются для формирования одного битового потока, который впоследствии декодируется. Каждый вид производит отдельный декодированный вывод YUV.
Другой подход для предсказания множества видов подразумевает мозаичное расположение изображений из каждого вида (выбранного одновременно) в большем кадре или в суперкадре с возможной операцией субдискретизации. На Фиг.1 пример четырех видов, расположенных мозаикой в одном кадре, обозначен, в целом, посредством ссылочного номера 100. На Фиг.2 пример четырех зеркально отраженных видов, расположенных мозаикой в одном кадре, обозначен, в целом, посредством ссылочного номера 200. Следовательно, в случае присутствия четырех видов, изображение из каждого вида располагается в суперкадре подобно мозаике. Это приводит к одной некодированной последовательности ввода с большим разрешением. Затем сигнал может быть закодирован с использованием существующих стандартов кодирования видеосигнала, таких как стандарт ISO/IEC MPEG-2 и AVC MPEG-4.
Еще один подход для предсказания множества видов попросту подразумевает кодирование различных видов с независимым использованием нового стандарта и, после декодирования, мозаичное расположение видов, как требуется воспроизводящим устройством.
Многие изготовители устройств отображения используют такую структуру относительного или мозаичного расположения различных видов в одном кадре, а затем извлекают виды из их соответствующих местоположений, и визуально воспроизводят их. В таких случаях отсутствует стандартный способ определения того, имеет ли битовый поток такое свойство. Следовательно, если система использует способ мозаичного расположения изображений различных видов в большом кадре, то способ извлечения различных видов является подходящим.
На Фиг.3 видеокодер, выполненный с возможностью выполнения кодирования видеосигнала, в соответствии со стандартом кодирования AVC MPEG-4, обозначен, в целом, посредством ссылочного номера 300.
Видеокодер 300 включает в себя буфер 310 классификации кадров, имеющий выход, соединенный с возможностью передачи сигналов с неинвертированным входом модуля 385 объединения. Выход модуля 385 объединения соединен с возможностью передачи сигналов с первым входом модуля 325 преобразования и квантования. Выход модуля 325 преобразования и квантования соединен с возможностью передачи сигналов с первым входом модуля 345 статистического кодирования и первым входом модуля 350 обратного преобразования и обратного квантования. Выход модуля 345 статистического кодирования соединен с возможностью передачи сигналов с первым неинвертированным входом модуля 390 объединения. Выход модуля 390 объединения соединен с возможностью передачи сигналов с первым входом буфера 335 вывода.
Первый выход модуля 305 управления кодером соединен с возможностью передачи сигналов со вторым входом буфера 310 классификации кадров, вторым входом модуля 350 обратного преобразования и обратного квантования, входом модуля 315 определения типа изображения, входом модуля 320 определения типа макроблока (MB-type), вторым входом модуля 360 внутреннего предсказания, вторым входом фильтра 365 для удаления блочности, первым входом модуля 370 компенсации движения, первым входом модуля 375 оценки движения и вторым входом буфера 380 опорных (эталонных) изображений.
Второй выход модуля 305 управления кодером соединен с возможностью передачи сигналов с первым входом модуля 330 вставки дополнительной информации расширения (SEI), вторым входом модуля 325 преобразования и квантования, вторым входом модуля 345 статистического кодирования, вторым входом буфера 335 вывода и входом модуля 340 вставки набора параметров последовательности (SPS) и набора параметров изображения (PPS).
Первый выход модуля 315 определения типа изображения соединен с возможностью передачи сигналов с третьим входом буфера 310 классификации кадров. Второй выход модуля 315 определения типа изображения соединен с возможностью передачи сигналов со вторым входом модуля 320 определения типа макроблока 320.
Выход модуля 340 вставки набора параметров последовательности (SPS) и набора параметров изображения (PPS) соединен с возможностью передачи сигналов с третьим неинвертированным входом модуля 390 объединения. Выход модуля 330 вставки информации SEI соединен с возможностью передачи сигналов со вторым неинвертированным входом модуля 390 объединения.
Выход модуля 350 обратного квантования и обратного преобразования соединен с возможностью передачи сигналов с первым неинвертированным входом модуля 319 объединения. Выход модуля 319 объединения соединен с возможностью передачи сигналов с первым входом модуля 360 внутреннего предсказания и первым входом фильтра 365 для удаления блочности. Выход фильтра 365 для удаления блочности соединен с возможностью передачи сигналов с первым входом буфера 380 опорных изображений. Выход буфера 380 опорных изображений соединен с возможностью передачи сигналов со вторым входом модуля 375 оценки движения и первым входом модуля 370 компенсации движения. Первый выход модуля 375 оценки движения соединен с возможностью передачи сигналов со вторым входом модуля 370 компенсации движения. Второй выход модуля 375 оценки движения соединен с возможностью передачи сигналов с третьим входом модуля 345 статистического кодирования.
Выход модуля 370 компенсации движения соединен с возможностью передачи сигналов с первым входом модуля 397 переключения. Выход модуля 360 внутреннего предсказания соединен с возможностью передачи сигналов со вторым входом модуля 397 переключения. Выход модуля 320 определения типа макроблока соединен с возможностью передачи сигналов с третьим входом модуля 397 переключения для обеспечения управляющего входного сигнала модулю 397 переключения. Третий вход модуля 397 переключения определяет, должен ли «информационный» входной сигнал модуля переключения (по сравнению с управляющим входным сигналом, то есть, третьим входом) быть предоставлен посредством модуля 370 компенсации движения или модуля 360 внутреннего предсказания. Выход модуля 397 переключения соединен с возможностью передачи сигналов со вторым неинвертированным входом модуля 319 объединения, а также с инвертированным входом модуля 385 объединения.
Входы буфера 310 классификации кадров и модуля 105 управления кодером доступны в качестве входа кодера 300 для приема передаваемого изображения 301. Кроме того, вход модуля 330 вставки дополнительной информации расширения (SEI) доступен в качестве входа кодера 300 для приема метаданных. Выход буфера 335 вывода доступен в качестве выхода кодера 300 для вывода битового потока.
На Фиг.4 видеодекодер, выполненный с возможностью выполнения декодирования видеосигнала, в соответствии со стандартом кодирования AVC MPEG-4, обозначен, в целом, посредством ссылочного номера 400.
Видеодекодер 400 включает в себя буфер 410 ввода, имеющий выход, соединенный с возможностью передачи сигналов с первым входом модуля 445 статистического декодирования. Первый выход модуля 445 статистического декодирования соединен с возможностью передачи сигналов с первым входом модуля 450 обратного преобразования и обратного квантования. Выход модуля 450 обратного преобразования и обратного квантования соединен с возможностью передачи сигналов со вторым неинвертированным входом модуля 425 объединения. Выход модуля 425 объединения соединен с возможностью передачи сигналов со вторым входом фильтра 465 для удаления блочности, а также с первым входом модуля 460 внутреннего предсказания. Второй выход фильтра 465 для удаления блочности соединен с возможностью передачи сигналов с первым входом буфера 480 опорных изображений. Выход буфера 480 опорных изображений соединен с возможностью передачи сигналов со вторым входом модуля 470 компенсации движения.
Второй выход модуля 445 статистического декодирования соединен с возможностью передачи сигналов с третьим входом модуля 470 компенсации движения, а также с первым входом фильтра 465 для удаления блочности. Третий выход модуля 445 статистического декодирования соединен с возможностью передачи сигналов со входом модуля 405 управления декодером. Первый выход модуля 405 управления декодером соединен с возможностью передачи сигналов со вторым входом модуля 445 статистического декодирования. Второй выход модуля 405 управления декодером соединен с возможностью передачи сигналов со вторым входом модуля 450 обратного преобразования и обратного квантования. Третий выход модуля 405 управления декодером соединен с возможностью передачи сигналов с третьим входом фильтра 465 для удаления блочности. Четвертый выход модуля 405 управления декодером соединен с возможностью передачи сигналов со вторым входом модуля 460 внутреннего предсказания, с первым входом модуля 470 компенсации движения, а также со вторым входом буфера 480 опорных изображений.
Выход модуля 470 компенсации движения соединен с возможностью передачи сигналов с первым входом модуля 497 переключения. Выход модуля 460 внутреннего предсказания соединен с возможностью передачи сигналов со вторым входом модуля 497 переключения. Выход модуля 497 переключения соединен с возможностью передачи сигналов с первым неинвертированным входом модуля 425 объединения.
Вход буфера 410 ввода доступен в качестве входа декодера 400 для приема передаваемого битового потока. Первый выход фильтра 465 для удаления блочности доступен в качестве выхода декодера 400 для вывода изображения.
На Фиг.5 иллюстративный способ кодирования изображений с множеством видов с использованием стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 500.
Способ 500 включает в себя начальный блок 502, который передает управление функциональному блоку 504. Функциональный блок 504 располагает каждый вид в конкретном моменте в качестве фрагмента изображения в формате мозаики и передает управление функциональному блоку 506. Функциональный блок 506 задает синтаксический элемент num_coded_views_minus1 и передает управление функциональному блоку 508. Функциональный блок 508 задает синтаксические элементы org_pic_width_in_mbs_minus1 и org_pic_height_in_mbs_minus1, и передает управление функциональному блоку 510. Функциональный блок 510 задает переменной i нулевое значение и передает управление блоку 512 определения. Блок 512 определения определяет, является ли переменная i меньше количества видов. При положительном результате определения управление передается функциональному блоку 514. При отрицательном результате определения управление передается функциональному блоку 524.
Функциональный блок 514 задает синтаксический элемент view_id [i] и передает управление функциональному блоку 516. Функциональный блок 516 задает синтаксический элемент num_parts [view_id [i]] и передает управление функциональному блоку 518. Функциональный блок 518 задает переменной j нулевое значение и передает управление блоку 520 определения. Блок 520 определения определяет, является ли текущее значение переменной j меньше текущего значения синтаксического элемента num_parts [view_id [i]]. При положительном результате определения управление передается функциональному блоку 522. При отрицательном результате определения управление передается функциональному блоку 528.
Функциональный блок 522 задает синтаксические элементы depth_flag [view_id [i]] [j], flip_dir [view_id [i]] [j], loc_left_offset [view_id [i]] [j], loc_top_offset [view_id [i]] [j], frame_crop_left_offset [view_id [i]] [f], frame_crop_right_offset [view_id [i]] [j], frame_crop_top_offset [view_id [i]] [j] и frame_crop_bottom_offset [view_id [i]] [j], увеличивает переменную j, а затем возвращает управление блоку 520 определения.
Функциональный блок 528 задает синтаксический элемент upsample_view_flag [view_id [i]] и передает управление блоку 530 определения. Блок 530 определения определяет, действительно ли текущее значение синтаксического элемента upsample_view_flag [view_id [i]] равняется единице. При положительном результате определения управление передается функциональному блоку 532. При отрицательном результате определения управление передается блоку 534 определения.
Функциональный блок 532 задает синтаксический элемент upsample_filter [view_id [i]] и передает управление блоку 534 определения.
Блок 534 определения определяет, равняется ли текущее значение синтаксического элемента upsample_filter [view_id [i]] трем. При положительном результате определения управление передается функциональному блоку 536. При отрицательном результате определения управление передается функциональному блоку 540.
Функциональный блок 536 задает синтаксические элементы vert_dim [view_id [i]], hor_dim [view_id [i]] и quantizer [view_id [i]] и передает управление функциональному блоку 538.
Функциональный блок 538 задает коэффициенты фильтрации для каждого компонента YUV и передает управление функциональному блоку 540.
Функциональный блок 540 увеличивает переменную i и возвращает управление блоку 512 определения.
Функциональный блок 524 записывает эти синтаксические элементы, по меньшей мере, либо в набор параметров последовательности (SPS), либо в набор параметров изображения (PPS), либо в сообщение с дополнительной информацией расширения (SEI), либо в заголовок блока уровня сетевой абстракции (NAL), либо в заголовок части, и передает управление функциональному блоку 526. Функциональный блок 526 кодирует каждое изображение с использованием стандарта кодирования AVC MPEG-4 или другого кодека с одним видом и передает управление оконечному блоку 599.
На Фиг.6 иллюстративный способ декодирования изображений с множеством видов с использованием стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 600.
Способ 600 включает в себя начальный блок 602, который передает управление функциональному блоку 604. Функциональный блок 604 анализирует нижеперечисленные синтаксические элементы, по меньшей мере, либо из набора параметров последовательности (SPS), либо из набора параметров изображения (PPS), либо из сообщения с дополнительной информацией расширения (SEI), либо из заголовка блока уровня сетевой абстракции (NAL), либо из заголовка части, и передает управление функциональному блоку 606. Функциональный блок 606 анализирует синтаксический элемент num_coded_views_minus1 и передает управление функциональному блоку 608. Функциональный блок 608 анализирует синтаксические элементы org_pic_width_in_mbs_minus1 и org_pic_height_in_mbs_minus1 и передает управление функциональному блоку 610. Функциональный блок 610 задает переменной i нулевое значение и передает управление блоку 612 определения. Блок 612 определения определяет, является ли переменная i меньше количества видов. При положительном результате определения управление передается функциональному блоку 614. При отрицательном результате определения управление передается функциональному блоку 624.
Функциональный блок 614 анализирует синтаксический элемент view_id [i] и передает управление функциональному блоку 616. Функциональный блок 616 анализирует синтаксический элемент num_parts_minus1 [view_id [i]] и передает управление функциональному блоку 618. Функциональный блок 618 задает переменной j нулевое значение и передает управление блоку 620 определения. Блок 620 определения определяет, является ли текущее значение переменной j меньше текущего значения синтаксического элемента num_parts [view_id [i]]. При положительном результате определения управление передается функциональному блоку 622. При отрицательном результате определения управление передается функциональному блоку 628.
Функциональный блок 622 анализирует синтаксические элементы depth_flag [view_id [i]] [j], flip_dir [view_id [i]] [j], loc_left_offset [view_id [i]] [j], loc_top_offset [view_id [i]] [j], frame_crop_left_offset [view_id [i]] [j], frame_crop_right_offset [view_id [i]] [j], frame_crop_top_offset [view_id [i]] [j] и frame_crop_bottom_offset [view_id [i]] [j], увеличивает переменную j, а затем возвращает управление блоку 620 определения.
Функциональный блок 628 анализирует синтаксический элемент upsample_view_flag [view_id [i]] и передает управление блоку 630 определения. Блок 630 определения определяет, действительно ли текущее значение синтаксического элемента upsample_view_flag [view_id [i]] равняется единице. При положительном результате определения управление передается функциональному блоку 632. При отрицательном результате определения управление передается блоку 634 определения.
Функциональный блок 632 анализирует синтаксический элемент upsample_filter [view_id [i]] и передает управление блоку 634 определения.
Блок 634 определения определяет, равняется ли текущее значение синтаксического элемента upsample_filter [view_id [i]] трем. При положительном результате определения управление передается функциональному блоку 636. При отрицательном результате определения управление передается функциональному блоку 640.
Функциональный блок 636 анализирует синтаксические элементы vert_dim [view_id [i]], hor_dim [view_id [i]] и quantizer [view_id [i]] и передает управление функциональному блоку 638.
Функциональный блок 638 анализирует коэффициенты фильтрации для каждого компонента YUV и передает управление функциональному блоку 640.
Функциональный блок 640 увеличивает переменную i и возвращает управление блоку 612 определения.
Функциональный блок 624 декодирует каждое изображение с использованием стандарта кодирования AVC MPEG-4 или другого кодека с одним видом и передает управление функциональному блоку 626. Функциональный блок 626 отделяет каждый вид от изображения с использованием синтаксиса высокого уровня и передает управление оконечному блоку 699.
На Фиг.7 иллюстративный способ кодирования изображений с множеством видов и сигналами глубины с использованием стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 700.
Способ 700 включает в себя начальный блок 702, который передает управление функциональному блоку 704. Функциональный блок 704 располагает каждый вид и соответствующий сигнал глубины в конкретном моменте в качестве фрагмента изображения в формате мозаики, и передает управление функциональному блоку 706. Функциональный блок 706 задает синтаксический элемент num_coded_views_minus1 и передает управление функциональному блоку 708. Функциональный блок 708 задает синтаксические элементы org_pic_width_in_mbs_minus1 и org_pic_height_in_mbs_minus1 и передает управление функциональному блоку 710. Функциональный блок 710 задает переменной i нулевое значение и передает управление блоку 712 определения. Блок 712 определения определяет, является ли переменная i меньше количества видов. При положительном результате определения управление передается функциональному блоку 714. При отрицательном результате определения управление передается функциональному блоку 724.
Функциональный блок 714 задает синтаксический элемент view_id [i] и передает управление функциональному блоку 716. Функциональный блок 716 задает синтаксический элемент num_parts [view_id [i]] и передает управление функциональному блоку 718. Функциональный блок 718 задает переменной j нулевое значение и передает управление блоку 720 определения. Блок 720 определения определяет, является ли текущее значение переменной j меньше текущего значения синтаксического элемента num_parts [view_id [i]]. При положительном результате определения управление передается функциональному блоку 722. При отрицательном результате определения управление передается функциональному блоку 728.
Функциональный блок 722 задает синтаксические элементы depth_flag [view_id [i]] [j], flip_dir [view_id [i]] [j], loc_left_offset [view_id [i]] [j], loc_top_offset [view_id [i]] [j], frame_crop_left_offset [view_id [i]] [j], frame_crop_right_offset [view_id [i]] [j], frame_crop_top_offset [view_id [i]] [j] и frame_crop_bottom_offset [view_id [i]] [j], увеличивает переменную j, а затем возвращает управление блоку 720 определения.
Функциональный блок 728 задает синтаксический элемент upsample_view_flag [view_id [i]] и передает управление блоку 730 определения. Блок определения 730 определяет, равняется ли текущее значение синтаксического элемента upsample_view_flag [view_id [i]] единице. При положительном результате определения управление передается функциональному блоку 732. При отрицательном результате определения управление передается блоку 734 определения.
Функциональный блок 732 задает синтаксический элемент upsample_filter [view_id [i]] и передает управление блоку 734 определения.
Блок определения 734 определяет, равняется ли текущее значение синтаксического элемента upsample_filter [view_id [i]] трем. При положительном результате определения управление передается функциональному блоку 736. При отрицательном результате определения управление передается функциональному блоку 740.
Функциональный блок 736 задает синтаксические элементы vert_dim [view_id [i]], hor_dim [view_id [i]] и quantizer [view_id [i]], и передает управление функциональному блоку 738.
Функциональный блок 738 задает коэффициенты фильтрации для каждого компонента YUV и передает управление функциональному блоку 740.
Функциональный блок 740 увеличивает переменную i и возвращает управление блоку 712 определения.
Функциональный блок 724 записывает эти синтаксические элементы, по меньшей мере, либо в набор параметров последовательности (SPS), либо в набор параметров изображения (PPS), либо в сообщение с дополнительной информацией расширения (SEI), либо в заголовок блока уровня сетевой абстракции (NAL), либо в заголовок части, и передает управление функциональному блоку 726. Функциональный блок 726 кодирует каждое изображение с использованием стандарта кодирования AVC MPEG-4 или другого кодека с одним видом и передает управление оконечному блоку 799.
На Фиг.8 иллюстративный способ декодирования изображений с множеством видов и сигналами глубины с использованием стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 800.
Способ 800 включает в себя начальный блок 802, который передает управление функциональному блоку 804. Функциональный блок 804 анализирует следующие синтаксические элементы, по меньшей мере, либо из набора параметров последовательности (SPS), либо из набора параметров изображения (PPS), либо из сообщения с дополнительной информацией расширения (SEI), либо из заголовка блока уровня сетевой абстракции (NAL), либо из заголовка части, и передает управление функциональному блоку 806. Функциональный блок 806 анализирует синтаксический элемент num_coded_views_minus1 и передает управление функциональному блоку 808. Функциональный блок 808 анализирует синтаксические элементы org_pic_width_in_mbs_minus1 и org_pic_height_in_mbs_minus1 и передает управление функциональному блоку 810. Функциональный блок 810 задает переменной i нулевое значение и передает управление блоку 812 определения. Блок 812 определения определяет, является ли переменная i меньше количества видов. При положительном результате определения управление передается функциональному блоку 814. При отрицательном результате определения управление передается функциональному блоку 824.
Функциональный блок 814 анализирует синтаксический элемент view_id [i] и передает управление функциональному блоку 816. Функциональный блок 816 анализирует синтаксический элемент num_parts_minus1 [view_id [i]] и передает управление функциональному блоку 818. Функциональный блок 818 задает переменной j нулевое значение и передает управление блоку 820 определения. Блок 820 определения определяет, является ли текущее значение переменной j меньше текущего значения синтаксического элемента num_parts [view_id [i]]. При положительном результате определения управление передается функциональному блоку 822. При отрицательном результате определения управление передается функциональному блоку 828.
Функциональный блок 822 анализирует синтаксические элементы depth_flag [view_id [i]] [j], flip_dir [view_id [i]] [j], loc_left_offset [view_id [i]] [j], loc_top_offset [view_id [i]] [j], frame_crop_left_offset [view_id [i]] [j], frame_crop_right_offset [view_id [i]] [j], frame_crop_top_offset [view_id [i]] [j] и frame_crop_bottom_offset [view_id [i]] [j], увеличивает переменную j, а затем возвращает управление блоку 820 определения.
Функциональный блок 828 анализирует синтаксический элемент upsample_view_flag [view_id [i]] и передает управление блоку 830 определения. Блок 830 определения определяет, действительно ли текущее значение синтаксического элемента upsample_view_flag [view_id [i]] равняется единице. При положительном результате определения управление передается функциональному блоку 832. При отрицательном результате определения управление передается блоку 834 определения.
Функциональный блок 832 анализирует синтаксический элемент upsample_filter [view_id [i]] и передает управление блоку 834 определения.
Блок 834 определения определяет, равняется ли текущее значение синтаксического элемента upsample_filter [view_id [i]] трем. При положительном результате определения управление передается функциональному блоку 836. При отрицательном результате определения управление передается функциональному блоку 840.
Функциональный блок 836 анализирует синтаксические элементы vert_dim [view_id [i]], hor_dim [view_id [i]] и quantizer [view_id [i]] и передает управление функциональному блоку 838.
Функциональный блок 838 анализирует коэффициенты фильтрации для каждого компонента YUV и передает управление функциональному блоку 840.
Функциональный блок 840 увеличивает переменную i и возвращает управление блоку 812 определения.
Функциональный блок 824 декодирует каждое изображение с использованием стандарта кодирования AVC MPEG-4 или другого кодека с одним видом, и передает управление функциональному блоку 826. Функциональный блок 826 отделяет каждый вид и соответствующий сигнал глубины от изображения с использованием синтаксиса высокого уровня и передает управление функциональному блоку 827. Функциональный блок 827 потенциально выполняет синтез (объединение) видов с использованием извлеченного вида и сигналов глубины, и передает управление оконечному блоку 899.
Принимая во внимание глубину, используемую на Фиг.7 и 8, Фиг.9 изображает пример сигнала 900 глубины, где глубина обеспечена в качестве значения элемента изображения для каждого соответствующего местоположения изображения (не показано). Кроме того, Фиг.10 изображает пример двух сигналов глубины, включенных в мозаику 1000. Верхняя правая часть мозаики 1000 представляет собой сигнал глубины, имеющий значения глубины, соответствующие изображению, находящемуся в верхней левой части мозаики 1000. Нижняя правая часть мозаики 1000 представляет собой сигнал глубины, имеющий значения глубины, соответствующие изображению, находящемуся в нижней левой части мозаики 1000.
На Фиг.11 пример пяти видов, расположенных мозаикой в одном кадре, обозначен, в целом, посредством ссылочного номера 1100. Четыре верхних вида находятся в нормальной ориентации. Пятый вид также находится в нормальной ориентации, но разделен на две части вдоль основания мозаики 1100. Левая часть пятого вида изображает «верх» пятого вида, а правая часть пятого вида изображает «низ» пятого вида.
Кодирование/декодирование с использованием стандарта/рекомендации кодирования/декодирования видеосигнала с множеством видов
На Фиг.12 иллюстративный кодер, работающий по принципу кодирования видеосигнала с множеством видов (MVC), обозначен, в целом, посредством ссылочного номера 1200. Кодер 1200 включает в себя модуль 1205 объединения, имеющий выход, соединенный с возможностью передачи сигналов со входом модуля 1210 преобразования. Выход модуля 1210 преобразования соединен с возможностью передачи сигналов со входом модуля 1215 квантования. Выход модуля 1215 квантования соединен с возможностью передачи сигналов со входом модуля 1220 статистического кодирования, а также со входом модуля 1225 обратного квантования. Выход модуля 1225 обратного квантования соединен с возможностью передачи сигналов со входом модуля 1230 обратного преобразования. Выход модуля 1230 обратного преобразования соединен с возможностью передачи сигналов с первым неинвертированным входом модуля 1235 объединения. Выход модуля 1235 объединения соединен с возможностью передачи сигналов со входом модуля 1245 внутреннего предсказателя, а также со входом фильтра 1250 для удаления блочности. Выход фильтра 1250 для удаления блочности соединен с возможностью передачи сигналов со входом модуля 1255 сохранения опорных изображений (для вида i). Выход модуля 1255 сохранения опорных изображений соединен с возможностью передачи сигналов с первым входом модуля 1275 компенсации движения, а также с первым входом модуля 1280 оценки движения. Выход модуля 1280 оценки движения соединен с возможностью передачи сигналов со вторым входом модуля 1275 компенсации движения.
Выход модуля 1260 сохранения опорных изображений (для других видов) соединен с возможностью передачи сигналов с первым входом модуля 1270 оценки несоответствия, а также с первым входом модуля 1265 компенсации несоответствия. Выход модуля 1270 оценки несоответствия соединен с возможностью передачи сигналов со вторым входом модуля 1265 компенсации несоответствия.
Выход модуля 1220 статистического декодирования доступен в качестве выхода кодера 1200. Неинвертированный вход модуля 1205 объединения доступен в качестве входа кодера 1200, а также соединен с возможностью передачи сигналов как со вторым входом модуля 1270 оценки несоответствия, так и со вторым входом модуля 1280 оценки движения. Выход модуля 1285 переключения соединен с возможностью передачи сигналов со вторым неинвертированным входом модуля 1235 объединения, а также с инвертированным входом модуля 1205 объединения. Модуль 1285 переключения включает в себя первый вход, соединенный с возможностью передачи сигналов с выходом модуля 1275 компенсации движения, второй вход, соединенный с возможностью передачи сигналов с выходом модуля 1265 компенсации несоответствия, и третий вход, соединенный с возможностью передачи сигналов с выходом модуля 1245 внутреннего предсказания.
Модуль 1240 определения режима имеет выход, соединенный с модулем 1285 переключения для определения того, какой из входов выбран посредством модуля 1285 переключения.
На Фиг.13 иллюстративный декодер, работающий по принципу кодирования видеосигнала с множеством видов (MVC), обозначен, в целом, посредством ссылочного номера 1300. Декодер 1300 включает в себя модуль 1305 статистического декодирования, имеющий выход, соединенный с возможностью передачи сигналов со входом модуля 1310 обратного квантования. Выход модуля обратного квантования соединен с возможностью передачи сигналов со входом модуля 1315 обратного преобразования. Выход модуля 1315 обратного преобразования соединен с возможностью передачи сигналов с первым неинвертированным входом модуля 1320 объединения. Выход модуля 1320 объединения соединен с возможностью передачи сигналов со входом фильтра 1325 для удаления блочности, а также со входом модуля 1330 внутреннего предсказателя. Выход фильтра 1325 для удаления блочности соединен с возможностью передачи сигналов со входом модуля 1340 сохранения опорных изображений (для вида i). Выход модуля 1340 сохранения опорных изображений соединен с возможностью передачи сигналов с первым входом модуля 1335 компенсации движения.
Выход модуля 1345 сохранения опорных изображений (для других видов) соединен с возможностью передачи сигналов с первым входом модуля 1350 компенсации несоответствия.
Вход модуля 1305 статистического кодирования доступен в качестве входа декодера 1300 для приема остаточного битового потока. Кроме того, вход модуля 1360 определения режима также доступен в качестве входа декодера 1300 для приема управляющего синтаксиса для определения того, какой из входов выбран посредством модуля 1355 переключения. Кроме того, второй вход модуля 1335 компенсации движения доступен в качестве входа декодера 1300 для приема векторов движения. Помимо всего прочего, второй вход модуля 1350 компенсации несоответствия доступен в качестве входа декодера 1300 для приема векторов несоответствия.
Выход модуля 1355 переключения соединен с возможностью передачи сигналов со вторым неинвертированным входом модуля 1320 объединения. Первый вход модуля 1355 переключения соединен с возможностью передачи сигналов с выходом модуля 1350 компенсации несоответствия. Второй вход модуля 1355 переключения соединен с возможностью передачи сигналов с выходом модуля 1335 компенсации движения. Третий вход модуля 1355 переключения соединен с возможностью передачи сигналов с выходом модуля 1330 внутреннего предсказания. Выход модуля 1360 определения режима соединен с возможностью передачи сигналов с модулем 1355 переключения для определения того, какой из входов выбран посредством модуля 1355 переключения. Выход фильтра 1325 для удаления блочности доступен в качестве выхода декодера 1300.
На Фиг.14 иллюстративный способ обработки изображений с множеством видов при подготовке к кодированию изображений с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 1400.
Способ 1400 включает в себя начальный блок 1405, который передает управление функциональному блоку 1410. Функциональный блок 1410 располагает каждые N видов, из общего числа М видов, в конкретном моменте в качестве суперизображения в формате мозаики, и передает управление функциональному блоку 1415. Функциональный блок 1415 задает синтаксический элемент num_coded_views_minus1 и передает управление функциональному блоку 1420. Функциональный блок 1420 задает синтаксический элемент view_id [i] для всех (num_coded_views_minus1 + 1) видов и передает управление функциональному блоку 1425. Функциональный блок 1425 задает информацию о зависимости опорного внутреннего вида для фиксированных изображений и передает управление функциональному блоку 1430. Функциональный блок 1430 задает информацию о зависимости опорного внутреннего вида для нефиксированных изображений и передает управление функциональному блоку 1435. Функциональный блок 1435 задает синтаксический элемент pseudo_view_present_flag и передает управление блоку 1440 определения. Блок 1440 определения определяет, равняется ли текущее значение синтаксического элемента pseudo_view_present_flag единице. При положительном результате определения управление передается функциональному блоку 1445. При отрицательном результате определения управление передается оконечному блоку 1499.
Функциональный блок 1445 задает синтаксические элементы tiling_mode, org_pic_width_in_mbs_minus1 и org_pic_height_in_mbs_minus1, и передает управление функциональному блоку 1450. Функциональный блок 1450 вызывает синтаксический элемент pseudo_view_info (view_id) для каждого кодированного вида и передает управление оконечному блоку 1499.
На Фиг.15 иллюстративный способ кодирования изображений с множеством видов с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 1500.
Способ 1500 включает в себя начальный блок 1502, который имеет входной параметр pseudo_view_id и передает управление функциональному блоку 1504. Функциональный блок 1504 задает синтаксический элемент num_sub_views_minus1 и передает управление функциональному блоку 1506. Функциональный блок 1506 задает переменной i нулевое значение и передает управление блоку 1508 определения. Блок 1508 определения определяет, является ли переменная i меньше количества подвидов. При положительном результате определения управление передается функциональному блоку 1510. При отрицательном результате определения управление передается функциональному блоку 1520.
Функциональный блок 1510 задает синтаксический элемент sub_view_id [i] и передает управление функциональному блоку 1512. Функциональный блок 1512 задает синтаксический элемент num_parts_minus1 [sub_view_id [i]] и передает управление функциональному блоку 1514. Функциональный блок 1514 задает переменной j нулевое значение и передает управление блоку 1516 определения. Блок 1516 определения определяет, является ли переменная j меньше синтаксического элемента num_parts_minus1 [sub_view_id [i]]. При положительном результате определения управление передается функциональному блоку 1518. При отрицательном результате определения управление передается блоку 1522 определения.
Функциональный блок 1518 задает синтаксические элементы loc_left_offset [sub_view_id [i]] [j], loc_top_offset [sub_view_id [i]] [j], frame_crop_left_offset [sub_view_id [i]] [j], frame_crop_right_offset [sub_view_id [i]] [j], frame_crop_top_offset [sub_view_id [i]] [j] и frame_crop_bottom_offset [sub_view_id [i] [j], увеличивает переменную j, и возвращает управление блоку 1516 определения.
Функциональный блок 1520 кодирует текущее изображение с текущим видом с использованием кодирования видеосигнала с множеством видов (MVC), и передает управление оконечному блоку 1599.
Блок 1522 определения определяет, равняется ли синтаксический элемент tiling_mode нулю. При положительном результате определения управление передается функциональному блоку 1524. При отрицательном результате определения управление передается функциональному блоку 1538.
Функциональный блок 1524 задает синтаксический элемент flip_dir [sub_view_id [i]] и синтаксический элемент upsample_view_flag [sub_view_id [i]], и передает управление блоку 1526 определения. Блок 1526 определения определяет, равняется ли текущее значение синтаксического элемента upsample_view_flag [sub_view_id [i]] единице. При положительном результате определения управление передается функциональному блоку 1528. При отрицательном результате определения управление передается блоку 1530 определения.
Функциональный блок 1528 задает синтаксический элемент upsample_filter [sub_view_id [i]] и передает управление блоку 1530 определения. Блок 1530 определения определяет, равняется ли значение синтаксического элемента upsample_filter [sub_view_id [i]] трем. При положительном результате определения управление передается функциональному блоку 1532. При отрицательном результате определения управление передается функциональному блоку 1536.
Функциональный блок 1532 задает синтаксические элементы vert_dim [sub_view_id [i]], hor_dim [sub_view_id [i]] и quantizer [sub_view_id [i]] и передает управление функциональному блоку 1534. Функциональный блок 1534 задает коэффициенты фильтрации для каждого компонента YUV и передает управление функциональному блоку 1536.
Функциональный блок 1536 увеличивает переменную i и возвращает управление блоку 1508 определения.
Функциональный блок 1538 задает синтаксический элемент pixel_dist_x [sub_view_id [i]] и синтаксический элемент flip_dist_y [sub_view_id [i]], и передает управление функциональному блоку 1540. Функциональный блок 1540 задает переменной j нулевое значение и передает управление блоку 1542 определения. Блок 1542 определения определяет, является ли текущее значение переменной j меньше текущего значения синтаксического элемента num_parts [sub_view_id [i]]. При положительном результате определения управление передается функциональному блоку 1544. При отрицательном результате определения управление передается функциональному блоку 1536.
Функциональный блок 1544 задает синтаксический элемент num_pixel_tiling_filter_coeffs_minus1 [sub_view_id [i]] и передает управление функциональному блоку 1546. Функциональный блок 1546 задает коэффициенты для всех фильтров мозаичного расположения элементов изображения и передает управление функциональному блоку 1536.
На Фиг.16 иллюстративный способ обработки изображений с множеством видов при подготовке к декодированию изображений с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 1600.
Способ 1600 включает в себя начальный блок 1605, который передает управление функциональному блоку 1615. Функциональный блок 1615 анализирует синтаксический элемент num_coded_views_minus1 и передает управление функциональному блоку 1620. Функциональный блок 1620 анализирует синтаксический элемент view_id [i] для всех видов (num_coded_views_minus1 + 1) и передает управление функциональному блоку 1625. Функциональный блок 1625 анализирует информацию о зависимости опорного внутреннего вида для фиксированных изображений и передает управление функциональному блоку 1630. Функциональный блок 1630 анализирует информацию о зависимости опорного внутреннего вида для нефиксированных изображений и передает управление функциональному блоку 1635. Функциональный блок 1635 анализирует синтаксический элемент pseudo_view_present_flag и передает управление блоку 1640 определения. Блок 1640 определения определяет, равняется ли текущее значение синтаксического элемента pseudo_view_present_flag единице. При положительном результате определения управление передается функциональному блоку 1645. При отрицательном результате определения управление передается оконечному блоку 1699.
Функциональный блок 1645 анализирует синтаксические элементы tiling_mode, org_pic_width_in_mbs_minus1 и org_pic_height_in_mbs_minus1 и передает управление функциональному блоку 1650. Функциональный блок 1650 вызывает синтаксический элемент pseudo_view_info (view_id) для каждого кодированного вида и передает управление оконечному блоку 1699.
На Фиг.17 иллюстративный способ декодирования изображений с множеством видов с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 1700.
Способ 1700 включает в себя начальный блок 1702, который инициируется совместно с входным параметром pseudo_view_id и передает управление функциональному блоку 1704. Функциональный блок 1704 анализирует синтаксический элемент num_sub_views_minus1 и передает управление функциональному блоку 1706. Функциональный блок 1706 задает переменной i нулевое значение и передает управление блоку 1708 определения. Блок 1708 определения определяет, является ли переменная i меньше количества подвидов. При положительном результате определения управление передается функциональному блоку 1710. При отрицательном результате определения управление передается функциональному блоку 1720.
Функциональный блок 1710 анализирует синтаксический элемент sub_view_id [i] и передает управление функциональному блоку 1712. Функциональный блок 1712 анализирует синтаксический элемент num_parts_minus1 [sub_view_id [i]] и передает управление функциональному блоку 1714. Функциональный блок 1714 задает переменной j нулевое значение и передает управление блоку 1716 определения. Блок 1716 определения определяет, является ли переменная j меньше синтаксического элемента num_parts_minus1 [sub_view_id [i]]. При положительном результате определения управление передается функциональному блоку 1718. При отрицательном результате определения управление передается блоку 1722 определения.
Функциональный блок 1718 задает синтаксические элементы loc_left_offset [sub_view_id [i]] [j], loc_top_offset [sub_view_id [i]] [j], frame_crop_left_offset [sub_view_id [i]] [j], frame_crop_right_offset [sub_view_id [i]] [j], frame_crop_top_offset [sub_view_id [i]] [j] и frame_crop_bottom_offset [sub_view_id [i] [j], увеличивает переменную j и возвращает управление блоку 1716 определения.
Функциональный блок 1720 декодирует текущее изображение с текущим видом с использованием кодирования видеосигнала с множеством видов (MVC), и передает управление функциональному блоку 1721. Функциональный блок 1721 отделяет каждый вид от изображения с использованием синтаксиса высокого уровня и передает управление оконечному блоку 1799.
Отделение каждого вида от декодированного изображения выполняется с использованием синтаксиса высокого уровня, указанного в битовом потоке. Этот синтаксис высокого уровня может указывать точное местоположение, а также возможную ориентацию видов (а также возможную соответствующую глубину), присутствующих на изображении.
Блок 1722 определения определяет, равняется ли синтаксический элемент tiling_mode нулю. При положительном результате определения управление передается функциональному блоку 1724. При отрицательном результате определения управление передается функциональному блоку 1738.
Функциональный блок 1724 анализирует синтаксический элемент flip_dir [sub_view_id [i]] и синтаксический элемент upsample_view_flag [sub_view_id [i]], и передает управление блоку 1726 определения. Блок 1726 определения определяет, равняется ли текущее значение синтаксического элемента upsample_view_flag [sub_view_id [i]] единице. При положительном результате определения управление передается функциональному блоку 1728. При отрицательном результате определения управление передается блоку 1730 определения.
Функциональный блок 1728 анализирует синтаксический элемент upsample_filter [sub_view_id [i]] и передает управление блоку 1730 определения. Блок 1730 определения определяет, равняется ли значение синтаксического элемента upsample_filter [sub_view_id [i]] трем. При положительном результате определения управление передается функциональному блоку 1732. При отрицательном результате определения управление передается функциональному блоку 1736.
Функциональный блок 1732 анализирует синтаксические элементы vert_dim [sub_view_id [i]], hor_dim [sub_view_id [i]] и quantizer [sub_view_id [i]] и передает управление функциональному блоку 1734. Функциональный блок 1734 анализирует коэффициенты фильтрации для каждого компонента YUV и передает управление функциональному блоку 1736.
Функциональный блок 1736 увеличивает переменную i и возвращает управление блоку 1708 определения.
Функциональный блок 1738 анализирует синтаксический элемент pixel_dist_x [sub_view_id [i]] и синтаксический элемент flip_dist_y [sub_view_id [i]] и передает управление функциональному блоку 1740. Функциональный блок 1740 задает переменной j нулевое значение и передает управление блоку 1742 определения. Блок 1742 определения определяет, является ли текущее значение переменной j меньше текущего значения синтаксического элемента num_parts [sub_view_id [i]]. При положительном результате определения управление передается функциональному блоку 1744. При отрицательном результате определения управление передается функциональному блоку 1736.
Функциональный блок 1744 анализирует синтаксический элемент num_pixel_tiling_filter_coeffs_minus1 [sub_view_id [i]] и передает управление функциональному блоку 1746. Функциональный блок 1746 анализирует коэффициенты для всех фильтров мозаичного расположения элементов изображения и передает управление функциональному блоку 1736.
На Фиг.18 иллюстративный способ обработки изображений с множеством видов и сигналами глубины при подготовке к кодированию изображений с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 1800.
Способ 1800 включает в себя начальный блок 1805, который передает управление функциональному блоку 1810. Функциональный блок 1810 располагает каждые N видов и карт глубины, из общего числа М видов и карт глубины, в конкретном моменте в качестве суперизображения в формате мозаики, и передает управление функциональному блоку 1815. Функциональный блок 1815 задает синтаксический элемент num_coded_views_minus1 и передает управление функциональному блоку 1820. Функциональный блок 1820 задает синтаксический элемент view_id [i] для всех (num_coded_views_minus1 + 1) сигналов глубины, соответствующих синтаксическому элементу view_id[i], и передает управление функциональному блоку 1825. Функциональный блок 1825 задает информацию о зависимости опорного внутреннего вида для изображений с фиксированной глубиной и передает управление функциональному блоку 1830. Функциональный блок 1830 задает информацию о зависимости опорного внутреннего вида для изображений с нефиксированной глубиной и передает управление функциональному блоку 1835. Функциональный блок 1835 задает синтаксический элемент pseudo_view_present_flag и передает управление блоку 1840 определения. Блок 1840 определения определяет, равняется ли текущее значение синтаксического элемента pseudo_view_present_flag единице. При положительном результате определения управление передается функциональному блоку 1845. При отрицательном результате определения управление передается оконечному блоку 1899.
Функциональный блок 1845 задает синтаксические элементы tiling_mode, org_pic_width_in_mbs_minus1 и org_pic_height_in_mbs_minus1 и передает управление функциональному блоку 1850. Функциональный блок 1850 вызывает синтаксический элемент pseudo_view_info (view_id) для каждого кодированного вида и передает управление оконечному блоку 1899.
На Фиг.19 иллюстративный способ кодирования изображений с множеством видов и сигналами глубины с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 1900.
Способ 1900 включает в себя начальный блок 1902, который передает управление функциональному блоку 1904. Функциональный блок 1904 задает синтаксический элемент num_sub_views_minus1 и передает управление функциональному блоку 1906. Функциональный блок 1906 задает переменной i нулевое значение и передает управление блоку 1908 определения. Блок 1908 определения определяет, является ли переменная i меньше количества подвидов. При положительном результате определения управление передается функциональному блоку 1910. При отрицательном результате определения управление передается функциональному блоку 1920.
Функциональный блок 1910 задает синтаксический элемент sub_view_id [i] и передает управление функциональному блоку 1912. Функциональный блок 1912 задает синтаксический элемент num_parts_minus1 [sub_view_id [i]] и передает управление функциональному блоку 1914. Функциональный блок 1914 задает переменной j нулевое значение и передает управление блоку 1916 определения. Блок 1916 определения определяет, является ли переменная j меньше синтаксического элемента num_parts_minus1 [sub_view_id [i]]. При положительном результате определения управление передается функциональному блоку 1918. При отрицательном результате определения управление передается блоку 1922 определения.
Функциональный блок 1918 задает синтаксические элементы loc_left_offset [sub_view_id [i]] [j], loc_top_offset [sub_view_id [i]] [j], frame_crop_left_offset [sub_view_id [i]] [j], frame_crop_right_offset [sub_view_id [i]] [j], frame_crop_top_offset [sub_view_id [i]] [j] и frame_crop_bottom_offset [sub_view_id [i] [j], увеличивает переменную j и возвращает управление блоку 1916 определения.
Функциональный блок 1920 кодирует текущую глубину для текущего вида с использованием кодирования видеосигнала с множеством видов (MVC) и передает управление оконечному блоку 1999. Сигнал глубины может быть закодирован подобно способу, которым закодирован его соответствующий видеосигнал. Например, сигнал глубины для вида может быть включен в мозаику, которая включает в себя либо исключительно другие сигналы глубины, либо исключительно видеосигналы, либо как сигналы глубины, так и видеосигналы. В таком случае мозаика (псевдовид) рассматривается в качестве одного вида для кодирования MVC, кроме того существуют и другие виды мозаики, которые рассматриваются в качестве других видов для кодирования MVC.
Блок 1922 определения определяет, равняется ли синтаксический элемент tiling_mode нулю. При положительном результате определения управление передается функциональному блоку 1924. При отрицательном результате определения управление передается функциональному блоку 1938.
Функциональный блок 1924 задает синтаксический элемент flip_dir [sub_view_id [i]] и синтаксический элемент upsample_view_flag [sub_view_id [i]] и передает управление блоку 1926 определения. Блок 1926 определения определяет, равняется ли текущее значение синтаксического элемента upsample_view_flag [sub_view_id [i]] единице. При положительном результате определения управление передается функциональному блоку 1928. При отрицательном результате определения управление передается блоку 1930 определения.
Функциональный блок 1928 задает синтаксический элемент upsample_filter [sub_view_id [i]] и передает управление блоку 1930 определения.
Блок 1930 определения определяет, равняется ли значение синтаксического элемента upsample_filter [sub_view_id [i]] трем. При положительном результате определения управление передается функциональному блоку 1932. При отрицательном результате определения управление передается функциональному блоку 1936.
Функциональный блок 1932 задает синтаксические элементы vert_dim [sub_view_id [i]], hor_dim [sub_view_id [i]] и quantizer [sub_view_id [i]] и передает управление функциональному блоку 1934. Функциональный блок 1934 задает коэффициенты фильтрации для каждого компонента YUV и передает управление функциональному блоку 1936.
Функциональный блок 1936 увеличивает переменную i и возвращает управление блоку 1908 определения.
Функциональный блок 1938 задает синтаксический элемент pixel_dist_x [sub_view_id [i]] и синтаксический элемент flip_dist_y [sub_view_id [i]] и передает управление функциональному блоку 1940. Функциональный блок 1940 задает переменной j нулевое значение и передает управление блоку 1942 определения. Блок 1942 определения определяет, является ли текущее значение переменной j меньше текущего значения синтаксического элемента num_parts [sub_view_id [i]]. При положительном результате определения управление передается функциональному блоку 1944. При отрицательном результате определения управление передается функциональному блоку 1936.
Функциональный блок 1944 задает синтаксический элемент num_pixel_tiling_filter_coeffs_minus1 [sub_view_id [i]] и передает управление функциональному блоку 1946. Функциональный блок 1946 задает коэффициенты для всех фильтров мозаичного расположения элементов изображения и передает управление функциональному блоку 1936.
На Фиг.20 иллюстративный способ обработки изображений с множеством видов и сигналами глубины при подготовке к декодированию изображений с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 2000.
Способ 2000 включает в себя начальный блок 2005, который передает управление функциональному блоку 2015. Функциональный блок 2015 анализирует синтаксический элемент num_coded_views_minus1 и передает управление функциональному блоку 2020. Функциональный блок 2020 анализирует синтаксический элемент view_id [i] для всех сигналов глубины (num_coded_views_minus1 + 1), соответствующих синтаксическому элементу view_id [i], и передает управление функциональному блоку 2025. Функциональный блок 2025 анализирует информацию о зависимости опорного внутреннего вида для изображений с фиксированной глубиной и передает управление функциональному блоку 2030. Функциональный блок 2030 анализирует информацию о зависимости опорного внутреннего вида для изображений с нефиксированной глубиной и передает управление функциональному блоку 2035. Функциональный блок 2035 анализирует синтаксический элемент pseudo_view_present_flag и передает управление блоку 2420 определения. Блок 2040 определения определяет, равняется ли текущее значение синтаксического элемента pseudo_view_present_flag единице. При положительном результате определения управление передается функциональному блоку 2045. При отрицательном результате определения управление передается оконечному блоку 2099.
Функциональный блок 2045 анализирует синтаксические элементы tiling_mode, org_pic_width_in_mbs_minus1 и org_pic_height_in_mbs_minus1 и передает управление функциональному блоку 2050. Функциональный блок 2050 вызывает синтаксический элемент pseudo_view_info (view_id) для каждого кодированного вида и передает управление оконечному блоку 2099.
На Фиг.21 иллюстративный способ декодирования изображений с множеством видов и сигналами глубины с использованием расширения кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 обозначен, в целом, посредством ссылочного номера 2100.
Способ 2100 включает в себя начальный блок 2102, который инициируется совместно с входным параметром pseudo_view_id, и передает управление функциональному блоку 2104. Функциональный блок 2104 анализирует синтаксический элемент num_sub_views_minus1 и передает управление функциональному блоку 2106. Функциональный блок 2106 задает переменной i нулевое значение и передает управление блоку 2108 определения. Блок 2108 определения определяет, является ли переменная i меньше количества подвидов. При положительном результате определения управление передается функциональному блоку 2110. При отрицательном результате определения управление передается функциональному блоку 2120.
Функциональный блок 2110 анализирует синтаксический элемент sub_view_id [i] и передает управление функциональному блоку 2112. Функциональный блок 2112 анализирует синтаксический элемент num_parts_minus1 [sub_view_id [i]] и передает управление функциональному блоку 2114. Функциональный блок 2114 задает переменной j нулевое значение и передает управление блоку 2116 определения. Блок 2116 определения определяет, является ли переменная j меньше синтаксического элемента num_parts_minus1 [sub_view_id [i]]. При положительном результате определения управление передается функциональному блоку 2118. При отрицательном результате определения управление передается блоку 2122 определения.
Функциональный блок 2118 задает синтаксические элементы loc_left_offset [sub_view_id [i]] [j], loc_top_offset [sub_view_id [i]] [j], frame_crop_left_offset [sub_view_id [i]] [j], frame_crop_right_offset [sub_view_id [i]] [j], frame_crop_top_offset [sub_view_id [i]] [j] и frame_crop_bottom_offset [sub_view_id [i] [j], увеличивает переменную j и возвращает управление блоку 2116 определения.
Функциональный блок 2120 декодирует текущее изображение с использованием кодирования видеосигнала с множеством видов (MVC) и передает управление функциональному блоку 2121. Функциональный блок 2121 отделяет каждый вид от изображения с использованием синтаксиса высокого уровня и передает управление оконечному блоку 2199. Отделение каждого вида с использованием синтаксиса высокого уровня было описано ранее.
Блок 2122 определения определяет, равняется ли синтаксический элемент tiling_mode нулю. При положительном результате определения управление передается функциональному блоку 2124. При отрицательном результате определения управление передается функциональному блоку 2138.
Функциональный блок 2124 анализирует синтаксический элемент flip_dir [sub_view_id [i]] и синтаксический элемент upsample_view_flag [sub_view_id [i]] и передает управление блоку 2126 определения. Блок 2126 определения определяет, равняется ли текущее значение синтаксического элемента upsample_view_flag [sub_view_id [i]] единице. При положительном результате определения управление передается функциональному блоку 2128. При отрицательном результате определения управление передается блоку 2130 определения.
Функциональный блок 2128 анализирует синтаксический элемент upsample_filter [sub_view_id [i]] и передает управление блоку 2130 определения. Блок 2130 определения определяет, равняется ли значение синтаксического элемента upsample_filter [sub_view_id [i]] трем. При положительном результате определения управление передается функциональному блоку 2132. При отрицательном результате определения управление передается функциональному блоку 2136.
Функциональный блок 2132 анализирует синтаксические элементы vert_dim [sub_view_id [i]], hor_dim [sub_view_id [i]] и quantizer [sub_view_id [i]] и передает управление функциональному блоку 2134. Функциональный блок 2134 анализирует коэффициенты фильтрации для каждого компонента YUV и передает управление функциональному блоку 2136.
Функциональный блок 2136 увеличивает переменную i и возвращает управление блоку 2108 определения.
Функциональный блок 2138 анализирует синтаксический элемент pixel_dist_x [sub_view_id [i]] и синтаксический элемент flip_dist_y [sub_view_id [i]], и передает управление функциональному блоку 2140. Функциональный блок 2140 задает переменной j нулевое значение и передает управление блоку 2142 определения. Блок 2142 определения определяет, является ли текущее значение переменной j меньше текущего значения синтаксического элемента num_parts [sub_view_id [i]]. При положительном результате определения управление передается функциональному блоку 2144. При отрицательном результате определения управление передается функциональному блоку 2136.
Функциональный блок 2144 анализирует синтаксический элемент num_pixel_tiling_filter_coeffs_minus1 [sub_view_id [i]] и передает управление функциональному блоку 2146. Функциональный блок 2146 анализирует коэффициенты для всех фильтров мозаичного расположения элементов изображения и передает управление функциональному блоку 2136.
На Фиг.22 примеры мозаичного расположения на уровне элементов изображения обозначены, в целом, посредством ссылочного номера 2200. Фиг.22 дополнительно описана ниже.
Мозаичное расположение видов с использованием стандарта кодирования AVC или MVC MPEG4
Область применения кодирования видеосигнала с множеством видов является телевидением со свободным выбором точки наблюдения (или FTV). Эта область применения требует, чтобы пользователь мог свободно перемещаться между двумя или более видами. Для достижения этого «виртуальные» виды между двумя видами должны быть интерполированы или синтезированы. Существует несколько способов выполнения интерполяции видов. Один из способов для интерполяции/синтеза вида использует глубину.
Каждый вид может иметь соответствующий сигнал глубины. Следовательно, глубина, как может предполагаться, является другой формой видеосигнала. Фиг.9 изображает пример сигнала 900 глубины. Для реализации областей применения, таких как FTV, сигнал глубины передается наряду с видеосигналом. В предложенной структуре мозаичного расположения сигнал глубины также может быть добавлен в качестве одной из мозаик. Фиг.10 изображает пример сигналов глубины, добавленных в качестве мозаик. Сигналы/мозаики глубины изображены на Фиг.10 справа.
После кодирования глубины в качестве мозаики всего кадра, синтаксис высокого уровня должен указать, какая мозаика является сигналом глубины для того, чтобы модуль визуального воспроизведения мог соответственно использовать сигнал глубины.
В случае, когда входная последовательность (такая, как изображенная на Фиг.1) закодирована с использованием кодера, работающего в соответствии со стандартом кодирования AVC MPEG-4 (или кодера, работающего в соответствии с другим стандартом и/или рекомендацией кодирования видеосигнала), предложенный синтаксис высокого уровня может присутствовать, например, в наборе параметров последовательности (SPS), наборе параметров изображения (PPS), заголовке части и/или в сообщении с дополнительной информацией расширения (SEI). Вариант осуществления предложенного способа изображен в таблице 1, где в сообщении с дополнительной информацией расширения (SEI) присутствует синтаксис.
В случае, когда входные последовательности псевдовидов (таких, как изображенная на Фиг.1) закодированы с использованием кодера, работающего в соответствии с расширением кодирования видеосигнала с множеством видов (MVC) стандарта кодирования AVC MPEG-4 (или кодера, работающего в соответствии со стандартом кодирования видеосигнала с множеством видов с учетом другого стандарта и/или рекомендации кодирования видеосигнала), предложенный синтаксис высокого уровня может присутствовать в наборе SPS, наборе РPS, заголовке части, сообщении SEI или в заданном профиле. Вариант осуществления предложенного способа изображен в таблице. Таблица изображает синтаксические элементы, присутствующие в структуре набора параметров последовательности (SPS), включая синтаксические элементы, предложенные в соответствии с вариантом осуществления настоящих принципов.
Таблица 1
seq_parameter_set_mvc_extension() { С Дескриптор
num_views_minus_1 ue(v)
for(i=0, i<= num_views_minus_1; i++)
view_id[i] ue(v)
for(i=0, i<= num_views_minus_1; i++){
num_anchor_refs_IO[i] ue(v)
for(j=0; j < num_anchor_refs_IO[i]; j++)
anchor_ref_IO[i][|] ue(v)
num_anchor_refs_H [i] ue(v)
for(j=0; j < num_anchor_refs_H[i]; |++)
anchor_ref_M[i][j] ue(v)
}
for(i=0, i <= num_views_minus_1; i++) {
num_non_anchor_refs_IO[i] ue(v)
for(j=0; j < num_non_anchor_refs_IO[i], j++)
non_anchor_ref_IO[i]Q] ue(v)
num_non_anchor_refs_H [i] ue(v)
for(j=0; ] < num_non_anchor_refs_l1 [i], j++)
non_anchor_ref_H [i][j] ue(v)
}
pseudo_view_present_flag u(1)
if (pseudo_view_present_flag) {
tiling_mode
org_pic_width_in_mbs_minus1
org_pic_height_in_mbs_minus1
for(i=0, к num_views_mmus_1; i++)
pseudo_view_info(i),
}
}
Таблица 2 изображает синтаксические элементы для синтаксического элемента pseudo_view_info из таблицы 1, в соответствии с вариантом осуществления настоящих принципов.
Таблица 2
pseudo_view_info (pseudo_view_id) { С Дескриптор
num_sub_views_minus_1[pseudo_view_id] 5 ue(v)
if (num_sub_views_minus_1 != 0) {
for (i=0, к num_sub_views_minus_1[pseudo_view_id]; i++) {
sub_view_id[i] 5 ue(v)
num_parts_minus1 [sub_view_id[ i ]] 5 ue(v)
for(j= ; j <= num_parts_minus1[sub_view_id[ i ]]; j++) {
loc_left_offset[sub_view_id[ i ]] [ j ] 5 ue(v)
loc_top_offset[sub_view_id[ i ]] [ j ] 5 ue(v)
frame_crop_left_offset[sub_view_id[ i ]] [ j ] 5 ue(v)
frame_crop_right_offset[sub_view_id[ i ]] [ j ] 5 ue(v)
frame_crop_top_offset[sub_view_id[ i ]] [ j ] 5 ue(v)
frame_crop_bottom_offset[sub_view_id[ i ]] [ j ] 5 ue(v)
}
if (tiling_mode == 0) {
flip_dir[sub_view_id[ i ][ j ] 5 u(2)
upsample_view_flag[sub_view_id[ i ]] 5 u(l)
if(upsample_view_flag[sub_view_id[ i ]])
upsample_filter[sub_view_id[ i ]] 5 u(2)
if(upsample_fiter[sub_view_id[i]] == 3) {
vert_dim[sub_view_id[i]] 5 ue(v)
hor_dim[sub_view_id[i]] 5 ue(v)
quantizer[sub_view_id[i]] 5 ue(v)
for (yuv= 0, yuv< 3, yuv++) {
for (у=0, у < vert_dim[sub_view_id[i]] -1; у ++) {
for (x=; x < hor_dim[sub_view_id[i]] -1; x ++)
filter_coeffs[sub_view_id[i]] [yuv][y][x] 5 se(v)
}
}
}
} // if(tihng_mode == 0)
else if (tiling_mode == 1) {
pixel_dist_x[sub_view_id[ i ] ]
pixel_dist_y[sub_view_id[ i ] ]
for( j=0, j <= num_parts[sub_view_id[ i ]]; j++) {
num_pixel_tiling_filter_coeffs_minus1[sub_view_id[ i ] ][)]
for (coeffjdx = 0, coeffjdx <= num_pixel_tiling_filter_coeffs_minus1[sub_view_id[ i ] ][|]; j++)
pixel_tihng_filter_coeffs[sub_view_id[i]][)]
} // for (j=0, j <= num_parts[sub_view_id[ i ]]; j++)
} // else if (tihng_mode == 1)
} // for (i=0, к num_sub_views_minus_1;
} // if (num_sub_views_minus_1 '= 0)
}
Семантика синтаксических элементов, представленных в таблицах 1 и 2
Синтаксический элемент pseudo_view_present_flag, значение которого равно единице, указывает на то, что некоторый вид является супервидом из множества подвидов.
Синтаксический элемент tiling_mode, значение которого равно нулю, указывает на то, что подвиды расположены мозаикой на уровне изображения. Значение, равное единице указывает на то, что мозаичное расположение выполнено на уровне элементов изображения.
Новое сообщение SEI может использовать значение для типа полезной нагрузки SEI, который не используется в стандарте кодирования AVC MPEG-4 или расширении стандарта кодирования AVC MPEG-4. Новое сообщение SEI включает в себя множество синтаксических элементов со следующей семантикой.
Синтаксический элемент num_coded_views_minus1+1 указывает на то, что количество кодированных видов поддерживается битовым потоком. Значение синтаксического элемента num_coded_views_minus1 находится в пределах диапазона 0-1023, включительно.
Синтаксический элемент org_pic_width_in_mbs_minus1+1 определяет ширину изображения в каждом виде в единицах макроблоков.
Переменная для ширины изображения в единицах макроблоков получается следующим способом:
PicWidthInMbs = org_pic_width_in_mbs_minus1+1
Переменная для ширины изображения для компонента яркости получается следующим способом:
PicWidthInSamplesL = PicWidthInMbs * 16
Переменная для ширины изображения для компонентов цветности получается следующим способом:
PicWidthInSamplesC = PicWidthInMbs * MbWidthC
Синтаксический элемент org_pic_height_in_mbs_minus1+1 определяет высоту изображения в каждом виде в единицах макроблоков.
Переменная для высоты изображения в единицах макроблоков получается следующим способом:
PicHeightInMbs = org_pic_height_in_mbs_minus1+1
Переменная для высоты изображения для компонента яркости получается следующим способом:
PicHeightInSamplesL = PicHeightInMbs * 16
Переменная для высоты изображения для компонентов цветности получается следующим способом:
PicHeightInSamplesC = PicHeightInMbs * MbHeightC
Синтаксический элемент num_sub_views_minus1+1 указывает количество кодированных подвидов, включенных в текущий вид. Значение синтаксического элемента num_coded_views_minus1 находится в пределах диапазона 0-1023, включительно.
Синтаксический элемент sub_view_id [i] определяет синтаксический элемент sub_view_id подвида с порядком декодирования, указанным посредством переменной i.
Синтаксический элемент num_parts [sub_view_id [i]] определяет количество частей, на которые разделено изображение синтаксического элемента sub_view_id [i].
Синтаксические элементы loc_left_offset [sub_view_id [i]] [j] и loc_top_offset [sub_view_id [i]] [j] определяют местоположения в левом и верхнем смещениях элементов изображения, соответственно, где текущая часть j расположена на финальном восстановленном изображении вида с синтаксическим элементом sub_view_id, равным синтаксическому элементу sub_view_id [i].
Синтаксический элемент view_id [i] определяет синтаксический элемент view_id вида с порядком кодирования, указанным посредством переменной i.
Синтаксические элементы frame_crop_left_offset [view_id [i]] [j], frame_crop_right_offset [view_id [i]] [j], frame_crop_top_offset [view_id [i]] [j] и frame_crop_bottom_offset [view_id [i]] [j] определяют образцы изображений в кодированной видеопоследовательности, которые являются частью num_part j и view_id i в виде прямоугольной области, определенной в координатах кадра для вывода.
Переменные CropUnitX и CropUnitY получаются следующим способом:
- если значение синтаксического элемента chroma_format_idc равно нулю, то переменные CropUnitX и CropUnitY получаются следующим способом:
CropUnitX = 1
CropUnitY = 2 - frame_mbs_only_flag
- в противном случае (значение синтаксического элемента chroma_format_idc равно 1, 2 или 3) переменные CropUnitX и CropUnitY получаются следующим способом:
CropUnitX = SubWidthC
CropUnitY = SubHeightC * (2 - frame_mbs_only_flag)
Прямоугольник обрезанного кадра включает в себя образцы яркости с горизонтальными координатами кадра:
CropUnitX * frame_crop_left_offset до PicWidthInSamplesL - (CropUnitX * frame_crop_right_offset + 1) и вертикальными координатами кадра из CropUnitY * frame_crop_top_offset до (16 * FrameHeightInMbs) - (CropUnitY * frame_crop_bottom_offset + 1), включительно. Значение синтаксического элемента frame_crop_left_offset должно находиться в диапазоне 0 - (PicWidthInSamplesL / CropUnitX) - (frame_crop_right_offset + 1), включительно, а значение синтаксического элемента frame_crop_top_offset должно находиться в диапазоне 0 - (16 * FrameHeightInMbs / CropUnitY) - (frame_crop_bottom_offset + 1), включительно.
Когда значение синтаксического элемента chroma_format_idc не равно нулю, соответствующие определенные образцы двух наборов цветности являются образцами, имеющими координаты кадра (x / SubWidthC, у / SubHeightC), где (x, y) являются координатами кадра определенных образцов яркости.
При декодированных областях определенные образцы декодированной области являются образцами, которые находятся в пределах прямоугольника, определенного в координатах кадра.
Синтаксический элемент num_parts [view_id [i]] определяет количество частей, на которые разделено изображение синтаксического элемента view_id [i].
Синтаксический элемент depth_flag [view_id [i]] определяет, является ли текущая часть сигналом глубины. Если значение синтаксического элемента depth_flag равно нулю, то текущая часть не является сигналом глубины. Если значение синтаксического элемента depth_flag равно единице, то текущая часть является сигналом глубины, связанным с видом, идентифицированным посредством синтаксического элемента view_id [i].
Синтаксический элемент flip_dir [sub_view_id [i]] [j] определяет направление отражения для текущей части. Нулевое значение синтаксического элемента flip_dir указывает на отсутствие отражения, значение синтаксического элемента flip_dir, равное единице, указывает на отражение в горизонтальном направлении, значение синтаксического элемента flip_dir, равное двум, указывает на отражение в вертикальном направлении, а значение синтаксического элемента flip_dir, равное трем, указывает на отражение как в горизонтальном, так и в вертикальном направлениях.
Синтаксический элемент flip_dir [view_id [i]] [j] определяет направление отражения для текущей части. Нулевое значение синтаксического элемента flip_dir указывает на отсутствие отражения, значение синтаксического элемента flip_dir, равное единице, указывает на отражение в горизонтальном направлении, значение синтаксического элемента flip_dir, равное двум, указывает на отражение в вертикальном направлении, а значение синтаксического элемента flip_dir, равное трем, указывает на отражение как в горизонтальном, так и в вертикальном направлениях.
Синтаксические элементы loc_left_offset [view_id [i]] [j] и loc_top_offset [view_id [i]] [j] определяют местоположение в смещениях элементов изображения, где текущая часть j расположена на финальном восстановленном изображении вида с синтаксическим элементом view_id, равным синтаксическому элементу view_id [i]
Синтаксический элемент upsample_view_flag [view_id [i]] указывает, должно ли изображение, принадлежащее виду, определенному посредством синтаксического элемента view_id [i], быть передискретизировано. Нулевое значение синтаксического элемента upsample_view_flag [view_id [i]] определяет, что изображение с синтаксическим элементом view_id, равным синтаксическому элементу view_id [i], не будет передискретизировано. Значение синтаксического элемента upsample_view_flag [view_id [i]], равное единице, определяет, что изображение с синтаксическим элементом view_id, равным синтаксическому элементу view_id [i], будет передискретизировано.
Синтаксический элемент upsample_filter [view_id [i]] указывает тип фильтра, который будет использоваться для передискретизации. Нулевое значение синтаксического элемента upsample_filter [view_id [i]] указывает на то, что должен быть использован фильтр AVC с шестью сигналами, значение синтаксического элемента upsample_filter [view_id [i]], равное единице, указывает на то, что должен быть использован фильтр SVC с 4 сигналами, значение синтаксического элемента upsample_filter [view_id [i]], равное двум, указывает на то, что должен быть использован билинейный фильтр, значение синтаксического элемента upsample_filter [view_id [i]], равное трем, указывает на то, что были переданы специальные коэффициенты фильтрации. Если синтаксический элемент upsample_fiter [view_id [i]] отсутствует, то ему задается нулевое значение. В этом варианте осуществления мы используем специальный фильтр 2D. Он может быть легко расширен до фильтра 1D, а также до некоторого другого нелинейного фильтра.
Синтаксический элемент vert_dim [view_id [i]] определяет вертикальное измерение специального фильтра 2D.
Синтаксический элемент hor_dim [view_id [i]] определяет горизонтальное измерение специального фильтра 2D.
Синтаксический элемент quantizer [view_id [i]] определяет коэффициент квантования для каждого коэффициента фильтрации.
Синтаксический элемент filter_coeffs [view_id [i]] [yuv] [y] [x] определяет квантованные коэффициенты фильтрации. Сигналы yuv являются компонентом, к которому применяют коэффициенты фильтрации. Нулевое значение yuv определяет компонент Y, значение yuv, равное единице, определяет компонент U, а значение yuv, равное двум, определяет компонент V.
Синтаксические элементы pixel_dist_x [sub_view_id [i]] и pixel_dist_y [sub_view_id [i]] соответственно определяют расстояние в горизонтальном и вертикальном направлениях в финальном восстановленном псевдовиде между соседними элементами изображения в виде с синтаксическим элементом sub_view_id, равным синтаксическому элементу sub_view_id [i].
Синтаксический элемент num_pixel_tiling_filter_coeffs_minus1 [sub_view_id [i] [j] + 1 указывает количество коэффициентов фильтрации, когда значение синтаксического элемента tiling_mode задано равным единице.
Синтаксический элемент pixel_tiling_filter_coeffs [sub_view_id [i] [j] передает коэффициенты фильтрации, которые требуются для отображения фильтра, который может быть использован для фильтрации мозаичного изображения.
Примеры мозаичного расположения на уровне элементов изображения
На Фиг.22 два примера, изображающие формирование псевдовида посредством мозаичного расположения элементов изображения из четырех видов, соответственно обозначены посредством ссылочных номеров 2210 и 2220. Четыре вида совместно обозначены посредством ссылочного номера 2250. Синтаксические значения для первого примера, изображенного на Фиг.22, представлены ниже, в таблице 3.
Таблица 3
pseudo_view_mfo (pseudo_view_id) { Значение
num_sub_views_minus_1[pseudo_view_id] 3
sub_view_id[0] 0
num_parts_minus1 [0] 0
loc_left_offset[0][0] 0
loc_top_offset[0][0] 0
pixel_dist_x[0][0] 0
pixel_dist_y[O][0] 0
sub_view_id[1] 0
num_parts_minus1 [1 ] 0
loc_left_offset[1][0] 1
loc_top_offset[1][0] 0
pixel_dist_x[1][0] 0
pixel_dist_y[1][0] 0
sub_view_id[2] 0
num_parts_mmus1 [2] 0
loc_left_offset[2][0] 0
loc_top_offset[2][0] 1
pixel_dist_x[2][0] 0
pixel_dist_y[2][0] 0
sub_view_id[3] 0
num_parts_mmus1 [3] 0
loc_left_offset[3][0] 1
loc_top_offset[3][0] 1
pixel_dist_x[3][0] 0
pixel_dist_y[3][0] 0
Синтаксические значения для второго примера, изображенного на Фиг.22, являются аналогичными за исключением двух нижеперечисленных синтаксических элементов: значение синтаксического элемента loc_left_offset [3] [0] равно пяти, а значение синтаксического элемента loc_top_offset [3] [0] равно трем.
Смещение указывает, что элементы изображения, соответствующие виду, должны начаться с определенного местоположения смещения. Это изображено на Фиг.22 (2220). Это может быть выполнено, например, когда два вида создают изображения, в которых общие объекты кажутся смещенными с одного вида на другой. Например, если первая и вторая камеры (представляющие первый и второй виды) снимают объект, то объект может казаться смещенным на пять элементов изображения вправо во втором виде, по сравнению с первым видом. Это означает, что элемент (i-5, j) изображения в первом виде соответствует элементу (i, j) изображения во втором виде. Если элементы изображения двух видов попросту расположены мозаикой «элемент за элементом», то может и не быть большой корреляции между соседними элементами изображения в мозаике, а также эффективность пространственного кодирования может быть низкой. С другой стороны, посредством смещения мозаичного расположения так, чтобы элемент (i-5, j) изображения из первого вида был размещен рядом с элементом (i, j) изображения из второго вида, пространственная корреляция может быть улучшена, и эффективность пространственного кодирования также может быть повышена. Это следует из того, что, например, соответствующие элементы изображения для объекта в первом и втором видах размещаются мозаикой рядом друг с другом.
Следовательно, присутствие синтаксических элементов loc_left_offset и loc_top_offset может повысить эффективность кодирования. Информация о смещении может быть получена с помощью внешнего средства. Например, информация о местоположении камер или глобальных векторов несоответствия между видами может быть использована для определения такой информации о смещении.
В результате смещения некоторые элементы изображения в псевдовиде не имеют назначенных значений элементов изображения из любого вида. В продолжение вышеупомянутого примера, элемент (i-5, j) изображения из первого вида, располагаемый мозаикой около элемента (i, j) изображения из второго вида со значениями i=0 ... 4, не является элементом (i-5, j) изображения из первого вида для мозаики, поэтому эти элементы изображения являются пустыми в мозаике. Для тех элементов изображения в псевдовиде (мозаике), которые не имеют назначенных значений элементов изображения из любого вида, по меньшей мере, один вариант осуществления использует процедуру интерполяции, подобную процедуре интерполяции фрагментов элементов изображения при компенсации движения в кодировании AVC. Таким образом, пустые элементы изображения мозаики могут быть интерполированы из соседних элементов изображения. Такая интерполяция может привести к большей пространственной корреляции в мозаике, а также к большей эффективности кодирования для мозаики.
При кодировании видеосигнала мы можем выбрать различный тип кодирования для каждого изображения, такого как изображение I, P или В. Кроме того, при кодировании видеосигнала с множеством видов мы определяем фиксированные и нефиксированные изображения. В варианте осуществления мы предлагаем, что решение о группировании может быть принято на основе типа изображения. Эта информация о группировании сообщается в синтаксисе высокого уровня.
На Фиг.11 пример пяти видов, расположенных мозаикой в одном кадре, обозначен, в целом, посредством ссылочного номера 1100. В частности, последовательность изображена с пятью видами, расположенными мозаикой в одном кадре. Кроме того, можно заметить, что пятый вид разделен на две части для того, чтобы он мог быть расположен в прямоугольном кадре. В данном случае каждый вид имеет размер QVGA, следовательно, размер полного кадра является равным 640×600. Поскольку число 600 не является кратным числу 16, оно должно быть увеличено до 608.
Для этого примера, как показано в таблице 4, возможно сообщение SEI.
Таблица 4
multiview_display_info( payloadSize) { Значение
num_coded_views_minus1 5
org_pic_width_in_mbs_minus1 40
org_pic_height_in_mbs_minus1 30
view_id[ 0 ] 0
num_parts[view_id[ 0 ]] 1
depth_flag[view_id[ 0 ]][ 0 ] 0
flip_dir[view_id[ 0 ]][ 0 ] 0
loc_left_offset[view_id[ 0 ]] [ 0 ] 0
loc_top_offset[view_id[ 0 ]] [ 0 ] 0
frame_crop_left_offset[view_id[ 0 ]] [ 0 ] 0
frame_crop_right_offset[view_id[ 0 ]] [ 0 ] 320
frame_crop_top_offset[view_id[ 0 ]] [ 0 ] 0
frame_crop_bottom_offset[view_id[ 0 ]] [ 0 ] 240
upsample_view_flag[view_id[ 0 ]] 1
if(upsample_view_flag[view_id[ 0 ]]) {
vert_dim[view_id[0]] 6
hor_dim[view_id[0]] 6
quantizer[view_id[0]] 32
for (yuv= 0; yuv< 3; yuv++) {
for (у = 0; у < vert_dim[view_id[i]] -1; у ++) {
for (x = 0, x < hor_dim[view_id[i]] -1; x ++)
filter_coeffs[view_id[i]] [yuv][y][x] XX
view_id[ 1 ] 1
num_parts[view_id[ 1 ]] 1
depth_flag[view_id[ 0 ]][ 0 ] 0
fhp_dir[view_id[ 1 ]][ 0 ] 0
loc_left_offset[view_id[ 1 ]] [ 0 ] 0
loc_top_offset[view_id[ 1 ]] [ 0 ] 0
frame_crop_left_offset[view_id[ 1 ]] [ 0 ] 320
frame_crop_nght_offset[view_id[ 1 ]] [ 0 ] 640
frame_crop_top_offset[view_id[ 1 ]] [ 0 ] 0
frame_crop_bottom_offset[view_id[ 1 ]] [ 0 ] 320
upsample_view_flag[view_id[ 1 ]] 1
if(upsample_view_flag[view_id[ 1 ]]) {
vert_dim[view_id[1 ]] 6
hor_dim[view_id[1 ]] 6
quantizer[view_id[1 ]] 32
for (yuv= 0, yuv< 3; yuv++) {
for (у = 0, у < vert_dim[view_id[i]] -1; у ++) {
for (x = 0, x < hor_dim[view_id[i]] -1; x ++)
filter_coeffs[view_id[i]] [yuv][y][x] XX
(подобно для видов 2 и 3)
view_id[ 4 ] 4
num_parts[view_id[ 4 ]] 2
depth_flag[view_id[ 0 ]][ 0 ] 0
flip_dir[view_id[ 4 ]][ 0 ] 0
loc_left_offset[view_id[ 4 ]] [ 0 ] 0
loc_top_offset[view_id[ 4 ]] [ 0 ] 0
frame_crop_left_offset[view_id[ 4 ]] [ 0 ] 0
frame_crop_nght_offset[view_id[ 4 ]] [ 0 ] 320
frame_crop_top_offset[view_id[ 4 ]] [ 0 ] 480
frame_crop_bottom_offset[view_id[ 4 ]] [ 0 ] 600
fhp_dir[view_id[ 4 ]][ 1 ] 0
loc_left_offset[view_id[ 4 ]] [ 1 ] 0
loc_top_offset[view_id[ 4 ]] [ 1 ] 120
frame_crop_left_offset[view_id[ 4 ]] [ 1 ] 320
frame_crop_right_offset[view_id[ 4 ]] [ 1 ] 640
frame_crop_top_offset[view_id[ 4 ]] [ 1 ] 480
frame_crop_bottom_offset[view_id[ 4 ]] [ 1 ] 600
upsample_view_flag[view_id[ 4 ]] 1
if(upsample_view_flag[view_id[ 4 ]]) {
vert_dim[view_id[4]] 6
hor_dim[view_id[4]] 6
quantizer! view_id[4]] 32
for (yuv= 0, yuv< 3, yuv++) {
for (у = 0, у < vert_dim[view_id[i]] -1; у ++) {
for (x = 0, x < hor_dim[view_id[i]] -1; x ++)
filter_coeffs[view_id[i]] [yuv][y][x] XX
Таблица 5 изображает общую структуру синтаксиса для передачи информации о множестве видов, например, изображенной в таблице 4.
Таблица 5
multiview_display_mfo( payloadSize) { С Дескриптор
num_coded_views_minus1 5 ue(v)
org_pic_width_in_mbs_minus1 5 ue(v)
org_pic_height_in_mbs_minus1 5 ue(v)
for(i = 0, i<= num_coded_views_minus1; i++){
view_id[ i ] 5 ue(v)
num_parts[view_id[ i ]] 5 ue(v)
for( j = 0; j <= num_parts[i], j++) {
depthj lag[view_id[ i ]][ j ]
flip_dir[view_id[ i ]][j ] 5 u(2)
loc_left_offset[view_id[ i ]] [ j ] 5 ue(v)
loc_top_offset[view_id[ i ]] [ j ] 5 ue(v)
frame_crop_left_offset[view_id[ i ]] [ j ] 5 ue(v)
frame_crop_nght_offset[view_id[ i ]] [ j ] 5 ue(v)
frame_crop_top_offset[view_id[ i ]] [ j ] 5 ue(v)
frame_crop_bottom_offset[view_id[ i ]] [ j ] 5 ue(v)
}
upsample_yiew_flag[view_id[ i ]] 5 u(1)
if(upsample_view_flag[view_id[ i ]])
upsample_filter[view_id[ i ]] 5 u(2)
if(upsample_fiter[view_id[i]] == 3) {
vert_dim[view_id[i]] 5 ue(v)
hor_dim[view_id[i]] 5 ue(v)
quantizer[view_id[i]] 5 ue(v)
for (yuv= 0, yuv< 3; yuv++) {
for (у = 0; у < vert_dim[view_id[i]] -1; у ++) {
for (x = 0; x < hor_dim[view_id[i]] -1; x ++)
filter_coeffs[view_id[i]] [yuv][y][x] 5 se(v)
}
}
}
}
}
На Фиг.23 изображено устройство 2300 обработки видеосигнала. Устройство 2300 обработки видеосигнала может являться, например, телевизионной абонентской приставкой или другим устройством, которое принимает кодированный видеосигнал, а также обеспечивает, например, декодированный видеосигнал для отображения пользователю, или же для сохранения. Следовательно, устройство 2300 может выдать свой выходной сигнал на телевизор, на компьютерный монитор, на компьютер или на другое устройство обработки.
Устройство 2300 включает в себя декодер 2310, который принимает информационный сигнал 2320. Информационный сигнал 2320 может включать в себя, например, поток, совместимый с кодированием AVC или MVC. Декодер 2310 декодирует весь или часть принятого сигнала 2320, а также выдает в качестве выхода декодированный видеосигнал 2330 и информацию 2340 о мозаичном расположении. Декодированный видеосигнал 2330 и информация 2340 о мозаичном расположении предоставляются селектору 2350. Устройство 2300 также включает в себя пользовательский интерфейс 2360, который принимает пользовательский ввод 2370. Пользовательский интерфейс 2360 предоставляет селектору 2350 сигнал 2380 выбора изображения на основе пользовательского ввода 2370. Сигнал 2380 выбора изображения и пользовательский ввод 2370 указывают, какое из множества изображений пользователь желает отобразить. Селектор 2350 предоставляет выбранное изображение(я) в качестве выхода 2390. Селектор 2350 использует информацию 2380 о выборе изображения для выбора изображения из изображений в декодированном видеосигнале 2330 для предоставления в качестве выхода 2390. Селектор 2350 использует информацию 2340 о мозаичном расположении для определения местоположения выбранного изображения(й) в декодированном видеосигнале 2330.
В различных вариантах осуществления селектор 2350 включает в себя пользовательский интерфейс 2360, а в других вариантах осуществления пользовательский интерфейс 2360 не требуется, в связи с тем, что селектор 2350 непосредственно принимает пользовательский ввод 2370, без выполнения отдельной функции интерфейса. Например, селектор 2350 может быть реализован в программном обеспечении или в качестве интегральной схемы. Селектор 2350 также может включать в себя декодер 2310.
В общем, декодеры различных вариантов осуществления, описанных в настоящей заявке, могут предоставлять декодированный выходной сигнал, который включает в себя всю мозаику. Дополнительно или альтернативно, декодеры могут предоставлять декодированный выходной сигнал, который включает в себя исключительно одно или множество выбранных изображений (например, отображенные сигналы или сигналы глубины) из мозаики.
Как было отмечено выше, синтаксис высокого уровня может быть использован для выполнения передачи сигналов, в соответствии с одним или несколькими вариантами осуществления настоящих принципов. Синтаксис высокого уровня может быть использован, например, в числе прочего, для сообщения о количестве кодированных видов, присутствующих в большем кадре, об оригинальной ширине и высоте всех видов, об идентификаторе вида, соответствующего виду, для каждого кодированного вида, о количестве частей кадра вида, на которые он разделен, для каждого кодированного вида, о направлении отражения (которое может быть, например, отсутствием отражения, исключительно горизонтальным отражением, исключительно вертикальным отражением или и горизонтальным, и вертикальным отражением) для каждой части вида, о левой позиции в элементах изображения или количестве макроблоков, где текущая часть принадлежит в финальном кадре виду, для каждой части вида, о верхней позиции части в элементах изображения или количестве макроблоков, где текущая часть принадлежит в финальном кадре виду, для каждой части вида, о левой позиции, в текущем большом декодированном/кодированном кадре, обрезанного окна в элементах изображения или количестве макроблоков, для каждой части вида, о правой позиции, в текущем большом декодированном/кодированном кадре, обрезанного окна в элементах изображения или количестве макроблоков, для каждой части вида, о верхней позиции, в текущем большом декодированном/кодированном кадре, обрезанного окна в элементах изображения или количестве макроблоков, для каждой части вида, и о нижней позиции, в текущем большом декодированном/кодированном кадре, обрезанного окна в элементах изображения или количестве макроблоков, для каждой части вида, о том, должен ли вид быть передискретизирован перед выводом (где в случае, когда должна быть выполнена передискретизация, синтаксис высокого уровня может быть использован для указания способа передискретизации (включая в себя, в числе прочего, фильтр AVC с 6 сигналами, фильтр SVC с 4 сигналами, билинейный фильтр или специальный 1D, 2D линейный или нелинейный фильтр) для каждого кодированного вида.
Следует отметить, что термины «кодер» и «декодер» коннотируют общие структуры, а также не ограничены никакими конкретными функциями или отличительными признаками. Например, декодер может принять модулированную несущую, которая транспортирует кодированный битовый поток, демодулировать кодированный битовый поток, а также декодировать битовый поток.
Были описаны различные способы. Многие из этих способов были подробно описаны для обеспечения достаточного раскрытия. Однако, следует отметить, что вариации являются предполагаемыми, которые могут изменить один или несколько определенных отличительных признаков, описанных для этих способов. Кроме того, многие из перечисленных отличительных признаков известны специалистам в данной области техники и, соответственно, подробно не описаны.
Кроме того, была сделана ссылка на использование синтаксиса высокого уровня для посылки определенной информации в нескольких вариантах осуществления. Однако, должно быть понятно, что другие варианты осуществления используют синтаксис низкого уровня, нежели совершенно другие механизмы (такие как, например, посылка информации в качестве части кодированных данных) для предоставления такой информации (или вариации этой информации).
Различные варианты осуществления обеспечивают мозаичное расположение, а также соответствующую передачу сигналов для предоставления множеству видов (в общем, изображений) возможности мозаичного расположения в одном изображении, кодированном в качестве одного изображения, а также посылки в качестве одного изображения. Сигнальная информация (служебное сообщение) может предоставить постпроцессору возможность разделения видов/изображений. Кроме того, множество изображений, которые расположены мозаикой, могут являться видами, а также, по меньшей мере, одно из изображений может являться информацией о глубины. Эти варианты осуществления могут предоставить одно или несколько преимуществ. Например, пользователи могут желать отобразить в виде мозаики множество видов, и эти различные варианты осуществления обеспечивают эффективный способ кодирования и передачи или сохранения таких видов посредством их мозаичного расположения до кодирования и передачи/сохранения их в виде мозаики.
Варианты осуществления мозаики из множества видов, применительно к кодированию AVC и/или MVC, обеспечивают дополнительные преимущества. Кодирование AVC является фиктивным и исключительно используется для одного вида, следовательно никакой дополнительный вид не ожидается. Однако такие варианты осуществления, основанные на кодировании AVC, могут обеспечить множество видов в среде AVC в связи с тем, что, расположенные мозаикой виды могут быть расположены так, чтобы, например, декодер знал, что расположенные мозаикой изображения принадлежат различным видам (например, верхнее левое изображение в псевдовиде является первым видом, верхнее правое изображение является вторым видом и т.д.).
Кроме того, кодирование MVC уже включает в себя множество видов, следовательно, не ожидается включение в один псевдовид множества видов. Кроме того, кодирование MVC имеет предел по количеству видов, которые могут быть поддержаны, и такие варианты осуществления, основанные на кодировании MVC, эффективно увеличивают количество видов, которые могут быть поддержаны, посредством предоставления (как в вариантах осуществления, основанных на кодировании AVC) дополнительным видам возможности мозаичного расположения. Например, каждый псевдовид может соответствовать одному из поддерживаемых видов кодирования MVC, и декодер может быть проинформирован о том, что каждый «поддерживаемый вид» фактически включает в себя четыре вида в заранее установленном мозаичном порядке. Следовательно, в таком варианте осуществления количество возможных видов в четыре раза больше количества «поддерживаемых видов».
Например, описанные в настоящем документе варианты осуществления могут быть реализованы в способе или процессе, устройстве или системной программе. Даже при обсуждении применительно исключительно к одной форме варианта осуществления (например, обсуждение исключительно в качестве способа), обсужденный вариант осуществления отличительных признаков также может быть реализован в других формах (например, в форме устройства или программы). Например, устройство может быть реализовано в соответствующих аппаратных средствах, программных средствах и микропрограммных средствах. Например, способы могут быть реализованы в устройстве, таком как, например, процессор, которое, в целом, относится к устройству обработки, включающему в себя, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Устройства обработки также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/личные цифровые устройства («PDA») и другие устройства, которые содействуют связи между оконечными пользователями.
Варианты осуществления различных описанных в настоящем документе процессов и отличительных признаков могут быть реализованы во множестве различного оборудования или приложений, в частности, например, в оборудовании или приложении, связанном с кодированием и декодированием данных. Примеры оборудования включают в себя видеокодеры, видеодекодеры, видеокодеки, веб-серверы, телевизионные абонентские приставки, ноутбуки, персональные компьютеры, сотовые телефоны, устройства PDA и другие устройства связи. Как должно быть понятно, оборудование может являться мобильным, а также может быть установлено на подвижном транспортном средстве.
Кроме того, способы могут быть реализованы посредством команд, выполняемых посредством процессора, а также такие команды могут быть сохранены на носителе, считываемом посредством процессора, таком как, например, интегральная схема, программная несущая или другое запоминающее устройство, такое как, например, жесткий диск, компактная дискета, оперативное запоминающее устройство («RAM») или постоянное запоминающее устройство («ROM»). Команды могут сформировать прикладную программу, реально реализованную на носителе, считываемом посредством процессора. Как должно быть понятно, процессор может включать в себя носитель, считываемый посредством процессора, содержащий, например, команды для выполнения процесса. Такие прикладные программы могут быть загружены и выполнены посредством машины, включающей в себя любую подходящую архитектуру. Предпочтительно, машина реализуется на компьютерной платформе, содержащей аппаратные средства, такие как один или множество центральных процессоров («CPU»), оперативное запоминающее устройство («RAM») и интерфейсы ввода/вывода («I/O»). Компьютерная платформа также может включать в себя операционную систему и код микрокоманды. Различные описанные в настоящем документе процессы и функции могут являться либо частью кода микрокоманды, либо частью прикладной программы, либо любой комбинацией вышеперечисленного, которая может быть выполнена посредством центрального процессора (CPU). Кроме того, с компьютерной платформой могут быть соединены различные другие периферийные устройства такие, как дополнительное устройство хранения данных и печатающее устройство.
Как должно быть понятно специалистам в данной области техники, варианты осуществления также могут создать сигнал, отформатированный для транспортировки информации, которая может быть, например, сохранена или передана. Информация может включать в себя, например, команды для выполнения способа, или данные, сформированные посредством одного из описанных вариантов осуществления. Такой сигнал может быть отформатирован, например, в качестве электромагнитной волны (например, с использованием части радиочастотного спектра) или в качестве видеосигнала. Форматирование может включать в себя, например, кодирование потока данных, создание синтаксиса и модуляцию несущей с кодированным потоком данных и синтаксисом. Информация, которую транспортирует сигнал, может являться, например, аналоговой или цифровой информацией. Как известно, сигнал может быть передан по нескольким различным проводным или беспроводным линиям связи.
Кроме того, дополнительно следует понимать, что, в связи с тем, что некоторые из составляющих системных компонентов и способов, изображенных на сопроводительных чертежах, предпочтительно реализованы в программном обеспечении, и фактические соединения между системными компонентами или функциональными блоками процесса могут отличаться, в зависимости от способа, которым запрограммированы настоящие принципы. Благодаря обучающему материалу настоящего документа, специалисты в данной области техники смогут рассмотреть эти и подобные варианты осуществления или конфигурации настоящих принципов.
Было описано несколько вариантов осуществления. Тем не менее, подразумевается, что могут быть сделаны различные модификации. Например, элементы различных вариантов осуществления могут быть объединены, добавлены, изменены или удалены для создания других вариантов осуществления. Кроме того, специалистам в данной области техники будет понятно, что другими структурами и процессами можно заменить раскрытые и получаемые варианты осуществления, выполняющие, по меньшей мере, по существу, аналогичную функцию(и), по меньшей мере, по существу, аналогичный способ (ы), для достижения, по меньшей мере, по существу, аналогичного результата(ов) по сравнению с раскрытыми вариантами осуществления. В частности, несмотря на то, что иллюстративные варианты осуществления были описаны в настоящем документе со ссылкой на сопроводительные чертежи, следует подразумевать, что настоящие принципы не ограничиваются этими определенными вариантами осуществления, а также что специалистами в данной области техники могут быть сделаны изменения и модификации, не отступая от объема или сущности настоящих принципов. Соответственно, эти и другие варианты осуществления рассматриваются посредством настоящей заявки, а также в пределах объема следующей формулы изобретения.

Claims (10)

1. Способ декодирования битового потока видео при помощи устройства декодирования, причем способ содержит этапы, на которых:
осуществляют доступ к видеоизображению в битовом потоке, которое включает в себя множество изображений, объединенных в одно изображение, при этом упомянутое множество изображений включает в себя первое изображение из первого вида и второе изображение из второго вида;
осуществляют доступ к информации в битовом потоке, указывающей на то, как объединяется множество изображений в видеоизображении, к которому осуществлен доступ, причем упомянутая информация указывает, действительно ли по меньшей мере одно из изображений по отдельности зеркально отражается; и
декодируют видеоизображение в декодированные версии упомянутого первого изображения и упомянутого второго изображения на основе извлеченной из битового потока информации о зеркальном отражении, к которой осуществлен доступ.
2. Способ по п.1, в котором множество изображений включает в себя первое изображение из первого вида и третье изображение, включающее в себя информацию глубины для первого изображения.
3. Способ по п.1, в котором информация о зеркальном отражении, к которой осуществлен доступ, указывает, что по меньшей мере одно из множества изображений в упомянутом видеоизображении зеркально отражено в горизонтальном или вертикальном направлении.
4. Способ по п.1, в котором информация, к которой осуществлен доступ, указывает, что множество изображений объединены попиксельным образом.
5. Способ по п.1, в котором упомянутые осуществление доступа к видеоизображению, осуществление доступа к информации, декодирование видеоизображения и обеспечение информации, к которой осуществлен доступ, и декодированного видеоизображения осуществляют в декодере.
6. Способ по п.1, в котором информация содержится по меньшей мере в одном элементе синтаксиса высокого уровня.
7. Способ по п.6, в котором элемент синтаксиса высокого уровня содержится по меньшей мере в одном из заголовка части, набора параметров последовательности, набора параметров изображения, набора параметров вида, заголовка блока уровня сетевой абстракции и сообщения уровня дополнительной информации расширения.
RU2020115046A 2007-04-12 2020-04-29 Мозаичное расположение при кодировании и декодировании видео RU2733273C1 (ru)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US92301407P 2007-04-12 2007-04-12
US60/923,014 2007-04-12
US92540007P 2007-04-20 2007-04-20
US60/925,400 2007-04-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2019132623A Division RU2721941C1 (ru) 2007-04-12 2019-10-15 Мозаичное расположение при кодировании и декодировании видео

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2020129105A Division RU2752572C1 (ru) 2007-04-12 2020-09-03 Мозаичное расположение при кодировании и декодировании видео

Publications (1)

Publication Number Publication Date
RU2733273C1 true RU2733273C1 (ru) 2020-10-01

Family

ID=39810226

Family Applications (8)

Application Number Title Priority Date Filing Date
RU2009141712/07A RU2521618C2 (ru) 2007-04-12 2008-04-11 Мозаичное расположение при кодировании и декодировании видео
RU2014116612A RU2651227C2 (ru) 2007-04-12 2014-04-24 Мозаичное расположение при кодировании и декодировании видео
RU2018110596A RU2684184C1 (ru) 2007-04-12 2018-03-26 Мозаичное расположение при кодировании и декодировании видео
RU2019107969A RU2709671C1 (ru) 2007-04-12 2019-03-20 Мозаичное расположение при кодировании и декодировании видео
RU2019132623A RU2721941C1 (ru) 2007-04-12 2019-10-15 Мозаичное расположение при кодировании и декодировании видео
RU2020115046A RU2733273C1 (ru) 2007-04-12 2020-04-29 Мозаичное расположение при кодировании и декодировании видео
RU2020129105A RU2752572C1 (ru) 2007-04-12 2020-09-03 Мозаичное расположение при кодировании и декодировании видео
RU2021110509A RU2763966C1 (ru) 2007-04-12 2021-04-15 Мозаичное расположение при кодировании и декодировании видео

Family Applications Before (5)

Application Number Title Priority Date Filing Date
RU2009141712/07A RU2521618C2 (ru) 2007-04-12 2008-04-11 Мозаичное расположение при кодировании и декодировании видео
RU2014116612A RU2651227C2 (ru) 2007-04-12 2014-04-24 Мозаичное расположение при кодировании и декодировании видео
RU2018110596A RU2684184C1 (ru) 2007-04-12 2018-03-26 Мозаичное расположение при кодировании и декодировании видео
RU2019107969A RU2709671C1 (ru) 2007-04-12 2019-03-20 Мозаичное расположение при кодировании и декодировании видео
RU2019132623A RU2721941C1 (ru) 2007-04-12 2019-10-15 Мозаичное расположение при кодировании и декодировании видео

Family Applications After (2)

Application Number Title Priority Date Filing Date
RU2020129105A RU2752572C1 (ru) 2007-04-12 2020-09-03 Мозаичное расположение при кодировании и декодировании видео
RU2021110509A RU2763966C1 (ru) 2007-04-12 2021-04-15 Мозаичное расположение при кодировании и декодировании видео

Country Status (21)

Country Link
US (13) US8780998B2 (ru)
EP (12) EP3920538B1 (ru)
JP (10) JP5324563B2 (ru)
KR (11) KR102123772B1 (ru)
CN (1) CN101658037B (ru)
AU (1) AU2008239653C1 (ru)
BR (5) BRPI0823512A2 (ru)
DK (7) DK3758381T3 (ru)
ES (7) ES2864544T3 (ru)
FI (1) FI3920538T3 (ru)
HK (1) HK1255617A1 (ru)
HU (7) HUE052116T2 (ru)
LT (1) LT2887671T (ru)
MX (1) MX2009010973A (ru)
PL (7) PL2887671T3 (ru)
PT (7) PT3836550T (ru)
RU (8) RU2521618C2 (ru)
SI (6) SI3920538T1 (ru)
TR (1) TR201809177T4 (ru)
WO (1) WO2008127676A2 (ru)
ZA (2) ZA201006649B (ru)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8692695B2 (en) 2000-10-03 2014-04-08 Realtime Data, Llc Methods for encoding and decoding data
SI3920538T1 (sl) 2007-04-12 2023-08-31 Dolby International Ab Razpostavljanje pri kodiranju in dekodiranju videa
JP2010527216A (ja) 2007-05-16 2010-08-05 トムソン ライセンシング マルチビュー・ビデオ符号化（ｍｖｃ）情報の符号化においてスライス群を使用する方法及び装置
CN105721877A (zh) 2008-09-23 2016-06-29 杜比实验室特许公司 对交织的图像数据进行解码的方法和包括编解码器的装置
WO2010043773A1 (en) 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
RU2543954C2 (ru) 2009-01-26 2015-03-10 Томсон Лайсенсинг Упаковка кадров для кодирования видео
CN105376549B (zh) 2009-01-29 2017-08-11 杜比实验室特许公司 视频编码方法及解码视频信号的方法
WO2010087575A2 (en) * 2009-02-01 2010-08-05 Lg Electronics Inc. Broadcast receiver and 3d video data processing method
WO2010093350A1 (en) * 2009-02-13 2010-08-19 Thomson Licensing Depth map coding using video information
BRPI1013339B1 (pt) * 2009-02-19 2021-09-21 Interdigital Madison Patent Holdings Método e aparelho para codificar vídeo, método e aparelho para decodificar vídeo, sinal de vídeo formatado para incluir informações e mídia legível por processador
JP5562408B2 (ja) 2009-04-20 2014-07-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 指揮された補間およびデータの後処理
KR20120013966A (ko) * 2009-05-01 2012-02-15 톰슨 라이센싱 3ｄｖ를 위한 기준 화상 리스트
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
JP2011109397A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
US8555324B2 (en) 2010-02-02 2013-10-08 Microsoft Corporation Video download mechanism for transferring large data
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
IT1401731B1 (it) 2010-06-28 2013-08-02 Sisvel Technology Srl Metodo per la decodifica 2d-compatibile di flussi video stereoscopici
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
CN105812827B (zh) 2010-07-21 2019-04-16 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
CN103098462A (zh) * 2010-08-06 2013-05-08 松下电器产业株式会社 编码方法、显示装置以及解码方法
EP2604041A1 (en) * 2010-08-09 2013-06-19 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
EP2617194A1 (en) 2010-09-14 2013-07-24 Thomson Licensing Compression methods and apparatus for occlusion data
CA2815955C (en) * 2010-10-28 2017-05-02 Lg Electronics Inc. Receiver apparatus and method for receiving a three-dimensional broadcast signal in a mobile environment
JP2012114575A (ja) * 2010-11-22 2012-06-14 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
WO2012153450A1 (ja) * 2011-05-11 2012-11-15 パナソニック株式会社 動画像送信装置および動画像送信方法
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
CN104247433B (zh) * 2012-04-06 2018-02-06 索尼公司 解码装置和解码方法以及编码装置和编码方法
TWI521940B (zh) 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
US9584803B2 (en) * 2012-07-08 2017-02-28 Cisco Technology, Inc. Picture output management in video applications with fixed picture rate
US9554146B2 (en) * 2012-09-21 2017-01-24 Qualcomm Incorporated Indication and activation of parameter sets for video coding
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
BR112015017192B1 (pt) * 2013-01-18 2023-11-07 Canon Kabushiki Kaisha Método e dispositivo para encapsular dados de mídia programada particionados, meio de armazenamento e meio de gravação
TWI558166B (zh) 2013-04-04 2016-11-11 杜比國際公司 用於多視點裸視立體顯示器的深度地圖遞送格式
WO2014209352A1 (en) * 2013-06-28 2014-12-31 Thomson Licensing Highlighting an object displayed by a pico projector
EP3018910B1 (en) 2013-07-05 2019-11-13 Saturn Licensing LLC Transmission device, transmission method, reception device, and reception method
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
CN104869457B (zh) * 2015-05-21 2019-04-26 京东方科技集团股份有限公司 显示器、显示装置、播放器、播放装置及播放显示系统
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US10170154B2 (en) 2015-11-16 2019-01-01 Virtual Dreamware, LLC Symmetrically mirrored video segment
KR20240044535A (ko) 2016-02-09 2024-04-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
CN115150618A (zh) * 2016-05-27 2022-10-04 松下电器（美国）知识产权公司 解码装置及系统
JP6185635B2 (ja) * 2016-09-02 2017-08-23 株式会社ユニバーサルエンターテインメント 遊技機
US10334277B2 (en) * 2016-09-02 2019-06-25 Qualcomm Incorporated Signaling target display parameters of color remapping information supplemental enhancement information messages
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US10021976B1 (en) * 2016-11-01 2018-07-17 Scott Allen Furniture system
EP3468187A1 (en) 2017-10-03 2019-04-10 Axis AB Method and system for encoding video streams
CN112136326B (zh) * 2018-05-23 2023-12-12 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
KR102165334B1 (ko) 2019-06-03 2020-10-13 방지철 택배운반용 드론의 에어백 개스 주입장치
US11284113B2 (en) * 2019-09-25 2022-03-22 Tencent America LLC Method for signaling subpicture identifier
CN111510729A (zh) * 2020-03-25 2020-08-07 西安电子科技大学 一种基于视频编解码技术的rgbd数据压缩传输方法
US11221907B1 (en) * 2021-01-26 2022-01-11 Morgan Stanley Services Group Inc. Centralized software issue triage system
JP2024509787A (ja) * 2021-02-28 2024-03-05 レイア、インコーポレイテッド 圧縮されたマルチビュービデオをストリーミングするシステムおよび方法
JPWO2022210661A1 (ru) 2021-03-30 2022-10-06
EP4311238A1 (en) 2021-04-23 2024-01-24 Panasonic Intellectual Property Corporation of America Image decoding method, image coding method, image decoder, and image encoder
CN117203963A (zh) 2021-04-23 2023-12-08 松下电器（美国）知识产权公司 图像编码方法、图像解码方法、图像处理方法、图像编码装置以及图像解码装置
US20230097425A1 (en) * 2021-09-29 2023-03-30 Tencent America LLC Techniques for signaling multiview view positions in sei message

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5915091A (en) * 1993-10-01 1999-06-22 Collaboration Properties, Inc. Synchronization in video conferencing
US6173087B1 (en) * 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
RU2189120C2 (ru) * 1996-09-09 2002-09-10 Сони Корпорейшн Кодирование и декодирование изображений
EP1581003A1 (en) * 2004-03-23 2005-09-28 British Broadcasting Corporation Monitoring system
WO2006001653A1 (en) * 2004-06-25 2006-01-05 Lg Electronics Inc. Method of coding and decoding multiview sequence and method of displaying thereof
RU2006101400A (ru) * 2003-06-19 2006-06-10 Нокиа Корпорейшн (Fi) Переключение потока на основе постепенного восстановления при декодировании
US20070030356A1 (en) * 2004-12-17 2007-02-08 Sehoon Yea Method and system for processing multiview videos for view synthesis using side information

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193000A (en) * 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system
JPH0870475A (ja) * 1994-06-23 1996-03-12 Sanyo Electric Co Ltd 立体動画像の符号化・復号化方法及び装置
US5748786A (en) 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
DE59700033D1 (de) 1996-05-10 1998-12-03 Melcher Ag Vorrichtung zur montage elektrischer bauteile auf leiterplatten
DE19619598A1 (de) * 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
CN1223772A (zh) * 1996-07-03 1999-07-21 松下电器产业株式会社 多个图像信息的编码方法、编码装置、译码及合成方法、译码及合成装置和记录上述方法的记录媒体
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6721952B1 (en) * 1996-08-06 2004-04-13 Roxio, Inc. Method and system for encoding movies, panoramas and large images for on-line interactive viewing and gazing
CN1244278A (zh) * 1996-12-27 2000-02-09 切克梅特国际公司 用于从二维视频源中合成出三维视频的系统和方法
US6157396A (en) 1999-02-16 2000-12-05 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
US6390980B1 (en) 1998-12-07 2002-05-21 Atl Ultrasound, Inc. Spatial compounding with ultrasonic doppler signal information
US6223183B1 (en) 1999-01-29 2001-04-24 International Business Machines Corporation System and method for describing views in space, time, frequency, and resolution
JP2000308089A (ja) 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
US7254265B2 (en) 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
DE10016074B4 (de) 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
GB0013273D0 (en) 2000-06-01 2000-07-26 Philips Electronics Nv Video signal encoding and buffer management
CN1210645C (zh) 2000-09-18 2005-07-13 国际商业机器公司 管理计算机显示器上的视图的方法
US20030004835A1 (en) * 2001-05-31 2003-01-02 International Business Machines Corporation Method, system, and product service for locating items satisfying a general requirement and ranking items according to utility
US20030112508A1 (en) * 2001-08-17 2003-06-19 Byoungyi Yoon Method and system for controlling space magnification for stereoscopic images
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
CN1295655C (zh) 2001-11-24 2007-01-17 Tdv技术公司 从2d图像序列生成立体图像序列
US7263240B2 (en) 2002-01-14 2007-08-28 Eastman Kodak Company Method, system, and software for improving signal quality using pyramidal decomposition
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US20030198290A1 (en) 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
WO2003092305A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image encodder, image decoder, record medium, and image recorder
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US20040012684A1 (en) * 2002-07-16 2004-01-22 Fairchild Imaging Image reconstruction techniques for charge coupled devices
JP2004120169A (ja) * 2002-09-25 2004-04-15 Sharp Corp 電子機器
JP4251864B2 (ja) * 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
US20050041736A1 (en) 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
US7489342B2 (en) 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US7496234B2 (en) 2003-06-20 2009-02-24 Microsoft Corporation System and method for seamless multiplexing of embedded bitstreams
CN1571508B (zh) * 2003-07-19 2010-05-12 华为技术有限公司 一种实现多画面的方法
JP2005049665A (ja) 2003-07-30 2005-02-24 Nec Plasma Display Corp 映像信号処理回路、表示装置及びその映像信号処理方法
JP4355914B2 (ja) * 2003-10-01 2009-11-04 日本電気株式会社 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
KR100519776B1 (ko) 2003-11-24 2005-10-07 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
KR100587952B1 (ko) 2003-12-05 2006-06-08 한국전자통신연구원 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US20060007200A1 (en) * 2004-07-08 2006-01-12 David Young Method and system for displaying a sequence of image frames
RU2402811C2 (ru) 2004-07-29 2010-10-27 Майкрософт Корпорейшн Обработка изображений с помощью линейных параметров светоустановки и других усовершенствований обработки изображений
KR100714068B1 (ko) 2004-10-16 2007-05-02 한국전자통신연구원 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치
EP1667448A1 (en) 2004-12-02 2006-06-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding and for decoding a main video signal and one or more auxiliary video signals
WO2006072985A1 (ja) * 2005-01-06 2006-07-13 Mitsubishi Denki Kabushiki Kaisha 映像表示装置
JP2006191357A (ja) * 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
US20060176318A1 (en) 2005-02-09 2006-08-10 Martin Virginia L Method for manipulating artwork to form decorative pieces
JP4849297B2 (ja) 2005-04-26 2012-01-11 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US8228994B2 (en) 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
RU2409008C2 (ru) * 2005-06-23 2011-01-10 Конинклейке Филипс Электроникс Н.В. Комбинированная передача изображения и соответствующих данных о глубине
JP4637672B2 (ja) * 2005-07-22 2011-02-23 株式会社リコー 符号化処理装置及び方法
US7668366B2 (en) 2005-08-09 2010-02-23 Seiko Epson Corporation Mosaic image data processing
WO2007046957A1 (en) 2005-10-12 2007-04-26 Thomson Licensing Method and apparatus for using high-level syntax in scalable video encoding and decoding
CN101292538B (zh) 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
US7903737B2 (en) 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US8457219B2 (en) 2005-12-30 2013-06-04 Ikanos Communications, Inc. Self-protection against non-stationary disturbances
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
EP1982518A4 (en) 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO
US20070205367A1 (en) 2006-03-01 2007-09-06 General Electric Company Apparatus and method for hybrid computed tomography imaging
KR101245251B1 (ko) 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
JP2008034892A (ja) 2006-03-28 2008-02-14 Victor Co Of Japan Ltd 多視点画像符号化装置
EP1999967A2 (en) 2006-03-29 2008-12-10 Thomson Licensing Multi-view video coding method and device
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
WO2008024345A1 (en) 2006-08-24 2008-02-28 Thomson Licensing Adaptive region-based flipping video coding
WO2008056318A2 (en) 2006-11-07 2008-05-15 Koninklijke Philips Electronics N.V. Method and device for speckle reduction
EP2418851A3 (en) 2006-12-21 2012-05-23 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
US8515194B2 (en) 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
US9769462B2 (en) * 2007-03-16 2017-09-19 Thomson Licensing System and method for combining text with three dimensional content
SI3920538T1 (sl) 2007-04-12 2023-08-31 Dolby International Ab Razpostavljanje pri kodiranju in dekodiranju videa
WO2008140190A1 (en) 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
JP4418827B2 (ja) 2007-05-16 2010-02-24 三菱電機株式会社 画像表示装置及び方法、並びに画像発生装置及び方法
KR100962696B1 (ko) 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
US20100161686A1 (en) 2007-06-19 2010-06-24 Electronic And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
US8471893B2 (en) 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US8218855B2 (en) 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
KR100918862B1 (ko) 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
EP2235957A1 (en) 2007-12-20 2010-10-06 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
KR101506217B1 (ko) 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US20090219985A1 (en) 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
US8878836B2 (en) 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
KR101506219B1 (ko) 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
US20110135005A1 (en) 2008-07-20 2011-06-09 Dolby Laboratories Licensing Corporation Encoder Optimization of Stereoscopic Video Delivery Systems
US8106924B2 (en) 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5915091A (en) * 1993-10-01 1999-06-22 Collaboration Properties, Inc. Synchronization in video conferencing
RU2189120C2 (ru) * 1996-09-09 2002-09-10 Сони Корпорейшн Кодирование и декодирование изображений
US6173087B1 (en) * 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
RU2006101400A (ru) * 2003-06-19 2006-06-10 Нокиа Корпорейшн (Fi) Переключение потока на основе постепенного восстановления при декодировании
EP1581003A1 (en) * 2004-03-23 2005-09-28 British Broadcasting Corporation Monitoring system
WO2006001653A1 (en) * 2004-06-25 2006-01-05 Lg Electronics Inc. Method of coding and decoding multiview sequence and method of displaying thereof
US20070030356A1 (en) * 2004-12-17 2007-02-08 Sehoon Yea Method and system for processing multiview videos for view synthesis using side information

Also Published As

Publication number Publication date
WO2008127676A9 (en) 2009-02-12
RU2763966C1 (ru) 2022-01-12
RU2651227C2 (ru) 2018-04-18
SI3758380T1 (sl) 2021-04-30
HUE053806T2 (hu) 2021-07-28
WO2008127676A2 (en) 2008-10-23
HUE038192T2 (hu) 2018-10-29
DK3836550T3 (da) 2021-08-23
AU2008239653C1 (en) 2015-05-07
LT2887671T (lt) 2018-07-25
PT3399756T (pt) 2020-10-13
US10432958B2 (en) 2019-10-01
PT3920538T (pt) 2023-04-10
KR20190127999A (ko) 2019-11-13
BR122018004904B1 (pt) 2019-11-05
KR20140098825A (ko) 2014-08-08
KR20100016212A (ko) 2010-02-12
HUE029776T2 (en) 2017-04-28
US20140301479A1 (en) 2014-10-09
US9838705B2 (en) 2017-12-05
EP3399756A1 (en) 2018-11-07
ES2864544T3 (es) 2021-10-14
US9219923B2 (en) 2015-12-22
CN101658037B (zh) 2013-07-10
JP2020188517A (ja) 2020-11-19
US10764596B2 (en) 2020-09-01
JP2010524398A (ja) 2010-07-15
KR102204262B1 (ko) 2021-01-18
DK3758381T3 (da) 2021-04-12
CN101658037A (zh) 2010-02-24
US20190037230A1 (en) 2019-01-31
JP7116812B2 (ja) 2022-08-10
KR101646089B1 (ko) 2016-08-05
JP6825155B2 (ja) 2021-02-03
JP5674873B2 (ja) 2015-02-25
KR20180089560A (ko) 2018-08-08
EP2512136B1 (en) 2016-06-01
FI3920538T3 (fi) 2023-04-05
ES2675164T3 (es) 2018-07-09
EP2887671A1 (en) 2015-06-24
US9445116B2 (en) 2016-09-13
US20160360218A1 (en) 2016-12-08
KR20210006026A (ko) 2021-01-15
PT3758380T (pt) 2021-03-09
DK2512136T3 (en) 2016-08-22
JP5324563B2 (ja) 2013-10-23
PL3758381T3 (pl) 2021-07-05
PL3836550T3 (pl) 2021-12-13
JP2019201436A (ja) 2019-11-21
RU2521618C2 (ru) 2014-07-10
EP2512135B1 (en) 2015-03-18
PL3758380T3 (pl) 2021-05-17
US9706217B2 (en) 2017-07-11
JP2017135756A (ja) 2017-08-03
KR20150046385A (ko) 2015-04-29
EP2512135A1 (en) 2012-10-17
KR101965781B1 (ko) 2019-04-05
SI3920538T1 (sl) 2023-08-31
JP2022140599A (ja) 2022-09-26
KR20200069389A (ko) 2020-06-16
KR102123772B1 (ko) 2020-06-16
SI3399756T1 (sl) 2020-11-30
PT3758381T (pt) 2021-04-13
HUE055864T2 (hu) 2021-12-28
ZA201201942B (en) 2012-11-28
EP3836550B1 (en) 2021-07-21
PL3399756T3 (pl) 2020-12-14
JP7357125B2 (ja) 2023-10-05
JP2013258716A (ja) 2013-12-26
ZA201006649B (en) 2012-09-26
BR122018004906B1 (pt) 2019-11-12
EP4210330A1 (en) 2023-07-12
US20180213246A1 (en) 2018-07-26
RU2009141712A (ru) 2011-05-20
US10129557B2 (en) 2018-11-13
KR102044130B1 (ko) 2019-11-12
RU2721941C1 (ru) 2020-05-25
EP3399756B1 (en) 2020-09-09
US20190253727A1 (en) 2019-08-15
PL2512136T3 (pl) 2016-11-30
HUE052116T2 (hu) 2021-04-28
ES2858578T3 (es) 2021-09-30
US10298948B2 (en) 2019-05-21
US20190379897A1 (en) 2019-12-12
RU2709671C1 (ru) 2019-12-19
EP3855743A1 (en) 2021-07-28
EP4383719A2 (en) 2024-06-12
HK1255617A1 (zh) 2019-08-23
ES2586406T3 (es) 2016-10-14
US20150281736A1 (en) 2015-10-01
EP3920538A1 (en) 2021-12-08
KR101766479B1 (ko) 2017-10-23
PL2887671T3 (pl) 2018-09-28
DK3758380T3 (da) 2021-03-08
KR20190038680A (ko) 2019-04-08
ES2825104T3 (es) 2021-05-14
EP3758381B1 (en) 2021-03-10
BRPI0809510A2 (pt) 2012-12-25
MX2009010973A (es) 2009-10-30
RU2752572C1 (ru) 2021-07-29
KR20170106987A (ko) 2017-09-22
HUE061663T2 (hu) 2023-08-28
JP2021052440A (ja) 2021-04-01
DK3920538T3 (da) 2023-03-27
JP2015092715A (ja) 2015-05-14
KR20230038610A (ko) 2023-03-20
WO2008127676A3 (en) 2008-12-18
BR122018004903B1 (pt) 2019-10-29
KR20160121604A (ko) 2016-10-19
ES2887248T3 (es) 2021-12-22
KR101467601B1 (ko) 2014-12-02
US9185384B2 (en) 2015-11-10
EP3836550A1 (en) 2021-06-16
US20160080757A1 (en) 2016-03-17
BRPI0823512A2 (pt) 2013-11-26
EP2137975A2 (en) 2009-12-30
PT3836550T (pt) 2021-08-31
US9232235B2 (en) 2016-01-05
US9973771B2 (en) 2018-05-15
US20180152719A1 (en) 2018-05-31
SI3758381T1 (sl) 2021-07-30
US20100046635A1 (en) 2010-02-25
BRPI0809510B1 (pt) 2019-10-08
EP3758380A1 (en) 2020-12-30
JP2023165827A (ja) 2023-11-17
EP2887671B1 (en) 2018-05-16
AU2008239653A1 (en) 2008-10-23
SI3836550T1 (sl) 2021-09-30
DK2887671T3 (en) 2018-07-23
US9986254B1 (en) 2018-05-29
KR102510010B1 (ko) 2023-03-15
EP2512136A1 (en) 2012-10-17
US8780998B2 (en) 2014-07-15
AU2008239653B2 (en) 2012-10-04
JP2019201435A (ja) 2019-11-21
DK3399756T3 (da) 2020-10-12
KR101885790B1 (ko) 2018-08-06
TR201809177T4 (tr) 2018-07-23
US20180048904A1 (en) 2018-02-15
EP3920538B1 (en) 2023-02-22
PL3920538T3 (pl) 2023-05-08
ES2941888T3 (es) 2023-05-26
PT2512136T (pt) 2016-08-16
EP3758381A1 (en) 2020-12-30
PT2887671T (pt) 2018-07-09
US20150341665A1 (en) 2015-11-26
RU2014116612A (ru) 2015-10-27
SI2887671T1 (sl) 2018-10-30
EP3758380B1 (en) 2021-02-03
HUE053544T2 (hu) 2021-07-28
RU2684184C1 (ru) 2019-04-04
US20170257638A1 (en) 2017-09-07

Similar Documents

Publication Publication Date Title
RU2733273C1 (ru) Мозаичное расположение при кодировании и декодировании видео
RU2789309C1 (ru) Мозаичное расположение при кодировании и декодировании видео
RU2813744C1 (ru) Мозаичное расположение при кодировании и декодировании видео