RU2488973C2 - Способы и устройство для использования в системе кодирования многовидового видео - Google Patents

Способы и устройство для использования в системе кодирования многовидового видео Download PDF

Info

Publication number
RU2488973C2
RU2488973C2 RU2008142774/07A RU2008142774A RU2488973C2 RU 2488973 C2 RU2488973 C2 RU 2488973C2 RU 2008142774/07 A RU2008142774/07 A RU 2008142774/07A RU 2008142774 A RU2008142774 A RU 2008142774A RU 2488973 C2 RU2488973 C2 RU 2488973C2
Authority
RU
Russia
Prior art keywords
view
decoding
video content
types
compatible
Prior art date
Application number
RU2008142774/07A
Other languages
English (en)
Other versions
RU2008142774A (ru
Inventor
Пурвин Бибхас ПАНДИТ
Епин СУ
Пэн ИНЬ
Кристина ГОМИЛА
Джилл МакДональд БОЙС
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Publication of RU2008142774A publication Critical patent/RU2008142774A/ru
Application granted granted Critical
Publication of RU2488973C2 publication Critical patent/RU2488973C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Изобретение относится к кодированию и декодированию видео, а более конкретно к способам и устройству для использования в системе кодирования многовидового видео (видео с несколькими представлениями). Техническим результатом является повышение эффективности кодирования многовидового видео. Указанный технический результат достигается тем, что предложено устройство кодирования многовидового видео, включающее в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов. 4 н.п. ф-лы, 4 табл., 5 ил.

Description

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
Данная заявка испрашивает приоритет предварительной заявки США с серийным номером 60/787,092, поданной 29 марта 2006 г., которая полностью включается в данный документ посредством ссылки. Эта заявка также непосредственно относится к двум другим заявкам, одновременно поданным с рассматриваемой в данный момент заявкой и имеющим общих авторов изобретения и общего правопреемника (Номера дел поверенного №№ PU 060064 и PU 070032), каждая из которых полностью включается посредством ссылки.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящие принципы, в общем, относятся к кодированию и декодированию видео, а более конкретно к способам и устройству для использования в системе кодирования многовидового видео (видео с несколькими представлениями).
УРОВЕНЬ ТЕХНИКИ
В текущей реализации кодирования многовидового видео (MVC), совместимого со стандартом Улучшенного кодирования видео (AVC) части 10 стандарта 4-ой Экспертной группы по движущимся изображениям (MPEG-4) Международной организации по стандартизации/Международной электротехнической комиссии (ISO/IEC)/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи (ITU-T) (в дальнейшем - "стандарт MPEG-4 AVC"), отсутствует положение для идентификации конкретного вида (кадра) и сигнализирования параметров камеры. Эта информация о виде (кадре) необходима по нескольким причинам. Масштабируемость вида, произвольный доступ к виду, параллельная обработка, формирование вида и синтез вида являются требованиями кодирования многовидового видео, которые используют информацию о виде. Кроме того, некоторые из этих требований также используют параметры камеры, которые в настоящее время не передаются стандартизованным способом.
Предложен способ для задействования эффективного произвольного доступа в многовидовых сжатых потоках двоичных сигналов. В предложенном способе определяются тип V-изображения и сообщение с дополнительной информацией расширения (SEI) о зависимости видов. Обязательным признаком в предложенном типе V-изображения является то, что V-изображения одновременно не должны иметь временной зависимости от других изображений в той же камере и могут лишь предсказываться по изображениям в других камерах в то же самое время. Предложенное сообщение с дополнительной информацией расширения о зависимости видов будет точно описывать, какие виды V-изображения, а также предшествующие и последующие последовательности изображений, от чего могут зависеть. В последующем описании подробно указываются предложенные изменения.
По отношению к синтаксису и семантике V-изображения отдельная таблица синтаксиса, относящаяся к стандарту MPEG-4 AVC, расширяется для включения в себя типа 14 уровня абстракции сети (NAL), соответствующего V-изображению. Также, тип V-изображения определяется, как имеющий следующую семантику:
V-изображение: кодированное изображение, в котором все секции ссылаются только на секции с одинаковым временным индексом (то есть, только секции в других видах, а не секции в текущем виде). Когда V-изображение будет выведено или показано, это также заставит процесс декодирования пометить все изображения из одинакового вида, которые не являются IDR-изображениями или V-изображениями, и которые предшествуют V-изображению в порядке выхода, как "неиспользуемые для ссылки". Каждое V-изображение будет ассоциировано с сообщением с SEI о зависимости видов, возникающим в том же NAL.
Что касается синтаксиса и семантики сообщения с дополнительной информацией расширения о зависимости видов, то сообщение с дополнительной информацией расширения о зависимости видов задается следующим синтаксисом:
view_dependency ( payloadSize ) {
num_seq_reference_views ue(v)
seq_reference_view_0 ue(v)
seq_reference_view_1 ue(v)
…
seq_reference_view_N ue(v)
num_pic_reference_views ue(v)
pic_reference_view_0 ue(v)
pic_reference_view_1 ue(v)
…
pic_reference_view_N ue(v)
}
где num_seq_reference_views/num_pic_reference_views обозначает количество возможных видов, которое может использоваться как базис для текущей последовательности/изображения, и seq_reference_view_i/pic_reference_view_i обозначает номер вида для iго базового вида.
Изображение, ассоциированное с сообщением с дополнительной информацией расширения о зависимости видов, будет ссылаться только на указанные виды, описываемые при помощи pic_reference_view_i. Аналогичным образом все последующие изображения в порядке выхода этого вида до следующего сообщения с дополнительной информацией расширения о зависимости видов в этом виде будут ссылаться только на указанные виды, описываемые при помощи seq_reference_view_i.
Сообщение с дополнительной информацией расширения о зависимости видов будет ассоциировано с каждым изображением с мгновенным обновлением декодирования (IDR) и V-изображением.
По меньшей мере, одним недостатком этого способа является сложность, представленная в декодере, вследствие рекурсивно получаемой зависимости. Дополнительно этот способ требует, чтобы каждое V-изображение содержало сообщение SEI (которое является ненормативной частью стандарта MPEG-4 AVC), приводя к зависимости, которую невозможно использовать для нормативного режима работы, например выбора базисного изображения.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Настоящие принципы обращаются к этим и другим недостаткам и неудобствам предшествующего уровня техники, которые ориентированы на способы и устройство для использования в системе кодирования многовидового видео.
Согласно аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому (многокадровому) видео контенту в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.
Согласно другому аспекту настоящих принципов, предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.
Согласно еще одному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому (многокадровому) видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется для определения относящейся к виду особой информации, включенной в него, причем относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.
Согласно еще одному аспекту настоящих принципов, предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется для определения относящейся к виду особой информации, включенной в него. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов.
Согласно дополнительному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов (кадров), соответствующих многовидовому видео контенту, путем задания в качестве основного вида любого, по меньшей мере, из двух видов, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.
Согласно другому дополнительному аспекту настоящих принципов, предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем задания в качестве основного вида любого, по меньшей мере, из двух видов, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.
Согласно еще одному дополнительному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором декодер определяет, какой, по меньшей мере, из двух видов, при их наличии, является основным видом, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.
Согласно дополнительному аспекту настоящих принципов, предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором этап декодирования определяет, какой, по меньшей мере, из двух видов, при их наличии, является основным видом, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.
Согласно аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем кодирования, по меньшей мере, одного из, по меньшей мере, двух видов в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.
Согласно другому аспекту настоящих принципов, предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем кодирования, по меньшей мере, одного из, по меньшей мере, двух видов в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникации Международного союза электросвязи для обратной совместимости с ним.
Согласно еще одному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором, по меньшей мере, один из, по меньшей мере, двух видов включается в поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.
Согласно еще одному аспекту настоящих принципов, предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в котором, по меньшей мере, один из, по меньшей мере, двух видов включается в поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним.
Согласно дополнительному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем выбора между одним из двух предопределенных типов секций.
Согласно другому дополнительному аспекту настоящих принципов, предоставляется способ. Способ включает в себя кодирование, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем выбора между одним из двух предопределенных типов секций.
Согласно еще одному дополнительному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем определения между одним из двух предопределенных типов секций.
Согласно дополнительному аспекту настоящих принципов, предоставляется способ. Способ включает в себя декодирование по меньшей мере одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем определения между одним из двух предопределенных типов секций.
Согласно аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя кодер для кодирования по меньшей мере двух видов, соответствующих многовидовому контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя по меньшей мере один параметр камеры, соответствующий по меньшей мере одному из, по меньшей мере, двух видов.
Согласно другому аспекту настоящих принципов, предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один параметр камеры, соответствующий по меньшей мере одному из, по меньшей мере, двух видов.
Согласно еще одному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры, включенный в него. По меньшей мере, один параметр камеры соответствует, по меньшей мере, одному из, по меньшей мере, двух видов.
Согласно еще одному аспекту настоящих принципов, предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры, включенный в него. По меньшей мере, один параметр камеры соответствует, по меньшей мере, одному из, по меньшей мере, двух видов.
Согласно дополнительному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры, по меньшей мере, для одного из, по меньшей мере, двух видов.
Согласно другому дополнительному аспекту настоящих принципов, предоставляется способ. Способ включает в себя кодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры для, по меньшей мере, одного из, по меньшей мере, двух видов.
Согласно еще одному дополнительному аспекту настоящих принципов, предоставляется устройство. Устройство включает в себя декодер для декодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры для, по меньшей мере, одного из, по меньшей мере, двух видов на основе, по меньшей мере, одного синтаксического элемента, включенного в поток двоичных сигналов.
Согласно дополнительному аспекту настоящих принципов, предоставляется способ. Способ включает в себя декодирование, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, из потока двоичных сигналов, где поток двоичных сигналов декодируется, чтобы определять, по меньшей мере, один параметр камеры для, по меньшей мере, одного из, по меньшей мере, двух видов на основе, по меньшей мере, одного синтаксического элемента, включенного в поток двоичных сигналов.
Эти и другие аспекты, признаки и преимущества настоящих принципов станут очевидными из последующего осуществления изобретения с подробным описанием примерных вариантов осуществления, которые необходимо рассматривать применительно к прилагаемым чертежам.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Настоящие принципы могут быть лучше поняты в соответствии со следующими иллюстративными чертежами, на которых:
Фиг.1 - блок-схема для примерного видеокодера, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов;
Фиг.2 - блок-схема для примерного видеодекодера, к которому могут быть применены настоящие принципы, в соответствии с вариантом осуществления настоящих принципов;
Фиг.3 - схема для структуры межвидового временного предсказания на основе стандарта MPEG-4 AVC, использующей иерархические B-изображения, в соответствии с вариантом осуществления настоящих принципов;
Фиг.4 - блок-схема алгоритма для примерного способа для кодирования нескольких видов многовидового видео контента в соответствии с вариантом осуществления настоящих принципов; и
Фиг.5 - блок-схема алгоритма для примерного способа для декодирования нескольких видов многовидового видео контента в соответствии с вариантом осуществления настоящих принципов.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Настоящие принципы ориентированы на способы и устройство для использования в системе кодирования многовидового (многокадрового) видео.
Данный раздел «Осуществление изобретения» иллюстрирует настоящие принципы. Таким образом, будет принято во внимание, что специалисты в данной области техники смогут разработать различные схемы, которые, хотя и не явно описаны или показаны в данном документе, реализуют настоящие принципы и включены в их сущность и объем.
Все примеры и условный язык, изложенные в данном документе, предназначены для учебных целей, чтобы помочь читателю в понимании настоящих принципов и идей, внесенных автором (авторами) изобретения как вклад в развитие уровня техники, и должны быть истолкованы как неограничивающие до таких конкретно изложенных примеров и условий.
Кроме того, все утверждения, излагающие в данном документе принципы, аспекты и варианты осуществления настоящих принципов, а также их отдельные примеры, предназначены для охвата как структурных, так и их функциональных эквивалентов. Дополнительно подразумевается, что такие эквиваленты включают в себя как известные в настоящее время эквиваленты, так и эквиваленты, разработанные в будущем, т.е. любые разработанные элементы, которые выполняют ту же функцию, независимо от структуры.
Таким образом, например, специалистами в данной области техники будет принято во внимание, что представленные в данном документе блок-схемы представляют концептуальные представления иллюстративной схемы, реализующей настоящие принципы. Аналогично будет принято во внимание, что любые блок-схемы алгоритма, блок-схемы, диаграммы перехода из одного состояния в другое, псевдокод и тому подобное представляют различные процессы, которые по существу могут быть представлены в машиночитаемом носителе и поэтому могут выполняться компьютером или процессором, показан ли явно такой компьютер или процессор или нет.
Функции различных элементов, показанных на чертежах, могут предоставляться посредством использования специализированных аппаратных средств, а также аппаратных средств, допускающих выполнение программного обеспечения в связи с соответствующим программным обеспечением. Будучи предоставленными процессором, функции могут предоставляться единственным специализированным процессором, единственным общим процессором или набором отдельных процессоров, некоторые из которых могут быть совместно использованы. Более того, явное использование термина "процессор" или "контроллер" не следует толковать исключительно для ссылки на аппаратные средства, допускающие выполнение программного обеспечения, и может неявным образом включать в себя без ограничения оборудование с цифровым процессором сигналов ("DSP"), постоянное запоминающее устройство ("ROM") для хранения программного обеспечения, оперативное запоминающее устройство ("RAM") и энергонезависимое запоминающее устройство.
Также могут включаться другие аппаратные средства, общепринятые и/или заказные. Аналогично, любые переключатели, показанные на чертежах, являются лишь концептуальными. Их функция может выполняться посредством работы программной логики, посредством нестандартной логики, посредством взаимодействия программного управления и нестандартной логики, или даже вручную, причем конкретная методика выбирается конструктором, как более точно понятная из контекста.
В формуле изобретения любой элемент, выраженный как средство для выполнения заданной функции, предназначается для охвата любого способа выполнения этой функции, включая, например, a) сочетание элементов схемы, которое выполняет эту функцию или b) программное обеспечение в любой форме, включая микропрограммное обеспечение, микрокод или тому подобное, объединенные с соответствующей схемой для выполнения этого программного обеспечения для выполнения функции. Настоящие принципы, которые определены такой формулой изобретения, заключаются в том, что функциональные возможности, предоставленные различными перечисленными средствами, объединяются и сводятся вместе способом, который требует формула изобретения. Таким образом, считается, что любое средство, которое может предоставлять эти функциональные возможности, эквивалентно показанным в данном документе.
Ссылка в описании изобретения на «один вариант осуществления» или «вариант осуществления» настоящих принципов означает, что конкретный признак, конструкция, характеристика и так далее, описанные в связи с вариантом осуществления, включается, по меньшей мере, в один вариант осуществления настоящих принципов. Таким образом, появления фразы «в одном варианте осуществления» или «в варианте осуществления», возникающие в разных местах во всем описании изобретения, не обязательно указывают на один и тот же вариант осуществления.
Обращаясь к Фиг.1, примерный видеокодер, к которому могут применяться настоящие принципы, в целом указывается номером ссылки 100.
Вход в видеокодер 100 соединен для обмена сигналами с неинвертирующим входом сумматора 110. Выход сумматора 110 соединен для обмена сигналами с преобразователем/квантователем 120. Выход преобразователя/квантователя 120 соединен для обмена сигналами со статистическим кодером 140. Выход статистического кодера 140 действителен как выход кодера 100.
Выход преобразователя/квантователя 120 дополнительно соединен для обмена сигналами с обратным преобразователем/квантователем 150. Выход обратного преобразователя/квантователя 150 соединен для обмена сигналами с входом фильтра 160 уменьшения блочности. Выход фильтра 160 уменьшения блочности соединен для обмена сигналами с накопителем 170 опорных изображений. Первый выход накопителя 170 опорных изображений соединен для обмена сигналами с первым входом блока 180 анализа движения. Вход кодера 100 дополнительно соединен для обмена сигналами со вторым входом блока 180 анализа движения. Выход блока 180 анализа движения соединен для обмена сигналами с первым входом компенсатора 190 движения. Второй выход накопителя 170 опорных изображений соединен для обмена сигналами со вторым входом компенсатора 190 движения. Выход компенсатора 190 движения соединен для обмена сигналами с инвертирующим входом сумматора 110.
Обращаясь к Фиг.2, примерный видеодекодер, к которому могут применяться настоящие принципы, в целом указывается номером ссылки 200.
Видеодекодер 200 включает в себя статистический декодер 210 для приема видеопоследовательности. Первый выход статистического декодера 210 соединен для обмена сигналами с входом обратного квантователя/преобразователя 220. Выход обратного квантователя/преобразователя 220 соединен для обмена сигналами с первым неинвертирующим входом сумматора 240.
Выход сумматора 240 соединен для обмена сигналами с входом фильтра 290 уменьшения блочности. Выход фильтра 290 уменьшения блочности соединен для обмена сигналами с входом накопителя 250 опорных изображений. Выход накопителя 250 опорных изображений соединен для обмена сигналами с первым входом компенсатора 260 движения. Выход компенсатора 260 движения соединен для обмена сигналами со вторым неинвертирующим входом сумматора 240. Второй выход статистического декодера 210 соединен для обмена сигналами со вторым входом компенсатора 260 движения. Выход фильтра 290 уменьшения блочности действителен как выход видеодекодера 200.
В варианте осуществления настоящих принципов предлагается высокоуровневый синтаксис для эффективной обработки многовидовой последовательности. В частности, мы предлагаем создание нового набора параметров, названного набором параметров вида (VPS) со своим собственным типом модуля NAL, и два более новых типа модуля NAL для поддержки многовидовых секций, с типами модуля NAL, включающими идентификатор вида (id) в заголовке NAL для идентификации, к какому виду принадлежит секция. Для видовой масштабируемости и обратной совместимости с декодерами, совместимыми со стандартом MPEG-4 AVC, мы предлагаем сохранить один вид (изображение), совместимый с MPEG-4 AVC, который мы называем "Основным видом, совместимым с MPEG-4 AVC".
При использовании в данном документе "высокоуровневый синтаксис" относится к синтаксису, представленному в потоке двоичных сигналов, который постоянно находится выше уровня макроблока по иерархии. Например, высокоуровневый синтаксис при использовании в данном документе может относиться, но не ограничивается, к синтаксису на уровне заголовка секции, уровне дополнительной информации расширения (SEI), уровне набора параметров изображения и уровне набора параметров последовательности.
В данной реализации системы кодирования многовидового (многокадрового) видео, описанной выше как не имеющей обеспечения для идентификации отдельного вида (кадра) и сигнализации параметров камеры, разные виды чередуются для формирования единой последовательности, вместо обработки разных видов как отдельных видов. Поскольку синтаксис совместим со стандартом MPEG-4 AVC, как отмечено выше, в настоящее время невозможно идентифицировать, к какому из видов принадлежит данная секция. Эта информация о виде (изображении) необходима по нескольким причинам. Масштабируемость вида, произвольный доступ к виду, параллельная обработка, формирование вида и синтез вида являются требованиями кодирования многовидового видео, которые необходимы для идентификации вида. Для эффективной поддержки произвольного доступа к виду и масштабируемости вида декодеру важно знать, как разные изображения зависят друг от друга, чтобы декодировались только нужные изображения. Параметры камеры необходимы для синтеза вида. Если синтез вида, в конечном счете, используется в цикле декодирования, должен быть задан стандартизованный способ сигнализации параметров камеры. В соответствии с вариантом осуществления, используется набор параметров вида.
В варианте осуществления предполагается, что необходим один вид, который полностью обратно совместим со стандартом MPEG-4 AVC с целью поддержки декодеров, не совместимых с MVC, но совместимых с MPEG-4 AVC. В варианте осуществления предполагается, что будут виды, которые декодируются независимо, чтобы облегчить быстрый произвольный доступ к виду. Мы ссылаемся на эти виды как на "основные виды". Основной вид может быть или не быть совместимым со стандартом MPEG-4 AVC, но совместимый с MPEG-4 AVC вид всегда является основным видом.
Обращаясь к Фиг.3, структура межвидового временного предсказания на основе стандарта MPEG-4 AVC, использующая иерархические B-изображения, указывается в целом номером ссылки 300. На Фиг.3 переменная I обозначает изображение с интра кодированием, переменная P обозначает кодированное с предсказанием изображение, переменная B обозначает кодированное с двунаправленным предсказанием изображение, переменная T обозначает положение конкретного изображения, и переменная S обозначает конкретный вид, которому соответствует конкретное изображение.
В соответствии с вариантом осуществления определяются следующие условия:
Опорное изображение определяется как изображение, декодирование которого не затрагивает никакого изображения, дискретизированного в разные моменты времени. Опорное изображение сигнализируется путем установки nal_ref_idc в 3. На Фиг.3 все изображения в положениях T0, T8…, T96 и T100 являются примерами опорных изображений.
Неопорное изображение определяется как изображение, которое не имеет вышеупомянутого ограничения, заданного для опорного изображения. На Фиг.3 изображения B2, B3 и B4 являются неопорными изображениями.
Основным видом является вид, который не зависит от любого другого вида и может декодироваться независимо. На Фиг.3 вид S0 является примером основного вида.
Также в варианте осуществления предлагается новый набор параметров, названный Набором параметров вида со своим собственным типом модуля NAL, и два новых типа модулей NAL для поддержки секций кодирования многовидового видео. Мы также изменяем синтаксис заголовка секции для указания view_id и набора параметров вида, который нужно использовать.
Стандарт MPEG-4 AVC включает в себя следующие два набора параметров: (1) Набор параметров последовательности (SPS), который включает в себя информацию, которая не предполагается к изменению во всей последовательности; и (2) Набор параметров изображения (PPS), который включает в себя информацию, которая не предполагается к изменению для каждого изображения.
Так как кодирование многовидового видео имеет дополнительную информацию, которая специфична для каждого вида, мы создали отдельный Набор параметров вида (VPS), чтобы передавать эту информацию. Вся информация, которая необходима для определения зависимости между разными видами, указывается в Наборе параметров вида. Таблица синтаксиса для предложенного набора параметров вида показана в ТАБЛИЦЕ 1 (синтаксис набора RBSP параметров вида). Набор параметров вида включается в новый тип модуля NAL, например, тип 14, как показано в ТАБЛИЦЕ 2 (коды типов модулей NAL).
В соответствии с описанием настоящего изобретения, определяются следующие условия:
view_parameter_set_id идентифицирует набор параметров вида, на который ссылаются в заголовке секции. Значение view_parameter_set_id должно быть в диапазоне от 0 до 255.
number_of_views_minus_1 плюс 1 идентифицирует общее количество видов в потоке двоичных сигналов. Значение number_of_views_minus_1 должно быть в диапазоне от 0 до 255.
avc_compatible_view_id указывает view_id совместимого с AVC вида. Значение avc_compatible_view_id должно быть в диапазоне от 0 до 255.
is_base_view_flag[i], равное 1, указывает, что вид i является основным видом, и является независимо декодируемым. is_base_view_flag[i], равное 0, указывает, что вид i не является основным видом. Значение is_base_view_flag[i] должно быть равно 1 для вида i, совместимого с AVC.
dependency_update_flag, равный 1, указывает, что информация о зависимости для этого вида обновляется в VPS. dependency_update_flag, равный 0, указывает, что информация о зависимости для этого вида не обновляется и не должна изменяться.
anchor_picture_dependency_maps[i][j], равное 1, указывает, что опорные изображения с view_id, равное j, будут зависеть от опорных изображений с view_id, равное i.
non_anchor_picture_dependency_maps[i][j], равное 1, указывает что неопорные изображения с view_id, равное j, будут зависеть от неопорных изображений с view_id, равное i. non_anchor_picture_dependency_maps[i][j] присутствует, только когда anchor_picture_dependency_maps[i][j] равно 1. Если anchor_picture_dependency_maps[i][j] присутствует и равно нулю, то non_anchor_picture_dependency_maps[i][j] должно расцениваться как равное 0.
Таблица 1
view_parameter_set_rbsp() { C Дескриптор
view_parameter_set_id 0 ue(v)
number_of_views_minus_1 0 ue(v)
avc_compatible_view_id 0 ue(v)
for( i = 0; i <= number_of_views_minus_1; i++) {    
is_base_view_flag[i] 0 u(1)
dependency_update_flag 0 u(1)
if (dependency_update_flag == 1) {    
for(j = 0; j <= number_of_views_minus_1; j++) {    
anchor_picture_dependency_maps[i][j] 0 f(1)
if (anchor_picture_dependency_maps[i][j] == 1)    
non_anchor_picture_dependency_maps[i][j] 0 f(1)
}    
}    
}    
for(i = 0; i <= number_of_views_minus_1; i++ ) {    
camera_parameters_present_flag 0 u(1)
if (camera_parameters_present_flag == 1){    
camera_parameters_1_1[i] 0 f(32)
***    
camera_parameters_3_4[i] 0 f(32)
}    
}    
}    
Таблица 2
nal_unit_type Содержание модуля NAL и структура синтаксиса RBSP C
0 Не задано  
1 Кодированная секция не-IDR изображения slice_layer_without_partitioning_rbsp() 2, 3, 4
2 Сегмент A данных кодированной секции slice_data_partition_a_layer_rbsp() 2
3 Сегмент B данных кодированной секции slice_data_partition_b_layer_rbsp() 3
4 Сегмент C данных кодированной секции slice_data_partition_c_layer_rbsp() 4
5 Кодированная секция IDR-изображения slice_layer_without_partitioning_rbsp() 2, 3
6 Дополнительная информация расширения (SEI) sei_rbsp() 5
7 Набор параметров последовательности seq_parameter_set_rbsp() 0
8 Набор параметров изображения pic_parameter_set_rbsp() 1
9 Разделитель блока доступа access_unit_delimiter_rbsp() 6
10 Конец последовательности end_of_seq_rbsp() 7
11 Конец потока end_of_stream_rbsp() 8
12 Заполняющие данные filler_data_rbsp() 9
13 Расширение набора параметров последовательности seq_parameter_set_extension_rbsp() 10
14 Набор параметров вида view_parameter_set_rbps() 11
15..18 Зарезервировано  
19 Кодированная секция добавочно кодированного изображения без разделения slice_layer_without_partitioning_rbsp() 2, 3, 4
20 Кодированная секция не-IDR изображения в изменяемом расширении slice_layer_in_scalable_extension_rbsp() 2, 3, 4
21 Кодированная секция IDR-изображения в изменяемом расширении slice_layer_in_scalable_extension_rbsp() 2, 3
22 Кодированная секция не-IDR изображения в многовидовом расширении slice_layer_in_mvc_extension_rbsp() 2, 3, 4
23 Кодированная секция IDR изображения в многовидовом расширении slice_layer_in_mvc_extension_rbsp() 2, 3
24..31 Не задано  
Необязательные параметры в Наборе параметров вида включают в себя следующие:
camera_parameters_present_flag, равный 1, указывает, что проекционная матрица сигнализируется, как изложено ниже.
camera_parameters, предполагающий параметр камеры, передается в виде проекционной матрицы P размером 3x4, которая может использоваться для преобразования точки в трехмерном мире в координату плоского изображения:
I = P*[Xw:Yw:Zw:1]
где I - однородные координаты I = [λ·Ix:λ·Iy:λ].
Каждый элемент camera_parameters_*_* может быть представлен в соответствии со стандартом IEEE одинарной точности для плавающей запятой (32 бита).
Преимущество помещения этой информации в отдельный набор параметров в том, что мы еще сохраняем Наборы параметров последовательности (SPS) и Наборы параметров изображения (PPS), которые совместимы со стандартом MPEG-4 AVC. Если мы поместим эту информацию в Набор параметров последовательности или в Набор параметров изображения, то для каждого вида нам потребуется отправлять отдельный Набор параметров последовательности и Набор параметров изображения. Это слишком ограничивает. Также эта информация не соответствует ни Набору параметров последовательности, ни Набору параметров изображения. Другой причиной является то, что поскольку мы предлагаем иметь основной вид, совместимый со стандартом MPEG-4 AVC, нам придется использовать отдельные (совместимые с MPEG-4 AVC) Наборы параметров последовательности и Наборы параметров изображения для такого вида, и отдельные Наборы параметров последовательности/Наборы параметров изображения (с относящейся к виду особой информацией) для всех остальных видов.
Размещение всей информации о зависимости в одном Наборе параметров вида в самом начале последовательности очень выгодно. Декодер может создать карту, используя всю информацию о зависимости, как только он примет Набор параметров вида. Это дает ему возможность знать, какие виды необходимы для декодирования конкретного вида, до того как он примет какую-либо секцию. В результате нам нужно только проанализировать заголовок секции, чтобы получить view_id и определить, нужен ли этот вид для декодирования конечного вида, который указан пользователем. Таким образом, нам не нужно буферизировать какие-либо кадры или ждать до определенного момента, чтобы определить, какие кадры нужны для декодирования конкретного вида.
Информация о зависимости и то, является ли она основным видом, указывается в Наборе параметров вида. Даже совместимый с MPEG-4 AVC основной вид ассоциирован с этой информацией, которая относится к тому виду (например, параметры камеры). Эта информация может использоваться другими видами для разных целей, включая синтез/интерполяцию вида. Мы предлагаем поддерживать только один вид, совместимый с MPEG-4 AVC, поскольку если имеются много совместимых с MPEG-4 AVC видов, то сложно идентифицировать для каждой такой секции, к какому виду она принадлежит, и декодер кодирования не-многовидового видео легко путается.
Путем его ограничения только до одного такого вида гарантируется, что декодер кодирования не-многовидового видео сможет правильно декодировать вид, и декодер кодирования многовидового видео сможет легко идентифицировать такой вид в Наборе параметров вида, используя синтаксис avc_compatible_view_id. Все остальные основные виды (не совместимые с MPEG-4 AVC) могут быть идентифицированы с использованием is_base_view_flag.
Предлагается новый заголовок секции для секций с кодированием многовидового видео. Для поддержки масштабируемости вида, произвольного доступа к виду и так далее, нам необходимо знать, от каких видов зависит текущая секция. Для синтеза вида и интерполяции вида нам, возможно, также потребуются параметры камеры. Эта информация присутствует в Наборе параметров вида, который показан выше в Таблице 1. Набор параметров вида идентифицируется с использованием view_parameter_set_id. Мы предлагаем добавить view_parameter_set_id в заголовок секции всех секций, не совместимых с MPEG-4 AVC, как показано в Таблице 3 (Синтаксис заголовка секции). Информация view_id необходима для некоторых требований кодирования многовидового видео, включая интерполяцию/синтез вида, произвольный доступ к виду, параллельную обработку и так далее. Эта информация также может быть полезна для особых режимов кодирования, которые относятся только к предсказанию перекрестных видов. Чтобы найти соответствующие параметры в Наборе параметров вида для этого вида, нам необходимо отправить view_id в заголовке секции.
Таблица 3
slice_header() { C Дескриптор
first_mb_in_slice 2 ue(v)
slice_type 2 ue(v)
pic_parameter_set_id 2 ue(v)
if (nal_unit_type == 22 || nal_unit_type == 23) {    
view_parameter_set_id 2 ue(v)
view_id 2 ue(v)
}    
frame_num 2 u(v)
if( !frame_mbs_only_flag) {    
field_pic_flag 2 u(1)
if( field_pic_flag)    
bottom_field_flag 2 u(1)
}    
………    
}    
Для новых секций кодирования многовидового видео мы предлагаем создать новые типы модуля NAL для каждого типа секций (Мгновенное обновление декодирования (IDR) и не-IDR). Мы предлагаем использовать тип 22 для секций IDR и тип 23 для не-IDR секций, как показано в Таблице 2.
view_parameter_set_id задает используемый набор параметров вида. Значение view_parameter_set_id должно быть в диапазоне от 0 до 255.
view_id указывает идентификатор вида у текущего вида. Значение view_parameter_set_id должно быть в диапазоне от 0 до 255.
Сейчас будет описываться пример произвольного доступа к виду в соответствии с вариантом осуществления настоящих принципов.
Произвольный доступ к виду является требованием кодирования многовидового видео. Целью является получение доступа к любому виду с минимальными усилиями декодирования. Давайте рассмотрим простой пример произвольного доступа к виду для структуры предсказания, показанной на Фиг.3.
Предположим, что пользователь просит декодировать вид S3. Из Фиг.3 мы видим, что этот вид зависит от вида S0, вида S2 и вида S4. Ниже проиллюстрирован пример Набора параметров вида.
Давайте предположим, что view_id для видов нумеруются последовательно от 0 до 7 в синтаксисе заголовка секции, и существует только один Набор параметров вида с view_parameter_set, равным 0. number_of_views_minus_1 устанавливается в 7. avc_compatible_view_id может быть установлено в 0.
Для видов S0 is_base_view_flag устанавливается в 1, а для остальных видов он устанавливается в 0. Карта зависимости для S0, S1, S2, S3 и S4 будет выглядеть, как показано в Таблице 4А (Таблица зависимости anchor_picture_dependency_map для S0) и Таблице 4В (таблица зависимости non_anchor_picture_dependency_map для S0). Карта зависимости для остальных видов может быть записана аналогичным образом.
Поскольку эта таблица доступна на декодере, декодер легко может определять, нужна ли секция, которую он принимает, для декодирования конкретного вида. Декодеру нужно только проанализировать заголовок секции, чтобы определить view_id текущей секции, и для конечного вида S3 он может искать столбцы S3 в двух таблицах (Таблица 4А и Таблица 4В), чтобы определить, нужно ли ему сохранить текущую секцию. Декодеру необходимо различать опорные изображения и неопорные изображения, поскольку они могут иметь разные зависимости, как видно из Таблицы 4а и Таблицы 4b. Для конечного вида S3 нам нужно декодировать опорные изображения видов S0, S2 и S4, но нужно декодировать только неопорные изображения видов S2 и S4.
Таблица 4A
i\j S0 S1 S2 S3 S4 S5 S6 S7
S0 0 1 1 1 1 1 1 1
S1 0 0 0 0 0 0 0 0
S2 0 1 0 1 1 1 1 1
S3 0 0 0 0 0 0 0 0
S4 0 0 0 1 0 1 1 1
Таблица 4B
i\j S0 S1 S2 S3 S4 S5 S6 S7
S0 0 1 0 0 0 0 0 0
S1 0 0 0 0 0 0 0 0
S2 0 1 0 1 0 0 0 0
S3 0 0 0 0 0 0 0 0
S4 0 0 0 1 0 1 0 0
Обращаясь к Фиг.4, примерный способ для кодирования нескольких видов многовидового видео контента указывается в целом номером ссылки 400.
Способ 400 включает в себя начальный этап 405, который передает управление на функциональный этап 410. На функциональном этапе 410 считывают конфигурационный файл ради параметров кодирования, которые нужно использовать для кодирования набора видов, и передают управление на функциональный этап 415. На функциональном этапе устанавливают N равным количеству видов, которое нужно кодировать, и передают управление на функциональный этап 420. На функциональном этапе 420 устанавливают number_of_views_minus_1 равным N - 1, устанавливают avc_compatible_view_id равным view_id у совместимого с MPEG-4 AVC вида, и передают управление на функциональный этап 425. На функциональный этап 425 устанавливают view_parameter_set_id равным допустимому целому значению, инициализируют переменную i нулевым значением и передают управление на этап 430 ветвления. На этапе 430 ветвления определяют, больше ли i, чем N. Если это так, то управление передается на этап 435 ветвления. Иначе управление передается на функциональный этап 470.
На этапе ветвления 435 определяют, является ли текущий вид основным видом. Если это так, то управление передается на функциональный этап 440. Иначе управление передается на функциональный этап 480.
На функциональном этапе 440 устанавливают is_base_view_flag[i] равным единице и передают управление на этап 445 ветвления. На этапе 445 ветвления определяют, обновляется ли зависимость. Если это так, управление передается на функциональный этап 450. Иначе управление передается на функциональный этап 485.
На функциональном этапе 450 устанавливают dependency_update_flag равным единице и передают управление на функциональный этап 455. На функциональном этапе 455 устанавливают переменную j равной 0 и передают управление на этап 460 ветвления. На этапе 460 ветвления определяют, меньше ли j, чем N. Если это так, то управление передается на функциональный этап 465. Иначе управление передается на функциональный этап 487.
На функциональном этапе 465 устанавливают anchor_picture_dependency_maps[i][j] и non_anchor_picture_dependency_maps[i][j] в значения, указанные конфигурационным файлом, и передают управление на функциональный этап 467. На функциональном этапе 467 увеличивают переменную j на единицу и возвращают управление на этап 460 ветвления.
На функциональном этапе 470 устанавливают camera_parameters_present_flag равным единице, когда имеются параметры камеры, устанавливают camera_parameters_present_flag равным нулю в ином случае и передают управление на этап 472 ветвления. На этапе 472 ветвления определяют, равен ли единице camera_parameters_present_flag. Если это так, то управление передается на функциональный этап 432. Иначе управление передается на функциональноый этап 434.
На функциональный этап 432 записывают параметры камеры и передают управление на функциональный этап 434.
На функциональном этапе 434 записывают Набор параметров вида (VPS) или Набор параметров последовательности (SPS) и передают управление на конечный этап 499.
На функциональном этапе 480 устанавливают is_base_view_flag[i] равным нулю и передают управление на этап 445 ветвления.
На функциональном этапе 485 устанавливают dependency_update_flag равным нулю и передают управление на функциональный этап 487. На функциональном этапе 487 увеличивают переменную i на 1 и возвращают управление на этап 430 ветвления.
Обращаясь к Фиг.5, примерный способ для декодирования нескольких видов многовидового видео контента указывается в целом номером ссылки 500.
Способ 500 включает в себя начальный этап 505, на котором передают управление на функциональный этап 510. На функциональном этапе 510 анализируют Набор параметров последовательности (SPS) или Набор параметров вида (VPS), view_parameter_set_id, number_of_views_minus_1, avc_compatible_view_id, устанавливают переменные l и j равными нулю, устанавливают N равным number_of_views_minus_1 и передают управление на этап 515 ветвления. На этапе 515 ветвления определяют, i меньше или равно N. Если это так, то управление передается на функциональный этап 570. Иначе управление передается на функциональный этап 525.
На функциональном этапе 570 анализируют camera_parameters_present_flag и передают управление на этап 572 ветвления. На этапе 572 ветвления определяют, равен ли единице camera_parameters_present_flag. Если это так, то управление передается на функциональный этап 574. Иначе управление передается на функциональный этап 576.
На функциональном этапе 574 анализируют параметры камеры и передают управление на функциональный этап 576.
На функциональном этапе 576 продолжают декодирование и передают управление на конечный этап 599.
На функциональном этапе 525 анализируют is_base_view_flag[i] и dependency_update_flag и передают управление на этап 530 ветвления. На этапе 530 ветвления определяют, равен ли нулю dependency_update_flag. Если это так, то управление передается на функциональный этап 532. Иначе управление передается на этап 535 ветвления.
На функциональном этапе 532 увеличивают i на единицу и возвращают управление на этап 515 ветвления.
На этапе 535 ветвления определяют, что j меньше или равно N. Если это так, то управление передается на функциональный этап 540. Иначе управление передается на функциональный этап 537.
На функциональном этапе 540 анализируют anchor_picture_dependency_maps[i][j] и передают управление на этап 545 ветвления. На этапе 545 ветвления определяют, равно ли единице non_anchor_picture_dependency_maps[i][j]. Если это так, то управление передается на функциональный этап 550. Иначе управление передается на функциональный этап 547.
На функциональном этапе 550 анализируют non_anchor_picture_dependency_maps[i][j] и передают управление на функциональный этап 547.
На функциональном этапе 547 увеличивают j на единицу и возвращают управление на этап 535 ветвления.
На функциональном этапе 537 увеличивают i на единицу и возвращают управление на функциональный этап 515.
Сейчас будет дано описание некоторых из многих сопутствующих преимуществ/признаков настоящего изобретения, некоторые из них упомянуты выше. Например, одним преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя относящуюся к виду особую информацию. Относящаяся к виду особая информация указывает взаимозависимость декодирования между, по меньшей мере, некоторыми, по меньшей мере, из двух видов. Другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором взаимозависимость декодирования позволяет соответствующее декодирование, по меньшей мере, одного из, по меньшей мере, двух видов с использованием только поднабора, по меньшей мере, из двух видов для соответствующего декодирования. Еще одним преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором взаимозависимость декодирования, указанная в относящейся к виду особой информации, используется для произвольного доступа, по меньшей мере, одного из, по меньшей мере, двух видов путем отбрасывания секций, относящихся к любым другим из, по меньшей мере, двух видов, указанных как невзаимозависимые относительно, по меньшей мере, одного вида. Еще одним преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включается в высокоуровневый синтаксис. Дополнительным преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включается в набор параметров, совместимый со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи. Еще дополнительным преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включается в Набор параметров вида. Еще дополнительным преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включается в Набор параметров вида, которое описано выше, где Набору параметров вида назначается тип модуля NAL специально для использования только с Набором параметров вида. Дополнительным преимуществом/признаком является устройство, имеющее кодер, в котором тип модуля NAL назначается специально для использования только с Набором параметров вида, который описан выше, где типом модуля NAL является 14. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания идентификатора (id) Набора параметров вида. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания идентификатора Набора параметров вида, который описан выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента view_parameter_set_id. Также другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания количества видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания количества видов, который описан выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента number_of_views_minus_1. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания идентификатора вида для конкретного вида, по меньшей мере, из двух видов, когда конкретный вид, по меньшей мере, из двух видов кодируется в результирующий поток двоичных сигналов, который совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания идентификатора вида для конкретного вида, по меньшей мере, из двух видов, который описан выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента avc_compatible_view_id. Также другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент или неявно выводима из высокоуровневого синтаксиса, причем, по меньшей мере, один синтаксический элемент и высокоуровневый синтаксис для указания, что конкретный вид, по меньшей мере, из двух видов является совместимым со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент или неявно выводима из высокоуровневого синтаксиса, как описано выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента is_base_view_flag. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, присутствует ли информация о зависимости, по меньшей мере, для одного из, по меньшей мере, двух видов, в результирующем потоке двоичных сигналов. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, присутствует ли информация о зависимости, по меньшей мере, для одного из, по меньшей мере, двух видов, в результирующем потоке двоичных сигналов, как описано выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента dependency_update_flag. Также другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, используется ли, по меньшей мере, одно опорное изображение в текущем виде, по меньшей мере, из двух видов для декодирования любых других видов, по меньшей мере, из двух видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, используется ли, по меньшей мере, одно опорное изображение в текущем виде, по меньшей мере, из двух видов для декодирования любых других видов, по меньшей мере, из двух видов, как описано выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента anchor_picture_dependency_maps[i][j]. Также, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, используется ли, по меньшей мере, одно неопорное изображение в текущем виде, по меньшей мере, из двух видов для декодирования любых других видов, по меньшей мере, из двух видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором относящаяся к виду особая информация включает в себя, по меньшей мере, один синтаксический элемент для указания, используется ли, по меньшей мере, одно неопорное изображение в текущем виде, по меньшей мере, из двух видов для декодирования любых других видов, по меньшей мере, из двух видов, как описано выше, где, по меньшей мере, один синтаксический элемент обозначается с помощью синтаксического элемента non_anchor_picture_dependency_maps[i][j]. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры, по меньшей мере, для одного из, по меньшей мере, двух видов. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один синтаксический элемент, относящийся, по меньшей мере, к одному параметру камеры, по меньшей мере, для одного из, по меньшей мере, двух видов, как описано выше, где, по меньшей мере, один синтаксис включается в набор параметров, соответствующее результирующему потоку двоичных сигналов.
Кроме того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем задания в качестве основного вида любого, по меньшей мере, из двух видов, который для декодирования его независим от любого другого, по меньшей мере, из двух видов.
Более того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем кодирования, по меньшей мере, одного из, по меньшей мере, двух видов в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним. Также, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором, по меньшей мере, один вид является основным видом, который для его декодирования независим от любого другого, по меньшей мере, из двух видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором синтаксический элемент avc_compatible_view_id идентифицирует, по меньшей мере, один вид как кодируемый в результирующий поток двоичных сигналов, который синтаксически совместим со стандартом Улучшенного кодирования видео части 10 стандарта 4-ой Экспертной группы по движущимся изображениям Международной организации по стандартизации/Международной электротехнической комиссии/рекомендацией H.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости.
Кроме того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, одного из, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, путем выбора между одним из двух предопределенных типов секций. Более того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором двумя предопределенными типами секций являются тип секций с мгновенным обновлением декодирования и тип секций с немгновенным обновлением декодирования. Также другим преимуществом/признаком является устройство, имеющее кодер, который выбирает между типом секций с мгновенным обновлением декодирования и типом секций с немгновенным обновлением декодирования, которые описаны выше, где тип 22 модуля NAL используется для типа секции с мгновенным обновлением декодирования и тип 23 модуля NAL используется для секций с немгновенным обновлением декодирования. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором заголовки секций, по меньшей мере, для одной из, по меньшей мере, двух секций включают в себя относящийся к виду синтаксис. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, в котором заголовки секций, по меньшей мере, для одной из, по меньшей мере, двух секций включают в себя относящийся к виду синтаксис, как описано выше, где относящийся к виду синтаксис обусловлен типом 23 модуля NAL и типом 24 модуля NAL. Более того, другим преимуществом/признаком является устройство, имеющее кодер, в котором заголовки секций, по меньшей мере, для одной из, по меньшей мере, двух секций включают в себя относящийся к виду синтаксис, как описано выше, где относящийся к виду синтаксис включает в себя идентификатор набора параметров вида и идентификатор вида. Также другим преимуществом/признаком является устройство, имеющее кодер, в котором относящийся к виду синтаксис включает в себя идентификатор набора параметров вида и идентификатор вида, как описано выше, где идентификатор набора параметров вида обозначается с помощью синтаксического элемента view_parameter_set_id, а идентификатор вида обозначается с помощью синтаксического элемента view_id.
Кроме того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя, по меньшей мере, один параметр камеры, соответствующий по меньшей мере одному из, по меньшей мере, двух видов. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором результирующий поток двоичных сигналов кодируется, чтобы включать Набор параметров вида, и, по меньшей мере, один параметр камеры включается в Набор параметров вида. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором присутствие, по меньшей мере, одного параметра камеры указывается с помощью синтаксического элемента. Также другим преимуществом/признаком является устройство, имеющее кодер, в котором присутствие, по меньшей мере, одного параметра камеры указывается с помощью синтаксического элемента, как описано выше, где синтаксическим элементом является синтаксический элемент camera_parameters_present_flag. Кроме того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором, по меньшей мере, один параметр камеры обозначается с помощью синтаксического элемента camera_parameters.
Кроме того, другим преимуществом/признаком является устройство, которое включает в себя кодер для кодирования, по меньшей мере, двух видов, соответствующих многовидовому видео контенту, в результирующий поток двоичных сигналов, в котором результирующий поток двоичных сигналов кодируется, чтобы включать в себя по меньшей мере один синтаксический элемент, относящийся по меньшей мере к одному параметру камеры для, по меньшей мере, одного из, по меньшей мере, двух видов. Более того, другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором, по меньшей мере, один синтаксис является высокоуровневым синтаксическим элементом. Также другим преимуществом/признаком является устройство, имеющее кодер, который описан выше, в котором, по меньшей мере, один синтаксис включается в набор параметров, соответствующий результирующему потоку двоичных сигналов.
Эти и другие признаки и преимущества настоящих принципов могут легко быть установлены обычным специалистом в данной области техники на основе идей в этом документе. Нужно понимать, что идеи настоящих принципов могут быть реализованы в различных формах аппаратных средств, программного обеспечения, микропрограммного обеспечения, процессоров специального назначения или их сочетаний.
Наиболее предпочтительно, чтобы идеи настоящих принципов реализовывались как сочетание аппаратных средств и программного обеспечения. Кроме того, программное обеспечение может быть реализовано как прикладная программа, реально реализованная в запоминающем устройстве для хранения программ. Прикладная программа может быть загружена и исполнена компьютером, содержащим любую подходящую архитектуру. Предпочтительно, чтобы компьютер реализовывался на компьютерной платформе, имеющей аппаратные средства, например один или более центральных процессоров ("CPU"), оперативное запоминающее устройство ("RAM") и интерфейсы ввода/вывода ("I/O"). Компьютерная платформа также может включать в себя операционную систему и код из микрокоманд. Различные процессы и функции, описанные в этом документе, могут быть либо частью кода из микрокоманд, либо частью прикладной программы, или их сочетанием, которые могут исполняться посредством CPU. К тому же различные другие периферийные модули могут быть подключены к компьютерной платформе, например дополнительный модуль хранения данных и печатающее устройство.
Дополнительно нужно понимать, что поскольку некоторые из составляющих системных компонентов и способов, изображенных на прилагаемых чертежах, предпочтительно реализуются в программном обеспечении, фактические связи между системными компонентами или функциональными этапами процессов могут отличаться в зависимости от способа, в котором программируются настоящие принципы. Получив идеи в этом документе, обычный специалист в данной области техники сможет предположить эти и аналогичные реализации или конфигурации настоящих принципов.
Хотя пояснительные варианты осуществления описаны в этом документе со ссылкой на прилагаемые чертежи, нужно понимать, что настоящие принципы не ограничиваются этими определенными вариантами осуществления, и что различные изменения и модификации могут быть осуществлены обычным специалистом в данной области техники без отклонения от объема или сущности настоящих принципов. Все такие изменения и модификации предназначаются для включения в объем настоящих принципов, как изложено в прилагаемой формуле изобретения.

Claims (4)

1. Устройство кодирования многовидового видеоконтента, содержащее: кодер для кодирования по меньшей мере двух видов, соответствующих многовидовому видеоконтенту, путем задания в качестве основного вида любого из по меньшей мере двух видов, который для его декодирования независим от любого другого из по меньшей мере двух видов, при этом синтаксический элемент avc_compatible_view_id идентифицирует, какой один из основных видов, кодированных в результирующий поток двоичных сигналов, является синтаксически совместимым со стандартом улучшенного кодирования видеочасти 10 стандарта 4-й экспертной группы по движущимся изображениям Международной электротехнической комиссии / Международной организации по стандартизации / рекомендацией Н.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним, и при этом включается новая синтаксическая структура, которая указывает информацию о зависимости между видами, и заголовок секции кодирования многовидового видеоконтента включает в себя параметр, указывающий, к какому виду принадлежит определенная секция.
2. Способ кодирования многовидового видеоконтента, содержащий этап, на котором:
кодируют по меньшей мере два вида, соответствующие многовидовому видеоконтенту, путем задания в качестве основного вида любого из по меньшей мере двух видов, который для его декодирования независим от любого другого из по меньшей мере двух видов, при этом синтаксический элемент avc_compatible_view_id идентифицирует, какой один из основных видов, кодированных в результирующий поток двоичных сигналов, является синтаксически совместимым со стандартом улучшенного кодирования видеочасти 10 стандарта 4-й экспертной группы по движущимся изображениям Международной электротехнической комиссии / Международной организации по стандартизации / рекомендацией Н.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним, и при этом включается новая синтаксическая структура, которая указывает информацию о зависимости между видами, и заголовок секции кодирования многовидового видеоконтента включает в себя параметр, указывающий, к какому виду принадлежит определенная секция.
3. Устройство декодирования многовидового видеоконтента, содержащее:
декодер для декодирования по меньшей мере двух видов, соответствующих многовидовому видеоконтенту, в котором упомянутый декодер определяет, какой из по меньшей мере двух видов, при их наличии, является основным видом, который для его декодирования независим от любого другого из по меньшей мере двух видов, при этом синтаксический элемент avc_compatible_view_id идентифицирует, какой один из основных видов, кодированных в результирующий поток двоичных сигналов, является синтаксически совместимым со стандартом улучшенного кодирования видеочасти 10 стандарта 4-й экспертной группы по движущимся изображениям Международной электротехнической комиссии / Международной организации по стандартизации / рекомендацией Н.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним, и при этом включается новая синтаксическая структура, которая указывает информацию о зависимости между видами, и заголовок секции кодирования многовидового видеоконтента включает в себя параметр, указывающий, к какому виду принадлежит определенная секция.
4. Способ декодирования многовидового видеоконтента, содержащий этап, на котором:
декодируют по меньшей мере два вида, соответствующие многовидовому видеоконтенту, при этом упомянутый этап декодирования определяет, какой из по меньшей мере двух видов, при их наличии, является основным видом, который для его декодирования независим от любого другого из по меньшей мере двух видов, при этом синтаксический элемент avc_compatible_view_id идентифицирует, какой один из основных видов, кодированных в результирующий поток двоичных сигналов, является синтаксически совместимым со стандартом улучшенного кодирования видеочасти 10 стандарта 4-й экспертной группы по движущимся изображениям Международной электротехнической комиссии / Международной организации по стандартизации / рекомендацией Н.264 сектора телекоммуникаций Международного союза электросвязи для обратной совместимости с ним, и при этом включается новая синтаксическая структура, которая указывает информацию о зависимости между видами, и заголовок секции кодирования многовидового видеоконтента включает в себя параметр, указывающий, к какому виду принадлежит определенная секция.
RU2008142774/07A 2006-03-29 2007-02-27 Способы и устройство для использования в системе кодирования многовидового видео RU2488973C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US78709206P 2006-03-29 2006-03-29
US60/787,092 2006-03-29
PCT/US2007/004997 WO2007126511A2 (en) 2006-03-29 2007-02-27 Multi view video coding method and device

Publications (2)

Publication Number Publication Date
RU2008142774A RU2008142774A (ru) 2010-05-10
RU2488973C2 true RU2488973C2 (ru) 2013-07-27

Family

ID=38515387

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2008142774/07A RU2488973C2 (ru) 2006-03-29 2007-02-27 Способы и устройство для использования в системе кодирования многовидового видео
RU2008142771/07A RU2529881C2 (ru) 2006-03-29 2007-02-27 Способы и устройство для использования в системе кодирования многовидового видео

Family Applications After (1)

Application Number Title Priority Date Filing Date
RU2008142771/07A RU2529881C2 (ru) 2006-03-29 2007-02-27 Способы и устройство для использования в системе кодирования многовидового видео

Country Status (11)

Country Link
US (3) US20090225826A1 (ru)
EP (3) EP1999966A2 (ru)
JP (8) JP5213064B2 (ru)
KR (3) KR101353193B1 (ru)
CN (3) CN101416519B (ru)
AU (2) AU2007243935A1 (ru)
BR (3) BRPI0708305A2 (ru)
MX (2) MX2008012382A (ru)
RU (2) RU2488973C2 (ru)
WO (3) WO2007126511A2 (ru)
ZA (2) ZA200807023B (ru)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101199498B1 (ko) 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US7714838B2 (en) * 2006-04-27 2010-05-11 Research In Motion Limited Handheld electronic device having hidden sound openings offset from an audio source
WO2007148906A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
EP2039168A2 (en) * 2006-07-05 2009-03-25 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
US8532178B2 (en) * 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
EP2060123A4 (en) * 2006-09-07 2016-05-04 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / ENCODING A VIDEO SIGNAL
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US8416859B2 (en) * 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US20090180546A1 (en) 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
EP1985121A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
EP2103136B1 (en) * 2006-12-21 2017-11-01 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
EP2512135B1 (en) 2007-04-12 2015-03-18 Thomson Licensing Tiling in video encoding and decoding
BRPI0810584A2 (pt) * 2007-04-25 2014-10-29 Thomson Licensing Predição inter-visualização
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
BR122012021950A2 (pt) * 2007-10-05 2015-08-04 Thomson Licensing Aparelho para incorporação de informação de usabilidade de vídeo (vui) em um sistema de codificação de vídeo com múltiplos visualizações (mvc)
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
CN101562745B (zh) * 2008-04-18 2012-07-04 华为技术有限公司 一种多视点视频图像编码和解码的方法及装置
EP2269378A2 (en) * 2008-04-25 2011-01-05 Thomson Licensing Multi-view video coding with disparity estimation based on depth information
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
EP2356812B1 (en) 2008-11-12 2015-06-10 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
AU2011250757B2 (en) * 2009-01-19 2012-09-06 Panasonic Intellectual Property Corporation Of America Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit
MX2010007649A (es) * 2009-01-19 2010-08-13 Panasonic Corp Metodo de codificacion, metodo de decodificacion, aparato de codificacion, aparato de decodificacion, programa y circuito integrado.
US9036714B2 (en) 2009-01-26 2015-05-19 Thomson Licensing Frame packing for video coding
KR20110126518A (ko) * 2009-02-19 2011-11-23 파나소닉 주식회사 기록매체, 재생장치 및 집적회로
CN105744284B (zh) * 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
US8326131B2 (en) 2009-02-20 2012-12-04 Cisco Technology, Inc. Signalling of decodable sub-sequences
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
CN103124351A (zh) * 2009-04-28 2013-05-29 松下电器产业株式会社 图像解码装置及图像编码装置
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8780999B2 (en) 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
WO2011094019A1 (en) 2010-01-29 2011-08-04 Thomson Licensing Block-based interleaving
US20110216827A1 (en) * 2010-02-23 2011-09-08 Jiancong Luo Method and apparatus for efficient encoding of multi-view coded video data
US20110222837A1 (en) * 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
US9226045B2 (en) 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
US9883161B2 (en) 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
JP2013545344A (ja) * 2010-10-13 2013-12-19 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート ステレオスコピック映像情報の送信方法及び装置
WO2012067399A2 (ko) * 2010-11-15 2012-05-24 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
GB2500330A (en) * 2010-12-03 2013-09-18 Lg Electronics Inc Receiving device and method for receiving multiview three-dimensional broadcast signal
JP2013545361A (ja) * 2010-12-13 2013-12-19 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9635355B2 (en) * 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
MX2014001614A (es) * 2011-08-09 2014-05-28 Samsung Electronics Co Ltd Metodo y aparato para codificar un mapa de profundidad de datos de video de varios puntos de vista, y metodo y aparato para decodificar el mapa de profundidad codificado.
KR101649207B1 (ko) * 2011-08-31 2016-08-19 노키아 테크놀로지스 오와이 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
KR102175161B1 (ko) * 2012-01-30 2020-11-06 삼성전자주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
TW201342884A (zh) 2012-01-31 2013-10-16 Sony Corp 編碼裝置及編碼方法、以及解碼裝置及解碼方法
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US10205961B2 (en) 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
CN103379333B (zh) * 2012-04-25 2018-12-04 浙江大学 编解码方法、视频序列码流的编解码方法及其对应的装置
US9565437B2 (en) 2013-04-08 2017-02-07 Qualcomm Incorporated Parameter set designs for video coding extensions
US10477183B2 (en) * 2013-07-19 2019-11-12 Hfi Innovation Inc. Method and apparatus of camera parameter signaling in 3D video coding
CN104980763B (zh) * 2014-04-05 2020-01-17 浙江大学 一种视频码流、视频编解码方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2124272C1 (ru) * 1993-09-15 1998-12-27 Фраунхофер-Гезельшафт цур Фердерунг дер Ангевандтен Форшунг Е.В. Способ определения вида кодирования, который следует выбирать для кодирования по меньшей мере двух сигналов
EP1389020A1 (en) * 2002-08-07 2004-02-11 Electronics and Telecommunications Research Institute Method and apparatus for multiplexing multi-view three-dimensional moving picture
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
WO2006001653A1 (en) * 2004-06-25 2006-01-05 Lg Electronics Inc. Method of coding and decoding multiview sequence and method of displaying thereof
WO2006016418A1 (ja) * 2004-08-11 2006-02-16 Hitachi, Ltd. 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161382A (en) * 1992-07-30 2000-12-19 Brotz; Gregory R. Thermoelectric actuator
US5557331A (en) * 1993-03-11 1996-09-17 Matsushita Electric Industrial Co., Ltd. Image encoding method, an image encoding circuit, an image encoding apparatus, and an optical disk
US5771081A (en) * 1994-02-28 1998-06-23 Korea Telecommunication Authority Bit system for transmitting digital video data
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US5763943A (en) * 1996-01-29 1998-06-09 International Business Machines Corporation Electronic modules with integral sensor arrays
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
KR980007751A (ko) 1996-06-26 1998-03-30 구자홍 엠펙2 가변길이 디코더의 병렬처리장치 및 방법
JP3197855B2 (ja) * 1997-11-06 2001-08-13 三洋電機株式会社 Ｍｐｅｇデータの再生装置
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
KR20010022752A (ko) 1998-06-11 2001-03-26 요트.게.아. 롤페즈 디지털 비디오 레코더용 트릭 플레이 신호 발생
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
US6056012A (en) * 1999-02-25 2000-05-02 Ecolab Inc. Inline check valve
SG99889A1 (en) 2000-02-25 2003-11-27 Sony Corp Recording medium, recording apparatus and reading apparatus
KR100433516B1 (ko) * 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
KR100433625B1 (ko) 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
US7292691B2 (en) * 2002-01-02 2007-11-06 Sony Corporation Progressive video refresh slice detection
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP4045913B2 (ja) 2002-09-27 2008-02-13 三菱電機株式会社 画像符号化装置、画像符号化方法、および画像処理装置
MY134659A (en) 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
EP1588548B1 (en) 2003-01-28 2010-10-13 Thomson Licensing Robust mode staggercasting
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
US7961786B2 (en) 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
KR100965881B1 (ko) * 2003-10-10 2010-06-24 삼성전자주식회사 비디오 데이터 인코딩 시스템 및 디코딩 시스템
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
CA2557533A1 (en) 2004-02-27 2005-09-09 Td Vision Corporation S.A. De C.V. Method and system for digital coding 3d stereoscopic video images
US7515759B2 (en) * 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
US7444664B2 (en) 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
US20060028846A1 (en) * 2004-08-06 2006-02-09 Hsiao-Chung Yang Connection device for solar panels in a solar powered lantern to enable thesolar panels to extend horizontally to the solar powered lantern
US7672378B2 (en) * 2005-01-21 2010-03-02 Stmicroelectronics, Inc. Spatio-temporal graph-segmentation encoding for multiple video streams
KR100789753B1 (ko) * 2005-07-18 2008-01-02 한국전자통신연구원 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
CN101317460A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于有效的可伸缩流适配的系统和方法
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
EP1997601A4 (en) * 2006-03-02 2013-10-09 Daisen Industry Co Ltd FORM TOOL FOR REAMABLE RESIN AND OPERATING METHOD THEREFOR

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2124272C1 (ru) * 1993-09-15 1998-12-27 Фраунхофер-Гезельшафт цур Фердерунг дер Ангевандтен Форшунг Е.В. Способ определения вида кодирования, который следует выбирать для кодирования по меньшей мере двух сигналов
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
EP1389020A1 (en) * 2002-08-07 2004-02-11 Electronics and Telecommunications Research Institute Method and apparatus for multiplexing multi-view three-dimensional moving picture
WO2006001653A1 (en) * 2004-06-25 2006-01-05 Lg Electronics Inc. Method of coding and decoding multiview sequence and method of displaying thereof
WO2006016418A1 (ja) * 2004-08-11 2006-02-16 Hitachi, Ltd. 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KWANGHOON SOHN et al. H.264/AVC-compatible Multi-view video coding, ISO/IEC JTC1/SC29/WG11, Ml2874, Geneva, 12 January 2006. EMIN MARTINIAN et al. V-Picture Syntax for Random Access in Multi-view Video Compression, ISO/IEC JTC1/SC29/WG11, M13121, Geneva, 23 March 2006. Y-K WANG et al. Signaling of scalability information, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, JVT-P061, 16th Meeting: Poznan, 24-29 July, 2005. YUNG-LYUL LEE et al. H.264/MPEG-4 AVC-based Multi-view Video Coding (MVC), ISO/IEC JTC1/SC29/WG11, Geneva, 11 January 2006. MISKA M. HANNUKSELA et al. Isolated Regions in Video Coding, IEEE TRANSACTIONS ON MULTIMEDIA, vol.6, №2, April 2004. XUN GUO et al. Viewpoint switching in multiview video streaming, IEEE International Symposium on Circuits and Systems, 2005, ISCAS 2005, 23-26 May 2005. *

Also Published As

Publication number Publication date
KR20080108449A (ko) 2008-12-15
CN101416518B (zh) 2013-07-10
JP5669273B2 (ja) 2015-02-12
ZA200807142B (en) 2010-02-24
JP2009531968A (ja) 2009-09-03
US20090225826A1 (en) 2009-09-10
WO2007126511A3 (en) 2008-01-03
KR101361896B1 (ko) 2014-02-12
AU2007243933B2 (en) 2012-09-13
JP2012235478A (ja) 2012-11-29
AU2007243935A1 (en) 2007-11-08
MX2008012382A (es) 2008-11-18
US9100659B2 (en) 2015-08-04
MX2008011652A (es) 2008-09-22
BRPI0708305A2 (pt) 2011-05-24
RU2008142771A (ru) 2010-05-10
JP2014131348A (ja) 2014-07-10
BRPI0709167A2 (pt) 2011-06-28
JP2013118671A (ja) 2013-06-13
CN101416518A (zh) 2009-04-22
CN101416519A (zh) 2009-04-22
RU2008142774A (ru) 2010-05-10
US20090185616A1 (en) 2009-07-23
ZA200807023B (en) 2009-11-25
JP2009531966A (ja) 2009-09-03
KR101353193B1 (ko) 2014-01-21
WO2007126508A2 (en) 2007-11-08
CN101416519B (zh) 2012-01-11
RU2529881C2 (ru) 2014-10-10
EP1999967A2 (en) 2008-12-10
JP5845299B2 (ja) 2016-01-20
JP2009531967A (ja) 2009-09-03
JP2016054526A (ja) 2016-04-14
EP1999968A2 (en) 2008-12-10
CN101416517A (zh) 2009-04-22
JP5213088B2 (ja) 2013-06-19
WO2007126509A3 (en) 2008-06-19
WO2007126508A3 (en) 2008-03-27
JP2013017215A (ja) 2013-01-24
US20090207904A1 (en) 2009-08-20
WO2007126509A2 (en) 2007-11-08
BRPI0709194A2 (pt) 2011-06-28
WO2007126511A2 (en) 2007-11-08
EP1999966A2 (en) 2008-12-10
KR101383735B1 (ko) 2014-04-08
JP5213064B2 (ja) 2013-06-19
AU2007243933A1 (en) 2007-11-08
JP5255558B2 (ja) 2013-08-07
KR20080108448A (ko) 2008-12-15
KR20090007293A (ko) 2009-01-16

Similar Documents

Publication Publication Date Title
RU2488973C2 (ru) Способы и устройство для использования в системе кодирования многовидового видео
KR101450921B1 (ko) 멀티뷰 비디오 엔코딩 및 디코딩을 위한 방법 및 장치
US20090323824A1 (en) Methods and Apparatus for Use in Multi-View Video Coding
AU2012203039B2 (en) Methods and apparatus for use in a multi-view video coding system
AU2012261656A1 (en) Methods and apparatus for use in a multi-view video coding system

Legal Events

Date Code Title Description
PD4A Correction of name of patent owner
PC41 Official registration of the transfer of exclusive right

Effective date: 20191111

MM4A The patent is invalid due to non-payment of fees

Effective date: 20200228