RU2605368C2 - Способ формирования и восстановления стереоскопически совместимого видеопотока и связанные с ним устройства кодирования и декодирования - Google Patents
Способ формирования и восстановления стереоскопически совместимого видеопотока и связанные с ним устройства кодирования и декодирования Download PDFInfo
- Publication number
- RU2605368C2 RU2605368C2 RU2012147829/08A RU2012147829A RU2605368C2 RU 2605368 C2 RU2605368 C2 RU 2605368C2 RU 2012147829/08 A RU2012147829/08 A RU 2012147829/08A RU 2012147829 A RU2012147829 A RU 2012147829A RU 2605368 C2 RU2605368 C2 RU 2605368C2
- Authority
- RU
- Russia
- Prior art keywords
- video stream
- metadata
- stereoscopic video
- frame
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000002131 composite material Substances 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 14
- 239000000126 substance Substances 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012536 packaging technology Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Группа изобретений относится к способам и устройствам создания цифрового стереоскопического видеопотока. Техническим результатом является обеспечение возможности отображения 2D изображения из 3D потока, не используя стереоскопические приемники. В способе формирования цифрового стереоскопического видеопотока кадры-контейнеры (C) содержат информацию о правом изображении (R) и левом изображении (L), при этом при кодировании упомянутого цифрового стереоскопического видеопотока (101) вводятся, по меньшей мере, одни метаданные (M), которые реализованы так, чтобы идентифицировать область кадра-контейнера (C), содержащую только одно из упомянутых двух изображений (L, R), а стереоскопический видеопоток кодируется согласно стандарту H.264/AVC, который определяет обрезающий прямоугольник, причем упомянутые метаданные (М), используя тот же синтаксис, что и стандарт, ссылаются только на одно из двух изображений (L, R), содержащихся в упомянутом кадре-контейнере (С). 7 н. и 13 з.п. ф-лы, 9 ил.
Description
Настоящее изобретение относится к способу создания цифрового стереоскопического видеопотока, т.е. видеопотока, который, когда соответствующим образом обрабатывается в устройстве визуализации, воспроизводит последовательности изображений, которые воспринимаются зрителем как трехмерные.
Такой способ также позволяет пользователю, имеющему обычный (нестереоскопический) декодер и телевизионный приемник, отображать упомянутые изображения в 2D.
Настоящее изобретение дополнительно относится к устройству кодирования и устройству декодирования для кодирования и декодирования стереоскопического видеопотока в цифровом формате.
В последние годы мир кинематографического производства уделяет много внимания и тратит огромные ресурсы для производства стереоскопического 3D-контента под влиянием новых средств производства, сделанных доступными посредством новых цифровых технологий.
Интерес к 3D теперь простирается до бытового использования, т.е. отображения изображений на телевизионном приемнике. Например, некоторые операторы платного ТВ будут вскоре транслировать 3D-программы.
Самый распространенный подход к представлению стереоскопического видеоконтента подразумевает отображение двух независимых видеопотоков, предназначенных для правого глаза и для левого глаза, соответственно, которые затем снова собираются человеческим мозгом в трехмерный объект.
Стереоскопический контент для бытового использования является обычно видеоконтентом высокой четкости и может распространяться на носителе памяти большой емкости (DVD или Blu-ray диски, магнитно-оптические или твердотельные носители и т.д.) или по (проводным или беспроводным) каналам вещания или по телекоммуникационной сети (IP).
В производственной среде, однако, с существующими структурами может быть возможным передавать и обрабатывать отдельно два потока, созданные посредством стереоскопических видеокамер, снимающих сцену с двух различных точек обзора.
Более того, сети распространения, достигающие конечного пользователя, являются такими большими, что неэкономично использовать два независимых потока высокой четкости для предоставления одной услуги. Как следствие, должно быть предпринято множество мер во время процесса производства для того, чтобы снижать битовую скорость передачи, требуемую для передачи контента и достижения требуемой цели.
Поскольку результаты исследований, выполненных по различиям в восприятии деталей в двухмерных и трехмерных изображениях, указывают, что, даже когда разрешение стереоскопического контента меньше по сравнению с разрешением двухмерного контента, качество, воспринимаемое пользователем, остается приемлемым, были разработаны различные технологии для упаковки двух изображений, составляющих стереоскопический вид, в один кадр.
Например, в случае одного кадра C высокой четкости (1920х 1080 пикселов) два изображения, составляющие левый и правый каналы (далее в данном документе называемые L и R), получены с горизонтальным разрешением, равным половине разрешения кадра высокой четкости, и затем размещены горизонтально в один кадр (формат с горизонтальной стереопарой), как показано на Фиг. 1a).
Таким образом, возможно использовать один поток высокой четкости для передачи двух независимых видеоканалов; во время декодирования два полукадра разделяются и приводятся к формату 16/9 снова посредством применения подходящих технологий интерполяции.
Аналогичным образом, может быть использован альтернативный процесс, который подразумевает уменьшение наполовину вертикального разрешения и оставление горизонтального разрешения неизменным и затем размещение двух кадров L и R один сверху другого (формат с вертикальной стереопарой), как показано на Фиг. 1b.
Стереоскопический видеопоток, состоящий из составных кадров, затем сжимается для того, чтобы уменьшать его битовую скорость передачи, перед распространением его по сети вещания, IP-сети или на носителе памяти большой емкости.
Технология сжатия, обычно используемая в настоящее время для распространения видео высокой четкости, является технологией, определенной стандартом H.264/AVC.
Телевизионные приемники высокой четкости, в настоящее время доступные на рынке, оснащены декодерами H.264/AVC, поддерживающими декодирование формата вплоть до формата 1080p.
Одним из наиболее важных требований, на котором сфокусировано внимание различных поставщиков услуг (особенно компаний общественного вещания), является обратная совместимость стереоскопических сигналов.
Действительно, для того, чтобы позволять тем пользователям, которые уже обладают декодером высокой четкости, наслаждаться услугами вещания, желательно, чтобы 3D-программы могли также отображаться как 2D-программы. Аналогично, желательно, чтобы 3D-контент на DVD, Blu-ray диске 3D или Интернет-сайте мог отображаться как 2D-, так и 3D-телевизионными приемниками и мониторами.
Этот результат может быть достигнут двумя способами: либо посредством одновременной трансляции как 2D, так и 3D-версий одной программы, либо посредством применения соответствующей технологии для кодирования стереоскопического потока.
Конечно, первый вариант подразумевает излишний расход пропускной способности, чего поставщики услуг предпочитают избегать.
Что касается второго варианта, известны несколько технологий в области техники для формирования обратно совместимых стереоскопических потоков.
Одна из этих технологий относится к применению так называемых "карт глубин", как описано, например, в патентных заявках США № US 2002/0048395 и US 2004/0101043.
На практике сигнал ассоциируется с двухмерным цветным видео в форме дополнительного черно-белого видео, которое несет карты глубин. Подходящий декодер может восстанавливать стереоскопическое видео, исходя из принятых данных. Однако эта технология страдает от тех же самых проблем, что и вышеупомянутая 2D и 3D-передача одной и той же программы: действительно, параллельно должны передаваться два видеосигнала, приводя в результате к высокой битовой скорости передачи информации.
Другой технологией кодирования обратно-совместимого стереоскопического потока является, например, технология, называемая "мультивид".
Поскольку пары правых и левых изображений, создающих стереоскопический видеопоток, характеризуются высокой степенью сходства, технологии пресечения пространственно-временной избыточности, применяемые при кодировании двухмерных потоков, также могут быть использованы в этом случае. Действительно, после того как определенное смещение вследствие геометрического расстояния между точками съемки (т.е. глазной базис) вычтено, различия между правым изображением и левым изображением невелики.
Стандарт MPEG2 был расширен дополнительной спецификацией, называемой профилем мультивида (MVP); аналогично, следующий стандарт H.264/AVC был расширен посредством включения в него спецификации кодирования мультивида (MVC).
Общим характером этих двух спецификаций является использование масштабируемого кодирования видео: стереоскопический видеопоток сжимается в базовый слой (2D-базовый поток) плюс слой улучшения, который передает второй вид. Синтаксис закодированного потока гарантирует, что 2D-видео может также быть декодировано декодерами старого поколения, при условии, что они совместимы со стандартами MPEG2 или H.264/AVC.
Однако битовая скорость передачи информации, необходимая для кодирования стереоскопических потоков в один из вышеописанных форматов, все еще слишком высока, чтобы допускать ее использование в среде вещания.
Целью настоящего изобретения, поэтому, является предоставление способа формирования и восстановления обратно-совместимого цифрового стереоскопического видеопотока, который может распространяться вещательной компанией с помощью той же полосы пропускания, которая требуется для 2D-потока.
Дополнительной целью настоящего изобретения является предоставление способа формирования и восстановления обратно-совместимого цифрового стереоскопического видеопотока, который основан на использовании составных кадров и который всегда применим, несмотря на то, как правое и левое изображения упакованы в упомянутые составные изображения.
Эти и другие цели настоящего изобретения достигаются посредством способа формирования и восстановления стереоскопического видеопотока, объединяющего признаки, изложенные в прилагаемой формуле изобретения, которая является неотъемлемой части настоящего описания.
Настоящее изобретение также описывает устройство кодирования и устройство декодирования для кодирования и декодирования стереоскопического видеопотока, а также описывает стереоскопический видеопоток.
Общей идеей, лежащей в основе настоящего изобретения, является предоставление способа формирования и восстановления видеопотока, содержащего множество кадров, упакованных согласно технологии упаковки, так что результат декодирования видеопотока пригоден к использованию как 2D-декодером, так и 3D-декодером.
В предпочтительном варианте осуществления способ согласно изобретению позволяет заранее подготовить видеопоток таким образом, что упомянутый поток может быть декодирован 2D-декодером, совместимым со спецификацией H.264/AVC (без необходимости каких-либо модификаций упомянутого декодера), и что он может быть отображен на дисплее высокой четкости.
С другой стороны, подходящий декодер, соединенный со стереоскопическим дисплеем, позволит просматривать стереоскопический поток в 3D.
Обратная совместимость стереоскопического видеопотока становится возможной посредством различного использования, во время стадии кодирования метаданных, уже присутствующих в стереоскопическом видеопотоке.
Такие метаданные определяют область составного кадра, содержащую изображение, либо правое, либо левое, стереоскопического видеопотока.
Для 2D-декодера упомянутые метаданные содержат часть информации, инструктирующую декодер, что после декодирования кадра он должен выводить только одну область декодированного составного изображения, т.е. область, которая содержит только одно изображение, либо правое, либо левое, стереоскопического потока.
Таким образом, вещательная компания должна передавать только один стереоскопический поток, который затем соответствующим образом обрабатывается декодером, в зависимости от того может или нет последний декодировать стереоскопические видеопотоки: один и тот же видеопоток может воспроизводиться в 2D или 3D-формате в зависимости от характеристик обрабатывающего его декодера.
Дополнительные цели и преимущества настоящего изобретения станут более понятными из последующего описания нескольких вариантов его осуществления, которые приведены в качестве неограничивающего примера.
Упомянутые варианты осуществления будут описаны со ссылкой на прилагаемые чертежи, на которых:
− Фиг. 1a, 1b и 1c показывают составной кадр стереоскопического видеопотока, соответственно, в формате с горизонтальной стереопарой, в формате с вертикальной стереопарой и в альтернативном формате;
− Фиг. 2 показывает блок-схему устройства для формирования стереоскопического видеопотока согласно изобретению;
− Фиг. 3a, 3b и 3c показывают составные кадры на Фиг. 1a, 1b и 1c с обрезающим прямоугольником, выделенным пунктирной линией;
− Фиг. 4a и 4b показывают блок-схемы устройства для просмотра телевизионных изображений, принятых в качестве цифрового видеопотока, соответственно, в случае, в котором устройство позволяет отображать только 2D-изображения, и в случае, в котором устройство также позволяет отображать 3D-изображения.
На Фиг. 2 показана блок-схема устройства 100 для формирования стереоскопического видеопотока 101 согласно изобретению.
Устройство 100 принимает две последовательности изображений 102 и 103, например, два видеопотока, предназначенных для левого глаза L и для правого глаза R, соответственно.
Устройство 100 позволяет мультиплексировать два изображения из двух последовательностей 102 и 103 изображений. Оно содержит для этой цели модуль 105 сборки, который может вводить пикселы входных изображений в одно составное изображение C.
Когда в последующем описании приводится ссылка на введение изображения в составной кадр или кадр-контейнер C, понятно, что это означает выполнение процедуры, которая формирует (с помощью аппаратных и/или программных средств) область составного кадра C, содержащую те же пикселы, что и исходное изображение. Если составное изображение является изображением типа, показанного на Фиг. 1a или 1b, на этапе копирования необходимо уменьшать наполовину число пикселов либо горизонтально, либо вертикально. Следовательно, два, левое L и правое R, изображения, введенные в составной кадр C, будут деформированы и будут иметь уменьшенное наполовину горизонтальное или вертикальное разрешение.
В составном кадре стереоскопического видеопотока в формате, являющемся альтернативным формату на Фиг. 1c, если входные изображения имеют размер 1280х720 пикселов (так называемый формат 720p), который является одним из форматов, используемых для передачи изображений с улучшенным качеством, но с не очень высокой четкостью, тогда составной кадр, подходящий для хранения обоих изображений, будет кадром, имеющим размер 1920х1080 пикселов, т.е. кадром 1080p-видеопотока (прогрессивный формат с разрешением 1920х1080 пикселов).
В рассматриваемом случае существует преимущество в том, что два, правое R и левое L, изображения могут быть введены в составной кадр C без деформирования и/или субдискретизации, но издержками является то, что одно из двух изображений должно быть разделено, по меньшей мере, на три части, как показано в примере на Фиг. 1c.
Следует отметить, что в альтернативном формате на Фиг. 1c первое изображение может быть введено в любую точку кадра-контейнера (пока последний не требует разборки на различные области); разборка кадра второго изображения и его вставка в кадр-контейнер может быть выполнена согласно множеству различных технологий, признаки которых не относятся к целям настоящего изобретения.
В любом случае, способ, в котором левое L и правое R изображения размещены в кадре-контейнере C, не повлияет на реализацию способа согласно изобретению.
При кодировании стереоскопического видеопотока, состоящего из последовательности 101 кадров-контейнеров C, вводятся, по меньшей мере, одни метаданные M, которые содержат часть информации, касающейся той области составного кадра C, которую 2D-декодер, принимающий стереоскопический видеопоток 101, будет должен вывести после процесса декодирования.
Метаданные M реализованы так, чтобы идентифицировать область составного кадра C, содержащую изображение для левого глаза L или изображение для правого глаза R, при условии, что упомянутое изображение не было разобрано на различные части, подобно правому изображению в примере на Фиг. 1c.
Если стереоскопический видеопоток 101 закодирован в соответствии со стандартом H.264/AVC, тогда метаданные M могут полезно заменять метаданные, относящиеся к "обрезающему прямоугольнику", уже предусмотренные каждым стандартом в секции 7.3.2.1.1 "Sequence parameter set data syntax" ITU T H.264 документа 03-2009, "Advanced video coding for generic audiovisual services".
Такие метаданные были первоначально введены вследствие того факта, что кодирование H.264/AVC предусматривает разборку изображения на макроблоки из 16х16 пикселов, но 1080 не является числом, делимым на 16. Следовательно, внутренний формат представления одного кадра, используемый кодером, может не совпадать с фактическим форматом кадра (для кадров разрешения 1920х1080 кодер H.264/AVC использует представление больше 1920х1088 пикселов, таким образом добавляя восемь пустых линий). Однако метаданные, описывающие "обрезающий прямоугольник" и включенные в стандарт H.264/AVC, функцией которых является инструктирование декодера относительно того, какая часть декодированного кадра должна быть выведена для воспроизведения, позволяют определять абсолютно обычным образом часть прямоугольного кадра, которая должна быть отображена.
На практике, они определяют расстояния от краев кадра, выраженные в числе пикселов, горизонтальной и вертикальной сторон обрезающего прямоугольника, ограничивающего часть, которая должна быть отображена.
Вообще, обрезающий изображение прямоугольник может также быть определен другими полностью эквивалентными способами; например, один может указывать позицию одной вершины прямоугольника или размеры его сторон или координаты двух противоположных вершин.
Отсюда следует, что, по-разному используя метаданные M уже стандартизированного "обрезающего прямоугольника" и, следовательно, используя тот же синтаксис, возможно указывать воспроизведение произвольной области составного кадра C декодеру, совместимому со спецификацией H.264/AVC.
Обращаясь теперь к Фиг. 3a, 3b и 3c, показаны посредством пунктирных линий некоторые возможные области, ограниченные обрезающим прямоугольником, информация о которых должна содержаться согласно изобретению, по меньшей мере, в одних метаданных M.
Например, в кадре-контейнере C на Фиг. 3a в формате с горизонтальной стереопарой и в кадре-контейнере C на Фиг. 3c в альтернативном формате область, охваченная обрезающим прямоугольником, совпадает с областью, занятой левым изображением L кадра-контейнера C.
В качестве дополнительного примера, в кадре-контейнере C на Фиг. 3b в формате с вертикальной стереопарой область, охваченная обрезающим прямоугольником, совпадает с областью, занятой правым изображением R кадра-контейнера C.
После того как стадия кодирования завершена, стереоскопический поток может быть передан по каналу связи и/или записан на подходящий носитель (например, CD, DVD, Blu-ray, память большой емкости и т.п.).
Фиг. 4a показывает обычную систему для просмотра 2D-контента, состоящую из декодера 1100 и дисплея или устройства 1110 визуализации. Декодер 1100 делает доступным одно из двух, правого R и левого L, изображений устройству 1110 визуализации (например, телевизионному приемнику), тем самым, позволяя пользователю просматривать 3D-контент в 2D. Декодер 1100 может быть телевизионной приставкой отдельной от телевизионного приемника или может быть встроен в сам телевизионный приемник.
Аналогичные подходы применимы к проигрывателю (например, DVD-проигрывателю), считывающему кадр-контейнер и обрабатывающему его, чтобы получать 2D-изображение.
Обращаясь снова к Фиг. 4a, система приемника принимает (через кабель или антенну) стереоскопический видеопоток 1103, содержащий составные кадры C. Декодер 1100 считывает метаданные M, указывающие, какая часть кадров C должна быть использована для отображения потока на дисплее или устройстве 1110 визуализации. Затем, он извлекает изображение, содержащееся в части составного кадра C, указанной посредством метаданных M, и отправляет их на дисплей 1110.
Может случиться, что формат изображения, выводимого декодером 1100, не включен в исходно поддерживаемые дисплеем 1110. Например, в случае кадра 1080p в формате с горизонтальной стереопарой во время декодирования приемник 1100 будет выводить кадр, горизонтальный размер которого будет половиной горизонтального размера кадра высокой четкости: область результирующего кадра будет, таким образом, 960х1080 пикселов, и его формат будет 8/9.
Это не является форматом изображения, исходно поддерживаемым дисплеем, но он может быть преобразован обратно в формат 1920х1080 посредством соответствующих этапов интерполяции, которые могут выполняться устройством, включенным во все современные дисплеи. Этим устройством является так называемое масштабирующее устройство, функцией которого является адаптация полученного формата к формату, затребованному пользователем (в действительности, пульты дистанционного управления всех современных телевизионных приемников включают в себя кнопку для выбора между 4/3, 16/9, 14/9 и автоформатами, так что изображения могут просматриваться в формате, отличном от исходного).
Если составной кадр является кадром типа, показанного на Фиг. 1c, тогда формат 2D-совместимого изображения будет иметь тип 720p: последний является стандартным форматом, который может обрабатываться всеми HDTV или HD Ready телевизионными приемниками. Отсюда следует, что масштабирующее устройство будет наверняка способно расширять совместимое изображение, чтобы охватывать полный экран.
Тесты, выполненные на множестве телевизионных приемников, показали, что, даже когда используются составные кадры, аналогичные показанным на Фиг. 1a или 1b, масштабирующее устройство может отображать совместимые изображения корректно, т.е. преобразуя их обратно в полноэкранный формат 16/9.
Просмотр стереоскопического видео в 3D-режиме, однако, будет возможен только посредством использования декодера нового поколения, оснащенного средством, приспособленным распознавать специальное сигнализирование, содержащееся в стереоскопическом видеопотоке, и способное декодировать видео без применения обрезающего прямоугольника.
Этот результат может быть достигнут несколькими способами. Например, могут быть добавлены дополнительные метаданные N, чтобы указывать, что обрезающий прямоугольник действителен только для 2D-декодеров/телевизионных приемников.
Таким образом, нет необходимости обновлять существующие 2D-продукты, они ни требуют каких-либо изменений программно-аппаратных/аппаратных средств.
В предпочтительном варианте осуществления изобретения метаданные N, указывающее, должен ли оригинальный обрезающий прямоугольник быть использован или нет, могут просто быть метаданными, которые указывают, является ли это 3D- или 2D-передачей.
Передача этих метаданных N может происходить, например, по меньшей мере, в одной SI-таблице (сервисная информация) или в H.264 SEI-сообщениях (информация о дополнительном улучшении). В качестве альтернативы, одна или более строк составного кадра может быть предназначена для передачи специфичных для 3D метаданных.
Фиг. 4b показывает систему приемника, подходящую для отображения 3D-контента. Такая система состоит из трех частей, которые могут быть независимыми аппаратными системами или могут быть собраны вместе различными способами. Упомянутые части являются следующими: декодер 1100', распаковщик 1105 и дисплей 1110'.
Из сравнения с Фиг. 4a становится ясно, что требуется дополнительный компонент, т.е. распаковщик 1105. Декодер 1100' выводит последовательность составных кадров C во всей их полноте, т.е. игнорируя информацию об обрезающем прямоугольнике: следовательно, он является нестандартным декодером, поскольку декодеры стандарта предыдущего уровня техники выводят только, после декодирования кадра, ту часть изображения, которая содержится в обрезающем прямоугольнике. Распаковщик 1105 извлекает изображения L и R из составных кадров C и выводит их на дисплей 1110' в режимах, требуемых самим дисплеем 1110'.
Чтобы выполнить это, распаковщик 1105 должен знать, как составной кадр был построен. Распаковщик 1105, подходящий для обработки различных форматов, как противоположность одному формату, должен, следовательно, считывать метаданные P, указывающие такие режимы.
Упомянутые метаданные P могут быть введены в SI-таблицы или SEI-сообщения или в одну строку составного кадра. В первом случае необходимо, чтобы декодер 1100' считывал упомянутые метаданные и отправлял их распаковщику 1105, например, через HDMI-интерфейс: следует отметить, что спецификация упомянутого интерфейса недавно была обновлена с этой самой целью. Во втором случае ситуация проще, поскольку распаковщик 1105 будет искать метаданные P непосредственно в составном кадре.
Признаки настоящего изобретения, а также его преимущества, очевидны из вышеприведенного описания.
Первым преимуществом настоящего изобретения является то, что вещательная компания, желающая транслировать 3D-программу, которая может также быть декодирована 2D-декодером, не должна будет передавать два одновременных видеопотока, таким образом, используя меньшую ширину канала для передачи видеопотока.
Вторым преимуществом настоящего изобретения является то, что способ может всегда быть применен, несмотря на то, как кадры, переносящие правое и левое изображения, упакованы в кадр-контейнер.
Способ формирования и восстановления стереоскопического видеопотока и связанные формирующие и восстанавливающие устройства могут быть предметом для множества возможных вариаций без отступления от сущности новизны идеи изобретения; также ясно, что в практической реализации изобретения иллюстрированные детали могут иметь различные формы или быть заменены другими технически эквивалентными элементами.
Например, несмотря на то, что в вышеприведенном описании приведена ссылка, в частности, на стандарт H.264/AVC, ясно, что способ также применим, когда кодирование выполняется в соответствии с другими стандартами, при условии, что упомянутые стандарты используют метаданные, аналогичные используемым для определения обрезающего прямоугольника стандарта H.264/AVC.
Например, даже если приведена отдельная ссылка в настоящем описании на составные кадры в формате 1080p, ясно, что изобретение не зависит от размера составного кадра и изображений, составляющих кадры: изобретение, следовательно, также применимо к случаю, в котором составной кадр имеет размер 720p или является кадром типа очень высокого разрешения (так называемые форматы 2k и 4k, т.е. имеющие приблизительно 2000 или 4000 линий).
Следовательно, понятно, что настоящее изобретение не ограничено способом формирования и восстановления стереоскопического видеопотока и связанными с ним устройствами и может быть предметом для множества модификаций, улучшений или замен эквивалентных частей и элементов без отступления от идеи изобретения, которая ясно указана в последующей формуле.
Claims (20)
1. Способ формирования цифрового стереоскопического видеопотока (101), содержащего кадры-контейнеры (С), причем упомянутые кадры-контейнеры (С) содержат информацию о правом изображении (R) и левом изображении (L), отличающийся тем, что при кодировании упомянутого цифрового стереоскопического видеопотока (101) вводятся, по меньшей мере, одни метаданные (М), которые адаптированы так, чтобы идентифицировать область кадра-контейнера (С), содержащую только одно из упомянутых двух изображений (L, R);
при этом цифровой стереоскопический видеопоток кодируется согласно стандарту H.264/AVC, который определяет обрезающий прямоугольник, или стандарту, использующему метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC, причем упомянутые, по меньшей мере, одни метаданные (М), используя тот же синтаксис, что и стандарт, ссылаются только на одно из двух изображений (L, R), содержащихся в упомянутом кадре-контейнере (С).
при этом цифровой стереоскопический видеопоток кодируется согласно стандарту H.264/AVC, который определяет обрезающий прямоугольник, или стандарту, использующему метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC, причем упомянутые, по меньшей мере, одни метаданные (М), используя тот же синтаксис, что и стандарт, ссылаются только на одно из двух изображений (L, R), содержащихся в упомянутом кадре-контейнере (С).
2. Способ по п. 1, в котором размеры упомянутой, по меньшей мере, одной области упомянутого кадра-контейнера (С) таковы, что она может быть отображена без необходимости каких-либо изменений в соотношении ширина/высота упомянутой области.
3. Способ по одному из пп. 1-2, в котором упомянутая, по меньшей мере, одна область упомянутого кадра-контейнера (С) интерполирована и преобразована по формату так, что она может быть отображена на полном экране в формате 16/9.
4. Способ по п. 1, в котором, по меньшей мере, одни дополнительные метаданные (N, Р) введены в цифровой стереоскопический видеопоток, чтобы указывать стереоскопическому декодеру, что упомянутые, по меньшей мере, одни метаданные (М) должны быть игнорированы.
5. Способ по п. 4, в котором упомянутые дополнительные метаданные (N, Р) отправляются, по меньшей мере, в одной SI-таблице или в SEI-сообщениях, касающихся упомянутого цифрового стереоскопического видеопотока, закодированного в соответствии со стандартом H.264/AVC или стандартом, использующим метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC.
6. Способ по п. 4 или 5, в котором упомянутые, по меньшей мере, одни дополнительные метаданные (N) являются метаданными, которые указывают, является ли формат программы 2D или 3D.
7. Способ по п. 4 или 5, в котором упомянутые, по меньшей мере, одни дополнительные метаданные (Р) являются метаданными, которые указывают то, как был построен кадр-контейнер (С).
8. Устройство (100) для кодирования цифрового стереоскопического видеопотока (101), содержащего кадры-контейнеры (С), причем упомянутые кадры-контейнеры (С) содержат информацию о правом изображении (R) и левом изображении (L), отличающееся тем, что содержит средство, выполненное с возможностью реализовывать способ по любому из пп. 1-7.
9. Способ восстановления, по меньшей мере, одного 2D-совместимого изображения, исходя из цифрового стереоскопического видеопотока, содержащего кадры-контейнеры (С), причем упомянутые кадры-контейнеры (С) содержат информацию о правом изображении (R) и левом изображении (L), отличающийся тем, что при декодировании упомянутого цифрового стереоскопического видеопотока (101) извлекаются, по меньшей мере, одни метаданные (М), которые адаптированы для идентифицирования области кадра-контейнера (С), содержащей только одно из упомянутых двух изображений (L, R);
при этом цифровой стереоскопический видеопоток декодируется согласно стандарту, использующему метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC, причем упомянутые, по меньшей мере, одни метаданные (М), используя тот же синтаксис, что и стандарт, ссылаются только на одно из двух изображений (L, R), содержащихся в упомянутом кадре-контейнере (С).
при этом цифровой стереоскопический видеопоток декодируется согласно стандарту, использующему метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC, причем упомянутые, по меньшей мере, одни метаданные (М), используя тот же синтаксис, что и стандарт, ссылаются только на одно из двух изображений (L, R), содержащихся в упомянутом кадре-контейнере (С).
10. Способ по п. 9, в котором размеры упомянутой, по меньшей мере, одной области упомянутого кадра-контейнера (С) таковы, что она может быть отображена без необходимости каких-либо изменений в соотношении ее ширины/высоты.
11. Способ по одному из пп. 9-10, в котором упомянутая, по меньшей мере, одна область упомянутого кадра-контейнера (С) интерполируется и преобразуется по формату так, что она может быть отображена на полном экране в формате 16/9.
12. Декодер, выполненный с возможностью восстанавливать, по меньшей мере, одно 20-совместимое изображение, исходя из стереоскопического видеопотока, содержащего кадры-контейнеры (С), причем упомянутые кадры-контейнеры (С) содержат информацию о правом изображении (R) и левом изображении (L), отличающийся тем, что содержит средство для реализации способа по одному из пп. 9-11.
13. Способ декодирования цифрового стереоскопического видеопотока и извлечения двух, правого (R) и левого (L), изображений из кадра-контейнера (С), отличающийся тем, что декодер (1100') считывает, по меньшей мере, одни метаданные (N, Р), указывающие, является ли видеопоток стереоскопическим или нет, и, если упомянутый видеопоток является стереоскопическим:
- информация, содержащаяся, по меньшей мере, в одних дополнительных метаданных (М), определяющих обрезающий прямоугольник, игнорируется;
- последовательность кадров-контейнеров (С) воспроизводится целиком;
- упомянутая последовательность кадров-контейнеров (С) отправляется распаковщику (1105), который воспроизводит упомянутые два, правое (R) и левое (L), изображения, как требуется, посредством стереоскопического дисплея (1110').
- информация, содержащаяся, по меньшей мере, в одних дополнительных метаданных (М), определяющих обрезающий прямоугольник, игнорируется;
- последовательность кадров-контейнеров (С) воспроизводится целиком;
- упомянутая последовательность кадров-контейнеров (С) отправляется распаковщику (1105), который воспроизводит упомянутые два, правое (R) и левое (L), изображения, как требуется, посредством стереоскопического дисплея (1110').
14. Способ по п. 13, в котором упомянутые, по меньшей мере, одни дополнительные метаданные (М) являются метаданными, которые определены в соответствии со стандартом H.264/AVC.
15. Способ по п. 13, в котором упомянутые, по меньшей мере, одни дополнительные метаданные (М) являются метаданными, которые определены в соответствии со стандартом, использующим метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC.
16. Способ по п. 13, в котором упомянутый декодер (1100') отправляет упомянутому распаковщику (1105) дополнительные метаданные (Р), указывающие то, как левое (L) и правое (R) изображения были упакованы, в частности, содержимое SI-поля и/или SEI-сообщения, принадлежащего упомянутому стереоскопическому видеопотоку.
17. Способ по п. 13, в котором упомянутый распаковщик (1105) считывает дополнительные метаданные (Р), содержащиеся в кадре-контейнере и указывающие то, как левое (L) и правое (R) изображения были упакованы.
18. Способ по п. 16 или 17, в котором упомянутые дополнительные метаданные (Р) содержат обрезающие прямоугольники для каждой области составного кадра (С).
19. Декодер, выполненный с возможностью декодировать цифровой стереоскопический видеопоток и извлекать два, правое (R) и левое (L), изображения из кадра-контейнера (С), содержащий средство для реализации способа по одному из пп. 13-18.
20. Распаковщик (1105), выполненный с возможностью воспроизводить правое и левое изображения из стереоскопического видеопотока, как требуется, посредством способа по одному из пп. 13-18.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ITTO2010A000282A IT1399417B1 (it) | 2010-04-12 | 2010-04-12 | Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica. |
ITTO2010A000282 | 2010-04-12 | ||
PCT/IB2011/051504 WO2011128818A1 (en) | 2010-04-12 | 2011-04-07 | Method for generating and rebuilding a stereoscopic-compatible video stream and related coding and decoding devices |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2012147829A RU2012147829A (ru) | 2014-05-20 |
RU2605368C2 true RU2605368C2 (ru) | 2016-12-20 |
Family
ID=42557522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012147829/08A RU2605368C2 (ru) | 2010-04-12 | 2011-04-07 | Способ формирования и восстановления стереоскопически совместимого видеопотока и связанные с ним устройства кодирования и декодирования |
Country Status (21)
Country | Link |
---|---|
US (1) | US9386293B2 (ru) |
EP (1) | EP2559257B1 (ru) |
JP (2) | JP6040932B2 (ru) |
KR (1) | KR101889459B1 (ru) |
CN (1) | CN102972030B (ru) |
AU (1) | AU2011241841B2 (ru) |
BR (1) | BR112012025502B1 (ru) |
CA (1) | CA2795115A1 (ru) |
CL (1) | CL2012002849A1 (ru) |
IL (1) | IL222274A (ru) |
IT (1) | IT1399417B1 (ru) |
MA (1) | MA34222B1 (ru) |
MX (1) | MX2012011847A (ru) |
NZ (1) | NZ602870A (ru) |
PE (1) | PE20130819A1 (ru) |
RU (1) | RU2605368C2 (ru) |
SG (2) | SG10201502810SA (ru) |
TN (1) | TN2012000471A1 (ru) |
TW (1) | TWI527433B (ru) |
UA (1) | UA109782C2 (ru) |
WO (1) | WO2011128818A1 (ru) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008106185A (ja) * | 2006-10-27 | 2008-05-08 | Shin Etsu Chem Co Ltd | 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法 |
JP5815326B2 (ja) * | 2011-08-12 | 2015-11-17 | ルネサスエレクトロニクス株式会社 | 動画像復号装置及び画像表示装置 |
ITTO20120134A1 (it) * | 2012-02-16 | 2013-08-17 | Sisvel Technology Srl | Metodo, apparato e sistema di impacchettamento di frame utilizzanti un nuovo formato "frame compatible" per la codifica 3d. |
ITTO20120901A1 (it) * | 2012-10-15 | 2014-04-16 | Rai Radiotelevisione Italiana | Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica |
WO2016204481A1 (ko) * | 2015-06-16 | 2016-12-22 | 엘지전자 주식회사 | 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법 |
US9894342B2 (en) * | 2015-11-25 | 2018-02-13 | Red Hat Israel, Ltd. | Flicker-free remoting support for server-rendered stereoscopic imaging |
EP3249928A1 (en) * | 2016-05-23 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
CN107046637A (zh) * | 2017-01-05 | 2017-08-15 | 北京大学深圳研究生院 | 一种针对三维图像的非对称拼接方法 |
US11074453B2 (en) * | 2018-01-31 | 2021-07-27 | Hewlett Packard Enterprise Development Lp | Video active region batching |
US11069026B2 (en) | 2018-03-02 | 2021-07-20 | Mediatek Inc. | Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding |
US10922783B2 (en) | 2018-03-02 | 2021-02-16 | Mediatek Inc. | Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1524859A2 (en) * | 2003-10-16 | 2005-04-20 | Sharp Kabushiki Kaisha | System and method for three-dimensional video coding |
RU2287858C2 (ru) * | 2001-11-24 | 2006-11-20 | Тдв Текнолоджиз Корп. | Создание последовательности стереоскопических изображений из последовательности двумерных изображений |
RU2337497C2 (ru) * | 2004-03-10 | 2008-10-27 | Квэлкомм Инкорпорейтед | Устройство и способ для реализации интерфейса с высокой скоростью передачи данных |
US20080303893A1 (en) * | 2007-06-11 | 2008-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for generating header information of stereoscopic image data |
US20090128620A1 (en) * | 2007-06-07 | 2009-05-21 | Lenny Lipton | Demultiplexing for stereoplexed film and video applications |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004505393A (ja) | 2000-08-09 | 2004-02-19 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | イメージ変換および符号化技術 |
AU2002952873A0 (en) | 2002-11-25 | 2002-12-12 | Dynamic Digital Depth Research Pty Ltd | Image encoding system |
JP4638784B2 (ja) * | 2005-07-19 | 2011-02-23 | オリンパスイメージング株式会社 | 画像出力装置及びプログラム |
FI3920538T3 (fi) * | 2007-04-12 | 2023-04-05 | Dolby Int Ab | Limittäminen videon enkoodauksessa ja dekoodauksessa |
US8487982B2 (en) * | 2007-06-07 | 2013-07-16 | Reald Inc. | Stereoplexing for film and video applications |
KR100962696B1 (ko) * | 2007-06-07 | 2010-06-11 | 주식회사 이시티 | 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법 |
KR101450145B1 (ko) * | 2007-06-11 | 2014-10-13 | 삼성전자 주식회사 | 스테레오스코픽 영상 비트스트림 생성 방법 및 장치 |
KR101506217B1 (ko) * | 2008-01-31 | 2015-03-26 | 삼성전자주식회사 | 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치 |
KR101506219B1 (ko) * | 2008-03-25 | 2015-03-27 | 삼성전자주식회사 | 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체 |
WO2011049519A1 (en) * | 2009-10-20 | 2011-04-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement for multi-view video compression |
IT1397591B1 (it) | 2009-12-21 | 2013-01-16 | Sisvel Technology Srl | Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi. |
IT1397588B1 (it) | 2009-12-21 | 2013-01-16 | Sisvel Technology Srl | Metodo per la programmazione automatica di un ricevitore atto a ricevere segnali radiotelevisivi in almeno due diversi formati e relativo ricevitore. |
-
2010
- 2010-04-12 IT ITTO2010A000282A patent/IT1399417B1/it active
-
2011
- 2011-04-07 EP EP11730435.2A patent/EP2559257B1/en active Active
- 2011-04-07 JP JP2013504370A patent/JP6040932B2/ja active Active
- 2011-04-07 PE PE2012001993A patent/PE20130819A1/es not_active Application Discontinuation
- 2011-04-07 NZ NZ602870A patent/NZ602870A/en unknown
- 2011-04-07 WO PCT/IB2011/051504 patent/WO2011128818A1/en active Application Filing
- 2011-04-07 KR KR1020127029342A patent/KR101889459B1/ko active IP Right Grant
- 2011-04-07 BR BR112012025502-9A patent/BR112012025502B1/pt active IP Right Grant
- 2011-04-07 RU RU2012147829/08A patent/RU2605368C2/ru active
- 2011-04-07 MA MA35355A patent/MA34222B1/fr unknown
- 2011-04-07 SG SG10201502810SA patent/SG10201502810SA/en unknown
- 2011-04-07 SG SG2012073094A patent/SG184396A1/en unknown
- 2011-04-07 CA CA2795115A patent/CA2795115A1/en not_active Abandoned
- 2011-04-07 US US13/640,248 patent/US9386293B2/en active Active
- 2011-04-07 CN CN201180019048.1A patent/CN102972030B/zh active Active
- 2011-04-07 UA UAA201212802A patent/UA109782C2/ru unknown
- 2011-04-07 AU AU2011241841A patent/AU2011241841B2/en not_active Ceased
- 2011-04-07 MX MX2012011847A patent/MX2012011847A/es active IP Right Grant
- 2011-04-08 TW TW100112145A patent/TWI527433B/zh active
-
2012
- 2012-09-28 TN TNP2012000471A patent/TN2012000471A1/en unknown
- 2012-10-09 IL IL222274A patent/IL222274A/en not_active IP Right Cessation
- 2012-10-11 CL CL2012002849A patent/CL2012002849A1/es unknown
-
2016
- 2016-07-28 JP JP2016148640A patent/JP2016197909A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2287858C2 (ru) * | 2001-11-24 | 2006-11-20 | Тдв Текнолоджиз Корп. | Создание последовательности стереоскопических изображений из последовательности двумерных изображений |
EP1524859A2 (en) * | 2003-10-16 | 2005-04-20 | Sharp Kabushiki Kaisha | System and method for three-dimensional video coding |
RU2337497C2 (ru) * | 2004-03-10 | 2008-10-27 | Квэлкомм Инкорпорейтед | Устройство и способ для реализации интерфейса с высокой скоростью передачи данных |
US20090128620A1 (en) * | 2007-06-07 | 2009-05-21 | Lenny Lipton | Demultiplexing for stereoplexed film and video applications |
US20080303893A1 (en) * | 2007-06-11 | 2008-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for generating header information of stereoscopic image data |
Non-Patent Citations (1)
Title |
---|
ITU-T H.264 : Advanced video coding for generic audiovisual services, опубл. 03/2010, размещенный в Интернет по адресу URL:http://www.itu.int/rec/T-REC-H.264-201003-S/en. * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2605368C2 (ru) | Способ формирования и восстановления стереоскопически совместимого видеопотока и связанные с ним устройства кодирования и декодирования | |
KR101787133B1 (ko) | 비디오 콘텐츠 처리 장치 및 방법 | |
US9218644B2 (en) | Method and system for enhanced 2D video display based on 3D video input | |
KR101774396B1 (ko) | 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법 | |
US20110149022A1 (en) | Method and system for generating 3d output video with 3d local graphics from 3d input video | |
EP2337365A2 (en) | Method and system for pulldown processing for 3D video | |
US20110149040A1 (en) | Method and system for interlacing 3d video | |
US20110150355A1 (en) | Method and system for dynamic contrast processing for 3d video | |
US20110149021A1 (en) | Method and system for sharpness processing for 3d video | |
KR20130055248A (ko) | 3차원 텔레비전 수신기를 위한 영상 포맷 변환 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
HZ9A | Changing address for correspondence with an applicant |