RU2020135597A - Способ, устройство и поток для формата объемного видео - Google Patents
Способ, устройство и поток для формата объемного видео Download PDFInfo
- Publication number
- RU2020135597A RU2020135597A RU2020135597A RU2020135597A RU2020135597A RU 2020135597 A RU2020135597 A RU 2020135597A RU 2020135597 A RU2020135597 A RU 2020135597A RU 2020135597 A RU2020135597 A RU 2020135597A RU 2020135597 A RU2020135597 A RU 2020135597A
- Authority
- RU
- Russia
- Prior art keywords
- segments
- data
- segment
- track
- scene
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
Claims (39)
1. Способ кодирования данных, представляющих 3D-сцену (10), причем способ содержит этапы, на которых
кодируют (201) в, по меньшей мере, первую дорожку первые данные, представляющие текстуру 3D-сцены, которая видна в соответствии с первой точкой (20) обзора, причем первые данные размещаются во множестве первых сегментов (с 81 по 88) первого кадра (40), при этом часть 3D-сцены связана с каждым первым сегментом из множества первых сегментов;
кодируют в, по меньшей мере, вторую дорожку вторые данные, представляющие глубину, связанную с точками 3D-сцены, причем вторые данные размещаются во множестве вторых сегментов второго кадра (151, 152), при этом общее количество вторых сегментов второго кадра больше общего количества первых сегментов первого кадра, при этом для каждого первого сегмента из, по меньшей мере, части множества первых сегментов:
набор вторых сегментов, содержащий по меньшей мере один второй сегмент из множества вторых сегментов, распределяется каждому первому сегменту из, по меньшей мере, части множества первых сегментов,
набор (с S1 по S8), по меньшей мере, фрагмента (904) размещается в наборе вторых сегментов, причем каждый фрагмент соответствует двумерной параметризации группы из 3D-точек (94), которые содержатся в части 3D-сцены, связанной с упомянутым каждым первым сегментом, и содержит вторые данные, представляющие глубину, связанную с 3D-точками группы;
кодируют в, по меньшей мере, третью дорожку, по меньшей мере, инструкцию для извлечения, по меньшей мере, части упомянутых первых данных и вторых данных из, по меньшей мере, части упомянутой по меньшей мере первой дорожки и по меньшей мере второй дорожки.
2. Устройство (19), сконфигурированное для кодирования данных, представляющих 3D-сцену (10), причем устройство содержит память (194), связанную с по меньшей мере одним процессором (192), выполненным с возможностью
кодировать в, по меньшей мере, первую дорожку первые данные, представляющие текстуру 3D-сцены, которая видна в соответствии с первой точкой (20) обзора, причем первые данные размещаются во множестве первых сегментов (с 81 по 88) первого кадра (40), при этом часть 3D-сцены связана с каждым первым сегментом из множества первых сегментов;
кодировать в, по меньшей мере, вторую дорожку вторые данные, представляющие глубину, связанную с точками 3D-сцены, причем вторые данные размещаются во множестве вторых сегментов второго кадра (151, 152), при этом общее количество вторых сегментов второго кадра больше общего количества первых сегментов первого кадра, при этом для каждого первого сегмента из, по меньшей мере, части множества первых сегментов:
набор вторых сегментов, содержащий по меньшей мере один второй сегмент из множества вторых сегментов, распределяется каждому первому сегменту из, по меньшей мере, части множества первых сегментов,
набор (с S1 по S8), по меньшей мере, фрагмента (904) размещается в наборе вторых сегментов, причем каждый фрагмент соответствует двумерной параметризации группы из 3D-точек (94), которые содержатся в части 3D-сцены, связанной с упомянутым каждым первым сегментом, и содержит вторые данные, представляющие глубину, связанную с 3D-точками группы;
кодировать в, по меньшей мере, третью дорожку, по меньшей мере, инструкцию для извлечения, по меньшей мере, части упомянутых первых данных и вторых данных из, по меньшей мере, части упомянутой по меньшей мере первой дорожки и по меньшей мере второй дорожки.
3. Способ по п. 1, в котором упомянутый каждый фрагмент дополнительно содержит третьи данные, представляющие текстуру, связанную с 3D-точками группы, причем третьи данные кодируются в упомянутую по меньшей мере вторую дорожку.
4. Способ по п. 1, в котором набор третьих сегментов третьего кадра, содержащий по меньшей мере один третий сегмент, распределяется упомянутому каждому первому сегменту, и набор, по меньшей мере, фрагмента, содержащий третьи данные, представляющие текстуру, связанную с 3D-точками группы, размещается в упомянутом наборе третьих сегментов, причем по меньшей мере фрагмент соответствует двумерной параметризации группы 3D-точек, при этом третьи данные кодируются в, по меньшей мере, третью дорожку.
5. Способ по одному из пп. 1, 3 и 4, в котором, когда размер фрагмента набора больше размера второго сегмента, в который должен быть размещен фрагмент, тогда фрагмент разбивается на множество суб-фрагментов, причем размер каждого меньше размера второго сегмента.
6. Способ по одному из пп. 1, 3 и 4, в котором фрагменты набора размещаются в приоритетном порядке в зависимости от визуальной важности фрагментов, причем визуальная важность зависит от вторых данных, связанных с фрагментами.
7. Способ по одному из пп. 1, 3 и 4, в котором вторые сегменты имеют один и тот же размер, который является фиксированным для множества следующих друг за другом по времени вторых кадров.
8. Способ декодирования данных, представляющих 3D-сцену (10), причем способ содержит этапы, на которых
декодируют из, по меньшей мере, третьей дорожки, по меньшей мере, инструкцию для извлечения первых данных и вторых данных из, по меньшей мере, первой дорожки и, по меньшей мере, второй дорожки;
декодируют упомянутые первые данные из упомянутой по меньшей мере первой дорожки, причем упомянутые первые данные представляют текстуру 3D-сцены, которая видна в соответствии с первой точкой (20) обзора, причем первые данные размещаются во множестве первых сегментов (с 81 по 88) первого кадра (40), при этом часть 3D-сцены связана с каждым первым сегментом из множества первых сегментов;
декодируют упомянутые вторые данные из упомянутой по меньшей мере второй дорожки, причем упомянутые вторые данные представляют глубину, связанную с точками 3D-сцены, причем упомянутые вторые данные, представляющие глубину, содержатся в, по меньшей мере, фрагменте, который размещен в, по меньшей мере, наборе вторых сегментов второго кадра, при этом набор вторых сегментов распределяется упомянутому каждому первому сегменту, причем по меньшей мере фрагмент соответствует двумерной параметризации группы из 3D-точек, которые содержатся в, по меньшей мере, части 3D-сцены, связанной с упомянутым каждым первым сегментом, при этом вторые данные представляют глубину, связанную с 3D-точками группы.
9. Устройство (19), сконфигурированное для декодирования данных, представляющих 3D-сцену, причем устройство содержит память (194), связанную с по меньшей мере одним процессором (192), выполненным с возможностью
декодировать из, по меньшей мере, третьей дорожки, по меньшей мере, инструкцию для извлечения первых данных и вторых данных из, по меньшей мере, первой дорожки и, по меньшей мере, второй дорожки;
декодировать упомянутые первые данные из упомянутой по меньшей мере первой дорожки, причем упомянутые первые данные представляют текстуру 3D-сцены, которая видна в соответствии с первой точкой (20) обзора, при этом первые данные размещаются во множестве первых сегментов (с 81 по 88) первого кадра (40), причем часть 3D-сцены связана с каждым первым сегментом из множества первых сегментов;
декодировать упомянутые вторые данные из упомянутой по меньшей мере второй дорожки, причем упомянутые вторые данные представляют глубину, связанную с точками 3D-сцены, причем упомянутые вторые данные, представляющие глубину, содержатся в, по меньшей мере, фрагменте, который размещен в, по меньшей мере, наборе вторых сегментов второго кадра, при этом набор вторых сегментов распределяется упомянутому каждому первому сегменту, причем, по меньшей мере, фрагмент соответствует двумерной параметризации группы из 3D-точек, которые содержатся в, по меньшей мере, части 3D-сцены, связанной с упомянутым каждым первым сегментом, при этом вторые данные представляют глубину, связанную с 3D-точками группы.
10. Способ по п. 8, в котором третьи данные, представляющие текстуру, связанную с 3D-точками группы, которые содержатся в упомянутом каждом фрагменте, дополнительно декодируются из, по меньшей мере, второй дорожки.
11. Способ по п. 8, в котором третьи данные, представляющие текстуру, дополнительно декодируются из, по меньшей мере, третьей дорожки, причем третьи данные размещаются во множество третьих сегментов третьего кадра, при этом набор третьих сегментов, содержащий по меньшей мере один третий сегмент, распределяется упомянутому каждому первому сегменту, причем набор, по меньшей мере, фрагмента, содержащий третьи данные, связанные с 3D-точками группы, размещается в наборе третьих сегментов, при этом, по меньшей мере, фрагмент соответствует двумерной параметризации группы 3D-точек.
12. Способ по одному из пп. 8, 10 и 11, в котором визуализация, по меньшей мере, части 3D-сцены осуществляется в соответствии с первыми и вторыми данными.
13. Битовый поток, несущий данные, представляющие 3D-сцену, при этом данные содержат, в, по меньшей мере, первом элементе синтаксиса, первые данные, представляющие текстуру 3D-сцены, которая видна в соответствии с первой точкой обзора, причем первые данные связаны со множеством первых сегментов первого кадра, при этом часть 3D-сцены связана с каждым первым сегментом из множества первых сегментов; в, по меньшей мере, втором элементе синтаксиса, вторые данные, представляющие глубину, связанную с точками 3D-сцены, причем вторые данные связаны со множеством вторых сегментов второго кадра, при этом общее количество вторых сегментов второго кадра больше общего количества первых сегментов первого кадра, причем набор вторых сегментов содержит по меньшей мере один второй сегмент, распределенный упомянутому каждому первому сегменту, при этом набор, по меньшей мере, фрагмента размещается в упомянутом наборе вторых сегментов, причем каждый фрагмент соответствует двумерной параметризации группы из 3D-точек, которые содержатся в части 3D-сцены, связанной с упомянутым каждым первым сегментом, и содержит вторые данные, представляющие глубину, связанную с 3D-точками группы; причем битовый поток дополнительно несет в, по меньшей мере, третьем элементе синтаксиса, по меньшей мере, инструкцию для извлечения, по меньшей мере, части упомянутых первых данных и вторых данных.
14. Долговременный читаемый процессором носитель информации с хранящимися на нем инструкциями для предписания процессору выполнять, по меньшей мере, этапы способа по одному из пп. 1 и 3-7.
15. Долговременный читаемый процессором носитель информации с хранящимися на нем инструкциями для предписания процессору выполнять, по меньшей мере, этапы способа по пп. 8 и 10-12.
16. Устройство по п. 2, при этом упомянутый каждый фрагмент дополнительно содержит третьи данные, представляющие текстуру, связанную с 3D-точками группы, причем третьи данные кодируются в упомянутую по меньшей мере вторую дорожку.
17. Устройство по п. 2, при этом набор третьих сегментов третьего кадра, содержащий по меньшей мере один третий сегмент, распределяется упомянутому каждому первому сегменту, и набор, по меньшей мере, фрагмента, содержащий третьи данные, представляющие текстуру, связанную с 3D-точками группы, размещается в упомянутом наборе третьих сегментов, при этом, по меньшей мере, фрагмент соответствует двумерной параметризации группы 3D-точек, причем третьи данные кодируются в, по меньшей мере, третью дорожку.
18. Устройство по одному из пп. 2, 16 и 17, при этом, когда размер фрагмента набора больше размера второго сегмента, в который должен быть размещен фрагмент, тогда фрагмент разбивается на множество суб-фрагментов, причем размер каждого меньше размера второго сегмента.
19. Устройство по одному из пп. 2, 16 и 17, при этом фрагменты набора размещаются в приоритетном порядке в зависимости от визуальной важности фрагментов, причем визуальная важность зависит от вторых данных, связанных с фрагментами.
20. Устройство по одному из пп. 2, 16 и 17, при этом вторые сегменты имеют один и тот же размер, который является фиксированным для множества следующих друг за другом по времени вторых кадров.
21. Устройство по п. 9, при этом третьи данные, представляющие текстуру, связанную с 3D-точками группы, которые содержатся в упомянутом каждом фрагменте, дополнительно декодируются из, по меньшей мере, второй дорожки.
22. Устройство по п. 9, при этом третьи данные, представляющие текстуру, дополнительно декодируются из, по меньшей мере, третьей дорожки, причем третьи данные размещаются во множество третьих сегментов третьего кадра, причем набор третьих сегментов, содержащий по меньшей мере один третий сегмент, распределяется упомянутому каждому первому сегменту, причем набор, по меньшей мере, фрагмента, содержащий третьи данные, связанные с 3D-точками группы, размещается в наборе третьих сегментов, при этом, по меньшей мере, фрагмент соответствует двумерной параметризации группы 3D-точек.
23. Устройство по одному из пп. 9, 21 и 22, в котором визуализация, по меньшей мере, части 3D-сцены осуществляется в соответствии с первыми и вторыми данными.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18305372.7 | 2018-03-30 | ||
| EP18305372.7A EP3547704A1 (en) | 2018-03-30 | 2018-03-30 | Method, apparatus and stream for volumetric video format |
| PCT/US2019/024245 WO2019191205A1 (en) | 2018-03-30 | 2019-03-27 | Method, apparatus and stream for volumetric video format |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2020135597A true RU2020135597A (ru) | 2022-05-04 |
| RU2807582C2 RU2807582C2 (ru) | 2023-11-16 |
Family
ID=
Also Published As
| Publication number | Publication date |
|---|---|
| EP3547704A1 (en) | 2019-10-02 |
| US11178383B2 (en) | 2021-11-16 |
| JP2021520101A (ja) | 2021-08-12 |
| CN112189345A (zh) | 2021-01-05 |
| US20220094903A1 (en) | 2022-03-24 |
| US20210112236A1 (en) | 2021-04-15 |
| WO2019191205A1 (en) | 2019-10-03 |
| EP3777222A1 (en) | 2021-02-17 |
| US11647177B2 (en) | 2023-05-09 |
| CN112189345B (zh) | 2023-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2745021C1 (ru) | Способ и устройства для конфигурирования преобразования для сжатия видео | |
| RU2019137954A (ru) | Сигнализация опорных изображений | |
| JP6037341B2 (ja) | 映像をデコーディングするための方法 | |
| RU2018117534A (ru) | Устройство и способ обработки изображений | |
| RU2018103979A (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы | |
| RU2020122372A (ru) | Совместное перестраивание изображения и кодирование видеосигнала | |
| RU2017133106A (ru) | Вывод информации движения для подблоков при видеокодировании | |
| JP2016513916A5 (ru) | ||
| JP6706357B2 (ja) | 少なくとも１つの第２の画像成分の参照ブロックに対して第１の画像成分の現在ブロックを符号化するための方法、符号化装置および対応するコンピュータプログラム | |
| JP2012531808A5 (ru) | ||
| RU2017123542A (ru) | Способ кодирования, способ декодирования, устройство кодирования, устройство декодирования и устройство кодирования и декодирования | |
| JP2016537841A5 (ru) | ||
| RU2013156553A (ru) | Способ и устройство для кодирования видео и способ и устройство для декодирования видео, основанные на иерархической структуре блока кодирования | |
| JP2017522795A5 (ru) | ||
| JP2016529782A5 (ru) | ||
| RU2016101199A (ru) | Устройство обработки информации и способ | |
| FI4002842T3 (fi) | Videodekoodausmenetelmä, videokoodausmenetelmä ja tallennusväline, joka tallentaa koodatun videoinformaation | |
| WO2015055134A1 (zh) | 视频编解码中的块分割方式确定方法及相关装置 | |
| RU2013119943A (ru) | Способ и устройство кодирования видео для кодирования символов с иерархической структурой, способ и устройство декодирования видео для декодирования символов и иерархической структурой | |
| CN105430417B (zh) | 编码方法、解码方法、装置及电子设备 | |
| JP2022140646A5 (ru) | ||
| US20190246117A1 (en) | Encoding data arrays | |
| JP5779116B2 (ja) | 画像符号化方法、画像符号化装置及び画像符号化プログラム | |
| RU2020115171A (ru) | Способ и устройство декодирования изображения на основе интра-предсказания в системе кодирования изображения | |
| CN108464004A (zh) | 使用智能编码树单元扫描的视频压缩的装置、系统和方法以及对应计算机程序和介质 |