JP2023506832A - 補助パッチを有する容積ビデオ - Google Patents
補助パッチを有する容積ビデオ Download PDFInfo
- Publication number
- JP2023506832A JP2023506832A JP2022536635A JP2022536635A JP2023506832A JP 2023506832 A JP2023506832 A JP 2023506832A JP 2022536635 A JP2022536635 A JP 2022536635A JP 2022536635 A JP2022536635 A JP 2022536635A JP 2023506832 A JP2023506832 A JP 2023506832A
- Authority
- JP
- Japan
- Prior art keywords
- patch
- atlas
- patches
- mvd
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012856 packing Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000009877 rendering Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 15
- 238000012805 post-processing Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000000670 limiting effect Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000013138 pruning Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Filling Or Discharging Of Gas Storage Vessels (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
-3Dシーンのレンダリングのために取得された第1のマルチビュープラス深度(MVD)コンテンツから第1のパッチのセットを生成すること。第1のMVDは、3Dシーンの第1の領域から取得される。パッチは、MVDコンテンツのビューのうちの1つの一部である。
-前処理又は後処理使用のために取得された第2のMVDコンテンツから第2のパッチのセットを生成すること。第2のMVDは、3Dシーンの第2の領域から取得される。第2の領域は、第1の領域と重なっても分離していてもよい。
-第1及び第2のパッチを有するアトラスを生成すること。アトラスは、アトラスレイアウトに従ってパッチをパッキングする画像であり、アトラスのパッチについて、パッチが第1のパッチか第2のパッチかを示すメタデータに関連付けられる。
-当該データストリーム内で当該アトラスを符号化すること
を含む。
-アトラス及び関連付けられたメタデータを取得するためにデータストリームを復号化すること。アトラスは、アトラスレイアウトに従ってパッチをパッキングする画像である。パッチは、3Dシーンの領域から取得されたMVDコンテンツの1つのビューの一部である。メタデータは、アトラスのパッチについて、パッチが第1のパッチか第2のパッチかを示すデータを含み、第1のパッチは3Dシーンの第1の領域から取得されたMVDコンテンツの一部であり、第2のパッチは3Dシーンの第2の領域から取得されたMVDの一部である。第1及び第2の領域は、重なっても分離していてもよい。
-メタデータ内の第1のパッチとして示されるパッチを使用することによって、3Dシーン内の視点からビューポート画像をレンダリングすることと、
-当該ビューポート画像を前処理及び/又は後処理するために、メタデータ内の第2のパッチとして示されるパッチを使用することと
を含む。
-アトラスレイアウトに従って第1及び第2のパッチをパッキングするアトラス画像であって、第1のパッチは、3Dシーンのレンダリングのために取得されたMVDコンテンツの1つのビューの一部であり、第2のパッチは、前処理又は後処理使用のために取得されたMVDコンテンツの1つのビューの一部である、アトラス画像と、
-当該アトラスに関連付けられたメタデータであって、メタデータは、アトラスのパッチについて、パッチが第1のパッチか第2のパッチかを示すデータを含む、メタデータと
を含む。
・任意選択的に深度アクティブセンシングデバイスによって補完された、カメラのリグによって撮影された実オブジェクトの捕捉から、
・モデリングツールにおける仮想カメラのリグによって撮影された仮想/合成オブジェクトの捕捉から、
・実オブジェクトと仮想オブジェクトの両方の混合物から、取得され得る。
-JPEG、仕様ISO/CEI10918-1UIT-T推奨T.81、https://www.itu.int/rec/T-REC-T.81/en;
-MPEG-4AVC又はh264とも呼ばれるAVCなどのエンコーダに準拠する。UIT-TH.264及びISO/CEI MPEG-4-Part 10(ISO/CEI14496-10)、http://www.itu.int/rec/T-REC-H.264/en,HEVC(その仕様は、ITUウェブサイト、T推奨、H系列、h265、http://www.itu.int/rec/T-REC-H.265-201612-I/enで見出される)、
-3D-HEVC(仕様がITUウェブサイト、T推奨、H系列、h265、http://www.itu.int/rec/T-REC-H.265-201612-I/en annex G and Iで見出されるHEVCの拡張子)、
-Googleによって開発されたVP9、又は
-Alliance for Open Mediaによって開発されたAV1(AO媒体ビデオ1)。
-例えば、ビデオメモリ又はRAM(又はランダムアクセスメモリ)、フラッシュメモリ、ROM(又は読み取り専用メモリ)、ハードディスクなどのローカルメモリと、
-例えば、質量ストレージ、RAM、フラッシュメモリ、ROM、光学ディスク又は磁気サポートとのインターフェースなどのストレージインターフェースと、
-例えば、有線インターフェース(例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース)又は無線インターフェース(IEEE802.11インターフェース又はBluetooth(登録商標)インターフェースなど)などの通信インターフェースと、
-ユーザがデータを入力することを可能にするグラフィカルユーザインターフェースなどのユーザインターフェースと、を含むセットに属する。
-例えば、DSP(又はデジタル信号プロセッサ)であるマイクロプロセッサ32(又はCPU)と、
-ROM(又は読み取り専用メモリ)33と、
-RAM(又はランダムアクセスメモリ)34と、
-ストレージインターフェース35と、
-アプリケーションから、送信するデータを受信するためのI/Oインターフェース36と、
-電源、例えば、バッテリと、を備える。
-モバイルデバイスと、
-通信デバイスと、
-ゲームデバイスと、
-タブレット(又はタブレットコンピュータ)と、
-ラップトップと、
-静止画カメラと、
-ビデオカメラと、
-符号化チップと、
-サーバ(例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ)と、を含むセットに属する。
Claims (12)
- データストリーム内の3Dシーンを符号化するための方法であって、
-前記3Dシーンのレンダリングのために取得された第1のマルチビュープラス深度(MVD)から第1のパッチのセットを生成することであって、パッチは、前記MVDコンテンツのビューのうちの1つの一部である、ことと、
-前処理又は後処理使用のために取得された第2のMVDコンテンツから第2のパッチのセットを生成することと、
-前記第1及び第2のパッチのアトラスを生成することであって、アトラスは、アトラスレイアウトに従ってパッチをパッキングする画像であり、前記アトラスのパッチについて、前記パッチが第1のパッチか第2のパッチかを示すメタデータに関連付けられている、ことと、
-前記データストリーム内で前記アトラスを符号化することと、
を含む、方法。 - 前記第2のMVDは、前記第1のMVDの解像度よりも低い解像度で取得される、請求項1に記載の方法。
- パッチは、ビューとMVDとの間の情報冗長性を除去することによって取得されたMVDの1つのビューの一部である、請求項1又は2に記載の方法。
- データストリームから3Dシーンを復号化するための方法であって、
-アトラス及び関連付けられたメタデータを取得するために前記データストリームを復号化することであって、アトラスは、アトラスレイアウトに従ってパッチをパッキングする画像であり、パッチは、前記3Dシーンの領域から取得されたMVDコンテンツの1つのビューの一部であり、前記メタデータは、前記アトラスのパッチについて、前記パッチが第1のパッチか第2のパッチかを示すデータを含む、ことと、
-前記メタデータ内の第1のパッチとして示されるパッチを使用することによって、前記3Dシーン内の視点からビューポート画像をレンダリングすることと、
-前記ビューポート画像を前処理及び/又は後処理するために、前記メタデータ内の第2のパッチとして示されるパッチを使用することと、
を含む、方法。 - 前記第2のMVDは、前記第1のMVDの解像度よりも低い解像度を有する、請求項4に記載の方法。
- データストリーム内の3Dシーンを符号化するためのデバイスであって、前記デバイスは、
-前記3Dシーンのレンダリングのために取得された第1のマルチビュープラス深度(MVD)から第1のパッチのセットを生成し、パッチは、前記MVDコンテンツのビューのうちの1つの一部であり、
-前処理又は後処理使用のために取得された第2のMVDコンテンツから第2のパッチのセットを生成し、
-前記第1及び第2のパッチのアトラスを生成すし、アトラスは、アトラスレイアウトに従ってパッチをパッキングする画像であり、前記アトラスのパッチについて、前記パッチが第1のパッチか第2のパッチかを示すメタデータに関連付けられており、
-前記データストリーム内で前記アトラスを符号化する、
ように構成されたプロセッサに関連付けられたメモリを含む、デバイス。 - 前記第2のMVDは、前記第1のMVDの解像度よりも低い解像度で取得される、請求項6に記載のデバイス。
- パッチは、ビューとMVDとの間の情報冗長性を除去することによって取得されたMVDの1つのビューの一部である、請求項6又は7に記載のデバイス。
- データストリームから3Dシーンを復号化するためのデバイスであって、
-アトラス及び関連付けられたメタデータを取得するために前記データストリームを復号化し、アトラスは、アトラスレイアウトに従ってパッチをパッキングする画像であり、パッチは、前記3Dシーンの領域から取得されたMVDコンテンツの1つのビューの一部であり、前記メタデータは、前記アトラスのパッチについて、前記パッチが第1のパッチか第2のパッチかを示すデータを含み、
-前記メタデータ内の第1のパッチとして示されるパッチを使用することによって、前記3Dシーン内の視点からビューポート画像をレンダリングし、
-前記ビューポート画像を前処理及び/又は後処理するために、前記メタデータ内の第2のパッチとして示されるパッチを使用する、
ように構成されたプロセッサを含む、デバイス。 - 前記第2のMVDは、前記第1のMVDの解像度よりも低い解像度を有する、請求項9に記載のデバイス。
- 3Dシーンを表すデータストリームであって、前記データストリームは、
-アトラスレイアウトに従って第1及び第2のパッチをパッキングするアトラス画像であって、第1のパッチは、前記3Dシーンのレンダリングのために取得されたMVDコンテンツの1つのビューの一部であり、第2のパッチは、前処理又は後処理使用のために取得されたMVDコンテンツの1つのビューの一部である、アトラス画像と、
-前記アトラスに関連付けられたメタデータであって、前記メタデータは、前記アトラスのパッチについて、前記パッチが第1のパッチか第2のパッチかを示すデータを含む、メタデータと
を含む、データストリーム。 - 前記第2のMVDは、前記第1のMVDの解像度よりも低い解像度を有する、請求項11に記載のデータストリーム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19306697 | 2019-12-19 | ||
EP19306697.4 | 2019-12-19 | ||
PCT/EP2020/086623 WO2021122881A1 (en) | 2019-12-19 | 2020-12-17 | Volumetric video with auxiliary patches |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023506832A true JP2023506832A (ja) | 2023-02-20 |
Family
ID=69185206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022536635A Pending JP2023506832A (ja) | 2019-12-19 | 2020-12-17 | 補助パッチを有する容積ビデオ |
Country Status (9)
Country | Link |
---|---|
US (1) | US20230042874A1 (ja) |
EP (1) | EP4078531A1 (ja) |
JP (1) | JP2023506832A (ja) |
KR (1) | KR20220127246A (ja) |
CN (1) | CN114945946A (ja) |
AU (1) | AU2020409674A1 (ja) |
MX (1) | MX2022007297A (ja) |
TW (1) | TW202126036A (ja) |
WO (1) | WO2021122881A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230129875A1 (en) * | 2020-03-19 | 2023-04-27 | Nokia Technologies Oy | A method, an apparatus and a computer program product for volumetric video encoding and video decoding |
WO2023208808A1 (en) * | 2022-04-27 | 2023-11-02 | Interdigital Ce Patent Holdings, Sas | Providing segmentation information for immersive video |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3349182A1 (en) * | 2017-01-13 | 2018-07-18 | Thomson Licensing | Method, apparatus and stream for immersive video format |
EP3474562A1 (en) * | 2017-10-20 | 2019-04-24 | Thomson Licensing | Method, apparatus and stream for volumetric video format |
GB2572996A (en) * | 2018-04-19 | 2019-10-23 | Nokia Technologies Oy | Processing video patches for three-dimensional content |
-
2020
- 2020-12-17 US US17/786,005 patent/US20230042874A1/en active Pending
- 2020-12-17 JP JP2022536635A patent/JP2023506832A/ja active Pending
- 2020-12-17 EP EP20824268.5A patent/EP4078531A1/en active Pending
- 2020-12-17 KR KR1020227023499A patent/KR20220127246A/ko unknown
- 2020-12-17 WO PCT/EP2020/086623 patent/WO2021122881A1/en unknown
- 2020-12-17 CN CN202080090836.9A patent/CN114945946A/zh active Pending
- 2020-12-17 MX MX2022007297A patent/MX2022007297A/es unknown
- 2020-12-17 AU AU2020409674A patent/AU2020409674A1/en active Pending
- 2020-12-18 TW TW109144819A patent/TW202126036A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN114945946A (zh) | 2022-08-26 |
TW202126036A (zh) | 2021-07-01 |
MX2022007297A (es) | 2022-08-25 |
KR20220127246A (ko) | 2022-09-19 |
EP4078531A1 (en) | 2022-10-26 |
WO2021122881A1 (en) | 2021-06-24 |
US20230042874A1 (en) | 2023-02-09 |
AU2020409674A1 (en) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11979546B2 (en) | Method and apparatus for encoding and rendering a 3D scene with inpainting patches | |
WO2019209838A1 (en) | Method, apparatus and stream for volumetric video format | |
US11968349B2 (en) | Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content | |
KR20220069086A (ko) | 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 | |
JP2023506832A (ja) | 補助パッチを有する容積ビデオ | |
US20220377302A1 (en) | A method and apparatus for coding and decoding volumetric video with view-driven specularity | |
JP2022549431A (ja) | 容積ビデオを符号化、送信、及び復号化するための方法及び装置 | |
EP3709659A1 (en) | A method and apparatus for encoding and decoding volumetric video | |
US20230239451A1 (en) | A method and apparatus for encoding and decoding volumetric content in and from a data stream | |
US20220343546A1 (en) | Haptic atlas coding and decoding format | |
US20230224501A1 (en) | Different atlas packings for volumetric video | |
JP2022551064A (ja) | 容積ビデオを符号化、送信、及び復号化するための方法及び装置 | |
JP2024514066A (ja) | 光効果をサポートする容積ビデオ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220818 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220902 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220907 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20231110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231129 |