JP7447293B2 - 異種クライアントエンドポイントへのストリーミングのための2dビデオの適応のためのニューラルネットワークモデルの参照 - Google Patents
異種クライアントエンドポイントへのストリーミングのための2dビデオの適応のためのニューラルネットワークモデルの参照 Download PDFInfo
- Publication number
- JP7447293B2 JP7447293B2 JP2022551722A JP2022551722A JP7447293B2 JP 7447293 B2 JP7447293 B2 JP 7447293B2 JP 2022551722 A JP2022551722 A JP 2022551722A JP 2022551722 A JP2022551722 A JP 2022551722A JP 7447293 B2 JP7447293 B2 JP 7447293B2
- Authority
- JP
- Japan
- Prior art keywords
- media
- scene
- neural network
- computer
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003062 neural network model Methods 0.000 title claims description 31
- 230000006978 adaptation Effects 0.000 title description 38
- 238000000034 method Methods 0.000 claims description 98
- 238000013528 artificial neural network Methods 0.000 claims description 54
- 230000000153 supplemental effect Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 55
- 238000003860 storage Methods 0.000 description 51
- 230000000007 visual effect Effects 0.000 description 35
- 238000009826 distribution Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 30
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 21
- 230000037406 food intake Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 238000004806 packaging method and process Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 4
- 238000013499 data model Methods 0.000 description 4
- 238000013467 fragmentation Methods 0.000 description 4
- 238000006062 fragmentation reaction Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001667 episodic effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- TVMXDCGIABBOFY-UHFFFAOYSA-N octane Chemical compound CCCCCCCC TVMXDCGIABBOFY-UHFFFAOYSA-N 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
- H04N21/2356—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
- G06N3/105—Shells for specifying net layout
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Description
本願は、米国特許商標庁へ、2020年12月16日に出願された米国仮特許出願第63/126,188号、及び2021年8月20日に出願された米国特許出願第17/407,711号に基づく優先権を主張し、その内容を全て参照により本明細書に組み込むものとする。
101A カメラ又はマイクロフォン
101B コンピュータ
102 2D画像及び関連するオーディオのシーケンス
103 準備モジュール
104 コンバータモジュール
105 適応モジュール
106 コンテンツ配信ネットワーク(CDN)
107A,107B,107C プル要求
108A,108B,108C クライアント
200 タイムドレガシーメディアのストリーミングに使用される標準メディアフォーマット
201A,201B,201C CDN
202 MPD
203A,203B タイムド期間
204A,204B,204C 適応セット
205 表現
206 セグメントファイル
300 タイミングがとられる異種イマーシブメディアのためのストリーミング可能なフォーマット
301 シーン
302 コンポーネント
303 アセット
304 ベースレイヤ
305 属性エンハンスメントレイヤ
400 タイミングがとられていない異種イマーシブメディアのためのストリーミング可能なフォーマット
401 シーン
402 コンポーネント
403 アセット
404 ベースレイヤ
405 属性エンハンスメントレイヤ
500 自然コンテンツから取り込みフォーマットを合成するプロセス
501,502,503 カメラユニット
504 合成モジュール
505 ニューラルネットワークトレーニングモジュール
506 トレーニング画像
507 取り込みフォーマット及びメディアアセット
508 捕捉ニューラルネットワークモデル
509 自然画像コンテンツ、自然画像データ
600 コンピュータ生成画像の取り込みフォーマットを作成するためのプロセス
601 LIDARカメラ
602 ポイントクラウドデータ
603 コンピュータ
604 CGIアセット
605 アクター
606 動き捕捉(MoCap)データ
607 合成モジュール
608 合成メディア取り込みフォーマット
700 コンピュータシステム
701 キーボード
702 マウス
703 トラックパッド
705 ジョイスティック
706 マイク
707 スキャナ
708 カメラ
709 スピーカー
710 スクリーン、タッチスクリーン
720 CD/DVD ROM/RW
721 光学媒体
722 サムドライブ
723 リムーバブルハードドライブ又はソリッドステートドライブ
740 コア
741 中央処理装置(CPU)
742 グラフィックス処理装置(GPU)
743 フィールドプログラマブルゲートアレイ(FPGA)
744 ハードウェアアクセラレータ
745 リードオンリーメモリ(ROM)
746 ランダムアクセスメモリ(RAM)
747 内部大容量ストレージ
748 システムバス
749 周辺バス
755 ネットワーク
770 グラフィックスアダプタ
774 ネットワークインタフェース
800 ネットワークメディア配信システム
801 コンテンツ取得モジュール
802 コンテンツ準備モジュール
803 伝送モジュール
804 クライアントエンドポイント
900 イマーシブメディア配信モジュール
901 コンテンツ取得/作成モジュール
902 ネットワーク取り込みフォーマット作成モジュール
903 取り込みメディア記憶デバイス
904 リモート記憶デバイス
905 クライアントインタフェースモジュール
906 配信メディア及び対応する記述情報
907 クライアント進捗及びステータスフィードバックチャンネル
908 イマーシブクライアント
909 配信記憶デバイス
910 メディア適応及び断片化モジュール
1000 メディア適応プロセス
1001 メディア適応モジュール
1001A ニューラルネットワークモデル
1001B レンダラ
1001C ニューラルネットワークプロセッサ
1001D メディア圧縮器、圧縮エンコーダ
1001E メディア圧縮解除器、圧縮デコーダ
1002 取り込みメディアフォーマット及びアセット
1003 クライアントインタフェースモジュール
1005 入力ネットワークステータス
1006 クライアント適応メディア記憶デバイス
1100 変換プロセス
1101 メディア適応モジュール
1102 クライアント適応メディア記憶デバイス
1103 適応メディアパッケージ化モジュール
1104 マニフェスト情報
1200 断片化プロセス
1201 適応メディア
1202 パケタイザーモジュール
1203 パケット
1204 クライアントエンドポイント
1300 シーケンス図
1301 クライアントエンドポイント
1302 ネットワーク配信インタフェース
1303 取り込みメディアサーバ
1304 適応インタフェース
1305 メディア適応モジュール
1306 パッケージ化モジュール
1307 パッケージ化メディアサーバ
1400 取り込みメディアフォーマット及びアセット
1401 3Dフォーマットでのイマーシブメディア及びアセット
1402 2Dフォーマットでのイマーシブメディア及びアセット
1500 ニューラルネットワークモデル情報の搬送
1501 コーディングされたビットストリーム
1501A 補足エンハンスメント情報(SEI)メッセージ
1501B コーディングされたビデオストリーム
1502 コーディングされたビットストリーム
1502A SEIメッセージ
1502B コーディングされたビデオストリーム
Claims (8)
- プロセッサによって実行可能な、イマーシブメディアをストリーミングする方法であって、
2次元フォーマットのコンテンツを取り込むステップであって、前記コンテンツは第1のシーンと第2のシーンとを含み、前記2次元フォーマットは、前記第1のシーンに固有の第1のニューラルネットワークと、前記第2のシーンに固有の、前記第1のニューラルネットワークとは異なる、第2のニューラルネットワークとを参照する、ステップと、
取り込まれた前記コンテンツを、参照された前記第1のニューラルネットワークと前記第2のニューラルネットワークとに基づいて3次元フォーマットに変換するステップと、
変換された前記コンテンツをクライアントエンドポイントにストリーミングするステップと、を含み、
前記第1のニューラルネットワークは第1の補足エンハンスメント情報(SEI)メッセージにおいて参照され、前記第2のニューラルネットワークは第2のSEIメッセージにおいて参照され、前記第1のSEIメッセージは、前記第1のシーンに固有のコーディングされたビデオビットストリームに含まれ、前記第2のSEIメッセージは、前記第2のシーンに固有のコーディングされたビデオビットストリームに含まれる、方法。 - 取り込まれた前記コンテンツを変換する前記ステップは、
前記第1のシーンに固有の前記第1のニューラルネットワークを使用して、前記第1のシーンに関する第1の深度情報を推定するステップと、
前記第2のシーンに固有の前記第2のニューラルネットワークを使用して、前記第2のシーンに関する第2の深度情報を推定するステップと、
取り込まれた前記コンテンツを、前記第1のシーンに関連付けられた第1のボリュメトリックフォーマットと前記第2のシーンに関連付けられた第2のボリュメトリックフォーマットとに適応させるステップと、を含む、請求項1に記載の方法。 - 前記第1のニューラルネットワークは、前記第1のシーン内のオブジェクトに対応する先験に基づいてトレーニングされる、請求項1に記載の方法。
- 前記第1のニューラルネットワークに対応するニューラルネットワークモデル及び少なくとも1つのパラメータは、前記第1のSEIメッセージに直接埋め込まれる、請求項1に記載の方法。
- 前記第1のニューラルネットワークに対応するニューラルネットワークモデルの位置は、前記第1のSEIメッセージでシグナリングされる、請求項1に記載の方法。
- 前記クライアントエンドポイントは、テレビ、コンピュータ、ヘッドマウントディスプレイ、レンチキュラーライトフィールドディスプレイ、ホログラフィックディスプレイ、拡張現実ディスプレイ、及び高密度ライトフィールドディスプレイのうち1つ又は複数を含む、請求項1に記載の方法。
- イマーシブメディアをストリーミングするためのデバイスであって、
プログラムコードを記憶するように構成される少なくとも1つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによって指示される通りに動作するように構成される少なくとも1つのプロセッサと、を備え、
前記プログラムコードは、
前記少なくとも1つのプロセッサに、請求項1乃至6のうちのいずれか一項に記載の方法を実行させるように構成される、デバイス。 - コンピュータに、請求項1乃至6のうちのいずれか一項に記載の方法を実行させるように構成されるコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063126188P | 2020-12-16 | 2020-12-16 | |
US63/126,188 | 2020-12-16 | ||
US17/407,711 | 2021-08-20 | ||
US17/407,711 US11736748B2 (en) | 2020-12-16 | 2021-08-20 | Reference of neural network model for adaptation of 2D video for streaming to heterogeneous client end-points |
PCT/US2021/048644 WO2022132249A1 (en) | 2020-12-16 | 2021-09-01 | Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023516305A JP2023516305A (ja) | 2023-04-19 |
JP7447293B2 true JP7447293B2 (ja) | 2024-03-11 |
Family
ID=81942108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022551722A Active JP7447293B2 (ja) | 2020-12-16 | 2021-09-01 | 異種クライアントエンドポイントへのストリーミングのための2dビデオの適応のためのニューラルネットワークモデルの参照 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11736748B2 (ja) |
EP (1) | EP4070249A4 (ja) |
JP (1) | JP7447293B2 (ja) |
KR (1) | KR20220113772A (ja) |
CN (1) | CN114981822A (ja) |
WO (1) | WO2022132249A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102511539B1 (ko) * | 2022-08-18 | 2023-03-20 | (주)에이아이매틱스 | 영상 기반 차량 주행 시뮬레이션 시스템 및 방법 |
US20240104803A1 (en) * | 2022-09-27 | 2024-03-28 | Tencent America LLC | Scene graph translation |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013509104A (ja) | 2009-10-23 | 2013-03-07 | クゥアルコム・インコーポレイテッド | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 |
US20170085863A1 (en) | 2015-09-17 | 2017-03-23 | Legend3D, Inc. | Method of converting 2d video to 3d video using machine learning |
US20190026958A1 (en) | 2012-02-24 | 2019-01-24 | Matterport, Inc. | Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications |
WO2019093234A1 (ja) | 2017-11-08 | 2019-05-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
US20200134911A1 (en) | 2018-10-29 | 2020-04-30 | Verizon Patent And Licensing Inc. | Methods and Systems for Performing 3D Simulation Based on a 2D Video Image |
US20200304836A1 (en) | 2019-03-22 | 2020-09-24 | Tencent America LLC | Supplemental enhancement information messages for neural network based video post processing |
JP2021506189A (ja) | 2018-07-13 | 2021-02-18 | エルジー エレクトロニクス インコーポレイティド | 動的ビューポイントの座標系に関するメタデータを送受信する方法及び装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9131279B2 (en) * | 2009-08-06 | 2015-09-08 | Qualcomm Incorporated | Preparing video data in accordance with a wireless display protocol |
US8717357B2 (en) | 2011-08-05 | 2014-05-06 | Imagination Technologies, Ltd. | Systems and methods for 3-D scene acceleration structure creation and updating |
US10499118B2 (en) * | 2012-04-24 | 2019-12-03 | Skreens Entertainment Technologies, Inc. | Virtual and augmented reality system and headset display |
US9250653B2 (en) * | 2012-09-28 | 2016-02-02 | City University Of Hong Kong | Capturing, processing, and reconstructing audio and video content of mobile devices |
US9626585B2 (en) * | 2014-05-13 | 2017-04-18 | The Penn State Research Foundation | Composition modeling for photo retrieval through geometric image segmentation |
KR102452314B1 (ko) * | 2016-09-08 | 2022-10-07 | 삼성전자주식회사 | 컨텐츠 재생 방법 및 이를 지원하는 전자 장치 |
FR3060170B1 (fr) * | 2016-12-14 | 2019-05-24 | Smart Me Up | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
US10540590B2 (en) * | 2016-12-29 | 2020-01-21 | Zhejiang Gongshang University | Method for generating spatial-temporally consistent depth map sequences based on convolution neural networks |
US10559126B2 (en) * | 2017-10-13 | 2020-02-11 | Samsung Electronics Co., Ltd. | 6DoF media consumption architecture using 2D video decoder |
US10951903B2 (en) | 2018-04-02 | 2021-03-16 | Intel Corporation | Video analytics encoding for improved efficiency of video processing and compression |
KR20230051309A (ko) | 2018-04-11 | 2023-04-17 | 알카크루즈 인코포레이티드 | 디지털 미디어 시스템 |
US20190373322A1 (en) * | 2018-05-29 | 2019-12-05 | Sony Interactive Entertainment LLC | Interactive Video Content Delivery |
KR102648038B1 (ko) * | 2018-07-04 | 2024-03-18 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 부호화 장치, 복호 장치, 부호화 방법, 및 복호 방법 |
CN112673625A (zh) | 2018-09-10 | 2021-04-16 | 华为技术有限公司 | 混合视频以及特征编码和解码 |
CA3122787A1 (en) * | 2018-12-26 | 2020-07-02 | Panasonic Intellectual Property Corporation Of America | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device |
US11627314B2 (en) * | 2019-09-27 | 2023-04-11 | Apple Inc. | Video-based point cloud compression with non-normative smoothing |
CN111182350B (zh) * | 2019-12-31 | 2022-07-26 | 广州方硅信息技术有限公司 | 图像处理方法、装置、终端设备及存储介质 |
KR20210135851A (ko) * | 2020-05-06 | 2021-11-16 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
CN112702522B (zh) * | 2020-12-25 | 2022-07-12 | 李灯 | 一种基于vr直播系统的自适应控制播放方法 |
-
2021
- 2021-08-20 US US17/407,711 patent/US11736748B2/en active Active
- 2021-09-01 KR KR1020227023653A patent/KR20220113772A/ko not_active Application Discontinuation
- 2021-09-01 EP EP21907367.3A patent/EP4070249A4/en active Pending
- 2021-09-01 JP JP2022551722A patent/JP7447293B2/ja active Active
- 2021-09-01 CN CN202180009467.0A patent/CN114981822A/zh active Pending
- 2021-09-01 WO PCT/US2021/048644 patent/WO2022132249A1/en unknown
-
2023
- 2023-06-02 US US18/205,013 patent/US20230319328A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013509104A (ja) | 2009-10-23 | 2013-03-07 | クゥアルコム・インコーポレイテッド | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 |
US20190026958A1 (en) | 2012-02-24 | 2019-01-24 | Matterport, Inc. | Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications |
US20170085863A1 (en) | 2015-09-17 | 2017-03-23 | Legend3D, Inc. | Method of converting 2d video to 3d video using machine learning |
WO2019093234A1 (ja) | 2017-11-08 | 2019-05-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
JP2021506189A (ja) | 2018-07-13 | 2021-02-18 | エルジー エレクトロニクス インコーポレイティド | 動的ビューポイントの座標系に関するメタデータを送受信する方法及び装置 |
US20200134911A1 (en) | 2018-10-29 | 2020-04-30 | Verizon Patent And Licensing Inc. | Methods and Systems for Performing 3D Simulation Based on a 2D Video Image |
US20200304836A1 (en) | 2019-03-22 | 2020-09-24 | Tencent America LLC | Supplemental enhancement information messages for neural network based video post processing |
Also Published As
Publication number | Publication date |
---|---|
US20230319328A1 (en) | 2023-10-05 |
WO2022132249A1 (en) | 2022-06-23 |
US20220191561A1 (en) | 2022-06-16 |
CN114981822A (zh) | 2022-08-30 |
JP2023516305A (ja) | 2023-04-19 |
KR20220113772A (ko) | 2022-08-16 |
EP4070249A4 (en) | 2023-03-29 |
US11736748B2 (en) | 2023-08-22 |
EP4070249A1 (en) | 2022-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230319328A1 (en) | Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points | |
JP7448677B2 (ja) | 没入型メディアをストリーミングする方法、並びにそのデバイス、及びコンピュータプログラム | |
JP7472298B2 (ja) | 没入型メディアの設置、及び没入型メディアから異種クライアントエンドポイントへの配信 | |
JP7487331B2 (ja) | 没入型メディアをストリーミングする方法、並びにそのコンピュータシステム、及びコンピュータプログラム | |
US20230007067A1 (en) | Bidirectional presentation datastream | |
US20230007361A1 (en) | Bidirectional presentation datastream using control and data plane channels | |
JP2024510165A (ja) | 資産フォーマットの転換のための即時メディアデータ複雑性アナライザ | |
WO2024073161A1 (en) | Scene graph translation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |