JP7487331B2 - 没入型メディアをストリーミングする方法、並びにそのコンピュータシステム、及びコンピュータプログラム - Google Patents
没入型メディアをストリーミングする方法、並びにそのコンピュータシステム、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7487331B2 JP7487331B2 JP2022559389A JP2022559389A JP7487331B2 JP 7487331 B2 JP7487331 B2 JP 7487331B2 JP 2022559389 A JP2022559389 A JP 2022559389A JP 2022559389 A JP2022559389 A JP 2022559389A JP 7487331 B2 JP7487331 B2 JP 7487331B2
- Authority
- JP
- Japan
- Prior art keywords
- media
- content
- computer
- neural network
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 91
- 238000004590 computer program Methods 0.000 title claims description 11
- 238000003860 storage Methods 0.000 claims description 55
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 238000009826 distribution Methods 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 54
- 230000006978 adaptation Effects 0.000 description 46
- 238000003062 neural network model Methods 0.000 description 35
- 230000000007 visual effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 239000002609 medium Substances 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004806 packaging method and process Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 4
- 230000037406 food intake Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001667 episodic effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- TVMXDCGIABBOFY-UHFFFAOYSA-N octane Chemical compound CCCCCCCC TVMXDCGIABBOFY-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000013630 prepared media Substances 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本願は、米国特許商標庁に(2020年12月17日に)出願された米国仮特許出願第63/127036号と(2021年8月20日に)出願された米国特許出願第17/407816号の優先権を主張し、その全ての内容は、参照により本明細書に組み込まれるものとする。
[技術分野]
本開示は、一般的に、データ処理の分野に関し、より具体的には、ビデオコーディングに関する。
時限メディアとは、時間に従って構造化されて提示されるメディアを指す。例としては、映画特集、ニュースレポート、エピソードコンテンツが挙げられ、これらは全て、期間に従って編成されている。レガシービデオと音声は、一般的に時限メディアと見なされる。
非時限メディアとは、時間ではなく、論理的、空間的及び/又は時間的な関係によって構造化されたメディアである。例としては、ユーザがゲームデバイスによって作成された体験を制御できるビデオゲームが挙げられる。非時限メディアのもう1つの例は、カメラによって撮影された静止画像写真である。非時限メディアは、例えば、ビデオゲームシーンの連続繰り返し音声又はビデオセグメントに時限メディアを組み込んでもない。逆に、時限メディアは、例えば、背景として固定された静止画像を有するビデオなどの非時限メディアを組み込んでもない。
ビデオをターゲットクライアントエンドポイントに適応させた後、ネットワーク内の適応プロセスは、結果に圧縮アルゴリズムを適用することを選択してもよい。さらに、圧縮アルゴリズムは、任意に、適応されたビデオ信号を、視覚信号の最も顕著な部分から最も顕著でない部分に対応する層に分離してもよい。
シーングラフとは、グラフィカルシーンの論理的及び多くの場合(必ずしもそうではない)空間的な表現を配置する、ベクトルベースのグラフィック編集アプリケーションと最新のコンピュータゲームによって一般的に使用される一般的なデータ構造であり、グラフ構造内のノードと頂点の集合でもある。
ベース層とは、通常、資産のレンダリングに必要な計算リソース若しくは時間、又はネットワークを介して資産を送信する時間を最小化するように作成される資産の名目上の表現である。
属性とは、ノードの特定の特性又は特徴を標準的な形態又はより複雑な形態(例えば、別のノードに関して)で説明するために使用される、ノードに関連付けられたメタデータである。
時限メディアとは、例えば、特定の時計に応じた開始時間と終了時間などの時間で順序付けられたメディアである。
ニューラルネットワークモデルとは、元の信号によって明示的に提供されなかった視覚信号の新しいビューの補間を含む、改善された視覚出力に到達するために視覚信号に適用される明確に定義された数学操作で使用される重み(つまり、数値)を定義するパラメータとテンソル(例えば、行列)の集合である。
複数の異なる没入型メディアデバイスにコヒーレント配信システムを作成する際のさらに別の問題は、現在及び新しい没入型メディア対応デバイス自体が大幅に異なる可能性があることである。例えば、いくつかの没入型メディアデバイス、例えばヘッドマウントディスプレイは、一度に1人のユーザのみが使用するように明示的に設計される。他の没入型メディアデバイスは、複数のユーザが同時に使用できるように設計され、例えば、「Looking Glass Factory 8K ディスプレイ」(以下、「レンチキュラーライトフィールドディスプレイ」と呼ばれる)は、最大12人のユーザが同時に見ることができるコンテンツを表示でき、ここで、各ユーザは、表示されているコンテンツの独自の視点(つまり、ビュー)を体験している。
1.OTOYによるORBX(登録商標)
OTOYによるORBXは、光線追跡可能、レガシー(フレームベース)、ボリューム及びその他のタイプの合成又はベクトルベースの視覚フォーマットを含む、時限又は非時限の任意のタイプの視覚メディアをサポートできるいくつかのシーングラフ技術の1つである。ORBXは、メッシュ、ポイントクラウド及びテクスチャの自由に利用可能な及び/又はオープンソースフォーマットのネイティブサポートを提供するため、他のシーングラフとは異なる。ORBXは、シーングラフで動作する複数のベンダー技術間の交換を容易にすることを目的として意図的に設計されたシーングラフである。さらに、ORBXは、豊富な材料システム、オープンシェーディング言語のサポート、堅固なカメラシステム及びLuaスクリプトのサポートを提供する。ORBXも、没入型デジタル体験連盟(IDEA)によってロイヤリティフリー条項でライセンスのために公開された没入型技術メディアフォーマットの基礎である。メディアのリアルタイム配信のコンテキストでは、自然のシーンのORBX表現を作成し配信する機能は、カメラでキャプチャされたデータの複雑な分析と同じデータの合成表現への合成を実行するための計算リソースの可用性の関数である。今日まで、リアルタイム配信のための十分な計算の可用性は、現実的ではないが、それでも不可能ではない。
ピクサーによる万能シーン記述(USD)は、VFX及び専門コンテンツ制作コミュニティで一般的であるもう1つの有名で成熟したシーングラフである。USDは、開発者がNvidiaのGPUを使用して3Dモデルを作成及びレンダリングするためのツールセットであるNvidiaのOmniverseプラットフォームに統合される。USDのサブセットは、AppleとPixarによってUSDZとして公開された。USDZは、AppleのARKitによってサポートされている。
glTF2.0は、Khronos3Dグループによって作成された「グラフィックス言語伝送フォーマット」仕様の最新バージョンである。このフォーマットは、「png」及び「jpeg」の画像フォーマットを含む、シーン内の静的な(非時限)オブジェクトを一般的にサポートできる単純なシーングラフフォーマットをサポートする。glTF2.0は、glTFプリミティブを使用して記述された基本的な形状、つまり幾何学的オブジェクトの移動、回転、拡大縮小のサポートを含む、単純なアニメーションをサポートする。glTF2.0は、時限メディアをサポートしないため、ビデオも音声もサポートしない。
没入型視覚メディアのシーン表現のためのこれらの既知の設計は、例のみとして提供され、入力没入型メディアソースをクライアントエンドポイントデバイスの特定の特性に適したフォーマットに適応させるプロセスを指定する機能において開示された主題を制限するものではない。
2.レガシー及び没入型メディア対応のクライアントエンドポイントの両方のために、自然コンテンツとコンピュータ生成コンテンツの両方をサポートする柔軟性を提供する。
3.時限メディアと非時限メディアの両方をサポートする。
4.クライアントエンドポイントの特徴及び能力と、アプリケーションの要件とに基づいて、ソースメディアの取り込みフォーマットを適切な配信フォーマットに動的に適応させるプロセスを提供する。
5.配信フォーマットがIPベースのネットワークを介してストリーミング可能であることを確保する。
6.ネットワークが、レガシーデバイスと没入型メディア対応デバイスの両方を含んでもよい複数の異種クライアントエンドポイントに同時にサービスを提供することを可能にする。
7.シーンの境界に沿った配信メディアの編成を容易にする例示的なメディア表現フレームワークを提供する。
開示された主題によって可能になる改善されたエンドツーエンドの実施形態は、以下のように図3~16の詳細な説明に記載された処理及び構成要素に従って達成される。
2.包括的メディアフォーマットに従ってストリーミングされるメディアは、時限メディア、非時限メディア、又は両方の組み合わせであり得る。
3.包括的メディアフォーマットは、ベース層と強化層アーキテクチャを使用してメディアオブジェクトの積層表現を可能にすることにより、さらにストリーミング可能である。一例では、個別のベース層と強化層は、各シーンのメディアオブジェクトにマルチ解像度又はマルチテセレーション分析技術を適用することによって計算される。これは、ISO/IEC 10918-1(JPEG)及びISO/IEC 15444-1(JPEG2000)で指定されているプログレッシブレンダリングされた画像フォーマットに類似するが、ラスターベースの視覚フォーマットに限定されない。例示的な実施形態では、幾何学的オブジェクトのプログレッシブ表現は、ウェーブレット分析を使用して計算されたオブジェクトのマルチ解像度表現であり得る。
メディアフォーマットの積層表現の別の例では、強化層は、ベース層によって表される視覚オブジェクトの表面の材料特性を改善するなど、様々な属性をベース層に適用する。さらに別の例では、属性は、表面を滑らかなテクスチャから多孔質のテクスチャに変更するか、又はつや消しの表面から光沢のある表面に変更するなど、ベース層オブジェクトの表面のテクスチャを改善することができる。
積層表現のさらに別の例では、シーン内の1つ以上の視覚オブジェクトの表面は、ランバーシアンから光線追跡可能に変更されてもよい。
積層表現のさらに別の例では、ネットワークはベース層表現をクライアントに配信することにより、クライアントは、追加の強化層の送信を待っている間に、シーンの名目上の提示を作成して、ベース表現の解像度又はその他の特性を改善してもよい。
5.包括的メディアフォーマットは、提示デバイス又はマシンによって提示するか又は作動できる任意のタイプの情報メディアをサポートすることにより、異種クライアントエンドポイントへの異種メディアフォーマットのサポートを可能にする。メディアフォーマットを配信するネットワークの一実施形態では、まず、ネットワークは、クライアントエンドポイントを問い合わせてクライアントの能力を決定し、次に、クライアントがメディア表現を有意義に取り込むことができない場合、ネットワークは、クライアントによってサポートされていない属性の層を削除するか、メディアを現在のフォーマットからクライアントエンドポイントに適したフォーマットに適応させる。そのような適応の一例では、ネットワークは、ネットワークベースのメディア処理プロトコルを使用することによって、ボリューム視覚メディア資産を同じ視覚資産の2D表現に変換するであろう。そのような適応の別の例では、ネットワークは、ニューラルネットワークプロセスを使用して、メディアを適切なフォーマットに再フォーマットするか、又は任意に、クライアントエンドポイントによって必要とされるビューを合成することができる。
8.幾何学的オブジェクトの表現のトークンは、ネットワーク内の位置又はクライアント内の位置を指し示してもよい。つまり、クライアントは、そのリソースがネットワークベースのメディア処理のためにネットワークに利用可能であることをネットワークにシグナリングしてもよい。
シーケンス図1300の図13に示される構成要素及び通信は、以下のように説明される。クライアントエンドポイント1301は、ネットワーク配信インタフェース1302へのメディア要求1308を開始する。要求1308は、URN又は他の標準的な命名法によって、クライアントによって要求されたメディアを識別するための情報を含む。ネットワーク配信インタフェース1302は、プロファイル要求1309で要求1308に応答し、プロファイル要求1309は、クライアント1301がその現在利用可能なリソースに関する情報(計算、記憶、電池充電率及びクライアントの現在の動作状態を特徴付ける他の情報を含む)を提供することを要求する。プロファイル要求1309はまた、クライアントが、ニューラルネットワーク推論のためにネットワークにより使用できる1つ以上のニューラルネットワークモデルを提供し、このようなモデルがクライアントで利用可能な場合、クライアントの提示システムの特徴に一致するように正しいメディアビューを抽出するか又は補間することを要求する。クライアント1301からインタフェース1302への応答1311は、クライアントトークン、アプリケーショントークン及び1つ以上のニューラルネットワークモデルトークン(そのようなニューラルネットワークモデルトークンがクライアントで利用可能である場合)を提供する。次に、インタフェース1302は、クライアント1301にセッションIDトークン1311を提供する。次に、インタフェース1302は、要求1308で識別されたメディアのURN又は標準命名法名を含む取り込みメディア要求1312を用いて取り込みメディアサーバ1303を要求する。サーバ1303は、取り込みメディアトークンを含む応答1313で要求1312に応答する。次に、インタフェース1302は、呼び出し1314における応答1313からのメディアトークンをクライアント1301に提供する。次に、インタフェース1302は、適応インタフェース1304に取り込みメディアトークン、クライアントトークン、アプリケーショントークン及びニューラルネットワークモデルトークンを提供することによって、1308において要求されたメディアの適応プロセスを開始する。インタフェース1304は、取り込みメディア資産へのアクセスを要求するために、呼び出し1316でサーバ1303に取り込みメディアトークンを提供することによって取り込みメディアへのアクセスを要求する。サーバ1303は、インタフェース1304への応答1317において、取り込みメディアアクセストークンを用いて要求1316に応答する。次に、インタフェース1304は、メディア適応モジュール1305が、1313で作成されたセッションIDトークンに対応するクライアント、アプリケーション及びニューラルネットワーク推論モデルのために、取り込みメディアアクセストークンに位置する取り込みメディアを適応させることを要求する。インタフェース1304からモジュール1305への要求1318は、必要なトークン及びセッションIDを含む。モジュール1305は、更新1319において、適応されたメディアアクセストークン及びセッションIDをインタフェース1302に提供する。インタフェース1302は、インタフェース呼び出し1320において、適応されたメディアアクセストークン及びセッションIDをパッケージングモジュール1306に提供する。パッケージングモジュール1306は、応答1321において、パッケージ化メディアアクセストークン及びセッションIDを備えたインタフェース1302に応答1321を提供する。モジュール1306は、応答1322において、パッケージ化資産、URN、及びセッションIDのためのパッケージ化メディアアクセストークンをパッケージ化メディアサーバ1307に提供する。クライアント1301は、要求1323を実行して、メッセージ1321で受信されたパッケージ化メディアアクセストークンに対応するメディア資産のストリーミングを開始する。クライアント1301は、他の要求を実行し、メッセージ1324においてインタフェース1302に状態更新を提供する。
いくつかの実施形態は、任意の可能な技術的詳細レベルの統合におけるシステム、方法及び/又はコンピュータ可読媒体に関する。コンピュータ可読媒体は、プロセッサに動作を実行させるコンピュータ可読プログラム命令をその上に有するコンピュータ可読非一時的記憶媒体を含んでもよい。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能装置、又は他のデバイスで動作する命令が、フローチャート及び/又はブロック図又はブロックにおいて指定される機能/動作を実施するように、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスにロードされ、コンピュータ、他のプログラム可能装置、又は他のデバイスで一連の動作ステップを実行してコンピュータ実施プロセスを生成してもよい。
101B コンピュータ
102 2D画像及び関連する音声のシーケンス
103 準備モジュール
104 コンバータモジュール
105 適応モジュール
106 コンテンツ配信ネットワーク
107 プル要求
108 クライアント
202 MPD
203 時限期間
204 適応セット
205 表現
206 セグメントファイル
301 シーン情報
302 構成要素
303 資産
304 ベース層
305 属性強化層
401 シーン情報
402 構成要素
403 資産
404 ベース層
405 属性強化層
500 プロセス
501 カメラユニット
502 カメラユニット
503 カメラユニット
504 合成モジュール
505 訓練プロセス
505 ニューラルネットワーク訓練モジュール
506 訓練画像
507 取り込みフォーマット
508 キャプチャニューラルネットワークモデル
509 自然画像コンテンツ
600 プロセス
601 LIDARカメラ
602 ポイントクラウドデータ
603 コンピュータ
604 CGI資産
605 アクター
605A モーションキャプチャスーツ
606 モーションキャプチャデータ
607 合成モジュール
608 合成メディアの取り込みフォーマット
700 コンピュータシステム
700 アーキテクチャ
701 キーボード
702 マウス
703 トラックパッド
705 ジョイスティック
706 マイクロフォン
707 スキャナ
708 カメラ
709 スピーカ
710 タッチスクリーン
720 CD/DVD ROM/RW
721 メディア
722 サムドライブ
723 ソリッドステートドライブ
740 コア
741 中央処理装置(CPU)
742 グラフィックス処理装置(GPU)
743 フィールドプログラマブルゲートアレイ(FPGA)
744 ハードウェアアクセラレータ
745 リードオンリメモリ(ROM)
746 ランダムアクセスメモリ
747 大容量ストレージ
748 システムバス
749 周辺バス
800 ネットワークメディア配信システム
801 コンテンツ取得モジュール
802 コンテンツ準備モジュール
803 送信モジュール
804 クライアントエンドポイント
900 没入型メディア配信モジュール
901 モジュール
901 コンテンツ取得/作成モジュール
902 ネットワーク取り込みフォーマット作成モジュール
903 取り込み記憶デバイス
904 リモート記憶デバイス
905 モジュール
905 クライアントインタフェースモジュール
906 メディア及び記述情報
907 クライアント進行状況及び状態フィードバックチャネル
908 没入型クライアント
908A 視覚化構成要素
908B ネットワークインタフェース
908D 記憶キャッシュ
909 配信記憶デバイス
910 メディア適応及びフラグメント化モジュール
1001 適応モジュール
1001A ニューラルネットワークモデル
1001B レンダラー
1001C ニューラルネットワークプロセッサ
1001D メディアコンプレッサ
1001E メディアデコンプレッサ
1002 資産
1005 入力ネットワーク状態
1006 クライアント適応メディア記憶デバイス
1101 メディア適応モジュール
1102 現在クライアント適応メディア記憶デバイス
1103 適応メディアパッケージングモジュール
1104A マニフェスト情報
1201 適応メディア
1202 パケタイザーモジュール
1203 パケット
1204 クライアントエンドポイント
1300 シーケンス図
1301 クライアントエンドポイント
1302 ネットワーク配信インタフェース
1303 取り込みメディアサーバ
1304 適応インタフェース
1305 メディア適応モジュール
1306 パッケージングモジュール
1307 パッケージ化メディアサーバ
1401 3D没入型メディア及び資産
1402 2D没入型メディア及び資産
1501 コード化ビデオストリーム
1501A SEIメッセージ
1502 コード化ビデオストリーム
1502A SEIメッセージ
1601 3D没入型メディア及び資産
1602 シーン
1603 形状
1603A 参照
1604 処理パラメータ
1604A 参照
Claims (11)
- プロセッサが実行することができる、没入型メディアをストリーミングする方法であって、
クライアントエンドポイントの特性を示す情報を取得するステップと、 第1の2次元フォーマット又は第1の3次元フォーマットでコンテンツを取り込むステップであって、前記第1の2次元フォーマット又は前記第1の3次元フォーマットがニューラルネットワークを参照するステップと、
参照した前記ニューラルネットワークに基づいて、取り込んだ前記コンテンツを前記クライアントエンドポイントの前記特性に適した第2の2次元フォーマット又は第2の3次元フォーマットに変換するステップと、
変換した前記コンテンツを前記クライアントエンドポイントにストリーミングするステップと、を含み、
前記ニューラルネットワークは、コード化ビデオストリームと共にストリーミングされる前記ニューラルネットワークのモデルの位置を識別するメタデータによって、またはコード化ビデオストリームと共にストリーミングされる前記コンテンツを説明するメタデータに対応するユニバーサルリソース識別子によって、前記クライアントエンドポイントに参照される、
方法。 - 前記コンテンツから深度情報を推論することに基づいて、前記クライアントエンドポイントに関連付けられたシーン固有のボリュームフォーマットに前記コンテンツを適応させるステップをさらに含む、請求項1に記載の方法。
- 前記ニューラルネットワークは、前記コンテンツ内のオブジェクトに対応する事前分布に基づいて、前記コンテンツを取り込む前に訓練される、請求項1に記載の方法。
- 1つ以上の前記クライアントエンドポイントは、テレビ、コンピュータ、ヘッドマウントディスプレイ、レンチキュラーライトフィールドディスプレイ、ホログラフィックディスプレイ、拡張現実ディスプレイ及び高密度ライトフィールドディスプレイのうちの1つ以上を含む、請求項1に記載の方法。
- 没入型メディアをストリーミングするコンピュータシステムであって、
コンピュータプログラムコードを記憶するように構成された1つ以上のコンピュータ可読非一時記憶媒体と、
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって指示されるように動作するように構成された1つ以上のコンピュータプロセッサと、を含み、前記コンピュータプログラムコードは、
前記1つ以上のコンピュータプロセッサに、クライアントエンドポイントの特性を示す情報を取得させるように構成された取得コードと、
前記1つ以上のコンピュータプロセッサに、第1の2次元フォーマット又は第1の3次元フォーマットでコンテンツを取り込ませるように構成された取り込みコードであって、前記第1の2次元フォーマット又は前記第1の3次元フォーマットがニューラルネットワークを参照する取り込みコードと、
前記1つ以上のコンピュータプロセッサに、参照した前記ニューラルネットワークに基づいて、取り込んだ前記コンテンツを前記クライアントエンドポイントの前記特性に適した第2の2次元フォーマット又は第2の3次元フォーマットに変換させるように構成された変換コードと、
前記1つ以上のコンピュータプロセッサに、変換した前記コンテンツを前記クライアントエンドポイントにストリーミングさせるように構成されたストリーミングコードと、を含み、
前記ニューラルネットワークは、コード化ビデオストリームと共にストリーミングされる前記ニューラルネットワークのモデルの位置を識別するメタデータによって、またはコード化ビデオストリームと共にストリーミングされる前記コンテンツを説明するメタデータに対応するユニバーサルリソース識別子によって、前記クライアントエンドポイントに参照される、
コンピュータシステム。 - 前記コンテンツから深度情報を推論することに基づいて、前記クライアントエンドポイントに関連付けられたシーン固有のボリュームフォーマットに前記コンテンツを適応させることをさらに含む、請求項5に記載のコンピュータシステム。
- 前記ニューラルネットワークは、前記コンテンツ内のオブジェクトに対応する事前分布に基づいて、前記コンテンツを取り込む前に訓練される、請求項5に記載のコンピュータシステム。
- 1つ以上の前記クライアントエンドポイントは、テレビ、コンピュータ、ヘッドマウントディスプレイ、レンチキュラーライトフィールドディスプレイ、ホログラフィックディスプレイ、拡張現実ディスプレイ及び高密度ライトフィールドディスプレイのうちの1つ以上を含む、請求項5に記載のコンピュータシステム。
- 没入型メディアをストリーミングするコンピュータプログラムであって、前記コンピュータプログラムは、1つ以上のコンピュータプロセッサに、
クライアントエンドポイントの特性を示す情報を取得させるように構成され、
第1の2次元フォーマット又は第1の3次元フォーマットでコンテンツを取り込ませるステップであって、前記第1の2次元フォーマットまたは前記第1の3次元フォーマットがニューラルネットワークを参照するステップを実行するように構成され、
変換コードが、前記1つ以上のコンピュータプロセッサに、参照した前記ニューラルネットワークに基づいて、取り込んだ前記コンテンツを前記クライアントエンドポイントの前記特性に適した第2の2次元フォーマット又は第2の3次元フォーマットに変換させるように構成され、
ストリーミングコードが、前記1つ以上のコンピュータプロセッサに、変換した前記コンテンツを前記クライアントエンドポイントにストリーミングさせるように構成され、
前記ニューラルネットワークは、コード化ビデオストリームと共にストリーミングされる前記ニューラルネットワークのモデルの位置を識別するメタデータによって、またはコード化ビデオストリームと共にストリーミングされる前記コンテンツを説明するメタデータに対応するユニバーサルリソース識別子によって、前記クライアントエンドポイントに参照される、
コンピュータプログラム。 - 前記コンテンツから深度情報を推論することに基づいて、前記クライアントエンドポイントに関連付けられたシーン固有のボリュームフォーマットに前記コンテンツを適応させることをさらに含む、請求項9に記載のコンピュータプログラム。
- 前記ニューラルネットワークは、前記コンテンツ内のオブジェクトに対応する事前分布に基づいて、前記コンテンツを取り込む前に訓練される、請求項9に記載のコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063127036P | 2020-12-17 | 2020-12-17 | |
US63/127,036 | 2020-12-17 | ||
US17/407,816 | 2021-08-20 | ||
US17/407,816 US11943271B2 (en) | 2020-12-17 | 2021-08-20 | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points |
PCT/US2021/048643 WO2022132248A1 (en) | 2020-12-17 | 2021-09-01 | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023519610A JP2023519610A (ja) | 2023-05-11 |
JP7487331B2 true JP7487331B2 (ja) | 2024-05-20 |
Family
ID=82021765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022559389A Active JP7487331B2 (ja) | 2020-12-17 | 2021-09-01 | 没入型メディアをストリーミングする方法、並びにそのコンピュータシステム、及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11943271B2 (ja) |
EP (1) | EP4085397B1 (ja) |
JP (1) | JP7487331B2 (ja) |
CN (1) | CN115280336A (ja) |
WO (1) | WO2022132248A1 (ja) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120113097A1 (en) | 2010-11-05 | 2012-05-10 | Samsung Electronics Co., Ltd. | Display apparatus and method |
JP2013501475A (ja) | 2009-08-06 | 2013-01-10 | クゥアルコム・インコーポレイテッド | 3次元入力フォーマットに従ってビデオデータを変換すること |
JP2013509104A (ja) | 2009-10-23 | 2013-03-07 | クゥアルコム・インコーポレイテッド | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 |
JP2013513319A (ja) | 2009-12-04 | 2013-04-18 | クゥアルコム・インコーポレイテッド | 移動体メディアサーバ |
JP2014529954A (ja) | 2011-08-25 | 2014-11-13 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. | 立体視及びマルチビューにおけるモデルベースのクロストーク低減 |
JP2017524183A (ja) | 2014-06-30 | 2017-08-24 | アマゾン・テクノロジーズ・インコーポレーテッド | 機械学習サービス |
JP2018526723A (ja) | 2015-07-09 | 2018-09-13 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 画像中のオブジェクト検出のためのコンテキストベースの事前分布 |
US20190026956A1 (en) | 2012-02-24 | 2019-01-24 | Matterport, Inc. | Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications |
WO2019198784A1 (ja) | 2018-04-12 | 2019-10-17 | 凸版印刷株式会社 | ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法 |
WO2020013454A1 (ko) | 2018-07-13 | 2020-01-16 | 엘지전자 주식회사 | 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치 |
US20200134911A1 (en) | 2018-10-29 | 2020-04-30 | Verizon Patent And Licensing Inc. | Methods and Systems for Performing 3D Simulation Based on a 2D Video Image |
US20200380779A1 (en) | 2020-08-20 | 2020-12-03 | Intel Corporation | Embedding complex 3d objects into an augmented reality scene using image segmentation |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075869A (ja) * | 2007-09-20 | 2009-04-09 | Toshiba Corp | 多視点画像描画装置、方法及びプログラム |
CN105957134B (zh) | 2011-08-05 | 2019-11-08 | 想象技术有限公司 | 用于3-d场景加速结构创建和更新的方法和装置 |
KR101639295B1 (ko) | 2013-02-04 | 2016-07-13 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 스트리밍 미디어 데이터 송신 방법 및 장치 |
US10540606B2 (en) | 2014-06-30 | 2020-01-21 | Amazon Technologies, Inc. | Consistent filtering of machine learning data |
US10559126B2 (en) * | 2017-10-13 | 2020-02-11 | Samsung Electronics Co., Ltd. | 6DoF media consumption architecture using 2D video decoder |
EP3489900A1 (en) | 2017-11-23 | 2019-05-29 | Thomson Licensing | Method, apparatus and stream for encoding/decoding volumetric video |
WO2019199637A1 (en) | 2018-04-11 | 2019-10-17 | Alcacruz Inc. | Digital media system |
KR102190483B1 (ko) | 2018-04-24 | 2020-12-11 | 주식회사 지디에프랩 | Ai 기반의 영상 압축 및 복원 시스템 |
US11013470B2 (en) * | 2018-06-08 | 2021-05-25 | Cambridge Heartwear Limited | Detecting abnormalities in ECG signals |
US11178373B2 (en) * | 2018-07-31 | 2021-11-16 | Intel Corporation | Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments |
JP2020025786A (ja) * | 2018-08-14 | 2020-02-20 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
US11341688B2 (en) * | 2019-10-02 | 2022-05-24 | Nokia Technologies Oy | Guiding decoder-side optimization of neural network filter |
-
2021
- 2021-08-20 US US17/407,816 patent/US11943271B2/en active Active
- 2021-09-01 JP JP2022559389A patent/JP7487331B2/ja active Active
- 2021-09-01 WO PCT/US2021/048643 patent/WO2022132248A1/en unknown
- 2021-09-01 CN CN202180021216.4A patent/CN115280336A/zh active Pending
- 2021-09-01 EP EP21907366.5A patent/EP4085397B1/en active Active
-
2024
- 2024-02-05 US US18/432,858 patent/US20240179203A1/en active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013501475A (ja) | 2009-08-06 | 2013-01-10 | クゥアルコム・インコーポレイテッド | 3次元入力フォーマットに従ってビデオデータを変換すること |
JP2013509104A (ja) | 2009-10-23 | 2013-03-07 | クゥアルコム・インコーポレイテッド | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 |
JP2013513319A (ja) | 2009-12-04 | 2013-04-18 | クゥアルコム・インコーポレイテッド | 移動体メディアサーバ |
US20120113097A1 (en) | 2010-11-05 | 2012-05-10 | Samsung Electronics Co., Ltd. | Display apparatus and method |
JP2014529954A (ja) | 2011-08-25 | 2014-11-13 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. | 立体視及びマルチビューにおけるモデルベースのクロストーク低減 |
US20190026956A1 (en) | 2012-02-24 | 2019-01-24 | Matterport, Inc. | Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications |
JP2017524183A (ja) | 2014-06-30 | 2017-08-24 | アマゾン・テクノロジーズ・インコーポレーテッド | 機械学習サービス |
JP2018526723A (ja) | 2015-07-09 | 2018-09-13 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 画像中のオブジェクト検出のためのコンテキストベースの事前分布 |
WO2019198784A1 (ja) | 2018-04-12 | 2019-10-17 | 凸版印刷株式会社 | ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法 |
WO2020013454A1 (ko) | 2018-07-13 | 2020-01-16 | 엘지전자 주식회사 | 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치 |
US20200134911A1 (en) | 2018-10-29 | 2020-04-30 | Verizon Patent And Licensing Inc. | Methods and Systems for Performing 3D Simulation Based on a 2D Video Image |
US20200380779A1 (en) | 2020-08-20 | 2020-12-03 | Intel Corporation | Embedding complex 3d objects into an augmented reality scene using image segmentation |
Also Published As
Publication number | Publication date |
---|---|
EP4085397A1 (en) | 2022-11-09 |
US11943271B2 (en) | 2024-03-26 |
WO2022132248A1 (en) | 2022-06-23 |
EP4085397B1 (en) | 2024-02-28 |
US20240179203A1 (en) | 2024-05-30 |
JP2023519610A (ja) | 2023-05-11 |
KR20220115608A (ko) | 2022-08-17 |
US20220201055A1 (en) | 2022-06-23 |
EP4085397A4 (en) | 2023-01-18 |
CN115280336A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230319328A1 (en) | Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points | |
JP7448677B2 (ja) | 没入型メディアをストリーミングする方法、並びにそのデバイス、及びコンピュータプログラム | |
JP7472298B2 (ja) | 没入型メディアの設置、及び没入型メディアから異種クライアントエンドポイントへの配信 | |
JP7487331B2 (ja) | 没入型メディアをストリーミングする方法、並びにそのコンピュータシステム、及びコンピュータプログラム | |
KR102674577B1 (ko) | 이종 클라이언트 엔드 포인트들로 스트리밍하기 위한 미디어의 적응을 위한 몰입형 미디어에 의한 뉴럴 네트워크 모델의 참조 | |
US20230007067A1 (en) | Bidirectional presentation datastream | |
US11991424B2 (en) | Immersive media data complexity analyzer for transformation of asset formats | |
US20230007361A1 (en) | Bidirectional presentation datastream using control and data plane channels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7487331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |