JP7392136B2 - ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム - Google Patents
ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7392136B2 JP7392136B2 JP2022523682A JP2022523682A JP7392136B2 JP 7392136 B2 JP7392136 B2 JP 7392136B2 JP 2022523682 A JP2022523682 A JP 2022523682A JP 2022523682 A JP2022523682 A JP 2022523682A JP 7392136 B2 JP7392136 B2 JP 7392136B2
- Authority
- JP
- Japan
- Prior art keywords
- media
- scene
- computer
- network
- timed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000004590 computer program Methods 0.000 title claims description 6
- 230000000007 visual effect Effects 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 27
- 238000009877 rendering Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 4
- 230000001339 gustatory effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 19
- 230000006978 adaptation Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 238000013499 data model Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001667 episodic effect Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、2020年6月12日に出願された米国仮出願第63/038,591号「DATA MODEL FOR REPRESENTATION AND STREAMING OF HETEROGENEOUS IMMERSIVE MEDIA」に基づく優先権を主張する、2021年4月15日に出願された米国特許出願第17/231,513号「DATA MODEL FOR REPRESENTATION AND STREAMING OF HETEROGENEOUS IMMERSIVE MEDIA」に対する優先権の利益を主張し、その全体は参照により本明細書に組み込まれる。
OTOY社のORBXは、光線追跡可能、レガシー(フレームベース)、立体および他の種類の、合成またはベクトルベースの視覚フォーマットを含むタイムドまたは非タイムドの任意の種類の視覚メディアをサポートすることができるいくつかのシーングラフ技術のうちの1つである。ORBXは、メッシュ、ポイントクラウドおよびテクスチャ用の自由に利用可能な、および/またはオープンソースフォーマットをネイティブにサポートするので、他のシーングラフとは異なる。ORBXは、シーングラフ上で動作する複数のベンダ技術にわたる交換を容易にすることを目的として意図的に設計されたシーングラフである。さらに、ORBXは、豊富な素材システム、オープンシェーダ言語のサポート、堅牢なカメラシステム、およびLuaスクリプトのサポートを提供する。ORBXは、イマーシブ・デジタル・エクスペリエンス・アライアンス(Immersive Digital Experiences Alliance)によって著作権使用料無料のライセンスを対象として公開された没入型技術メディアフォーマットの基礎でもある。
Pixar社のユニバーサルシーン記述(USD、Universal Scene Description)は、VFXおよび専門のコンテンツ制作業界で人気のある別の周知の成熟したシーングラフである。USDは、Nvidia社のGPUを用いた3Dモデル作成およびレンダリングのための開発者向けツールのセットであるNvidia社のOmniverseプラットフォームに統合されている。USDのサブセットは、USDZとしてApple社およびPixar社によって公開された。USDZは、Apple社のARKitによってサポートされている。
glTF 2.0は、Khronos社の3Dグループによって書かれた 「グラフィックス言語伝送フォーマット」仕様の最新バージョンである。このフォーマットは、「png」 および「jpeg」画像フォーマットを含む、一般にシーン内の静的(非タイムド)オブジェクトをサポートすることができる単純なシーングラフフォーマットをサポートする。glTF 2.0は、単純なアニメーションをサポートし、glTFプリミティブを使用して記述された基本形状、すなわち幾何学的オブジェクトの並進、回転およびスケーリングをサポートする。glTF 2.0はタイムドメディアをサポートしておらず、したがって、ビデオもオーディオもサポートしていない。
UnityエンジンおよびUnrealエンジンはどちらも、レンダリング用のORBXおよびUSDを含む豊富なシーングラフをサポートし、ゲームアプリケーションをサポートすることもできる。UnityおよびUnrealはどちらもゲームエンジンの例である。いずれも、光線追跡可能メディアのパス追跡を実行することもでき、例えば光の物理的に正しい挙動をモデル化することができる。
ネットワーク機能仮想化およびMECはそれぞれETSIによって開発された標準であり、ソフトウェア定義ネットワーク(SDN)はIEEEによって標準化された技術領域である。ネットワークベースのメディア処理(Network-Based Media Processing)は、MPEGによって開発された最近完成した標準の名称でもある。これらの標準の各々は、特に商用ネットワークにわたる大規模なメディアの配信および処理のために、商用ネットワークリソースの分散型の柔軟で動的な構成および適応を集合的に可能にする特徴に寄与する。
CableLabsの提案には、「ネットワークベースのメディア処理のためのシステムおよび方法」が記載されている。この提案は、ネットワーク内のエンドポイントのクライアントの種類に「依存しない」ものである「統合」メディア交換フォーマットを記載している。本明細書に記載のネットワークベースのメディア処理は、MPEGによって規定されているネットワークベースのメディア処理と同一ではない。CableLabsの提案では、ネットワークは、最終的にメディアを特定の種類のエンドポイントのクライアントデバイスに「結合」する特定のフォーマットへの交換フォーマットにおけるメディアの処理および変換を可能にする分離型の制御プレーンおよびデータプレーンを採用する。MPEG標準では、制御プレーンとデータプレーンとの区別はない。CableLabsの提案では、メディア交換フォーマットのメディアは 「ディスプレイに依存しない」 として特徴付けられ、結果として得られる変換メディア、すなわちCableLabsのネットワークベースのメディア処理は「ディスプレイ固有」 として特徴付けられる。しかし、CableLabsの仕様は、メディアをストリーミングするためのメカニズムを提案しておらず、メディアフォーマットの編成、基礎となる幾何学的フォーマットの圧縮、エンドポイントのクライアントの機能的能力のリプレゼンテーション、エンドポイントのクライアントのアプリケーション要件のリプレゼンテーション、またはクライアントとネットワークサービスプロバイダとの間のサービスレベル合意に対応する機能のリプレゼンテーションに関するいかなる情報も提供していない。さらに、CableLabsの仕様は、没入型メディアが視覚フォーマットまたはオーディオフォーマット以外のメディアで構成されることを考慮していない。
ISO/IEC JTC 1/SC 29/WG 11の動画専門家集団(MPEG)は、glTFのタイムドMPEGメディアのサポートを可能にするために、glTF 2.0に対する拡張を開発している。glTFは静的リソースのレンダリングに現在使用されているため、glTFを拡張するMPEGの努力は、glTFが広く展開されている既存のアプリケーションまたはエコシステムに必然的に適合しない。同様に、タイムドメディアの現在のエコシステムは、タイムドメディアの配信にシーングラフを使用しない。MPEGがタイムド没入型メディアのサポートのためにシーングラフの使用を検討しているという事実は、MPEGが独立した立体オブジェクトの編成のためのシーングラフの重要性を認識しているが、現在の設計では、MPEGはシーングラフおよびグラフによって参照される個々のオブジェクトをISOベースメディアファイルフォーマットのファイルにパッケージ化することを計画していることを示している。これは、データ階層に関して、シーングラフコンテナはMPEGメディアおよび非MPEGメディアの両方のためのコンテナラッパーであるべきであり、したがって、(論理データ階層に関して)MPEGメディアと同じレベルに配置されるべきではないため、特に限定的である。
シーングラフ:ベクトルベースのグラフィックス編集アプリケーションおよび最新のコンピュータゲームによって通常使用される一般的なデータ構造であって、グラフィックシーンの論理的かつ多くの場合(必ずしもそうとは限らないが)空間的なリプレゼンテーションを配置する。グラフ構造におけるノードおよび頂点の集合。
101B コンピュータ
102 シーケンス
103 準備モジュール
104 コンバータモジュール
105 アダプテーションモジュール
106 コンテンツ配信ネットワーク
107A~107C メディアアダプテーション
108A~108C クライアント
201A~201C CDN
202 MPD
203A、203B 期間
204A~204C アダプテーションセット
205 リプレゼンテーション
206 セグメントファイル
301、401 シーン
302、402 コンポーネント
303、403 アセット
304、404 ベース層
305、405 属性強調層
401 シーン情報、シーン
500 コンピュータシステム
501 キーボード
502 マウス
503 トラックパッド
505 ジョイスティック
506 マイク
507 スキャナ
508 カメラ
510 タッチスクリーン
520 CD/DVD ROM/RW
521 媒体
522 サムドライブ
523 リムーバブルハードドライブまたはソリッドステートドライブ
540 コア
541 中央処理装置(CPU)
542 グラフィック処理装置(GPU)
543 フィールドプログラマブルゲートエリア(FPGA)
544 ハードウェアアクセラレータ
545 ROM
546 RAM
547 内部大容量記憶装置
549 周辺バス
549 周辺バス
Claims (11)
- プロセッサによって実行可能な、ビデオコンテンツを表示する方法であって、
複数のオブジェクトのリアルタイムレンダリングを可能にするためにタイムド型リプレゼンテーションエンジンへのインタフェースを作成するステップであって、前記複数のオブジェクトは複数のシーングラフを介して論理的に一緒に編成され、前記複数のシーングラフにはメディア交換フォーマットが編成され、前記複数のシーングラフは前記メディア交換フォーマット中にシーングラフ情報を含み、前記シーングラフ情報は、複数の聴覚、触覚、嗅覚および味覚のオブジェクトの各々の情報を含むノードの集合を備える、ステップと、
非タイムド型リプレゼンテーションエンジンへのインタフェースを介して前記複数のシーングラフのジオメトリ情報を更新することにより、ヘテロジニアスの視覚幾何学的オブジェクトを取得するステップと、
前記複数のオブジェクトを、前記メディア交換フォーマットを使用して前記複数のシーングラフの中から各シーングラフ内の前記ヘテロジニアスの視覚幾何学的オブジェクトの解像度を多重することにより、またはモザイク化を増加することにより、ストリーミングするステップと
を含み、
前記タイムド型リプレゼンテーションエンジンは、時間に従い、
前記非タイムド型リプレゼンテーションエンジンは、論理的関係及び空間的関係の少なくとも1つに従い、
前記ヘテロジニアスの視覚幾何学的オブジェクトは、時間に従って構造化されたタイムド型メディアが、論理的関係及び空間的関係の少なくとも1つによって構造化された非タイムド型メディアに組み込まれたものである
方法。 - 前記複数のシーングラフの前記ジオメトリ情報を更新することにより、ヘテロジニアスの視覚幾何学的オブジェクトを取得するステップは、前記複数のシーングラフのうちの少なくとも1つの多重解像度リプレゼンテーションにおいて前記複数のオブジェクトの解像度を上げることを含む、請求項1に記載の方法。
- 前記非タイムド型リプレゼンテーションエンジンへの前記インタフェースを介して前記シーングラフ内の前記複数のオブジェクトと対話するステップ
をさらに含む、請求項1に記載の方法。 - シーングラフ内のシーン内で参照される各幾何学的オブジェクトを、ネットワーク内でリソースがアクセス可能なアドレスを指すトークンと関連付けるステップ
をさらに含む、請求項1~3のいずれか一項に記載の方法。 - 前記トークンは汎用リソース識別子(URI)を含む、請求項4に記載の方法。
- 前記リソースのコンテンツは、前記URIを介してアクセスすることによってクライアントによって取り込まれる、請求項5に記載の方法。
- 前記トークンは、(1)前記ネットワーク内の位置、および(2)前記クライアント内の位置のうちの1つを指す、請求項6に記載の方法。
- 前記クライアントは、そのリソースがネットワークベースのメディア処理のために前記ネットワークに利用可能であることに応答して、前記ネットワークにシグナリングする、請求項7に記載の方法。
- ユーザからの対話を取り込むステップをさらに含み、
前記対話はグローブとの触覚対話を含む
請求項1~8のいずれか一項に記載の方法。 - ビデオコンテンツを表示するためのコンピュータシステムであって、前記コンピュータシステムは、
コンピュータプログラムコードを記憶するように構成された1つまたは複数のコンピュータ可読非一時的記憶媒体と、
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって命令に従って動作するように構成された1つまたは複数のコンピュータプロセッサと
を備え、前記コンピュータプログラムコードは、
前記1つまたは複数のコンピュータプロセッサに、請求項1~9のいずれか一項に記載の方法を実行させる、コンピュータシステム。 - 1つまたは複数のコンピュータプロセッサに、請求項1~9のいずれか一項に記載の方法を実行させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063038591P | 2020-06-12 | 2020-06-12 | |
US63/038,591 | 2020-06-12 | ||
US17/231,513 | 2021-04-15 | ||
US17/231,513 US20210392386A1 (en) | 2020-06-12 | 2021-04-15 | Data model for representation and streaming of heterogeneous immersive media |
PCT/US2021/030787 WO2021252102A1 (en) | 2020-06-12 | 2021-05-05 | Data model for representation and streaming of heterogeneous immersive media |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022553965A JP2022553965A (ja) | 2022-12-27 |
JP7392136B2 true JP7392136B2 (ja) | 2023-12-05 |
Family
ID=78826286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022523682A Active JP7392136B2 (ja) | 2020-06-12 | 2021-05-05 | ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210392386A1 (ja) |
EP (1) | EP4018673A4 (ja) |
JP (1) | JP7392136B2 (ja) |
KR (1) | KR20220068241A (ja) |
CN (1) | CN114450966A (ja) |
WO (1) | WO2021252102A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220153381A (ko) * | 2021-05-11 | 2022-11-18 | 삼성전자주식회사 | 미디어 서비스를 제공하기 위한 방법 및 장치 |
US11985381B2 (en) * | 2022-01-10 | 2024-05-14 | Tencent America LLC | Mapping architecture of immersive technologies media format (ITMF) specification with rendering engines |
US20230370666A1 (en) * | 2022-05-12 | 2023-11-16 | Tencent America LLC | Streaming scene prioritizer for immersive media |
WO2024058447A1 (ko) * | 2022-09-14 | 2024-03-21 | 라인 넥스트 인코포레이티드 | 크리스탈에 영상 콘텐츠가 결합된 토큰을 발행하는 방법 및 시스템 |
CN115564903B (zh) * | 2022-12-05 | 2023-05-09 | 阿里巴巴(中国)有限公司 | 三维场景资产数据处理方法、装置、电子设备及存储介质 |
CN117478726A (zh) * | 2023-12-26 | 2024-01-30 | 中国电建集团西北勘测设计研究院有限公司 | 一种对接虚幻引擎的物联网数据传输方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003299044A (ja) | 2002-03-29 | 2003-10-17 | Mitsubishi Electric Corp | マルチメディア情報送受信装置、マルチメディア情報送受信システム、サービス課金サーバ |
JP2020503792A (ja) | 2016-12-30 | 2020-01-30 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 情報処理方法および装置 |
WO2020116154A1 (ja) | 2018-12-03 | 2020-06-11 | ソニー株式会社 | 情報処理装置および方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7149770B1 (en) * | 1999-01-29 | 2006-12-12 | The Trustees Of Columbia University In The City Of New York | Method and system for client-server interaction in interactive communications using server routes |
US6765571B2 (en) * | 1999-09-24 | 2004-07-20 | Sun Microsystems, Inc. | Using a master controller to manage threads and resources for scene-based rendering |
US7095423B2 (en) * | 2002-07-19 | 2006-08-22 | Evans & Sutherland Computer Corporation | System and method for combining independent scene layers to form computer generated environments |
JP4016792B2 (ja) * | 2002-10-16 | 2007-12-05 | 日産自動車株式会社 | 移動体情報配信システム |
US11277598B2 (en) * | 2009-07-14 | 2022-03-15 | Cable Television Laboratories, Inc. | Systems and methods for network-based media processing |
US10255302B1 (en) * | 2015-02-27 | 2019-04-09 | Jasmin Cosic | Systems, methods, apparatuses, and/or interfaces for associative management of data and inference of electronic resources |
US10101804B1 (en) * | 2017-06-21 | 2018-10-16 | Z5X Global FZ-LLC | Content interaction system and method |
US10659760B2 (en) * | 2017-07-10 | 2020-05-19 | Qualcomm Incorporated | Enhanced high-level signaling for fisheye virtual reality video |
US10559126B2 (en) * | 2017-10-13 | 2020-02-11 | Samsung Electronics Co., Ltd. | 6DoF media consumption architecture using 2D video decoder |
US10803674B2 (en) * | 2017-11-03 | 2020-10-13 | Samsung Electronics Co., Ltd. | System and method for changing a virtual reality environment dynamically |
WO2019213450A1 (en) * | 2018-05-02 | 2019-11-07 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
US11178373B2 (en) * | 2018-07-31 | 2021-11-16 | Intel Corporation | Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments |
-
2021
- 2021-04-15 US US17/231,513 patent/US20210392386A1/en active Pending
- 2021-05-05 WO PCT/US2021/030787 patent/WO2021252102A1/en unknown
- 2021-05-05 CN CN202180005577.XA patent/CN114450966A/zh active Pending
- 2021-05-05 KR KR1020227012951A patent/KR20220068241A/ko unknown
- 2021-05-05 JP JP2022523682A patent/JP7392136B2/ja active Active
- 2021-05-05 EP EP21823144.7A patent/EP4018673A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003299044A (ja) | 2002-03-29 | 2003-10-17 | Mitsubishi Electric Corp | マルチメディア情報送受信装置、マルチメディア情報送受信システム、サービス課金サーバ |
JP2020503792A (ja) | 2016-12-30 | 2020-01-30 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 情報処理方法および装置 |
WO2020116154A1 (ja) | 2018-12-03 | 2020-06-11 | ソニー株式会社 | 情報処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022553965A (ja) | 2022-12-27 |
WO2021252102A1 (en) | 2021-12-16 |
CN114450966A (zh) | 2022-05-06 |
EP4018673A4 (en) | 2022-10-12 |
US20210392386A1 (en) | 2021-12-16 |
EP4018673A1 (en) | 2022-06-29 |
KR20220068241A (ko) | 2022-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7392136B2 (ja) | ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム | |
US20230319328A1 (en) | Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points | |
US12003792B2 (en) | Adaptation of 2D video for streaming to heterogenous client end-points | |
US11570227B2 (en) | Set up and distribution of immersive media to heterogenous client end-points | |
KR102674577B1 (ko) | 이종 클라이언트 엔드 포인트들로 스트리밍하기 위한 미디어의 적응을 위한 몰입형 미디어에 의한 뉴럴 네트워크 모델의 참조 | |
US20230007067A1 (en) | Bidirectional presentation datastream | |
US20230007361A1 (en) | Bidirectional presentation datastream using control and data plane channels | |
KR20230152130A (ko) | 클라이언트 질의를 이용한 중복 자산의 재사용 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7392136 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |