JP7480432B2 - メディアシーン記述のための方法および装置 - Google Patents
メディアシーン記述のための方法および装置 Download PDFInfo
- Publication number
- JP7480432B2 JP7480432B2 JP2023518014A JP2023518014A JP7480432B2 JP 7480432 B2 JP7480432 B2 JP 7480432B2 JP 2023518014 A JP2023518014 A JP 2023518014A JP 2023518014 A JP2023518014 A JP 2023518014A JP 7480432 B2 JP7480432 B2 JP 7480432B2
- Authority
- JP
- Japan
- Prior art keywords
- gltf
- file
- format
- cbor
- maf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 76
- 230000006870 function Effects 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 53
- 239000000872 buffer Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000012384 transportation and delivery Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/116—Details of conversion of file system types or formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/84—Mapping; Conversion
- G06F16/88—Mark-up to mark-up conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45583—Memory management, e.g. access or allocation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/32—Image data format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本出願は、2021年1月14日に出願された米国仮特許出願第63/137,274号および2021年9月16日に出願された米国特許出願第17/477,134号の優先権を主張し、これらの開示はその全体が参照により本明細書に組み込まれる。
interface InputFileParser {
readonly attribute FILE inputFileName;
readonly attribute FILE outputFileName;
readonly attribute CBOR cborDataBlob;
FILE cbor2Json()(FILE cborInput);
FILE json2Cbor(FILE jsonInput);
FILE cbor2Json(CBOR cborDataBlob);
bool save();
};};
例2によれば、プレフィックス「application/cbor;」が、実際のバイナリデータの前に含められうる。例1および例2は一緒に使用されてもよい。いずれの場合も、CBORバイナリデータを取る「cbor2Json(Object)」と呼ばれる関数が、CBORファイルフォーマットを構文解析してJSONにするために呼び出されうる。
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124-1 アプリケーション(APP)
124-2 仮想マシン(VM)
124-3 仮想化ストレージ(VS)
124-4 ハイパーバイザ(HYP)
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 ストレージ構成要素
250 入力構成要素
260 出力構成要素
270 通信インターフェース
301 シーンオブジェクト
302 ノード
303 カメラ
304 メッシュ
305 照明
306 アニメーション
307 アクセサ
308 マテリアル
309 スキン
310 バッファビュー
311 技法
312 テクスチャ
313 バッファ/データ
314 プログラム
315 画像
316 サンプラ
317 シェーダ
400 メディアシーン記述アーキテクチャ
401 メディアクラウド
402 メディア検索エンジンおよびメディアアクセス機能(MAF)
403 ビデオデコーダ
404 オーディオデコーダ
405 他のデータ圧縮器
406 ビデオバッファ
407 オーディオバッファ
408 他のバッファ
409 プレゼンテーションエンジン
410 ローカルストレージ/キャッシュ
501 ノード
502 名称
503 シーン
504 シーン名
506 シーン
Claims (9)
- メディアの記憶および配信を管理する方法であって、前記方法は、少なくとも1つのプロセッサによって実施され、
メディアアクセス機能(MAF)により、シーンに対応するglTF(Graphics Language Transmission Format)ファイルを取得するステップと、
前記glTFファイルがCBOR(Concise Binary Object Representation)フォーマットを有すると判定するステップと、
前記MAFによって実装された第1のCBORパーサ関数を使用して、前記glTFファイルを、JSON(JavaScript Object Notation)フォーマットを有する変換されたglTFファイルに変換するステップと、
前記変換されたglTFファイルに基づいて、前記シーンに対応するメディアコンテンツを取得するステップと
を含む、方法。 - 前記JSONフォーマットを有する前記変換されたglTFファイルは、前記CBORフォーマットを有する前記glTFファイルよりも大きい、請求項1に記載の方法。
- 前記MAFは、ムービングピクチャエクスパーツグループ(MPEG)シーン記述アーキテクチャに含まれる、請求項1に記載の方法。
- 前記第1のCBORパーサ関数は、前記MAFと関連付けられたアプリケーションプログラミングインターフェースを使用して実装される、請求項1に記載の方法。
- 前記MAFによって実装されたJSONパーサ関数を使用して、前記変換されたglTFファイルを、前記CBORフォーマットを有する再変換されたglTFファイルに再変換するステップと、
前記再変換されたglTFファイルを、ローカルストレージまたはキャッシュの少なくとも一方に記憶するステップと
をさらに含む、請求項1に記載の方法。 - 前記CBORフォーマットを有する前記再変換されたglTFファイルは、前記JSONフォーマットを有する前記変換されたglTFファイルよりも小さい、請求項5に記載の方法。
- 前記JSONパーサ関数は、前記MAFと関連付けられたアプリケーションプログラミングインターフェースを使用して実装される、請求項5に記載の方法。
- メディアの記憶および配信を管理するためのデバイスであって、前記デバイスは、
プログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み出し、前記プログラムコードによって命令されるように動作するように構成された少なくとも1つのプロセッサと
を備え、前記プログラムコードは、前記少なくとも1つのプロセッサに、請求項1から7のいずれか一項に記載の方法を行わせる、デバイス。 - コンピュータに、請求項1から7のいずれか一項に記載の方法を行わせる、コンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163137274P | 2021-01-14 | 2021-01-14 | |
US63/137,274 | 2021-01-14 | ||
US17/477,134 US11797475B2 (en) | 2021-01-14 | 2021-09-16 | Method and apparatus for media scene description |
US17/477,134 | 2021-09-16 | ||
PCT/US2021/053950 WO2022154841A1 (en) | 2021-01-14 | 2021-10-07 | Method and apparatus for media scene description |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023544513A JP2023544513A (ja) | 2023-10-24 |
JP7480432B2 true JP7480432B2 (ja) | 2024-05-09 |
Family
ID=82323083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023518014A Active JP7480432B2 (ja) | 2021-01-14 | 2021-10-07 | メディアシーン記述のための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (4) | US11797475B2 (ja) |
EP (1) | EP4176353A4 (ja) |
JP (1) | JP7480432B2 (ja) |
KR (1) | KR20230070040A (ja) |
CN (1) | CN116034357A (ja) |
WO (1) | WO2022154841A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024073275A1 (en) * | 2022-09-26 | 2024-04-04 | Qualcomm Incorporated | Rendering interface for audio data in extended reality systems |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751696A (zh) | 2019-12-25 | 2020-02-04 | 广联达科技股份有限公司 | 将BIM模型数据转化为glTF数据的方法、装置、设备及介质 |
US20200104522A1 (en) | 2018-09-28 | 2020-04-02 | Todd R. Collart | System for authorizing rendering of objects in three-dimensional spaces |
WO2022150080A1 (en) | 2021-01-06 | 2022-07-14 | Tencent America LLC | Method and apparatus for media scene description |
WO2022150077A1 (en) | 2021-01-06 | 2022-07-14 | Tencent America LLC | Method and apparatus for media scene description |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU761202B2 (en) * | 1997-09-22 | 2003-05-29 | Sony Corporation | Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format |
US8400497B2 (en) | 2007-09-07 | 2013-03-19 | Samsung Electronics Co., Ltd | Method and apparatus for generating stereoscopic file |
US11277598B2 (en) | 2009-07-14 | 2022-03-15 | Cable Television Laboratories, Inc. | Systems and methods for network-based media processing |
CN105183823B (zh) * | 2015-08-28 | 2018-07-27 | 上海永为科技有限公司 | 一种虚拟对象和实景影像的互动展示系统 |
US10984194B2 (en) * | 2016-03-29 | 2021-04-20 | Push Technology Limited | Efficient publish subscribe broadcast using binary delta streams |
WO2019067800A1 (en) * | 2017-09-29 | 2019-04-04 | Leverage Rock Llc | CONFIDENTIALITY OF TRANSACTIONS IN PUBLIC DISTRIBUTED REGISTRY SYSTEMS |
CA3114601A1 (en) * | 2017-09-29 | 2019-04-04 | Eyexpo Technology Corp. | A cloud-based system and method for creating a virtual tour |
JP7071161B2 (ja) * | 2018-02-28 | 2022-05-18 | キヤノン株式会社 | 情報処理装置及びその制御方法、並びにプログラム |
US10984579B2 (en) | 2018-08-27 | 2021-04-20 | Microsoft Technology Licensing, Llc | Playback for embedded and preset 3D animations |
KR20210093896A (ko) | 2018-10-16 | 2021-07-28 | 엘루비오, 아이엔씨. | 탈중앙화 콘텐츠 패브릭 |
US10636209B1 (en) * | 2019-09-13 | 2020-04-28 | Bongfish GmbH | Reality-based three-dimensional infrastructure reconstruction |
CN110765661A (zh) * | 2019-11-22 | 2020-02-07 | 北京京东乾石科技有限公司 | 自动驾驶仿真场景生成方法及装置、电子设备、存储介质 |
US11785290B2 (en) * | 2020-06-24 | 2023-10-10 | Qualcomm Incorporated | Media access function for scene descriptions |
US11695932B2 (en) * | 2020-09-23 | 2023-07-04 | Nokia Technologies Oy | Temporal alignment of MPEG and GLTF media |
US11922561B2 (en) * | 2020-10-06 | 2024-03-05 | Mediatek Singapore Pte. Ltd. | Methods and systems for implementing scene descriptions using derived visual tracks |
-
2021
- 2021-09-16 US US17/477,134 patent/US11797475B2/en active Active
- 2021-10-07 JP JP2023518014A patent/JP7480432B2/ja active Active
- 2021-10-07 CN CN202180052458.XA patent/CN116034357A/zh active Pending
- 2021-10-07 EP EP21920044.1A patent/EP4176353A4/en active Pending
- 2021-10-07 WO PCT/US2021/053950 patent/WO2022154841A1/en unknown
- 2021-10-07 KR KR1020237013443A patent/KR20230070040A/ko active Search and Examination
- 2021-10-12 US US17/499,380 patent/US11797476B2/en active Active
-
2023
- 2023-08-30 US US18/240,078 patent/US20230418783A1/en active Pending
- 2023-09-14 US US18/368,423 patent/US20240004831A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200104522A1 (en) | 2018-09-28 | 2020-04-02 | Todd R. Collart | System for authorizing rendering of objects in three-dimensional spaces |
CN110751696A (zh) | 2019-12-25 | 2020-02-04 | 广联达科技股份有限公司 | 将BIM模型数据转化为glTF数据的方法、装置、设备及介质 |
WO2022150080A1 (en) | 2021-01-06 | 2022-07-14 | Tencent America LLC | Method and apparatus for media scene description |
WO2022150077A1 (en) | 2021-01-06 | 2022-07-14 | Tencent America LLC | Method and apparatus for media scene description |
Also Published As
Publication number | Publication date |
---|---|
CN116034357A (zh) | 2023-04-28 |
US20230418783A1 (en) | 2023-12-28 |
JP2023544513A (ja) | 2023-10-24 |
US20220222890A1 (en) | 2022-07-14 |
US11797476B2 (en) | 2023-10-24 |
KR20230070040A (ko) | 2023-05-19 |
US20240004831A1 (en) | 2024-01-04 |
US11797475B2 (en) | 2023-10-24 |
EP4176353A1 (en) | 2023-05-10 |
WO2022154841A1 (en) | 2022-07-21 |
EP4176353A4 (en) | 2024-01-24 |
US20220222205A1 (en) | 2022-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7399548B2 (ja) | メディアシーン記述のための方法および装置 | |
US20220004405A1 (en) | 3D API Redirection for Virtual Desktop Infrastructure | |
US20240007708A1 (en) | Method and apparatus for media scene description | |
JP2022553965A (ja) | ビデオコンテンツを表示するための方法、コンピュータシステム、およびコンピュータプログラム | |
US20240004831A1 (en) | Method and apparatus for media scene description | |
EP2779104A2 (en) | Preserving and reusing intermediate data | |
JP2022525215A (ja) | タスクおよびワークフローのステートレス並列処理のための方法、装置およびコンピュータプログラム | |
US20220414984A1 (en) | Volumetric data processing using a flat file format | |
US11366823B2 (en) | Method and system for transforming and delivering digital assets over a network | |
JP7274581B2 (ja) | ツリーベースのポイントクラウド圧縮メディアストリームのための方法、装置、およびプログラム | |
JP7513748B2 (ja) | イベントメッセージトラックにおけるイベント間の拡張された関係シグナリング | |
JP7512427B2 (ja) | クラウドワークフロー入出力のためのプロトコル特性をシグナリングする方法 | |
CN115552387A (zh) | 事件消息轨迹中的事件之间的扩展关系信令 | |
CN118154746A (zh) | 元宇宙空间中的分级渲染方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7480432 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |