JP7399548B2 - メディアシーン記述のための方法および装置 - Google Patents

メディアシーン記述のための方法および装置 Download PDF

Info

Publication number
JP7399548B2
JP7399548B2 JP2022558542A JP2022558542A JP7399548B2 JP 7399548 B2 JP7399548 B2 JP 7399548B2 JP 2022558542 A JP2022558542 A JP 2022558542A JP 2022558542 A JP2022558542 A JP 2022558542A JP 7399548 B2 JP7399548 B2 JP 7399548B2
Authority
JP
Japan
Prior art keywords
cbor
format
binary data
data blob
gltf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022558542A
Other languages
English (en)
Other versions
JP2023519378A (ja
Inventor
シュアイ・ジャオ
ステファン・ヴェンガー
シャン・リュウ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/499,380 external-priority patent/US11797476B2/en
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023519378A publication Critical patent/JP2023519378A/ja
Application granted granted Critical
Publication of JP7399548B2 publication Critical patent/JP7399548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion
    • G06F16/88—Mark-up to mark-up conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/42—Syntactic analysis
    • G06F8/427—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Television Systems (AREA)

Description

本開示の実施形態は、3Dモデリング構文を使用してメディアオブジェクトをサポートし、様々なメディアコーデック、コンテナ、およびフォーマットをサポートするためにメディア構文を実装し、所定のプログラミングインターフェースを介してメディアのストレージおよび配信方法を管理し、メディアのバッファ制御およびレンダリング機能を提供するためのシステム設計に関する。
グラフィックス・ランゲージ・トランスミッション・フォーマット（Graphics Language Transmission Format、glTF）は、APIに中立なランタイムアセット3Dモデリング配信フォーマットである。従来の3Dモデリングツールと比べて、glTFは、3Dコンテンツの伝送およびロードのためのより効率的で拡張可能かつ相互運用可能なフォーマットを提供する。glTF 2．0は、Khronos 3D Groupによって書かれたglTF仕様の最新バージョンである。このフォーマットは、「png」および「jpeg」画像フォーマットを含む、一般にシーン内の静的（非時限）オブジェクトをサポートすることができる単純なシーングラフフォーマットをサポートする。glTF 2．0は、単純なアニメーションをサポートし、glTFプリミティブを使用して記述された基本形状、すなわち幾何学的オブジェクトの並進、回転、およびスケーリングをサポートする。glTF 2．0は時限メディアをサポートしておらず、したがって、ビデオもオーディオもサポートしていない。
‘‘Information technology－Coding of audiovisual objects－Part 12：ISO base media file format’’、ISO／IEC 14496－12（2015年12月）、‘‘Draft of FDIS of ISO／IEC 23000－19 Common Media Application Format for Segmented Media’’、ISO／IEC JTC1／SC29／WG11 MPEG117／16819（2017年4月）、および‘‘Text of ISO／IEC FDIS 23009－1 4th edition’’、ISO／IEC JTC 1／SC 29／WG 11 N18609（2019年8月）、ならびにglTF 2．0仕様は、その全体が参照により本明細書に組み込まれる。
一実施形態によれば、メディアのストレージおよび配信を管理する方法は、少なくとも1つのプロセッサによって実装され、メディアアクセス機能（media access function、MAF）によって、シーンに対応するグラフィックス・ランゲージ・トランスミッション・フォーマット（glTF）ファイルを取得するステップと、glTFファイルから、バイナリデータブロブを示すユニフォームリソースロケータ（uniform resource locator、URL）パラメータを取得するステップと、バイナリデータブロブはコンサイスバイナリオブジェクト表現（Concise Binary Object Representation、CBOR）フォーマットを有すると決定するステップと、MAFによって実装されるCBORパーサ機能を使用して、バイナリデータブロブを、JavaScriptオブジェクトノーテーション（JavaScript Object Notation、JSON）フォーマットを有するオブジェクトに変換するステップと、オブジェクトに基づいてシーンに対応するメディアコンテンツを取得するステップとを含む。
一実施形態によれば、メディアのストレージおよび配信を管理するためのデバイスは、プログラムコードを記憶するように構成された少なくとも1つのメモリと、プログラムコードを読み取り、プログラムコードによって命令されると動作するように構成された少なくとも1つのプロセッサであって、プログラムコードは、少なくとも1つのプロセッサに、メディアアクセス機能（MAF）によって、シーンに対応するグラフィックス・ランゲージ・トランスミッション・フォーマット（glTF）ファイルを取得させるように構成された第1の取得コードと、少なくとも1つのプロセッサに、glTFファイルから、バイナリデータブロブを示すユニフォームリソースロケータ（URL）パラメータを取得させるように構成された第2の取得コードと、少なくとも1つのプロセッサに、バイナリデータブロブはコンサイスバイナリオブジェクト表現（CBOR）フォーマットを有すると決定させるように構成された決定コードと、少なくとも1つのプロセッサに、MAFによって実装されるCBORパーサ機能を使用して、バイナリデータブロブを、JavaScriptオブジェクトノーテーション（JSON）フォーマットを有するオブジェクトに変換させるように構成された変換コードと、少なくとも1つのプロセッサに、オブジェクトに基づいてシーンに対応するメディアコンテンツを取得させるように構成された第3の取得コードとを含む、少なくとも1つのプロセッサとを備える。
一実施形態によれば、非一時的コンピュータ可読媒体は、メディアのストレージおよび配信を管理するためのデバイスの少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、メディアアクセス機能（MAF）によって、シーンに対応するグラフィックス・ランゲージ・トランスミッション・フォーマット（glTF）ファイルを取得させ、glTFファイルから、バイナリデータブロブを示すユニフォームリソースロケータ（URL）パラメータを取得させ、バイナリデータブロブはコンサイスバイナリオブジェクト表現（CBOR）フォーマットを有すると決定させ、MAFによって実装されるCBORパーサ機能を使用して、バイナリデータブロブを、JavaScriptオブジェクトノーテーション（JSON）フォーマットを有するオブジェクトに変換させ、オブジェクトに基づいてシーンに対応するメディアコンテンツを取得させるように構成された1つまたは複数の命令を含む、命令を記憶する。
開示される主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになる。
実施形態による、本明細書に記載された方法、装置、およびシステムがその中で実現され得る環境の図である。 実施形態による、図1の1つまたは複数のデバイスの例示的な構成要素のブロック図である。 実施形態による、glTFシーン記述オブジェクトの概略図である。 実施形態による、メディアシーン記述システムリファレンスアーキテクチャの概略図である。 実施形態による、glTF JavaScriptオブジェクトノーテーション（JSON）フォーマット表現の一例である。 実施形態による、MPEG glTF拡張の一例である。 実施形態による、JSONフォーマットを有するファイルを示す図である。 実施形態による、CBORフォーマットを有するファイルを示す図である。 実施形態による、glTF構文の一例を示す図である。 実施形態による、メディアのストレージおよび配信を管理するための例示的なプロセスの図である。 実施形態による、メディアのストレージおよび配信を管理するための例示的なプロセスの図である。 実施形態による、メディアのストレージおよび配信を管理するための例示的なプロセスの図である。
図1は、実施形態による、本明細書に記載された方法、装置、およびシステムがその中で実現され得る環境100の図である。図1に示されたように、環境100は、ユーザデバイス110、プラットフォーム120、およびネットワーク130を含んでもよい。環境100のデバイスは、有線接続、無線接続、または有線接続と無線接続との組合せを介して相互接続してもよい。
ユーザデバイス110は、プラットフォーム120に関連付けられた情報を受信、生成、記憶、処理、および／または提供することが可能な1つまたは複数のデバイスを含む。例えば、ユーザデバイス110は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブルデバイス（例えば、一対のスマートグラスもしくはスマートウォッチ）、または同様のデバイスを含んでもよい。いくつかの実施態様では、ユーザデバイス110は、プラットフォーム120から情報を受信し、かつ／または情報をプラットフォームに送信してもよい。
プラットフォーム120は、本明細書の他の箇所に記載されるような1つまたは複数のデバイスを含む。いくつかの実装形態では、プラットフォーム120は、クラウドサーバまたはクラウドサーバのグループを含んでもよい。いくつかの実装形態では、プラットフォーム120は、特定の要求に応じてソフトウェアコンポーネントを入れ替えできるように、モジュール式に設計されてもよい。これにより、プラットフォーム120は、異なる用途向けに、容易かつ／または迅速に復元され得る。
いくつかの実装形態では、図示されたように、プラットフォーム120は、クラウドコンピューティング環境122内でホストされてもよい。特に、本明細書に記載された実装形態は、クラウドコンピューティング環境122内でホストされるものとしてプラットフォーム120を記載するが、いくつかの実装形態では、プラットフォーム120は、クラウドベースでなくてもよい（すなわち、クラウドコンピューティング環境の外部に実装されてもよい）し、部分的にクラウドベースであってもよい。
クラウドコンピューティング環境122は、プラットフォーム120をホストする環境を含む。クラウドコンピューティング環境122は、プラットフォーム120をホストするシステムおよび／またはデバイスの物理的な位置および構成のエンドユーザ（例えば、ユーザデバイス110）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供することができる。図示されたように、クラウドコンピューティング環境122は、（まとめて「コンピューティングリソース124」と呼ばれ、個別に「コンピューティングリソース124」と呼ばれる）コンピューティングリソース124のグループを含んでもよい。
コンピューティングリソース124は、1つまたは複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、または他のタイプの計算デバイスおよび／もしくは通信デバイスを含む。いくつかの実装形態では、コンピューティングリソース124は、プラットフォーム120のホストすることができる。クラウドリソースは、コンピューティングリソース124内で実行される計算インスタンス、コンピューティングリソース124内で提供されるストレージデバイス、コンピューティングリソース124によって提供されるデータ転送デバイスなどを含んでもよい。いくつかの実装形態では、コンピューティングリソース124は、有線接続、無線接続、または有線接続と無線接続との組合せを介して他のコンピューティングリソース124と通信することができる。
図1にさらに示されたように、コンピューティングリソース124は、1つまたは複数のアプリケーション（「APP」）124－1、1つまたは複数の仮想マシン（「VM」）124－2、仮想化ストレージ（「VS」）124－3、1つまたは複数のハイパーバイザ（「HYP」）124－4などのクラウドリソースのグループを含む。
アプリケーション124－1は、ユーザデバイス110および／もしくはプラットフォーム120に提供され得る、またはユーザデバイス110および／もしくはプラットフォーム120によってアクセスされ得る1つまたは複数のソフトウェアアプリケーションを含む。アプリケーション124－1は、ユーザデバイス110上でソフトウェアアプリケーションをインストールし実行する必要性を排除することができる。例えば、アプリケーション124－1は、プラットフォーム120に関連付けられたソフトウェアおよび／またはクラウドコンピューティング環境122を介して提供されることが可能な任意の他のソフトウェアを含んでもよい。いくつかの実装形態では、1つのアプリケーション124－1は、仮想マシン124－2を介して1つまたは複数の他のアプリケーション124－1との間で情報を送受信することができる。例えば、アプリケーション124－1は、オーディオストリーミング、ビジュアルストリーミング、オブジェクト記述ストリーム、シーン記述ストリームなどを含むがこれらに限定されないメディアストリーミングを提供することができる。シーン記述は、一般に、シーンを記述する記述子を指す。シーンは、一般に、任意の2D、3D、および／または没入オブジェクト、ならびにそれらの関連するプロパティ、コマンド、および／または挙動を指すことができる。シーン記述は、オーディオ、ビデオ、およびグラフィックオブジェクトの階層表現であるシーングラフの形態で送信され得る。シーン記述は、他のタイプのストリーム、例えば、オーディオストリーム、ビジュアルストリーム、オブジェクト記述ストリームなどから独立して送信され得ることに留意されたい。
仮想マシン124－2は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装形態を含む。仮想マシン124－2は、仮想マシン124－2による用途および任意の実マシンとの対応関係の程度に応じて、システム仮想マシンまたはプロセス仮想マシンのいずれかであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「OS」）の実行をサポートする完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一のプログラムを実行することができ、単一のプロセスをサポートすることができる。いくつかの実装形態では、仮想マシン124－2は、ユーザ（例えば、ユーザデバイス110）の代わりに実行することができ、データ管理、同期、または長い期間のデータ転送などのクラウドコンピューティング環境122の基盤を管理することができる。
仮想化ストレージ124－3は、コンピューティングリソース124のストレージシステムまたはデバイス内で仮想化技法を使用する1つもしくは複数のストレージシステムおよび／または1つもしくは複数のデバイスを含む。いくつかの実装形態では、ストレージシステムのコンテキストにおいて、仮想化のタイプは、ブロック仮想化およびファイル仮想化を含んでもよい。ブロック仮想化は、ストレージシステムが物理ストレージまたは異種構造に関係なくアクセスされ得るような、物理ストレージからの論理ストレージの抽象化（または分離）を指すことができる。分離により、ストレージシステムの管理者がエンドユーザのためにストレージを管理する方法の柔軟性が可能になり得る。ファイル仮想化は、ファイルレベルでアクセスされるデータとファイルが物理的に記憶された場所との間の依存関係を排除することができる。これにより、ストレージ使用の最適化、サーバ統合、および／またはスムーズなファイル移行の実行が可能になり得る。
ハイパーバイザ124－4は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）をコンピューティングリソース124などのホストコンピュータ上で同時に実行することを可能にするハードウェア仮想化技法を提供することができる。ハイパーバイザ124－4は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示することができ、ゲストオペレーティングシステムの実行を管理することができる。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有することができる。
ネットワーク130は、1つまたは複数の有線および／または無線のネットワークを含む。例えば、ネットワーク130は、セルラーネットワーク（例えば、第5世代（5G）ネットワーク、ロングタームエボリューション（LTE）ネットワーク、第3世代（3G）ネットワーク、符号分割多元接続（CDMA）ネットワークなど）、公的地域モバイルネットワーク（PLMN）、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、メトロポリタンエリアネットワーク（MAN）、電話ネットワーク（例えば、公衆交換電話網（PSTN））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、および／またはそれらもしくは他のタイプのネットワークの組合せを含んでもよい。
図1に示されたデバイスおよびネットワークの数および配置は、一例として提供されている。実際には、図1に示されたものに比べて、さらなるデバイスおよび／もしくはネットワーク、少ないデバイスおよび／もしくはネットワーク、異なるデバイスおよび／もしくはネットワーク、または異なる配置のデバイスおよび／もしくはネットワークが存在してもよい。さらに、図1に示された2つ以上のデバイスは、単一のデバイス内に実装されてもよく、または図1に示された単一のデバイスは、複数の分散型デバイスとして実装されてもよい。追加または代替として、環境100のデバイスのセット（例えば、1つまたは複数のデバイス）は、環境100のデバイスの別のセットによって行われるものとして記述された1つまたは複数の機能を行うことができる。
図2は、図1の1つまたは複数のデバイスの例示的な構成要素のブロック図である。デバイス200は、ユーザデバイス110および／またはプラットフォーム120に対応し得る。図2に示されるように、デバイス200は、バス210と、プロセッサ220と、メモリ230と、ストレージコンポーネント240と、入力コンポーネント250と、出力コンポーネント260と、通信インターフェース270とを備えてもよい。
バス210は、デバイス200の構成要素間の通信を可能にする構成要素を含む。プロセッサ220は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組合せに実装される。プロセッサ220は、中央処理装置（CPU）、グラフィック処理装置（GPU）、加速処理装置（APU）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（DSP）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、または別のタイプの処理構成要素である。いくつかの実装形態では、プロセッサ220は、機能を行うようにプログラムされることが可能な1つまたは複数のプロセッサを含む。メモリ230は、ランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、ならびに／またはプロセッサ220が使用するための情報および／もしくは命令を記憶する別のタイプの動的もしくは静的なストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、および／もしくは光メモリ）を含む。
ストレージコンポーネント240は、デバイス200の動作および使用に関連する情報および／またはソフトウェアを記憶する。例えば、ストレージコンポーネント240は、対応するドライブとともに、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、および／またはソリッドステートディスク）、コンパクトディスク（CD）、デジタル多用途ディスク（DVD）、フロッピーディスク、カートリッジ、磁気テープ、および／または別のタイプの非一時的コンピュータ可読媒体を含んでもよい。
入力コンポーネント250は、デバイス200がユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、および／またはマイクロフォン）などを介して情報を受信することを可能にする構成要素を含む。追加または代替として、入力コンポーネント250は、情報を検知するためのセンサ（例えば、全地球測位システム（GPS）構成要素、加速度計、ジャイロスコープ、および／またはアクチュエータ）を含んでもよい。出力コンポーネント260は、デバイス200（例えば、ディスプレイ、スピーカ、および／または1つもしくは複数の発光ダイオード（LED））からの出力情報を提供する構成要素を含む。
通信インターフェース270は、デバイス200が有線接続、無線接続、または有線接続と無線接続との組合せなどを介して他のデバイスと通信することを可能にする、送受信機様の構成要素（例えば、送受信機ならびに／または別個の受信機および送信機）を含む。通信インターフェース270は、デバイス200が別のデバイスから情報を受信し、かつ／または別のデバイスに情報を提供することを可能にすることができる。例えば、通信インターフェース270は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（RF）インターフェース、ユニバーサルシリアルバス（USB）インターフェース、Wi－Fiインターフェース、セルラーネットワークインターフェースなどを含んでもよい。
デバイス200は、本明細書に記載された1つまたは複数のプロセスを行うことができる。デバイス200は、プロセッサ220がメモリ230および／またはストレージコンポーネント240などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令を実行することに応答して、これらのプロセスを行うことができる。コンピュータ可読媒体は、本明細書では非一時的メモリデバイスと定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、または複数の物理ストレージデバイスにわたって広がるメモリ空間を含む。
ソフトウェア命令は、別のコンピュータ可読媒体から、または通信インターフェース270を介して別のデバイスから、メモリ230および／またはストレージコンポーネント240に読み込まれてもよい。メモリ230および／またはストレージコンポーネント240に記憶されたソフトウェア命令は、実行されると、本明細書に記載された1つまたは複数のプロセスをプロセッサ220に行わせることができる。追加または代替として、ハードワイヤード回路は、本明細書に記載された1つまたは複数のプロセスを行うために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用されてもよい。このように、本明細書に記載された実装形態は、ハードウェア回路とソフトウェアとのいかなる特定の組合せにも限定されない。
図2に示された構成要素の数および配置は、一例として提供されている。実際には、デバイス200は、図2に示された構成要素に比べて、さらなる構成要素、少ない構成要素、異なる構成要素、または異なる配置の構成要素を含んでもよい。追加または代替として、デバイス200のコンポーネントのセット（例えば、1つまたは複数のコンポーネント）は、デバイス200のコンポーネントの別のセットによって行われるものとして記載された1つまたは複数の機能を行うことができる。
図3を参照すると、グラフィックス・ランゲージ・トランスミッション・フォーマット（glTF）は、アプリケーションプログラミングインターフェース（API）に中立なランタイムアセット3Dモデリング配信フォーマットである。従来の3Dモデリングツールと比較して、glTFは、3Dコンテンツの伝送およびロードのためのより効率的で拡張可能かつ相互運用可能なフォーマットを提供する。
glTFシーンは、複数のglTFアセットの組合せであり得る。glTFアセットは、例えば、シーンオブジェクト301、ノード302、カメラ303、メッシュ304、照明305、アニメーション306、アクセサ307、マテリアル308、スキン309、バッファビュー310、技法311、テクスチャ312、バッファ313、プログラム314、画像315、サンプラ316、シェーダ317、およびサポートする外部データを含み得るフルシーン記述を含むJavaScriptオブジェクトノーテーション（JSON）フォーマットのファイルであり得る。
glTFはまた、任意の上述のシーンオブジェクトにおいて参照され得る外部データソースをサポートする。実施形態では、バイナリファイルがアニメーション306または他のバッファベースのデータ313に使用され得る。画像ファイルは、オブジェクトテクスチャ312に使用され得る。
図5を参照すると、上述のように、glTFシーンがJSONフォーマットで編成され得る。glTFアセットは、レンダリングすべきビジュアルオブジェクトのセットであり得るゼロ以上のシーン503を含み得る。シーンは、シーン配列で定義され得る。図5に示された例では、単一ノード501に単一シーン506が存在するが、実施形態はこれに限定されない。様々なパラメータは、各ノードオブジェクトに関連付けられ得る。例えば、名称502は、ノードオブジェクトの名称を指定してもよく、シーン名504は、単一シーンの名称を指定してもよい。
glTFシーンアセットは、3Dまたは没入シーンをユーザにレンダリングするためにプレゼンテーションエンジンによって消費されてもよい。既存のglTF構文は、静的またはコンピュータ生成アニメーションを含む3Dオブジェクトのみをサポートする。ビデオ／オーディオメディアタイプをレンダリングすることはもちろん、ビデオまたはオーディオなどのメディアタイプに対するサポートはない。
一方、既存のglTFは、地理的座標系を使用してシーンを記述することができず、いくつかのメディア提示シナリオではそのような特徴が望まれる。
したがって、従来の2D平面映像、仮想現実（VR）、拡張現実（AR）、エクステンデッドリアリティ（XR）などの没入メディアコンテンツ、および空間オーディオを含むメディアタイプをサポートするようにglTFを拡張することが必要とされている。このことは、ビデオ／オーディオ構文をサポートするための拡張およびメディアの配信およびレンダリングのためのシステムを必要とし得る。
ムービングピクチャエクスパーツグループ（Moving Picture Experts Group、MPEG）は、没入型メディアコンテンツをサポートするためにglTF仕様に加えていくつかの拡張を定義している。図3を参照すると、新たな拡張は、MPEG＿media 330、MPEG＿scene＿dynamic 331、MPEG＿texture＿video 333、MEPG＿animation＿timing 332、MPEG＿audio＿spatial 334、MPEG＿accessor＿timed 335、MPEG＿buffer＿circular 336である。図3において、一般に、丸みを帯びた輪郭を有する要素、例えば要素301～317は、glTF要素であってもよく、四角い輪郭を有する要素、例えば要素330～336は、glTF仕様のMPEGベースの拡張に対応してもよいが、実施形態はこれに限定されない。
ルート識別子としてMPEG＿media 330が指定される場合、MPEG＿mediaがサポートされ得る。図6を参照すると、MPEGメディアをサポートする構文は、上位のJSON構文として宣言され得る。図6の601から604までの構文は、サポートされている場合、示されているように正確に提示され得る。
シーン更新は、JSONパッチプロトコルを使用して表現されてもよく、MPEG＿scene＿dynamic 331は、JSONパッチプロトコルをサポートするために使用されてもよい。
MPEG＿texture＿video 333によって識別されるMPEGテクスチャビデオ拡張は、MPEG＿mediaオブジェクトによってリストされたMPEGメディアおよびその対応するトラックにglTFテクスチャオブジェクトをリンクする可能性を提供することができる。MPEGテクスチャビデオ拡張はまた、MPEG＿accessor＿timed 335への参照を提供してもよく、復号された時限テクスチャが利用可能にされる。
MPEG＿audio＿spatial 334拡張は、複数のオーディオタイプをサポートし得る。
時限データアクセスをサポートするために、バッファ要素は、循環バッファ機能を提供するように拡張され得る。この拡張は、MPEG＿buffer＿circular 336と名付けられ、例えばバッファ313のようなglTF「バッファ」オブジェクトの一部として含まれてもよい。
上記のMEPG拡張は、glTFを使用した没入型体験の作成を可能にし得る。最終的に、MPEG拡張によるglTFアセットを使用して、視覚化のためにレンダリングエンジンにロードすることができる。
図4を参照すると、リファレンスメディアシーン記述アーキテクチャ400が、オーディオ／ビデオなどのメディアタイプをサポートするためにMPEG拡張がどのように使用され得るかの例を例示する。メディアコンテンツは、メディアクラウド401などの外部ソースからメディア検索エンジンおよびメディアアクセス機能（MAF）402を使用して検索され、ビデオデコーダ403、オーディオデコーダ404、および他のデータ圧縮器405を使用して処理され、ビデオバッファ406、オーディオバッファ407、および他のバッファ408にバッファされ、プレゼンテーションエンジン409によってレンダリングされ得る。場合によっては、メディアコンテンツはローカルストレージ410に記憶されてもよい。MAFは、いくつかのMPEG規格からの要素を、特定アプリケーションであるが広く使用可能なアプリケーションに適した単一の仕様に統合するためのフレームワークを提供する。例えば、MAFは、メディアの交換、管理、編集、および提示を容易にする明確に定義されたフォーマットでの提示のためにメタデータを時限メディア情報とどのように組み合わせるかを指定することができる。提示は、システムに対して「ローカル」であってもよいし、ネットワークまたは他のストリーム配信機構を介してアクセス可能であってもよい。
図4を参照すると、MPEGシーン記述拡張は、プレゼンテーションエンジン409をメディア検索エンジン402から分離し得る。プレゼンテーションエンジン409およびメディア検索エンジン402は、プレゼンテーションエンジン409がシーンのレンダリングに必要なメディアデータを要求することを可能にする所定のプログラミングインターフェースを介して通信し得る。メディア検索エンジン402は、要求されたメディアを検索し、それを適時に、かつプレゼンテーションエンジン409によって直ちに処理され得るフォーマットで利用可能にし得る。例えば、要求されたメディアアセットは、圧縮されてネットワークに存在することができ、そのため、メディア検索エンジン402は、アセットを検索して復号し、結果として得られたメディアデータをレンダリングのためにプレゼンテーションエンジン409に渡す。メディアデータは、バッファの形態でメディア検索エンジン402からプレゼンテーションエンジン409に渡されてもよい。メディアデータの要求は、メディア検索APIを介してプレゼンテーションエンジン409からメディア検索エンジン402に渡されてもよい。ビデオ復号リソースの柔軟な使用のために、ビデオデコーダ403が使用され得る。ビデオデコーダ403が使用されるとき、プレゼンテーションエンジン409は、アプリケーション構成APIを介してビデオデコーダ403に入力フォーマットおよび出力フォーマットに関する情報を提供し得る。
上述のように、glTF構文はJSONファイルで表現されてもよい。インターネット技術タスクフォース（Internet Engineering Task Force、IETF）のコンサイスバイナリオブジェクト表現（CBOR）は、従来のJSONフォーマットと比較して簡潔なデータフォーマットを表し得る。CBORは、名称／値ペアフォーマットのJSONのようなデータオブジェクトに関連するが、バイナリかつコンパクトな仕方で表現され、またキー値型によるはるかに多くのサポートを有する。CBORフォーマットにおけるファイルのサイズは、JSONフォーマットの対応するファイルよりも小さくてもよい。場合によっては、CBORファイルは、対応するJSONファイルよりも50％超小さくてもよい。CBORは、インターネット番号割当て機関（Internet Assigned Numbers Authority、IANA）において「application／cbor」として登録されている。
CBORは、そのコンパクトなデータサイズおよびJSONとの互換性のために同様に広くサポートされているglTF交換可能圧縮ファイルフォーマットの1つとして使用され得る。
CBORにおける情報は、バイナリ形式で記憶される。情報の多くのユースケースはデータを理解するためのマシンを含むため、バイナリデータフォーマットは、コンピュータまたはマシンが記憶されたデータを理解するために使用されるたびに解析される必要があり得るJSONまたはXMLのような人間が読み取り可能なデータフォーマットを超える速度上の利点を有し得る。
図7Aは、JSONフォーマットのファイルの一例を示し、図7Bは、CBORフォーマットの対応するファイルの一例を示している。例えば、図7AのJSONフォーマットのファイルの文字「a」（711）は、図7BのCBORフォーマットのファイルの0x61（721）に対応し得る。同様に、図7AのJSONフォーマットのファイルの文字「b」（712）は、図7BのCBORフォーマットのファイルの0x62（722）に対応し、図7AのJSONフォーマットのファイルの文字「c」（713）は、図7BのCBORフォーマットのファイルの0x63（723）に対応し得る。
JSONと比較して、シーン記述のためにCBORを使用することは、データサイズが小さく、JSONにおける単なる文字列オブジェクトではなく複数のキー値型のサポートという点で利点をもたらし得る。機能プログラミングインターフェースが、提示されたメディアシーン記述リファレンスアーキテクチャにおいて、より正確にはメディアアクセス機能モジュールにおいて使用されてもよい。
glTFによるCBORのサポートが普及してきているため、そのようなサポートが、例えば、glTFファイルフォーマットの相互運用性を高め、ローカルストレージまたはキャッシュのファイルサイズを減らし、MAF 402における最小処理能力でglTFファイル転送待ち時間を減らすために、MPEGシーン記述に追加されてもよい。
実施形態によるCBORパーサ機能が、CBOR入力をglTFネイティブサポートJSONフォーマットに変換するためにMAF 402によって実装されてもよく、また、大きなglTFファイルをローカルストレージまたはキャッシュ410に保存するためのファイル圧縮器として使用されてもよい。
CBORパーサAPIは、以下の表1に示されたように、cbor2Json（）、json2Cbor、およびsave（）などの方法の1つを提供する。
Figure 0007399548000001
詳細なインターフェース記述は以下の通りであり得る。
interface InputFileParser｛
readonly attribute FILE inputFileName；
readonly attribute FILE outputFileName；
readonly attribute CBOR cborDataBlob；
FILE cbor2Json（）（FILE cborInput）；
FILE json2Cbor（FILE jsonInput）；
FILE cbor2Json（CBOR cborDataBlob）；
bool save（）；
｝；
上で提案された機能は、例えば以下のような様々なシナリオで使用され得る。
図8を参照すると、glTF「url」または「uri」構文が、CBORバイナリデータブロブ（802）を指し得る。実施形態では、バイナリが実際にCBORデータフォーマットであるか否かを特定する2つの仕方が存在し得る。例1によれば、「application／cbor」（801）で「mimeTypes」を指定する多目的インターネットメール拡張（MIME）タイプがシグナリングされ得る。
例2によれば、プレフィックス「application／cbor」が、実際のバイナリデータの前に含まれ得る。例1および例2は一緒に使用されてもよい。いずれの場合も、CBORバイナリデータを取る「cbor2Json（Object）」と呼ばれる関数を呼び出して、CBORファイルフォーマットをJSONへとパースしてもよい。
入力glTFがCBORフォーマットである場合、出力は、cbor2Json（）APIを使用することによるglTFであってもよい。
入力がネイティブglTFフォーマットである場合、変換は不要であり得る。
ローカルストレージまたはキャッシュの目的のために、glTFファイルが、json2Cbor（）およびsave（）インターフェースを使用してCBORとして保存されてもよい。
したがって、実施形態は、CBORとのglTFファイルフォーマット相互運用性を提供し、ローカルストレージまたはキャッシュのためのファイルサイズを低減し、データ転送速度を高め、ファイル転送待ち時間を低減する方法に関し得る。
図9A～図9Cを参照して、メディアのストレージおよび配信を管理するためのプロセス900A、900B、および900Cが以下に説明される。
図9Aは、メディアのストレージおよび配信を管理するための例示的なプロセス900Aのフローチャートである。
図9Aに示されるように、プロセス900Aは、メディアアクセス機能（MAF）によって、シーンに対応するglTFファイルを取得すること（ブロック911）を含み得る。実施形態では、MAFはMAF 402に対応し得る。
図9Aにさらに示されるように、プロセス900Aは、glTFファイルから、バイナリデータブロブを示すユニフォームリソースロケータ（URL）パラメータを取得すること（ブロック912）を含み得る。
図9Aにさらに示されるように、プロセス900Aは、バイナリデータブロブがCBORフォーマットを有すると決定すること（ブロック913）を含み得る。
図9Aにさらに示されるように、プロセス900Aは、MAFによって実装されたCBORパーサ機能を使用して、バイナリデータブロブを、JSONフォーマットを有するオブジェクトに変換すること（ブロック914）を含み得る。
図9Aに示されるように、プロセス900Aは、オブジェクトに基づいてシーンに対応するメディアコンテンツを取得すること（ブロック915）を含み得る。
実施形態では、JSONフォーマットを有するオブジェクトは、CBORフォーマットを有するバイナリデータブロブよりも大きくてもよい。
実施形態では、バイナリデータブロブは、glTFファイルでシグナリングされる多目的インターネットメール拡張（MIME）タイプに基づいてCBORフォーマットを有すると決定されてもよい。
実施形態では、バイナリデータブロブは、バイナリデータブロブの先頭に含まれるプレフィックスに基づいてCBORフォーマットを有すると決定されてもよい。
実施形態では、バイナリデータブロブは、glTFファイルでシグナリングされる多目的インターネットメール拡張（MIME）タイプおよびバイナリデータブロブの先頭に含まれるプレフィックスに基づいてCBORフォーマットを有すると決定されてもよい。
実施形態では、MAFは、ムービングピクチャエクスパーツグループ（MPEG）シーン記述アーキテクチャに含まれてもよい。
実施形態では、CBORパーサ機能は、MAFに関連付けられたアプリケーションプログラミングインターフェースを使用して実装されてもよい。
図9Bは、メディアのストレージおよび配信を管理するための例示的なプロセス900Bのフローチャートである。実施形態では、プロセス900Bの1つまたは複数のブロックが、プロセス900Aの1つまたは複数のブロックと組み合わされて行われてもよい。例えば、プロセス900Bの1つまたは複数のブロックが、プロセス900Aの1つまたは複数のブロックの後に行われてもよい。
図9Bにさらに示されるように、プロセス900Bは、glTFファイルがCBORフォーマットを有すると決定すること（ブロック921）を含み得る。
図9Bに示されるように、プロセス900Bは、MAFによって実装されたCBORパーサ機能を使用して、glTFファイルを、JSONフォーマットを有する変換されたglTFファイルに変換すること（ブロック922）を含み得る。実施形態では、このCBORパーサ機能は、ブロック914で使用されるCBORパーサ機能とは異なってもよい。
実施形態では、JSONフォーマットを有する変換されたglTFファイルは、CBORフォーマットを有するglTFファイルよりも大きくてもよい。
図9Cは、メディアのストレージおよび配信を管理するための例示的なプロセス900Cのフローチャートである。実施形態では、プロセス900Cの1つまたは複数のブロックが、プロセス900Aおよび／またはプロセス900Bの1つまたは複数のブロックと組み合わされて行われてもよい。例えば、プロセス900Cの1つまたは複数のブロックが、プロセス900Aの1つまたは複数のブロックの後に行われてもよいし、プロセス900Bの1つまたは複数のブロックの後に行われてもよい。
図9Cに示されるように、プロセス900Cは、MAFによって実装されたJSONパーサ機能を使用して、変換されたglTFファイルを、CBORフォーマットを有する再変換されたglTFに再変換すること（ブロック931）を含み得る。
図9Cにさらに示されるように、プロセス900Cは、ローカルストレージまたはキャッシュの少なくとも一方に、再変換されたglTFファイルを記憶すること（ブロック932）を含み得る。
図9A～図9Cは、プロセス900A、900B、および900Cの例示的なブロックを示しているが、いくつかの実装形態では、プロセス900A、900B、および900Cのブロックは、図9A～図9Cに示されたものよりもさらなるブロック、少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。追加または代替として、プロセス900A、900B、および900Cのプロセスのブロックのうちの2つ以上が並列に行われてもよい。実施形態では、プロセス900A、900B、および900Cの任意の1つまたは複数のブロックが、任意の順序でプロセス900A、900B、および900Cの任意の他の1つまたは複数のブロックと組み合わされてもよく、プロセス900A、900B、および900Cの任意のブロックの任意の1つまたは複数が、必要に応じて分割または組み合わされてもよい。
さらに、提案された方法は、処理回路（例えば、1つまたは複数のプロセッサまたは1つまたは複数の集積回路）によって実装されてもよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されているプログラムを実行して、提案された方法の1つまたは複数を行う。
前述の開示は例示および説明を提供しているが、網羅的なものではなく、開示されたまさにその形態に実装形態を限定するものではない。修正形態および変形形態は、上記の開示に照らして実現可能であり、または実装形態の実践から取得されてもよい。
本明細書に記載されたシステムおよび／または方法は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組合せの異なる形態で実装されてもよいことは明らかであろう。これらのシステムおよび／または方法を実装するために使用される実際の専用の制御ハードウェアまたはソフトウェアコードは、実施態様を限定するものではない。したがって、ソフトウェアおよびハードウェアは、本明細書の説明に基づいてシステムおよび／または方法を実装するように設計され得ることを理解されたい。
特徴の特定の組合せが、特許請求の範囲に記載され、および／または本明細書に開示されていても、これらの組合せは、可能な実施態様の開示を限定することを意図されていない。実際、これらの特徴の多くは、特許請求の範囲に具体的に記載されていない、および／または本明細書に開示されていない方法で組み合わされ得る。以下に列挙される各従属請求項は1つの請求項のみに直接従属してもよいが、可能な実装形態の開示は、各従属請求項を請求項セット内のあらゆる他の請求項と組み合わせて含む。
本明細書で使用される要素、動作、または命令は、不可欠なまたは必須のものとして明示的に記載されていない限り、不可欠なまたは必須のものとして解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」および「an」は、1つ以上のものを含むことを意図されており、「1つ以上」と交換可能に使用され得る。さらに、本明細書で使用される「セット」という用語は、1つまたは複数の項目（例えば、関連項目、非関連項目、関連項目と非関連項目との組合せなど）を含むものであり、「1つまたは複数」と同じ意味で使用され得る。1つの項目のみが対象とされる場合、「1つ」という用語または同様の言葉が使用される。また、本明細書で使用される「有する（has）」、「有する（have）」、「有する（having）」などの用語は、オープンエンド用語であることが意図される。さらに、「に基づいて」という語句は、特に明記されない限り、「に少なくとも部分的に基づいて」を意味するものである。
100 環境
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124－1 アプリケーション
124－2 仮想マシン
124－3 仮想化ストレージ
124－4 ハイパーバイザ
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 ストレージコンポーネント
250 入力コンポーネント
260 出力コンポーネント
270 通信インターフェース
301 シーンオブジェクト、要素
302 ノード、要素
303 カメラ、要素
304 メッシュ、要素
305 照明、要素
306 アニメーション、要素
307 アクセサ、要素
308 マテリアル、要素
309 スキン、要素
310 バッファビュー、要素
311 技法、要素
312 オブジェクトテクスチャ、要素
313 バッファ、要素
314 プログラム、要素
315 画像、要素
316 サンプラ、要素
317 シェーダ、要素
330 MPEG＿media、要素
331 MPEG＿scene＿dynamic、要素
332 MPEG＿animation＿timing、要素
333 MPEG＿texture＿video、要素
334 MPEG＿audio＿spatial、要素
335 MPEG＿accessor＿timed、要素
336 MPEG＿buffer＿circular、要素
400 リファレンスメディアシーン記述アーキテクチャ
401 メディアクラウド
402 メディア検索エンジンおよびメディアアクセス機能（MAF）
403 ビデオデコーダ
404 オーディオデコーダ
405 他のデータ圧縮器
406 ビデオバッファ
407 オーディオバッファ
408 他のバッファ
409 プレゼンテーションエンジン
410 ローカルストレージ、キャッシュ
501 単一ノード
502 名称
503 シーン
504 シーン名
506 単一シーン
601 構文
602 構文
603 構文
604 構文
711 文字
712 文字
713 文字
721 0x61
722 0x62
723 0x63
801 application／cbor
802 CBORバイナリデータブロブ
900A プロセス
900B プロセス
900C プロセス

Claims (15)

  1. メディアのストレージおよび配信を管理する方法であって、前記方法は、少なくとも1つのプロセッサによって実装され、
    メディアアクセス機能（MAF）によって、シーンに対応するグラフィックス・ランゲージ・トランスミッション・フォーマット（glTF）ファイルを取得するステップと、
    前記glTFファイルから、バイナリデータブロブを示すユニフォームリソースロケータ（URL）パラメータを取得するステップと、
    前記バイナリデータブロブがコンサイスバイナリオブジェクト表現（CBOR）フォーマットを有すると決定するステップと、
    前記MAFによって実装されるCBORパーサ機能を使用して、前記バイナリデータブロブを、JavaScriptオブジェクトノーテーション（JSON）フォーマットを有するオブジェクトに変換するステップと、
    前記オブジェクトに基づいて前記シーンに対応するメディアコンテンツを取得するステップと
    を含む、方法。
  2. 前記JSONフォーマットを有する前記オブジェクトは、前記CBORフォーマットを有する前記バイナリデータブロブよりも大きい、請求項1に記載の方法。
  3. 前記バイナリデータブロブは、前記glTFファイルでシグナリングされる多目的インターネットメール拡張（MIME）タイプに基づいて前記CBORフォーマットを有すると決定される、請求項1に記載の方法。
  4. 前記バイナリデータブロブは、前記バイナリデータブロブの先頭に含まれるプレフィックスに基づいて前記CBORフォーマットを有すると決定される、請求項1に記載の方法。
  5. 前記バイナリデータブロブは、前記glTFファイルでシグナリングされる多目的インターネットメール拡張（MIME）タイプおよび前記バイナリデータブロブの先頭に含まれるプレフィックスに基づいて前記CBORフォーマットを有すると決定される、請求項1に記載の方法。
  6. 前記MAFは、ムービングピクチャエクスパーツグループ（MPEG）シーン記述アーキテクチャに含まれる、請求項1に記載の方法。
  7. 前記CBORパーサ機能は、前記MAFに関連付けられたアプリケーションプログラミングインターフェースを使用して実装される、請求項1に記載の方法。
  8. メディアのストレージおよび配信を管理するためのデバイスであって、前記デバイスが、
    プログラムコードを記憶するように構成された少なくとも1つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードによって命令されると動作するように構成された少なくとも1つのプロセッサであって、前記プログラムコードは、
    前記少なくとも1つのプロセッサに、メディアアクセス機能（MAF）によって、シーンに対応するグラフィックス・ランゲージ・トランスミッション・フォーマット（glTF）ファイルを取得させるように構成された第1の取得コードと、
    前記少なくとも1つのプロセッサに、前記glTFファイルから、バイナリデータブロブを示すユニフォームリソースロケータ（URL）パラメータを取得させるように構成された第2の取得コードと、
    前記少なくとも1つのプロセッサに、前記バイナリデータブロブはコンサイスバイナリオブジェクト表現（CBOR）フォーマットを有すると決定させるように構成された決定コードと、
    前記少なくとも1つのプロセッサに、前記MAFによって実装されるCBORパーサ機能を使用して、前記バイナリデータブロブを、JavaScriptオブジェクトノーテーション（JSON）フォーマットを有するオブジェクトに変換させるように構成された変換コードと、
    前記少なくとも1つのプロセッサに、前記オブジェクトに基づいて前記シーンに対応するメディアコンテンツを取得させるように構成された第3の取得コードと
    を含む、少なくとも1つのプロセッサと
    を備える、デバイス。
  9. 前記JSONフォーマットを有する前記オブジェクトは、前記CBORフォーマットを有する前記バイナリデータブロブよりも大きい、請求項8に記載のデバイス。
  10. 前記バイナリデータブロブは、前記glTFファイルでシグナリングされる多目的インターネットメール拡張（MIME）タイプに基づいて前記CBORフォーマットを有すると決定される、請求項8に記載のデバイス。
  11. 前記バイナリデータブロブは、前記バイナリデータブロブの先頭に含まれるプレフィックスに基づいて前記CBORフォーマットを有すると決定される、請求項8に記載のデバイス。
  12. 前記バイナリデータブロブは、前記glTFファイルでシグナリングされる多目的インターネットメール拡張（MIME）タイプおよび前記バイナリデータブロブの先頭に含まれるプレフィックスに基づいて前記CBORフォーマットを有すると決定される、請求項8に記載のデバイス。
  13. 前記MAFは、ムービングピクチャエクスパーツグループ（MPEG）シーン記述アーキテクチャに含まれる、請求項8に記載のデバイス。
  14. 前記CBORパーサ機能は、前記MAFに関連付けられたアプリケーションプログラミングインターフェースを使用して実装される、請求項8に記載のデバイス。
  15. メディアのストレージおよび配信を管理するためのデバイスの少なくとも1つのプロセッサに、請求項１から７のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
JP2022558542A 2021-01-06 2021-10-13 メディアシーン記述のための方法および装置 Active JP7399548B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163134569P 2021-01-06 2021-01-06
US63/134,569 2021-01-06
US17/499,380 US11797476B2 (en) 2021-01-14 2021-10-12 Method and apparatus for media scene description
US17/499,380 2021-10-12
PCT/US2021/054746 WO2022150080A1 (en) 2021-01-06 2021-10-13 Method and apparatus for media scene description

Publications (2)

Publication Number Publication Date
JP2023519378A JP2023519378A (ja) 2023-05-10
JP7399548B2 true JP7399548B2 (ja) 2023-12-18

Family

ID=82358290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022558542A Active JP7399548B2 (ja) 2021-01-06 2021-10-13 メディアシーン記述のための方法および装置

Country Status (5)

Country Link
EP (1) EP4088193A4 (ja)
JP (1) JP7399548B2 (ja)
KR (1) KR20220131342A (ja)
CN (1) CN115280296A (ja)
WO (1) WO2022150080A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797475B2 (en) 2021-01-14 2023-10-24 Tencent America LLC Method and apparatus for media scene description
CN117689789A (zh) * 2023-12-28 2024-03-12 湖南芒果融创科技有限公司 一种实时渲染3d资产文件编解码方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018525722A (ja) 2015-07-02 2018-09-06 コンヴィーダ ワイヤレス， エルエルシー リソース駆動動的承認フレームワーク
JP2019152902A (ja) 2018-02-28 2019-09-12 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
US20200066022A1 (en) 2018-08-27 2020-02-27 Microsoft Technology Licensing, Llc Playback for embedded and preset 3d animations
JP6746024B1 (ja) 2020-03-31 2020-08-26 株式会社ドワンゴ ３ｄモデルデータの管理システム、モデル配信サーバ、３ｄサービスサーバ、３ｄモデルデータの管理方法、モデル配信サーバのプログラム、および３ｄサービスサーバのプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8400497B2 (en) * 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
KR20210093896A (ko) * 2018-10-16 2021-07-28 엘루비오, 아이엔씨. 탈중앙화 콘텐츠 패브릭
US10636209B1 (en) * 2019-09-13 2020-04-28 Bongfish GmbH Reality-based three-dimensional infrastructure reconstruction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018525722A (ja) 2015-07-02 2018-09-06 コンヴィーダ ワイヤレス， エルエルシー リソース駆動動的承認フレームワーク
JP2019152902A (ja) 2018-02-28 2019-09-12 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
US20200066022A1 (en) 2018-08-27 2020-02-27 Microsoft Technology Licensing, Llc Playback for embedded and preset 3d animations
JP6746024B1 (ja) 2020-03-31 2020-08-26 株式会社ドワンゴ ３ｄモデルデータの管理システム、モデル配信サーバ、３ｄサービスサーバ、３ｄモデルデータの管理方法、モデル配信サーバのプログラム、および３ｄサービスサーバのプログラム

Also Published As

Publication number Publication date
CN115280296A (zh) 2022-11-01
EP4088193A1 (en) 2022-11-16
WO2022150080A1 (en) 2022-07-14
JP2023519378A (ja) 2023-05-10
KR20220131342A (ko) 2022-09-27
EP4088193A4 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
JP7399548B2 (ja) メディアシーン記述のための方法および装置
CN110515657B (zh) 用于图形处理的间接命令缓冲区
US20220004405A1 (en) 3D API Redirection for Virtual Desktop Infrastructure
US9286228B2 (en) Facilitating caching in an image-processing system
US9881389B1 (en) Data compression for visual elements
US20240007708A1 (en) Method and apparatus for media scene description
US20230418783A1 (en) Method and apparatus for media scene description
EP2779104A2 (en) Preserving and reusing intermediate data
JP2022525215A (ja) タスクおよびワークフローのステートレス並列処理のための方法、装置およびコンピュータプログラム
US11327993B2 (en) Systems and methods for managing and delivering digital content
US20220414984A1 (en) Volumetric data processing using a flat file format
JP7274581B2 (ja) ツリーベースのポイントクラウド圧縮メディアストリームのための方法、装置、およびプログラム
JP2023525655A (ja) イベントメッセージトラックにおけるイベント間の拡張された関係シグナリング

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231130

R150 Certificate of patent or registration of utility model

Ref document number: 7399548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150