JP2023510822A - 点群データのカプセル化方法及び伝送方法 - Google Patents

点群データのカプセル化方法及び伝送方法 Download PDF

Info

Publication number
JP2023510822A
JP2023510822A JP2022542466A JP2022542466A JP2023510822A JP 2023510822 A JP2023510822 A JP 2023510822A JP 2022542466 A JP2022542466 A JP 2022542466A JP 2022542466 A JP2022542466 A JP 2022542466A JP 2023510822 A JP2023510822 A JP 2023510822A
Authority
JP
Japan
Prior art keywords
media
point cloud
list
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022542466A
Other languages
English (en)
Inventor
徐▲異▼凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Publication of JP2023510822A publication Critical patent/JP2023510822A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Figure 2023510822000001
本発明は、点群データのカプセル化方法及び伝送方法を提供し、点群メディアファイルを圧縮し、圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットし、前記分類記録は点群メディアファイルにおける各部分のデータタイプを表すために用いられる。本発明は、点群データの伝送にあるメディアコンテンツの伝送効率の低さ、格納スペースが無駄になるという問題を改善し、メディアコンテンツの組み合わせの柔軟性を高め、マルチメディアサービスに対する管理及びコントロールを強化し、ユーザーにより多くのメディアコンテンツを独立で選択し取得する権利を与え、多様なアプリケーションシーンを提供し、ネットワーク事業者により良いマルチメディアコンテンツの提供及び伝送スキームを提供することもできる。
【選択図】図１

Description

本発明は、マルチメディア伝送技術分野に関し、具体的には、点群データのカプセル化方法及び伝送方法に関する。
近年、メディア伝送技術は急速に発展と改善をしており、画像及びビデオ情報の伝送コストが低下しつつ精度が向上し、関連アプリケーション分野の成熟が更に促進されている。三次元点群データは、新しい画像メディアデータであり、より正確で生き生きとした画像情報をユーザーに提供し、迫真度がより高く、インタラクティブ性がより強い通信体験をもたらすことが可能である。
点群データは、三次元座標データ、深度情報、色情報などを含む、スキャンによって取得される物体の表面情報である。３Ｄスキャン技術の成熟とシステムアーキテクチャの改善により、点群データの精度を向上させながら点群のデータ量を大きく上昇させた。そのうち、静的、動的点群データ、並びに、機械感知、人間の目の感知などの異なるタイプの点群データについては、異なる点群データの圧縮アルゴリズムがある。例えば、人間の目の動的感知点群データについて、典型的な点群圧縮アルゴリズムは、３Ｄの点群データを２Ｄの画像データに変換してから、データ処理を行い、そのうちの１つがビデオに基づく点群圧縮（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＶＰＣＣ）アルゴリズムである。この圧縮方法で、まず３Ｄの点群を２Ｄの平面に投影し、占有図情報、幾何情報、属性情報及び補助情報を取得し、属性情報には、通常、テクスチャ情報及び色情報が含まれるため、圧縮された情報も、通常、４種類のデータに分けて伝送される。
これから分かるように、ＶＰＣＣデータを伝送する場合、処理すべく情報は主に幾何情報、属性情報、占有図情報及び補助情報の４種類のデータを含む。幾何情報の復号は占有図情報と補助情報に依存し、属性情報の復号は幾何情報、占有図情報及び補助情報に依存する。点群メディアデータは、従来のメディアデータに比べて複雑且つ多様であり、タイプが異なるデータを同時に処理し、整合してから、スペースとテクスチャの特性が豊富なメディアがユーザーに提示される必要がある。現在、既存のマルチメディア伝送プロトコルによって三次元点群データをカプセル化し伝送する研究には一定の進展があるが、ネットワーク伝送技術の発展に伴い、異種ネットワーク環境もますます複雑になっており、従来技術では、点群データの異種ネットワーク環境における伝送効果が悪い。
従来技術の欠点に対し、本発明の目的は、点群データのカプセル化方法及び伝送方法を提供することにある。
本発明に係る点群データのカプセル化方法は、
点群メディアファイルを圧縮することと、
圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットすることと、を含み、前記分類記録は点群メディアファイルにおける各部分のデータタイプを表すために用いられる。
好ましくは、前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグをセットし、前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが既に伝送完了されたか否かを指示するために用いられる。
好ましくは、前記分類記録はメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す分類リストであり、
前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
圧縮された点群メディアファイルをカプセル化してメディアリソースが１つ得られ、前記メディアリソースは複数のメディアセグメントを含むことと、
前記分類リストに基づいて、複数の前記メディアセグメントをメディアバージョン及びデータタイプと関連付けることと、を含む。
好ましくは、複数の前記メディアセグメントは異なるメディアセグメント番号を有し、前記分類リストは、タイプリスト、コンテンツリスト及びセグメント番号リストを含み、前記タイプリストは点群メディアファイルのデータタイプに対応し、前記コンテンツリストは複数のメディアバージョンの集まりであり、前記セグメント番号リストは全てのメディアセグメント番号の集まりであり、各データタイプは少なくとも１つのメディアバージョンに対応し、各メディアバージョンは少なくとも１つのメディアセグメント番号に対応する。
好ましくは、前記分類記録は、メディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す分類フラグであり、
前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
圧縮された点群メディアファイルをカプセル化してメディアリソースが１つ得られ、前記メディアリソースは複数のメディアセグメントを含むことと、
各メディアセグメントに前記分類フラグを１つ追加することと、を含む。
好ましくは、異なるメディアセグメントは同じメディアバージョン及び同じデータタイプを有する場合、追加される分類フラグは同じである。
好ましくは、前記分類フラグは２つのフラグビットを含み、１つのフラグビットはメディアセグメントのデータタイプを定義するために用いられ、もう１つのフラグビットはメディアセグメントのバージョンを定義するために用いられる。
好ましくは、前記分類記録はメディアリソースとデータタイプとの間の対応関係を表す分類リストであり、
前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
圧縮された点群メディアファイルをカプセル化して複数のメディアリソースを取得することと、
前記分類リストに基づいて、複数の前記メディアリソースをデータタイプと関連付けることと、を含む。
好ましくは、複数の前記メディアリソースは異なるメディアリソース番号を有し、前記分類リストは、メディアリソースリスト及びリソース番号リストを含み、前記メディアリソースリストは点群メディアファイルのデータタイプに対応し、前記リソース番号リストは全てのメディアリソース番号の集まりであり、各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ、各メディアリソースリストに対応するメディアリソース番号の数はメディアバージョンと一致する。
本発明に係る点群データの伝送方法は、
シグナリング情報に分類記録の関連コンテンツを追加し、前記分類記録はカプセル化する際の点群メディアファイルにおける各部分のデータタイプを表すために用いられることと、
シグナリング情報に基づいて前記分類記録を取得し、前記分類記録に基づいて現在の点群メディアファイルの更新する必要がある部分データを伝送することと、を含み、
現在の点群メディアファイルの更新する必要がある部分データを伝送する前に、現在の点群メディアファイルの全部のデータを伝送することをさらに含む。
好ましくは、前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグをセットし、前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが既に伝送完了されたか否かを指示するために用いられる。
好ましくは、圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットし、前記分類記録はメディアリソースとデータタイプとの間の対応関係を表す分類リストである。
好ましくは、前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
圧縮された点群メディアファイルを１セットのメディアリソースとしてカプセル化し、複数のメディアリソースを取得することと、
前記分類リストに基づいて、複数の前記メディアリソースをデータタイプと関連付けることと、を含む。
好ましくは、複数の前記メディアリソースは異なるメディアリソース番号を有し、前記分類リストは、メディアリソースリスト及びリソース番号リストを含み、前記メディアリソースリストは点群メディアファイルのデータタイプに対応し、前記リソース番号リストは全てのメディアリソース番号の集まりであり、各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ、各メディアリソースリストに対応するメディアリソース番号の数はメディアバージョンと一致する。
好ましくは、前記分類記録はメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す分類リストであり、
前記シグナリング情報に分類記録の関連コンテンツを追加するステップは、
前記分類リストをＤＴＧ情報ファイルとして定義し、前記ＤＴＧ情報ファイルをシグナリング情報に書き込む、ことを含む。
好ましくは、前記ＤＴＧ情報ファイルをＭＰＩ ｔａｂｌｅに書き込むか、または、ＤＴＧ情報ファイルを記述するための記述的なｄｅｓｃｒｉｐｔｏｒを１つ追加するか、または、ＤＴＧ情報ファイルを記述するためのシグナリングテーブルを１つ追加する。
好ましくは、前記分類記録はメディアリソースとデータタイプとの間の対応関係を表す分類リストであり、
前記シグナリング情報に分類記録の関連コンテンツを追加するステップは、
前記分類リストをＡＣＲ情報ファイルとして定義し、前記ＡＣＲ情報ファイルをシグナリング情報に書き込む、ことを含む。
好ましくは、前記ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに書き込むか、または、ＡＣＲ情報ファイルを記述するための記述的なｄｅｓｃｒｉｐｔｏｒを１つ追加するか、または、ＤＴＧ情報ファイルを記述するためのシグナリングテーブルを１つ追加する。
好ましくは、前記分類記録はメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す分類フラグであり、
前記シグナリング情報に分類記録の関連コンテンツを追加するステップは、
予約済みフィールドを用いて、各メディアセグメントのために分類フラグを１つ定義する。
好ましくは、前記分類フラグは２つのフラグビットを含み、１つのフラグビットはメディアセグメントのデータタイプを定義するために用いられ、もう１つのフラグビットはメディアセグメントのバージョンを定義するために用いられ、且つ、メディアセグメントのバージョンが１である場合、メディアセグメントはメディアセグメントのデータタイプを定義するためのフラグビットのみを有する。
好ましくは、メディアセグメントのデータタイプを表すために、ＭＰＵ Ｂｏｘにおける予約済みフィールドの２ｂｉｔｓを用いて１つのフラグビットを定義し、メディアセグメントのバージョンを表すために、ＭＰＵ Ｂｏｘにおける予約済みフィールドの３ｂｉｔｓを用いてもう１つのフラグビットを定義する。
従来技術と比べ、本発明は、以下のような有益な効果を有する。
本発明は、従来の点群データ処理方法に基づいて、点群メディアファイルにデータタイプに従って分類記録をセットすることで、分類記録に応じて点群データの異なるデータの識別がしやすくなり、これにより、アプリケーションのニーズに応じて点群データの部分データを柔軟に送信しやすくし、全部の点群データを送信する必要がなく、アプリケーションのニーズを満たしつつ帯域幅を節約し、より柔軟且つ効率的に点群データを伝送しやすくし、点群データの異種ネットワークでの柔軟な伝送も可能にした。そのため、本発明は、点群データの伝送に存在するメディアコンテンツの伝送効率の低さ、格納スペースが無駄になるという問題を改善し、メディアコンテンツの組み合わせの柔軟性を高め、マルチメディアサービスに対する管理及びコントロールを強化し、ユーザーにより多くのメディアコンテンツを独立で選択し取得する権利を与え、多様なアプリケーションシーンを提供し、ネットワーク事業者にもより良いマルチメディアコンテンツの提供及び伝送スキームを提供することができる。
本発明の他の特徴、目的及び利点は、下記の図を参照して非限定的な実施形態の詳細な説明を読むことによってより明らかになる。
本発明の実施形態に係る点群データをカプセル化するフローチャートである。 本発明の実施例１に係る点群データをカプセル化するフローチャートである。 本発明の実施例１に係るＤＴＧ情報ファイルの定義コンテンツである。 本発明の実施例２に係る点群データをカプセル化するフローチャートである。 本発明の実施例２に係るメディアセグメントにフラグビットを追加する模式図である。 本発明の実施例３に係る点群データをカプセル化するフローチャートである。 本発明の実施例３に係るＡＣＲ情報ファイルの定義コンテンツである。
下記、本発明について、具体的な実施形態を参照して詳細に説明する。下記の実施例は、当業者が本発明を更に理解するのに役立つが、いかなる形でも本発明を限定するものではない。当業者にとって、本発明の主旨から逸脱することなく、いくつかの変更および改善を行うことが可能であることに留意されたい。これらは何れも本発明の保護の範囲内に属する。
本願の発明者は、点群メディアコンテンツは、提示される中でユーザーとのインタラクションが存在する可能性があるため、点群のいくつかの情報を変更する必要がある、ことを発見した。例えば、点群メディアに基づくキャラクター衣装替えの操作では、通常、点群のテクスチャと色などの属性情報を変更することが要求される。この時、従来の技術では、通常、クライエントに全部の点群データを送信し、このようにすると、帯域幅が増えるだけでなく、伝送効率も低くなり、ユーザーエクスペリエンスにも影響する。
上記の問題について、本発明は、点群データのカプセル化方法を提出し、図１に示すように、下記のステップを含む。
ステップＳ０１：点群メディアファイルを圧縮する。
ステップＳ０２：圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットする。ここで、分類記録は点群メディアファイルにおける各部分のデータタイプを表すために用いられる。
本発明は、分類記録を設けることにより、後で点群コンテンツを提示する際に、分類記録に応じて点群データの異なるデータに対して識別することを容易にし、これにより点群データの適応的な伝送と提示を可能にする。
同時に、本発明は、本発明の点群データのカプセル化方法に基づいて、点群データの伝送方法を更に提出し、下記のステップを含む。
シグナリング情報に前述した分類記録の関連コンテンツを追加する。
シグナリング情報に基づいて分類記録を取得し、分類記録に基づいて現在の点群メディアファイルの更新する必要がある部分データを伝送する。ここで、現在の点群メディアファイルの更新する必要がある部分データを伝送する前に、現在の点群メディアファイルの全部のデータを伝送することをさらに含む。
上記カプセル化方法及び伝送方法に基づいて、最初に点群コンテンツが提示される際に、当該点群コンテンツを提示するために、完全な点群データを取得する必要があり、点群コンテンツを提示した後、衣装替えなどの操作を行うだけで、分類記録に応じて、現在の点群メディアファイルの更新する必要があるデータを選択的に伝送することができ、全部の情報を伝送する必要がない。
本発明の上記目的、特徴及び利点をより明確に理解しやすくするために、本発明の具体的な実施形態について、図を参照して下記に詳細に説明する。
実施例１
本実施例では、分類リストによって分類記録を作成する。当該分類リストは、点群メディアファイルにおけるメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す。より具体的には、圧縮された点群メディアファイルを１つのメディアリソース（ａｓｓｅｔ）としてカプセル化し、分割して図３に示す１６のメディアセグメントのような複数のメディアセグメント（ＭＰＵ）を取得することができる。各メディアセグメントは何れもメディアセグメント番号を１つ有し、例えば１から１６の番号で順番に番号を付ける。各メディアセグメント番号は同じではなく、即ちメディアセグメント番号によりメディアセグメントを表すことがわかる。
図２は、本実施形態に係る点群データをカプセル化するフローチャートである。図２に示すように、圧縮された点群メディアファイルを取得した後、下記のステップを更に含む。
ステップＳ１１：圧縮された点群メディアファイルを１つのメディアリソースとしてカプセル化し、複数のメディアセグメントを取得する。
ステップＳ１２：分類リストに基づいて、複数のメディアセグメントをバージョン及びデータタイプと関連付ける。「関連付け」とは、データタイプとメディアバージョン及びメディアセグメント番号との間の対応関係を築くことであり、以下で現れる関連付けも同じ定義となる。
図３は、本実施形態に係る分類リストの定義コンテンツである。図３に示すように、分類リストはタイプリスト、コンテンツリスト及びセグメント番号リストを含む。タイプリストは点群メディアファイルのデータタイプに対応する。コンテンツリストは複数のメディアバージョンの集まりである。セグメント番号リストは全てのメディアセグメント番号の集まりである。さらに、各データタイプは少なくとも１つのメディアバージョンに対応し、各メディアバージョンは少なくとも１つのメディアセグメント番号に対応する。本実施例では、タイプリストの数は点群メディアファイルのデータタイプと対応し、１つのメディアバージョンが１つのアプリケーションシーンである。
図３を継続して参照し、ビデオに基づく点群圧縮アルゴリズム（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＶＰＣＣ）を例として、１つの点群メディアファイルが処理された後に４種類のデータが得られ、それぞれ占有図情報、幾何情報、属性情報及び補助情報である。この時、カプセル化する場合、メディアリソースを分割して複数のメディアセグメントが得られ、これらのメディアセグメントも同じく４種類のデータを含み、即ち占有図、幾何、属性及び補助情報である。１つのメディアリソースが分割されて１６のメディアセグメントが得られ、番号が順番で１から１６であると仮定すると、１つの点群メディアファイルの各部分のデータタイプは何れもメディアセグメントの集まりである。
１つの例示的な実施例において、前述した４種類のデータは、それぞれタイプリスト１、２、３、および４によって表される。ここで、タイプリスト１は占有図情報を表し、タイプリスト２は幾何情報を表し、タイプリスト３は属性情報を表し、タイプリスト４は補助情報を表す。占有図情報は２つのバージョンを含み、それぞれコンテンツリスト１とコンテンツリスト２であり、且つコンテンツリスト１はメディアセグメント番号が１、２であるメディアセグメントからなり、コンテンツリスト２はメディアセグメント番号が３、４、５であるメディアセグメントからなると更に仮定し、よって、占有図情報がメディアセグメント番号は１、２、３、４、５であるメディアセグメントからなる。幾何情報は１つのバージョンのみを含み、即ちコンテンツリスト３であり、且つ当該コンテンツリスト３はメディアセグメント番号が６、７であるメディアセグメントからなると仮定すると、幾何情報はメディアセグメント番号が６、７であるメディアセグメントからなる。属性情報は２つのバージョンを含み、それぞれコンテンツリスト４とコンテンツリスト５であり、ここでコンテンツリスト４はメディアセグメント番号が８、９、１０であるメディアセグメントからなり、コンテンツリスト５はメディアセグメント番号が１１、１２のメディアセグメントからなると更に仮定し、即ち、属性情報はセグメント番号が８、９、１０、１１、１２であるメディアセグメントからなる。また、補助情報は２つのバージョンを含み、それぞれコンテンツリスト６とコンテンツリスト７であり、コンテンツリスト６はメディアセグメント番号が１３、１４であるメディアセグメントからなり、コンテンツリスト７はメディアセグメント番号が１５、１６であるメディアセグメントからなると仮定し、即ち、補助情報はメディアセグメント番号が１３、１４、１５、１６であるメディアセグメントからなる。１つの点群コンテンツを最初に提示する際に、４つのタイプリストを選択し、さらに各タイプリストからコンテンツリストを１つ選択する必要があり、コンテンツリストが対応するメディアセグメントによって１つの点群コンテンツを完全に提示する。点群コンテンツを最初に提示した後、キャラクターなどの衣装替えの操作を行う必要がある場合に、分類リストに応じて、あるデータタイプに対応するメディアセグメントを選択的に伝送することができ、全部のメディアセグメントを伝送する必要がない。
なお、本実施例では、ＶＰＣＣの点群圧縮アルゴリズムにより説明したが、本発明は点群圧縮アルゴリズムに制限されるものではなく、本発明は点群データのカプセル化方法も限定しない。そのため、点群メディアファイルのデータタイプは、ここで挙げられた４種類を含むがそれに限定されるものではなく、他の圧縮アルゴリズムを利用しても、他の数及び／またはタイプのデータを更に得ることが可能である。
更に、点群コンテンツを伝送及び提示できるように、分類リストをＤＴＧ（Ｄａｔａ Ｔｙｐｅ Ｇｒｏｕｐ）情報ファイルとして定義し、ＤＴＧ情報ファイルをシグナリング情報に書き込んで伝送する。ＤＴＧ情報ファイルが定義するコンテンツは前述したタイプリストが定義するコンテンツであり、それによりＤＴＧ情報ファイルによって点群メディアファイルとメディアセグメント番号、コンテンツリスト及びタイプリストとの間の対応関係を記述する、ことが理解されるべきである。このようにすることで、受信側はＤＴＧ情報ファイルを読み取るだけで点群メディアファイルのデータ分類状況を取得することができ、これによりユーザーのニーズに応じて現在の点群メディアファイルの更新する必要があるデータを選択的に送信することができる。
次に、上記の実例をもとに、本実施例に係るＤＴＧ情報ファイルの伝送方式と、如何に点群メディアファイルに基づいてキャラクター衣装替えの操作を行うかを詳しく説明する。
点群コンテンツ（即ち点群メディアファイル）は、占有図情報、幾何情報、属性情報及び補助情報を含むと仮定する。占有図、幾何、属性及び補助情報が何れも１つのバージョンだけを有する場合、この時、タイプリストとコンテンツリストの数は同じである。しかしながら、他の状況で、占有図、幾何、属性及び補助情報が何れも１つのバージョンだけを有する場合、コンテンツリストを設けなくてもよいが、このようにすると複雑さが増す。占有図、幾何、属性、補助情報が何れも複数のバージョンを有する場合、この時、コンテンツリストを設ける必要がある。
例を挙げで説明すると、点群の占有図、幾何、属性及び補助情報を伝送する必要があれば、まず対応するタイプリストを見つける必要がある。図３を例として、タイプリスト１乃至４がそれぞれ占有図、幾何、属性及び補助情報に対応し、占有図情報がバージョンを２つ含むと仮定すると、タイプリスト１では対応して２つのコンテンツリストがあり、ユーザーがコンテンツリストを１つ選択すると、当該コンテンツリストで記載されているメディアセグメント番号に応じて、対応するメディアセグメントを取得し、点群コンテンツの提示に用いられることができる。
したがって、ＤＴＧ情報ファイルには、点群コンテンツとメディアセグメント番号との対応関係の情報が含まれており、複数の方法でこれらの情報を伝送することができ、例えば、新しいシグナリングユニット、シグナリングファイル、シグナリングメッセージの定義や新しい記述（ｄｅｓｃｒｉｐｔｏｒ）の追加、又は伝送パケットのヘッダー情報の追加などである。実現方法に応じて、異なる方式でＤＴＧ情報ファイルが記述する情報を伝送し利用することができる。
本実施例では、ＤＴＧ情報ファイルの伝送方式について、実例として、３つの伝送方式を提出したが、ＤＴＧ情報ファイルをシグナリング情報に追加する方法は下記の複数の方式を含むが、これらに限定されるものではない。
方式１：シグナリング情報に、ＤＴＧ情報を記述するＤＴＧ情報ファイルを１つ追加する。
方式１では、テーブル１に示すように、ＤＴＧ情報ファイルをＭＰＩ ｔａｂｌｅに書き込み、シグナリングメッセージの一部として転送する。
Figure 2023510822000002
ＤＴＧ情報ファイルをＭＰＩ ｔａｂｌｅに追加し、変更する必要がある部分はＰＩ＿ｃｏｎｔｅｎｔの記述の部分にあり、ＰＩ＿ｃｏｎｔｅｎｔ＿ｃｏｕｎｔの値が１増加する。ここで、ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅフィールドは、ＤＴＧ情報ファイルのタイプを記述し、実際の状況に応じてＤＴＧ情報の記述に適したファイル形式を選択することは可能である。ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅ＿ｌｅｎｇｔｈ値はファイルタイプの長さ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅ＿ｌｅｎｇｔｈ＿ｂｙｔｅ値はＤＴＧ情報ファイルのタイプ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｎａｍｅ＿ｌｅｎｇｔｈ値はＤＴＧ情報ファイル名の長さ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｎａｍｅ＿ｂｙｔｅ値はＤＴＧ情報ファイル名の値である。ＰＩ＿ｃｏｎｔｅｎｔ＿ｄｅｓｃｒｉｐｔｏｒｅｓ＿ｌｅｎｇｔｈとＰＩ＿ｃｏｎｔｅｎｔ＿ｄｅｓｃｒｉｐｔｏｒｓ＿ｂｙｔｅは、それぞれＤＴＧ情報ファイルの記述情報の長さ及びコンテンツであり、現在は空であってもよく、将来の拡張のために残す。ＰＩ＿ｃｏｎｔｅｎｔ＿ｌｅｎｇｔｈとＰＩ＿ｃｏｎｔｅｎｔ＿ｂｙｔｅは、それぞれＤＴＧ情報ファイルの長さとコンテンツである。
上記の説明に従って、ＤＴＧ情報ファイルをＭＰＩ ｔａｂｌｅに書き込んでから、シグナリング情報によりＤＴＧ情報を出すことができる。
方式２：ＤＴＧ情報を記述するｄｅｓｃｒｉｐｔｏｒを１つ追加する。
例えば、既存のＭＭＴプロトコルが定義するシグナリングメッセージでは、いくつかの記述的なｄｅｓｃｒｉｐｔｏｒを定義しており、ｄｅｓｃｒｉｐｔｏｒはＭＭＴにおけるシグナリング部分がいくつかのフィールド又は機能を定義するための記述的な情報である。例えば、ｄｅｐｅｎｄｅｎｃｙ ｄｅｓｃｒｉｐｔｏｒとＭＰＵ＿ｔｉｍｅｓｔａｍｐ＿ｄｅｓｃｒｉｐｔｏｒである。したがって、方式２では、ＤＴＧ情報を記述するｄｅｓｃｒｉｐｔｏｒを新たに１つ定義することができ、ｄｅｓｃｒｉｐｔｏｒでは、メディアセグメントのタイプ情報を記述することが可能である。ＭＰ ｔａｂｌｅにおいて、ａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒｓフィールドが存在し、必要に応じてａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒｓにテーブル２に示すようなＭＰＵｔｙｐｅ＿ｄｅｓｃｒｉｐｔｏｒを追加することで実現できる。
Figure 2023510822000003
ここで、ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇはｄｅｓｃｒｉｐｔｏｒのタイプを指示するために用いられ、ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈはｄｅｓｃｒｉｐｔｏｒの長さを指示するために用いられ、ｎｕｍ＿ｍｐｕはＭＰＵの数を指示するために用いられ、ｍｐｕ＿ｔｙｐｅ（）はＭＰＵのデータタイプを指示するために用いられる。
方式３：ＤＴＧ情報を記述するシグナリングテーブルを１つ追加する。
上記の方法に加えて、シグナリング情報にＤＴＧファイル情報を記述するために特別に使用されるシグナリングテーブルを新たに１つ追加することが可能である。ＤＴＧファイル情報を記述するテーブルを生成してから特定のヘッダー部を追加すれば、ＤＴＧ情報を記述するシグナリング情報を生成することができ、当該シグナリング情報とＰＡ ｍｅｓｓａｇｅ、ＭＰＩ ｍｅｓｓａｇｅ、ＭＰ ｍｅｓｓａｇｅ、ＣＲＩ ｍｅｓｓａｇｅなどと共に新しいシグナリング情報を構成して転送する。受信側は、シグナリングメッセージを受信してから解析すれば、コンテンツリスト情報が得られる。
１つの例示的な操作では、ユーザーは点群占有図情報を要求する場合、受信側はＤＴＧ情報ファイルを検査することにより、占有図情報に対応するコンテンツリスト１を見つけ出し、コンテンツリスト１に対応するメディアセグメント番号１、２を見つけ出し、この時、クライエント（点群メディアプレーヤ）は、これらのメディアセグメントを送信してローカルに格納し、ローカルデータベースを更新するように要求する。ユーザーは、続いて、点群の幾何情報を要求する場合、受信側はまたＤＴＧ情報ファイルを検査することにより、幾何情報に対応するコンテンツリスト３を見つけ出し、コンテンツリスト３が対応するメディアセグメント番号６、７を見つけ出し、この時、クライエントは、これらのメディアセグメントを送信してローカルに格納し、ローカルデータベースを更新するように要求する。ユーザーは、続いて、点群属性情報を要求する場合、受信側はＤＴＧ情報ファイルを検査することにより、属性情報に対応するコンテンツリスト４を見つけ出し、コンテンツリスト４が対応するメディアセグメント番号８、９、１０を見つけ出し、この時、クライエントは、これらのメディアセグメントを送信してローカルに格納し、ローカルデータベースを更新するように要求する。ユーザーは、続いて、点群の補助情報を要求する場合、受信側はＤＴＧ情報ファイルを検査することにより、補助情報に対応するコンテンツリスト６を見つけ出し、コンテンツリスト６に対応するメディアセグメント番号１３、１４を見つけ出し、この時、クライエントは、これらのメディアセグメントを送信してローカルに格納し、ローカルデータベースを更新するように要求する。ユーザーは、全部の情報を取得した後、４つのコンテンツリスト（コンテンツリスト１、３、４、６）における情報を統合し、１つの点群メディアを完全に提示することができる。その後、ユーザーが衣装を替える必要がある場合、まず衣装替えの必要があるデータのタイプに応じて対応するタイプリストを見つけ、続いてタイプリストからコンテンツリストを選択し、さらにコンテンツリストにおけるメディアセグメント番号に応じて必要となるメディアセグメントを抽出すればよい。
本実施例では、ＭＭＴ（マルチメディア伝送プロトコル）を例として提出された点群データの伝送方式を説明したが、本実施例の点群データは、ＤＡＳＨ伝送のように他のファイルを使用して伝送することもできる、ことを追加で説明する。
実施例２
本実施例では、分類フラグによって分類記録を形成し、当該分類フラグはメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す。
図４は、本実施形態に係る点群データのカプセル化のフローチャートである。図４に示すように、圧縮された点群メディアファイルを取得してから、下記のステップを更に含む。
ステップＳ２１：圧縮された点群メディアファイルを１つのメディアリソースとしてカプセル化し、分割し図５に示す１６のメディアセグメント（ＭＰＵ）など複数のメディアセグメント（ＭＰＵ）を取得することが可能である。
ステップＳ２２：カプセル化する際に、各メディアセグメントに分類フラグを１つ追加し、当該分類フラグによりメディアセグメントのデータタイプ及びバージョン情報を記録する。
異なるメディアセグメントは同じメディアバージョン及び同じデータタイプを有する場合、通常、追加される分類フラグは同じである。本実施例は、分類フラグの追加方式を限定せず、例えば、点群メディアファイルをカプセル化する際に、予約済みフィールドを利用してＭＰＵに分類フラグを追加することが可能であり、その後のユーザーは、分類フラグに応じてあるタイプの点群データを要求できればよい。
分類フラグは、下記で記述したｔｙｐｅ＿ｉｄ及びｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒのように、通常、２つのフラグビットを含む。ｔｙｐｅ＿ｉｄは、メディアセグメントのデータタイプを定義するために用いられ、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは、メディアセグメントのバージョンを定義するために用いられる。図５に示すものを例として、一行目の４つのＭＰＵのデータタイプは何れもｔｙｐｅ＿ｉｄ＝００として定義し、二行目の４つのＭＰＵのデータタイプはｔｙｐｅ＿ｉｄ＝０１として定義し、三行目の４つのデータタイプはｔｙｐｅ＿ｉｄ＝０２として定義し、最後の行の４つのＭＰＵのデータタイプはｔｙｐｅ＿ｉｄ＝０３として定義し、ｔｙｐｅ＿ｉｄの４つの値は占有図、幾何、属性及び補助情報の４種類のデータにそれぞれ対応する。本実施例は、ｔｙｐｅ＿ｉｄ及びｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒの追加の具体的方式を限定しない。
例示的な実施例では、ＭＰＵＢｏｘにおける予約済みフィールドを用いてｔｙｐｅ＿ｉｄ及びｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒを定義することができる。例えば、予約済みフィールドにおける２ｂｉｔをｔｙｐｅ＿ｉｄとして定義し、予約済みフィールドにおける３ｂｉｔをｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒとして定義し、残りの１ｂｉｔが引き続き予約済みフィールドとなる（将来必要に応じて、より多くの又はより少ない種類のｔｙｐｅ＿ｉｄを定義する必要がある場合、ｔｙｐｅ＿ｉｄのフィールドの長さを継続して増加又は減少することが可能である）。これにより、テーブル３に示すように、ｔｙｐｅ＿ｉｄを用いて、１つのメディアリソース（ａｓｓｅｔ＿ｉｄとして定義する）に属する全てのＭＰＵを異なるタイプに分けることが可能である。
Figure 2023510822000004
テーブル３に示すように、左側の欄は既存のＭＭＴ定義方式であり、右側の欄は本発明のＭＭＴ定義である。本発明では、ｔｙｐｅ＿ｉｄに２ｂｉｔを割り当て、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒに３ｂｉｔを割り当てる、ことがわかる。
例えば、キャラクターの衣装替えを行う場合、占有図情報、幾何情報及び補助情報は何れも１つのバージョンだけを有する可能性があるが、対応する属性情報は複数のバージョンを有する可能性があるため、各ｔｙｐｅ＿ｉｄにｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒを１つセットすることができ、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒの数がバージョンの数である。例えば、１つの点群キャラクターが３着の服装を有する場合、ｔｙｐｅ＿ｉｄは１０とし、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは０００、００１、０１０となることができ、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒが同じであるＭＰＵは同じ服装に対応する。
更に図５を参照して説明すると、ｔｙｐｅ＿ｉｄの値が０１である場合、対応するデータは２つのバージョンを有し、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは異なる値を２つ有し、例えば、０００と００１である。ｔｙｐｅ＿ｉｄの値が０３である場合、対応するデータは４つのバージョンを有し、ｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒは異なる値を４つ有し、例えば、０００、００１、００２、００３である。ｔｙｐｅ＿ｉｄ＝００となるＭＰＵは、データが１つのバージョンのみを有する場合、ＭＰＵのためにｔｙｐｅ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒを定義する必要がないことを理解すべきである。
実施例３
本実施例では、分類記録も分類リストであり、実施例１と異なる点は、当該分類リストは点群メディアファイルにおけるメディアリソースとデータタイプとの間の対応関係を表し、より具体的には、メディアリソース番号とメディアリソースリストとの間の対応関係を表す。
図６は、本実施形態に係る点群データのカプセル化のフローチャートである。図６に示すように、圧縮された点群メディアファイルを取得してから、下記のステップを更に含む。
ステップＳ３１：圧縮された点群メディアファイルを１セットのメディアリソース（ａｓｓｅｔ＿ｌｉｓｔ）としてカプセル化し、図７に示す１６のメディアリソースのような複数のメディアリソースを取得することが可能である。各メディアリソースはメディアリソース番号を何れも１つ有し、例えば１から１６の番号で順番に番号を付ける。各メディアリソース番号は同じではなく、即ちメディアリソース番号でメディアリソースを表す、ことがわかる。
ステップＳ３２：分類リストに基づいて、複数のメディアリソースをデータタイプと関連付ける。
図７に示すように、分類リストはメディアリソースリスト及びリソース番号リストを含む。メディアリソースリストは点群メディアファイルのデータタイプに対応する。リソース番号リストは全てのメディアリソース番号の集まりである。各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ、各メディアリソースリストに対応するメディアリソース番号の数はメディアバージョンと一致する。各メディアリソースは少なくとも１つのメディアセグメントを含み、当該メディアセグメントの時間期間は数秒であってもよい。
ある点群コンテンツは、１６のメディアリソースからなり、メディアリソース番号は順番で１から１６であると仮定する。メディアリソースリストは４つで、それぞれ占有図情報、幾何情報、属性情報及び補助情報に対応すると仮定する。図７に示すように、占有図情報はメディアリソースリスト１であり、５つのバージョンを対応して含み、メディアリソース番号が１乃至５であるメディアリソースに対応することができる。幾何情報はリソースカテゴリ２であり、２つのバージョンを対応して含み、それぞれメディアリソース番号が６、７であるメディアリソースに対応する。属性情報はメディアリソースリスト３であり、５つのバージョンを対応して含み、それぞれメディアリソース番号が８乃至１２であるメディアリソースに対応する。補助情報はメディアリソースリスト４であり、４つのバージョンを対応して含み、メディアリソース番号が１３乃至１６であるメディアリソースに対応する。メディアリソース番号はメディアリソース中のフラグフィールドである。当該点群コンテンツはメディアリソース番号がそれぞれ１乃至１６であるメディアリソースに対応し、異なる点群コンテンツは異なるメディアリソースの組み合わせに対応し、例えば、メディアリソース番号が１、６、８、１３である場合とメディアリソース番号が１、６、９、１３である場合の点群コンテンツは、同一点群キャラクターの異なる服装の時の姿に対応する可能性がある。前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグ（ｐｅｎｄｉｎｇ＿ｆｌａｇ）をセットし、前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが準備完了されたか否かを指示するために用いられる。各点群コンテンツの全てのデータタイプのメディアリソースが準備完了されている場合、ｐｅｎｄｉｎｇ＿ｆｌａｇの値は１とし、でなければその値は０とする。
例えば、メディアリソース番号が１、６、８、１３である場合の点群コンテンツとメディアリソース番号が１、６、９、１３である点群コンテンツを相次いで伝送し、前後２つの点群コンテンツでは１つのメディアリソースだけが違うため、後者の点群コンテンツはメディアリソース番号が９であるメディアリソースのみを伝送すればよい。前者の点群コンテンツが含むメディアリソース番号が１、６、８、１３であるメディアリソースが伝送完了された後、ｐｅｎｄｉｎｇ＿ｆｌａｇの値は１となる。前者の点群が伝送完了され、後者の点群コンテンツ（メディアリソース番号が９であるメディアリソースのみを伝送する必要がある）が伝送されている時、ｐｅｎｄｉｎｇ＿ｆｌａｇの値が０になる。後者の点群コンテンツ（メディアリソース番号が９であるメディアリソースのみを伝送する必要がある）が伝送完了されると、ｐｅｎｄｉｎｇ＿ｆｌａｇの値が１になる。
各点群コンテンツはいずれも待ちフラグ（ｐｅｎｄｉｎｇ＿ｆｌａｇ）を１つ対応しセットすることができ、待ちフラグは、当該点群コンテンツの全てのデータタイプのメディアリソースが準備完了されているか否かを指示するために用いられる。
更に、点群コンテンツを伝送及び提示できるように、本実施例では、分類リストをＡＣＲ（Ａｓｓｅｔ Ｃｏｎｔｅｎｔ Ｒｅｌａｔｉｏｎｓｈｉｐ）情報ファイルとして定義し、前記ＡＣＲ情報ファイルをシグナリング情報に書き込む。同様に、ＡＣＲ情報ファイルで定義されるコンテンツは、本実施例の分類テーブルに対応するコンテンツであり、点群メディアファイルのデータタイプとメディアリソース番号との間の対応関係を記述するために用いられる。１つの提示可能な点群コンテンツは１つのメディアリソースリストに対応し、メディアリソースリストはメディアリソース番号の集まりであり、メディアリソース番号はメディアリソースのフラグフィールドである。このようにすることで、ＡＣＲ情報ファイルを読み取るだけで点群メディアファイルの分類状況を取得することができ、これによりユーザーのニーズに応じて現在の点群メディアファイルの更新する必要があるデータを選択的に送信することを容易にする。
次に、上記の実例をもとに、本実施例に係るＡＣＲ情報ファイルの伝送方式と、如何に点群メディアに基づいてキャラクター衣装替えの操作を行うかを詳しく説明する。
１つの完全な点群コンテンツを構成するのは、占有図、幾何、属性、補助情報に対応するメディアリソースリストからメディアリソース番号を探してから、対応するメディアリソースを抽出する必要があると仮定する。占有図、幾何、属性、補助情報が対応するメディアリソースリストが、それぞれａｓｓｅｔ＿ｌｉｓｔ［０］、ａｓｓｅｔ＿ｌｉｓｔ［１］、ａｓｓｅｔ＿ｌｉｓｔ［２］、ａｓｓｅｔ＿ｌｉｓｔ［３］であると仮定し、それらからメディアリソース番号を１つずつ取得し、メディアリソースはメディアリソース番号によって区別され、その設定ルールはテーブル４に示すとおりである。
Figure 2023510822000005
ここで、メディアリソース番号（ａｓｓｅｔ＿ｉｄ）が０、１であるメディアリソースは、それぞれ点群の占有図及び幾何情報に対応し、メディアリソース番号が２、３及び４、５であるメディアリソースは２セットの属性と補助情報である。そのため、メディアリソース番号が０、１、２、３及び０、１、４、５であるメディアリソースは、それぞれ異なる点群コンテンツを構成することが可能であり、これは同一キャラクターの異なる服装である。
ＡＣＲ情報ファイルは、点群の異なるデータタイプの重要な情報を含み、異なる方法でこれらの重要な情報を伝送することが可能であり、例えば、新しいシグナリングユニット、シグナリングファイル、シグナリングメッセージの定義や新しいｄｅｓｃｒｉｐｔｏｒの追加、又は伝送パケットのヘッダー情報の追加などである。実現の方法の違いに応じて、異なる方式でＡＣＲ情報ファイルが記述する情報を伝送し利用することができる。
本実施例では、ＡＣＲ情報ファイルの伝送方式について、実例として、２つの方式を提出したが、ＡＣＲ情報ファイルをシグナリング情報に追加する方法は下記の複数の方式を含むが、これらに限定されない。
方式１：シグナリング情報に、ＡＣＲ情報を記述するＡＣＲファイルを１つ追加する。
方式１では、テーブル５に示すように、ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに入れて、シグナリングメッセージの一部として転送する。
Figure 2023510822000006
より具体的には、ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに追加し、変更が必要な部分はＰＩ＿ｃｏｎｔｅｎｔの記述の部分にあり、ＰＩ＿ｃｏｎｔｅｎｔ＿ｃｏｕｎｔの値が１増加する。ここで、ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅフィールドは、ＡＣＲ情報ファイルのタイプを記述し、実際の状況に応じてＡＣＲ情報の記述に適したファイル形式を選択することは可能である。ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅ＿ｌｅｎｇｔｈ値はファイルタイプの長さ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｔｙｐｅ＿ｌｅｎｇｔｈ＿ｂｙｔｅ値はＡＣＲ情報ファイルのタイプ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｎａｍｅ＿ｌｅｎｇｔｈ値はＡＣＲ情報ファイルｎａｍｅの長さ、ＰＩ＿ｃｏｎｔｅｎｔ＿ｎａｍｅ＿ｂｙｔｅ値はＡＣＲ情報ファイルｎａｍｅの値である。ＰＩ＿ｃｏｎｔｅｎｔ＿ｄｅｓｃｒｉｐｔｏｒｅｓ＿ｌｅｎｇｔｈとＰＩ＿ｃｏｎｔｅｎｔ＿ｄｅｓｃｒｉｐｔｏｒｓ＿ｂｙｔｅは、それぞれＡＣＲ情報ファイルの記述情報の長さ及びコンテンツであり、現在は空であってもよく、将来の拡張のために残す。ＰＩ＿ｃｏｎｔｅｎｔ＿ｌｅｎｇｔｈとＰＩ＿ｃｏｎｔｅｎｔ＿ｂｙｔｅは、それぞれＡＣＲ情報ファイルの長さとコンテンツである。
上記の説明に従って、ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに書き込んだ後、シグナリング情報によりＡＣＲ情報を転送することができる。
方式２：ＡＣＲ情報を記述するシグナリングテーブルを１つ追加する。
上記の方法に加えて、シグナリング情報にＡＣＲファイル情報を記述するために特別に使用されるシグナリングテーブルを更に１つ追加することが可能である。ＡＣＲ情報を記述するテーブルを生成してから特定のヘッダー部を追加すれば、ＡＣＲ情報を記述するシグナリング情報を生成し、当該シグナリング情報はＰＡ ｍｅｓｓａｇｅ、ＭＰＩ ｍｅｓｓａｇｅ、ＭＰ ｍｅｓｓａｇｅ、ＣＲＩ ｍｅｓｓａｇｅなどと共に新しいシグナリング情報を構成して転送する。受信側は、シグナリングメッセージを受信してから解析すれば、関連するメディアリソースリスト情報が得られる。
本発明によって提出される実現方法をより明確に説明するために、方式１に従って例を挙げて１つの具体的な実現フローを説明する。
受信側がサービスにログインすると、送信側がシグナリング情報を送信し、ユーザーがＡＣＲ情報ファイルにおけるメディアリソースリスト（ａｓｓｅｔ＿ｌｉｓｔ）を取得した後、ａｓｓｅｔ＿ｌｉｓｔ［０］、ａｓｓｅｔ＿ｌｉｓｔ［１］、ａｓｓｅｔ＿ｌｉｓｔ［２］、ａｓｓｅｔ＿ｌｉｓｔ［３］から占有図、幾何、属性及び補助情報に対応するメディアリソース番号（ａｓｓｅｔ＿ｉｄ）を知ることができる。送信側に点群の占有図を要求する場合、受信側は、ＡＣＲ情報ファイルを検査することにより、占有図のａｓｓｅｔ＿ｌｉｓｔ［０］に対応するａｓｓｅｔ＿ｉｄが０であることを見つけ出す。ユーザーは引き続き幾何を要求する場合、ＤＴＧ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソース（ａｓｓｅｔ）を取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［１］が含むあるａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは属性を要求する場合、ＡＣＲ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソースを取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［２］が含むａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは引き続き補助情報を要求する場合、ＤＴＧ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソースを取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［３］が含むａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは全部の情報を取得した後、取得した４つのメディアリソースの情報を統合し、点群メディアを提示することが可能である。ユーザーは衣装替えの必要がある場合、ａｓｓｅｔ＿ｌｉｓｔ［２］とａｓｓｅｔ＿ｌｉｓｔ［３］中の対応するメディアリソースを再度要求するだけで済む。
本実施例は、ＭＭＴ（マルチメディア伝送プロトコル）を例として提出された点群データの伝送方式を説明したが、本実施例の点群データは、ＤＡＳＨ伝送のように他のファイルを使用して伝送することもできる、ことを追加説明する。
以上、本発明の具体的な実施形態を説明した。本発明は、上記の具体的な実施形態に限定されず、当業者は本発明の請求項の範囲内で様々な変更又は修正を行うことができ、これは本発明の本質的な内容に影響しない、ことを理解する必要がある。衝突しない状況であれば、本願の実施例および実施形態における特徴は、互いに任意に組み合わせることが可能である。
好ましくは、前記ＡＣＲ情報ファイルをＭＰＩ ｔａｂｌｅに書き込むか、または、ＡＣＲ情報ファイルを記述するための記述的なｄｅｓｃｒｉｐｔｏｒを１つ追加するか、または、ＡＣＲ情報ファイルを記述するためのシグナリングテーブルを１つ追加する。
実施例１
本実施例では、分類リストによって分類記録を作成する。当該分類リストは、点群メディアファイルにおけるメディアセグメントとメディアバージョン及びデータタイプとの間の対応関係を表す。より具体的には、圧縮された点群メディアファイルを１つのメディアリソース（ａｓｓｅｔ）としてカプセル化し、分割して図３に示す１６のメディアセグメントのような複数のメディアセグメントを取得することができる。各メディアセグメントは何れもメディアセグメント番号を１つ有し、例えば１から１６の番号で順番に番号を付ける。各メディアセグメント番号は同じではなく、即ちメディアセグメント番号によりメディアセグメントを表すことがわかる。
上記の方法に加えて、シグナリング情報にＤＴＧファイル情報を記述するために特別に使用されるシグナリングテーブルを新たに１つ追加することが可能である。ＤＴＧファイル情報を記述するテーブルを生成してから特定のヘッダー部を追加すれば、ＤＴＧ情報を記述するシグナリング情報を生成することができ、当該シグナリング情報とＰＡ ｍｅｓｓａｇｅ、ＭＰＩ ｍｅｓｓａｇｅ、ＭＰ ｍｅｓｓａｇｅ、ＣＲＩ ｍｅｓｓａｇｅなどと共に新しいシグナリング情報を構成して転送する。受信側は、新しいシグナリング情報を受信してから解析すれば、コンテンツリスト情報が得られる。
図４は、本実施形態に係る点群データのカプセル化のフローチャートである。図４に示すように、圧縮された点群メディアファイルを取得してから、下記のステップを更に含む。
ステップＳ２１：圧縮された点群メディアファイルを１つのメディアリソースとしてカプセル化し、分割し図５に示す１６のメディアセグメントなど複数のメディアセグメントを取得することが可能である。
ステップＳ２２：カプセル化する際に、各メディアセグメントに分類フラグを１つ追加し、当該分類フラグによりメディアセグメントのデータタイプ及びバージョン情報を記録する。
ある点群コンテンツは、１６のメディアリソースからなり、メディアリソース番号は順番で１から１６であると仮定する。メディアリソースリストは４つで、それぞれ占有図情報、幾何情報、属性情報及び補助情報に対応すると仮定する。図７に示すように、占有図情報はメディアリソースリスト１であり、５つのバージョンを対応して含み、メディアリソース番号が１乃至５であるメディアリソースに対応することができる。幾何情報はメディアリソースリスト２であり、２つのバージョンを対応して含み、それぞれメディアリソース番号が６、７であるメディアリソースに対応する。属性情報はメディアリソースリスト３であり、５つのバージョンを対応して含み、それぞれメディアリソース番号が８乃至１２であるメディアリソースに対応する。補助情報はメディアリソースリスト４であり、４つのバージョンを対応して含み、メディアリソース番号が１３乃至１６であるメディアリソースに対応する。メディアリソース番号はメディアリソース中のフラグフィールドである。当該点群コンテンツはメディアリソース番号がそれぞれ１乃至１６であるメディアリソースに対応し、異なる点群コンテンツは異なるメディアリソースの組み合わせに対応し、例えば、メディアリソース番号が１、６、８、１３である場合とメディアリソース番号が１、６、９、１３である場合の点群コンテンツは、同一点群キャラクターの異なる服装の時の姿に対応する可能性がある。前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグ（ｐｅｎｄｉｎｇ＿ｆｌａｇ）をセットし、前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが準備完了されたか否かを指示するために用いられる。各点群コンテンツの全てのデータタイプのメディアリソースが準備完了されている場合、ｐｅｎｄｉｎｇ＿ｆｌａｇの値は１とし、でなければその値は０とする。
上記の方法に加えて、シグナリング情報にＡＣＲファイル情報を記述するために特別に使用されるシグナリングテーブルを更に１つ追加することが可能である。ＡＣＲ情報を記述するテーブルを生成してから特定のヘッダー部を追加すれば、ＡＣＲ情報を記述するシグナリング情報を生成し、当該シグナリング情報はＰＡ ｍｅｓｓａｇｅ、ＭＰＩ ｍｅｓｓａｇｅ、ＭＰ ｍｅｓｓａｇｅ、ＣＲＩ ｍｅｓｓａｇｅなどと共に新しいシグナリング情報を構成して転送する。受信側は、新しいシグナリング情報を受信してから解析すれば、関連するメディアリソースリスト情報が得られる。
受信側がサービスにログインすると、送信側がシグナリング情報を送信し、ユーザーがＡＣＲ情報ファイルにおけるメディアリソースリスト（ａｓｓｅｔ＿ｌｉｓｔ）を取得した後、ａｓｓｅｔ＿ｌｉｓｔ［０］、ａｓｓｅｔ＿ｌｉｓｔ［１］、ａｓｓｅｔ＿ｌｉｓｔ［２］、ａｓｓｅｔ＿ｌｉｓｔ［３］から占有図、幾何、属性及び補助情報に対応するメディアリソース番号（ａｓｓｅｔ＿ｉｄ）を知ることができる。送信側に点群の占有図を要求する場合、受信側は、ＤＴＧ情報ファイルを検査することにより、占有図のａｓｓｅｔ＿ｌｉｓｔ［０］に対応するａｓｓｅｔ＿ｉｄが０であることを見つけ出す。ユーザーは引き続き幾何を要求する場合、ＤＴＧ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソース（ａｓｓｅｔ）を取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［１］が含むあるａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは属性を要求する場合、ＤＴＧ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソースを取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［２］が含むａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは引き続き補助情報を要求する場合、ＤＴＧ情報ファイル及びローカルデータベースを検査することにより、送信側から対応するメディアリソースを取得し、これらのメディアリソースはａｓｓｅｔ＿ｌｉｓｔ［３］が含むａｓｓｅｔ＿ｉｄに対応するメディアリソースである。ユーザーは全部の情報を取得した後、取得した４つのメディアリソースの情報を統合し、点群メディアを提示することが可能である。ユーザーは衣装替えの必要がある場合、ａｓｓｅｔ＿ｌｉｓｔ［２］とａｓｓｅｔ＿ｌｉｓｔ［３］中の対応するメディアリソースを再度要求するだけで済む。

Claims (9)

  1. 点群メディアファイルを圧縮することと、
    圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットすることと、を含み、前記分類記録は点群メディアファイルにおける各部分のデータタイプを表すために用いられる、
    ことを特徴とする、点群データのカプセル化方法。
  2. 前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグをセットすることを、さらに含み、
    前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが既に伝送完了されたか否かを指示するために用いられる、
    ことを特徴とする、請求項１に記載の点群データのカプセル化方法。
  3. 前記分類記録は、メディアリソースとデータタイプとの間の対応関係を表す分類リストであり、
    前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
    圧縮された点群メディアファイルを１セットのメディアリソースとしてカプセル化し、複数のメディアリソースを取得することと、
    前記分類リストに基づいて、複数の前記メディアリソースをデータタイプと関連付けることと、を含む、
    ことを特徴とする、請求項１に記載の点群データのカプセル化方法。
  4. 複数の前記メディアリソースは異なるメディアリソース番号を有し、前記分類リストはメディアリソースリスト及びリソース番号リストを含み、前記メディアリソースリストは点群メディアファイルのデータタイプに対応し、前記リソース番号リストは全てのメディアリソース番号の集まりであり、各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ、各メディアリソースリストに対応するメディアリソース番号の数はメディアバージョンと一致する、
    ことを特徴とする、請求項３に記載の点群データのカプセル化方法。
  5. シグナリング情報に分類記録の関連コンテンツを追加し、前記分類記録はカプセル化する際の点群メディアファイルにおける各部分のデータタイプを表すために用いられることと、
    シグナリング情報に基づいて前記分類記録を取得し、前記分類記録に基づいて現在の点群メディアファイルの更新する必要がある部分データを伝送することと、を含み、
    現在の点群メディアファイルの更新する必要がある部分データを伝送する前に、現在の点群メディアファイルの全部のデータを伝送することをさらに含む、
    ことを特徴とする、点群データの伝送方法。
  6. 前記点群メディアファイルは複数の点群コンテンツを含み、カプセル化された点群メディアファイルに待ちフラグをセットし、前記待ちフラグは、各点群コンテンツの全てのデータタイプのメディアリソースが既に伝送完了されたか否かを指示するために用いられる、
    ことを特徴とする、請求項５に記載の点群データの伝送方法。
  7. 圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットすることを含み、
    前記分類記録は、メディアリソースとデータタイプとの間の対応関係を表す分類リストである、
    ことを特徴とする、請求項５に記載の点群データの伝送方法。
  8. 前記圧縮された点群メディアファイルをカプセル化し、データタイプに従って分類記録をセットするステップは、
    圧縮された点群メディアファイルを１セットのメディアリソースとしてカプセル化し、複数のメディアリソースを取得することと、
    前記分類リストに基づいて、複数の前記メディアリソースをデータタイプと関連付けることと、を含む、
    ことを特徴とする、請求項７に記載の点群データの伝送方法。
  9. 複数の前記メディアリソースは異なるメディアリソース番号を有し、前記分類リストはメディアリソースリスト及びリソース番号リストを含み、前記メディアリソースリストは点群メディアファイルのデータタイプに対応し、前記リソース番号リストは全てのメディアリソース番号の集まりであり、各メディアリソースリストは少なくとも１つのメディアリソース番号に対応し、且つ、各メディアリソースリストに対応するメディアリソース番号の数はメディアバージョンと一致する、
    ことを特徴とする、請求項８に記載の点群データの伝送方法。
JP2022542466A 2020-01-10 2021-01-08 点群データのカプセル化方法及び伝送方法 Pending JP2023510822A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010026089.4 2020-01-10
CN202010026089.4A CN113114608B (zh) 2020-01-10 2020-01-10 点云数据封装方法及传输方法
PCT/CN2021/070917 WO2021139784A1 (zh) 2020-01-10 2021-01-08 点云数据封装方法及传输方法

Publications (1)

Publication Number Publication Date
JP2023510822A true JP2023510822A (ja) 2023-03-15

Family

ID=76708606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022542466A Pending JP2023510822A (ja) 2020-01-10 2021-01-08 点群データのカプセル化方法及び伝送方法

Country Status (6)

Country Link
US (1) US20230048715A1 (ja)
EP (1) EP4090021A4 (ja)
JP (1) JP2023510822A (ja)
KR (1) KR20220124790A (ja)
CN (1) CN113114608B (ja)
WO (1) WO2021139784A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852829A (zh) * 2021-09-01 2021-12-28 腾讯科技（深圳）有限公司 点云媒体文件的封装与解封装方法、装置及存储介质
CN116233493A (zh) * 2021-09-29 2023-06-06 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、设备及可读存储介质
GB2613853B (en) * 2021-12-16 2024-01-24 Canon Kk Method, device, and computer program for optimizing encapsulation of point cloud data

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100485662C (zh) * 2006-07-10 2009-05-06 山东理工大学 基于数据动态存取模型的产品点云型面特征分析方法
JP6567064B2 (ja) * 2015-02-13 2019-08-28 上海交通大学Ｓｈａｎｇｈａｉ Ｊｉａｏ Ｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ 関連マルチメディアコンテンツのカスタマイズ表示の実現方法およびその応用
EP3249921A1 (en) * 2016-05-24 2017-11-29 Thomson Licensing Method, apparatus and stream for immersive video format
US20180053324A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
CN106331676B (zh) * 2016-08-31 2018-03-27 贾岳杭 基于虚拟现实环境的三维数据的处理与传输方法
CN108510558B (zh) * 2017-02-28 2019-08-16 贝壳找房(北京)科技有限公司 点云数据的压缩方法、装置及终端
US11683831B2 (en) * 2017-12-01 2023-06-20 Woven Planet North America, Inc. Systems and methods for providing resource analysis for autonomous mobility on demand
CN108009979B (zh) * 2017-12-15 2021-02-26 湖北大学 基于时空数据融合的三维点云压缩存储方法及系统
US10735826B2 (en) * 2017-12-20 2020-08-04 Intel Corporation Free dimension format and codec
US10783668B2 (en) * 2017-12-22 2020-09-22 Samsung Electronics Co., Ltd. Handling duplicate points in point cloud compression
CN110012279B (zh) * 2018-01-05 2020-11-17 上海交通大学 基于3d点云数据的分视角压缩和传输方法及系统
EP3514969B1 (en) * 2018-01-18 2021-08-04 BlackBerry Limited Methods and devices using direct coding in point cloud compression
CN110363822A (zh) * 2018-04-11 2019-10-22 上海交通大学 一种3d点云压缩方法
US11381621B2 (en) * 2018-04-11 2022-07-05 Samsung Electronics Co., Ltd. Device and method for processing data in multimedia system
EP3595180B1 (en) * 2018-07-10 2021-12-08 BlackBerry Limited Methods and devices for neighbourhood-based occupancy prediction in point cloud compression
US11449771B2 (en) * 2018-09-21 2022-09-20 Woven Planet North America, Inc. Systems and methods for processing vehicle data
US10911572B2 (en) * 2018-10-01 2021-02-02 Renovo Motors, Inc. Systems and methods for dynamic application management with an autonomous vehicle
US11348284B2 (en) * 2019-01-08 2022-05-31 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression
US11259048B2 (en) * 2019-01-09 2022-02-22 Samsung Electronics Co., Ltd. Adaptive selection of occupancy map precision
US11200700B2 (en) * 2019-01-10 2021-12-14 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data
US11200701B2 (en) * 2019-03-19 2021-12-14 Nokia Technologies Oy Method and apparatus for storage and signaling of static point cloud data
US11122102B2 (en) * 2019-07-03 2021-09-14 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
WO2021002657A1 (ko) * 2019-07-04 2021-01-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11627314B2 (en) * 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11363330B2 (en) * 2019-10-01 2022-06-14 Samsung Electronics Co., Ltd. Method, apparatus and computer-readable recording medium for transmitting or receiving VPCC data
KR102518819B1 (ko) * 2019-10-07 2023-04-06 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
US11477483B2 (en) * 2020-01-08 2022-10-18 Apple Inc. Video-based point cloud compression with variable patch scaling

Also Published As

Publication number Publication date
EP4090021A4 (en) 2024-01-24
EP4090021A1 (en) 2022-11-16
CN113114608A (zh) 2021-07-13
CN113114608B (zh) 2022-06-10
KR20220124790A (ko) 2022-09-14
US20230048715A1 (en) 2023-02-16
WO2021139784A1 (zh) 2021-07-15

Similar Documents

Publication Publication Date Title
JP2023510822A (ja) 点群データのカプセル化方法及び伝送方法
CN101123613B (zh) 一种多维地址编址数据处理的方法和装置以及系统
CN106453536B (zh) 一种网络请求处理方法、服务器和系统
US20110285715A1 (en) Method and System for Providing Scene Data of Virtual World
CN109451006A (zh) 一种数据传输方法、装置、服务器及计算机存储介质
CN108200447A (zh) 直播数据传输方法、装置、电子设备、服务器及存储介质
WO2022194309A1 (zh) 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质
CN111818354A (zh) 动画配置、播放方法、装置、电子设备、系统和介质
US20030113022A1 (en) Apparatus for transmitting and/or receiving stream data and method for producing the same
CN107454456B (zh) 一种浮层元素的管理控制方法及系统
CN114793223A (zh) Dns记录的存储方法、装置、存储介质及电子设备
CN112925595A (zh) 资源分发方法、装置、电子设备及存储介质
US11973994B2 (en) Media processing method
CN114579506A (zh) 处理器之间的通信方法、系统、存储介质以及处理器
CN114501060A (zh) 直播背景的切换方法和装置、存储介质及电子设备
KR102481009B1 (ko) 크로마 서브 샘플링된 이미지들에 대한 빠른 참조 객체 저장 형식에 대한 방법
WO2015149587A1 (zh) 一种图计算预处理的装置、方法及系统
WO2024027274A1 (zh) 一种地图场景渲染方法、装置、服务器、终端、计算机可读存储介质及计算机程序产品
CN114866514B (zh) 多用户数据流转控制与处理方法、装置、设备及介质
JP3428513B2 (ja) 多次元ストリームデータを用いた、送信装置、送信方法、受信装置、受信方法および通信システム
CN111800742B (zh) 一种移动位置数据的管理方法、装置、存储介质及终端
CN116681813B (zh) 区块链原创认证的浏览器中3d场景渲染方法及系统
US20230403383A1 (en) Data processing method and apparatus, computer and readable storage medium
US8639845B2 (en) Method for editing multimedia pages on a terminal using pre-stored parameters of objects appearing in scenes
KR102055224B1 (ko) 분산형 클라우드 기반 미디어 서비스 제공 장치 및 장치의 동작 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240412