JPWO2020027317A1 - 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 - Google Patents

三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 Download PDF

Info

Publication number
JPWO2020027317A1
JPWO2020027317A1 JP2020534769A JP2020534769A JPWO2020027317A1 JP WO2020027317 A1 JPWO2020027317 A1 JP WO2020027317A1 JP 2020534769 A JP2020534769 A JP 2020534769A JP 2020534769 A JP2020534769 A JP 2020534769A JP WO2020027317 A1 JPWO2020027317 A1 JP WO2020027317A1
Authority
JP
Japan
Prior art keywords
coding method
coding
unit
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020534769A
Other languages
English (en)
Other versions
JP7436364B2 (ja
Inventor
賀敬 井口
賀敬 井口
敏康 杉尾
敏康 杉尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2020027317A1 publication Critical patent/JPWO2020027317A1/ja
Priority to JP2024017637A priority Critical patent/JP2024040321A/ja
Application granted granted Critical
Publication of JP7436364B2 publication Critical patent/JP7436364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

三次元データ符号化方法は、三次元データを符号化することで符号化ストリームを生成し(S4671)、符号化ストリームの制御情報に、第1符号化方式と第2符号化方式のうち、符号化に用いた符号化方式を示す情報を格納する(S4672)。例えば、三次元データは、位置情報と属性情報とを含み、前記符号化では、位置情報と属性情報とを符号化し、前記格納では、位置情報の制御情報に、第1符号化方式と第2符号化方式のうち、位置情報の符号化に用いた符号化方式を示す情報を格納し、属性情報の制御情報に、第1符号化方式と第2符号化方式のうち、属性情報の符号化に用いた符号化方式を示す情報を格納してもよい。

Description

本開示は、三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置に関する。
自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。
三次元データの表現方法の1つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像(一例として、MPEGで規格化されたMPEG−4 AVC又はHEVCなどがある)と同様に、符号化によるデータ量の圧縮が必須となる。
また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ(Point Cloud Library)などによって一部サポートされている。
また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている(例えば、特許文献1参照)。
国際公開第2014/020663号
三次元データの符号化及び復号において、複数の符号化方式が用いられる可能性がある。
本開示は、複数の符号化方式が用いられる場合であっても、正しく三次元データを復号できる符号化ストリームを生成できる三次元データ符号化方法或いは三次元データ符号化装置、又は、正しく三次元データを復号できる三次元データ復号方法或いは三次元データ復号装置を提供することを目的とする。
本開示の一態様に係る三次元データ符号化方法は、三次元データを符号化することで符号化ストリームを生成し、前記符号化ストリームの制御情報に、第1符号化方式と第2符号化方式のうち、前記符号化に用いた符号化方式を示す情報を格納する。
本開示の一態様に係る三次元データ復号方法は、三次元データを符号化することで生成された符号化ストリームの制御情報に含まれる、第1符号化方式と第2符号化方式のうち、前記三次元データの符号化に用いられた符号化方式を示す情報に基づき、符号化ストリームの符号化に用いられた符号化方式を判定し、判定した前記符号化方式を用いて前記符号化ストリームを復号する。
本開示は、複数の符号化方式が用いられる場合であっても、正しく三次元データを復号できる符号化ストリームを生成できる三次元データ符号化方法或いは三次元データ符号化装置、又は、正しく三次元データを復号できる三次元データ復号方法或いは三次元データ復号装置を提供できる。
図1は、実施の形態1に係る三次元データ符号化復号システムの構成を示す図である。 図2は、実施の形態1に係る点群データの構成例を示す図である。 図3は、実施の形態1に係る点群データ情報が記述されたデータファイルの構成例を示す図である。 図4は、実施の形態1に係る点群データの種類を示す図である。 図5は、実施の形態1に係る第1の符号化部の構成を示す図である。 図6は、実施の形態1に係る第1の符号化部のブロック図である。 図7は、実施の形態1に係る第1の復号部の構成を示す図である。 図8は、実施の形態1に係る第1の復号部のブロック図である。 図9は、実施の形態1に係る第2の符号化部の構成を示す図である。 図10は、実施の形態1に係る第2の符号化部のブロック図である。 図11は、実施の形態1に係る第2の復号部の構成を示す図である。 図12は、実施の形態1に係る第2の復号部のブロック図である。 図13は、実施の形態1に係るPCC符号化データに関わるプロトコルスタックを示す図である。 図14は、実施の形態1に係るプロトコルスタックを示す図である。 図15は、実施の形態1に係るNALユニットのシンタックス例を示す図である。 図16は、実施の形態1に係るNALユニットヘッダのシンタックス例を示す図である。 図17は、実施の形態1に係るpcc_codec_typeのセマンティクス例を示す図である。 図18は、実施の形態1に係るpcc_nal_unit_typeのセマンティクス例を示す図である。 図19は、実施の形態1に係る符号化処理のフローチャートである。 図20は、実施の形態1に係る第2の復号部による復号処理のフローチャートである。 図21は、実施の形態1に係る第1の復号部による復号処理のフローチャートである。 図22は、実施の形態2に係るプロトコルスタックを示す図である。 図23は、実施の形態2に係るコーデック2用のNALユニットのシンタックス例を示す図である。 図24は、実施の形態2に係るコーデック2用のNALユニットヘッダのシンタックス例を示す図である。 図25は、実施の形態2に係るcodec2_nal_unit_typeのセマンティクス例を示す図である。 図26は、実施の形態2に係るコーデック1用のNALユニットのシンタックス例を示す図である。 図27は、実施の形態2に係るコーデック1用のNALユニットヘッダのシンタックス例を示す図である。 図28は、実施の形態2に係るcodec1_nal_unit_typeのセマンティクス例を示す図である。 図29は、実施の形態2に係る符号化処理のフローチャートである。 図30は、実施の形態2に係る復号処理のフローチャートである。 図31は、実施の形態3に係るプロトコルスタックを示す図である。 図32は、実施の形態3に係るNALユニットのシンタックス例を示す図である。 図33は、実施の形態3に係るNALユニットヘッダのシンタックス例を示す図である。 図34は、実施の形態3に係るpcc_nal_unit_typeのセマンティクス例を示す図である。 図35は、実施の形態3に係る符号化処理のフローチャートである。 図36は、実施の形態3に係る復号処理のフローチャートである。 図37は、実施の形態の変形例に係る符号化処理のフローチャートである。 図38は、実施の形態の変形例に係る復号処理のフローチャートである。 図39は、実施の形態4に係る符号化部のブロック図である。 図40は、実施の形態4に係る復号部のブロック図である。 図41は、実施の形態4に係る符号化処理のフローチャートである。 図42は、実施の形態4に係る復号処理のフローチャートである。
本開示の一態様に係る三次元データ符号化方法は、三次元データを符号化することで符号化ストリームを生成し、前記符号化ストリームの制御情報に、第1符号化方式と第2符号化方式のうち、前記符号化に用いた符号化方式を示す情報を格納する。
これによれば、三次元データ復号装置は、当該三次元データ符号化方法で生成された符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方式を判定できる。よって、三次元データ復号装置は、複数の符号化方式が用いられる場合においても正しく符号化ストリームを復号できる。
例えば、前記三次元データは、位置情報を含み、前記符号化では、前記位置情報を符号化し、前記格納では、前記位置情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いた符号化方式を示す情報を格納してもよい。
例えば、前記三次元データは、位置情報と属性情報とを含み、前記符号化では、前記位置情報と前記属性情報とをそれぞれ符号化し、前記格納では、前記位置情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いた符号化方式を示す情報を格納し、前記属性情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記属性情報の符号化に用いた符号化方式を示す情報を格納してもよい。
これによれば、位置情報と属性情報とに異なる符号化方式を用いることができるので、符号化効率を向上できる。
例えば、前記三次元データ符号化方法は、さらに、前記符号化ストリームを1以上のユニットに格納してもよい。
例えば、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報を含んでもよい。
例えば、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報を含んでもよい。
例えば、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで共通した定義を有する情報を含んでもよい。
本開示の一態様に係る三次元データ復号方法は、三次元データを符号化することで生成された符号化ストリームの制御情報に含まれる、第1符号化方式と第2符号化方式のうち、前記三次元データの符号化に用いられた符号化方式を示す情報に基づき、符号化ストリームの符号化に用いられた符号化方式を判定し、判定した前記符号化方式を用いて前記符号化ストリームを復号する。
これによれば、三次元データ復号方法は、符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方式を判定できる。よって、三次元データ復号方法は、複数の符号化方式が用いられる場合においても正しく符号化ストリームを復号できる。
例えば、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで共通した定義を有する情報を含んでもよい。
例えば、前記三次元データは、位置情報と属性情報とを含み、前記符号化ストリームは、前記位置情報の符号化データと前記属性情報の符号化データとを含み、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いられた符号化方式を示す情報に基づき、前記位置情報の符号化に用いられた符号化方式を判定し、前記符号化ストリームに含まれる前記属性情報の制御情報に含まれる、前記第1符号化方式と前記第2符号化方式のうち、前記属性情報の符号化に用いられた符号化方式を示す情報に基づき、前記属性情報の符号化に用いられた符号化方式を判定し、前記復号では、判定した前記位置情報の符号化に用いられた符号化方式を用いて前記位置情報の符号化データを復号し、判定した前記属性情報の符号化に用いられた符号化方式を用いて前記属性情報の符号化データを復号してもよい。
これによれば、位置情報と属性情報とに異なる符号化方式を用いることができるので、符号化効率を向上できる。
例えば、前記符号化ストリームは1以上のユニットに格納されており、前記三次元データ復号方法は、さらに、前記1以上のユニットから前記符号化ストリームを取得してもよい。
例えば、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報を含んでもよい。
例えば、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報を含んでもよい。
例えば、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで共通した定義を有する情報を含んでもよい。
また、本開示の一態様に係る三次元データ符号化装置は、属性情報を有する複数の三次元点を符号化する三次元データ符号化装置であって、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、三次元データを符号化することで符号化ストリームを生成し、前記符号化ストリームの制御情報に、第1符号化方式と第2符号化方式のうち、前記符号化に用いた符号化方式を示す情報を格納する。
これによれば、三次元データ復号装置は、当該三次元データ符号化装置で生成された符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方式を判定できる。よって、三次元データ復号装置は、複数の符号化方式が用いられる場合においても正しく符号化ストリームを復号できる。
また、本開示の一態様に係る三次元データ復号装置は、属性情報を有する複数の三次元点を復号する三次元データ復号装置であって、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、三次元データを符号化することで生成された符号化ストリームの制御情報に含まれる、第1符号化方式と第2符号化方式のうち、前記三次元データの符号化に用いられた符号化方式を示す情報に基づき、符号化ストリームの符号化に用いられた符号化方式を判定し、判定した前記符号化方式を用いて前記符号化ストリームを復号する。
これによれば、三次元データ復号装置は、符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方式を判定できる。よって、三次元データ復号装置は、複数の符号化方式が用いられる場合においても正しく符号化ストリームを復号できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
ポイントクラウドの符号化データを実際の装置又はサービスにおいて使用する際には、ネットワーク帯域を抑制するために用途に応じて必要な情報を送受信することが望ましい。しかしながら、これまで、三次元データの符号化構造にはそのような機能が存在せず、そのための符号化方法も存在しなかった。
本実施の形態では、三次元のポイントクラウドの符号化データにおいて用途に応じて必要な情報を送受信する機能を提供するための三次元データ符号化方法及び三次元データ符号化装置、並びに、当該符号化データを復号する三次元データ復号方法及び三次元データ復号装置、並びに、当該符号化データを多重化する三次元データ多重化方法、並びに、当該符号化データを伝送する三次元データ伝送方法について説明する。
特に、現在、点群データの符号化方式として第1の符号化方法、及び第2の符号化方法が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるMUX処理(多重化)、又は、伝送或いは蓄積ができないという課題がある。
また、PCC(Point Cloud Compression)のように、第1の符号化方法と第2の符号化方法の2つのコーデックが混在するフォーマットをサポートする方法はこれまで存在しない。
本実施の形態では、第1の符号化方法と第2の符号化方法の2つのコーデックが混在するPCC符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法について説明する。
まず、本実施の形態に係る三次元データ(点群データ)符号化復号システムの構成を説明する。図1は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図1に示すように、三次元データ符号化復号システムは、三次元データ符号化システム4601と、三次元データ復号システム4602と、センサ端末4603と、外部接続部4604とを含む。
三次元データ符号化システム4601は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム4601は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム4601に含まれる複数の処理部のうち一部を含んでもよい。
三次元データ符号化システム4601は、点群データ生成システム4611と、提示部4612と、符号化部4613と、多重化部4614と、入出力部4615と、制御部4616とを含む。点群データ生成システム4611は、センサ情報取得部4617と、点群データ生成部4618とを含む。
センサ情報取得部4617は、センサ端末4603からセンサ情報を取得し、センサ情報を点群データ生成部4618に出力する。点群データ生成部4618は、センサ情報から点群データを生成し、点群データを符号化部4613へ出力する。
提示部4612は、センサ情報又は点群データをユーザに提示する。例えば、提示部4612は、センサ情報又は点群データに基づく情報又は画像を表示する。
符号化部4613は、点群データを符号化(圧縮)し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部4614へ出力する。付加情報は、例えば、センサ情報を含む。
多重化部4614は、符号化部4613から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。
入出力部4615(例えば、通信部又はインタフェース)は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部4616(またはアプリ実行部)は、各処理部を制御する。つまり、制御部4616は、符号化及び多重化等の制御を行う。
なお、センサ情報が符号化部4613又は多重化部4614へ入力されてもよい。また、入出力部4615は、点群データ又は符号化データをそのまま外部へ出力してもよい。
三次元データ符号化システム4601から出力された伝送信号(多重化データ)は、外部接続部4604を介して、三次元データ復号システム4602に入力される。
三次元データ復号システム4602は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム4602は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム4602に含まれる複数の処理部のうち一部を含んでもよい。
三次元データ復号システム4602は、センサ情報取得部4621と、入出力部4622と、逆多重化部4623と、復号部4624と、提示部4625と、ユーザインタフェース4626と、制御部4627とを含む。
センサ情報取得部4621は、センサ端末4603からセンサ情報を取得する。
入出力部4622は、伝送信号を取得し、伝送信号から多重化データ(ファイルフォーマット又はパケット)を復号し、多重化データを逆多重化部4623へ出力する。
逆多重化部4623は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部4624へ出力する。
復号部4624は、符号化データを復号することで点群データを再構成する。
提示部4625は、点群データをユーザに提示する。例えば、提示部4625は、点群データに基づく情報又は画像を表示する。ユーザインタフェース4626は、ユーザの操作に基づく指示を取得する。制御部4627(またはアプリ実行部)は、各処理部を制御する。つまり、制御部4627は、逆多重化、復号及び提示等の制御を行う。
なお、入出力部4622は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部4625は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部4625は、ユーザインタフェース4626で取得されたユーザの指示に基づき、提示を行ってもよい。
センサ端末4603は、センサで得られた情報であるセンサ情報を生成する。センサ端末4603は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。
センサ端末4603で取得可能なセンサ情報は、例えば、(1)LIDAR、ミリ波レーダ、又は赤外線センサから得られる、センサ端末4603と対象物との距離、又は対象物の反射率、(2)複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ(角速度)、位置(GPS情報又は高度)、速度、又は加速度等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。
外部接続部4604は、集積回路(LSI又はIC)、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。
次に、点群データについて説明する。図2は、点群データの構成を示す図である。図3は、点群データの情報が記述されたデータファイルの構成例を示す図である。
点群データは、複数の点のデータを含む。各点のデータは、位置情報(三次元座標)、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物(オブジェクト)の三次元形状を示す。
三次元座標等の位置情報(Position)をジオメトリ(geometry)と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報(attribute)を含んでもよい。属性種別は、例えば色又は反射率などである。
1つの位置情報に対して1つの属性情報が対応付けられてもよいし、1つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、1つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。
図3に示すデータファイルの構成例は、位置情報と属性情報とが1対1に対応する場合の例であり、点群データを構成するN個の点の位置情報と属性情報とを示している。
位置情報は、例えば、x、y、zの3軸の情報である。属性情報は、例えば、RGBの色情報である。代表的なデータファイルとしてplyファイルなどがある。
次に、点群データの種類について説明する。図4は、点群データの種類を示す図である。図4に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。
静的オブジェクトは、任意の時間(ある時刻)の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをPCCフレーム、又はフレームと呼ぶ。
オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。
また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。
以下、各処理部の詳細について説明する。センサ情報は、LIDAR或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部4618は、センサ情報取得部4617で得られたセンサ情報に基づき点群データを生成する。点群データ生成部4618は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。
点群データ生成部4618は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部4618は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部4618は、位置情報を変換(位置シフト、回転又は正規化など)してもよいし、属性情報をレンダリングしてもよい。
なお、図1では、点群データ生成システム4611は、三次元データ符号化システム4601に含まれるが、三次元データ符号化システム4601の外部に独立して設けられてもよい。
符号化部4613は、点群データを予め規定された符号化方式に基づき符号化することで符号化データを生成する。符号化方式には大きく以下の2種類がある。一つ目は、位置情報を用いた符号化方式であり、この符号化方式を、以降、第1の符号化方式と記載する。二つ目は、ビデオコーデックを用いた符号化方式であり、この符号化方式を、以降、第2の符号化方式と記載する。
復号部4624は、符号化データを予め規定された符号化方式に基づき復号することで点群データを復号する。
多重化部4614は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部4614は、PCC符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部4614は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。
多重化方式又はファイルフォーマットとしては、ISOBMFF、ISOBMFFベースの伝送方式であるMPEG−DASH、MMT、MPEG−2 TS Systems、RMPなどがある。
逆多重化部4623は、多重化データからPCC符号化データ、その他のメディア、及び時刻情報などを抽出する。
入出力部4615は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部4615は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。
通信プロトコルとしては、http、ftp、TCP又はUDPなどが用いられる。PULL型の通信方式が用いられてもよいし、PUSH型の通信方式が用いられてもよい。
有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ethernet(登録商標)、USB、RS−232C、HDMI(登録商標)、又は同軸ケーブルなどが用いられる。無線伝送としては、無線LAN、Wi−Fi(登録商標)、Bluetooth(登録商標)又はミリ波などが用いられる。
また、放送方式としては、例えばDVB−T2、DVB−S2、DVB−C2、ATSC3.0、又はISDB−S3などが用いられる。
図5は、第1の符号化方式の符号化を行う符号化部4613の例である第1の符号化部4630の構成を示す図である。図6は、第1の符号化部4630のブロック図である。第1の符号化部4630は、点群データを第1の符号化方式で符号化することで符号化データ(符号化ストリーム)を生成する。この第1の符号化部4630は、位置情報符号化部4631と、属性情報符号化部4632と、付加情報符号化部4633と、多重化部4634とを含む。
第1の符号化部4630は、三次元構造を意識して符号化を行うという特徴を有する。また、第1の符号化部4630は、属性情報符号化部4632が、位置情報符号化部4631から得られる情報を用いて符号を行うという特徴を有する。第1の符号化方式は、GPCC(Geometry based PCC)とも呼ばれる。
点群データは、PLYファイルのようなPCC点群データ、又は、センサ情報から生成されたPCC点群データであり、位置情報(Position)、属性情報(Attribute)、及びその他の付加情報(MetaData)を含む。位置情報は位置情報符号化部4631に入力され、属性情報は属性情報符号化部4632に入力され、付加情報は付加情報符号化部4633に入力される。
位置情報符号化部4631は、位置情報を符号化することで符号化データである符号化位置情報(Compressed Geometry)を生成する。例えば、位置情報符号化部4631は、8分木等のN分木構造を用いて位置情報を符号化する。具体的には、8分木では、対象空間が8個のノード(サブ空間)に分割され、各ノードに点群が含まれるか否かを示す8ビットの情報(オキュパンシー符号)が生成される。また、点群が含まれるノードは、さらに、8個のノードに分割され、当該8個のノードの各々に点群が含まれるか否かを示す8ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
属性情報符号化部4632は、位置情報符号化部4631で生成された構成情報を用いて符号化することで符号化データである符号化属性情報(Compressed Attribute)を生成する。例えば、属性情報符号化部4632は、位置情報符号化部4631で生成された8分木構造に基づき、処理対象の対象点(対象ノード)の符号化において参照する参照点(参照ノード)を決定する。例えば、属性情報符号化部4632は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
付加情報符号化部4633は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報(Compressed MetaData)を生成する。
多重化部4634は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム(Compressed Stream)を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
次に、第1の符号化方式の復号を行う復号部4624の例である第1の復号部4640について説明する。図7は、第1の復号部4640の構成を示す図である。図8は、第1の復号部4640のブロック図である。第1の復号部4640は、第1の符号化方式で符号化された符号化データ(符号化ストリーム)を、第1の符号化方式で復号することで点群データを生成する。この第1の復号部4640は、逆多重化部4641と、位置情報復号部4642と、属性情報復号部4643と、付加情報復号部4644とを含む。
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム(Compressed Stream)が第1の復号部4640に入力される。
逆多重化部4641は、符号化データから、符号化位置情報(Compressed Geometry)、符号化属性情報(Compressed Attribute)、符号化付加情報(Compressed MetaData)、及び、その他の付加情報を分離する。
位置情報復号部4642は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部4642は、8分木等のN分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。
属性情報復号部4643は、位置情報復号部4642で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部4643は、位置情報復号部4642で得られた8分木構造に基づき、処理対象の対象点(対象ノード)の復号において参照する参照点(参照ノード)を決定する。例えば、属性情報復号部4643は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。
付加情報復号部4644は、符号化付加情報を復号することで付加情報を生成する。また、第1の復号部4640は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
次に、第2の符号化方式の符号化を行う符号化部4613の例である第2の符号化部4650について説明する。図9は、第2の符号化部4650の構成を示す図である。図10は、第2の符号化部4650のブロック図である。
第2の符号化部4650は、点群データを第2の符号化方式で符号化することで符号化データ(符号化ストリーム)を生成する。この第2の符号化部4650は、付加情報生成部4651と、位置画像生成部4652と、属性画像生成部4653と、映像符号化部4654と、付加情報符号化部4655と、多重化部4656とを含む。
第2の符号化部4650は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第2の符号化方式は、VPCC(Video based PCC)とも呼ばれる。
点群データは、PLYファイルのようなPCC点群データ、又は、センサ情報から生成されたPCC点群データであり、位置情報(Position)、属性情報(Attribute)、及びその他の付加情報MetaData)を含む。
付加情報生成部4651は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。
位置画像生成部4652は、位置情報と、付加情報生成部4651で生成されたマップ情報とに基づき、位置画像(Geometry Image)を生成する。この位置画像は、例えば、画素値として距離(Depth)が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像(一つの二次元平面に複数の点群を投影した画像)であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
属性画像生成部4653は、属性情報と、付加情報生成部4651で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報(例えば色(RGB))が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像(一つの二次元平面に複数の点群を投影した画像)であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
映像符号化部4654は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像(Compressed Geometry Image)及び符号化属性画像(Compressed Attribute Image)を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、AVC又はHEVC等である。
付加情報符号化部4655は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報(Compressed MetaData)を生成する。
多重化部4656は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム(Compressed Stream)を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
次に、第2の符号化方式の復号を行う復号部4624の例である第2の復号部4660について説明する。図11は、第2の復号部4660の構成を示す図である。図12は、第2の復号部4660のブロック図である。第2の復号部4660は、第2の符号化方式で符号化された符号化データ(符号化ストリーム)を、第2の符号化方式で復号することで点群データを生成する。この第2の復号部4660は、逆多重化部4661と、映像復号部4662と、付加情報復号部4663と、位置情報生成部4664と、属性情報生成部4665とを含む。
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム(Compressed Stream)が第2の復号部4660に入力される。
逆多重化部4661は、符号化データから、符号化位置画像(Compressed Geometry Image)、符号化属性画像(Compressed Attribute Image)、符号化付加情報(Compressed MetaData)、及び、その他の付加情報を分離する。
映像復号部4662は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、AVC又はHEVC等である。
付加情報復号部4663は、符号化付加情報を復号することで、マップ情報等を含む加情報を生成する。
位置情報生成部4664は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部4665は、属性画像とマップ情報とを用いて属性情報を生成する。
第2の復号部4660は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
以下、PCC符号化方式における課題を説明する。図13は、PCC符号化データに関わるプロトコルスタックを示す図である。図13には、PCC符号化データに、映像(例えばHEVC)又は音声などの他のメディアのデータを多重し、伝送又は蓄積する例を示す。
多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するためには、符号化データを多重化方式のフォーマットに変換しなければならない。例えば、HEVCでは、NALユニットと呼ばれるデータ構造に符号化データを格納し、NALユニットをISOBMFFに格納する技術が規定されている。
一方、現在、点群データの符号化方式として第1の符号化方法(Codec1)、及び第2の符号化方法(Codec2)が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるMUX処理(多重化)、伝送及び蓄積ができないという課題がある。
なお、以降において、特定の符号化方式の記載がなければ、第1の符号化方式、及び第2の符号化方式のいずれかを示すものとする。
以下、本実施の形態に係るNALユニットの定義方法について説明する。例えば、HEVCなどの、これまでのコーデックでは、1つのコーデックに対して、1つのフォーマットのNALユニットが定義されている。しかし、PCCのように、第1の符号化方法と第2の符号化方法との2つのコーデック(以降、PCCコーデックと称する)が混在するフォーマットをサポートする方法はこれまで存在しない。
本実施の形態では、NALユニットとしてPCCコーデック共通のフォーマットを定義し、さらに、PCCコーデックに依存するNALユニットの識別子を定義する。図14は、この場合のプロトコルスタックを示す図である。図15〜図17は、コーデック共通のNALユニットフォーマットの例を示す図である。図15は、共通PCC NALユニット(Common PCC NAL Unit)のシンタックス例を示す図である。図16は、共通PCC NALユニットヘッダ(Common PCC NAL Unit Header)のシンタックス例を示す図である。図17は、pcc_codec_typeのセマンティクス例を示す図である。図18は、コーデック依存のNALユニットタイプ定義の例を示す図であり、pcc_nal_unit_typeのセマンティクス例を示す図である。
NALユニットフォーマットとして、PCCコーデック共通のNALユニットフォーマットが定義される。NALユニット(pcc_nal_unit)は、ヘッダ(pcc_nal_unit_header)、ペイロード(pcc_nal_unit_payload)、及びトレイリングビット(trailing_bits)を含む。第1の符号化方法及び第2の符号化方法のいずれのコーデックのデータが格納される場合にも、同じフォーマットが使用される。
NALユニットヘッダ(pcc_nal_unit_header)には、コーデックタイプ(pcc_codec_tye)、及びNALユニットタイプ(pcc_nal_unit_type)が格納される。コーデックタイプは、NALユニットに格納される符号化データのPCCコーデックが、第1の符号化方法であるか、第2の符号化方法であるかを示す。
NALユニットタイプは、コーデックに依存するNALユニットのタイプを示し、コーデック毎にタイプが定義される。コーデックタイプが第1の符号化方法である場合には、NALユニットタイプは、第1の符号化方法用に定義されたNALユニットタイプを示す。コーデックタイプが第2の符号化方法である場合には、NALユニットタイプは、第2の符号化方法用に定義されたNALユニットタイプを示す。つまり、第1の符号化方法用に定義されたNALユニットタイプと、第2の符号化方法用に定義されたNALユニットタイプとには、同一の値に対して異なる意味が対応づけられる。
なお、ヘッダにおいて、コーデックタイプの機能をNALユニットタイプにマージしてもよい。例えば、NALユニットタイプの一部の情報を用いてコーデックタイプを示してもよい。
次に、本実施の形態に係る符号化処理について説明する。図19は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記の定義を用いた場合の第1の符号化部4630又は第2の符号化部4650の処理を示す。なお、以下では第1の符号化部4630又は第2の符号化部4650を区別せずに符号化部4613とも記す。また、同図の処理は、主に、図6に示す多重化部4634又は図10に示す多重化部4656により行われる。
なお、同図の処理は、PCCデータを第1の符号化方法、及び第2の符号化方法のいずれか一方で符号化する例を示しており、どちらのPCCコーデックで符号化するかは既知であるものとする。例えば、いずれのPCCコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
まず、符号化部4613は、PCCデータを第1の符号化方法、及び第2の符号化方法のいずれかのコーデックを用いて符号化する(S4601)。
使用したコーデックが第2の符号化方法である場合(S4602で第2の符号化方法)、符号化部4613は、NALユニットヘッダに含まれるpcc_codec_typeをNALユニットのペイロードに含まれるデータが第2の符号化方法で符号化されたデータであることを示す値に設定する(S4603)。また、符号化部4613は、NALユニットヘッダのpcc_nal_unit_typeに第2の符号化方法用のNALユニットの識別子を設定する(S4604)。そして、符号化部4613は、設定したNALユニットヘッダを有し、ペイロードに符号化データを含むNALユニットを生成する。そして、符号化部4613は、生成したNALユニットを送信する(S4605)。
一方、使用したコーデックが第1の符号化方法である場合(S4602で第1の符号化方法)、符号化部4613は、NALユニットヘッダのpcc_codec_typeをNALユニットのペイロードに含まれるデータが第1の符号化方法で符号化されたデータであることを示す値に設定する(S4606)。また、符号化部4613は、NALユニットヘッダのpcc_nal_unit_typeに第1の符号化方法用のNALユニットの識別子を設定する(S4607)。そして、符号化部4613は、設定したNALユニットヘッダを有し、ペイロードに符号化データを含むNALユニットを生成する。そして、符号化部4613は、生成したNALユニットを送信する(S4605)。
なお、符号化部4613は、ステップS4603及びS4606において、pcc_code_typeの機能がpcc_nal_unit_typeに含まれる場合、pcc_nal_unit_typeに、NALユニットが第1の符号化方法であるか第2の符号化方法であるかを示してもよい。
次に、本実施の形態に係る第1の復号部4640及び第2の復号部4660による復号処理について説明する。図20は、第2の復号部4660による復号処理を示すフローチャートである。また、同図の処理は、主に、図12に示す逆多重化部4661により行われる。
なお、同図の処理は、PCCデータを第2の符号化方法、及び第1の符号化方法のいずれか一方で符号化する例を示している。また、この方式では、第2の復号部4660に含まれる逆多重化部4661は、NALユニットヘッダに含まれる情報を参照して、NALユニットのコーデックタイプを識別できる。よって、逆多重化部4661は、コーデックタイプに応じて必要な情報を映像復号部4662に出力できる。
まず、第2の復号部4660は、NALユニットを受信する(S4611)。例えば、このNALユニットは、上述した符号化部4613における処理で生成されたものである。つまり、このNALユニットのヘッダは、pcc_codec_type及びpcc_nal_unit_typeを含む。
次に、第2の復号部4660は、NALユニットヘッダに含まれるpcc_codec_typeが第1の符号化方法を示すか、第2の符号化方法を示すかを判定する(S4612)。
pcc_codec_typeが第2の符号化方法を示す場合(S4612で第2の符号化方法)、第2の復号部4660は、NALユニットのペイロードに含まれるデータが、第2の符号化方法を用いて符号化されたデータであると判断する(S4613)。そして、第2の復号部4660は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、第2の符号化方法用のNALユニットの識別子であるとしてデータを識別する(S4614)。そして、第2の復号部4660は、第2の符号化方法の復号処理を用いてPCCデータを復号する(S4615)。
一方、pcc_codec_typeが第1の符号化方法を示す場合(S4612で第1の符号化方法)、第2の復号部4660は、NALユニットのペイロードに含まれるデータが、第1の符号化方法で符号化されたデータであると判断する(S4616)。この場合、第2の復号部4660は、当該NALユニットを処理しない(S4617)。
なお、ステップS4612において、pcc_code_typeの機能がpcc_nal_unit_typeに含まれる場合、第2の復号部4660は、pcc_nal_unit_typeを参照して、NALユニットに含まれるデータに使用されているコーデックが第1の符号化方法であるか第2の符号化方法であるかを判定してもよい。
図21は、第1の復号部4640による復号処理を示すフローチャートである。また、同図の処理は、主に、図8に示す逆多重化部4641により行われる。
なお、同図の処理は、PCCデータを第1の符号化方法、及び第2の符号化方法のいずれか一方で符号化する例を示している。また、この方式では、第1の復号部4640に含まれる逆多重化部4641は、NALユニットヘッダに含まれる情報を参照して、NALユニットのコーデックタイプを識別できる。よって、逆多重化部4641は、コーデックタイプに応じて必要な情報を位置情報復号部4642及び属性情報復号部4643に出力できる。
まず、第1の復号部4640は、NALユニットを受信する(S4621)。例えば、このNALユニットは、上述した符号化部4613における処理で生成されたものである。つまり、このNALユニットのヘッダは、pcc_codec_type及びpcc_nal_unit_typeを含む。
次に、第1の復号部4640は、NALユニットヘッダに含まれるpcc_codec_typeが第1の符号化方法を示すか、第2の符号化方法を示すかを判定する(S4622)。
pcc_codec_typeが第2の符号化方法を示す場合(S4622で第2の符号化方式)、第1の復号部4640は、NALユニットのペイロードに含まれるデータが、第2の符号化方法を用いて符号化されたデータであると判断する(S4623)。この場合、第1の復号部4640は、当該NALユニットは処理しない(S4624)。
一方、pcc_codec_typeが第1の符号化方法を示す場合(S4622で第1の符号化方法)、第1の復号部4640は、NALユニットのペイロードに含まれるデータが第1の符号化方法で符号化されたデータであると判断する(S4625)。そして、第1の復号部4640は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、第1の符号化方法用のNALユニットの識別子であるとしてデータを識別する(S4626)。そして、第1の復号部4640は、第1の符号化方法の復号処理を用いてPCCデータを復号する(S4627)。
(実施の形態2)
本実施の形態では、NALユニットの定義の別の手法について説明する。本実施の形態では、NALユニットとしてPCCコーデック毎に異なるフォーマットを定義する。さらに、PCCコーデック毎に独立にNALユニットの識別子を定義する。
図22は、この場合のプロトコルスタックを示す図である。図23は、コーデック2用のNALユニット(codec2_nal_unit)のシンタックス例を示す図である。図24は、コーデック2用のNALユニットヘッダ(codec2_nal_unit_header)のシンタックス例を示す図である。図25は、codec2_nal_unit_typeのセマンティクス例を示す図である。
図26は、コーデック1用のNALユニット(codec1_nal_unit)のシンタックス例を示す図である。図27は、コーデック1用のNALユニットヘッダ(codec1_nal_unit_header)のシンタックス例を示す図である。図28は、codec1_nal_unit_typeのセマンティクス例を示す図である。
NALユニットフォーマットとして、PCCコーデック毎に独立にNALユニットフォーマットが定義される。NALユニット(codec1_nal_unit、codec2_nal_unit)は、ヘッダ(codec1_nal_unit_header、codec2_nal_unit_header)、ペイロード(codec1_nal_unit_payload、codec2_nal_unit_payload)、及びトレイリングビット(trailing_bits)を含む。第1の符号化方法用のNALユニット(codec1_nal_unit)と第2の符号化方法用のNALユニット(codec2_nal_unit)は、同じ構成でもよいし、異なる構成でもよい。第1の符号化方法用のNALユニットと第2の符号化方法用のNALユニットとのサイズが異なってもよい。
第1の符号化方法で符号化されたデータは第1の符号化方法用のNALユニットに格納される。第2の符号化方法で符号化されたデータは第2の符号化方法用のNALユニットに格納される。
NALユニットヘッダ(codec1_nal_unit_header、codec2_nal_unit_header)には、NALユニットタイプ(codec1_nal_unit_type、codec2_nal_unit_type)が格納される。NALユニットタイプは、コーデック毎に独立であり、コーデック毎にタイプが定義される。つまり、第1の符号化方法用のNALユニットには、第1の符号化方法用に定義されたNALユニットタイプが記載される。第2の符号化方法用のNALユニットには、第2の符号化方法用に定義されたNALユニットタイプが記載される。
本方式を用いることで、第1の符号化方法と第2の符号化方法とを、異なるコーデックとして扱うことができる。
次に、本実施の形態に係る符号化処理について説明する。図29は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記定義を用いた場合の第1の符号化部4630又は第2の符号化部4650の処理を示す。また、同図の処理は、主に、図6に示す多重化部4634又は図10に示す多重化部4656により行われる。
なお、同図の処理は、PCCデータを第1の符号化方法、及び第2の符号化方法のいずれか一方で符号化する例を示しており、どちらのPCCコーデックで符号化するかは既知であるものとする。例えば、いずれのPCCコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
まず、符号化部4613は、PCCデータを第1の符号化方法、及び第2の符号化方法のいずれかのコーデックを用いて符号化する(S4631)。
使用したコーデックが第2の符号化方法である場合(S4632で第2の符号化方法)、符号化部4613は、第2の符号化方法用のNALユニットフォーマットでNALユニットを生成する(S4633)。次に、符号化部4613は、NALユニットヘッダに含まれるcodec2_nal_unit_typeに第2の符号化方法用のNALユニットの識別子を設定する(S4634)。そして、符号化部4613は、設定したNALユニットヘッダを有し、ペイロードに符号化データを含むNALユニットを生成する。そして、符号化部4613は、生成したNALユニットを送信する(S4635)。
一方、使用したコーデックが第1の符号化方法である場合(S4632で第1の符号化方法)、符号化部4613は、第1の符号化方法用のNALユニットフォーマットでNALユニットを生成する(S4636)。次に、符号化部4613は、NALユニットヘッダのcodec1_nal_unit_typeに第1の符号化方法用のNALユニットの識別子を設定する(S4637)。そして、符号化部4613は、設定したNALユニットヘッダを有し、ペイロードに符号化データを含むNALユニットを生成する。そして、符号化部4613は、生成したNALユニットを送信する(S4635)。
次に、本実施の形態に係る復号処理について説明する。図30は、本実施の形態に係る復号処理のフローチャートである。同図の処理は、上記定義を用いた場合の第1の復号部4640又は第2の復号部4660の処理を示す。なお、以下では第1の復号部4640又は第2の復号部4660を区別せずに復号部4624とも記す。また、同図の処理は、主に、図8に示す逆多重化部4641又は図12に示す逆多重化部4661により行われる。
なお、同図の処理は、PCCデータを第1の符号化方法、及び第2の符号化方法のいずれか一方で符号化する例を示しており、どちらのPCCコーデックで符号化されているかは既知であるものとする。例えば、使用されているコーデックを示す情報が伝送信号、多重化データ、又は符号化データに含まれており、復号部4624は、当該情報を参照して使用されているコーデックを判定する。なお、復号部4624は、これらの信号とは別に取得した信号に基づき、使用されているコーデックを判定してもよい。
使用されているコーデックが第2の符号化方法である場合(S4641で第2の符号化方法)、復号部4624は、第2の符号化方法用フォーマットのNALユニットを受信する(S4642)。次に、復号部4624は、NALユニットが第2の符号化方法用であるとして、第2の符号化方法用のNALユニットフォーマット及び第2の符号化方法用のcodec2_nal_unit_typeを用いてデータを識別する(S4643)。次に、復号部4624は、第2の符号化方法の復号処理を用いてPCCデータを復号する(S4644)。
一方、使用されているコーデックが第1の符号化方法である場合(S4641で第1の符号化方法)、復号部4624は、第1の符号化方法用フォーマットのNALユニットを受信する(S4645)。次に、復号部4624は、NALユニットが第1の符号化方法用であるとして、第1の符号化方法用のNALユニットフォーマット及び第1の符号化方法用のcodec1_nal_unit_typeを用いてデータを識別する(S4646)。次に、復号部4624は、第1の符号化方法の復号処理を用いてPCCデータを復号する(S4747)。
(実施の形態3)
本実施の形態では、NALユニットの定義の別の手法について説明する。本実施の形態では、NALユニットとしてPCCコーデック共通のフォーマットを定義する。また、PCCコーデック共通のNALユニットの識別子を定義する。
図31は、この場合のプロトコルスタックを示す図である。図32〜図34は、コーデック共通のNALユニットフォーマットの例を示す図である。図32は、共通PCC NALユニット(Common PCC NAL Unit)のシンタックス例を示す図である。図33は、共通PCC NALユニットヘッダ(Common PCC NAL Unit Header)のシンタックス例を示す図である。図34は、pcc_codec_typeのセマンティクス例を示す図である。
NALユニットフォーマットとして、PCCコーデック共通のNALユニットフォーマットが定義される。NALユニット(pcc_nal_unit)は、ヘッダ(pcc_nal_unit_header)、ペイロード(pcc_nal_unit_payload)、及びトレイリングビット(trailing_bits)を含む。第1の符号化方法と第2の符号化方法のいずれのコーデックのデータが格納される場合にも、同じフォーマットが使用される。
NALユニットヘッダ(pcc_nal_unit_header)には、NALユニットタイプ(pcc_nal_unit_type)が格納される。NALユニットタイプは、コーデック共通であり、コーデック共通のタイプが定義される。つまり、第1の符号化方法用のNALユニット、第2の符号化方法用のNALユニットともに、共通に定義されたNALユニットタイプが記載される。図34に示す例において、例えば、PCC DataAは、コーデック1の符号化データであり、PCC DataBは、コーデック2の符号化データであり、PCC MetaDataAは、コーデック1の付加情報であり、PCC MetaDataBは、コーデック2の付加情報である。
本方式を用いることで、第1の符号化方法と第2の符号化方法とを、同じコーデックとして扱うことができる。
次に、本実施の形態に係る符号化処理について説明する。図35は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記の定義を用いた場合の第1の符号化部4630又は第2の符号化部4650の処理を示す。また、同図の処理は、主に、図6に示す多重化部4634又は図10に示す多重化部4656により行われる。
なお、同図の処理は、PCCデータを第2の符号化方法、及び第1の符号化方法のいずれか一方で符号化する例を示しており、どちらのPCCコーデックで符号化するかは既知であるものとする。例えば、いずれのPCCコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
まず、符号化部4613は、PCCデータを第2の符号化方法、及び第1の符号化方法のいずれかのコーデックを用いて符号化する(S4651)。次に、符号化部4613は、PCC共通のNALユニットフォーマットでNALユニットを生成する(S4652)。
次に、符号化部4613は、NALユニットヘッダに含まれるpcc_nal_unit_typeにPCC共通のNALユニットの識別子を設定する(S4653)。次に、設定したNALユニットヘッダを有し、ペイロードに符号化データを含むNALユニットを送信する(S4654)。
次に、本実施の形態に係る復号処理について説明する。図36は、本実施の形態に係る復号処理のフローチャートである。同図の処理は、上記定義を用いた場合の第1の復号部4640又は第2の復号部4660の処理を示す。また、同図の処理は、主に、図8に示す逆多重化部4641又は図12に示す逆多重化部4661により行われる。
なお、同図の処理は、PCCデータを第2の符号化方法、及び第1の符号化方法のいずれか一方で符号化する例を示している。
まず、復号部4624は、NALユニットに含まれるデータの符号化に使用されているコーデックを判定する(S4661)。例えば、復号部4624は、NALユニットヘッダに含まれるpcc_nal_unit_typeを参照することで、使用されているコーデックを判定する。
使用されているコーデックが第2の符号化方法である場合(S4661で第2の符号化方法)、復号部4624は、PCC共通のフォーマットのNALユニットを受信する(S4662)。次に、復号部4624は、NALユニットは共通であるとして、共通のNALユニットフォーマット及び共通のpcc_nal_unit_typeを用いてデータを識別する(S4663)。次に、復号部4624は、第2の符号化方法の復号処理を用いてPCCデータを復号する(S4664)。
一方、使用されているコーデックが第1の符号化方法である場合(S4661で第1の符号化方法)、復号部4624は、PCC共通のフォーマットのNALユニットを受信する(S4665)。次に、復号部4624は、NALユニットは共通であるとして、共通のNALユニットフォーマット及び共通のpcc_nal_unit_typeを用いてデータを識別する(S4666)。次に、復号部4624は、第1の符号化方法の復号処理を用いてPCCデータを復号する(S4667)。
以下、上記の実施の形態1〜実施の形態3の変形例について説明する。PCCコーデックタイプを示すその他の方法として以下の方法を用いてもよい。
実施の形態1、実施の形態2、及び実施の形態3では、第1の符号化方法と第2の符号化方法との2つのコーデックが混在する場合を説明したが、PCCコーデックが3つ以上である場合も上記の手法を適用可能である。
また、実施の形態1及び実施の形態3では、NALユニットヘッダ内でPCCコーデックの識別情報(実施の形態1におけるpcc_codec_type、及び、実施の形態3bにおけるpcc_nal_unit_type)を記載したが、コーデックの識別情報を他の場所に格納してもよい。
また、第1の符号化方法及び第2の符号化方法は、上記の例に限定されず、任意のコーデックであってもよい。例えば、第1の符号化方法及び第2の符号化方法は、GPCCを細分化した複数のコーデックであってもよいし、VPCCを細分化した複数のコーデックであってもよい。例えば、第1の符号化方法及び第2の符号化方法は、共にVPCCであり、用いられる映像符号方式が異なってもよい。映像符号化方式は、例えば、AVC又はHEVCであってもよい。また、第1の符号化方法及び第2の符号化方法のいずれか一方またはその両方は、映像、音声、テキストアプリケーションなど、その他の符号化方式を含む符号化方法であってもよい。
例えば、コーデックの識別情報は、PCC符号化ストリームに含まれる制御情報に含まれてもよい。ここで制御情報とは、例えば、パラメータセット、又はSEI(Supplemental Enhancement Information)などのメタデータ等である。
図37は、この場合における符号化部4613による符号化処理のフローチャートである。まず、符号化部4613は、PCCデータを符号化し(S4671)、符号化データ内の所定の位置(例えばパラメータセット)にPCCコーデックの識別情報を記載する(S4672)。次に、符号化部4613は、符号化データを含むNALユニットを生成し、生成したNALユニットを送信する(S4673)。
また、PCCコーデックの識別情報がprofileと定義しされ、PCCコーデックの識別情報がメタデータに示されてもよい。また、シーケンス全体に同一のコーデックが用いられている場合、シーケンスパラメータセットに、PCCコーデックの識別情報が含まれてもよい。また、PCCフレーム毎に異なるコーデックで符号化されている場合、フレーム毎の情報を記載するパラメータセットに、PCCコーデックの識別情報が含まれてもよい。例えば、位置情報と属性情報とでコーデックが違う場合のようにPCCのデータ毎に異なるコーデックが用いられる場合、データ毎の情報を記載するパラメータセットに、PCCコーデックの識別情報が含まれてもよい。つまり、位置情報のコーデックを示す情報が位置情報の制御情報(パラメータセット等)に含まれ、属性情報のコーデックを示す情報が属性情報の制御情報(パラメータセット等)に含まれてもよい。
なお、コーデックの識別情報は、上記のいずれかに格納されてもよいし、複数の位置に格納されてもよい。例えば、コーデックの識別情報は、符号化ストリーム内と、NALユニットヘッダとの両方に格納されてもよい。また、複数の位置にコーデックの識別情報が格納される場合、複数の位置に、同一の情報が格納されてもよいし、異なる情報が格納されてもよい。異なる情報とは、例えば、GPCC又はVPCCを示す情報と、GPCC又はVPCCを細分化した複数のコーデックのいずれかを示す情報とである。
復号部4624に含まれる逆多重化部4641又は4661は、NALユニットにパラメータセットが含まれる場合には、パラメータセットの中の記載を解析することにより、NALユニットのペイロードに含まれるデータが第1の符号化方法で符号化されたデータであるか第2の符号化方法で符号化されたデータであるかを判断できる。これにより、復号部4624は、復号に必要のないNALユニットを早くフィルタリングできる。
図38は、この場合の復号部4624による復号処理のフローチャートである。まず、復号部4624は、NALユニットを受信し(S4675)、NALユニットヘッダに含まれるpcc_nal_unit_typeを用いてPCCコーデックの識別情報が記載される所定のデータ(例えば上記パラメータセット)を識別する(S4676)。次に、復号部4624は、所定のデータ(例えばパラメータセット)を解析することで所定のデータ内に示されるPCCコーデックを識別する(S4677)。次に、復号部4624は、識別したPCCコーデックを用いて符号化データを復号する(S4678)。
また、上記では、符号化ストリームがNALユニットに格納される例を示したが、NALユニットの代わりに予め定められた方式の単位(ユニット)が用いられてもよい。
(実施の形態4)
本実施の形態では、上述した第1の符号化部4630及び第2の符号化部4650の両方の機能を持つ符号化部4670、並びに、第1の復号部4640及び第2の復号部4660の両方の機能を持つ復号部4680について説明する。
図39は、本実施の形態に係る符号化部4670のブロック図である。この符号化部4670は、上述した第1の符号化部4630及び第2の符号化部4650と、多重化部4671とを含む。多重化部4671は、第1の符号化部4630で生成された符号化データと第2の符号化部4650で生成された符号化データとを多重化し、得られた符号化データを出力する。
図40は、本実施の形態に係る復号部4680のブロック図である。この復号部4680は、上述した第1の復号部4640及び第2の復号部4660と、逆多重化部4681とを含む。逆多重化部4681は、入力された符号化データから、第1の符号化方法が用いられている符号化データと、第2の符号化方法が用いられている符号化データとを抽出する。逆多重化部4681は、第1の符号化方法が用いられている符号化データを第1の復号部4640に出力し、第2の符号化方法が用いられている符号化データを第2の復号部4660に出力する。
上記の構成により、符号化部4670は、第1の符号化方法及び第2の符号化方法を選択的に用いて点群データを符号化することができる。また、復号部4680は、第1の符号化方式を用いて符号化された符号化データ、第2の符号化方式を用いて符号化された符号化データ、及び、第1の符号化方式と第2の符号化方式との両方を用いて符号化された符号化データを復号できる。
例えば、符号化部4670は、点群データ単位、又はフレーム単位で符号化方法(第1の符号化方法及び第2の符号化方法)を切り替えてもよい。また、符号化部4670は、符号化可能な単位で符号化方法を切り替えてもよい。
符号化部4670は、例えば、上記実施の形態1又は実施の形態3で説明した、PCCコーデックの識別情報を含む符号化データ(符号化ストリーム)を生成する。
復号部4680に含まれる逆多重化部4681は、例えば、実施の形態1又は実施の形態3で説明した、PCCコーデックの識別情報を用いて、データを識別する。逆多重化部4681は、当該データが第1の符号化方法で符号化されたデータである場合には、第1の復号部4640に当該データを出力し、当該データが第2の符号化方法で符号化されたデータである場合には、当該データを第2の復号部4660に出力する。
なお、符号化部4670は、PCCコーデックの識別情報以外にも、両方の符号化方法を用いたか、いずれか一方の符号化方法を用いたかを示す情報を制御情報として送出してもよい。
次に、本実施の形態に係る符号化処理について説明する。図41は、本実施の形態に係る符号化処理のフローチャートである。実施の形態1、実施の形態2、実施の形態3、及び変形例で説明した、PCCコーデックの識別情報を用いることにより、複数コーデックに対応した符号化処理が可能となる。なお、図41は、実施の形態1の手法を用いた場合の例を示すが、他の手法に対しても同様の処理が適用できる。
まず、符号化部4670は、PCCデータを第1の符号化方法、第2の符号化方法のいずれか一方又は両方のコーデックで符号化する(S4681)。
使用したコーデックが第2の符号化方法である場合(S4682で第2の符号化方法)、符号化部4670は、NALユニットヘッダに含まれるpcc_codec_typeをNALユニットのペイロードに含まれるデータが第2の符号化方法で符号化されたデータであることを示す値に設定する(S4683)。次に、符号化部4670は、NALユニットヘッダのpcc_nal_unit_typeに第2の符号化方法用のNALユニットの識別子を設定する(S4684)。そして、符号化部4670は、設定したNALユニットヘッダを有し、ペイロードに符号化データを含むNALユニットを生成する。そして、符号化部4670は、生成したNALユニットを送信する(S4685)。
一方、使用したコーデックが第1の符号化方法である場合(S4682で第1の符号化方法)、符号化部4670は、NALユニットヘッダに含まれるpcc_codec_typeをNALユニットのペイロードに含まれるデータが第1の符号化方法で符号化されたデータであることを示す値に設定する(S4686)。次に、符号化部4670は、NALユニットヘッダに含まれるpcc_nal_unit_typeに第1の符号化方法用のNALユニットの識別子を設定する(S4687)。次に、符号化部4670は、設定したNALユニットヘッダを有し、ペイロードに符号化データを含むNALユニットを生成する。そして、符号化部4670は、生成したNALユニットを送信する(S4685)。
次に、本実施の形態に係る復号処理について説明する。図42は、本実施の形態に係る復号処理のフローチャートである。実施の形態1、実施の形態2、実施の形態3、及び変形例で説明した、PCCコーデックの識別情報を用いることにより、複数コーデックに対応した復号処理が可能となる。なお、図42は、実施の形態1の手法を用いた場合の例を示すが、他の手法に対しても同様の処理が適用できる。
まず、復号部4680は、NALユニットを受信する(S4691)。例えば、このNALユニットは、上述した符号化部4670における処理で生成されたものである。
次に、復号部4680は、NALユニットヘッダに含まれるpcc_codec_typeが第1の符号化方法を示すか、第2の符号化方法を示すかを判定する(S4692)。
pcc_codec_typeが第2の符号化方法を示す場合(S4692で第2の符号化方法)、復号部4680は、NALユニットのペイロードに含まれるデータが第2の符号化方法で符号化されたデータであると判断する(S4693)。そして、第2の復号部4660は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、第2の符号化方法用のNALユニットの識別子であるとしてデータを識別する(S4694)。そして、復号部4680は、第2の符号化方法の復号処理を用いてPCCデータを復号する(S4695)。
一方、pcc_codec_typeが第1の符号化方法を示す場合(S4692で第1の符号化方法)、復号部4680は、NALユニットのペイロードに含まれるデータが第1の符号化方法で符号化されたデータであると判断する(S4696)。そして、復号部4680は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、第1の符号化方法用のNALユニットの識別子であるとしてデータを識別する(S4697)。そして、復号部4680は、第1の符号化方法の復号処理を用いてPCCデータを復号する(S4698)。
以上のように、本開示の一態様に係る三次元データ符号化装置は、三次元データ(例えば点群データ)を符号化することで符号化ストリームを生成し(例えば、図37のS4671)、前記符号化ストリームの制御情報(例えば、パラメータセット)に、第1符号化方式と第2符号化方式のうち、前記符号化に用いた符号化方式を示す情報(例えば、コーデックの識別情報)を格納する(例えば、図37のS4672)。
これによれば、三次元データ復号装置は、当該三次元データ符号化装置で生成された符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方式を判定できる。よって、三次元データ復号装置は、複数の符号化方式が用いられる場合においても正しく符号化ストリームを復号できる。
例えば、前記三次元データは、位置情報を含む。三次元データ符号化装置は、前記符号化では、前記位置情報を符号化する。三次元データ符号化装置は、前記格納では、前記位置情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いた符号化方式を示す情報を格納する。
例えば、前記三次元データは、位置情報と属性情報とを含む。三次元データ符号化装置は、前記符号化では、前記位置情報と前記属性情報とを符号化する。三次元データ符号化装置は、前記格納では、前記位置情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いた符号化方式を示す情報を格納し、前記属性情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記属性情報の符号化に用いた符号化方式を示す情報を格納する。
これによれば、位置情報と属性情報とに異なる符号化方式を用いることができるので、符号化効率を向上できる。
例えば、前記三次元データ符号化方法は、さらに、前記符号化ストリームを1以上のユニット(例えば、NALユニット)に格納する(例えば、図37のS4673)。
例えば、実施の形態1の図15〜図18で説明したように、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報(例えば、pcc_nal_unit_type)を含む。
例えば、実施の形態2の図23〜図28で説明したように、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報(例えば、codec1_nal_unit_type又はcodec2_nal_unit_type)を含む。
例えば、実施の形態3の図32〜図34で説明したように、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで共通した定義を有する情報(例えば、pcc_nal_unit_type)を含む。
例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
また、本実施の形態に係る三次元データ復号装置は、三次元データを符号化することで生成された符号化ストリームの制御情報(例えば、パラメータセット)に含まれる、第1符号化方式と第2符号化方式のうち、前記三次元データの符号化に用いられた符号化方式を示す情報(例えば、コーデックの識別情報)に基づき、符号化ストリームの符号化に用いられた符号化方式を判定し(例えば、図38のS4677)、判定した前記符号化方式を用いて前記符号化ストリームを復号する(例えば、図38のS4678)。
これによれば、三次元データ復号装置は、符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方式を判定できる。よって、三次元データ復号装置は、複数の符号化方式が用いられる場合においても正しく符号化ストリームを復号できる。
例えば、前記三次元データは、位置情報を含み、前記符号化ストリームは、前記位置情報の符号化データを含む。三次元データ復号装置は、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いられた符号化方式を示す情報に基づき、前記位置情報の符号化に用いられた符号化方式を判定する。三次元データ復号装置は、前記復号では、判定した前記位置情報の符号化に用いられた符号化方式を用いて前記位置情報の符号化データを復号する。
例えば、前記三次元データは、位置情報と属性情報とを含み、前記符号化ストリームは、前記位置情報の符号化データと前記属性情報の符号化データとを含む。三次元データ復号装置は、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いられた符号化方式を示す情報に基づき、前記位置情報の符号化に用いられた符号化方式を判定し、前記符号化ストリームに含まれる前記属性情報の制御情報に含まれる、前記第1符号化方式と前記第2符号化方式のうち、前記属性情報の符号化に用いられた符号化方式を示す情報に基づき、前記属性情報の符号化に用いられた符号化方式を判定する。三次元データ復号装置は、前記復号では、判定した前記位置情報の符号化に用いられた符号化方式を用いて前記位置情報の符号化データを復号し、判定した前記属性情報の符号化に用いられた符号化方式を用いて前記属性情報の符号化データを復号する。
これによれば、位置情報と属性情報とに異なる符号化方式を用いることができるので、符号化効率を向上できる。
例えば、前記符号化ストリームは1以上のユニット(例えば、NALユニット)に格納されており、三次元データ復号装置は、さらに、前記1以上のユニットから前記符号化ストリームを取得する。
例えば、実施の形態1の図15〜図18で説明したように、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報(例えば、pcc_nal_unit_type)を含む。
例えば、実施の形態2の図23〜図28で説明したように、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報(例えば、codec1_nal_unit_type又はcodec2_nal_unit_type)を含む。
例えば、実施の形態3の図32〜図34で説明したように、前記ユニットは、前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで共通した定義を有する情報(例えば、pcc_nal_unit_type)を含む。
例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
以上、本開示の実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示は、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、一つまたは複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、三次元データ符号化装置及び三次元データ復号装置に適用できる。
4601 三次元データ符号化システム
4602 三次元データ復号システム
4603 センサ端末
4604 外部接続部
4611 点群データ生成システム
4612 提示部
4613 符号化部
4614 多重化部
4615 入出力部
4616 制御部
4617 センサ情報取得部
4618 点群データ生成部
4621 センサ情報取得部
4622 入出力部
4623 逆多重化部
4624 復号部
4625 提示部
4626 ユーザインタフェース
4627 制御部
4630 第1の符号化部
4631 位置情報符号化部
4632 属性情報符号化部
4633 付加情報符号化部
4634 多重化部
4640 第1の復号部
4641 逆多重化部
4642 位置情報復号部
4643 属性情報復号部
4644 付加情報復号部
4650 第2の符号化部
4651 付加情報生成部
4652 位置画像生成部
4653 属性画像生成部
4654 映像符号化部
4655 付加情報符号化部
4656 多重化部
4660 第2の復号部
4661 逆多重化部
4662 映像復号部
4663 付加情報復号部
4664 位置情報生成部
4665 属性情報生成部
4670 符号化部
4671 多重化部
4680 復号部
4681 逆多重化部

Claims (16)

  1. 三次元データを符号化することで符号化ストリームを生成し、
    前記符号化ストリームの制御情報に、第1符号化方式と第2符号化方式のうち、前記符号化に用いた符号化方式を示す情報を格納する
    三次元データ符号化方法。
  2. 前記三次元データは、位置情報を含み、
    前記符号化では、前記位置情報を符号化し、
    前記格納では、
    前記位置情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いた符号化方式を示す情報を格納する
    請求項1記載の三次元データ符号化方法。
  3. 前記三次元データは、位置情報と属性情報とを含み、
    前記符号化では、前記位置情報と前記属性情報とをそれぞれ符号化し、
    前記格納では、
    前記位置情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いた符号化方式を示す情報を格納し、
    前記属性情報の制御情報に、前記第1符号化方式と前記第2符号化方式のうち、前記属性情報の符号化に用いた符号化方式を示す情報を格納する
    請求項1記載の三次元データ符号化方法。
  4. 前記三次元データ符号化方法は、さらに、
    前記符号化ストリームを1以上のユニットに格納する
    請求項1〜3のいずれか1項に記載の三次元データ符号化方法。
  5. 前記ユニットは、
    前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、
    前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報を含む
    請求項4記載の三次元データ符号化方法。
  6. 前記ユニットは、
    前記第1符号化方式と前記第2符号化方式とで独立したフォーマットを有し、
    前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報を含む
    請求項4記載の三次元データ符号化方法。
  7. 前記ユニットは、
    前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、
    前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで共通した定義を有する情報を含む
    請求項4記載の三次元データ符号化方法。
  8. 三次元データを符号化することで生成された符号化ストリームの制御情報に含まれる、第1符号化方式と第2符号化方式のうち、前記三次元データの符号化に用いられた符号化方式を示す情報に基づき、符号化ストリームの符号化に用いられた符号化方式を判定し、
    判定した前記符号化方式を用いて前記符号化ストリームを復号する
    三次元データ復号方法。
  9. 前記三次元データは、位置情報を含み、
    前記符号化ストリームは、前記位置情報の符号化データを含み、
    前記判定では、
    前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いられた符号化方式を示す情報に基づき、前記位置情報の符号化に用いられた符号化方式を判定し、
    前記復号では、
    判定した前記位置情報の符号化に用いられた符号化方式を用いて前記位置情報の符号化データを復号する
    請求項8記載の三次元データ復号方法。
  10. 前記三次元データは、位置情報と属性情報とを含み、
    前記符号化ストリームは、前記位置情報の符号化データと前記属性情報の符号化データとを含み、
    前記判定では、
    前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第1符号化方式と前記第2符号化方式のうち、前記位置情報の符号化に用いられた符号化方式を示す情報に基づき、前記位置情報の符号化に用いられた符号化方式を判定し、
    前記符号化ストリームに含まれる前記属性情報の制御情報に含まれる、前記第1符号化方式と前記第2符号化方式のうち、前記属性情報の符号化に用いられた符号化方式を示す情報に基づき、前記属性情報の符号化に用いられた符号化方式を判定し、
    前記復号では、
    判定した前記位置情報の符号化に用いられた符号化方式を用いて前記位置情報の符号化データを復号し、
    判定した前記属性情報の符号化に用いられた符号化方式を用いて前記属性情報の符号化データを復号する
    請求項8記載の三次元データ復号方法。
  11. 前記符号化ストリームは1以上のユニットに格納されており、
    前記三次元データ復号方法は、さらに、
    前記1以上のユニットから前記符号化ストリームを取得する
    請求項8〜10のいずれか1項に記載の三次元データ復号方法。
  12. 前記ユニットは、
    前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、
    前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報を含む
    請求項11記載の三次元データ復号方法。
  13. 前記ユニットは、
    前記第1符号化方式と前記第2符号化方式とで独立したフォーマットを有し、
    前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで独立した定義を有する情報を含む
    請求項11記載の三次元データ復号方法。
  14. 前記ユニットは、
    前記第1符号化方式と前記第2符号化方式とで共通したフォーマットを有し、
    前記ユニットに含まれるデータの種別を示す情報であって、前記第1符号化方式と前記第2符号化方式とで共通した定義を有する情報を含む
    請求項11記載の三次元データ復号方法。
  15. 属性情報を有する複数の三次元点を符号化する三次元データ符号化装置であって、
    プロセッサと、
    メモリとを備え、
    前記プロセッサは、前記メモリを用いて、
    三次元データを符号化することで符号化ストリームを生成し、
    前記符号化ストリームの制御情報に、第1符号化方式と第2符号化方式のうち、前記符号化に用いた符号化方式を示す情報を格納する
    三次元データ符号化装置。
  16. 属性情報を有する複数の三次元点を復号する三次元データ復号装置であって、
    プロセッサと、
    メモリとを備え、
    前記プロセッサは、前記メモリを用いて、
    三次元データを符号化することで生成された符号化ストリームの制御情報に含まれる、第1符号化方式と第2符号化方式のうち、前記三次元データの符号化に用いられた符号化方式を示す情報に基づき、符号化ストリームの符号化に用いられた符号化方式を判定し、
    判定した前記符号化方式を用いて前記符号化ストリームを復号する
    三次元データ復号装置。
JP2020534769A 2018-08-03 2019-08-02 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 Active JP7436364B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024017637A JP2024040321A (ja) 2018-08-03 2024-02-08 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862714374P 2018-08-03 2018-08-03
US62/714,374 2018-08-03
PCT/JP2019/030438 WO2020027317A1 (ja) 2018-08-03 2019-08-02 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024017637A Division JP2024040321A (ja) 2018-08-03 2024-02-08 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Publications (2)

Publication Number Publication Date
JPWO2020027317A1 true JPWO2020027317A1 (ja) 2021-08-02
JP7436364B2 JP7436364B2 (ja) 2024-02-21

Family

ID=69230871

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020534769A Active JP7436364B2 (ja) 2018-08-03 2019-08-02 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2024017637A Pending JP2024040321A (ja) 2018-08-03 2024-02-08 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024017637A Pending JP2024040321A (ja) 2018-08-03 2024-02-08 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Country Status (6)

Country Link
US (1) US20210112111A1 (ja)
EP (1) EP3832603A4 (ja)
JP (2) JP7436364B2 (ja)
KR (1) KR20210040958A (ja)
CN (1) CN112334948A (ja)
WO (1) WO2020027317A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032004A1 (ja) * 2018-08-06 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置
CN113016184B (zh) * 2018-09-14 2023-07-07 华为技术有限公司 点云译码中属性支持的改进
WO2023025980A1 (en) * 2021-08-26 2023-03-02 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018016168A1 (ja) * 2016-07-19 2018-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法、三次元データ送信方法、三次元データ作成装置及び三次元データ送信装置
WO2018083999A1 (ja) * 2016-11-01 2018-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法及び表示装置
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3009651B1 (ja) * 1998-10-06 2000-02-14 彰 川中 3次元データを圧縮する方法、復元方法
JP2003187266A (ja) * 2001-12-19 2003-07-04 Ricoh Co Ltd 3次元形状処理装置およびデータ処理方法
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
EP2730089A4 (en) * 2011-07-08 2015-06-17 Thomson Licensing SYSTEM AND METHOD FOR CODING AND DECODING A BITSTROM FOR A 3D MODEL WITH REPETITIVE STRUCTURE
US9390110B2 (en) * 2012-05-02 2016-07-12 Level Set Systems Inc. Method and apparatus for compressing three-dimensional point cloud data
JP5762637B2 (ja) 2012-07-30 2015-08-12 三菱電機株式会社 地図表示装置
CN112438047B (zh) * 2018-06-26 2022-08-09 华为技术有限公司 用于点云译码的高级语法设计
US11653007B2 (en) * 2018-07-15 2023-05-16 V-Nova International Limited Low complexity enhancement video coding
US11210812B2 (en) * 2019-05-15 2021-12-28 Samsung Electronics Co., Ltd. Single-pass boundary detection in video-based point cloud compression

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018016168A1 (ja) * 2016-07-19 2018-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法、三次元データ送信方法、三次元データ作成装置及び三次元データ送信装置
WO2018083999A1 (ja) * 2016-11-01 2018-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法及び表示装置
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置

Also Published As

Publication number Publication date
CN112334948A (zh) 2021-02-05
WO2020027317A1 (ja) 2020-02-06
KR20210040958A (ko) 2021-04-14
JP7436364B2 (ja) 2024-02-21
US20210112111A1 (en) 2021-04-15
EP3832603A1 (en) 2021-06-09
JP2024040321A (ja) 2024-03-25
EP3832603A4 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
US11423581B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP2024026525A (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7512201B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7517987B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2024040321A (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11750844B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP2024040308A (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11856154B2 (en) Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150