本開示の一態様に係る三次元データ符号化方法は、複数の三次元点を含む対象フレームを複数の処理単位に分割し、前記複数の処理単位を符号化することでビットストリームを生成し、前記ビットストリームに含まれるフレーム単位の制御情報は、(i)前記対象フレームに含まれる前記複数の処理単位のいずれかに、位置情報が同じ複数の三次元点である重複点が存在するか、(ii)前記複数の処理単位のいずれにも前記重複点が存在しないか、を示す第1情報を含む。
これによれば、フレーム単位で重複点の有無を通知できるのでビットストリームのデータ量を削減できる。
例えば、前記複数の処理単位の符号化は量子化処理を含み、前記フレーム単位の前記制御情報は、さらに、前記量子化処理に用いる量子化パラメータとして、前記複数の処理単位に対して同一のパラメータを用いるか、個別のパラメータを用いるか、を示す第2情報を含んでもよい。
これによれば、フレーム単位で量子化パラメータを設定するか否か通知できるのでビットストリームのデータ量を削減できる。
例えば、前記複数の処理単位は、空間的に重複する2つの処理単位を含み、前記ビットストリームは、前記2つの処理単位が重複する領域において、位置情報が同じ複数の三次元点であって、かつ、異なる処理単位に属する複数の三次元点が存在するか否かを示す第3情報を含んでもよい。
これによれば、三次元データ復号装置は、第3情報を用いて、処理単位が重複する領域における重複点の有無に応じて処理内容を制御できる。よって、三次元データ復号装置における処理負荷を低減できる。
本開示の一態様に係る三次元データ復号方法は、複数の三次元点を含む対象フレームが分割された複数の処理単位が符号化されることで生成されたビットストリームを取得し、前記ビットストリームから前記複数の処理単位を復号し、前記ビットストリームに含まれるフレーム単位の制御情報は、(i)前記対象フレームに含まれる前記複数の処理単位のいずれかに、位置情報が同じ複数の三次元点である重複点が存在するか、(ii)前記複数の処理単位のいずれにも前記重複点が存在しないか、を示す第1情報を含み、前記複数の処理単位の復号では、前記第1情報を用いて前記複数の処理単位を復号する。
これによれば、フレーム単位で重複点の有無を通知できるのでビットストリームのデータ量を削減できる。
例えば、前記複数の処理単位の復号は逆量子化処理を含み、前記フレーム単位の前記制御情報は、さらに、前記逆量子化処理に用いる量子化パラメータとして、前記複数の処理単位に対して同一のパラメータを用いるか、個別のパラメータを用いるか、を示す第2情報を含む。
これによれば、フレーム単位で量子化パラメータを設定するか否か通知できるのでビットストリームのデータ量を削減できる。
例えば、前記複数の処理単位は、空間的に重複する2つの処理単位を含み、前記ビットストリームは、前記2つの処理単位が重複する領域において、位置情報が同じ複数の三次元点であって、かつ、異なる処理単位に属する複数の三次元点が存在するか否かを示す第3情報を含む。
これによれば、三次元データ復号装置は、第3情報を用いて、処理単位が重複する領域における重複点の有無に応じて処理内容を制御できる。よって、三次元データ復号装置における処理負荷を低減できる。
また、本開示の一態様に係る三次元データ符号化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、複数の三次元点を含む対象フレームを複数の処理単位に分割し、前記複数の処理単位を符号化することでビットストリームを生成し、前記ビットストリームに含まれるフレーム単位の制御情報は、(i)前記対象フレームに含まれる前記複数の処理単位のいずれかに、位置情報が同じ複数の三次元点である重複点が存在するか、(ii)前記複数の処理単位のいずれにも前記重複点が存在しないか、を示す第1情報を含む。
これによれば、フレーム単位で重複点の有無を通知できるのでビットストリームのデータ量を削減できる。
また、本開示の一態様に係る三次元データ復号装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、複数の三次元点を含む対象フレームが分割された複数の処理単位が符号化されることで生成されたビットストリームを取得し、前記ビットストリームから前記複数の処理単位を復号し、前記ビットストリームに含まれるフレーム単位の制御情報は、(i)前記対象フレームに含まれる前記複数の処理単位のいずれかに、位置情報が同じ複数の三次元点である重複点が存在するか、(ii)前記複数の処理単位のいずれにも前記重複点が存在しないか、を示す第1情報を含み、前記複数の処理単位の復号では、前記第1情報を用いて前記複数の処理単位を復号する。
これによれば、フレーム単位で重複点の有無を通知できるのでビットストリームのデータ量を削減できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
ポイントクラウドの符号化データを実際の装置又はサービスにおいて使用する際には、ネットワーク帯域を抑制するために用途に応じて必要な情報を送受信することが望ましい。しかしながら、これまで、三次元データの符号化構造にはそのような機能が存在せず、そのための符号化方法も存在しなかった。
本実施の形態では、三次元のポイントクラウドの符号化データにおいて用途に応じて必要な情報を送受信する機能を提供するための三次元データ符号化方法及び三次元データ符号化装置、並びに、当該符号化データを復号する三次元データ復号方法及び三次元データ復号装置、並びに、当該符号化データを多重化する三次元データ多重化方法、並びに、当該符号化データを伝送する三次元データ伝送方法について説明する。
特に、現在、点群データの符号化方法(符号化方式)として第1の符号化方法、及び第2の符号化方法が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるMUX処理(多重化)、又は、伝送或いは蓄積ができないという課題がある。
また、PCC(Point Cloud Compression)のように、第1の符号化方法と第2の符号化方法の2つのコーデックが混在するフォーマットをサポートする方法はこれまで存在しない。
本実施の形態では、第1の符号化方法と第2の符号化方法の2つのコーデックが混在するPCC符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法について説明する。
まず、本実施の形態に係る三次元データ(点群データ)符号化復号システムの構成を説明する。図1は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図1に示すように、三次元データ符号化復号システムは、三次元データ符号化システム4601と、三次元データ復号システム4602と、センサ端末4603と、外部接続部4604とを含む。
三次元データ符号化システム4601は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム4601は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム4601に含まれる複数の処理部のうち一部を含んでもよい。
三次元データ符号化システム4601は、点群データ生成システム4611と、提示部4612と、符号化部4613と、多重化部4614と、入出力部4615と、制御部4616とを含む。点群データ生成システム4611は、センサ情報取得部4617と、点群データ生成部4618とを含む。
センサ情報取得部4617は、センサ端末4603からセンサ情報を取得し、センサ情報を点群データ生成部4618に出力する。点群データ生成部4618は、センサ情報から点群データを生成し、点群データを符号化部4613へ出力する。
提示部4612は、センサ情報又は点群データをユーザに提示する。例えば、提示部4612は、センサ情報又は点群データに基づく情報又は画像を表示する。
符号化部4613は、点群データを符号化(圧縮)し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部4614へ出力する。付加情報は、例えば、センサ情報を含む。
多重化部4614は、符号化部4613から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。
入出力部4615(例えば、通信部又はインタフェース)は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部4616(またはアプリ実行部)は、各処理部を制御する。つまり、制御部4616は、符号化及び多重化等の制御を行う。
なお、センサ情報が符号化部4613又は多重化部4614へ入力されてもよい。また、入出力部4615は、点群データ又は符号化データをそのまま外部へ出力してもよい。
三次元データ符号化システム4601から出力された伝送信号(多重化データ)は、外部接続部4604を介して、三次元データ復号システム4602に入力される。
三次元データ復号システム4602は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム4602は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム4602に含まれる複数の処理部のうち一部を含んでもよい。
三次元データ復号システム4602は、センサ情報取得部4621と、入出力部4622と、逆多重化部4623と、復号部4624と、提示部4625と、ユーザインタフェース4626と、制御部4627とを含む。
センサ情報取得部4621は、センサ端末4603からセンサ情報を取得する。
入出力部4622は、伝送信号を取得し、伝送信号から多重化データ(ファイルフォーマット又はパケット)を復号し、多重化データを逆多重化部4623へ出力する。
逆多重化部4623は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部4624へ出力する。
復号部4624は、符号化データを復号することで点群データを再構成する。
提示部4625は、点群データをユーザに提示する。例えば、提示部4625は、点群データに基づく情報又は画像を表示する。ユーザインタフェース4626は、ユーザの操作に基づく指示を取得する。制御部4627(またはアプリ実行部)は、各処理部を制御する。つまり、制御部4627は、逆多重化、復号及び提示等の制御を行う。
なお、入出力部4622は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部4625は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部4625は、ユーザインタフェース4626で取得されたユーザの指示に基づき、提示を行ってもよい。
センサ端末4603は、センサで得られた情報であるセンサ情報を生成する。センサ端末4603は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。
センサ端末4603で取得可能なセンサ情報は、例えば、(1)LIDAR、ミリ波レーダ、又は赤外線センサから得られる、センサ端末4603と対象物との距離、又は対象物の反射率、(2)複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ(角速度)、位置(GPS情報又は高度)、速度、又は加速度等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。
外部接続部4604は、集積回路(LSI又はIC)、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。
次に、点群データについて説明する。図2は、点群データの構成を示す図である。図3は、点群データの情報が記述されたデータファイルの構成例を示す図である。
点群データは、複数の点のデータを含む。各点のデータは、位置情報(三次元座標)、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物(オブジェクト)の三次元形状を示す。
三次元座標等の位置情報(Position)をジオメトリ(geometry)と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報(attribute)を含んでもよい。属性種別は、例えば色又は反射率などである。
1つの位置情報に対して1つの属性情報が対応付けられてもよいし、1つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、1つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。
図3に示すデータファイルの構成例は、位置情報と属性情報とが1対1に対応する場合の例であり、点群データを構成するN個の点の位置情報と属性情報とを示している。
位置情報は、例えば、x、y、zの3軸の情報である。属性情報は、例えば、RGBの色情報である。代表的なデータファイルとしてplyファイルなどがある。
次に、点群データの種類について説明する。図4は、点群データの種類を示す図である。図4に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。
静的オブジェクトは、任意の時間(ある時刻)の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをPCCフレーム、又はフレームと呼ぶ。
オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。
また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。
以下、各処理部の詳細について説明する。センサ情報は、LIDAR或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部4618は、センサ情報取得部4617で得られたセンサ情報に基づき点群データを生成する。点群データ生成部4618は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。
点群データ生成部4618は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部4618は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部4618は、位置情報を変換(位置シフト、回転又は正規化など)してもよいし、属性情報をレンダリングしてもよい。
なお、図1では、点群データ生成システム4611は、三次元データ符号化システム4601に含まれるが、三次元データ符号化システム4601の外部に独立して設けられてもよい。
符号化部4613は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の2種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第1の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第2の符号化方法と記載する。
復号部4624は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。
多重化部4614は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部4614は、PCC符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部4614は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。
多重化方式又はファイルフォーマットとしては、ISOBMFF、ISOBMFFベースの伝送方式であるMPEG−DASH、MMT、MPEG−2 TS Systems、RMPなどがある。
逆多重化部4623は、多重化データからPCC符号化データ、その他のメディア、及び時刻情報などを抽出する。
入出力部4615は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部4615は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。
通信プロトコルとしては、http、ftp、TCP又はUDPなどが用いられる。PULL型の通信方式が用いられてもよいし、PUSH型の通信方式が用いられてもよい。
有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ethernet(登録商標)、USB、RS−232C、HDMI(登録商標)、又は同軸ケーブルなどが用いられる。無線伝送としては、無線LAN、Wi−Fi(登録商標)、Bluetooth(登録商標)又はミリ波などが用いられる。
また、放送方式としては、例えばDVB−T2、DVB−S2、DVB−C2、ATSC3.0、又はISDB−S3などが用いられる。
図5は、第1の符号化方法の符号化を行う符号化部4613の例である第1の符号化部4630の構成を示す図である。図6は、第1の符号化部4630のブロック図である。第1の符号化部4630は、点群データを第1の符号化方法で符号化することで符号化データ(符号化ストリーム)を生成する。この第1の符号化部4630は、位置情報符号化部4631と、属性情報符号化部4632と、付加情報符号化部4633と、多重化部4634とを含む。
第1の符号化部4630は、三次元構造を意識して符号化を行うという特徴を有する。また、第1の符号化部4630は、属性情報符号化部4632が、位置情報符号化部4631から得られる情報を用いて符号を行うという特徴を有する。第1の符号化方法は、GPCC(Geometry based PCC)とも呼ばれる。
点群データは、PLYファイルのようなPCC点群データ、又は、センサ情報から生成されたPCC点群データであり、位置情報(Position)、属性情報(Attribute)、及びその他の付加情報(MetaData)を含む。位置情報は位置情報符号化部4631に入力され、属性情報は属性情報符号化部4632に入力され、付加情報は付加情報符号化部4633に入力される。
位置情報符号化部4631は、位置情報を符号化することで符号化データである符号化位置情報(Compressed Geometry)を生成する。例えば、位置情報符号化部4631は、8分木等のN分木構造を用いて位置情報を符号化する。具体的には、8分木では、対象空間が8個のノード(サブ空間)に分割され、各ノードに点群が含まれるか否かを示す8ビットの情報(オキュパンシー符号)が生成される。また、点群が含まれるノードは、さらに、8個のノードに分割され、当該8個のノードの各々に点群が含まれるか否かを示す8ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
属性情報符号化部4632は、位置情報符号化部4631で生成された構成情報を用いて符号化することで符号化データである符号化属性情報(Compressed Attribute)を生成する。例えば、属性情報符号化部4632は、位置情報符号化部4631で生成された8分木構造に基づき、処理対象の対象点(対象ノード)の符号化において参照する参照点(参照ノード)を決定する。例えば、属性情報符号化部4632は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
付加情報符号化部4633は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報(Compressed MetaData)を生成する。
多重化部4634は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム(Compressed Stream)を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
次に、第1の符号化方法の復号を行う復号部4624の例である第1の復号部4640について説明する。図7は、第1の復号部4640の構成を示す図である。図8は、第1の復号部4640のブロック図である。第1の復号部4640は、第1の符号化方法で符号化された符号化データ(符号化ストリーム)を、第1の符号化方法で復号することで点群データを生成する。この第1の復号部4640は、逆多重化部4641と、位置情報復号部4642と、属性情報復号部4643と、付加情報復号部4644とを含む。
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム(Compressed Stream)が第1の復号部4640に入力される。
逆多重化部4641は、符号化データから、符号化位置情報(Compressed Geometry)、符号化属性情報(Compressed Attribute)、符号化付加情報(Compressed MetaData)、及び、その他の付加情報を分離する。
位置情報復号部4642は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部4642は、8分木等のN分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。
属性情報復号部4643は、位置情報復号部4642で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部4643は、位置情報復号部4642で得られた8分木構造に基づき、処理対象の対象点(対象ノード)の復号において参照する参照点(参照ノード)を決定する。例えば、属性情報復号部4643は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。
付加情報復号部4644は、符号化付加情報を復号することで付加情報を生成する。また、第1の復号部4640は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
次に、第2の符号化方法の符号化を行う符号化部4613の例である第2の符号化部4650について説明する。図9は、第2の符号化部4650の構成を示す図である。図10は、第2の符号化部4650のブロック図である。
第2の符号化部4650は、点群データを第2の符号化方法で符号化することで符号化データ(符号化ストリーム)を生成する。この第2の符号化部4650は、付加情報生成部4651と、位置画像生成部4652と、属性画像生成部4653と、映像符号化部4654と、付加情報符号化部4655と、多重化部4656とを含む。
第2の符号化部4650は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第2の符号化方法は、VPCC(Video based PCC)とも呼ばれる。
点群データは、PLYファイルのようなPCC点群データ、又は、センサ情報から生成されたPCC点群データであり、位置情報(Position)、属性情報(Attribute)、及びその他の付加情報MetaData)を含む。
付加情報生成部4651は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。
位置画像生成部4652は、位置情報と、付加情報生成部4651で生成されたマップ情報とに基づき、位置画像(Geometry Image)を生成する。この位置画像は、例えば、画素値として距離(Depth)が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像(一つの二次元平面に複数の点群を投影した画像)であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
属性画像生成部4653は、属性情報と、付加情報生成部4651で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報(例えば色(RGB))が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像(一つの二次元平面に複数の点群を投影した画像)であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
映像符号化部4654は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像(Compressed Geometry Image)及び符号化属性画像(Compressed Attribute Image)を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、AVC又はHEVC等である。
付加情報符号化部4655は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報(Compressed MetaData)を生成する。
多重化部4656は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム(Compressed Stream)を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
次に、第2の符号化方法の復号を行う復号部4624の例である第2の復号部4660について説明する。図11は、第2の復号部4660の構成を示す図である。図12は、第2の復号部4660のブロック図である。第2の復号部4660は、第2の符号化方法で符号化された符号化データ(符号化ストリーム)を、第2の符号化方法で復号することで点群データを生成する。この第2の復号部4660は、逆多重化部4661と、映像復号部4662と、付加情報復号部4663と、位置情報生成部4664と、属性情報生成部4665とを含む。
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム(Compressed Stream)が第2の復号部4660に入力される。
逆多重化部4661は、符号化データから、符号化位置画像(Compressed Geometry Image)、符号化属性画像(Compressed Attribute Image)、符号化付加情報(Compressed MetaData)、及び、その他の付加情報を分離する。
映像復号部4662は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、AVC又はHEVC等である。
付加情報復号部4663は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。
位置情報生成部4664は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部4665は、属性画像とマップ情報とを用いて属性情報を生成する。
第2の復号部4660は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
以下、PCC符号化方式における課題を説明する。図13は、PCC符号化データに関わるプロトコルスタックを示す図である。図13には、PCC符号化データに、映像(例えばHEVC)又は音声などの他のメディアのデータを多重し、伝送又は蓄積する例を示す。
多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するためには、符号化データを多重化方式のフォーマットに変換しなければならない。例えば、HEVCでは、NALユニットと呼ばれるデータ構造に符号化データを格納し、NALユニットをISOBMFFに格納する技術が規定されている。
一方、現在、点群データの符号化方法として第1の符号化方法(Codec1)、及び第2の符号化方法(Codec2)が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるMUX処理(多重化)、伝送及び蓄積ができないという課題がある。
なお、以降において、特定の符号化方法の記載がなければ、第1の符号化方法、及び第2の符号化方法のいずれかを示すものとする。
(実施の形態2)
本実施の形態では、NALユニットをISOBMFFのファイルに格納する方法について説明する。
ISOBMFF(ISO based media file format)は、ISO/IEC14496−12に規定されるファイルフォーマット規格である。ISOBMFFは、ビデオ、オーディオ、及びテキストなど様々なメディアを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。
ISOBMFFの基本構造(ファイル)について説明する。ISOBMFFにおける基本単位はボックスである。ボックスはtype、length、dataで構成され、様々なtypeのボックスを組み合わせた集合がファイルである。
図14は、ISOBMFFの基本構造(ファイル)を示す図である。ISOBMFFのファイルは、主に、ファイルのブランドを4CC(4文字コード)で示すftyp、制御情報などのメタデータを格納するmoov、及び、データを格納するmdatなどのボックスを含む。
ISOBMFFのファイルへのメディア毎の格納方法は別途規定されており、例えば、AVCビデオ及びHEVCビデオの格納方法は、ISO/IEC14496−15に規定される。ここで、PCC符号化データを蓄積又は伝送するために、ISOBMFFの機能を拡張して使用することが考えられるが、PCC符号化データをISOBMFFのファイルに格納する規定はまだない。そこで、本実施の形態では、PCC符号化データをISOBMFFのファイルに格納する方法について説明する。
図15は、PCCコーデック共通のNALユニットをISOBMFFのファイルに格納する場合のプロトコルスタックを示す図である。ここでは、PCCコーデック共通のNALユニットがISOBMFFのファイルに格納される。NALユニットはPCCコーデック共通であるが、NALユニットには複数のPCCコーデックが格納されるため、それぞれのコーデックに応じた格納方法(Carriage of Codec1、Carriage of Codec2)を規定することが望ましい。
次に、複数のPCCコーデックをサポートする共通のPCC NALユニットをISOBMFFのファイルへ格納する方法について説明する。図16は、共通のPCC NALユニットをコーデック1の格納方法(Carriage of Codec1)のISOBMFFのファイルに格納する例を示す図である。図17は、共通のPCC NALユニットをコーデック2の格納方法(Carriage of Codec2)のISOBMFFのファイルに格納する例を示す図である。
ここで、ftypは、ファイルフォーマットを識別するための重要な情報であり、ftyp用に、コーデック毎に異なる識別子が定義される。第1の符号化方法(符号化方式)で符号化されたPCC符号化データがファイルに格納される場合は、ftyp=pcc1に設定される。第2の符号化方法で符号化されたPCC符号化データがファイルに格納される場合は、ftyp=pcc2に設定される。
ここで、pcc1は、PCCのコーデック1(第1の符号化方法)が用いられることを示す。pcc2は、PCCのコーデック2(第2の符号化方法)が用いられることを示す。つまり、pcc1及びpcc2は、データがPCC(三次元データ(点群データ)の符号データ)であることを示し、かつ、PCCコーデック(第1の符号化方法及び第2の符号化方法)を示す。
以下、NALユニットをISOBMFFのファイルへ格納する方法について説明する。多重化部は、NALユニットヘッダを解析し、pcc_codec_type=Codec1である場合にはISOBMFFのftypにpcc1を記載する。
また、多重化部は、NALユニットヘッダを解析し、pcc_codec_type=Codec2である場合にはISOBMFFのftypにpcc2を記載する。
また、多重化部は、pcc_nal_unit_typeがメタデータである場合は、NALユニットを所定の方法で、例えばmoov又はmdatに格納する。多重化部は、pcc_nal_unit_typeがデータである場合は、NALユニットを所定の方法で、例えばmoov又はmdatに格納する。
例えば、多重化部は、HEVCと同様にNALユニットにNALユニットサイズを格納してもよい。
本格納方法により、逆多重化部(システムレイヤ)においてファイルに含まれるftypを解析することで、PCC符号化データが第1の符号化方法で符号化されたか、第2の符号化方法で符号化されたかを判定することが可能となる。さらに、上記の通り、PCC符号化データが第1の符号化方法で符号化されたか、第2の符号化方法で符号化されたかを判定することで、両方の符号化方法で符号化された符号化データが混在するデータからいずれか一方の符号化方法で符号化された符号化データを抽出することができる。これにより、符号化データを伝送する際に、伝送されるデータ量を抑制することができる。また、本格納方法により、第1の符号化方法と第2の符号化方法とで、異なるデータ(ファイル)フォーマットを設定することなく、共通のデータフォーマットを用いることができる。
なお、ISOBMFFにおけるftypなど、システムレイヤのメタデータにコーデックの識別情報が示される場合は、多重化部は、pcc_nal_unit_typeを削除したNALユニットをISOBMFFのファイルに格納してもよい。
次に、本実施の形態に係る三次元データ符号化システム(三次元データ符号化装置)が備える多重化部、及び、本実施の形態に係る三次元データ復号システム(三次元データ復号装置)が備える逆多重化部の構成及び動作について説明する。
図18は、第1の多重化部4710の構成を示す図である。第1の多重化部4710は、第1の符号化部4630で生成された符号化データ及び制御情報(NALユニット)をISOBMFFのファイルに格納することで多重化データ(ファイル)を生成するファイル変換部4711を備える。この第1の多重化部4710は、例えば、図1に示す多重化部4614に含まれる。
図19は、第1の逆多重化部4720の構成を示す図である。第1の逆多重化部4720は、多重化データ(ファイル)から符号化データ及び制御情報(NALユニット)を取得し、取得した符号化データ及び制御情報を第1の復号部4640に出力するファイル逆変換部4721を備える。この第1の逆多重化部4720は、例えば、図1に示す逆多重化部4623に含まれる。
図20は、第2の多重化部4730の構成を示す図である。第2の多重化部4730は、第2の符号化部4650で生成された符号化データ及び制御情報(NALユニット)をISOBMFFのファイルに格納することで多重化データ(ファイル)を生成するファイル変換部4731を備える。この第2の多重化部4730は、例えば、図1に示す多重化部4614に含まれる。
図21は、第2の逆多重化部4740の構成を示す図である。第2の逆多重化部4740は、多重化データ(ファイル)から符号化データ及び制御情報(NALユニット)を取得し、取得した符号化データ及び制御情報を第2の復号部4660に出力するファイル逆変換部4741を備える。この第2の逆多重化部4740は、例えば、図1に示す逆多重化部4623に含まれる。
図22は、第1の多重化部4710による多重化処理のフローチャートである。まず、第1の多重化部4710は、NALユニットヘッダに含まれるpcc_codec_typeを解析することで、使用されているコーデックが第1の符号化方法であるか、第2の符号化方法であるかを判定する(S4701)。
pcc_codec_typeが第2の符号化方法を示す場合(S4702で第2の符号化方法)、第1の多重化部4710は、当該NALユニットを処理しない(S4703)。
一方、pcc_codec_typeが第2の符号化方法を示す場合(S4702で第1の符号化方法)、第1の多重化部4710は、ftypにpcc1を記載する(S4704)。つまり、第1の多重化部4710は、第1の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をftypに記載する。
次に、第1の多重化部4710は、NALユニットヘッダに含まれるpcc_nal_unit_typeを解析し、pcc_nal_unit_typeで示されるデータタイプに応じた所定の方法でデータをボックス(moov又はmdat等)に格納する(S4705)。そして、第1の多重化部4710は、上記ftyp及び上記ボックスを含むISOBMFFのファイルを作成する(S4706)。
図23は、第2の多重化部4730による多重化処理のフローチャートである。まず、第2の多重化部4730は、NALユニットヘッダに含まれるpcc_codec_typeを解析することで、使用されているコーデックが第1の符号化方法であるか、第2の符号化方法であるかを判定する(S4711)。
pcc_unit_typeが第2の符号化方法を示す場合(S4712で第2の符号化方法)、第2の多重化部4730は、ftypにpcc2を記載する(S4713)。つまり、第2の多重化部4730は、第2の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をftypに記載する。
次に、第2の多重化部4730は、NALユニットヘッダに含まれるpcc_nal_unit_typeを解析し、pcc_nal_unit_typeで示されるデータタイプに応じた所定の方法でデータをボックス(moov又はmdat等)に格納する(S4714)。そして、第2の多重化部4730は、上記ftyp及び上記ボックスを含むISOBMFFのファイルを作成する(S4715)。
一方、pcc_unit_typeが第1の符号化方法を示す場合(S4712で第1の符号化方法)、第2の多重化部4730は、当該NALユニットを処理しない(S4716)。
なお、上記処理は、PCCデータを第1の符号化方法、及び第2の符号化方法のいずれか一方で符号化する例を示している。第1の多重化部4710及び第2の多重化部4730は、NALユニットのコーデックタイプを識別することにより、所望のNALユニットをファイルに格納する。なお、NALユニットヘッダ以外に、PCCコーデックの識別情報が含まれる場合には、第1の多重化部4710及び第2の多重化部4730は、ステップS4701及びS4711において、NALユニットヘッダ以外に含まれるPCCコーデックの識別情報を用いて、コーデックタイプ(第1の符号化方法又は第2の符号化方法)を識別してもよい。
また、第1の多重化部4710及び第2の多重化部4730は、ステップS4706及びS4714において、データをファイルに格納する際に、NALユニットヘッダからpcc_nal_unit_typeを削除したうえでファイルに格納してもよい。
図24は、第1の逆多重化部4720及び第1の復号部4640による処理を示すフローチャートである。まず、第1の逆多重化部4720は、ISOBMFFのファイルに含まれるftypを解析する(S4721)。ftypで示されるコーデックが第2の符号化方法(pcc2)である場合(S4722で第2の符号化方法)、第1の逆多重化部4720は、NALユニットのペイロードに含まれるデータが第2の符号化方法で符号化されたデータであると判断する(S4723)。また、第1の逆多重化部4720は、判断の結果を第1の復号部4640に伝達する。第1の復号部4640は、当該NALユニットを処理しない(S4724)。
一方、ftypで示されるコーデックが第1の符号化方法(pcc1)である場合(S4722で第1の符号化方法)、第1の逆多重化部4720は、NALユニットのペイロードに含まれるデータが第1の符号化方法で符号化されたデータであると判断する(S4725)。また、第1の逆多重化部4720は、判断の結果を第1の復号部4640に伝達する。
第1の復号部4640は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、第1の符号化方法用のNALユニットの識別子であるとしてデータを識別する(S4726)。そして、第1の復号部4640は、第1の符号化方法の復号処理を用いてPCCデータを復号する(S4727)。
図25は、第2の逆多重化部4740及び第2の復号部4660による処理を示すフローチャートである。まず、第2の逆多重化部4740は、ISOBMFFのファイルに含まれるftypを解析する(S4731)。ftypで示されるコーデックが第2の符号化方法(pcc2)である場合(S4732で第2の符号化方法)、第2の逆多重化部4740は、NALユニットのペイロードに含まれるデータが第2の符号化方法で符号化されたデータであると判断する(S4733)。また、第2の逆多重化部4740は、判断の結果を第2の復号部4660に伝達する。
第2の復号部4660は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、第2の符号化方法用のNALユニットの識別子であるとしてデータを識別する(S4734)。そして、第2の復号部4660は、第2の符号化方法の復号処理を用いてPCCデータを復号する(S4735)。
一方、ftypで示されるコーデックが第1の符号化方法(pcc1)である場合(S4732で第1の符号化方法)、第2の逆多重化部4740は、NALユニットのペイロードに含まれるデータが第1の符号化方法で符号化されたデータであると判断する(S4736)。また、第2の逆多重化部4740は、判断の結果を第2の復号部4660に伝達する。第2の復号部4660は、当該NALユニットを処理しない(S4737)。
このように、例えば、第1の逆多重化部4720又は第2の逆多重化部4740において、NALユニットのコーデックタイプを識別することにより、早い段階でコーデックタイプを識別できる。さらに、所望のNALユニットを第1の復号部4640又は第2の復号部4660に入力し、不要なNALユニットを取り除くことができる。この場合、第1の復号部4640又は第2の復号部4660において、コーデックの識別情報を解析する処理は不要になる可能性がある。なお、第1の復号部4640又は第2の復号部4660で再度NALユニットタイプを参照してコーデックの識別情報を解析する処理を実施してもよい。
また、第1の多重化部4710又は第2の多重化部4730においてNALユニットヘッダからpcc_nal_unit_typeを削除されている場合には、第1の逆多重化部4720又は第2の逆多重化部4740は、NALユニットにpcc_nal_unit_typeを付与したうえで第1の復号部4640又は第2の復号部4660へ出力してもよい。
(実施の形態3)
本実施の形態では、実施の形態1で説明した、複数のコーデックに対応した符号化部4670及び復号部4680に対応する、多重化部および逆多重化部について説明する。図26は、本実施の形態に係る符号化部4670及び第3の多重化部4750の構成を示す図である。
符号化部4670は、点群データを、第1の符号化方法、及び第2の符号化方法のいずれか一方又は両方の方式を用いて符号化する。符号化部4670は、点群データ単位、又はフレーム単位で符号化方法(第1の符号化方法及び第2の符号化方法)を切り替えてもよい。また、符号化部4670は、符号化可能な単位で符号化方法を切り替えてもよい。
符号化部4670は、PCCコーデックの識別情報を含む符号化データ(符号化ストリーム)を生成する。
第3の多重化部4750は、ファイル変換部4751を備える。ファイル変換部4751は、符号化部4670から出力されたNALユニットをPCCデータのファイルに変換する。ファイル変換部4751は、NALユニットヘッダに含まれるコーデック識別情報を解析し、PCC符号化データが、第1の符号化方法で符号化されたデータであるか、第2の符号化方法で符号化されたデータであるか、両方の方式で符号化されたデータであるかを判定する。ファイル変換部4751は、ftypにコーデックを識別可能なブランド名を記載する。例えば、両方の方式で符号化されたことを示す場合、ftypにpcc3が記載される。
なお、符号化部4670が、NALユニット以外にPCCコーデックの識別情報を記載している場合、ファイル変換部4751は、当該識別情報を用いて、PCCコーデック(符号化方法)を判定してもよい。
図27は、本実施の形態に係る第3の逆多重化部4760及び復号部4680の構成を示す図である。
第3の逆多重化部4760は、ファイル逆変換部4761を備える。ファイル逆変換部4761は、ファイルに含まれるftypを解析し、PCC符号化データが、第1の符号化方法で符号化されたデータであるか、第2の符号化方法で符号化されたデータであるか、両方の方式で符号化されたデータであるかを判定する。
PCC符号化データがいずれか一方の符号化方法で符号化されている場合、第1の復号部4640及び第2の復号部4660のうち、対応する復号部にデータが入力され、もう一方の復号部にはデータが入力されない。PCC符号化データが両方の符号化方法で符号化されている場合、両方式に対応する復号部4680にデータが入力される。
復号部4680は、PCC符号化データを、第1の符号化方法及び第2の符号化方法のいずれか一方又は両方の方式を用いて復号する。
図28は、本実施の形態に係る第3の多重化部4750による処理を示すフローチャートである。
まず、第3の多重化部4750は、NALユニットヘッダに含まれるpcc_codec_typeを解析することで、使用されているコーデックが第1の符号化方法であるか、第2の符号化方法であるか、第1の符号化方法及び第2の符号化方法の両方であるかを判定する(S4741)。
第2の符号化方法が使用されている場合(S4742でYes、かつ、S4743で第2の符号化方法)、第3の多重化部4750は、ftypにpcc2を記載する(S4744)。つまり、第3の多重化部4750は、第2の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をftypに記載する。
次に、第3の多重化部4750は、NALユニットヘッダに含まれるpcc_nal_unit_typeを解析し、pcc_unit_typeで示されるデータタイプに応じた所定の方法でデータをボックス(moov又はmdat等)に格納する(S4745)。そして、第3の多重化部4750は、上記ftyp及び上記ボックスを含むISOBMFFのファイルを作成する(S4746)。
一方、第1の符号化方法が使用されている場合(S4742でYes、かつ、S4743で第1の符号化方法)、第3の多重化部4750は、ftypにpcc1を記載する(S4747)。つまり、第3の多重化部4750は、第1の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をftypに記載する。
次に、第3の多重化部4750は、NALユニットヘッダに含まれるpcc_nal_unit_typeを解析し、pcc_unit_typeで示されるデータタイプに応じた所定の方法でデータをボックス(moov又はmdat等)に格納する(S4748)。そして、第3の多重化部4750は、上記ftyp及び上記ボックスを含むISOBMFFのファイルを作成する(S4746)。
一方、第1の符号化方法と第2の符号化方法との両方の符号化方法が使用されている場合(S4742でNo)、第3の多重化部4750は、ftypにpcc3を記載する(S4749)。つまり、第3の多重化部4750は、両方の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をftypに記載する。
次に、第3の多重化部4750は、NALユニットヘッダに含まれるpcc_nal_unit_typeを解析し、pcc_unit_typeで示されるデータタイプに応じた所定の方法でデータをボックス(moov又はmdat等)に格納する(S4750)。そして、第3の多重化部4750は、上記ftyp及び上記ボックスを含むISOBMFFのファイルを作成する(S4746)。
図29は、第3の逆多重化部4760及び復号部4680による処理を示すフローチャートである。まず、第3の逆多重化部4760は、ISOBMFFのファイルに含まれるftypを解析する(S4761)。ftypで示されるコーデックが第2の符号化方法(pcc2)である場合(S4762でYes、かつS4763で第2の符号化方法)、第3の逆多重化部4760は、NALユニットのペイロードに含まれるデータが第2の符号化方法で符号化されたデータであると判断する(S4764)。また、第3の逆多重化部4760は、判断の結果を復号部4680に伝達する。
復号部4680は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、第2の符号化方法用のNALユニットの識別子であるとしてデータを識別する(S4765)。そして、復号部4680は、第2の符号化方法の復号処理を用いてPCCデータを復号する(S4766)。
一方、ftypで示されるコーデックが第1の符号化方法(pcc1)である場合(S4762でYes、かつS4763で第1の符号化方法)、第3の逆多重化部4760は、NALユニットのペイロードに含まれるデータが第1の符号化方法で符号化されたデータであると判断する(S4767)。また、第3の逆多重化部4760は、判断の結果を復号部4680に伝達する。
復号部4680は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、第1の符号化方法用のNALユニットの識別子であるとしてデータを識別する(S4768)。そして、復号部4680は、第1の符号化方法の復号処理を用いてPCCデータを復号する(S4769)。
一方、ftypで両方の符号化方法が用いられていること(pcc3)が示される場合(S4762でNo)、第3の逆多重化部4760は、NALユニットのペイロードに含まれるデータが、第1の符号化方法と第2符号化方法との両方の符号化方法で符号化されたデータであると判断する(S4770)。また、第3の逆多重化部4760は、判断の結果を復号部4680に伝達する。
復号部4680は、NALユニットヘッダに含まれるpcc_nal_unit_typeが、pcc_codec_typeに記載されるコーデック用のNALユニットの識別子であるとしてデータを識別する(S4771)。そして、復号部4680は、両方の符号化方法の復号処理を用いてPCCデータを復号する(S4772)。つまり、復号部4680は、第1の符号化方法で符号化されたデータを、第1の符号化方法の復号処理を用いて復号し、第2の符号化方法で符号化されたデータを、第2の符号化方法の復号処理を用いて復号する。
以下、本実施の形態の変形例を説明する。ftypに示されるブランドの種類として、以下の種類が識別情報で示されてもよい。また、以下に示す複数の種類の組み合わせが識別情報で示されてもよい。
識別情報は、PCC符号化前の元データのオブジェクトが、領域が制限されている点群であるか、地図情報のように領域が制限されていない大規模点群であるかを示してもよい。
識別情報は、PCC符号化前の元データが、静的オブジェクトであるか、動的オブジェクトであるかを示してもよい。
上述のように、識別情報は、PCC符号化データが、第1の符号化方法で符号化されたデータであるか、第2の符号化方法で符号化されたデータであるかを示してもよい。
識別情報は、PCC符号化において用いたアルゴリズムを示してもよい。ここで、アルゴリズムとは、例えば、第1の符号化方法又は第2の符号化方法において使用可能な符号化方法である。
識別情報は、PCC符号化データのISOBMFFのファイルへの格納方法の違いを示してもよい。例えば、識別情報は、使用された格納方法が、蓄積用の格納方法であるか、ダイナミックストリーミングのようなリアルタイム送出用の格納方法であるかを示してもよい。
また、実施の形態2及び実施の形態3では、ファイルフォーマットとしてISOBMFFが用いられる例に説明したが、その他の方式が用いられてもよい。例えば、MPEG−2 TS Systems、MPEG−DASH、MMT、又はRMPにPCC符号化データを格納する際にも本実施の形態と同様の方法を用いてもよい。
また、上記では、ftypに識別情報等のメタデータを格納する例を示したが、ftyp以外にこれらのメタデータが格納されてもよい。例えば、これらのメタデータがmoovに格納されてもよい。
以上のように、三次元データ格納装置(又は三次元データ多重化装置、又は三次元データ符号化装置)は、図30に示す処理を行う。
まず、三次元データ格納装置(例えば、第1の多重化部4710、第2の多重化部4730又は第3の多重化部4750を含む)は、点群データが符号化された符号化ストリームが格納された1以上のユニット(例えばNALユニット)を取得する(S4781)。次に、三次元データ格納装置は、1以上のユニットをファイル(例えばISOBMFFのファイル)に格納する(S4782)。また、三次元データ格納装置は、前記格納(S4782)では、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報(例えばpcc1、pcc2又はpcc3)を、前記ファイルの制御情報(例えばftyp)に格納する。
これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
例えば、前記情報は、さらに、第1符号化方法と第2符号化方法のうち、前記点群データの符号化に用いられた符号化方法を示す。なお、ファイルに格納されているデータが、点群データが符号化されたデータであることと、第1符号化方法と第2符号化方法のうち、点群データの符号化に用いられた符号化方法とは、単一の情報で示されてもよいし、異なる情報で示されてもよい。
これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
例えば、前記第1符号化方法は、点群データの位置をN(Nは2以上の整数)分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式(GPCC)であり、前記第2符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式(VPCC)である。
例えば、前記ファイルは、ISOBMFF(ISO based media file format)に準拠する。
例えば、三次元データ格納装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
また、以上のように、三次元データ取得装置(又は三次元データ逆多重化装置、又は三次元データ復号装置)は、図31に示す処理を行う。
三次元データ取得装置(例えば、第1の逆多重化部4720、第2の逆多重化部4740又は第3の逆多重化部4760を含む)は、点群データが符号化された符号化ストリームが格納された1以上のユニット(例えばNALユニット)が格納されたファイル(例えばISOBMFFのファイル)を取得する(S4791)。次に、三次元データ取得装置は、ファイルから、1以上のユニットを取得する(S4792)。また、ファイルの制御情報(例えばftyp)は、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報(例えばpcc1、pcc2又はpcc3)を含む。
例えば、三次元データ取得装置は、前記情報を参照して、ファイルに格納されているデータが、点群データが符号化されたデータであるか否かを判定する。また、三次元データ取得装置は、ファイルに格納されているデータが、点群データが符号化されたデータであると判定した場合、1以上のユニットに含まれる点群データが符号化されたデータを復号することで点群データを生成する。または、三次元データ取得装置は、ファイルに格納されているデータが、点群データが符号化されたデータであると判定した場合、1以上のユニットに含まれるデータが、点群データが符号化されたデータであることを示す情報を、後段の処理部(例えば、第1の復号部4640、第2の復号部4660又は復号部4680)に出力(通知)する。
これによれば、当該三次元データ取得装置は、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。
例えば、前記情報は、さらに、第1符号化方法と第2符号化方法のうち、前記符号化に用いた符号化方法を示す。なお、ファイルに格納されているデータが、点群データが符号化されたデータであることと、第1符号化方法と第2符号化方法のうち、点群データの符号化に用いられた符号化方法とは、単一の情報で示されてもよいし、異なる情報で示されてもよい。
これによれば、当該三次元データ取得装置は、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。
例えば、三次元データ取得装置は、前記情報に基づき、第1符号化方法で符号化されたデータと第2符号化方法で符号化されたデータとを含む符号化された点群データから、いずれか一方の符号化方法で符号化されたデータを取得する。
例えば、前記第1符号化方法は、点群データの位置をN(Nは2以上の整数)分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式(GPCC)であり、前記第2符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式(VPCC)である。
例えば、前記ファイルは、ISOBMFF(ISO based media file format)に準拠する。
例えば、三次元データ取得装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
(実施の形態4)
本実施の形態では、上述した第1の符号化部4630、又は第2の符号化部4650で生成される符号化データ(位置情報(Geometry)、属性情報(Attribute)、付加情報(Metadata))の種別、及び付加情報(メタデータ)の生成方法、及び多重化部における多重処理について説明する。なお、付加情報(メタデータ)は、パラメータセット、又は制御情報と表記することもある。
本実施の形態では、図4で説明した動的オブジェクト(時間的に変化する三次元点群データ)を例に説明するが、静的オブジェクト(任意の時刻の三次元点群データ)の場合でも同様の方法を用いてもよい。
図32は、本実施の形態に係る三次元データ符号化装置に含まれる符号化部4801及び多重化部4802の構成を示す図である。符号化部4801は、例えば、上述した第1の符号化部4630又は第2の符号化部4650に対応する。多重化部4802は、上述した多重化部4634又は4656に対応する。
符号化部4801は、複数のPCC(Point Cloud Compression)フレームの点群データを符号化し、複数の位置情報、属性情報及び付加情報の符号化データ(Multiple Compressed Data)を生成する。
多重化部4802は、複数のデータ種別(位置情報、属性情報及び付加情報)のデータをNALユニット化することで、データを復号装置におけるデータアクセスを考慮したデータ構成に変換する。
図33は、符号化部4801で生成される符号化データの構成例を示す図である。図中の矢印は符号化データの復号に係る依存関係を示しており、矢印の元は矢印の先のデータに依存している。つまり、復号装置は、矢印の先のデータを復号し、その復号したデータを用いて矢印の元のデータを復号する。言い換えると、依存するとは、依存元のデータの処理(符号化又は復号等)において依存先のデータが参照(使用)されることを意味する。
まず、位置情報の符号化データの生成処理について説明する。符号化部4801は、各フレームの位置情報を符号化することで、フレーム毎の符号化位置データ(Compressed Geometry Data)を生成する。また、符号化位置データをG(i)で表す。iはフレーム番号、又はフレームの時刻等を示す。
また、符号化部4801は、各フレームに対応する位置パラメータセット(GPS(i))を生成する。位置パラメータセットは、符号化位置データの復号に使用することが可能なパラメータを含む。また、フレーム毎の符号化位置データは、対応する位置パラメータセットに依存する。
また、複数フレームから成る符号化位置データを位置シーケンス(Geometry Sequence)と定義する。符号化部4801は、位置シーケンス内の複数のフレームに対する復号処理に共通に使用するパラメータを格納する位置シーケンスパラメータセット(Geometry Sequence PS:位置SPSとも記す)を生成する。位置シーケンスは、位置SPSに依存する。
次に、属性情報の符号化データの生成処理について説明する。符号化部4801は、各フレームの属性情報を符号化することで、フレーム毎の符号化属性データ(Compressed Attribute Data)を生成する。また、符号化属性データをA(i)で表す。また、図33では、属性Xと属性Yとが存在する例を示しており、属性Xの符号化属性データをAX(i)で表し、属性Yの符号化属性データをAY(i)で表す。
また、符号化部4801は、各フレームに対応する属性パラメータセット(APS(i))を生成する。また、属性Xの属性パラメータセットをAXPS(i)で表し、属性Yの属性パラメータセットをAYPS(i)で表す。属性パラメータセットは、符号化属性情報の復号に使用することが可能なパラメータを含む。符号化属性データは、対応する属性パラメータセットに依存する。
また、複数フレームから成る符号化属性データを属性シーケンス(Attribute Sequence)と定義する。符号化部4801は、属性シーケンス内の複数のフレームに対する復号処理に共通に使用するパラメータを格納する属性シーケンスパラメータセット(Attribute Sequence PS:属性SPSとも記す)を生成する。属性シーケンスは、属性SPSに依存する。
また、第1の符号化方法では、符号化属性データは符号化位置データに依存する。
また、図33では2種類の属性情報(属性Xと属性Y)が存在する場合の例を示している。2種類の属性情報がある場合は、例えば、2つの符号化部により、それぞれのデータ及びメタデータが生成される。また、例えば、属性情報の種類毎に属性シーケンスが定義され、属性情報の種類毎に属性SPSが生成される。
なお、図33では、位置情報が1種類、属性情報が2種類である例を示しているが、これに限らず、属性情報は1種類であってもよいし、3種類以上であってもよい。この場合も、同様の方法で符号化データを生成できる。また、属性情報を持たない点群データの場合は、属性情報はなくてもよい。その場合は、符号化部4801は、属性情報に関連するパラメータセットを生成しなくてもよい。
次に、付加情報(メタデータ)の生成処理について説明する。符号化部4801は、PCCストリーム全体のパラメータセットであるPCCストリームPS(PCC Stream PS:ストリームPSとも記す)を生成する。符号化部4801は、ストリームPSに、1又は複数の位置シーケンス及び1又は複数の属性シーケンスに対する復号処理に共通に使用することができるパラメータを格納する。例えば、ストリームPSには、点群データのコーデックを示す識別情報、及び符号化に使用されたアルゴリズムを示す情報等が含まれる。位置シーケンス及び属性シーケンスはストリームPSに依存する。
次に、アクセスユニット及びGOFについて説明する。本実施の形態では、新たにアクセスユニット(Access Unit:AU)、及びGOF(Group of Frame)の考え方を導入する。
アクセスユニットは、復号時にデータにアクセスするため基本単位であり、1つ以上のデータ及び1つ以上のメタデータで構成される。例えば、アクセスユニットは、同一時刻の位置情報と1又は複数の属性情報とで構成される。GOFは、ランダムアクセス単位であり、1つ以上のアクセスユニットで構成される。
符号化部4801は、アクセスユニットの先頭を示す識別情報として、アクセスユニットヘッダ(AU Header)を生成する。符号化部4801は、アクセスユニットヘッダに、アクセスユニットに係るパラメータを格納する。例えば、アクセスユニットヘッダは、アクセスユニットに含まれる符号化データの構成又は情報を含む。また、アクセスユニットヘッダは、アクセスユニットに含まれるデータに共通に用いられるパラメータ、例えば、符号化データの復号に係るパラメータなどを含む。
なお、符号化部4801は、アクセスユニットヘッダの代わりに、アクセスユニットに係るパラメータを含まないアクセスユニットデリミタを生成してもよい。このアクセスユニットデリミタは、アクセスユニットの先頭を示す識別情報として用いられる。復号装置は、アクセスユニットヘッダ又はアクセスユニットデリミタを検出することにより、アクセスユニットの先頭を識別する。
次に、GOF先頭の識別情報の生成について説明する。符号化部4801は、GOFの先頭を示す識別情報として、GOFヘッダ(GOF Header)を生成する。符号化部4801は、GOFヘッダに、GOFに係るパラメータを格納する。例えば、GOFヘッダは、GOFに含まれる符号化データの構成又は情報を含む。また、GOFヘッダは、GOFに含まれるデータに共通に用いられるパラメータ、例えば、符号化データの復号に係るパラメータなどを含む。
なお、符号化部4801は、GOFヘッダの代わりに、GOFに係るパラメータを含まないGOFデリミタを生成してもよい。このGOFデリミタは、GOFの先頭を示す識別情報として用いられる。復号装置は、GOFヘッダ又はGOFデリミタを検出することにより、GOFの先頭を識別する。
PCC符号化データにおいて、例えば、アクセスユニットはPCCフレーム単位であると定義される。復号装置は、アクセスユニット先頭の識別情報に基づき、PCCフレームにアクセスする。
また、例えば、GOFは1つのランダムアクセス単位であると定義される。復号装置は、GOF先頭の識別情報に基づき、ランダムアクセス単位にアクセスする。例えば、PCCフレームが互いに依存関係がなく、単独で復号可能であれば、PCCフレームをランダムアクセス単位と定義してもよい。
なお、1つのアクセスユニットに2つ以上のPCCフレームが割り当てられてもよいし、1つのGOFに複数のランダムアクセス単位が割り当てられてもよい。
また、符号化部4801は、上記以外のパラメータセット又はメタデータを定義し、生成してもよい。例えば、符号化部4801は、復号時に必ずしも用いない可能性のあるパラメータ(オプションのパラメータ)を格納するSEI(Supplemental Enhancement Information)を生成してもよい。
次に、符号化データの構成、及び符号化データのNALユニットへの格納方法を説明する。
例えば、符号化データの種類毎にデータフォーマットが規定される。図34は、符号化データ及びNALユニットの例を示す図である。
例えば、図34に示すように符号化データは、ヘッダとペイロードとを含む。なお、符号化データは、符号化データ、ヘッダ又はペイロードの長さ(データ量)を示す長さ情報を含んでもよい。また、符号化データは、ヘッダを含まなくてもよい。
ヘッダは、例えば、データを特定するための識別情報を含む。この識別情報は、例えば、データ種別又はフレーム番号を示す。
ヘッダは、例えば、参照関係を示す識別情報を含む。この識別情報は、例えば、データ間に依存関係がある場合にヘッダに格納され、参照元から参照先を参照するための情報である。例えば、参照先のヘッダには、当該データを特定するための識別情報が含まれる。参照元のヘッダには、参照先を示す識別情報が含まれる。
なお、他の情報から参照先又は参照元を識別可能又は導出可能である場合は、データを特定するための識別情報、又は参照関係を示す識別情報を省略してもよい。
多重化部4802は、符号化データを、NALユニットのペイロードに格納する。NALユニットヘッダには、符号化データの識別情報であるpcc_nal_unit_typeが含まれる。図35は、pcc_nal_unit_typeのセマンティクスの例を示す図である。
図35に示すように、pcc_codec_typeがコーデック1(Codec1:第1の符号化方法)である場合、pcc_nal_unit_typeの値0〜10は、コーデック1における、符号化位置データ(Geometry)、符号化属性Xデータ(AttributeX)、符号化属性Yデータ(AttributeY)、位置PS(Geom.PS)、属性XPS(AttrX.PS)、属性YPS(AttrX.PS)、位置SPS(Geometry Sequence PS)、属性XSPS(AttributeX Sequence PS)、属性YSPS(AttributeY Sequence PS)、AUヘッダ(AU Header)、GOFヘッダ(GOF Header)に割り当てられる。また、値11以降は、コーデック1の予備に割り当てられる。
pcc_codec_typeがコーデック2(Codec2:第2の符号化方法)である場合、pcc_nal_unit_typeの値0〜2は、コーデックのデータA(DataA)、メタデータA(MetaDataA)、メタデータB(MetaDataB)に割り当てられる。また、値3以降は、コーデック2の予備に割り当てられる。
次に、データの送出順序について説明する。以下、NALユニットの送出順序の制約について説明する。
多重化部4802は、NALユニットをGOF又はAU単位でまとめて送出する。多重化部4802は、GOFの先頭にGOFヘッダを配置し、AUの先頭にAUヘッダを配置する。
パケットロスなどでデータが失われた場合でも、復号装置が次のAUから復号できるように、多重化部4802は、シーケンスパラメータセット(SPS)を、AU毎に配置してもよい。
符号化データに復号に係る依存関係がある場合には、復号装置は、参照先のデータを復号した後に、参照元のデータを復号する。復号装置において、データを並び替ることなく、受信した順番に復号できるようにするために、多重化部4802は、参照先のデータを先に送出する。
図36は、NALユニットの送出順の例を示す図である。図36は、位置情報優先と、パラメータ優先と、データ統合との3つの例を示す。
位置情報優先の送出順序は、位置情報に関する情報と、属性情報に関する情報との各々をまとめて送出する例である。この送出順序の場合、位置情報に関する情報の送出が属性情報に関する情報の送出よりも早く完了する。
例えば、この送出順序を用いることで、属性情報を復号しない復号装置は、属性情報の復号を無視することで、処理しない時間を設けることができる可能性がある。また、例えば、位置情報を早く復号したい復号装置の場合、位置情報の符号化データを早く得ることにより、より早く位置情報を復号することができる可能性がある。
なお、図36では、属性XSPSと属性YSPSを統合し、属性SPSと記載しているが、属性XSPSと属性YSPSとを個別に配置してもよい。
パラメータセット優先の送出順序では、パラメータセットが先に送出され、データが後で送出される。
以上のようにNALユニット送出順序の制約に従えば、多重化部4802は、NALユニットをどのような順序で送出してもよい。例えば、順序識別情報が定義され、多重化部4802は、複数パターンの順序でNALユニットを送出する機能を有してもよい。例えばストリームPSにNALユニットの順序識別情報が格納される。
三次元データ復号装置は、順序識別情報に基づき復号を行ってもよい。三次元データ復号装置から三次元データ符号化装置に所望の送出順序が指示され、三次元データ符号化装置(多重化部4802)は、指示された送出順序に従って送出順序を制御してもよい。
なお、多重化部4802は、データ統合の送出順序のように、送出順序の制約に従う範囲であれば、複数の機能をマージした符号化データを生成してもよい。例えば、図36に示すように、GOFヘッダとAUヘッダとを統合してもよいし、AXPSとAYPSとを統合してもよい。この場合、pcc_nal_unit_typeには、複数の機能を有するデータであることを示す識別子が定義される。
以下、本実施の形態の変形例について説明する。フレームレベルのPS、シーケンスレベルのPS、PCCシーケンスレベルのPSのように、PSにはレベルがあり、PCCシーケンスレベルを上位のレベルとし、フレームレベルを下位のレベルとすると、パラメータの格納方法には下記の方法を用いてもよい。
デフォルトのPSの値をより上位のPSで示す。また、下位のPSの値が上位のPSの値と異なる場合には、下位のPSでPSの値が示される。または、上位ではPSの値を記載せず、下位のPSにPSの値を記載する。または、PSの値を、下位のPSで示すか、上位のPSで示すか、両方で示すかの情報を、下位のPSと上位のPSのいずれか一方又は両方に示す。または、下位のPSを上位のPSにマージしてもよい。または、下位のPSと上位のPSとが重複する場合には、多重化部4802は、いずれか一方の送出を省略してもよい。
なお、符号化部4801又は多重化部4802は、データをスライス又はタイルなどに分割し、分割したデータを送出してもよい。分割したデータには、分割したデータを識別するための情報が含まれ、分割データの復号に使用するパラメータがパラメータセットに含まれる。この場合、pcc_nal_unit_typeには、タイル又はスライスに係るデータ又はパラメータを格納するデータであることを示す識別子が定義される。
(実施の形態5)
以下、点群データの分割方法について説明する。図37は、スライス及びタイル分割の例を示す図である。
まず、スライス分割の方法について説明する。三次元データ符号化装置は、三次元点群データを、スライス単位で、任意の点群に分割する。三次元データ符号化装置は、スライス分割において、点を構成する位置情報と属性情報とを分割せず、位置情報と属性情報とを一括で分割する。すなわち、三次元データ符号化装置は、任意の点における位置情報と属性情報とが同じスライスに属するようにスライス分割を行う。なお、これらに従えば、分割数、及び分割方法はどのような方法でもよい。また、分割の最小単位は点である。例えば、位置情報と属性情報との分割数は同一である。例えば、スライス分割後の位置情報に対応する三次元点と、属性情報に対応する三次元点とは同一のスライスに含まれる。
また、三次元データ符号化装置は、スライス分割時に分割数及び分割方法に係る付加情報であるスライス付加情報を生成する。スライス付加情報は、位置情報と属性情報とで同一である。例えば、スライス付加情報は、分割後のバウンディングボックスの基準座標位置、大きさ、又は辺の長さを示す情報を含む。また、スライス付加情報は、分割数、及び分割タイプなどを示す情報を含む。
次に、タイル分割の方法について説明する。三次元データ符号化装置は、スライス分割されたデータを、スライス位置情報(Gスライス)とスライス属性情報(Aスライス)とに分割し、スライス位置情報とスライス属性情報をそれぞれタイル単位に分割する。
なお、図37では8分木構造で分割する例を示しているが、分割数及び分割方法はどのような方法でもよい。
また、三次元データ符号化装置は、位置情報と属性情報とを異なる分割方法で分割してもよいし、同一の分割方法で分割してもよい。また、三次元データ符号化装置は、複数のスライスを異なる分割方法でタイルに分割してもよいし、同一の分割方法でタイルに分割してもよい。
また、三次元データ符号化装置は、タイル分割時に分割数及び分割方法に係るタイル付加情報を生成する。タイル付加情報(位置タイル付加情報及び属性タイル付加情報)は、位置情報と属性情報とで独立している。例えば、タイル付加情報は、分割後のバウンディングボックスの基準座標位置、大きさ、又は辺の長さを示す情報を含む。また、タイル付加情報は、分割数、及び分割タイプなど示す情報を含む。
次に、点群データをスライス又はタイルに分割する方法の例を説明する。三次元データ符号化装置は、スライス又はタイル分割の方法として、予め定められた方法を用いてもよいし、点群データに応じて使用する方法を適応的に切り替えてもよい。
スライス分割時には、三次元データ符号化装置は、位置情報と属性情報とに対して一括で三次元空間を分割する。例えば、三次元データ符号化装置は、オブジェクトの形状を判定し、オブジェクトの形状に応じて三次元空間をスライスに分割する。例えば、三次元データ符号化装置は、木又は建物などのオブジェクトを抽出し、オブジェクト単位で分割を行う。例えば、三次元データ符号化装置は、1又は複数のオブジェクトの全体が1つのスライスに含まれるようにスライス分割を行う。または、三次元データ符号化装置は、一つのオブジェクトを複数のスライスに分割する。
この場合、符号化装置は、例えば、スライス毎に符号化方法を変えてもよい。例えば、符号化装置は、特定のオブジェクト、又はオブジェクトの特定の一部に対して、高品質な圧縮方法を用いてもよい。この場合、符号化装置は、スライス毎の符号化方法を示す情報を付加情報(メタデータ)に格納してもよい。
また、三次元データ符号化装置は、地図情報又は位置情報に基づき、各スライスが予め定められた座標空間に対応するようにスライス分割を行ってもよい。
タイル分割時には、三次元データ符号化装置は、位置情報と属性情報とを独立に分割する。例えば、三次元データ符号化装置は、データ量又は処理量に応じてスライスをタイルに分割する。例えば、三次元データ符号化装置は、スライスのデータ量(例えばスライスに含まれる三次元点の数)が予め定められた閾値より多いかを判定する。三次元データ符号化装置は、スライスのデータ量が閾値より多い場合にはスライスをタイルに分割する。三次元データ符号化装置は、スライスのデータ量が閾値より少ないときにはスライスをタイルに分割しない。
例えば、三次元データ符号化装置は、復号装置での処理量又は処理時間が一定の範囲(予め定められた値以下)となるよう、スライスをタイルに分割する。これにより、復号装置におけるタイル当たりの処理量が一定となり、復号装置における分散処理が容易となる。
また、三次元データ符号化装置は、位置情報と属性情報とで処理量が異なる場合、例えば、位置情報の処理量が属性情報の処理量より多い場合、位置情報の分割数を、属性情報の分割数より多くする。
また、例えば、コンテンツによって、復号装置で、位置情報を早く復号して表示し、属性情報を後でゆっくり復号して表示してもよい場合に、三次元データ符号化装置は、位置情報の分割数を、属性情報の分割数より多くしてもよい。これにより、復号装置は、位置情報の並列数を多くできるので、位置情報の処理を属性情報の処理より高速化できる。
なお、復号装置は、スライス化又はタイル化されているデータを必ずしも並列処理する必要はなく、復号処理部の数又は能力に応じて、これらを並列処理するかどうかを判定してもよい。
以上のような方法で分割することにより、コンテンツ又はオブジェクトに応じた、適応的な符号化を実現できる。また、復号処理における並列処理を実現できる。これにより、点群符号化システム又は点群復号システムの柔軟性が向上する。
図38は、スライス及びタイルの分割のパターンの例を示す図である。図中のDUはデータ単位(DataUnit)であり、タイル又はスライスのデータを示す。また、各DUは、スライスインデックス(SliceIndex)とタイルインデックス(TileIndex)を含む。図中のDUの右上の数値がスライスインデックスを示し、DUの左下の数値がタイルインデックスを示す。
パターン1では、スライス分割において、GスライスとAスライスとで分割数及び分割方法は同じである。タイル分割において、Gスライスに対する分割数及び分割方法とAスライスに対する分割数及び分割方法とは異なる。また、複数のGスライス間では同一の分割数及び分割方法が用いられる。複数のAスライス間では同一の分割数及び分割方法が用いられる。
パターン2では、スライス分割において、GスライスとAスライスとで分割数及び分割方法は同じである。タイル分割において、Gスライスに対する分割数及び分割方法とAスライスに対する分割数及び分割方法とは異なる。また、複数のGスライス間で分割数及び分割方法が異なる。複数のAスライス間で分割数及び分割方法が異なる。
(実施の形態6)
以下、タイル分割後にスライス分割を行う例について説明する。車両の自動運転等の自律型のアプリケーションでは、全ての領域の点群データではなく、車両の周辺の領域、又は車両の進行方向の地域の点群データが必要である。ここで、元の点群データを選択的に復号するためにタイル及びスライスを用いることができる。三次元点群データをタイルに分割し、さらにスライスを分割することで、符号化効率の向上、又は並列処理を実現できる。データを分割する際には、付加情報(メタデータ)が生成され、生成された付加情報は、多重化部に送られる。
図39は、本実施の形態に係る三次元データ符号化装置に含まれる第1の符号化部5010の構成を示すブロック図である。第1の符号化部5010は、点群データを第1の符号化方法(GPCC(Geometry based PCC))で符号化することで符号化データ(符号化ストリーム)を生成する。この第1の符号化部5010は、分割部5011と、複数の位置情報符号化部5012と、複数の属性情報符号化部5013と、付加情報符号化部5014と、多重化部5015とを含む。
分割部5011は、点群データを分割することで複数の分割データを生成する。具体的には、分割部5011は、点群データの空間を複数のサブ空間に分割することで複数の分割データを生成する。ここでサブ空間とは、タイル及びスライスの一方、又はタイル及びスライスの組み合わせである。より具体的には、点群データは、位置情報、属性情報、及び付加情報を含む。分割部5011は、位置情報を複数の分割位置情報に分割し、属性情報を複数の分割属性情報に分割する。また、分割部5011は、分割に関する付加情報を生成する。
例えば、分割部5011は、まず、点群をタイルに分割する。次に、分割部5011は、得られたタイルを、さらにスライスに分割する。
複数の位置情報符号化部5012は、複数の分割位置情報を符号化することで複数の符号化位置情報を生成する。例えば、複数の位置情報符号化部5012は、複数の分割位置情報を並列処理する。
複数の属性情報符号化部5013は、複数の分割属性情報を符号化することで複数の符号化属性情報を生成する。例えば、複数の属性情報符号化部5013は、複数の分割属性情報を並列処理する。
付加情報符号化部5014は、点群データに含まれる付加情報と、分割部5011で分割時に生成された、データ分割に関する付加情報とを符号化することで符号化付加情報を生成する。
多重化部5015は、複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を多重化することで符号化データ(符号化ストリーム)を生成し、生成した符号化データを送出する。また、符号化付加情報は復号時に使用される。
なお、図39では、位置情報符号化部5012及び属性情報符号化部5013の数がそれぞれ2つの例を示しているが、位置情報符号化部5012及び属性情報符号化部5013の数は、それぞれ1つであってもよいし、3つ以上であってもよい。また、複数の分割データは、CPU内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよいし、複数チップの複数コアで並列処理されてもよい。
次に、復号処理について説明する。図40は、第1の復号部5020の構成を示すブロック図である。第1の復号部5020は、点群データが第1の符号化方法(GPCC)で符号化されることで生成された符号化データ(符号化ストリーム)を復号することで点群データを復元する。この第1の復号部5020は、逆多重化部5021と、複数の位置情報復号部5022と、複数の属性情報復号部5023と、付加情報復号部5024と、結合部5025とを含む。
逆多重化部5021は、符号化データ(符号化ストリーム)を逆多重化することで複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を生成する。
複数の位置情報復号部5022は、複数の符号化位置情報を復号することで複数の分割位置情報を生成する。例えば、複数の位置情報復号部5022は、複数の符号化位置情報を並列処理する。
複数の属性情報復号部5023は、複数の符号化属性情報を復号することで複数の分割属性情報を生成する。例えば、複数の属性情報復号部5023は、複数の符号化属性情報を並列処理する。
複数の付加情報復号部5024は、符号化付加情報を復号することで付加情報を生成する。
結合部5025は、付加情報を用いて複数の分割位置情報を結合することで位置情報を生成する。結合部5025は、付加情報を用いて複数の分割属性情報を結合することで属性情報を生成する。例えば、結合部5025は、まず、スライス付加情報を用いて、スライスに対する復号された点群データを結合することでタイルに対応する点群データを生成する。次に、結合部5025は、タイル付加情報を用いて、タイルに対応する点群データを結合することで元の点群データを復元する。
なお、図39では、位置情報復号部5022及び属性情報復号部5023の数がそれぞれ2つの例を示しているが、位置情報復号部5022及び属性情報復号部5023の数は、それぞれ1つであってもよし、3つ以上であってもよい。また、複数の分割データは、CPU内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよい、複数チップの複数コアで並列処理されてもよい。
次に、点群データの分割方法について説明する。車両の自動運転等の自律型のアプリケーションでは、全ての領域の点群データではなく、車両の周辺の領域、又は車両の進行方向の地域の点群データが必要である。
図41は、タイルの形状の例を示す図である。図41に示すように、タイルの形状として、円、矩形又は楕円等の様々な形状が用いられてもよい。
図42は、タイル及びスライスの例を示す図である。スライスの構成はタイル間で異なってもよい。例えば、タイル又はスライスの構成は、データ量に基づき最適化されてもよい。または、タイル又はスライスの構成は、復号速度に基づき最適化されてもよい。
また、位置情報に基づきタイル分割が行われてもよい。この場合、属性情報は、対応する位置情報と同様に分割される。
また、タイル分割後のスライス分割において、位置情報と属性情報とは異なる方法によりスライスに分割されてもよい。例えば、各タイルにおけるスライス分割の方法は、アプリケーションからの要求に応じて選択されてもよい。アプリケーションからの要求に基づき、異なるスライス分割の方法、又は、タイル分割の方法が用いられてもよい。
例えば、分割部5011は、三次元点群データを上から見た二次元形状において、地図情報などの位置情報に基づき、点群データを1以上のタイルに分割する。その後、分割部5011は、それぞれのタイルを1以上のスライスに分割する。
なお、分割部5011は、位置情報(Geometry)と属性情報(Attribute)とを同じ方法でスライスに分割してもよい。
なお、位置情報及び属性情報はそれぞれ1種類であってもよいし、2種類以上であってもよい。また、属性情報を持たない点群データの場合は、属性情報がなくてもよい。
図43は、分割部5011のブロック図である。分割部5011は、タイル分割部5031(Tile Divider)と、位置情報スライス分割部5032(Geometry Slice Divider)と、属性情報スライス分割部5033(Attribute Slice Divider)とを含む。
タイル分割部5031は、位置情報(Position(Geometry))をタイルに分割することで複数のタイル位置情報を生成する。また、タイル分割部5031は、属性情報(Attribute)をタイルに分割することで複数のタイル属性情報を生成する。また、タイル分割部5031は、タイル分割に係る情報、及びタイル分割において生成された情報を含むタイル付加情報(TileMetaData)を出力する。
位置情報スライス分割部5032は、複数のタイル位置情報をスライスに分割することで複数の分割位置情報(複数のスライス位置情報)を生成する。また、位置情報スライス分割部5032は、位置情報のスライス分割に係る情報、及び位置情報のスライス分割において生成された情報を含む位置スライス付加情報(Geometry Slice MetaData)を出力する。
属性情報スライス分割部5033は、複数のタイル属性情報をスライスに分割することで複数の分割属性情報(複数のスライス属性情報)を生成する。また、属性情報スライス分割部5033は、属性情報のスライス分割に係る情報、及び属性情報のスライス分割において生成された情報を含む属性スライス付加情報(Attribute Slice MetaData)を出力する。
次に、タイルの形状の例について説明する。三次元地図(3Dマップ)の全体は、複数のタイルに分割される。複数のタイルのデータは、選択的に三次元データ復号装置に送信される。または、複数のタイルのデータのうち重要度の高いデータから順に三次元データ復号装置に送信される。状況に応じてタイルの形状は複数の形状から選択されてもよい。
図44は、LiDARで得られた点群データを上面視した地図の一例を示す図である。図44に示す例は、高速道路の点群データであり、立体交差部分(Flyover)を含む。
図45は、図44に示す点群データを正方形のタイルに分割した例を示す図である。このような正方形の分割は地図サーバにおいて容易に行うことができる。また、通常の道路に対しては、タイルの高さは低く設定される。立体交差部分では、タイルが立体交差部分を包含するように、タイルの高さは通常の道路よりも高く設定される。
図46は、図44に示す点群データを円形のタイルに分割した例を示す図である。この場合、隣接するタイルが平面視において重複する場合がある。三次元データ符号化装置は、車両が周辺領域の点群データを必要な場合、車両の周辺の円柱(上面視における円)の領域の点群データを車両に送信する。
また、図45の例と同様に、通常の道路に対しては、タイルの高さは低く設定される。立体交差部分では、タイルが立体交差部分を包含するように、タイルの高さは通常の道路よりも高く設定される。
三次元データ符号化装置は、タイルの高さを、例えば、道路又は建物の形状又は高さに応じて変えてもよい。また、三次元データ符号化装置は、位置情報又はエリア情報に応じてタイルの高さを変えてもよい。また、三次元データ符号化装置は、タイルの高さを、タイル毎に変えてもよい。または、三次元データ符号化装置は、複数のタイルを含む区間毎にタイルの高さを変えてもよい。つまり、三次元データ符号化装置は、区間内の複数のタイルの高さを同一にしてもよい。また、異なる高さのタイルが上面視において重複してもよい。
図47は、様々な形状、大きさ又は高さのタイルを用いた場合のタイル分割の例を示す図である。タイルの形状はどのような形状であってもよいし、どのような大きさであってもよいし、これらの組み合わせであってもよい。
例えば、上述したような重複することなく正方形のタイルで分割する例、及び重複した円形のタイルで分割する例だけでなく、三次元データ符号化装置は、重複した正方形のタイルで分割を行ってもよい。また、タイルの形状は、正方形及び円形でなくてもよく、3以上の頂点を持つ多角形が用いられてもよいし、頂点を持たない形状が用いられてもよい。
また、タイルの形状は、2種類以上であってもよいし、異なる形状のタイルが重複してもよい。また、タイルの形状の種類は1以上であり、分割する同一形状において、大きさの異なる形状を組み合わせてもよいし、それらが、重複してもよい。
例えば、道路などのオブジェクトがない領域には、オブジェクトが存在する領域よりも大きなタイルが用いられる。また、三次元データ符号化装置は、オブジェクトに応じてタイルの形状又は大きさを適応的に変えてもよい。
また、例えば、三次元データ符号化装置は、自動車(車両)の進行方向である、自動車の前方遠方のタイルの読み込みが必要となる可能性が高いため、進行方向のタイルを大きいサイズに設定し、自動車の側方に自動車が進む可能性が低いため、側方のタイルを進行方向のタイルよりも小さいサイズに設定してもよい。
図48は、サーバに保存されるタイルのデータの例を示す図である。例えば、予め点群データがタイル分割して符号化され、得られた符号化データがサーバに保存される。ユーザーは、必要なときに所望のタイルのデータをサーバから取得する。または、サーバ(三次元データ符号化装置)は、ユーザーの指示に応じてユーザーが所望するデータを含むようにタイル分割及び符号化を行ってもよい。
例えば、移動体(車両)の移動速度が速い場合は、より広範囲な点群データが必要になることが考えられる。よって、サーバは、予め推測される車の速度(例えば、道路の法定速度、道路の幅及び形状から推測できる車の速度、又は統計上の速度等)に基づき、タイルの形状及び大きさを決定し、タイル分割を行ってもよい。あるいは、図48に示すように、サーバは、予め複数の形状又は大きさのタイルを符号化し、得られたデータを保存しておいてもよい。移動体は、当該移動体の進行方向及び速度に応じて、適切な形状及び大きさのタイルのデータを取得してもよい。
図49は、タイル分割に関するシステムの例を示す図である。図49に示すように、タイルの形状及び領域は、点群データを伝送する通信手段であるアンテナ(基地局)の位置、又はアンテナのサポートする通信エリアに基づいて決定されてもよい。あるいは、点群データをカメラなどのセンサで生成する場合、タイルの形状及び領域は、センサの位置又はセンサの対象範囲(検知範囲)に基づいて決定されてもよい。
1つのアンテナ又はセンサに対して1つのタイルが割り当てられてもよいし、複数のアンテナ又はセンサに対して1つのタイルが割り当てられてもよい。1つのアンテナ又はセンサに対して複数のタイルが割り当てられてもよい。アンテナ又はセンサは固定されていてもよいし、移動可能であってもよい。
例えば、タイルに分割された符号化データは、タイルに割り当てたエリアに対するアンテナ又はセンサに接続されたサーバで管理されてもよい。サーバは、自エリアの符号化データと、隣接するエリアのタイル情報とを管理してもよい。それぞれのタイルに対応する複数のサーバを管理する集中管理サーバ(クラウド)において、複数のタイルの複数の符号化データが管理されてもよい。または、タイルに対応するサーバを設けず、アンテナ又はセンサが集中管理サーバに直接接続されてもよい。
なお、アンテナ又はセンサの対象範囲は、電波の電力、機器の違い、及び設置条件により異なる可能性があり、タイルの形状及び大きさも、これらに合わせて変化してもよい。アンテナ又はセンサの対象範囲に基づき、タイルではなく、スライスが割り当てられてもよいし、PCCフレームが割り当てられてもよい。
次に、タイルをスライスに分割する手法について説明する。類似するオブジェクトを同じスライスに割り当てることで符号化効率を向上できる。
例えば、三次元データ符号化装置は、点群データの特徴を用いてオブジェクト(道路、ビル、木など)を認識し、オブジェクト毎に点群をクラスタリングすることでスライス分割を行ってもよい。
あるいは、三次元データ符号化装置は、同じ属性を持つオブジェクトをグループ化し、各グループにスライスを割り当てることでスライス分割を行ってもよい。ここで属性とは、例えば、動きに関する情報であり、歩行者及び車などの動的情報と、事故及び渋滞などの準動的情報と、交通規制及び道路工事などの準静的情報と、路面及び構造物などの静的情報とにオブジェクトを分類することでグループ化を行う。
なお、複数のスライスにおいてデータが重複してもよい。例えば、複数のオブジェクトグループ毎にスライス分割する場合、任意のオブジェクトは1つのオブジェクトグループに属してもよいし、2以上の複数のオブジェクトグループに属してもよい。
図50は、このスライス分割の例を示す図である。例えば、図50に示す例では、タイルは直方体である。なお、タイルは円柱状であってもよいし、その他の形状であってもよい。
タイルに含まれる点群は、例えば、道、建物、木等のオブジェクトグループにグループ化される。そして、各オブジェクトグループが一つのスライスに含まれるようにスライス化が行われる。そして、各スライスは個別に符号化される。
次に、分割データの符号化方法について説明する。三次元データ符号化装置(第1の符号化部5010)は、分割されたデータを、それぞれ符号化する。三次元データ符号化装置は、属性情報を符号化する際に、どの構成情報(位置情報、付加情報又は他の属性情報)に基づき符号化を行ったかを示す依存関係情報を付加情報として生成する。つまり、依存関係情報は、例えば、参照先(依存先)の構成情報を示す。この場合、三次元データ符号化装置は、属性情報の分割形状に対応する構成情報に基づき依存関係情報を生成する。なお、三次元データ符号化装置は、複数の分割形状に対応する構成情報に基づき依存関係情報を生成してもよい。
依存関係情報は三次元データ符号化装置で生成され、生成された依存関係情報が三次元データ復号装置に送出されてもよい。または、三次元データ復号装置が依存関係情報を生成し、三次元データ符号化装置は依存関係情報を送出しなくてもよい。また、三次元データ符号化装置が使用する依存関係を、予め定めておき、三次元データ符号化装置は、依存関係情報を送出しなくてもよい。
図51は、各データの依存関係の一例を示す図である。図中の矢印の先は依存先を示し、矢印の元は依存元を示している。三次元データ復号装置は、依存先から依存元の順でデータを復号する。また、図中に実線で示すデータは実際に送出されるデータであり、点線で示すデータは送出されないデータである。
また、同図において、Gは位置情報を示し、Aは属性情報を示す。Gt1は、タイル番号1の位置情報を示し、Gt2は、タイル番号2の位置情報を示す。Gt1s1は、タイル番号1かつスライス番号1の位置情報を示し、Gt1s2は、タイル番号1かつスライス番号2の位置情報を示し、Gt2s1は、タイル番号2かつスライス番号1の位置情報を示し、Gt2s2は、タイル番号2かつスライス番号2の位置情報を示す。同様に、At1は、タイル番号1の属性情報を示し、At2は、タイル番号2の属性情報を示す。At1s1は、タイル番号1かつスライス番号1の属性情報を示し、At1s2は、タイル番号1かつスライス番号2の属性情報を示し、At2s1は、タイル番号2かつスライス番号1の属性情報を示し、At2s2は、タイル番号2かつスライス番号2の属性情報を示す。
Mtileは、タイル付加情報を示し、MGsliceは、位置スライス付加情報を示し、MAsliceは、属性スライス付加情報を示す。Dt1s1は属性情報At1s1の依存関係情報を示し、Dt2s1は属性情報At2s1の依存関係情報を示す。
なお、アプリケーション等に応じて、異なるタイル分割又はスライス分割の構造が用いられてもよい。
また、三次元データ符号化装置は、三次元データ復号装置においてデータを並び替える必要がないように、データを復号順に並び替えてもよい。なお、三次元データ復号装置においてデータを並び替えてもよいし、三次元データ符号化装置と三次元データ復号装置との両方でデータを並び替えてもよい。
図52は、データの復号順の例を示す図である。図52の例では、左のデータから順に復号が行われる。三次元データ復号装置は、依存関係にあるデータ間では、依存先のデータから先に復号する。例えば、三次元データ符号化装置は、この順序となるようにデータを予め並び替えて送出する。なお、依存先のデータが先になる順序であれば、どのような順序でもよい。また、三次元データ符号化装置は、付加情報及び依存関係情報をデータより先に送出してもよい。
また、三次元データ復号装置は、アプリケーションからの要求、及びNALユニットヘッダから得られた情報に基づき、選択的にタイルを復号してもよい。図53は、タイルの符号化データの例を示す図である。例えば、タイルの復号順は任意である。つまり、タイル間に依存関係がなくてもよい。
次に、第1の復号部5020に含まれる結合部5025の構成を説明する。図54は、結合部5025の構成を示すブロック図である。結合部5025は、位置情報スライス結合部5041(Geometry Slice Combiner)と、属性情報スライス結合部5042(Attribute Slice Combiner)と、タイル結合部(Tile Combiner)とを含む。
位置情報スライス結合部5041は、位置スライス付加情報を用いて複数の分割位置情報を結合することで複数のタイル位置情報を生成する。属性情報スライス結合部5042は、属性スライス付加情報を用いて複数の分割属性情報を結合することで複数のタイル属性情報を生成する。
タイル結合部5043は、タイル付加情報を用いて複数のタイル位置情報を結合することで位置情報を生成する。また、タイル結合部5043は、タイル付加情報を用いて複数のタイル属性情報を結合することで属性情報を生成する。
なお、分割されるスライス又はタイルの数は1以上である。つまり、スライス又はタイルの分割が行われていなくてもよい。
次に、スライス分割又はタイル分割された符号化データの構成、及び符号化データのNALユニットへの格納方法(多重化方法)を説明する。図55は、符号化データの構成及び符号化データのNALユニットへの格納方法を示す図である。
符号化データ(分割位置情報及び分割属性情報)は、NALユニットのペイロードに格納される。
符号化データは、ヘッダとペイロードとを含む。ヘッダは、ペイロードに含まれるデータを特定するための識別情報を含む。この識別情報は、例えば、スライス分割或いはタイル分割の種別(slice_type、tile_type)、スライス或いはタイルを特定するためのインデックス情報(slice_idx、tile_idx)、データ(スライス或いはタイル)の位置情報、又はデータのアドレス(address)などを含む。スライスを特定するためのインデックス情報は、スライスインデックス(SliceIndex)とも記す。タイルを特定するためのインデックス情報は、タイルインデックス(TileIndex)とも記す。また、分割の種別とは、例えば、上述したようなオブジェクト形状に基づく手法、地図情報或いは位置情報に基づく手法、又は、データ量或いは処理量に基づく手法等である。
また、符号化データのヘッダは、依存関係を示す識別情報を含む。つまり、当該ヘッダは、データ間に依存関係がある場合は、依存元から依存先を参照するための識別情報を含む。例えば、依存先のデータのヘッダには、当該データを特定するための識別情報が含まれる。依存元のデータのヘッダには、依存先を示す識別情報が含まれる。なお、データを特定するための識別情報、スライス分割又はタイル分割に係る付加情報、及び依存関係を示す識別情報を、他の情報から識別可能又は導出可能である場合は、これらの情報を省略してもよい。
次に、本実施の形態に係る点群データの符号化処理及び復号処理の流れについて説明する。図56は、本実施の形態に係る点群データの符号化処理のフローチャートである。
まず、三次元データ符号化装置は、使用する分割方法を決定する(S5011)。この分割方法は、タイル分割を行うか否か、スライス分割を行うか否かを含む。また、分割方法は、タイル分割又はスライス分割を行う場合の分割数、及び、分割の種別等を含んでもよい。分割の種別とは、上述したようなオブジェクト形状に基づく手法、地図情報或いは位置情報に基づく手法、又は、データ量或いは処理量に基づく手法等である。なお、分割方法は、予め定められていてもよい。
タイル分割が行われる場合(S5012でYes)、三次元データ符号化装置は、位置情報と属性情報とを一括で分割することで複数のタイル位置情報及び複数のタイル属性情報を生成する(S5013)。また、三次元データ符号化装置は、タイル分割に係るタイル付加情報を生成する。なお、三次元データ符号化装置は、位置情報と属性情報とを独立に分割してもよい。
スライス分割が行われる場合(S5014でYes)、三次元データ符号化装置は、複数のタイル位置情報及び複数のタイル属性情報(又は位置情報及び属性情報)を独立に分割することで複数の分割位置情報及び複数の分割属性情報を生成する(S5015)。また、三次元データ符号化装置は、スライス分割に係る位置スライス付加情報及び属性スライス付加情報を生成する。なお、三次元データ符号化装置は、タイル位置情報とタイル属性情報とを一括で分割してもよい。
次に、三次元データ符号化装置は、複数の分割位置情報及び複数の分割属性情報の各々を符号化することで、複数の符号化位置情報及び複数の符号化属性情報を生成する(S5016)。また、三次元データ符号化装置は、依存関係情報を生成する。
次に、三次元データ符号化装置は、複数の符号化位置情報、複数の符号化属性情報及び付加情報をNALユニット化(多重化)することで符号化データ(符号化ストリーム)を生成する(S5017)。また、三次元データ符号化装置は、生成した符号化データを送出する。
図57は、本実施の形態に係る点群データの復号処理のフローチャートである。まず、三次元データ復号装置は、符号化データ(符号化ストリーム)に含まれる、分割方法に係る付加情報(タイル付加情報、位置スライス付加情報及び属性スライス付加情報)を解析することで、分割方法を判定する(S5021)。この分割方法は、タイル分割を行うか否か、スライス分割を行うか否かを含む。また、分割方法は、タイル分割又はスライス分割を行う場合の分割数、及び、分割の種別等を含んでもよい。
次に、三次元データ復号装置は、符号化データに含まれる複数の符号化位置情報及び複数の符号化属性情報を、符号化データに含まれる依存関係情報を用いて復号することで分割位置情報及び分割属性情報を生成する(S5022)。
付加情報によりスライス分割が行われていることが示される場合(S5023でYes)、三次元データ復号装置は、位置スライス付加情報及び属性スライス付加情報に基づき、複数の分割位置情報と、複数の分割属性情報とを、それぞれの方法で結合することで、複数のタイル位置情報及び複数のタイル属性情報を生成する(S5024)。なお、三次元データ復号装置は、複数の分割位置情報と、複数の分割属性情報とを同一の方法で結合してもよい。
付加情報によりタイル分割が行われていることが示される場合(S5025でYes)、三次元データ復号装置は、タイル付加情報に基づき、複数のタイル位置情報及び複数のタイル属性情報(複数の分割位置情報及び複数の分割属性情報)を同一の方法で結合することで位置情報及び属性情報を生成する(S5026)。なお、三次元データ復号装置は、複数のタイル位置情報と複数のタイル属性情報とを、それぞれ異なる方法で結合してもよい。
次に、タイル付加情報について説明する。三次元データ符号化装置は、タイルの分割方法に関するメタデータであるタイル付加情報を生成し、生成したタイル付加情報を三次元データ復号装置に送信する。
図58は、タイル付加情報(TileMetaData)のシンタックス例を示す図である。図58に示すように、例えば、タイル付加情報は、分割方法情報(type_of_divide)と、形状情報(topview_shape)と、重複フラグ(tile_overlap_flag)と、重複情報(type_of_overlap)と、高さ情報(tile_height)と、タイル数(tile_number)と、タイル位置情報(global_position、relative_position)と、を含む。
分割方法情報(type_of_divide)は、タイルの分割方法を示す。例えば、分割方法情報は、タイルの分割方法が、地図の情報に基づいた分割であるか、つまり上面視に基づく分割(top_view)であるか、それ以外(other)であるかを示す。
形状情報(topview_shape)は、例えば、タイルの分割方法が上面視に基づく分割である場合に、タイル付加情報に含まれる。形状情報は、タイルを上面視した形状を示す。例えば、この形状は、正方形及び円を含む。なお、この形状は、楕円、矩形又は四角形以外の多角形を含んでもよいし、それ以外の形状を含んでもよい。なお、形状情報は、タイルを上面視した形状に限らず、タイルの三次元形状(例えば、立方体及び円柱等)を示してもよい。
重複フラグ(tile_overlap_flag)は、タイルが重複するか否かを示す。例えば、重複フラグは、タイルの分割方法が上面視に基づく分割である場合に、タイル付加情報に含まれる。この場合、重複フラグは、上面視において、タイルが重複するか否かを示す。なお、重複フラグは、三次元空間においてタイルが重複するか否かを示してもよい。
重複情報(type_of_overlap)は、例えば、タイルが重複する場合に、タイル付加情報に含まれる。重複情報は、タイルの重複のしかた等を示す。例えば、重複情報は、重複する領域の大きさ等を示す。
高さ情報(tile_height)は、タイルの高さを示す。なお、高さ情報は、タイルの形状を示す情報を含んでもよい。例えば、当該情報は、タイルの上面視における形状が矩形の場合には、当該の矩形の辺の長さ(縦の長さ及び横の長さ)を示してもよい。また、当該情報は、タイルの上面視における形状が円の場合には、当該円の直径又は半径を示してもよい。
また、高さ情報は、各タイルの高さを示してもよし、複数のタイルで共通の高さを示してもよい。また、予め道路及び立体交差部分等の複数の高さタイプが設定され、高さ情報により、各高さタイプの高さと、各タイルの高さタイプとが示されてもよい。または、各高さタイプの高さは予め定義されており、高さ情報により、各タイルの高さタイプが示されてもよい。つまり、各高さタイプの高さは、高さ情報で示されなくてもよい。
タイル数(tile_number)は、タイルの数を示す。なお、タイル付加情報は、タイルの間隔を示す情報を含んでもよい。
タイル位置情報(global_position、relative_position)は、各タイルの位置を特定するための情報である。例えば、タイル位置情報は、各タイルの絶対座標又は相対座標を示す。
なお、上記の情報の一部又は全ては、タイル毎に設けられてもよいし、複数のタイル毎(例えばフレーム毎又は複数フレーム毎)に設けられてもよい。
三次元データ符号化装置は、タイル付加情報を、SEI(Supplemental Enhancement Information)に含めて送出してもよい。または、三次元データ符号化装置は、タイル付加情報を、既存のパラメータセット(PPS、GPS、又はAPS等)に格納して送出してもよい。
例えば、タイル付加情報がフレーム毎に変化する場合は、フレーム毎のパラメータセット(GPS又はAPS等)にタイル付加情報が格納されてもよい。シーケンス内でタイル付加情報が変化しない場合は、シーケンス毎のパラメータセット(位置SPS又は属性SPS)にタイル付加情報が格納されてもよい。さらに、位置情報と属性情報とで同じタイル分割情報が用いられる場合は、PCCストリームのパラメータセット(ストリームPS)にタイル付加情報が格納されてもよい。
また、タイル付加情報は、上記のいずれかのパラメータセットに格納されてもよいし、複数のパラメータセットに格納されてもよい。また、タイル付加情報は、符号化データのヘッダに格納されてもよい。また、タイル付加情報は、NALユニットのヘッダに格納されてもよい。
また、タイル付加情報の全て又は一部は、分割位置情報のヘッダ及び分割属性情報のヘッダの一方に格納され、他方に格納されてなくてもよい。例えば、位置情報と属性情報とで同一のタイル付加情報が用いられる場合には、位置情報と属性情報の一方のヘッダにタイル付加情報が含まれてもよい。例えば、位置情報に属性情報が依存する場合には、位置情報が先に処理される。よって、位置情報のヘッダにこれらのタイル付加情報が含まれ、属性情報のヘッダにはタイル付加情報が含まれなくてもよい。この場合、三次元データ復号装置は、例えば、依存先の位置情報のタイルと同一のタイルに依存元の属性情報が属すると判断する。
三次元データ復号装置は、タイル付加情報に基づき、タイル分割された点群データを再構成する。三次元データ復号装置は、重複する点群データがある場合は、重複する複数の点群データを特定し、いずれかを選択、又は複数の点群データをマージする。
また、三次元データ復号装置は、タイル付加情報を用いて復号を行ってもよい。例えば、三次元データ復号装置は、複数のタイルが重複する場合は、タイル毎に復号を行い、復号された複数のデータを用いた処理(例えば平滑化、又はフィルタリング等)を行い、点群データを生成してもよい。これにより精度の高い復号が可能となる可能性がある。
図59は、三次元データ符号化装置及び三次元データ復号装置を含むシステムの構成例を示す図である。タイル分割部5051は、位置情報及び属性情報を含む点群データを第1タイルと第2タイルとに分割する。また、タイル分割部5051は、タイル分割に係るタイル付加情報を復号部5053及びタイル結合部5054に送る。
符号化部5052は、第1タイル及び第2タイルを符号化することで符号化データを生成する。
復号部5053は、符号化部5052で生成された符号化データを復号することで第1タイル及び第2タイルを復元する。タイル結合部5054は、タイル付加情報を用いて、第1タイル及び第2タイルを結合することで点群データ(位置情報及び属性情報)を復元する。
次に、スライス付加情報について説明する。三次元データ符号化装置は、スライスの分割方法に関するメタデータであるスライス付加情報を生成し、生成したスライス付加情報を三次元データ復号装置に送信する。
図60は、スライス付加情報(SliceMetaData)のシンタックス例を示す図である。図60に示すように、例えば、スライス付加情報は、分割方法情報(type_of_divide)と、重複フラグ(slice_overlap_flag)と、重複情報(type_of_overlap)と、スライス数(slice_number)と、スライス位置情報(global_position、relative_position)と、スライスサイズ情報(slice_bounding_box_size)とを含む。
分割方法情報(type_of_divide)は、スライスの分割方法を示す。例えば、分割方法情報は、スライスの分割方法が、図50で示すようなオブジェクトの情報に基づいた分割である(object)か否かを示す。なお、スライス付加情報は、オブジェクト分割の方法を示す情報を含んでもよい。例えば、この情報は、1つのオブジェクトを複数のスライスに分割するか、1つのスライスに割り当てるかを示す。また、この情報は、1つのオブジェクトを複数のスライスに分割する場合の分割数等を示してもよい。
重複フラグ(slice_overlap_flag)は、スライスが重複するか否かを示す。重複情報(type_of_overlap)は、例えば、スライスが重複する場合に、スライス付加情報に含まれる。重複情報は、スライスの重複のしかた等を示す。例えば、重複情報は、重複する領域の大きさ等を示す。
スライス数(slice_number)は、スライスの数を示す。
スライス位置情報(global_position、relative_position)、及びスライスサイズ情報(slice_bounding_box_size)は、スライスの領域に関する情報である。スライス位置情報は、各スライスの位置を特定するための情報である。例えば、スライス位置情報は、各スライスの絶対座標又は相対座標を示す。スライスサイズ情報(slice_bounding_box_size)は、各スライスのサイズを示す。例えば、スライスサイズ情報は、各スライスのバウンディングボックスのサイズを示す。
三次元データ符号化装置は、スライス付加情報をSEIに含めて送出してもよい。または、三次元データ符号化装置は、スライス付加情報を、既存のパラメータセット(PPS、GPS、又はAPS等)に格納して送出してもよい。
例えば、スライス付加情報がフレーム毎に変化する場合は、フレーム毎のパラメータセット(GPS又はAPS等)にスライス付加情報が格納されてもよい。シーケンス内でスライス付加情報が変化しない場合は、シーケンス毎のパラメータセット(位置SPS又は属性SPS)にスライス付加情報が格納されてもよい。さらに、位置情報と属性情報とで同じスライス分割情報が用いられる場合は、PCCストリームのパラメータセット(ストリームPS)にスライス付加情報が格納されてもよい。
また、スライス付加情報は、上記のいずれかのパラメータセットに格納されてもよいし、複数のパラメータセットに格納されてもよい。また、スライス付加情報は、符号化データのヘッダに格納されてもよい。また、スライス付加情報は、NALユニットのヘッダに格納されてもよい。
また、スライス付加情報の全て又は一部は、分割位置情報のヘッダ及び分割属性情報のヘッダの一方に格納され、他方に格納されてなくてもよい。例えば、位置情報と属性情報とで同一のスライス付加情報が用いられる場合には、位置情報と属性情報の一方のヘッダにスライス付加情報が含まれてもよい。例えば、位置情報に属性情報が依存する場合には、位置情報が先に処理される。よって、位置情報のヘッダにこれらのスライス付加情報が含まれ、属性情報のヘッダにはスライス付加情報が含まれなくてもよい。この場合、三次元データ復号装置は、例えば、依存先の位置情報のスライスと同一のスライスに依存元の属性情報が属すると判断する。
三次元データ復号装置は、スライス付加情報に基づき、スライス分割された点群データを再構成する。三次元データ復号装置は、重複する点群データがある場合は、重複する複数の点群データを特定し、いずれかを選択、又は複数の点群データをマージする。
また、三次元データ復号装置は、スライス付加情報を用いて復号を行ってもよい。例えば、三次元データ復号装置は、複数のスライスが重複する場合は、スライス毎に復号を行い、復号された複数のデータを用いた処理(例えば平滑化、又はフィルタリング)を行い、点群データを生成してもよい。これにより精度の高い復号が可能となる可能性がある。
図61は、本実施の形態に係る三次元データ符号化装置による、タイル付加情報の生成処理を含む三次元データ符号化処理のフローチャートである。
まず、三次元データ符号化装置は、タイルの分割方法を決定する(S5031)。具体的には、三次元データ符号化装置は、タイルの分割方法として、上面視に基づく分割方法(top_view)を用いるか、それ以外(other)を用いるかを決定する。また、三次元データ符号化装置は、上面視に基づく分割方法を用いる場合のタイルの形状を決定する。また、三次元データ符号化装置は、タイルが他のタイルと重複するか否かを決定する。
ステップS5031で決定したタイルの分割方法が上面視に基づく分割方法である場合(S5032でYes)、三次元データ符号化装置は、タイルの分割方法が上面視に基づく分割方法(top_view)であることをタイル付加情報に記載する(S5033)。
一方、ステップS5031で決定したタイルの分割方法が上面視に基づく分割方法以外である場合(S5032でNo)、三次元データ符号化装置は、タイルの分割方法が上面視に基づく分割方法(top_view)以外の方法であることをタイル付加情報に記載する(S5034)。
また、ステップS5031で決定した、タイルを上面視した形状が正方形である場合(S5035で正方形)、三次元データ符号化装置は、タイルを上面視した形状が正方形であることをタイル付加情報に記載する(S5036)。一方、ステップS5031で決定した、タイルを上面視した形状が円である場合(S5035で円)、三次元データ符号化装置は、タイルを上面視した形状が円であることをタイル付加情報に記載する(S5037)。
次に、三次元データ符号化装置は、タイルが他のタイルと重複するかを判定する(S5038)。タイルが他のタイルと重複している場合(S5038でYes)、三次元データ符号化装置は、タイルが重複していることをタイル付加情報に記載する(S5039)。一方、タイルが他のタイルと重複していない場合(S5038でNo)、三次元データ符号化装置は、タイルが重複していないことをタイル付加情報に記載する(S5040)。
次に、三次元データ符号化装置は、ステップS5031で決定したタイルの分割方法に基づきタイルを分割し、各タイルを符号化し、生成された符号化データ及びタイル付加情報を送出する(S5041)。
図62は、本実施の形態に係る三次元データ復号装置による、タイル付加情報を用いた三次元データ復号処理のフローチャートである。
まず、三次元データ復号装置は、ビットストリームに含まれるタイル付加情報を解析する(S5051)。
タイル付加情報によりタイルが他のタイルと重複していないことが示される場合(S5052でNo)、三次元データ復号装置は、各タイルを復号することで各タイルの点群データを生成する(S5053)。次に、三次元データ復号装置は、タイル付加情報で示されるタイルの分割方法及びタイルの形状に基づき、各タイルの点群データから点群データを再構成する(S5054)。
一方、タイル付加情報によりタイルが他のタイルと重複していることが示される場合(S5052でYes)、三次元データ復号装置は、各タイルを復号することで各タイルの点群データを生成する。また、三次元データ復号装置は、タイル付加情報に基づき、タイルの重複部分を特定する(S5055)。なお、三次元データ復号装置は、重複部分については重複する複数の情報を用いて復号処理を行ってもよい。次に、三次元データ復号装置は、タイル付加情報で示されるタイルの分割方法、タイルの形状、及び重複情報に基づき、各タイルの点群データから点群データを再構成する(S5056)。
以下、スライスに関する変形例等を説明する。三次元データ符号化装置は、オブジェクトの種類(道、建物、木等)又は属性(動的情報、静的情報等)を示す情報を付加情報として送信してもよい。または、オブジェクトに応じて符号化のパラメータが予め規定され、三次元データ符号化装置は、オブジェクトの種類又は属性を送出することにより符号化パラメータを三次元データ復号装置へ通知してもよい。
スライスデータの符号化順及び送出順について以下の方法を用いてもよい。例えば、三次元データ符号化装置は、オブジェクトの認識又はクラスタリングが容易なデータから順にスライスデータを符号化してもよい。または、三次元データ符号化装置は、早くクラスタリングが終わったスライスデータから順に符号化を行ってもよい。また、三次元データ符号化装置は、符号化されたスライスデータから順に送出してもよい。または、三次元データ符号化装置は、アプリケーションにおいて復号の優先度の高い順にスライスデータを送出してもよい。例えば、動的情報の復号の優先度が高い場合には、三次元データ符号化装置は、動的情報でグループ化されたスライスから順にスライスデータを送出してもよい。
また、三次元データ符号化装置は、符号化データの順番と、復号の優先度の順番とが異なる場合には、符号化データを並び替えた後に送出してもよい。また、三次元データ符号化装置は、符号化データを蓄積する際には、符号化データを並び替えた後に蓄積してもよい。
アプリケーション(三次元データ復号装置)は、所望のデータを含むスライスの送出をサーバ(三次元データ符号化装置)に要求する。サーバはアプリケーションが必要とするスライスデータを送出し、不要なスライスデータは送出しなくてもよい。
アプリケーションは、所望のデータを含むタイルの送出をサーバに要求する。サーバはアプリケーションが必要とするタイルデータを送出し、不要なタイルデータは送出しなくてもよい。
以上のように、本実施の形態に係る三次元データ符号化装置は、図63に示す処理を行う。まず、三次元データ符号化装置は、複数の三次元点が含まれる対象空間を分割した複数のサブ空間(例えばタイル)を符号化することで複数の符号化データを生成する(S5061)。三次元データ符号化装置は、前記複数の符号化データと、前記複数のサブ空間の形状を示す第1情報(例えばtopview_shape)とを含むビットストリームを生成する(S5062)。
これによれば、三次元データ符号化装置は、複数種類のサブ空間の形状から任意の形状を選択できるので符号化効率を向上できる。
例えば、前記形状は、前記複数のサブ空間の二次元における形状、又は三次元における形状である。例えば、前記形状は、前記複数のサブ空間を上面視した形状である。つまり、第1情報は、サブ空間を特定の方向(例えば上方向)から見た形状を示す。言い換えると、第1情報は、サブ空間を俯瞰した形状を示す。例えば、前記形状は、矩形又は円である。
例えば、前記ビットストリームは、前記複数のサブ区間が重複するか否かを示す第2情報(例えばtile_overlap_flag)を含む。
これによれば、三次元データ符号化装置は、サブ空間を重複させることができるので、サブ空間の形状を複雑にすることなくサブ空間を生成できる。
例えば、前記ビットストリームは、前記複数のサブ区間の分割方法が上面視を用いた分割方法であるかを示す第3情報(例えばtype_of_divide)を含む。
例えば、前記ビットストリームは、前記複数のサブ区間の高さ、幅、奥行き及び半径のうち少なくとも1つを示す第4情報(例えばtile_height)を含む。
例えば、前記ビットストリームは、前記複数のサブ区間の各々の位置を示す第5情報(例えばglobal_position又はrelative_position)を含む。
例えば、前記ビットストリームは、前記複数のサブ区間の数を示す第6情報(例えばtile_number)を含む。
例えば、前記ビットストリームは、前記複数のサブ区間の間隔を示す第7情報を含む。
例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
また、本実施の形態に係る三次元データ復号装置は、図64に示す処理を行う。まず、三次元データ復号装置は、ビットストリームに含まれる、複数の三次元点が含まれる対象空間を分割した複数のサブ空間(例えばタイル)が符号化されることで生成された複数の符号化データを復号することで前記複数のサブ空間を復元する(S5071)。三次元データ復号装置は、前記ビットストリームに含まれる、前記複数のサブ空間の形状を示す第1情報(例えばtopview_shape)を用いて前記複数のサブ空間を結合することで前記対象空間を復元する(S5072)。例えば、三次元データ復号装置は、第1情報を用いて、複数のサブ空間の形状を認識することで、各サブ空間の対象空間内の位置及び範囲を把握できる。三次元データ復号装置は、把握した複数のサブ空間の位置及び範囲に基づき複数のサブ空間を結合できる。これにより、三次元データ復号装置は、複数のサブ空間を正しく結合できる。
例えば、前記形状は、前記複数のサブ空間の二次元における形状、又は三次元における形状である。例えば、前記形状は、矩形又は円である。
例えば、前記ビットストリームは、前記複数のサブ区間が重複するか否かを示す第2情報(例えばtile_overlap_flag)を含む。三次元データ復号装置は、前記対象空間の復元では、前記第2情報をさらに用いて前記複数のサブ空間を結合する。例えば、三次元データ復号装置は、第2情報を用いて、サブ空間が重複している否かを判定する。三次元データ復号装置は、サブ空間が重複している場合には、重複領域を特定し、特定した重複領域に対しては、所定の対応を行う。
例えば、前記ビットストリームは、前記複数のサブ区間の分割方法が上面視を用いた分割方法であるかを示す第3情報(例えばtype_of_divide)を含む。三次元データ復号装置は、前記第3情報により、前記複数のサブ区間の分割方法が上面視を用いた分割方法であることが示される場合、前記第1情報を用いて前記複数のサブ空間を結合する。
例えば、前記ビットストリームは、前記複数のサブ区間の高さ、幅、奥行き及び半径のうち少なくとも1つを示す第4情報(例えばtile_height)を含む。三次元データ復号装置は、前記対象空間の復元では、前記第4情報をさらに用いて前記複数のサブ空間を結合する。例えば、三次元データ復号装置は、第4情報を用いて、複数のサブ空間の高さを認識することで、各サブ空間の対象空間内の位置及び範囲を把握できる。三次元データ復号装置は、把握した複数のサブ空間の位置及び範囲に基づき複数のサブ空間を結合できる。
例えば、前記ビットストリームは、前記複数のサブ区間の各々の位置を示す第5情報(例えばglobal_position又はrelative_position)を含む。三次元データ復号装置は、前記対象空間の復元では、前記第5情報をさらに用いて前記複数のサブ空間を結合する。例えば、三次元データ復号装置は、第5情報を用いて、複数のサブ空間の位置を認識することで、各サブ空間の対象空間内の位置を把握できる。三次元データ復号装置は、把握した複数のサブ空間の位置に基づき複数のサブ空間を結合できる。
例えば、前記ビットストリームは、前記複数のサブ区間の数を示す第6情報(例えばtile_number)を含む。三次元データ復号装置は、前記対象空間の復元では、前記第6情報をさらに用いて前記複数のサブ空間を結合する。
例えば、前記ビットストリームは、前記複数のサブ区間の間隔を示す第7情報を含む。三次元データ復号装置は、前記対象空間の復元では、前記第7情報をさらに用いて前記複数のサブ空間を結合する。例えば、三次元データ復号装置は、第7情報を用いて、複数のサブ空間の間隔を認識することで、各サブ空間の対象空間内の位置及び範囲を把握できる。三次元データ復号装置は、把握した複数のサブ空間の位置及び範囲に基づき複数のサブ空間を結合できる。
例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
(実施の形態7)
以下、量子化パラメータについて説明する。
点群データの特性および位置に基づき点群データを分割するために、スライスおよびタイルが用いられる。ここで、ハードウェアの制限、および、リアルタイム処理の要件により、それぞれの分割された点群データに求められる品質が異なる場合がある。例えば、オブジェクト毎にスライスに分割して符号化する場合、植物を含むスライスデータは、それほど重要でないため、量子化することにより解像度(品質)を落とすことができる。一方、重要なスライスデータは量子化の値を低い値に設定することで高い解像度(品質)とすることができる。このような量子化値のコントロールを可能とするために量子化パラメータが用いられる。
ここで、量子化の対象となるデータと、量子化に用いられるスケールと、量子化によって算出される結果である量子化データとは、以下の(式G1)と(式G2)で表される。
量子化データ=データ/スケール (式G1)
データ=量子化データ*スケール (式G2)
図65は、データを量子化する量子化部5323、および、量子化データを逆量子化する逆量子化部5333の処理について説明するための図である。
量子化部5323は、スケールを用いてデータを量子化する、つまり、式G1を用いる処理を行うことで、データが量子化された量子化データを算出する。
逆量子化部5333は、スケールを用いて量子化データを逆量子化する、つまり、式G2を用いる処理を行うことで、量子化データが逆量子化されたデータを算出する。
また、スケールと、量子化値(QP(Quantization Parameter)値)とは、以下の(式G3)で表される。
量子化値(QP値)=log(スケール) (式G3)
量子化値(QP値)=デフォルト値(基準値)+量子化デルタ(差分情報) (式G4)
また、これらのパラメータを総称して量子化パラメータ(Quantization Parameter)と呼ぶ。
例えば、図66に示されるように、量子化値は、デフォルト値を基準とした値であり、デフォルト値に量子化デルタを加算することで算出される。量子化値がデフォルト値よりも小さい値である場合には、量子化デルタは負の値となる。量子化値がデフォルト値よりも大きい値である場合には、量子化デルタは正の値となる。量子化値がデフォルト値と等しい場合には、量子化デルタは0となる。量子化デルタが0である場合、量子化デルタは、なくてもよい。
符号化処理について説明する。図67は、本実施の形態に係る三次元データ符号化装置に含まれる第1の符号化部5300の構成を示すブロック図である。図68は、本実施の形態に係る分割部5301の構成を示すブロック図である。図69は、本実施の形態に係る位置情報符号化部5302および属性情報符号化部5303の構成を示すブロック図である。
第1の符号化部5300は、点群データを第1の符号化方法(GPCC(Geometry based PCC))で符号化することで符号化データ(符号化ストリーム)を生成する。この第1の符号化部5300は、分割部5301と、複数の位置情報符号化部5302と、複数の属性情報符号化部5303と、付加情報符号化部5304と、多重化部5305とを含む。
分割部5301は、点群データを分割することで複数の分割データを生成する。具体的には、分割部5301は、点群データの空間を複数のサブ空間に分割することで複数の分割データを生成する。ここでサブ空間とは、タイル及びスライスの一方、又はタイル及びスライスの組み合わせである。より具体的には、点群データは、位置情報、属性情報、及び付加情報を含む。分割部5301は、位置情報を複数の分割位置情報に分割し、属性情報を複数の分割属性情報に分割する。また、分割部5301は、分割に関する付加情報を生成する。
分割部5301は、図68に示すように、タイル分割部5311と、スライス分割部5312とを含む。例えば、タイル分割部5311は、点群をタイルに分割する。タイル分割部5311は、分割した各タイルに用いる量子化値をタイル付加情報として決定してもよい。
スライス分割部5312は、タイル分割部5311により得られたタイルを、さらにスライスに分割する。スライス分割部5312は、分割した各スライスに用いる量子化値をスライス付加情報として決定してもよい。
複数の位置情報符号化部5302は、複数の分割位置情報を符号化することで複数の符号化位置情報を生成する。例えば、複数の位置情報符号化部5302は、複数の分割位置情報を並列処理する。
位置情報符号化部5302は、図69に示すように、量子化値算出部5321と、エントロピ符号化部5322とを含む。量子化値算出部5321は、符号化される分割位置情報の量子化値(量子化パラメータ)を取得する。エントロピ符号化部5322は、量子化値算出部5321により取得された量子化値(量子化パラメータ)を用いて、分割位置情報を量子化することで、量子化位置情報を算出する。
複数の属性情報符号化部5303は、複数の分割属性情報を符号化することで複数の符号化属性情報を生成する。例えば、複数の属性情報符号化部5303は、複数の分割属性情報を並列処理する。
属性情報符号化部5303は、図69に示すように、量子化値算出部5331と、エントロピ符号化部5332とを含む。量子化値算出部5331は、符号化される分割属性情報の量子化値(量子化パラメータ)を取得する。エントロピ符号化部5332は、量子化値算出部5331により取得された量子化値(量子化パラメータ)を用いて、分割属性情報を量子化することで、量子化属性情報を算出する。
付加情報符号化部5304は、点群データに含まれる付加情報と、分割部5301で分割時に生成された、データ分割に関する付加情報とを符号化することで符号化付加情報を生成する。
多重化部5305は、複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を多重化することで符号化データ(符号化ストリーム)を生成し、生成した符号化データを送出する。また、符号化付加情報は復号時に使用される。
なお、図67では、位置情報符号化部5302及び属性情報符号化部5303の数がそれぞれ2つの例を示しているが、位置情報符号化部5302及び属性情報符号化部5303の数は、それぞれ1つであってもよいし、3つ以上であってもよい。また、複数の分割データは、CPU内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよいし、複数チップの複数コアで並列処理されてもよい。
次に、復号処理について説明する。図70は、第1の復号部5340の構成を示すブロック図である。図71は、位置情報復号部5342および属性情報復号部5343の構成を示すブロック図である。
第1の復号部5340は、点群データが第1の符号化方法(GPCC)で符号化されることで生成された符号化データ(符号化ストリーム)を復号することで点群データを復元する。この第1の復号部5340は、逆多重化部5341と、複数の位置情報復号部5342と、複数の属性情報復号部5343と、付加情報復号部5344と、結合部5345とを含む。
逆多重化部5341は、符号化データ(符号化ストリーム)を逆多重化することで複数の符号化位置情報、複数の符号化属性情報及び符号化付加情報を生成する。
複数の位置情報復号部5342は、複数の符号化位置情報を復号することで複数の量子化位置情報を生成する。例えば、複数の位置情報復号部5342は、複数の符号化位置情報を並列処理する。
位置情報復号部5342は、図71に示すように、量子化値算出部5351と、エントロピ復号部5352とを含む。量子化値算出部5351は、量子化位置情報の量子化値を取得する。エントロピ復号部5352は、量子化値算出部5351により取得された量子化値を用いて、量子化位置情報を逆量子化することで、位置情報を算出する。
複数の属性情報復号部5343は、複数の符号化属性情報を復号することで複数の分割属性情報を生成する。例えば、複数の属性情報復号部5343は、複数の符号化属性情報を並列処理する。
属性情報復号部5343は、図71に示すように、量子化値算出部5361と、エントロピ復号部5362とを含む。量子化値算出部5361は、量子化属性情報の量子化値を取得する。エントロピ復号部5362は、量子化値算出部5361により取得された量子化値を用いて、量子化属性情報を逆量子化することで、属性情報を算出する。
複数の付加情報復号部5344は、符号化付加情報を復号することで付加情報を生成する。
結合部5345は、付加情報を用いて複数の分割位置情報を結合することで位置情報を生成する。結合部5345は、付加情報を用いて複数の分割属性情報を結合することで属性情報を生成する。例えば、結合部5345は、まず、スライス付加情報を用いて、スライスに対する復号された点群データを結合することでタイルに対応する点群データを生成する。次に、結合部5345は、タイル付加情報を用いて、タイルに対応する点群データを結合することで元の点群データを復元する。
なお、図70では、位置情報復号部5342及び属性情報復号部5343の数がそれぞれ2つの例を示しているが、位置情報復号部5342及び属性情報復号部5343の数は、それぞれ1つであってもよし、3つ以上であってもよい。また、複数の分割データは、CPU内の複数コアのように同一チップ内で並列処理されてもよいし、複数のチップのコアで並列処理されてもよい、複数チップの複数コアで並列処理されてもよい。
[量子化パラメータの決定方法]
図72は、位置情報(Geometry)の符号化あるいは属性情報(Attribute)の符号化における量子化値(Quantization Parameter値:QP値)の決定に関する処理の一例を示すフローチャートである。
QP値は、例えばPCCフレームを構成する位置情報のデータ単位毎、あるいは属性情報のデータ単位毎に符号化効率を考慮して決定される。データ単位が分割されたタイル単位、あるいは、分割されたスライス単位である場合には、QP値は、分割のデータ単位の符号化効率を考慮し、分割のデータ単位で決定される。また、QP値は、分割前のデータ単位で決定されてもよい。
図72に示すように、三次元データ符号化装置は、位置情報の符号化に使用するQP値を決定する(S5301)。三次元データ符号化装置は、QP値の決定を、分割された複数のスライス毎に、所定の方法に基づいて行ってもよい。具体的には、三次元データ符号化装置は、位置情報のデータの特徴または品質に基づいて、QP値を決定する。三次元データ符号化装置は、例えば、データ単位毎に、点群データの密度、つまり、スライスに属する単位領域あたりの点の数を判定し、点群データの密度に対応する値をQP値として決定してもよい。あるいは、三次元データ符号化装置は、点群データの点の数、点の分布、点の偏り、または、点の情報から得られる特徴量、特徴点の数、あるいは認識されるオブジェクトに基づき、対応する値をQP値として決定してもよい。また、三次元データ符号化装置は、地図の位置情報におけるオブジェクトを判定し、位置情報に基づくオブジェクトに基づきQP値を決定してもよいし、三次元点群を二次元に投影した情報あるいは特徴量に基づきQP値を決定してもよい。対応するQP値は、あらかじめ、点群データの密度、点の数、点の分布、または点の偏りと対応付けられているテーブルとしてメモリに保持されていてもよい。また、対応するQP値は、予め、点の情報から得られる特徴量もしくは特徴点の数、または、点の情報に基づいて認識されるオブジェクトと対応付けられているテーブルとしてメモリに保持されていてもよい。また、対応するQP値は、点群データの位置情報を符号化する際に、様々なQP値で符号化率などをシミュレーションした結果に基づき決定されてもよい。
次に、三次元データ符号化装置は、位置情報のQP値の基準値(デフォルト値)および差分情報(量子化デルタ)を決定する(S5302)。三次元データ符号化装置は、具体的には、決定したQP値および所定の方法を用いて、伝送する基準値および差分情報を決定し、決定した基準値および差分情報を、付加情報およびデータのヘッダの少なくとも一方に設定(追加)する。
次に、三次元データ符号化装置は、属性情報の符号化に使用するQP値を決定する(S5303)。三次元データ符号化装置は、QP値の決定を、分割された複数のスライス毎に、所定の方法に基づいて行ってもよい。具体的には、三次元データ符号化装置は、属性情報のデータの特徴または品質に基づいて、QP値を決定する。三次元データ符号化装置は、例えば、データ単位毎に、属性情報の特性に基づいて、QP値を決定してもよい。色の特性とは、例えば、輝度、色度、彩度、これらのヒストグラム、色の連続性などである。属性情報が反射率の場合は、反射率に基づく情報に応じて判定してもよい。三次元データ符号化装置は、例えば、点群データからオブジェクトとして顔を検出した場合、顔を検出したオブジェクトを構成する点群データに対して、品質のよいQP値を決定してもよい。このように、三次元データ符号化装置は、オブジェクトの種類に応じて、オブジェクトを構成する点群データに対するQP値を決定してもよい。
また、三次元データ符号化装置は、三次元点に複数の属性情報がある場合、属性情報毎に独立に、それぞれの属性情報に基づくQP値を決定してもよいし、あるいは、いずれか一方の属性情報に基づき、複数の属性情報のQP値を決定してもよいし、複数の属性情報を用いて当該複数の属性情報のQP値を決定してもよい。
次に、三次元データ符号化装置は、属性情報のQP値の基準値(デフォルト値)および差分情報(量子化デルタ)を決定する(S5304)。三次元データ符号化装置は、具体的には、決定したQP値および所定の方法を用いて、伝送する基準値および差分情報を決定し、決定した基準値および差分情報を、付加情報およびデータのヘッダの少なくとも一方に設定(追加)する。
そして、三次元データ符号化装置は、それぞれ、決定された位置情報および属性情報のQP値に基づき、位置情報および属性情報を量子化し、符号化する(S5305)。
なお、位置情報のQP値は、位置情報に基づいて決定され、属性情報のQP値は、属性情報に基づいて決定される例を説明したが、これに限らない。例えば、位置情報および属性情報のQP値は、位置情報に基づいて決定されてもよいし、属性情報に基づいて決定されてもよいし、位置情報および属性情報に基づいて決定されてもよい。
なお、位置情報および属性情報のQP値は、点群データにおける、位置情報の品質と属性情報の品質とのバランスを考慮して調整されてもよい。例えば、位置情報および属性情報のQP値は、位置情報の品質が高く設定され、かつ、属性情報の品質が位置情報の品質より低く設定されるように決定されてもよい。例えば、属性情報のQP値は、位置情報のQP値以上という制約された条件を満たすように決定されてもよい。
また、QP値は、符号化データがあらかじめ定められた所定のレートの範囲内に収まるように符号化されるように調整されてもよい。QP値は、例えば、ひとつ前のデータ単位の符号化で符号量が所定のレートを超えそうな場合、つまり、所定のレートまでの差が第一の差分未満である場合、データ単位の符号量が第一の差分未満となるよう符号化品質が低下するように調整されてもよい。一方で、QP値は、所定のレートまでの差が、第一の差分よりも大きい第二の差分より大きく、十分に大きな差がある場合、データ単位の符号化品質が向上するように調整されてもよい。データ単位の間の調整は、例えばPCCフレーム間であってもよいし、タイルの間やスライスの間であってもよい。属性情報のQP値の調整は、位置情報の符号化のレートに基づいて調整されてもよい。
なお、図72におけるフローチャートにおいて、位置情報に係る処理と属性情報に係る処理の処理順は、反対でも良いし、並列でもよい。
なお、図72におけるフローチャートでは、スライス単位の処理を例にしているが、タイル単位や、その他のデータ単位での処理の場合もスライス単位と同様に処理することができる。つまり、図72のフローチャートのスライスは、タイルまたは他のデータ単位と読み替えることができる。
図73は、位置情報および属性情報の復号処理の一例を示すフローチャートである。
図73に示すように、三次元データ復号装置は、位置情報のQP値を示す基準値および差分情報と、属性情報のQP値を示す基準値および差分情報とを取得する(S5311)。具体的には、三次元データ復号装置は、伝送されるメタデータ、符号化データのヘッダのいずれか一方または両方を解析し、QP値を導出するための基準値および差分情報を取得する。
次に、三次元データ復号装置は、取得した基準値および差分情報を用いて、所定の方法に基づいて、QP値を導出する(S5312)。
そして、三次元データ復号装置は、量子化位置情報を取得し、導出されたQP値を用いて量子化位置情報を逆量子化することで、位置情報を復号する(S5313)。
次に、三次元データ復号装置は、量子化属性情報を取得し、導出されたQP値を用いて量子化属性情報を逆量子化することで、属性情報を復号する(S5314)。
次に、量子化パラメータの伝送方法について説明する。
図74は、量子化パラメータの伝送方法の第1の例について説明するための図である。図74の(a)は、QP値の関係の一例を示す図である。
図74において、QGおよびQAは、それぞれ、位置情報の符号化に用いるQP値の絶対値、および、属性情報の符号化に用いるQP値の絶対値を示す。QGは、複数の三次元点のそれぞれの位置情報を量子化するために用いられる第1量子化パラメータの一例である。また、Δ(QA,QG)は、QAの導出に用いるQGとの差分を示す差分情報を示す。つまり、QAは、QGとΔ(QA,QG)とを用いて導出される。このように、QP値は、基準値(絶対値)と差分情報(相対値)とに分けて伝送される。また、復号では、伝送された基準値および差分情報から所望のQP値を導出する。
例えば、図74の(a)では、絶対値QGと差分情報Δ(QA,QG)とが伝送され、復号では、下記の(式G5)で示すように、QAは、QGにΔ(QA,QG)を加算することで導出される。
QA=QG+Δ(QA,QG) (式G5)
図74の(b)および(c)を用いて位置情報および属性情報からなる点群データをスライス分割する場合のQP値の伝送方法を説明する。図74の(b)は、各QP値の基準値と差分情報との関係の第1の例を示す図である。図74の(c)は、QP値、位置情報、および、属性情報の伝送順の第1の例を示す図である。
QP値は、位置情報毎、および、属性情報毎に、大きく、PCCのフレーム単位のQP値(フレームQP)と、データ単位のQP値(データQP)に分かれている。データ単位のQP値は、図72のステップS5301で決定した、符号化に用いるQP値である。
ここでは、PCCフレーム単位の位置情報の符号化に用いるQP値であるQGを基準値とし、データ単位のQP値をQGからの差分を示す差分情報として生成し、送出する。
QG:PCCフレームにおける位置情報の符号化のQP値・・・GPSを用いて基準値「1.」として送出される
QA:PCCフレームにおける属性情報の符号化のQP値・・・APSを用いてQGからの差分を示す差分情報「2.」として送出される
QGs1,QGs2:スライスデータにおける位置情報の符号化のQP値…位置情報の符号化データのヘッダを用いて、QGからの差分を示す差分情報「3.」および「5.」として送出される
QAs1,QAs2:スライスデータにおける属性情報の符号化のQP値…属性情報の符号化データのヘッダを用いて、QAからの差分を示す差分情報「4.」および「6.」として送出される
なお、フレームQPの導出に用いる情報は、フレームに係るメタデータ(GPS,APS)に記載され、データQPの導出に用いる情報は、データに係るメタデータ(符号化データのヘッダ)に記載される。
このように、データQPは、フレームQPからの差分を示す差分情報として生成され、送出される。よって、データQPのデータ量を削減することができる。
第1の復号部5340は、それぞれの符号化データにおいて、図74の(c)の矢印で示したメタデータを参照し、当該符号化データに対応する基準値および差分情報を取得する。そして、第1の復号部5340は、取得した基準値および差分情報に基づいて、復号対象の符号化データに対応するQP値を導出する。
第1の復号部5340は、例えば、図74の(c)において矢印で示した基準情報「1.」および差分情報「2.」、「6.」をメタデータあるいはヘッダから取得し、下記の(式G6)で示すように、基準情報「1.」に差分情報「2.」および「6.」を加算することで、As2のQP値を導出する。
QAS2=QG+Δ(QA,QG)+Δ(QAs2,QA) (式G6)
次に、位置情報および属性情報をタイルに2分割した後に、スライスに2分割する場合の例について図75を用いて説明する。図75は、量子化パラメータの伝送方法の第2の例について説明するための図である。図75の(a)は、各QP値の基準値と差分情報との関係の第2の例を示す図である。図75の(b)は、QP値、位置情報、および、属性情報の伝送順の第2の例を示す図である。図75の(c)は、第2の例における、差分情報の中間生成値について説明するための図である。
複数のタイルに分割した後に、さらに複数のスライスに分割する場合、図75の(c)に示すように、タイルに分割した後にタイル毎のQP値(QAt1)および差分情報Δ(QAt1,QA)が中間生成値として生成される。そして、スライスに分割した後にスライス毎のQP値(QAt1s1,QAt1s2)および差分情報(Δ(QAt1s1,QAt1),Δ(QAt1s2,QAt1))が生成される。
この場合、例えば、図75の(a)における、差分情報「4.」は、以下の(式G8)で導出される。
Δ(QAt1s1,QA)=Δ(QAt1,QA)+Δ(QAt1s1,QAt1) (式G8)
第1の復号部5340は、例えば、タイル2におけるスライス1の属性情報At2s1を復号する際、図75の(b)の矢印で示した基準情報「1.」および差分情報「2.」、「8.」をメタデータあるいはヘッダから取得し、下記の(式G9)で示すように、基準情報「1.」に差分情報「2.」、「8.」を加算することで、属性情報At2s1のQP値を導出する。
QAt2s1=QG+Δ(QAt2s1,QA)+Δ(QA,QG) (式G9)
(実施の形態8)
本実施の形態では、三次元データ符号化装置は、入力された三次元点群(Point Cloud)の三次元位置情報に量子化を適用して8分木構造で符号化する。このとき、量子化により三次元位置は同じだが色又は反射率等の属性情報が異なる点群(以下、重複点(duplicated point)と呼ぶ)が発生する。三次元データ符号化装置は、この重複点を8分木のリーフ情報としてどのように符号化するかを制御するための情報をヘッダに付加する。これにより、三次元データ復号装置は、正しくリーフ情報を復号できる。ここで、量子化により三次元位置が同じとは、図76に示す点A及び点Bのように元々の三次元位置が近い位置にあり、三次元位置の情報が量子化されることで三次元位置の値が同一になったことを含む。
例えば、三次元データ符号化装置は、重複点をマージするか否かを制御するフラグである重複点マージフラグ(MergeDuplicatedPointFlag)をヘッダ情報に付加する。図77は、重複点マージフラグに応じた処理を模式的に示す図である。
三次元データ符号化装置は、重複点マージフラグが1の場合は、重複点を1個の点にマージして符号化する。ここで、マージとは、例えば点Aと点Bが重複点の場合、点Aを残し点Bを削除すること、又はその逆である。なおこの際、三次元データ符号化装置は、点Aと点Bの色又は反射率等の属性情報から新たな属性情報を算出し、算出した属性情報をマージ後の点に割り当ててもよい。例えば、三次元データ符号化装置は、点Aと点Bの属性情報の平均値をマージ後の点に割り当ててもよい。
また、重複点マージフラグが1の場合は、8分木で符号化する際の各リーフは1個の点のみを含むため、三次元データ符号化装置は、リーフ情報としてリーフが何個の三次元点を含むかを示す情報を符号化しなくてもよい。また、三次元データ符号化装置は、リーフ内の1個の点の三次元位置情報と、色又は反射率などの属性情報に関わる情報とを符号化してもよい。
このように、重複点が復号後に不要な場合は、三次元データ符号化装置は、重複点マージフラグを1に設定してストリームに付加し、重複点をマージして符号化する。これにより、不要な重複点のデータ量を削減でき、符号化効率を向上できる。
重複点マージフラグが0の場合は、三次元データ符号化装置は、重複点の情報をリーフ情報として符号化する。例えば、各リーフは1個以上の重複点を含む可能性があるため、三次元データ符号化装置は、リーフが何個の三次元点を含むかを示す情報を符号化する。また、三次元データ符号化装置は、重複点の各属性情報をそれぞれ符号化してもよい。例えばリーフ内に点Aと点Bが重複点として存在する場合、三次元データ符号化装置は、2個の点がリーフ内に存在することを示す情報を符号化してもよい。また、三次元データ符号化装置は、点Aと点Bのそれぞれの属性情報を符号化してもよい。
このように、重複点が復号後に必要な場合は、三次元データ符号化装置は、重複点マージフラグを0に設定してストリームに付加し、重複点を符号化する。これにより、三次元データ復号装置は、正しく重複点に関わる情報を復号できる。
例えば、三次元データ符号化装置は、三次元位置の量子化として、例えば、三次元位置(x,y,z)を量子化パラメータ(qx,qy,qz)で除算することで量子化位置(x/qx,y/qy,z/qz)を算出する。
重複点マージフラグは、ビットストリームのヘッダ情報に含まれてもよい。例えば、重複点マージフラグは、WLD、SPC又はVLM等のビットストリームのヘッダに含まれる。
なお、上記では、属性情報として色又は反射率を例に挙げたが、属性情報は必ずしもこれに限らない。例えば、属性情報は、点の法線ベクトル、点の重要度を表す情報、点の持つ三次元特徴量、又は、点の緯度、経度及び高度などの位置情報などを含んでもよい。
また、マージとは、2個以上の点を1個の点に統合することを表す。また、マージとは、M個以上の点をN個(M>N)の点に統合することを表してもよい。
上述したように、量子化により、三次元点群の座標は同じだが、色又は反射率などの属性情報が異なる重複点が発生する。例えば、量子化前は点Aと点Bの三次元位置は異なるが、量子化により点Aと点Bの三次元位置が同じになり、属性情報が異なるといったケースが発生する。つまり、点Aと点Bが重複点である。
なお、量子化に限らず、LiDAR等のセンサで同一物体の点群の三次元位置及び属性情報を、時間又は方向を変えて取得することで、重複点が発生するケースもある。
また、三次元位置が同じとは、三次元位置が完全に一致するケースだけに限らない。例えば、三次元データ符号化装置は、点Aと点Bの三次元位置の差が予め定められた閾値α以下である場合に、点Aと点Bは三次元位置が同じとみなし、点Aと点Bを重複点と判定してもよい。また、三次元データ符号化装置は、閾値αをストリームに付加し、三次元データ復号装置に閾値α以下の点は重複点として扱われたことを伝えてもよい。
また、三次元データ符号化装置は、重複点の三次元位置として点Aの三次元位置を用いてもよい。または、三次元データ符号化装置は、重複点の三次元位置として点Bの三次元位置を用いてもよい。または、三次元データ符号化装置は、重複点の三次元位置として点Aの三次元位置と点Bの三次元位置とから算出した三次元位置を用いてもよい。例えば、三次元データ符号化装置は、点Aの三次元位置と点Bの三次元位置との平均値を用いてもよい。
また、三次元データ符号化装置は、重複点のうち、三次元位置が同じでかつ属性情報も一致する点については、重複点マージフラグの値に関わらず、マージを行ってもよいし、どちらか一方の点を削除してもよい。
また、重複点マージフラグが1の場合に、三次元データ符号化装置は、リーフ内のM点をN点(M>N)にマージしてもよい。この場合、三次元データ符号化装置は、N点の三次元位置情報と属性情報をそれぞれリーフ情報として符号化してもよい。また、三次元データ符号化装置は、M個の属性情報を用いてN個の属性情報を算出してもよい。
また、三次元データ符号化装置は、マージ後のリーフ内の点の数(N)をヘッダに付加して三次元データ復号装置に知らせてもよい。また、規格等でNの値が固定値として予め設定されていてもよい。これにより、リーフ毎にN個という情報を付加する必要がなくなり、発生符号化量を抑制できる。上記により、三次元データ復号装置はN個の点を正しく復号できる。
重複点マージフラグが1の場合は、重複点が1個の点にマージされる。例えば、三次元データ符号化装置は、点Aと点Bを同じ三次元位置情報を持つ点Cにマージしてもよい。なお、三次元データ符号化装置は、点Aと点Bの色又は反射率等の属性情報の平均値を点Cに割り当ててもよい。また、三次元データ符号化装置は、点Bを点Aにマージしてもよいし、点Aを点Bにマージしてもよい。
次に、重複点マージフラグのシンタックス例を説明する。図78はヘッダ情報のシンタックス例を示す図である。図79は、ノードの情報のシンタックス例を示す図である。
図78に示すようにヘッダ情報は、重複点マージフラグ(MergeDuplicatedPointFlag)を含む。重複点マージフラグは重複点をマージするか否かを示す情報である。例えば、重複点マージフラグの値1は、重複点をマージすることを示し、値0は重複点をマージしないことを示す。
なお、三次元データ符号化装置は、重複点マージフラグをヘッダに付加せずに、規格、又は規格のプロファイル或いはレベル等で重複点をマージするか否かを規定してもよい。これにより、三次元データ復号装置は規格情報を参照して、重複点がストリームに含まれるか否かを判定してビットストリームを正しく復元できる。
図79に示すように、ノードの情報は、isleafと、num_point_per_leafとを含む。isleafは対象ノードがリーフであるか否かを示すフラグである。値1は対象ノードがリーフであることを示し、値0は対象ノードがリーフでなくノードであることを示す。なお、ノードがリーフであるか否かを示す情報はヘッダに付加されなくてもよい。この場合、三次元データ復号装置は、別の方法でノードがリーフであるか否かを判定する。例えば、三次元データ復号装置は、8分木の各ノードをこれ以上分割できないサイズまで分割したか否かを判定し、真であればノードがリーフであると判定してもよい。これにより、ノードがリーフであるか否かを示すフラグを符号化する必要がなくなり、ヘッダの符号量を削減できる。
num_point_per_leafは、リーフ情報であり、リーフに含まれる三次元点の数を示す。このnum_point_per_leafは、重複点マージフラグが0の場合に符号化される。また、重複点マージフラグが1の場合はリーフ内の点の数は1であるため、num_point_per_leafは符号化されない。これにより、符号量を削減できる。
なお、ここでは、重複点マージフラグに応じて直接的にリーフ情報を符号化するか否かを切り替える例を示すが、間接的にリーフ情報を符号化するか否かを切り替えてもよい。例えば、三次元データ符号化装置は、重複点マージフラグに応じてsingle_point_per_leafを切り替え、シンタックスに基づき、リーフ情報を符号化するか否かを切り替えてもよい。つまり、三次元データ符号化装置は、重複点マージフラグが1の場合には、single_point_per_leafを1に設定し、重複点マージフラグが0の場合には、single_point_per_leafを0に設定してもよい。また、この場合、三次元データ符号化装置は、重複点マージフラグをビットストリームに付加しなくてもよい。
また、三次元データ符号化装置は、num_point_per_leafをエントロピー符号化によって符号化してもよい。また、その際、三次元データ符号化装置は、複数の符号化テーブルを切替えながら符号化を行ってもよい。例えば、三次元データ符号化装置は、先頭ビットを符号化テーブルAを用いて算術符号化し、残りのビットを符号化テーブルBを用いて算術符号化してもよい。
上記のように、三次元データ符号化装置は、ビットストリームのヘッダに重複点をマージするか否かを示す情報を付加し、その値に応じて重複点をマージするか否かを切替える。また、三次元データ符号化装置は、重複点をマージする場合は、リーフ情報としてリーフ内に含まれる点の数を符号化しなくてもよい。また、三次元データ符号化装置は、重複点をマージしない場合は、リーフ情報としてリーフ内に含まれる点の数を符号化してもよい。
また、三次元データ符号化装置は、上記方法で生成されたisleaf、MergeDuplicatedPointFlag、及びnum_point_per_leafをエントロピー符号化してもよい。例えば、三次元データ符号化装置は、各値を二値化して算術符号化してもよい。
また、本実施の形態は、8分木構造を例に示したが、必ずしもこれに限らず、4分木及び16分木等のN分木(Nは2以上の整数)、又は、その他の木構造に対して、上記手法を適用してもよい。
重複点マージフラグ=1として符号化した場合、元の入力三次元点群、又は量子化後の三次元点群に重複点が含まれる場合は、不可逆符号化(lossy coding)となり、符号量を削減できる。また、三次元データ符号化装置は、元の入力三次元点群に重複点が含まれず、かつ、可逆符号化(lossless coding)で符号化する(量子化をスキップして符号化する)場合において重複点マージフラグ=1として符号化してもよい。これにより、可逆符号化を維持しつつ、num_point_per_leafを符号化しない分の符号量を削減できる。
また、三次元データ符号化装置は、同一リーフ内の2個以上の重複点をリーフ情報としてそれぞれ符号化する場合は、各点の持つ属性情報(色又は反射率等)もそれぞれ符号化してもよい。この場合、各点の符号化順で各点の属性情報を紐付けてもよい。例えば、三次元データ符号化装置は、同一リーフ内の2点A、Bをリーフ情報としてそれぞれ符号化する場合は、2点A、Bの両方の属性情報も符号化し、ビットストリームに付加してもよい。また、2点A、Bの符号化順で各属性情報を紐付けしてもよい。例えば、点A、点Bの順で各三次元位置を符号化した場合は、点A、点Bの順でそれぞれの属性情報を符号化し、紐付けすることが考えられる。
また、三次元データ符号化装置は、同一リーフ内のM個以上の点群をマージしてN点(M>N)として符号化する場合は、M個以上の点群のM個以上の属性情報を例えば平均化等で平滑化してN点の属性情報を生成し、それらを符号化してもよい。例えば、三次元データ符号化装置は、同一リーフ内の2点A、Bをマージして1点として符号化する場合は、2点A、Bの属性情報を例えば平均化等で平滑化して1点の属性情報を算出し、算出した属性情報を符号化してもよい。
また、三次元データ符号化装置は、点の重要度又は特徴量に応じて属性情報の算出方法を切替えてもよい。例えば、三次元データ符号化装置は、重要度が高い点、又は特徴量が大きい点の属性情報に高い重みをつけて重みづけ平均値を算出し、算出した値をマージ後の属性情報として用いてもよい。また、三次元データ符号化装置は、量子化前後の三次元位置の変化量に応じて重みを変えてもよい。例えば変化量が小さいほど高い重みをつけて重みづけ平均値を算出し、算出した値をマージ後の属性情報として用いてもよい。
次に、三次元データ符号化装置による三次元データ符号化処理の流れを説明する。図80及び図81は、三次元データ符号化装置による三次元データ符号化処理のフローチャートである。
まず、三次元データ符号化装置は、重複点をマージして符号化するか否かを決定する(S2401)。例えば、三次元データ符号化装置は、符号化効率を優先する場合は、重複点をマージすると判断してもよい。また、三次元データ符号化装置は、三次元データ復号装置において重複点が必要であれば、マージしないと判断してもよい。また、三次元データ符号化装置は、入力三次元点群に重複点がなく、かつ、ロスレス符号化(可逆符号化)、つまり量子化が適用されない場合において、重複点マージフラグを1に設定してもよい。これにより、リーフ情報としてリーフ内の点の数が符号化されなくなるため、符号量を削減できる。
重複点をマージして符号化する場合(S2401でYes)、三次元データ符号化装置は、重複点マージフラグを1に設定し、当該重複点マージフラグをヘッダに付加する(S2402)。
重複点をマージして符号化しない場合(S2401でNo)、三次元データ符号化装置は、重複点マージフラグを0に設定し、当該重複点マージフラグをヘッダに付加する(S2403)。
次に、三次元データ符号化装置は、入力三次元点群の三次元位置を量子化する(S2404)。三次元データ符号化装置は、三次元位置の量子化として、例えば三次元位置(x,y,z)を量子化パラメータ(qx,qy,qz)で除算することで量子化位置(x/qx,y/qy,z/qz)を算出する。また、三次元データ符号化装置は、量子化パラメータをヘッダに付加し、三次元データ復号装置は、当該量子化パラメータを用いて逆量子化を行ってもよい。なお、三次元データ符号化装置は、ロスレス符号化時には量子化処理をスキップしてもよい。
次に、三次元データ符号化装置は、重複点マージフラグが1であるか否かを判定する(S2405)。重複点マージフラグが1である場合(S2405でYes)、三次元データ符号化装置は、量子化後の三次元点群のうち重複点をマージする(S2406)。なお、三次元データ符号化装置は、ロスレス符号化、かつ入力三次元点群に重複点が含まれない場合には、本処理をスキップしてもよい。
また、重複点マージフラグが0である場合(S2405でNo)、三次元データ符号化装置は、重複点をマージ処理を行わない。
次に、三次元データ符号化装置は、ノードを8分木に分割する(S2411)。例えば、三次元データ符号化装置は、量子化後の三次元点群を含む大空間(ルートノード)から8分木分割を行いながら、8分木の各ノードのオキュパンシー符号を順に算出し、算出したオキュパンシー符号を符号化してもよい。また、三次元データ符号化装置は、8分木分割を繰返し適用し、8分木分割を適用できなくなった時点でリーフ情報を符号化してもよい。なお、三次元データ符号化装置は、事前に全てのノードのオキュパンシー符号及びリーフ情報を算出し、その後にそれら情報を符号化してもよい。
次に、三次元データ符号化装置は、次のノード(対象ノード)がリーフであるか否かを判定する(S2412)。例えば、三次元データ符号化装置は、8分木をこれ以上分割できないサイズまで分割したか否かを判定し、真であればノードがリーフであると判定してもよい。
対象ノードがリーフである場合(S2412でYes)、三次元データ符号化装置は、重複点マージフラグが0であるか否かを判定する(S2413)。重複点マージフラグが0である場合(S2413でYes)、三次元データ符号化装置は、リーフに含まれる三次元点の数(num_point_per_leaf)を符号化する(S2414)。重複点マージフラグが1である場合(S2413でNo)、三次元データ符号化装置は、リーフに含まれる三次元点の数(num_point_per_leaf)を符号化しない。
また、対象ノードがリーフでない場合(S2412でNo)、三次元データ符号化装置は、対象ノードのオキュパンシー符号を符号化する(S2415)。
次に、三次元データ符号化装置は、全てのノードの処理が完了したか否かを判定する(S2416)。全てのノードの処理が完了していない場合(S2416でNo)、三次元データ符号化装置は、次のノードに対してステップS2412以降の処理を行う。
全てのノードの処理が完了した場合(S2416でYes)、三次元データ符号化装置は、符号化した三次元点に関わる属性情報を符号化する(S2417)。
なお、三次元データ符号化装置は、大空間(ルートノード)のx軸、y軸又はz軸のサイズを、各軸に対して常に均等に2分割ができるように、2のべき乗のサイズに調整してもよい。また、三次元データ符号化装置は、分割後のノードが常に立方体になるように大空間のサイズを調整してもよい。例えば、三次元点群の三次元位置がx軸で0〜256、y軸で0〜120、z軸で0〜62の値の範囲を取る場合、まず、三次元データ符号化装置は、各軸の最小値と最大値を比較し、全ての点群の座標の最小値と最大値を算出する。この場合は、最小値は0、最大値は256である。次に、算出した最小値と最大値を包括し、かつ、大空間のサイズが2のべき乗となる値を算出する。この場合は、サイズが512であり、空間内の座標の最小値が0であり、最大値が511である。これにより、0〜256の範囲の点群を包括できる。また、この場合、三次元データ符号化装置は、512×512×512のサイズの大空間から8分木の分割をスタートする。
次に、三次元データ復号装置による三次元データ復号処理の流れを説明する。図82は、三次元データ復号装置による三次元データ復号処理のフローチャートである。まず、三次元データ復号装置は、ビットストリームのヘッダ内の重複点マージフラグを復号する(S2421)。
次に、三次元データ復号装置は、ノードを8分木に分割する(S2422)。例えば、三次元データ復号装置は、ビットストリームのヘッダ情報等を用いて、ある空間(ノード)の8分木を生成する。例えば、三次元データ復号装置は、ヘッダ情報に付加されたある空間のx軸、y軸、z軸方向の大きさを用いて大空間(ルートノード)を生成し、その空間をx軸、y軸、z軸方向にそれぞれ2分割することで8個の小空間A(ノードA0〜A7)を生成して8分木を生成する。また、三次元データ復号装置は、同様にノードA0〜A7の各々を更に8個の小空間に分割する。このように、三次元データ復号装置は、本フローの処理を通して、各ノードのオキュパンシー符号の復号と、リーフ情報の復号とを順に行う。
次に、三次元データ復号装置は、次のノード(対象ノード)がリーフであるか否かを判定する(S2423)。対象ノードがリーフである場合(S2423でYes)、三次元データ復号装置は、重複点マージフラグが0であるか否かを判定する(S2424)。重複点マージフラグが0である場合(S2424でYes)、三次元データ復号装置は、ビットストリームから、リーフに含まれる三次元点の数(num_point_per_leaf)を復号する(S2425)。一方、重複点マージフラグが1である場合(S2424でNo)、三次元データ復号装置は、ビットストリームから、リーフに含まれる三次元点の数(num_point_per_leaf)を復号しない。
また、次のノードがリーフでない場合(S2423でNo)、三次元データ復号装置は、ビットストリームから対象ノードのオキュパンシー符号を復号する(S2426)。
次に、三次元データ復号装置は、復号したオキュパンシー符号、及び8分木の分割数等の情報を用いてリーフの三次元位置を算出する(S2427)。例えば大空間のサイズが8×8×8の場合に、8分木分割を3回適用するとノードのサイズが1×1×1となる。このサイズ(1×1×1)が分割できる最小単位(リーフ)である。また、三次元データ復号装置は、各リーフに点が含まれるか否かを、リーフの親ノードの、復号したオキュパンシー符号から判定する。これにより、三次元データ復号装置は、各リーフの三次元位置を算出できる。
次に、三次元データ復号装置は、算出した三次元位置を逆量子化する(S2428)。具体的には、三次元データ復号装置は、ヘッダから復号した量子化パラメータを用いて逆量子化を行うことで、点群の三次元位置を算出する。例えば、三次元データ復号装置は、三次元位置の逆量子化として、例えば逆量子化前の三次元位置(x,y,z)に量子化パラメータ(qx,qy,qz)を乗算することで逆量子化位置(x×qx,y×qy,z×qz)を算出する。なお、三次元データ復号装置は、ロスレス符号化時には逆量子化処理をスキップしてもよい。また、三次元データ復号装置は、ロスレス符号化でない(不可逆符号化)時でも、スケールを元のスケールに戻す必要がない場合は、逆量子化処理をスキップしてよい。例えば、三次元データ復号装置は、三次元点の絶対的な位置関係ではなく、相対的な位置関係が必要な場合は、逆量子化処理をスキップしてもよい。
次に、三次元データ復号装置は、全てのノードの処理が完了したか否かを判定する(S2429)。全てのノードの処理が完了していない場合(S2429でNo)、三次元データ復号装置は、次のノードに対してステップS2423以降の処理を行う。
全てのノードの処理が完了した場合(S2429でYes)、三次元データ復号装置は、復号した三次元点に関わる属性情報をビットストリームから復号する(S2430)。なお、重複点マージフラグが1である場合は、復号された異なる三次元位置を持つ各点に1個の属性情報が復号後に紐付けされる。また、重複点マージフラグが0である場合は、復号された同じ三次元位置を持つ複数の点に、複数の異なる属性情報が復号され紐付けされる。
次に、三次元データ符号化装置の構成例を説明する。図83は、本実施の形態に係る三次元データ符号化装置2400のブロック図である。三次元データ符号化装置2400は、量子化部2401と、8分木生成部2402と、マージ決定部2403と、エントロピー符号化部2404とを備える。
量子化部2401は、入力された三次元点(ポイントクラウド)を量子化する。なお、可逆符号化の場合には量子化処理を省略してもよい。
8分木生成部2402は、入力された三次元点(ポイントクラウド)から、例えば8分木を生成し、8分木の各ノードのオキュパンシー符号及びリーフ情報を生成する。
マージ決定部2403は、重複点をマージして符号化するか否かを判定し、判定結果に基づき重複点マージフラグの値を設定する。例えば、マージ決定部2403は、量子化後の三次元点群の情報を用いて、重複点マージフラグの値を決定する。例えば、マージ決定部2403は、量子化後の三次元点群に重複点が含まれるか否かに基づき重複点マージフラグの値を決定する。
エントロピー符号化部2404は、重複点マージフラグに応じてリーフ情報の符号化を行うことでビットストリームを生成する。エントロピー符号化部2404は、重複点マージフラグをビットストリームに付加してもよい。また、エントロピー符号化部2404は、オキュパンシー符号を符号化してもよい。また、エントロピー符号化部2404は、符号化した三次元点に関わる属性情報を符号化してもよい。
次に、三次元データ復号装置の構成例を説明する。図84は、本実施の形態に係る三次元データ復号装置2410のブロック図である。三次元データ復号装置2410は、8分木生成部2411と、マージ情報復号部2412と、エントロピー復号部2413と、逆量子化部2414とを備える。
8分木生成部2411は、ビットストリームのヘッダ情報等を用いて、ある空間(ノード)の8分木を生成する。例えば、8分木生成部2411は、ヘッダ情報に付加されたある空間のx軸、y軸、z軸方向の大きさを用いて大空間(ルートノード)を生成し、その空間をx軸、y軸、z軸方向にそれぞれ2分割することで8個の小空間A(ノードA0〜A7)を生成して8分木を生成する。また、8分木生成部2411は、同様にノードA0〜A7の各々を更に8個の小空間に分割する。このように、8分木生成部2411は8分木の生成を繰り返す。
マージ情報復号部2412は、ビットストリームのヘッダ情報から重複点マージフラグを復号する。なお、マージ情報復号部2412は、エントロピー復号部2413に含まれてもよい。
エントロピー復号部2413は、復号した重複点マージフラグの情報に応じてリーフ情報を復号し、三次元点群(三次元位置)を生成する。なお、エントロピー復号部2413は、復号した三次元点に関わる属性情報を復号してもよい。
逆量子化部2414は、復号した点群の三次元位置に逆量子化を適用し、出力三次元点群を生成する。なお、可逆符号化の場合は逆量子化処理を省略してもよい。また、三次元データ復号装置は、不可逆符号化の場合でも、スケールを元のスケールに戻す必要がない場合は、逆量子化処理を省略してよい。例えば、三次元点の絶対的な位置関係ではなく、相対的な位置関係が必要な場合は、逆量子化処理を省略してもよい。
次に、三次元データ符号化装置による三次元データ符号化処理の変形例を説明する。図85は、三次元データ符号化処理の変形例のフローチャートである。
まず、三次元データ符号化装置は、入力された三次元点群の三次元位置を量子化する(S2441)。例えば、三次元データ符号化装置は、三次元位置の量子化として、例えば三次元位置(x,y,z)を量子化パラメータ(qx,qy,qz)で除算することで量子化位置(x/qx,y/qy,z/qz)を算出する。また、三次元データ符号化装置は、量子化パラメータをヘッダに付加し、三次元データ復号装置は。当該量子化パラメータを用いて逆量子化を行ってもよい。なお、三次元データ符号化装置は、ロスレス符号化時には量子化処理をスキップしてもよい。
次に、三次元データ符号化装置は、量子化後の三次元点群に重複点が含まれるか否かを判定する(S2442)。例えば、三次元データ符号化装置は、全ての三次元点群の三次元位置情報を比較し、同一の値が存在するかで判定する。または、三次元データ符号化装置は、全ての三次元位置情報の差分を算出し、その差分の絶対値が予め定められた閾値より大きい場合は、重複点が含まれないと判定してもよい。
三次元点群に重複点が含まれる場合(S2442でYes)、三次元データ符号化装置は、重複点をマージして符号化するか否かを判定する(S2443)。例えば、三次元データ符号化装置は、符号化効率を優先する場合は、重複点をマージすると判断してもよい。また、三次元データ符号化装置は、三次元データ復号装置で重複点が必要であれば、マージしないと判断してもよい。
三次元点群に重複点が含まない場合(S2442でNo)、又は、重複点をマージする場合(S2443でYes)、三次元データ符号装置は、重複点マージフラグを1に設定し、当該重複点マージフラグをヘッダに付加する(S2444)。一方、重複点をマージしない場合(S2443でNo)、三次元データ符号装置は、重複点マージフラグを0に設定し、当該重複点マージフラグをヘッダに付加する(S2445)。
次に、三次元データ符号装置は、重複点マージフラグが1であるか否かを判定する(S2446)。重複点マージフラグが1である場合(S2446でYes)、三次元データ符号装置は、量子化後の三次元点群に含まれる重複点をマージする(S2447)。なお、三次元データ符号化装置は、ロスレス符号化、かつ入力三次元点群に重複点が含まれない場合は、本処理をスキップしてもよい。また、重複点マージフラグが0である場合(S2446でNo)、三次元データ符号装置は、量子化後の三次元点群に含まれる重複点をマージしない。その後の処理は、図81に示す処理と同様である。
(実施の形態9)
本実施の形態に係る三次元データ符号化装置及び三次元データ復号装置の構成を説明する。図86は、本実施の形態に係る三次元データ符号化装置6200及び三次元データ復号装置6210の構成を示すブロック図である。なお、同図では、三次元データ符号化装置6200及び三次元データ復号装置6210に含まれる処理部のうち、位置情報の符号化に係る処理部を抽出して記載している。
ここで、点群データをタイル又はスライスなどにデータ分割する場合、分割データ単位(タイル又はスライス)で量子化を行うことが考えられる。
図86に示すように、三次元データ符号化装置6200は、分割部6201と、複数の量子化部6202と、複数の符号化部6203と、多重化部6204とを備える。
分割部6201は、点群データをタイル又はスライスなどの1以上のデータ単位に分割することで複数の分割データを生成する。複数の量子化部6202は、複数の分割データの各々を量子化することで複数の量子化データを生成する。
複数の符号化部6203は、複数の量子化データの各々を符号化することで複数の符号化データを生成する。多重化部6204は、複数の符号化データを多重化することでビットストリームを生成する。
三次元データ復号装置6210は、逆多重化部6211と、複数の復号部6212と、再構成部6213とを備える。逆多重化部6211は、ビットストリームを逆多重化することで複数の符号化データを生成する。
複数の復号部6212は、複数の符号化データの各々を復号することで複数の復号データを生成する。再構成部6213は、複数の復号データを再構成することで点群データを再構成する。
次に、量子化部6202の詳細について説明する。図87は、量子化部6202の構成を示すブロック図である。量子化部6202は、最小位置シフト部6221と、位置情報量子化部6222と、重複点マージ部6223とを備える。
最小位置シフト部6221は、点群の中で最も座標の値が小さい最小点が原点にシフトするように点群の全体をシフトする。図88は、量子化処理の例を示す図である。同図において、黒丸はこのシフト後の点を示す。
位置情報量子化部6222は、位置情報を量子化する。これにより、図88に示すように、黒丸の点が白丸の点にシフトされる。この量子化により、複数の点が重複する場合がある。その場合、重複点マージ部6223は、重複点をマージする。具体的には、同じ位置情報に属する複数の点を1点とし、その点に対応する属性情報を統合(マージ)する。例えば、重複点マージ部6223は、複数の属性情報のいずれかをマージ後の属性情報として決定する。または、重複点マージ部6223は、複数の属性情報に所定の演算(例えば平均値の演算)を行うことでマージ後の属性情報を算出する。
このとき、量子化によって重複した点と、もともと点群データ内に存在する重複点が同時にマージされる。このように、点群データの量子化では、正確な位置情報と点の数が失われる。さらに属性情報(色情報等)もマージされる。
一方、量子化しない場合は、量子化及び重複点のマージは行われない。したがって、量子化によって発生する重複点はないものの、もともとの点群データ内に存在する重複点もマージされずに残る。
符号化部6203は、例えば、点群の情報をオキュパンシー符号に変換する。重複点がある場合はリーフノードに重複点が存在する。符号化部6203は、重複点の数、及び点毎の属性情報を算術符号化することで符号化データを生成する。
以下、タイル毎に量子化を行う処理について説明する。図89は、タイル毎の量子化処理を模式的に示す図である。
三次元データ符号化装置は、点群データを、タイルなどの、独立に符号化及び復号可能な複数のデータ単位に分割し、分割により得られた分割データ毎に量子化を行う。
以下の方法を用いることにより、タイル分割時に量子化及び重複点のマージを行うことで、量子化データの符号化効率を向上できる。
三次元データ符号化装置は、分割データ毎に量子化を行う場合、タイル毎に、タイル内に属する点の位置情報を量子化し、重複点を1つの点にマージする。その後、三次元データ符号化装置は、タイル毎に、点群データの位置情報をオキュパンシー符号に変換し、オキュパンシー符号を算術符号化する。
例えば、三次元データ符号化装置は、点Aと点Bとを同じ三次元位置情報を持つ点Cにマージしてもよい。なお、三次元データ符号化装置は、点Aと点Bの色又は反射率等の属性情報の平均値を点Cに割り当ててもよい。また、三次元データ符号化装置は、点Bを点Aにマージしてもよいし、点Aを点Bにマージしてもよい。
三次元データ符号化装置は、マージを行う場合、MergeDuplicatedPointFlagを1に設定する。このMergeDuplicatedPointFlagにより、タイル内の重複点がマージされており、タイル内において重複点がないことが示される。三次元データ符号化装置は、MergeDuplicatedPointFlagをメタデータ(付加情報)としてパラメータセットに格納する。
MergeDuplicatedPointFlagが1の場合は、タイル毎のオキュパンシー符号において各リーフノードは1個の点を含む。よって、三次元データ符号化装置は、リーフノードの情報として、リーフノードに含まれる点の数を示す情報を符号化しなくてもよい。また、三次元データ符号化装置は、1個の点の三次元位置情報と、色及び反射率などの属性情報とを符号化してもよい。
MergeDuplicatedPointFlagが1の場合に、三次元データ符号化装置は、M個の重複点をN(M>N)個の点にマージしてもよい。この際、三次元データ符号化装置は、値Nを示す情報をヘッダ等に付加してもよい。または、値Nが規格等で規定されてもよい。これにより、三次元データ符号化装置は、リーフノード毎に値Nを示す情報を付加する必要がなくなり、発生符号化量を抑制できる。
三次元データ符号化装置は、タイルに分割された点群データを量子化しない場合、MergeDuplicatedPointFlagを0にセットする。MergeDuplicatedPointFlagが0の場合、三次元データ符号化装置は、タイル内のリーフノードに含まれる重複点に関する情報をリーフノードの情報として符号化する。例えば、各リーフノードは1個以上の重複点を含む可能性がある。よって、三次元データ符号化装置は、リーフノードが何個の点を含むかを示す情報を符号化してもよい。また、三次元データ符号化装置は、重複点の各属性情報をそれぞれ符号化してもよい。
以上のように、三次元データ符号化装置は、MergeDuplicatedPointFlagに基づき符号化データ構造を変えてもよい。
三次元データ符号化装置は、MergeDuplicatedPointFlagをフレーム毎のパラメータセットであるGPSに記載してもよい。この場合、例えば、ヌルタイルを除く全てのタイルの少なくとも一つのタイルに重複ポイントが含まれるか否かを示すフラグが用いられる。当該フラグはフレーム毎に付加されてもよいし、全て又は複数のフレームに対して同一のフラグが適用されてもよい。全て又は複数のフレームに対して同一のフラグが適用される場合、三次元データ符号化装置は、当該フラグをSPSに記載し、GPSに記載しなくてもよい。これにより、伝送データ量を削減できる。ここで、SPSは、シーケンス(複数フレーム)単位のパラメータセットである。
なお、三次元データ符号化装置は、タイル毎に量子化パラメータを変えてもよいし、タイルに応じて、量子化するか、しないかを変えてもよい。
また、三次元データ符号化装置は、タイル毎に量子化又はマージするか否かを決定する場合、GPSにタイル毎のフラグ(例えばMergeDuplicatedPointFlag)を格納する。あるいは、三次元データ符号化装置は、タイル毎のデータのヘッダにMergeDuplicatedPointFlagを格納し、MergeDuplicatedPointFlagを当該タイル内に重複ポイントがあるか否かを示すフラグとして用いる。この場合、三次元データ符号化装置は、データのヘッダに当該フラグが格納されていることを示すフラグをGPSに記載する。なお、三次元データ符号化装置は、タイルがヌルタイルである場合はフラグを格納しなくてもよい。
次に、データ構造について説明する。図90は、フレーム単位の位置情報のパラメータセットであるGPSのシンタックス例を示す図である。GPSは、は、フレーム番号を示すgps_idx及びシーケンス番号を示すsps_idxの少なくとも一方を含む。
また、GPSは、重複点マージフラグ(MergeDuplicatedPointFlag)と、タイル情報(tile_information)とを含む。
MergeDuplicatedPointFlag=1は、タイルを分割しない場合には、点群データ内の重複点がマージされ、重複点がないことを示す。MergeDuplicatedPointFlag=1は、タイルを分割する場合には、点群データを構成するヌルタイルを除く全てのタイルにおいて、タイル内の重複点がマージされ、重複点がないことを示す。
MergeDuplicatedPointFlag=0は、タイル分割しない場合には、点群データ内の重複点がマージされず、重複点がある可能性があることを示す。MergeDuplicatedPointFlag=0は、タイル分割する場合には、点群データを構成するヌルタイルを除く全てのタイルにおいて、タイル内の重複点がマージされず、いずれかにタイルにおいてタイル内に重複点がある可能性があることを示す。
タイル情報(tile_information)は、タイル分割に係る情報を示す。具体的には、タイル情報は、タイル分割のタイプ、分割数、各タイルの座標(位置)及び各タイルの大きさ等を示す。また、タイル情報は、量子化パラメータ、又はヌルタイルの情報などを示してもよい。また、三次元データ復号装置において、各タイルの座標又は大きさが既知である場合、又は導出可能な場合は、各タイルの座標又は大きさを示す情報は省略されてもよい。これにより、符号量を削減できる。
図91は、タイル情報(tile_information)のシンタックス例を示す図である。タイル情報は、量子化独立フラグ(independent_quantization_flag)を含む。量子化独立フラグ(independent_quantization_flag)は、量子化パラメータを複数のタイル全体で統一するか、タイル毎に個別に設定するかを示すフラグである。
例えば、independent_quantization_flag=1は、複数のタイル全体で量子化パラメータを統一することを示す。この場合、GPSにMergeDuplicatedPointFlag、及びQP_valueが示され、これらの情報が用いられる。ここで、QP_valueは、複数のタイルに用いる量子化パラメータである。
例えば、independent_quantization_flag=2は、タイル毎に量子化パラメータが設定されることを示す。この場合において、タイルがヌルタイルでない場合は、タイル毎のループ処理内において、TileMergeDuplicatedPointFlag、及びqp_valueが示される。あるいは、位置情報のヘッダ内にTileMergeDuplicatedPointFlag、及びqp_valueが示される。ここで、TileMergeDuplicatedPointFlagは、処理対象のタイルである対象タイルにおいて、重複点をマージするか否かを示すフラグである。qp_valueは、対象タイルに用いる量子化パラメータである。
なお、MergeDuplicatedPointFlagを複数のタイル全体で統一するか、タイル毎に個別に設定するかを示すフラグと、QP(量子化パラメータ)の値を複数のタイル全体で統一するか、タイル毎に個別に設定するかを示すフラグとを個別に設けてもよい。または、MergeDuplicatedPointFlag又はQPの値を、GPSに示すか、位置情報のヘッダ内に示すかを示すフラグを設けてもよい。以上により、タイル毎に独立に量子化パラメータを設定できる。
図92は、位置情報のデータに含まれるノード情報(node(depth、index))のシンタックス例を示す図である。ノード情報は、MergeDuplicatedPointFlag=0の場合は、リーフノードの重複点の数を示す情報(num_point_per_leaf)を含む。また、対応する数の属性情報が、属性情報のデータに含まれるリーフノード情報に示される。
以下、本実施の形態に係る三次元データ符号化処理について説明する。図93は、本実施の形態に係る三次元データ符号化処理のフローチャートである。
まず、三次元データ符号化装置は、タイルを分割するか否か、及び重複点をマージするか否かを決定する(S6201、S6202、S6214)。例えば、三次元データ符号化装置は、外部からの指示に基づき、タイルを分割するか否か、及び重複点をマージするか否かを決定する。
タイル分割を行わず、重複点をマージする場合(S6201でNo、かつS6202でYes)、三次元データ符号化装置は、出力される点群は重複点を含まないことを示すMergeDuplicatedPointFlag=1を設定し、MergeDuplicatedPointFlagをメタデータ(付加情報)に格納する(S6203)。
次に、三次元データ符号化装置は、点群の位置情報を量子化し(S6204)、量子化後の位置情報に基づき、重複点をマージする(S6205)。次に、三次元データ符号化装置は、オキュパンシー符号を符号化する(S6206)。次に、三次元データ符号化装置は、重複点を持たない点に対する属性情報を符号化する(S6208)。
一方、タイル分割を行わず、重複点をマージしない場合(S6201でNo、かつS6202でNo)、三次元データ符号化装置は、出力する点群は重複点を含む可能性があることを示すMergeDuplicatedPointFlag=0を設定し、MergeDuplicatedPointFlagをメタデータ(付加情報)に格納する(S6209)。
次に、三次元データ符号化装置は、点群の位置情報を量子化し(S6210)、オキュパンシー符号を符号化する(S6211)。また、三次元データ符号化装置は、全リーフノードに対して、各リーフノードに含まれる三次元点の数を示す情報を符号化する(S6212)。次に、三次元データ符号化装置は、重複点を持つ点に対する属性情報を符号化する(S6213)。
一方、タイル分割を行い、重複点をマージする場合(S6201でYes、かつS6214でYes)、三次元データ符号化装置は、出力される全タイルにおいてタイル内に重複点がないことを示すMergeDuplicatedPointFlag=1を設定し、MergeDuplicatedPointFlagをメタデータ(付加情報)に格納する(S6215)。次に、三次元データ符号化装置は、点群をタイルに分割し(S6216)。
次に、三次元データ符号化装置は、処理対象の対象タイル内の点群の位置情報を量子化し(S6217)、量子化後の位置情報に基づき、対象タイル内の重複点をマージする(S6218)。次に、三次元データ符号化装置は、オキュパンシー符号を符号化(S6219)、重複点を持たない点に対する属性情報を符号化する(S6220)。
全タイルの処理が完了していない場合(S6221でNo)、次のタイルに対してステップS6217以降の処理が行われる。全タイルの処理が完了した場合(S6221でYes)、三次元データ符号化装置は、処理を終了する。
一方、タイル分割を行い、重複点をマージしない場合(S6201でYes、かつS6214でNo)、三次元データ符号化装置は、出力されるタイルが重複点を含む可能性があることを示すMergeDuplicatedPointFlag=0を設定し、MergeDuplicatedPointFlagをメタデータ(付加情報)に格納する(S6222)。次に、三次元データ符号化装置は、点群をタイルに分割する(S6223)。
次に、三次元データ符号化装置は、対象タイル内の点群の位置情報を量子化し(S6224)、オキュパンシー符号を符号化する(S6225)。次に、三次元データ符号化装置は、全リーフノードに対して各リーフノードに含まれる三次元点の数を示す情報を符号化する(S6226)。次に、三次元データ符号化装置は、重複点を持つ点に対する属性情報を符号化する(S6227)。
全タイルの処理が完了していない場合(S6228でNo)、次のタイルに対してステップS6224以降の処理が行われる。全タイルの処理が完了した場合(S6228でYes)、三次元データ符号化装置は、処理を終了する。
なお、符号化部の構成において、タイル分割部の前に量子化部が配置されてもよい。つまり、全ての点群データを量子化した後にタイル分割が行われてもよい。点群データは量子化により位置シフトされ、その後、重複点がマージされる。重複点がマージされない場合もある。
この構成の場合、量子化パラメータをタイル全体で統一するか個別に設定するかを示すフラグ(independent_quantization_flag)は、値1(全体で統一する)に指定される。
図94は、この場合の三次元データ符号化処理のフローチャートである。なお、図94に示す処理は、図93に示す処理に対して、タイル分割を行う場合(S6201でYes)における、タイル分割処理と量子化処理との順序が異なる。以下では、相違点を主に説明する。
タイル分割を行い、重複点をマージする場合(S6201でYes、かつS6214でYes)、三次元データ符号化装置は、MergeDuplicatedPointFlag=1を設定し(S6215)、点群の位置情報を量子化する(S6217A)。次に、三次元データ符号化装置は、量子化後の位置情報に基づき重複点をマージする(S6218A)。次に、三次元データ符号化装置は、マージ後の点群をタイルに分割する(S6216A)。
一方、タイル分割を行い、重複点をマージしない場合(S6201でYes、かつS6214でNo)、三次元データ符号化装置は、MergeDuplicatedPointFlag=0を設定し(S6222)、点群の位置情報を量子化する(S6224A)。次に、三次元データ符号化装置は、量子化後の点群をタイルに分割する(S6223A)。
次に、本実施の形態に係る三次元データ復号処理について説明する。図95は、本実施の形態に係る三次元データ復号処理のフローチャートである。
まず、三次元データ復号装置は、ビットストリームに含まれるメタデータからMergeDuplicatedPointFlagを復号する(S6231)。次に、三次元データ復号装置は、タイル分割が行われているか否かを判定する(S6232)。例えば、三次元データ復号装置は、ビットストリームに含まれる情報に基づきタイル分割が行われているか否かを判定する。
タイル分割が行われてない場合(S6232でNo)、三次元データ復号装置は、ビットストリームからオキュパンシー符号を復号する(S6233)。具体的には、三次元データ復号装置は、ビットストリームに含まれるヘッダ情報等を用いて、ある空間(ノード)の8分木を生成する。例えば、三次元データ復号装置は、ヘッダ情報に付加されたある空間のx軸、y軸、z軸方向の大きさを用いて大空間(ルートノード)を生成し、その空間をx軸、y軸、z軸方向にそれぞれ2分割することで8個の小空間A(ノードA0〜A7)を生成して8分木を生成する。同様に、三次元データ復号装置は、ノードA0〜A7のそれぞれを更に8個の小空間に分割し、本フローの処理を通して、各ノードのオキュパンシー符号の復号と、リーフ情報の復号とを順に行う。
MergeDuplicatedPointFlagが0である場合(S6234でYes)、三次元データ復号装置は、全リーフノードに対して各リーフノードに含まれる三次元点の数を示す情報を復号する(S6235)。例えば、大空間が8×8×8の場合、8分木分割を3回適用するとノードが1×1×1となる。このサイズが分割できる最小単位(リーフ)である場合、三次元データ復号装置は、各リーフノードに点が含まれるか否かを、リーフノードの親ノードの復号したオキュパンシー符号から判定し、各リーフノードの三次元位置を算出する。
ステップS6235の後、又は、MergeDuplicatedPointFlagが1である場合(S6234でNo)、三次元データ復号装置は、復号したオキュパンシー符号、8分木の分割数等の情報を用いてリーフノードの位置情報(三次元位置)を算出する(S6236)。次に、三次元データ復号装置は、位置情報を逆量子化する(S6237)。
具体的には、三次元データ復号装置は、ヘッダから復号した量子化パラメータを用いて逆量子化を行うことで、点群の位置情報(三次元位置)を算出する。例えば、三次元データ復号装置は、逆量子化前の三次元位置(x、y、z)に量子化パラメータ(qx、qy、qz)を乗算することで逆量子化位置(x×qx、y×qy、z×qz)を算出する。なお、ロスレス(lossless)符号化時には逆量子化処理がスキップされてもよい。
次に、三次元データ復号装置は、位置情報が復号された三次元点に関わる属性情報を復号する(S6238)。MergeDuplicatedPointFlag=1の場合は、復号された異なる三次元位置を持つ各点に1個の属性情報が復号後に紐づけされる。また、MergeDuplicatedPointFlag=0の場合は、復号された同じ三次元位置を持つ複数の点に、複数の異なる属性情報が復号され紐づけされる。
一方、タイル分割が行われている場合(S6232でYes)、三次元データ復号装置は、タイル毎にオキュパンシー符号を復号する(S6239)。MergeDuplicatedPointFlagが0の場合(S6240でYes)、三次元データ復号装置は、タイル内の全リーフノードに対して各リーフノードに含まれる三次元点の数を示す情報を復号する(S6241)。
ステップS6241の後、又は、MergeDuplicatedPointFlagが1の場合(S6240でNo)、三次元データ復号装置は、復号したオキュパンシー符号、8分木の分割数等の情報を用いてリーフノードの位置情報(三次元位置)を算出する(S6242)。
次に、三次元データ復号装置は、タイル内の点群の位置情報(三次元位置)を逆量子化し(S6243)、位置情報が復号された三次元点に関わる属性情報を復号する(S6244)。
全タイルの処理が完了していない場合(S6245でNo)、次のタイルに対してステップS6239以降の処理が行われる。全タイルの処理が完了した場合(S6245でYes)、三次元データ符号化装置は、処理を終了する。
以下、タイル間で三次元点が重複する例と、その符号化方法について説明する。タイル間で重複点が発生するケースとして、以下のケースがある。図96及び図97はタイル分割の例を示す図である。
図96に示すように、分割部において点群をタイル分割する場合において、実線で示すタイル領域が重なるように分割する場合、分割後、破線で示す領域内に、タイル間で重複する点が存在する。また、図97に示すように、タイル領域が重ならないように分割する場合、分割後のタイル間で重複する点は存在しない。
また、タイル毎の位置情報の量子化においてそれぞれの点の位置がシフトされる。これにより、タイル内及びタイル間に重複点が発生する可能性がある。その後のタイル毎のタイル内のマージ処理により、個々のタイル内の重複点は1つの点にマージされる。一方、タイル間の重複点は残存する。
図96の例では、タイル領域が重なっているエリアに加え、タイル境界付近に新たに重複点が発生する可能性がある。図97の例では、タイル境界付近に重複点が発生する可能性がある。
タイル間に重複点がある場合、三次元データ復号装置においてタイルを再構成する際に、点群データに重複点が発生する。これにより、三次元データ復号装置は重複点が不要な場合に、余分な処理が必要となってしまう。
そこで、三次元データ符号化装置は、タイル内に重複点があるか否かを示すMergeDuplicatedPointFlag、又はTileMergeDuplicatedPointFlagをビットストリームに格納するとともに、タイル間に重複点があるか否かを示すフラグであるUniqueBetweenTilesFlagをビットストリームに格納する。これにより、三次元データ復号装置は、UniqueBetweenTilesFlag=0の場合、重複点の削除又はマージを行うことにより、扱うポイント数を削減し、処理負荷を軽減できる。
また、三次元データ符号化装置は、タイル分割又は量子化において、タイル間の重複点が発生した場合、その後にタイル間の重複点を削除又はマージしてもよい。この場合、三次元データ符号化装置は、タイル間に重複点が発生しないことを示すUniqueBetweenTilesFlag=1をビットストリームに格納する。三次元データ復号装置は、UniqueBetweenTilesFlagに基づき、重複点のマージが必要ないと判断できる。
三次元データ符号化装置は、タイル領域が重複するようにタイル分割を行う場合、又はタイルをそれぞれ量子化する場合など、タイル間に重複点が発生する可能性がある場合に、UniqueBetweenTilesFlagを0に設定する。なお、タイル領域が重複している場合であっても、重複領域内にもともと点がない場合は、重複点は発生しない。その場合も、三次元データ符号化装置は、UniqueBetweenTilesFlagを0に設定してもよい。また、三次元データ符号化装置は、量子化を行う場合、必ずしも重複点が発生しない状況であっても、重複点が発生する可能性がある場合に、UniqueBetweenTilesFlagを0に設定してもよい。
図98は、三次元データ符号化処理のフローチャートである。まず、三次元データ符号化装置は、タイル領域が重複するかを判定する(S6251)。タイル領域が重複しない場合(S6252でNo)、三次元データ符号化装置は、タイルを個別に量子化してマージを行うかを判定する(S6252)。タイル領域が重複する場合(S6251でYes)、又は、タイルを個別に量子化してマージを行う場合(S6252でYes)、三次元データ符号化装置は、分割データ間の重複点をマージするか否かを判定する(S6253)。
タイルを個別に量子化してマージを行わない場合(S6252でNo)、又は、分割データ間の重複点をマージする場合(S6253でYes)、三次元データ符号化装置は、タイル間に重複点がないことを示すUniqueBetweenTilesFlag=1を設定する(S6254)。
分割データ間の重複点をマージしない場合(S6253でNo)、三次元データ符号化装置は、タイル間に重複点があることを示すUniqueBetweenTilesFlag=0を設定する(S6255)。
なお、図98に示す処理以外の処理が用いられてもよい。例えば、三次元データ符号化装置は、実際に量子化後にタイルを再構成し、タイル間の重複点をサーチすることにより、重複点があるか否かを判定し、判定結果に応じてUniqueBetweenTilesFlagを設定してもよい。
また、三次元データ符号化装置は、重複する領域又は範囲に関するメタデータをビットストリームに格納してもよい。例えば、このメタデータは、タイル間で、タイル境界に重複点が存在する可能性があることを示してもよい。これにより、三次元データ復号装置は、タイル境界をサーチして重複点を削除することができるので、処理負荷を軽減できる。
図99は、三次元データ符号化装置の構成を示すブロック図である。図99に示すように三次元データ符号化装置は、分割部6231と、複数の量子化部6232A及び6232Bと、分割データ間重複点マージ部6233と、複数の符号化部6234A及び6234Bとを備える。
分割部6231は、点群データを複数のタイルに分割することで複数の分割データを生成する。複数の量子化部6232A及び6232Bは、複数の分割データを量子化することで複数の量子化データを生成する。
複数の量子化部6232A及び6232Bの各々は、最小位置シフト部6241と、位置情報量子化部6242と、分割データ内重複点マージ部6243とを備える。
最小位置シフト部6241は、点群の中で最も座標の値が小さい最小点が原点にシフトするように点群をシフトする。位置情報量子化部6242は、位置情報を量子化する。分割データ内重複点マージ部6243は、タイル内の重複点をマージする。
分割データ間重複点マージ部6233は、タイル間の重複点をマージする。複数の符号化部6234A及び6234Bは、タイル間の重複点がマージされた後の複数の量子化データを符号化することで複数の符号化データを生成する。
また、分割部の前に量子化部を配置する構成が用いられてもよい。つまり、三次元データ符号化装置は、全ての点群データに対して量子化を行った後にタイル分割を行ってもよい。この場合、量子化の際にタイル間の重複は発生しない。
図100は、GPSのシンタックス例を示す図である。図100に示すように、GPSは、タイル間重複点フラグ(UniqueBetweenTilesFlag)を含む。タイル間重複点フラグは、タイル間で重複点が存在する可能性があるか否かを示すフラグである。
図101は、三次元データ復号処理のフローチャートである。まず、三次元データ復号装置は、ビットストリームに含まれるメタデータからUniqueBetweenTilesFlag及びMergeDuplicatedPointFlagを復号する(S6261)。次に、三次元データ復号装置は、タイル毎に位置情報及び属性情報を復号し、点群を再構成する(S6262)。
次に、三次元データ復号装置は、重複点のマージが必要であるか否かを判定する(S6263)。例えば、三次元データ復号装置は、アプリケーションが重複点に対応できるか否か、又は重複点をマージしたほうがよいか否かに応じて、マージが必要であるか否かを判定する。または、三次元データ復号装置は、重複点に対応する複数の属性情報を平滑化又はフィルタリング処理し、雑音除去又は推定精度を向上することを目的として、重複点をマージすると判定してもよい。
重複点のマージが必要である場合(S6263でYes)、三次元データ復号装置は、タイル間の重複がある(重複点が存在する)か否かを判定する(S6264)。例えば、三次元データ復号装置は、UniqueBetweenTilesFlag及びMergeDuplicatedPointFlagの復号結果に基づき、タイル間の重複の有無を判定してもよい。これにより、三次元データ復号装置における重複点のサーチが不要となり、三次元データ復号装置の処理負荷を軽減できる。なお、三次元データ復号装置は、タイルを再構成後に重複点をサーチすることにより、重複点が存在するか否かを判定してもよい。
タイル間の重複がある場合(S6264でYes)、三次元データ復号装置は、タイル間の重複点をマージする(S6265)。次に、三次元データ復号装置は、重複する複数の属性情報をマージする(S6266)。
ステップS6266の後、又は、タイル間の重複がない場合(S6264でNo)、三次元データ復号装置は、重複点のない点群を用いてアプリケーションを実行する(S6267)。
一方、重複点のマージが必要でない場合(S6263でNo)、三次元データ復号装置は、重複点のマージは行わず、重複点が存在する点群を用いてアプリケーションを実行する(S6268)。
以下、アプリケーションの例を説明する。まず、重複点のない点群を用いるアプリケーションの例を説明する。
図102は、アプリケーションの例を示す図である。図102に示す例は、タイルAの領域からタイルBの領域へ走行中の移動体が、サーバから地図点群をリアルタイムにダウンロードするユースケースを示す。サーバは複数の重複するエリアの地図点群の符号化データを格納している。移動体は、タイルAの地図情報を取得済みであり、移動方向に位置するタイルBの地図情報の取得をサーバに要求する。
その際、移動体は、タイルAとタイルBとの重複部分のデータは不要であると判断し、タイルBに含まれるタイルBとタイルAとの重複部分を削除する指示をサーバに送信する。サーバは、タイルBから上記重複部分を削除し、削除後のタイルBを移動体に配信する。これにより、伝送データ量の削減、及び復号処理の負荷の低減を実現できる。
なお、移動体はフラグに基づき重複点がないことを確認してもよい。また、移動体は、タイルAを取得済みでない場合は、重複部分を削除しないデータをサーバに要求する。また、移動体は、サーバに重複点の削除機能がない場合、又は重複点があるか否かわからない場合、配信されたデータを確認して重複点があるか否かを判定し、重複点がある場合はマージを行ってもよい。
次に、重複点のある点群を用いるアプリケーションの例を説明する。移動体は、LiDARで取得した地図点群データをリアルタイムにサーバにアップロードする。例えば、移動体は、タイル毎に取得したデータをサーバにアップロードする。この場合、タイルAとタイルBとが重複する領域は存在するが、符号化側の移動体は、タイル間の重複点をマージせず、タイル間の重複があることを示すフラグとともにデータをサーバに送出する。サーバは、受信したデータに含まれる重複データをマージせずに、受信したデータをそのまま蓄積する。
また、点群データをISOBMFF、MPEG−DASH/MMT、又はMPEG−TSなどのシステムを用いて伝送あるいは蓄積する場合、装置は、GPSに含まれる、タイル内に重複点があるか否か、又はタイル間に重複点があるか否かを示すフラグを、システムレイヤにおける記述子又はメタデータに置き換え、SI、MPD、moov、又はmoofボックスなどに格納してもよい。これにより、アプリケーションがシステムの機能を活用することができる。
また、三次元データ符号化装置は、図103に示すように、例えば、タイルBを、他のタイルとの重複領域に基づき、複数のスライスに分割してもよい。図103に示す例では、スライス1はどのタイルとも重複しない領域であり、スライス2はタイルAと重複する領域であり、スライス3はタイルCと重複する領域である。これにより、符号化データからの所望データの分離が容易となる。
また、地図情報は、点群データであってもよいし、メッシュデータであってもよい。点群データは、領域ごとにタイル化され、サーバに保存されてもよい。
図104は、上記システムにおける処理の流れを示すフローチャートである。まず、端末(例えば移動体)は、端末の領域Aから領域Bへの移動を検知する(S6271)。次に、端末は、領域Bの地図情報の取得を開始する(S6272)。
端末が領域Aの情報をダウンロード済である場合(S6273でYes)、端末は、領域Aとの重複点を含まない領域Bのデータの取得をサーバに指示する(S6274)。サーバは領域Bから領域Aを削除し、削除後の領域Bのデータを端末へ送信する(S6275)。なお、サーバは、端末からの指示に応じて、重複点が生じないようにリアルタイムに領域Bのデータを符号化して送信してもよい。
次に、端末は、領域Aの地図情報に領域Bの地図情報をマージ(結合)し、マージ後の地図情報を表示する(S6276)。
一方、端末が領域Aの情報をダウンロード済でない場合(S6273でNo)、端末は、領域Aとの重複点を含む領域Bのデータの取得をサーバに指示する(S6277)。サーバは、領域Bのデータを端末に送信する(S6278)。次に、端末は、領域Aとの重複点を含む領域Bの地図情報を表示する(S6279)。
図105は、システムにおける別の動作例を示すフローチャートである。送信装置(三次元データ符号化装置)は、タイルのデータを順番に送信する(S6281)。また、送信装置は、送信対象のタイルのデータに、送信対象のタイルが一つ前に送信したデータのタイルと重複するか否かを示すフラグを付加し、当該データを送出する(S6282)。
受信装置(三次元データ復号装置)は、データに付加されたフラグに基づき、受信したデータのタイルが前に受信したデータのタイルと重複するか否かを判定する(S6283)。受信したデータのタイルが前に受信したデータのタイルと重複する場合(S6283でYes)、受信装置は、重複点を削除又はマージする(S6284)。一方、受信したデータのタイルが前に受信したデータのタイルと重複しない場合(S6283でNo)、受信装置は、重複点を削除又はマージする処理を行ず、処理を終了する。これにより、受信装置の処理負荷の軽減、及び属性情報の推定精度向上を実現できる。なお、受信装置は、重複点のマージが必要ない場合は、マージを行わなくてもよい。
以上のように、本実施の形態に係る三次元データ符号化装置は、図106に示す処理を行う。三次元データ符号化装置は、複数の三次元点を含む対象フレームを複数の処理単位(例えばタイル又はスライス)に分割する(S6291)。三次元データ符号化装置は、複数の処理単位を符号化することでビットストリームを生成する(S6292)。ビットストリームに含まれるフレーム単位の制御情報(例えばGPS)は、(i)対象フレームに含まれる複数の処理単位のいずれかに、位置情報が同じ複数の三次元点である重複点が存在するか、(ii)複数の処理単位のいずれにも重複点が存在しないか、を示す第1情報(例えばMergeDuplicatedPointFlag)を含む。
これによれば、フレーム単位で重複点の有無を通知できるのでビットストリームのデータ量を削減できる。
例えば、複数の処理単位の符号化は量子化処理を含む。フレーム単位の制御情報(例えばGPS)は、さらに、量子化処理に用いる量子化パラメータとして、複数の処理単位に対して同一のパラメータを用いるか、個別のパラメータを用いるか、を示す第2情報(例えばindependent_quantization_flag)を含む。
これによれば、フレーム単位で量子化パラメータを設定するか否か通知できるのでビットストリームのデータ量を削減できる。
例えば、複数の処理単位は、空間的に重複する2つの処理単位を含む。ビットストリームは、2つの処理単位が重複する領域において、位置情報が同じ複数の三次元点であって、かつ、異なる処理単位に属する複数の三次元点が存在するか否かを示す第3情報(例えばUniqueBetweenTilesFlag)を含む。
これによれば、三次元データ復号装置は、第3情報を用いて、処理単位が重複する領域における重複点の有無に応じて処理内容を制御できる。よって、三次元データ復号装置における処理負荷を低減できる。
例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
また、本実施の形態に係る三次元データ復号装置は、図107に示す処理を行う。三次元データ復号装置は、複数の三次元点を含む対象フレームが分割された複数の処理単位(例えばタイル又はスライス)が符号化されることで生成されたビットストリームを取得する(S6296)。三次元データ復号装置は、ビットストリームから複数の処理単位を復号する(S6297)。ビットストリームに含まれるフレーム単位の制御情報(例えばGPS)は、(i)対象フレームに含まれる複数の処理単位のいずれかに、位置情報が同じ複数の三次元点である重複点が存在するか、(ii)複数の処理単位のいずれにも重複点が存在しないか、を示す第1情報(例えばMergeDuplicatedPointFlag)を含む。三次元データ復号装置は、複数の処理単位の復号(S6297)では、第1情報を用いて複数の処理単位を復号する。例えば、三次元データ復号装置は、第1情報により対象フレームに含まれる複数の処理単位のいずれかに重複点が含まれることが示される場合、重複点を削除又はマージする処理を行い、第1情報により対象フレームに含まれる複数の処理単位のいずれにも重複点が含まれないことが示される場合、重複点を削除又はマージする処理を行わない。
これによれば、フレーム単位で重複点の有無を通知できるのでビットストリームのデータ量を削減できる。
例えば、複数の処理単位の復号は逆量子化処理を含む。フレーム単位の制御情報は、さらに、逆量子化処理に用いる量子化パラメータとして、複数の処理単位に対して同一のパラメータを用いるか、個別のパラメータを用いるか、を示す第2情報(例えばindependent_quantization_flag)を含む。
これによれば、フレーム単位で量子化パラメータを設定するか否か通知できるのでビットストリームのデータ量を削減できる。
例えば、複数の処理単位は、空間的に重複する2つの処理単位を含む。ビットストリームは、2つの処理単位が重複する領域において、位置情報が同じ複数の三次元点であって、かつ、異なる処理単位に属する複数の三次元点が存在するか否かを示す第3情報(例えばUniqueBetweenTilesFlag)を含む。
これによれば、三次元データ復号装置は、第3情報を用いて、処理単位が重複する領域における重複点の有無に応じて処理内容を制御できる。よって、三次元データ復号装置における処理負荷を低減できる。
例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
以上、本開示の実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示は、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、一つまたは複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。