JP7234925B2 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JP7234925B2
JP7234925B2 JP2019529035A JP2019529035A JP7234925B2 JP 7234925 B2 JP7234925 B2 JP 7234925B2 JP 2019529035 A JP2019529035 A JP 2019529035A JP 2019529035 A JP2019529035 A JP 2019529035A JP 7234925 B2 JP7234925 B2 JP 7234925B2
Authority
JP
Japan
Prior art keywords
information
unit
setting
coordinate system
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019529035A
Other languages
English (en)
Other versions
JPWO2019012975A1 (ja
Inventor
智 隈
央二 中神
幸司 矢野
毅 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019012975A1 publication Critical patent/JPWO2019012975A1/ja
Application granted granted Critical
Publication of JP7234925B2 publication Critical patent/JP7234925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Description

本開示は、情報処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした情報処理装置および方法に関する。
従来、点群の位置情報や属性情報等により3次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して3次元形状を定義するメッシュの頂点データの圧縮方法として、例えばOctree等のような、ボクセル(Voxel)を用いた符号化があった(例えば非特許文献1参照)。
ボクセルを用いた符号化では、前提として、符号化対象の位置情報を正規化する必要があり、そのためにバウンディングボックス(Bounding box)と称される符号化対象を含む立体を設定する作業が行われる。
R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
しかしながら、ボクセルを用いた符号化の場合、このバウンディングボックスの設定が適切でないと符号化効率が低減するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
本技術の一側面の情報処理装置は、符号化対象の3次元位置を量子化する位置量子化部と、前記位置量子化部により前記3次元位置が量子化された前記符号化対象を符号化する符号化部と、前記符号化対象の3次元位置の量子化方法を、前記符号化部による符号化結果のRDコストに基づいて選択する選択部と、前記選択部により選択された前記量子化方法に関する制御情報を生成する制御情報生成部と、前記選択部により選択された前記量子化方法で前記3次元位置が量子化された前記符号化対象の符号化データに、前記制御情報生成部により生成された前記制御情報を関連付ける関連付け部とを備える情報処理装置である。
本技術の一側面の情報処理方法は、符号化対象の3次元位置を量子化し、前記3次元位置が量子化された前記符号化対象を符号化し、前記符号化対象の3次元位置の量子化方法を、符号化結果のRDコストに基づいて選択し、選択された前記量子化方法に関する制御情報を生成し、選択された前記量子化方法で前記3次元位置が量子化された前記符号化対象の符号化データに、生成された前記制御情報を関連付ける情報処理方法である。
本技術の他の側面の情報処理装置は、符号化対象の符号化結果のRDコストに基づいて選択された前記符号化対象の3次元位置の量子化方法に関する制御情報を解析する制御情報解析部と、前記制御情報の解析結果に基づいて、前記符号化対象の符号化データを復号する復号部と、前記制御情報の解析結果に基づいて、前記符号化データを復号して得られた前記符号化対象に対応する信号列をボクセル化するボクセル化処理部と、前記制御情報の解析結果に基づいて前記量子化方法に対応する方法でボクセル化された前記信号列から前記符号化対象の3次元情報を復元する復元部を備える情報処理装置である。
本技術の他の側面の情報処理方法は、符号化対象の符号化結果のRDコストに基づいて選択された前記符号化対象の3次元位置の量子化方法に関する制御情報を解析し、前記制御情報の解析結果に基づいて、前記符号化対象の符号化データを復号し、前記制御情報の解析結果に基づいて、前記符号化データを復号して得られた前記符号化対象に対応する信号列をボクセル化し、前記制御情報の解析結果に基づいて前記量子化方法に対応する方法でボクセル化された前記信号列から前記符号化対象の3次元情報を復元する情報処理方法である。
本技術の一側面の情報処理装置および方法においては、符号化対象の3次元位置が量子化され、その3次元位置が量子化された符号化対象が符号化され、その符号化対象の3次元位置の量子化方法が、符号化結果のRDコストに基づいて選択され、その選択された量子化方法に関する制御情報が生成され、選択された量子化方法で3次元位置が量子化された符号化対象の符号化データに、生成された制御情報が関連付けられる。
本技術の他の側面の情報処理装置および方法においては、符号化対象の符号化結果のRDコストに基づいて選択されたその符号化対象の3次元位置の量子化方法に関する制御情報が解析され、その制御情報の解析結果に基づいて、符号化対象の符号化データが復号され、その制御情報の解析結果に基づいて、その符号化データを復号して得られた符号化対象に対応する信号列がボクセル化され、その制御情報の解析結果に基づいて量子化方法に対応する方法でボクセル化された信号列からその符号化対象の3次元情報が復元される。
本開示によれば、情報を処理することができる。特に、符号化効率の低減を抑制することができる。
ポイントクラウドの例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 符号化の概要の例を説明する図である。 位置量子化部の主な構成例を示すブロック図である。 座標系設定部の主な構成例を示すブロック図である。 座標系設定の様子の例を説明する図である。 円柱座標系の例を説明する図である。 球面座標系の例を説明する図である。 座標系に関する制御情報の例を説明する図である。 バウンディングボックス設定部の主な構成例を示すブロック図である。 バウンディングボックスの設定の様子の例を説明する図である。 バウンディングボックスの設定方法によるPSNRの比較例を示す図である。 オーバーラップするバウンディングボックスの設定の様子の例を説明する図である。 注目領域に応じたバウンディングボックスの設定の様子の例を説明する図である。 注目領域に応じたバウンディングボックスの設定の様子の例を説明する図である。 バウンディングボックスに関する制御情報の例を説明する図である。 ボクセル設定部の主な構成例を示すブロック図である。 線形量子化の様子の例を説明する図である。 非線形量子化の様子の例を説明する図である。 オフセット設定の様子の例を説明する図である。 オフセットに関する制御情報の例を説明する図である。 選択部の主な構成例を示すブロック図である。 制御情報生成部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 位置量子化処理の流れの例を説明するフローチャートである。 座標系設定処理の流れの例を説明するフローチャートである。 バウンディングボックス設定処理の流れの例を説明するフローチャートである。 ボクセル設定処理の流れの例を説明するフローチャートである。 選択処理の流れの例を説明するフローチャートである。 制御情報生成処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 制御情報解析部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 制御情報解析処理の流れの例を説明するフローチャートである。 復元処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.3次元位置の量子化
2.第1の実施の形態(符号化装置)
3.第2の実施の形態(復号装置)
4.その他
<1.3次元位置の量子化>
<ポイントクラウド>
従来、点群の位置情報や属性情報等により3次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して3次元形状を定義するメッシュ等のデータが存在した。
例えばポイントクラウドの場合、図1のAに示されるような立体構造物を、図1のBに示されるような多数の点の集合(点群)として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報(例えば色等)により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。
しかしながら、このようなポイントクラウドやメッシュ等のデータはそのデータ量が比較的大きいので、符号化等によるデータ量の圧縮が求められている。例えば、OctreeやKDtree等といったボクセル(Voxel)を用いた符号化方法が考えられた。ボクセルは、符号化対象の位置情報を量子化するためのデータ構造である。
このようなボクセルを用いた符号化では、前提として、符号化対象の位置情報を正規化する必要があり、そのためにバウンディングボックス(Bounding box)と称される符号化対象を含む立体を設定する作業が行われる。
しかしながら、ボクセルを用いた符号化の場合、このバウンディングボックスの設定が適切でないと符号化効率が低減するおそれがあった。
<符号化対象の3次元位置の量子化>
そこで、符号化対象の3次元位置の量子化に関する情報を生成するようにする。このように、符号化対象の3次元位置の量子化に関する情報を生成することにより、復号側において、その情報に基づいて適切にデータを復元することができる。つまり、符号化対象の3次元位置の量子化を用いた符号化・復号を実現することができ、符号化効率の低減を抑制することができる。
また、符号化対象の3次元位置を量子化するようにする。このようにすることにより、符号化対象の3次元位置の量子化を用いた符号化を行うことができ、符号化効率の低減を抑制することができる。
なお、以下においては符号化対象のデータとしてポイントクラウドを例に本技術の説明を行うが、本技術は、ポイントクラウドに限らず、例えばメッシュ等、3次元構造を示し、ボクセルを用いた符号化が可能なデータであればどのような符号化対象に対しても適用することができる。また、この符号化対象は、動画像であってもよいし、静止画像であってもよい。
<2.第1の実施の形態>
<符号化装置>
図2は、本技術を適用した情報処理装置の一実施の形態である符号化装置の主な構成例を示すブロック図である。図2に示される符号化装置100は、符号化対象として入力されたポイントクラウドのデータをボクセルを用いて符号化し、得られた符号化データ等を出力する。その際、符号化装置100は、以下に説明するように本技術を適用した方法でこの符号化を行う。
図2に示されるように、符号化装置100は、制御部101、前処理部111、位置量子化部112、信号列生成部113、符号化部114、選択部115、制御情報生成部116、および関連付け部117を有する。
制御部101は、符号化装置100内の各処理部の制御に関する処理を行う。例えば、制御部101は、各処理部による処理の実行またはスキップ(省略)を制御する。例えば、制御部101は、所定の制御情報に基づいてそのような制御を行う。このようにすることにより、制御部101は、不要な処理の実行を抑制することができ、負荷の増大を抑制することができる。
制御部101は、どのような構成を有するようにしてもよいが、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、処理を行うようにしてもよい。
前処理部111は、制御部101により制御され、符号化装置100に入力される符号化対象(ポイントクラウドのデータ)に対して、前処理として所定の処理を施し、処理後のデータを位置量子化部112に供給する。
例えば、制御部101は、前処理の実行を許可または禁止する制御情報に従って、前処理の実行が許可されている(禁止されていない)場合に、前処理部111に前処理を実行させる。また、例えば、制御部101は、前処理の実行の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、前処理の実行が許可されている(禁止されていない)符号化対象に対して、前処理部111に前処理を実行させる。さらに例えば、制御部101は、実行を許可または禁止する処理内容を指定する制御情報に従って、実行が許可されている(禁止されていない)処理を前処理部111に実行させる。このようにすることにより、不要な前処理の実行を抑制することができ、負荷の増大を抑制することができる。
なお、前処理の内容は任意である。例えば、前処理部111が、前処理として、ノイズを低減させる処理を施すようにしても良いし、解像度(点の数)を変更する処理を行うようにしても良い。また例えば、点群の密度を均等にしたり、所望の偏りを持たせたりするように、各点の配置を更新するようにしてもよい。さらに例えば、奥行き情報を有する画像情報等のようなポイントクラウドでないデータが符号化装置100に入力されるようにし、前処理部111が、前処理として、その入力されたデータをポイントクラウドのデータに変換するようにしてもよい。
前処理部111は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、前処理を行うようにしてもよい。
位置量子化部112は、制御部101により制御され、各点の3次元位置情報の量子化に関する処理を行う。
例えば、制御部101は、3次元位置情報の量子化を許可または禁止する制御情報に従って、3次元位置情報の量子化が許可されている(禁止されていない)場合に、位置量子化部112に3次元位置情報を量子化させる。また、例えば、制御部101は、3次元位置情報の量子化の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、3次元位置情報の量子化が許可されている(禁止されていない)符号化対象に対して、位置量子化部112に3次元位置情報を量子化させる。さらに例えば、制御部101は、使用を許可または禁止するパラメータを指定する制御情報に従って、位置量子化部112に、使用が許可されている(禁止されていない)パラメータを用いて3次元位置情報を量子化させる。このようにすることにより、不要な量子化の実行や不要なパラメータの使用を抑制することができ、負荷の増大を抑制することができる。
3次元位置情報の量子化の処理内容は任意である。例えば、この処理として、量子化を行う座標系の設定、各点の位置情報を正規化するためのバウンディングボックスの設定、各点の位置情報を量子化するためのボクセルの設定等の処理が行われるようにしてもよい。
例えば、図3のAに示されるように、ポイントクラウドのデータによりオブジェクト131やオブジェクト132が表現されている場合、位置量子化部112は、図3のBに示されるように、そのオブジェクト131やオブジェクト132をそれぞれ包含するようにバウンディングボックス141やバウンディングボックス142を設定する。また例えば、位置量子化部112は、図3のCに示されるように、バウンディングボックス141を分割してボクセル151を設定する。なお図示は省略するが、位置量子化部112は、バウンディングボックス142に対しても同様の処理を行う。
位置量子化部112は、以上のように設定した、座標系、バウンディングボックス、ボクセル等の、位置情報の量子化のためのデータ構造に関する情報と、ポイントクラウドのデータとを、信号列生成部113に供給する。また、位置量子化部112は、以上のような位置情報の量子化に関する情報を制御情報生成部116に供給する。例えば、位置量子化部112は、位置情報の量子化において用いられた各種パラメータに関する情報や、制御部101が位置量子化部112の制御に用いた情報等を制御情報生成部116に供給する。
なお、位置量子化部112は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、位置情報の量子化に関する処理を行うようにしてもよい。
信号列生成部113は、制御部101により制御され、信号列の生成に関する処理を行う。
例えば、制御部101は、信号列の生成を許可または禁止する制御情報に従って、信号列の生成が許可されている(禁止されていない)場合に、信号列生成部113に信号列を生成させる。また、例えば、制御部101は、信号列の生成の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、信号列の生成が許可されている(禁止されていない)符号化対象に対して、信号列生成部113に信号列を生成させる。このようにすることにより、不要な信号列の生成を抑制することができ、負荷の増大を抑制することができる。
信号列の生成方法は任意である。例えば、信号列生成部113が、OctreeやKDtree等の任意の方法により、ポイントクラウドのデータを、位置情報の量子化のためのデータ構造に従って符号化(圧縮)し、信号列を生成するようにしてもよい。
例えば、信号列生成部113は、設定されたボクセルの構造に従ってバウンディングボックスを分割し、図3のDに示されるように、点群を各ボクセルに割り当てる。各点をボクセルに割り当てることにより、各点の位置情報が対応するボクセルの中心に量子化される。
また、例えばOctree方式の場合、バウンディングボックスは、8分割(xyzの各方向に2分割)されてボクセル化される。この8分割は所定の階層まで再帰的に繰り返される。その際、点を含むボクセルのみ8分割が繰り返され、点を含まないボクセルの8分割は行われない。このように点群の分布に応じてボクセルを階層化することにより、不要なボクセル数を低減させることができ、情報量の不要な増大を抑制することができる。
信号列生成部113は、以上のように各点の情報を符号化してボクセル毎の情報にすると、そのボクセル毎の情報を所定順に並べて信号列を生成する。信号列生成部113は、生成した信号列を符号化部114に供給する。
なお、信号列生成部113は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、信号列の生成に関する処理を行うようにしてもよい。
符号化部114は、制御部101により制御され、供給された信号列(すなわち3次元位置が量子化された符号化対象)の符号化に関する処理を行う。
例えば、制御部101は、信号列の符号化を許可または禁止する制御情報に従って、信号列の符号化が許可されている(禁止されていない)場合に、符号化部114に信号列を符号化させる。また、例えば、制御部101は、信号列の符号化の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、信号列の符号化が許可されている(禁止されていない)符号化対象に対して、符号化部114に信号列を符号化させる。このようにすることにより、不要な信号列の符号化を抑制することができ、負荷の増大を抑制することができる。
信号列の符号化方法は任意である。例えば、符号化部114が、可変長符号化(VLC(Variable Length Code))により信号列を符号化するようにしてもよい。符号化部114は、このような符号化により得られた符号化データ(ビットストリーム)を選択部115に供給する。
なお、符号化部114は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、符号化に関する処理を行うようにしてもよい。
以上に説明した位置量子化部112は、例えば、複数の方法で3次元位置情報の量子化に関する処理を行うことができる。信号列生成部113および符号化部114は、各方法により得られた位置情報の量子化のためのデータ構造について、上述した処理を行う。つまり、位置量子化部112により行われた3次元位置情報の量子化の方法毎に、符号化データが得られる。
選択部115は、制御部101により制御され、符号化対象の3次元位置の量子化方法の選択に関する処理を行う。例えば、選択部115は、上述のようにして得られた複数の符号化結果(符号化データ)の中から所望の符号化結果を選択することにより、その符号化結果に対応する位置情報の量子化方法を選択する。
例えば、制御部101は、量子化方法の選択を許可または禁止する制御情報に従って、量子化方法の選択が許可されている(禁止されていない)場合に、選択部115に量子化方法を選択させる。また、例えば、制御部101は、量子化方法の選択の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、量子化方法の選択が許可されている(禁止されていない)符号化対象に対して、選択部115に量子化方法を選択させる。このようにすることにより、量子化方法の不要な選択を抑制することができ、負荷の増大を抑制することができる。
この量子化方法の選択方法は任意である。例えば、選択部115が、符号化結果のRD(Rate Distortion)コストを算出し、その値に基づいて最適な量子化方法を選択するようにしてもよい。
選択部115は、選択した符号化データを関連付け部117に供給する。また、選択部115は、選択した量子化方法を示す情報(選択結果を示す情報)を制御情報生成部116に供給する。
なお、選択部115は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、選択に関する処理を行うようにしてもよい。
制御情報生成部116は、制御部101により制御され、3次元位置情報の量子化に関する情報の生成に関する処理を行う。
例えば、制御部101は、3次元位置情報の量子化に関する情報の生成を許可または禁止する制御情報に従って、3次元位置情報の量子化に関する情報の生成が許可されている(禁止されていない)場合に、制御情報生成部116に3次元位置情報の量子化に関する情報を生成させる。また、例えば、制御部101は、3次元位置情報の量子化に関する情報の生成の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、3次元位置情報の量子化に関する情報の生成が許可されている(禁止されていない)符号化対象に対して、制御情報生成部116に3次元位置情報の量子化に関する情報を生成させる。このようにすることにより、3次元位置情報の量子化に関する情報の不要な生成を抑制することができ、負荷の増大を抑制することができる。
例えば、制御情報生成部116は、選択部115により選択された量子化方法に対応する位置情報の量子化に関する情報を用いて、位置情報の量子化に関する情報(制御情報とも称する)を生成する。制御情報生成部116は、生成した制御情報を関連付け部117に供給する。
なお、制御情報生成部116は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、制御情報の生成に関する処理を行うようにしてもよい。
関連付け部117は、制御部101により制御され、符号化データと制御情報との関連付けに関する処理を行う。
例えば、制御部101は、関連付けを許可または禁止する制御情報に従って、関連付けが許可されている(禁止されていない)場合に、関連付け部117に符号化データと制御情報とを関連付けさせる。また、例えば、制御部101は、符号化データと制御情報との関連付けの許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、符号化データと制御情報との関連付けが許可されている(禁止されていない)符号化対象に対して、関連付け部117に符号化データと制御情報とを関連付けさせる。このようにすることにより、不要な関連付けを抑制することができ、負荷の増大を抑制することができる。
例えば、関連付け部117は、制御情報生成部116から供給される制御情報を、選択部115から供給される符号化データに関連付ける。
なお、ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データに関連付けられた制御情報は、その符号化データとは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データに関連付けられた制御情報は、その符号化データとは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
関連付け部117は、互いに関連付けたそれらのデータを符号化装置100の外部に出力する。この符号化装置100より出力されたデータ(符号化データや制御情報)は、例えば、図示せぬ後段の処理部により復号され、ポイントクラウドのデータが復元されるようにしてもよいし、図示せぬ通信部により送信され、所定の伝送路を介して復号装置等の他の装置に伝送されるようにしてもよいし、図示せぬ記録媒体に記録されるようにしてもよい。なお、関連付け部117が、符号化データと制御情報とを関連付けずに出力するようにしてもよい。
<位置量子化部>
図4は、図2の位置量子化部112の主な構成例を示すブロック図である。図4に示されるように、位置量子化部112は、座標系設定部201、バウンディングボックス設定部202、およびボクセル設定部203を有する。
座標系設定部201は、制御部101により制御されて、3次元位置情報の量子化を行う座標系の設定に関する処理を行う。
例えば、制御部101は、3次元位置情報の量子化を行う座標系の設定の許可または禁止する制御情報に従って、その座標系の設定が許可されている(禁止されていない)場合に、座標系設定部201にその座標系を設定させる。また、例えば、制御部101は、3次元位置情報の量子化を行う座標系の設定の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、その座標系の設定が許可されている(禁止されていない)符号化対象に対して、座標系設定部201にその座標系を設定させる。このようにすることにより、不要な座標系の設定を抑制することができ、負荷の増大を抑制することができる。
さらに例えば、制御部101は、3次元位置情報の量子化を行う座標系の設定に用いられるパラメータの許可または禁止に関する制御情報に従って、座標系設定部201に、使用が許可されている(禁止されていない)パラメータを用いて3次元位置情報の量子化を行う座標系を設定させる。例えば、設定可能な座標系や、設定可能なワールド座標系に対する相対姿勢(シフト量や角度)等がこの制御情報により指定されるようにしてもよい。このようにすることにより、不要なパラメータの使用を抑制することができ、負荷の増大を抑制することができる。
例えば、座標系設定部201は、前処理部111から供給されたポイントクラウドのデータの各点の3次元位置情報の量子化を行う座標系を設定する。座標系設定部201は、量子化を行う座標系として任意の座標系を設定することができる。例えば、座標系設定部201は、量子化を行う座標系として、ワールド座標系、デカルト座標系、円柱座標系、球面座標系等の座標系を設定することができる。勿論、これらの例以外の座標系も設定することができる。また、座標系設定部201は、任意の数の座標系を設定することができる。例えば単数であってもよいし、複数であってもよい。
座標系設定部201は、設定した座標系に関する情報をバウンディングボックス設定部202に供給する。また、座標系設定部201は、設定した座標系に関する情報を制御情報生成部116にも供給する。
なお、座標系設定部201は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、座標系の設定に関する処理を行うようにしてもよい。
座標系設定部201が、ポイントクラウドのデータの各点の3次元位置情報の量子化を行う座標系として、例えば符号化対象のオブジェクトにより適した座標系を設定することにより、バウンディングボックスの設定がより適切に行われるようにすることができる。また、量子化後の信号列の情報量をより低減させることができる。したがって、符号化効率の低減を抑制することができる。
バウンディングボックス設定部202は、制御部101により制御されて、符号化対象の位置情報を正規化するためのバウンディングボックスの設定に関する処理を行う。
例えば、制御部101は、バウンディングボックスの設定の許可または禁止する制御情報に従って、そのバウンディングボックスの設定が許可されている(禁止されていない)場合に、バウンディングボックス設定部202にそのバウンディングボックスを設定させる。また、例えば、制御部101は、バウンディングボックスの設定の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、そのバウンディングボックスの設定が許可されている(禁止されていない)符号化対象に対して、バウンディングボックス設定部202にそのバウンディングボックスを設定させる。さらに例えば、制御部101は、バウンディングボックスの設定に用いられるパラメータの許可または禁止に関する制御情報に従って、バウンディングボックス設定部202に、使用が許可されている(禁止されていない)パラメータを用いてバウンディングボックスを設定させる。このようにすることにより、不要なバウンディングボックスの設定や不要なパラメータの使用を抑制することができ、負荷の増大を抑制することができる。
例えば、バウンディングボックス設定部202は、座標系設定部201により設定された座標系を用いて、符号化対象の各オブジェクトに対するバウンディングボックスを設定する。なお、バウンディングボックスが複数設定される場合、バウンディングボックス設定部202は、処理を座標系設定部201に戻し、各バウンディングボックスに対して座標系を設定させることもできる。換言するに座標家設定部201は、バウンディングボックス毎に座標系を設定することもできる。その場合、バウンディングボックス設定部202は、各バウンディングボックスに割り当てられた座標系を用いてそれぞれのバウンディングボックスの設定を行う。
バウンディングボックスが設定されると、バウンディングボックス設定部202は、そのバウンディングボックスに関する情報をボクセル設定部203に供給する。また、バウンディングボックス設定部202は、設定したバウンディングボックスに関する情報を制御情報生成部116にも供給する。
なお、バウンディングボックス設定部202は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、バウンディングボックスの設定に関する処理を行うようにしてもよい。
バウンディングボックス設定部202が、例えば符号化対象のオブジェクトにより適したバウンディングボックスを設定することにより、量子化後の信号列の情報量をより低減させることができ、符号化効率の低減を抑制することができる。
ボクセル設定部203は、制御部101により制御されて、符号化対象の位置情報を量子化するためのボクセルの設定に関する処理を行う。
例えば、制御部101は、ボクセルの設定の許可または禁止する制御情報に従って、そのボクセルの設定が許可されている(禁止されていない)場合に、ボクセル設定部203にそのボクセルを設定させる。また、例えば、制御部101は、ボクセルの設定の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、そのボクセルの設定が許可されている(禁止されていない)符号化対象に対して、ボクセル設定部203にそのボクセルを設定させる。さらに例えば、制御部101は、ボクセルの設定に用いられるパラメータの許可または禁止に関する制御情報に従って、ボクセル設定部203に、使用が許可されている(禁止されていない)パラメータを用いてボクセルを設定させる。このようにすることにより、不要なボクセルの設定や不要なパラメータの使用を抑制することができ、負荷の増大を抑制することができる。
例えば、ボクセル設定部203は、バウンディングボックス設定部202により設定されたバウンディングボックス内に、ボクセルを設定する。なお、バウンディングボックスが複数存在する場合、ボクセル設定部203は、各バウンディングボックスについてボクセルを設定する。ボクセルが設定されると、ボクセル設定部203は、そのボクセルに関する情報等を信号列生成部113に供給する。また、ボクセル設定部203は、設定したボクセルに関する情報を制御情報生成部116にも供給する。
なお、ボクセル設定部203は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ボクセルの設定に関する処理を行うようにしてもよい。
ボクセル設定部203が、例えば符号化対象のオブジェクトにより適したバウンディングボックス内にボクセルを設定することにより、量子化後の信号列の情報量をより低減させることができ、符号化効率の低減を抑制することができる。
<座標系設定部>
図5は、座標系設定部201の主な構成例を示すブロック図である。図5に示されるように、座標系設定部201は、ワールド座標系設定部211、デカルト座標系設定部212、円柱座標系設定部213、および球面座標系設定部214を有する。
<ワールド座標系設定部>
ワールド座標系設定部211は、制御部101により制御されて、量子化を行う座標系としてワールド座標系を設定する。例えば、制御部101は、ワールド座標系の設定の許可または禁止する制御情報に従って、ワールド座標系の設定が許可されている(禁止されていない)場合に、ワールド座標系設定部211にワールド座標系を設定させる。このようにすることにより、不要な座標系の設定を抑制することができ、負荷の増大を抑制することができる。ワールド座標系設定部211は、ポイントクラウドのデータとともに、ワールド座標系を示す識別情報を、バウンディングボックス設定部202に供給する。
なお、ワールド座標系設定部211は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ワールド座標系の設定に関する処理を行うようにしてもよい。
<デカルト座標系設定部>
デカルト座標系設定部212は、制御部101により制御されて、量子化を行う座標系としてワールド座標系と異なる所定のデカルト座標系(直交座標系)を設定する。このデカルト座標系は、ワールド座標系に対してシフト(移動)した、若しくは傾斜(回転)した、またはその両方が適用された座標系である。
例えば図6のAの場合、円柱状の符号化対象のオブジェクト221は、そのオブジェクト221を包含するように設定されたバウンディングボックス222に対して傾斜している。これに対して、図6のBの場合、オブジェクト221は、そのオブジェクト221を包含するように設定されたバウンディングボックス225に対して傾斜していない(互いの長手方向が平行である)。
したがって、バウンディングボックス222の高さ(両矢印223)よりバウンディングボックス225の高さ(両矢印226)の方が低い。また、バウンディングボックス222の幅(両矢印224)よりバウンディングボックス225の幅(両矢印227)の方が短い。
このように、バウンディングボックスは、包含するオブジェクト形状や姿勢等に応じて設定することによりその体積をより小さくすることができる。一般的に、バウンディングボックスを小さく設定する程、正規化される領域が小さくなるので、ボクセルをより小さくすることができる。つまり、量子化による誤差の増大を抑制することができ、符号化効率の低減を抑制することができる。また、オブジェクト(点)を含まないボクセルの量を低減させることができるので、さらに符号化効率の低減を抑制することができる。
ところで、図6の例のような矩形のバウンディングボックスは、座標系に対して傾いていない方が、その設定が容易であり、その設定の為の情報量も比較的少なくすることができる。例えば図6のAや図6のBに示される四角形の四辺がワールド座標系の軸方向に平行であるとすると、バウンディングボックス222は、ワールド座標系において容易に設定することができるが、バウンディングボックス225は、ワールド座標系に対して傾斜しており、バウンディングボックス222と比べて設定が困難である。
ただし、バウンディングボックス225も、バウンディングボックス225に対して傾斜していない座標系(バウンディングボックス225の各辺に平行な軸を持つ座標系)においては容易に設定することができる。つまり、バウンディングボックス225は、ワールド座標系に対して傾斜した、他の座標系において設定することにより、ワールド座標系におけるバウンディングボックス222と同様に、容易に設定することができ、情報量の増大を抑制することができる。
デカルト座標系設定部212は、量子化を行う座標系として、このようなワールド座標系と異なるデカルト座標系を設定する。より具体的には、デカルト座標系設定部212は、デカルト座標系を示す識別情報をセットし、さらに、オブジェクトの形状および姿勢に応じて、そのデカルト座標系がオブジェクトに対してより適切な位置および角度となるように、そのデカルト座標系のワールド座標系に対する相対姿勢を決定し、その相対姿勢を示す情報をセットする。例えば、デカルト座標系設定部212は、その相対姿勢を、シフト量(x,y,z)と角度(ロール,ピッチ,ヨー)で定義し、そのシフト量および角度を、相対姿勢を示す情報としてセットする。デカルト座標系設定部212は、ポイントクラウドのデータとともに、量子化を行う座標系の情報として、セットしたそれらの情報をバウンディングボックス設定部202に供給する。
なお、制御部101は、例えば、デカルト座標系の設定の許可または禁止する制御情報に従って、デカルト座標系の設定が許可されている(禁止されていない)場合に、デカルト座標系設定部212にデカルト座標系を設定させる。また、制御部101は、使用を許可または禁止するパラメータを指定する制御情報に従って、ワールド座標系に対する許可された(禁止されていない)相対姿勢(シフト量および角度)でデカルト座標系設定部212にデカルト座標系を設定させる。このようにすることにより、不要な座標系の設定を抑制することができ、負荷の増大を抑制することができる。
なお、デカルト座標系設定部212は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、デカルト座標系の設定に関する処理を行うようにしてもよい。
<円柱座標系設定部>
円柱座標系設定部213は、制御部101により制御されて、量子化を行う座標系としてワールド座標系と異なる所定の円柱座標系を設定する。円柱座標系は、円柱の高さz、半径r、および回転角θを3軸とする3次元座標系である。例えば、図7のAに示されるように、デカルト座標系231において円柱状に表現されるオブジェクト232は、図7のBに示されるように、円柱座標系233においてオブジェクト234のように直方体状に表現される。
つまり、円柱座標系においては、円柱状のバウンディングボックスの設定が、デカルト座標系の場合よりも容易になる。換言するに、符号化対象のオブジェクトが円柱状の場合、そのオブジェクトにより適したバウンディングボックスの設定をより容易に行うことができる。例えば、図7のCに示されるようにこのオブジェクトが人物の場合、一般的に円柱状のバウンディングボックスの方が、矩形のバウンディングボックスよりも小さく設定することができる。また、例えば、図7のDに示されるような全方位のレーダー探知結果の画像をオブジェクトとする場合も、一般的に円柱状のバウンディングボックスの方が、矩形のバウンディングボックスよりも小さく設定することができる。
もちろん、この円柱座標系も、上述のデカルト座標系の場合と同様に、ワールド座標系に対して、シフト(移動)したり、傾斜(回転)したり、またはその両方を行ったりすることができる。
円柱座標系設定部213は、量子化を行う座標系として、このようなワールド座標系と異なる円柱座標系を設定する。より具体的には、円柱座標系設定部213は、円柱座標系を示す識別情報をセットし、さらに、オブジェクトの形状および姿勢に応じて、その円柱座標系がオブジェクトに対してより適切な位置および角度となるように、その円柱座標系のワールド座標系に対する相対姿勢を決定し、その相対姿勢を示す情報をセットする。例えば、円柱座標系設定部213は、その相対姿勢を、シフト量(x,y,z)と角度(ロール,ピッチ,ヨー)で定義し、そのシフト量および角度を、相対姿勢を示す情報としてセットする。なお、円柱座標系設定部213は、ワールド座標系のx座標y座標と円柱座標系のr座標θ座標との対応関係(座標系間の座標軸の対応関係)を示す情報もセットする。円柱座標系設定部213は、ポイントクラウドのデータとともに、量子化を行う座標系の情報として、セットしたそれらの情報をバウンディングボックス設定部202に供給する。
なお、制御部101は、例えば、円柱座標系の設定の許可または禁止する制御情報に従って、円柱座標系の設定が許可されている(禁止されていない)場合に、円柱座標系設定部213に円柱座標系を設定させる。また、制御部101は、使用を許可または禁止するパラメータを指定する制御情報に従って、ワールド座標系に対する許可された(禁止されていない)相対姿勢(シフト量および角度)で円柱座標系設定部213に円柱座標系を設定させる。このようにすることにより、不要な座標系の設定を抑制することができ、負荷の増大を抑制することができる。
なお、円柱座標系設定部213は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、円柱座標系の設定に関する処理を行うようにしてもよい。
<球面座標系設定部>
球面座標系設定部214は、制御部101により制御されて、量子化を行う座標系としてワールド座標系と異なる所定の球面座標系を設定する。球面座標系は、球の半径r、回転角θ、および仰角φを3軸とする3次元座標系である。例えば、図8のAに示されるように、デカルト座標系231において球状に表現されるオブジェクト241は、図8のBに示されるように、球面座標系242においてオブジェクト243のように平面状に表現される。
つまり、球面座標系においては、球状のバウンディングボックスの設定が、デカルト座標系の場合よりも容易になる。換言するに、符号化対象のオブジェクトが球状の場合、そのオブジェクトにより適したバウンディングボックスの設定をより容易に行うことができる。例えば、図8のCに示されるようにこのオブジェクトが地球の場合、一般的に球状のバウンディングボックスの方が、矩形のバウンディングボックスよりも小さく設定することができる。また、例えば、図8のDに示されるような雪だるま(複数の球からなるオブジェクト)をオブジェクトとする場合も、一般的に球状のバウンディングボックスの方が、矩形のバウンディングボックスよりも小さく設定することができる。
もちろん、この球面座標系も、上述のデカルト座標系の場合と同様に、ワールド座標系に対して、シフト(移動)したり、傾斜(回転)したり、またはその両方を行ったりすることができる。
球面座標系設定部214は、量子化を行う座標系として、このような、ワールド座標系と異なる球面座標系を設定する。より具体的には、球面座標系設定部214は、球面座標系を示す識別情報をセットし、さらに、オブジェクトの形状および姿勢に応じて、その球面座標系がオブジェクトに対してより適切な位置および角度となるように、その球面座標系のワールド座標系に対する相対姿勢を決定し、その相対姿勢を示す情報をセットする。例えば、球面座標系設定部214は、その相対姿勢を、シフト量(x,y,z)と角度(ロール,ピッチ,ヨー)で定義し、そのシフト量および角度を、相対姿勢を示す情報としてセットする。なお、球面座標系設定部214は、ワールド座標系のx座標y座標z座標と球面座標系のr座標θ座標φ座標との対応関係(座標系間の座標軸の対応関係)を示す情報もセットする。球面座標系設定部214は、ポイントクラウドのデータとともに、量子化を行う座標系の情報として、セットしたそれらの情報をバウンディングボックス設定部202に供給する。
なお、制御部101は、例えば、球面座標系の設定の許可または禁止する制御情報に従って、球面座標系の設定が許可されている(禁止されていない)場合に、球面座標系設定部214に球面座標系を設定させる。また、制御部101は、使用を許可または禁止するパラメータを指定する制御情報に従って、ワールド座標系に対する許可された(禁止されていない)相対姿勢(シフト量および角度)で球面座標系設定部214に球面座標系を設定させる。このようにすることにより、不要な座標系の設定を抑制することができ、負荷の増大を抑制することができる。
なお、球面座標系設定部214は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、球面座標系の設定に関する処理を行うようにしてもよい。
<出力情報と効果の比較>
図5の座標系設定部201が設定する座標系、出力する情報、および効果を図9の表にまとめた。上述したように、座標系設定部201は、量子化を行う座標系として、ワールド座標系、デカルト座標系、円柱座標系、および、球面座標系を設定する。ワールド座標系の場合、座標変換が不要であるので、座標系の設定をより容易に行うことができる。
また、デカルト座標系の場合、オブジェクトの形状および姿勢に応じて座標系の姿勢(シフト量や角度等)を設定することができるので、よりオブジェクトに適したバウンディングボックスをより容易に設定することができる。したがって、バウンディングボックスやボクセルの定義に必要な情報量の増大を抑制することができ、符号化効率の低減を抑制することができる。
また、円柱座標系の場合、円柱形状のオブジェクトにより適したバウンディングボックスをより容易に設定することができる。したがって、バウンディングボックスやボクセルの定義に必要な情報量の増大を抑制することができ、符号化効率の低減を抑制することができる。さらに、そのオブジェクトの形状および姿勢に応じて座標系の姿勢(シフト量や角度等)を設定することができるので、よりオブジェクトに適したバウンディングボックスをより容易に設定することができる。したがって、バウンディングボックスやボクセルの定義に必要な情報量の増大をさらに抑制することができ、符号化効率の低減をさらに抑制することができる。
また、球面座標系の場合、球形状のオブジェクトにより適したバウンディングボックスをより容易に設定することができる。したがって、バウンディングボックスやボクセルの定義に必要な情報量の増大を抑制することができ、符号化効率の低減を抑制することができる。さらに、そのオブジェクトの形状および姿勢に応じて座標系の姿勢(シフト量や角度等)を設定することができるので、よりオブジェクトに適したバウンディングボックスをより容易に設定することができる。したがって、バウンディングボックスやボクセルの定義に必要な情報量の増大をさらに抑制することができ、符号化効率の低減をさらに抑制することができる。
また、後述するように、選択部115によって、これらの座標系の内の1つが選択される。したがって、座標系設定部201は、オブジェクトの形状や姿勢等により適した座標系を設定することができる。バウンディングボックス設定部202およびボクセル設定部203は、この座標系設定部201により設定された座標系においてバウンディングボックスやボクセルを設定する。したがって、オブジェクトの形状や姿勢等により適したバウンディングボックスやボクセルを設定することができ、符号化効率の低減をさらに抑制することができる。
なお、座標系設定部201が設定する座標系は任意であり、上述した例に限定されない。上述した以外の座標系を設定する場合、座標系設定部201が、その座標系の設定を行う処理部を有するようにすればよい。また、座標系設定部201が設定する座標系の数は任意であり、上述した例に限定されない。
<バウンディングボックス設定部>
図10は、バウンディングボックス設定部202の主な構成例を示すブロック図である。図10に示されるように、バウンディングボックス設定部202は、内接バウンディングボックス設定部311、位置整合バウンディングボックス設定部312、オーバーラップバウンディングボックス設定部313、注目領域バウンディングボックス設定部314、および平準化バウンディングボックス設定部315を有する。
<内接バウンディングボックス設定部>
内接バウンディングボックス設定部311は、制御部101により制御されて、内接バウンディングボックスの設定に関する処理を行う。内接バウンディングボックスとは、包含するオブジェクトが当該バウンディングボックスに内接するバウンディングボックスのことである。つまり、内接バウンディングボックス設定部311は、例えば、オブジェクトが内接するようにバウンディングボックスを設定する。
例えば、図11のAにおいて、オブジェクト321が、立方体322内に各辺の方向に1024個ずつの密度で分布するポイントクラウド(点群)により形成されているとする。内接バウンディングボックス設定部311は、そのような点群の密度とは独立して、オブジェクト321が内接するように内接バウンディングボックス323を設定する。
より具体的には、内接バウンディングボックス設定部311は、内接バウンディングボックスを示す識別情報をセットし、さらに、その内接バウンディングボックスの数を示す情報(単数であることを示す情報)と、その内接バウンディングボックスの座標系に関する情報(量子化を行う座標系の情報)とをセットする。内接バウンディングボックス設定部311は、ポイントクラウドのデータとともに、バウンディングボックスに関する情報として、セットしたそれらの情報をボクセル設定部203に供給する。
なお、制御部101は、例えば、内接バウンディングボックスの設定の許可または禁止する制御情報に従って、内接バウンディングボックスの設定が許可されている(禁止されていない)場合に、内接バウンディングボックス設定部311に内接バウンディングボックスを設定させる。
なお、内接バウンディングボックス設定部311は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、内接バウンディングボックスの設定に関する処理を行うようにしてもよい。
<位置整合バウンディングボックス設定部>
位置整合バウンディングボックス設定部312は、制御部101により制御されて、位置整合バウンディングボックスの設定に関する処理を行う。位置整合バウンディングボックスとは、包含するオブジェクトの点の分布とボクセルの中心とが揃うように設定された(位置整合が行われた)バウンディングボックスのことである。つまり、位置整合バウンディングボックス設定部312は、包含するオブジェクトの各点の分布(位置)とボクセルの中心位置とを揃えるように位置整合バウンディングボックスを設定する。
例えば、図11のBに示されるように、位置整合バウンディングボックス設定部312は、立方体322と大きさおよび位置を揃えた位置整合バウンディングボックス324を設定する。より具体的には、位置整合バウンディングボックス設定部312は、位置整合バウンディングボックスを示す識別情報をセットし、さらに、その位置整合バウンディングボックスの数を示す情報(単数であることを示す情報)と、その位置整合バウンディングボックスの座標系に関する情報(量子化を行う座標系の情報)とをセットする。位置整合バウンディングボックス設定部312は、ポイントクラウドのデータとともに、バウンディングボックスに関する情報として、セットしたそれらの情報をボクセル設定部203に供給する。
なお、制御部101は、例えば、位置整合バウンディングボックスの設定の許可または禁止する制御情報に従って、位置整合バウンディングボックスの設定が許可されている(禁止されていない)場合に、位置整合バウンディングボックス設定部312に位置整合バウンディングボックスを設定させる。
なお、位置整合バウンディングボックス設定部312は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、位置整合バウンディングボックスの設定に関する処理を行うようにしてもよい。
内接バウンディングボックスと位置整合バウンディングボックスのいずれがより符号化効率の低減を抑制することができるかは、例えば符号化対象(画像)による。例えば、所定の画像Aを符号化対象とする場合のbpp(geometory bits input points)とピーク信号対雑音比(PSNR(Peak Signal-to-Noise Ratio))との対応関係を、図12のAに示す。図12のAにおいて曲線331は、内接バウンディングボックスを用いる場合のbppとPSNRとの対応関係を示す。曲線332は、位置整合バウンディングボックスを用いる場合のbppとPSNRとの対応関係を示す。図12のAに示されるように、この場合、内接バウンディングボックスを用いる場合の方がPSNRが高く、高画質である。つまり、この画像の場合、内接バウンディングボックスを用いる場合の方が符号化効率の低減をより抑制することができる。
また、所定の画像B(画像(Aとは異なる画像))を符号化対象とする場合のbppとPSNRとの対応関係を、図12のBに示す。図12のBにおいて曲線333は、内接バウンディングボックスを用いる場合のbppとPSNRとの対応関係を示す。曲線334は、位置整合バウンディングボックスを用いる場合のbppとPSNRとの対応関係を示す。図12のBに示されるように、この場合、bppがある程度大きくなると、圧倒的に位置整合バウンディングボックスを用いる場合の方がPSNRが高くなり、高画質となる。つまり、bppが所定の大きさより大きい(例えば所定の直線335よりも大きい範囲において)場合、位置整合バウンディングボックスを用いる方が、内接バウンディングボックスを用いるよりも符号化効率の低減をより抑制することができる。
<オーバーラップバウンディングボックス設定部>
また、設定するバウンディングボックスの数は任意であり、例えば複数であってもよい。オーバーラップバウンディングボックス設定部313は、制御部101により制御されて、オーバーラップバウンディングボックスの設定に関する処理を行う。オーバーラップバウンディングボックスとは、符号化対象のオブジェクトの点の分布に合わせて設定された互いにオーバーラップする複数のバウンディングボックスのことである。つまり、オーバーラップバウンディングボックス設定部313は、例えば、符号化対象の点の分布に合わせて互いにオーバーラップする複数のバウンディングボックスを設定する。
例えばポイントクラウドのデータとして、図13のAに示されるように、点341乃至点345が分布しているとする。例えば、これらの点群に対して単数のバウンディングボックスを設定し(線形に)ボクセルを設定したとすると、図13のBのように、点の位置とボクセルの中心位置の距離が遠く、ボクセル化(量子化)による誤差が大きくなる(許容範囲を超えてしまう)点が存在し、符号化効率が低減してしまうおそれがある。例えば図13のBの場合、点344および点345は複数のボクセルにまたがっており、ボクセルの中心から遠い。
そこで、オーバーラップバウンディングボックス設定部313は、図13のCに示されるように点341、点342、および点343と、点344および点345とにグループ分けし、図13のD乃至図13のFに示されるように、各グループの点を互いに異なるボクセル(バウンディングボックス)に割り当てるようにする。つまり、図13のDに示されるように、点341乃至点343のグループに対してバウンディングボックス347を設定し、図13のEに示されるように、点344および点345のグループに対してバウンディングボックス348を設定する。つまり、図13のFに示されるように、互いにオーバーラップする(重なり合う)複数のバウンディングボックス(バウンディングボックス347およびバウンディングボックス348)が設定される。このようにすることにより、ボクセル化(量子化)による誤差の増大を抑制することができ、符号化効率の低減を抑制することができる。
より具体的には、オーバーラップバウンディングボックス設定部313は、オーバーラップバウンディングボックスを示す識別情報をセットし、さらに、そのバウンディングボックスの数を示す情報と、各バウンディングボックスの座標系に関する情報(量子化を行う座標系の情報)とをセットする。オーバーラップバウンディングボックス設定部313は、ポイントクラウドのデータとともに、バウンディングボックスに関する情報として、セットしたそれらの情報をボクセル設定部203に供給する。
なお、制御部101は、例えば、オーバーラップバウンディングボックスの設定の許可または禁止する制御情報に従って、オーバーラップバウンディングボックスの設定が許可されている(禁止されていない)場合に、オーバーラップバウンディングボックス設定部313にオーバーラップバウンディングボックスを設定させる。
なお、オーバーラップバウンディングボックス設定部313は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、オーバーラップバウンディングボックスの設定に関する処理を行うようにしてもよい。
<注目領域バウンディングボックス設定部>
また、オブジェクトの形状に応じてバウンディングボックスを複数設定するようにしてもよい。また、注目領域とその他の領域とを分けてバウンディングボックスを設定するようにしてもよい。さらに、全てのバウンディングボックスの符号化方法が同一でなくてもよい。例えば、バウンディングボックス毎に独立に符号化方法を設定することができるようにしてもよい。また、例えば、注目領域のバウンディングボックスの符号化方法とその他のバウンディングボックスの符号化方法とを異なるものとするようにしてもよい。例えば、この符号化方法は、画質設定であってもよいし、復号順であってもよいし、その両方であってもよいし、これら以外であってもよい。また、画質設定は、例えば、ボクセルの階層の深さ制限(LoD(Level Of Detail))の設定であってもよいし、色圧縮の品質(Q)の設定であってもよい。
注目領域バウンディングボックス設定部314は、制御部101により制御されて、注目領域バウンディングボックスの設定に関する処理を行う。注目領域バウンディングボックスとは、符号化対象のオブジェクトの注目領域設定に応じて設定するバウンディングボックスのことである。つまり、注目領域バウンディングボックス設定部314は、例えば、符号化対象のオブジェクトの注目領域を包含するバウンディングボックスと、そのオブジェクトの注目領域以外の部分を包含する単数または複数のバウンディングボックスを設定する(つまり複数のバウンディングボックスが設定される)。
例えば図14のAに示されるような人型のオブジェクト350に対して、顔の部分と、髪の部分がそれぞれ注目領域として設定されるとする。注目領域バウンディングボックス設定部314は、その設定に基づいて、顔の部分を包含するバウンディングボックス351と、髪の部分を包含するバウンディングボックス352を設定する。さらに、注目領域バウンディングボックス設定部314は、オブジェクト350のその他の部分を包含するバウンディングボックス353を設定する。
注目領域バウンディングボックス設定部314は、バウンディングボックス毎に画質を設定する。例えば、図14の場合、注目領域でないバウンディングボックス353に対して、ボクセルの階層数制限が4に設定され(LoD=4)、色圧縮の品質が85に設定されている(Q=85)。また、顔の質感を上げたい注目領域であるバウンディングボックス351に対して、色圧縮の品質が95に設定されている(Q=95)。また、髪を細かく表現したい注目領域であるバウンディングボックス352に対して、ボクセルの階層数制限が5に設定されている(LoD=5)。
このようにすることにより、例えば重要な領域の画質を向上させ、重要でない領域の画質を低減させる等、より高効率な符号化を実現することができ、復号画像の主観画質を向上させることができる。
また、図14のBのように、注目領域バウンディングボックス設定部314が、バウンディングボックス毎に復号順を設定するようにしてもよい。図14のBの例の場合、バウンディングボックス351が最初に復号され(Priority=High)、次にバウンディングボックス353が復号され(Priority=Mid)、最後にバウンディングボックス352が復号される(Priority=Low)ように設定されている。
つまり、復号は、Priorityの高いバウンディングボックスから優先的に行われる。このようにすることにより、デコーダの計算リソースがプアな場合にも重要領域(注目領域)の処理は間に合わせるようにすることができる。
また、例えば、車載カメラにより周囲を撮像した撮像画像を符号化対象とする場合、バウンディングボックスを複数設定しない場合、図15のAのように、撮像が行われた車360を中心とする全方位に対して1つのバウンディングボックス361が設定されることになり、全て同一の画質で符号化されることとなる。しかしながら、このような画像の場合、一般的に、車360の横方向の画像の重要度は低く、前方の画像の重要度が最も高い。したがって、図15のBのように、方向毎にバウンディングボックスを分けるようにしてもよい。例えば、車360の前方に対してバウンディングボックス362を設定し、車360の後方に対してバウンディングボックス363を設定し、車360の左方に対してバウンディングボックス364を設定し、車360の右方に対してバウンディングボックス365を設定し、それぞれ独立に画質(例えばLoD)を設定するようにしてもよい。
このようにすることにより、例えば重要な方向の画質を向上させ、重要でない方向の画質を低減させる等、より高効率な符号化を実現することができ、復号画像の主観画質を向上させることができる。
より具体的には、注目領域バウンディングボックス設定部314は、注目領域バウンディングボックスを示す識別情報をセットし、さらに、そのバウンディングボックスの数を示す情報と、各バウンディングボックスの座標系に関する情報(量子化を行う座標系の情報)と、各バウンディングボックスの設定に関する情報(画質や復号順等を指定する情報)をセットする。注目領域バウンディングボックス設定部314は、ポイントクラウドのデータとともに、バウンディングボックスに関する情報として、セットしたそれらの情報をボクセル設定部203に供給する。
なお、制御部101は、例えば、注目領域バウンディングボックスの設定の許可または禁止する制御情報に従って、注目領域バウンディングボックスの設定が許可されている(禁止されていない)場合に、注目領域バウンディングボックス設定部314に注目領域バウンディングボックスを設定させる。
なお、注目領域バウンディングボックス設定部314は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、注目領域バウンディングボックスの設定に関する処理を行うようにしてもよい。
<平準化バウンディングボックス設定部>
また、ボクセル数を平準化するようにバウンディングボックスを複数設定するようにしてもよい。例えば、各バウンディングボックスのボクセルの深さ制限(LoD)を制限することにより、ボクセル数を平準化するようにしてもよい。
このようにすることにより、バウンディングボックス毎の復号処理の負荷を平準化することができる。例えば、バウンディングボックス毎の復号処理を並列処理として行う場合に、各処理の負荷の偏りを抑制することができる。
平準化バウンディングボックス設定部315は、制御部101により制御されて、平準化バウンディングボックスの設定に関する処理を行う。平準化バウンディングボックスとは、符号化対象のオブジェクトに対して、それぞれのボクセル数を平準化するように設定した複数のバウンディングボックスのことである。つまり、平準化バウンディングボックス設定部315は、例えば、符号化対象のオブジェクトに対して、それぞれのボクセル数を平準化するように複数のバウンディングボックスを設定する。
より具体的には、平準化バウンディングボックス設定部315は、平準化バウンディングボックスを示す識別情報をセットし、さらに、そのバウンディングボックスの数を示す情報と、各バウンディングボックスの座標系に関する情報(量子化を行う座標系の情報)と、各バウンディングボックスのボクセル数の平準化の設定に関する情報(例えば、各バウンディングボックスのボクセルの深さ制限(LoD)を指定する情報)をセットする。平準化バウンディングボックス設定部315は、ポイントクラウドのデータとともに、バウンディングボックスに関する情報として、セットしたそれらの情報をボクセル設定部203に供給する。
なお、制御部101は、例えば、平準化バウンディングボックスの設定の許可または禁止する制御情報に従って、平準化バウンディングボックスの設定が許可されている(禁止されていない)場合に、平準化バウンディングボックス設定部315に平準化バウンディングボックスを設定させる。
なお、平準化バウンディングボックス設定部315は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、平準化バウンディングボックスの設定に関する処理を行うようにしてもよい。
<出力情報と効果の比較>
図10のバウンディングボックス設定部202が設定するバウンディングボックス、出力する情報、および効果を図16の表にまとめた。上述したように、バウンディングボックス設定部202は、バウンディングボックスとして、内接バウンディングボックス、位置整合バウンディングボックス、オーバーラップバウンディングボックス、注目領域バウンディングボックス、および平準化バウンディングボックスを設定する。
内接バウンディングボックスは、特に、密度を均等な点群(点同士の間隔が一様な点群)(Voxelizedシーケンスとも称する)を符号化する場合であって、ボクセル化による量子化が比較的荒い(ボクセルのサイズが比較的大きい)場合に適用することにより、符号化効率の低減をより抑制することができる。また、密度を不均等な点群(点同士の間隔が一様でない点群)(非Voxelizedシーケンスとも称する)を符号化する場合にも、内接バウンディングボックスを適用することにより、符号化効率の低減をより抑制することができる。
位置整合バウンディングボックスは、特に、Voxelizedシーケンスを符号化する場合であって、ボクセル化による量子化が比較的細かい(ボクセルのサイズが比較的小さい)場合に適用することにより、符号化効率の低減をより抑制することができる。
オーバーラップバウンディングボックスは、特に、点群の密度(点同士の間隔)が互いに異なるVoxelizedシーケンスが混在する場合に適用することにより、符号化効率の低減をより抑制することができる。
注目領域バウンディングボックスは、適用することにより、注目領域とその他の領域との間で品質が異なるようにすることができる。また、バウンディングボックス毎にプライオリティが異なるようにすることもできる。したがって、例えば、デコーダの計算リソースがプアな場合(要求に対して性能が十分でない場合)であっても、必須の領域の処理を保証することができる。
平準化バウンディングボックスは、適用することにより、並列化処理の負荷のバラツキを抑制することができる。
なお、バウンディングボックス設定部202が設定するバウンディングボックスは任意であり、上述した例に限定されない。上述した以外のバウンディングボックスを設定する場合、バウンディングボックス設定部202が、そのバウンディングボックスの設定を行う処理部を有するようにすればよい。また、バウンディングボックス設定部202が設定するバウンディングボックスの数は任意であり、上述した例に限定されない。
<ボクセル設定部>
図17は、ボクセル設定部203の主な構成例を示すブロック図である。図17に示されるように、ボクセル設定部203は、線形ボクセル設定部411、非線形ボクセル設定部412、およびオフセットボクセル設定部413を有する。
<線形ボクセル設定部>
線形ボクセル設定部411は、制御部101により制御されて、線形ボクセルの設定に関する処理を行う。線形ボクセルとは、符号化対象の位置情報を量子化するためのボクセルの形成において、処理対象の領域(バウンディングボックスまたはボクセル)を常に等分割する方式である。点群の各点をボクセルに割り当てることにより、各点の3次元位置情報が量子化される。したがって、線形ボクセルによる3次元位置情報の量子化を線形量子化とも称する。換言するに、線形ボクセルは、符号化対象の位置情報を線形に量子化するようにボクセルを設定する方式である。
例えば、図18のAはボクセルを2次元で表現した模式図である。図18のAにおいて、点421に対してボクセル431が割り当てられており、点422に対してボクセル432が割り当てられており、点423に対してボクセル433が割り当てられている。
各点の位置情報は、各ボクセルの中心に量子化される。例えば図18のAの場合、点421の位置は、ボクセル431の中心点431Aに量子化される。つまり、点421と中心点431Aとの距離がこの量子化による誤差となる。また、点422の位置は、ボクセル432の中心点432Aに量子化される。つまり、点422と中心点432Aとの距離がこの量子化による誤差となる。また、点423の位置は、ボクセル433の中心点433Aに量子化される。つまり、点423と中心点433Aとの距離がこの量子化による誤差となる。
この時、ボクセルのサイズが比較的大きい(十分に小さくない)と、これらの量子化による誤差も比較的大きくなる。この量子化による誤差をより小さくするためには、図18のBのように、ボクセルをさらに分割すればよい。図18のBの例の場合、点421は、ボクセル441の中心点441Aに量子化される。したがって、この量子化による誤差は、図18のAの場合よりも小さくなる。また、点422は、ボクセル442の中心点442Aに量子化される。したがって、この量子化による誤差は、図18のAの場合よりも小さくなる。さらに、点423は、ボクセル443の中心点443Aに量子化される。したがって、この量子化による誤差は、図18のAの場合よりも小さくなる。
つまり、線形ボクセルの場合、ボクセルの階層数を増大させることにより、量子化の精度を向上させることができる。換言するに、線形ボクセルの場合、十分な精度が得られるようにボクセルの階層数を設定すればよい。ただし、ボクセルの階層数を増大させると、ボクセル数も増大するので情報量が増大するおそれがある。そのため、符号化効率が低減したり、処理時間が増大したりするおそれもある。
より具体的には、線形ボクセル設定部411は、線形ボクセルを示す識別情報をセットする。線形ボクセル設定部411は、ポイントクラウドのデータ等のバウンディングボックス設定部202から供給される情報とともに、線形ボクセルに関する情報として、セットしたそれらの情報を信号列生成部113に供給する。
なお、制御部101は、例えば、線形ボクセルの設定の許可または禁止する制御情報に従って、線形ボクセルの設定が許可されている(禁止されていない)場合に、線形ボクセル設定部411に線形ボクセルを設定させる。
なお、線形ボクセル設定部411は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、線形ボクセルの設定に関する処理を行うようにしてもよい。
<非線形ボクセル設定部>
非線形ボクセル設定部412は、制御部101により制御されて、非線形ボクセルの設定に関する処理を行う。非線形ボクセルとは、符号化対象の位置情報を量子化するためのボクセルの形成において、処理対象の領域(バウンディングボックスまたはボクセル)を不均等に分割することができる方式である。点群の各点をボクセルに割り当てることにより、各点の3次元位置情報が量子化される。したがって、非線形ボクセルによる3次元位置情報の量子化を非線形量子化とも称する。換言するに、非線形ボクセルは、符号化対象の位置情報を非線形に量子化するようにボクセルを設定する方式である。
例えば、図19はボクセルを2次元で表現した模式図である。図19に示されるように、この場合の処理対象の領域は不均等に分割することができるので、同じ階層であってもボクセル451とは異なる大きさや形状のボックスも形成することができる。つまり、階層数を増大させなくても、非線形ボクセルによって小さいボクセルを増大させることができ、そのことにより、より重要な領域の量子化の精度を向上させることができる。
つまり、非線形ボクセルの場合、ボクセルの階層数を増大させずに、量子化の精度を向上させることができる。つまり、符号化効率の低減や処理時間の増大を抑制しながら量子化の精度を向上させることができる。
より具体的には、非線形ボクセル設定部412は、非線形ボクセルを示す識別情報をセットし、さらに、設定したボクセルのマップ情報をセットする。非線形ボクセル設定部412は、ポイントクラウドのデータ等のバウンディングボックス設定部202から供給される情報とともに、非線形ボクセルに関する情報として、セットしたそれらの情報を信号列生成部113に供給する。
なお、制御部101は、例えば、非線形ボクセルの設定の許可または禁止する制御情報に従って、非線形ボクセルの設定が許可されている(禁止されていない)場合に、非線形ボクセル設定部412に非線形ボクセルを設定させる。
なお、非線形ボクセル設定部412は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、非線形ボクセルの設定に関する処理を行うようにしてもよい。
なお、非線形ボクセル設定部412は、例えば、ボクセルの当該階層において、バウンディングボックスの内側程小さいボクセルが形成され、外側程大きいボクセルが形成されるようにボクセルを設定するようにしてもよい。また、非線形ボクセル設定部412は、例えば、ボクセルの当該階層において、注目領域において小さいボクセルが形成され、注目領域外において大きいボクセルが形成されるようにボクセルを設定するようにしてもよい。もちろん、これら以外の方法でボクセルを設定するようにしてもよい。
<オフセットボクセル設定部>
オフセットボクセル設定部413は、制御部101により制御されて、オフセットボクセルの設定に関する処理を行う。オフセットボクセルとは、ボクセルに対して、そのボクセルの位置にオフセットを割り当てることにより、量子化による誤差を低減させることができる方式である。
このオフセットは、そのオフセットを割り当てたボクセルだけでなく、そのボクセルに属する下位層のボクセルにも対応する。例えば図20のAのように1階層上のボクセル460にオフセット471(図中矢印)を割り当てると、そのボクセル460に属するボクセル461乃至ボクセル464にもそのオフセット471が適用される。
したがって、図20のBに示されるように、ボクセル461の中心は、オフセット471の分だけ移動する。したがって、このボクセル461による点481の位置情報の量子化の誤差を低減させることができる。同様に、図20のBに示されるように、ボクセル462の中心は、オフセット471の分だけ移動する。したがって、このボクセル462による点482の位置情報の量子化の誤差を低減させることができる。同様に、図20のBに示されるように、ボクセル463の中心は、オフセット471の分だけ移動する。したがって、このボクセル463による点483の位置情報の量子化の誤差を低減させることができる。
なお、このオフセットには、一部のボクセルに対応するローカルオフセット(Local Point Offset)と、そのローカルオフセットに対応しないその他の全てのボクセルに対応するオフセットであるグローバルオフセット(Global Point Offset)とが含まれる。つまり、グローバルオフセットは、図20のCに示されるように、最上位のボクセルに割り当てられる。これに対してローカルオフセットは、図20のCに示されるように、最上位層以外の階層に割り当てられる。グローバルオフセットとローカルオフセットとの両方が存在する場合、図20のCに示されるように、ローカルオフセットは、そのローカルオフセットが割り当てられたボクセルとそのボクセルに属する下位層のボクセルとに割り当てられる。また、グローバルオフセットは、そのローカルオフセットに対応しない他のボクセルに割り当てられる。
なお、ローカルオフセットは、最上位階層以外なら任意の階層に割り当てることができる。複数階層に割り当てるようにしてもよい。
より具体的には、オフセットボクセル設定部413は、オフセットボクセルを示す識別情報をセットし、さらに、そのオブセットのベクトルをセットする。オフセットボクセル設定部413は、ポイントクラウドのデータ等のバウンディングボックス設定部202から供給される情報とともに、オフセットボクセルに関する情報として、セットしたそれらの情報を信号列生成部113に供給する。
なお、制御部101は、例えば、オフセットボクセルの設定の許可または禁止する制御情報に従って、オフセットボクセルの設定が許可されている(禁止されていない)場合に、オフセットボクセル設定部413に非線形ボクセルを設定させる。
なお、オフセットボクセル設定部413は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、オフセットボクセルの設定に関する処理を行うようにしてもよい。
<出力情報と効果の比較>
図17のボクセル設定部203が設定するボクセル、出力する情報、および効果を図21の表にまとめた。上述したように、ボクセル設定部203は、ボクセルとして、線形ボクセル、非線形ボクセル、およびオフセットボクセルを設定する。
非線形ボクセルを適用することにより、線形ボクセルを適用する場合に比べて、同一の階層制限(LoD)において、ジオメトリ精度(Geometry)を向上させることができる。また、非線形ボクセルは、例えば、位置によって求められる精度が異なる場合に適用することにより、符号化効率の低減をより抑制することができる。
またオフセットボクセルを適用することにより、線形ボクセルを適用する場合に比べて、同一の階層制限(LoD)において、ジオメトリ精度(Geometry)を向上させることができる。また、非線形ボクセルは、例えば、局所的に点がVoxelの中心からずれている場合に適用することにより、符号化効率の低減をより抑制することができる。
<選択部>
図22は、図2の選択部115の主な構成例を示すブロック図である。図22に示されるように、選択部115は、コスト算出部511およびコスト比較部512を有する。
<コスト算出部>
コスト算出部511は、制御部101により制御されて、コストの算出に関する処理を行う。このコストの算出方法は任意である。例えば、コスト算出部511は、符号化部114から供給される符号化データについてRDコストを算出する。コスト算出部511はこのようなコストの算出を、3次元位置の全ての量子化方法に対応する符号化データについて行う。つまり、コスト算出部511は、その量子化方法毎に符号化データのコストを算出する。コスト算出部511は、算出したコストに関する情報をコスト比較部512に供給する。
なお、制御部101は、例えば、コスト算出の許可または禁止する制御情報に従って、コスト算出が許可されている(禁止されていない)場合に、コスト算出部511に符号化データのコストを算出させる。
なお、コスト算出部511は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、コストの算出に関する処理を行うようにしてもよい。
<コスト比較部>
コスト比較部512は、制御部101により制御されて、コストの比較に関する処理を行う。このコストの比較方法は任意である。例えば、コスト比較部512は、各量子化方法の符号化データのコストを比較して最適な量子化方法を選択する。コスト比較部512は、最適な量子化方法として選択した量子化方法に対応する符号化データを、その選択した最適な量子化方法に対応する符号化結果として、関連付け部117に供給する。また、コスト比較部512は、その比較結果(どの量子化方法を選択したか)を示す情報を、制御情報生成部116に供給する。
なお、制御部101は、例えば、コストの比較の許可または禁止する制御情報に従って、コストの比較が許可されている(禁止されていない)場合に、コスト比較部512に量子化方法毎のコストを比較させる。
なお、コスト比較部512は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、コストの比較に関する処理を行うようにしてもよい。
以上のように、選択部115が位置情報の量子化方法を選択することにより、符号化装置100は、より適切な方法で位置情報の量子化を行うことができる。したがって、符号化装置100は、信号列の情報量の増大を抑制し、符号化効率の低減を抑制することができる。
<制御情報生成部>
図23は、図2の制御情報生成部116の主な構成例を示すブロック図である。図23に示されるように制御情報生成部116は、位置量子化制御情報生成部611、座標系設定制御情報生成部612、バウンディングボックス設定制御情報生成部613、およびボクセル設定制御情報生成部614を有する。
<位置量子化制御情報生成部>
位置量子化制御情報生成部611は、制御部101により制御され、位置量子化部112から供給される情報と、選択部115による選択の結果とに基づいて、選択された量子化方法の位置量子化制御情報を生成する。
位置量子化制御情報は、位置情報の量子化に関する制御情報である。この位置量子化制御情報は、位置情報の量子化に関する情報であれば、具体的にはどのような情報であってもよい。例えば、符号化対象の3次元位置の量子化の許可または禁止に関する情報が位置量子化制御情報に含まれていてもよい。この符号化対象の3次元位置の量子化を許可または禁止に関する情報は、どのような情報であってもよい。例えば、符号化対象の3次元位置の量子化を許可するフラグ情報が含まれていてもよいし、符号化対象の3次元位置の量子化を禁止するフラグ情報が含まれていてもよい。
また、例えば、符号化対象の3次元位置の量子化の許可または禁止の対象となる符号化対象の範囲に関する情報が位置量子化制御情報に含まれていてもよい。この符号化対象の3次元位置の量子化の許可または禁止の対象となる符号化対象の範囲に関する情報は、どのような情報であってもよい。例えば、符号化対象の3次元位置の量子化を許可する符号化対象の範囲をバウンディングボックスやボクセル等を用いて示す情報が含まれていてもよいし、符号化対象の3次元位置の量子化を禁止する符号化対象の範囲をバウンディングボックスやボクセル等を用いて示す情報が含まれていてもよい。
また、例えば、符号化対象の3次元位置の量子化に用いられるパラメータの許可または禁止に関する情報が位置量子化制御情報に含まれていてもよい。この符号化対象の3次元位置の量子化に用いられるパラメータの許可または禁止に関する情報は、どのような情報であってもよい。例えば、各処理の実行可能な方法を示す情報が含まれていてもよいし、各処理の実行不可能な方法を示す情報が含まれていてもよい。
これらの許可や禁止に関する情報を復号側(デコーダ)に伝送することにより、復号側(デコーダ)は、この情報に基づいて不要な処理を省略することができるだけでなく、不要な制御情報の解析も省略することができる。
また、例えば、符号化対象の3次元位置の量子化の実行またはスキップに関する情報が位置量子化制御情報に含まれていてもよい。この符号化対象の3次元位置の量子化の実行またはスキップに関する情報は、どのような情報であってもよい。例えば、符号化対象の3次元位置の量子化を実行したか否かを示すフラグ情報が含まれていてもよいし、符号化対象の3次元位置の量子化をスキップ(省略)したか否かを示すフラグ情報が含まれていてもよい。
また、例えば、符号化対象の3次元位置の量子化の実行またはスキップの対象となる符号化対象の範囲に関する情報が位置量子化制御情報に含まれていてもよい。この符号化対象の3次元位置の量子化の実行またはスキップの対象となる符号化対象の範囲に関する情報は、どのような情報であってもよい。例えば、符号化対象の3次元位置の量子化が実行された符号化対象の範囲をバウンディングボックスやボクセル等を用いて示す情報が含まれていてもよいし、符号化対象の3次元位置の量子化がスキップされた符号化対象の範囲をバウンディングボックスやボクセル等を用いて示す情報が含まれていてもよい。
また、例えば、符号化対象の3次元位置の量子化に用いられるパラメータに関する情報が位置量子化制御情報に含まれていてもよい。この符号化対象の3次元位置の量子化に用いられるパラメータに関する情報は、どのような情報であってもよい。例えば、符号化対象の3次元位置の量子化に用いられたパラメータを示す情報が含まれていてもよいし、符号化対象の3次元位置の量子化に用いられなかったパラメータを示す情報が含まれていてもよい。
これらの実行やスキップに関する情報やパラメータに関する情報を復号側(デコーダ)に伝送することにより、復号側(デコーダ)は、この情報に基づいて適切な処理を実行し、不要な処理をスキップすることができる。したがって、復号側(デコーダ)は、適切にポイントクラウドのデータを復元することができる。
位置量子化制御情報生成部611は、生成した位置量子化制御情報を座標系設定制御情報生成部612に供給する。
なお、制御部101は、例えば、位置量子化制御情報の生成の許可または禁止する制御情報に従って、位置量子化制御情報の生成が許可されている(禁止されていない)場合に、位置量子化制御情報生成部611に位置量子化制御情報を生成させる。このようにすることにより、不要な制御情報の生成を抑制することができ、負荷の増大を抑制することができる。
なお、位置量子化制御情報生成部611は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、位置量子化制御情報の生成に関する処理を行うようにしてもよい。
<座標系設定制御情報生成部>
座標系設定制御情報生成部612は、制御部101により制御され、位置量子化制御情報生成部611から供給される情報と、選択部115による選択の結果とに基づいて、選択された量子化方法の座標系設定制御情報を生成する。
座標系設定制御情報は、座標系の設定に関する制御情報である。この座標系設定制御情報は、座標系に関する情報であれば、具体的にはどのような情報であってもよい。例えば、座標系の設定の許可または禁止に関する情報が座標系設定制御情報に含まれていてもよい。この座標系の設定の許可または禁止に関する情報は、どのような情報であってもよい。例えば、座標系の設定を許可するフラグ情報が含まれていてもよいし、座標系の設定を禁止するフラグ情報が含まれていてもよい。
また、例えば、座標系の設定の許可または禁止の対象となる符号化対象の範囲に関する情報が座標系設定制御情報に含まれていてもよい。この座標系の設定の許可または禁止の対象となる符号化対象の範囲に関する情報は、どのような情報であってもよい。例えば、座標系の設定を許可する符号化対象の範囲をバウンディングボックスやボクセル等を用いて示す情報が含まれていてもよいし、座標系の設定を禁止する符号化対象の範囲をバウンディングボックスやボクセル等を用いて示す情報が含まれていてもよい。
また、例えば、座標系の設定に用いられるパラメータの許可または禁止に関する情報が座標系設定制御情報に含まれていてもよい。この座標系の設定に用いられるパラメータの許可または禁止に関する情報は、どのような情報であってもよい。例えば、使用が許可されたパラメータを示す情報が含まれていてもよいし、使用が禁止されたパラメータを示す情報が含まれていてもよい。
これらの許可や禁止に関する情報を復号側(デコーダ)に伝送することにより、復号側(デコーダ)は、この情報に基づいて不要な処理を省略することができるだけでなく、不要な制御情報の解析も省略することができる。
また、例えば、座標系の設定の実行またはスキップに関する情報が座標系設定制御情報に含まれていてもよい。この座標系の設定の実行またはスキップに関する情報は、どのような情報であってもよい。例えば、座標系の設定を実行したか否かを示すフラグ情報が含まれていてもよいし、座標系の設定をスキップ(省略)したか否かを示すフラグ情報が含まれていてもよい。
また、例えば、座標系の設定の実行またはスキップの対象となる符号化対象の範囲に関する情報が座標系設定制御情報に含まれていてもよい。この座標系設定の実行またはスキップの対象となる符号化対象の範囲に関する情報は、どのような情報であってもよい。例えば、座標系設定が実行された符号化対象の範囲をバウンディングボックスやボクセル等を用いて示す情報が含まれていてもよいし、座標系の設定がスキップされた符号化対象の範囲をバウンディングボックスやボクセル等を用いて示す情報が含まれていてもよい。
また、例えば、座標系の設定に用いられるパラメータに関する情報が座標系設定制御情報に含まれていてもよい。このパラメータに関する情報は、どのような情報であってもよい。例えば、座標系の設定に用いられたパラメータを示す情報が含まれていてもよいし、座標系の設定に用いられなかったパラメータを示す情報が含まれていてもよい。
また、例えば、選択された量子化方法において採用された座標系の種類を示す識別情報がこのパラメータに関する情報に含まれていてもよい。また、その識別情報が、直交座標系、円柱座標系、または球面座標系の識別情報であるようにしてもよい。
また、選択された量子化方法において採用された座標系のワールド座標系に対する相対姿勢を示す情報が、パラメータに関する情報に含まれていてもよい。その相対姿勢を示す情報が、選択された量子化方法において採用された座標系のワールド座標系からのシフト量を含むようにしてもよい。また、その相対姿勢を示す情報が、選択された量子化方法において採用された座標系とワールド座標系との角度を含むようにしてもよい。
さらに、選択された量子化方法において採用された座標系が直交座標系以外の座標系の場合、パラメータに関する情報が、その座標系と直交座標系との座標軸の対応関係を示す情報を含むようにしてもよい。
これらの実行やスキップに関する情報やパラメータに関する情報を復号側(デコーダ)に伝送することにより、復号側(デコーダ)は、この情報に基づいて適切な処理を実行し、不要な処理をスキップすることができる。したがって、復号側(デコーダ)は、適切にポイントクラウドのデータを復元することができる。
座標系設定制御情報生成部612は、生成した座標系設定制御情報をバウンディングボックス設定制御情報生成部613に供給する。
なお、制御部101は、例えば、座標系設定制御情報の生成の許可または禁止する制御情報に従って、座標系設定制御情報の生成が許可されている(禁止されていない)場合に、座標系設定制御情報生成部612に座標系設定制御情報を生成させる。このようにすることにより、不要な制御情報の生成を抑制することができ、負荷の増大を抑制することができる。
なお、座標系設定制御情報生成部612は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、座標系制御情報の生成に関する処理を行うようにしてもよい。
<バウンディングボックス設定制御情報生成部>
バウンディングボックス設定制御情報生成部613は、制御部101により制御され、座標系設定制御情報生成部612から供給される情報と、選択部115による選択の結果とに基づいて、選択された量子化方法のバウンディングボックス設定制御情報を生成する。
バウンディングボックス設定制御情報は、バウンディングボックスの設定に関する制御情報である。このバウンディングボックス設定制御情報は、バウンディングボックスに関する情報であれば、具体的にはどのような情報であってもよい。例えば、バウンディングボックスの設定の許可または禁止に関する情報がバウンディングボックス設定制御情報に含まれていてもよい。このバウンディングボックスの設定の許可または禁止に関する情報は、どのような情報であってもよい。例えば、バウンディングボックスの設定を許可するフラグ情報が含まれていてもよいし、バウンディングボックスの設定を禁止するフラグ情報が含まれていてもよい。
また、例えば、バウンディングボックスの設定の許可または禁止の対象となる符号化対象の範囲に関する情報がバウンディングボックス設定制御情報に含まれていてもよい。このバウンディングボックスの設定の許可または禁止の対象となる符号化対象の範囲に関する情報は、どのような情報であってもよい。例えば、バウンディングボックスの設定を許可する符号化対象の範囲をボクセル等を用いて示す情報が含まれていてもよいし、バウンディングボックスの設定を禁止する符号化対象の範囲をボクセル等を用いて示す情報が含まれていてもよい。
また、例えば、バウンディングボックスの設定方法の許可または禁止に関する情報がバウンディングボックス設定制御情報に含まれていてもよい。このバウンディングボックスの設定方法の許可または禁止に関する情報は、どのような情報であってもよい。例えば、使用が許可されたバウンディングボックスの設定方法を示す情報が含まれていてもよいし、使用が禁止されたバウンディングボックスの設定方法を示す情報が含まれていてもよい。
また、例えば、バウンディングボックスの設定に用いられるパラメータの許可または禁止に関する情報がバウンディングボックス設定制御情報に含まれていてもよい。この座標系の設定に用いられるパラメータの許可または禁止に関する情報は、どのような情報であってもよい。例えば、使用が許可されたパラメータを示す情報が含まれていてもよいし、使用が禁止されたパラメータを示す情報が含まれていてもよい。
これらの許可や禁止に関する情報を復号側(デコーダ)に伝送することにより、復号側(デコーダ)は、この情報に基づいて不要な処理を省略することができるだけでなく、不要な制御情報の解析も省略することができる。
また、例えば、バウンディングボックスの設定の実行またはスキップに関する情報がバウンディングボックス設定制御情報に含まれていてもよい。このバウンディングボックスの設定の実行またはスキップに関する情報は、どのような情報であってもよい。例えば、バウンディングボックスの設定を実行したか否かを示すフラグ情報が含まれていてもよいし、バウンディングボックスの設定をスキップ(省略)したか否かを示すフラグ情報が含まれていてもよい。
また、例えば、バウンディングボックスの設定の実行またはスキップの対象となる符号化対象の範囲に関する情報がバウンディングボックス設定制御情報に含まれていてもよい。このバウンディングボックス設定の実行またはスキップの対象となる符号化対象の範囲に関する情報は、どのような情報であってもよい。例えば、バウンディングボックス設定が実行された符号化対象の範囲をボクセル等を用いて示す情報が含まれていてもよいし、バウンディングボックスの設定がスキップされた符号化対象の範囲をボクセル等を用いて示す情報が含まれていてもよい。
また、例えば、バウンディングボックスの設定に用いられるパラメータに関する情報がバウンディングボックス設定制御情報に含まれていてもよい。このパラメータに関する情報は、どのような情報であってもよい。例えば、バウンディングボックスの設定に用いられたパラメータを示す情報が含まれていてもよいし、バウンディングボックスの設定に用いられなかったパラメータを示す情報が含まれていてもよい。
また、バウンディングボックスの設定方法を示す識別情報がこのパラメータに関する情報に含まれていてもよい。また、その識別情報は、内接バウンディングボックスを設定する方法、位置整合バウンディングボックスを設定する方法、オーバーラップバウンディングボックスを設定する方法、注目領域バウンディングボックスを設定し、バウンディングボックス毎に画質を設定する方法、注目領域バウンディングボックスを設定し、バウンディングボックス毎に復号順を設定する方法、または、ボクセル数を平準化するように複数のバウンディングボックスを設定する方法の識別情報であるようにしてもよい。
また、設定したバウンディングボックスの数を示す情報がこのパラメータに関する情報に含まれていてもよい。また、各バウンディングボックスに対応する座標系を示す情報がこのパラメータに関する情報に含まれていてもよい。また、各バウンディングボックスの画質に関する情報がこのパラメータに関する情報に含まれていてもよい。そして、その画質に関する情報が、ボクセルの階層の深さ制限に関する情報を含むようにしてもよいし、色圧縮の品質に関する情報を含むようにしてもよい。
また、各バウンディングボックスの復号順に関する情報がこのパラメータに関する情報に含まれていてもよい。
これらの実行やスキップに関する情報やパラメータに関する情報を復号側(デコーダ)に伝送することにより、復号側(デコーダ)は、この情報に基づいて適切な処理を実行し、不要な処理をスキップすることができる。したがって、復号側(デコーダ)は、適切にポイントクラウドのデータを復元することができる。
バウンディングボックス設定制御情報生成部613は、生成したバウンディングボックス設定制御情報をボクセル設定制御情報生成部614に供給する。
なお、制御部101は、例えば、バウンディングボックス設定制御情報の生成の許可または禁止する制御情報に従って、バウンディングボックス設定制御情報の生成が許可されている(禁止されていない)場合に、バウンディングボックス設定制御情報生成部613にバウンディングボックス設定制御情報を生成させる。このようにすることにより、不要な制御情報の生成を抑制することができ、負荷の増大を抑制することができる。
なお、バウンディングボックス設定制御情報生成部613は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、バウンディングボックス制御情報の生成に関する処理を行うようにしてもよい。
<ボクセル設定制御情報生成部>
ボクセル設定制御情報生成部614は、制御部101により制御され、バウンディングボックス設定制御情報生成部613から供給される情報と、選択部115による選択の結果とに基づいて、選択された量子化方法のボクセル設定制御情報を生成する。
ボクセル設定制御情報は、ボクセルの設定に関する制御情報である。このボクセル設定制御情報は、ボクセルに関する情報であれば、具体的にはどのような情報であってもよい。例えば、ボクセルの設定の許可または禁止に関する情報がボクセル設定制御情報に含まれていてもよい。このボクセルの設定の許可または禁止に関する情報は、どのような情報であってもよい。例えば、ボクセルの設定を許可するフラグ情報が含まれていてもよいし、ボクセルの設定を禁止するフラグ情報が含まれていてもよい。
また、例えば、ボクセルの設定の許可または禁止の対象となる符号化対象の範囲に関する情報がボクセル設定制御情報に含まれていてもよい。このボクセルの設定の許可または禁止の対象となる符号化対象の範囲に関する情報は、どのような情報であってもよい。例えば、ボクセルの設定を許可する符号化対象の範囲をポイントクラウドのデータ等を用いて示す情報が含まれていてもよいし、ボクセルの設定を禁止する符号化対象の範囲をポイントクラウドのデータ等を用いて示す情報が含まれていてもよい。
また、例えば、ボクセルの設定方法の許可または禁止に関する情報がボクセル設定制御情報に含まれていてもよい。このボクセルの設定方法の許可または禁止に関する情報は、どのような情報であってもよい。例えば、使用が許可されたボクセルの設定方法を示す情報が含まれていてもよいし、使用が禁止されたボクセルの設定方法を示す情報が含まれていてもよい。
また、例えば、ボクセルの設定に用いられるパラメータの許可または禁止に関する情報がボクセル設定制御情報に含まれていてもよい。この座標系の設定に用いられるパラメータの許可または禁止に関する情報は、どのような情報であってもよい。例えば、使用が許可されたパラメータを示す情報が含まれていてもよいし、使用が禁止されたパラメータを示す情報が含まれていてもよい。
これらの許可や禁止に関する情報を復号側(デコーダ)に伝送することにより、復号側(デコーダ)は、この情報に基づいて不要な処理を省略することができるだけでなく、不要な制御情報の解析も省略することができる。
また、例えば、ボクセルの設定の実行またはスキップに関する情報がボクセル設定制御情報に含まれていてもよい。このボクセルの設定の実行またはスキップに関する情報は、どのような情報であってもよい。例えば、ボクセルの設定を実行したか否かを示すフラグ情報が含まれていてもよいし、ボクセルの設定をスキップ(省略)したか否かを示すフラグ情報が含まれていてもよい。
また、例えば、ボクセルの設定の実行またはスキップの対象となる符号化対象の範囲に関する情報がボクセル設定制御情報に含まれていてもよい。このボクセル設定の実行またはスキップの対象となる符号化対象の範囲に関する情報は、どのような情報であってもよい。例えば、ボクセル設定が実行された符号化対象の範囲をポイントクラウドのデータ等を用いて示す情報が含まれていてもよいし、ボクセルの設定がスキップされた符号化対象の範囲をポイントクラウドのデータ等を用いて示す情報が含まれていてもよい。
また、例えば、ボクセルの設定に用いられるパラメータに関する情報がボクセル設定制御情報に含まれていてもよい。このパラメータに関する情報は、どのような情報であってもよい。例えば、ボクセルの設定に用いられたパラメータを示す情報が含まれていてもよいし、ボクセルの設定に用いられなかったパラメータを示す情報が含まれていてもよい。
また、線形に量子化するか非線形に量子化するかを識別する識別情報が、このパラメータに関する情報に含まれていてもよい。また、非線形に量子化する場合のボクセルの配置に関する情報が、このパラメータに関する情報に含まれていてもよい。また、ボクセルの配置パターンの複数の候補の中からいずれを選択したかを示すインデックス情報が、このボクセルの配置に関する情報に含まれていてもよい。また、ボクセルの配置を示すマップ情報が、このボクセルの配置に関する情報に含まれていてもよい。
また、ボクセルの位置のオフセットに関する情報が、このパラメータに関する情報に含まれていてもよい。例えば、このオフセットが、ローカルオフセットが対応しない全てのボクセルに対応するグローバルオフセットであるようにしてもよい。また例えば、このオフセットが、このオフセットが割り当てられたボクセルとそのボクセルに属する下位層のボクセルとにのみ対応するローカルオフセットであるようにしてもよい。
これらの実行やスキップに関する情報やパラメータに関する情報を復号側(デコーダ)に伝送することにより、復号側(デコーダ)は、この情報に基づいて適切な処理を実行し、不要な処理をスキップすることができる。したがって、復号側(デコーダ)は、適切にポイントクラウドのデータを復元することができる。
ボクセル設定制御情報生成部614は、生成したボクセル設定制御情報を関連付け部117に供給する。
なお、制御部101は、例えば、ボクセル設定制御情報の生成の許可または禁止する制御情報に従って、ボクセル設定制御情報の生成が許可されている(禁止されていない)場合に、ボクセル設定制御情報生成部614にボクセル設定制御情報を生成させる。このようにすることにより、不要な制御情報の生成を抑制することができ、負荷の増大を抑制することができる。
なお、ボクセル設定制御情報生成部614は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ボクセル制御情報の生成に関する処理を行うようにしてもよい。
制御情報生成部116が、以上のように制御情報を生成し、復号側(デコーダ)に供給することにより、復号側(デコーダ)は、本技術を適用して符号化した符号化データを、より容易により適切に復号処理(復元処理)を行うことができる。したがって、符号化効率の低減の抑制を実現することができる。
<符号化処理の流れ>
以上のような構成の符号化装置100により実行される符号化処理の流れの例を図24のフローチャートを参照して説明する。
符号化処理が開始されると、前処理部111は、ステップS101において、入力されたデータに対して前処理を行う。
ステップS102において、制御部101は、注目領域設定を取得する。この注目領域設定は、符号化対象であるポイントクラウドのデータに対して設定される注目領域に関する情報である。例えば、設定された注目領域の位置や範囲を示す情報などが含まれる。
この注目領域設定の取得元は任意である。例えば、図示せぬ入力部等を介してユーザ等により入力されるようにしてもよい。その場合、制御部101は、その入力された注目領域設定を取得する。また例えば、図示せぬ記憶部に予め記憶されているようにしてもよい。その場合、制御部101は、その記憶部から注目領域設定を読み出して取得する。また例えば、図示せぬ通信部を介して他の装置から供給されるようにしてもよい。その場合、制御部101は、その通信部を制御して他の装置と通信を行い、注目領域設定を受信して取得する。
ステップS103において、制御部101は、速度要件を取得する。この速度要件は、復号処理(復元処理)に必要な処理速度等を示す情報である。破たんなく復号処理(復元処理)を行う為には、この速度要件を順守する必要がある。この速度要件の取得元は、注目領域設定と同様に任意である。
制御部101は、これらの注目領域設定や速度要件等の情報を適宜用いて各種処理部を制御し、符号化を実行させる。
ステップS104において、位置量子化部112は、符号化対象の位置情報の量子化を行う。
ステップS105において、信号列生成部113は、データ構造に基づいて信号列を生成する。
ステップS106において、符号化部114は、ステップS105の処理により生成された信号列を符号化する。
ステップS107において、選択部115は、位置量子化方法を選択する。
ステップS108において、制御情報生成部116は、制御情報を生成する。
ステップS109において、関連付け部117は、ステップS107の処理により選択された位置量子化方法に対応するビットストリーム(符号化データ)と、ステップS108の処理により生成された制御情報とを互いに関連付ける。
ステップS110において、関連付け部117は、関連付けた符号化データと制御情報とを出力する。
ステップS110の処理が終了すると、符号化処理が終了する。例えば、符号化対象が動画像である場合、この一連の処理をフレーム毎に行う。
<位置量子化処理の流れ>
図25のフローチャートを参照して、図24のステップS104において実行される位置量子化処理の流れの例を説明する。
位置量子化処理が開始されると、座標系設定部201は、ステップS121において、座標系を設定する。
ステップS122において、バウンディングボックス設定部202は、ステップS121において設定された座標系を用いて、バウンディングボックスを設定する。
ステップS123において、ボクセル設定部203は、ステップS122において設定されたバウンディングボックスにボクセルを設定する。
ステップS123の処理が終了すると、位置量子化処理が終了し、処理は図24に戻る。
<座標系設定処理の流れ>
図26のフローチャートを参照して、図25のステップS121において実行される座標系設定処理の流れの例を説明する。
座標系設定処理が開始されると、ワールド座標系設定部211は、ステップS131において、符号化対象のオブジェクトに対する座標系としてワールド座標系を設定する。
ステップS132において、デカルト座標系設定部212は、符号化対象のオブジェクトに対する座標系としてデカルト座標系を設定し、ワールド座標系からのシフト量および角度を設定する。
ステップS133において、円柱座標系設定部213は、符号化対象のオブジェクトに対する座標系として円柱座標系を設定し、ワールド座標系からのシフト量、角度、およびデカルト座標系(ワールド座標系)との間の軸の対応関係を設定する。
ステップS134において、球面座標系設定部214は、符号化対象のオブジェクトに対する座標系として球面座標系を設定し、ワールド座標系からのシフト量、角度、およびデカルト座標系(ワールド座標系)との間の軸の対応関係を設定する。
ステップS134の処理が終了すると、座標系設定処理が終了し、処理は図25に戻る。
<バウンディングボックス設定処理の流れ>
図27のフローチャートを参照して、図25のステップS122において実行されるバウンディングボックス設定処理の流れの例を説明する。
バウンディングボックス設定処理が開始されると、内接バウンディングボックス設定部311は、ステップS141において符号化対象のオブジェクトが内接するバウンディングボックスを設定する。
ステップS142において、位置整合バウンディングボックス設定部312は、点の分布とボクセルの中心とを合わせたバウンディングボックスを設定する。
ステップS143において、オーバーラップバウンディングボックス設定部313は、点の分布とボクセルの中心を合わせた、互いにオーバーラップする複数のバウンディングボックスを設定する。
ステップS144において、注目領域バウンディングボックス設定部314は、注目領域設定に応じた複数のバウンディングボックスを設定する。例えば、注目領域バウンディングボックス設定部314は、図24のステップS102において制御部101により取得された注目領域設定に基づいて、その注目領域を包含するバウンディングボックスを含む複数のバウンディングボックスを設定する。
ステップS145において、平準化バウンディングボックス設定部315は、ボクセル数を平準化した複数のバウンディングボックスを設定する。
ステップS145の処理が終了すると、バウンディングボックス設定処理が終了し、処理は図25に戻る。
<ボクセル設定処理の流れ>
図28のフローチャートを参照して、図25のステップS123において実行されるボクセル設定処理の流れの例を説明する。
ボクセル設定処理が開始されると、線形ボクセル設定部411は、ステップS151において、線形ボクセルを設定する。つまり線形ボクセル設定部411は、領域を再帰的に等分割して階層化されたボクセルを設定する。
ステップS152において、非線形ボクセル設定部412は、非線形ボクセルを設定する。つまり非線形ボクセル設定部412は、領域を再帰的に(均等または不均等に)分割して階層化されたボクセルを設定する。
ステップS153において、オフセットボクセル設定部413は、オフセットボクセルを設定する。つまりオフセットボクセル設定部413は、領域を再規定に分割して、グローバルオフセットやローカルオフセットの設定を適宜行って、グローバルオフセットまたはローカルオフセットが対応付けられたボクセルを設定する。
ステップS153の処理が終了すると処理は図25に戻る。
<選択処理の流れ>
次に図29のフローチャートを参照して、図24のステップS107において実行される選択処理の流れの例を説明する。
選択処理が開始されると、選択部115のコスト算出部511は、ステップS161において、各位置量子化方法により得られた符号化データ(ビットストリーム)のコストを算出する。
ステップS162において、コスト比較部512は、ステップS161の処理により算出された各位置量子化方法のコストを比較し、その比較結果に基づいて最適な位置量子化方法を選択する。
ステップS162の処理が終了すると処理は図24に戻る。
<制御情報生成処理の流れ>
図30のフローチャートを参照して、図24のステップS108において実行される制御情報生成処理の流れの例を説明する。
制御情報生成処理が開始されると、位置量子化制御情報生成部611は、ステップS171において、図24のステップS107の処理により選択された位置量子化方法による位置量子化に関する制御情報を生成する。
ステップS172において、座標系設定制御情報生成部612は、図24のステップS107の処理により選択された位置量子化方法において採用された座標系に関する制御情報を生成する。
ステップS173において、バウンディングボックス設定制御情報生成部613は、図24のステップS107の処理により選択された位置量子化方法において採用されたバウンディングボックスに関する制御情報を生成する。
ステップS174において、ボクセル設定制御情報生成部614は、図24のステップS107の処理により選択された位置量子化方法において採用されたボクセルに関する制御情報を生成する。
ステップS174の処理が終了すると処理は図24に戻る。
以上のように各処理を実行することにより、符号化装置100は、符号化効率の低減を抑制することができる。
<3.第2の実施の形態>
<復号装置>
図31は、本技術を適用した情報処理装置の一実施の形態である復号装置の主な構成例を示すブロック図である。図31に示される復号装置700は、図2の符号化装置100に対応する復号装置であり、例えば符号化装置100により生成されたポイントクラウドの符号化データを復号し、ポイントクラウドのデータを復元する。その際、復号装置700は、以下に説明するように本技術を適用した方法でこの復号(復元)を行う。
図31に示されるように、復号装置700は、制御情報解析部711、復号部712、ボクセル化処理部713、およびポイントクラウド化処理部714を有する。
制御情報解析部711は、符号化側(エンコーダ)から供給される符号化データの復号に関する制御情報の解析に関する処理を行う。例えば、制御情報解析部711は、符号化装置100により符号化された符号化データとその符号化データに関連付けられた制御情報を取得する。制御情報解析部711は、その制御情報の解析を行う。制御情報解析部711は、その制御情報の解析結果を符号化データとともに復号部712に供給する。
なお、制御情報解析部711は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、制御情報の解析に関する処理を行うようにしてもよい。
復号部712は、制御情報の解析結果に基づいて、符号化装置100(符号化部114)により行われた符号化に対応する復号方法で符号化データを復号する。復号部712は、符号化データを復号して得られた信号列を、制御情報の解析結果等とともに、ボクセル化処理部713に供給する。
なお、復号部712は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、復号に関する処理を行うようにしてもよい。
ボクセル化処理部713は、制御情報の解析結果に基づいて、信号列をボクセル単位の情報として読み込み、それを制御情報の解析結果とともにポイントクラウド化処理部714に供給する。
なお、ボクセル化処理部713は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ボクセル化に関する処理を行うようにしてもよい。
ポイントクラウド化処理部714は、制御情報の解析結果に基づいて、供給された情報からポイントクラウドのデータを復元する。ポイントクラウド化処理部714は、復元したポイントクラウドのデータを出力する。この出力されたポイントクラウドのデータは、例えば、図示せぬ後段の処理部により画像処理され、画像情報としてモニタ等に表示されるようにしてもよいし、図示せぬ通信部により送信され、所定の伝送路を介して他の装置に伝送されるようにしてもよいし、図示せぬ記録媒体に記録されるようにしてもよい。
なお、ポイントクラウド化処理部714は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、復元に関する処理を行うようにしてもよい。
以上のように制御情報を解析し、その制御情報に基づいて復号処理(復元処理)を行うので、復号装置700は、符号化装置100により生成された符号化データを正しく復号することができる。したがって、符号化効率の低減の抑制を実現することができる。
<制御情報解析部>
図32は、図31の制御情報解析部711の主な構成例を示すブロック図である。自32に示されるように、制御情報解析部711は、位置量子化制御情報解析部721、座標系設定制御情報解析部722、バウンディングボックス設定制御情報解析部723、およびボクセル設定制御情報解析部724を有する。
<位置量子化制御情報解析部>
位置量子化制御情報解析部721は、供給された制御情報に含まれる位置量子化制御情報の解析に関する処理を行う。この位置量子化制御情報はどのような情報を含むようにしてもよい。例えば、位置量子化制御情報が、第1の実施の形態において説明した各種情報を含むようにしてもよい。位置量子化制御情報解析部721は、この位置量子化制御情報に含まれる各情報を解析する。位置量子化制御情報解析部721は、その位置量子化制御情報の解析結果を、他の情報(符号化データおよび制御情報)とともに座標系設定制御情報解析部722に供給する。
なお、位置量子化制御情報解析部721は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、位置量子化制御情報の解析に関する処理を行うようにしてもよい。
<座標系設定制御情報解析部>
座標系設定制御情報解析部722は、供給された制御情報に含まれる座標系設定制御情報の解析に関する処理を行う。この座標系設定制御情報はどのような情報を含むようにしてもよい。例えば、座標系設定制御情報が、第1の実施の形態において説明した各種情報を含むようにしてもよい。座標系設定制御情報解析部722は、この座標系設定制御情報に含まれる各情報を解析する。座標系設定制御情報解析部722は、その座標系設定制御情報の解析結果を、他の情報(符号化データ、制御情報、および他の情報の解析結果)とともにバウンディングボックス設定制御情報解析部723に供給する。
なお、座標系設定制御情報解析部722は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、座標系設定制御情報の解析に関する処理を行うようにしてもよい。
<バウンディングボックス設定制御情報解析部>
バウンディングボックス設定制御情報解析部723は、供給された制御情報に含まれるバウンディングボックス設定制御情報の解析に関する処理を行う。このバウンディングボックス設定制御情報はどのような情報を含むようにしてもよい。例えば、バウンディングボックス設定制御情報が、第1の実施の形態において説明した各種情報を含むようにしてもよい。バウンディングボックス設定制御情報解析部723は、このバウンディングボックス設定制御情報に含まれる各情報を解析する。バウンディングボックス設定制御情報解析部723は、そのバウンディングボックス設定制御情報の解析結果を、他の情報(符号化データ、制御情報、および他の情報の解析結果)とともにボクセル設定制御情報解析部724に供給する。
なお、バウンディングボックス設定制御情報解析部723は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、バウンディングボックス設定制御情報の解析に関する処理を行うようにしてもよい。
<ボクセル設定制御情報解析部>
ボクセル設定制御情報解析部724は、供給された制御情報に含まれるボクセル設定制御情報の解析に関する処理を行う。このボクセル設定制御情報はどのような情報を含むようにしてもよい。例えば、ボクセル設定制御情報が、第1の実施の形態において説明した各種情報を含むようにしてもよい。ボクセル設定制御情報解析部724は、このボクセル設定制御情報に含まれる各情報を解析する。ボクセル設定制御情報解析部724は、そのボクセル設定制御情報の解析結果を、他の情報(符号化データ、制御情報、および他の情報の解析結果)とともに復号部712に供給する。
なお、ボクセル設定制御情報解析部724は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ボクセル設定制御情報の解析に関する処理を行うようにしてもよい。
以上のように、位置量子化制御情報解析部721乃至ボクセル設定制御情報解析部724の各処理部が、各種制御情報を解析することにより、復号装置700は、その制御情報(の解析結果)に基づいて、符号化装置100により生成された符号化データを正しく復号(復元)することができる。したがって、符号化効率の低減の抑制を実現することができる。
<復号処理の流れ>
以上のような構成の復号装置700により実行される復号処理の流れの例を図33のフローチャートを参照して説明する。
復号処理が開始されると、制御情報解析部711は、ステップS201において、符号化側から供給された(符号化データに関連付けられた)制御情報を解析する。
ステップS202において、復号部712は、ステップS201の処理により得られた制御情報の解析結果に基づいて、符号化側から供給された符号化データ(ビットストリーム)を復号する。
ステップS203において、ボクセル化処理部713は、ステップS201の処理により得られた制御情報の解析結果に基づいて、ステップS202の処理により得られた信号列をボクセル化する。
ステップS204において、ポイントクラウド化処理部714は、ステップS201の処理により得られた制御情報の解析結果に基づいて、ポイントクラウドのデータを復元する。
ステップS205において、ポイントクラウド化処理部714は、ステップS204の処理により復元したポイントクラウドのデータを出力する。
ステップS205の処理が終了すると復号処理が終了する。例えば、符号化対象が動画像である場合、この一連の処理をフレーム毎に行う。
<制御情報解析処理の流れ>
図34のフローチャートを参照して、図33のステップS201において実行される制御情報解析処理の流れの例を説明する。
制御情報解析処理が開始されると、制御情報解析部711の位置量子化制御情報解析部721は、ステップS211において、制御情報に含まれる位置量子化に関する制御情報を解析する。
ステップS212において、座標系設定制御情報解析部722は、制御情報に含まれる座標系の設定に関する制御情報を解析する。
ステップS213において、バウンディングボックス設定制御情報解析部723は、制御情報に含まれるバウンディングボックスの設定に関する制御情報を解析する。
ステップS214において、ボクセル設定制御情報解析部724は、制御情報に含まれるボクセルの設定に関する制御情報を解析する。
ステップS214の処理が終了すると制御情報解析処理が終了し、処理は図33に戻る。
<復元処理の流れ>
図35のフローチャートを参照して、図33のステップS204において実行される復元処理の流れの例を説明する。
復元処理が開始されると、ポイントクラウド化処理部714は、ステップS221において、オブジェクトに対する座標系において各バウンディングボックスにボクセルを配置する。
ステップS222において、ポイントクラウド化処理部714は、ボクセルのデータをポイントクラウドのデータに変換する。
ステップS223において、ポイントクラウド化処理部714は、ポイントクラウドのデータの座標系をオブジェクトに対する座標系からワールド座標系に変換する。
ステップS223の処理が終了すると復元処理が終了し、処理は図33に戻る。
以上のように各処理を実行することにより、復号装置700は、符号化効率の低減の抑制を実現することができる。
<4.その他>
<ソフトウエア>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図36は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図36に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
<補足>
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
(1) 符号化対象の3次元位置の量子化に関する情報を生成する生成部
を備える情報処理装置。
(11) 前記量子化に関する情報は、前記量子化を行う座標系に関する情報を含む
(1)に記載の情報処理装置。
(12) 前記座標系に関する情報は、前記座標系の設定の許可または禁止に関する情報を含む
(11)に記載の情報処理装置。
(13) 前記座標系に関する情報は、前記座標系の設定の許可または禁止の対象となる符号化対象の範囲に関する情報を含む
(11)または(12)に記載の情報処理装置。
(14) 前記座標系に関する情報は、前記座標系の設定に用いられるパラメータの許可または禁止に関する情報を含む
(11)乃至(13)のいずれかに記載の情報処理装置。
(15) 前記座標系に関する情報は、前記座標系の設定の実行またはスキップに関する情報を含む
(11)乃至(14)のいずれかに記載の情報処理装置。
(16) 前記座標系に関する情報は、前記座標系の設定の実行またはスキップの対象となる符号化対象の範囲に関する情報を含む
(11)乃至(15)のいずれかに記載の情報処理装置。
(17) 前記座標系に関する情報は、前記座標系の設定に用いられるパラメータに関する情報を含む
(11)乃至(16)のいずれかに記載の情報処理装置。
(18) 前記パラメータに関する情報は、前記座標系の種類を示す識別情報を含む
(17)に記載の情報処理装置。
(19) 前記識別情報は、直交座標系、円柱座標系、または球面座標系の識別情報である
(18)に記載の情報処理装置。
(20) 前記パラメータに関する情報は、前記座標系のワールド座標系に対する相対姿勢を示す情報をさらに含む
(17)乃至(19)のいずれかに記載の情報処理装置。
(21) 前記相対姿勢を示す情報は、前記座標系の前記ワールド座標系からのシフト量を含む
(20)に記載の情報処理装置。
(22) 前記相対姿勢を示す情報は、前記座標系と前記ワールド座標系との角度を含む
(20)または(21)に記載の情報処理装置。
(23) 前記座標系が直交座標系以外の座標系の場合、前記パラメータに関する情報は、前記座標系と直交座標系との座標軸の対応関係を示す情報を含む
(11)乃至(22)のいずれかに記載の情報処理装置。
(31) 前記量子化に関する情報は、前記符号化対象の位置情報を正規化するためのバウンディングボックスに関する情報を含む
(1)乃至(23)のいずれかに記載の情報処理装置。
(32) 前記バウンディングボックスに関する情報は、前記バウンディングボックスの設定の許可または禁止に関する情報を含む
(31)に記載の情報処理装置。
(33) 前記バウンディングボックスに関する情報は、前記バウンディングボックスの設定の許可または禁止の対象となる符号化対象の範囲に関する情報を含む
(31)または(32)に記載の情報処理装置。
(34) 前記バウンディングボックスに関する情報は、前記バウンディングボックスの設定方法の許可または禁止に関する情報を含む
(31)乃至(33)のいずれかに記載の情報処理装置。
(35) 前記バウンディングボックスに関する情報は、前記バウンディングボックスの設定に用いられるパラメータの許可または禁止に関する情報を含む
(31)乃至(34)のいずれかに記載の情報処理装置。
(36) 前記バウンディングボックスに関する情報は、前記バウンディングボックスの設定の実行またはスキップに関する情報を含む
(31)乃至(35)のいずれかに記載の情報処理装置。
(37) 前記バウンディングボックスに関する情報は、前記バウンディングボックスの設定の実行またはスキップの対象となる符号化対象の範囲に関する情報を含む
(31)乃至(36)のいずれかに記載の情報処理装置。
(38) 前記バウンディングボックスに関する情報は、前記バウンディングボックスの設定に用いられるパラメータに関する情報を含む
(31)乃至(37)のいずれかに記載の情報処理装置。
(39) 前記パラメータに関する情報は、前記バウンディングボックスの設定方法を示す識別情報を含む
(38)に記載の情報処理装置。
(40) 前記識別情報は、前記符号化対象のオブジェクトが内接するようにバウンディングボックスを設定する方法、前記符号化対象の点の分布とボクセルの中心とを揃えるようにバウンディングボックスを設定する方法、前記符号化対象の点の分布に合わせて互いにオーバーラップする複数のバウンディングボックスを設定する方法、前記符号化対象の注目領域設定に応じて複数のバウンディングボックスを設定し、バウンディングボックス毎に画質を設定する方法、前記符号化対象の注目領域設定に応じて複数のバウンディングボックスを設定し、バウンディングボックス毎に復号順を設定する方法、または、ボクセル数を平準化するように複数のバウンディングボックスを設定する方法の識別情報である
(39)に記載の情報処理装置。
(41) 前記パラメータに関する情報は、設定するバウンディングボックスの数を示す情報を含む
(38)乃至(40)のいずれかに記載の情報処理装置。
(42) 前記パラメータに関する情報は、各バウンディングボックスに対応する座標系を示す情報を含む
(38)乃至(41)のいずれかに記載の情報処理装置。
(43) 前記パラメータに関する情報は、各バウンディングボックスの画質に関する情報を含む
(38)乃至(42)のいずれかに記載の情報処理装置。
(44) 前記画質に関する情報は、ボクセルの階層の深さ制限に関する情報を含む
(43)に記載の情報処理装置。
(45) 前記画質に関する情報は、色圧縮の品質に関する情報を含む
(43)または(44)に記載の情報処理装置。
(46) 前記パラメータに関する情報は、各バウンディングボックスの復号順に関する情報を含む
(38)乃至(45)のいずれかに記載の情報処理装置。
(51) 前記量子化に関する情報は、前記符号化対象の位置情報を量子化するためのボクセルに関する情報を含む
(1)乃至(46)のいずれかに記載の情報処理装置。
(52) 前記ボクセルに関する情報は、前記ボクセルの設定の許可または禁止に関する情報を含む
(51)に記載の情報処理装置。
(53) 前記ボクセルに関する情報は、前記ボクセルの設定の許可または禁止の対象となる符号化対象の範囲に関する情報を含む
(51)または(52)に記載の情報処理装置。
(54) 前記ボクセルに関する情報は、前記ボクセルの設定方法の許可または禁止に関する情報を含む
(53)に記載の情報処理装置。
(55) 前記ボクセルに関する情報は、前記ボクセルの設定に用いられるパラメータの許可または禁止に関する情報を含む
(53)または(54)に記載の情報処理装置。
(56) 前記ボクセルに関する情報は、前記ボクセルの設定の実行またはスキップに関する情報を含む
(53)乃至(55)のいずれかに記載の情報処理装置。
(57) 前記ボクセルに関する情報は、前記ボクセルの設定の実行またはスキップの対象となる符号化対象の範囲に関する情報を含む
(53)乃至(56)のいずれかに記載の情報処理装置。
(58) 前記ボクセルに関する情報は、前記ボクセルの設定に用いられるパラメータに関する情報を含む
(53)乃至(57)のいずれかに記載の情報処理装置。
(59) 前記パラメータに関する情報は、線形に量子化するか非線形に量子化するかを識別する識別情報を含む
(58)に記載の情報処理装置。
(60) 前記パラメータに関する情報は、非線形に量子化する場合のボクセルの配置に関する情報を含む
(58)または(59)に記載の情報処理装置。
(61) 前記ボクセルの配置に関する情報は、ボクセルの配置パターンの複数の候補の中からいずれを選択したかを示すインデックス情報を含む
(60)に記載の情報処理装置。
(62) 前記ボクセルの配置に関する情報は、ボクセルの配置を示すマップ情報を含む
(60)または(61)に記載の情報処理装置。
(63) 前記パラメータに関する情報は、ボクセルの位置のオフセットに関する情報を含む
(58)乃至(62)のいずれかに記載の情報処理装置。
(64) 前記オフセットは、ローカルオフセットが対応しない全てのボクセルに対応するグローバルオフセットである
(63)に記載の情報処理装置。
(65) 前記オフセットは、前記オフセットが割り当てられたボクセルと前記ボクセルに属する下位層のボクセルとにのみ対応するローカルオフセットである
(63)または(64)に記載の情報処理装置。
(71) 符号化対象の3次元位置の量子化に関する情報を生成する
情報処理方法。
(81) 符号化対象の3次元位置を量子化する位置量子化部
を備える情報処理装置。
(91) 前記位置量子化部は、前記量子化を行う座標系を設定する座標系設定部を備える
(81)に記載の情報処理装置。
(92) 前記座標系設定部は、前記符号化対象のオブジェクトの形状および姿勢に応じて、前記座標系を設定する
(91)に記載の情報処理装置。
(93) 前記座標系設定部は、前記座標系として所定の直交座標系を設定する
(91)または(92)に記載の情報処理装置。
(94) 前記座標系設定部は、前記座標系として所定の円柱座標系を設定する
(91)乃至(93)のいずれかに記載の情報処理装置。
(95) 前記座標系設定部は、前記座標系として所定の球面座標系を設定する
(91)乃至(94)のいずれかに記載の情報処理装置。
(101) 前記位置量子化部は、前記符号化対象の位置情報を正規化するためのバウンディングボックスを設定するバウンディングボックス設定部を備える
(81)乃至(95)のいずれかに記載の情報処理装置。
(102) 前記バウンディングボックス設定部は、前記符号化対象のオブジェクトが内接するようにバウンディングボックスを設定する
(101)に記載の情報処理装置。
(103) 前記バウンディングボックス設定部は、前記符号化対象の点の分布とボクセルの中心とを揃えるようにバウンディングボックスを設定する
(101)または(102)に記載の情報処理装置。
(104) 前記バウンディングボックス設定部は、前記符号化対象の点の分布に合わせて互いにオーバーラップする複数のバウンディングボックスを設定する
(101)乃至(103)のいずれかに記載の情報処理装置。
(105) 前記バウンディングボックス設定部は、前記符号化対象の注目領域設定に応じて複数のバウンディングボックスを設定する
(101)乃至(104)のいずれかに記載の情報処理装置。
(106) 前記バウンディングボックス設定部は、さらに、設定したバウンディングボックス毎に画質を設定する
(105)に記載の情報処理装置。
(107) 前記バウンディングボックス設定部は、さらに、設定したバウンディングボックス毎に復号順を設定する
(105)および(106)に記載の情報処理装置。
(108) 前記バウンディングボックス設定部は、ボクセル数を平準化するように複数のバウンディングボックスを設定する
(101)乃至(107)のいずれかに記載の情報処理装置。
(111) 前記位置量子化部は、前記符号化対象の位置情報を正規化するためのバウンディングボックス内に、前記符号化対象の位置情報を量子化するためのボクセルを設定するボクセル設定部を備える
(81)乃至(108)のいずれかに記載の情報処理装置。
(112) 前記ボクセル設定部は、前記符号化対象の位置情報を線形に量子化するように前記ボクセルを設定する
(111)に記載の情報処理装置。
(113) 前記ボクセル設定部は、前記符号化対象の位置情報を非線形に量子化するように前記ボクセルを設定する
(111)または(112)に記載の情報処理装置。
(114) 前記ボクセル設定部は、ボクセルの当該階層において、前記バウンディングボックスの内側程小さいボクセルが形成され、外側程大きいボクセルが形成されるように前記ボクセルを設定する
(113)に記載の情報処理装置。
(115) 前記ボクセル設定部は、ボクセルの当該階層において、注目領域において小さいボクセルが形成され、前記注目領域外において大きいボクセルが形成されるように前記ボクセルを設定する
(113)または(114)に記載の情報処理装置。
(116) 前記ボクセル設定部は、さらに、設定したボクセルの位置のオフセットを設定する
(111)乃至(115)のいずれかに記載の情報処理装置。
(117) 前記ボクセル設定部は、前記オフセットとして、ローカルオフセットが対応しない全てのボクセルに対応するグローバルオフセットを設定する
(116)に記載の情報処理装置。
(118) 前記ボクセル設定部は、前記オフセットとして、前記オフセットが割り当てられたボクセルと前記ボクセルに属する下位層のボクセルとにのみ対応するローカルオフセットを設定する
(116)または(117)に記載の情報処理装置。
(121) 前記位置量子化部による前記符号化対象の3次元位置の量子化方法を選択する選択部をさらに備える
(81)乃至(118)のいずれかに記載の情報処理装置。
(122) 前記選択部は、前記量子化方法を、RDコストに基づいて選択する
(121)に記載の情報処理装置。
(123) 前記位置量子化部により3次元位置が量子化された前記符号化対象を符号化する符号化部をさらに備える
(81)乃至(122)のいずれかに記載の情報処理装置。
(124) 前記位置量子化部による前記符号化対象の3次元位置の量子化に関する情報を生成する生成部と、
前記生成部により生成された前記量子化に関する情報を、前記符号化部により前記符号化対象が符号化されて得られた符号化データに関連付ける関連付け部をさらに備える
(123)に記載の情報処理装置。
(125) 前記符号化対象に対して所定の処理を施す前処理部をさらに備え、
前記位置量子化部は、前記前処理部により前記所定の処理が施された前記符号化対象の3次元位置を量子化するように構成される
(81)乃至(124)のいずれかに記載の情報処理装置。
(131) 前記符号化対象はポイントクラウドである
(81)乃至(125)のいずれかに記載の情報処理装置。
(141) 符号化対象の3次元位置を量子化する
情報処理方法。
(201) 符号化対象の3次元位置の量子化に関する情報に基づいて、信号列から前記符号化対象の3次元情報を復元する復元部
を備える情報処理装置。
(202) 前記復元部は、前記量子化に関する情報に基づいて、前記信号列に対応するボクセルを3次元の座標系に配置し、配置した前記ボクセルをポイントクラウド化し、前記座標系をワールド座標系に変換する
(201)に記載の情報処理装置。
(203) 前記復元部は、前記量子化に関する情報に基づいて、前記信号列をボクセルに変換し、変換した前記ボクセルを前記座標系に配置する
(202)に記載の情報処理装置。
(204) 前記符号化対象が符号化された符号化データを復号する復号部をさらに備え、
前記復元部は、前記量子化に関する情報に基づいて、前記復号部により前記符号化データが復号されて得られた前記信号列をボクセルに変換し、変換した前記ボクセルを前記座標系に配置する
(203)に記載の情報処理装置。
(205) 前記量子化に関する情報を解析する解析部をさらに備え、
前記復元部は、前記解析部による前記量子化に関する情報の解析結果に基づいて、前記復号部により前記符号化データが復号されて得られた前記信号列から前記符号化対象の3次元情報を復元する
(204)に記載の情報処理装置。
(211) 符号化対象の3次元位置の量子化に関する情報に基づいて、信号列から前記符号化対象の3次元情報を復元する
情報処理方法。
100 符号化装置, 101 制御部, 111 前処理部, 112 位置量子化部, 113 信号列生成部, 114 符号化部, 115 選択部, 116 制御情報生成部, 117 関連付け部, 201 座標系設定部, 202 バウンディングボックス設定部, 203 ボクセル設定部, 211 ワールド座標系設定部, 212 デカルト座標系設定部, 213 円柱座標系設定部, 214 球面座標系設定部, 311 内接バウンディングボックス設定部, 312 位置整合バウンディングボックス設定部, 313 オーバーラップバウンディングボックス設定部, 314 注目領域バウンディングボックス設定部, 315 平準化バウンディングボックス設定部, 411 線形ボクセル設定部, 412 非線形ボクセル設定部, 413 オフセットボクセル設定部, 511 コスト算出部, 512 コスト比較部, 611 位置量子化制御情報生成部, 612 座標系設定制御情報生成部, 613 バウンディングボックス設定制御情報生成部, 614 ボクセル設定制御情報生成部, 700 復号装置, 711 制御情報解析部, 712 復号部, 713 ボクセル化処理部, 714 ポイントクラウド化処理部, 721 位置量子化制御情報解析部, 722 座標系設定制御情報解析部, 723 バウンディングボックス設定制御情報解析部, 724 ボクセル設定制御情報解析部, 900 コンピュータ

Claims (18)

  1. 符号化対象の3次元位置を量子化する位置量子化部と、
    前記位置量子化部により前記3次元位置が量子化された前記符号化対象を符号化する符号化部と、
    前記符号化対象の3次元位置の量子化方法を、前記符号化部による符号化結果のRDコストに基づいて選択する選択部と、
    前記選択部により選択された前記量子化方法に関する制御情報を生成する制御情報生成部と、
    前記選択部により選択された前記量子化方法で前記3次元位置が量子化された前記符号化対象の符号化データに、前記制御情報生成部により生成された前記制御情報を関連付ける関連付け部と
    を備える情報処理装置。
  2. 前記制御情報は、前記量子化を行う座標系に関する情報を含む
    請求項1に記載の情報処理装置。
  3. 前記座標系に関する情報は、前記座標系の種類を示す識別情報、前記座標系のワールド座標系からのシフト量、および前記座標系と前記ワールド座標系との角度を含む
    請求項2に記載の情報処理装置。
  4. 前記制御情報は、前記符号化対象の位置情報を正規化するためのバウンディングボックスに関する情報を含む
    請求項1に記載の情報処理装置。
  5. 前記バウンディングボックスに関する情報は、前記バウンディングボックスの設定方法を示す識別情報を含む
    請求項4に記載の情報処理装置。
  6. 前記制御情報は、前記符号化対象の位置情報を量子化するためのボクセルに関する情報を含む
    請求項1に記載の情報処理装置。
  7. 前記ボクセルに関する情報は、線形に量子化するか非線形に量子化するかを識別する識別情報を含む
    請求項6に記載の情報処理装置。
  8. 前記ボクセルに関する情報は、ボクセルの位置のオフセットに関する情報を含む
    請求項6に記載の情報処理装置。
  9. 前記位置量子化部は、
    前記量子化を行う座標系を設定する座標系設定部と、
    前記座標系設定部において設定された前記座標系において、前記符号化対象の位置情報を正規化するためのバウンディングボックスを設定するバウンディングボックス設定部と、
    前記バウンディングボックス設定部により設定された前記バウンディングボックス内に、前記符号化対象の位置情報を量子化するためのボクセルを設定するボクセル設定部と
    を備える請求項1に記載の情報処理装置。
  10. 前記バウンディングボックス設定部は、前記符号化対象の点の分布に合わせて互いにオーバーラップする複数のバウンディングボックスを設定する
    請求項9に記載の情報処理装置。
  11. 前記バウンディングボックス設定部は、前記符号化対象の注目領域設定に応じて複数のバウンディングボックスを設定する
    請求項9に記載の情報処理装置。
  12. 前記バウンディングボックス設定部は、さらに、設定したバウンディングボックス毎に画質または復号順を設定する
    請求項11に記載の情報処理装置。
  13. 前記ボクセル設定部は、ボクセルの当該階層において、前記バウンディングボックスの内側程小さいボクセルが形成され、外側程大きいボクセルが形成されるように前記ボクセルを設定する
    請求項9に記載の情報処理装置。
  14. 前記符号化対象はポイントクラウドである
    請求項1に記載の情報処理装置。
  15. 符号化対象の3次元位置を量子化し、
    前記3次元位置が量子化された前記符号化対象を符号化し、
    前記符号化対象の3次元位置の量子化方法を、符号化結果のRDコストに基づいて選択し、
    選択された前記量子化方法に関する制御情報を生成し、
    選択された前記量子化方法で前記3次元位置が量子化された前記符号化対象の符号化データに、生成された前記制御情報を関連付ける
    情報処理方法。
  16. 符号化対象の符号化結果のRDコストに基づいて選択された前記符号化対象の3次元位置の量子化方法に関する制御情報を解析する制御情報解析部と、
    前記制御情報の解析結果に基づいて、前記符号化対象の符号化データを復号する復号部と、
    前記制御情報の解析結果に基づいて、前記符号化データを復号して得られた前記符号化対象に対応する信号列をボクセル化するボクセル化処理部と、
    前記制御情報の解析結果に基づいて前記量子化方法に対応する方法で、ボクセル化された前記信号列から前記符号化対象の3次元情報を復元する復元部と
    を備える情報処理装置。
  17. 前記復元部は、前記制御情報の解析結果に基づいて、前記信号列に対応するボクセルを3次元の座標系に配置し、配置した前記ボクセルをポイントクラウド化し、前記座標系をワールド座標系に変換する
    請求項16に記載の情報処理装置。
  18. 符号化対象の符号化結果のRDコストに基づいて選択された前記符号化対象の3次元位置の量子化方法に関する制御情報を解析し、
    前記制御情報の解析結果に基づいて、前記符号化対象の符号化データを復号し、
    前記制御情報の解析結果に基づいて、前記符号化データを復号して得られた前記符号化対象に対応する信号列をボクセル化し、
    前記制御情報の解析結果に基づいて前記量子化方法に対応する方法でボクセル化された前記信号列から前記符号化対象の3次元情報を復元する
    情報処理方法。
JP2019529035A 2017-07-10 2018-06-26 情報処理装置および方法 Active JP7234925B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017134534 2017-07-10
JP2017134534 2017-07-10
PCT/JP2018/024080 WO2019012975A1 (ja) 2017-07-10 2018-06-26 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2019012975A1 JPWO2019012975A1 (ja) 2020-05-07
JP7234925B2 true JP7234925B2 (ja) 2023-03-08

Family

ID=65001727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529035A Active JP7234925B2 (ja) 2017-07-10 2018-06-26 情報処理装置および方法

Country Status (6)

Country Link
US (1) US11508096B2 (ja)
EP (1) EP3654293A4 (ja)
JP (1) JP7234925B2 (ja)
KR (1) KR20200026196A (ja)
CN (1) CN110832550B (ja)
WO (1) WO2019012975A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414713B2 (ja) 2018-05-11 2024-01-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN112639885A (zh) * 2018-09-05 2021-04-09 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
US20220028119A1 (en) * 2018-12-13 2022-01-27 Samsung Electronics Co., Ltd. Method, device, and computer-readable recording medium for compressing 3d mesh content
CN113228110A (zh) * 2018-12-28 2021-08-06 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
WO2020175709A1 (ja) * 2019-02-28 2020-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020189891A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11159811B2 (en) * 2019-03-15 2021-10-26 Tencent America LLC Partitioning of coded point cloud data
US20220130075A1 (en) * 2019-03-15 2022-04-28 Lg Electronics Inc. Device and method for processing point cloud data
CN113646807A (zh) * 2019-03-25 2021-11-12 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
WO2020218593A1 (ja) * 2019-04-25 2020-10-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN112384955A (zh) * 2019-06-11 2021-02-19 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
CN110232741B (zh) * 2019-06-17 2022-11-25 腾讯科技(深圳)有限公司 多层包围盒确定方法、碰撞检测及运动控制方法与设备
JP7233561B2 (ja) * 2019-07-02 2023-03-06 テンセント・アメリカ・エルエルシー 点群圧縮のための方法並びにその、装置およびコンピュータプログラム
JPWO2021002444A1 (ja) * 2019-07-02 2021-01-07
US20220312035A1 (en) * 2019-09-11 2022-09-29 Sony Group Corporation Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
US20220327743A1 (en) * 2019-09-24 2022-10-13 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2021087334A1 (en) * 2019-11-01 2021-05-06 Vannevar Labs, Inc. Neural network-based optical character recognition
CN117978993A (zh) * 2020-01-08 2024-05-03 Lg电子株式会社 对点云数据进行编码/解码的设备
US11373339B2 (en) * 2020-03-18 2022-06-28 Sony Group Corporation Projection-based mesh compression
WO2021207431A1 (en) * 2020-04-07 2021-10-14 Apple Inc. Improved predictive coding for point cloud compression
WO2021241222A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 画像処理装置および方法
JP2022002382A (ja) * 2020-06-22 2022-01-06 Kddi株式会社 点群復号装置、点群復号方法及びプログラム
US12094178B2 (en) * 2020-08-21 2024-09-17 Samsung Electronics Co., Ltd. Complexity reduction of video-based point cloud compression encoding using grid-based segmentation
WO2022080283A1 (ja) * 2020-10-13 2022-04-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2022131947A1 (en) * 2020-12-14 2022-06-23 Huawei Technologies Co., Ltd. Devices and methods for scalable coding for point cloud compression
EP4020397A1 (en) 2020-12-23 2022-06-29 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of quantizing spherical coorinates used for encoding/decoding point cloud geometry data
JPWO2022149589A1 (ja) * 2021-01-07 2022-07-14
KR102709812B1 (ko) * 2021-07-29 2024-09-27 광운대학교 산학협력단 객체 포즈 인식을 통한 복셀 주소화 기반의 시각적 위치 결정 시스템
US11915436B1 (en) * 2021-08-30 2024-02-27 Zoox, Inc. System for aligning sensor data with maps comprising covariances
EP4421529A1 (en) * 2021-10-18 2024-08-28 LG Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN115379190B (zh) * 2022-08-19 2024-04-26 腾讯科技(深圳)有限公司 一种点云处理方法、装置及计算机设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017104115A1 (ja) 2015-12-14 2017-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7538764B2 (en) * 2001-01-05 2009-05-26 Interuniversitair Micro-Elektronica Centrum (Imec) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
US7176918B2 (en) * 2003-04-30 2007-02-13 Pixar Three-dimensional paint projection weighting of diffuse and scattered illumination methods and apparatus
US20050276500A1 (en) * 2004-06-15 2005-12-15 Canon Kabushiki Kaisha Image encoding apparatus, and image processing apparatus and its control method
US8217938B2 (en) * 2007-05-31 2012-07-10 Ford Global Technologies, Llc Method and apparatus for determining item orientation
CN100566427C (zh) * 2007-07-31 2009-12-02 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
KR100969764B1 (ko) * 2008-02-13 2010-07-13 삼성전자주식회사 메쉬 모델로 구현된 3차원 데이터의 부호화 및 복호화 방법
JP4656190B2 (ja) * 2008-06-10 2011-03-23 ソニー株式会社 情報処理装置および方法
EP2261859A1 (en) * 2009-06-10 2010-12-15 Thomson Licensing Method for encoding/decoding a 3D mesh model that comprises one or more components
TWI534760B (zh) * 2011-11-28 2016-05-21 湯姆生特許公司 空間樹結構對輸入空間點編碼之方法及編碼器,以及空間樹結構位元流之解碼方法及解碼器
US9159162B2 (en) * 2011-12-28 2015-10-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Method and system for generating a multi-dimensional surface model of a geometric structure
JP6197496B2 (ja) * 2013-08-30 2017-09-20 富士通株式会社 量子化装置、量子化方法および量子化プログラム
US9183459B1 (en) * 2014-05-06 2015-11-10 The Boeing Company Sensor fusion using detector confidence boosting
CN107209957B (zh) * 2015-01-30 2021-04-02 惠普发展公司有限责任合伙企业 从体素表示生成切片数据
WO2016142787A1 (en) * 2015-03-12 2016-09-15 Happy L-Lord AB System, method and device for three-dimensional voxel-based modeling
US10678217B2 (en) * 2015-04-20 2020-06-09 Hewlett-Packard Development Company, L.P. Creating a voxel representation of a three dimensional (3-D) object
US9576356B2 (en) * 2015-05-08 2017-02-21 Siemens Healthcare Gmbh Region clustering forest for analyzing medical imaging data
US10452789B2 (en) * 2015-11-30 2019-10-22 Intel Corporation Efficient packing of objects
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
JP6711913B2 (ja) * 2016-06-14 2020-06-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
EP3489908B1 (en) * 2016-07-19 2024-09-25 Panasonic Intellectual Property Corporation of America Three-dimensional data generation method, three-dimensional data transmission method, three-dimensional data generation device, and three-dimensional data transmission device
CN114359487A (zh) * 2016-09-16 2022-04-15 松下电器(美国)知识产权公司 三维数据制作方法以及三维数据制作装置
WO2018083999A1 (ja) * 2016-11-01 2018-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法及び表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017104115A1 (ja) 2015-12-14 2017-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置

Also Published As

Publication number Publication date
CN110832550B (zh) 2023-10-13
EP3654293A1 (en) 2020-05-20
CN110832550A (zh) 2020-02-21
US20200175726A1 (en) 2020-06-04
US11508096B2 (en) 2022-11-22
JPWO2019012975A1 (ja) 2020-05-07
KR20200026196A (ko) 2020-03-10
EP3654293A4 (en) 2020-07-29
WO2019012975A1 (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
JP7234925B2 (ja) 情報処理装置および方法
JP7268599B2 (ja) 情報処理装置および方法
KR102521801B1 (ko) 정보 처리 장치 및 방법
Maglo et al. 3d mesh compression: Survey, comparisons, and emerging trends
US9165403B2 (en) Planetary scale object rendering
JPWO2019198523A1 (ja) 画像処理装置および方法
JPWO2019065297A1 (ja) 情報処理装置および方法
JP5735114B2 (ja) エンコード方法、エンコード装置、デコード方法及びデコード装置
WO2021065536A1 (ja) 情報処理装置および方法
US11922579B2 (en) Image processing apparatus and method for image processing by deriving voxel and mesh data to generate point cloud data
CN111727461A (zh) 信息处理装置和方法
Rodriguez et al. Compression-domain seamless multiresolution visualization of gigantic triangle meshes on mobile devices
Berjón et al. Objective and subjective evaluation of static 3D mesh compression
US11861788B1 (en) Resolution budgeting by area for immersive video rendering
WO2024029348A1 (ja) 情報処理装置および方法
WO2024084931A1 (ja) 情報処理装置および方法
WO2021261237A1 (ja) 情報処理装置および方法
WO2024084952A1 (ja) 情報処理装置および方法
WO2024219213A1 (ja) 情報処理装置および方法
Martins et al. Impact of LiDAR point cloud compression on 3D object detection evaluated on the KITTI dataset
Xie et al. MesonGS: Post-training Compression of 3D Gaussians via Efficient Attribute Transformation
Qin et al. Multi-Grained Point Cloud Geometry Compression via Dual-Model Prediction with Extended Octree
Amjoun et al. Predictive-DCT coding for 3D mesh sequences compression
KR20240001126A (ko) 정보 처리 장치 및 방법
CN117710546A (zh) 数据处理方法、装置、计算设备集群、介质及程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R151 Written notification of patent or utility model registration

Ref document number: 7234925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151