JP2024500486A - 点群ジオメトリデータを符号化/復号化するために球座標を量子化する方法及び装置 - Google Patents

点群ジオメトリデータを符号化/復号化するために球座標を量子化する方法及び装置 Download PDF

Info

Publication number
JP2024500486A
JP2024500486A JP2023538869A JP2023538869A JP2024500486A JP 2024500486 A JP2024500486 A JP 2024500486A JP 2023538869 A JP2023538869 A JP 2023538869A JP 2023538869 A JP2023538869 A JP 2023538869A JP 2024500486 A JP2024500486 A JP 2024500486A
Authority
JP
Japan
Prior art keywords
point
azimuth
bitstream
point cloud
radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023538869A
Other languages
English (en)
Other versions
JP7522324B2 (ja
Inventor
タケ,ジョナサン
ラセール,セバスチャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2024500486A publication Critical patent/JP2024500486A/ja
Application granted granted Critical
Publication of JP7522324B2 publication Critical patent/JP7522324B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

点群を物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する/物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法および装置が提供され、点群の各点は、その点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、この点の基準点からの距離に応答する半径とを表す球座標に関連付けられる。この符号化方法は、前記半径に基づいて、前記方位角から導出された残差誤差方位角を自己適応的に量子化することを含む。

Description

関連出願の相互引用
本出願は、2020年12月23日に提出された欧州特許出願No.EP20306674.1の優先権を要求し、その内容は参照によって全体的に本開示に組み込まれる。
本出願は一般に点群圧縮に関し、具体的に自己回転センサヘッドでキャプチャされた点群ジオメトリデータを符号化/復号化するために球座標を量子化する方法および装置に関する。
このセクションは、読者に当分野の様々な態様を紹介することを目的とし、これらの態様は、以下に記載および/または特許請求される本出願の少なくとも1つの例示的な実施例の様々な態様に関連付けられる。この議論は、本出願のあらゆる態様をよりよく理解するために、読者に背景情報を提供するのに役立つと考えられる。
点群は、3Dデータを表すフォーマットとして最近注目されている。これは、すべてのタイプの物理的オブジェクトまたはシーンを表す能力が様々である。点群は文化遺産/建築物など、様々な目的で使用でき、ここで、物体を送信したりアクセスしたりすることなく物体の空間配置を共有するために、彫刻や建物のような物体を3D方式でスキャンする。また、それは物体が破壊される可能性がある場合、その物体の知識、例えば、地震では破壊されたお寺を確実に保存する方法である。通常、このタイプの点群は静的でカラーで巨大である。
もう一つの使用例は、地形学と製図学において、3D表現を使用して地図が平面に限らず起伏を含むことができることを許可する。Googleマップは現在3Dマップの良い例であるが、点群ではなくメッシュを使用している。しかし、点群は3Dマップの適切なデータフォーマットであってもよく、通常、このタイプの点群は静的でカラーで巨大である。
バーチャルリアリティ(VR)、拡張現実(AR)、及び没入型の世界は最近話題となり、多くの人に2Dタブレットビデオの未来と予見されている。その基本思想は視聴者を周囲の環境に浸らせることであるが、標準テレビでは視聴者が自分の前の仮想世界を見ることしか許されていない。視聴者の環境における自由度により、没入感にはいくつかのレベルがある。点群はVR/AR世界を配布する良いフォーマット候補である。
自動車産業、特に予見可能な自動運転車の分野も、点群を大量に使用可能な分野である。自律運転車は、検出された最も近傍の物体の存在や性質、及び道路配置に基づいて良好な運転判断を行うために、彼らの環境を「検知」することができるはずである。
点群とは、3次元(3D)空間に位置する点のセットであり、選択的に各点に付加値を付加する。これらの付加値は、通常、属性と呼ばれる。属性は、例えば、3成分の色、材料特性(例えば反射率)、及び/又は点に関連付けられた表面の2成分の法線ベクトルであってもよい。
従って、点群は、ジオメトリ(通常、3D空間における点の位置は3Dデカルト座標x、y、及びzで表される)と属性の組み合わせである。
点群は、カメラのアレイ、深度センサ、レーザ(光検出と距離測定、レーザレーダとも呼ばれる)、レーダなど、様々なタイプの装置でキャプチャされてもよく、または、コンピュータで生成されてもよい(例えば、映画のポストプロダクションで)。使用例に応じて、点群には、製図アプリケーションのために数千から数十億の点が含まれてもよい。点群の元の表現には、点ごとに非常に多くのビット数が必要であり、デカルト座標x、y、またはzごとに少なくとも十数ビットがあり、さらに選択的に(1つまたは複数)属性により多くのビット、例えば、色用の10ビットの3倍、を提供する。
多くのアプリケーションでは、許容できる(または好ましくは非常に優れた)体験品質を維持しながら、適切な数のビットレートまたはストレージスペースだけを消費して、点群をエンドユーザーに配布したり、サーバーに保存したりできることが重要である。これらの点群の効率的な圧縮は、多くの没入型の世界の配布チェーンを実用化するための重要なポイントである。
エンドユーザーによる配布と可視化に対して、例えばAR/VRグラスやその他の任意の3D対応デバイスでは、圧縮は非可逆圧縮(例えば、ビデオ圧縮の場合)であってもよい。しかし、医療アプリケーションや自律運転などの他の使用例は、圧縮されて伝送された点群の後続解析から取得される判断結果を変更しないようにするために、可逆圧縮を必要とする。
最近まで、マスマーケットは点群圧縮(別名PCC)の問題を解決せず、使用可能な標準化された点群デコーダーもない。2017年、標準化ワーキンググループISO/JCT1/SC29/WG11は、別名動画専門家グループまたはMPEGとも呼ばれ、点群圧縮に関する作業プロジェクトを開始した。その結果、次の2つの基準が制定された。 ・MPEG-I パート5(ISO/IEC 23090-5)またはビデオベースの点群圧縮(V-PCC)。
・MPEG-I パート9(ISO/IEC 23090-9)またはジオメトリベースの点群圧縮(G-PCC)。
V-PCC符号化方法は、3Dオブジェクトに複数回の投影を行って点群を圧縮して、画像(動的点群を処理するときのビデオ)にパッケージ化された2Dパッチを取得する。次に、既存の画像/ビデオコーデックを使用して、取得された画像やビデオを圧縮し、すでに配置された画像とビデオ解決案を最大限に活用可能になる。画像/ビデオコーデックが、レーザレーダでキャプチャされた疎なジオメトリデータの投影から取得された非平滑なパッチのような非平滑なパッチを圧縮できないため、V-PCCは、本質的には、密集した連続した点群でのみ有効である。
G-PCC符号化方法には、キャプチャされた疎なジオメトリデータを圧縮するための2つの方案がある。
第1の方案は、占有ツリーに基づいており、ローカルでは八分ツリー、四分ツリー、二分ツリーの任意のタイプのツリーであり、点群ジオメトリを表している。占有されたノードは、一定のサイズに達するまで分割され、占有されたリーフノードは点の3D位置を提供し、通常はこれらのノードの中心にある。占有情報は、占有フラグによって搬送されており、占有フラグはノードの各サブノードの占有状態を通知するように信号を送信する。近隣ベースの予測技術を使用することにより、密集した点群の占有フラグの高度な圧縮を得ることができる。疎な点群も、ノード内の非最小サイズの点の位置を直接符号化することによって解決でき、ノード内に孤立点のみが存在する場合にツリー構築を停止する。このような技術は直接符号化モード(DCM)と呼ばれる。
第2の方案は、予測ツリーに基づいており、各ノードが1点の3D位置を表し、ノード間の親/子関係が親から子への空間予測を表す。この方法は疎な点群しか解決できず、占有ツリーよりも遅延が低く復号化が簡単であるという利点を提供する。しかし、占有ベースの第1の方法に比べて、圧縮性能はわずかに良く、エンコーダが予測ツリーを構築する際に(長い列の潜在予測器の中から)最良の予測器を集中的に探す必要があるため、符号化が複雑になる。
この2つの方案では、属性(復号化)符号化は、ジオメトリ(復号化)符号化が完了した後に行われるため、実質的に2つの符号化が発生する。従って、統合ジオメトリ/属性低遅延は、サブボリューム間で予測することなく、3D空間を独立して符号化されたサブボリュームに分解するスライスを使用することで得られる。多くのスライスを使用すると、圧縮性能に深刻な影響を与える可能性がある。
エンコーダとデコーダの簡素化、低遅延、圧縮性能の要件を組み合わせることは、既存の点群コーデックでは依然として十分に解決されていない問題である。
重要な使用例は、移動車両に搭載された自己回転レーザレーダでキャプチャされた疎なジオメトリデータを伝送することである。これには通常、簡単で低遅延なエンベディッド型エンコーダを必要とされる。簡単性が必要であり、エンコーダは他の処理(例えば、(半)自律運転)を並行して実行するコンピューティングユニットに配置される可能性があるため、点群エンコーダが使用可能な処理能力が制限される。また、自動車からクラウドへの高速伝送を可能にするために、複数の車両の収集に基づいてローカル交通をリアルタイムで確認し、交通情報に基づいて十分な迅速な意思決定を行うように、低い遅延が必要である。5Gの使用により、伝送遅延を十分に低くすることができるが、エンコーダ自体が符号化のためにあまり多くの遅延を導入すべきではない。そして、数百万台の自動車からクラウドへのデータの流れは膨大になると予測されるため、圧縮性能は極めて重要である。
自己回転レーザレーダでキャプチャされた疎なジオメトリデータに関する特定のプライアは、すでにG-PCCで利用されており、非常に顕著な圧縮利得をもたらす。
まず、G-PCCでは、図1および図2に示すように、自己回転レーザレーダヘッドでキャプチャされた仰角(水平地面に対して)を利用する。レーザレーダヘッド10は、センサ11(レーザ機器)のセットを含み、ここでは5つのレーザ機器が示される。レーザレーダヘッド10は、垂直軸zを中心に回転して、物理的オブジェクトのジオメトリデータをキャプチャすることができる。レーザレーダでキャプチャされたジオメトリデータは球座標(r3D,Φ,θ)で表される。ここで、r3Dは点Pとレーザレーダヘッドの中心との距離であり、Φは基準の自己回転に対するレーザレーダヘッドの方位角であり、θは水平基準平面に対するレーザレーダヘッドのセンサkの仰角である。
図3に示すように、レーザレーダでキャプチャされたデータで方位角に沿った規則的な分布が観察された。この規則性は、G-PCCにおいて点群の準1D表現を取得するために用いられ、ここで、ノイズまで半径r3Dのみが連続的な値の範囲に属し、角度Φとθとは離散的な数の値のみを取り、Φ∀i=0からI1であり、ここで、Iは点をキャプチャするための方位角の数であり、θ∀k=0からK-1であり、ここで、Kはレーザレーダヘッド10のセンサの数である。基本的に、図3に示すように、G-PCCは2D離散角平面(Φ,θ)上のレーザレーダでキャプチャされた疎なジオメトリデータ、及び各点の半径値r3Dを表す。
角度の離散的特性を用いることにより、球座標空間ではすでに符号化された点に基づいて現在の点の位置を予測し、このような準1D特性はすでにG-PCCにおける占有ツリーと予測ツリーで利用されている。
より正確には、占有ツリーはDCMを大量に使用し、コンテキスト自己適応エントロピーエンコーダを使用してノード内の点の直接位置をエントロピー符号化する。そして、点の位置から角度座標(Φ,θ)へのローカル変換、及び以前に符号化された点から取得された離散的な角度座標(Φ,θ)に対するこれらの角度座標の位置からコンテキストを取得する。この座標空間の準1Dの性質(r2D,Φ,θ)を使用して、予測ツリーは角度座標(r2D,Φ,θ)の中点位置の第1のバージョンを直接符号化し、ここで、図4に示すように、r2Dは水平xy平面への投影半径である。次に、角度座標(r2D,Φ,θ)を3Dデカルト座標(x,y,z)に変換し、座標変換の誤差、仰角と方位角の近似、および潜在的なノイズを解決するために、xyz残差を符号化する。
図5はG-PCC予測ツリーエンコーダを示す。
まず、(x,y,z)=C2A(r2D,Φ,θ)によって点群の点のデカルト座標(x,y,z)を球座標(r2D,Φ,θ)に変換する。
変換関数C2A(.)は、次式で与えられる:
Figure 2024500486000002
ここで、round()は最も近い整数値に丸める演算であり、sqrt()は平方根関数であり、atan2(y,x)はy/xに適用されるアークタンジェントである。
ΔIr2DとΔIΦはそれぞれ半径と方位角の内部精度である。これらは通常、それぞれの量子化ステップと同じであり、すなわち、ΔIΦ=ΔΦとΔIr2D=Δr2Dであり、
Figure 2024500486000003
ここで、Mはコーデックのパラメータであり、ジオメトリパラメータセット中
のビットストリームでシグナリングすることができ、通常、elementary quantization stepは1に等しい。通常、可逆符号化の場合、Mは0であってもよく、また、
Figure 2024500486000004
ここで、Nはエンコーダのパラメータであり、それはジオメトリパラメータセット中のビットストリームでシグナリングすることができる。通常、可逆符号化の場合、Nは17であってもよい。
簡単にするために、以下ΔΦ=ΔIΦかつΔr2D=ΔIr2Dである。
次に、デカルト座標(xpred,ypred,zpred)は球座標(r2D,Φ,θ)を逆変換することによって取得される:
Figure 2024500486000005
また
Figure 2024500486000006
ここで、sin()とcos()はサイン関数とコサイン関数である。これら2つの関数は、固定小数点精度に基づく演算によって近似できる。値tan(θ)は固定小数点精度値として保存することもできる。したがって、デコーダでは浮動小数点演算を使用しない。通常、浮動小数点演算を回避することは、コーデックのハードウェアの実施形態を簡素化するための強い要件である。
予測された球座標(r2Dpred,Φpred,θpred)は予測ツリーの既知の祖先(親ノードから曽祖父点/ノードまで)から導出することができる。いくつかの許可された予測モードの中から選択された予測モードをデコーダに通知するために、ビットストリームで信号を送信して、予測モードインデックスを通知することができる。予測された座標
Figure 2024500486000007
は選択された予測モードを使用して取得でき,予測された座標
Figure 2024500486000008
と加算すべきの基本ステップΦstepの数を表す(正または負の)整数pをビットストリームに追加的にシグナリングして
Figure 2024500486000009
に細分化することができる。
基本ステップΦstepは、特定の固定小数点精度ΔΦを有するジオメトリパラメータセット内のビットストリームでシグナリングできる符号化パラメータであってもよい。エンコーダは、自己回転レーザレーダヘッドが異なる仰角でキャプチャを実行する周波数と回転速度から、例えば、ヘッド回転当たりの検知回数からΦstepを導出することができる。
変形例では、ビットストリームで予測インデックスをシグナリングせず、所定の予測モードを用いて予測された座標
Figure 2024500486000010
を取得する。一例では、
Figure 2024500486000011
は(0,0,0)であってもよい。別の変形例では、pはシグナリングされず、0に等しいと考えられる。
元の球座標と予測された球座標との間の残差誤差球座標(r2Dres,Φres,θres)は、次式で与えられる。
Figure 2024500486000012
且つ、ビットストリームで可逆符号化を行う。
予測されたデカルト座標(xpred,ypred,zpred)は、次式で再構築された球座標(r2D,Φ,θ)を逆変換することによって取得される:
Figure 2024500486000013
元の点と予測されたデカルト座標(xpred,ypred,zpred)との間の残差誤差デカルト座標(xres,yres,zres)は、次式で与えられる:
Figure 2024500486000014
残差誤差デカルト座標(xres,yres,zres)が量子化(Q)され、量子化された残差誤差デカルト座標Q(xres,yres,zres)は、ビットストリームに符号化される。x,y,z量子化ステップが元の点の精度(通常、1である)に等しい場合、残差誤差デカルト座標は、可逆符号化される可能性があり、または量子化ステップが元の点の精度(通常量子化ステップが1より大きい)より大きいである場合、非可逆符号化される。
再構築されたデカルト座標(xdec,ydec,zdec)は、次式で与えられ、例えば、デコーダで与えられる:
Figure 2024500486000015
ここで、IQ(Q(xres,yres,zres))は、逆量子化された量子化の残差誤差デカルト座標を表す。
それらの再構築されたデカルト座標(xdec,ydec,zdec)は、例えば、属性の符号化の前に(復号化された)点を順序付けるために、エンコーダによって使用されることができる。
図6は、予測ツリーのためのG-PCCデコーダを示す。
予測された球座標(r2Dpred,Φpred,θpred)は、ビットストリームからの情報から導出されることができ、例えば、図5に説明されるように、例えば、残差誤差球座標(r2Dres,Φres,θres)と選択可能な予測モードインデックスである。
選択的に,予測された座標と加算すべきの
Figure 2024500486000016
の基本ステップΦstepの数pは、ビットストリームから取得され,予測された座標Φpredは図5に説明されたように導出される。
再構築された球座標(r2Drec,Φrec,θ)は、ビットストリームから復号化された残差誤差球座標と予測された球座標(r2Dpred,Φpred,θpred)を加算することによって取得される:
Figure 2024500486000017
予測されたデカルト座標(xpred, ypred, zpred)は、次式で再構築された球座標(r2Drec,Φrec,θ)を逆変換することによって取得される:
Figure 2024500486000018
量子化された残差誤差デカルト座標Q(xres,yres,zres)は復号化され、逆量子化(IQ)され、予測されたデカルト座標(xpred, ypred, zpred)と加算される:
Figure 2024500486000019
DCMは、占有ツリーベースのコーデックが、DCM符号化点を集中的に使用することによって孤立点をより高速に圧縮することを可能にするために導入され、複雑度がやや低い疎なLiDAR点群符号化が取得される。一方、予測ツリーベースのエンコーダは、自己回転センサヘッドでキャプチャされた順序に従って点を直接処理し、最適な予測器を系統的に検索することなく、効率的な予測ツリーを構築するように設計することができる。
G-PCCは方位角Φと半径r2Dで均一な量子化が使用される。
図7は、量子化ステップ(または精度)ΔΦを有する方位角Φ(球座標)に均一な量子化/精度が使用されている場合、(x,y)2D空間の点の不均一なサンプリング及び量子化ステップΔr2Dを有する半径r2D(別の球座標)の均一なサンプリングを示す。これは、サンプリング密度が自己回転センサヘッドのある原点付近で高くなり、自己回転センサヘッドから離れた領域で低くなることを示す。
図8はまた、量子化Q(.)と逆量子化IQ(.)を適用した後に(x,y)空間における再構築誤差の不均一性を示し、両方とも均一な量子化ステップΔΦとΔr2Dを使用する。
値ΔΦに応じて、自己回転センサヘッドに近い点(r,Φ)に対して、精度が高すぎ、または離れた点(r,Φ)に対して、精度が足りない。
第1の場合、近点に対して、残差誤差方位角Φres(残差誤差球面誤差)符号化情報が多すぎる。もう一方、第2の場合、遠点の残差誤差方位角Φres符号化情報が足りなく、逆変換(xpred,ypred)値に正確な精度を有することができず、符号化すべきのデカルト座標(xres,yres)の残差誤差量値が高くなる。この2つの場合も方位角Φの圧縮は最適ではない。
デカルト空間における点の全体的な圧縮方案を考慮するとき、均一な球面サンプリング/量子化ΔΦ,Δr2Dは点の位置の最適な表現はもたらさない。
解決しようとする課題は、自己回転センサヘッドによってキャプチャされた点群の点の符号化/復号化のフレームワークにおいて、点群の点の球座標表現に使用される均一な量子化ステップによる量子化次善性を減少させることにより、圧縮効率(所定の品質のビットレート、または所定のビットレートの品質)を向上させる。
上記の内容を考慮して本出願の少なくとも1つの例示的な実施例は設計される。
次節では、本出願のいくつかの態様の基本的な理解を提供するために、少なくとも1つの例示的な実施例の簡素化された概要を提示する。この概要は、例示的な実施例の詳細な概要ではない。これは、実施例の肝心な要素または重要な要素を特定することを意図していない。以下の概要は、文書中の他の場所で提供されるより詳細な説明の前置きとして、例示的な実施形態の少なくとも1つの態様のいくつかの態様を簡略化された形で提示するだけである。
本出願の第1の態様によれば、点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法が提供され、点群の各点は、この点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、この点の基準点からの距離に応答する半径とを表す球座標に関連付けられる。この方法は、半径に基づいて、方位角から導出された残差誤差方位角を自己適応的に量子化するステップを含む。
例示的な実施例によれば、半径は方位角の予測に基づいて自己適応的に量子化され、自己適応的に量子化された半径から取得された再構築された半径に基づいて、方位角は自己適応的に量子化される。
本出願の第2の態様によれば、物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法が提供され、点群の各点は、この点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、この点の基準点からの距離に応答する半径とを表す球座標に関連付けられる。この方法は、半径に基づいて残差誤差方位角を自己適応的に逆量子化するステップを含む。
例示的な実施例によれば、残差誤差方位角を自己適応的に逆量子化することは、アーク長量子化ステップ((ΔΦarc))に基づいている。
例示的な実施例によれば、量子化された残差誤差方位角を自己適応的に逆量子化することは、半径と乗算する第1回目乗算と、2*πと乗算する第2回目乗算とを含み、2*πを乗算する第2回目乗算は8と乗算するのと等価な結果を有する演算によって近似される。
例示的な実施例によれば、方位角の予測に基づいて半径を自己適応的に逆量子化し、自己適応的に量子化された残差誤差半径を自己適応的に逆量子化して取得された再構築された半径に基づいて、方位角を自己適応的に逆量子化する。
例示的な実施例によれば、半径を自己適応的に逆量子化することは、以下の式で与えられる量子化ステップΔr2Dを使用する:
Figure 2024500486000020
Φpredは方位角Φの予測であり、f(Φpred)はΦpredをパラメータとする数学関数である。
ここで、r2Drecは、再構築された半径である。なお、残差誤差方位角を自己適応的に逆量子化することは、次式で与えられる量子化ステップΔΦを使用する:
Figure 2024500486000021
ここで、r2Drecは、再構築された半径である。
例示的な実施例によれば、数学関数f(Φpred)は、|sin(Φpred)|+|cos(Φpred)|次第であり、次式で与えられる:
Figure 2024500486000022
例示的な実施例によれば、数学関数f(Φpred)は、次式で与えられる:
Figure 2024500486000023
本出願の第3の態様によれば、点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法が提供される。この装置は、本出願の第1の態様による方法を実行するように構成される1つまたは複数のプロセッサを含む。
本出願の第4の態様によれば、ビットストリームから物理的オブジェクトを表す点群の点を復号化する装置が提供される。この装置は、本出願の第2の態様による方法を実行するように構成される1つまたは複数のプロセッサを含む。
本出願の第5の態様によれば、命令を含むコンピュータプログラム製品が提供され、プログラムが1つまたは複数のプロセッサによって実行される場合、命令は1つまたは複数のプロセッサに本出願の第1の態様の方法を実行させる。
本出願の第6の態様によれば、本出願の第1の態様の方法を実行するためのプログラムコードの命令を搬送する非一時的な記憶媒体が提供される。
本出願の第7の態様によれば、命令を含むコンピュータプログラム製品が提供され、プログラムが1つまたは複数のプロセッサによって実行される場合、命令は1つまたは複数のプロセッサに本出願の第2の態様の方法を実行させる。
本出願の第8の態様によれば、本出願の第2の態様の方法を実行するためのプログラムコードの命令を搬送する非一時的な記憶媒体が提供される。
例示的な実施形態のうちの少なくとも1つの具体的な性質、および前記例示的な実施形態のうちの少なくとも1つの他の目的、利点、特徴、および用途は、以下図面と併せた例示の説明から明らかになる。
ここで、本出願の例示的な実施例を示す図面が例示的に参照される。
既存の技術に係るセンサヘッドおよびそのいくつかのパラメータの側面図を示す。 既存の技術に係るセンサヘッドおよびそのいくつかのパラメータの平面図を示す。 既存の技術に係る自己回転センサヘッドでキャプチャーされたデータの規則的な分布を示す。 既存の技術に係る3D空間内の点の表現を示す。 既存の技術に係るG-PCC予測ツリーエンコーダを示す。 既存の技術に係るG-PCC予測ツリーデコーダを示す。 既存の技術に係る均一な量子化を使用して2D空間内の点の位置に関連付けられた方位角と半径のサンプリングを示す。 既存の技術に従って方位角と半径が均一に量子化された場合の2D空間内の誤差/精度への影響を示す。 少なくとも1つの例示的な実施例に係るアークの均一な量子化をもたらす方位角の不均一な量子化を示す。 少なくとも1つの例示的な実施例に係る円弧ΔΦarcの均一な量子化の独立性を示す。 少なくとも1つの例示的な実施例に係る方位角を自己適応的に量子化する方法のステップを示すブロック図である。 少なくとも1つの例示的な実施例に係るG-PCCエンコーダで方位角を自己適応的に量子化することを示す。 少なくとも1つの例示的な実施例に係るG-PCCデコーダでの方位角の自己適応逆量子化を示す。 少なくとも1つの例示的な実施例に係る方位角と半径の自己適応量子化を示す。 少なくとも1つの例示的な実施例に係る(x,y)平面において共通目標誤差Δx=Δyを有する方位角Φと半径r2Dの自己適応量子化の例を示す。 少なくとも1つの例示的な実施例に係る自己適応量子化ステップの最適式を示す。 少なくとも1つの例示的な実施例に係る半径と方位角を自己適応的に量子化する方法のステップを示すブロック図である。 少なくとも1つの例示的な実施例に係る不正確性による予測された方位角への影響を示す。 少なくとも1つの例示的な実施例に係るG-PCC予測ツリーエンコーダを示す。 少なくとも1つの例示的な実施例に係るG-PCC予測ツリーデコーダを示す。 少なくとも1つの例示的な実施例に係る点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法100のステップを示すブロック図である 本出願の例示的な一実施例に係る2D空間で表現されたキャプチャされた点の一例を示す。 本出願の例示的な一例に係る符号化された順序付けられた点の一例を示す。 本出願の例示的な一例に係るキャプチャされた点の一例を示す。 本発明の例示的な一実施例に係る順序付けられて量子化されたキャプチャされた点の一例を示す。 少なくとも1つの例示的な実施例に係る物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法200のステップを示すブロック図である。 様々な態様と例示的な実施例が実装されるシステムの一例の概略ブロック図である。
異なる図において、類似の符号で類似の構成要素を表すことができる。
以下、図面を参照しながら、例示的な実施例のうちの少なくとも1つの例を説明し、例示的な実施例のうちの少なくとも1つを示す。しかし、例示的な実施形態は、多くの代替形態で実行されることができ、本明細書に記載された例に限定されるものとして解釈されるべきではない。したがって、例示的な実施例が開示された特定の形態に限定されることは意図されていないことが理解されるべきである。むしろ、本出願は、本出願の精神および範囲内に含まれるすべての修正、均等物および代替案をカバーすることを意図している。
図面がフローチャートの形態で提示されるとき、対応する装置のブロック図も提供することが理解されるべきである。同様に、図面がブロック図の形態で提示されるとき、対応する方法/プロセスのフローチャートも提供することが理解されるべきである。
これら態様のうちの少なくとも1つは、一般に、点群の符号化と復号化に関し、少なくとも1つの他の態様は、一般に、生成または符号化されたビットストリームの伝送に関する。
さらに、本態様は、点群圧縮などに関するMPEG-Iパート5またはパート9のようなMPEG標準に限定されず、例えば、既存または将来開発されたものを問わず他の標準および推奨、およびそのような標準および推奨の拡張(MPEG-Iパート5およびパート9を含む)に適用されることができる。特に指示がない限り、又は技術的に除外されない限り、本出願に記載された態様は、単独で又は組み合わせて使用されることができる。
点群の点に関連付けられた方位角Φを自己適応的に量子化することにより、デカルト(x,y)空間においてより均一なサンプリング/量子化を提供し、圧縮性能を向上させることができる。
例示的な実施例によれば、半径r2D(点群の点の球座標)は均一に量子化され、方位角Φ(点群の点の球座標)は、次式で与えられる自己適応角度量子化ステップΔΦ(r2D)を使用して自己適応的に量子化される:
Figure 2024500486000024
ただし、ΔΦ(r2D)は非均一な量子化ステップである。
この例示的な実施例は、円弧ΔΦarcの均一な量子化を維持し、すなわち、図9および図10に示すように、各量子化された半径に対して取得された円に沿って均一な量子化/サンプリングを維持し、ここで、この非均一な量子化ステップを使用することにより、任意の半径r、rに対して円弧ΔΦarcの量子化長さは一致し、この長さはr1*ΔΦ(r)=ΔΦarc=r*ΔΦ(r)に等しいためである。
図11は少なくとも1つの例示的な実施例に係る方位角を自己適応的に量子化する方法のステップを示すブロック図である。
図6に説明したように再構築された半径r2Drecを取得する。次に、再構築された半径r2Drecは自己適応量子化ステップΔΦ(r2Drec)を自己適応的に決定するために使用される。そして、元の方位角Φと図5に解釈した予測された方位角Φpredとの差により、残差誤差方位角Φresを取得する。そして、量子化残差誤差方位角QΦresを次式で取得する:
Figure 2024500486000025
QΦは半径r2Drecに基づく自己適応量子化器である。
量子化された残差誤差方位角QΦresは、固定小数点精度アルゴリズムを使用して、次式により取得される:
Figure 2024500486000026
固定小数点表現をround()演算を使用して最も近い整数に丸める。
逆量子化された残差誤差方位角IQΦresは、逆量子化QΦresにより取得される:
Figure 2024500486000027
IQΦは半径r2Drecに基づく自己適応逆量子化器である。
逆量子化された残差誤差方位角IQΦresは、固定小数点精度アルゴリズムを使用して、次式により取得される:
Figure 2024500486000028
逆量子化された残差誤差方位角IQΦresが内部精度ΔIΦで取得される。
いくつかの変形例では、逆関数(すなわち、inv(x)=1/x)は、乗算および/または変位演算、および/または加算/減算のようなあまり複雑でない演算によって近似することができる。
残差誤差方位角IQΦresを逆量子化して、次の方法により再構築された方位角Φrecを決定できる:
Figure 2024500486000029
変形例では、方位角Φは次式により量子化された方位角QΦが取得される:
Figure 2024500486000030
逆量子化された方位角IQΦは、次式でQΦを逆量子化することによって取得される:
Figure 2024500486000031
再構築された方位角ΦrecはIQΦに等しい。
量子化された方位角QΦをビットストリームにおいてシグナリングできる。
変形例では、量子化された方位角QΦをシグナリングする代わりに、ビットストリームで残差誤差量子化された方位角QΦ’resをシグナリングすることができる。量子化された方位角の予測QΦpredと量子化された方位角QΦとの差によってQΦ’resを取得する。量子化された方位角の予測QΦpredは、図5に説明したように予測された球座標Φpredを導出し、自己適応量子化器QΦを使用して、再構築された半径r2Drecに基づいて量子化されることにより取得され、
Figure 2024500486000032
再構築された方位角Φrecは、次式で決定できる:
Figure 2024500486000033
または、変形例では、次式で決定する:
Figure 2024500486000034
または、別の変形例では、次式で決定される:
Figure 2024500486000035
図12は少なくとも1つの例示的な実施例に係るG-PCCエンコーダ内の方位角の自己適応量子化を示す。
図5に説明したGPCCエンコーダに比べて、残差誤差方位角Φresは、自己適応量子化器にQΦより量子化される:
Figure 2024500486000036
自己適応逆量子化器IQΦから残差誤差方位角IQΦresを取得する:
Figure 2024500486000037
上記で説明したように、自己適応逆量子化器IQΦ(.)は、以下の演算を実行する。
Figure 2024500486000038
変形例では、乗算は、変位演算、および/または加算/減算のようなあまり複雑でない演算によって近似することができる。
変形例では、方位角Φの内部表現ΔIΦは、最小量子化ステップΔΦarc/max_rよりも良い精度を可能にするために使用され、max_rは点群の点の最大半径である。これにより、自己適応量子化の効率が向上する。
実践の中で、内部精度は
Figure 2024500486000039
であり、N=18であり、これで十分な圧縮利得が取得されるが、Nのその値は、点群が属する3D空間のサイズ(例えば、20ビット)に大きく依存する。
Δを残差誤差デカルト座標(xres、yres)の量子化ステップとし、すなわち、再構築のためのデカルト座標(xdec、ydec)のデカルト空間における期待される精度に使用される。一般に、Δ=1は整数座標の可逆符号化に使用され、1より高い値は非可逆符号化に使用される。高い圧縮結果を取得するために、一般に、ΔΦarcがデカルト空間における長さがΔとなるように選択される。
GPCCエンコーダでは、前記のように、方位角の内部精度は
Figure 2024500486000040
、内角量子化ステップである。Φresは方位角Φと同じ内部精度の予測方位角Φpredとの差として取得されるため、残差誤差方位角Φresも同じ内部精度ΔIΦを有する。したがって、内部(固定小数点)表現IΦresは次式を検証する:
Figure 2024500486000041
次に、量子化された残差誤差方位角QΦresが次式で取得される。
Figure 2024500486000042
定数2*πに係る追加の乗算は、内部量子化ステップΔIΦの2*π係数を補償するために行われる(2による除算を達成するための追加のビット単位のシフト)。
逆量子化された残差誤差方位角IQIΦresの内部(固定小数点)表現は次式で取得される。
Figure 2024500486000043
変形例では、2*πは固定小数点精度値で表される。
代替の実施形態では、より簡単な演算/計算を使用するために、ΔΦarcを選んで2*π/ΔΦarcと乗算する固定小数点乗算が、いくつかのビットシフト演算および加算によって代替され、したがって、2*π/ΔΦarcの値の数ビットが1に等しい。例えば、2*π/ΔΦarc=4、5、6、7または8であり、それぞれ1ビット、2ビット、2ビット、3ビット、または1ビットのみを使用するため、乗算は1、2、2、3、または1回のビットシフト演算と同じ回数の加算で実現することができる。関係する演算と圧縮効率との間で良好なトレードオフをとるために、ΔΦarc=Δに近づくためには、2*π/ΔΦarc=8が最良の選択の1つである(すなわち、ΔΦarc=2*π/8)。
変形例では、自己適応量子化は、例えば、uniform_phi_quantization_flagのようなフラグをジオメトリパラメータセットに追加することによって、シンタックス要素によってシグナリングできる。
シンタックス要素が有効な自己適応量子化を指示する場合、自己適応量子化は、予測ツリーで符号化されたすべての点に対して実行される。そうでなければ、適応量子化は使用されない。これにより、G-PCCビットストリームとの後方互換性が有効になり、自己適応量子化は、専用シンタックス要素に基づいて有効または無効にされる。
図12を参照すると、再構築された方位角Φrecは、残差誤差方位角IQΦresと予測の方位角IQΦpredを加算することによって取得される。
Figure 2024500486000044
残差誤差方位角(r2Dres、QΦres、θres)は、ビットストリーム内で可逆符号化できる。
図13は少なくとも1つの例示的な実施例に係るG-PCCデコーダ内の方位角の自己適応逆量子化を示す。
図6に説明したG-PCCエンコーダと比較すると、再構築された方位角(r2Drec、Φrec、θ)は残差誤差方位角(r2Dres、IQΦres、θres)と予測された方位角(r2Dpred、Φpred、θpred)を加算することによって取得される:
Figure 2024500486000045
残差誤差方位角IQΦresは、自己適応逆量子化器IQΦから取得される。
例示的な実施例によれば、予測された方位角Φpredに基づいて半径r2Dを自己適応的に量子化し、再構築された半径r2Drecに基づいて方位角Φを自己適応的に量子化する。
図14に示されるように、この例示的な実施例は、自己適応量子化ステップΔr2D(Φpred)とΔΦ(r2Drec)適切に選択することにより、デカルト(x,y)平面内で均一な量子化精度を提供する。量子化ステップΔr2D(Φpred)とΔΦ(r2Drec)の選択は、(x,y)平面内で所望の均一性を取得するために、球座標からデカルト座標への逆変換を使用する必要がある。
ΔxとΔyはデカルト(x,y)平面における目標量子化誤差とされ、球面空間で量子化してデカルト空間に逆変換した後に得られた誤差である。目標誤差ΔxとΔyを提供する最大量子化ステップΔr2D(Φpred)とΔΦ(r2Drec)を取得する方法を求めるべきである。目標誤差に対して不要な球面情報を符号化しないために、ステップを最大化することが不可欠である。
例として、デカルト(x、y)平面における等方性均一誤差を取得するために、Δx=Δy=Δにすることができる。点群のジオメトリ行動がx軸とy軸という2つの軸に沿って同じである場合、これは圧縮の点で有利である。
さらに別の例では、残差誤差球座標(xres,yres)を回避するために、Δx=Δy=1にすることができる。これは、デカルト残差ステップを除去することでエンコーダを単純化するため有利である。実行テストによれば、可逆符号化の圧縮にも有利である。また、テストによって、固定小数点実行方式の計算誤差により残差誤差デカルト座標(xres,yres)において微小なノイズが残され、ほとんどがゼロであっても、すべてがゼロではない可能性がある。簡単なランレングスエンコーダはコーデックの単純性を維持し、可逆符号化と良好な圧縮効率を確保しながら、このような微小なノイズをキャプチャすることができる。
図15は、(x,y)平面において共通目標誤差Δx=Δyを有するΦと半径r2Dの自己適応量子化の例を示す。
各(x,y)デカルト量子化の正方形領域において、自己適応量子化ステップΔΦ(r2Drec)(以下の等式と図16ではΔΦと表す)とΔr2D(Φpred)(以下の等式と図16ではΔrと表す)によって得られた量子化された角セクタがデカルト量子化正方形内に含まれるように、自己適応量子化ステップΔrと自己適応量子化ステップΔΦは選択されている。
共通目標誤差Δx=Δyの条件を満たす最適な(すなわち、最大の)量子化ステップΔΦとΔrは以下のとおりである。
Figure 2024500486000046
Figure 2024500486000047
これは、図16から証明できるように、黒点は周囲の角セクタに属する任意の点の再構築位置を表している。角セクタ自体は、幅がΔxで高さがΔyである境界ボックスに含まれる。
量子化角度セクタがΔx*Δyのボックスに適合するようにするために、以下のように自己適応量子化ステップΔΦとΔrを選択する必要がある。
Figure 2024500486000048
ただし、hmin=2rmin|sin(ΔΦ/2)|であり、かつhmax=2rmax|sin(ΔΦ/2)|である。
線分の長さは弧より短く、すなわちhmin <ΔΦ(r2Drec)*rminとhmax <ΔΦ(r2Drec)*rmaxであるため、これを
Figure 2024500486000049
という条件に近似して簡略化することができる。
上述のように、量子化ステップサイズを最大化することは有利であり、そのため、不等式を有利に等式に変換することにより、最適な量子化ステップを定義する。
Figure 2024500486000050
この方程式は簡単に解くことで量子化ステップの式を得ることができ、すなわち
Figure 2024500486000051
上記のように、異方性信号に対しては、Δx=Δy=Δとすることが有利である。また、最初の近似では、特に小さな量子化ステップでは、rminがrmaxと等しいと仮定できる。
Figure 2024500486000052
これらの簡略化と近似によって、
Figure 2024500486000053
が得られる。
最後に、r2Drec+Δr/2をr2Drecで近似すると、等式(A)と(B)が得られる。
図17は、少なくとも1つの例示的な実施例に係る半径r2Dと方位角Φを自己適応的に量子化する方法のステップを示すブロック図である。
まず、方位角Φの予測方位角Φpredを求め(例えば、復号化プロセスから得る)、そして、この予測は半径r2Drecの自己適応量子化ステップΔr2D(Φpred)を決定するために用いられる:
Figure 2024500486000054
そして、予測に基づく符号化の場合には、量子化された残差誤差半径Qr2Dresが得られる。そうでなければ、量子化された半径Qrが得られる。量子化された残差誤差半径Qr2Dres(またはQr)に逆量子化を適用して、再構築された残差誤差半径IQr2Dres(または再構築された半径r2Drec)を取得する。予測に基づく符号化の場合には、再構築された半径r2Drecは、r2Drec=IQr2Dres+r2Dpredによって与えられる。
次のステップは、図11で説明したステップと同様である。再構築された半径r2Drecは、自己適応量子化ステップを決定するために使用される
Figure 2024500486000055
そして、量子化された残差誤差方位角QΦres(エンコーダ側の計算または復号器側の復号によって)を求め、自己適応量子化ステップΔΦ(r2Drec)を用いてこの量子化された残差誤差方位角を逆量子化して、再構築された残差誤差方位角IQΦresを取得する。
最後に、予測された方位角Φpredと再構築された残差誤差方位角IQΦresを加算することで、再構築された方位角Φresを取得する。
2つの自己適応量子化ステップΔr2D(Φpred)とΔΦ(r2Drec)を決定する際に、いくつかの不正確性が導入されるため、共通の目標誤差ΔxとΔyを逃す可能性がある。誤差ΔxとΔyがデカルトxy残差を避けるように設計されている場合、これは特に面倒である。漏れを補償するためのこのような残差がなくなるからである。自己適応量子化Δr2D(Φpred)とΔΦ(r2Drec)を決定するより慎重な設計は不正確性による影響を予測でき、実際に目標誤差ΔxとΔyを確保することができる。
不正確性は、基本ステップΦstepによる予測方位角Φpredの量子化に起因する可能性がある。これはΦpred上の有界不正確性をΦstep/2まで引き起こす。図18を参照して、このような不正確性はサイン関数とコサイン関数を介してΔr (=Δr2D(Φpred))とΔΦ(=ΔΦ(r2Drec))に伝播される。もう1つの原因は三角関数の計算精度である。このような不正確性はコサインとサインにΔεを境界とする誤差を導入する。このような不正確性は、固定小数点計算やサイン関数とコサイン関数の近似などに起因する可能性がある。もう1つの原因は他の計算が正確でないΔiであり、特にΔΦ(=ΔΦ(r2Drec)の式で半径で割った部分である。
これらの不正確性はすべて結合する可能性がある。以下の関数について考えてみる。
Figure 2024500486000056
その最大導数値はsqrt(2)である。一回目の近似では、予測された角度Φpredの量子化による誤差はsqrt(2)Φstep/2である。また、サインとコサインの累積誤差は2Δεである。したがって、関数の誤差は次式で限定される。
Figure 2024500486000057
E≧0を誤差の最大値Δε'とする。(x,y)平面において目標誤差Δx=Δyを保持するために、量子化ステップ式を以下の式に変更することでサインコサイン函数の近似値にある程度の余裕を持たせなければならない。
Figure 2024500486000058
Eは推定が難しいので、関数fを使用することを選択して、次のようにしてもよい。
Figure 2024500486000059
量子化ステップ式を以下の式に変更する。
Figure 2024500486000060
変形例では、fを量|sin(Φ)|+|cos(Φ)|の函数として選択することができる。
Figure 2024500486000061
ここで、gは函数である。
別の変形例では、
Figure 2024500486000062
を選択することができる。ここで、βは正のパラメータβ≧1である。
別の変形例では、正のパラメータα≧1に対して、
Figure 2024500486000063
を選択することができる。
一方、デカルト残差を用いる場合、さらなる計算誤差Δiによって失われる精度で半径r2Dと方位角Φを符号化することは望ましくないかもしれない。また、α≦1であることが望ましいため、以下のようにする。
Figure 2024500486000064
実際には、α=0.85は優れた結果を提供することがテストで明らかになった。
図19は、少なくとも1つの例示的な実施例に係るG-PCC予測ツリーエンコーダを示す。
自己適応量子化器QΦは、図12と関連して説明したG-PCCエンコーダと比較して、等式(B)、(D)または(G)のいずれに従って演算を行う。自己適応逆量子化器IQΦは逆演算を実行する。
残差誤差半径r2Dresは予測された方位角Φpredを用いた自己適応量子化器Qによって量子化される:
Figure 2024500486000065
ここで、自己適応量子化器Qは、等式(A)、(C)、(E)または(F)に従って演算を実行する。逆自己適応量子化器IQは逆演算を実行する。
再構築された半径r2Drecは、自己適応逆量子化器IQにより、量子化された残差誤差半径Qr2Dresを逆量子化して、逆量子化された残差誤差半径IQr2Dresを予測された半径r2Dpredに加算することによって得られる。
再構築された半径r2Drecは、自己適応量子化器QΦと自己適応逆量子化器IQΦの自己適応量子化パラメータとして使用される。
可逆符号化のために量子化を慎重に選択する例示的な実施例によれば、残差誤差デカルト座標Q(xres,yres,zres)は体系的にゼロであり、符号化する必要はない。
図20は、少なくとも1つの例示的な実施例に係るG-PCC予測ツリーデコーダを示す。
図13で説明したG-PCCデコーダに比べて、残差誤差球座標(IQrres, IQΦres, θres)と予測された球座標(r2Dpredpred, θpred)を加算することによって得られた再構築された球座標(r2Drec, Φrec, θ)は、以下の通りである:
Figure 2024500486000066
その中で残差誤差球座標IQrresは逆量子化器IQによって与えられる。
Φ’は角度を表し、区間[Φredstep/2; Φpred+Φstep/2]内のいすれかのΦを検証し、|sin(Φ)|+|cos(Φ)| <= |sin(Φ’)|+|cos(Φ’)|であり、かつQscale=(|sin(Φ’)|+|cos(Φ’)|+2.Δε’)であり、自己適応量子化器Qは、固定小数点精度アルゴリズムによって
Figure 2024500486000067
を実行することができる。
ここで、sinとcosはそれぞれサインとコサインの固定小数点精度近似函数で、整数に最も近い丸め演算を使用する。逆量子化器IQは、固定小数点精度アルゴリズムによって
Figure 2024500486000068
を実行することができる。
したがって、再構築された半径r2Drecは内部精度ΔIr2Dによって得られる。
量子化器QΦは、固定小数点精度アルゴリズムによって
Figure 2024500486000069
を実行し、round()演算によって固定小数点表現を最も近い整数に丸めることができる。
逆量子化器IQΦは、固定小数点精度アルゴリズムによって
Figure 2024500486000070
を実行することにより、IQΦresと内部精度ΔIΦが一緒に得られる。この実施形態は、
Figure 2024500486000071
Figure 2024500486000072
を使用することと同じであり、ここでΔ = 1である。
計算の複雑さと符号化効率の間のトレードオフとして、いくつかの代替の実施例では、前述のように量子化ステップの計算をさらに簡略化することができる。
図21は、少なくとも1つの例示的な実施例に係る、点群を、物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法100のステップのブロック図を示す。
点群のジオメトリデータ、すなわち点群の点の3D位置は、自己回転センサヘッドでキャプチャされる。
上記のように、自己回転センサヘッドは、複数のレーザ(センサ)を含む自己回転レーザレーダヘッド10であってもよい。しかし、本開示の範囲は自己回転レーザレーダヘッドに限らず、軸を中心に回転し、物理的オブジェクトを表す3D位置点をキャプチャ角度ごとにキャプチャできる任意のセンサヘッドに適用可能である。センサは、カメラ、深度センサ、レーザ、レーザレーダ、またはスキャナーであってもよい。
図22に示すように、キャプチャされた3D位置は半径値r2Dまたはr3Dとともに2D座標(Φ,λ)系で表される。座標Φはセンサヘッドの自己回転の方位角であり、その離散値はΦ(∀i=0からI-1)として表される。座標λはセンサインデックスであり、その離散値はλ(∀k=0からK-1)として表される。半径r2Dまたはr3Dは連続した数値範囲に属する。
センサヘッドの規則的な自己回転(回転)と一定の時間間隔での連続的なキャプチャのため、同じセンサで探知された2点間の方位角距離は、図22に示すように、基本方位角変位ΔΦの倍数となる。 そして、例えば、第1のキャプチャ時間t1において、図1のレーザレーダヘッド10の5つのセンサは方位角Φで5つの点P(t1),..., P(t1),...P(t1)を探知し、第2のキャプチャ時間t2において、レーザレーダヘッド10のセンサは方位角_Φ=Φ+ΔΦで5つの点P(t2),..., P(t2),...P(t2)を検知する。したがって、離散値Φは、点P(t1),…, P(t1),… P(t1)の方位角Φの量子化値とみなすことができる。量子化は量子化ステップΔΦで得られる。同様に、離散値Φは点P(t2),…, P(t2),… P(t2)の方位角Φの量子化値とみなすことができる。
ステップ110では、点群の各点Pについて、点Pをキャプチャするセンサに関連付けられたセンサインデックスλk(n)(センサインデックスのセットで、λ(∀k=0からK-1))、前記センサのキャプチャ角を表す方位角Φi(n)(離散角のセットで、Φ(∀i=0からI-1))及び点Pの球座標の半径値rを取得する。簡単のため、以下、λk(n)およびインデックスi(n)をそれぞれλおよびΦとして表す。従って、Φは角度ではなく、角度Φへ指すインデックスi(∀i=0からI-1)である。しかし、インデックスΦと標準関連の方位角Φi(n)=ΦΦnとの間には明確な関係があるため、量仍Φは方位角とも呼ばれる。
ステップ110の例示的な実施例によれば、キャプチャされた点Pの3D位置を表す3Dデカルト座標(x,y,z)を変換することによってセンサインデックスλと方位角Φを取得する。これらの3Dデカルト座標(x,y,z)はセンサヘッドの出力であってもよい。
ステップ120では、方位角Φとセンサインデックスλに基づいて点群の点を順序付ける。
ステップ120の例示的な実施例によれば、点は、ます方位角に基づいて、次にセンサインデックスに基づいて辞書順に順序付けられる。図22を振り返ると、順序付け済みのキャプチャされた点は、P(t1),...,P(t1),...P(t1),P(t2),...,P(t2),...P(t2),...,P(tn),...,P(tn),... P(tn)である。
点Pの順序インデックスo(P)は、次式によって得られる:
Figure 2024500486000073
ステップ120の例示的な実施例によれば、点は、まずセンサインデックスに基づいて、次に方位角に基づいて辞書順に順序付けられる。
点Pの順序インデックスo(P)は、次式によって得られる:
Figure 2024500486000074
ステップ130では、2つの連続点Pn-1とP(n=2からNについて)の順序インデックスの差を表す順序インデックス差Δoは以下の式によって得られる:
Figure 2024500486000075
順序付けられた点をビットストリームBに符号化することには、少なくとも1つの順序インデックス差Δoを符号化することが含まれてもよい。選択的に、それは、半径値r(基本的にPのr2Dまたはr3Dを表す)、順序付けられた点の3次元デカルト座標のデカルト残差(xres,n,yres,n,zres,n)及び角残差Φres,nを符号化することが含まれてもよい。
最初の点Pの順序インデックスo(P)は、ビットストリームBに直接符号化できる。これは、仮想的な第0の点の順序インデックスを任意にゼロに設定することに相当し、つまりo(P)=0であり、Δo=o(P)-o(P)=o(P)を符号化する。
最初の点の順序インデックスo(P)と順序差Δoを与えると、次式で任意の点Pの順序インデックスo(P)を再帰的に再構築することができる:
Figure 2024500486000076
そして、次式でセンサインデックスλと方位角Φを取得する:
Figure 2024500486000077
このうち除算/Kは整数除算(ユークリッド除算とも呼ばれる)である。したがって、o(P)とΔoはλとΦの別の表現である。
ステップ140では、(N-1)個の順序インデックス差Δo(∀n=2からN)を符号化することによって、順序付けられた点に関連付けられた順序インデックスo(P)をビットストリームBで符号化し、ここでNは順序付けられた点の数である。各順序インデックスo(P)は、連続した2つの順序付けられた点に関連付けられた順序インデックス間の差を表す。図23では、5つの順序付けられた点(黒丸)を示す:2つの点PとPn+1が時間t1において角度Φ(Φ’sで)でキャプチャされ、3つの点が時間t2において角度Φ+ΔΦでキャプチャされる。第1の点Pの座標は2D座標(Φ,λ)系で予め既知であると仮定すると、第1の順序インデックス差Δon+1は、点Pn+1に関連付けられた順序インデックスo(Pn+1)と、点Pに関連付けられた順序インデックスo(P)との差として得られる。第2の順序インデックス差Δon+2は、別の順序付けられた点Pn+2に関連付けられた順序インデックスo(Pn+2)と、Pn+1に関連付けられた順序インデックスo(Pn+1)との差として得られ、このように類推する。
キャプチャされた点を順序付けることにより、自己回転センサヘッドの様々なセンサによってキャプチャされた点間の相互作用が提供される。そのため、非常に単純で低遅延な符号化をもたらす順序付けられた点を単一の符号化で符号化する必要がある。
順序インデックス差Δoから点を再構築するには、点群の点数N、2D座標(Φ,λ)系の第1の点の順序インデックスo(P)及びセンサ設定パラメータ(例えば各センサに関連付けられた基本方位角変位ΔΦまたは仰角θ)のような情報が必要である。この情報は、ビットストリームBに符号化されてもよいし、別の方法で信号で受信されてもよいし、デコーダによって予め知られていてもよい。
ステップ140の例示的な実施例によれば、順序インデックス差Δoはエントロピー符号化される。
選択的に、この方法は、ステップ150において点群の順序付けられた点に関連付けられた球座標の半径値rをビットストリームBに符号化することさらにを含む。
ステップ150の例示的な実施例によれば、半径値rは量子化される。
ステップ150の例示的な実施例によれば、半径値rは量子化される。
ステップ150の例示的な実施例によれば、半径値rは量子化され、エントロピー符号化される。
ステップ150の例示的な実施例によれば、半径値rは半径r3Dを表す。
ステップ150の例示的な実施例によれば、半径値rは、図4に示されているような水平xy平面上の投影半径r2Dを表す。
選択的に、この方法は、ステップ160において、それらの3次元デカルト座標(x,y,z)、復号化された方位角Φdec、半径値rから取得された復号化された半径値rdec,n、及びセンサインデックスλに基づいて、順序付けられた点Pの3次元デカルト座標の残差(xres,n,yres,n,zres,n)を符号化することさらにを含む。
ステップ160の例示的な実施例によれば、残差(xres,n,yres,n,zres,n)は点群の点の3次元デカルト座標(x,y,z)と推定された3次元座標(xestim,n,yestim,n,zestim,n)との差である。
ステップ160の例示的な実施例によれば、残差(xres,n,yres,n,zres,n)は以下の式で与えられる。
Figure 2024500486000078
ステップ160の例示的な実施例によれば、順序付けられた点Pに関連付けられた推定された座標(xres,n,yres,n)は、点Pに関連付けられた復号化された方位角Φdec,nと復号化された半径値rdec,nとに基づいている。
ステップ160の例示的な実施例によれば、残差(xres,n,yres,n,zres,n)をエントロピー符号化する。
ステップ160の例示的な実施例によれば、推定された座標(xestim,n,yestim,n)は以下の式で与えられる。
Figure 2024500486000079
ステップ160の例示的な実施例によれば、順序付けられた点に関連付けられた推定された座標(zestim,n)は、この点に関連付けられた復号化された半径値rdec,nとこの点をキャプチャしたセンサの仰角θとに基づいている。
ステップ160の例示的な実施例によれば、推定された座標(zestim,n)もセンサインデックスλに基づいている。
ステップ160の例示的な実施例によれば、推定された座標(zestim,n)は以下の式で与えられる。
Figure 2024500486000080
選択的に、この方法は、ステップ170において、順序付けられた点に関連付けられた残差方位角Φres,nをビットストリームBに符号化することをさらに含む。ステップ170の例示的な実施例によれば、方位角Φは以下の式によって量子化される。
Figure 2024500486000081
ここで、Φ(P)は点Pの原始方位角である。このような場合、離散角度Φ(0≦i<I)のセットは基本的にΦ=i*ΔΦによって定義され、Φi(n)=Φ*ΔΦが得られる。
従って、点Pの順序インデックスo(P)は次式で与えられる。
Figure 2024500486000082
残差方位角Φres,nは次式で与えられる:
Figure 2024500486000083
ステップ170のこの例示的な実施例は、実際にはノイズがキャプチャされている可能性があるため、またはセンサが完全に位置合わせされていないため、あるいはレーザレーダセンサヘッドの少なくとも1つのレーザビームが反射されていない可能性があるため、すべての点がキャプチャ時間ごとにキャプチャされるわけではないことから利点を提供する。そしてキャプチャされた点は図24のように見えてもよい。方位角Φ(P)を定量化すると、図25に示すように、2D座標(Φ,λ)系内の点の離散表現が容易になり、点群の点を順序付けるためのより容易なパスが可能になる。
残差方位角Φres,nがビットストリームBに符号化され、好ましくは、量子化及び/又はエントロピー符号化される。
ステップ170のこの例示的な実施例は、全範囲の値ではなく残差だけが符号化されるので、ビットストリームに符号化される角度の動的性も低減される。高い圧縮性能を達成する。
選択的に、この方法は、ステップ180において、方位角Φに基づいて、復号化された方位角Φres,nを取得することをさらに含む。
ステップ180の実施例によれば、復号化された方位角Φres,nは以下の式によって与えられる:
Figure 2024500486000084
ステップ180の実施例によれば、方位角Φ、基本方位角変位ΔΦ及び残差方位角Φres,nに基づいて、復号化された方位角Φres,nを取得する。
ステップ180の実施例によれば、復号化された方位角Φres,nは以下の式によって与えられる:
Figure 2024500486000085
ステップ180の実施例によれば、復号化された方位角Φres,nは、方位角Φ、基本方位角変位ΔΦ、及び式3によって与えられた量子化された残差方位角Φres,nを逆量子化することによって得られた復号化された角度残差Φdec,res,nに基づいて得られる。
ステップ180の実施例によれば、復号化された方位角Φres,nは以下の式によって与えられる:
Figure 2024500486000086
選択的に、ステップ190において、符号化された半径値rに基づいて、復号化された半径値rdec,nを取得する。
ステップ190の例示的な実施例によれば、復号化された半径値rdec,nは、量子化された半径値rを逆量子化することによって得られる。
図26は、少なくとも1つの例示的な実施例に係る物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法200のステップのブロック図を示す。
ビットストリームBから点群の点を復号化するには、点群の点数N、2D座標(Φ,λ)系内の第1の点の順序インデックスo(P)、及びセンサ設定パラメータ(例えば各センサkに関連付けられた基本方位角変位ΔΦまたは仰角θ)のような情報を必要とする。この情報は、ビットストリームBから復号化されてもよいし、他の任意の方法で受信されてもよいし、デコーダによって予め知られていてもよい。
点群のN個の点は再帰的に復号化される。
ステップ210では、ビットストリームBから少なくとも1つの順序インデックス差Δo(n=2からN)を復号化する。各順序インデックス差Δoは、現在の点Pに対して復号化される。
ステップ220では、以下の式によって現在の点Pの順序インデックスo(P)を取得する:
Figure 2024500486000087
順序インデックス差Δoは、現在の点Pに関連付けられた順序インデックスと、直前の復号化された点Pn-1に関連付けられた別の順序インデックスo(Pn-1)との差を表す。
ステップ230では、現在の点Pをキャプチャするセンサに関連付けられたセンサインデックスλ、及び前記センサのキャプチャ角を表す方位角Φは、順序インデックスo(P)から取得される。
ステップ230の例示的な実施例によれば、センサインデックスλと方位角Φは等式(1)と(2)によって得られる。
選択的に、ステップ240では、復号化された方位角Φdec,nは、方位角Φに基づいて取得される。
ステップ240の実施例によれば、方位角Φ及び基本方位角変位ΔΦに基づいて、復号化された方位角Φdec,nを取得する。
ステップ240の実施例によれば、復号化された方位角Φdec,nは以下の式によって与えられる:
Figure 2024500486000088
ステップ240の実施例によれば、復号化された方位角Φdec,nは、ビットストリームBから復号化された残差方位角Φres,nに基づいて取得される。
ステップ240の実施例によれば、復号化された方位角Φdec,nは以下の式によって与えられる:
Figure 2024500486000089
選択的に、ステップ250では、ビットストリームBから現在の点Pの球座標の半径値rを復号化する。
ステップ250の例示的な実施例によれば、半径値rが逆量子化されて、復号化された半径値rdec,nが取得される。
ステップ250の例示的な実施例によれば、半径値rがエントロピー復号化されて逆量子化されて、復号化された半径値rdec,nが取得される。
選択的に、ステップ260では、ビットストリームBから現在の点Pの3次元デカルト座標の残差(xres,n,yres,n,zres,n)を復号化する。
ステップ260の例示的な実施例によれば、残差(xres,n,yres,n,zres,n)をエントロピー復号化する。
選択的に、ステップ270では、現在の点Pの3次元デカルト座標の復号化された残差(xres,n,yres,n,zres,n)、半径値r、復号化された方位角Φdec,n及びセンサインデックスλに基づいて、現在の点Pの3次元デカルト座標(x,y,z)を復号化する。
ステップ270の例示的な実施例によれば、現在の点Pの3次元デカルト座標(x,y,z)は、残差(xres,n,yres,n,zres,n)と推定された3次元座標(xestim,yestim,zestim)との和である:
Figure 2024500486000090
ステップ270の例示的な実施例によれば、現在の点Pに関連付けられた推定された座標(xestim,yestim)は、方位角Φと半径値rとに基づいている。
ステップ270の例示的な実施例によれば、推定された座標(xestim,yestim)は以下の式によって与えられる:
Figure 2024500486000091
ステップ270の別の例示的な実施例によれば、推定された座標(xestim,n,yestim,n)は以下の式によって与えられる:
Figure 2024500486000092
ただし、rdec,nは、半径値rから得られた復号化された半径値である。例えば、復号化された半径値rdec,nは、半径値rを逆量子化することによって取得することができる。
ステップ270の例示的な実施例によれば、現在の点Pに関連付けられた推定された座標(zestim)は、現在の点Pに関連付けられた半径値rと現在の点Pをキャプチャするセンサkの仰角θとに基づいている。
ステップ270の例示的な実施例によれば、推定された座標(zestim)は以下の式によって与えられる:
Figure 2024500486000093
ステップ270の例示的な実施例によれば、推定された座標(zestim)も、センサインデックスλに基づいている。
ステップ270の例示的な実施例によれば、推定された座標(zestim)は以下の式によって与えられる:
Figure 2024500486000094
図21と26のエンコーダ/デコーダ全体は、球座標(Φ,r2D)に対して共通量子化を使用できるため、予測ツリーと同じ欠点を有する。
半径値rは、自己適応量子化器Qによって自己適応的に量子化できる。
復号化された半径値rdec,nは、自己適応逆量子化器IQによって、量子化された半径rを逆量子化することによって取得することができる。
方位角Φは、自己適応量子化器Qによって量子化できる。
量子化された方位角Φは、自己適応逆量子化器IQによって逆量子化できる。
図27は各態様及び例示的な実施例のシステムを実現する概略ブロック図を示す。
システム300は1つ又は複数のデバイスとして組み込まれてもよく、以下に説明される様々なコンポーネントを含む。様々な実施例では、システム300は、本出願で説明される1つ又は複数の態様を実現するように構成されてもよい。
システム300のすべて又は一部の装置を構成できる例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電製品、コネクテッドカーとその関連処理システム、ヘッドマウント ディスプレイ(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダから出力を処理するポストプロセッサ 、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、及び点群、ビデオ又は画像を処理するため他の任意のデバイス、又は他の通信デバイスを含む。システム300の素子は単一の集積回路(IC)、複数のIC及び/又はディスクリートコンポーネントに単独でまたは組み合わせて実装することができる。例えば、少なくとも1つの実施例では、システム300の処理及びエンコーダ/デコーダ素子は複数のIC及び/又はディスクリートコンポーネントにわたって分布することができる。様々な実施例では、システム300は例えば通信バス又は専用の入力及び/又は出力ポートを介して、他の類似するシステム又は他の電子機器に通信可能に結合することができる。
システム300は、少なくとも1つのプロセッサ310を含み、該少なくとも1つのプロセッサ310はそれにロードされる命令を実行することで、例えば本出願で説明される各態様を実現するように構成される。プロセッサ310は組み込みメモリ、入力出力インターフェース及び当分野で周知の他の様々な回路を含むことができる。システム300は少なくとも1つのメモリ320(例えば、揮発性メモリデバイス及び/又は非揮発性メモリデバイス)を含むことができる。システム300は、非揮発性メモリ及び/又は揮発性メモリを含むストレージデバイス340を含むことができ、電気的消去可能なプログラマブル読み取り専用メモリ(EEPROM)、読み取り専用メモリ(ROM)、プログラマブル読み取り専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM)、フラッシュメモリ、磁気ディスクドライブ及び/又は光ディスクドライブを含むが、これらに限らない。非限定的な例として、ストレージデバイス340は内部ストレージデバイス、追加ストレージデバイス及び/又はネットワークアクセス可能なストレージデバイスを含むことができる。
システム300は、例えばデータを処理することで符号化/復号化の点群幾何形状データを提供するように構成されるエンコーダ/デコーダモジュール330を含みことができ、そしてエンコーダ/デコーダモジュール330は自身のプロセッサとメモリを含むことができる。エンコーダ/デコーダモジュール330は、符号化及び/又は復号化機能を実行するようにデバイスに含まれる(1つ又は複数の)モジュールを表すことができる。周知のように、デバイスは符号化及び復号化モジュールのいずれか1つ又は両方を含むことができる。また、エンコーダ/デコーダモジュール330はシステム300の分離した素子として実現することができ、又は当業者に知られているハードウェアとソフトウェアの組み合せとしてプロセッサ310内に結合することができる。
本出願で説明される各態様を実行するようにプロセッサ310又はエンコーダ/デコーダ330にロードされるプログラムコードはストレージデバイス340に記憶することができ、そしてその後にメモリ320にロードされてプロセッサ310によって実行される。様々な実施例によると、本出願で説明されるプロセスを実行する間、プロセッサ310、メモリ320、ストレージデバイス340及びエンコーダ/デコーダモジュール330のうちの1つ又は複数は、各項目のうちの1つ又は複数を記憶することができる。このように記憶される項目は、点群フレーム、符号化/復号化された幾何形状/属性ビデオ/画像又は符号化/復号化された幾何形状/属性ビデオ/画像の一部、ビットストリーム、行列、変量、及び等式、公式、演算や演算の中間又は最終結果ロジックを含むが、これらに限らない。
いくつかの実施例では、プロセッサ310及び/又はエンコーダ/デコーダモジュール330内部のメモリは、命令を記憶し且つ符号化又は復号化の間に実行される処理のためにワーキングメモリを提供するために使用することができる。
しかし、他の実施例では、処理デバイス外部のメモリ(例えば、処理デバイスはプロセッサ310又はエンコーダ/デコーダモジュール330であってもよい)はこれらの機能のうちの1つ又は複数に用いられる。外部メモリはメモリ320及び/又はストレージデバイス340、例えば、動的揮発性メモリ及び/又は不揮発性フラッシュメモリであってもよい。いくつかの実施例では、外部不揮発性フラッシュメモリは、例えばテレビの操作システムを記憶するために使用される。少なくとも1つの実施例において、RAMのような快速外部動的揮発性メモリは、ビデオ符号化復号化及び復号化操作のワーキングメモリとして利用することができ、例えば、MPEG-2第2部分(ITU-TRecommendation H.262及びISO /IEC 13818-2とも呼ばれ、MPEG-2ビデオとも呼ばれる)、HEVC(高効率ビデオ符号化復号化)、VVC(汎用ビデオ符号化復号化)又はMPEG-I第5部分又は第9部分を対象とする。
ブロック390に示すように、様々な入力デバイスを介してシステム300の素子へ入力を提供することができる。このような入力デバイスは、(i)放送局などで無線送信されたRF信号を受信できるRF部、(ii)複合入力端子、(iii)USB入力端子、及び/又は(iv)HDMI(登録商標)入力端子を含むが、これらに限らない。
様々な実施例において、ブロック390の入力デバイスは、当分野で周知のように、関連し且つ対応する入力処理素子を有する。例えば、RF部分は以下の必要とされる素子を関連付けることができる。(i)所望の周波数(信号選択とも呼ばれ、又は信号を周波数帯域内に制限する)を選択すること、(ii)選択される信号をダウンコンバートすること、(iii)周波数帯域を再び狭い周波数帯域に制御することで、(例えば)いくつかの実施例でチャネルと呼ばれる信号周波数帯域を選択すること、(iv)ダウンコンバートされた信号と周波数帯域が制限された信号を復調すること、(v)誤り訂正を実行すること、及び(vi)逆多重化をして所望のデータパケットフローを選択すること。様々な実施例のRF部分はわざとこれらの機能を実行する素子、例えば、周波数セレクタ、信号セレクタ、周波数帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調装置、誤り訂正装置及びデマルチプレクサを含む。RF部分は、これらの各機能(例えば、受信した信号をより低い周波数(例えば、中間周波数又はベースバンド付近の周波数)又はベースバンドにダウンコンバートすることを含む)を実行するチューナーを含むことができる。
1つのセットトップボックスの実施例では、RF部分及びその関連する入力処理素子は有線(例えば、ケーブル)媒体において伝送されるRF信号を受信することができ、その後、RF部分はフィルタリング、ダウンコンバート及び再フィルタリングにより所望の周波数帯域を得て周波数選択を実行することができる。
様々な実施例では、上記(及び他の)素子の順序を設定し、これらの素子のうちの一部を削除し、及び/又は類似又は異なる機能を実行する他の素子を追加する。
素子の追加は、既存の素子の間に、増幅器やアナログデジタルコンバータのような素子を挿入することを含むことができる。様々な実施例において、RF部分はアンテナを含む。
また、USB及び/又はHDMI端子は、対応するインターフェースプロセッサを含むことができ、USB及び/又はHDMI接続によりシステム300を他の電子機器に接続するために使用される。なお、必要な時に、入力処理の各態様(例えば、Reed-Solomon誤り訂正)は、例えば、分離した入力処理IC内又はプロセッサ310内で実現することができる。このように、必要な時に、分離したインターフェースIC内又はプロセッサ310内でUSB又はHDMIインターフェース処理の各態様を実現することができることを理解されたい。復調により、誤り訂正と逆多重化のストリームは、プロセッサ310、及びメモリと記憶素子に組み合わせて操作するエンコーダ/デコーダ330などを含む様々な処理素子に提供することができることにより、必要な時にデータストリームを処理して出力デバイスに表示する。
一体型ハウジング内でシステム3000の様々な素子を提供することができる。一体型ハウジング内において、適切な接続レイアウト340(例えば、当分野で周知の内部バスであって、I2Cバス、配線及びプリント回路基板を含む)を用いて各素子を互いに接続しかつそれらの間でデータを伝送することができる。
システム300は通信インターフェース350を含むことができるので、通信チャネル700を介して他のデバイスと通信することができる。通信インターフェース350は、通信チャネル700においてデータを送受信するように構成される送受信機を含むが、これに限らない。通信インターフェース350は、モデム又はネットワークカードを含むが、これに限らず、通信チャネル700は例えば有線及び/又は無線媒体内で実現することができる。
様々な実施例において、IEEE 802.11のようなWi-Fiネットワークを用いてデータストリームをシステム300に伝送することができる。これらの実施例のWi-Fi信号は、Wi-Fi通信に適する通信チャネル700及び通信インターフェース350により受信可能である。これらの実施例の通信チャネル700は通常アクセスポイント又はルータに接続することができ、該アクセスポイント又はルータは、インターネットを含む外部ネットワークへのアクセスを提供することで、ストリーミングの適用と他の無線通信を許可する。
他の実施例はセットトップボックスを用いてシステム300にストリーミングデータを提供することができ、該セットトップボックスは入力ブロック390のHDMI接続によりデータを搬送する。
入力ブロック390のRF接続を用いてストリーミングデータをシステム300に提供する実施例は他にもある。
ストリーミングデータは、システム300が用いるシグナリング情報の方式として使用することができる。シグナリング情報はビットストリームB及び/又は情報、例えば点群の点数、2D座標Φ、λ系における第1の点の座標又は順序o(P)及び/又はセンサセットパラメータ(例えばレーザレーダヘッド10のセンサに関連する基本方位シフトΔΦまたは仰角θ)を含むことができる。
なお、様々な方式でシグナリングを実現できる。例えば、様々な実施例において、1つ又は複数の構文要素、フラグなどは、対応するデコーダに信号通知情報を送信するために使用することができる。
システム300は、ディスプレイ400、スピーカ500及び他の周辺機器600を含む様々な出力デバイスに出力信号を提供することができる。実施例の様々な例において、他の周辺機器600は独立したDVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム300の出力に基づいて機能を提供する他のデバイスのうちの1つ又は複数を含むことができる。
様々な実施例において、制御信号はAV.Link(オーディオ/ビデオリンク)、CEC(家電制御)又はデバイスからデバイスへの制御を有効にする他の通信プロトコルのシグナリングを用いてシステム300とディスプレイ400、スピーカ500又は他の周辺機器600との間で通信することができ、ユーザがあってもなくてもよい。
出力デバイスは、対応するインターフェース360、370及び380により、専用接続経由で通信可能にシステム300に接続することができる。
代替的に、通信インターフェース350経由で通信チャネル700を用いて出力デバイスをシステム300に接続することができる。ディスプレイ400とスピーカ500は電子機器(例えばテレビ)のシステム300の他のコンポーネントとともに単一ユニットに統合することができる。
様々な実施例において、表示インターフェース360は、タイミングコントローラ(T Con)チップのようなディスプレイドライバを含むことができる。
例えば、入力端390のRF部分が、分離したセットトップボックスの一部である場合、ディスプレイ400とスピーカ500は代替可能に他のコンポーネントのうちの1つ又は複数と分離する。ディスプレイ400とスピーカ500が外部コンポーネントであってもよい様々な実施例では、専用の出力接続(例えばHDMIポート、USBポート又はCOMP出力端子を含む)経由で出力信号を提供することができる。
図1-12では、様々な方法が説明され、各方法は、説明される方法を実現するように、1つ又は複数のステップ又は動作を含む。方法の正確な操作には特定のステップ又は動作順序が必要である場合でない限り、特定のステップ及び/又は動作の順序及び/又は使用を修正したり、組み合わせたりすることができる。
ブロック図及び/又は操作フローチャートについていくつかの例が説明されたが、各ブロックは、回路素子、モジュール、或いは(1つ又は複数の)指定ロジック機能を実現するための1つ又は複数の実行可能な命令のコードを含む部分を表す。なお、他の実施形態では、ブロックに示されている(1つ又は複数の)機能は、指示された順序に従って発生しなくてもよいことに留意されたい。例えば、関わる機能によると、次々と表示される2つのブロックは実際に、基本的に並列して実行されてもよいし、又は逆の順序でこれらのブロックを実行してもよい。
例えば方法又はプロセス、装置、コンピュータプログラム、データストリーム、ビットストリーム又は信号において本明細書で説明される実施形態と態様を実現することができる。単一形式の実施形態のコンテキストのみにおいて検討(例えば、方法のみとして検討する)しても、議論される特徴の実施形態は他の形式(例えば、装置又はコンピュータプログラム)で実現することができる。
方法は例えばプロセッサにおいて実現することができ、プロセッサは通常、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラム可能なロジックデバイスなどを含む処理デバイスを指す。プロセッサは通信デバイスをさらに含む。
また、方法は、プロセッサにより実行される命令で実現することができ、そして、このような命令(及び/又は実施形態により生成されたデータ値)はコンピュータ読み取り可能な記憶媒体に記憶することができる。コンピュータ読み取り可能な記憶媒体は、1つ又は複数のコンピュータ読み取り可能な媒体において実施され、かつそれにそれにおいて実施された、コンピュータにより実行可能なコンピュータ読み取り可能なプログラムコードを有するコンピュータ読み取り可能なプログラム製品の形式を用いることができる。それに情報を記憶する固有の能力及びそれにより提供される情報から検索する固有の能力を考慮すると、本明細書で使用されるコンピュータ読み取り可能な記憶媒体は、非一時的な記憶媒体として見なすことができる。コンピュータ読み取り可能な記憶媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、又は前述したものの任意の適切な組み合せであってもよいが、これらに限らない。なお、以下は、本実施例を適用できるコンピュータ読み取り可能な記憶媒体のより更具的な例を提供したが、当業者dであれば容易に認識できるように、それらは網羅的なリストではなく例示的なものに過ぎないことを理解されたい:ポータブルコンピュータフロッピーディスク、ハードディスク、読み取り専用メモリ(ROM)、消去可能なプログラム可能な読み取り専用メモリ(EPROM 又はフラッシュメモリ)、コンパクトディスク読み取り専用メモリ(CD-ROM)、光学ストレージデバイス、磁気ストレージデバイス、又は前述したものの任意の適切な組み合せ。
命令は、プロセッサ読み取り可能な媒体に有形に実施されるアプリケーションを生成することができる。
例えば、命令はハードウェア、ファームウェア、ソフトウェア又はその組み合せに存在することができる。例えば、操作システム、独立したアプリケーション、又は両者の組み合せにおいて命令を見つけることができる。したがって、プロセッサは、例えばプロセスを実行するように構成されるデバイスやプロセスを実行するための命令を有するプロセッサ読み取り可能な媒体(例えばストレージデバイス)を含むデバイスとして特徴付けることができる。また、命令に加え又は命令の代わりに、プロセッサ読み取り可能な媒体可は、実施形態により生成したデータ値を記憶することができる。
装置は例えば適切なハードウェア、ソフトウェア及びファームウェアにおいて実現することができる。このような装置の例はパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、コネクテッド家電製品、ヘッドマウント ディスプレイ(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダから出力を処理するポストプロセッサ 、ビデオエンコーダに入力を提供するプリプロセッサ、web サーバ、セットトップボックス、及び処理点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。なお、装置は移動可能であり、移動中の車両に取り付けることもできる。
コンピュータソフトウェアは、プロセッサ310、ハードウェア、又はハードウェアとソフトウェアとの組み合せで実現することができる。非限定的な例として、1つ又は複数の集積回路で実施例を実現することができる。メモリ320は、技術環境に適応する任意のタイプであってもよく、任意の適切なデータ記憶技術(非限定的な例として、例えば光学メモリデバイス、磁気メモリデバイス、半導体に基づくメモリデバイス、固定メモリ及び移動可能なメモリ)で実現することができる。非限定的な例として、プロセッサ310は技術環境に適合する任意のタイプであってもよく、マイクロプロセッサ、汎用コンピュータ、専用のコンピュータ及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ又は複数をカバーすることができる。
当業者にとって明らかなように、実施形態は、例えば記憶可能又は伝送可能な情報を運搬するように定形化される様々な信号を生成することができる。情報は、例えば方法を実行するための命令又は説明される実施形態の1つにより生成されたデータを含むことができる。例えば、信号は、説明される実施例のビットストリームを搬送するように定形化されてもよい。この信号は、例えば電磁波(例えば、周波数スペクトルを用いる無線周波数部分)又はベースバンド信号に定形化されてもよい。定形化は、例えばデータストリームに対して符号化し、かつ符号化されたデータストリームを用いて搬送波を変調することを含むことができる。信号により搬送される情報は、例えばアナログ又はデジタル情報であってもよい。周知のように、信号は異なる有線又は無線リンクで伝送することができる。信号はプロセッサ読み取り可能な媒体に記憶することができる。
本明細書で使用される用語は、特定の実施例を説明することのみに使用され、限定するためのものではない。コンテキストに明確な指示がない限り、本明細書で使用される単数形の「1つ」、「1種」及び「該」は複数形をも含む。さらに、本明細書で使用される場合、「含む/包含」及び/又は「含む/包含」という用語は、説明される特徴、整数、ステップ、操作、要素及び/又はコンポーネントなどの存在を指示することができるが、1つ又は複数の他の特徴、整数、ステップ、操作、要素、コンポーネント及び/又はこれらの組み合せの存在又は追加を排除しない。また、1つの要素がもう1つの要素に「応答」又は「接続」すると呼ばれる時、もう1つの要素に直接応答又は接続してもよいし、中間要素が存在してもよい。逆に、1つの要素がもう1つの要素に「直接応答」又は「直接接続」すると呼ばれる時、中間要素が存在しない。
なお、例えば、「A/B」、「A及び/又は B」及び「AとBのうちの少なくとも1つ」の場合、「/」、「及び/又は」及び「少なくとも1つ」という符号/用語のうちのいずれか1つの使用は、一番目に挙げられた選択肢(A)の選択、又は二番目に挙げられた選択肢(B)の選択、又は2つの選択肢(AとB)の選択をカバーすることを意図している。更なる例として、「A、B及び/又はC」及び「A、B和Cのうちの少なくとも1つ」の場合、このような言葉遣いは、一番目に挙げられた選択肢(A)の選択のみ、又は二番目に挙げられた選択肢(B)の選択のみ、又は又は三番目に挙げられた選択肢(C)の選択のみ、又は一番目と二番目に挙げられた選択肢(AとB)の選択のみ、又は一番目と三番目に挙げられた選択肢(AとC)の選択、又は二番目と三番目に挙げられた選択肢(BとC)の選択のみ、又は3つの選択肢(AとBとC)のすべての選択をカバーすることを意図している。当分野及び当業者には明らかなように、このようにして、挙げられた項目の数に拡張することができる。
本出願では様々な数値を用いることができる。特定値は例示的なものであり、そして説明される各態様はこれらの特定値に限らない。
なお、第1、第2などの用語は本明細書において様々な要素を説明することに用いることができるが、これらの要素がこれらの用語に限らない。これらの用語は、1つの要素をもう1つの要素と区別することだけに用いられる。例えば、本出願の教示から逸脱しない限り、第1要素は第2要素と呼ぶことができ、同様に、第2要素は第1要素と呼ぶこともできる。第1要素と第2要素との間は順序付けが暗黙的に示されていない。
「1つの例示的な実施例」又は「例示的な実施例」又は「一実施形態」又は「実施形態」及びその他の変化の引用は、頻繁に、特定の特徴、構造、特点等(実施例/実施形態に合わせて説明されるもの)が少なくとも1つの実施例/実施形態に含まれることを伝えるために使用される。したがって、本出願の各箇所に現れる用語の「1つの例示的な実施例において」又は「例示的な実施例において」又は「一実施形態において」又は「実施形態において」およびその他の任意の変化の出現は、必ずしも同じ実施例を指すとは限らない。
同様に、本明細書の「例示的な実施例/例/実施形態によると」又は「例示的な実施例/例/実施形態において」およびその他の変化の引用は、頻繁に、特定の特徴、構造又は特点(実施例/実施形態に合わせて説明されるもの)が少なくとも1つの例示的な実施例/例/実施形態に含まれ得ることを伝えることに使用される。したがって、明細書の各箇所に現れる「例示的な実施例/例/実施形態によると」又は「例示的な実施例/例/実施形態において」という表現は、必ずしも同じ例示的な実施例/例/実施形態を指すとは限らず、独立又は代替的な例示的な実施例/例/実施形態が必ず他の例示的な実施例/例/実施形態とは相互排他的であるとも限らない。
請求項に現れる図面の符号は説明だけに用いられ、かつ請求項の範囲を限定しない。明確な説明がないにもかかわらず、任意の組み合せ又は一部の組み合せにより本実施例/例および変形例を用いることができる。
図がフローチャートとして示される時、対応する装置のブロック図も提供されることを理解されたい。同様に、図がブロック図として示される時、対応する方法/プロセスのフローチャートも提供されることを理解されたい。
一部の図には、通信路径において通信の主な方向を示す矢印が含まれるが、通信が、説明される矢印と逆の方向に発生することもできることを理解されたい。
様々な実施形態は復号化に関連する。本出願で使用されるように、「復号化」は、例えば受信した点群フレーム(1つ又は複数の点群フレームを符号化して受信したビットストリームを含む可能性がある)を実行することにより、表示又は再構築された点群領域内の更なる処理に適合する最終出力を生成するプロセスの全部又は一部をカバーすることができる。様々な実施例において、このようなプロセスは、通常デコーダにより実行されるプロセスのうちの1つ又は複数を含む。様々な実施例において、例えば、このようなプロセスは、本出願で説明される様々な実施形態のデコーダにより実行されるプロセスを代替的に含むこともできる。
更なる例として、一実施例では、「復号化」は逆量子化のみを指すことができ、一実施例では、「復号化」はエントロピー復号化を指すことができ、もう1つの実施例において、「復号化」は差分復号化を指すことができ、もう1つの実施例において、「復号化」は逆量子化、エントロピー復号化および差分復号化の組み合せを指すことができる。具体的に説明されるコンテキストに基づいて、「復号化プロセス」という用語は、具体的には、操作のサブセットを指すか、それともより一般的な復号化プロセスを指すかが自明なことであり、当業者にとって理解しやすいものでもある。
様々な実施形態は符号化に関連する。以上の「復号化」に係る検討と同様に、本出願において使用される「符号化」は、例えば、入力点群フレームを実行することにより符号化のビットストリームを生成するプロセスの全部又は一部をカバーすることができる。様々な実施例において、この種類のプロセスは、通常エンコーダにより実行されるプロセスのうちの1つ又は複数を含む。様々な実施例において、このようなプロセスは、本出願で説明される各実施形態のエンコーダにより実行されるプロセスを代替的に含むこともできる。
更なる例として、1つの実施例において、「符号化」は量子化のみを指すことができ、1つの実施例において、「符号化」はエントロピー符号化のみを指すことができ、もう1つの実施例において、「符号化」は差分符号化のみを指すことができ、もう1つの実施例において、「符号化」は量子化、差分符号化およびエントロピー符号化の組み合せを指すことができる。特定の説明がなされているコンテキストに基づいて、「符号化プロセス」という用語は、操作のサブセットを専門に指すか、それともより一般的な符号化プロセスを指すかが自明なことであり、当業者にとって理解しやすいものでもある。
また、本出願は、様々な情報の「決定」について言及した。情報の決定は、情報の推定、情報の計算、情報の予測又はメモリから情報を検査することのうちの1つ又は複数を含むことができる。
また、本出願は、様々な情報への「アクセス」について言及した。情報へのアクセスは情報の受信、(例えば、メモリから)情報を検索すること、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測又は情報の推定のうちの1つ又は複数を含むことができる。
また、本出願は様々な情報の「受信」について言及した。「アクセス」と同様に、受信というのは広義的な用語である。情報の受信は、例えば、情報へのアクセス又は情報の検索(例えば、メモリから)のうちの1つ又は複数を含むことができる。また、もう1つの方式として、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の削除、情報の計算、情報の決定、情報の予測又は情報の推定などの操作期間は、通常、「受信」に関連する。
それに、本明細書で使用されるように、「信号」という用語は、特に対応するデコーダが特定のことを指示するなどを指示する。例えば、いくつかの実施例では、エンコーダは信号を送信して、例えば点群の点数又は2D座標系における第1の点の座標又は回数o(P1)又はセンサセットパラメータ(例えばセンサkに関連する基本方位シフト又は仰角)のような特定の情報を通知する。この様式により、実施例において、エンコーダ側とデコーダ側において同じパラメータを用いることができる。したがって、例えば、エンコーダはデコーダに(明確なシグナリング)特定パラメータを送信することができ、これにより、デコーダは同じ特定パラメータを用いることができる。逆に、デコーダが特定のパラメータおよび他のパラメータを有している場合、伝送を必要としないシグナリング(間接的なシグナリング)を用いて、デコーダに知らせかつ特定パラメータを選択させることを容易にする。如何なる実際の機能の伝送を回避するために、様々な実施例においてビット節約を実現している。なお、様々な方式でシグナリングを完成できることを認識されたい。例えば、様々な実施例において、1つ又は複数の文法要素、フラグなどは、情報を対応するデコーダに送信するために使用される。上記は「信号」という単語の動詞の形に関連するが、「信号」という単語は本明細書において名詞として使用されても良い。
すでに複数の実施形態を説明したが、様々な修正を行っても良いことを理解されたい。例えば、異なる実施形態の要素を組み合せ、補充、修正又は削除することによって他の実施形態を生成することができる。また、当業者であれば理解できるように、他の構造とプロセスは、開示された構造とプロセスを代替でき、これにより生成された実施形態は基本的に同じである(1つ又は複数の)方式で、基本的に同じ(1つ又は複数の)である機能を実行することによって、少なくとも開示された実施形態と基本的に同じである(1つ又は複数の)結果を実現する。したがって、本出願では、これらの内容及び他の実施形態が構想される。
本出願の第5の態様によれば、命令を含むコンピュータプログラムが提供され、プログラムが1つまたは複数のプロセッサによって実行される場合、命令は1つまたは複数のプロセッサに本出願の第1の態様の方法を実行させる。
本出願の第7の態様によれば、命令を含むコンピュータプログラムが提供され、プログラムが1つまたは複数のプロセッサによって実行される場合、命令は1つまたは複数のプロセッサに本出願の第2の態様の方法を実行させる。

Claims (15)

  1. 点群を物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法であって、
    前記点群の各点は、前記点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、前記点の基準点からの距離に応答する半径とを表す球座標に関連付けられ、
    前記方法は、
    前記半径に基づいて、前記方位角から導出された残差誤差方位角を自己適応的に量子化するステップと、
    量子化された前記残差誤差方位角を前記ビットストリームにおいてシグナリングして、前記ビットストリームに関する復号化モードをデコーダに通知するステップと、
    前記ビットストリームを伝送するステップと、を含む、
    点群を物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法。
  2. 前記半径は、前記方位角(Φpred)の予測に基づいて自己適応的に量子化され、前記方位角は、自己適応的に量子化された前記半径を自己適応的に逆量子化することによって取得された再構築された半径に基づいて、自己適応的に量子化される、
    請求項1に記載の点群を物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法。
  3. 物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法であって、
    前記点群の各点は、前記点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、前記点の基準点からの距離に応答する半径とを表す球座標に関連付けられ、量子化された残差誤差方位角を前記ビットストリームにおいてシグナリングし、
    前記方法は、
    前記半径に基づいて、前記量子化された残差誤差方位角を自己適応的に逆量子化するステップと、
    前記残差誤差方位角に基づいて前記ビットストリームを復号化するステップと、を含む、
    物理的オブジェクトを表す符号化された点群データのビットストリームからの点群を復号化する方法。
  4. アーク長量子化ステップ((ΔΦarc))に基づいて、前記量子化された残差誤差方位角を自己適応的に逆量子化する、
    請求項3に記載の物理的オブジェクトを表す符号化された点群データのビットストリームからの点群を復号化する方法。
  5. 前記量子化された残差誤差方位角を自己適応的に逆量子化することは、
    前記半径と乗算する第1回目乗算と、2*πと乗算する第2回目乗算と、を含み、2*πと乗算する前記第2回目乗算は、8と乗算するのと等価な結果を有する演算によって近似される、
    請求項3に記載の物理的オブジェクトを表す符号化された点群データのビットストリームからの点群を復号化する方法。
  6. 前記方位角(Φpred)の予測に基づいて前記半径を自己適応的に逆量子化し、自己適応的に量子化された残差誤差半径を自己適応的に逆量子化することによって取得された再構築された半径に基づいて、前記方位角を自己適応的に逆量子化する、
    請求項3に記載の物理的オブジェクトを表す符号化された点群データのビットストリームからの点群を復号化する方法。
  7. 前記半径の自己適応逆量子化は、次式で与えられる量子化ステップΔr2Dを使用し、
    Figure 2024500486000095
    Φpredは、前記方位角Φの予測であり、f(Φpred)はΦpredをパラメータとする数学関数であり、
    前記残差誤差方位角の自己適応逆量子化は、次式で与えられる量子化ステップΔΦを使用し、
    Figure 2024500486000096
    2Drecは、前記再構築された半径である、
    請求項6に記載の物理的オブジェクトを表す符号化された点群データのビットストリームからの点群を復号化する方法。
  8. 前記数学関数f(Φpred)は、量である|sin(Φpred)|+|cos(Φpred)|に依存し、次式で与えられる、
    Figure 2024500486000097
    請求項7に記載の物理的オブジェクトを表す符号化された点群データのビットストリームからの点群を復号化する方法。
  9. 前記数学関数f(Φpred)は、次式で与えられる、
    Figure 2024500486000098
    請求項7に記載の物理的オブジェクトを表す符号化された点群データのビットストリームからの点群を復号化する方法。
  10. 点群を物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する装置であって、
    前記点群の各点は、前記点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、前記点の基準点からの距離に応答する半径とを表す球座標に関連付けられ、前記装置は、1つまたは複数のプロセッサを含み、前記1つまたは複数のプロセッサは、前記半径に基づいて、前記方位角から導出された残差誤差方位角を自己適応的に量子化し、量子化された前記残差誤差方位角を前記ビットストリームにおいてシグナリングして、前記ビットストリームに関する復号化モードをデコーダに通知し、前記ビットストリームを伝送するように構成される、
    点群を物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する装置。
  11. 物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する装置であって、前記点群の各点は、前記点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、前記点の基準点からの距離に応答する半径とを表す球座標に関連付けられ、量子化された残差誤差方位角を前記ビットストリームにおいてシグナリングし、
    前記装置は、半径に基づいて、前記量子化された残差誤差方位角を自己適応に逆量子化し、前記残差誤差方位角に基づいて前記ビットストリームを復号化するように構成される1つまたは複数のプロセッサを含む、
    物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する装置。
  12. 命令を含むコンピュータプログラム製品であって、前記プログラムが1つまたは複数のプロセッサによって実行される場合、前記命令は、前記1つまたは複数のプロセッサに、点群を物理的オブジェクトを表す符号化された点群データのビットストリームに符号化する方法を実行させ、前記点群の各点は、前記点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、前記点の基準点からの距離に応答する半径とを表す球座標に関連付けられ、
    前記方法は、前記半径に基づいて、前記方位角から導出された残差誤差方位角を自己適応的に量子化するステップと、前記量子化された残差誤差方位角を前記ビットストリームにおいてシグナリングして、前記ビットストリームに関する復号化モードをデコーダに通知するステップと、前記ビットストリームを伝送するステップと、を含む、
    コンピュータプログラム製品。
  13. 点群を物理的オブジェクトを表す符号化された点群データのビットストリームに符号化る方法を実行するためのプログラムコードの命令が搬送されている非一時的な記憶媒体であって、前記点群の各点は、前記点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、前記点の基準点からの距離に応答する半径とを表す球座標に関連付けられ、
    前記方法は、前記半径に基づいて、前記方位角から導出された残差誤差方位角を自己適応的に量子化するステップと、量子化された残差誤差方位角を前記ビットストリームにおいてシグナリングして、前記ビットストリームに関する復号化モードをデコーダに通知するするステップと、前記ビットストリームを伝送するステップと、を含む。
    非一時的な記憶媒体。
  14. 命令を含むコンピュータプログラム製品であって、前記プログラムが1つまたは複数のプロセッサによって実行される場合、前記命令は、前記1つまはた複数のプロセッサに、物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法を実行させ、前記点群の各点は、前記点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、前記点の基準点からの距離に応答する半径とを表す球座標と関連付けられ、量子化された残差誤差方位角を前記ビットストリームにおいてシグナリングし、
    前記方法は、前記半径に基づいて、前記量子化された残差誤差方位角を自己適応的に逆量子化するステップと、前記残差誤差方位角に基づいて前記ビットストリームを復号化するステップと、を含む、
    コンピュータプログラム製品。
  15. 物理的オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法を実行するためのプログラムコードの命令が搬送されている非一時な記憶媒体であって、前記点群の各点は、前記点をキャプチャしたセンサのキャプチャ角度に応答する方位角と、前記点の基準点からの距離に応答する半径とを表す球座標に関連付けられ、量子化された残差誤差方位角を前記ビットストリームにおいてシグナリングし、
    前記方法は、前記量子化された残差誤差方位角を自己適応的に逆量子化するステップと、前記残差誤差方位角に基づいて前記ビットストリームを復号化するステップと、を含む、
    非一時な記憶媒体。
JP2023538869A 2020-12-23 2021-10-14 点群ジオメトリデータを符号化/復号化するために球座標を量子化する方法及び装置 Active JP7522324B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20306674.1A EP4020397A1 (en) 2020-12-23 2020-12-23 Method and apparatus of quantizing spherical coorinates used for encoding/decoding point cloud geometry data
EP20306674.1 2020-12-23
PCT/CN2021/123908 WO2022134761A1 (en) 2020-12-23 2021-10-14 Method and apparatus of quantizing spherical coorinates used for encoding/decoding point cloud geometry data

Publications (2)

Publication Number Publication Date
JP2024500486A true JP2024500486A (ja) 2024-01-09
JP7522324B2 JP7522324B2 (ja) 2024-07-24

Family

ID=75441693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023538869A Active JP7522324B2 (ja) 2020-12-23 2021-10-14 点群ジオメトリデータを符号化/復号化するために球座標を量子化する方法及び装置

Country Status (7)

Country Link
US (1) US20240046528A1 (ja)
EP (1) EP4020397A1 (ja)
JP (1) JP7522324B2 (ja)
KR (1) KR20230121865A (ja)
CN (1) CN116670712A (ja)
BR (1) BR112023012466A2 (ja)
WO (1) WO2022134761A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007536644A (ja) * 2004-05-06 2007-12-13 ザ・レジェンツ・オブ・ザ・ユニバーシティ・オブ・カリフォルニア 画像を整列させ分類するための方法およびシステム
JP7406378B2 (ja) 2017-06-21 2023-12-27 ヴィド スケール インコーポレイテッド 360度ビデオ符号化のための適応的量子化
JP7234925B2 (ja) 2017-07-10 2023-03-08 ソニーグループ株式会社 情報処理装置および方法
WO2020147021A1 (zh) * 2019-01-15 2020-07-23 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
WO2020248177A1 (zh) * 2019-06-12 2020-12-17 浙江大学 点云的编解码方法及装置
WO2020248187A1 (zh) * 2019-06-13 2020-12-17 深圳市大疆创新科技有限公司 一种点云编码方法、点云解码方法及相关设备

Also Published As

Publication number Publication date
JP7522324B2 (ja) 2024-07-24
WO2022134761A1 (en) 2022-06-30
CN116670712A (zh) 2023-08-29
BR112023012466A2 (pt) 2023-09-26
EP4020397A1 (en) 2022-06-29
KR20230121865A (ko) 2023-08-21
US20240046528A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
JP2023554158A (ja) 自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置
US20240185472A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
JP7522324B2 (ja) 点群ジオメトリデータを符号化/復号化するために球座標を量子化する方法及び装置
JP7535665B2 (ja) 自己回転センサヘッドでキャプチャされた点群ジオメトリデータを符号化/復号化する方法及び装置
RU2824331C1 (ru) Способ и устройство для кодирования/декодирования данных геометрии облака точек, захваченных вращающейся головкой датчиков
RU2818299C1 (ru) Способ и устройство квантования сферических координат, используемых для кодирования/декодирования данных геометрии облака точек
WO2022213569A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
US20240193818A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
RU2824307C2 (ru) Способ и устройство для кодирования/декодирования геометрических данных облака точек, захваченных при помощи вращающейся измерительной головки
WO2023179277A1 (en) Encoding/decoding positions of points of a point cloud encompassed in a cuboid volume
EP4365843A1 (en) Encoding/decoding point cloud geometry data
WO2023123261A1 (en) Method and apparatus of encoding/decoding point cloud geometry data
CN117957571A (zh) 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
CN117957570A (zh) 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
CN118077205A (zh) 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
CN117716393A (zh) 对自旋传感器头捕获的点云进行编码/解码的方法和装置
CN118120237A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
CN117136543A (zh) 对自旋传感器头捕获的点云几何数据进行编码/解码的方法和装置
CN117981325A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
CN117980952A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
CN117957572A (zh) 对由至少一个传感器感测到的点云几何数据进行编码/解码的方法和装置
CN115462082A (zh) 使用方位角编码模式编码/解码点云几何数据的方法和装置
CN117693769A (zh) 编码/解码由旋转传感器头捕获的点云的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230622

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240711

R150 Certificate of patent or registration of utility model

Ref document number: 7522324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150