JP6501240B2 - 点群を圧縮する方法 - Google Patents

点群を圧縮する方法 Download PDF

Info

Publication number
JP6501240B2
JP6501240B2 JP2018533408A JP2018533408A JP6501240B2 JP 6501240 B2 JP6501240 B2 JP 6501240B2 JP 2018533408 A JP2018533408 A JP 2018533408A JP 2018533408 A JP2018533408 A JP 2018533408A JP 6501240 B2 JP6501240 B2 JP 6501240B2
Authority
JP
Japan
Prior art keywords
block
point
prediction
point cloud
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018533408A
Other languages
English (en)
Other versions
JP2018534881A (ja
Inventor
コーエン、ロバート
ティアン、ドン
ヴェトロ、アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2018534881A publication Critical patent/JP2018534881A/ja
Application granted granted Critical
Publication of JP6501240B2 publication Critical patent/JP6501240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Generation (AREA)

Description

本発明は、包括的には、点群を圧縮し表現することに関し、より詳細には、ブロック内のいくつかの位置が点によって占有されていない場合がある点群データの3次元ブロックを予測し、変換を加えるための方法及びシステムに関する。
点群
点群は、或る座標系におけるデータ点の集合である。3次元座標(3D)系において、点は、オブジェクトの外面を表すことができる。点群は、3Dセンサーによって取得することができる。センサーは、オブジェクトの表面上の多数の点を測定し、点群をデータファイルとして出力する。点群は、デバイスが測定した点の集合を表す。
点群は、製造されたパーツの3Dモデル、及び多数の視覚化、アニメーション、レンダリング用途を含む多くの目的で用いられる。
通常、点群は、3次元(3D)空間における点の集合であり、各点には、属性が関連付けられている。例えば、所与の点は、その位置を、その点に関連付けられた1つ以上の属性と共に指定する特定の(x,y,z)座標を有することができる。属性は、色値、モーションベクトル、表面法線ベクトル及び接続性情報等のデータを含むことができる。点群に関連付けられるデータ量は多大であり、何ギガバイトにも及ぶ可能性がある。したがって、実際の用途のために、点群に関連付けられたデータを効率的に記憶又は送信するために圧縮が必要とされている。
圧縮
予測及び変換を用いて画像及びビデオを圧縮するための複数の方法が知られている。画像及びビデオを圧縮するための既存の方法は、通常、ピクセルのブロックに対し動作する。画像又はビデオのためのデータのブロックを所与とすると、ブロック内の全ての位置が画像又はビデオ内のピクセル位置に対応する。
しかしながら、画像又はビデオと異なり、3D点群がブロックに分割される場合、ブロック内の全ての位置が必ずしも点によって占有されるとは限らない。ビデオ及び画像ブロックを効率的に圧縮するのに用いられる予測及び変換等の方法は、3D点群データのブロックに対し直接機能しない。したがって、ブロック内の位置のうちのいくつかが点データによって占有されていない場合がある3D点群データのブロックに対し予測及び変換を行う方法が必要とされている。
用途
3Dセンサー技術の近年の進歩及びコスト低減に伴い、バーチャルリアリティー、モバイルマッピング、歴史的遺物のスキャン及び3Dプリント等の3D用途がますます広く拡散している。これらの用途は、多種のセンサーを用いて、3次元において現実世界からデータを取得し、大量のデータを生成する。これらの種類のデータを3D点群として表すことは、データの取得方法と独立して、データを記憶及び伝達するための実際的な方法となっている。
通例、点群は、色等の各点に関連付けられた1つ以上の属性と共に、各点の位置を示す座標又はメッシュの集合として表される。頂点間の接続性情報を含む点群は、構造化された又は組織化された点群として知られている。接続性情報を有しない位置を含む点群は、構造化されていない又は組織化されていない点群である。
主に構造化された点群のサイズを低減する初期の取り組みの多くは、コンピュータグラフィックス用途に由来している。これらの用途の多くは、例えば、表面又はスプラインをメッシュに当てはめることによって、三角形又は多角形メッシュに頂点数を低減することにより圧縮を達成する。点群を圧縮するために、ブロックベース及び階層八分木ベースの手法も用いることができる。例えば、八分木表現を用いて、構造化された点群又はメッシュをコード化することができる。
画像及びビデオの圧縮に関して、過去数十年にわたって大きな進歩がなされてきた。ジョイントフォトグラフィックエキスパートグループ(JPEG)規格、H.264、又はアドバンストビデオコーディング(MPEG−4AVC)規格としても知られる動画エキスパートグループ(MPEG−4)パート10、及び高効率ビデオコーディング(HEVC)規格が、画像及びビデオの圧縮に広く用いられている。これらのコーディング規格は、ピクセルをコード化するためにブロックベースの方法及び/又は階層的方法も利用する。これらの画像コーダ及びビデオコーダからの概念も、点群を圧縮するために用いられている。
本発明の実施形態は、3次元(3D)点群の属性の予測及び変換を用いて3D点群を圧縮するための方法及びシステムを提供する。点群は、3Dブロックに分割される。各ブロックを圧縮するために、以前にコード化されたブロックにおける属性の投影を用いて、現在コード化されているブロックにおける属性の方向予測を決定する。
変更された形状適応変換を用いて、現在のブロック又は予測残差ブロックにおいて属性が変換される。残差ブロックは、予測ブロックと現在のブロックとの間の差異を求めた結果得られる。形状適応変換は、「欠落した」要素又は「穴」を有するブロックに対し動作することが可能であり、すなわち、ブロック内の全ての可能な位置が点によって占有されるわけではない。
本明細書において定義されるとき、「位置」という用語は、3D空間内の点のロケーション、すなわち、必ずしも格子に位置合わせされていない空間内の任意の場所である、空間内の点の(x,y,z)ロケーションを指す。例えば、位置は、浮動小数点数によって指定することができる。「要素」という用語は、データの一様に分割されたブロック内の位置におけるデータを指し、行列が要素の格子を含む方式、又はピクセルのブロックがピクセルの格子を含む方式に概念が類似している。
形状内で穴を処理するための2つの実施形態が提供される。1つの実施形態は、各穴に値を挿入し、別の例は、穴を埋めるように後続のデータをシフトする。点の座標を知っている復号器は、従来技術による形状適応離散コサイン変換(SA−DCT)とは異なり、圧縮されたビットストリームにおいて追加の形状又は領域の情報をシグナリングする必要なくこれらのプロセスを逆に行うことができる。
図1は、本発明の実施形態による、点群の前処理のブロック図である。 図2Aは、本発明の実施形態による、空でない隣接ブロックに含まれる点から現在のブロックにおける点を予測するブロック図である。図2Bは、本発明の実施形態による、3D点群ブロック予測方法の概略図である。 図3Aは、本発明の実施形態による、形状適応離散コサイン変換プロセスの概略図である。図3Bは、本発明の実施形態による、代替的な形状適応離散コサイン変換プロセスの概略図である。 図4Aは、本発明の実施形態による、3Dブロックに存在する隣接点を連結することによって形成されるグラフ変換の概略図である。図4Bは、本発明の実施形態による、隣接点に関連付けられた重みを含む隣接行列Aである。 図5は、本発明の実施形態による、前処理及びコード化方法のブロック図である。 図6は、本発明の実施形態による復号方法のブロック図である。
本発明の実施形態は、3次元(3D)点群の属性の予測及び変換を用いて3D点群を圧縮するための方法及びシステムを提供する。
点群前処理及びブロック分割
場合によっては、点群は、ブロック処理に適したフォーマットで既に配置されている。例えば、スパースボクセル化によって生成される点群を圧縮するためにグラフ変換を用いることができる。これらの点群におけるデータは、各方向が次元2を有する3D格子上に既に配置されている。ここで、jは、ボクセル階層内のレベルであり、各階層レベル内の点は、整数座標を有する。
点が既に階層的整数格子上に配置されている場合にそのような点群をブロックに分割することは簡単である。しかしながら、概して、他の技法を用いて取得された点群は、必ずしも格子上に配置されていない、浮動小数点座標位置を有する可能性がある。
取得技法に対する制約なしで点群を処理することを可能にするために、点群データを前処理し、点が一様格子上に位置するようにする。この前処理は、ダウンサンプリングの形式としての役割も果たすことができる。
図1は、点群101を前処理する(100)ブロック図である。点群は、取得形式の制約なしで取得することができる。1つの実施形態において、点群101は、深度センサー又はスキャナー103によって取得される。代替的に、点群は、複数の静止カメラ、又は異なる視点におけるビデオカメラによって取得することができる。データ量は、非常に大きく、例えば、約数ギガバイト以上であり、従来の技術では、実際の用途のためのデータの記憶及び送信が困難となることに特に留意されたい。このため、データは、本明細書に記載されるように圧縮される。
前処理の第1のステップは、八分木分解能r102、すなわちボクセルのエッジのサイズに従って、ピクセルの3Dブロックとしても知られるボクセルの八分木表現に点群を変換する(110)。最小八分木分解能rを所与とすると、点群は、八分木ノードに組織化又は変換される(110)。ノードが点を含まない場合、ノードは八分木から除去される。ノードが1つ以上の点を含む場合、ノードは、より小さなノードに更に分割される。このプロセスは、葉ノードのサイズ又はエッジ長さが最小八分木分解能rに達するまで継続する。
各葉ノードは、分割ステップによって出力される点に対応する。出力された点の位置は、葉ノードの幾何学的中心に設定され、点に関連付けられた任意の属性の値が、葉ノードにおける1つ以上の点の平均値に設定される(120)。このプロセスは、前処理によって出力される点が、分解能rを有する一様3D格子140上に位置することを確実にする。
点が一様格子上に配置されているとき、点の集合を包含する領域は、サイズk×k×kの3Dブロックに分割される(160)。ブロックは、k個の要素を含むが、点群が偶然、各ブロックにおける全ての可能な位置に点を含まない限り、これらの要素の多くは空である可能性がある。ブロックは、各方向に異なる数の要素を有することもでき、例えば、ブロックは、k×m×nの寸法を有することができ、このため、k*m*n個の要素を含む。
この段階において、これらの3D点群ブロックと従来の画像処理によるピクセルの2Dブロックとの差異が明らかとなる。従来の画像処理において、各2Dブロックの全ての要素が、画像内に存在するピクセル位置に対応する。換言すれば、全てのブロックは完全に占有される。
しかしながら、本明細書に記載されるようなブロックベースの点群処理において、3Dブロックは、必ずしも完全に占有されない。ブロックは、1個〜k個の要素を含む可能性がある。したがって、従来の画像及びビデオコーディングに用いられるイントラ予測及びブロックベースの変換等の手順は、これらの3Dブロックに直接適用することができない。このため、空の要素に対応するための技法を提供する。
各八分木葉ノードの中心において交換点位置を定義する(130)。このため、前処理された点群140は、属性値の集合と、点位置の集合とを有する。ここで、点群は、ブロックエッジサイズ150に従って、アレイk×k×kのブロック170に分割することができる(160)。
3D点群ブロックのイントラ予測
ブロック間の予測を用いて冗長性を低減することは、H.264/AVC及びHEVC等の現在のコーディング規格における一般的な技術である。隣接する復号ブロックは、現在のブロックにおけるピクセルを予測するのに用いられ、次に、予測誤差又は残差が、任意選択で変換され、ビットストリームにコード化される。予測が3つの方向、すなわち(x,y,z)から得られる低複雑度の予測アーキテクチャを用いたブロック予測方式について説明する。
図2Aに示すように、現在のブロック201における点は、隣接ブロックが利用可能であるとき、空でない隣接ブロック202、203及び204に含まれる点から予測することができる。点群エンコーダーは、x、y及びz方向において予測を行い、最小の歪みをもたらす予測方向を選択する。隣接ブロックからの予測なしで現在のブロックをコード化することにより、より低い歪みをもたらすことができる場合、これについても検討することができる。したがって、現在のブロックは、予測あり又は予測なしでコード化される選択肢を有する。
上記で説明したように、ブロック内のk個の要素の多くが点によって占有されていない場合がある。さらに、ブロック内の点が、必ずしもブロックのエッジ又は境界に沿って位置決めされていない場合がある。H.264/AVC及びHEVCのイントラ予測技法は、現在のブロックのための予測を決定するために、隣接ブロックの境界に沿ったピクセルを用いる。
本発明の3D点群ブロック予測方法について図2Bに示されているように、多変量内挿及び外挿を用いて、例えば隣接ブロック202における、現在のブロック201の隣接エッジ面への属性値の投影を決定する。例えば、現在のブロックの上面に点を投影し(205)、現在のブロックの内部に点を投影する(206)。
ここで、既知の点からのデータを用いて、この事例では、前のブロックと現在のブロックとの間の境界に沿って、任意の点に位置する内挿又は予測を決定する。
本発明の事例では、現在のブロックの上のブロック202が、点位置の集合P={p,p,...,p}を含み、点が関連付けられた属性値A={a,a,...,a}を有すると仮定する。境界pboundaryに沿った点位置を所与とすると、予測は以下の形式をとる。
boundary=f(P,A,Pboundary
ここで、aboundaryは、境界における属性の予測値である。
本発明では最近傍内挿及び外挿を用いることができ、それによって、隣接ブロックが1つ若しくは2つの点のみを含むか又は隣接ブロック内の全ての点が投影面に直交する平面上に位置合わせされている縮退事例の複雑度が低減し、扱いが単純になる。
境界面に沿った属性値が推定された後、次に、これらの値は、予測方向に平行に投影される(206)か、又は現在のブロック内に複製される。これは、予測値が、H.264/AVC及びHEVC等の規格において用いられる指向性イントラ予測のために現在のブロック内に複製される方式と類似している。
投影及び複製された値を用いて、現在のブロックにおける点の属性を予測する。例えば、y方向における隣接ブロックが予測に用いられる場合、境界pboundaryに沿った点の集合は、2つの次元、すなわちp(x,z)においてインデックス付けされ、現在のブロックにおける点の属性pcurr(x,y,z)が、yの全ての値についてaboundary(x,z)を用いて予測される。
3Dブロックデータのための変換
予測プロセスの後、現在のブロック内の点ごとに予測残差を含む3Dブロック、又は現在のブロック自体がより低いコーディング歪みをもたらす場合には現在のブロックが変換される。予測プロセスの場合と同様に、ブロック内の全ての位置が点によって占有されていない場合がある。したがって、変換は、これらの潜在的にスパースなブロックに対して機能するように設計される。2つのタイプの変換、すなわち、3D点群属性圧縮のために設計された従来の形状適応離散コサイン変換(SA−DCT)の新規の変形形態、及び3Dグラフ変換について検討する。
変更された形状適応DCT 形状適応DCT(SA−DCT)は、画像内の任意の形状の領域をコード化するように設計される既知の変換である。領域は、例えば、画像の前景領域の周りの輪郭によって画定される。領域内部の全てのピクセルは、シフトされ、次に、変動する長さの直交DCTを用いて2次元において変換される。輪郭位置及び量子化された変換係数は、次に、ビットストリームでシグナリングされる。
本発明の3D点群圧縮方法の場合、3Dブロックにおける点の存在を、コード化される「領域」として扱い、点を含まないブロック内の位置は、領域の外側にあるとみなされる。本明細書に記載の属性コード化用途の場合、点位置は、用いられる変換の種類と無関係に復号器において既に利用可能である。
本発明の3D SA−DCT領域は、点の属性値ではなく、点位置によって画定されるので、従来の2D画像コード化にSA−DCTが用いられるときに通常行われるような、前景及び背景のセグメンテーション並びに輪郭のコード化等の動作を行う必要がない。
図3Aは、本発明による変更されたSA−DCTプロセスを示す。ここで、塗りつぶされた丸311は、点群における点を表し、×312は、空の位置を表し、白丸313は、DCTに対する入力のための「フィラー」値を表す。属性値又は予測残差値の3Dブロック301を所与とすると、ブロック内に存在する点は、境界に向けて次元1に沿って1ラインずつシフトされ(302)、それによって、空のラインの場合を除いて、その境界に沿ってブロック内に空の位置がないようにされる。同じ方向に沿って1D DCTを適用する(303)。次に、次元2及び3に沿って、係数に対しシフト及び変換プロセスを繰り返し(304−305)、結果として、1つのDC係数及び1つ以上のAC係数を得る。列内の最初の点と最後の点との間に空の位置が存在する場合、フィラー値、例えばゼロを挿入する。圧縮は、係数を量子化することによって達成される。
図3Bは、列内の残りのデータを、これらの空の位置にシフトし(320)、内部の空の位置をなくし、これによりDCTの長さを低減する代替的な方法を示す。
別の実施形態では、3Dブロック内の全ての残りの空の位置は、所定の値で埋められ、それによって、所与の方向においてブロックに適用される全ての1D DCTは、3Dブロックにおけるその方向に沿った欠落した要素及び欠落していない要素の数に等しい同じ長さを有する。
3Dグラフ変換
1つの実施形態において、属性の3Dブロックに対する変換は、グラフ変換を用いることができる。本発明の点群は、3Dブロックに分割されるので、各ブロックに対しグラフ変換を適用することができる。
図4Aは、本発明のグラフ変換の背後にある基本的着想を示す。グラフは、3Dブロックに存在する隣接点を連結することによって形成される。2つの点p及びpは、それらの点が、任意の次元において最大で1つの位置離れている場合に、隣接している。グラフ重みwijは、点p及びp間の各連結(グラフエッジ)に割り当てられる。各グラフエッジの重みは、2つの連結点間の距離に反比例する。
図4Bに示すように、隣接行列Aは、グラフエッジの重みを含み、ここからグラフラプラス行列Qが求められる。Qの固有ベクトル行列は、属性値のための変換として用いられる。変換が適用された後、各連結されたサブグラフは、1つのDC係数及び1つ以上のAC係数に相当するものを含む。
1つのみのDC係数を常にもたらす変更されたSA−DCTと対照的に、グラフ変換方法は、ブロック内の点の全ての別個の連結された集合ごとに1つのDC係数を生成し、各DC係数は、対応するAC係数の集合を有する。図4Aの例において、グラフは、2つの別個のサブグラフからなり、このため、結果として得られるグラフ変換は、2つのDC係数と、AC係数の2つの対応する集合とをもたらす。
前処理及びコード化
図5は、本発明の実施形態による前処理及びコード化方法を示す。センサー103によって取得される入力点群101は、図1を参照して説明されるように、一様格子上の点群140を生成するように前処理される。次に、ブロック分割160、イントラ予測165及び3D変換180が適用される。変換係数の大きさ及び符号ビットのエントロピーが測定される。次に、変換係数に量子化器190が適用される。例えば、一様量子化器を用いて変換係数を量子化することができ、固定ステップサイズは、圧縮量を決定するように設定される。次に、量子化された変換係数は、任意の副情報と共にエントロピーコード化され(195)、ビットストリーム501に出力される。
本明細書に記載される方法のステップは、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサ100において実行することができる。
復号器
図6は、本発明の実施形態による復号方法を示す。ビットストリーム501は、エントロピー復号され(601)、量子化された変換係数602が生成され、これらは逆量子化されて(603)、量子化された変換係数604が生成される。量子化された変換係数は、逆変換され(605)、再構成された残差ブロック606が得られる。既に復号された点ロケーション607を用いて、量子化された変換係数の集合、又は再構成された残差ブロックにおいて存在する要素及び欠落している要素608のロケーションを決定することができる。メモリからの以前に復号されたブロック610を用いて、予測器611は、予測ブロック612を計算する。再構成された残差ブロックは、予測ブロックに組み合わされるか又は加算され(609)、再構成されたブロック613が形成される。再構成されたブロックは、以前に復号された再構成ブロックに空間的に連結され(614)、復号器システム600によって出力される再構成された点群615を表す3Dブロックのアレイが生成される。
発明の効果
本発明の実施形態は、構造化されていない点群からの属性を圧縮するために画像及びビデオをコード化するのに用いられる概念のうちのいくつかを拡張する。点群は、点が一様格子上に配置されるように前処理され、次に、格子が3Dブロックに分割される。2Dブロック内の全ての点がピクセル位置に対応する画像及びビデオ処理と異なり、本発明の3Dブロックは、必ずしも点によって完全に占有されない。3Dブロックベースのイントラ予測を行った後、例えば、3D形状適応DCT又はグラフ変換を用いて変換を行い、その後、結果として得られたデータを量子化する。

Claims (15)

  1. 点群を圧縮する方法であって、
    該点群は、3次元(3D)空間内の複数の点で構成され、
    該方法は、
    センサーを用いて前記点群を取得するステップであって、各点は、3D座標及び少なくとも1つの属性に関連付けられる、ステップと、
    前記点群を要素の3Dブロックのアレイに分割するステップであって、前記3Dブロックにおける前記要素のうちのいくつかは欠落した点を有する、ステップと、
    3Dブロックごとに、多変量内挿及び外挿を用いて、近傍の3Dブロックの前記属性値を、前記3Dブロックの隣接エッジ面に投影することにより前記3Dブロックの属性値を予測して、前記3Dブロックの前記予測された属性値と、該3Dブロック内の前記取得された前記点群の各点と関連付けられる属性値との間の差異を示す3D予測残差ブロックを得るステップと、
    占有された要素のロケーションを用いて、各3D予測残差ブロックに3D変換を適用して変換係数を生成するステップであって、前記変換係数は、大きさ及び符号を有する、ステップと、
    前記大きさ及び符号ビットに従って前記変換係数をエントロピーコード化し、ビットストリームを生成するステップと、
    を含み、
    前記3D変換は、3D点群属性圧縮のために設計された形状適応離散コサイン変換(SA−DCT)であり、
    前記SA−DCTは、
    点の輪郭を領域として画定するステップであって、該領域は、空でない位置を包含する、ステップと、
    前記領域内の前記点を、各方向に沿って前記3D予測残差ブロックの境界に向かってシフトさせるステップであって、該境界に沿って前記3D予測残差ブロック内に空の位置がないようにする、ステップと、
    を更に含み、
    前記ステップは、プロセッサにおいて行われる、
    方法。
  2. 前記点群を、一様な格子上に配置されたボクセルの八分木に変換するステップを更に含み、
    前記分割するステップは、前記ボクセルが所定の最小分解能を有するまで繰り返される、
    請求項1に記載の方法。
  3. 八分木内の各葉ノードは、前記分割するステップによる点出力に対応し、
    前記点の位置は、前記葉ノードの幾何学的中心に設定され、
    前記点に関連付けられた前記属性値は、前記葉ノードにおける1つ以上の点の平均属性値に設定される、
    請求項1に記載の方法。
  4. 前記分割するステップは、ブロックエッジサイズに従って行われる、
    請求項1に記載の方法。
  5. 現在のブロックの前記予測は、空でない隣接ブロックに含まれる前記点から行われる、
    請求項1に記載の方法。
  6. 前記予測は、最小の歪みをもたらす予測方向を選択する、
    請求項5に記載の方法。
  7. 前記3D変換は、各ブロックにグラフ変換を適用する、
    請求項1に記載の方法。
  8. 前記グラフ変換は、2つのDC係数と、AC係数の2つの対応する集合とを生成する、
    請求項に記載の方法。
  9. 前記点群の各点は、少なくとも1つの属性に関連付けられる、
    請求項1に記載の方法。
  10. 前記属性は、色情報である、
    請求項に記載の方法。
  11. 前記属性は、反射性情報である、
    請求項に記載の方法。
  12. 前記属性は、法線ベクトルである、
    請求項に記載の方法。
  13. 前記ビットストリームをエントロピー復号して、変換係数及び点ロケーションを得るステップと、
    前記変換係数に逆3D変換を適用して、3D予測残差ブロックを生成するステップと、
    占有される要素の前記点ロケーションに従って前記3D予測残差ブロック内の前記要素を配置するステップと、
    3D予測残差ブロックごとに、近傍の3Dブロックの前記属性値に基づいて、前記3Dブロックの属性値を予測して、3D予測ブロックを得る、ステップと、
    前記3D予測ブロックを前記3D予測残差ブロックに組み合わせて3D再構成ブロックを得るステップと、
    前記3D再構成ブロックを、以前に再構成された3Dブロックに連結して、3D再構成ブロックのアレイを形成するステップと、
    前記3D再構成ブロックのアレイを、再構成された3D点群として出力するステップと、
    を更に含む、請求項1に記載の方法。
  14. 前記占有された要素の前記ロケーションに従って要素を配置する前記ステップは、前記逆3D変換が適用される前に行われる、
    請求項13に記載の方法。
  15. 3Dブロック内の全ての欠落している要素は、所定の値と置き換えられ、
    前記形状適応離散コサイン変換プロセス中に同じ方向に適用される全ての変換は、該方向に沿った前記3Dブロック内の欠落した要素及び欠落していない要素の数に等しい同じ長さを有する、
    請求項に記載の方法。
JP2018533408A 2016-01-22 2016-12-21 点群を圧縮する方法 Active JP6501240B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/004,301 US20170214943A1 (en) 2016-01-22 2016-01-22 Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US15/004,301 2016-01-22
PCT/JP2016/089223 WO2017126314A1 (en) 2016-01-22 2016-12-21 Method for compressing point cloud

Publications (2)

Publication Number Publication Date
JP2018534881A JP2018534881A (ja) 2018-11-22
JP6501240B2 true JP6501240B2 (ja) 2019-04-17

Family

ID=58018165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018533408A Active JP6501240B2 (ja) 2016-01-22 2016-12-21 点群を圧縮する方法

Country Status (7)

Country Link
US (1) US20170214943A1 (ja)
EP (1) EP3405928A1 (ja)
JP (1) JP6501240B2 (ja)
KR (1) KR102184261B1 (ja)
AU (1) AU2016388215B2 (ja)
SG (1) SG11201803525YA (ja)
WO (1) WO2017126314A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025392A1 (ko) * 2019-08-02 2021-02-11 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017135661A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 그래프 기반 분리 가능한 변환 (graph-based separable transform)을 이용하여 비디오 신호를 인코딩 / 디코딩하는 방법 및 장치
US10127717B2 (en) * 2016-02-16 2018-11-13 Ohzone, Inc. System for 3D Clothing Model Creation
US11615462B2 (en) 2016-02-16 2023-03-28 Ohzone, Inc. System for virtually sharing customized clothing
US10373386B2 (en) 2016-02-16 2019-08-06 Ohzone, Inc. System and method for virtually trying-on clothing
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
WO2017217191A1 (ja) * 2016-06-14 2017-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
US10496336B2 (en) * 2016-11-17 2019-12-03 Google Llc K-D tree encoding for point clouds using deviations
US10430975B2 (en) 2016-11-17 2019-10-01 Google Llc Advanced k-D tree encoding for point clouds by most significant axis selection
EP3399757A1 (en) * 2017-05-04 2018-11-07 Thomson Licensing Method and apparatus to encode and decode two-dimension point clouds
EP3428887A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing Method and device for encoding a point cloud
CN107403456B (zh) * 2017-07-28 2019-06-18 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
US10462485B2 (en) 2017-09-06 2019-10-29 Apple Inc. Point cloud geometry compression
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) * 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
JP7268599B2 (ja) * 2017-09-29 2023-05-08 ソニーグループ株式会社 情報処理装置および方法
US11087501B2 (en) 2017-09-29 2021-08-10 Sony Corporation Voxel correlation information processing apparatus and method
US10482628B2 (en) 2017-09-30 2019-11-19 United States Of America As Represented By The Secretary Of The Army Photogrammetric point cloud compression for tactical networks
EP3467789A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for reconstructing a point cloud representing a 3d object
EP3467777A1 (en) 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for encoding/decoding the colors of a point cloud representing a 3d object
US10726299B2 (en) * 2017-10-12 2020-07-28 Sony Corporation Sorted geometry with color clustering (SGCC) for point cloud compression
GB201717012D0 (en) * 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for coding volumetric video
EP3474233A1 (en) * 2017-10-19 2019-04-24 Thomson Licensing A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
WO2019079093A1 (en) * 2017-10-19 2019-04-25 Interdigital Vc Holdings, Inc. METHOD AND DEVICE FOR PREDICTIVE CODING / DECODING OF A POINT CLOUD
US10424083B2 (en) * 2017-10-21 2019-09-24 Samsung Electronics Co., Ltd. Point cloud compression using hybrid transforms
KR20200069307A (ko) 2017-10-24 2020-06-16 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치 및 삼차원 데이터 복호 장치
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
WO2019103009A1 (ja) * 2017-11-22 2019-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10789733B2 (en) 2017-11-22 2020-09-29 Apple Inc. Point cloud compression with multi-layer projection
EP3496388A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects
CN108319655B (zh) * 2017-12-29 2021-05-07 百度在线网络技术(北京)有限公司 用于生成栅格地图的方法和装置
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
EP3514969B1 (en) * 2018-01-18 2021-08-04 BlackBerry Limited Methods and devices using direct coding in point cloud compression
FI3514968T3 (fi) 2018-01-18 2023-05-25 Blackberry Ltd Menetelmiä ja laitteita pistepilvien entropiakoodausta varten
WO2019142164A1 (en) * 2018-01-19 2019-07-25 Interdigital Vc Holdings, Inc. Processing a point cloud
WO2019183113A1 (en) 2018-03-20 2019-09-26 Pcms Holdings, Inc. System and method for optimizing dynamic point clouds based on prioritized transformations
CN112106063A (zh) * 2018-03-20 2020-12-18 Pcms控股公司 用于动态调整点云的细节级别系统及方法
EP3937132A1 (en) * 2018-04-09 2022-01-12 BlackBerry Limited Methods and devices for binary entropy coding of point clouds
EP3553746B1 (en) * 2018-04-09 2021-08-25 BlackBerry Limited Methods and devices for predictive coding of point clouds
US10262451B1 (en) * 2018-04-09 2019-04-16 8i Limited View-dependent color compression
EP3553747B1 (en) * 2018-04-09 2021-09-01 BlackBerry Limited Methods and devices for predictive coding of point clouds
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US20210027505A1 (en) * 2018-04-11 2021-01-28 Sony Corporation Image processing apparatus and method
CN110363822A (zh) * 2018-04-11 2019-10-22 上海交通大学 一种3d点云压缩方法
KR20200140825A (ko) 2018-04-11 2020-12-16 인터디지털 브이씨 홀딩스 인코포레이티드 3d 객체를 나타내는 포인트 클라우드를 인코딩/디코딩하기 위한 방법 및 장치
CN111971968B (zh) 2018-04-11 2024-03-12 交互数字Vc控股公司 一种用于当3d点集正交投影到投影平面的至少一个图像区域时编码该3d点集的深度值的方法
US10984541B2 (en) 2018-04-12 2021-04-20 Samsung Electronics Co., Ltd. 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud
JP7151141B2 (ja) * 2018-04-12 2022-10-12 富士フイルムビジネスイノベーション株式会社 符号化装置、復号装置及びプログラム
CN108833927B (zh) 2018-05-03 2019-08-16 北京大学深圳研究生院 一种基于删除量化矩阵中0元素的点云属性压缩方法
CN108632607B (zh) * 2018-05-09 2019-06-21 北京大学深圳研究生院 一种基于多角度自适应帧内预测的点云属性压缩方法
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
WO2019232075A1 (en) * 2018-06-01 2019-12-05 Magic Leap, Inc. Compression of dynamic unstructured point clouds
KR20210018254A (ko) * 2018-06-06 2021-02-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
WO2019244931A1 (ja) * 2018-06-19 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7322020B2 (ja) * 2018-06-27 2023-08-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11348283B2 (en) * 2018-07-10 2022-05-31 Samsung Electronics Co., Ltd. Point cloud compression via color smoothing of point cloud prior to texture video generation
CN112470480B (zh) 2018-07-11 2024-06-18 索尼公司 图像处理装置和方法
US11138762B2 (en) * 2018-07-11 2021-10-05 Samsung Electronics Co., Ltd. Visual quality of video based point cloud compression using one or more additional patches
CA3106233A1 (en) 2018-07-11 2020-01-16 Sony Corporation Image processing apparatus and image processing method
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
CN110719497B (zh) * 2018-07-12 2021-06-22 华为技术有限公司 点云编解码方法和编解码器
GB2575514B (en) * 2018-07-13 2022-05-25 Vividq Ltd Method and system for compressing and decompressing digital three-dimensional point cloud data
CN110944187B (zh) 2018-09-19 2022-05-10 华为技术有限公司 点云编码方法和编码器
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11166048B2 (en) * 2018-10-02 2021-11-02 Tencent America LLC Method and apparatus for video coding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
EP3633621A1 (en) 2018-10-02 2020-04-08 BlackBerry Limited Predictive coding of point clouds using multiple frames of references
JP7415937B2 (ja) * 2018-10-02 2024-01-17 ソニーグループ株式会社 画像処理装置および方法
US10853973B2 (en) * 2018-10-03 2020-12-01 Apple Inc. Point cloud compression using fixed-point numbers
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
CN112806016A (zh) 2018-10-05 2021-05-14 交互数字Vc控股公司 一种用于编码/重构点云的点的属性的方法和设备
JP7517991B2 (ja) * 2018-10-12 2024-07-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020075862A1 (ja) 2018-10-12 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN109257604B (zh) * 2018-11-20 2020-11-27 山东大学 一种基于tmc3点云编码器的颜色属性编码方法
KR20210096285A (ko) * 2018-12-13 2021-08-04 삼성전자주식회사 3차원 메쉬 컨텐트를 압축하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN118781209A (zh) * 2018-12-14 2024-10-15 交互数字Vc控股公司 用于对空间数据进行程序化着色的方法和装置
US11039115B2 (en) * 2018-12-21 2021-06-15 Samsung Electronics Co., Ltd. Low complexity color smoothing of reconstructed point clouds
JP2022047546A (ja) * 2019-01-08 2022-03-25 ソニーグループ株式会社 情報処理装置および方法
US11348284B2 (en) 2019-01-08 2022-05-31 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression
US11259048B2 (en) 2019-01-09 2022-02-22 Samsung Electronics Co., Ltd. Adaptive selection of occupancy map precision
CN111247798B (zh) * 2019-01-10 2022-03-15 深圳市大疆创新科技有限公司 对三维数据点集进行编码或解码的方法和设备
CN111479114B (zh) * 2019-01-23 2022-07-22 华为技术有限公司 点云的编解码方法及装置
WO2020163038A1 (en) * 2019-02-07 2020-08-13 Interdigital Vc Holdings, Inc. Processing a point cloud
US11272158B2 (en) * 2019-03-01 2022-03-08 Tencent America LLC Method and apparatus for point cloud compression
US11423642B2 (en) * 2019-03-01 2022-08-23 Tencent America LLC Method and apparatus for point cloud compression
WO2020189943A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11334969B2 (en) * 2019-03-19 2022-05-17 Sony Group Corporation Point cloud geometry padding
WO2020187283A1 (zh) * 2019-03-19 2020-09-24 华为技术有限公司 点云编码方法、点云解码方法、装置及存储介质
WO2020190090A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2020197228A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
CN113615181B (zh) * 2019-06-26 2024-02-20 腾讯美国有限责任公司 用于点云编解码的方法、装置
US10992947B2 (en) * 2019-06-28 2021-04-27 Blackberry Limited Planar mode in octree-based point cloud coding
CN113875254A (zh) 2019-06-30 2021-12-31 Oppo广东移动通信有限公司 变换方法、逆变换方法、编码器、解码器及存储介质
WO2021002665A1 (ko) * 2019-07-01 2021-01-07 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
EP3994668A4 (en) * 2019-07-02 2023-11-22 Tencent America LLC METHOD AND APPARATUS FOR POINT CLOUD COMPRESSION
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
CN114080799A (zh) * 2019-07-04 2022-02-22 交互数字Vc控股法国有限公司 处理体数据
WO2021002562A1 (ko) * 2019-07-04 2021-01-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN110278444B (zh) * 2019-07-17 2022-11-01 华侨大学 一种采用几何引导的稀疏表示三维点云压缩方法
CN110418135B (zh) * 2019-08-05 2022-05-27 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
WO2021023206A1 (zh) * 2019-08-05 2021-02-11 北京大学深圳研究生院 基于邻居权重优化的点云属性预测、编码和解码方法及设备
WO2021025251A1 (ko) * 2019-08-08 2021-02-11 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11368717B2 (en) 2019-09-16 2022-06-21 Tencent America LLC Method and apparatus for point cloud compression
US11202078B2 (en) * 2019-09-27 2021-12-14 Apple Inc. Dynamic point cloud compression using inter-prediction
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
WO2021062771A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 颜色分量预测方法、编码器、解码器及计算机存储介质
EP3800886A1 (en) * 2019-10-01 2021-04-07 BlackBerry Limited Angular mode for tree-based point cloud coding
US11538196B2 (en) * 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
EP4006839B1 (en) * 2019-10-03 2024-10-16 LG Electronics Inc. Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data
US11895307B2 (en) * 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11284111B2 (en) * 2019-10-10 2022-03-22 Tencent America LLC Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
WO2021080152A1 (ko) * 2019-10-24 2021-04-29 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021138787A1 (zh) * 2020-01-06 2021-07-15 Oppo广东移动通信有限公司 一种帧内预测方法、编码器、解码器及存储介质
KR20220123034A (ko) * 2020-01-07 2022-09-05 블랙베리 리미티드 옥트리 기반의 포인트 클라우드 코딩에서의 평면 모드에 대한 컨텍스트 결정
EP4068789A4 (en) * 2020-01-07 2023-01-04 LG Electronics Inc. POINT CLOUD DATA TRANSMITTER DEVICE, POINT CLOUD DATA TRANSMITTER METHOD, POINT CLOUD DATA RECEIVE DEVICE AND POINT CLOUD DATA RECEIVE METHOD
US11593967B2 (en) 2020-01-08 2023-02-28 Samsung Electronics Co., Ltd. Attribute transfer in V-PCC
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
WO2021240792A1 (ja) * 2020-05-29 2021-12-02 日本電信電話株式会社 データ更新方法、データ更新装置及びプログラム
US20230177735A1 (en) * 2020-06-22 2023-06-08 Sony Group Corporation Information processing apparatus and method
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11816868B2 (en) * 2020-08-14 2023-11-14 Tencent America LLC Coding of multiple-component attributes for point cloud coding
CN116097650A (zh) * 2020-09-30 2023-05-09 Oppo广东移动通信有限公司 一种点云数据的层次划分方法、编码器及存储介质
WO2022137515A1 (ja) * 2020-12-25 2022-06-30 日本電信電話株式会社 復号方法、復号装置、復号プログラム及び符号化点群データのデータ構造
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
WO2023278829A1 (en) * 2021-07-02 2023-01-05 Innopeak Technology, Inc. Attribute coding in geometry point cloud coding
US11544419B1 (en) 2021-07-26 2023-01-03 Pointlab, Inc. Subsampling method for converting 3D scan data of an object for marine, civil, and architectural works into smaller densities for processing without CAD processing
US12079934B1 (en) 2021-07-27 2024-09-03 Apple Inc. Point cloud re-sampling using hierarchical sphere or disk distributions
CN113537626B (zh) * 2021-08-03 2023-05-05 西北工业大学 一种聚合信息差异的神经网络结合时间序列预测的方法
CN115714859A (zh) * 2021-08-23 2023-02-24 维沃移动通信有限公司 点云属性编码方法、点云属性解码方法及终端
GB202207459D0 (en) * 2022-05-20 2022-07-06 Cobra Simulation Ltd Content generation from sparse point datasets
WO2024074121A1 (en) * 2022-10-04 2024-04-11 Douyin Vision Co., Ltd. Method, apparatus, and medium for point cloud coding
KR102553653B1 (ko) * 2023-02-03 2023-07-11 공주대학교 산학협력단 유물형상 보완 모델링 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370286B1 (ko) * 2007-04-06 2014-03-06 삼성전자주식회사 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치
US8594465B2 (en) * 2007-11-14 2013-11-26 Microsoft Corporation Adaptive filtering for image transform processes
EP2670141A4 (en) * 2010-12-27 2016-03-30 Nec Corp VIDEO CODING DEVICE, VIDEO ENCODING DEVICE, VIDEO CODING METHOD, VIDEO ENCODING METHOD AND PROGRAM THEREFOR
US8682037B2 (en) * 2011-07-29 2014-03-25 Ratheon Company Method and system for thinning a point cloud
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US9734595B2 (en) * 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
US10417817B2 (en) * 2014-11-13 2019-09-17 Nvidia Corporation Supersampling for spatially distributed and disjoined large-scale data
US10171819B2 (en) * 2015-08-03 2019-01-01 Arris Enterprises Llc Intra prediction mode selection in video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025392A1 (ko) * 2019-08-02 2021-02-11 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법

Also Published As

Publication number Publication date
WO2017126314A1 (en) 2017-07-27
KR20180087348A (ko) 2018-08-01
EP3405928A1 (en) 2018-11-28
AU2016388215B2 (en) 2020-01-30
SG11201803525YA (en) 2018-08-30
AU2016388215A1 (en) 2018-06-28
US20170214943A1 (en) 2017-07-27
JP2018534881A (ja) 2018-11-22
KR102184261B1 (ko) 2020-11-30

Similar Documents

Publication Publication Date Title
JP6501240B2 (ja) 点群を圧縮する方法
JP7250952B2 (ja) 点群コーディングのための方法、装置、およびコンピュータプログラム
Cohen et al. Point cloud attribute compression using 3-D intra prediction and shape-adaptive transforms
KR102634079B1 (ko) 포인트 클라우드 데이터 처리 장치 및 방법
US11711535B2 (en) Video-based point cloud compression model to world signaling information
KR20230091987A (ko) 인코더에 의한 메시 압축을 위한 적응적 샘플링 방법 및 장치
JP2024515984A (ja) メッシュ圧縮のための境界ジオメトリ情報の予測コーディング
JP7470211B2 (ja) ポイントクラウドコーディングのための距離ベースの加重平均を計算する方法および装置
CN116711305A (zh) 用于解码器执行网格压缩的自适应采样方法和装置
CN117242480A (zh) 使用几何信息和语义信息的曼哈顿布局估计
JP2024516244A (ja) メッシュ圧縮におけるパッチの重複のないプロパティのチェック
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
JP7537033B2 (ja) メッシュ展開のための方法、装置、およびコンピュータプログラム
CN116686011B (zh) 网格编解码方法、装置及存储介质
JP7504298B2 (ja) 3次元(3d)メッシュのuv座標を処理するための方法、装置及びコンピュータプログラム
US12125250B2 (en) Decoding of patch temporal alignment for mesh compression
JP7529923B2 (ja) 非マニホールドメッシュにおける境界ループの検出のための方法、装置、およびコンピュータプログラム
RU2778377C1 (ru) Способ и устройство для кодирования облака точек
US20240029312A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
CN118748723A (zh) 基于多尺度残差网络的几何重建视频增强方法和产品
JP2023552414A (ja) メッシュ圧縮のための頂点の並べ替え

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190312

R150 Certificate of patent or registration of utility model

Ref document number: 6501240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250