JP7425899B2 - 点群の符号化及び復号方法 - Google Patents

点群の符号化及び復号方法 Download PDF

Info

Publication number
JP7425899B2
JP7425899B2 JP2022578799A JP2022578799A JP7425899B2 JP 7425899 B2 JP7425899 B2 JP 7425899B2 JP 2022578799 A JP2022578799 A JP 2022578799A JP 2022578799 A JP2022578799 A JP 2022578799A JP 7425899 B2 JP7425899 B2 JP 7425899B2
Authority
JP
Japan
Prior art keywords
threshold
parent
node
nodes
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022578799A
Other languages
English (en)
Other versions
JP2023530365A (ja
Inventor
偉 張
ジョルジュ アンリ シャンペル，マリー－リュック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2023530365A publication Critical patent/JP2023530365A/ja
Application granted granted Critical
Publication of JP7425899B2 publication Critical patent/JP7425899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3066—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction by means of a mask or a bit-map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は全体的に、点群内の点の属性圧縮に関し、本発明は特に、点群の属性の符号化を改善するための符号化方法と復号方法、及びエンコーダとデコーダに関する。
近年、３次元メディア情報の表現方法として、３次元メッシュに代わる３次元点群が注目されている。点群データに関連するユースケースは非常に多岐にわたり、
映画制作における３Ｄ資産（ａｓｓｅｔ）、
リアルタイム３Ｄ没入型テレプレゼンス、又は仮想現実（ＶＲ）アプリケーションのための３Ｄ資産、
３Ｄ自由視点映像（例えば、スポーツ観戦のために用いられる）、
地理情報システム（地図作成）、
文化遺産（壊れやすい資産のデジタル形式での保存）、
自動運転（大規模な環境の３Ｄマッピング）などを含む。
点群とは、３Ｄ空間内の点の集合であり、各点は色や材料特性などの関連する属性を持つ。点群を使って、オブジェクトやシーンをこれらの点の集合として再構成することができる。異なる設定の複数のカメラと深さセンサを使用して点群を取得することができ、再構成されたシーンをリアルに再現するために、点群は、数千から数十億の点で構成されることもある。
点群の各点には、その位置（通常は３２ビット又は６４ビットの浮動小数点として符号化されたＸ、Ｙ、Ｚ情報）とその属性（通常は少なくとも２４ビットで符号化されたＲＧＢカラー）を格納する必要がある。点群に含まれる点は数十億個に及ぶこともあるため、点群の生データは数ギガバイトに及ぶことが容易に理解できる。従って、点群を表現するために必要なデータ量を削減するための圧縮技術が強く求められている。
点群の圧縮には、２つの異なる方法が開発された。
まず、ビデオベース点群圧縮（Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＶＰＣＣ）方法では、点群を３つの異なる軸Ｘ、Ｙ、Ｚと異なる深さに複数回投影し、それによりすべての点が１つの投影画像に存在する。次に、投影して得られた複数の投影画像を複数の部分（ｐａｔｃｈ）に処理することで冗長性を除去し、再アレンジして最終的な画像を得、当該最終的な画像に付加されたメタデータは画素位置を空間上の点位置に変換するために用いられる。その後、従来の画像／動画用ＭＰＥＧエンコーダで圧縮を行う。この方法の利点は、既存のエンコーダを再利用し、動的な点群を自然にサポートする（ビデオエンコーダを使用）ことであるが、この方法は希少な点群にはほとんど適用できず、点群専用の方法でより高い圧縮利得が得られると予想される。
第二に、ジオメトリベース点群圧縮（Ｇｅｏｍｅｔｒｙ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＧＰＣＣ）方法では、点位置（通常ジオメトリと呼ばれる）と対応する点の属性（色、透明度など）が別々に符号化される。ジオメトリを符号化するために、八分木構造が使用される。点群全体は１つの立方体に収められ、当該立方体を８つのサブ立方体に分割し続け、各サブ立方体に１つの点しか含まれないようにする。従って、点の位置は、木の各ノードの占有情報に置き換えられる。
属性は、領域適応階層変換（Ｒｅｇｉｏｎ－Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈａｌ Ｔｒａｎｓｆｏｒｍ、ＲＡＨＴ）により符号化され得る。ＲＡＨＴは、既知技術であり、例えばＵＳ１０２２３８１０Ｂ２から知られており、ボクセル位置のＭｏｒｔｏｎコードによって定義される階層に関する２点変換である。ＲＡＨＴは、八分木の深さについて下から上まで、例えば八分木の葉から根まで再帰的に実行される。木の各深さで、各ノードに対してＲＡＨＴをループする。各ノードに対して、ＲＡＨＴを３つの方向でループする。ここで、ＤＣ係数又はハイパス係数（ｈｉｇｈ ｐａｓｓ ｃｏｅｆｆｉｃｉｅｎｔ）は次のステップのために保持され、ＡＣ係数又はローパス係数（ｌｏｗ ｐａｓｓ ｃｏｅｆｆｉｃｉｅｎｔ）は量子化されてビットストリームに符号化される。
本発明の目的は、効果的な符号化と復号方法、及びエンコーダとデコーダを提供し、それにより改善された点群の属性圧縮を提供することである。
本発明の一態様により、点群内の点の属性を符号化して圧縮点群データのビットストリームを生成するための方法が提供され、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有し、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、前記方法は、
現在のノードの属性に領域適応階層変換ＲＡＨＴを適用することで真の変換係数を決定するステップと、
現在の親ノードと、前記現在のノードと面又はエッジを共有する第１のセットのノードにおける各親ノードと、の属性の差を決定するステップであって、前記現在の親ノードは、前記現在のノードの親ノードであるステップと、
前記差に従って、前記第１のセットの親ノードから第２のセットを選択するステップであって、好ましくは、前記第２のセットの親ノードは、前記現在の親ノードを含むステップと、
前記第２のセットの親ノードの属性に従って前記現在のノードの属性の予測値を決定するステップと、
前記現在のノードの属性の予測値に対してＲＡＨＴを適用することで予測変換係数を決定するステップと、
前記真の変換係数と前記予測変換係数から残差を決定するステップと、
前記残差を符号化し、前記ビットストリームに対して前記点群の属性の符号化データを生成するステップと、を含む。
ここで、符号化すべき現在のノードを符号化するために、現在のノードの属性にＲＡＨＴを適用することで、真の変換係数を決定する。さらに、復号すべき現在のノードの属性の予測値を決定し、予測値に再びＲＡＨＴを適用することで、現在のノードの属性の予測変換係数を決定する。
予測変換係数と真の変換係数から残差を決定し、好ましくは、エントロピー符号化により残差をビットストリームに含まれるようにし、それにより、点の属性の符号化データを生成する。
ここで、現在のノードの属性の予測値を決定するために、現在のノードの親ノード（現在の親ノードと呼ぶ）と、符号化すべき現在のノードと面又はエッジを共有する第１のセットのノードにおける各親ノードと、の属性の差を決定する。現在のノードと面又はエッジを共有するノードのセットは、常に６個のノードを含む。６個のノードからなるセットから、決定された差に従って、第２のセットを選択する。好ましくは、現在の親ノードも第２のセットに含まれる。従って、第２のセットは、現在のノード（木構造においてレベルＤに位置する）の属性の予測値を予測するために、１～７個の親ノード（木構造においてレベルＤ－１に位置する）を含み得る。予測値から、ＲＡＨＴを適用することによって予測変換係数を決定し、ただし、予測変換係数は、現在のノードの属性に対する残差を決定するために使用される。
ここで、各占有されたノードに対して、木の根から葉まで上記のステップを繰り返し、木構造における各占有されたノードの残差を決定する。次に、前記残差を符号化し、好ましくは、前記残差をビットストリームにエントロピー符号化する。
このように、予測値の決定には、現在のノードと面又はエッジを共有するすべての親ノードを考慮するとは限らない。また、第１のセットの親ノードにおける各親ノードと現在の親ノードとの属性の差に従って、第１のセットの親ノードにおける親ノードのみを考慮する。従って、第１のセットの親ノードにおけるすべての親ノードと現在の親ノードとを選択する必要はない。その結果、特に、親ノードに大きな変化がある場合に、改善された予測値を決定することができる。次に、予測値を予測するための差に従って、現在のノードの属性の真値から大きく逸脱する親ノードを除外する。
従って、現在のノードの属性の予測値は、現在のノードの属性の元の値又は真値により近くなり、それによって残差は減少する。従って、属性の符号化効率を上げるためには、ビットストリームに含まれる残差は比較的小さくなければならない。
好ましくは、前記現在の親ノードと、前記第１のセットのノードにおける各親ノードとの属性の差を決定するステップは、
すべてのノードの属性の均質性を定量化するために、前記第１のセットの親ノードにおける各親ノードと、前記現在の親ノードとの最大の差を決定するステップと、
第１の閾値を提供するステップと、
前記最大の差が前記第１の閾値より小さい場合（すなわち、属性値がすべてのノード間でかなり均質である場合）、前記第１のセットの親ノードにおけるすべての親ノードを選択するステップと、を含む。
従って、第１のセットのノードにおける各親ノードと現在のノードとの最大の差が、提供された第１の閾値より小さい場合、対応する親ノードは、点群における均質な領域に属すると見なされるため、すべてのノードを第２のセットに入るように選択し、現在のノードの属性の予測値を予測するために使用してもよい。従って、点群の均質な領域では、現在の親ノードだけでなく、現在のノードと面又はエッジを共有するすべての親ノードも予測値の予測に使用される。
好ましくは、前記現在の親ノードと、前記第１のセットのノードにおける各親ノードとの属性の差を決定するステップは、
すべてのノードの属性値の不均質性を定量化するために、前記第１のセットの親ノードにおける各親ノードと、前記現在の親ノードとの差を決定するステップと、
第２の閾値を提供するステップと、
当該差が前記第２の閾値より小さい場合、前記第１のセットの親ノードを選択するステップと、を含む。
従って、第１のセットの親ノードにおける各ノードｉに対して、差ｄｅｌｔａＡｔｔｒｉを決定し、第２の閾値と比較する。特定のノードｉの差が第２の閾値より小さい場合、当該ノードは第２のセットに選択され、現在のノードの属性の予測値を予測するために用いられると考えられる。従って、差が大きすぎなく、すなわち所定の第２の閾値を超えないノードのみが選択される。従って、特に点群における属性の不均質な領域では、現在のノードの属性の予測値を決定する際に、逸脱した属性を持つ親ノードは除外される。その結果、現在のノードの属性の予測値と真値の偏差が減少し、より正確な予測値が提供され、それによってビットストリームに符号化される残差も減少する。
好ましくは、前記第１の閾値は固定値であり、エンコーダとデコーダに知られている。代替的又は付加的に、前記第２の閾値は固定値である。従って、前記第１の閾値及び／又は前記第２の閾値は、エンコーダ又はデコーダにおいて実現することができ、ビットストリームに符号化する必要はない。
好ましくは、前記第１の閾値は、完全な点群内の属性の分布に基づいて決定される。従って、点群内の属性の分布が均質なほど、第一閾値を低くしてもよい。代替的に又は追加的に、第２の閾値は、完全な点群内の属性の分布に基づいて決定される。そこで、前記第１の閾値及び／又は前記第２の閾値は、各点群のビットストリームに含まれてもよく、例えば、メタデータに含まれてもよい。従って、第１の閾値及び／又は第２の閾値は、完全な点群に対して固定値であるが、連続する２つの点群間において異なってもよい。
好ましくは、前記第１の閾値及び／又は前記第２の閾値は、前記第１のセットの親ノードに基づいて決定される。従って、各現在のノードに対して、個別の第１の閾値及び／又は個別の第２の閾値が決定され、従って、現在のノードの周囲の属性の特定の変化に適合させてもよい。ここで、第１の閾値及び／又は第２の閾値は、復号のためにエンコーダからデコーダに転送されるビットストリームに含まれてもよい。
好ましくは、前記第１の閾値及び／又は前記第２の閾値は、第１のセットの親ノードに基づいて決定され、前記第１の閾値又は前記第２の閾値の異なる値が第１のセットの親ノードのサブ木に割り当てられるまで、すべてのサブノードによって継承される。従って、各現在のノードに対して、個別の第１の閾値及び／又は個別の第２の閾値が決定され、それによって現在のノードの周囲の属性の特定の変化に適合させてもよい。ここで、前記第１の閾値及び／又は前記第２の閾値は、エンコーダからデコーダに転送されるビットストリームに含まれてもよく、それによって、それらが関連するか継承される（それによりビットストリームに含まれていない）サブ木の頂点でこのようなサブ木の頂点にないノードを復号する。
好ましくは、前記第２の閾値は、前記第１の閾値のパーセンテージである。従って、前記第１の閾値が増加した場合、それに応じて第１の閾値のパーセンテージである第２の閾値は増加する。ここで、パーセンテージは固定であっても、完全な点群内の属性の分布に基づいて決定されても、又は第１のセットの親ノードにおける属性の分布に基づいて決定されてもよい。従って、前記第１の閾値又は前記第２の閾値は、それぞれのパーセンテージとともに、エンコーダからデコーダに転送されるビットストリームに含まれる。
好ましくは、前記第１の閾値及び／又は前記第２の閾値は、前記現在のノードの属性と前記第１のセットの親ノードにおける親ノードの属性との比率に基づいて決定される。ここで、前記比率に対して、第１のセットの親ノードにおける親ノードの属性の平均値、最大値、最小値のうちの１つが決定、考慮される。代替的に、現在のノードの属性と、前記第１のセットの親ノードにおける各親ノードの属性との比率が、前記第１の閾値及び／又は前記第２の閾値を決定するために使用される。
好ましくは、前記第１の閾値及び／又は前記第２の閾値は、前記ビットストリームに含まれる。
好ましくは、前記第１の閾値及び／又は前記第２の閾値は、前記第１の閾値及び／又は前記第２の閾値を使用すべきボクセルベース構造の少なくとも１つのサブ木の頂点におけるビットストリームのみに含まれ、別の第１又は第２の閾値の明示的なシグナルがないサブ木内のすべてのノードに継承される。従って、前記第１の閾値及び前記第２の閾値は、更新された場合、ビットストリームのみに含まれ、更新されない限り、サブ木に対して有効なままである。前記第１の閾値及び／又は前記第２の閾値は、ビットストリームに第１の閾値又は第２の閾値を送信することにより更新された場合、新しいサブ木は更新された閾値で開始される。
好ましくは、第１の閾値と第２の閾値は等しい。代替的に、第１の閾値と第２の閾値は異なる。
本発明の一態様により、圧縮点群データのビットストリームを復号して再構成された点群内の点の属性を生成するための方法が提供され、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有し、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、前記方法は、
前記ビットストリームから前記点群の現在のノードの属性の残差を復号するステップと、
現在の親ノードと、前記現在のノードと面又はエッジを共有する第１のセットのノードにおける各親ノードと、の属性の差を決定するステップであって、前記現在の親ノードは、前記現在のノードの親ノードであるステップと、
前記差に従って、前記第１のセットの親ノードから第２のセットを選択するステップであって、好ましくは、前記第２のセットの親ノードは、前記現在の親ノードを含むステップと、
前記第２のセットの親ノードの属性に従って前記現在のノードの属性の予測値を決定するステップと、
前記現在のノードの属性の予測値に対してＲＡＨＴを適用することで予測変換係数を決定するステップと、
逆ＲＡＨＴを適用することで前記残差と前記予測変換係数とから前記現在のノードの属性を決定するステップと、を含む。
好ましくは、復号方法は、さらに、上述した符号化方法に関する特徴に従って構成される。これらの特徴は、復号方法と自由に組み合わせることができる
本発明の一態様により、点群を符号化して圧縮点群データのビットストリームを生成するためのエンコーダが提供され、前記点群のジオメトリは、複数のノードを有する八分木ベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有し、各前記サブボリュームは、前記八分木ベース構造のノードに関連し、前記エンコーダは、
プロセッサと、
前記プロセッサによって実行可能な命令が格納されており、前記命令が実行されると、前記プロセッサに上述の符号化及び復号のため方法を実行させる、メモリ記憶デバイスと、を備える。
本発明の一態様により、圧縮点群データのビットストリームを復号して再構成された点群を生成するためのデコーダが提供され、前記点群のジオメトリは、複数のノードを有する八分木ベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有するようにし、各前記サブボリュームは、前記八分木ベース構造のノードに関連し、前記デコーダは、
プロセッサと、
前記プロセッサによって実行可能な命令が格納されており、前記命令が実行されると、前記プロセッサに上述の復号方法を実行させる、メモリ記憶デバイスと、を備える。
本発明の一態様により、プロセッサによる実行のための命令を格納する非一時的なコンピュータ可読記憶媒体であって、前記命令がプロセッサによって実行されると、前記プロセッサに上述の符号化及び／又は復号方法を実行させる、非一時的なコンピュータ可読記憶媒体が提供される。
ここで例として図面を参照し、図面は本出願の例示的な実施例を示す。
本発明の符号化方法の一実施形態を示す図である。 本発明の復号方法の一実施形態を示す図である。 本発明の符号化ステップの一例を示す図である。 本発明の復号ステップの一例を示す図である。 本発明の予測値を決定するための図である。 本発明の一詳細な実施形態を示す図である。 本発明の一詳細な実施形態を示す図である。 エンコーダデバイスの概略を示す図である。 デコーダデバイスの概略を示す図である。
本発明は、点群中の点の属性を符号化及び復号する方法、並びに点群中の点の属性を符号化及び復号するためのエンコーダ及びデコーダについて説明する。
本発明は、点群内の点の属性を符号化して圧縮点群データのビットストリームを生成する方法に関し、ただし、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有し、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、前記方法は、
現在のノードの属性に領域適応階層変換ＲＡＨＴを適用することで真の変換係数を決定するステップと、
現在の親ノードと、現在のノードと面又はエッジを共有する第１のセットの親ノードにおける各親ノードと、の属性の差を決定するステップであって、現在の親ノードは、現在のノードの親ノードであるステップと、
前記差に従って、第１のセットの親ノードから第２のセットを選択するステップであって、好ましくは、第２のセットの親ノードは、現在の親ノードを含むステップと、
第２のセットの親ノードの属性に従って現在のノードの属性の予測値を決定するステップと、
現在のノードの属性の予測値に対してＲＡＨＴを適用することで予測変換係数を決定するステップと、
真の変換係数と予測変換係数とから残差を決定するステップと、
残差を符号化し、ビットストリームの点群の属性の符号化データを生成するステップと、を含む。
当業者であれば、添付の図面と併せて以下の実施例の説明を検討すると、本発明の他の態様及び特徴を理解することができる。
以下の説明では、時として、「ノード」と「サブボリューム」という用語が互換的に使用されることがある。ノードがサブボリュームに関連していることは理解されるべきである。ノードは、木の上の特定の点であり、内部ノード又は葉ノードであってもよい。サブボリュームは、ノードが表現する境界あり物理的空間である。「ボリューム」という用語は、点群を含むために定義された最大の境界あり空間を意味するために使用されてもよい。ボリュームは、点群データを符号化するための相互接続されたノードの木構造を構築するために、サブボリュームに再帰的に分割される。また、「親ノード」という用語は、木の次の上位レベルにあるノードを指す。ノードは木のレベル又は深さＤに位置する可能性がある場合、親ノードはレベル／深さＤ－１に位置するノードである。
点群とは、３次元座標系における点の集合である。これらの点は、通常、１つ又は複数の物体の外面を表現することを意図している。各点は、３次元座標系における位置（ポジション）がある。当該位置は、デカルト座標系又は他の任意の座標系における３つの座標（Ｘ、Ｙ、Ｚ）で表されてもよい。これらの点には、さらに色などの関連属性があり、場合によっては、Ｒ、Ｇ、Ｂ又はＹ、Ｃｂ、Ｃｒのような３成分の値であってもよい。他の関連属性は、所望の点群データの用途に応じて、透明度、反射率、法線ベクトルなどを含み得る。
点群は、静的なものであっても、動的なものであってもよい。例えば、物体や地形の詳細なスキャンやマッピングは、静的な点群データであってもよい。マシンビジョン目的の環境のＬｉＤＡＲベースのスキャンは、点群が（少なくとも潜在的に）時間の経過とともに（例えばボリュームの連続したスキャンごとに）変化するため、動的であってもよい。従って、動的な点群は、時間順に並んだ点群のシーケンスである。
点群データは、保存（歴史的・文化的な物体のスキャン）、地図作成、マシンビジョン（自動運転・半自動運転車など）、仮想現実システムなど、様々な用途で利用され得る。マシンビジョンなどの用途で使われる動的な点群データは、保存用の静的な点群データとはかなり異なってもよい。例えば、車載ビジョンは、通常、解像度が比較的低く、無色で、高度に動的な点群に係り、前記点群は、高い収集頻度を持つＬｉＤＡＲ（又は類似のもの）センサによって取得される。このような点群の目的は、人間が使用したり見たりするためではなく、決定プロセスにおける機械オブジェクト検出／分類のためである。例えば、一般的なＬｉＤＡＲフレームには数万点が含まれるが、高品質の仮想現実アプリケーションでは数百万点が必要となる。計算速度の向上や新しいアプリケーションの開発に伴い、時間の経過とともに、より高解像度のデータが求められるようになることが予想される。
点群データは有用であるが、そのような点群の属性やジオメトリに対して、効率的かつ効率的な圧縮、すなわち符号化及び復号処理がないため、採用や配置に支障をきたす可能性がある。
点群データを符号化するための一般的なメカニズムの１つは、木ベース構造を使用することである。木ベース構造では、点群の境界あり三次元ボリュームはサブボリュームに再帰的に分割される。木のノードはサブボリュームに対応する。サブボリュームをさらに分割するか否かの判断は、木の解像度及び／又はサブボリュームに含まれる点の有無に基づいて行ってもよい。葉ノードは、その関連するサブボリュームが点を含むか否かを示す占有フラグを有してもよい。分割フラグは、ノードがサブノードを有するか否か（すなわち、現在のボリュームがさらにサブボリュームに分割されているか否か）を示してもよい。これらのフラグは、場合によってはエントロピー符号化され、場合によっては予測符号化が使用されてもよい。一般的に使用される木構造は八分木（ｏｃｔｒｅｅ）である。この構造では、ボリューム／サブボリュームはすべて立方体であり、サブボリュームは分割ごとに、さらに８つのサブボリューム／サブ立方体が生成される。
点群を符号化するためのオクツリーの基本的な作成方法は、以下を含み得る。
座標系の点群を含むバウンディングボリューム（立方体）から開始する。
１．当該バウンディングボリュームを８つのサブボリューム（８つのサブ立方体）に分割する。
２．各サブボリュームに対して、サブボリュームが空の場合は０でマーキングし、サブボリュームが少なくとも１つの点がある場合は１でマーキングする。
３．１でマーキングされたすべてのサブボリュームに対して、最大の分割の深さになるまで、ポイント１を繰り返し、サブボリュームを分割する。
４．最大の深さのすべての葉サブボリューム（サブ立方体）に対して、葉立方体が空でない場合は１でマーキングし、そうでない場合は０でマーキングする。
木を所定の順序で（分割して得られた各サブボリュームにおいて、幅優先又は深さ優先で、スキャンパターン／順序に従って）トラバースし、各ノードの占有パターンを表すビットシーケンスを生成してもよい。
前述したように、点群内の点は属性を含み得る。これらの属性の符号化は、点群のジオメトリの符号化とは独立している。従って、各占有されたノード、すなわち点群の少なくとも１つの点を含むノードは、点群の属性をさらに指定するために、１つ又は複数の属性に関連する。
本発明は、点群中の点の属性を符号化する方法を提供する。前記方法を図１に示す。
点群内の点の属性を符号化して圧縮点群データのビットストリームを生成するための方法を提供し、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有するようにし、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、前記方法は、以下のステップを含む。
ステップＳ０１、現在のノードの属性に領域適応階層変換ＲＡＨＴを適用することで真の変換係数を決定する。
ステップＳ０２、現在の親ノードと、現在のノードと面又はエッジを共有する第１のセットの親ノードにおける各親ノードと、の属性の差を決定し、ただし、現在の親ノードは、現在のノードの親ノードである。
ステップＳ０３、前記差に従って、第１のセットの親ノードから第２のセットを選択し、好ましくは、第２のセットの親ノードは、現在の親ノードを含む。
ステップＳ０４、第２のセットの親ノードの属性に従って現在のノードの属性の予測値を決定する。
ステップＳ０５、現在のノードの属性の予測値に対してＲＡＨＴを適用することで予測変換係数を決定する。
ステップＳ０６、真の変換係数と予測変換係数とから残差を決定する。
ステップＳ０７、残差を符号化し、ビットストリームの点群の属性の符号化データを生成する。
図３には、現在のノードの属性を符号化する方法を示す。図３の例では、八分木構造１２のレベルＤにおいて、ある数の占有ノード１０が描かれている。シェーディングされていない立方体は、占有されていないノードに関連している。ここで、例えば、本ステップでは、現在のノード１４の属性をビットストリームに符号化すべきとする。ここで、図３のピクチャａ）において、占有ノードが真の属性によって表現されている。ステップＳ０１によれば、ピクチャａ）のこれらの真の属性を、領域適応型階層変換（ＲＡＨＴ）により変換することで、真の変換係数が取得される。ＲＡＨＴは周知技術であり、例えばＵＳ１０２２３８１０Ｂ２を参照し、そのファイルの全体が引用により本文に含まれる。ここで、ピクチャａ）において、他の親ノードは、レベルＤにおける他の占有ノードを含み得、これらの占有ノードは明瞭のために省略された。
さらに、図３のピクチャｂ）によれば、現在の親ノード１８の隣接親ノード１６を考慮し、現在の親ノード１８は、符号化すべき現在のノード１４を含む。従って、図３のピクチャｂ）において、空でない、すなわち点群の少なくとも１つの点を含む隣接親ノード１６のみがシェーディングされる。一般に、現在の親ノード１８と面を共有する隣接親ノードは６個、現在の親ノード１８とエッジを共有する隣接親ノードは１２個である。これらのノードのうちの１つ、これらのノードのうちの２つ以上、又はこれらのノードのすべてが空であってもよいし、点群の点を含むため、空でなくてもよい。ここで、現在の親ノード１８及び隣接親ノード１６は、木構造における深さＤ－１に位置する。
ステップＳ０２によれば、現在の親ノード１８と、隣接する占有親ノードとの属性の差を決定する。ただし、各現在の親ノード及び隣接する占有親ノード１６に対して、現在の親ノード１８と隣接する占有親ノード１６との属性の差を算出するのではない。第１のセットの親ノードは、木構造の深さＤにおける現在のノード１４と面又はエッジを共有する隣接親ノード１６のみを含む。従って、第１のセットの親ノードにおけるすべての親ノードが、点群の点によって占有されている場合、第１のセットの親ノードは現在の親ノード１８自身を含む最大７つの親ノードを含み得る。図３の例では、現在のノード１４に対して、第１のセットは、３つの隣接親ノード２０を含む（ここで、現在の親ノード１８の後に、隣接親ノード１６は空であると仮定される）。
決定された現在の親ノード１８と第１のセットの親ノード２０との属性の差に従って第２のセットを選択する。さらに、現在の親ノード１８も第２のセットに含まれる。図３の例では、第２のセットは、属性の差に従って１～４個のノードを含み得る。
ステップＳ０４によれば、第２のセットの親ノードの属性に従って、現在のノード１４の属性の予測値が決定される。ここで、図５は、２Ｄ（２ Ｄｉｍｅｎｓｉｏｎ、２次元）において予測値を決定するステップの一実施例を示す。２Ｄの例では、第２のセットの親ノードは、現在の親ノードを含む４つの親ノードのみを含み得る。図５の例において現在のノード１４の属性の予測値を決定するために、現在のノード１４の現在の親ノード２４を含む、現在のノード１４とエッジ又は面を共有するすべての隣接親ノード２２が考慮される。第２のセットの親ノード２２、２４の属性ａｋから、下式に従って、現在のノード１４の予測値ａｐｒｅｄｉｃｔｅｄに対して重み付け予測を行う。
ただし、ｄｋは、現在のノード１４の中心と、対応する親ノード２２、２４の中心との距離を表す。上述したように、図５では、第２のセットのすべての親ノードが考慮されている。しかし、考慮された親ノードの数は、より少ない可能性がある。
図３に戻って説明する。図３のピクチャｃ）において、現在のノード１４の予測値を示す。ここで、現在の親ノード１８における他の占有ノード１０に対して上述したステップを繰り返す。従って、図３のピクチャｃ）に示されるように、現在の親ノード１８における深さＤの各占有ノード１０に対して、予測値が決定される。現在の親ノード１８内の各占有ノード１０の予測変換係数を得るために、各予測値は、ＲＡＨＴを適用して変換される。
ステップＳ０６によれば、予測変換係数と真の変換係数とに従って、現在のノード１４を含む各ノードに対して残差を決定する。ステップＳ０７によれば、残差はエントロピー符号化され、ビットストリームの属性の符号化データが生成される。
従って、現在の親ノード１８と、現在のノード１４と面又はエッジを共有する隣接親ノード２０と、の属性の差に従って、互いの偏差が十分小さい隣接親ノード２０のみが第２のセットに選択される。従って、各ノードの残差は減少し、ビットストリームへの属性の符号化の効率が向上した。
例えば、図３のピクチャｂ）において、隣接親ノード２５が、点群における、現在のノード１４の色から逸脱する異なる色を有する領域に属する場合、予測値を決定するステップにはこれらの隣接親ノードが含まれ、それにより符号化すべき残差を増大させ、予測の失敗をもたらす。従って、この例では、第１のセットの親ノードからの隣接親ノード２５は、第２のセットに含まれるように選択されず、従って、これらの親ノード２５の属性は、上述の重み付け予測において考慮されない。
本発明は、点群中の点の属性を復号する方法を提供する。前記方法を図２に示す。
圧縮点群データのビットストリームを復号して再構成された点群内の点の属性を生成するための方法が提供し、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有し、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、前記方法は、以下のステップを含む。
ステップＳ１０、ビットストリームから点群の現在のノードの属性の残差を復号する。
ステップＳ１１、現在の親ノードと、現在のノードと面又はエッジを共有する第１のセットの親ノードにおける各親ノードと、の属性の差を決定し、ただし、現在の親ノードは、現在のノードの親ノードである。
ステップＳ１２、前記差に従って、第１のセットの親ノードから第２のセットを選択し、好ましくは、第２のセットの親ノードは、現在の親ノードを含む。
ステップＳ１３、第２のセットの親ノードの属性に従って現在のノードの属性の予測値を決定する。
ステップＳ１４、現在のノードの属性の予測値に対してＲＡＨＴを適用することで予測変換係数を決定する
ステップＳ１５、逆ＲＡＨＴを適用することで残差と予測変換係数とから現在のノードの属性を決定すると、を含む。
点群中の現在の点の属性を得るためにビットストリームを復号化する方法のステップは、図４にさらに示されており、図４のピクチャｄ）に表される残差は、復号化されたビットストリームによって提供される。これらの残差は予測値と結合され、ここで、図４のピクチャｂ）とｃ）に描かれている予測は、上述した対応する符号化のステップと同じである。ここで、復号化は根から葉へと行われることに留意すべきである。従って、深さＤ－１における、現在のノード１４と面又はエッジを共有する親ノードの属性は、すでに知られている。
ＲＡＨＴにより変換された予測値と、ビットストリームを復号することにより得られた残差から、逆ＲＡＨＴにより現在のノード１４の属性を得る。
図６には、一詳細な実施形態を示す。ここで、現在の親ノードと、第１のセットの親ノードにおける各親ノードと、の属性の差を決定するステップは、以下のステップを含む。
ステップＳ２１、第１のセットの親ノードにおける各親ノードと、現在の親ノードとの最大の差を決定する。
ステップＳ２２、第１の閾値を提供する。
ステップＳ２３、最大の差が第１の閾値より小さい場合、第１のセットの親ノードにおけるすべての親ノードを選択する。
従って、第１のセットの親ノードにおける各親ノードと、現在の親ノードとの最大の差を決定することで、点群における考慮されたボリュームの均質性（ｈｏｍｏｇｅｎｅｉｔｙ）が決定される。従って、前記差が第１の閾値より小さい場合、前記属性は、現在のノード１４の属性の予測値を予測するためにすべて考慮されるほど均質である。
図７には、一詳細な実施形態を示す。ここで、現在の親ノードと、第１のセットの親ノードにおける各親ノードとの属性の差を決定するステップは、以下のステップを含む。
ステップＳ３１、第１のセットの親ノードにおける各親ノードと、現在の親ノードとの差を決定する。
ステップＳ３２、第２の閾値を提供する。
ステップＳ３３、当該差が第２の閾値より小さい場合、前記第１のセットの親ノードを選択する。
特に、点群の考慮されたボリュームにおける属性の均質性、即ち第１のセットの親ノードにおける各親ノードと現在の親ノードとの最大の差が第１の閾値以上である場合、第１のセットの親ノードにおける各親ノードｉの属性ａｉと現在の親ノードの属性ａＰｒｅｓｅｎｔＰａｒｅｎｔＮｏｄｅとの差ｄｅｌｔａＡｔｔｒｉを決定し、ただし、ｄｅｌｔａＡｔｔｒｉ＝ａｉ－ａＰｒｅｓｅｎｔＰａｒｅｎｔＮｏｄｅとなる。ここで、第１のセットの親ノードにおける、ｄｅｌｔａＡｔｔｒｉが第２の閾値より小さい親ノードを選択する。
もちろん、第１のセットの親ノードにおける各親ノードと現在の親ノードとの差を決定し、第１のセットの親ノードにおける親ノードを選択するためにこの差を第２の閾値と比較することは、前述の考慮されたボリュームにおける属性の均質性の決定とは独立して使用してもよい。
一実施形態において、第１の閾値は固定値である。従って、前記固定値である第１の閾値はエンコーダとデコーダに知られており、送信されるビットストリームに含まれる必要がない。
一実施形態において、第２の閾値は固定値である。従って、前記固定値である第２の閾値はエンコーダとデコーダに知られており、送信されるビットストリームに含まれる必要がない。
一実施形態では、第１の閾値は、エンコーダからデコーダに転送されるビットストリームに含まれる。
一実施形態では、第２の閾値は、エンコーダからデコーダに転送されるビットストリームに含まれる。
一実施形態では、第１の閾値は、完全な点群内の属性の分布に基づいて決定される。従って、属性の不均質な分布に対して、それに応じて第１の閾値を適合させることができる。ここで、決定された、ビットストリームに符号化される第１の閾値は、各点群について１回のみ送信されればよく、例えば、決定された第１の閾値をメタデータに符号化する。
一実施形態では、第２の閾値は、完全な点群内の属性の分布に基づいて決定される。従って、属性の不均質な分布に対して、それに応じて第２の閾値を適合させることができる。ここで、決定された、ビットストリームに符号化される第２の閾値は、各点群について１回のみ送信されればよく、例えば、決定された第２の閾値をメタデータに符号化する。
一実施形態では、第１の閾値は、第１のセットの親ノードに基づいて決定される。従って、第１の閾値を、第１のセットの親ノードにおける親ノード間の属性の分布に基づいて個別に適合させることができる。この場合、十分な結果を提供するために、各ノードの予測するステップのための個別の閾値を個別に提供し、及び相応的に適合させることができる。あるいは、第１の閾値は、現在の親ノードの属性に対する第１のセット内の属性の平均値に基づいて決定されてもよい。あるいは、第１の閾値は、現在の親ノードの属性に対する第１のセット内の属性の最小値又は最大値に基づいて決定されてもよい。ここで、第１の閾値は、エンコーダからデコーダに送信されるビットストリームに含まれる必要がある。
一実施形態では、第２の閾値は、第１のセットの親ノードに基づいて決定される。従って、第２の閾値を、第１のセットの親ノードにおける親ノード間の属性の分布に基づいて個別に適合させることができる。この場合、十分な結果を提供するために、各ノードの予測するステップのための個別の閾値を個別に提供し、及び相応的に適合させることができる。あるいは、第２の閾値は、現在の親ノードの属性に対する第１のセット内の属性の平均値に基づいて決定されてもよい。あるいは、第２の閾値は、現在の親ノードの属性に対する第１のセット内の属性の最小値又は最大値に基づいて決定されてもよい。ここで、第２の閾値は、エンコーダからデコーダに送信されるビットストリームに含まれる必要がある。
一実施形態では、第１の閾値及び／又は第２の閾値は、第１のセットの親ノードに基づいて決定され、第１の閾値又は第２の閾値の異なる値が第１のセットの親ノードのサブ木に割り当てられるまで、すべてのサブノードによって継承される。従って、各現在のノードに対して、個別の第１の閾値及び／又は個別の第２の閾値が決定され、それによって現在のノードの周囲の属性の特定の変化に適合させてもよい。ここで、第１の閾値及び／又は第２の閾値は、エンコーダからデコーダに転送されるビットストリームに含まれてもよく、それによって、それらが関連するか継承される（かつそれによりビットストリームに含まれていない）サブ木の頂点でこのようなサブ木の頂点にないノードを復号する。
一実施形態では、第２の閾値は、第１の閾値のパーセンテージである。従って、第１の閾値が増加した場合、それに応じて第１の閾値のパーセンテージである第２の閾値も増加する。ここで、パーセンテージは固定であっても、完全な点群内の属性の分布に基づいて決定されても、又は第１のセットの親ノード内の属性の分布に基づいて決定されてもよい。ここで、第１の閾値とパーセンテージは、ビットストリームに含まれる。第１の閾値又はパーセンテージは固定である場合、この情報を送信する必要がないため、残りの情報のみを含めばよい。
一実施形態では、第１の閾値と第２の閾値は等しくなるように設定される。別の実施形態では、第１の閾値と第２の閾値は異なる。
一実施形態では、第１の閾値は、現在のノードの属性と第１のセットの親ノードにおける親ノードの属性との比率に基づいて決定される。ここで、当該比率は、第１のセットの親ノードにおける属性の平均値、最大値、又は最小値に基づいて決定されてもよい。あるいは、現在の親ノードの属性と、第１のセットの親ノードにおける対応する親ノードの属性と、の比率とされる第１の閾値は、第１のセットの親ノードにおける各親ノードについて個別に決定されてもよい。
一実施形態では、第２の閾値は、現在のノードの属性と第１のセットの親ノードにおける親ノードの属性との比率に基づいて決定される。ここで、当該比率は、第１のセットの親ノードにおける属性の平均値、最大値、又は最小値に基づいて決定されてもよい。あるいは、現在の親ノードの属性と、第１のセットの親ノードにおける対応する親ノードの属性と、の比率とされる第２の閾値は、第１のセットの親ノードにおける各親ノードについて個別に決定されてもよい。
異なる実施形態は自由に組み合わせることができる。特に、第１の閾値と第２の閾値の異なる定義は、上記の実施形態から自由に選択し、特定の適用のニーズに合わせて調整してもよい。
従って、本発明により、属性の分布／偏差は、符号化すべき現在のノードの予測値を予測する際に考慮される。そのため、すべての可能な情報が考慮されるわけではない。その代わり、符号化すべき現在のノードの属性に十分に類似し、予測値を決定するための情報のみが考慮される。その結果、予測誤差が減少し、点群内の属性の分布の不均質性が十分に考慮され、しかも予測誤差の増加につながらない。結果として、予測誤差が減少するため、残差も減少し、これらの残差を点群のビットストリームに符号化する効率が向上した。
従って、点群の属性を符号化するための従来の符号化方法と比較して、少なくとも１％の大幅なデータ削減を実現することができる。
Ｃ１試験条件での結果
Ｃ２試験条件での結果
上表に示すシミュレーションは、最新のＴＭＣ１３ｖ１０プラットフォームで実行され、すべてのシーケンスにおいて、２つの閾値、即ち第１閾値と第２閾値の両方が固定値である。
次に、エンコーダ１１００の例示的な実施形態の簡略化されたブロック図を示す図８を参照する。エンコーダ１１００は、プロセッサ１１０２と、メモリ記憶デバイス１１０４とを含む。メモリ記憶装置１１０４は命令を含むコンピュータプログラム又はアプリケーションを記憶することができ、当該命令が実行されると、プロセッサ１１０２に本明細書に記載されるような操作を実行させる。例えば、命令は、本明細書に記載された方法に従って符号化されたビットストリームを符号化し、出力するために用いられてもよい。命令は、コンパクトディスク、フラッシュメモリデバイス、ランダムアクセスメモリ、ハードドライブなどの非一時的なコンピュータ可読媒体に格納されてもよいことが理解されるべきである。命令が実行されると、プロセッサ１１０２は、上述のプロセスを実施するための専用のプロセッサとして動作するように、命令で指定された動作及び機能を実施する。このようなプロセッサは、いくつかの例では、「プロセッサ電気回路（ｐｒｏｃｅｓｓｏｒ ｃｉｒｃｕｉｔ）」又は「プロセッサ回路（ｐｒｏｃｅｓｓｏｒ ｃｉｒｃｕｉｔｒｙ）」と呼ばれてもよい。
次に、デコーダ１２００の例示的な実施形態の簡略化されたブロック図を示す図９を参照する。エンコーダ１２００は、プロセッサ１２０２と、メモリ記憶デバイス１２０４とを含む。メモリ記憶装置１２０４は命令を含むコンピュータプログラム又はアプリケーションを記憶することができ、当該命令が実行されると、プロセッサ１２０２に本明細書に記載されるような操作を実行させる。命令は、コンパクトディスク、フラッシュメモリデバイス、ランダムアクセスメモリ、ハードドライブなどの非一時的なコンピュータ可読媒体に格納されてもよいことが理解されるべきである。命令が実行されると、プロセッサ１２０２は、上述のプロセスと方法を実施するための専用のプロセッサとして動作するように、命令で指定された動作及び機能を実施する。このようなプロセッサは、いくつかの例では、「プロセッサ電気回路（ｐｒｏｃｅｓｓｏｒ ｃｉｒｃｕｉｔ）」又は「プロセッサ回路（ｐｒｏｃｅｓｓｏｒ ｃｉｒｃｕｉｔｒｙ）」と呼ばれてもよい。
本発明によるデコーダ及び／又はエンコーダは、限定されないが、サーバ、適切にプログラムされた汎用コンピュータ、マシンビジョンシステム、及びモバイルデバイスを含む、複数のコンピューティングデバイスにおいて実現されてもよいことが理解されるべきである。デコーダ又はエンコーダは、本明細書に記載された機能を実行するために１つ又は複数のプロセッサを設置するための命令を含むソフトウェアによって実現されてもよい。ソフトウェア命令は、ＣＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリなどを含む、任意の適切な非一時的コンピュータ可読メモリに格納されてもよい。
本明細書に記載されたデコーダ及び／又はエンコーダ、及び記載された、エンコーダ又はデコーダを設置するための方法／プロセスを実現するためのモジュール、ルーチン、プロセス、スレッド、又は他のソフトウェアコンポーネントは、標準的なコンピュータプログラミング技術及び言語を使って実現されてもよいことが理解されるべきである。本発明は、特定のプロセッサ、コンピュータ言語、コンピュータプログラミングの規約、データ構造、他のこのような実現の詳細に限定されない。当業者は、記載されたプロセスが、揮発性又は不揮発性メモリに格納されたコンピュータ実行可能コードの一部、特定用途向け集積チップ（ＡＳＩＣ）の一部などとして実現されてもよいことを認識するはずである。
本発明は、本発明に従った符号化プロセスの適用により生成されたデータを符号化するコンピュータ可読信号も提供する。
説明された実施形態の特定の調整及び変更が可能である。従って、上述した実施形態は、例示的なものであり、制限的なものではないと考えられる。特に、実施形態は、互いに自由に組み合わせることができる。

Claims (26)

  1. 点群内の点の属性を符号化して圧縮点群データのビットストリームを生成するための方法であって、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有し、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、
    現在のノードの属性に領域適応階層変換ＲＡＨＴを適用することで真の変換係数を決定するステップと、
    現在の親ノードと、前記現在のノードと面又はエッジを共有する第１のセットの親ノードにおける各親ノードと、の属性の差を決定するステップであって、前記現在の親ノードは、前記現在のノードの親ノードであるステップと、
    前記差に従って、前記第１のセットの親ノードから第２のセットを選択するステップであって、前記第２のセットの親ノードは、前記現在の親ノードを含むステップと、
    前記第２のセットの親ノードの属性に従って前記現在のノードの属性の予測値を決定するステップと、
    前記現在のノードの属性の予測値に対してＲＡＨＴを適用することで予測変換係数を決定するステップと、
    前記真の変換係数と前記予測変換係数とから残差を決定するステップと、
    前記残差を符号化し、前記ビットストリームに対して前記点群の属性の符号化データを生成するステップと、を含む
    ことを特徴とする点群内の点の属性を符号化して圧縮点群データのビットストリームを生成するための方法。
  2. 前記現在の親ノードと、前記第１のセットの親ノードにおける各親ノードとの属性の差を決定するステップは、
    前記第１のセットの親ノードにおける各親ノードと、前記現在の親ノードとの属性の最大の差を決定するステップと、
    第１の閾値を提供するステップと、
    前記最大の差が前記第１の閾値より小さい場合、前記第１のセットの親ノードにおけるすべての親ノードを選択するステップと、を含む
    ことを特徴とする請求項１に記載の方法。
  3. 前記現在の親ノードと、前記第１のセットの親ノードにおける各親ノードとの属性の差を決定するステップは、
    前記第１のセットの親ノードにおける各親ノードと、前記現在の親ノードとの属性の差を決定するステップと、
    第２の閾値を提供するステップと、
    当該差が前記第２の閾値より小さい場合、前記第１のセットにおける親ノードを選択するステップと、を含む
    ことを特徴とする請求項２に記載の方法。
  4. 前記第１の閾値及び／又は前記第２の閾値は固定値である
    ことを特徴とする請求項３に記載の方法。
  5. 前記第１の閾値及び／又は前記第２の閾値は、完全な点群内の属性の分布に基づいて決定される
    ことを特徴とする請求項３又は請求項４に記載の方法。
  6. 前記第１の閾値及び／又は前記第２の閾値は、前記第１のセットの親ノードに基づいて決定される
    ことを特徴とする請求項３～５のいずれか１項に記載の方法。
  7. 前記第２の閾値は、前記第１の閾値のパーセンテージである
    ことを特徴とする請求項３～６のいずれか１項に記載の方法。
  8. 前記第１の閾値と前記第２の閾値が等しいか、又は異なる
    ことを特徴とする請求項３～７のいずれか１項に記載の方法。
  9. 前記第１の閾値及び／又は前記第２の閾値は、前記現在のノードの属性と前記第１のセットの親ノードにおける親ノードの属性との比率に基づいて決定される
    ことを特徴とする請求項３～８のいずれか１項に記載の方法。
  10. 前記第１の閾値及び／又は前記第２の閾値は、前記ビットストリームに含まれる
    ことを特徴とする請求項３～８のいずれか１項に記載の方法。
  11. 前記第１の閾値及び／又は前記第２の閾値は、前記第１の閾値及び／又は前記第２の閾値を使用すべき少なくとも１つのサブ木の頂点におけるビットストリームのみに含まれ、別の第１又は第２の閾値の明示的なシグナルがない、サブ木内のすべてのノードに継承される
    ことを特徴とする請求項１０に記載の方法。
  12. 圧縮点群データのビットストリームを復号して再構成された点群内の点の属性を生成するための方法であって、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有し、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、
    前記ビットストリームから前記点群の現在のノードの属性の残差を復号するステップと、
    現在の親ノードと、前記現在のノードと面又はエッジを共有する第１のセットの親ノードにおける各親ノードと、の属性の差を決定するステップであって、前記現在の親ノードは、前記現在のノードの親ノードであるステップと、
    前記差に従って、前記第１のセットの親ノードから第２のセットを選択するステップであって、前記第２のセットの親ノードは、前記現在の親ノードを含むステップと、
    前記第２のセットの親ノードの属性に従って前記現在のノードの属性の予測値を決定するステップと、
    前記現在のノードの属性の予測値に対してＲＡＨＴを適用することで予測変換係数を決定するステップと、
    逆ＲＡＨＴを適用することで前記残差と前記予測変換係数とから前記現在のノードの属性を決定するステップと、を含む
    ことを特徴とする圧縮点群データのビットストリームを復号して再構成された点群内の点の属性を生成するための方法。
  13. 前記現在の親ノードと、前記第１のセットの親ノードにおける各親ノードとの属性の差を決定するステップは、
    前記第１のセットの親ノードにおける各親ノードと、前記現在の親ノードとの属性の最大の差を決定するステップと、
    第１の閾値を提供するステップと、
    前記最大の差が前記第１の閾値より小さい場合、前記第１のセットの親ノードにおけるすべての親ノードを選択するステップと、を含む
    ことを特徴とする請求項１２に記載の方法。
  14. 前記現在の親ノードと、前記第１のセットの親ノードにおける各親ノードとの属性の差を決定するステップは、
    前記第１のセットの親ノードにおける各親ノードと、前記現在の親ノードとの属性の差を決定するステップと、
    第２の閾値を提供するステップと、
    当該差が前記第２の閾値より小さい場合、前記第１のセットにおける親ノードを選択するステップと、を含む
    ことを特徴とする請求項１３に記載の方法。
  15. 前記第１の閾値及び／又は前記第２の閾値は固定値である
    ことを特徴とする請求項１４に記載の方法。
  16. 前記第１の閾値及び／又は前記第２の閾値は、完全な点群内の属性の分布に基づいて決定される
    ことを特徴とする請求項１４又は請求項１５に記載の方法。
  17. 前記第１の閾値及び／又は前記第２の閾値は、前記第１のセットの親ノードに基づいて決定される
    ことを特徴とする請求項１４～１６のいずれか１項に記載の方法。
  18. 前記第２の閾値は、前記第１の閾値のパーセンテージである
    ことを特徴とする請求項１４～１７のいずれか１項に記載の方法。
  19. 前記第１の閾値と前記第２の閾値が等しいか、又は異なる
    ことを特徴とする請求項１４～１８のいずれか１項に記載の方法。
  20. 前記第１の閾値及び／又は前記第２の閾値は、前記現在のノードの属性と前記第１のセットの親ノードにおける親ノードの属性との比率に基づいて決定される
    ことを特徴とする請求項１４～１９のいずれか１項に記載の方法。
  21. 前記第１の閾値及び／又は前記第２の閾値は、前記ビットストリームに含まれる
    ことを特徴とする請求項１４～１９のいずれか１項に記載の方法。
  22. 前記第１の閾値及び／又は前記第２の閾値は、前記第１の閾値及び／又は前記第２の閾値を使用すべき少なくとも１つのサブ木の頂点におけるビットストリームのみに含まれ、別の第１又は第２の閾値の明示的なシグナルがない、サブ木内のすべてのノードに継承される
    ことを特徴とする請求項２１に記載の方法。
  23. 点群内の点の属性を符号化して圧縮点群データのビットストリームを生成するためのエンコーダであって、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有し、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、
    プロセッサと、
    前記プロセッサによって実行可能な命令が格納されており、前記命令が実行されると、前記プロセッサに請求項１～１１のいずれか１項に記載の方法を実行させる、メモリ記憶デバイスと、を備える
    ことを特徴とする点群内の点の属性を符号化して圧縮点群データのビットストリームを生成するためのエンコーダ。
  24. 圧縮点群データのビットストリームを復号して再構成された点群内の点の属性を生成するためのデコーダであって、ただし、前記点群のジオメトリは、複数のノードを有するボクセルベース構造によって表現され、前記点群を含むボリューム空間を複数のサブボリュームに再帰的に分割することによって前記複数のノードが親子関係を有するようにし、各前記サブボリュームは、前記ボクセルベース構造のノードに関連し、
    プロセッサと、
    前記プロセッサによって実行可能な命令が格納されており、前記命令が実行されると、前記プロセッサに請求項１２～２２のいずれか１項に記載の方法を実行させる、メモリ記憶デバイスと、を備える
    ことを特徴とする圧縮点群データのビットストリームを復号して再構成された点群内の点の属性を生成するためのデコーダ。
  25. プロセッサによる実行のための命令を格納する非一時的なコンピュータ可読記憶媒体であって、前記命令がプロセッサによって実行されると、前記プロセッサに請求項１～１１のいずれか１項に記載の方法を実行させる
    ことを特徴とする非一時的なコンピュータ可読記憶媒体。
  26. プロセッサによる実行のための命令を格納する非一時的なコンピュータ可読記憶媒体であって、前記命令がプロセッサによって実行されると、前記プロセッサに請求項１２～２２のいずれか１項に記載の方法を実行させる
    ことを特徴とする非一時的なコンピュータ可読記憶媒体。
JP2022578799A 2020-06-24 2020-06-24 点群の符号化及び復号方法 Active JP7425899B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/098272 WO2021258374A1 (en) 2020-06-24 2020-06-24 Method for encoding and decoding a point cloud

Publications (2)

Publication Number Publication Date
JP2023530365A JP2023530365A (ja) 2023-07-14
JP7425899B2 true JP7425899B2 (ja) 2024-01-31

Family

ID=72560447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022578799A Active JP7425899B2 (ja) 2020-06-24 2020-06-24 点群の符号化及び復号方法

Country Status (7)

Country Link
US (1) US12354315B2 (ja)
EP (1) EP3929873A1 (ja)
JP (1) JP7425899B2 (ja)
KR (1) KR20230023667A (ja)
CN (1) CN112385236B (ja)
BR (1) BR112022026363A2 (ja)
WO (1) WO2021258374A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412716B (zh) 2021-05-26 2024-06-04 荣耀终端有限公司 一种点云坐标转换残差的编解码方法及装置
ES3052568T3 (en) * 2021-09-30 2026-01-12 Beijing Xiaomi Mobile Software Co Ltd Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
JP2024542105A (ja) * 2021-11-03 2024-11-13 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
CN116233435B (zh) * 2021-12-03 2026-02-06 维沃移动通信有限公司 点云编码方法、解码方法、装置及电子设备
EP4199362A1 (en) * 2021-12-20 2023-06-21 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding sensed point cloud geometry data
EP4220561A1 (en) * 2022-02-01 2023-08-02 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding a slice of point cloud data
WO2023155045A1 (zh) * 2022-02-15 2023-08-24 上海交通大学 预测的方法和装置、编码器、解码器和编解码系统
WO2024051617A1 (en) * 2022-09-09 2024-03-14 Douyin Vision Co., Ltd. Method, apparatus, and medium for point cloud coding
EP4605887A1 (en) * 2022-10-18 2025-08-27 Beijing Xiaomi Mobile Software Co., Ltd. Method for encoding and decoding a point cloud
CN120858580A (zh) * 2023-03-06 2025-10-28 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2024188332A1 (en) * 2023-03-16 2024-09-19 Douyin Vision Co., Ltd. Temporal and spatial filtering for region-adaptive hierarchical transform
WO2024216476A1 (zh) * 2023-04-17 2024-10-24 Oppo广东移动通信有限公司 编解码方法、编码器、解码器、码流以及存储介质
WO2024216479A1 (zh) * 2023-04-17 2024-10-24 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2025011552A1 (en) * 2023-07-10 2025-01-16 Douyin Vision Co., Ltd. Inter-prediction in region-adaptive hierarchical transform coding
JP2025064211A (ja) * 2023-10-05 2025-04-17 Kddi株式会社 点群復号装置、点群復号方法及びプログラム
WO2025076663A1 (zh) * 2023-10-09 2025-04-17 Oppo广东移动通信有限公司 编解码方法、编解码器以及存储介质
CN120343259A (zh) * 2024-01-17 2025-07-18 维沃移动通信有限公司 编解码方法及相关设备
CN118691628B (zh) * 2024-06-24 2025-11-25 浙江大学 对单个复杂构件的测量点云进行几何要素分割的方法
WO2026012341A1 (en) * 2024-07-09 2026-01-15 Douyin Vision Co., Ltd. Method, apparatus, and medium for point cloud coding
CN119741386B (zh) * 2024-11-29 2025-10-21 重庆邮电大学 一种基于深度图和冗余点去除的点云压缩方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347122A1 (en) 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
WO2019195922A1 (en) 2018-04-09 2019-10-17 Blackberry Limited Methods and devices for predictive coding of point clouds

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1431919B1 (en) 2002-12-05 2010-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding three-dimensional object data by using octrees
US8885925B2 (en) 2013-03-12 2014-11-11 Harris Corporation Method for 3D object identification and pose detection using phase congruency and fractal analysis
US20170214943A1 (en) 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
EP3608876A1 (en) 2016-09-13 2020-02-12 Dassault Systèmes Compressing a signal that represents a physical attribute
US10674165B2 (en) 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
CN106846425B (zh) 2017-01-11 2020-05-19 东南大学 一种基于八叉树的散乱点云压缩方法
EP3429211A1 (en) 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding the colors of a colored point cloud whose geometry is represented by an octree-based structure
US10805646B2 (en) 2018-06-22 2020-10-13 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
EP4213096A1 (en) 2018-01-18 2023-07-19 BlackBerry Limited Methods and devices for entropy coding point clouds
EP3514969B1 (en) 2018-01-18 2021-08-04 BlackBerry Limited Methods and devices using direct coding in point cloud compression
MX2020010889A (es) 2018-04-19 2020-11-09 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo codificador de datos tridimensionales y dispositivo decodificador de datos tridimensionales.
CA3103454A1 (en) 2018-06-15 2019-12-19 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
BR112020026646A2 (pt) 2018-06-26 2021-03-23 Huawei Technologies Co., Ltd. Projetos de sintaxe de alto nível para codificação de nuvem de pontos
US10904564B2 (en) 2018-07-10 2021-01-26 Tencent America LLC Method and apparatus for video coding
EP3595180B1 (en) 2018-07-10 2021-12-08 BlackBerry Limited Methods and devices for neighbourhood-based occupancy prediction in point cloud compression
WO2020072665A1 (en) 2018-10-02 2020-04-09 Futurewei Technologies, Inc. Hierarchical tree attribute coding in point cloud coding
CN112806016B (zh) 2018-10-05 2024-12-03 交互数字Vc控股公司 一种用于编码/重构点云的点的属性的方法和设备
CN113228109A (zh) * 2018-12-26 2021-08-06 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
US12069316B2 (en) * 2019-03-20 2024-08-20 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2020196680A1 (ja) * 2019-03-25 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020213735A1 (ja) * 2019-04-19 2020-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN111699697B (zh) 2019-06-14 2023-07-11 深圳市大疆创新科技有限公司 一种用于点云处理、解码的方法、设备及存储介质
CN120769062A (zh) * 2019-06-21 2025-10-10 Lg电子株式会社 用于处理点云数据的装置和方法
US12165368B2 (en) * 2019-06-26 2024-12-10 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US10693492B1 (en) 2019-06-28 2020-06-23 Blackberry Limited Context determination for planar mode in octree-based point cloud coding
US10992947B2 (en) 2019-06-28 2021-04-27 Blackberry Limited Planar mode in octree-based point cloud coding
JP7330306B2 (ja) * 2019-06-30 2023-08-21 オッポ広東移動通信有限公司 変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体
CN110572655B (zh) 2019-09-30 2023-01-10 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN110418135B (zh) 2019-08-05 2022-05-27 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
US11368717B2 (en) * 2019-09-16 2022-06-21 Tencent America LLC Method and apparatus for point cloud compression
EP3800886B1 (en) 2019-10-01 2025-03-12 BlackBerry Limited Angular mode for tree-based point cloud coding
EP3800892B1 (en) 2019-10-01 2025-03-05 BlackBerry Limited Angular mode syntax for tree-based point cloud coding
US11895307B2 (en) * 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11676310B2 (en) * 2019-11-16 2023-06-13 Uatc, Llc System and methods for encoding octree structured point cloud data using an entropy model
CN111145090B (zh) 2019-11-29 2023-04-25 鹏城实验室 一种点云属性编码方法、解码方法、编码设备及解码设备
US11223836B2 (en) * 2019-12-02 2022-01-11 Tencent America LLC Method and apparatus for point cloud coding
CN114930823A (zh) * 2020-01-06 2022-08-19 Oppo广东移动通信有限公司 帧内预测方法、装置、编码器、解码器、及存储介质
CN114762334B (zh) * 2020-01-07 2024-06-18 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US11252439B2 (en) * 2020-02-10 2022-02-15 Tencent America LLC Flexible tree partition and representation for point cloud coding
CN115210765A (zh) * 2020-04-08 2022-10-18 Lg电子株式会社 点云数据发送装置、发送方法、处理装置和处理方法
US11580672B2 (en) 2020-04-08 2023-02-14 Qualcomm Incorporated Angular mode simplification for geometry-based point cloud compression
EP4131975A4 (en) * 2020-04-14 2023-11-22 LG Electronics, Inc. POINT CLOUD DATA TRANSMITTING APPARATUS, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING APPARATUS, AND POINT CLOUD DATA RECEIVING METHOD
US11620768B2 (en) * 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) * 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11948336B2 (en) * 2020-11-16 2024-04-02 Tencent America LLC Method and apparatus for point cloud coding
US11611775B2 (en) * 2021-01-19 2023-03-21 Tencent America LLC Method and apparatus for point cloud coding
CN115086716B (zh) * 2021-03-12 2023-09-08 腾讯科技（深圳）有限公司 点云中邻居点的选择方法、装置及编解码器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347122A1 (en) 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
WO2019195922A1 (en) 2018-04-09 2019-10-17 Blackberry Limited Methods and devices for predictive coding of point clouds

Also Published As

Publication number Publication date
WO2021258374A1 (en) 2021-12-30
BR112022026363A2 (pt) 2023-01-17
US12354315B2 (en) 2025-07-08
CN112385236A (zh) 2021-02-19
US20230267651A1 (en) 2023-08-24
CN112385236B (zh) 2022-07-15
KR20230023667A (ko) 2023-02-17
EP3929873A1 (en) 2021-12-29
JP2023530365A (ja) 2023-07-14

Similar Documents

Publication Publication Date Title
JP7425899B2 (ja) 点群の符号化及び復号方法
JP7573052B2 (ja) 符号化及び復号方法、エンコーダ、デコーダ及びソフトウェア
JP7461389B2 (ja) オクツリーベースの点群コーディングにおける平面モード
JP7449965B2 (ja) オクツリーベースの点群コーディングにおける平面モードのためのコンテキスト決定
CN113812164B (zh) 用于处理点云的方法和装置
US12524923B2 (en) Method of encoding and decoding, encoder, decoder
KR20200141065A (ko) 포인트 클라우드의 이진 엔트로피 코딩을 위한 방법 및 장치
KR20200109334A (ko) 포인트 클라우드를 엔트로피 코딩하는 방법 및 디바이스
KR102759134B1 (ko) 옥트리 기반의 포인트 클라우드 코딩에서의 평면 모드에 대한 컨텍스트 결정
WO2023056677A1 (en) Method of encoding and decoding, encoder, decoder and software for encoding and decoding a point cloud
RU2800579C1 (ru) Способ кодирования и декодирования облака точек
JP2025526134A (ja) ３ｄ点群を符号化及び復号化するための方法、エンコーダ、デコーダ、ビットストリーム、およびプログラム
WO2024082145A1 (en) Method for encoding and decoding a point cloud
WO2024031586A1 (en) Method for encoding and decoding a 3d point cloud, encoder, decoder
HK40107617A (en) Context determination for planar mode in octree-based point cloud coding
CN119998837A (zh) 用于编码和解码3d点云的方法、编码器及解码器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240119

R150 Certificate of patent or registration of utility model

Ref document number: 7425899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150