JP7213368B2 - 点群属性コーディングのためのチャネル間予測および変換の技術並びに装置 - Google Patents

点群属性コーディングのためのチャネル間予測および変換の技術並びに装置 Download PDF

Info

Publication number
JP7213368B2
JP7213368B2 JP2021556274A JP2021556274A JP7213368B2 JP 7213368 B2 JP7213368 B2 JP 7213368B2 JP 2021556274 A JP2021556274 A JP 2021556274A JP 2021556274 A JP2021556274 A JP 2021556274A JP 7213368 B2 JP7213368 B2 JP 7213368B2
Authority
JP
Japan
Prior art keywords
channel
inter
color
point cloud
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021556274A
Other languages
English (en)
Other versions
JP2022535484A (ja
Inventor
イエア，セフーン
ウェンジャー，ステファン
リィウ，シャン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2022535484A publication Critical patent/JP2022535484A/ja
Application granted granted Critical
Publication of JP7213368B2 publication Critical patent/JP7213368B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

（関連出願の相互参照）
本出願は、２０１９年１０月１０日に出願された米国仮特許出願第６２／９１３，４９５号および２０２０年９月２８日に出願された米国特許出願第１７／０３４，８９６号に基づく優先権を主張し、その内容を全て本明細書に組み込むものとする。
（技術分野）
実施形態に従う方法および装置は、グラフベースの点群圧縮（Ｇ－ＰＣＣ）を使用したビデオコーディングおよび復号、それを実行するビデオエンコーダおよびデコーダに関し、より具体的には、チャネル間予測および変換を使用することを含む、点群サンプルの属性情報のコーディングに関するものである。
世界の高度な３次元（３Ｄ）表現は、より没入的な形態のインタラクションおよびコミュニケーションを可能にし、機械が我々の世界を理解し、解釈し、ナビゲートすることをも可能にする。３Ｄ点群は、このような情報の表現を可能にするものとして登場した。点群データに関連する多くのユースケースが特定され、点群表現および圧縮についての対応する要件が開発されている。
点群は、それぞれが、例えば、色、材料特性などの関連する属性を持つ、３Ｄ空間内の点のセットである。点群は、オブジェクトまたはシーンをそのような点の合成として再構築するために使用されることができる。点群は、複数のカメラ及び深度センサを用いて種々の設定でキャプチャされることができ、再構築されたシーンをリアルに表現するために、数千から数十億の点で構成されることがある。
点群を表現するためのデータ量を減らすために、圧縮技術が必要である。そのため、リアルタイム通信および６自由度（６ＤｏＦ）バーチャルリアリティで使用するための点群を非可逆圧縮する技術が要る。さらに、自動運転や文化遺産への適用などのための動的マッピングの文脈において、可逆点群圧縮の技術が求められている。動画専門家集団（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ＭＰＥＧ）は、ジオメトリおよび色、反射率などの属性の圧縮、スケーラブル／プログレッシブなコーディング、時間の経過とともにキャプチャされた点群のシーケンスのコーディング、および点群のサブセットへのランダムアクセスに対処する規格に取り組み始めた。
実施形態によれば、点群属性コーディングの方法は、少なくとも１つのプロセッサによって実行され、点群に対応するエンコードされたビットストリームを取得するステップと、エンコードされたビットストリームがチャネル間無相関化のためのチャネル間ツールを使用してエンコードされたか否かを判定するステップと、エンコードされたビットストリームがチャネル間ツールを使用してエンコードされたと判定されたことに基づき、点群に対応する属性信号を再構築するために、チャネル間ツールを使用してエンコードされたビットストリームをデコードするステップと、再構築された属性信号を使用して点群を再構築するステップと、を含む。
実施形態によれば、点群属性コーディングのための装置は、コンピュータプログラムコードを記憶するように構成される少なくとも１つのメモリと、少なくとも１つのメモリにアクセスし、コンピュータプログラムコードに従って動作するように構成される少なくとも１つのプロセッサであって、コンピュータプログラムコードは、少なくとも１つのプロセッサに、点群に対応するエンコードされたビットストリームを取得させるように構成される第１の取得コードと、少なくとも１つのプロセッサに、エンコードされたビットストリームがチャネル間無相関化のためのチャネル間ツールを使用してエンコードされたか否かを判定させるように構成される判定コードと、少なくとも１つのプロセッサに、エンコードされたビットストリームがチャネル間ツールを使用してエンコードされたと判定されたことに基づき、点群に対応する属性信号を再構築するために、チャネル間ツールを使用してエンコードされたビットストリームをデコードさせるように構成されるデコーディングコードと、少なくとも１つのプロセッサに、再構築された属性信号を使用して点群を再構築させるように構成される再構築コードと、を含む少なくとも１つのプロセッサと、を備える。
実施形態によれば、非一時的なコンピュータ読取可能な媒体は、命令を記憶し、命令は、点群属性コーディングのための装置の一つ以上のプロセッサによって実行されると、一つ以上のプロセッサに、点群に対応するエンコードされたビットストリームを取得するステップと、エンコードされたビットストリームがチャネル間無相関化のためのチャネル間ツールを使用してエンコードされたか否かを判定するステップと、エンコードされたビットストリームがチャネル間ツールを使用してエンコードされたと判定されたことに基づき、点群に対応する属性信号を再構築するために、チャネル間ツールを使用してエンコードされたビットストリームをデコードするステップと、再構築された属性信号を使用して点群を再構築するステップと、を実行させるように構成される一つ以上の命令を含む。
実施形態による通信システムのブロック図である。
実施形態による、ある環境におけるＧ－ＰＣＣ圧縮器およびＧ－ＰＣＣ解凍器の配置の図である。
実施形態によるＧ－ＰＣＣ圧縮器の機能ブロック図である。
実施形態によるＧ－ＰＣＣ解凍器の機能ブロック図である。
実施形態による、Ｇ－ＰＣＣにおいて詳細レベル（ＬｏＤ）を生成する方法を示す図である。
Ｇ－ＰＣＣにおけるＰ／Ｕリフティングのアーキテクチャの図である。
実施形態による、点群属性コーディングのための方法を示すフローチャートである。
実施形態による、点群属性コーディングのための装置のブロック図である。
実施形態の実装に適したコンピュータシステムの図である。
実施形態は、現在のグラフベースの点群圧縮（Ｇ－ＰＣＣ）リフティング設計、および、リフティング係数のロスレスコーディングを可能にするためにそれを拡張または修正する方法に関する。さらに、実施形態は、現在のＧ－ＰＣＣリフティング設計の下での属性のスケーラブルコーディングに関する。これらの実施形態は、点群用に設計された同様のコーデックに適用されることができる。
図１は、実施形態による通信システム１００のブロック図である。通信システム１００は、ネットワーク１５０を介して相互接続された少なくとも２つの端末１１０および１２０を含み得る。データの単方向送信の場合、第１の端末１１０は、ネットワーク１５０を介して第２の端末１２０へ送信するために、点群データをローカルロケーションでコード化してもよい。第２の端末１２０は、第１の端末１１０のコード化された点群データをネットワーク１５０から受信し、コード化された点群データをデコードし、デコードされた点群データを表示することができる。単方向のデータ送信は、メディア供給アプリケーションなどで一般的である。
図１は、例えばビデオ会議中に発生し得るコード化された点群データの双方向送信をサポートするために提供される第２の対の端末１３０および１４０をさらに示している。データの双方向送信の場合、各端末１３０または１４０は、ネットワーク１５０を介して他の端末へ送信するために、ローカルロケーションでキャプチャされた点群データをコード化してもよい。また、各端末１３０または１４０は、他の端末で送信されたコード化された点群データを受信し、コード化された点群データをデコードし、デコードされた点群データをローカルの表示装置に表示することができる。
図１において、端末１１０～１４０は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示され得るが、実施形態の原理は、これに制限されることはない。実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤーおよび／または専用のビデオ会議機器における用途を見出す。ネットワーク１５０は、例えば有線および／または無線通信ネットワークを含む、端末１１０～１４０間でコード化された点群データを伝達する任意の数のネットワークを表す。通信ネットワーク１５０は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークとしては、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットが挙げられる。本議論の目的のために、ネットワーク１５０のアーキテクチャおよびトポロジーは、以下で説明されない限り、実施形態の動作にとって重要ではないことがある。
図２は、実施形態による、ある環境におけるＧ－ＰＣＣ圧縮器２０３およびＧ－ＰＣＣ解凍器２１０の配置の図である。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、および、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮された点群データの記憶など、を含む、他の点群対応アプリケーションに等しく適用可能である。
ストリーミングシステム２００は、例えば非圧縮の点群データ２０２を作成するデジタルカメラなどの点群ソース２０１を含むことができるキャプチャサブシステム２１３を含んでもよい。より高いデータ量を有する点群データ２０２は、点群ソース２０１に結合されたＧ－ＰＣＣ圧縮器２０３によって処理され得る。Ｇ－ＰＣＣ圧縮器２０３は、以下でより詳細に説明するように、開示された主題の態様を可能にするかまたは実施するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。より低いデータ量を有するエンコードされた点群データ２０４は、将来使うためにストリーミングサーバ２０５に記憶されることができる。一つ以上のストリーミングクライアント２０６および２０８は、ストリーミングサーバ２０５にアクセスして、エンコードされた点群データ２０４のコピー２０７および２０９を検索することができる。クライアント２０６は、エンコードされた点群データの入り方向コピー２０７をデコードし、ディスプレイ２１２または他のレンダリングデバイス（示されていない）でレンダリングできる出方向点群データ２１１を作成するＧ－ＰＣＣ解凍器２１０を含むことができる。一部のストリーミングシステムにおいて、エンコードされた点群データ２０４、２０７、２０９は、ビデオコーディング／圧縮規格に従ってエンコードされることができる。これらの規格の例には、Ｇ－ＰＣＣのためにＭＰＥＧによって開発されているものが含まれる。
図３は、実施形態によるＧ－ＰＣＣ圧縮器２０３の機能ブロック図である。
図３に示すように、Ｇ－ＰＣＣ圧縮器２０３は、量子化器３０５と、点除去モジュール３１０と、八分木エンコーダ３１５と、属性転送モジュール３２０と、ＬｏＤ生成器３２５と、予測モジュール３３０と、量子化器３３５と、算術符号化器３４０とを備える。
量子化器３０５は、入力点群内の点の位置を受信する。位置は、（ｘ，ｙ，ｚ）座標であってもよい。量子化器３０５は、さらに、例えばスケーリングアルゴリズムおよび／またはシフトアルゴリズムを用いて、受信された位置を量子化する。
点除去モジュール３１０は、量子化された位置を量子化器３０５から受信し、受信された量子化された位置から重複位置を除去またはフィルタリングする。
八分木エンコーダ３１５は、フィルタリングされた位置を点除去モジュール３１０から受信し、受信されたフィルタリングされた位置を、八分木エンコーディングアルゴリズムを用いて、入力点群を表す八分木の占有シンボルにエンコードする。八分木に対応する入力点群のバウンディングボックスは、任意の３Ｄ形状、例えば、立方体であってもよい。
八分木エンコーダ３１５は、さらに、フィルタリングされた位置のエンコーディングに基づいて、受信されたフィルタリングされた位置を並べ替える。
属性転送モジュール３２０は、入力点群内の点の属性を受信する。属性は、例えば、各点の色またはＲＧＢ値および／または反射率を含んでもよい。属性転送モジュール３２０は、さらに、八分木エンコーダ３１５から並べ替えられた位置を受信する。
属性転送モジュール３２０は、さらに、受信された並べ替えられた位置に基づいて、受信された属性を更新する。例えば、属性転送モジュール３２０は、受信された属性に対して、例えば、受信された属性の重み付け及び平均化、並びに受信された属性からの追加の属性の補間を含む前処理アルゴリズムのうちの１つ又は複数を実行してもよい。属性転送モジュール３２０は、さらに、更新された属性を予測モジュール３３０に転送する。
ＬｏＤ生成器３２５は、八分木エンコーダ３１５から並び替えられた位置を受信し、受信された並び替えられた位置に対応する点のそれぞれのＬｏＤを取得する。各ＬｏＤは、点のグループと見なすことができ、点のそれぞれの距離に基づいて取得されることができる。
予測モジュール３３０は、転送された属性を属性転送モジュール３２０から受信し、点のそれぞれの取得されたＬｏＤをＬｏＤ生成器３２５から受信する。予測モジュール３３０は、点のそれぞれの受信されたＬｏＤに基づく順序で、受信された属性に予測アルゴリズムを適用することによって、受信された属性の予測残差（値）をそれぞれ取得する。予測アルゴリズムは、例えば、補間、加重平均の計算、最近傍法、およびＲＤＯなどの様々な予測アルゴリズムのうちのいずれかを含んでもよい。
量子化器３３５は、予測モジュール３３０から、取得された予測残差を受信し、例えばスケーリングアルゴリズムおよび／またはシフトアルゴリズムを用いて、受信された予測された残差を量子化する。
算術符号化器３４０は、八分木エンコーダ３１５から占有シンボルを受信し、量子化された予測残差を量子化器３３５から受信する。算術符号化器３４０は、受信された占有シンボルおよび量子化された予測残差に対して算術コーディングを実行して、圧縮ビットストリームを取得する。算術コーディングは、例えば文脈適応型二値算術コーディングのような様々なエントロピーエンコードアルゴリズムのうちのいずれかを含んでもよい。
図４は、実施形態によるＧ－ＰＣＣ解凍器２１０の機能ブロック図である。
図４に示すように、Ｇ－ＰＣＣ解凍器２１０は、算術デコーダ４０５と、八分木デコーダ４１０と、逆量子化器４１５と、ＬｏＤ生成器４２０と、逆量子化器４２５と、逆予測モジュール４３０とを備える。
算術デコーダ４０５は、Ｇ－ＰＣＣ圧縮器２０３から圧縮ビットストリームを受信し、受信された圧縮ビットストリームに対して算術デコードを実行して、占有シンボルおよび量子化された予測残差を取得する。算術デコードは、例えば文脈適応型二値算術デコードなどの様々なエントロピーデコードアルゴリズムのうちのいずれかを含んでもよい。
八分木デコーダ４１０は、算術デコーダ４０５から、取得された占有シンボルを受信し、八分木デコードアルゴリズムを用いて、受信された占有シンボルを量子化された位置にデコードする。
逆量子化器４１５は、量子化された位置を八分木デコーダ４１０から受信し、例えばスケーリングアルゴリズムおよび／またはシフトアルゴリズムを用いて、受信された量子化された位置を逆量子化して、入力点群内の点の再構築された位置を取得する。
ＬｏＤ生成器４２０は、量子化された位置を八分木デコーダ４１０から受信し、受信された量子化された位置に対応する点のそれぞれのＬｏＤを取得する。
逆量子化器４２５は、取得された量子化された予測残差を受信し、例えばスケーリングアルゴリズムおよび／またはシフトアルゴリズムを用いて、受信された量子化された予測残差を逆量子化して、再構築された予測残差を取得する。
逆予測モジュール４３０は、取得された再構築された予測残差を逆量子化器４２５から受信し、点のそれぞれの取得されたＬｏＤをＬｏＤ生成器４２０から受信する。逆予測モジュール４３０は、点のそれぞれの受信されたＬｏＤに基づく順序で、受信された再構築された予測残差に予測アルゴリズムを適用することにより、受信された再構築された予測残差の再構築された属性をそれぞれ取得する。予測アルゴリズムは、例えば、補間、加重平均の計算、最近傍法、およびＲＤＯなどの様々な予測アルゴリズムのうちのいずれかを含んでもよい。再構築された属性は、入力点群内の点のものである。
次に、点群属性コーディングのためのチャネル間予測および変換のための方法および装置について詳細に説明する。このような方法および装置は、上述のＧ－ＰＣＣ圧縮器２０３、すなわち、予測モジュール４３０で実施されることができる。このような方法および装置は、Ｇ－ＰＣＣ解凍器２１０、すなわち、逆予測モジュール４３０で実施されてもよい。
図５は、Ｇ－ＰＣＣにおいて詳細レベル（level of detail、ＬｏＤ）を生成する方法を示す図である。
図５を参照すると、現在のＧ－ＰＣＣ属性コーディングでは、各３Ｄ点の距離に基づいて各３Ｄ点（例えば、Ｐ０～Ｐ９）のＬｏＤ（すなわち、グループ）を生成し、その後、各ＬｏＤ内の３Ｄ点の属性値を、３Ｄ点の元の順序５０５の代わりにＬｏＤベースの順序５１０で予測を適用することによってエンコードする。例えば、３Ｄ点Ｐ２の属性値は、３Ｄ点Ｐ２の前にエンコードまたはデコードされた３Ｄ点Ｐ０、Ｐ５、Ｐ４の距離ベースの加重平均値を算出することによって予測される。
Ｇ－ＰＣＣにおける現在のアンカー方法は、以下のように進行する。
まず、３Ｄ点の近傍の変動率を計算して、近傍値がどの程度異なるかを確認し、変動率が閾値よりも低い場合、現在の点ｉの最近傍の距離に基づく線形補間処理を用いて、属性値
Figure 0007213368000001
を予測することにより、距離ベースの加重平均予測の算出を行う。
Figure 0007213368000002
を現在の点ｉのｋ－最近傍のセットとし、
Figure 0007213368000003
をそれらのデコード／再構築された属性値とし、
Figure 0007213368000004
を現在の点ｉまでの距離とする。予測された属性値

Figure 0007213368000005
は次の式で与えられる。
Figure 0007213368000006
属性がコード化されるとき、すべての点群の幾何学的位置はすでに利用可能であることに留意されたい。加えて、隣接する点とそれらの再構築された属性値は、エンコーダとデコーダの両方で、同一の方法で各点の最近傍探索を容易にするために使用されるｋ次元の木構造として利用可能である。
第２に、変動率が閾値よりも高い場合、レート歪み最適化（ＲＤＯ）予測子選択を実行する。ＬｏＤを生成する際の近傍点探索の結果に基づいて、複数の予測子候補または候補予測値を作成する。例えば、３Ｄ点Ｐ２の属性値を、予測を用いてエンコードする場合、３Ｄ点Ｐ２から３Ｄ点Ｐ０、Ｐ５、Ｐ４のそれぞれまでの距離の加重平均値を、０に等しい予測子インデックスに設定する。そして、３Ｄ点Ｐ２から最近傍点Ｐ４までの距離を１に等しい予測子インデックスに設定する。さらに、下の表１に示すように、３Ｄ点Ｐ２から次の最近傍点Ｐ５およびＰ０のそれぞれまでの距離を２および３に等しい予測子インデックスに設定する。
Figure 0007213368000007
予測子候補を作成した後、レート歪み最適化手順を適用することによって最良の予測子を選択し、その後、選択された予測子インデックスを、ビンが算術コード化されていく切り捨てられた単項（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ、ＴＵ）コードにマッピングする。なお、表１では、より短いＴＵコードがより小さい予測子インデックスに割り当てられる。
予測子候補の最大数ＭａｘＮｕｍＣａｎｄが定義され、属性ヘッダにエンコードされる。現在の実装では、予測子候補の最大数ＭａｘＮｕｍＣａｎｄは、ｎｕｍｂｅｒＯｆＮｅａｒｅｓｔＮｅｉｇｈｂｏｒｓＩｎＰｒｅｄｉｃｔｉｏｎ＋１に等しく設定され、切り捨てられた単項二値化を使用した予測子インデックスのエンコードおよびデコードに使用される。
図６は、Ｇ－ＰＣＣにおけるＰ／Ｕ（Ｐｒｅｄｉｃｔｉｏｎ／Ｕｐｄａｔｅ）リフティングのアーキテクチャの図である。リフティングにおける予測と更新のステップを容易にするには、分解の各段階で、信号を二つの高相関セットに分割する必要がある。Ｇ－ＰＣＣのリフティング方式では、レベル間でこのような高相関が期待でき、各レベルを最近傍探索によって構築することで、不均一な点群を構造化されたデータに編成するＬｏＤ構造を利用して分割を実行する。レベルＮでのＰ／Ｕ分解ステップでは、詳細信号Ｄ（Ｎ－１）および近似信号Ａ（Ｎ－１）が得られ、さらにＤ（Ｎ－２）およびＡ（Ｎ－２）に分解される。このステップは、ベースレイヤーの近似信号Ａ（１）が得られるまで繰り返し適用される。
その結果、リフティング方式では、ＬＯＤ（Ｎ）、・・・ＬＯＤ（１）からなる入力属性信号そのものをコード化するのではなく、Ｄ（Ｎ－１）、Ｄ（Ｎ－２）、・・・Ｄ（１）、Ａ（１）をコード化することになる。なお、効率的なＰ／Ｕステップを適用すると、Ｄ（Ｎ－１）、・・・、Ｄ（１）のサブバンド「係数」が疎になることが多く、それによって、変換コーディングの利得が得られる。
現在、Ｇ－ＰＣＣのアンカー方法としてのリフティングにおける予測ステップには、予測変換についての上述した距離ベースの加重平均予測が用いられている。
色などの点群属性の場合、チャネル間にかなりの冗長性がある可能性がある。
コーディング効率を向上させるために、色空間変換が前処理／後処理ステップとして行われることが多い。前処理／後処理ステップとしての色空間変換の問題点の１つは、正規直交性を欠いていることが多く、変換された色空間でコーデックの性能を最適化しても、必ずしも元の空間で高品質になるとは限らないことである。また、ロスレス色変換は、特に非整数の色変換を高精度で近似しようとすると、ビット深度が拡張される傾向がある。これは、多くの実用的なシステムにおける実装上の制約に応じて問題となる可能性がある。
実施形態は、圧縮効率のためにチャネル間無相関化を効率的に行うことができる。
本明細書で論じられる実施形態は、別々に使用してもよいし、任意の順序で組み合わせてもよい。さらに、方法（または実施形態）、エンコーダ、およびデコーダのそれぞれは、処理回路（例えば、一つ以上のプロセッサ若しくは一つ以上の集積回路）によって実装されてもよい。一例では、一つ以上のプロセッサは、非一時的なコンピュータ読取可能な媒体に記憶されているプログラムを実行する。
実施形態は、上述した現在のＧ－ＰＣＣ予測子設計に直接関係し得る。これらの方法は、点群用に設計された同様のコーデックに適用されることができる。
実施形態では、コーディング効率のための変換ツールとして色空間変換を使用する際の前述の問題を回避するために、２つの方法を使用することができる。
１つは、Ｇ－ＰＣＣのＤＰＣＭ（別名：予測変換）における予測残差のロスレスループ内変換としてＹＣｏＣｇ－Ｒを使用して、ニアロスレスおよびロスレス再構築を維持しながら、チャネル間依存性を無相関化することである。もう一つは、Ｇ－ＰＣＣのＤＰＣＭにおける他のチャネルの残差値を予測するために予測の別のステップを導入することである。
実施形態によるＹＣｏＣｇ変換は、以下に式１および式２として示される。
Figure 0007213368000008
ＹＣｏＣｇから導出されるロスレス変換として、フォワードＹＣｏＣｇ－Ｒの例は、以下に式３～６として示される。
Ｃｏ＝Ｒ－Ｂ （式３）
ｔ＝Ｂ＋（Ｃｏ＞＞１） （式４）
Ｃｇ＝Ｇ－ｔ （式５）
Ｙ＝ｔ＋（Ｃｇ＞＞１） （式６）
上記の過程を逆にしたバックワードＹＣｏＣｇ－Ｒの例は、以下に式７～１０として示される。
ｔ＝Ｙ－（Ｃｇ＞＞１） （式７）
Ｇ＝Ｃｇ＋ｔ； （式８）
Ｂ＝ｔ－（Ｃｏ＞＞１） （式９）
Ｒ＝Ｂ＋Ｃｏ （式１０）
さて、実施形態で提案された残差変換として適用される場合、信号Ｒ、Ｇ、Ｂは、Ｇ－ＰＣＣにおけるチャネルごとの予測の結果として得られた各チャネルの予測残差であり得る。
実施形態では、マルチチャネル信号を無相関化する別の方法は、予測子を使用することである。例えば、予測子は、２次残差が元の残差の代わりに量子化されエントロピーコード化されるように、チャネルの残差信号を予測するために使用され得る。
Ｇ－ＰＣＣ予測設計について、実施形態による一例が以下に示され、太字部分は、実施形態による現在のＴＭＣ３仕様への変更を示している。この予測の可能な改善のために、任意の一般的な形式の線形または非線形予測関数を導入することができる。
「Ｘ」がチャネルＸ信号を示す以下の例では、「Ｘ＿ｐｒｅｄ」は、予測されたチャネルＸ信号（Ｇ－ＰＣＣにおける再構築された近傍サンプルから得られる）を示してもよく、「Ｘ＿ｄｅｌｔａ＿ｉｎｄｅｘ」は、チャネルＸの予測残差の量子化インデックスを示してもよく、「Ｘ＿ｄｅｌｔａ＿ｒｅｃｏｎ」は、チャネルＸの再構築された残差を示してもよく、「Ｘ＿ｒｅｃｏｎ」は、再構築されたチャネルＸ信号を示してもよく、「Ｘ＿ｄｅｌｔａ＿ｒｅｓｉｄｕａｌ＿ｉｎｄｅｘ」は、残差予測からの残差の量子化インデックスを示してもよい。
チャネル間残差予測を含むエンコードプロセスの一例は、以下のように進行し得る。
Ｇチャネル

G_delta_index <－ Quantize(G－ G_pred)

G_delta_recon <－ InverseQuantize(G_delta_index)

G_recon <－ G_pred + G_delta_recon

EntopyEncode(G_delta_index)


Ｃチャネル（「Ｃ」はＲまたはＢのいずれかである）

C_delta_index <－ Quantize(C－ C_pred)

C_delta_recon <－ InverseQuantize(C_delta_index)

C_delta_residual_index <－ Quantize (C_delta_recon － G_delta_recon)

C_delta_recon <－ InverseQuantize(C_delta_residual_index) + G_delta_recon

C_recon <－ C_pred + C_delta_recon

EntopyEncode(C_delta_residual_index)
チャネル間残差予測を含むデコードプロセスの一例は、以下のように進行し得る。
Ｇチャネル

G_delta_index < － EntropyDecode()

G_delta_recon <－ InverseQuantize(G_delta_index)

G_recon <－ G_pred + G_delta_recon


Ｃチャネル（「Ｃ」はＲまたはＢのいずれかである）

C_delta_residual_index < － EntropyDecode()

C_delta_recon < － InverseQuantize(C_delta_residual_index) + G_delta_recon

C_recon <－ C_pred + C_delta_recon
Ｇ－ＰＣＣおよび同様の点群コーデックのチャネル間残差予測子と一致する実施形態には、いくつかの利点があり得る。例えば、デコードプロセス中の変更はごくわずかである。そのうえ、精巧なマルチチャネル信号モデルを必要としない。さらに、上述したループ内残差変換を含むチャネル間無相関化のための他のロスレス色変換ベースのアプローチとは異なり、実施形態は、ハウズドルフメトリックに関しては元のドメインにおける信号の忠実度を制御することができる。これは、量子化が元の（ＲＧＢ色）空間で実行されてもよいためであることがある。
実施形態では、チャネル間残差予測子は、現在のＧ－ＰＣＣワーキングドラフト仕様とともに使用されてもよい。
属性パラメータセット構文では、提案されたチャネル間残差予測子を適応的に有効／無効にするフラグを追加することができる。属性パラメータセット構文の一例を以下の表２および表３に示す。
Figure 0007213368000009
Figure 0007213368000010
実施形態では、属性パラメータセットセマンティクスによれば、１に等しいｌｉｆｔｉｎｇ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、属性デコードプロセスが残差予測を実行することを指定することができる。
実施形態による、予測的リフティングデコードプロセスの一例を以下に示す。

Figure 0007213368000011

Figure 0007213368000012
上記の例では、ｊ＝＝０はＧチャネルに対応する可能性がある。
以下の実施形態は、Ｇ－ＰＣＣにおいて、予測変換とも呼ばれ得るＤＰＣＭ予測の文脈でのループ内色残差変換と色残差予測の両方に等しく適用され得る。実施形態では、これらの２つの技術は、チャネル間ツールと呼ばれ得る。
実施形態では、チャネル間ツールを現在点に適用するか否かを決定するために、条件付き検査のいくつかの方法が使用されてもよい。
実施形態では、３つのチャネルの再構築された残差値の最大差は、最近傍のそれぞれについて計算されてもよい。より具体的には、デコーダは、設定された閾値によって、チャネル間ツールを適用した後に残差振幅／分散の減少を経験した近傍の数を追跡することができる。特に、再構築された３つの残差値が比較的均一である場合、無相関化が成功しなかった可能性がある。このようなテストの結果をデコード時に各点ごとに示すために、１つのフラグのブックキーピングを使用することができる。また、決定を下す際に多数決を行うこともできる。
実施形態では、近傍点からの３つのチャネルの最大絶対差値を比較してもよい。色チャネル間で値の変動に大きな差がある場合、１つのチャネルを別のチャネルから予測することは困難である可能性がある。
近傍サンプルからチャネル間相関を識別できる任意の尺度を、チャネル間ツールの使用を決定するために組み込むことができる。
実施形態では、タイル／スライスレベル（例えば、タイル／スライスヘッダ内）またはビデオ／ピクチャレベル（例えば、ＳＰＳ／ＰＰＳ内）のフラグをシグナリングして、提案された残差変換または予測を有効／無効にすることができる。シグナリングは、コーディングユニットを構成する点群画素の任意のグループ分けに適用されることができる。
上述した実施形態は、Ｇ－ＰＣＣにおけるリフティングスキームにも適用できる。詳細サブバンド係数はリフティングの予測ステップからの出力である可能性があるため、これらは予測残差信号である可能性があり、同一の予測戦略を与えられた異なる色チャネル間で類似している可能性がある。
Ｇ－ＰＣＣリフティング設計について、実施形態による一例が以下に示され、太字部分は、実施形態による現在のＴＭＣ３仕様への変更を示している。この予測の可能な改善のために、任意の一般的な形式の線形または非線形予測関数を導入することができる。
「Ｘ」がチャネルＸ信号を示す以下の例では、「Ｘ＿ｃｏｅｆｆ＿ｉｎｄｅｘ」は、チャネルＸのリフティング係数の量子化インデックスを示してもよく、「Ｘ＿ｃｏｅｆｆ＿ｒｅｃｏｎ」は、チャネルＸの再構築されたリフティング係数を示してもよく、「Ｘ＿ｒｅｃｏｎ」は、再構築されたチャネルＸ信号を示してもよく、「Ｘ＿ｃｏｅｆｆ＿ｒｅｓｉｄｕａｌ＿ｉｎｄｅｘ」は、残差予測からの残差の量子化インデックスを示してもよく、「ｑｕａｎｔＷｅｉｇｈｔ」は、エンコーダでの量子化前およびデコーダでの非量子化後のリフティング係数に適用される、Ｇ－ＰＣＣで使用される重み付け係数を示してもよい。
リフティングスキームへのこのような拡張を含むエンコードプロセスの一例は、以下のように進行し得る。
Ｇチャネル

G_coeff_index <－ Quantize(G)

G_coeff_recon <－ InverseQuantize(G_coeff_index)

G_recon <－ G_coeff_recon/quantWeight

EntopyEncode(G_coeff_index)


Ｃチャネル（「Ｃ」はＲまたはＢのいずれかである）

C_coeff_index <－ Quantize(C)

C_coeff_recon <－ InverseQuantize(C_coeff_index)

C_coeff_residual_index <－ Quantize (C_coeff_recon － G_coeff_recon)

C_ceoff_recon <－ InverseQuantize(C_coeff_residual_index) + G_coeff_recon

C_recon <－ C_coeff_recon/quantWeight

EntopyEncode(C_coeff_residual_index)
リフティングスキームへのこのような拡張を含むデコードプロセスの一例は、以下のように進行し得る。
Ｇチャネル

G_coeff_index < － EntropyDecode()

G_coeff_recon <－ InverseQuantize(G_coeff_index)

G_recon <－ G_coeff_recon/quantWeight


Ｃチャネル（「Ｃ」はＲまたはＢのいずれかである）

C_coeff_residual_index < － EntropyDecode()

C_coeff_recon < － InverseQuantize(C_coeff_residual_index) + G_coeff_recon

C_recon <－ C_coeff_recon/quantWeight
本明細書で論じられる実施形態は、点群圧縮／解凍に適応したビデオエンコーダまたはデコーダに実装されることができる。実施形態では、エンコーダ／デコーダは、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実装されることができ、ソフトウェアは、もしあれば、１つまたは複数の非一時的なコンピュータ読取可能な媒体に記憶されることができる。例えば、方法（または実施形態）、エンコーダ、およびデコーダのそれぞれは、処理回路（例えば、一つ以上のプロセッサ若しくは一つ以上の集積回路）によって実装されてもよい。一例では、一つ以上のプロセッサは、非一時的なコンピュータ読取可能な媒体に記憶されているプログラムを実行する。
図７は、実施形態による、点群属性コーディングの方法７００を示すフローチャートである。いくつかの実施では、図７の一つ以上の処理ブロックは、Ｇ－ＰＣＣ解凍器２１０によって実行されてもよい。いくつかの実施では、図７の一つ以上の処理ブロックは、Ｇ－ＰＣＣ圧縮器２０３など、Ｇ－ＰＣＣ解凍器２１０とは別の、またはＧ－ＰＣＣ解凍器２１０を含む他のデバイスまたはデバイス群によって実行されてもよい。
図７を参照すると、第１のブロック７１０において、方法７００は、点群に対応するエンコードされたビットストリームを取得するステップを含む。
第２のブロック７２０において、方法７００は、エンコードされたビットストリームがチャネル間無相関化のためのチャネル間ツールを使用してエンコードされたか否かを判定するステップを含む。
エンコードされたビットストリームがチャネル間ツールを使用してエンコードされたと判定されたことに基づき（ブロック７２０でＹＥＳ）、方法７００は第３のブロック７３０に続く。第３のブロック７３０において、方法７００は、点群に対応する属性信号を再構築するために、エンコードされたビットストリームをチャネル間ツールを使用してデコードするステップを含み、その後、ブロック７５０に進む。
エンコードされたビットストリームがチャネル間ツールを使用してエンコードされなかったと判定されたことに基づき（ブロック７２０でＮＯ）、方法７００は、第４のブロック７４０に続く。第４のブロック７４０において、方法７００は、点群に対応する属性信号を再構築するために、エンコードされたビットストリームをチャネル間ツールを使用せずにデコードするステップを含み、その後、ブロック７５０に進む。
第５のブロック７５０において、方法７００は、再構築された属性信号を使用して点群を再構築するステップを含む。
実施形態では、チャネル間ツールは、ループ内色残差変換を含んでもよい。
実施形態では、ループ内色残差変換は、ＹＣｏＣｇ－Ｒ変換を含んでもよい。
実施形態では、チャネル間ツールは、チャネル間色残差予測子を含んでもよい。
実施形態では、エンコードされたビットストリームをチャネル間ツールを使用してデコードするステップは、第１の色チャネルについての再構築された残差を取得するステップと、第１の色チャネルについての再構築された残差に基づいて、第２の色チャネルについての再構築された残差を取得するステップと、を含んでもよい。
実施形態では、エンコードされたビットストリームは、エンコードされたビットストリームにおいてシグナリングされたフラグに基づいて、チャネル間ツールを使用してエンコードされるべきと判定されてもよい。
実施形態では、フラグは、近傍点の色チャネルの値の間の差、または近傍点の色チャネルの再構築された残差値の間の差のうちの少なくとも１つに基づいて、エンコードされたビットストリームに設定されてもよい。
実施形態では、方法７００は、第１の色チャネルについての再構築されたリフティング係数を取得するステップと、第１の色チャネルについての再構築されたリフティング係数に基づいて、第２の色チャネルについての再構築されたリフティング係数を取得するステップとをさらに含んでもよい。
図７は、方法７００の例示的なブロックを示しているが、いくつかの実装では、方法７００は、図７に描かれているものよりも追加のブロック、少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。さらに、または代わりに、方法７００のブロックのうちの２つまたはそれより多くのブロックを並行して実行してもよい。
さらに、提案された方法は、処理回路（例えば、一つ以上のプロセッサ若しくは一つ以上の集積回路）によって実装されてもよい。一例では、一つ以上のプロセッサは、非一時的なコンピュータ読取可能な媒体に記憶されているプログラムを実行して、提案された方法のうちの一つ以上を実行する。
図８は、実施形態による、点群属性コーディングのための装置８００のブロック図である。
図８を参照すると、装置８００は、第１の取得コード８１０と、判定コード８２０と、デコーディングコード８３０と、再構築コード８４０と、を含む。
第１の取得コード８１０は、少なくとも１つのプロセッサに、点群に対応するエンコードされたビットストリームを取得させるように構成される。
判定コード８２０は、少なくとも１つのプロセッサに、エンコードされたビットストリームがチャネル間無相関化のためのチャネル間ツールを使用してエンコードされたか否かを判定させるように構成される。
デコーディングコード８３０は、少なくとも１つのプロセッサに、エンコードされたビットストリームがチャネル間ツールを使用してエンコードされたと判定されたことに基づき、点群に対応する属性信号を再構築するために、エンコードされたビットストリームをチャネル間ツールを使用してデコードさせるように構成される。
再構築コード８４０は、少なくとも１つのプロセッサに、再構築された属性信号を使用して点群を再構築させるように構成される。
実施形態では、チャネル間ツールは、ループ内色残差変換を含んでもよい。
実施形態では、ループ内色残差変換は、ＹＣｏＣｇ－Ｒ変換を含んでもよい。
実施形態では、チャネル間ツールは、チャネル間色残差予測子を含んでもよい。
実施形態では、デコーディングコードは、少なくとも１つのプロセッサに、第１の色チャネルについての再構築された残差を取得させるように構成される第２の取得コードと、少なくとも１つのプロセッサに、第１の色チャネルについての再構築された残差に基づいて、第２の色チャネルについての再構築された残差を取得させるように構成される第３の取得コードとを含んでもよい。
実施形態では、エンコードされたビットストリームは、エンコードされたビットストリームにおいてシグナリングされたフラグに基づいて、チャネル間ツールを使用してエンコードされるべきと判定されてもよい。
実施形態では、フラグは、近傍点の色チャネルの値の間の差、または近傍点の色チャネルの再構築された残差値の間の差のうちの少なくとも１つに基づいて、エンコードされたビットストリームに設定されてもよい。
実施形態では、装置８００は、少なくとも１つのプロセッサに、第１の色チャネルについての再構築されたリフティング係数を取得させるように構成される第４の取得コードと、少なくとも１つのプロセッサに、第１の色チャネルについての再構築されたリフティング係数に基づいて、第２の色チャネルについての再構築されたリフティング係数を取得させるように構成される第５の取得コードと、をさらに含んでもよい。
図９は、実施形態の実装に適したコンピュータシステム９００の図である。
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、コンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行されることができる命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いてコード化されることができる。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。
コンピュータシステム９００について、図９に示されるコンポーネントは、本質的に例示的なものであり、実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム９００の実施形態で示されるコンポーネントのうちのいずれか１つ又は組み合わせに関する任意の依存性又は必要性を有するとして解釈されるべきではない。
コンピュータシステム９００は、いくつかのヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（示されていない）によって、１人または複数のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用できる。
入力ヒューマンインターフェースデバイスは、キーボード９０１、マウス９０２、トラックパッド９０３、タッチスクリーン９１０、ジョイスティック９０５、マイクフォン９０６、スキャナ９０７、カメラ９０８（それぞれ１つのみ示されている）のうちの一つ以上を含み得る。
コンピュータシステム９００は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人または複数のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン９１０またはジョイスティック９０５による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ９０９、ヘッドホン（示されていない）など）、視覚出力デバイス（陰極線管（ＣＲＴ）スクリーン、液晶ディスプレイ（ＬＣＤ）スクリーン、プラズマスクリーン、有機発光ダイオード（ＯＬＥＤ）スクリーンを含むスクリーン９１０（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（示されていない）、ホログラフィックディスプレおよびスモークタンク（示されていない）など）、およびプリンタ（示されていない）を含み得る。グラフィックアダプタ９５０は、画像を生成してタッチスクリーン９１０に出力する。
コンピュータシステム９００は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体９２１付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷドライブ９２０を含む光学媒体、サムドライブ９２２、リムーバブルハードドライブまたはソリッドステートドライブ９２３、テープやフロッピーディスクなどの従来の磁気媒体（示されていない）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（示されていない）などをも含むことができる。
ここで開示された主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことをも当業者が理解するであろう。
コンピュータシステム９００は、一つ以上の通信ネットワーク９５５へのインターフェースをさらに含むことができる。通信ネットワーク９５５は、例えば、無線、有線、光学的であり得る。ネットワーク９５５は、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワーク９５５の例は、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、第３世代（３Ｇ）、第４世代（４Ｇ）、第５世代（５Ｇ）、長期進化（ＬＴＥ）などを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などを含む。ネットワーク９５５は、一般に、特定の汎用データポートまたは周辺バス９４９（例えば、コンピュータシステム９００のユニバーサル・シリアル・バス（ＵＳＢ）ポートなど）に接続された外部ネットワークインターフェースアダプターを必要とする。他のものは、一般に、以下で説明するようにシステムバスに接続することにより、コンピュータシステム９００のコアに統合される。例えば、ＰＣコンピュータシステムへのイーサネットインターフェースおよび／またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェースを含むネットワークインターフェース９５４が挙げられる。これらのネットワーク９５５のいずれかを用いて、コンピュータシステム９００は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワーク９５５およびネットワークインターフェース９５４のそれぞれで使用することができる。
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェース９５４は、コンピュータシステム９００のコア９４０に接続されることができる。
コア９４０は、一つ以上の中央処理装置（ＣＰＵ）９４１、グラフィックスプロセッシングユニット（ＧＰＵ）９４２、フィールドプログラマブルゲートエリア（ＦＰＧＡ）９４３の形態での専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ９４４などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）９４５、ランダムアクセスメモリ（ＲＡＭ）９４６、非ユーザアクセス可能な内部ハードドライブ、ソリッドステートドライブ（ＳＳＤ）などの内部大容量記憶装置９４７とともに、システムバス９４８を介して接続されてもよい。一部のコンピュータシステムでは、システムバス９４８は、一つ以上の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス９４８に直接、または周辺バス９４９を介して接続されることができる。周辺バスのアーキテクチャは、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）、ＵＳＢなどを含む。
ＣＰＵ９４１、ＧＰＵ９４２、ＦＰＧＡ９４３、およびハードウェアアクセラレータ９４４は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ９４５またはＲＡＭ９４６に記憶されることができる。推移データはＲＡＭ９４６にも記憶できるが、永続データは、例えば、内部大容量ストレージ９４７に記憶されることができる。ＣＰＵ９４１、ＧＰＵ９４２、大容量ストレージ９４７、ＲＯＭ９４５、ＲＡＭ９４６などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速保存および検索が可能になる。
コンピュータ読取可能な媒体は、様々なコンピュータ実装された動作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、実施形態の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。
限定ではなく、一例として、アーキテクチャを有するコンピュータシステム９００、特にコア９４０は、一つ以上の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能性を提供することができる。このようなコンピュータ読取可能な媒体は、以上で紹介したようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ９４７またはＲＯＭ９４５などの非一時的な性質を持つコア９４０の特定のストレージに関連付けられた媒体であり得る。様々な実施形態を実施するソフトウェアは、このようなデバイスに記憶され、コア９４０によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、一つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア９４０、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ９４６に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更することを含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、ハードウェアアクセラレータ９４４）に有線接続されたまたは組み込まれたロジックの結果としての機能性を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。実施形態は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。
本開示は一部の実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることが理解されよう。

Claims (20)

  1. 少なくとも１つのプロセッサによって実行される点群属性コーディングの方法であって、
    点群に対応するエンコードされたビットストリームを取得するステップと、
    前記エンコードされたビットストリームがチャネル間無相関化のためのチャネル間ツールを使用してエンコードされたか否かを判定するステップと、
    前記エンコードされたビットストリームが前記チャネル間ツールを使用してエンコードされたと判定されたことに基づき、前記点群に対応する属性信号を再構築するために、前記チャネル間ツールを使用して前記エンコードされたビットストリームをデコードするステップと、
    再構築された属性信号を使用して前記点群を再構築するステップと、を含む、
    方法。
  2. 前記チャネル間ツールは、ループ内色残差変換を含む、請求項１に記載の方法。
  3. 前記ループ内色残差変換は、ＹＣｏＣｇ－Ｒ変換を含む、請求項２に記載の方法。
  4. 前記チャネル間ツールは、チャネル間色残差予測子を含む、請求項１に記載の方法。
  5. 前記チャネル間ツールを使用して前記エンコードされたビットストリームをデコードするステップは、
    第１の色チャネルについての再構築された残差を取得するステップと、
    前記第１の色チャネルについての前記再構築された残差に基づいて、第２の色チャネルについての再構築された残差を取得するステップと、を含む、
    請求項４に記載の方法。
  6. 前記エンコードされたビットストリームは、前記エンコードされたビットストリームにおいてシグナリングされたフラグに基づいて、前記チャネル間ツールを使用してエンコードされると判定される、請求項１～５のうちのいずれか１項に記載の方法。
  7. 前記フラグは、近傍点の色チャネルの値の間の差、または前記近傍点の前記色チャネルの再構築された残差値の間の差のうちの少なくとも１つに基づいて、前記エンコードされたビットストリームに設定される、請求項６に記載の方法。
  8. 第１の色チャネルについての再構築されたリフティング係数を取得するステップと、
    前記第１の色チャネルについての前記再構築されたリフティング係数に基づいて、第２の色チャネルについての再構築されたリフティング係数を取得するステップと、
    をさらに含む、
    請求項１～７のうちのいずれか１項に記載の方法。
  9. コンピュータプログラムコードを記憶するように構成される少なくとも１つのメモリと、
    前記少なくとも１つのメモリにアクセスし、前記コンピュータプログラムコードに従って動作するように構成される少なくとも１つのプロセッサであって、前記コンピュータプログラムコードは、
    前記少なくとも１つのプロセッサに、点群に対応するエンコードされたビットストリームを取得させるように構成される第１の取得コードと、
    前記少なくとも１つのプロセッサに、前記エンコードされたビットストリームがチャネル間無相関化のためのチャネル間ツールを使用してエンコードされたか否かを判定させるように構成される判定コードと、
    前記少なくとも１つのプロセッサに、前記エンコードされたビットストリームが前記チャネル間ツールを使用してエンコードされたと判定されたことに基づき、前記点群に対応する属性信号を再構築するために、前記チャネル間ツールを使用して前記エンコードされたビットストリームをデコードさせるように構成されるデコーディングコードと、
    前記少なくとも１つのプロセッサに、再構築された属性信号を使用して前記点群を再構築させるように構成される再構築コードと、
    を含む、
    少なくとも１つのプロセッサと、を備える
    点群属性コーディングのための装置。
  10. 前記チャネル間ツールは、ループ内色残差変換を含む、請求項９に記載の装置。
  11. 前記ループ内色残差変換は、ＹＣｏＣｇ－Ｒ変換を含む、請求項１０に記載の装置。
  12. 前記チャネル間ツールは、チャネル間色残差予測子を含む、請求項９に記載の装置。
  13. 前記デコーディングコードは、
    前記少なくとも１つのプロセッサに、第１の色チャネルについての再構築された残差を取得させるように構成される、第２の取得コードと、
    前記少なくとも１つのプロセッサに、前記第１の色チャネルについての前記再構築された残差に基づいて、第２の色チャネルについての再構築された残差を取得させるように構成される、第３の取得コードと、を含む、
    請求項１２に記載の装置。
  14. 前記エンコードされたビットストリームは、前記エンコードされたビットストリームにおいてシグナリングされたフラグに基づいて、前記チャネル間ツールを使用してエンコードされると判定される、請求項９～１３のうちのいずれか１項に記載の装置。
  15. 前記フラグは、近傍点の色チャネルの値の間の差、または前記近傍点の前記色チャネルの再構築された残差値の間の差のうちの少なくとも１つに基づいて、前記エンコードされたビットストリームに設定される、請求項１４に記載の装置。
  16. 前記コンピュータプログラムコードは、
    前記少なくとも１つのプロセッサに、第１の色チャネルの再構築されたリフティング係数を取得させるように構成される、第４の取得コードと、
    前記少なくとも１つのプロセッサに、前記第１の色チャネルについての前記再構築されたリフティング係数に基づいて、第２の色チャネルについての再構築されたリフティング係数を取得させるように構成される、第５の取得コードと、をさらに含む、
    請求項９～１５のうちのいずれか1項に記載の装置。
  17. 点群属性コーディングのための装置の一つ以上のプロセッサによって実行される場合、前記一つ以上のプロセッサに、
    点群に対応するエンコードされたビットストリームを取得するステップと、
    前記エンコードされたビットストリームがチャネル間無相関化のためのチャネル間ツールを使用してエンコードされたか否かを判定するステップと、
    前記エンコードされたビットストリームが前記チャネル間ツールを使用してエンコードされたと判定されたことに基づき、前記点群に対応する属性信号を再構築するために、前記チャネル間ツールを使用して前記エンコードされたビットストリームをデコードするステップと、
    再構築された属性信号を使用して前記点群を再構築するステップと、
    を実行させるように構成される一つ以上の命令を含む、
    プログラム。
  18. 前記チャネル間ツールは、ループ内色残差変換を含む、請求項１７に記載のプログラム。
  19. 前記チャネル間ツールは、チャネル間色残差予測子を含む、請求項１７に記載のプログラム。
  20. 前記一つ以上の命令は、さらに、前記一つ以上のプロセッサに、
    第１の色チャネルについての再構築された残差を取得するステップと、
    前記第１の色チャネルについての前記再構築された残差に基づいて、第２の色チャネルについての再構築された残差を取得するステップと、を実行させるように構成される、
    請求項１７～１９のうちのいずれか１項に記載のプログラム。
JP2021556274A 2019-10-10 2020-10-02 点群属性コーディングのためのチャネル間予測および変換の技術並びに装置 Active JP7213368B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962913495P 2019-10-10 2019-10-10
US62/913,495 2019-10-10
US17/034,896 2020-09-28
US17/034,896 US11284111B2 (en) 2019-10-10 2020-09-28 Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
PCT/US2020/053979 WO2021071753A1 (en) 2019-10-10 2020-10-02 Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding

Publications (2)

Publication Number Publication Date
JP2022535484A JP2022535484A (ja) 2022-08-09
JP7213368B2 true JP7213368B2 (ja) 2023-01-26

Family

ID=75382298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021556274A Active JP7213368B2 (ja) 2019-10-10 2020-10-02 点群属性コーディングのためのチャネル間予測および変換の技術並びに装置

Country Status (6)

Country Link
US (1) US11284111B2 (ja)
EP (1) EP4042376A4 (ja)
JP (1) JP7213368B2 (ja)
KR (1) KR20210136082A (ja)
CN (1) CN113795870B (ja)
WO (1) WO2021071753A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551334B2 (en) * 2020-01-09 2023-01-10 Tencent America LLC Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
CN118435598A (zh) * 2021-12-30 2024-08-02 Oppo广东移动通信有限公司 一种解码方法、编码方法、解码器、编码器及存储介质
WO2023131132A1 (en) * 2022-01-04 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
WO2024014205A1 (ja) * 2022-07-13 2024-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号方法、符号化方法、復号装置及び符号化装置
WO2024043659A1 (ko) * 2022-08-22 2024-02-29 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018534881A (ja) 2016-01-22 2018-11-22 三菱電機株式会社 点群を圧縮する方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
CN113259683B (zh) * 2013-04-08 2024-08-23 Ge视频压缩有限责任公司 分量间预测
US20150373327A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
US9734595B2 (en) 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
WO2016119746A1 (zh) * 2015-01-29 2016-08-04 同济大学 图像编码方法及装置、图像解码方法及装置
WO2018070914A1 (en) * 2016-10-12 2018-04-19 Telefonaktiebolaget Lm Ericsson (Publ) Residual refinement of color components
US11514613B2 (en) 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
CN109788290A (zh) * 2017-11-13 2019-05-21 慧荣科技股份有限公司 影像处理装置及利用帧内预测的无损影像压缩方法
WO2019098758A1 (ko) * 2017-11-16 2019-05-23 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019143602A1 (en) * 2018-01-16 2019-07-25 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018534881A (ja) 2016-01-22 2018-11-22 三菱電機株式会社 点群を圧縮する方法

Also Published As

Publication number Publication date
US11284111B2 (en) 2022-03-22
WO2021071753A1 (en) 2021-04-15
CN113795870B (zh) 2023-12-22
KR20210136082A (ko) 2021-11-16
EP4042376A4 (en) 2024-04-03
JP2022535484A (ja) 2022-08-09
US20210112276A1 (en) 2021-04-15
EP4042376A1 (en) 2022-08-17
CN113795870A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
JP7263521B2 (ja) インターフレーム点群属性符号化のための方法並びにその、装置およびコンピュータプログラム
JP7384520B2 (ja) フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム
JP7234375B2 (ja) 点群属性コーディングの加重中央値を予測するための手法及びデバイス並びにコンピュータプログラム
CN112771583B (zh) 处理点云数据的方法、装置和存储介质
JP7261300B2 (ja) 適応ポイントクラウド属性コーディングのための方法、装置、及びコンピュータプログラム
JP7213368B2 (ja) 点群属性コーディングのためのチャネル間予測および変換の技術並びに装置
CN112188197B (zh) 通道间点云属性解码方法、装置以及可读存储介质
RU2769460C1 (ru) Способ и устройство для кодирования коэффициентов трансформации с алфавитным разделением для сжатия облака точек
CN112218077B (zh) 通道间点云属性编码方法、装置以及可读存储介质
US11551334B2 (en) Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质
CN112616058B (zh) 视频编码或解码方法、装置、计算机设备和存储介质
CN112188216B (zh) 视频数据的编码方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230116

R150 Certificate of patent or registration of utility model

Ref document number: 7213368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150