JP7118501B2 - 符号化された映像ストリームを映像点群符号化を使用して復号するための方法、装置、媒体、およびプログラム - Google Patents

符号化された映像ストリームを映像点群符号化を使用して復号するための方法、装置、媒体、およびプログラム Download PDF

Info

Publication number
JP7118501B2
JP7118501B2 JP2021532298A JP2021532298A JP7118501B2 JP 7118501 B2 JP7118501 B2 JP 7118501B2 JP 2021532298 A JP2021532298 A JP 2021532298A JP 2021532298 A JP2021532298 A JP 2021532298A JP 7118501 B2 JP7118501 B2 JP 7118501B2
Authority
JP
Japan
Prior art keywords
boundary
smoothing
patch
point cloud
boundary points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021532298A
Other languages
English (en)
Other versions
JP2022511871A (ja
Inventor
アーラシュ・ヴォソウギ
セフン・ヤ
シャン・リュウ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2022511871A publication Critical patent/JP2022511871A/ja
Application granted granted Critical
Publication of JP7118501B2 publication Critical patent/JP7118501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本出願は2020年2月27日に出願された「Method and Apparatus for Enhanced Patch Boundary Identification for Point Cloud Compression」という名称の米国特許出願第16／803，093号明細書の優先権の利益を主張し、これは2019年3月1日に出願された米国仮特許出願第62／812，962号の優先権を主張する。先行出願の全開示は、参照することによってその全体が本願に組み込まれる。
本開示は、一連の先進的な映像符号化技術に関し、より詳細には、映像に基づく点群圧縮に関する。
先進的な三次元（3D）の世界表現によって、より没入的な形態の相互作用及び通信が可能になっている。これにより、機械がわれわれの住む世界を理解し、解釈し、ナビゲートすることも可能になっている。点群は、世界の3D表現として広く使用されてきた。点群データに関連付けられるいくつかの使用事例が特定されており、点群の表現及び圧縮に対する対応要件がいくつか開発されている。
点群は、3D空間における一組の点であってもよく、それぞれが色、材料特性などの関連付けられた属性を有する。点群は、このような点の成分として、オブジェクト又はシーンの再構築に使用することができる。点群は、さまざまに設定した複数のカメラ及び深度センサを使用して捕捉でき、再構築されたシーンをリアルに表現するために、数千から最大数十億までの点でできていてもよい。
点群の表現に必要なデータの量を削減するために、圧縮技術が必要になる。このように、リアルタイム通信及び6つの自由度（Degrees of Freedom、DoF）の仮想現実に使用するための、点群の非可逆圧縮技術が必要とされる場合がある。また、自動運転や文化遺産などに関する用途で動的にマッピングする観点から、可逆点群圧縮の技術が模索されている。MPEGでは、形状及び色や反射などの属性の圧縮、スケーラブル／プログレッシブ符号化、経時的に捕捉された点群のシーケンスの符号化、並びに点群のサブセットに対するランダムアクセスに対処するための標準の作成を開始した。
実施形態によれば、映像点群符号化を使用して、符号化された映像ストリームを復号する方法は、少なくとも1つのプロセッサによって実行され、1つ以上のパッチに基づいて形状再構築点群を取得する、ステップと、1つ以上のパッチの中から、パッチの第1の境界を識別するステップであって、第1の境界は複数の第1の境界点を含む、ステップと、第1の境界の内側で、パッチの第2の境界を識別するステップであって、第2の境界は複数の第2の境界点を含む、ステップと、複数の第1の境界点及び複数の第2の境界点で、平滑化を実行する、ステップと、平滑化された複数の第1の境界点、及び平滑化された複数の第2の境界点に基づいて、平滑化された形状再構築点群を取得する、ステップと、平滑化された形状再構築点群を使用して、動的点群を再構築する、ステップとを含む。
実施形態によれば、映像点群符号化を使用して符号化された映像ストリームを復号する装置は、プログラムコードを記憶するように構成された、少なくとも1つのメモリと、プログラムコードを読み出し、プログラムコードに命令された通りに動作するように構成された、少なくとも1つのプロセッサとを備え、プログラムコードは、少なくとも1つのプロセッサに、1つ以上のパッチに基づいて形状再構築点群を取得させるように構成された、第1の取得コードと、少なくとも1つのプロセッサに、1つ以上のパッチの中から、パッチの第1の境界を識別させるように構成された、第1の識別コードであって、第1の境界は複数の第1の境界点を含む、第1の識別コードと、少なくとも1つのプロセッサに、第1の境界の内側で、パッチの第2の境界を識別させるように構成された、第2の識別コードであって、第2の境界は複数の第2の境界点を含む、第2の識別コードと、少なくとも1つのプロセッサに、複数の第1の境界点及び複数の第2の境界点で平滑化を実行させるように構成された、平滑化コードと、少なくとも1つのプロセッサに、平滑化された複数の第1の境界点、及び平滑化された複数の第2の境界点に基づいて、平滑化された形状再構築点群を取得させるように構成された、第2の取得コードと、少なくとも1つのプロセッサに、平滑化された形状再構築点群を使用して、動的点群を再構築させるように構成された、再構築コードとを含む。
実施形態によれば、映像点群符号化を使用して、符号化された映像ストリームを復号するコンピュータ命令を記憶する、非一時的なコンピュータ可読媒体であって、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサが、1つ以上のパッチに基づいて形状再構築点群を取得し、1つ以上のパッチの中から、パッチの第1の境界を識別し、第1の境界は複数の第1の境界点を含み、第1の境界の内側で、パッチの第2の境界を識別し、第2の境界は複数の第2の境界点を含み、複数の第1の境界点及び複数の第2の境界点で、平滑化を実行し、平滑化された複数の第1の境界点、及び平滑化された複数の第2の境界点に基づいて、平滑化された形状再構築点群を取得し、平滑化された形状再構築点群を使用して、動的点群を再構築する。
本開示の主題のさらなる特徴、性質、及びさまざまな利点は、以下の詳細な説明、及び添付の図面でより明らかになるであろう。
実施形態による、通信システムの簡素化されたブロック図の概略図である。 実施形態による、ストリーミングシステムの簡素化されたブロック図の概略図である。 実施形態による、映像符号器の簡素化されたブロック図の概略図である。 実施形態による、映像復号器の簡素化されたブロック図の概略図である。 実施形態による、形状画像の例を示す。 実施形態による、テクスチャ画像の例を示す。 実施形態による、パッチ占有の例示的な実施形態を示す。 実施形態による、パッチ占有の別の例示的な実施形態を示す。 実施形態によって実行されるプロセスを示すフロー図である。 実施形態による装置を示す図である。 実施形態の実施に適したコンピュータシステムの図である。
映像に基づく点群圧縮（video－based point cloud compression、V－PCC）の考え方の背景にあるのは、既存の映像コーデックを利用して、動的点群の形状、占有、及びテクスチャを3つの個別の映像シーケンスとして圧縮することである。3つの映像シーケンスの解釈に必要な余分なメタデータは、個別に圧縮されてもよい。ビットストリーム全体の小部分がメタデータであり、ソフトウェア実装を使用して効率的に符号化／復号することができる。映像コーデックによって、大量の情報が処理され得る。
図1から図4を参照すると、本開示の符号化及び復号の構造を実施するための、本開示の実施形態が説明されている。本開示の符号化及び復号の構造は、上述したV－PCCの態様を実施してもよい。
図1は、本開示の実施形態による、通信システム100の簡素化されたブロック図を示す。システム100は、ネットワーク150を介して相互接続された、少なくとも2つの端末110、120を含んでもよい。データの一方向伝送の場合、第1の端末110は、ネットワーク150を介してもう一方の端末120に送信する映像データをローカル位置で符号化してもよい。第2の端末120は、ネットワーク150からもう一方の端末の符号化された映像データを受信し、符号化されたデータを復号して、回復された映像データを表示してもよい。一方向のデータ伝送は、媒体供給用途などにおいて一般的であろう。
図1は、例えば、ビデオ会議中に生じる場合がある、符号化された映像の双方向伝送をサポートするために提供される、第2の対の端末130、140を示す。データの双方向伝送の場合、各端末130、140は、ネットワーク150を介してもう一方の端末に送信する、ローカル位置で捕捉した映像データを符号化してもよい。各端末130、140は、もう一方の端末によって送信された符号化された映像データを受信してもよく、符号化されたデータを復号してもよく、且つ回復された映像データをローカルの表示装置に表示してもよい。
図1において、端末110～140は、例えば、サーバ、パソコン、及びスマートフォン、且つ／又は他の任意の種類の端末であってもよい。例えば、端末（110～140）は、ノートパソコン、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器であってもよい。ネットワーク150は、符号化された映像データを端末110～140間に伝達する、有線及び／又は無線通信ネットワークなどを含む任意の数のネットワークを表す。通信ネットワーク150は、回線交換チャネル及び／又はパケット交換チャネルでデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットを含む。本考察の目的のために、ネットワーク150のアーキテクチャ及びトポロジは、以下で説明されない限り、本開示の運用には無関係な場合がある。
図2は、開示される主題の適用例として、ストリーミング環境における映像符号器及び復号器の配置を示す。開示される主題は、例えば、ビデオ会議や、デジタルテレビや、CD、DVD、メモリスティックなどのデジタル媒体への圧縮映像の記憶などを含む、他の映像使用用途に使用することができる。
図2に示すように、ストリーミングシステム200は、映像ソース201及び符号器203を含む、捕捉サブシステム213を含んでもよい。ストリーミングシステム200は、少なくとも1つのストリーミングサーバ205、及び／又は少なくとも1つのストリーミングクライアント206をさらに備えてもよい。
映像ソース201は、例えば、3D映像に対応する3D点群を含むストリーム202を生成することができる。映像ソース201は、例えば、3Dセンサ（例えば、深度センサ）、又は3D撮像技術（例えば、デジタルカメラ）、及び3Dセンサ又は3D撮像技術から受信したデータを使用して3D点群を生成するように構成されたコンピュータ機器を含んでもよい。符号化映像ビットストリームと比較してデータ量が大きくてもよいサンプルストリーム202は、映像ソース201に結合された符号器203によって処理することができる。以下でより詳細に説明するように、符号器203は、開示される主題の態様を可能にする、又は実施するために、ハードウェア、ソフトウェア、又はこれらの組合せを含むことができる。符号器203は、符号化映像ビットストリーム204をさらに生成してもよい。圧縮されていないストリーム202と比較して、データ量が小さくてもよい符号化映像ビットストリーム204は、後で使用するためにストリーミングサーバ205に記憶することができる。1つ以上のストリーミングクライアント206は、符号化映像ビットストリーム204のコピーであってもよい映像ビットストリーム209を検索するために、ストリーミングサーバ205にアクセスすることができる。
ストリーミングクライアント206は、映像復号器210と、表示装置212とを備えることができる。映像復号器210は、例えば、着信した符号化映像ビットストリーム204のコピーである映像ビットストリーム209を復号して、表示装置212、又は他の表示装置（図示せず）に表示可能な、発信する映像サンプルストリーム211を生成することができる。一部のストリーミングシステムでは、映像ビットストリーム204、209は、いくつかの映像符号化／圧縮標準に従って符号化することができる。このような標準の例は、これに限定されないが、ITU－T勧告H．265、汎用映像符号化（Versatile Video Coding、VVC）、及びMPEG／V－PCCを含む。
図3及び図4を参照しながら、本開示の実施形態によって実行され得るV－PCCのいくつかの態様について、以下で説明する。
図3は、本開示の実施形態による、映像符号器203の例示的な機能ブロック図である。
図3に示すように、映像符号器203は、点群フレーム350を受信して、点群フレーム350に基づいて、形状画像352、テクスチャ画像356、及び占有マップ334を生成してもよい。映像符号器203は、形状画像352を圧縮して圧縮された形状画像362にし、テクスチャ画像356を圧縮して圧縮されたテクスチャ画像364にし、且つ占有マップ334を圧縮して圧縮された占有マップ372にしてもよい。映像符号器203のマルチプレクサ328は、圧縮された形状画像362、圧縮されたテクスチャ画像364、及び圧縮された占有マップ372を含む、圧縮されたビットストリーム374を形成してもよい。
より詳細には、実施形態において、映像符号器203は、点群フレーム350をパッチに分割する、パッチ生成モジュール302を備えてもよい。パッチはV－PCCの有用なエンティティである。パッチ生成プロセスは、点群フレーム350を分解して、平滑な境界を有する最小の数のパッチにすることを含み、その一方で、再構築誤差を最小にすることをさらに含む。本開示の符号器は、このような分解を生じさせるために、さまざまな方法を実施し得る。
映像符号器203は、パッキングプロセスを実行するパッチパッキングモジュール304を備えてもよい。パッキングのプロセスは、未使用の空間を最小にしながら、抽出したパッチを2Dグリッドにマッピングすること、及びグリッドのM×M（例えば、16×16）のブロックがいずれも、一意のパッチに関連付けられるように保証することを含む。効率的なパッチパッキングは、未使用空間を最小化することによって、或いは時間的整合性を確保することによって、圧縮効率に直接的な影響を及ぼす。パッチパッキングモジュール304は、占有マップ334を生成し得る。
映像符号器203は、形状画像生成モジュール306、及びテクスチャ画像生成モジュール308を備えてもよい。同一サンプルに複数の点が投影される事例に対処するために、各パッチをレイヤと呼ばれる2つの画像に投影してもよい。例えば、形状画像生成モジュール306及びテクスチャ画像生成モジュール308は、点群の形状及びテクスチャを画像（レイヤとも呼ばれる）として記憶するために、パッチパッキングモジュール304のパッキングプロセス中に計算された、3Dから2Dへのマッピングを使用してもよい。生成された画像／レイヤは、映像フレームとして記憶され、パラメータとして提供される構成に従って、映像コーデック（例えば、HM映像コーデック）を使用して圧縮されてもよい。
実施形態では、入力点群フレーム350及び占有マップ334に基づいて、形状画像生成モジュール306は形状画像352を形成し、テクスチャ画像生成モジュール308はテクスチャ画像356を生成する。形状画像352の例は図5に示され、テクスチャ画像356の例は図6に示されている。一実施形態では、形状画像352はYUV420－8ビット形式で、W×Hの単色フレームで表されてもよい。一実施形態では、占有マップ334画像は、グリッドの各セルが空間に属するか、それとも点群に属するかを示すバイナリマップからなるテクスチャ画像356を生成するために、テクスチャ画像生成モジュール308は、リサンプルされた点に関連付けられる色を計算する目的で、再構築された／平滑化された形状358を使用してもよい。
映像符号器203はさらに、パディングされた形状画像354及びパディングされたテクスチャ画像360を形成するために、形状画像352をパディングする画像パディングモジュール314、及びテクスチャ画像356をパディングする画像パディングモジュール316をそれぞれ備えてもよい。画像パディング（背景の充填とも呼ばれる）とは単に、画像の使用されていない空間を冗長情報で埋める。良好な背景の充填とは、パッチ境界の周囲に著しい符号化歪みを導入しないようにしながら、ビットレートの増加を最小化するものである。画像パディングモジュール314及び画像パディングモジュール316は、パディングされた形状画像354、及びパディングされたテクスチャ画像360をそれぞれ形成するために、占有マップ334を使用してもよい。一実施形態では、映像符号器203は、パディングされたテクスチャ画像360を形成するために、グループ拡大モジュール320を備えてもよい。グループ拡大モジュール320は、例えば、さまざまなフレームのパッチ間の空間的な一貫性を確保するために使用されてもよい。
映像符号器203は、パディングされた形状画像354を圧縮して圧縮された形状画像362にする映像圧縮モジュール322、及びパディングされたテクスチャ画像360を圧縮して圧縮されたテクスチャ画像364にする映像圧縮モジュール324をそれぞれ備えてもよい。
映像符号器203は、占有マップ334の可逆符号化366用のエントロピー圧縮モジュール318、及び占有マップ334の非可逆符号化368用の映像圧縮モジュール326を備えてもよい。可逆符号化366と非可逆符号化368との間の切り換えの状況は、例えば、着信した点群350のビットレート、又はビットストリーム374のビットレートに基づいて決定されてもよい。
実施形態では、映像符号器203は、映像圧縮モジュール322によって提供される再構築された形状画像365と、パッチ情報332とを使用して平滑化された形状358を生成する、平滑化モジュール310を備えてもよい。平滑化モジュール310の平滑化手順は、圧縮アーティファクトによってパッチ境界に生じ得る、潜在的な不連続性を緩和することを目的としてもよい。平滑化された形状358は、テクスチャ画像356を生成するために、テクスチャ画像生成モジュール308によって使用されてもよい。
映像符号器203は、圧縮された補助パッチ情報370を形成する、補助パッチ情報圧縮モジュール312をさらに備えてもよく、圧縮された補助パッチ情報370は、マルチプレクサ328によって圧縮されたビットストリーム374として提供される。
図4は、本開示の実施形態による、映像復号器210の例示的な機能ブロック図である。
図4に示すように、映像復号器210は、映像符号器203から符号化されたビットストリーム374を受信して、圧縮されたテクスチャ画像362、圧縮された形状画像364、圧縮された占有マップ372、及び圧縮された補助パッチ情報370を取得してもよい。映像復号器210は、圧縮されたテクスチャ画像362、圧縮された形状画像364、圧縮された占有マップ372、及び圧縮された補助パッチ情報370を復号して、復元されたテクスチャ画像460、復元された形状画像462、復元された占有マップ464、及び復元された補助パッチ情報466をそれぞれ取得してもよい。続いて、映像復号器210は、復元されたテクスチャ画像460、復元された形状画像462、復元された占有マップ464、及び復元された補助パッチ情報466に基づいて、再構築された点群474を生成してもよい。
実施形態では、映像復号器210は、受信した圧縮されたビットストリーム374の、圧縮されたテクスチャ画像362、圧縮された形状画像364、圧縮された占有マップ372、及び圧縮された補助パッチ情報370を分配する、デマルチプレクサ402を備えてもよい。
映像復号器210は、圧縮されたテクスチャ画像362を復号する映像復元モジュール404、圧縮された形状画像364を復号する映像復元モジュール406、圧縮された占有マップ372を復号する占有マップ復元モジュール408、及び圧縮された補助パッチ情報370を復号する補助パッチ情報復元モジュール410をそれぞれ備えてもよい。
映像復号器210は、復元された形状画像462、復元された占有マップ464、及び復元された補助パッチ情報466に基づいて再構築された（三次元の）形状468を取得する、形状再構築モジュール412を備えてもよい。
映像復号器210は、再構築された形状468を平滑化して平滑化された形状470を取得する、平滑化モジュール414を備えてもよい。平滑化手順は、圧縮アーティファクトによってパッチ境界に生じ得る、潜在的な不連続性を緩和することを目的とし得る。
映像復号器210は、復元されたテクスチャ画像460及び平滑化された形状470に基づいて、再構築されたテクスチャ472を取得する、テクスチャ再構築モジュール416を備えてもよい。
映像復号器210は、再構築されたテクスチャ472の色を平滑化して再構築された点群474を取得する、色平滑化モジュール418を備えてもよい。3D空間内で隣接していないパッチが、2D映像内で互いに隣接してパッキングされることがしばしばある。これは、隣接していないパッチの画素値が、ブロックに基づく映像コーデックによって混合する場合があることを意味する。色平滑化モジュール418の色平滑化は、パッチ境界に現れる、目に見えるアーティファクトを削減することを目的としてもよい。
形状映像の圧縮後に、圧縮された形状映像と、対応する占有マップとを使用して点群が再構築されてもよく、これは形状再構築群と呼ばれてもよい。その後、結果として生じた形状再構築群に色が移行されてもよい。色の移行の前に、形状再構築群に形状平滑化が適用されてもよい。
形状平滑化の目的は、形状圧縮によって、且つ高解像度の占有マップを低解像度のものに変換することによって、パッチ境界で歪んだ形状を回復することであってもよい。しかしながら、量子化誤差がパッチ境界の近く又は遠くで、パッチ内部の再構築された深度値に影響を及ぼす場合があり、再構築表面が平滑でなくなる可能性がある。
現行のV－PCC標準では、平滑化はパッチ境界にのみ適用される場合がある。しかしながら、平滑化をパッチの内部にも適用すれば有利であろう。本開示の実施形態は、パッチ境界に対してだけでなく、パッチ境界に近い領域、及びパッチ内部にも平滑化フィルタを適用することに関する。
1つの実施形態では、パッチ内で1つ又はいくつかの内部境界が画定されてもよい。各内部境界は、占有マップの一組の画素を含む。図7A及び図7Bは、パッチ占有画像の例示的な実施形態を示し、占有された画素は白及び灰色で、占有されていない点は黒で示されている。図7Aは、実施形態による、パッチ710及びその境界点720の占有を示す。図7Bは、パッチ730及び3つの境界の占有を示し、3つの境界は具体的には、境界点720に対応し得る境界点740、並びに境界点750及び境界点760を含み得る、2つの別の内部境界である。
本開示の実施形態は、実際のパッチ境界だけでなく、全ての内部境界に1つ以上の平滑化フィルタを適用することに関する。このような余分な点は、平滑化するために、V－PCCによって作成された点のリストに追加される。内部境界の幅は、異なっていてもよい。例えば、計算複雑性を制御するために、深い内部境界は厚くなっていてもよい。
別の実施形態では、平滑化は、異なる内部境界に対しては異なる重みで行われてもよい。重みは、パッチの対応する深度値を使用して、適応的に制御することができる。例えば、境界の内側で深度の分散が比較的大きければ、より大きい平滑化の重みを使用することができる。このような重みはさらにローカルで計算することができ、或いは特定の内部境界に属する画素全体の固定値として指定することができる。
別の実施形態では、V－PCCによって使用されるパッチ境界の識別が改善され得る。第1の内部境界はパッチ境界のすぐ内側にあってもよく、第1の拡張部分と呼ばれてもよいが、これを得るために占有画素の組からパッチ境界点の組が除去されてもよく、次に、その結果できた占有マップのパッチ境界を見つけることによって、第1の内部境界が見出され得る。
別の実施形態では、より多くの内部境界を作成するために、上述したプロセスを2回以上適用することができる。
上述したパッチ侵食プロセスは、以下の数式1で表され得る。
Figure 0007118501000001
元の占有マップは
Figure 0007118501000002
 で表されてもよく、
Figure 0007118501000003
 に対応するパッチ境界はL＿1で表されてもよい。
Figure 0007118501000004
 は、構造要素sによる占有マップXの侵食を表してもよく、X－Yは、Xに属するがYには属さない占有画素の組を表してもよい。
したがって、i番目（1＜i）のレイヤは、以下の数式2及び数式3を使用して計算され得る。
Figure 0007118501000005
実施形態によれば、異なる内部境界には異なる平滑化の重みを適用することができる。例えば、パッチ境界に近い点と比較して、パッチ内部の点は重い平滑化を必要としないため、平滑化の重みはパッチ内部の深いところほど減少させてもよい。
上述した実施形態を信号送信するためのメタデータ構文の例を、以下の表1に示す。
Figure 0007118501000006
上記の表1において、enhanced＿boundary＿identification＿present＿flagは、強化された境界識別が使用されるかどうかを示し得る。
number＿of＿inner＿boundariesは、内部境界の数を示し得る。
smoothing＿weight＿per＿inner＿boundary［i］は、i番目の内部境界の平滑化の重みを示し得る。
例示的な復号プロセスは、パッチ内部境界の数、及びパッチ内部境界ごとの平滑化の重みを入力としてもよい。
占有マップを復号した後で、復号器A復号器、例えば、復号器210は、例えば、V－PCC標準で指定された方法で、パッチ境界点を見つけてもよい。次に、復号器は、各内部境界に属する占有画素を順に得てもよい。各内部境界に対応する復号された平滑化の重みを使用して、各内部境界の点に対して形状平滑化が行われてもよい。
図8は、実施形態による、映像点群符号化を使用して符号化された映像ストリームを、復号する方法800のフローチャートである。いくつかの実施では、復号器210によって図8の1つ以上のプロセスブロックが実行され得る。いくつかの実施では、図8の1つ以上のプロセスブロックが、符号器203とは別の装置、又は符号器203を含む一群の装置（例えば、符号器203）によって実行されてもよい。
図8に示すように、動作810において方法800は、形状再構築点群を取得するステップを含んでもよい。
動作820において、方法800は、1つ以上のパッチの中からパッチの第1の境界を識別するステップを含んでもよく、第1の境界は、複数の第1の境界点を含む。
動作830において、方法800は、第1の境界の内側で、パッチの第2の境界を識別するステップを含んでもよく、第2の境界は、複数の第2の境界点を含む。
動作840において、方法800は、複数の第1の境界点及び複数の第2の境界点で、平滑化を実行するステップを含んでもよい。
動作850において、方法800は、平滑化された複数の第1の境界点及び平滑化された複数の第2の境界点に基づいて、平滑化された形状再構築点群を取得するステップを含んでもよい。
動作860において、方法800は、平滑化された形状再構築点群を使用して、動的点群を再構築するステップを含んでもよい。
一実施形態では、第1の境界はパッチの縁部に配置されてもよい。
一実施形態では、方法800は、第1の平滑化フィルタを使用して、複数の第1の境界点を平滑化するステップと、第1の平滑化フィルタとは異なる第2の平滑化フィルタを使用して、複数の第2の境界点を平滑化するステップとをさらに含んでもよい。
一実施形態では、第1の平滑化フィルタの第1の平滑化の重みは、第2の平滑化フィルタの第2の平滑化の重みよりも大きくてもよい。
一実施形態では、第1の境界は第1の境界厚さを有してもよく、第2の境界は、第1の境界厚さよりも大きい第2の境界厚さを有してもよい。
一実施形態では、方法800は、第2の境界の内側の、パッチの第3の境界を識別するステップであって、第3の境界が複数の第3の境界点を含んでもよいステップと、複数の第3の境界点で平滑化を実行するステップと、平滑化された複数の第1の境界点、平滑化された複数の第2の境界点、及び平滑化された複数の第3の境界点に基づいて、平滑化された形状再構築点群を取得するステップとをさらに含んでもよい。
一実施形態では、方法800は、第1の平滑化フィルタを使用して、複数の第1の境界点を平滑化するステップと、第1の平滑化フィルタとは異なる第2の平滑化フィルタを使用して、複数の第2の境界点を平滑化するステップと、第2の平滑化フィルタ及び第1の平滑化フィルタとは異なる第3の平滑化フィルタを使用して、複数の第3の境界点を平滑化するステップとをさらに含んでもよい。
第1の平滑化フィルタの第1の平滑化の重みは、第2の平滑化フィルタの第2の平滑化の重みよりも大きくてもよく、第2の平滑化フィルタの第2の平滑化の重みは、第3の平滑化フィルタの第3の平滑化の重みよりも大きくてもよい。
一実施形態では、方法800は、パッチから複数の第1の境界点を除去することによって、侵食されたパッチを取得するステップと、侵食されたパッチの縁部に配置された、侵食されたパッチの境界を識別するステップと、侵食されたパッチの境界に基づいて、パッチの第2の境界を決定するステップとをさらに含んでもよい。
一実施形態では、映像ストリームのメタデータは、決定されるべき境界の数、及び各境界に適用されるべき平滑化の重みのうちの、少なくとも1つを示してもよい。
図8は方法800の例示的なブロックを示しているが、いくつかの実施では、方法800は、追加のブロック、より少ないブロック、異なるブロック、又は図8に示すものとは異なるように配置されたブロックを含んでもよい。これに加えて、又はこれに代えて、方法800の2つ以上のブロックが並行して実行されてもよい。
図9は、実施形態による、映像点群符号化を使用して符号化された映像ストリームを復号する装置900の図である。図9に示すように、装置900は、第1の取得コード910と、第1の識別コード920と、第2の識別コード930と、平滑化コード940と、第2の取得コード950と、再構築コード960とを含む。
第1の取得コード910は、少なくとも1つのプロセッサに、1つ以上のパッチに基づいて、形状再構築点群を取得させるように構成されてもよい。
第1の識別コード920は、少なくとも1つのプロセッサに、1つ以上のパッチの中から第1の境界を識別させるように構成されてもよく、第1の境界は複数の第1の境界点を含む。
第2の識別コード930は、少なくとも1つのプロセッサに、第1の境界の内側でパッチの第2の境界を識別させるように構成されてもよく、第2の境界は複数の第2の境界点を含む。
平滑化コード940は、少なくとも1つのプロセッサに、複数の第1の境界点及び複数の第2の境界点で、平滑化を実行させるように構成されてもよい。
第2の取得コード950は、少なくとも1つのプロセッサに、平滑化された複数の第1の境界点及び平滑化された複数の第2の境界点に基づいて、平滑化された形状再構築点群を取得させるように構成されてもよい。
再構築コード960は、少なくとも1つのプロセッサに、平滑化された形状再構築点群を使用して動的点群を再構築させるように構成されてもよい。
前述した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施でき、1つ以上のコンピュータ可読媒体に物理的に記憶される。例えば、図10は、本開示のいくつかの実施形態の実施に適したコンピュータシステム1000を示す。
コンピュータソフトウェアは、任意の適切な機械コード又はコンピュータ言語を使用して符号化でき、これは、コンピュータ中央処理ユニット（CPU）、グラフィック処理ユニット（GPU）などによって、直接、又は解釈、マイクロコードの実行などを介して実行できる命令を含むコードを作成するために、アセンブリ、コンパイル、リンクなどの機構に従ってもよい。
命令は、パソコン、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、IoT（internet of things）装置など、さまざまな種類のコンピュータ又はその構成要素で実行することができる。
図10に示すコンピュータシステム1000の構成要素は例であって、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能の範囲に対して、限定を示唆することは意図されていない。構成要素の構成は、コンピュータシステム1000の非限定的な実施形態に示されている構成要素のいずれか1つ、又は構成要素の組合せに関して、依存性を有するものとも要件を有するものとも解釈されてはならない。
コンピュータシステム1000は、いくつかの人的インターフェース入力装置を備えてもよい。このような人的インターフェース入力装置は、例えば、触覚入力（キーを押す、スワイプする、データグローブを動かすなど）、音声入力（声、手をたたくなど）、視覚入力（身振りなど）、嗅覚入力（図示せず）による、1人以上のユーザによる入力に応答し得る。人的インターフェース装置は、音声（発話、音楽、周囲音など）、画像（走査画像、静止画カメラで取得される写真画像など）、映像（二次元映像、立体映像を含む三次元映像など）などの人による意識的な入力に必ずしも直接関与しない、いくつかの媒体の捕捉にさらに使用することができる。
入力人的インターフェース装置は、キーボード1001、マウス1002、トラックパッド1003、タッチスクリーン1010、データグローブ、ジョイスティック1005、マイク1006、スキャナ1007、カメラ1008のうちの1つ以上を含んでもよい（それぞれ1つのみが図示されている）。
コンピュータシステム1000は、いくつかの人的インターフェース出力装置を備えてもよい。このような人的インターフェース出力装置は、触覚出力、音声、光、及び臭い／味など、1人以上のユーザの感覚を刺激し得る。このような人的インターフェース出力装置は、触覚出力装置（例えば、タッチスクリーン1010、データグローブ、又はジョイスティック1005による触覚フィードバック、ただし入力装置として機能しない触覚フィードバック装置もあり得る）を含んでもよい。例えば、このような装置は、音声出力装置（スピーカ1009、ヘッドホン（図示せず））、視覚出力装置（それぞれがタッチスクリーン入力能力を有するか又は有さず、それぞれが触覚フィードバック能力を有するか又は有さず、そのうちのいくつかは二次元映像出力、又は立体出力などの手段によって三次元を上回る出力を出力可能であってもよい、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン1010など、仮想現実グラス（図示せず）、ホログラフィック表示、煙発生装置（smoke tank（図示せず））、並びにプリンタ（図示せず））であってもよい。
コンピュータシステム1000は、人的にアクセス可能な記憶装置、及びCD／DVDなどの媒体1021を含むCD／DVD ROM／RW 1020、サムドライブ1022、取り外し可能なハードドライブ又はソリッドステートドライブ1023、テープ及びフロッピー（登録商標）ディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの専門化されたROM／ASIC／PLDに基づく装置（図示せず）を含む光学媒体などの、その関連媒体をさらに含むことができる。
ここで開示されている主題に関して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波その他の一時的な信号は含まないことを当業者にはさらに理解されたい。
コンピュータシステム1000は、1つ以上の通信ネットワークに対するインターフェースをさらに備えることができる。ネットワークは、例えば、無線、有線、光であってもよい。ネットワークはさらに、ローカル、広域、メトロポリタン、車載及び産業用、リアルタイム、遅延耐性などであってもよい。ネットワークの例は、イーサネットなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含む移動体通信ネットワーク、ケーブルテレビ、衛星テレビ、及び地上波テレビを含む有線テレビ又は無線の広域デジタルネットワーク、車載及びCANBusを含む産業用ネットワークなどを含む。いくつかのネットワークは一般に、いくつかの汎用データポート又は周辺バス1049（例えば、コンピュータシステム1000のUSBポート）に取り付けられる外部ネットワークインターフェースアダプタを必要とし、他のネットワークは一般に、後述するようにシステムバスに取り付けることによって（例えば、イーサネットインターフェースをPCコンピュータシステムに、又は移動体通信ネットワークインターフェースをスマートフォンのコンピュータシステムに）、コンピュータシステム1000のコアに統合される。このような任意のネットワークを使用して、コンピュータシステム1000は他のエンティティと通信することができる。このような通信は、一方向通信、受信専用通信（例えば、テレビ放送）、一方向送信専用通信（例えば、CANbusから一定のCANbus装置に送信する）、或いは、例えば、ローカル又は広域デジタルネットワークを使用する、他のコンピュータシステムに対する双方向通信であってもよい。このような通信は、クラウドコンピューティング環境1055との通信を含むことができる。前述したように、いくつかのプロトコル及びプロトコルスタックをこのような各ネットワーク及び各ネットワークインターフェースに使用することができる。
前述した人的インターフェース装置、人的にアクセス可能な記憶装置、及びネットワークインターフェース1054は、コンピュータシステム1000のコア1040に取り付けることができる。
コア1040は、1つ以上の中央処理ユニット（CPU）1041、グラフィック処理ユニット（GPU）1042、FPGA（Field Programmable Gate Areas）1043の形態の専門化されたプログラム可能処理ユニット、いくつかのタスク用のハードウェアアクセラレータ1044などを含むことができる。このような装置は、読出し専用メモリ（ROM）1045、ランダムアクセスメモリ1046、内部のユーザがアクセスできないハードドライブ、SSDなど1047の内部大容量記憶装置とともに、システムバス1048を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス1048は、追加のCPU、GPUなどによる拡張が可能なように、1つ以上の物理プラグの形態でアクセスすることができる。周辺装置は、コアのシステムバス1048に直接取り付ける、又は周辺バス1049を介して取り付けることができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。グラフィックアダプタ1050が、コア1040に含まれてもよい。
CPU1041、GPU1042、FPGA1043、及びアクセラレータ1044は、前述したコンピュータコードを作成できるいくつかの命令を、組み合わせて実行することができる。コンピュータコードは、ROM1045又はRAM1046に記憶させることができる。過渡的なデータもRAM1046に記憶でき、これに反し永続的なデータは、例えば、内部大容量記憶装置1047に記憶することができる。キャッシュメモリを使用することによって、任意のメモリ装置に素早く記憶し検索することが可能になり、1つ以上のCPU1041、GPU1042、大容量記憶装置1047、ROM1045、RAM1046などに密接に関連付けることができる。
コンピュータ可読媒体は、さまざまなコンピュータ実施動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構築されたものにすることができ、或いはコンピュータソフトウェアの分野の当業者によく知られ、当業者が使用可能な種類のものであってもよい。
例として、且つ制限する目的ではなく、アーキテクチャ1000、具体的にはコア1040を有するコンピュータシステムは、1つ以上の有形のコンピュータ可読媒体に具体化されたソフトウェアを実行する、（複数の）プロセッサ（CPU、GPU、FPGA、アクセラレータなど）の結果としての機能性を提供することができる。このようなコンピュータ可読媒体は、先に紹介したようなユーザがアクセス可能な大容量記憶装置、並びにコア内部大容量記憶装置1047又はROM1045などの、非一時的な性質をもつ、コア1040のいくつかの記憶装置に関連する媒体であってもよい。本開示のさまざまな実施形態を実施するソフトウェアは、このような装置に記憶させて、コア1040によって実行することができる。コンピュータ可読媒体は、特定の需要に従って、1つ以上のメモリ装置又はチップを含むことができる。ソフトウェアは、コア1040及び具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM1046に記憶されているデータ構造の定義、及びソフトウェアによって定義された工程に従ったこのようなデータ構造の変更を含む、本明細書で説明する特定の工程、又は特定の工程の特定の部分を実行させることができる。これに加えて、又はこれに代えて、コンピュータシステムは、回路（例えば、アクセラレータ1044）に配線された、或いは回路で具体化された論理の結果としての機能性を提供でき、本明細書で説明する特定の工程、又は特定の工程の特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアとともに動作させることができる。ソフトウェアに対する言及は、必要に応じて論理を包含することができ、その逆もまた可能である。コンピュータ可読媒体に対する言及は、必要に応じて実行するソフトウェアを記憶する（集積回路（IC）などの）回路、実行する論理を具体化する回路、又はその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組合せを包含する。
本開示は、いくつかの非限定的な実施形態について説明してきたが、変更、置換、及びさまざまな代替的な等価物があり、これらは本開示の範囲内に含まれる。したがって当業者であれば、本明細書に明確に図示又は説明されていなくても、本開示の原理を具体化し、したがってその原理と範囲内に含まれる多くのシステム及び方法を考案できることは理解されよう。
100 通信システム
110 第1の端末
120 第2の端末
130、140 対の端末
150 通信ネットワーク
200 ストリーミングシステム
201 映像ソース
202 サンプルストリーム
203 映像符号器
204 符号化映像ビットストリーム
205 ストリーミングサーバ
206 ストリーミングクライアント
209 映像ビットストリーム
210 映像復号器
211 映像サンプルストリーム
212 表示装置
213 捕捉サブシステム
302 パッチ生成モジュール
304 パッチパッキングモジュール
306 形状画像生成モジュール
308 テクスチャ画像生成モジュール
310 平滑化モジュール
312 補助パッチ情報圧縮モジュール
314 画像パディングモジュール
316 画像パディングモジュール
318 エントロピー圧縮モジュール
320 グループ拡大モジュール
322 映像圧縮モジュール
324 映像圧縮モジュール
326 映像圧縮モジュール
328 マルチプレクサ
332 パッチ情報
334 占有マップ
350 点群フレーム
352 形状画像
354 パディングされた形状画像
356 テクスチャ画像
358 平滑化された形状
360 パディングされたテクスチャ画像
362 圧縮された形状画像、圧縮されたテクスチャ画像
364 圧縮されたテクスチャ画像、圧縮された形状画像
365 再構築された形状画像
366 可逆符号化
368 非可逆符号化
370 圧縮された補助パッチ情報
372 圧縮された占有マップ
374 圧縮されたビットストリーム
402 デマルチプレクサ
404 映像復元モジュール
406 映像復元モジュール
408 占有マップ復元モジュール
410 補助パッチ情報復元モジュール
412 形状再構築モジュール
414 平滑化モジュール
416 テクスチャ再構築モジュール
418 色平滑化モジュール
460 復元されたテクスチャ画像
462 復元された形状画像
464 復元された占有マップ
466 復元された補助パッチ情報
468 再構築された形状
470 平滑化された形状
472 再構築されたテクスチャ
474 再構築された点群
710 パッチ
720 境界点
730 パッチ
740、750、760 境界点
800 方法
810 動作
820 動作
830 動作
840 動作
850 動作
860 動作
900 装置
910 第1の取得コード
920 第1の識別コード
930 第2の識別コード
940 平滑化コード
950 第2の取得コード
960 再構築コード
1000 コンピュータシステム
1001 キーボード
1002 マウス
1003 トラックパッド
1005 ジョイスティック
1006 マイク
1007 スキャナ
1008 カメラ
1009 スピーカ
1010 タッチスクリーン
1020 CD／DVD ROM／RW
1021 媒体
1022 USBメモリ（thumb－drive）
1023 ソリッドステートドライブ
1040 コア
1041 中央処理ユニット（CPU）
1042 グラフィック処理ユニット（GPU）
1043 FPGA
1044 アクセラレータ
1045 読出し専用メモリ（ROM）
1046 ランダムアクセスメモリ（RAM）
1047 内部大容量記憶装置
1048 システムバス
1049 周辺バス
1050 グラフィックアダプタ
1054 ネットワークインターフェース
1055 クラウドコンピューティング環境

Claims (13)

  1. 映像点群符号化を使用して、符号化された映像ストリームを復号する方法であって、前記方法は少なくとも1つのプロセッサによって実行され、前記方法は、
    1つ以上のパッチに基づいて形状再構築点群を取得する、ステップと、
    前記1つ以上のパッチの中から、パッチの第1の境界を識別するステップであって、前記第1の境界は複数の第1の境界点を含む、ステップと、
    前記第1の境界の内側で、前記パッチの第2の境界を識別するステップであって、前記第2の境界は複数の第2の境界点を含む、ステップと、
    前記複数の第1の境界点及び前記複数の第2の境界点で、平滑化を実行する、ステップと、
    前記平滑化された複数の第1の境界点、及び前記平滑化された複数の第2の境界点に基づいて、平滑化された形状再構築点群を取得する、ステップと、
    前記平滑化された形状再構築点群を使用して、動的点群を再構築する、ステップと
    を含む方法。
  2. 前記第1の境界が、前記パッチの縁部に配置されている、請求項1に記載の方法。
  3. 第1の平滑化フィルタを使用して、前記複数の第1の境界点を平滑化する、ステップと、
    前記第1の平滑化フィルタとは異なる第2の平滑化フィルタを使用して、前記複数の第2の境界点を平滑化する、ステップと
    をさらに含む請求項1または2に記載の方法。
  4. 前記第1の平滑化フィルタの第1の平滑化の重みが、前記第2の平滑化フィルタの第2の平滑化の重みよりも大きい、請求項3に記載の方法。
  5. 前記第1の境界が、第1の境界厚さを有し、
    前記第2の境界が、前記第1の境界厚さよりも大きい第2の境界厚さを有する、
    請求項1から4のいずれか一項に記載の方法。
  6. 前記第2の境界の内側で、前記パッチの第3の境界を識別するステップであって、前記第3の境界が複数の第3の境界点を含む、ステップと、
    前記複数の第3の境界点で平滑化を実行する、ステップと、
    前記平滑化された複数の第1の境界点、前記平滑化された複数の第2の境界点、及び前記平滑化された複数の第3の境界点に基づいて、平滑化された形状再構築点群を取得する、ステップと
    をさらに含む請求項1から5のいずれか一項に記載の方法。
  7. 第1の平滑化フィルタを使用して、前記複数の第1の境界点を平滑化する、ステップと、
    前記第1の平滑化フィルタとは異なる第2の平滑化フィルタを使用して、前記複数の第2の境界点を平滑化する、ステップと、
    前記第2の平滑化フィルタ及び前記第1の平滑化フィルタとは異なる第3の平滑化フィルタを使用して、前記複数の第3の境界点を平滑化する、ステップと
    をさらに含む請求項6に記載の方法。
  8. 前記第1の平滑化フィルタの第1の平滑化の重みが、前記第2の平滑化フィルタの第2の平滑化の重みよりも大きく、
    前記第2の平滑化フィルタの前記第2の平滑化の重みが、前記第3の平滑化フィルタの第3の平滑化の重みよりも大きい、
    請求項7に記載の方法。
  9. 前記パッチから前記複数の第1の境界点を除去することによって、侵食されたパッチを取得するステップと、
    前記侵食されたパッチの縁部に配置された、前記侵食されたパッチの境界を識別するステップと、
    前記侵食されたパッチの前記境界に基づいて、前記パッチの前記第2の境界を決定するステップと
    をさらに含む請求項1から8のいずれか一項に記載の方法。
  10. 前記映像ストリームのメタデータが、決定されるべき境界の数、及び前記境界のそれぞれに適用されるべき平滑化の重みのうちの、少なくとも1つを示す、請求項1から9のいずれか一項に記載の方法。
  11. 映像点群符号化を使用して符号化された映像ストリームを復号する装置であって、前記装置は、
    プログラムコードを記憶するように構成された、少なくとも1つのメモリと、
    前記プログラムコードを読み出し、前記プログラムコードに命令された通りに動作するように構成された、少なくとも1つのプロセッサと
    を備え、
    前記プログラムコードは、前記少なくとも1つのプロセッサに請求項1から10のいずれか一項に記載の方法を実行させるように構成された装置。
  12. 映像点群符号化を使用して、符号化された映像ストリームを復号するコンピュータ命令を記憶する、非一時的なコンピュータ可読記録媒体であって、少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサが、
    1つ以上のパッチに基づいて形状再構築点群を取得し、
    前記1つ以上のパッチの中から、パッチの第1の境界を識別し、前記第1の境界は複数の第1の境界点を含み、
    前記第1の境界の内側で、前記パッチの第2の境界を識別し、前記第2の境界は複数の第2の境界点を含み、
    前記複数の第1の境界点及び前記複数の第2の境界点で、平滑化を実行し、
    前記平滑化された複数の第1の境界点、及び前記平滑化された複数の第2の境界点に基づいて、平滑化された形状再構築点群を取得し、
    前記平滑化された形状再構築点群を使用して、動的点群を再構築する、
    非一時的なコンピュータ可読記録媒体。
  13. 一つまたは複数のプロセッサに、請求項1から10のいずれか一項に記載される方法を実行させるためのプログラム。
JP2021532298A 2019-03-01 2020-02-28 符号化された映像ストリームを映像点群符号化を使用して復号するための方法、装置、媒体、およびプログラム Active JP7118501B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962812962P 2019-03-01 2019-03-01
US62/812,962 2019-03-01
US16/803,093 2020-02-27
US16/803,093 US11127166B2 (en) 2019-03-01 2020-02-27 Method and apparatus for enhanced patch boundary identification for point cloud compression
PCT/US2020/020478 WO2020180723A1 (en) 2019-03-01 2020-02-28 Method and apparatus for enhanced patch boundary identification for point cloud compression

Publications (2)

Publication Number Publication Date
JP2022511871A JP2022511871A (ja) 2022-02-01
JP7118501B2 true JP7118501B2 (ja) 2022-08-16

Family

ID=72237158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021532298A Active JP7118501B2 (ja) 2019-03-01 2020-02-28 符号化された映像ストリームを映像点群符号化を使用して復号するための方法、装置、媒体、およびプログラム

Country Status (5)

Country Link
US (2) US11127166B2 (ja)
EP (1) EP3932077A4 (ja)
JP (1) JP7118501B2 (ja)
CN (1) CN113508598B (ja)
WO (1) WO2020180723A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272158B2 (en) * 2019-03-01 2022-03-08 Tencent America LLC Method and apparatus for point cloud compression
US20230074762A1 (en) * 2021-09-08 2023-03-09 Tencent America LLC Vertex reordering for mesh compression
US20230298216A1 (en) * 2022-03-15 2023-09-21 Tencent America LLC Predictive coding of boundary geometry information for mesh compression

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022514548A (ja) 2019-03-01 2022-02-14 テンセント・アメリカ・エルエルシー 点群解凍用方法、点群圧縮用方法及び装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2405776B (en) * 2003-09-05 2008-04-02 Canon Europa Nv 3d computer surface model generation
US7190364B2 (en) * 2004-08-09 2007-03-13 Siemens Medical Solution Usa, Inc. System and method for polygon-smoothing in texture-based volume rendering
US20130173230A1 (en) * 2011-12-28 2013-07-04 Carlos Carbonera Method and system for generating a multi-dimensional surface model of a geometric structure
US9870056B1 (en) * 2012-10-08 2018-01-16 Amazon Technologies, Inc. Hand and hand pose detection
US9734595B2 (en) * 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
IL291685B2 (en) * 2015-09-25 2023-09-01 Magic Leap Inc Methods and systems for discovering and integrating structural features in 3D reconstruction
US9652890B2 (en) * 2015-09-29 2017-05-16 Disney Enterprises, Inc. Methods and systems of generating an anatomically-constrained local model for performance capture
US10066925B2 (en) * 2016-02-02 2018-09-04 The Boeing Company Point cloud processing apparatus and method
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US20180053324A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
US10066946B2 (en) * 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
JP6818471B2 (ja) * 2016-08-31 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10848761B2 (en) * 2017-06-29 2020-11-24 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
CN111033575A (zh) * 2017-08-09 2020-04-17 夏普株式会社 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质
US11405643B2 (en) 2017-08-15 2022-08-02 Nokia Technologies Oy Sequential encoding and decoding of volumetric video
US11113845B2 (en) * 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
EP3467789A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for reconstructing a point cloud representing a 3d object
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
US10607373B2 (en) * 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10789733B2 (en) * 2017-11-22 2020-09-29 Apple Inc. Point cloud compression with multi-layer projection
US10699444B2 (en) * 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US11172201B2 (en) * 2017-12-18 2021-11-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CA3030513A1 (en) * 2018-01-19 2019-07-19 Sofdesk Inc. Automated roof surface measurement from combined aerial lidar data and imagery
US10964067B2 (en) * 2018-04-12 2021-03-30 Samsung Electronics Co., Ltd. Visual quality enhancement of reconstructed point clouds via color smoothing
US10904576B2 (en) * 2018-04-27 2021-01-26 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method for generating a prediction image using a plurality of pixels generated outside of a boundary of a reference picture on which smoothing has been performed
US20200004225A1 (en) * 2018-06-29 2020-01-02 Velo3D, Inc. Manipulating one or more formation variables to form three-dimensional objects
US11348283B2 (en) * 2018-07-10 2022-05-31 Samsung Electronics Co., Ltd. Point cloud compression via color smoothing of point cloud prior to texture video generation
US11544424B2 (en) * 2018-12-31 2023-01-03 Palo Alto Research Center Incorporated Method and system for creating a cut mask from a 3D surface mesh
US10977773B2 (en) * 2019-02-19 2021-04-13 Google Llc Cost-driven framework for progressive compression of textured meshes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022514548A (ja) 2019-03-01 2022-02-14 テンセント・アメリカ・エルエルシー 点群解凍用方法、点群圧縮用方法及び装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUIGANG SHI, et al.，"Research and Implementation for Scattered Point Cloud Data Denoising Method"，International Journal of Earth Sciences and Engineering，[online]，2016年10月，Vol.9, No.5，Pages 2273-2277，[令和4年6月23日検索], インターネット, <URL: https://www.academia.edu/31008254/Research_and_Implementation_for_Scattered_Point_Cloud_Data_Denoising_Method>，ISSN: 0974-5904.
Nahid Sheikhi-Pour, et al.，"Efficient 2D Video Coding of Volumetric Video Data"，Proceedings of 2018 7th European Workshop on Visual Information Processing (EUVIP)，2018年11月28日，Pages 1-5，ISBN: 978-1-5386-6897-9, <DOI: 10.1109/EUVIP.2018.8611742>.
Qualcomm Incorporated (Rapporteur)，"FS_XR5G: Permanent document, v0.2"，S4-181472，[online], 3GPP TSG-SA4 Meeting 101，2018年11月23日，Pages 1-3, 10 and 16-19，[令和4年6月21日検索], インターネット, <URL: https://www.3gpp.org/ftp/TSG_SA/WG4_CODEC/TSGS4_101_Busan/Docs/S4-181472.zip>.
XU Yiling, et al.，"Introduction to Point Cloud Compression"，ZTE COMMUNICATIONS，[online]，2018年08月24日，Vol.16, No.3，Pages 3-8，[令和4年6月22日検索], インターネット, <URL: https://res-www.zte.com.cn/mediares/magazine/publication/com_en/article/201803/XUYiling.pdf>，<DOI: 10.19729/j.cnki.1673-5188.2018.03.002>.

Also Published As

Publication number Publication date
EP3932077A1 (en) 2022-01-05
US20200279403A1 (en) 2020-09-03
JP2022511871A (ja) 2022-02-01
US20210383574A1 (en) 2021-12-09
WO2020180723A1 (en) 2020-09-10
US11127166B2 (en) 2021-09-21
CN113508598B (zh) 2024-02-06
US11587263B2 (en) 2023-02-21
EP3932077A4 (en) 2022-04-27
CN113508598A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN112188209B (zh) 视频流解码方法、装置、计算机设备和存储介质
US11451836B2 (en) Techniques and apparatus for PCM patch creation using Morton codes
JP7118278B2 (ja) 符号化された点群データの分割
JP7118501B2 (ja) 符号化された映像ストリームを映像点群符号化を使用して復号するための方法、装置、媒体、およびプログラム
CN113170154B (zh) 采用退火迭代几何平滑的点云编解码方法、装置和介质
CN113170155B (zh) 点云编解码方法和装置
CN112188201B (zh) 对视频流进行编码的方法、装置、电子设备及存储介质
JP7434667B2 (ja) ビデオベースの点群コーディングのためのグループオブピクチャベースのパッチパッキング
CN113228050B (zh) 使用视频点云编解码对视频流进行编码的方法和装置
JP7542758B2 (ja) メッシュ圧縮のための幾何学的フィルタリング
US20220394294A1 (en) Non-binary occupancy map for video based point cloud coding
US11606556B2 (en) Fast patch generation for video based point cloud coding
KR20230011406A (ko) 비디오 기반 포인트 클라우드 코딩을 위한 조건적 재채색
JP2024515208A (ja) メッシュ圧縮のための境界ｕｖ２ｘｙｚインデックスの予測コーディング

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220728

R150 Certificate of patent or registration of utility model

Ref document number: 7118501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150