JP7181510B2 - パッキング戦略シグナリング - Google Patents

Description

〔関連出願との相互参照〕
本出願は、２０１８年９月２７日に出願された「パッキング戦略シグナリング（ＰＡＣＫＩＮＧ ＳＴＲＡＴＥＧＹ ＳＩＧＮＡＬＩＮＧ）」という名称の米国仮特許出願第６２／７３７，６１０号、及び２０１８年１０月３日に出願された「パッキング戦略シグナリング」という名称の米国仮特許出願第６２／７４０，４８１号の合衆国法典第３５編第１１９条（ｅ）に基づく優先権を主張するものであり、これらの文献はその全体が全ての目的で本明細書に組み入れられる。

本発明は、３次元グラフィックに関する。具体的には、本発明は、３次元グラフィックのマッピングに関する。

ビデオエンコーダを用いた点群圧縮（ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ）の最先端技術は、点群を３Ｄパッチとして表し、形状の投影によって形成された２Ｄ画像及び属性を２Ｄキャンバスに符号化する。投影された３Ｄパッチを２Ｄ画像にパッキングすることは、３Ｄ点群データの２Ｄマッピングとしても知られている。現在、このプロセスには、パッチ方向が常に固定される、パッチの位置が形状及びテクスチャで同じである、背景充填プロセス（ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ ｐｒｏｃｅｓｓ）がやはり形状及びテクスチャの両方で同じである、などのいくつかの制限がある。

本明細書では、３Ｄ点群の符号化において使用される、キャンバス画像内の２Ｄパッチのパッキング法をシグナリングする新規方法について説明する。この方法は、信号表現を利用して、パッチが使用すべき配向方法を示す。さらに、各パッチの配向情報を符号化する最適な方法についても説明する。

１つの態様では、装置の非一時的メモリにプログラムされる方法が、パッチ配向を決定するステップと、適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信するステップとを含む。パッチ配向情報を送信するステップは、固定パッチ配向を実行するか、それとも適応的パッキングを実行するかを示すステップを含む。固定パッチ配向は、デフォルト、垂直及び水平という３つのモードを含む。垂直及び水平モードでは、デコーダがパッチを該パッチのサイズに従って回転させて、垂直モードでは最大寸法を垂直に、水平モードでは水平に位置合わせする。適応的パッキングを実行する場合、適応的辞書を利用してパッチ配向を示す。適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される。適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる。

別の態様では、装置が、パッチ配向を決定し、適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信するためのアプリケーションを記憶する非一時的メモリと、メモリに結合されて、アプリケーションを処理するように構成された処理コンポーネントとを備える。パッチ配向情報を送信することは、固定パッチ配向を実行するか、それとも適応的パッキングを実行するかを示すことを含む。固定パッチ配向は、デフォルト、垂直及び水平という３つのモードを含む。垂直及び水平モードでは、デコーダがパッチを該パッチのサイズに従って回転させて、垂直モードでは最大寸法を垂直に、水平モードでは水平に位置合わせする。適応的パッキングを実行する場合、適応的辞書を利用してパッチ配向を示す。適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される。適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる。

別の態様では、システムが、パッチ配向を決定するように構成された決定モジュールと、適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信するように構成された送信モジュールとを備える。パッチ配向情報を送信することは、固定パッチ配向を実行するか、それとも適応的パッキングを実行するかを示すことを含む。固定パッチ配向は、デフォルト、垂直及び水平という３つのモードを含む。垂直及び水平モードでは、デコーダがパッチを該パッチのサイズに従って回転させて、垂直モードでは最大寸法を垂直に、水平モードでは水平に位置合わせする。適応的パッキングを実行する場合、適応的辞書を利用してパッチ配向を示す。適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される。適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる。

いくつかの実施形態による、柔軟なパッチ配向を示す図である。 いくつかの実施形態による、固定パッキングの実装方法を示す図である。 いくつかの実施形態による、パッチ毎の適応の実装方法を示す図である。 いくつかの実施形態による、静的ビットモデルで符号化された配向を示す図である。 いくつかの実施形態による、適応的データモデルで符号化された配向を示す図である。 いくつかの実施形態による、パッキング戦略シグナリング法のフローチャートである。 いくつかの実施形態による、パッキング戦略シグナリング法を実行するように構成された例示的なコンピュータ装置のブロック図である。

本明細書では、３Ｄ点群の符号化において使用される、キャンバス画像内の２Ｄパッチのパッキング法をシグナリングする新規方法について説明する。この方法は、信号表現を利用して、パッチが使用すべき配向方法を示す。さらに、各パッチの配向情報を符号化する最適な方法についても説明する。

２Ｄ画像には、形状を表すパッチと、テクスチャなどの属性を表すパッチとが配置される。全体が全ての目的で本明細書に組み入れられる「点群マッピング（ＰＯＩＮＴ ＣＬＯＵＤ ＭＡＰＰＩＮＧ）」という名称の米国特許出願代理人整理番号ＳＯＮＹ－７１０００号に記載されるように、パッチは、２Ｄキャンバス内に配置する前に、より効率的なパッキングのために回転又はミラーリングすることができる。パッチの配向情報は、エンコーダによってパッチ毎にデコーダにシグナリングされる。本明細書では、柔軟な配向手法の効率を高めるシグナリング法について説明する。この送信方法は、配向をパッチ毎に適応的に送信する方法と、固定されて配向情報をパッチ毎に送信しないその他の方法とに分かれる。

固定されたパッチ毎の配向では、パッチの配向がデコーダによって導出され、従って追加情報は送信されない。本明細書では、デコーダがパッチを回転させることができないデフォルトモード、及びデコーダがパッチをそのサイズに従って回転させて最大寸法を垂直／水平のいずれかに位置合わせする垂直／水平モードという３つのモードを開示する。適応的なパッチ毎の配向では、最も可能性の高い配向が単一のフラグで符号化され、残りのモードの符号化には適応的辞書（ａｄａｐｔｉｖｅ ｄｉｃｔｉｏｎａｒｙ）が使用される。

図１に、いくつかの実施形態による柔軟なパッチ配向を示す。従来の実装とは異なり、パッチは、回転、ミラーリング、又は別様に再配向することができる。例えば、８つの異なるパッチ配向が存在するが、あらゆる数の配向が可能である。この例をさらに進めると、＃０はデフォルト配向であり、＃１はデフォルトを時計回りに１８０度回転させたものであり、＃２はデフォルトを時計回りに９０度回転させたものであり、＃３はデフォルトを反時計回りに９０度回転させたものであり、＃５はデフォルトを水平にミラーリングしたものであり、＃６はデフォルトを垂直にミラーリングしたものであり、＃７はデフォルトを時計回りに９０度回転させて垂直にミラーリングしたものであり、＃８はデフォルトを反時計回りに９０度回転させて垂直にミラーリングしたものである。パッチは、配向することによってより緊密にパッキングすることができ、これによってメモリが節約され、より効率的な圧縮が可能になる。例示的なコードは以下を含む。

表１

図２に、いくつかの実施形態による固定パッキングの実装方法の図を示す。上記の表に示すように、アンカー、水平及び垂直は、全て固定パッキングの実装である。アンカーでは、パッチ配向が変化しない。水平では、サイズＵ０がＶ０未満である場合に軸が入れ替わり、そうでなければ何も行われない。垂直では、サイズＶ０がＵ０未満である場合に軸が入れ替わり、そうでなければ何も行われない。デコーダがパッチ配向を判定することができるので、パッチ毎に追加のメタデータは不要である。

図３に、いくつかの実施形態によるパッチ毎の適応の実装方法の図を示す。パッチの配向を示すために、パッチ毎に配向情報が送信される。配向情報は、パケット内のフラグとして送信することができる。以下は、各配向の例示的なフラグである。
０又は０００：回転又は反転（ｆｌｉｐｐｉｎｇ）なし：ｕ’＝ｕ、ｖ’＝ｖ
１又は００１：時計回りに１８０度回転：ｕ’＝Ｕ－ｕ、ｖ’＝Ｖ－ｖ
２又は０１０：時計回りに９０度回転：ｕ’＝Ｖ－ｖ、ｖ’＝ｕ
３又は０１１：反時計回りに９０度回転：ｕ’＝ｖ、ｖ’＝Ｕ－ｕ
４又は１００：水平にミラーリング：ｕ’＝Ｕ－ｕ、ｖ’＝ｖ
５又は１０１：垂直にミラーリング：ｕ’＝ｕ、ｖ’＝Ｖ－ｕ
６又は１１０：時計回りに９０度回転して垂直にミラーリング：ｕ’＝Ｖ－ｖ、ｖ’＝Ｕ－ｕ
７又は１１１：反時計回りに９０度回転して垂直にミラーリング：ｕ’＝ｖ、ｖ’＝ｕ。

上記に示すように、配向は３ビットを使用して２進法で表すことができる。

図４に、いくつかの実施形態による、静的ビットモデルで符号化された配向を示す。静的ビットモデルでは、各配向にビット列又はコードが割り当てられ、このコードは変化しない。

図５に、いくつかの実施形態による、適応的データモデルで符号化された配向を示す。フラグは最も一般的な配向（例えば、アンカー回転（又はその欠如））を示すことができ、その他の配向は（例えば、統計／確率分析法に基づく）適応的データモデルで符号化することができる。例えば、使用される最も一般的な配向が（回転又はミラーリングされない）配向＃０である場合、パッチがこの配向であることを示すためにフラグを送信することができる（例えば、フラグ＝０は不変の配向を示し、フラグ＝１は、配向が他の７つの配向のうちの１つであることを示す）。そしてフラグの後の３ビットが配向を示し、この場合、各配向のビットコードは確率又は別のスキームに基づいて決定することができる。例えば、２番目に一般的な配向が配向＃２である場合、配向＃２のビットコードは０００であり、３番目に一般的な配向が配向＃１である場合、配向＃３のビットコードは００１であり、以下同様である。この例をさらに続けると、パッチ１は不変の配向を有するため０が送信され、パッチ２は配向＃２であるため、１が送信された後に０００が続き、以下同様である。

以下は例示的なコードである。

図６に、いくつかの実施形態によるパッキング戦略シグナリング法のフローチャートを示す。ステップ６００において、２Ｄキャンバス上でパッチを配向する。パッチ配向は、どの配向が２Ｄキャンバス上の空間量を最小化するかを判定すること、テトリス様の手法を利用すること、或いは長さ又は幅のどちらが大きいかを判定して常に一方が大きくなるようにパッチを調整することなどによるいずれかの方法で決定することができる。ステップ６０２において、（例えば、エンコーダがデコーダに）パッチ配向情報を送信する。パッチ配向情報の送信は、ヘッダに含めることなどのいずれかの方法で実行することができる。パッチ配向は、固定パッキング、適応的パッキング、又はこれらの両方を使用して適用することができる。いくつかの実施形態では、固定パッキングが実装されるか、それとも適応的パッキングが実装されるかがパッチ毎に示される。パッチに固定パッキングが実装される場合には、デコーダがパッチ配向を判定する。パッチに適応的パッキングが実装される場合には、配向情報をｎビット（例えば、３又は４ビット）で送信することができる。いくつかの実施形態では、適応的パッキングがフラグを利用してアンカー回転を示し、他の配向は適応的データモデルで符号化される。

いくつかの実施形態では、方法が、これよりも少ない又はさらなるステップを含む。例えば、方法は、３Ｄ形状の取得、３Ｄパッチの生成、３Ｄパッチの対応付け、一致する３Ｄパッチの動き補償及び２Ｄ動き補償といったステップを含む。いくつかの実施形態では、固定パッキングを利用する際のパッチ配向の判定又は適応的パッキングの復号などのデコーダ側のステップも同様に実行される。いくつかの実施形態では、ステップの順序が変更される。

図７に、いくつかの実施形態によるパッキング戦略シグナリング法を実装するように構成された例示的なコンピュータ装置のブロック図を示す。コンピュータ装置７００は、３Ｄコンテンツを含む画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示のために使用することができる。コンピュータ装置７００は、パッキング戦略シグナリング法の態様のいずれかを実装することができる。一般に、コンピュータ装置７００を実装するのに適したハードウェア構造は、ネットワークインターフェイス７０２、メモリ７０４、プロセッサ７０６、（単複の）Ｉ／Ｏ装置７０８、バス７１０及び記憶装置７１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ７０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置７１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置７００は、１又は２以上のネットワークインターフェイス７０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置７０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置７１２及びメモリ７０４には、パッキング戦略シグナリング法を実装するために使用される（単複の）パッキング戦略シグナリングアプリケーション７３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置７００には、図７に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、パッキング戦略シグナリングハードウェア７２０が含まれる。図７のコンピュータ装置７００は、パッキング戦略シグナリング法のためのアプリケーション７３０及びハードウェア７２０を含むが、パッキング戦略シグナリングは、ハードウェア、ファームウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、パッキング戦略シグナリングアプリケーション７３０がメモリにプログラムされ、プロセッサを用いて実行される。別の例として、いくつかの実施形態では、パッキング戦略シグナリングハードウェア７２０が、パッキング戦略シグナリング法を実行するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）パッキング戦略シグナリングアプリケーション７３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが、１又は２以上のサブモジュールも含む。いくつかの実施形態では、これよりも少ない又はさらなるモジュールを含めることもできる。

いくつかの実施形態では、パッキング戦略シグナリングハードウェア７２０が、レンズ、イメージセンサ及び／又は他のいずれかのカメラコンポーネントなどのカメラコンポーネントを含む。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートホン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、車両（例えば、自動走行車両）、又はその他のいずれかの好適なコンピュータ装置が挙げられる。

本明細書で説明したパッキング戦略シグナリング法を利用するには、装置が３Ｄコンテンツを取得又は受信し、３Ｄコンテンツの正しい効率的な表示を可能にするのに最適な方法でコンテンツを処理及び／又は送信する。パッキング戦略シグナリング法は、ユーザの支援を伴って、又はユーザの関与を伴わずに自動的に実行することができる。

動作中、パッキング戦略シグナリング法は、送られる情報が大幅に少なくなるようにデータを圧縮することを含めて３Ｄコンテンツをより効率的に処理する。分析では、パッキング戦略シグナリング法を実行することによって３Ｄコンテンツを送信するビットレートが改善されたことが示された。

パッキング戦略シグナリングの実施形態
１．装置の非一時的メモリにプログラムされる方法であって、
パッチ配向を決定するステップと、
適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信するステップと、
を含む方法。

２．パッチ配向情報を送信するステップは、固定パッチ配向を実行するか、それとも適応的パッキングを実行するかを示すステップを含む、条項１の方法。

３．固定パッチ配向は、デフォルト、垂直及び水平という３つのモードを含む、条項２の方法。

４．垂直及び水平モードでは、デコーダがパッチを該パッチのサイズに従って回転させて、垂直モードでは最大寸法を垂直に、水平モードでは水平に位置合わせする、条項３の方法。

５．適応的パッキングを実行する場合、適応的辞書を利用してパッチ配向を示す、条項１の方法。

６．適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される、条項５の方法。

７．適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる、条項６の方法。

８．
パッチ配向を決定し、
適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信する、
ためのアプリケーションを記憶する非一時的メモリと、
メモリに結合されて、アプリケーションを処理するように構成された処理コンポーネントと、
を備える装置。

９．パッチ配向情報を送信することは、固定パッチ配向を実行するか、それとも適応的パッキングを実行するかを示すことを含む、条項８の装置。

１０．固定パッチ配向は、デフォルト、垂直及び水平という３つのモードを含む、条項９の装置。

１１．垂直及び水平モードでは、デコーダがパッチを該パッチのサイズに従って回転させて、垂直モードでは最大寸法を垂直に、水平モードでは水平に位置合わせする、条項１０の装置。

１２．適応的パッキングを実行する場合、適応的辞書を利用してパッチ配向を示す、条項８の装置。

１３．適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される、条項１２の装置。

１４．適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる、条項１３の装置。

１５．
パッチ配向を決定するように構成された決定モジュールと、
適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信するように構成された送信モジュールと、
を備えるシステム。

１６．パッチ配向情報を送信することは、固定パッチ配向を実行するか、それとも適応的パッキングを実行するかを示すことを含む、条項１５のシステム。

１７．固定パッチ配向は、デフォルト、垂直及び水平という３つのモードを含む、条項１６のシステム。

１８．垂直及び水平モードでは、デコーダがパッチを該パッチのサイズに従って回転させて、垂直モードでは最大寸法を垂直に、水平モードでは水平に位置合わせする、条項１７のシステム。

１９．適応的パッキングを実行する場合、適応的辞書を利用してパッチ配向を示す、条項１５のシステム。

２０．適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される、条項１９のシステム。

２１．適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる、条項２０のシステム。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

６００ パッチを配向
６０２ パッチ配向情報を送信

Claims (12)

1. 装置の非一時的メモリにプログラムされる方法であって、
   パッチ配向を決定するステップと、
   適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信するステップと、
   を含み、
   前記パッチ配向情報を送信するステップは、固定パッキングを実行するか、それとも適応的パッキングを実行するかを示すステップを含み、
   固定パッキングは、デフォルト、垂直及び水平という３つのモードを含み、
   垂直及び水平というモードでは、デコーダがパッチを該パッチのサイズに従って回転させて、前記垂直というモードでは最大寸法を垂直に、前記水平というモードでは水平に位置合わせする、ことを特徴とする方法。
2. 適応的パッキングを実行する場合、適応的辞書を利用して前記パッチ配向を示す、
   請求項１に記載の方法。
3. 前記適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される、
   請求項２に記載の方法。
4. 前記適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる、
   請求項３に記載の方法。
5. パッチ配向を決定し、
   適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信する、
   ためのアプリケーションを記憶する非一時的メモリと、
   前記メモリに結合されて、前記アプリケーションを処理するように構成された処理コンポーネントと、
   を備え、
   前記パッチ配向情報を送信することは、固定パッキングを実行するか、それとも適応的パッキングを実行するかを示すことを含み、
   固定パッキングは、デフォルト、垂直及び水平という３つのモードを含み、
   垂直及び水平というモードでは、デコーダがパッチを該パッチのサイズに従って回転させて、前記垂直というモードでは最大寸法を垂直に、前記水平というモードでは水平に位置合わせする、ことを特徴とする装置。
6. 適応的パッキングを実行する場合、適応的辞書を利用して前記パッチ配向を示す、
   請求項５に記載の装置。
7. 前記適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される、
   請求項６に記載の装置。
8. 前記適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる、
   請求項７に記載の装置。
9. パッチ配向を決定するように構成された決定モジュールと、
   適応的パッキングを実行する際に、デフォルト配向を示すフラグを送信することを含めてパッチ配向情報を送信するように構成された送信モジュールと、
   を備え、
   前記パッチ配向情報を送信することは、固定パッキングを実行するか、それとも適応的パッキングを実行するかを示すことを含み、
   固定パッキングは、デフォルト、垂直及び水平という３つのモードを含み、
   垂直及び水平というモードでは、デコーダがパッチを該パッチのサイズに従って回転させて、前記垂直というモードでは最大寸法を垂直に、前記水平というモードでは水平に位置合わせする、ことを特徴とするシステム。
10. 適応的パッキングを実行する場合、適応的辞書を利用して前記パッチ配向を示す、
    請求項９に記載のシステム。
11. 前記適応的辞書は、パッチ配向使用の統計的分析に基づいて決定される、
    請求項１０に記載のシステム。
12. 前記適応的辞書は、最も多く使用されているパッチ配向に最小コードを割り当てる、
    請求項１１に記載のシステム。

Images