JP6826607B2 - ３次元メッシュの直交投影ベースのテクスチャアトラスパッキング - Google Patents

Description

（関連出願の引用）
本願は、米国仮特許出願第６２／２８９，０５９号（２０１６年１月２９日出願）の利益を主張し、上記出願の内容は、その全体が参照により本明細書に引用される。

コンピュータグラフィックでは、テクスチャアトラス（タイルマップ、タイルエンジン、またはスプライトシートとも呼ばれる）は、各々が３次元（３Ｄ）モデルの一部のためのテクスチャマップであるサブ画像の集合、すなわち、「アトラス」を含む大画像である。３Ｄメッシュ内の三角形テクスチャを長方形テクスチャアトラスに効率的にパッキングすることが望ましくあり得る。効率的パッキング方法は、アトラス画像のサイズを大幅に低減させ、したがって、メッシュテクスチャレンダリングならびにメッシュ記憶の性能を改良することができる。

本発明のある実施形態によると、アトラスパッキングの方法は、３次元（３Ｄ）メッシュを受信することを含む。３Ｄメッシュは、１つ以上のオブジェクトの表面を表す複数の三角形を含む。各三角形は、それぞれのテクスチャを有する。方法は、複数の三角形の各それぞれの三角形に対して、それぞれの三角形の法線を決定することと、法線の主要な成分に従って、ｘ−、ｙ−、およびｚ−方向の正ならびに負に沿って、それぞれの三角形を６つの方向のうちの１つに分類することとをさらに含む。方法は、６つの方向のうちの各それぞれの方向における三角形をそれぞれの方向に直交する１つ以上の層に分類することをさらに含む。方法は、それぞれの方向における各それぞれの層に対して、１つ以上の接続されたコンポーネントを識別することであって、各接続されたコンポーネントは、複数の接続された三角形を備えている、ことと、各それぞれの接続されたコンポーネントをそれぞれの方向に直交する平面上に投影し、対応する投影された２次元（２Ｄ）の接続されたコンポーネントを得ることと、投影された２Ｄの接続されたコンポーネントを１つ以上のサブコンポーネントに切断することとをさらに含む。各サブコンポーネントは、それぞれの長方形境界ボックス内に含まれる。方法は、全ての方向における全ての層内の全ての投影された２Ｄの接続されたコンポーネントの全てのサブコンポーネントの境界ボックスを１つ以上のアトラスにパッキングすることと、各アトラス内の各サブコンポーネントの各それぞれの三角形に対して、３Ｄメッシュの対応する三角形のテクスチャをそれぞれの三角形にコピーすることとをさらに含む。

図１は、本発明のある実施形態による、三角形３Ｄメッシュをテクスチャアトラスにパッキングする方法を図示する簡略化されたフローチャートを示す。

図２は、本発明のある実施形態による、３次元（３Ｄ）メッシュへのメッシュ分割を行う方法を図示する簡略化されたフローチャートを示す。

図３は、本発明のある実施形態による、例示的投影された２Ｄの接続されたコンポーネントを示す。

図４は、本発明のある実施形態による、図３に図示される投影された２Ｄの接続されたコンポーネントを切断することによって作成されたいくつかの例示的サブコンポーネントを示す。

図５は、本発明のある実施形態による、投影された２Ｄの接続されたコンポーネントを切断する方法を図示する簡略化されたフローチャートを示す。

図６は、本発明のある実施形態による、コンポーネントをアトラスにパッキングする方法を図示する簡略化されたフローチャートを示す。

図７および８は、本発明のある実施形態による、長方形様の形状のコンポーネントが効率的にパッキングされるいくつかの例示的アトラスを示す。 図７および８は、本発明のある実施形態による、長方形様の形状のコンポーネントが効率的にパッキングされるいくつかの例示的アトラスを示す。

図９は、本発明のある実施形態による、テクスチャマッピングの方法を図示する簡略化されたフローチャートを示す。

図１０および１１は、それぞれ、コンポーネントがテクスチャ加工された後の図７および８に図示されるアトラスを示す。 図１０および１１は、それぞれ、コンポーネントがテクスチャ加工された後の図７および８に図示されるアトラスを示す。

図１２Ａは、いくつかのピクセルが着色され、いくつかのピクセルが暗色であるアトラスの一部を図示する。

図１２Ｂは、本発明のある実施形態による、ブロック充填後の図１２Ａに図示されるアトラスの一部を示す。

図１３は、本発明のある実施形態による、テクスチャ加工されたアトラスをブロック充填する方法を図示する簡略化されたフローチャートを示す。

図１４Ａおよび１４Ｂは、それぞれ、本発明のある実施形態による、ブロック充填前後のアトラス画像の一部を示す。

図１５は、本発明のある実施形態による、テクスチャ加工されたアトラスのブロックレベル充填の方法を図示する簡略化されたフローチャートを示す。

図１６Ａおよび１６Ｂは、テクスチャ加工されたコンポーネントを色画像から直接マスクすることによって作成された、いくつかの例示的アトラス画像を示す。

図１７は、本発明のある実施形態による、テクスチャアトラスパッキングの方法を図示する簡略化されたフローチャートを示す。

本発明は、概して、テクスチャアトラスパッキングの方法に関する。より具体的には、本発明は、３次元（３Ｄ）メッシュの直交投影ベースのテクスチャアトラスパッキングの方法に関する。いくつかの実施形態によると、３Ｄメッシュは、ポリゴンメッシュを含み得る。ポリゴンメッシュは、３Ｄコンピュータグラフィックおよびソリッドモデリングにおける多面体オブジェクトの形状を定義する頂点、縁、および面の集合である。面は、通常、三角形（三角形メッシュ）、四角形、または他の凸面多角形を含む。面は、凹面多角形、孔を伴う多角形、および螺旋形状も含み得る。

単に、一例として、本発明は、形状直交性特性を伴うオブジェクトの３Ｄメッシュの効率的アトラスパッキングを生成するために適用され得る。例えば、家、建物、およびスタジアム等の人工構造は、通常、規則的長方形形状を有する。そのような構造に関して、メッシュの主要コンポーネントは、通常、直交に整列させられる。例えば、壁、天井、または床等の大平坦表面は、通常、互いに平行または垂直のいずれかである。

図１は、本発明のある実施形態による、三角形３Ｄメッシュをテクスチャアトラスにパッキングする方法１００を図示する簡略化されたフローチャートを示す。方法１００は、以下の主要ステップを含み得る：３Ｄメッシュを受信すること（１１０）；メッシュ分割を行うこと（１２０）；三角形投影を行うこと（１３０）；コンポーネント切断を行うこと（１４０）；コンポーネントパッキングを行うこと（１５０）；テクスチャマッピングを行うこと（１６０）；ブロック充填を行うこと（１７０）。これらのステップのいくつかは、随意であり得る。前述のように、受信された３Ｄメッシュは、三角形（三角形メッシュ）、四角形、または他の凸面多角形に基づくコンポーネントを含むことができる。当業者に明白であろうように、受信された３Ｄメッシュは、３次元オブジェクトまたは構造を表す。加えて、三角形メッシュが、本明細書で議論されるが、本発明の実施形態は、三角形メッシュに限定されない。方法１００は、プロセッサと、命令を記憶する非一過性コンピュータ読み取り可能な記憶媒体とを備えているコンピュータシステムによって実装され得る。ステップ１２０、１３０、１４０、１５０、１６０、および１７０の各々の詳細は、以下にさらに詳細に説明される。

（Ａ．メッシュ分割）
図２は、本発明のある実施形態による、メッシュ分割を行う方法２００を図示する簡略化されたフローチャートを示す。方法２００は、２０２において、３Ｄメッシュにおける壁、天井、および床等の１つ以上の主要表面を識別することを含み得る。方法２００は、２０４において、主要表面の各々が３つの直交主要軸、すなわち、ｘ−、ｙ−、およびｚ−軸のうちの１つと整列させられるように、３Ｄメッシュに直交回転を適用することをさらに含み得る。これは、各主要表面のための法線を計算し、各主要表面の法線を３つの主要軸のうちの１つと整列させることによって達成され得る。直交回転は、主要表面が主要軸とすでに整列させられている場合、必要がないこともある。

方法２００は、２０６において、３Ｄメッシュ内の各三角形を６つの主要方向、すなわち、正のおよび負のｘ−、ｙ−、ならびにｚ−方向のうちの１つに分類することをさらに含む。三角形は、それに沿ってその法線が主要な成分を有する方向に分類され得る。例えば、三角形の法線が、主に、正のｚ−軸を指し示す（すなわち、法線の最大コンポーネントが正のｚ-軸にある）場合、その三角形は、正のｚ−方向に分類され得る。

方法２００は、２０８において、６つの主要方向の各々における三角形を複数の層に分類することをさらに含み得る。一実施形態では、各方向における空間は、その方向に直交する平行平面によって、均一に分割され得る。例えば、正のｚ−方向における空間は、ｚ−方向に直交する平行平面によって、均一に分割され得る。２つの隣接する平面間にある正のｚ−方向における三角形は、１つの層に分類され得る。三角形の位置は、三角形の幾何学中心によって決定され得る。いくつかの他の実施形態では、各方向における空間は、均一に分割される必要がない。例えば、正のｚ−方向における空間は、隣接する平面間に可変距離を伴うｚ−方向に直交する平面によって分割され得る。

全ての６つの主要方向における三角形が、上で説明されるように、１つ以上の層に分類された後、接続されたコンポーネントが、各層内で識別され得る。接続されたコンポーネントは、共通縁または角によって接続された１つ以上の三角形を備えている。場面が、上で説明されるように、直交性基準をほぼ満たす場合、最も多く接続されたコンポーネントは、以下にさらに説明されるであろうように、長方形状オブジェクトに分割され、効率的パッキング性能を促進し得る。

（Ｂ．三角形投影）
ある実施形態によると、各主要方向における各層に対して、各接続されたコンポーネントは、それぞれの方向に直交する平面に投影され得る。したがって、投影された２次元（２Ｄ）画像は、各接続されたコンポーネントのために作成されることができる。投影された２Ｄ画像内の三角形の頂点は、実際の測定単位、例えば、メートルで記憶または記録され得る。いくつかの実施形態では、投影は、スケーリングされることができる。例えば、２Ｄアトラス画像は、ピクセルにおいて、例えば、画像あたり２０４８×２０４８で測定され得る。例えば、壁を表す、２メートル×２−メートルの接続されたコンポーネントが、２０４８×２０４８画像に投影されると、対応するスケール係数は、１０２４であろう。

ある場合、接続されたコンポーネントを２Ｄ画像に投影することは、重複三角形をもたらし得る。これは、螺旋形状表面を表す接続されたコンポーネント等、ほぼ同一方向に向いている三角形を伴う接続されたコンポーネントに対しても生じ得る。コンポーネント分割のステップは、重複三角形が見出されるとき、必要とされ得る。

（Ｃ．コンポーネント切断）
最終アトラスは、通常、長方形画像であるので、長方形形状をアトラスにパッキングすることがより効率的であり得る。本発明のある実施形態によると、投影された２Ｄの接続されたコンポーネントは、各サブコンポーネントが長方形画像の中に効率的に適合するように、複数のサブコンポーネントに切断されることができる。ある場合、直交回転が、３Ｄメッシュに適用されている場合、かつ場面が、主に、壁、天井、および床等の直交表面から成る場合、投影された２Ｄの接続されたコンポーネントの一部または大部分は、長方形輪郭を有する（すなわち、垂直または水平方向における直線縁を伴う）可能性が高くなり得る。

図３は、本発明のある実施形態による、例示的投影された２Ｄの接続されたコンポーネント３００を示す。白色エリアは、投影された２Ｄの接続されたコンポーネント３００を表す。外側長方形エリア３０２は、投影された２Ｄの接続されたコンポーネント３００に対する境界ボックスである。境界ボックスは、投影された２Ｄの接続されたコンポーネントを含む最小長方形ボックスである。図３から分かるように、境界ボックス３０２内に、いくつかの暗色エリアが存在する。したがって、投影された２Ｄの接続されたコンポーネント３００の面積と境界ボックス３０２の面積との間の比率は、最適ではないこともある。

本発明の実施形態によると、最適化は、投影された２Ｄの接続されたコンポーネントの面積および／または境界ボックスの面積の関数であり得る。例として、投影された２Ｄの接続されたコンポーネントの面積が、大きい（例えば、所定の閾値を上回る）場合、投影された２Ｄの接続されたコンポーネントの面積と境界ボックスの面積との間の最適比率は、約８０％〜約９０％またはより高くなり得る。より高い比率の達成は、コンピューティング時間およびコンピューティングリソース等を犠牲にして生じ得ることを理解されたい。故に、投影された２Ｄの接続されたコンポーネントの面積が、小さい（例えば、所定の閾値未満である）場合、投影された２Ｄの接続されたコンポーネントの面積と境界ボックスの面積との間の最適比率は、８０％未満、例えば、約５０％、または投影された２Ｄの接続されたコンポーネントの面積と一致する別の適切な値であり得る。したがって、本発明の実施形態は、投影された２Ｄの接続されたコンポーネントの面積に伴ってスケーリングされる（例えば、面積を増加させることに伴って最適比率を増加させる）最適比率のための異なる閾値を利用し得る。

ある実施形態によると、図３に示される投影された２Ｄの接続されたコンポーネント３００は、直線３８２、３８４、３８６、および３８８に沿って切断され、５つのサブコンポーネント３１０、３２０、３３０、３４０、および３５０をもたらし得る。５つのサブコンポーネント３１０、３２０、３３０、３４０、および３５０の各々は、図４に図示されるように、それぞれの長方形境界ボックス３１２、３２２、３３２、３４２、または３５２内に含まれ得る。図４から分かるように、５つのサブコンポーネント３１０、３２０、３３０、３４０、および３５０のための境界ボックス３１２、３２２、３３２、３４２、または３５２の面積の和は、オリジナルの投影された２Ｄの接続されたコンポーネント３００のための境界ボックス３０２の面積未満であり得る。したがって、サブコンポーネント３１０、３２０、３３０、３４０、および３５０は、オリジナル投影された２Ｄの接続されたコンポーネント３００より効率的にパッキングされることができる。境界ボックスがアトラスにパッキングされるとき、コンポーネントの縁におけるテクスチャ混合を防止するように、各境界ボックス３１２、３２２、３３２、３４２、または３５２の縁（すなわち、縁の周囲の暗色エリア）に、いくつかのピクセルパッディングが存在することに留意されたい。

図５は、本発明のある実施形態による、投影された２Ｄの接続されたコンポーネントを切断する方法５００を図示する簡略化されたフローチャートを示す。方法５００は、５０２において、境界ボックスの面積が最小化されるように、投影された２Ｄの接続されたコンポーネントを回転させることを含み得る。例えば、図３に図示される実施例では、投影された２Ｄの接続されたコンポーネント３００は、図３に示されるように、投影された２Ｄの接続されたコンポーネント３００の主要直線縁が境界ボックス３０２の縁と略平行であるように回転させられ得る。投影された２Ｄの接続されたコンポーネントが、すでに最適に向けられている場合、回転は、必要ではないこともある。

方法５００は、５０４において、境界ボックスの面積が、第１の所定の閾値以下であるかどうかと、境界ボックスのより長い縁が、アトラスサイズ（例えば、長方形または正方形形状のアトラスの長さ）以下であるかどうかとを決定することをさらに含む。境界ボックスの面積が、第１の所定の閾値以下であり、より長い縁が、アトラスサイズ以下であることが決定された場合、さらなる切断は、行われず、現在の投影された２Ｄの接続されたコンポーネントが、保存される（５０６）。

境界ボックスの面積が、第１の所定の閾値を上回るか、またはより長い縁が、アトラスサイズを上回ることが決定された場合、方法５００は、５０８に進み、投影された２Ｄの接続されたコンポーネントの面積と境界ボックスの面積の比率が、第２の所定の閾値以下であるかどうかを決定する。比率が、第２の所定の閾値以上であることが決定される場合、さらなる切断は、行われず、現在の投影された２Ｄの接続されたコンポーネントが、保存される（５０６）。比率が、第２の所定の閾値未満であることが決定される場合、方法５００は、５１０に進み、投影された２Ｄの接続されたコンポーネントを複数のサブコンポーネントに切断する。各サブコンポーネントは、方法５００を使用して、さらなる切断を受け得る。

図３に関連して上で述べたように、図５に関して第２の所定の閾値と称される、最適比率は、投影された２Ｄの接続されたコンポーネントの面積および／または境界ボックスの面積の関数であり得る。投影された２Ｄの接続されたコンポーネントの面積および／または境界ボックスの面積が、大きい場合、第２の所定の閾値は、約８０％〜約９０％、またはより高くあり得る。投影された２Ｄの接続されたコンポーネントの面積および／または境界ボックスの面積が、小さい場合、第２の所定の閾値は、８０％未満、例えば、約５０％、または投影された２Ｄの接続されたコンポーネントの面積および／または境界ボックスの面積と一致する別の適切な値であり得る。

いくつかの実施形態では、投影された２Ｄの接続されたコンポーネントは、２つ以上のサブコンポーネントのための境界ボックスの面積の和が最小化されるように、最適直線垂直または水平線に沿って切断され、２つ以上のサブコンポーネントをもたらし得る。一実施形態では、最適直線切断線は、投影された２Ｄの接続されたコンポーネントの縁に沿ってあり得、最大単位面積変動を垂直または水平方向に探すことによって見出され得る。

例えば、図３に図示される例では、垂直軸の各小セグメントに対して、その単位面積は、投影された２Ｄの接続されたコンポーネントと小セグメントによって定義される長方形ストリップ３９０との交差部の面積である。垂直軸に沿って各小セグメントを通して走査することによって、２つの隣接する小セグメントの単位面積間に大きなジャンプ存在する場合、コンポーネントは、２つの小セグメント間に縁を有する可能性が高い。例えば、図３に図示される例では、水平直線３８２の直下および直上に垂直小セグメントの単位面積間に大きなジャンプが存在し得る。したがって、水平直線３８２に沿った切断は、３つのサブコンポーネント、すなわち、線３８２の下方のサブコンポーネントと、線３８２の上方の２つのサブコンポーネント３４０および３５０とをもたらし得る。

線３８２の下方のサブコンポーネントは、同一アルゴリズムを使用して、２つ以上のサブコンポーネントに切断され得る。例えば、水平軸に沿って各小セグメントを通して走査することによって、縁が、垂直直線３８６において検出され得る。線３８６に沿った切断は、２つのサブコンポーネント、すなわち、サブコンポーネント３３０と、線３８６の右のサブコンポーネントとをもたらし得る。線３８６の右のサブコンポーネントは、水平直線３８８に沿ってさらに切断され、２つのサブコンポーネント３１０および３２０をもたらし得る。

（Ｄ．コンポーネントパッキング）
全てのコンポーネントまたはサブコンポーネントが完成された後、コンポーネントの境界ボックスは、アトラスにパッキングされることができる。アトラスは、長方形形状を有するので、長方形境界ボックスは、最小数のアトラスに効率的にパッキングされ得る。いくつかの実施形態では、アトラスは、固定サイズを伴う、正方形または長方形形状を有し得る。

図６は、本発明のある実施形態による、コンポーネントを１つ以上のアトラスにパッキングする方法６００を図示する簡略化されたフローチャートを示す。方法６００は、６０２において、境界ボックスをそれらのより長い縁の長さによって降順にソートすることを含む。境界ボックスは、そのより長い縁が水平であるように、必要に応じて、９０度回転させられ得る。

方法６００は、６０４において、第１のパッキングされていない境界ボックスを選別することと、６０６において、例えば、配分順に、全ての現在のアトラス内の利用可能な空間を探すことと、６０８において、選別された境界ボックスを、選別された境界ボックスが収まり得る、第１のアトラスにパッキングすることとをさらに含む。一実施形態では、境界ボックスは、アトラス内に列毎にパッキングされることができる。利用可能な空間が、全ての現在のアトラス内に見出されない場合、選別された境界ボックスは、新しいアトラスにパッキングされる。方法６００は、６１０において任意のパッキングされていない境界ボックスが残っているかどうかを決定することをさらに含む。もはやパッキングされていない境界ボックスが存在しないと決定される場合、パッキングは、終了される（６１２）。パッキングされていない境界ボックスがまだほかに存在する場合、方法６００は、次のパッキングされていない境界ボックスに関して継続する。

図７および８は、本発明のある実施形態による、長方形様の形状のコンポーネントが効率的にパッキングされた２つの例示的アトラスを示す。異なるコンポーネントは、異なる色によって表される。（色は、コンポーネントのためのテクスチャではないことに留意されたい。）長方形を定義する紫色線は、境界ボックスの境界である。図７および８に示されるアトラスによって表される場面は、屋内場面の一部である。これらの場面が、前述の直交性基準を満たすので、大コンポーネントは、略長方形である。したがって、効率的パッキングが、本発明の実施形態に従って実現され得る。

（Ｅ．テクスチャマッピング）
全てのコンポーネントに対する境界ボックスが、アトラスにパッキングされた後、入力３Ｄメッシュ内の各三角形（すなわち、ソース三角形）のテクスチャが、アトラス内の対応する三角形（すなわち、標的三角形）にコピーされ得る。

図９は、本発明のある実施形態による、テクスチャマッピングの方法９００を図示する簡略化されたフローチャートを示す。方法９００は、９０２において、各ソース三角形と対応する標的三角形との間の頂点マッピングを識別することと、９０４において、標的三角形内の各それぞれのピクセルに対して、ピクセル座標を重心座標に変換することと、９０６において、各ソース三角形内の同一重心座標における全てのピクセル色を標的三角形内のそれぞれのピクセルにコピーすることとを含む。いくつかの実施形態では、双線形補間が、ステップ９０６では使用され得る。

図１０および１１は、コンポーネントがテクスチャ加工された後の図７および８に図示されるアトラスを示す。三角形の線セグメントは、三角形縁である。

（Ｆ．ブロック充填）
方法９００によって得られるテクスチャ加工されたアトラスは、後のレンダリングのために記憶され得る。アトラス画像は、ＪＰＥＧ、Ｈ．２６４／ＡＶＣフォーマット、またはＨ．２６５／ＨＥＶＣフォーマット等の圧縮フォーマットにおいて保存され得る。本発明のいくつかの実施形態によると、ブロック充填は、テクスチャ加工されたアトラスに対して行われ、画像圧縮効率を改良し、したがって、記憶サイズを低減させ得る。

ブロック充填の前に、コンポーネントの一部である、ピクセルは、テクスチャで着色され得る一方、コンポーネントの一部である、ピクセルは、暗色化され、すなわち、ＲＧＢ値（０，０，０）であり得る。図１２Ａは、いくつかのピクセルが着色され、いくつかのピクセルが暗色化されたアトラスの一部を図示する。ＪＰＥＧ圧縮規格に対して、アトラス画像は、８ピクセル×８ピクセルブロックに分割され得る。例えば、図１２Ａに図示されるアトラスの一部は、４つの８×８ブロック１２０２、１２０４、１２０６、および１２０８に分割される。各８×８ブロックは、別個に変換および量子化され得る。テクスチャ加工されたピクセルと暗色ピクセルとの両方を含む８×８ブロック（図１２Ａに示されるブロック１２０２、１２０４、および１２０６等）に関して、変換されるドメインは、大高周波数成分を含み得、それは、圧縮効率および画質に影響を及ぼし得る。一方、８×８ブロックが、図１２Ａに示されるブロック１２０８等の暗色ピクセルのみを含む場合、変換および量子化は両方とも、ゼロ出力をもたらし得、したがって、すでに効率的であり得る。

図１３は、本発明のある実施形態による、ブロック充填の方法１３００を図示する簡略化されたフローチャートを示す。方法１３００は、１３０２において、アトラス画像を８×８ブロックに分割することと、１３０４において、テクスチャ加工されたピクセルと暗色ピクセルとの両方を含む各ブロックに対して、暗色ピクセルをテクスチャ加工されたピクセルの色で充填することとを含む。一実施形態では、フラッド充填アルゴリズムが、暗色ピクセルを充填するために使用され得る。

図１２Ｂは、本発明のある実施形態による、ブロック充填後の図１２Ａに示されるアトラスの一部を示す。各々が、以前は、図１２Ａに示されるようにテクスチャ加工されたピクセルおよび暗色ピクセルの両方を含んでいたブロック１２０２、１２０４、および１２０６が、現時点では、テクスチャ加工されたピクセルのみを含むことに留意されたい。したがって、それらのブロックに対して変換されたドメインは、暗色ピクセルからの高周波数雑音成分を含まず、したがって、より効率的に圧縮され得る。ブロック１２０８は、暗色ピクセルのみを含み、不変である。

図１４Ａおよび１４Ｂは、それぞれ、本発明のある実施形態による、ブロック充填前後のアトラス画像の一部を示す。図１４Ａに示されるようなブロック充填前のエリア１４０２の内側の暗色ピクセルは、図１４Ｂに示されるように、ブロック充填後、テクスチャ加工されることに留意されたい。さらに、ブロック充填後、コンポーネントの縁は、より顕著にぎざぎざである。図１０および１１に示される例示的テクスチャ加工されたアトラス画像は、本発明のある実施形態に従って、ＪＰＥＧ圧縮規格に関してブロック充填されている。

Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣ規格等のより高度な圧縮規格に対して、ブロックは、最初に、近隣ブロックから予測され得る。暗色ブロックがテクスチャ加工された近隣ブロックを有する場合、近隣ブロックからの予測は、暗色ブロックと有意に異なり得、それは、予測ベースの圧縮規格に対して低圧縮効率をもたらし得る。ある実施形態によると、ブロックレベル充填動作が、行われ得る。

図１５は、本発明のある実施形態による、ブロックレベル充填の方法１５００を図示する簡略化されたフローチャートを示す。方法１５００は、１５０２において、アトラス画像を８×８ブロックに分割することと、１５０４において、テクスチャ加工されたピクセルおよび暗色ピクセルの両方を含む、各８×８ブロックに対して、例えば、フラッド充填アルゴリズムを使用して、暗色ピクセルをテクスチャ加工されたピクセルからの色で充填することとを含む。方法１５００は、１５０６において、各暗色ブロックを近隣のテクスチャ加工されたブロックからの色で充填することをさらに含む。一実施形態では、暗色ブロックが、左または右近隣ブロックからの色をコピーする場合、各ピクセルは、同じ行内の近隣ピクセルからの色をコピーする。暗色ブロックが、上側または下側近隣ブロックからの色をコピーする場合、各ピクセルは、同じ列内の近隣ピクセルからの色をコピーする。

上で説明されるように、本発明の実施形態は、３Ｄ三角形メッシュをテクスチャ加工されたアトラスにパッキングする方法を提供し、それは、効率的メモリ使用をもたらし得る。方法は、特に、互いに平行または垂直のいずれかである、壁、天井、もしくは床を含む家および建物等の形状直交性特性を伴うオブジェクトを表す３Ｄメッシュに適用されることにおいて有利であり得る。

比較のために、図１６Ａおよび１６Ｂは、従来の方法を使用してテクスチャ加工されたコンポーネントを色画像から直接マスクすることによって作成されたいくつかの例示的アトラス画像を示す。図１６Ａおよび１６Ｂから分かるように、各アトラス画像は、大暗色面積を含む。各アトラスに対して、テクスチャ加工された面積は、総アトラス面積のわずかな割合にすぎない。したがって、図１６Ａおよび１６Ｂに示されるアトラスは、メモリおよび記憶使用の低効率を有し得る。対照的に、図１０および１１に図示されるアトラスは、はるかにより効率的にパッキングされる。

（Ｇ．直交投影ベースのテクスチャアトラスパッキングの方法）
図１７は、本発明のある実施形態による、テクスチャアトラスパッキングの方法１７００を図示する簡略化されたフローチャートを示す。方法１７００は、１７０２において、３次元（３Ｄ）メッシュを入力することを含む。３Ｄメッシュは、１つ以上のオブジェクトの表面を表す複数の三角形を含み得る。各三角形は、それぞれのテクスチャを有する。

方法１７００は、１７０４において、各それぞれの三角形のために、それぞれの三角形の法線を決定することと、１７０６において、法線の主要な成分に従って、ｘ−、ｙ−、およびｚ−方向の正ならびに負に沿って、それぞれの三角形を６つの方向のうちの１つに分類することとをさらに含む。方法１７００は、１７０８において、６つの方向のうちの各それぞれの方向における三角形をそれぞれの方向に直交する１つ以上の層に分類することをさらに含む。

方法１７００は、１７１０において、それぞれの方向における各それぞれの層に対して、１つ以上の接続されたコンポーネントを識別することをさらに含む。各接続されたコンポーネントは、共通縁または角によって接続された複数の接続された三角形を含む。方法１７００は、１７１２において、各それぞれの接続されたコンポーネントをそれぞれの方向に直交する平面上に投影し、対応する投影された２次元（２Ｄ）の接続されたコンポーネントを得ることをさらに含む。方法１７００はさらに、１７１４において、投影された２Ｄの接続されたコンポーネントを１つ以上のサブコンポーネントに切断することを含み得る。各サブコンポーネントは、それぞれの長方形境界ボックス内に含まれ得る。

方法１７００は、１７１６において、全ての方向における全ての層内の全ての投影された２Ｄの接続されたコンポーネントの全てのサブコンポーネントの境界ボックスを１つ以上のアトラスにパッキングすることと、１７１８において、各アトラス内の各サブコンポーネントの各それぞれの三角形に対して、３Ｄメッシュの対応する三角形のテクスチャをそれぞれの三角形にコピーすることとをさらに含む。

当業者はさらに、本明細書の本開示を参照して説明される種々の例示的論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または電子ハードウェアおよびコンピュータソフトウェアの組み合わせとして実装され得ることを理解し得る。例えば、モジュール／ユニットが、コンピュータ読み取り可能な記憶媒体内に記憶されるソフトウェア命令を実行するプロセッサによって実装され得る。

付随の図面におけるフローチャートおよびブロック図は、本発明の複数の実施形態による、システムおよび方法の可能な実装のシステムアーキテクチャ、機能、および動作を示す。この点において、フローチャートまたはブロック図内の各ブロックは、１つのモジュール、１つのプログラムセグメント、またはコードの一部を表し得、モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を実装するために使用される１つ以上の実行可能命令を含む。いくつかの代替実装では、ブロック内にマークされる機能は、図面にマークされるシーケンスと異なるシーケンスにおいても生じ得ることにも留意されたい。例えば、２つの連続ブロックは、実際には、実質的に並列に実行されることができ、時として、それらは、逆の順序で実行されることもでき、それは、関与する機能に依存する。ブロック図および／またはフローチャート内の各ブロックならびにブロック図および／またはフローチャート内のブロックの組み合わせは、対応する機能または動作を実行するために、専用ハードウェアベースのシステムによって実装され得るか、または専用ハードウェアおよびコンピュータ命令の組み合わせによって実装され得る。

当業者によって理解されるであろうように、本開示の実施形態は、方法、システム、またはコンピュータプログラム製品として具現化され得る。故に、本開示の実施形態は、完全にハードウェア実施形態、完全にソフトウェア実施形態、またはソフトウェアおよびハードウェアを組み合わせる実施形態の形態をとり得る。さらに、本開示の実施形態は、コンピュータ読み取り可能なプログラムコードを含む１つ以上のコンピュータ読み取り可能な記憶媒体（限定ではないが、磁気ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリ等を含む）内に具現化されるコンピュータプログラム製品の形態をとり得る。

本開示の実施形態は、本開示の実施形態に従って、方法、デバイス（システム）、およびコンピュータプログラム製品のフロー図および／またはブロック図を参照して説明される。フロー図および／またはブロック図の各フローおよび／またはブロックならびにフロー図および／またはブロック図内のフローおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実装されることができることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊目的コンピュータ、内蔵プロセッサ、または他のプログラマブルデータ処理デバイスのプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理デバイスのプロセッサを介して実行される命令が、フロー図内の１つ以上のフローおよび／またはブロック図内の１つ以上のブロック内に規定された機能を実装するための手段を作成するように、機械を生成し得る。

これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理デバイスに、コンピュータ読み取り可能なメモリ内に記憶される命令が、フロー図内の１つ以上のフローおよび／またはブロック図内の１つ以上のブロック内に規定された機能を実装する命令手段を含む製造製品を生成するような特定の様式において機能するように指示し得るコンピュータ読み取り可能なメモリ内にも記憶され得る。

これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理デバイスにもロードされ、一連の動作ステップをコンピュータまたは他のプログラマブルデバイス上で行わせ、コンピュータまたは他のプログラマブルデバイス上で実行される命令が、フロー図内の１つ以上のフローおよび／またはブロック図内の１つ以上のブロック内に規定された機能を実装するためのステップを提供するように、コンピュータによって実装される処理を生成し得る。典型的構成では、コンピュータデバイスは、１つ以上の中央処理ユニット（ＣＰＵ）と、入力／出力インターフェースと、ネットワークインターフェースと、メモリとを含む。メモリは、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、および／または不揮発性メモリ、ならびにコンピュータ読み取り可能な記憶媒体内の読み取り専用メモリ（ＲＯＭ）またはフラッシュＲＡＭ等の形態を含み得る。メモリは、コンピュータ読み取り可能な記憶媒体の例である。

コンピュータ読み取り可能な記憶媒体は、プロセッサによって読み取り可能な情報またはデータが記憶され得る任意のタイプの物理的メモリを指す。したがって、コンピュータ読み取り可能な記憶媒体は、プロセッサに本明細書に説明される実施形態に準拠することまたは段階を行わせるための命令を含む、１つ以上のプロセッサによる実行のための命令を記憶し得る。コンピュータ読み取り可能な記憶媒体は、不揮発性および揮発性媒体ならびに取り外し可能および非取り外し可能媒体を含み、情報記憶装置は、任意の方法または技術で実装されることができる。情報は、コンピュータ読み取り可能な命令、データ構造およびプログラム、または他のデータのモジュールであり得る。コンピュータ記憶媒体の実施例は、限定ではないが、相変化ランダムアクセスメモリ（ＰＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶装置、カセットテープ、テープもしくはディスク記憶装置または他の磁気記憶デバイス、もしくはコンピュータデバイスによってアクセス可能な情報を記憶するために使用され得る、任意の他の非伝送媒体を含む。コンピュータ読み取り可能な記憶媒体は、非一過性であり、変調されたデータ信号および搬送波等の一過性媒体を含まない。

本明細書は、３Ｄメッシュの直交投影ベースのテクスチャアトラスパッキングのための方法、装置、およびシステムを説明した。図示されるステップは、示される例示的実施形態を説明するために記載され、継続的技術的開発は、特定の機能が行われる様式において変化するであろうことを予期されたい。したがって、これらの例は、限定ではなく、例証目的のために本明細書に提示される。例えば、本明細書に開示されるステップまたはプロセスは、説明される順序で行われることに限定されず、任意の順序で行われてもよく、いくつかのステップは、開示される実施形態に準拠して、省略され得る。さらに、機能構築ブロックの境界は、本明細書では、説明の利便性のために恣意的に定義された。代替境界は、規定された機能およびその関係が適切に行われる限り、定義されることができる。代替（本明細書に説明されるものの均等物、拡張、変形例、逸脱等を含む）は、本明細書に含まれる教示に基づいて、当業者に明白であろう。そのような代替は、開示される実施形態の範囲および精神内にある。

開示される原理の実施例および特徴が、本明細書に説明されたが、修正、適応、および他の実装も、開示される実施形態の精神および範囲から逸脱することなく、可能である。また、単語「〜を備えている」、「〜を有する」、「〜を含む」、および「〜を含む」、ならびに他の類似形態は、これらの単語のうちの任意の１つに続くアイテムまたは複数のアイテムが、そのようなアイテムまたは複数のアイテムの包括的リストであることを意味するものではない、もしくは列挙されたアイテムまたは複数のアイテムのみに限定されることを意味するものではないという点において、意味上の均等物であって、非制限的であると意図される。また、本明細書で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈によって明確に別様に示されない限り、複数参照も含むことに留意されたい。

本発明は、上で説明され、付随の図面に図示された正確な構造に限定されず、種々の修正および変更は、その範囲から逸脱することなく行われることができることを理解されたい。

Claims (20)

1. アトラスパッキングの方法であって、前記方法は、
   １つ以上のオブジェクトの表面を表す複数の三角形を含む３次元（３Ｄ）メッシュを受信することであって、各三角形は、それぞれのテクスチャを有する、ことと、
   前記複数の三角形の各それぞれの三角形に対して、
   それぞれの三角形の法線を決定することと、
   前記法線の主要な成分に従って、ｘ−、ｙ−、およびｚ−方向の正および負に沿って、それぞれの三角形を６つの方向のうちの１つに分類することと、
   前記６つの方向のうちの各それぞれの方向における三角形をそれぞれの方向に直交する１つ以上の層に分類することと、
   それぞれの方向における各それぞれの層に対して、
   １つ以上の接続されたコンポーネントを識別することであって、各接続されたコンポーネントは、複数の接続された三角形を備えている、ことと、
   各それぞれの接続されたコンポーネントをそれぞれの方向に直交する平面上に投影し、対応する投影された２次元（２Ｄ）の接続されたコンポーネントを得ることと、
   前記投影された２Ｄの接続されたコンポーネントを１つ以上のサブコンポーネントに切断することであって、各サブコンポーネントは、それぞれの長方形境界ボックス内に含まれる、ことと、
   全ての方向における全ての層内の全ての投影された２Ｄの接続されたコンポーネントの全てのサブコンポーネントの境界ボックスを１つ以上のアトラスにパッキングすることと、
   各アトラス内の各サブコンポーネントの各それぞれの三角形に対して、前記３Ｄメッシュの対応する三角形のテクスチャをそれぞれの三角形にコピーすることと
   を含む、方法。
2. 前記三角形を分類する前、
   前記３Ｄメッシュの１つ以上の主要表面を識別することと、
   前記３Ｄメッシュを回転させ、前記１つ以上の主要表面の法線をｘ−、ｙ−、およびｚ−方向のうちの１つ以上のものと整列させることと
   をさらに含む、請求項１に記載の方法。
3. 各それぞれの方向における前記三角形を前記１つ以上の層に分類することは、
   それぞれの方向に直交する複数の平面によって、それぞれの方向における空間を分割することと、
   ２つの隣接する平面間にある三角形を１つの層に分類することと
   を含む、請求項１に記載の方法。
4. 前記投影された２Ｄの接続されたコンポーネントを前記１つ以上のサブコンポーネントに切断することは、前記１つ以上のサブコンポーネントのための前記境界ボックスの面積の和を最小化する、請求項１に記載の方法。
5. 各サブコンポーネントは、略長方形形状を有する、請求項４に記載の方法。
6. 前記投影された２Ｄの接続されたコンポーネントを切断することは、
   水平方向または垂直方向における前記投影された２Ｄの接続されたコンポーネントの縁を識別することと、
   前記識別された縁において、前記投影された２Ｄの接続されたコンポーネントを直線水平線または直線垂直線に沿って切断し、前記投影された２Ｄの接続されたコンポーネントを２つ以上のサブコンポーネントに分割することと
   を含む、請求項４に記載の方法。
7. 前記投影された２Ｄの接続されたコンポーネントを切断することは、前記縁を識別する前、
   前記投影された２Ｄの接続されたコンポーネントを回転させ、前記投影された２Ｄの接続されたコンポーネントを含む長方形境界ボックスの面積を最小化することをさらに含む、請求項６に記載の方法。
8. 全てのサブコンポーネントの境界ボックスをパッキングすることは、
   全てのサブコンポーネントのための前記境界ボックスをそれらのより長い縁の長さによって降順にソートすることと、
   第１のパッキングされていない境界ボックスを選別することと、
   前記第１のパッキングされていない境界ボックスが収まることができる全ての現在のアトラス内の利用可能な空間を探すことと、
   前記第１のパッキングされていない境界ボックスを前記利用可能な空間にパッキングすることと
   を含む、請求項１に記載の方法。
9. 各アトラスを複数のブロックに分割することであって、各ブロックは、複数のピクセルを含む、ことと、
   テクスチャ加工されたピクセルおよび暗色ピクセルの両方を含む各ブロックに対して、暗色ピクセルをテクスチャ加工されたピクセルからの色で充填することと、
   圧縮規格を使用して、前記１つ以上のアトラスを記憶することと
   をさらに含む、請求項１に記載の方法。
10. 各アトラスを複数のブロックに分割することであって、各ブロックは、複数のピクセルを含む、ことと、
    テクスチャ加工されたピクセルおよび暗色ピクセルの両方を含む各ブロックに対して、暗色ピクセルをテクスチャ加工されたピクセルからの色で充填することと、
    暗色ピクセルのみを含む各ブロックを近隣のテクスチャ加工されたブロックからの色で充填することと、
    圧縮規格を使用して、前記１つ以上のアトラスを記憶することと
    をさらに含む、請求項１に記載の方法。
11. 複数のコンピュータ読み取り可能な命令を備えている非一過性コンピュータ読み取り可能な記憶媒体であって、前記命令は、前記コンピュータ読み取り可能な記憶媒体上に有形的に具現化されており、前記命令は、コンピュータプロセッサによって実行されると、アトラスパッキングを行い、前記複数の命令は、
    １つ以上のオブジェクトの表面を表す複数の三角形を含む３次元（３Ｄ）メッシュを受信することを前記コンピュータプロセッサに行わせる命令であって、各三角形は、それぞれのテクスチャを有する、命令と、
    前記複数の三角形の各それぞれの三角形に対して、
    それぞれの三角形の法線を決定することと、
    前記法線の主要な成分に従って、ｘ−、ｙ−、およびｚ−方向の正および負に沿って、それぞれの三角形を６つの方向のうちの１つに分類することと
    を前記コンピュータプロセッサに行わせる命令と、
    前記６つの方向のうちの各それぞれの方向における三角形をそれぞれの方向に直交する１つ以上の層に分類することを前記コンピュータプロセッサに行わせる命令と、
    それぞれの方向における各それぞれの層に対して、
    １つ以上の接続されたコンポーネントを識別することであって、各接続されたコンポーネントは、複数の接続された三角形を備えている、ことと、
    各それぞれの接続されたコンポーネントをそれぞれの方向に直交する平面上に投影し、対応する投影された２次元（２Ｄ）の接続されたコンポーネントを得すことと、
    前記投影された２Ｄの接続されたコンポーネントを１つ以上のサブコンポーネントに切断することであって、各サブコンポーネントは、それぞれの長方形境界ボックス内に含まれる、ことと
    を前記コンピュータプロセッサに行わせる命令と、
    全ての方向における全ての層内の全ての投影された２Ｄの接続されたコンポーネントの全てのサブコンポーネントの境界ボックスを１つ以上のアトラスにパッキングすることを前記コンピュータプロセッサに行わせる命令と、
    各アトラス内の各サブコンポーネントの各それぞれの三角形に対して、前記３Ｄメッシュの対応する三角形のテクスチャをそれぞれの三角形にコピーすることを前記コンピュータプロセッサに行わせる命令と
    を含む、非一過性コンピュータ読み取り可能な記憶媒体。
12. 前記複数の命令は、前記三角形を分類する前、
    前記３Ｄメッシュの１つ以上の主要表面を識別することと、
    前記３Ｄメッシュを回転させ、前記１つ以上の主要表面の法線をｘ−、ｙ−、およびｚ−方向のうちの１つ以上のものと整列させることと
    を前記コンピュータプロセッサに行わせる命令をさらに含む、請求項１１に記載の非一過性コンピュータ読み取り可能な記憶媒体。
13. 各それぞれの方向における三角形を前記１つ以上の層に分類することを前記コンピュータプロセッサに行わせる命令は、
    それぞれの方向に直交する複数の平面によって、それぞれの方向における空間を分割することを前記コンピュータプロセッサに行わせる命令と、
    ２つの隣接する平面間にある三角形を１つの層に分類することを前記コンピュータプロセッサに行わせる命令と
    を含む、請求項１１に記載の非一過性コンピュータ読み取り可能な記憶媒体。
14. 前記投影された２Ｄの接続されたコンポーネントを前記１つ以上のサブコンポーネントに切断することは、前記１つ以上のサブコンポーネントのための前記境界ボックスの面積の和を最小化する、請求項１１に記載の非一過性コンピュータ読み取り可能な記憶媒体。
15. 各サブコンポーネントは、略長方形形状を有する、請求項１４に記載の非一過性コンピュータ読み取り可能な記憶媒体。
16. 前記投影された２Ｄの接続されたコンポーネントを切断することを前記コンピュータプロセッサに行わせる命令は、
    水平方向または垂直方向における前記投影された２Ｄの接続されたコンポーネントの縁を識別することを前記コンピュータプロセッサに行わせる命令と、
    前記識別された縁において、前記投影された２Ｄの接続されたコンポーネントを直線水平線または直線垂直線に沿って切断し、前記投影された２Ｄの接続されたコンポーネントを２つ以上のサブコンポーネントに分割することを前記コンピュータプロセッサに行わせる命令と
    を含む、請求項１４に記載の非一過性コンピュータ読み取り可能な記憶媒体。
17. 前記投影された２Ｄの接続されたコンポーネントを切断することを前記コンピュータプロセッサに行わせる命令は、
    前記縁を識別する前、前記投影された２Ｄの接続されたコンポーネントを回転させ、前記投影された２Ｄの接続されたコンポーネントを含む長方形境界ボックスの面積を最小化することを前記コンピュータプロセッサに行わせる命令をさらに含む、請求項１６に記載の非一過性コンピュータ読み取り可能な記憶媒体。
18. 全てのサブコンポーネントの前記境界ボックスをパッキングすることを前記コンピュータプロセッサに行わせる命令は、
    全てのサブコンポーネントのための前記境界ボックスをそれらのより長い縁の長さによって降順にソートすることを前記コンピュータプロセッサに行わせる命令と、
    第１のパッキングされていない境界ボックスを選別することを前記コンピュータプロセッサに行わせる命令と、
    前記第１のパッキングされていない境界ボックスが収まることができる全ての現在のアトラス内の利用可能な空間を探すことを前記コンピュータプロセッサに行わせる命令と、
    前記第１のパッキングされていない境界ボックスを前記利用可能な空間内にパッキングすることを前記コンピュータプロセッサに行わせる命令と
    を含む、請求項１６に記載の非一過性コンピュータ読み取り可能な記憶媒体。
19. 前記複数の命令は、
    各アトラスを複数のブロックに分割することを前記コンピュータプロセッサに行わせる命令であって、各ブロックは、複数のピクセルを含む、命令と、
    テクスチャ加工されたピクセルおよび暗色ピクセルの両方を含む各ブロックに対して、暗色ピクセルをテクスチャ加工されたピクセルからの色で充填することを前記コンピュータプロセッサに行わせる命令と、
    圧縮規格を使用して、前記１つ以上のアトラスを記憶することを前記コンピュータプロセッサに行わせる命令と
    をさらに含む、請求項１１に記載の非一過性コンピュータ読み取り可能な記憶媒体。
20. 前記複数の命令は、
    各アトラスを複数のブロックに分割することを前記コンピュータプロセッサに行わせる命令であって、各ブロックは、複数のピクセルを含む、命令と、
    テクスチャ加工されたピクセルおよび暗色ピクセルの両方を含む各ブロックに対して、暗色ピクセルをテクスチャ加工されたピクセルからの色で充填することを前記コンピュータプロセッサに行わせる命令と、
    暗色ピクセルのみを含む各ブロックを近隣のテクスチャ加工されたブロックからの色で充填することを前記コンピュータプロセッサに行わせる命令と、
    圧縮規格を使用して、前記１つ以上のアトラスを記憶することを前記コンピュータプロセッサに行わせる命令と
    をさらに含む、請求項１１に記載の非一過性コンピュータ読み取り可能な記憶媒体。