JP7442993B2

JP7442993B2 - 情報処理装置、情報処理方法、データ構造、及びプログラム

Info

Publication number: JP7442993B2
Application number: JP2019137851A
Authority: JP
Inventors: 智一佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-26
Filing date: 2019-07-26
Publication date: 2024-03-05
Anticipated expiration: 2039-07-26
Also published as: JP2021022122A

Description

本発明は、情報処理装置、情報処理方法、データ構造、及びプログラムに関する。

従来、三次元情報のデータ表現の方法として、ポリゴンメッシュによるサーフェイスモデル（メッシュモデル）を用いる方法が知られている。但し、この方法では、例えば、ウェブブラウザを用いてポリゴンメッシュの描画を行う場合等に、描画リソースが限られる場合がある。

そこで、低解像度から高解像度までポリゴンメッシュを段階的に復号可能なプログレッシブ符号化方式を適用し、先に低解像度のメッシュデータを転送して描画し、後から追加の詳細情報を転送して高解像度のメッシュデータを描画することが行われている。

特許文献１には、符号化時にメッシュの２頂点を１頂点に統合する処理を繰り返すことで簡略化したメッシュとその手順を管理する木構造を生成し、復号時にその簡略化したメッシュから木構造を逆に辿ることで元のメッシュを復元する方法が開示されている。

特開２００３－３３７９５３号公報

しかしながら、特許文献１に記載の方法では、元のメッシュを復元する上で、順次、木構造を辿り、１つずつ頂点を復号する処理が必要であり、復号処理に時間がかかってしまう。特に、多数の高精細なメッシュを描画する場合には、復号に係る処理時間が長くなってしまう。加えて、三次元情報のデータ表現にはテクスチャが用いられるが、テクスチャを付与するとさらに復号時間に係る処理時間が長くなってしまう。

本発明は、このような課題に鑑みてなされたものであり、ポリゴンメッシュの解像度を段階的に復号可能なプログレッシブ符号化方式において、復号に係る処理時間を削減することを目的とする。

本発明の一実施形態において、被写体の三次元形状を表す際に用いられるポリゴンメッシュの解像度を段階的に復号可能な符号化データを出力する情報処理装置は、前記被写体の三次元形状を表現する第１のポリゴンデータを構成する第１のポリゴンメッシュを表すメッシュデータを取得する取得手段と、前記取得手段により取得されたメッシュデータに基づいて、前記第１のポリゴンデータより解像度が高い第２のポリゴンデータであって、かつ前記被写体の三次元形状を表現する第２のポリゴンデータを構成する第２のポリゴンメッシュの頂点の三次元空間における位置に関する情報を含むジオメトリデータを生成する第１生成手段と、前記第２のポリゴンデータに対応するテクスチャ画像と、前記テクスチャ画像上の前記第２のポリゴンデータに対応するジオメトリ及びトポロジとを生成する第２生成手段と、前記テクスチャ画像上の頂点の接続関係を示す情報および前記第１のポリゴンメッシュを構成する頂点の接続関係を示す情報を含むトポロジデータと、前記第１生成手段により生成されたジオメトリデータと、を含む前記符号化データを出力する出力手段とを有する。

本発明によれば、ポリゴンメッシュの解像度を段階的に復号可能なプログレッシブ符号化方式において、復号に係る処理時間を削減することができる。

既存のデータ記述形式で記述された、テクスチャを伴うメッシュデータを示す図である。プログレッシブ符号化装置の機能構成を示す図である。プログレッシブ符号化装置の符号化部において実行される処理の概要及び手順を示すフローチャートである。ベースメッシュの細分化、及び入力されたメッシュへのフィッティングによって、メッシュが変化する様子を示す図である。プログレッシブ形式で記述された、テクスチャを伴うメッシュデータを示す図である。テクスチャを伴うプログレッシブメッシュデータのファイル構成を示す図である。細分化前後におけるプログレッシブ形式で記述されたメッシュデータの変化を示す図である。細分化前後における要素数の変動を示す図である。三角形のメッシュ及び四角形のメッシュの細分化を示す図である。プログレッシブ符号化装置の復号部において実行される処理の概要及び手順を示すフローチャートである。プログレッシブ符号化装置のハードウェア構成を示す図である。プログレッシブ符号化装置の機能構成を示す図である。三角形のメッシュ及び四角形のメッシュの細分化を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。加えて、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。その他、以下の実施形態において、その装置構成として、符号化部と復号部の双方の機能を有するものとして説明するが、符号化部と復号部のいずれか一方の機能を有するものでもよい。

（第１の実施形態）
はじめに、本実施形態について説明する前に、本実施形態で用いるメッシュのデータ記述方法（データ記述形式）との対比のため、既存のメッシュのデータ記述方法について、図１を用いて説明する。図１は、既存のデータ記述形式で記述された、テクスチャを伴うメッシュデータを示す。

図１（ａ）は、頂点Ｖ₀、Ｖ₂、Ｖ₃によって構成される三角形Ｆ₀と、頂点Ｖ₀、Ｖ₃、Ｖ₁によって構成される三角形Ｆ₁と、頂点Ｖ₁、Ｖ₃、Ｖ₄によって構成される三角形Ｆ₂から成るメッシュを表す。各三角形には、図１（ｂ）に示されるテクスチャ画像の一部がテクスチャとして割り当てられる。図１（ａ）に割り当てられるテクスチャは、三角形で表される。つまり、テクスチャの領域は、３つの頂点とその頂点間を結ぶ線分で囲まれた領域である。言い換えると、メッシュに対応するテクスチャを示す領域は、３つ以上の頂点とその頂点を結ぶ線分とで構成される領域である。

このようなメッシュは、図１（ｃ）に示される各頂点の頂点座標と、図１（ｄ）に示される各頂点に対応するテクスチャ画像の頂点座標と、図１（ｅ）に示される各三角形を構成するメッシュ及びテクスチャの頂点の参照を記述することで定義される。

なお、図１（ｃ）～（ｅ）において、要素の参照符号であるＶ、Ｃ、Ｆは、これらの並びによって暗に示すことが可能であり、データとしては持たなくともよい。また、頂点の参照とは、データ上の頂点の順位（インデックス）を示すものであるが、各要素間の接続関係は、頂点座標にアクセス可能な手段で示されればよく、その他に、メモリ上のアドレス等で記述されることもある。また、図１（ｃ）に示されるような三次元空間における位置を表現する情報をジオメトリ、図１（ｅ）に示されるような各要素間の接続関係を表現する情報をトポロジと称する。なお、本実施形態においては、テクスチャ上の頂点座標及びその接続関係も、それぞれジオメトリ及びトポロジと称する。以下では、上述のデータ記述形式を、既存のデータ記述形式と称する。

次に、本実施形態に係る情報処理装置として、テクスチャを伴うメッシュのプログレッシブ符号化装置と、そのプログレッシブ符号化装置により生成される、テクスチャを伴うメッシュのデータ記述形式について説明する。

図２は、第１の実施形態におけるプログレッシブ符号化装置の機能構成例を示す。図２（ａ）は符号化部を示し、図２（ｂ）は復号部を示す。図２（ａ）に示される符号化部は、図１で示した既存のデータ記述形式で表現されたテクスチャを伴うメッシュを、段階的に解像度を制御することができるようにプログレッシブ符号化する。本実施形態におけるプログレッシブ符号化方式は、ポリゴンメッシュの３次元ポリゴンメッシュモデルを複数の解像度（精細度）で復号可能なように（複数の解像度のうち、いずれかの解像度（各々の解像度）を選択して復号可能なように）符号化する方式である。すなわち、本実施形態における符号化装置は、ポリゴンメッシュモデルを複数の解像度で復号可能な符号化データ（プログレッシブメッシュデータ）を出力する情報処理装置として機能する。ポリゴンメッシュモデルは、被写体の三次元形状を表現するデータ（ポリゴンデータ）である。また、ポリゴンメッシュモデルの解像度は、被写体の三次元形状を表現するデータを構成するポリゴンメッシュの数で表される。例えば、同じ被写体を表現するポリゴンメッシュモデルを構成するポリゴンメッシュの数が多いほうが、その数が少ない場合に比べて、解像度が高い。

符号化部は、図２（ａ）に示されるように、メッシュ入力部２０１、メッシュ簡略化部２０２、トポロジ変換部２０３、メッシュ細分化部２０４、テクスチャ付与部２０７、及びメッシュ出力部２０８を有する。また、メッシュ細分化部２０４は、トポロジ細分化部２０５、及びジオメトリ算出部２０６を含む。

メッシュ入力部２０１は、既存のデータ記述形式（具体的には、図１（ｃ）～（ｅ）に示されるデータ記述形式）で記述されたポリゴンメッシュを表すメッシュデータを受信（取得）し、符号化部に入力する。メッシュ簡略化部２０２は、入力されたメッシュデータのメッシュ（以下、入力メッシュと称する）を簡略化する。以下、簡略化したメッシュをベースメッシュと称する。

トポロジ変換部２０３は、ベースメッシュのトポロジをプログレッシブ表現に変換する。なお、プログレッシブ表現については、図５を参照して後述する。メッシュ細分化部２０４は、プログレッシブ表現に変換されたベースメッシュのトポロジの細分化と、頂点座標の入力メッシュへのフィッティングを繰り返し実行する。これにより、メッシュ細分化部２０４は、最終階層のメッシュ（以下、フルメッシュと称する）を生成する。

テクスチャ付与部２０７は、フルメッシュにテクスチャを付与する。テクスチャの付与に関する具体的な処理は、後述する。

メッシュ出力部２０８は、テクスチャ付与部２０７で生成されたプログレッシブ表現のベースメッシュのトポロジ情報及びフルメッシュのジオメトリ情報を、プログレッシブメッシュとして出力する。

次に、図２（ａ）に示される符号化部において実行される処理の概要及び手順を、図３（ａ）のフローチャートを用いて説明する。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。また、その他のフローチャートの説明においても同様に記号「Ｓ」を使用する。

まず、Ｓ３０１において、メッシュ入力部２０１が、符号化部にメッシュデータを入力する。

Ｓ３０２において、メッシュ簡略化部２０２が、入力メッシュを簡略化して、より面数の少ないメッシュ（すなわち、ベースメッシュ）で、入力メッシュを近似的に表現する。なお、メッシュの簡略化に関して、本実施形態では、上述の特許文献１で開示されている方法を用いるが、この方法に限定されるものではなく、形状の構造を保った状態で面数を削減できる方法であれば任意の方法でよい。

Ｓ３０３において、トポロジ変換部２０３が、ベースメッシュのトポロジをプログレッシブ表現に変換する。なお、プログレッシブ表現に変換するときの解像度の段階数をＰＤ（Progressive Depth）とする。例えば、ＰＤ＝３の場合、ベースメッシュから２回の細分化が行われ、１階層目のベースメッシュと、３階層目のフルメッシュと、その間に２階層目の中間メッシュが存在することになる。中間メッシュは、ベースメッシュより解像度が高く、フルメッシュは中間メッシュより解像度が高くなる。つまり、同じ被写体の三次元形状を表現するデータをベースメッシュよりも中間メッシュを用いたほうが、メッシュの数が多くなり、また中間メッシュよりもフルメッシュを用いたほうが、メッシュの数が多くなっている。ここで、メッシュの解像度という表現を用いるが、上述したように、ポリゴンメッシュモデルの解像度と同じ意味で用いる。つまり、同じ被写体の三次元形状を表現する際に用いられるメッシュの数が多いほど、そのメッシュの解像度が高いと表現する。

Ｓ３０４において、トポロジ細分化部２０５が、プログレッシブ表現に変換されたベースメッシュのトポロジの正則分割を実行する。なお、正則分割については、図４を参照して後述する。また、正則分割では、面数や頂点数が増えるだけで形状は変化しないため、Ｓ３０５においてジオメトリ算出部２０６が、頂点座標が入力メッシュに近づくように、位置合わせを実行する。ここでは、位置合わせを実行する頂点により近い入力メッシュの頂点を探索し、その位置合わせを実行する頂点の座標をその探索した頂点の座標と一致させる。その他、位置合わせに関して、入力メッシュとの差を最小化するようなエネルギー最小化問題として実行してもよく、その方法は任意である。

ここで、補足として、図４を用いて、Ｓ３０２～Ｓ３０５の一連の処理によってメッシュが変化する様子を説明する。図４（ａ）は入力メッシュであり、表現したい理想的な形状である。入力メッシュは、図示されていない多数の微小な三角形によって形成されているものとする。この入力メッシュをＳ３０２において簡略化することで、図４（ｂ）に示されるように２つの三角形で近似表現する。そして、Ｓ３０４においてメッシュの正則分割を実行することで、図４（ｃ）に示されるように、それぞれの三角形が４分割される。最後に、Ｓ３０５において頂点の位置合わせ（フィッティング）を実行することで、図４（ｄ）に示されるように、メッシュの形状を入力メッシュに近づける。ポリゴンメッシュの解像度は、図４（ａ）で示される入力メッシュに対して、どれくらいのポリゴン数で表現するかに依存する。つまり、ポリゴン数が多いほど、ポリゴンメッシュの解像度が大きい。図４（ｂ）では、入力メッシュが２つの三角形により表される。図４（ｃ）、（ｄ）では、入力メッシュが８つの三角形により表される。そのため、図４（ｃ）、（ｄ）のメッシュは、図４（ｂ）のメッシュよりも高解像度と言う。

Ｓ３０６において、メッシュ細分化部２０４は、上述のＳ３０４及びＳ３０５の処理がＰＤ－１回、繰り返し実行されたかどうか判定する。メッシュ細分化部２０４は、上述のＳ３０４及びＳ３０５の処理をＰＤ－１回、繰り返し実行することで（Ｓ３０６のＹｅｓ）、解像度の段階数がＰＤであるプログレッシブ表現された最終階層のメッシュ（すなわち、フルメッシュ）を生成することができる。

Ｓ３０７において、テクスチャ付与部２０７は、生成されたフルメッシュにテクスチャを付与する。具体的には、テクスチャ付与部２０７は、後述する図５（ｂ）のテクスチャ画像、並びに、図５（ｅ）のテクスチャエッジ、テクスチャ頂点座標、及びポリゴン情報を生成する。図５の例では、図５（ａ）の三角形Ｆ₀に対して、図５（ｂ）のＩ₀の領域のテクスチャが付与されている。また、図５（ａ）の三角形Ｆ₁及びＦ₂に対して、図５（ｂ）のＩ₁の領域のテクスチャが付与されている。より具体的には、テクスチャエッジが、メッシュエッジに対応付けられている。なお、図５（ｅ）のテクスチャ頂点座標は、テクスチャ画像上の横軸をｕ、縦軸をｖとして、メッシュの頂点と対応付けるべきテクスチャ画像上の位置を指定する。

Ｓ３０８において、メッシュ出力部２０８が、テクスチャを伴うプログレッシブメッシュデータを出力する。プログレッシブメッシュデータは、少なくともベースメッシュ及びテクスチャのトポロジに関するトポロジデータと、フルメッシュのジオメトリに関するジオメトリデータを含む。

次に、図５を用いて、プログレッシブ表現された、テクスチャを伴うメッシュ（すなわち、テクスチャを伴うプログレッシブメッシュ）のデータ記述形式を説明する。

図５（ａ）は、メッシュのデータ記述形式の概略を示す。メッシュの形状は、頂点Ｖ（Ｖ₀、Ｖ₁、Ｖ₂、Ｖ₃、Ｖ₄、Ｖ₅）と、エッジＥ（Ｅ₀、Ｅ₁、Ｅ₂、Ｅ₃、Ｅ₄、Ｅ₅、Ｅ₆）とで表される三角形Ｆ（Ｆ₀、Ｆ₁、Ｆ₂）で構成される。このようなメッシュに対して、図５（ｂ）に示されるテクスチャ画像を対応付けることで、テクスチャを伴うメッシュモデルを表現することができる。図５（ｂ）に示されるように、テクスチャ上にも、テクスチャ頂点Ｃ（Ｃ₀、Ｃ₁、Ｃ₂、Ｃ₃）と、テクスチャエッジｔＥ（ｔＥ₀、ｔＥ₁、ｔＥ₂、ｔＥ₃、ｔＥ₄）とで表される三角形Ｆ（Ｆ₀、Ｆ₁、Ｆ₂）が存在する。図５（ａ）に示されるメッシュの形状を構成する三角形と、図５（ｂ）に示されるテクスチャ上の三角形は、一対一の関係となる。

図５（ｃ）は、メッシュの頂点Ｖの頂点座標を記述したものであり、図１（ｃ）と同様である。

図５（ｄ）は、メッシュの形状を構成する三角形Ｆの頂点Ｖ間の接続関係を表すエッジＥを記述したものであり、各エッジの両端の頂点の参照が記述されている。また、図５（ｄ）では、頂点の参照を、図５（ａ）における頂点の順位（番号）のうち（例えば、Ｖ₀は０番目の頂点を示す）、順位の低い（番号が小さい）ものから順に記述している。

図５（ｅ）は、テクスチャ上のジオメトリ（頂点座標）及びトポロジ（エッジ）と、形状との対応情報を示したものである。Ｉ（Ｉ₀、Ｉ₁）は、図５（ｂ）にも示すように、テクスチャ画像上のテクスチャのまとまりを表し、本実施形態ではこれを島と呼ぶ。図５の例では二つの島が存在し、それぞれの島に独立したジオメトリ及びトポロジが割り当てられている。テクスチャ頂点座標は、テクスチャ画像上の頂点位置を表している。なお、全ての島を通して一意の参照を定義しても構わない。テクスチャエッジは、テクスチャ頂点間の接続関係を表しており、さらに対応する形状のエッジ（メッシュエッジ）の参照が記述される。これによって、形状とテクスチャの対応関係を定義する。ポリゴン情報は、メッシュの構成単位であるテクスチャ上の三角形を記述したものであり、三角形を構成する３つのテクスチャエッジの参照を記述する。ここで記述されるテクスチャエッジの参照は、三角形を構成する頂点のうち最も番号が小さい頂点を基点として対辺に向かって右側のエッジ、左側のエッジ、対辺のエッジの順に記述する。例えば、三角形Ｆ₀の場合、図５（ｂ）のＩ₀と図５（ｅ）のＩ₀のＦ₀に示されているように、３頂点Ｃ₀、Ｃ₁、Ｃ₂のうち最も番号が小さい頂点はＣ₀である。従って、エッジの順序は、最初に対辺ｔＥ₂に向かって右側のエッジであるｔＥ₀、次に左側のエッジｔＥ₁、最後に対辺ｔＥ₂の順となる。テクスチャエッジを特定すると、テクスチャエッジに記述された形状のエッジの参照から形状のエッジを一意に特定することができる。この順番は、三角形の表方向をエッジの記述順序によって一意に表現できれば良く、逆順やずれ等その他の順で記述されていてもよい。以下、本データ記述形式をプログレッシブ形式と称する。テクスチャ頂点及びテクスチャエッジは島ごとに独立しているため、参照番号は島間で重複してもよい。

図６は、メッシュ出力部２０８が出力する、テクスチャを伴うプログレッシブメッシュデータのファイル構成を示す。図示されるように、ファイルは、header領域とbody領域を含む。header領域は、common領域、mesh_header領域、及びisland_header領域（island_header0,island_header1）を含む。body領域は、形状データを格納したmesh領域と、各島の情報を格納したisland領域（island0,island1）を含む。

header領域は、body領域の各要素について、面数、エッジ数、頂点数を解像度の段階ごとに格納している。common領域には、解像度の段階数（progressive_depth）などの共通情報が記述されている。

また、body領域では、mesh領域が、ベースメッシュ（level0）のエッジedges及び頂点座標coordsと、分割階層（level1,level2）の頂点座標coordsを格納している。island領域は、ベースメッシュのテクスチャにおける三角形（面）faces、エッジtexedges、及び頂点座標texcoordsと、分割階層の頂点座標texcoordsを格納している。

なお、ヘッダに記述されている頂点数と、その階層におけるファイルに記述される頂点数は、異なっていてもよい。例えば、ヘッダに記述されている頂点数が、階層間の頂点数の差分を表してもよく、その場合、頂点数は異なることになる。

次に、図３（ｂ）のフローチャートを用いて、上述したメッシュの正則分割処理について説明する。ここで、分割前のメッシュの頂点数をＮＶ、エッジ数をＮＥ、三角形数をＮＴとし、各要素の参照番号を（ｎ）で示すものとする。なお、頂点については、分割後の頂点も分割前の頂点を利用するため、分割前後で参照番号は維持されるが、エッジ及び三角形については、分割前後で独立（固有）の参照番号が付与される。図７は、細分化の分割前後におけるプログレッシブ形式で記述されたメッシュデータの変化（すなわち、頂点Ｖ、エッジＥ、三角形Ｔの参照番号の関係）を示す。また、図８は、細分化の分割前後における各要素数（すなわち、頂点数、エッジ数、及び三角形数）の変動を示す。

まず、Ｓ３０９において、トポロジ細分化部２０５は、例えば、着目するエッジをＥｄとすると、そのエッジＥｄの両端の２頂点（Ｖ_a、Ｖ_b）の平均座標によって表される新頂点Ｖ_NV+dを生成する（図７参照）。すなわち、トポロジ細分化部２０５は、エッジＥｄを分割して、新頂点Ｖ_NV+dを生成する。

Ｓ３１０において、トポロジ細分化部２０５は、分割により生成された新頂点とその両端の２頂点の各々とを結ぶ新エッジＥ_2d、Ｅ_2d+1を生成する。

Ｓ３１１において、トポロジ細分化部２０５は、全てのエッジに対して分割処理を実行したか否か判定する。全てのエッジに対して実行されている場合は、Ｓ３１２に進む。一方、そうでない場合は、Ｓ３０９に戻り、分割処理を繰り返す。

このように、Ｓ３０９～Ｓ３１１において、トポロジ細分化部２０５は、分割前のエッジの１つ１つに順に着目して分割処理を実行する。図９を参照して補足すると、例えば、図９（ａ）に示される各エッジは、図９（ｂ）に示されるように分割される。すなわち、エッジＥ₀、Ｅ₁、及びＥ₂のそれぞれで、新頂点Ｖ_NV+0、Ｖ_NV+1、及びＶ_NV+2を生成する。さらに、各新頂点とその両側の２頂点のそれぞれとを結ぶ新エッジＥ₂₀及びＥ₂₀₊₁、新エッジＥ₂₁及びＥ₂₁₊₁、並びに新エッジＥ₂₂及びＥ₂₂₊₁を生成する。

次いで、Ｓ３１２において、トポロジ細分化部２０５は、三角形Ｔ_gを構成するエッジＥ_d、Ｅ_e、Ｅ_fのそれぞれを分割して生成された３つの新頂点Ｖ_NV+d、Ｖ_NV+e、Ｖ_NV+fを互いに接続する。これにより、トポロジ細分化部２０５は、３つの新エッジＥ_2NE+3g、Ｅ_2NE+3g+1、Ｅ_2NE+3g+2を生成する。

Ｓ３１３において、トポロジ細分化部２０５は、三角形Ｔ_gを分割して４つの新三角形Ｔ_4g～Ｔ_4g+3を生成（定義）する。新三角形Ｔ_4g～Ｔ_4g+3は、９つの新エッジＥ_2d、Ｅ_2d+1、Ｅ_2e、Ｅ_2e+1、Ｅ_2f、Ｅ_2f+1、Ｅ_2NE+3g～Ｅ_2NE+3g+2により構成される。

Ｓ３１４において、トポロジ細分化部２０５は、全ての三角形に対して分割処理を実行したか否か判定する。全ての三角形に対して実行されている場合は、処理を終了する。一方、そうでない場合は、Ｓ３１２に戻り、処理を繰り返す。

このように、Ｓ３１２～Ｓ３１４において、トポロジ細分化部２０５は、新エッジを生成し、さらに、新三角形を定義（生成）する。図９を参照して補足すると、例えば、図９（ｂ）において、各エッジに新たに生成された新頂点Ｖ_NV+0、Ｖ_NV+1、Ｖ_NV+2を互いにエッジで結ぶことにより、図９（ｃ）に示されるように４つの新三角形を生成（定義）する。これにより、トポロジ（すなわち、各要素間の接続関係を表現する情報）が生成される。

図８は、細分化の分割前後における頂点、エッジ、及び三角形の要素数の変動を示す。Ｓ３０９で生成される新頂点は符号８０１の領域に記述され、Ｓ３１０で生成される新エッジは符号８０２の領域に記述され、Ｓ３１２で生成される新エッジは符号８０３の領域に記述される。また、Ｓ３１３で生成される新三角形は符号８０４の領域に記述される。

上述した分割処理は、三次元のメッシュ及び二次元のテクスチャの島でそれぞれ実行される。

次に、図２（ｂ）に示される復号部について説明する。復号部は、図２（ａ）の符号化部により生成された、テクスチャを伴うプログレッシブメッシュデータを復号し、所望の解像度のメッシュ（設定された階層のメッシュ）を取得する。復号部は、例えば、ＰＤ（解像度の段階数）＝３で生成されたプログレッシブメッシュデータに対して、解像度の段階数として２階層目のメッシュを指定すると、ベースメッシュの４倍の面数のメッシュを取得する。なお、本実施形態では、復号時に設定された階層のメッシュのみを出力する仕様としているが、復号の過程で取得される全ての階層のトポロジを出力するようにしてもよい。

復号部は、図２（ｂ）に示されるように、メッシュ入力部２０９、トポロジ格納部２１０、トポロジ細分化部２１１、ジオメトリ格納部２１２、ジオメトリ取得部２１３、メッシュ復元部２１４、及びメッシュ出力部２１５を含む。

メッシュ入力部２０９は、テクスチャを伴うプログレッシブメッシュデータを復号部に入力し、トポロジ格納部２１０にトポロジ情報を格納（設定）し、ジオメトリ格納部２１２に頂点座標情報（ジオメトリ情報）を格納する。

トポロジ細分化部２１１は、トポロジ格納部２１０に格納されたトポロジを細分化し、設定された階層のメッシュのトポロジを生成する。ジオメトリ取得部２１３は、ジオメトリ格納部２１２に格納された頂点座標のうち、設定された階層に必要な部分（頂点座標データ）を取得する。

メッシュ復元部２１４は、細分化されたメッシュのトポロジを変換して既存のデータ記述形式のトポロジを取得すると共に、ジオメトリ取得部２１３から取得した頂点座標データとあわせて、設定された階層におけるメッシュの表現を取得（復元）する。メッシュ出力部２１５は、復元されたメッシュを出力する。

次に、図２（ｂ）に示される復号部において実行される処理の概要及び手順を、図１０（ａ）のフローチャートを用いて説明する。

Ｓ１００１において、メッシュ入力部２０９が、テクスチャを伴うプログレッシブメッシュデータを復号部に入力する。メッシュ入力部２０９は、トポロジ格納部２１０にトポロジ情報を格納（設定）し、ジオメトリ格納部２１２に頂点座標情報（ジオメトリ情報）を格納する。

Ｓ１００２において、トポロジ細分化部２１１が、プログレッシブメッシュのトポロジの正則分割を実行する。

Ｓ１００３において、トポロジ細分化部２１１が、解像度の段階数がＮ階層のメッシュを取得する場合、Ｎ－１回、Ｓ１００２における正則分割を実行したか否か判定する。Ｎ－１回の正則分割が実行されていない場合はＳ１００２に戻り、実行されている場合はＳ１００４に進む。

Ｓ１００４において、メッシュ復元部２１４が、プログレッシブ表現された三角形を既存のメッシュ表現のメッシュデータ（すなわち、既存のデータ記述形式のメッシュデータ）に変換する。すなわち、メッシュ復元部２１４が、メッシュを復元する。なお、この場合、上述した図５のデータ記述形式（すなわち、三角形におけるエッジの参照の記述順序、エッジにおける頂点の参照の記述順序）に従うことで、メッシュの面の表裏を誤ることなく、頂点を取得することができる。具体的には、例えば、三角形を構成する３つのエッジのうち、１番目に記述されたエッジの１番目に記述された頂点、１番目に記述されたエッジの２番目に記述された頂点、２番目に記述されたエッジの２番目に記述された頂点を取り出せばよい。

Ｓ１００５において、メッシュ出力部２１５が、復元されたメッシュ（すなわち、既存のデータ記述形式のメッシュデータ）を出力する。

続いて、図１０（ｂ）のフローチャートを用いて、Ｓ１００２において実行されるプログレッシブメッシュのトポロジの正則分割処理について説明する。なお、図１０（ｂ）において、上述した図３（ｂ）との変更点は、図３（ｂ）のＳ３０９に相当する処理がないことである。すなわち、図１０（ｂ）では、頂点座標の算出（図３（ｂ）のＳ３０９）は行わず、Ｓ１００１で入力されたプログレッシブメッシュデータに含まれる頂点座標情報を新頂点Ｖの頂点座標として利用して、新エッジを生成する（Ｓ１００６）。なお、Ｓ１００７からＳ１０１０までの処理は、図３（ｂ）と同様である。

上述の構成により、メッシュのトポロジをエッジで管理することで、上位階層で生じるトポロジの生成ルールが簡易になり、復号に係る処理時間を削減することが可能な三次元メッシュのプログレッシブ符号化を実現することができる。すなわち、メッシュデータのデータ構造内にエッジデータを埋め込むことで、高速な復号処理を実現することができる。なお、本実施形態において説明した内容は、二次元のメッシュにも同様に適用可能である。

図１１は、プログレッシブ符号化装置のハードウェア構成を示す。本実施形態におけるプログレッシブ符号化装置は、ＣＰＵ１１０１、ＲＡＭ１１０２、ＲＯＭ１１０３、キーボード１１０４、マウス１１０５、表示装置１１０６、外部記憶装置１１０７、記憶媒体ドライブ１１０８、Ｉ／Ｆ（インタフェース）１１０９を備える。

ＣＰＵ（Central Processing Unit）１１０１は、ＲＡＭ１１０２又はＲＯＭ１１０３に格納されているコンピュータプログラム又はデータを用いて、コンピュータ全体の制御を行う。また、ＣＰＵ１１０１は、プログレッシブ符号化装置が実行するものとして説明した上述の各処理を実行する。ＲＡＭ（Random Access Memory）１１０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ１１０２は、外部記憶装置１１０７、記憶媒体ドライブ１１０８、又はＩ／Ｆ１１０９からロードされたコンピュータプログラムやデータを一時的に記憶するための記憶エリアを備える。また、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行するときに用いるワークエリアを備える。即ち、ＲＡＭ１１０２は、各種のエリアを適宜提供することができる。ＲＯＭ（Read Only Memory）１１０３は、コンピュータ読み取り可能な記憶媒体の一例であり、例えば、コンピュータの設定データ、ブートプログラム等を格納する。

本実施形態に係るプログレッシブ符号化装置のＣＰＵ１１０１は、図２に示されるブロックの一部の機能を実現する。即ち、ＣＰＵ１１０１は、メッシュ簡略化部２０２、トポロジ変換部２０３、メッシュ細分化部２０４、テクスチャ付与部２０７、トポロジ細分化部２１１、ジオメトリ取得部２１３、メッシュ復元部２１４の機能を実現する。また、ＣＰＵ１１０１がＲＡＭ１１０２にロードされたプログラムを実行することで、上述の図２に示されるブロックの一部は、ＣＰＵ１１０１が実行するソフトウェア（コンピュータプログラム）として実装できる。この場合、このソフトウェアは、ＰＣ（Personal Computer）等のコンピュータのＲＡＭ１１０２にインストールされることになる。そして、このコンピュータのＣＰＵ１１０１がこのインストールされたソフトウェアを実行することで、このコンピュータは上述のプログレッシブ符号化装置の機能を実現することになる。

なお、ＣＰＵ１１０１とは異なる専用の１又は複数のハードウェア或いはＧＰＵ（Graphics Processing Unit）を備え、ＣＰＵ１１０１による処理の少なくとも一部を専用のハードウェア又はＧＰＵが行うようにしてもよい。また、専用のハードウェアとしては、例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（Field-Programmable Gate Array）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。その他、補足として、図２のトポロジ格納部２１０及びジオメトリ格納部２１２は、例えば、ＲＡＭ１１０２、外部記憶装置１１０７等に対応する。

キーボード１１０４及びマウス１１０５は、コンピュータの操作者が操作するものであり、これを用いることで、各種の指示やデータをＣＰＵ１１０１に対して入力することができる。表示装置１１０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１１０１による処理結果を画像や文字などで表示することができる。

外部記憶装置１１０７は、コンピュータ読み取り可能な記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１１０７には、例えば、ＯＳ（オペレーティングシステム）や、図３（ａ）及び（ｂ）に示される各処理をＣＰＵ１１０１に実行させるためのコンピュータプログラムやデータ等が記憶される。外部記憶装置１１０７に記憶されるコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って、適宜ＲＡＭ１１０２にロードされ、処理される。

記憶媒体ドライブ１１０８は、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置１１０７やＲＡＭ１１０２に出力する。なお、外部記憶装置１１０７に記憶されているものとして説明した情報の一部若しくは全部を上述のＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記憶媒体に記憶させておき、この記憶媒体ドライブ１１０８に読み取らせてもよい。

Ｉ／Ｆ１１０９は、外部装置から頂点インデックス等を入力したり、外部装置に符号データを出力したりするためのインタフェースであり、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）である。バス１１１０は、プログレッシブ符号化装置内の各部を接続する。

上述したようなハードウェア構成において、コンピュータの電源がオンになると、ＣＰＵ１１０１はＲＯＭ１１０３に格納されているブートプログラムに従って、外部記憶装置１１０７からＯＳをＲＡＭ１１０２にロードする。この結果、キーボード１１０４及びマウス１１０５を介した入力操作が可能となり、また、表示装置１１０６にＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）を表示することが可能となる。さらに、ユーザが、キーボード１１０４やマウス１１０５等を操作し、外部記憶装置１１０７に格納されたテクスチャマッピングアプリケーションの起動を指示すると、ＣＰＵ１１０１は、当該アプリケーションをＲＡＭ１１０２にロードし、各種処理を実行する。これにより、上述のコンピュータがプログレッシブ符号化装置として機能することになる。

なお、ＣＰＵ１１０１が実行するプログレッシブ符号化アプリケーションプログラムは、メッシュ簡略化部２０２、メッシュ細分化部２０４、トポロジ細分化部２１１、メッシュ復元部２１４に相当する関数を備えることになる。また、ここでの処理結果は、外部記憶装置１１０７に保存される。

以上説明したように、上述のコンピュータは、本実施形態に係るプログレッシブ符号化装置に適用可能である。

（第二の実施形態）
上述した第一の実施形態では、復号に係る処理時間を削減するためにエッジデータをデータ構造内に埋め込む例について説明した。しかし、この方法では、メッシュの復号が高速である反面、エッジ数が一般に頂点数に対して約３倍程度存在するため要素数が多くなり、データ量が増加する傾向がある。

そこで、本実施形態では、データ量を低減することを目的として、データ構造内にエッジデータを埋め込まずに、プログレッシブ符号化を実現する方法について説明する。なお、本実施形態に係るプログレッシブ符号化装置も、上述の図２に示される符号化装置と同様に、後述する各ブロックの機能を、関数群から成るプログラムにより実現してもよい。また、第一の実施形態は、メッシュの構成単位の例として三角形のメッシュを用いて説明したが、本実施形態は、例として、四角形のメッシュを用いて説明する。

図１２は、本実施形態におけるプログレッシブ符号化装置の構成例を示す。図１２（ａ）は符号化部を示し、図１２（ｂ）は復号部を示す。符号化部は、図１２（ａ）に示されるように、メッシュ入力部２０１、メッシュ簡略化部２０２、トポロジ変換部２０３、メッシュ細分化部２０４、テクスチャ付与部２０７、及びメッシュ出力部１２０８を有する。メッシュ細分化部２０４は、トポロジ細分化部２０５、及びジオメトリ算出部２０６を含む。復号部は、図１２（ｂ）に示されるように、メッシュ入力部１２０９、トポロジ格納部２１０、トポロジ変換部１２１６、トポロジ細分化部２１１、ジオメトリ格納部２１２、ジオメトリ取得部２１３、メッシュ復元部２１４、及びメッシュ出力部２１５を有する。

以下の説明では、上述した各処理部について、第一の実施形態と異なる処理内容を主に説明する。

図１２（ａ）の符号化部では、メッシュ簡略化部２０２は、第一の実施形態と同様に、入力メッシュを簡略化し、ベースメッシュを生成する。そして、本実施形態では、メッシュ簡略化部２０２は、それにより得られた既存のデータ記述形式のベースメッシュのトポロジを、テクスチャ付与部２０７に出力する。テクスチャ付与部２０７は、本実施形態では、既存のデータ記述形式で表現されたメッシュにテクスチャを付与する。メッシュ出力部１２０８は、プログレッシブ表現されたメッシュのトポロジ情報ではなく、既存のデータ記述形式のベースメッシュのトポロジ情報及びフルメッシュのジオメトリ情報を出力する。

図１２（ｂ）の復号部では、メッシュ入力部１２０９は、メッシュ出力部１２０８が出力したテクスチャを伴う既存のデータ記述形式のベースメッシュ及びフルメッシュを復号部に入力する。メッシュ入力部１２０９は、既存のデータ記述形式のベースメッシュのトポロジをトポロジ格納部２１０に格納し、フルメッシュのジオメトリをジオメトリ格納部２１２に格納する。

トポロジ変換部１２１６は、トポロジ格納部２１０に格納された既存のデータ記述形式のベースメッシュのトポロジを、プログレッシブ表現に変換する。なお、復号部のトポロジ変換部１２１６における入出力は、符号化部のトポロジ変換部２０３における入出力と一致するものとする。

トポロジ細分化部２１１は、トポロジ変換部１２１６がプログレッシブ表現に変換したベースメッシュのトポロジを細分化し、設定された階層のメッシュのトポロジを生成する。

本実施形態における四角形メッシュのメッシュ細分化（分割）の行程は、基本的に図４と同様であるが、図１３に示されるようにトポロジが異なる。具体的には、図９に示されるように、四角形のメッシュは、エッジの分割において、図９（ｄ）のエッジが図９（ｅ）に示すように分割される。このように、エッジの分割については、三角形のメッシュと同様である。一方、図９（ｆ）に示されるように、四角形メッシュでは、面の処理において四角形の内部（中央）に新たな頂点が生成される点で異なる。

以上本実施形態では、テクスチャを伴う既存のデータ記述形式のベースメッシュのトポロジを出力して、プログレッシブ符号化を実現する構成を説明した。この構成により、本実施形態では、第一の実施形態と比較して、トポロジに要するデータ量を低減することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１メッシュ入力部
２０２メッシュ簡略化部
２０３トポロジ変換部
２０４メッシュ細分化部
２０５トポロジ細分化部
２０６ジオメトリ算出部
２０７テクスチャ付与部
２０８メッシュ出力部

Claims

被写体の三次元形状を表す際に用いられるポリゴンメッシュの解像度を段階的に復号可能な符号化データを出力する情報処理装置であって、
前記被写体の三次元形状を表現する第１のポリゴンデータを構成する第１のポリゴンメッシュを表すメッシュデータを取得する取得手段と、
前記取得手段により取得されたメッシュデータに基づいて、前記第１のポリゴンデータより解像度が高い第２のポリゴンデータであって、かつ前記被写体の三次元形状を表現する第２のポリゴンデータを構成する第２のポリゴンメッシュの頂点の三次元空間における位置に関する情報を含むジオメトリデータを生成する第１生成手段と、
前記第２のポリゴンデータに対応するテクスチャ画像と、前記テクスチャ画像上の前記第２のポリゴンデータに対応するジオメトリ及びトポロジとを生成する第２生成手段と、
前記テクスチャ画像上の頂点の接続関係を示す情報および前記第１のポリゴンメッシュを構成する頂点の接続関係を示す情報を含むトポロジデータと、前記第１生成手段により生成されたジオメトリデータと、を含む前記符号化データを出力する出力手段と
を有することを特徴とする情報処理装置。
前記トポロジデータは、前記第１のポリゴンメッシュの構成単位及び前記テクスチャ画像上の前記第１のポリゴンメッシュの構成単位に関する情報をさらに含み、
前記第１のポリゴンメッシュの構成単位及び前記テクスチャ画像上の前記第１のポリゴンメッシュの構成単位は、それぞれ当該構成単位を形成するエッジを用いて記述されることを特徴とする請求項１に記載の情報処理装置。
前記エッジは、当該エッジの両端の頂点の参照を記述することで定義され、
前記頂点の参照は、前記メッシュデータにおける頂点の順位を示すものであり、前記順位の低い順又は高い順に記述されることを特徴とする請求項２に記載の情報処理装置。
前記第１のポリゴンメッシュの構成単位及び前記テクスチャ画像上の前記第１のポリゴンメッシュの構成単位に対応する領域は、三角形のメッシュであることを特徴とする請求項３に記載の情報処理装置。
前記第１のポリゴンメッシュの構成単位及び前記テクスチャ画像上の前記第１のポリゴンメッシュの構成単位に対応する領域は、前記三角形を構成する頂点のうち、前記順位の低い頂点を基点として、対辺に向かって、右側のエッジ、左側のエッジ、対辺のエッジの順に前記エッジの参照を記述することで定義されることを特徴とする請求項４に記載の情報処理装置。
前記第１のポリゴンメッシュを第２のポリゴンメッシュに細分化する細分化手段をさらに有し、
前記細分化手段は、
前記三角形を構成するエッジの各々に対して、２つのエッジに分割し、当該分割した２つのエッジを接続する頂点を生成し、
当該生成された頂点を互いに接続するエッジを生成することで、前記三角形を４つの三角形に分割することを特徴とする請求項４又は５に記載の情報処理装置。
前記第１のポリゴンメッシュのトポロジを細分化して、第３のポリゴンメッシュのトポロジを生成する生成手段と、
前記第２のポリゴンメッシュのジオメトリのうち、前記第３のポリゴンメッシュのジオメトリを取得する第２の取得手段と、
前記第３のポリゴンメッシュのトポロジ及びジオメトリから、前記第３のポリゴンメッシュを復元する復元手段と
をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
前記テクスチャ画像上の前記第１のポリゴンメッシュの構成単位を記述するエッジは、前記第１のポリゴンメッシュの構成単位を記述するエッジに対応付けられていることを特徴とする請求項２から６のいずれか１項に記載の情報処理装置。
前記第２生成手段は、前記取得手段により取得されたメッシュデータの前記テクスチャ画像に基づいて、前記第２のポリゴンメッシュの前記テクスチャ画像と、前記第２のポリゴンメッシュの形状と前記第２のポリゴンデータに対応する前記テクスチャ画像上のジオメトリ及びトポロジとの対応情報と、を生成することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
被写体の三次元形状を表す際に用いられるポリゴンメッシュの解像度を段階的に復号可能な符号化データを出力する情報処理装置における情報処理方法であって、
前記被写体の三次元形状を表現する第１のポリゴンデータを構成する第１のポリゴンメッシュを表すメッシュデータを取得する取得ステップと、
前記取得ステップにおいて取得されたメッシュデータに基づいて、前記第１のポリゴンデータより解像度が高い第２のポリゴンデータであって、かつ前記被写体の三次元形状を表現する第２のポリゴンデータを構成する第２のポリゴンメッシュの頂点の三次元空間における位置に関する情報を含むジオメトリデータを生成する第１生成ステップと、
前記第２のポリゴンデータに対応するテクスチャ画像と、前記テクスチャ画像上の前記第２のポリゴンデータに対応するジオメトリ及びトポロジとを生成する第２生成ステップと、
前記テクスチャ画像上の頂点の接続関係を示す情報および前記第１のポリゴンメッシュを構成する頂点の接続関係を示す情報を含むトポロジデータと、前記第１生成ステップにおいて生成されたジオメトリデータと、を含む前記符号化データを出力する出力ステップと
を含むことを特徴とする情報処理方法。
コンピュータを、請求項１から９のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。