JP4155573B2 - 複数の素材の組み合わせを利用した高次元テクスチャ合成装置および方法並びにプログラム - Google Patents

Description

本発明は、３次元コンピュータグラフィックス分野における高品位テクスチャマッピングに好適な画像合成技術に属し、視点方向や光源方向などの条件に応じて変化する多種類の素材のテクスチャ画像群から、制御機能を基に、これら条件に応じた任意サイズのテクスチャ画像を合成し、複数の素材の組み合わせやテクスチャへの特殊効果付けをも可能とするための装置および方法並びにプログラムに関する。

本発明は、多種類の素材のテクスチャ画像群や合成後のテクスチャ画像群を、種々の記録媒体に効率的に格納し管理するためのデータ構造に関する。

３次元物体の見え方、すなわち３次元物体の形状およびその表面の色や質感は、この３次元物体を眺める方向（視点方向）および光を照射する方向（光源方向）に依存して変化する。３次元コンピュータグラフィックスの分野では、３次元物体の表面をポリゴンと称する多数の２次元平面単位に分割し、ポリゴンごとに描画を行って２次元画像を生成し、これを３次元物体の画像として表示している。

視点方向および光源方向が変化する際の３次元物体の見え方は、表示ポリゴンの向き（３次元姿勢）やポリゴンの光学的特性（輝度等）を視点方向および光源方向とともに変化させることによって表現できる。ところが、従来は描画の単位であるポリゴンの向き（３次元姿勢）を定義する法線と視点方向あるいは光源方向との関係を計算するためには浮動小数点精度のベクトル演算が必須である。この演算はハードウェアおよびソフトウェアのどちらの観点からみても演算コストが高く、実用化が困難であった。そこで、ポリゴンを構成する頂点単位に設定した色でポリゴン内部を一様に塗りつぶすフラットシェーディングと呼ばれる描画手法や、ポリゴンを構成する頂点単位に設定した色に基づいて単調な線形補間によりポリゴン内部に色を塗るスムースシェーディングと呼ばれる描画手法が用いられることがある。

また、例えば模様や柄などポリゴン内部のディテールを表現したいという要求に対してはテクスチャマッピングと呼ばれる手法が用いられる。テクスチャマッピングとは、模様や柄が表現された画像（テクスチャ画像）をポリゴン表面に配置（マッピング）する画像処理技術である。ポリゴンを構成する頂点単位でテクスチャ画像内の対応する画像内座標を定義するなどしてテクスチャ画像の向きを制御したり、テクスチャ画像に実写画像を用いたり等、これまでになされたテクスチャマッピングへの幾つかの改良は、より高品質なレンダリングを可能にした。しかし、このような改良を行ったとしても、このテクスチャマッピングでは、視点方向や光源方向に応じて変化すべき物体表面の光学的特性を表現することまでは行なえない。これは、ポリゴンの３次元姿勢とは無関係に単一のテクスチャ画像を貼り付けているためである。

物体表面の光学的特性を表現するために、従来、いくつかの改良手法が提案されているが、以下に説明するように、これらの改良手法にはそれぞれ固有の問題がある。

（１）物体表面の法線ディテールを擬似的に変化させ、光学的な特性を変化させる手法がある。これには、バンプマッピングと呼ばれる手法が存在するが、法線のゆらし計算など３次元ベクトル計算が必要であり、計算コストが高いという問題がある。

（２）一般にポリゴン表面のテクスチャ成分を視線方向、光源方向に応じて表現したものをＢＴＦ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｔｅｘｔｕｒｅ Ｆｕｎｃｔｉｏｎ）と呼ぶ（非特許文献１参照）。しかし、ＢＴＦのデータにおいて視点方向および光源方向を表す４個の変数のすべてを変化させながら画像のサンプリングをこれまでに行った例はなく、２個あるいは３個の変数を変化させたサブセットを扱っている（非特許文献２参照）。

（３）光源方向や視点方向に依存した輝度変化を関数で近似する手法として、ＰＴＭ（Ｐｏｌｙｎｏｍｉａｌ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ）と呼ばれる手法が提案されている（特許文献１参照）。ＰＴＭでは、ピクセル毎の輝度変化を２次元光源方向パラメータの２次関数で近似し、その関数係数（６つ）を持つテクスチャに変換して保持する。描画時には、この関数係数テクスチャから描画対象ピクセルの関数係数を取り出す。そして、取り出した関数係数と光源方向パラメータとの積和演算により、光源依存なテクセル・カラー情報を求めている。近年のグラフィックス・ハードウェアでは、ハードウェア上の演算ユニットをプログラマブルに利用してシェーディングを行なう機能（ピクセルシェーダ）が実装されている。そのため、ＰＴＭのような演算を高速に実行させることが可能となってきている。しかし、視点方向も含めた輝度変化を関数化する場合、さらに高次な関数化が必要となる。その結果、関数係数が増えるのみならず、関数近似に要する時間も多大になることが予想され、視点方向と光源方向の双方に依存したテクスチャを生成することは原理上、困難である。

（４）一方、視点方向に応じた画像を生成する手法としては、Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ（特許文献２および非特許文献３参照）やＬｕｍｉｇｒａｐｈ（非特許文献４参照）に代表されるイメージベース・レンダリング手法がある。イメージベース・レンダリング手法は、離散的に設定された複数視点画像から、新規視点から見た画像をサンプリングによって生成する方法である。しかし、視点自由度や画質を高めようとすると複数視点画像を大量に用意しておく必要があり、データ量が膨大になるという問題がある。

従来のテクスチャマッピングにおいては、３次元物体の表面の大きさに対してテクスチャ画像のサイズが小さい場合、テクスチャ画像を繰り返し配置しながら、マッピングを行なっている。しかしこの方法では、テクスチャ画像の模様や柄が単調な繰り返しパターンとして現れてしまったり、境界線が目立ってしまったりする。これは、観察者に不自然な印象を与える。

そこで近年では、小さなテクスチャ画像から任意サイズのテクスチャ画像を合成する方式が提案されている（非特許文献５および非特許文献６参照）。これは、元の小さなテクスチャ画像を参照しながら、任意サイズのテクスチャ画像をスキャンし、元の画像に近いテクスチャ画像を合成する方式である。また、その応用として、参照している小さなテクスチャ画像の他に目標とするテクスチャ画像を用意し、この目標とするテクスチャ画像の模様や柄を有し、かつ、参照している小さなテクスチャ画像の素材に近い画像を合成する方式も提案されている。
米国特許第６２９７８３４号明細書 米国特許第６０９７３９４号明細書 Ｄａｎａ， ｅｔ．ａｌ， "Ｒｅｆｌｅｃｔａｎｃｅ ａｎｄ Ｔｅｘｔｕｒｅ ｏｆ Ｒｅａｌ Ｗｏｒｌｄ Ｓｕｒｆａｃｅｓ"， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｇｒａｐｈｉｃｓ，１８（１）：１−３４，１９９９． Ｃｈｅｎ， ｅｔ．ａｌ， "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｍａｐｐｉｎｇ Ｅｆｆｉｃｉｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ Ｈａｒｄｗａｒｅ Ｒｅｎｄｅｒｉｎｇ ｏｆ Ｓｕｒｆａｃｅ Ｌｉｇｈｔ Ｆｉｅｌｄｓ"， Ｐｒｏｃｅｅｄｉｎｇｓ ＳＩＧＧＲＡＰＨ ２００２，ｐｐ．４４７−４５６． Ｌｅｖｏｙ， ｅｔ．ａｌ， "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ"， Ｐｒｏｃｅｅｄｉｎｇｓ ＳＩＧＧＲＡＰＨ １９９６，ｐｐ．３１−４２． Ｇｏｒｔｌｅｒ， ｅｔ．ａｌ， "Ｔｈｅ Ｌｕｍｉｇｒａｐｈ"， Ｐｒｏｃｅｅｄｉｎｇｓ ＳＩＧＧＲＡＰＨ １９９６，ｐｐ．４３−５４． Ｌｉ−Ｙｉ Ｗｅｉ， Ｍａｒｃ Ｌｅｖｏｙ， "Ｆａｓｔ Ｔｅｘｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ Ｕｓｉｎｇ Ｔｒｅｅ−ｓｔｒｕｃｔｕｒｅｄ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ"， Ｐｒｏｃｅｅｄｉｎｇｓ ＳＩＧＧＲＡＰＨ ２０００， ｐｐ．４７９−４８８． Ｍｉｃｈａｅｌ Ａｓｈｉｋｈｍｉｎ， "Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｎａｔｕｒａｌ Ｔｅｘｔｕｒｅｓ"， ２００１ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｎｔｅｒａｃｔｉｖｅ ３Ｄ Ｇｒａｐｈｉｃｓ， ｐｐ．２１７−２２６．

視点方向および光源方向に応じて変化する物体表面の光学的特性をテクスチャで表現しようとすると、視点方向や光源方向が異なる大量のテクスチャ画像と膨大な演算量を必要とするため、この方法は実用的なシステムとして利用されていなかった。また、大量のテクスチャ画像を一括に扱ったテクスチャ合成手法が存在しないため、任意サイズのテクスチャ画像を視点方向および光源方向に応じて変化させた時に、物体表面の光学的特性をリアルに表現することができなかった。

本発明は、高次元テクスチャデータ蓄積部を持たせたり、インデックス画像合成時に制御機能を持たせたりすることにより、複数の素材を組み合わせた任意模様の高次元テクスチャや、特殊効果を付与した高次元テクスチャを生成する高次元テクスチャ合成方法および装置を提供することを目的とする。

本発明の複数の素材の組み合わせを利用した高次元テクスチャ合成装置は、複数の異なる視点／光源などの条件で取得または作成されたテクスチャ画像群を、複数の素材に対して入力し、任意サイズおよび任意模様のテクスチャ画像を合成する装置である。

本発明は、異なる条件で生成され、１種類以上の素材を示すテクスチャ画像を含むテクスチャ画像群を利用して任意サイズおよび任意模様のテクスチャ画像を生成する高次元テクスチャ合成装置において、前記テクスチャ画像群から同一位置のピクセルの画像情報を取り出してまとめて生成した高次元ピクセルデータにより形成されるコードブックと、このコードブックのアドレスを指定するためのインデックス情報により形成されるインデックス画像とを含む高次元テクスチャを生成する高次元テクスチャ生成部と、前記高次元テクスチャを格納する高次元テクスチャデータ蓄積部と、前記高次元テクスチャデータ蓄積部から１種類以上の素材の高次元テクスチャを取り出し、ユーザによって与えられる制御データまたは該制御データを画像化した制御画像に従って、１種類以上の素材のインデックス画像を基に、任意サイズのインデックス画像を合成し、合成インデックス画像を前記高次元テクスチャデータ蓄積部に格納するインデックス画像合成部と、前記高次元テクスチャデータ蓄積部から高次元テクスチャを取り出し、特定の取得条件または作成条件に対応する１つ以上のテクスチャ画像に変換するテクスチャ画像生成部とを具備し、複数の素材の組み合わせによる任意模様のテクスチャ画像を生成することを特徴とする高次元テクスチャ合成装置を提供する。

本発明は、異なる条件で生成され、１種類以上の素材を示すテクスチャ画像を含むテクスチャ画像群を利用して任意サイズおよび任意模様のテクスチャ画像を生成する高次元テクスチャ合成方法において、前記テクスチャ画像群から同一位置のピクセルの画像情報を取り出してまとめて生成した高次元ピクセルデータにより形成されるコードブックと、このコードブックのアドレスを指定するためのインデックス情報により形成されるインデックス画像とを含む高次元テクスチャを生成するステップと、前記高次元テクスチャを蓄積部に格納するステップと、前記蓄積部から１種類以上の素材の高次元テクスチャを取り出し、ユーザによって与えられる制御データまたは該制御データを画像化した制御画像に従って、１種類以上の素材のインデックス画像を基に、任意サイズのインデックス画像を合成するステップと、合成インデックス画像を前記蓄積部に格納するステップと、前記蓄積部から高次元テクスチャを取り出し、特定の取得条件または作成条件に対応する１つ以上のテクスチャ画像に変換するステップとを具備し、複数の素材の組み合わせによる任意模様のテクスチャ画像を生成することを特徴とする高次元テクスチャ合成方法を提供する。

本発明は、異なる条件で生成され、１種類以上の素材を示すテクスチャ画像を含むテクスチャ画像群を利用して任意サイズおよび任意模様のテクスチャ画像をコンピュータに生成させるプログラムにおいて、前記テクスチャ画像群から同一位置のピクセルの画像情報を取り出してまとめて生成した高次元ピクセルデータにより形成されるコードブックと、このコードブックのアドレスを指定するためのインデックス情報により形成されるインデックス画像とを含む高次元テクスチャを生成するステップと、前記高次元テクスチャを蓄積部に格納するステップと、前記蓄積部から１種類以上の素材の高次元テクスチャを取り出し、ユーザによって与えられる制御データまたは該制御データを画像化した制御画像に従って、１種類以上の素材のインデックス画像を基に、任意サイズのインデックス画像を合成するステップと、合成インデックス画像を前記蓄積部に格納するステップと、前記蓄積部から高次元テクスチャを取り出し、特定の取得条件または作成条件に対応する１つ以上のテクスチャ画像に変換するステップとをコンピュータに実行させるプログラムを提供する。

本発明の複数の素材の組み合わせを利用した高次元テクスチャ合成装置は、前記高次元テクスチャ合成装置の高次元テクスチャ変換部を取り除き、高次元テクスチャのブレンディング処理やフィルタリング処理などを行なわないものであってもよい。

本発明の装置は、前記高次元テクスチャデータ蓄積部を中心としたものであり、データ蓄積部に蓄積した様々な素材を組み合わせて、ユーザが与える制御データまたは制御画像によって、任意模様の高次元テクスチャを生成することができ、また、合成後の高次元テクスチャを再利用することができたり、ブレンディング処理やフィルタリング処理などによって、輝度や透過度の変化付け、モーフィングのような特殊効果の表現などを行なうことができる。

本発明によれば、視点方向および光源方向などの条件によって変化するテクスチャ画像群を、複数の素材に対して用意し、任意サイズのテクスチャ画像を合成するとともに、複数の素材を組み合わせた任意模様の高次元テクスチャを生成したり、特殊効果を付与した高次元テクスチャを生成したりすることができる。

第１の実施形態では、特にインデックス画像合成部において、制御画像によって、参照する素材の選択と重みづけが制御され、合成後のテクスチャ画像にマクロな模様を任意に与えることができることを示す。

第２の実施形態では、特に高次元テクスチャ変換部において、素材間のコードブックのブレンドを行なったり、コードブックのフィルタリング処理を行なったりすることによって、モーフィングの中間画像のようなものを生成したり、各種特殊効果を付加できることを示す。また、高次元テクスチャデータ蓄積部の再利用性により、ユーザのグラフィックスデザインの効率を高めることができることも示す。

以下、本発明の実施形態を図面を参照して説明する。

［第１の実施形態］
図１に示す第１の実施形態に従った高次元テクスチャ合成装置は、複数の異なる条件で取得あるいは作成したテクスチャ画像群を入力し、テクスチャ画像群に量子化処理、合成処理、変換処理などを施してテクスチャ画像を出力する。この装置によると、高次元テクスチャ生成部１０１は後述するように入力したテクスチャ画像群から同一位置のピクセルの画像情報を取り出してまとめ、高次元テクスチャを生成する。高次元テクスチャ生成部１０１は高次元テクスチャデータ蓄積部１０２に接続され、生成した高次元テクスチャを高次元テクスチャデータ蓄積部１０２に格納する。この高次元テクスチャデータ蓄積部１０２は高次元テクスチャ量子化部１０３，インデックス画像合成部１０４およびテクスチャ画像生成部１０５に接続される。

高次元テクスチャ量子化部１０３は高次元テクスチャデータ蓄積部１０２から取り出した高次元テクスチャを１つ以上の量子化レベルに従ってベクトル量子化を行ない、量子化済みの高次元テクスチャを高次元テクスチャデータ蓄積部１０２に格納する。インデックス画像合成部１０４は高次元テクスチャデータ蓄積部１０２から取り出した複数の素材の高次元テクスチャを用いて、制御データまたは制御画像の情報に従って類似ピクセル探索を繰り返すことにより、任意サイズおよび任意模様の新規インデックス画像を合成する。テクスチャ画像生成部１０５は高次元テクスチャデータ蓄積部１０２から取り出した高次元テクスチャを特定の取得条件または作成条件に対応する１つ以上のテクスチャ画像に変換する。

なお、高次元テクスチャの生成方法、高次元テクスチャのデータ構造、高次元テクスチャの量子化方法、および、インデックス画像合成方法の大枠に関しては、先願特許出願：特願２００３−０６２１８０に記載のものと同様である。

図２は、図１に示す高次元テクスチャ合成装置により実現される一連の処理を示す。以下に各処理について説明する。

本装置の高次元テクスチャ生成部１０１に入力されるテクスチャ群は、図３に示すように、様々な条件（視点／光源）のもとで取得される。即ち、撮像物体表面の法線ベクトルを軸とし、撮像物体表面が赤道面（赤道を通る面）になる球極座標系を考える。この座標系において、極角θと方位角φとを用いると、入力データとしてあらかじめ用意する多視点／多光源テクスチャ画像は、視点方向（θＥ，φＥ）、光源方向（θＩ，φＩ）の４パラメータで指定することができる。本実施形態では、ある特定の視点／光源で取得したテクスチャ画像をＴ（θＥ，φＥ，θＩ，φＩ）というパラメータで識別する。視点方向のサンプルをθＥの軸にＷ個、φＥの軸にＸ個とし、光源方向のサンプルをθＩの軸にＹ個、φＩの軸にＺ個とする。したがって、Ｗ×Ｘ視点とＹ×Ｚ光源のすべての組み合わせで取得した（Ｗ×Ｘ）×（Ｙ×Ｚ）枚のテクスチャ画像が、参照テクスチャ画像として参照高次元テクスチャ生成部１０１に入力される。

参照高次元テクスチャ生成部１０１は入力されたテクスチャ画像群に基づいて高次元テクスチャを生成する（ステップ２０１）。この場合、高次元テクスチャ生成部１０１は図４に示す手順に従って高次元テクスチャを生成する。即ち、ステップ４０１においてテクスチャ画像群が入力されると、参照テクスチャ画像のあるピクセル（ｉ，ｊ）に注目し（４０２）、全ての参照テクスチャ画像の中から、注目しているピクセル（ｉ，ｊ）の色情報を抽出する（４０３）。

図５は、テクスチャ画像群の複数の参照テクスチャ画像から同一位置のピクセルの色情報を抽出し、高次元ピクセルデータを生成する状態を示している。これによると、（Ｗ×Ｘ）×（Ｙ×Ｚ）枚の参照テクスチャ画像から同一位置のピクセルの色成分を取り出して、それらを所定のフォーマットに合わせて１つのデータにまとめて、Ｒ、Ｇ、Ｂ毎に高次元ピクセルデータを生成する（４０４）。即ち、複数の参照テクスチャ画像からそれぞれ抽出された同一位置のピクセルの色成分を（Ｗ×Ｘ）×（Ｙ×Ｚ）画素に順次張り付け高次元ピクセルデータを生成する。この処理は、１つの素材の高次元テクスチャを生成する度に、それを高次元テクスチャデータ蓄積部１０２に格納することができ、複数の素材の高次元テクスチャを生成することが可能である。

生成した高次元ピクセルデータをコードブックに登録し（４０５）、注目ピクセル（ｉ，ｊ）に対してインデックスを割り当てる（４０６）。この後、全ピクセルに注目し（４０７）、全ピクセルについて処理が終了すると、高次元テクスチャ生成処理は終了する。

図６は高次元テクスチャの基本的なデータ構造を示す。高次元テクスチャは、コードブックと参照インデックス画像とで構成される。コードブックは、高次元ピクセルデータと呼ばれるデータ（後述）の集まりで構成され、参照インデックス画像は、コードブック内の高次元ピクセルデータを指定するためのインデックス情報の集まりで構成される。

本実施形態では、Ｒ成分／Ｇ成分／Ｂ成分それぞれの色成分に対して、参照インデックス画像とコードブックを作成する。ＲＧＢ成分のすべてを一括に扱う高次元テクスチャや、輝度成分と色成分とが分離されている高次元テクスチャなども同様に作成することができる。高次元ピクセルデータとは、あるピクセルにおける色情報を集めたものであり、Ｒ成分／Ｇ成分／Ｂ成分の高次元ピクセルデータをそれぞれＲ（ｌ），Ｇ（ｍ），Ｂ（ｎ）とする。これらは、それぞれインデックスｌ、ｍ、ｎに対応する高次元ピクセルデータである。図６には１つのコードブックしか示されていないが、実際にはＲ成分／Ｇ成分／Ｂ成分のコードブックが準備される。これらＲ成分／Ｇ成分／Ｂ成分のコードブックサイズは、それぞれＬ、Ｍ、Ｎとされ、このコードブックサイズが大きいほど、高次元ピクセルデータは多様なものになる。

図７は高次元ピクセルデータのフォーマット例を示している。図７は、横軸φＩ、縦軸θＩとして並べたある特定視点における光源依存ピクセルデータをブロック化し、そのブロックを横軸θＥ、縦軸φＥとして視点ごとに並べた形式を示している。
図８は高次元テクスチャ量子化部１０３における高次元テクスチャ量子化（２０２）の手順を示している。これによると、先ず、参照高次元テクスチャを入力する（８０１）。量子化レベルｑを初期化し（８０２）、量子化レベルｑで量子化を開始する（８０３）。量子化レベルｑにおけるインデックス画像とコードブックを出力する（８０４）。量子化レベルでは、コードブックサイズの指定を行ない、ｑの値が大きくなるほど、コードブックサイズを大きくする。コードブックサイズが参照テクスチャ画像のピクセル数と等しくなった量子化レベルにおいて量子化処理を終了する（９０６）。

高次元テクスチャ量子化部１０３から出力する量子化済み参照高次元テクスチャの構成を図９に示す。Ｒ成分／Ｇ成分／Ｂ成分が、それぞれ別々に、量子化レベルごとの参照高次元テクスチャを保持している。ｑが大きくなるほど、コードブックサイズが大きくなっており、参照高次元テクスチャが階層的に表現されている。

上記の処理について、本実施形態では、高次元テクスチャデータ蓄積部１０２から高次元テクスチャを取り出し、量子化済み高次元テクスチャを高次元テクスチャデータ蓄積部１０２に格納する処理を何度も行なうことができる。このため、複数の素材の高次元テクスチャに対して量子化を行なうことができる。

図１０は、インデックス画像合成部１０４におけるインデックス画像合成（２０３）の手順を示す。これによると、先ず、複数の高次元テクスチャを入力する（１００１）。そして、パラメータ、例えば探索ブロックサイズ、スキャン回数ｓが入力される（１００２）。新規インデックス画像の初期画像を生成する（１００３）。即ち、新規インデックス画像の初期画像として、参照インデックス画像に存在するインデックスをランダムに割り当てたノイズ画像を生成する。

スキャン番号ｓを初期化（ｓ＝０）し（１００４）、制御画像を入力する（１００５）。高次元ピクセルデータの相関または量子化誤差を利用した類似ピクセル探索による新規インデックス画像を合成する（１００６）。スキャン番号ｓにおける新規インデックス画像を出力する（１００７）。ｓ＜Ｓが判断され、ｓ＜Ｓであれば、スキャン番号ｓがｓ＝ｓ＋１に変更される（１００９）。この後、ｓ＜Ｓでなくなるまでステップ１００５〜１００７が繰り返される。即ち、スキャン番号ｓがＳ以下となるまで新規インデックス画像を繰り返しスキャンしながら、後述する類似ピクセル探索によるインデックスの書き換えを行なう
類似ピクセル探索には、図１１に示すようなＬ字型ブロックを用い、類似ピクセル探索における評価値としては、高次元ピクセルデータ間のＳＡＤ （Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ） を用いるか、もしくは、図１２に示すような量子化レベルに応じた高次元テクスチャの階層性を利用して、量子化誤差による近似的な評価値を用いる。

インデックス画像合成部１０４に入力する制御画像に含まれる情報が図１３に示される。制御画像とは、１ピクセル毎の制御データを２４ビットで表現し、カラー画像化した画像である。図１３は、３種類の素材を参照する例であり、８ビット毎に各素材の選択される確率もしくは重みが制御画像に含まれる。制御データを画像化するメリットとしては、ユーザ（デザイナー）が合成結果のイメージを可視化することができ、スケッチを描くような感覚で制御を行なうことができるという点である。１ピクセル毎の制御データには、類似ピクセル探索の際に参照する素材を指定するための素材ＩＤや、複数の素材を参照する場合には、それぞれの素材がどの程度の確率で選択されるかを指定するための重み付けパラメータや、選択確率などが含まれている。

図１４は、類似ピクセルによるインデックスの描画処理の際に、制御画像に従って、どのように各素材を参照しているかを示している。画像上部では素材１を、画像中央部では素材２を、画像下部では素材３を参照するように素材を指定されている。また、素材１、２の境界部分では、素材間の境界が滑らかに違和感なくつながるように、両方の素材を参照し、選択的にインデックスを描画する処理を行なうように素材が指定されている。

あるピクセルを描画する際、近傍ブロックのインデックスに、参照する素材とは別の素材のインデックスが存在する場合には、いくつかの工夫をする必要がある。その１つの例が図１５に示される。図１５において、描画したいピクセルの近傍ブロックには、素材１と素材２のインデックスが描画されている。制御画像によると、素材１と素材２の２つを参照する必要がある。素材１を参照する場合、近傍ブロックの素材２のインデックスが描画されている部分を、一時的に素材１のインデックスに置き換える処理を行なう。置き換えを行なう際には、最も類似性の高い素材１のインデックスに置き換えるか、もしくはランダムに置き換えるかをすればよい。または、そのような置き換え処理を行なわず、単にそのままのインデックスで、異なる素材のコードブック内の高次元ピクセルデータを比較して、ＳＡＤによって評価することもできる。素材２を参照する場合にも同様である。素材１，２を参照して、それぞれの最適ピクセルを抽出した後、誤差の重み付けや、選択確率などによる選択が行なわれる。３種類以上の素材を参照する場合でも同様である。

また、新規インデックス画像の端から端まで単純にスキャンする必要もない。例えば、確実に１つの素材しか参照しないピクセルから先に、類似ピクセル探索を行ない、その後で、複数の素材を参照しなければならないピクセルを描画することもできる。この方法では、制御が困難になるが、１つの素材の参照によって、確実に描画を行なったピクセルを近傍ブロックの一部として用いることができるため、ユーザの要求に近いテクスチャを少ないスキャンで生成することができる。

また、新規インデックス画像の描画を１スキャン行なう度に、ユーザが制御因子を与えることができれば、対話的な合成を行なうことができる。

テクスチャ画像生成部１０５におけるテクスチャ画像の生成（２０４）は、先願特許出願（特願２００３−０６２１８０）に記載された「新規テクスチャ画像変換部」と同様の処理を行なう。高次元テクスチャを高次元テクスチャデータ蓄積部１０２から取り出すという点、複数の素材の高次元テクスチャを取り出して、バリエーションのあるテクスチャ画像を生成できるという点が異なる。

即ち、テクスチャ画像生成部１０５には、まず、高次元テクスチャを高次元テクスチャデータ蓄積部１０２から取り出し、生成したいテクスチャ画像の視点／光源条件を与える。ピクセルごとにインデックス画像内のインデックスからコードブックを参照し、指定されている視点／光源条件の色情報を取り出し、テクスチャ画像を描画していく。すべてのピクセルを描画した後、テクスチャ画像群を出力する。

出力されているテクスチャ画像群は、３次元物体へのテクスチャマッピングに適用することができる。３次元物体の各ポリゴンの法線と、視点方向および光源方向との関係を計算し、対応する視点／光源に最も近いテクスチャ画像をマッピングすればよい。複数のテクスチャ画像を用いて補間することによって、よりリアルな画像を生成することもできる。ただし、ポリゴン単位でピクセルを描画するため、必ずしもテクスチャ画像を生成する必要はなく、高次元テクスチャからピクセルの色情報を抽出しながら描画することもできる。高次元テクスチャを用いてテクスチャマッピングすることによって、メモリを有効に活用することができる。

また、高次元テクスチャデータ蓄積部１０２のデータをネットワーク上でデータベースとして公開することによって、ユーザが任意の高次元テクスチャデータを利用し、加工し、格納することができる。例えば、あるユーザが取得または作成されたテクスチャ画像群を高次元テクスチャデータの形式に変換し、ネットワーク上で公開する。すると別のユーザが、その高次元テクスチャデータを利用して、インデックス画像を合成し、テクスチャマッピングに適用することができる。さらに、インデックス画像合成後の高次元テクスチャデータをネットワーク上に公開することによって、また別のユーザが再利用することができる。

［第２の実施形態］
本実施形態に係る図１６に示す高次元テクスチャ合成装置は、第１の実施形態の高次元テクスチャ合成装置（図１）に高次元テクスチャ変換部１６０５を追加している。本実施形態の高次元テクスチャ合成装置の作用を図１７を参照して説明する。ステップ１７０１において高次元テクスチャ生成部１６０１は入力されたテクスチャ画像群に基づいて高次元テクスチャを生成する。ステップ１７０２において高次元テクスチャ量子化部１０３は第１の実施形態と同様な手順に従って各高次元テクスチャを量子化する。ステップ１７０３では、制御画像に従ったインデックス画像の合成（１７０４）の前処理として高次元テクテクスチャ変換部１６０５が高次元テクスチャデータ蓄積部１６０２から高次元テクスチャを取り出し、高次元ピクセルデータのブレンディング処理やフィルタリング処理を行ない、変換後の高次元テクスチャを高次元テクスチャデータ蓄積部１６０２に格納する。

ブレンディング処理の例は図１８に示されている。例えば、２種類の高次元テクスチャをブレンドする場合、素材１と素材２の高次元テクスチャを入力し、２つのインデックス画像を比較する。同じピクセル位置のインデックスが指し示す素材１の高次元ピクセルデータと、素材２の高次元ピクセルデータとの平均値を求めたり、２つの高次元ピクセルデータをブレンド率に基づいて足し合わせたりすることによって新たな高次元ピクセルデータを生成する。そして、新たなコードブックに登録して、インデックス画像も新たに生成する。このような処理によって、素材１と素材２との間をモーフィングする際の中間的な画像を生成することができる。３種類以上の素材についても同様の処理を行なうことができる。

フィルタリング処理は、１つの素材の高次元テクスチャに対して、特定または全てのピクセル、あるいは、特定または全ての視点／光源位置に対して、輝度の変化付けや、透過度の変化付けなど、各種フィルタリング処理を施す。このフィルタリング処理によって、取得または作成したテクスチャ画像そのものではなく、高次元な画像処理を施したものを得ることができ、特殊効果の付与を行なうことができる。例えば、テクスチャの位置によって、照射されている光源の種類が変化するような効果を生み出したり、素材の色褪せ、伸縮などの効果を生み出したりすることができる。

また、図１９に示すように、あるインデックス画像で複数のコードブックを参照している場合に、コードブックをまとめる処理も行なうことができる。例えば図１９では、入力したインデックス画像が、素材１，２，３のコードブックを参照しているため、インデックスに複数の素材ＩＤとコードブックのアドレス情報が含まれており、管理・運用が困難である。そこで、参照している高次元ピクセルデータを１つのコードブックにまとめ、インデックス画像を新たに生成することによって、新たな１つの素材としてインデックス合成装置で再利用し、テクスチャ画像生成部１６０６でテクスチャ画像を容易に生成できる。

以上のような高次元テクスチャ変換処理は、インデックス画像合成部１６０４におけるインデックス画像の合成処理の前処理（１７０３）もしくは後処理（１７０３）として利用することができ、自由自在に高次元テクスチャの加工を行なうことができる。

以上説明した本発明の実施形態によれば、視点方向または光源方向などの条件によって変化するテクスチャ画像を用いて、ユーザからの制御を受けながら、任意サイズの新規テクスチャ画像を合成することができる。第１の実施形態で述べた装置によれば、複数の素材の高次元テクスチャを利用して、任意の柄や模様を有した高次元テクスチャを合成することができ、第２の実施形態で述べた装置によれば、高次元ピクセルデータのブレンディング処理やフィルタリング処理などを行なうことによって、モーフィングの中間画像のようなものや、特殊効果の付いた高次元テクスチャを合成することができる。

また、複数の高次元テクスチャをデータ蓄積部化しておくことにより、一度、取得または作成、または、本装置によって量子化・合成・変換された高次元テクスチャを再利用することができ、様々な高次元テクスチャを効率よく生成することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

次世代グラフィックス処理エンジンへの搭載や、アパレル業界向けの衣服シミュレーション、建築物や車の外装／内装シミュレーションなどへの応用が期待できる。

本発明の第１の実施形態に従った高次元テクスチャ合成装置の構成図。 図１の高次元テクスチャ合成装置の処理フローを示す図。 様々な条件（視点／光源）におけるテクスチャ画像の取得方法を説明するための図。 高次元テクスチャ生成部の処理フローを示す図。 高次元テクスチャ生成方法を説明するための図。 高次元テクスチャの基本的なデータ構造を示す図。 高次元ピクセルデータのフォーマット例を示す図。 高次元テクスチャ量子化部の処理フローを示す図。 階層構造をもった高次元テクスチャを示す図。 インデックス画像合成部の処理フローを示す図。 類似ピクセル探索の方法を説明するための図。 近似的な評価値を用いたインデックス画像合成方法を説明するための図。 制御画像内に含まれるデータを説明するための図。 制御画像を基に複数の素材を参照する合成方法を説明するための図。 複数の素材を参照する際の最適インデックスの探索方法を説明するための図。 本発明の第２の実施形態に従った高次元テクスチャ変換部を有する高次元テクスチャ合成装置の構成図。 図１６の高次元テクスチャ合成装置の処理フローを示す図。 複数の素材のブレンディング処理の例を示す図。 参照するコードブックの統一化を説明するための図。

符号の説明

１０１…高次元テクスチャ生成部、１０２…高次元テクスチャデータ蓄積部、１０３…高次元テクスチャ量子化部、１０４…インデックス画像合成部、１０５…テクスチャ画像生成部、１６０１…高次元テクスチャ生成部、１６０２…高次元テクスチャデータ蓄積部、１６０３…高次元テクスチャ量子化部、１６０４…インデックス画像合成部、１６０５…高次元テクスチャ変換部、１６０６…テクスチャ画像生成部、

Claims (14)

1. 複数の異なる条件で取得あるいは作成した１つ以上のテクスチャ画像をテクスチャ画像
   群と呼び、複数種類の素材の前記テクスチャ画像群を利用して任意サイズおよび任意模様
   のテクスチャ画像を生成する高次元テクスチャ合成装置において、
   前記テクスチャ画像群から同一位置のピクセルの画像情報を取り出してまとめて生成し
   た高次元ピクセルデータにより形成されるコードブックと、このコードブックのアドレス
   を指定するためのインデックス情報により形成されるインデックス画像とを含む高次元テ
   クスチャを生成する高次元テクスチャ生成部と、
   前記高次元テクスチャを格納する高次元テクスチャデータ蓄積部と、
   前記高次元テクスチャデータ蓄積部から複数種類の素材の高次元テクスチャを取り出し
   、ユーザによって与えられる制御データまたは該制御データを画像化した制御画像に従っ
   て、複数種類の素材のインデックス画像を基に、任意サイズのインデックス画像を合成し
   、合成インデックス画像を前記高次元テクスチャデータ蓄積部に格納するインデックス画
   像合成部と、
   前記高次元テクスチャデータ蓄積部から高次元テクスチャを取り出し、特定の取得条件
   または作成条件に対応する１つ以上のテクスチャ画像に変換するテクスチャ画像生成部と
   、
   を具備し、
   前記制御データまたは前記制御画像は、生成する新規インデックス画像の全てのピクセ
   ル位置に対して、どの素材のインデックスを描画するべきかを示すために、１つ以上の素
   材のＩＤが指定されており、複数の素材の組み合わせによる任意模様のテクスチャ画像を
   生成することを特徴とする高次元テクスチャ合成装置。
2. 前記高次元テクスチャデータ蓄積部から複数種類の素材の高次元テクスチャを取り出し
   、ブレンディング処理やフィルタリング処理を行ない、処理後の高次元テクスチャを前記
   高次元テクスチャデータ蓄積部に格納する高次元テクスチャ変換部を更に含む請求項１記
   載の高次元テクスチャ合成装置。
3. 前記高次元テクスチャデータ蓄積部は、複数の素材の高次元テクスチャを管理するため
   に用いられ、素材ごとに、素材のＩＤ、インデックス画像、コードブックを格納し、高次
   元テクスチャの量子化が行なわれた場合には、素材ＩＤの他に、その素材の量子化レベル
   や量子化誤差などを格納し、量子化レベルの数に応じて、複数のインデックス画像および
   コードブックを格納し、インデックス画像で複数の素材のコードブックを参照する場合に
   は、インデックス情報として、コードブックのアドレスだけではなく、参照する素材のＩ
   Ｄや量子化レベルのＩＤも含まれることを特徴とする請求項１または２記載の高次元テク
   スチャ合成装置。
4. 前記高次元テクチャデータ蓄積部のデータをネットワーク上でデータベースとして公開
   し、ユーザが任意の高次元テクスチャデータを利用し、加工し、格納することができる手
   段を含むことを特徴とする請求項３記載の高次元テクスチャ合成装置。
5. 前記高次元テクスチャ生成部は、テクスチャ画像群から高次元テクスチャを生成し、該
   高次元テクスチャを前記高次元テクスチャデータ蓄積部に格納し、複数の異なる条件で取
   得あるいは作成したテクスチャ群を入力し、入力した全てのテクスチャ画像から同一位置
   のピクセルの画像情報を取り出し、該画像情報を前記取得条件あるいは作成条件ごとに配
   列化し、該画像情報を高次元ピクセルデータとして、前記コードブックに登録し、該コー
   ドブックのアドレスを、ピクセルのインデックス情報とし、各ピクセルのインデックス情
   報をまとめて画像化することにより、インデックス画像を生成することを特徴とする、請
   求項１または２記載の高次元テクスチャ合成装置。
6. 前記高次元テクスチャ量子化部は、高次元テクスチャデータ蓄積部から高次元テクスチ
   ャを取り出して、それをベクトル量子化し、量子化済みの高次元テクスチャを前記高次元
   テクスチャデータ蓄積部に格納し、入力した高次元テクスチャに対して、コードブックの
   サイズに依存して決まる１つ以上の量子化レベルに従って、前記高次元テクスチャをベク
   トル量子化することにより、各々の量子化レベルごとに高次元テクスチャを生成し、生成
   した高次元テクスチャに、量子化レベルのＩＤおよび量子化誤差を含めて、前記高次元テ
   クスチャデータ蓄積部に出力することを特徴とする、請求項１または２記載の高次元テク
   スチャ合成装置。
7. 前記インデックス画像合成部は、制御データまたは制御画像に従って、新規に生成され
   るインデックス画像の位置ごとに、どの素材のインデックスを描画するかどうかを制御し
   、新規インデックス画像の初期画像は、ピクセルごとに制御データまたは制御画像で指定
   された素材のインデックスをランダムに割り当てて描画し、新規インデックス画像をスキ
   ャンしながら、ピクセルごとに制御データまたは制御画像で指定された素材のインデック
   ス画像との比較をすることによって、高次元ピクセルデータ間のＳＡＤ又は量子化レベル
   に応じた高次元テクスチャの階層性を評価値として用いて任意探索サイズの類似ピクセル
   を探索し、複数の素材のインデックス画像を用いて類似ピクセル探索を行なう場合には、
   類似ピクセルの探索の結果、最も類似する最適なピクセルを選択する際に、制御データま
   たは制御画像によって、評価の重みづけまたは選択確率の指定を行うことを特徴とする、
   請求項１または２記載の高次元テクスチャ合成装置。
8. 前記高次元テクスチャ変換部は、複数の素材のコードブック内に存在する高次元ピクセ
   ルデータを組み合わせ、新たな高次元ピクセルデータを生成し、新たなコードブックに登
   録し、さらに新たなインデックス画像を生成し、高次元ピクセルデータ同士のブレンドは
   、ブレンドの対象となる高次元ピクセルデータの平均値を求め、またはブレンド率に基づ
   いて足し合わせ、１種類の素材のコードブック内に存在する全ての高次元ピクセルデータ
   に対し、一括して輝度を変化させること、透過度を変化させることを含むフィルタリング
   処理機能を有することを特徴とする請求項２記載の高次元テクスチャ合成装置。
9. 前記テクスチャ画像生成部は、生成したい素材の高次元ピクセルデータを入力し、また
   、生成したいテクスチャ画像の取得条件または作成条件を入力し、ピクセルごとにインデ
   ックス画像内のインデックス情報を基に、コードブック内の高次元ピクセルデータを参照
   し、指定された取得条件または作成条件の画像情報を取り出して、テクスチャ画像を生成
   することを特徴とする、請求項１または２記載の高次元テクスチャ合成装置。
10. 前記インデックス画像合成部で用いられる制御データまたは該制御データを画像化した
    制御画像は、新規インデックス画像を生成する際に、ユーザが要求するテクスチャの柄や
    模様に近づける制御を行なうためのデータであり、生成する新規インデックス画像の全て
    のピクセル位置に対して、指定されたそれぞれの素材がどれだけの確率で選択されるかを
    指定する重み付けのパラメータまたは選択確率あるいは類似ピクセル探索の際のブロック
    サイズなどが含まれていることを特徴とする、請求項１または２記載の高次元テクスチャ
    合成装置。
11. ユーザが要求するテクスチャの柄や模様を制御画像として入力し、テクスチャを生成す
    る手段を含む請求項１０記載の高次元テクスチャ合成装置。
12. 前記インデックス画像合成部は、新規に生成されるインデックス画像に、インデックス
    の情報として、素材のＩＤとその素材のコードブックのアドレスを含めることを特徴とす
    る、請求項１または２記載の高次元テクスチャ合成装置。
13. 前記インデックス画像合成部は、類似ピクセル探索において、複数の素材を用いた場合
    、類似ピクセル探索の対象としている素材のインデックスとは異なる素材のインデックス
    の部分に対して、探索の時だけ、類似ピクセル探索の対象としている素材のインデックス
    にランダムに置き換え、近傍ブロックの参照している素材を同一にすることを特徴とする
    、請求項１または２記載の高次元テクスチャ合成装置。
14. 前記インデックス画像合成部に入力する制御データまたは制御画像は、スキャンごとに
    異なるものを用いることができ、ユーザが処理結果を見ながら、対話的に制御データまた
    は制御画像を与えることができることを特徴とする、
    請求項１または２記載の高次元テクスチャ合成装置。

Images