JP3906170B2

JP3906170B2 - Apparatus, method and program for synthesizing high-dimensional texture

Info

Publication number: JP3906170B2
Application number: JP2003062180A
Authority: JP
Inventors: 真弘関根; 康晋山内; 新悟柳川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-03-07
Filing date: 2003-03-07
Publication date: 2007-04-18
Anticipated expiration: 2023-03-07
Also published as: KR20040080344A; KR100579772B1; CN1290064C; CN1527250A; JP2004272580A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元コンピュータグラフィックス分野における高品位テクスチャマッピングに好適な画像合成技術に属し、視点方向や光源方向などの条件に応じて変化する多数のテクスチャ画像から、これら条件に応じた任意サイズのテクスチャ画像を合成するための装置、方法、およびプログラムに関する。ならびに本発明は、多数のテクスチャ画像を種々の記録媒体に効率的に格納し管理するためのデータ構造に関する。
【０００２】
【従来の技術】
３次元物体の見え方、すなわち３次元物体の形状およびその表面の色や質感は、この３次元物体を眺める方向（視点方向）および光を照射する方向（光源方向）に依存して変化する。３次元コンピュータグラフィックスの分野では、３次元物体の表面をポリゴンと称する多数の２次元平面単位に分割し、ポリゴンごとに描画を行って２次元画像を生成し、これを３次元物体の表示画像としている。
【０００３】
視点方向および光源方向が変化する際の３次元物体の見え方は、表示ポリゴンの向き（３次元姿勢）やポリゴンの光学的特性（輝度等）を視点方向および光源方向とともに変化させることで表現することができる。ところが、従来は描画の単位であるポリゴンの向き（３次元姿勢）を定義する法線と視点方向あるいは光源方向との関係を計算するためには浮動小数点精度のベクトル演算が必須であり、これはハードウェアおよびソフトウェアのどちらの観点からみても演算コストが高く、実用化が困難であった。そこで、ポリゴンを構成する頂点単位に設定した色でポリゴン内部を一様に塗りつぶすフラットシェーディングと呼ばれる描画手法や、ポリゴンを構成する頂点単位に設定した色に基づいて単調な線形補間によりポリゴン内部に色を塗るスムースシェーディングと呼ばれる描画手法が用いられることがある。
【０００４】
また、例えば模様や柄などポリゴン内部のディテールを表現したいという要求に対してはテクスチャマッピングと呼ばれる手法が用いられる。テクスチャマッピングとは、模様や柄が表現された画像（テクスチャ画像）をポリゴン表面に配置（マッピング）する画像処理技術である。ポリゴンを構成する頂点単位でテクスチャ画像内の対応する画像内座標を定義するなどしてテクスチャ画像の向きを制御したり、テクスチャ画像に実写画像を用いる等、これまでになされたテクスチャマッピングへの幾つかの改良は、より高品質なレンダリングを可能にした。しかし、このような改良を行ったとしても、このテクスチャマッピングでは、視点方向や光源方向に応じて変化すべき物体表面の光学的特性を表現することまでは行えない。これは、ポリゴンの３次元姿勢とは無関係に単一のテクスチャ画像を貼り付けているためである。
【０００５】
物体表面の光学的特性を表現するために、従来、いくつかの改良手法が提案されているが、以下に説明するように、これらの改良手法にはそれぞれ固有の問題がある。
【０００６】
（１）物体表面の法線ディテールを擬似的に変化させ、光学的な特性を変化させる手法がある。これには、バンプマッピングと呼ばれる手法が存在するが、法線のゆらし計算など３次元ベクトル計算が必要であり、計算コストが高いという問題がある。
【０００７】
（２）一般にポリゴン表面のテクスチャ成分を視線方向、光源方向に応じて表現したものをＢＴＦ（Bi-directional Texture Function）と呼ぶ（下記非特許文献１参照）。しかし、ＢＴＦのデータにおいて視点方向および光源方向を表す４個の変数のすべてを変化させながら画像のサンプリングをこれまでに行った例はなく、２個あるいは３個の変数を変化させたサブセットを扱っている（下記非特許文献２参照）。
【０００８】
（３）光源方向や視点方向に依存した輝度変化を関数で近似する手法として、ＰＴＭ（Polynomial Texture Mapping）と呼ばれる手法が提案されている（下記特許文献１参照）。ＰＴＭでは、ピクセル毎の輝度変化を２次元光源方向パラメータの２次関数で近似し、その関数係数（６つ）を持つテクスチャに変換して保持する。描画時には、この関数係数テクスチャから描画対象ピクセルの関数係数を取り出す。そして、取り出した関数係数と光源方向パラメータとの積和演算により、光源依存なテクセル・カラー情報を求めている。近年のグラフィックス・ハードウェアでは、ハードウェア上の演算ユニットをプログラマブルに利用してシェーディングを行なう機能（ピクセルシェーダ）が実装されている。そのため、ＰＴＭのような演算を高速に実行させることが可能となってきている。しかし、視点方向も含めた輝度変化を関数化する場合、さらに高次な関数化が必要となる。その結果、関数係数が増えるのみならず、関数近似に要する時間も多大になることが予想され、視点方向と光源方向の双方に依存したテクスチャを生成することは原理上、困難である。
【０００９】
（４）一方、視点方向に応じた画像を生成する手法としては、Light Field Rendering（下記特許文献２および非特許文献３参照）やLumigraph（下記非特許文献４参照）に代表されるイメージベース・レンダリング手法がある。イメージベース・レンダリング手法は、離散的に設定された複数視点画像から、新規視点から見た画像をサンプリングによって生成しようとするものである。しかし、視点自由度や画質を高めようとすると複数視点画像を大量に用意しておく必要があり、データ量が膨大になるという問題がある。
【００１０】
従来のテクスチャマッピングにおいては、３次元物体の表面の大きさに対してテクスチャ画像のサイズが小さい場合、テクスチャ画像を繰り返し配置しながら、マッピングを行なっている。しかしこの方法では、テクスチャ画像の模様や柄が単調な繰り返しパターンとして現れてしまったり、境界線が目立ってしまったりする。これは、観察者に不自然な印象を与える。
【００１１】
そこで近年では、小さなテクスチャ画像から任意サイズのテクスチャ画像を合成する方式が提案されている（下記非特許文献５および非特許文献６参照）。これは、元の小さなテクスチャ画像を参照しながら、任意サイズのテクスチャ画像をスキャンし、元の画像に近いテクスチャ画像を合成するというものである。またその応用として、参照している小さなテクスチャ画像の他に目標とするテクスチャ画像を用意し、この目標とするテクスチャ画像の模様や柄を有し、かつ、参照している小さなテクスチャ画像の素材に近い画像を合成する方式も提案されている。
【００１２】
しかし、このような従来のテクスチャ画像合成技術は、単に１枚のテクスチャ画像を合成するというものであり、多視点／多光源についての多数のテクスチャ画像を一括に扱って合成することはできない。
【００１３】
【特許文献１】
米国特許第６２９７８３４号明細書
【００１４】
【特許文献２】
米国特許第６０９７３９４号明細書
【００１５】
【非特許文献１】
Dana, et.al, "Reflectance and Texture of Real World Surfaces", ACM Transaction on Graphics,18(1):1-34,1999.
【００１６】
【非特許文献２】
Chen, et.al, "Light Field Mapping Efficient Representation and Hardware Rendering of Surface Light Fields", Proceedings SIGGRAPH 2002,pp.447-456.
【００１７】
【非特許文献３】
Levoy, et.al, "Light Field Rendering", Proceedings SIGGRAPH 1996,pp.31-42.
【００１８】
【非特許文献４】
Gortler, et.al, "The Lumigraph", Proceedings SIGGRAPH 1996,pp.43-54.
【００１９】
【非特許文献５】
Li-Yi Wei, Marc Levoy, "Fast Texture Synthesis Using Tree-structured Vector Quantization", Proceedings SIGGRAPH 2000, pp.479-488.
【００２０】
【非特許文献６】
Michael Ashikhmin, "Synthesizing Natural Textures", 2001 ACM Symposium on Interactive 3D Graphics, pp.217-226.
【００２１】
【発明が解決しようとする課題】
以上述べたように、視点方向および光源方向に応じて変化する物体表面の光学的特性をテクスチャで表現した場合には、視点方向や光源方向が異なる大量のテクスチャ画像が必要であり、また演算量も膨大となる。かかる問題を解決した実用的なシステムはこれまでに提供されていない。また、大量のテクスチャ画像を一括に扱ったテクスチャ合成手法が存在しないため、任意サイズのテクスチャ画像を視点方向および光源方向に応じて変化させた時に、物体表面の光学的特性をリアルに表現することもできない。
【００２２】
そこで、本発明では、視点方向および光源方向に応じて変化する物体表面の光学的特性をリアルに表現することのできる任意サイズのテクスチャ画像を大量のテクスチャ画像データから効率的に合成することを目的とする。また、テクスチャマッピングにおいて効率的な演算が可能となる高次元テクスチャのデータ構造を提供することを目的とする。
【００２３】
【課題を解決するための手段】
本発明の一観点に係る高次元テクスチャ合成装置は、複数の異なる条件で取得または作成された１つ以上のテクスチャ画像を利用し、前記複数の異なる条件のそれぞれに対応する任意サイズのテクスチャ画像を生成するための新規高次元テクスチャを合成する高次元テクスチャ合成装置である。この装置は、前記１つ以上のテクスチャ画像を参照テクスチャ画像として入力し、同一ピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成手段と、前記参照高次元テクスチャを１つ以上の量子化レベルで量子化するとともにコードブックを生成する参照高次元テクスチャ量子化手段と、前記量子化レベルに対応する前記参照高次元テクスチャの階層性に従って、前記参照テクスチャ画像のインデックスを画像化してなる参照インデックス画像から、任意の画像サイズを有する新規インデックス画像を合成するインデックス画像合成手段と、前記インデックス画像合成手段により合成された新規インデックス画像と、前記参照高次元テクスチャ量子化手段により生成されたコードブックとを組み合わせて、新規高次元テクスチャを生成する新規高次元テクスチャ生成手段と、を備える。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。
【００２５】
（第１の実施形態）
図１は本発明の第１の実施形態に係る高次元テクスチャ合成装置の構成図である。まず概略構成を説明する。この装置は、複数の異なる条件で取得あるいは作成された１つ以上の参照テクスチャ画像を入力し、同一のピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成部１０１と、生成された参照高次元テクスチャを、１つ以上の量子化レベルに従ってベクトル量子化し、コードブックを生成する参照高次元テクスチャ量子化部１０２とを備える。なお、参照高次元テクスチャの生成方法、高次元テクスチャのデータ構造およびベクトル量子化方法の詳細については後述する。
【００２６】
また、量子化済み参照高次元テクスチャを入力し、この量子化済み参照高次元テクスチャに基づいて、類似ピクセル探索を繰り返すことにより任意サイズの新規インデックス画像を合成するインデックス画像合成部１０３を備える。なお、新規インデックス画像の合成方法の詳細については後述する。
【００２７】
さらに、インデックス画像合成部１０３で生成された新規インデックス画像と参照高次元テクスチャ量子化部１０２で生成されたコードブックとを組み合わせ、高次元テクスチャのデータ構造に従った新規高次元テクスチャを生成する新規高次元テクスチャ生成部１０４と、新規高次元テクスチャを入力し、特定の取得条件あるいは作成条件に対応したテクスチャ画像を出力する新規テクスチャ画像変換部１０５とを備える。
【００２８】
図２は第１の実施形態の変形例に係る高次元テクスチャ合成装置の構成図である。この装置は、図１の装置から新規テクスチャ画像変換部１０５を取り除いた構成を有する。この装置は、新規高次元テクスチャ生成部１０４から出力された新規高次元テクスチャに基づいて新規テクスチャ画像を出力するものであり、任意の３次元物体への効率的なテクスチャマッピングを行なうことができる。
【００２９】
図３は第１の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図である。以下、この一連の処理の各々を詳細に説明する。
【００３０】
図４は参照高次元テクスチャ生成部１０１における参照高次元テクスチャ生成（３０１）のフローチャートである。まず、複数の異なる条件で取得あるいは作成された１つ以上の参照テクスチャ画像を入力する（４０１）。本実施形態では、複数のカメラ位置（以下、視点と呼ぶ）および光源位置で取得した実写画像を用いる。ここでは、前述した通り、視点方向または光源方向に応じて変化する物体表面の光学的特性をリアルに表現することを目的としている。
【００３１】
図５は様々な条件（視点／光源）におけるテクスチャ画像の取得方法を説明するための図である。撮像物体表面の法線ベクトルを軸とし、撮像物体表面が赤道面（赤道を通る面）となる球極座標系を考える。この座標系において、極角θと方位角φとを用いると、入力データとしてあらかじめ用意する多視点／多光源テクスチャ画像は、視点方向（θ_Ｅ，φ_Ｅ）、光源方向（θ_Ｉ，φ_Ｉ）の４パラメータで指定することができる。そこで、本実施形態では、ある特定の視点／光源で取得したテクスチャ画像をＴ（θ_E，φ_E，θ_I，φ_I）というパラメータで識別する。また、本実施形態では、視点方向のサンプルをθ_Eの軸にＷ個、φ_Eの軸にＸ個とし、光源方向のサンプルをθ_Iの軸にＹ個、φ_Iの軸にＺ個とする。したがって、Ｗ×Ｘ視点とＹ×Ｚ光源のすべての組み合わせで取得した（Ｗ×Ｘ）×（Ｙ×Ｚ）枚のテクスチャ画像が、参照テクスチャ画像として入力される。
【００３２】
図４における処理（４０２）以降は、参照高次元テクスチャを生成するための繰り返し処理からなる。高次元テクスチャのデータ構造の一例を図６に示す。高次元テクスチャは、コードブックとインデックス画像とで構成される。コードブックは、高次元ピクセルデータと呼ばれるデータ（後述）の集まりで構成され、インデックス画像は、コードブック内の高次元ピクセルデータを指定するためのインデックス情報の集まりで構成される。本実施形態では、Ｒ成分／Ｇ成分／Ｂ成分それぞれの色成分に対して、インデックス画像とコードブックを作成するようにしている。なお、ＲＧＢ成分のすべてを一括に扱う高次元テクスチャや、輝度成分と色成分とが分離された高次元テクスチャなども同様に作成することができる。高次元ピクセルデータとは、あるピクセルにおける色情報を集めたものであり、Ｒ成分／Ｇ成分／Ｂ成分の高次元ピクセルデータをそれぞれＲ（ｌ），Ｇ（ｍ），Ｂ（ｎ）とする。これらは、それぞれインデックスｌ、ｍ、ｎに対応する高次元ピクセルデータである。図５に示されるＲ成分／Ｇ成分／Ｂ成分のコードブックサイズは、それぞれＬ、Ｍ、Ｎである。このコードブックサイズが大きいほど、高次元ピクセルデータは多様なものとなる。
【００３３】
参照高次元テクスチャは、以下のような手順で生成される。参照テクスチャ画像のあるピクセル（ｉ，ｊ）に注目し（４０２）、全ての参照テクスチャ画像の中から、注目しているピクセル（ｉ，ｊ）の色情報を抽出する（４０３）。
【００３４】
図７は、複数の参照テクスチャ画像からの、同一ピクセルの色情報の抽出を説明するための図である。前記（Ｗ×Ｘ）×（Ｙ×Ｚ）枚の参照テクスチャ画像から同一ピクセルの色成分を取り出して、それらを所定のフォーマットに合わせて１つのデータにまとめ、高次元ピクセルデータを生成する（４０４）。次に、生成した高次元ピクセルデータをコードブックに登録し、注目ピクセル（ｉ，ｊ）に対してインデックスを割り当てる（４０５）。以上の処理を全ピクセルに対して行ない（４０６）、参照高次元テクスチャ生成の処理を終了する。
【００３５】
図８は本実施形態における高次元ピクセルデータの形式を説明するための図である。これは、横軸φ_I、縦軸θ_Iとして並べたある特定視点における光源依存ピクセルデータをブロック化し、そのブロックを横軸θ_E、縦軸φ_Eとして視点ごとに並べた形式である。参照テクスチャ画像が全てＵ×Ｖピクセルであった場合、参照高次元テクスチャ生成部１０１の入出力は以下のようになる。
【００３６】
【表１】

【００３７】
図９は参照高次元テクスチャ量子化部１０２における参照高次元テクスチャ量子化（３０２）のフローチャートである。まず、参照高次元テクスチャを入力し、Ｒ成分／Ｇ成分／Ｂ成分を別々に分割する（９０１）。次に、Ｒ成分／Ｇ成分／Ｂ成分いずれかの成分の参照高次元テクスチャを入力し（９０２）、量子化処理を開始する。量子化レベルｑといったパラメータを用意し、初期値０からインクリメントしていく（９０３、９０７）。量子化レベルでは、コードブックサイズの指定を行ない、ｑの値が大きくなるほど、コードブックサイズを大きくする。コードブックサイズが参照テクスチャ画像のピクセル数と等しくなった量子化レベルで量子化処理を終了する（９０６）。参照テクスチャ画像のサイズが３２×３２ピクセルであった場合の、量子化レベルの設定方法の例を以下に示す。
【００３８】
【表２】

【００３９】
各量子化レベルにおける量子化処理は、一般によく知られたベクトル量子化(Vector Quantization:ＶＱ)を利用すればよい。しかし本実施形態では、本装置に適した改良方式を用いることとする。すなわち、誤差ゼロのクラスタを固定する処理を追加した全探索ベクトル量子化(Full Search Vector Quantization:ＦＳＶＱ)、もしくは木構造のコードブックを出力する木構造ベクトル量子化(Tree Structured Vector Quantization:ＴＳＶＱ)である。前者の方式は、前処理として誤差ゼロのクラスタを固定してしまい、これを以後のクラスタ分割の対象には含めない。この方式によれば、全探索でありながらも、比較的短時間で目的の量子化レベルまで達することができる。一方、後者の方式は、木構造を成すようなクラスタ分割をしていくものである。この方式によって、前述の方式に比べて、量子化の精度が落ちる反面、短時間で量子化することができる。さらに、ＴＳＶＱによって量子化を行なった場合には、後述するインデックス画像合成部においても処理時間に大きな効果をもたらす。
【００４０】
量子化を行なった後、それぞれの量子化レベルにおける参照高次元テクスチャ、すなわち、インデックス画像とコードブックを出力する（９０５）。以上の処理をＲ成分／Ｇ成分／Ｂ成分に対して行ない（９０８）、参照高次元テクスチャ量子化の処理を終了する。
【００４１】
参照高次元テクスチャ量子化部１０２が出力する量子化済み参照高次元テクスチャの構成を図１０に示す。Ｒ成分／Ｇ成分／Ｂ成分が、それぞれ別々に、量子化レベルごとの参照高次元テクスチャを保持している。ｑが大きくなるほど、コードブックサイズが大きくなっており、参照高次元テクスチャが階層的に表現されている。
【００４２】
図１１はインデックス画像合成部１０３におけるインデックス画像合成（３０３）のフローチャートである。まず、パラメータを入力する（１１０１）。このパラメータは、参照テクスチャ画像サイズ、参照テクスチャ画像数（高次元ピクセルデータのサイズ）、参照高次元テクスチャ名（入力ファイル名）、新規テクスチャ画像サイズ、新規高次元テクスチャ名（出力ファイル名）、階層数Ｈ、各階層における量子化レベル（Ｒ成分／Ｇ成分／Ｂ成分）、各階層におけるスキャン回数Sh、各スキャンにおける書き換えブロックサイズ、各スキャンにおける近傍ブロックサイズを含む。
【００４３】
次に、階層番号ｈを初期化（ｈ＝０）し、階層番号がＨ−１となるまで階層ごとのインデックス画像合成処理を行なう（１１０２、１１１１、１１１２）。各階層では、パラメータで指定された量子化レベルの参照高次元テクスチャを入力する（１１０３）。各階層における量子化レベルの指定は、Ｒ成分／Ｇ成分／Ｂ成分ごとに別々に行ない、階層番号が大きくなるほど指定する量子化レベルを大きくする。
【００４４】
次に、入力した参照高次元テクスチャ内に存在する高次元ピクセルデータの類似性を計算する（１１０４）。この処理は、後述する類似ピクセル探索を行なう際に用いられる評価値を計算する処理を含む。入力した参照高次元テクスチャのインデックス画像に注目し、全通りのピクセルの組み合わせについて、インデックスが指し示す高次元ピクセルデータ間の類似性をＳＡＤ(Sum of Absolute Difference)、相関値、または内積を評価値として用いることによって評価する。なお、参照高次元テクスチャ量子化部１０２により、上述したＴＳＶＱによる量子化が行なわれた場合には、木構造を成すコードブックをなぞるだけで類似性を評価できるため、１１０４において計算を行なう必要は無い。
【００４５】
次に、新規インデックス画像の初期画像として、参照インデックス画像に存在するインデックスをランダムに割り当てたノイズ画像を生成する（１１０５）。
【００４６】
次に、スキャン番号ｓを初期化（ｓ＝０）し、スキャン番号がSh−１になるまで新規インデックス画像を繰り返しスキャンしながら、後述する類似ピクセル探索によるインデックスの書き換えを行なう（１１０６、１１０９、１１１０）。
【００４７】
各スキャンにおける新規インデックス画像の合成（１１０７）では、新規インデックス画像を左上から右下に向かって、指定されたブロックサイズごとに書き換えていく。インデックスの書き換えには、類似ピクセル探索を用いる。類似ピクセル探索とは、書き換えるブロックの近傍ブロックを利用し、参照インデックス画像内に存在する同じ形状のブロックの中から、もっとも類似性の高いブロックを見つけることである。
【００４８】
参照インデックス画像内に存在する同じ形状のブロックを全通り評価してもよいが、始めから候補をリストアップしておいてもよい。近傍ブロックの各ピクセルが参照している位置に対応するブロックを候補とし、その中から選出するという方法もある。近傍ブロックのピクセル数が２０であった場合、候補は高々２０個ということになり、効率よく探索することができる。
【００４９】
類似ピクセル探索には、現在の階層ｈのデータだけではなく、１つ前の階層ｈ−１のデータも用いる。１つ前の階層を用いることによって、１つ前の階層での処理を反映させることができ、精度が向上する。
【００５０】
図１２は類似ピクセル探索におけるブロックの選び方を説明する図である。類似ピクセル探索ではＬ字型探索（図１２（ａ））もしくは方形探索（図１２（ｂ））のいずれかを行なう。図１２の場合においては、書き換えブロック１２０のサイズを３×３ピクセル、近傍ブロック１２１のサイズを７×７ピクセルとしている。また、方形探索では７×７ピクセルの近傍ブロックの全てを利用して探索を行なうのに対して、Ｌ字型探索では、７×７ピクセルの近傍ブロックのうち既に書き換えが行なわれた部分のブロックを利用して探索を行なう。なお本実施形態の方形探索では、書き替え済みのブロックと書き替え済みでないブロックの両者からなるブロック１２２を用いる。
【００５１】
図１３は階層ｈにおける類似ピクセル探索を説明するための図である。ｈ＝０の時は、階層０でのＬ字型探索を行ない、その類似性だけで評価を行なう。また、ｈ＝０でない時は、階層ｈでのＬ字型探索と、階層ｈ−１での方形探索を行ない、その類似性の合計によって評価を行なう。
【００５２】
以上の処理では、各階層ごとに、あるいは各スキャンごとに、書き換えブロックサイズや近傍ブロックサイズを任意に変更できる。書き換えブロックサイズに関しては、これを下位の階層において拡大すれば、おおまかなテクスチャの特徴を捉えることができ、上位の階層において縮小すれば、細部のテクスチャの特徴を捉ることができる。計算時間に大きく影響する近傍ブロックサイズは、できるだけ小さいことが好ましい。全ての階層について全てのスキャンにより新規インデックス画像の合成が終了した後、その新規インデックス画像を出力する（１１０８）。
【００５３】
次に、新規高次元テクスチャ生成部１０４における新規高次元テクスチャ生成（３０４）について説明する。新規高次元テクスチャ生成部１０４では、まず、インデックス画像合成部１０３から出力された新規インデックス画像と、参照高次元テクスチャ量子化部１０２から出力された様々な量子化レベルでのコードブックを入力する。次に、任意の階層で合成された新規インデックス画像と、任意の量子化レベルでのコードブックとを組み合わせることによって、新規高次元テクスチャを生成する。ただし、新規インデックス画像とコードブックとの量子化レベルが一致していれば、両者を組み合わせるだけであるが、一致していなければ、コードブックの量子化レベルに合わせて新規インデックス画像を書き換える必要がある。書き換えの際には、参照インデックス画像のどのピクセルを参照しているかを調べることによって、他の量子化レベルでインデックスと対応づける。
【００５４】
新規高次元テクスチャ生成部１０４に様々な量子化レベルの新規高次元テクスチャを出力させることにより、ディテールのはっきりした鮮明な新規テクスチャ画像からおおまかな柄だけを再現したような粗い新規テクスチャ画像まで、様々なテクスチャ画像を生成することができる。
【００５５】
次に、新規テクスチャ画像変換部１０５おける新規テクスチャ画像生成（３０５）について説明する。新規テクスチャ画像変換部１０５では、まず、新規高次元テクスチャを入力し、生成したい新規テクスチャ画像の視点／光源条件を与える。次に、ピクセルごとにインデックス画像内のインデックスからコードブックを参照し、指定された視点／光源条件の色情報を取り出し、新規テクスチャ画像を描画していく。すべてのピクセルを描画した後、新規テクスチャ画像を出力する。
【００５６】
出力された新規テクスチャ画像は、３次元物体へのテクスチャマッピングに適用することができる。３次元物体の各ポリゴンの法線と、視点方向および光源方向との関係を計算し、対応する視点／光源に最も近い新規テクスチャ画像をマッピングすればよい。また、複数の新規テクスチャ画像を用いて補間することによって、よりリアルな画像を生成することもできる。ただし、ポリゴン単位でピクセルを描画するため、必ずしも新規テクスチャ画像を生成する必要はなく、新規高次元テクスチャからピクセルの色情報を抽出しながら描画することもできる。新規高次元テクスチャを用いてテクスチャマッピングすることによって、メモリを有効に活用することができる。
【００５７】
（第２の実施形態）
図１４は本発明の第２の実施形態に係る高次元テクスチャ合成装置の構成図である。まず概略構成を説明する。この装置は、第１の実施形態で示した装置に目標テクスチャを利用する処理を追加したものである。参照高次元テクスチャ生成部１４０１は、第１の実施形態で示した参照高次元テクスチャ生成部１０１と同様である。参照高次元テクスチャ量子化部１４０３は、第１の実施形態で示した参照高次元テクスチャ量子化部１０２に、目標インデックス画像生成部１４０４へのコードブックの出力処理を追加したものである。インデックス画像合成部１４０５は、第１の実施形態で示したインデックス画像合成部１０３と同様の構成であるが、類似ピクセル探索において目標インデックス画像を利用するように変更したものである。新規高次元テクスチャ生成部１４０６および新規テクスチャ画像変換部１４０７は、それぞれ第１の実施形態で示した新規高次元テクスチャ生成部１０４、新規テクスチャ画像変換部１０５と同様の構成である。本実施形態においては、目標高次元テクスチャ生成部１４０２と目標インデックス画像生成部１４０４の存在が、第１の実施形態と大きく異なる部分である。目標高次元テクスチャ生成部１４０２では、参照高次元テクスチャ生成部１４０１と同様に、１つ以上の目標テクスチャ画像から目標高次元テクスチャを生成する。また、目標インデックス画像生成部１４０４は、参照高次元テクスチャ量子化部１４０３から出力されたコードブックに対応するように、目標インデックス画像を生成する。
【００５８】
図１５は第２の実施形態の変形例に係る高次元テクスチャ合成装置の構成図である。この装置は、図１４の装置から新規テクスチャ画像変換部１４０７を取り除いた構成を有し、第１の実施形態の図２で示した高次元テクスチャ合成装置と同様の用途に用いられる。すなわち、最終的な出力画像として、新規テクスチャ画像を出力する。
【００５９】
図１６は図１４に示される第２の実施形態の高次元テクスチャ合成装置により実現される一連の処理を示す図である。以下、この一連の処理について、第１の実施形態と異なる部分に絞って説明する。本実施形態では、目標高次元テクスチャ生成部１４０２に、複数の異なる条件で取得あるいは作成された１つ以上の目標テクスチャ画像を入力する。目標テクスチャ画像のサイズは、要求する新規テクスチャ画像サイズと等しいものとする。
【００６０】
目標高次元テクスチャ生成部１４０２では、図４に示したものと同様のフローチャートに従って目標高次元テクスチャを生成する。ただし、高次元ピクセルデータのフォーマットは参照高次元テクスチャ生成部１４０１と同様のものとし、視点／光源の位置に対応した高次元ピクセルデータのそれぞれの部分に、それぞれの視点／光源の位置で目標とする目標テクスチャ画像の色情報を書き込む。目標のない視点／光源の位置には、データを書き込まない。
【００６１】
目標インデックス画像生成部１４０４では、まず、目標高次元テクスチャと、参照高次元テクスチャ量子化部１４０３で生成されたコードブックとを入力する。次に、目標高次元テクスチャのコードブックを参照高次元テクスチャのコードブックに置き換え、インデックスの書き換えを行なう。インデックスを書き換える際には、目標高次元テクスチャ生成器１４０２で生成された高次元ピクセルデータとコードブック内の高次元ピクセルデータとを比較し、もっとも類似性の高い高次元ピクセルデータに対応するインデックスを割り当てる。ただし、類似性の評価では、目標のない視点／光源の位置は比較対象に含めず、ＳＡＤ(Sum of Absolute Difference)、相関値、または内積によって評価を行なう。以上のような処理を参照高次元テクスチャ量子化部１４０３から入力される量子化レベルに応じた複数のコードブックに対して行ない、各量子化レベルに応じた目標インデックス画像を出力する。
【００６２】
インデックス画像合成部１４０５では、第１の実施形態で示したインデックス画像合成部１０３と同様の処理に加え、目標インデックス画像を入力する処理と、目標インデックス画像を利用した類似ピクセル探索処理とが行なわれる。
【００６３】
図１７は階層ｈにおける類似ピクセル探索を説明するための図である。目標インデックス画像は、階層ｈにおける量子化レベルのものが用いられる。ここでは、ｈ＝０の時は、階層０での方形探索を行ない、その類似性だけで評価を行なう。また、ｈ＝０でない時は、階層ｈでの方形探索と階層ｈ−１での方形探索を行ない、その類似性の合計によって評価を行なう。階層ｈでは、図１２（ｄ）に示すような方形探索を行なう。方形ブロックの中で、書き換え済みのブロック１２２１に関しては、新規インデックス画像のブロックを利用し、書き換え済みでないブロック１２２２に関しては、目標インデックス画像を利用する。階層ｈ−１では、図１２（ｃ）に示すような方形探索を行なう。他の部分の処理方法は、第１の実施形態で説明したものと同様である。
【００６４】
（第３の実施形態）
本実施形態は、第１の実施形態および第２の実施形態におけるインデックス画像合成部を変更したものである。まず概略構成を説明する。本実施形態の高次元テクスチャ合成装置は、第１の実施形態で述べた図１の装置、または第２の実施形態で述べた図１４の装置とほぼ同様の構成であり、インデックス画像合成部を除く他の構成要素は、第１の実施形態または第２の実施形態と同じ機能を持つ。図１８はこのインデックス画像合成部におけるインデックス画像合成のフローチャートである。本実施形態に係るインデックス画像合成部では、まずパラメータを入力する（１８０１）。本装置は、各階層ごとにスキャンをするものではないため、１つのスキャン回数Ｓを設定するだけでよい。それ以外のパラメータは第１の実施形態または第２の実施形態と同様である。
【００６５】
次に、全階層の参照インデックス画像と量子化誤差を入力する（１８０２）。本装置では、１つの新規インデックス画像を合成するために、量子化誤差が異なる２つ以上の参照インデックス画像を用いる。また、近似的な類似性評価を行なうために、各階層の量子化誤差を用いる。また、目標インデックス画像が存在する場合には、目標インデックス画像も入力する。
【００６６】
次に、新規インデックス画像の初期画像を生成する（１８０３）。これは、第１の実施形態または第２の実施形態と同様のノイズ画像とする。
【００６７】
次に、スキャン番号ｓを初期化（ｓ＝０）し、スキャン番号がＳ−１となるまで、新規インデックス画像を繰り返しスキャンしながら、後述する類似ピクセル探索によるインデックスの書き換えを行なう（１８０４、１８０８，１８０８）。
【００６８】
各スキャンにおける新規インデックス画像の合成（１８０５）では、新規インデックス画像を左上から右下に向かって、指定されたブロックサイズごとに書き換えていく。インデックスの書き換えでは、入力した参照インデックス画像の中で最上位（量子化誤差が最も小さい）のものを参照しながら、類似ピクセル探索を行なう。探索の方法は第１の実施形態ならびに第２の実施形態と同様であり、評価の方法が異なる。本実施形態における類似ピクセル探索では、量子化誤差の異なる２つ以上の参照インデックス画像の階層性を利用して評価を行なう。ピクセルの類似性評価の具体例を図１９に示す。書き換えるブロックの近傍ブロック（Ｌ字型もしくは方形）と、参照インデックス画像もしくは目標インデックス画像中の同じ形状のブロックとの類似性を評価するために、上位階層の参照インデックス画像もしくは目標インデックス画像から順に参照していく。比較している２つのブロック中のあるピクセルのインデックスが、ある階層で初めて一致した場合、その階層の量子化誤差を、そのピクセルにおける近似的な誤差であるとする。このような近似的な誤差をブロック中の全ピクセルに対して求め、ブロックの類似性を評価する。各スキャンにおける新規インデックス画像の合成が終了した後、その新規インデックス画像を出力する（１８０６）。
【００６９】
以上説明した本発明の実施形態によれば、視点方向または光源方向などの条件によって変化するテクスチャ画像を用いて、任意サイズの新規テクスチャ画像を合成することができる。第１の実施形態で述べた装置によれば、参照テクスチャ画像の特性をそのまま再現したものを合成することができ、第２の実施形態で述べた装置によれば、目標テクスチャ画像に近い柄や模様を保持しつつ、かつ参照テクスチャ画像の特性を再現したような新規テクスチャ画像を合成することができる。また第３の実施形態で述べた装置によれば、高次元ピクセルデータを用いた計算を可能な限り省くことができ、データ量や計算時間において効率的であり、しかも合成の精度を維持することができる。また、上述した高次元テクスチャのデータ構造によれば、高次元のテクスチャ画像データを効率よく保持することができ、効率的なテクスチャマッピングを実現することができる。
【００７０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７１】
例えば、複数の異なる条件で取得あるいは作成した１つ以上の画像、映像、音声などのマルチメディアデータを利用し、それぞれの条件に対応した任意サイズあるいは任意時間長のマルチメディアデータを合成する装置に本発明を適用することもできる。この高次元マルチメディアデータ合成装置は、１つ以上のマルチメディアデータから、同一の位置あるいは同一の時間のデータを取り出してまとめ、高次元マルチメディアデータを生成する高次元マルチメディアデータ生成部と、高次元マルチメディアデータを、１つ以上の量子化レベルで量子化する高次元マルチメディアデータ量子化部と、量子化レベルに応じた高次元マルチメディアデータの階層性を利用して、量子化インデックスの空間的あるいは時間的な配列を、任意サイズあるいは任意時間長の配列に合成するインデックス合成部と、インデックス合成部で合成された新規インデックスデータと、高次元マルチメディアデータ量子化部で生成されたコードブックとを合わせて、新規高次元マルチメディアデータを生成する新規高次元マルチメディアデータ生成部と、を備える。
【００７２】
【発明の効果】
本発明によれば、視点方向および光源方向に応じて変化する物体表面の光学的特性をリアルに表現することのできる任意サイズのテクスチャ画像を大量のテクスチャ画像データから効率的に合成することのできる高次元テクスチャ合成装置、方法、およびプログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る高次元テクスチャ合成装置の構成図
【図２】第１の実施形態の変形例に係る高次元テクスチャ合成装置の構成図
【図３】第１の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図
【図４】参照高次元テクスチャおよび目標高次元テクスチャ生成のフローチャート
【図５】様々な条件（視点／光源）におけるテクスチャ画像の取得方法を説明するための図
【図６】高次元テクスチャのデータ構造の一例を示す図
【図７】複数の参照テクスチャ画像からの、同一ピクセルの色情報の抽出を説明するための図
【図８】高次元ピクセルデータの形式を示す図
【図９】参照高次元テクスチャ量子化のフローチャート
【図１０】階層化された高次元テクスチャの構成を示す図
【図１１】インデックス画像合成のフローチャート
【図１２】類似ピクセル探索を説明するための図
【図１３】階層ｈにおける類似ピクセル探索を説明するための図
【図１４】本発明の第２の実施形態に係る高次元テクスチャ合成装置の構成図
【図１５】第２の実施形態の変形例に係る高次元テクスチャ合成装置の構成図
【図１６】第２の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図
【図１７】階層ｈにおける類似ピクセル探索を説明するための図
【図１８】本発明の第３の実施形態に係るインデックス画像合成のフローチャート
【図１９】ピクセルの類似性評価を説明するための図
【符号の説明】
１０１…参照高次元テクスチャ、１０２…参照高次元テクスチャ量子化部、１０３…インデックス画像合成部、１０４…新規高次元テクスチャ生成部、１０５…新規テクスチャ画像変換部[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to an image composition technique suitable for high-quality texture mapping in the field of three-dimensional computer graphics, and has an arbitrary size according to these conditions from a large number of texture images that change according to conditions such as a viewpoint direction and a light source direction. The present invention relates to an apparatus, a method, and a program for synthesizing texture images. The present invention also relates to a data structure for efficiently storing and managing a large number of texture images in various recording media.
[0002]
[Prior art]
The appearance of the three-dimensional object, that is, the shape of the three-dimensional object and the color and texture of the surface change depending on the direction in which the three-dimensional object is viewed (viewpoint direction) and the direction in which light is irradiated (light source direction). In the field of 3D computer graphics, the surface of a 3D object is divided into a number of 2D plane units called polygons, and each polygon is drawn to generate a 2D image, which is displayed as a 3D object display image. It is said.
[0003]
The appearance of the 3D object when the viewpoint direction and the light source direction change is expressed by changing the orientation of the display polygon (3D posture) and the optical characteristics (luminance, etc.) of the polygon together with the viewpoint direction and the light source direction. be able to. However, conventionally, in order to calculate the relationship between the normal that defines the orientation (three-dimensional orientation) of the polygon, which is the unit of rendering, and the viewpoint direction or the light source direction, a vector operation with floating point precision is essential. From the viewpoint of either hardware or software, the calculation cost is high and practical application is difficult. Therefore, the color inside the polygon can be colored by monotonic linear interpolation based on the drawing method called flat shading that uniformly fills the inside of the polygon with the color set for each vertex constituting the polygon, or the color set for each vertex constituting the polygon. A drawing technique called smooth shading is sometimes used.
[0004]
For example, a technique called texture mapping is used in response to a request to express details inside a polygon such as a pattern or a pattern. Texture mapping is an image processing technique that arranges (maps) an image (texture image) on which a pattern or pattern is expressed on a polygon surface. Some of the texture mapping that has been done so far, such as controlling the orientation of the texture image by defining the corresponding image coordinates in the texture image in units of vertices that make up the polygon, and using a live-action image for the texture image These improvements enabled higher quality rendering. However, even with such improvements, the texture mapping cannot express the optical characteristics of the object surface that should change according to the viewpoint direction or the light source direction. This is because a single texture image is pasted regardless of the three-dimensional posture of the polygon.
[0005]
In order to express the optical characteristics of the object surface, several improved methods have been proposed in the past. However, as described below, each of these improved methods has its own problems.
[0006]
(1) There is a method of changing optical characteristics by artificially changing the normal detail of the object surface. There is a technique called bump mapping for this, but there is a problem that the calculation cost is high because three-dimensional vector calculation such as normal fluctuation calculation is necessary.
[0007]
(2) In general, a texture component on the polygon surface expressed in accordance with the line-of-sight direction and the light source direction is called BTF (Bi-directional Texture Function) (see Non-Patent Document 1 below). However, there are no examples of sampling of images while changing all four variables representing the viewpoint direction and the light source direction in the BTF data, and a subset in which two or three variables are changed is handled. (See Non-Patent Document 2 below).
[0008]
(3) A technique called PTM (Polynomial Texture Mapping) has been proposed as a technique for approximating the luminance change depending on the light source direction and the viewpoint direction with a function (see Patent Document 1 below). In PTM, the luminance change for each pixel is approximated by a quadratic function of a two-dimensional light source direction parameter, converted into a texture having the function coefficient (six), and stored. At the time of drawing, the function coefficient of the drawing target pixel is extracted from the function coefficient texture. Then, light source-dependent texel color information is obtained by a product-sum operation of the extracted function coefficient and the light source direction parameter. In recent graphics hardware, a function (pixel shader) for performing shading by using an arithmetic unit on hardware in a programmable manner is implemented. Therefore, it has become possible to execute operations such as PTM at high speed. However, when the luminance change including the viewpoint direction is functionalized, higher order functionalization is required. As a result, it is expected that not only the function coefficient increases but also the time required for function approximation increases, and it is theoretically difficult to generate a texture that depends on both the viewpoint direction and the light source direction.
[0009]
(4) On the other hand, as a method of generating an image according to the viewpoint direction, an image base represented by Light Field Rendering (see Patent Literature 2 and Non-Patent Literature 3 below) and Lumigraph (see Non-Patent Literature 4 below) There is a rendering method. In the image-based rendering method, an image viewed from a new viewpoint is generated by sampling from discretely set multiple viewpoint images. However, in order to increase the viewpoint flexibility and image quality, it is necessary to prepare a large number of multiple viewpoint images, and there is a problem that the amount of data becomes enormous.
[0010]
In the conventional texture mapping, when the size of the texture image is small with respect to the size of the surface of the three-dimensional object, the mapping is performed while repeatedly arranging the texture image. However, with this method, the pattern or pattern of the texture image appears as a monotonous repetitive pattern, or the boundary line becomes noticeable. This gives the observer an unnatural impression.
[0011]
Therefore, in recent years, a method of synthesizing a texture image of an arbitrary size from a small texture image has been proposed (see Non-Patent Document 5 and Non-Patent Document 6 below). This is to scan a texture image of an arbitrary size while referring to the original small texture image and synthesize a texture image close to the original image. As an application, a target texture image is prepared in addition to the small texture image being referenced, and the target texture image has a pattern or pattern and is used as a material for the small texture image being referenced. A method for synthesizing close images has also been proposed.
[0012]
However, such a conventional texture image synthesis technique simply synthesizes a single texture image, and cannot handle a large number of texture images for multiple viewpoints / multiple light sources in a lump.
[0013]
[Patent Document 1]
US Pat. No. 6,297,834
[0014]
[Patent Document 2]
US Pat. No. 6,097,394
[0015]
[Non-Patent Document 1]
Dana, et.al, "Reflectance and Texture of Real World Surfaces", ACM Transaction on Graphics, 18 (1): 1-34,1999.
[0016]
[Non-Patent Document 2]
Chen, et.al, "Light Field Mapping Efficient Representation and Hardware Rendering of Surface Light Fields", Proceedings SIGGRAPH 2002, pp.447-456.
[0017]
[Non-Patent Document 3]
Levoy, et.al, "Light Field Rendering", Proceedings SIGGRAPH 1996, pp.31-42.
[0018]
[Non-Patent Document 4]
Gortler, et.al, "The Lumigraph", Proceedings SIGGRAPH 1996, pp.43-54.
[0019]
[Non-Patent Document 5]
Li-Yi Wei, Marc Levoy, "Fast Texture Synthesis Using Tree-structured Vector Quantization", Proceedings SIGGRAPH 2000, pp.479-488.
[0020]
[Non-Patent Document 6]
Michael Ashikhmin, "Synthesizing Natural Textures", 2001 ACM Symposium on Interactive 3D Graphics, pp.217-226.
[0021]
[Problems to be solved by the invention]
As described above, when the optical characteristics of the object surface that change according to the viewpoint direction and the light source direction are expressed by texture, a large amount of texture images with different viewpoint directions and light source directions are required, and the amount of calculation is also large. Will also be enormous. A practical system that solves such a problem has not been provided so far. In addition, since there is no texture synthesis method that handles a large number of texture images at once, when the texture image of any size is changed according to the viewpoint direction and the light source direction, the optical characteristics of the object surface can be expressed realistically. I can't.
[0022]
In view of the above, an object of the present invention is to efficiently synthesize a texture image of an arbitrary size capable of realistically expressing optical characteristics of an object surface that changes in accordance with a viewpoint direction and a light source direction from a large amount of texture image data. And It is another object of the present invention to provide a data structure of a high-dimensional texture that enables efficient calculation in texture mapping.
[0023]
[Means for Solving the Problems]
A high-dimensional texture synthesis device according to an aspect of the present invention uses one or more texture images acquired or created under a plurality of different conditions, and generates texture images of an arbitrary size corresponding to each of the plurality of different conditions. A high-dimensional texture synthesis apparatus that synthesizes a new high-dimensional texture to be generated. The apparatus inputs the one or more texture images as a reference texture image, extracts color information of the same pixel, summarizes the reference high-dimensional texture generation means for generating a reference high-dimensional texture, and the reference high-dimensional texture. Reference high-dimensional texture quantization means for quantizing at one or more quantization levels and generating a codebook, and an index of the reference texture image according to the hierarchy of the reference high-dimensional texture corresponding to the quantization level An index image synthesis unit that synthesizes a new index image having an arbitrary image size from a reference index image that has been imaged, a new index image synthesized by the index image synthesis unit, and a reference high-dimensional texture quantization unit Combine with the generated codebook Comprising Align Te, and new high-order texture generation means for generating a new high-dimensional texture, the.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0025]
(First embodiment)
FIG. 1 is a configuration diagram of a high-dimensional texture synthesis apparatus according to the first embodiment of the present invention. First, a schematic configuration will be described. This apparatus inputs one or more reference texture images acquired or created under a plurality of different conditions, extracts color information of the same pixels, summarizes them, and generates a reference high-dimensional texture 101. And a reference high-dimensional texture quantization unit 102 that vector-quantizes the generated reference high-dimensional texture according to one or more quantization levels and generates a codebook. Details of the method for generating the reference high-dimensional texture, the data structure of the high-dimensional texture, and the vector quantization method will be described later.
[0026]
In addition, an index image synthesis unit 103 that receives a quantized reference high-dimensional texture and synthesizes a new index image of an arbitrary size by repeating similar pixel search based on the quantized reference high-dimensional texture is provided. Details of the new index image synthesis method will be described later.
[0027]
Further, a new index image generated by the index image synthesis unit 103 and the code book generated by the reference high-dimensional texture quantization unit 102 are combined to generate a new high-dimensional texture according to the data structure of the high-dimensional texture. A high-dimensional texture generation unit 104 and a new texture image conversion unit 105 that inputs a new high-dimensional texture and outputs a texture image corresponding to a specific acquisition condition or creation condition.
[0028]
FIG. 2 is a configuration diagram of a high-dimensional texture synthesis device according to a modification of the first embodiment. This apparatus has a configuration in which the new texture image conversion unit 105 is removed from the apparatus of FIG. This apparatus outputs a new texture image based on the new high-dimensional texture output from the new high-dimensional texture generation unit 104, and can perform efficient texture mapping to an arbitrary three-dimensional object.
[0029]
FIG. 3 is a diagram showing a series of processing realized by the high-dimensional texture synthesis device according to the first embodiment. Hereinafter, each of the series of processes will be described in detail.
[0030]
FIG. 4 is a flowchart of reference high-dimensional texture generation (301) in the reference high-dimensional texture generation unit 101. First, one or more reference texture images acquired or created under a plurality of different conditions are input (401). In the present embodiment, live-action images acquired at a plurality of camera positions (hereinafter referred to as viewpoints) and light source positions are used. Here, as described above, the object is to realistically express the optical characteristics of the object surface that change according to the viewpoint direction or the light source direction.
[0031]
FIG. 5 is a diagram for explaining a texture image acquisition method under various conditions (viewpoint / light source). A spherical polar coordinate system in which the normal vector of the imaging object surface is used as an axis and the imaging object surface is the equator plane (plane passing through the equator) will be considered. In this coordinate system, when the polar angle θ and the azimuth angle φ are used, the multi-viewpoint / multi-light source texture image prepared in advance as input data is the view direction (θ _E , Φ _E ), Light source direction (θ _I , Φ _I ) 4 parameters. Therefore, in this embodiment, a texture image acquired from a specific viewpoint / light source is represented by T (θ _E , Φ _E , Θ _I , Φ _I ). In the present embodiment, the sample in the viewpoint direction is θ _E W on the shaft, φ _E X samples on the axis of _I Y on the axis, φ _I Z on the axis. Therefore, (W × X) × (Y × Z) texture images acquired by all combinations of the W × X viewpoint and the Y × Z light source are input as reference texture images.
[0032]
The process (402) and subsequent steps in FIG. 4 includes an iterative process for generating a reference high-dimensional texture. An example of the data structure of the high-dimensional texture is shown in FIG. The high-dimensional texture is composed of a code book and an index image. The code book is composed of a collection of data called high-dimensional pixel data (described later), and the index image is composed of a collection of index information for designating high-dimensional pixel data in the code book. In the present embodiment, an index image and a code book are created for each of the R component / G component / B component color components. A high-dimensional texture that handles all of the RGB components at once, a high-dimensional texture in which the luminance component and the color component are separated, and the like can be created in the same manner. The high-dimensional pixel data is a collection of color information in a certain pixel, and the high-dimensional pixel data of R component / G component / B component is R (l), G (m), and B (n), respectively. . These are high-dimensional pixel data corresponding to indexes l, m, and n, respectively. The codebook sizes of the R component / G component / B component shown in FIG. 5 are L, M, and N, respectively. The larger the codebook size, the more diverse the high-dimensional pixel data.
[0033]
The reference high-dimensional texture is generated by the following procedure. A pixel (i, j) in the reference texture image is noticed (402), and color information of the pixel (i, j) of interest is extracted from all the reference texture images (403).
[0034]
FIG. 7 is a diagram for explaining extraction of color information of the same pixel from a plurality of reference texture images. Color components of the same pixel are extracted from the (W × X) × (Y × Z) reference texture images, and are combined into one data according to a predetermined format to generate high-dimensional pixel data (404). ). Next, the generated high-dimensional pixel data is registered in the code book, and an index is assigned to the pixel of interest (i, j) (405). The above processing is performed for all the pixels (406), and the processing for generating the reference high-dimensional texture is completed.
[0035]
FIG. 8 is a diagram for explaining the format of high-dimensional pixel data in the present embodiment. This is the horizontal axis φ _I , Vertical axis θ _I Block the light source-dependent pixel data at a specific viewpoint arranged as _E , Vertical axis φ _E Are arranged for each viewpoint. When all the reference texture images are U × V pixels, the input / output of the reference high-dimensional texture generation unit 101 is as follows.
[0036]
[Table 1]

[0037]
FIG. 9 is a flowchart of the reference high-dimensional texture quantization (302) in the reference high-dimensional texture quantization unit 102. First, the reference high-dimensional texture is input, and the R component / G component / B component is divided separately (901). Next, the reference high-dimensional texture of any one of the R component / G component / B component is input (902), and the quantization process is started. A parameter such as a quantization level q is prepared and incremented from an initial value 0 (903, 907). At the quantization level, the code book size is designated, and the code book size is increased as the value of q increases. The quantization process ends at the quantization level at which the codebook size is equal to the number of pixels of the reference texture image (906). An example of the quantization level setting method when the size of the reference texture image is 32 × 32 pixels is shown below.
[0038]
[Table 2]

[0039]
The quantization processing at each quantization level may use generally well-known vector quantization (Vector Quantization: VQ). However, in this embodiment, an improved system suitable for this apparatus is used. That is, full search vector quantization (FSVQ) to which processing for fixing a cluster with zero error is added, or tree structure vector quantization (Tree Structured Vector Quantization: TSVQ) that outputs a codebook of a tree structure. is there. In the former method, a cluster with zero error is fixed as preprocessing, and this is not included in the subsequent cluster division targets. According to this method, the target quantization level can be reached in a relatively short time while performing a full search. On the other hand, the latter method divides clusters so as to form a tree structure. By this method, the quantization accuracy is lower than that of the above method, but the quantization can be performed in a short time. In addition, when quantization is performed by TSVQ, an index image composition unit described later has a great effect on processing time.
[0040]
After the quantization, the reference high-dimensional texture at each quantization level, that is, the index image and the code book are output (905). The above processing is performed on the R component / G component / B component (908), and the reference high-dimensional texture quantization processing is terminated.
[0041]
FIG. 10 shows the configuration of the quantized reference high-dimensional texture output from the reference high-dimensional texture quantization unit 102. The R component / G component / B component separately holds a reference high-dimensional texture for each quantization level. The larger q is, the larger the codebook size, and the reference high-dimensional texture is expressed hierarchically.
[0042]
FIG. 11 is a flowchart of index image composition (303) in the index image composition unit 103. First, parameters are input (1101). This parameter includes reference texture image size, number of reference texture images (size of high-dimensional pixel data), reference high-dimensional texture name (input file name), new texture image size, new high-dimensional texture name (output file name), hierarchy Number H, quantization level (R component / G component / B component) in each layer, number of scans Sh in each layer, rewrite block size in each scan, and neighboring block size in each scan.
[0043]
Next, the hierarchy number h is initialized (h = 0), and index image composition processing is performed for each hierarchy until the hierarchy number becomes H-1 (1102, 1111, 1112). In each layer, the reference high-dimensional texture of the quantization level specified by the parameter is input (1103). The quantization level in each hierarchy is specified separately for each R component / G component / B component, and the specified quantization level is increased as the hierarchy number is increased.
[0044]
Next, the similarity of the high-dimensional pixel data existing in the input reference high-dimensional texture is calculated (1104). This process includes a process of calculating an evaluation value used when performing a similar pixel search described later. Pay attention to the index image of the input reference high-dimensional texture, and use the SAD (Sum of Absolute Difference), correlation value, or inner product as the evaluation value for the similarity between the high-dimensional pixel data indicated by the index for all combinations of pixels. Evaluate by using. Note that when the above-described quantization by TSVQ is performed by the reference high-dimensional texture quantization unit 102, the similarity can be evaluated by simply tracing the codebook that forms the tree structure. No.
[0045]
Next, a noise image in which an index existing in the reference index image is randomly assigned is generated as an initial image of the new index image (1105).
[0046]
Next, the scan number s is initialized (s = 0), and the index is rewritten by a similar pixel search to be described later (1106, 1109, while repeatedly scanning a new index image until the scan number becomes Sh−1. 1110).
[0047]
In the synthesis of the new index image in each scan (1107), the new index image is rewritten for each designated block size from the upper left to the lower right. A similar pixel search is used for rewriting the index. The similar pixel search is to find a block having the highest similarity among the blocks having the same shape existing in the reference index image by using the neighboring blocks of the block to be rewritten.
[0048]
Although all blocks of the same shape existing in the reference index image may be evaluated, candidates may be listed from the beginning. There is also a method in which a block corresponding to a position referred to by each pixel of a neighboring block is selected as a candidate. If the number of pixels in the neighboring block is 20, there are at most 20 candidates, and an efficient search can be performed.
[0049]
In the similar pixel search, not only the data of the current hierarchy h but also the data of the previous hierarchy h-1 are used. By using the previous layer, the processing in the previous layer can be reflected, and the accuracy is improved.
[0050]
FIG. 12 is a diagram for explaining how to select a block in the similar pixel search. In the similar pixel search, either an L-shaped search (FIG. 12A) or a rectangular search (FIG. 12B) is performed. In the case of FIG. 12, the size of the rewrite block 120 is 3 × 3 pixels, and the size of the neighboring block 121 is 7 × 7 pixels. In addition, in the rectangular search, the search is performed using all of the 7 × 7 pixel neighboring blocks, whereas in the L-shaped search, the blocks of the 7 × 7 pixel neighboring blocks that have already been rewritten. Search using. In the rectangular search of this embodiment, a block 122 composed of both a rewritten block and a non-rewritten block is used.
[0051]
FIG. 13 is a diagram for explaining similar pixel search in the hierarchy h. When h = 0, an L-shaped search at layer 0 is performed, and evaluation is performed based only on the similarity. When h is not 0, an L-shaped search in the hierarchy h and a rectangular search in the hierarchy h-1 are performed, and the evaluation is performed based on the sum of the similarities.
[0052]
In the above processing, the rewrite block size and the neighboring block size can be arbitrarily changed for each hierarchy or for each scan. As for the rewrite block size, if it is enlarged in the lower layer, the rough texture feature can be captured, and if it is reduced in the upper layer, the detailed texture feature can be captured. The neighborhood block size that greatly affects the calculation time is preferably as small as possible. After the synthesis of the new index image is completed by all the scans for all the layers, the new index image is output (1108).
[0053]
Next, new high-dimensional texture generation (304) in the new high-dimensional texture generation unit 104 will be described. In the new high-dimensional texture generation unit 104, first, a new index image output from the index image synthesis unit 103 and codebooks with various quantization levels output from the reference high-dimensional texture quantization unit 102 are input. Next, a new high-dimensional texture is generated by combining a new index image synthesized at an arbitrary hierarchy and a codebook at an arbitrary quantization level. However, if the quantization levels of the new index image and the code book are the same, they are only combined. If they do not match, it is necessary to rewrite the new index image according to the quantization level of the code book. is there. At the time of rewriting, by checking which pixel of the reference index image is referenced, it is associated with the index at another quantization level.
[0054]
By outputting new high-dimensional textures with various quantization levels to the new high-dimensional texture generation unit 104, various kinds of images can be obtained, from clear new texture images with clear details to rough new texture images that reproduce only rough patterns. A simple texture image can be generated.
[0055]
Next, new texture image generation (305) in the new texture image conversion unit 105 will be described. In the new texture image conversion unit 105, first, a new high-dimensional texture is input, and the viewpoint / light source condition of the new texture image to be generated is given. Next, the code book is referenced from the index in the index image for each pixel, color information of the specified viewpoint / light source condition is extracted, and a new texture image is drawn. After drawing all the pixels, output a new texture image.
[0056]
The output new texture image can be applied to texture mapping onto a three-dimensional object. The relationship between the normal of each polygon of the three-dimensional object, the viewpoint direction, and the light source direction may be calculated, and the new texture image closest to the corresponding viewpoint / light source may be mapped. A more realistic image can also be generated by interpolating using a plurality of new texture images. However, since pixels are drawn in units of polygons, it is not always necessary to generate a new texture image, and drawing can be performed while extracting pixel color information from the new high-dimensional texture. By performing texture mapping using the new high-dimensional texture, the memory can be effectively used.
[0057]
(Second Embodiment)
FIG. 14 is a configuration diagram of a high-dimensional texture synthesis apparatus according to the second embodiment of the present invention. First, a schematic configuration will be described. This apparatus is obtained by adding processing that uses a target texture to the apparatus shown in the first embodiment. The reference high-dimensional texture generation unit 1401 is the same as the reference high-dimensional texture generation unit 101 shown in the first embodiment. The reference high-dimensional texture quantization unit 1403 is obtained by adding a codebook output process to the target index image generation unit 1404 to the reference high-dimensional texture quantization unit 102 described in the first embodiment. The index image composition unit 1405 has the same configuration as that of the index image composition unit 103 shown in the first embodiment, but is modified to use the target index image in the similar pixel search. The new high-dimensional texture generation unit 1406 and the new texture image conversion unit 1407 have the same configurations as the new high-dimensional texture generation unit 104 and the new texture image conversion unit 105 described in the first embodiment, respectively. In the present embodiment, the presence of the target high-dimensional texture generation unit 1402 and the target index image generation unit 1404 is a part that is greatly different from the first embodiment. The target high-dimensional texture generation unit 1402 generates a target high-dimensional texture from one or more target texture images, similarly to the reference high-dimensional texture generation unit 1401. In addition, the target index image generation unit 1404 generates a target index image so as to correspond to the codebook output from the reference high-dimensional texture quantization unit 1403.
[0058]
FIG. 15 is a configuration diagram of a high-dimensional texture synthesis device according to a modification of the second embodiment. This apparatus has a configuration in which the new texture image conversion unit 1407 is removed from the apparatus of FIG. 14, and is used for the same application as the high-dimensional texture synthesis apparatus shown in FIG. 2 of the first embodiment. That is, a new texture image is output as a final output image.
[0059]
FIG. 16 is a diagram showing a series of processing realized by the high-dimensional texture synthesis apparatus of the second embodiment shown in FIG. Hereinafter, this series of processes will be described focusing on the differences from the first embodiment. In the present embodiment, one or more target texture images acquired or created under a plurality of different conditions are input to the target high-dimensional texture generation unit 1402. The size of the target texture image is assumed to be equal to the requested new texture image size.
[0060]
The target high-dimensional texture generation unit 1402 generates a target high-dimensional texture according to the same flowchart as that shown in FIG. However, the format of the high-dimensional pixel data is the same as that of the reference high-dimensional texture generation unit 1401, and the target at each viewpoint / light source position is set in each portion of the high-dimensional pixel data corresponding to the viewpoint / light source position. Write the color information of the target texture image. Data is not written at a viewpoint / light source position without a target.
[0061]
In the target index image generation unit 1404, first, the target high-dimensional texture and the codebook generated by the reference high-dimensional texture quantization unit 1403 are input. Next, the target high-dimensional texture codebook is replaced with the reference high-dimensional texture codebook, and the index is rewritten. When rewriting the index, the high-dimensional pixel data generated by the target high-dimensional texture generator 1402 is compared with the high-dimensional pixel data in the codebook, and the index corresponding to the most similar high-dimensional pixel data is obtained. assign. However, in the similarity evaluation, the viewpoint / light source position with no target is not included in the comparison target, and the evaluation is performed by SAD (Sum of Absolute Difference), correlation value, or inner product. The above processing is performed on a plurality of codebooks corresponding to the quantization level input from the reference high-dimensional texture quantization unit 1403, and a target index image corresponding to each quantization level is output.
[0062]
In the index image synthesis unit 1405, in addition to the same processing as the index image synthesis unit 103 shown in the first embodiment, processing for inputting a target index image and similar pixel search processing using the target index image are performed. .
[0063]
FIG. 17 is a diagram for explaining similar pixel search in the hierarchy h. A target index image having a quantization level in the hierarchy h is used. Here, when h = 0, a rectangular search is performed at level 0, and evaluation is performed based only on the similarity. When h is not 0, a rectangular search at the hierarchy h and a rectangular search at the hierarchy h-1 are performed, and the evaluation is performed based on the sum of the similarities. In the hierarchy h, a square search as shown in FIG. Among the square blocks, the new index image block is used for the rewritten block 1221, and the target index image is used for the non-rewritten block 1222. In the hierarchy h-1, a rectangular search as shown in FIG. The other part processing method is the same as that described in the first embodiment.
[0064]
(Third embodiment)
In this embodiment, the index image composition unit in the first embodiment and the second embodiment is changed. First, a schematic configuration will be described. The high-dimensional texture synthesizing apparatus of the present embodiment has substantially the same configuration as the apparatus of FIG. 1 described in the first embodiment or the apparatus of FIG. 14 described in the second embodiment. The other components except for have the same functions as those in the first embodiment or the second embodiment. FIG. 18 is a flowchart of index image composition in the index image composition unit. In the index image composition unit according to the present embodiment, parameters are first input (1801). Since this apparatus does not scan for each layer, it is only necessary to set one scan count S. Other parameters are the same as those in the first embodiment or the second embodiment.
[0065]
Next, reference index images and quantization errors of all layers are input (1802). In this apparatus, in order to synthesize one new index image, two or more reference index images having different quantization errors are used. Further, in order to perform approximate similarity evaluation, the quantization error of each layer is used. If the target index image exists, the target index image is also input.
[0066]
Next, an initial image of a new index image is generated (1803). This is a noise image similar to that in the first embodiment or the second embodiment.
[0067]
Next, the scan number s is initialized (s = 0), and the index is rewritten by a similar pixel search to be described later (1804, 1808) while repeatedly scanning the new index image until the scan number reaches S-1. , 1808).
[0068]
In the synthesis of the new index image in each scan (1805), the new index image is rewritten for each designated block size from the upper left to the lower right. In the index rewriting, a similar pixel search is performed while referring to the highest-order (smallest quantization error) among the input reference index images. The search method is the same as in the first embodiment and the second embodiment, and the evaluation method is different. In the similar pixel search in the present embodiment, evaluation is performed using the hierarchical nature of two or more reference index images having different quantization errors. A specific example of pixel similarity evaluation is shown in FIG. In order to evaluate the similarity between the neighboring block (L-shaped or rectangular) of the block to be rewritten and the block of the same shape in the reference index image or the target index image, reference is made in order from the reference index image or target index image in the upper hierarchy. I will do it. If the index of a pixel in the two blocks being compared matches for the first time in a hierarchy, the quantization error in that hierarchy is assumed to be an approximate error in that pixel. Such approximate errors are obtained for all the pixels in the block, and the similarity of the blocks is evaluated. After the synthesis of the new index image in each scan is completed, the new index image is output (1806).
[0069]
According to the embodiment of the present invention described above, a new texture image of an arbitrary size can be synthesized using a texture image that changes depending on conditions such as a viewpoint direction or a light source direction. According to the apparatus described in the first embodiment, it is possible to synthesize a reference texture image that is directly reproduced. According to the apparatus described in the second embodiment, a pattern close to the target texture image can be obtained. A new texture image that retains the pattern and reproduces the characteristics of the reference texture image can be synthesized. In addition, according to the apparatus described in the third embodiment, calculation using high-dimensional pixel data can be omitted as much as possible, the data amount and calculation time are efficient, and the synthesis accuracy is maintained. Can do. Moreover, according to the data structure of the high-dimensional texture mentioned above, high-dimensional texture image data can be hold | maintained efficiently and efficient texture mapping can be implement | achieved.
[0070]
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
[0071]
For example, an apparatus that uses one or more multimedia data such as images, video, and audio acquired or created under a plurality of different conditions and synthesizes multimedia data of an arbitrary size or an arbitrary time length corresponding to each condition. The present invention can also be applied. The high-dimensional multimedia data synthesizer takes out data at the same position or the same time from one or more pieces of multimedia data, and generates a high-dimensional multimedia data. A high-dimensional multimedia data quantization unit that quantizes high-dimensional multimedia data at one or more quantization levels and a hierarchy index of high-dimensional multimedia data according to the quantization level Generated by the index synthesizer that synthesizes the spatial or temporal array of s into an array of arbitrary size or length, new index data synthesized by the index synthesizer, and high-dimensional multimedia data quantization unit New higher order to generate new high-dimensional multimedia data together with codebook Comprising a multimedia data generation unit.
[0072]
【The invention's effect】
According to the present invention, it is possible to efficiently synthesize a texture image of any size capable of realistically expressing the optical characteristics of the object surface that changes according to the viewpoint direction and the light source direction from a large amount of texture image data. A high-dimensional texture synthesis apparatus, method, and program can be provided.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a high-dimensional texture synthesis apparatus according to a first embodiment of the present invention.
FIG. 2 is a configuration diagram of a high-dimensional texture synthesis device according to a modification of the first embodiment.
FIG. 3 is a diagram showing a series of processing realized by the high-dimensional texture synthesis device according to the first embodiment.
FIG. 4 is a flowchart for generating a reference high-dimensional texture and a target high-dimensional texture.
FIG. 5 is a diagram for explaining a method of acquiring a texture image under various conditions (viewpoint / light source).
FIG. 6 is a diagram showing an example of a data structure of a high-dimensional texture
FIG. 7 is a diagram for explaining extraction of color information of the same pixel from a plurality of reference texture images;
FIG. 8 is a diagram showing a format of high-dimensional pixel data
FIG. 9 is a flowchart of reference high-dimensional texture quantization.
FIG. 10 is a diagram illustrating a configuration of a hierarchized high-dimensional texture.
FIG. 11 is a flowchart of index image composition.
FIG. 12 is a diagram for explaining similar pixel search;
FIG. 13 is a diagram for explaining similar pixel search in a hierarchy h.
FIG. 14 is a configuration diagram of a high-dimensional texture synthesis device according to a second embodiment of the present invention.
FIG. 15 is a configuration diagram of a high-dimensional texture synthesis device according to a modification of the second embodiment.
FIG. 16 is a diagram showing a series of processing realized by the high-dimensional texture synthesis device according to the second embodiment.
FIG. 17 is a diagram for explaining similar pixel search in a hierarchy h.
FIG. 18 is a flowchart of index image composition according to the third embodiment of the present invention.
FIG. 19 is a diagram for explaining pixel similarity evaluation;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 ... Reference high-dimensional texture, 102 ... Reference high-dimensional texture quantization part, 103 ... Index image synthetic | combination part, 104 ... New high-dimensional texture production | generation part, 105 ... New texture image conversion part

Claims

A high-dimensional texture that uses one or more texture images acquired or created under a plurality of different conditions and synthesizes a new high-dimensional texture for generating a texture image of an arbitrary size corresponding to each of the plurality of different conditions A synthesizer,
A reference high-dimensional texture generation means for inputting the one or more texture images as a reference texture image, extracting and collecting color information of the same pixel, and generating a reference high-dimensional texture;
Reference high-dimensional texture quantization means for quantizing the reference high-dimensional texture at one or more quantization levels and generating a codebook;
Index image synthesizing means for synthesizing a new index image having an arbitrary image size from a reference index image obtained by imaging the index of the reference texture image according to the hierarchy of the reference high-dimensional texture corresponding to the quantization level; ,
A new high-dimensional texture generating unit that generates a new high-dimensional texture by combining the new index image synthesized by the index image synthesizing unit and the code book generated by the reference high-dimensional texture quantization unit;
A high-dimensional texture synthesis apparatus comprising:

The reference high-dimensional texture generation means extracts color information of the same pixel from all the input reference texture images, arranges the color information for each acquisition condition or creation condition, generates high-dimensional pixel data, and generates 2. The reference index image is generated by registering the high-dimensional pixel data in the code book, using the address of the code book as pixel index information, and collectively indexing the index information of each pixel. High-dimensional texture synthesizer.

The reference high-dimensional texture quantization means performs vector quantization (VQ) on the reference high-dimensional texture according to one or more quantization levels determined depending on the size of the codebook. The high-dimensional texture synthesis apparatus according to claim 1, wherein a high-dimensional texture is output for each level.

The vector quantization is full search vector quantization (FSVQ), and when there is a cluster with zero error at a certain quantization level, clustering other than the cluster is performed after the clustering. The high-dimensional texture synthesis apparatus according to claim 3, wherein the cluster is fixed so as to use the cluster.

4. The high-dimensional texture synthesizer according to claim 3, wherein the vector quantization is tree structured vector quantization (TSVQ) and searches for similarity of high-dimensional pixel data according to a tree structure constituting a codebook. .

The index image synthesizing unit receives a reference high-dimensional texture at a certain quantization level, generates the new index image, and randomly selects an index included in the reference index image as an initial image of the new index image. Perform similar pixel search of arbitrary search size while scanning new index image using image, rewrite index for each block of arbitrary size, and rewrite in neighboring blocks of block to rewrite index in similar pixel search The optimal index is searched by evaluating the similarity between the block and the block having the same shape in the reference index. When the scan and the index are rewritten any number of times, High dimensional texture synthesis apparatus according to claim 1, wherein the changing for each scan the size of the click of the size and the neighboring blocks.

The index image synthesizing unit receives a reference high-dimensional texture at two or more arbitrary quantization levels from the reference high-dimensional texture quantization unit, and uses a hierarchy according to the quantization level to generate a new of arbitrary size An index image is generated, positioned as a high-dimensional texture from a lower layer to an upper layer in order from a codebook size that is smaller, and processed in order from a lower-dimensional high-dimensional texture. 2. The high-dimensional texture according to claim 1, wherein a similarity evaluation with a block having a shape is evaluated between a new index image generated in a previous layer and a reference index image to obtain a final evaluation value. Synthesizer.

The index image synthesizing unit receives a reference high-dimensional texture at two or more arbitrary quantization levels from the reference high-dimensional texture quantization unit, and uses a hierarchy according to the quantization level to generate a new of arbitrary size An index image is generated, and a reference index image at a certain quantization level is used. In a similar pixel search, a reference index image in a lower hierarchy than the reference index image is used, and an index of a neighboring block is The high-dimensional texture synthesis apparatus according to claim 1, wherein the quantization error of the first matching hierarchy is an approximate evaluation value.

9. The high value according to claim 6, wherein at least one of SAD (Sum of Absolute Difference), correlation value, and inner product is used as an evaluation value of similarity of high-dimensional pixel data in a similar pixel search for index image synthesis. Dimensional texture synthesis device.

Using the output data of the high-dimensional texture quantization means using the tree structure vector quantization to evaluate the similarity of the high-dimensional pixel data in the similar pixel search of the index image synthesis, the tree tracing for the codebook having the tree structure The high-dimensional texture synthesis apparatus according to claim 6, wherein the index image synthesis in a plurality of hierarchies is evaluated by the same tree structure.

One or more texture images acquired or created under a plurality of different conditions are input as a target texture image, and color information of the same pixel is extracted and collected, and a target high-dimensional texture generation unit that generates a target high-dimensional texture;
Using the code book generated by the reference high-dimensional texture quantization means, further comprising target index image generation means for quantizing the target high-dimensional texture and generating a target index image,
The high-dimensional texture synthesizer according to claim 1, wherein the index image synthesizer uses the target index image.

The target high-dimensional texture generation unit extracts color information of the same pixel from all input target texture images, arranges the color information for each acquisition condition or creation condition, and generates high-dimensional pixel data. The target high-dimensional texture image is generated by registering the high-dimensional pixel data in the code book, setting the address of the code book as pixel index information, and collectively indexing the index information of each pixel. 11. The high-dimensional texture synthesizer according to 11.

The target index image generation means inputs one or more codebooks generated at one or more quantization levels by the reference high-dimensional texture quantization means and the target high-dimensional texture, and at each quantization level Generate the target index image, replace the codebook of the target high-dimensional texture with the codebook input from the reference high-dimensional texture quantization means, and replace the index of each pixel of the target high-dimensional texture with the most similar high-dimensional pixel 12. The high-dimensional texture synthesizing apparatus according to claim 11, wherein the index is changed to a codebook index in which data exists, and the index of all changed pixels is imaged and output as a target index image.

The evaluation value of similarity evaluation of the similar pixel search has the same shape in the reference index and the block of the target index image at the same position as the non-rewritten block among the neighboring blocks of the block whose index is to be rewritten. The high-dimensional texture synthesis apparatus according to claim 11, wherein the evaluation value is a similarity evaluation value with a block.

The index image synthesizing unit receives a reference high-dimensional texture at two or more arbitrary quantization levels from the reference high-dimensional texture quantization unit, and uses a hierarchy according to the quantization level to generate a new of arbitrary size Generate an index image,
In the similar pixel search, the reference index image in the lower layer is used rather than the reference index image used to synthesize the new index image, and the quantization error of the layer in which the index of the neighboring block first matches in the lower layer is approximated The high-dimensional texture synthesizer according to claim 11, wherein the high-dimensional texture synthesizer is a typical evaluation value.

The new high-dimensional texture generation means, when combining a new index image synthesized at an arbitrary quantization level and a code book of an arbitrary quantization level, adjusts the new index according to the quantization level of the code book. The high-dimensional texture synthesis apparatus according to claim 1, wherein the image is rewritten.

The data structure of the new high-dimensional texture comprised from the combination of the new index image synthesize | combined by the said index image synthetic | combination means of Claim 1, and the code book produced | generated by the said reference high-dimensional texture quantization means.

The high-dimensional texture synthesis according to any one of claims 1 to 16, further comprising a new texture image conversion unit that converts the new high-dimensional texture into one or more new texture images corresponding to a specific acquisition condition or creation condition. apparatus.

The new texture image conversion means reads high-dimensional pixel data from the codebook based on an index stored in each pixel of the new index image, and corresponds to the specific acquisition condition or creation condition from the high-dimensional pixel data. The high-dimensional texture synthesis apparatus according to claim 18, wherein color information to be extracted is extracted.

A high-dimensional texture that uses one or more texture images acquired or created under a plurality of different conditions and synthesizes a new high-dimensional texture for generating a texture image of an arbitrary size corresponding to each of the plurality of different conditions A synthesis method comprising:
A reference high-dimensional texture generation step of inputting the one or more texture images as a reference texture image, extracting and collecting color information of the same pixel, and generating a reference high-dimensional texture;
A reference high-dimensional texture quantization step of quantizing the reference high-dimensional texture at one or more quantization levels and generating a codebook;
An index image synthesizing step of synthesizing a new index image having an arbitrary image size from a reference index image obtained by imaging the index of the reference texture image according to the hierarchy of the reference high-dimensional texture corresponding to the quantization level; ,
A new high-dimensional texture generation step for generating a new high-dimensional texture by combining the new index image synthesized in the index image synthesis step and the codebook generated in the reference high-dimensional texture quantization step;
A high-dimensional texture synthesis method comprising:

A high-dimensional texture that uses one or more texture images acquired or created under a plurality of different conditions and synthesizes a new high-dimensional texture for generating a texture image of an arbitrary size corresponding to each of the plurality of different conditions A synthesis program,
On the computer,
A reference high-dimensional texture generation procedure for inputting the one or more texture images as a reference texture image, extracting and collecting color information of the same pixel, and generating a reference high-dimensional texture;
A reference high-dimensional texture quantization procedure for quantizing the reference high-dimensional texture with one or more quantization levels and generating a codebook;
An index image synthesizing procedure for synthesizing a new index image having an arbitrary image size from a reference index image obtained by imaging the index of the reference texture image according to the hierarchy of the reference high-dimensional texture corresponding to the quantization level; ,
A new high-dimensional texture generation procedure for generating a new high-dimensional texture by combining the new index image synthesized in the index image synthesis step and the code book generated in the reference high-dimensional texture quantization step;
High-dimensional texture synthesis program to execute