JP5482394B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、テクスチャーを貼り付けてレンダリングする際に用いられる画像データを処理する画像処理方法および画像処理装置に関する。

従来、この種の画像処理方法としては、リアルタイムで３次元モデルをレンダリングしてディスプレイに表示するものや（例えば、特許文献１参照）、３次元モデルを予めレンダリングしてビットマップ画像を作成して保存しておきディスプレイの表示はビットマップ画像を読み込んで行なうものなどが提案されている。

特開平０７−１５２９２５号公報

前者の手法では、画面の表示周期よりも短い周期でレンダリング処理を行なう必要があるため、高い演算能力が要求される。したがって、用いるコンピューターによっては、演算能力に不足が生じ、レイトレーシングなどの高品質のレンダリングは行なうことができない。一方、後者の手法では、ビットマップ画像を表示するだけであるから、予め高品質のレンダリングを行なってビットマップ画像を作成しておくことにより、高品質の画像を表示することができるものの、現状では後から異なるテクスチャーに差し替えて使用することはできない。また、こうした画像データはサイズも大きく、搭載するメモリの容量によっては効率的に管理することも求められる。

本発明の画像処理方法および画像処理装置は、３次元モデルのレンダリング画像を効率良く管理することを主目的とする。
本発明の画像処理方法および画像処理装置は、上述の主目的を達成するために以下の手段を採った。

本発明の画像処理方法は、テクスチャーを３次元モデルに貼り付けてレンダリングしたレンダリング済み画像の座標と前記テクスチャーの座標との対応関係および前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す画像描画情報を取得し、前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を示す前記画像描画情報を線形圧縮方式により圧縮することを特徴とする。

この本発明の画像処理方法では、テクスチャーとレンダリング済み画像との対応関係を示す画像描画情報のうち、少なくとも、レンダリング済み画像の座標とテクスチャーの座標との対応関係を示す画像描画情報については、線形圧縮方式により圧縮する。これにより、レンダリング済み画像を効率よく、かつ、画質の低下を抑制しながら管理する。

こうした本発明の画像処理方法において、レンダリング済み画像の画素ごとの色とテクスチャーの画素ごとの色との対応関係を示す画像描画情報は、ＪＰＥＧ圧縮方式であるものとすることもできる。

また、本発明の画像処理方法において、レンダリング済み画像の座標とテクスチャーの座標とのいずれか一方の値を三角形分割により線形近似することによりデータを圧縮するものとすることもできる。こうすれば、画質の劣化を抑制しながら比較的簡易な処理により圧縮率を高めることができる。

本発明の画像処理方法において、座標毎に異なる階調値が設定された所定パターンをテクスチャーとして３次元モデルに貼り付けてレンダリングし、該レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することによりレンダリング済み画像の座標とテクスチャーの座標との対応関係を設定して画像描画情報として保存し、所望のテクスチャーを画像として表示する際には、前記保存した画像描画情報に基づいて前記レンダリング済み画像中に前記所望のテクスチャーを配置して表示するものとすることもできる。こうすれば、３次元モデルをレンダリングした画像を所望のテクスチャーを差し替えて表示することができると共にリアルタイムで３次元モデルをレンダリングして表示するものに比して処理負担を少なくすることができる。ここで、画像の表示には、画像をフレーム単位で描画して動画像として表示するものが含まれる。この態様の本発明の画像処理方法において、前記レンダリング済み画像の各座標の階調値から対応する前記所定パターンの座標を特定することにより前記対応関係を導出するものとすることもできる。これらの態様の本発明の画像処理方法において、前記所定パターンは、テクスチャーの座標を２進数で表現したときのビット数と同数のパターンであって、各パターンには座標を２進数で表現したときの各ビットが対応づけられるとともに、各パターンの各座標の階調値は当該対応づけられたビットの値に応じた値に設定されているものとすることもできる。こうすれば、対応関係をより正確に設定することができる。この場合、前記２進数は、グレイコード（交番２進数）であるものとすることもできる。こうすれば、隣接する座標に移行する際に常に１ビットの変化しか生じないから、画像の階調値の誤差に起因して誤ったデータが取得されてしまうのを抑制することができる。これらの態様の本発明の画像処理方法において、前記所定パターンとして前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンを前記３次元モデルに貼り付けてレンダリングし、前記レンダリング済み画像における前記第１ベタ塗りパターンの階調値であるバイアス値をレンダリング済み画像の画素ごとの色とテクスチャーの画素ごとの色との対応関係を示す前記画像描画情報として保存し、前記保存したバイアス値に基づいて前記所望のテクスチャーの階調値をオフセットすることにより前記レンダリング済み画像の階調値に変換して表示するものとすることもできる。こうすれば、３次元モデルのレンダリングによる効果のうち元のテクスチャーに依存しないものを反映させることができる。この場合、バイアス値を線形圧縮方式により圧縮するものとすることもできる。さらに、これらの態様の本発明の画像処理方法において、前記所定パターンとして前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンと最大階調値でベタ塗りしてなる第２ベタ塗りパターンとを前記３次元モデルに貼り付けてそれぞれレンダリングし、前記レンダリング済み画像における前記第２ベタ塗りパターンの階調値と前記第１ベタ塗りパターンの階調値との偏差であるゲインを算出してレンダリング済み画像の画素ごとの色とテクスチャーの画素ごとの色との対応関係を示す前記画像描画情報として保存し、前記保存したゲインに基づいて前記所望のテクスチャーの階調値を前記レンダリング済み画像の階調値に変換して表示するものとすることもできる。こうすれば、３次元モデルのレンダリングによる効果のうち元のテクスチャーの階調値に影響を受けるものを反映させることができる。この場合、前記レンダリング済み画像にｎ枚（ｎは自然数）のテクスチャーを配置して表示する場合には、（ｎ−１）枚の前記第１ベタ塗りパターンと１枚の前記第２ベタ塗りパターンとからなるセットをｎ個設定するとともに各セット毎に前記３次元モデルに前記第２ベタ塗りパターンを貼り付ける箇所が異なる第１のセット群と、ｎ枚の前記第１ベタ塗りパターンからなる第２のセットとをそれぞれセット毎に前記３次元モデルに貼り付けてレンダリングし、前記第１のセット群を各セット毎にレンダリングすることにより得られる各レンダリング済み画像の階調値と前記第２のセットをレンダリングすることにより得られるレンダリング済み画像の階調値とを前記第１のセット群の各セット毎に比較することにより、前記３次元モデルにテクスチャーが貼り付けられた領域であるテクスチャー領域を特定し、該特定したテクスチャー領域に対して前記ゲインを算出するものとすることもできる。こうすれば、テクスチャー領域をより容易に特定することができる。なお、テクスチャーおよびレンダリング済み画像が複数の色成分（例えば３色）によって構成される場合、各色成分について第１のセット群と第２のセットを３次元モデルに貼り付けてレンダリングし、各色成分についてゲインを算出すればよい。

本発明の画像処理装置は、テクスチャーを３次元モデルに貼り付けてレンダリングしたレンダリング済み画像の座標と前記テクスチャーの座標との対応関係および前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す画像描画情報を取得する画像描画情報取得手段と、前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を示す前記画像描画情報を線形圧縮方式により圧縮する圧縮手段と、を備えることを要旨とする。

この本発明の画像処理装置では、テクスチャーとレンダリング済み画像との対応関係を示す画像描画情報のうち、少なくとも、レンダリング済み画像の座標とテクスチャーの座標との対応関係を示す画像描画情報については、線形圧縮方式により圧縮する。これにより、レンダリング済み画像を効率よく、かつ、画質の低下を抑制しながら管理することができる。

特殊テクスチャーを説明する説明図。 特殊テクスチャーを説明する説明図。 非テクスチャー領域およびテクスチャー領域の説明図。 画像処理方法に用いるコンピューター２０の構成の概略を示す構成図。 特殊テクスチャー生成処理の一例を示すフローチャート。 特殊テクスチャーの一例を示す説明図。 セット毎に特殊テクスチャーをレンダリングする様子を示す説明図。 レンダリング済み画像解析処理の一例を示すフローチャート。 バイアスBc,t(x,y)とゲインGc,t(x,y)を説明する説明図。 圧縮処理の一例を示すフローチャート。 線形圧縮処理の一例を示すフローチャート。 平面αと画素Ｃとの関係を示す説明図。 平面βと画素Ｐとの関係を示す説明図。 点集合Ｇ＝｛Ａ，Ｂ，Ｃ，Ｐ｝を三角形分割する様子を示す説明図 線形圧縮の様子を示す説明図。 ３つの差し替え用テクスチャーを示す説明図。 差し替え用テクスチャーのスライドショー表示の一例を示す説明図。 変形例の特殊テクスチャーを示す説明図。 変形例の特殊テクスチャーを用いてレンダリングする様子を示す説明図。 変形例の特殊テクスチャーを示す説明図。

次に、本発明の一実施形態の概略を説明する。
本発明の一実施形態は、仮想的な３次元の構造体に対して２次元のテクスチャーを貼り付け、貼り付け後の３次元の構造体を所定方向から眺めた状態を示す２次元の画像（以下、レンダリング済み画像と呼ぶ）を生成するレンダリング処理に関連した技術である。すなわち、本発明の一実施形態は、該レンダリング処理を行う際に扱う画像データを効率よく管理する圧縮方式を提供するための形態であり、当該圧縮方式は、レンダリング処理によって、テクスチャーが貼り付けられるテクスチャー領域と該テクスチャーが貼り付けられない領域とが併存するレンダリング済み画像が生成される場合に適用される。

本実施形態においては、少ないリソースで上述のレンダリング処理を実施可能にするため、３次元モデルにテクスチャーが貼り付けられた後のレンダリング済み画像を比較して、テクスチャーからレンダリング済み画像を生成するための係数を画像描画情報として予め定義しておく構成としてある。

この係数は、任意のテクスチャーの画素の位置とレンダリング済み画像の画素の位置との対応関係および、各画素間での色の変化を規定した数式であり、以下の工程を経て算出される。
（Ａ）貼り付けられるテクスチャーの特定
（Ｂ）レンダリング処理が輝度に与える影響の特定
（Ｃ）画素の位置の対応関係の特定
これらの工程は、任意のテクスチャーではなく、上述の係数を特定するために生成された所定パターンのテクスチャー（以下、特殊テクスチャーと呼ぶ）を利用して実施される。なお、特殊テクスチャーの大きさ（縦横の画素数）は、上述の２次元のテクスチャーと同数に設定される。以下、該（Ａ）〜（Ｃ）の概略を説明する。

（Ａ）貼り付けられるテクスチャーの特定
図１Ａは、レンダリング処理の概要を説明するための図である。本実施形態におけるレンダリング処理では、ｎ枚（ｎは自然数）の２次元のテクスチャーを仮想的な３次元の構造体の各面に貼り付けたことを想定し、テクスチャーが貼り付けられた状態で当該３次元の構造体を所定方向から眺めた２次元の画像をレンダリング済み画像とする。従って、レンダリング済み画像においては、３次元の構造体の向きに応じて最大ｎ枚のテクスチャーが視認される状態になる。同図１Ａにおいては、仮想的な直方体Ｒに対して２次元のテクスチャーＴ₁〜Ｔ₆を貼り付けた場合のレンダリング済み画像をＩ₀として示しており、６枚のテクスチャーＴ₁〜Ｔ₆のうち、３枚のテクスチャーＴ₁〜Ｔ₃が視認される例を示している。なお、同図１Ａの例においては、仮想的な直方体Ｒが台上に置かれたことを想定しており、台上には直方体Ｒの影Ｓが形成されている。

このようなレンダリング処理は、３次元の構造体の特定の面に特定のテクスチャーを貼り付けることによって実現されるため、レンダリング済み画像のある座標には必ず一つのテクスチャーが対応し、複数のテクスチャーが対応することはない。すなわち、レンダリング済み画像の座標とテクスチャーの座標とは一対一の関係にある。そこで、本実施形態においては、特定の一枚のみを白、該特定の一枚以外を黒としたｎ枚の特殊テクスチャーを生成し、さらに、ｎ枚の全てを黒とした特殊テクスチャーを生成し、レンダリング済み画像を比較することによって上述の特定の一枚である白い特殊テクスチャーが対応するレンダリング済み画像の位置を特定する。なお、ここでは、白の特殊テクスチャーが第２ベタ塗りパターンに相当し、黒の特殊テクスチャーが第１ベタ塗りパターンに相当する。

図１Ｂ〜図１Ｄは、右側に示す６個の矩形にて、図１Ａに示すテクスチャーＴ₁〜Ｔ₆の替わりに貼り付けられる特殊テクスチャーの例を示しており、図１Ｂにおいては、テクスチャーＴ₁に相当する特殊テクスチャーのみが白、テクスチャーＴ₂〜Ｔ₆に相当する特殊テクスチャーが黒である例を示している。また、図１Ｃは、テクスチャーＴ₁〜Ｔ₆に相当する特殊テクスチャーが黒である例を示している。そして、以上の図１Ｂおよび図１Ｃに示す特殊テクスチャーに基づくレンダリング処理によって生成されたレンダリング済み画像をそれぞれＩ₁，Ｉ₂として示している。

本実施形態においては、以上のようにして生成されたレンダリング済み画像Ｉ₁，Ｉ₂を比較することによって第２ベタ塗りパターンの特殊テクスチャーに対応するレンダリング済み画像の位置を特定する。すなわち、レンダリング済み画像の画素ごとにレンダリング済み画像Ｉ₁，Ｉ₂の輝度を比較すると、第２ベタ塗りパターンの特殊テクスチャーが貼り付けられた画素においては輝度に差異が生じるが、第１ベタ塗りパターンの特殊テクスチャーが貼り付けられた画素に差異は生じない。そこで、例えば、レンダリング済み画像Ｉ₁の輝度がレンダリング済み画像Ｉ₂の輝度よりも大きいか否かを判定する処理を各画素について行えば、レンダリング済み画像Ｉ₁の輝度がレンダリング済み画像Ｉ₂の輝度よりも大きいと判定された画素については、第２ベタ塗りパターンの特殊テクスチャーが貼り付けられたと判定することができる。

すなわち、図１Ｂに示すように、テクスチャーＴ₁を第２ベタ塗りパターンの特殊テクスチャーとしてレンダリング処理を行った場合のレンダリング済み画像Ｉ₁と、図１Ｃに示すように、全てのテクスチャーを第１ベタ塗りパターンの特殊テクスチャーとしてレンダリング処理を行った場合のレンダリング済み画像Ｉ₂とを比較することによって、テクスチャーＴ₁が対応するレンダリング済み画像の位置が特定される。同様に、図１Ｄに示すように、テクスチャーＴ₂を第２ベタ塗りパターンの特殊テクスチャーとしてレンダリング処理を行った場合のレンダリング済み画像Ｉ₃とレンダリング済み画像Ｉ₂とを比較することによって、テクスチャーＴ₂が対応するレンダリング済み画像の位置が特定される。従って、ｎ枚のテクスチャーのいずれか一枚を白、他を黒とした特殊テクスチャーをレンダリングしたレンダリング済み画像のそれぞれについて以上の処理を行えば、レンダリング済み画像においてｎ枚のテクスチャーが貼り付けられる位置が特定される。

（Ｂ）レンダリング処理が輝度に与える影響の特定
次に、レンダリング済み画像の各画素について、レンダリング処理が輝度に与える影響を特定する。図１Ａに示すような、レンダリング処理は、各テクスチャーＴ₁〜Ｔ₆を仮想的な３次元の構造体に貼り付けた後に、仮想的な位置に設定された光源からの光や当該３次元の構造体の形状に起因する陰影等に所定の影響を受けるとみなしてレンダリング済み画像の輝度値を特定する。従って、当該所定の影響は、レンダリング済み画像の画素ごとに規定することができる。さらに、本実施形態においては、レンダリング済み画像の画素ごとの輝度値が、テクスチャーＴ₁〜Ｔ₆に依存しない定数成分（以下、バイアスＢと呼ぶ）とテクスチャーＴ₁〜Ｔ₆の輝度に比例する比例成分（以下、ゲインＧと呼ぶ）との和によって規定されるとみなす。

そこで、レンダリング済み画像の画素ごとにバイアスＢとゲインＧとを特定すれば、レンダリング処理が輝度に与える影響を特定することができる。この影響は、図１Ｃに示すような、ｎ枚のテクスチャーを全て第１ベタ塗りパターンの特殊テクスチャーに取り替えてレンダリング処理を行ったレンダリング済み画像Ｉ₂と図１Ｂ，図１Ｄに示すようなｎ枚のテクスチャーの特定の一枚を第２ベタ塗りパターンの特殊テクスチャー、他を第１ベタ塗りパターンの特殊テクスチャーに取り替えてレンダリング処理を行ったレンダリング済み画像Ｉ₁，Ｉ₃等を利用して特定することができる。

すなわち、図１Ｃに示すレンダリング済み画像Ｉ₂は、ｎ枚の全てが第１ベタ塗りパターンの特殊テクスチャーであり、当該第１ベタ塗りパターンの特殊テクスチャーを仮想的な３次元の構造体に貼り付けて生成したレンダリング済み画像の各画素において有意な輝度値（０より大きい輝度値）となるのであれば、当該輝度値は元のテクスチャーの影響を受けることなく有意な値となっていることが分かる。そこで、第１ベタ塗りパターンの特殊テクスチャーを仮想的な３次元の構造体に貼り付けて生成したレンダリング済み画像の各画素における輝度値をバイアスＢとして定義することができる。

一方、第２ベタ塗りパターンの特殊テクスチャーが貼り付けられた部分に相当するレンダリング済み画像の各画素における輝度値からバイアスＢを減じれば、ゲインＧを特定することができる。そこで、第２ベタ塗りパターンの特殊テクスチャーが貼り付けられた位置に対応したレンダリング済み画像の各画素からバイアスＢを減じることによって各画素のゲインＧを特定する。

（Ｃ）画素の位置の対応関係の特定
次に、レンダリング前後の画素の位置の対応関係を特定する。すなわち、テクスチャーの各画素の位置と、レンダリング済み画像の各画素の位置との対応関係が特定される。当該対応関係の特定は、特殊テクスチャーをレンダリングしたレンダリング済み画像に基づいて、当該レンダリング済み画像の座標（ｘ，ｙ）とテクスチャーの座標（Ｘ，Ｙ）とを対応づけることによって実施される。但し、本実施形態において当該対応関係の特定は、ｘ座標とＸ座標との対応関係を特定し、ｙ座標とＹ座標との対応関係を特定する処理を行うことによって実施され、前者および後者のそれぞれを行うための特殊テクスチャー（対応関係設定用パターン）が生成される。

図２Ａ〜図２Ｃは、ｘ座標とＸ座標との対応関係を特定するために生成される特殊テクスチャーの例を示す図である。これらの図においては、横方向の画素の位置をＸ座標、ｘ座標が規定し、縦方向の画素の位置をＹ座標、ｙ座標が規定する座標系を採用している。また、ここでは、Ｘ座標、Ｙ座標ともに値域が１〜８のテクスチャーを想定しているため、特殊テクスチャーもＸ座標、Ｙ座標ともに値域が１〜８である。図２Ａには、特殊テクスチャーの一つにおいてＸ座標の値を矢印で示している。また、ｘ座標とＸ座標との対応関係を特定するために生成される特殊テクスチャーは、ｎ枚のテクスチャーの全てについて同じパターンである。例えば、図２Ａに示す例は図１Ａに示すように６枚のテクスチャーＴ₁〜Ｔ₆を仮想的な３次元の構造体に貼り付ける場合に生成される特殊テクスチャーの例を示している。当該図２Ａに示す例において、６枚のテクスチャーＴ₁〜Ｔ₆の替わりとされる特殊テクスチャーのパターンは全て同一である。

但し、ｘ座標とＸ座標との対応関係を特定するために生成される特殊テクスチャーにおいては、Ｘ座標のビット数と同数のパターンが生成される。例えば、図２Ａ〜図２Ｃに示す例においては、Ｘ座標の値域が１〜８であって３ビットであるため、３種類の特殊テクスチャーが生成される。すなわち、図２Ａ，２Ｂ，２Ｃのそれぞれにおいて特殊テクスチャーのパターンは異なるパターンであるが、図２Ａに示す特殊テクスチャー同士で比較するとｎ枚の特殊テクスチャーのパターンは同一である。

さらに、本実施形態においては、３種類の特殊テクスチャーから同じＸ座標値の輝度を順に抽出して得られる輝度の順列が全てのＸ座標値において異なるように、当該３種類の特殊テクスチャーのパターンが設定されている。例えば、Ｘ座標値１の輝度を図２Ａ，２Ｂ，２Ｃの順に抽出して得られる順列は（黒、黒、黒）であり、Ｘ座標値２の輝度を図２Ａ，２Ｂ，２Ｃの順に抽出して得られる順列は（白、黒、黒）である。このように、全てのＸ座標値についての順列が全て異なるように特殊テクスチャーのパターンが設定されていると、これら３種類の特殊テクスチャーをレンダリング処理した後の３種類のレンダリング済み画像の各座標における輝度値に基づいて、元の特殊テクスチャーのＸ座標値を特定することができる。例えば、３種類のレンダリング済み画像の各座標における輝度値を順に参照することによって元の特殊テクスチャーの輝度の順列を特定すれば、レンダリング済み画像の各座標に対応する特殊テクスチャーのＸ座標値を特定することができる。

より具体的には、図２Ａ〜図２Ｃに示す例において、レンダリング済み画像Ｉ₄，Ｉ₅，Ｉ₆の位置Ｐ₁の輝度値を順に抽出して特定される元の特殊テクスチャーの輝度の順列は（黒、黒、黒）である。この順列は元の特殊テクスチャーのＸ座標値１の輝度に対応しており、他のＸ座標値の輝度がこの順列に対応することはない。従って、この順列が抽出されたレンダリング済み画像の位置Ｐ₁には、特殊テクスチャーのＸ座標値１の画像が貼り付けられていると特定することができる。

そこで、本実施形態においては、特殊テクスチャーのＸ座標のビット数と同数の種類の特殊テクスチャーを各ｎ枚生成してレンダリング処理を行い、上述の（Ａ）によってｎ枚のテクスチャーのいずれかが貼り付けられることが特定されたレンダリング済み画像の各位置の輝度値を順に抽出する。そして、抽出された順列に基づいて元の特殊テクスチャーのＸ座標値を特定することにより、ｘ座標とＸ座標との対応関係を特定する構成としている。

このようなｘ座標とＸ座標との対応関係は、例えば、Ｘ座標値をグレイコードで表現することによって特定する構成が好ましい。図２Ａ〜図２Ｃに示す特殊テクスチャーのパターンは、グレイコードを用いてｘ座標とＸ座標との対応関係を特定する際に利用されるパターンである。すなわち、これらの例においては、グレイコードを用いてｘ座標とＸ座標との対応関係を特定するために、Ｘ座標値をグレイコードで表現した場合の最下位のビットの値が０の場合を黒、１の場合を白として図２Ａに示すパターンを生成している。同様に、Ｘ座標値をグレイコードで表現した場合の最下位よりも一つ上位のビット（中位ビットと呼ぶ）の値が０の場合を黒、１の場合を白として図２Ｂに示すパターンを生成し、最上位のビットの値が０の場合を黒、１の場合を白として図２Ｃに示すパターンを生成している。すなわち、図２Ａに示す特殊テクスチャーのパターンはＸ座標値をグレイコードで表現した場合の最下位のビット値に基づいて決定され、図２Ｂ，図２Ｃに示す特殊テクスチャーのパターンはＸ座標値をグレイコードで表現した場合の中位ビット、最上位のビット値に基づいて決定される。すなわち、図２Ａ〜図２Ｃに示す例においては、ビット数３と同数のパターンが形成され、かつ、図２Ａ，２Ｂ，２Ｃのそれぞれには最下位ビット、中位ビット、最上位ビットが対応づけられている。

図２Ｄは、当該パターンの生成を説明する図である。同図２Ｄに示すように、Ｘ座標値１を示すグレイコードは（０００）であり、最下位ビットが０、中位ビットが０、最上位ビットが０である。従って、図２Ａに示す特殊テクスチャーのＸ座標値１の輝度は黒、図２Ｂに示す特殊テクスチャーのＸ座標値１の輝度は黒、図２Ｃに示す特殊テクスチャーのＸ座標値１の輝度は黒となる。同様に、Ｘ座標値２を示すグレイコードは（００１）であり、最下位ビットが１、中位ビットが０、最上位ビットが０である。従って、図２Ａに示す特殊テクスチャーのＸ座標値２の輝度は白、図２Ｂに示す特殊テクスチャーのＸ座標値２の輝度は黒、図２Ｃに示す特殊テクスチャーのＸ座標値２の輝度は黒となる。同様の処理をＸ座標値３〜８まで続けることにより、図２Ａ〜図２Ｃのパターンが生成される。

このようにグレイコードによって複数の種類の特殊テクスチャーのパターンを決定しておけば、当該複数の種類の特殊テクスチャーから生成したレンダリング済み画像の各座標の輝度値から特定される元の特殊テクスチャーの輝度によって、元の特殊テクスチャーのＸ座標値をグレイコードで表現した値を決定することができる。ここで、レンダリング済み画像の各座標の輝度値から特定される元の特殊テクスチャーの輝度は、例えば、レンダリング済み画像の輝度値から上述のバイアスＢを減じた値がゲインＧの１／２より大きいか否かを判定することによって特定することができる。すなわち、元の特殊テクスチャーが黒の場合、レンダリング済み画像の輝度値から上述のバイアスＢを減じた値はほぼ０になり、元の特殊テクスチャーが白の場合、レンダリング済み画像の輝度値から上述のバイアスＢを減じた値はほぼゲインＧと同値になる。従って、レンダリング済み画像の各位置の輝度値から各位置のバイアスＢを減じた値が各位置のゲインＧの１／２より大きければ元の特殊テクスチャーが白、レンダリング済み画像の各位置の輝度値から各位置のバイアスＢを減じた値が各位置のゲインＧの１／２以下であれば元の特殊テクスチャーが黒であるとみなすことができる。

そこで、Ｘ座標値をグレイコードで表現した場合の最下位ビット値に基づいて生成された特殊テクスチャーをレンダリングしてレンダリング済み画像を生成し、当該レンダリング済み画像の各座標の輝度値から元の特殊テクスチャーが白であると判定される場合には、その位置におけるグレイコード表現のＸ座標値の最下位ビット値を１とする。また、レンダリング済み画像の各座標の輝度値から元の特殊テクスチャーが黒であると判定される場合、その位置におけるグレイコード表現のＸ座標値の最下位ビット値を０とする。以上の処理を、複数の種類の特殊テクスチャーのそれぞれについて実施することにより、レンダリング済み画像の各位置に対応するグレイコード表現のＸ座標値の全ビットを決定することができ、この結果、ｘ座標とＸ座標との対応関係を定義することができる。

例えば、図２Ａに示す例において、レンダリング済み画像Ｉ₄の位置Ｐ₁（ｘ，ｙ）の輝度値からバイアスＢ（ｘ，ｙ）を減じた値はゲインＧ（ｘ，ｙ）の１／２以下であるため、元の特殊テクスチャーが黒であると判定される。従って、位置Ｐ₁（ｘ，ｙ）に対応するテクスチャーのＸ座標値の最下位ビットは０となる。同様に、図２Ｂに示す例において、レンダリング済み画像Ｉ₅の位置Ｐ₁（ｘ，ｙ）の輝度値からバイアスＢ（ｘ，ｙ）を減じた値はゲインＧ（ｘ，ｙ）の１／２以下であるため、元の特殊テクスチャーが黒であると判定される。従って、位置Ｐ₁（ｘ，ｙ）に対応するテクスチャーのＸ座標値の中位ビッドは０となる。図２Ｃに示す例において、レンダリング済み画像Ｉ₆の位置Ｐ₁（ｘ，ｙ）の輝度値からバイアスＢ（ｘ，ｙ）を減じた値はゲインＧ（ｘ，ｙ）の１／２以下であるため、元の特殊テクスチャーが黒であると判定される。従って、位置Ｐ₁（ｘ，ｙ）に対応するテクスチャーのＸ座標値の最上位ビットは０となる。従って、位置Ｐ₁（ｘ，ｙ）に対応するＸ座標値のグレイコード表現は（０００）であり、Ｘ座標値１であることが特定される。

以上のような処理は、複数の種類のレンダリング済み画像の各座標における輝度値に基づいて元の特殊テクスチャーの輝度の順列を特定し、当該順列からＸ座標値を特定することによって、レンダリング済み画像の各座標に対応するＸ座標値を決定することと実質的に等価な処理となる。なお、Ｙ座標値についても同様の処理を行うことによって、レンダリング済み画像の各座標に対応するＹ座標値を特定することが可能になる。すなわち、図２Ａ〜図２Ｃに示すパターンを９０度回転させたような特殊テクスチャーによってＸ座標値における判定と同様の判定を行えば、Ｙ座標値をグレイコードで表現した値とｙ座標との対応関係を特定することが可能になる。

以上のように（Ａ）〜（Ｃ）の各工程を実行すれば、レンダリング済み画像の任意の座標（ｘ，ｙ）に対応するテクスチャーの座標（Ｘ，Ｙ）を特定することができる。また、レンダリング済み画像の任意の座標（ｘ，ｙ）においてレンダリング処理が輝度に与える影響を特定することができる。従って、各工程によって特定された座標の対応関係およびレンダリング処理が輝度に与える影響を示す情報を保存しておけば、当該保存された情報に基づいて任意のテクスチャーからレンダリング済み画像を生成する処理を極めて少ないリソースで高速に実行することが可能である。また、レンダリング処理において想定した仮想的な３次元の構造体や照明の位置等が明らかでない場合、すなわち、レンダリング処理後の画像と処理前のテクスチャーのみが明らかである場合であっても、レンダリング処理を再現することが可能になる。

本実施形態においては、以上のように、レンダリング前のテクスチャーとレンダリング済み画像との対応関係を関数によって表現する。すなわち、レンダリング済み画像の座標値（ｘ，ｙ）を変数とし、各座標値について、貼り付けられるテクスチャーを示すＩ（ｘ，ｙ）、バイアスＢ（ｘ，ｙ）、ゲインＧ（ｘ，ｙ）、テクスチャーの座標Ｘ（ｘ，ｙ）、Ｙ（ｘ，ｙ）を画像描画情報として規定すれば、任意のテクスチャーからレンダリング済み画像を生成することが可能になる。

ここで、バイアスＢ（ｘ，ｙ）、ゲインＧ（ｘ，ｙ）、座標Ｘ（ｘ，ｙ）、座標Ｙ（ｘ，ｙ）は変数ｘ，ｙに応じてバイアスＢ（ｘ，ｙ）、ゲインＧ（ｘ，ｙ）、座標Ｘ（ｘ，ｙ）、座標Ｙ（ｘ，ｙ）の階調値が変化する関数であり、本実施形態においては、これらの関数を圧縮することによってレンダリング済み画像を効率よく、かつ、画質の低下を抑制しながら管理する構成としている。すなわち、バイアスＢ（ｘ，ｙ）、ゲインＧ（ｘ，ｙ）についてはＪＰＥＧ圧縮方式によって高圧縮率で圧縮する構成とし、座標Ｘ（ｘ，ｙ）、座標Ｙ（ｘ，ｙ）については線形圧縮方式によって画質の低下を抑制する構成としている。

具体的には、座標Ｘ（ｘ，ｙ）は、テクスチャーの座標Ｘとレンダリング済み画像の座標（ｘ，ｙ）との対応関係を示し、座標Ｙ（ｘ，ｙ）は、テクスチャーの座標Ｙとレンダリング済み画像の座標（ｘ，ｙ）との対応関係を示している。従って、不可逆圧縮方式によって座標の対応関係に誤差が生じた場合、レンダリング済み画像においてテクスチャーが貼り付けられるべき本来の位置と実際にテクスチャーが貼り付けられる位置とに誤差が生じることになる。ここで、当該誤差がテクスチャーの隣接画素間で急激に変化するとレンダリング済み画像の画質が著しく劣化するが、当該誤差がテクスチャーの画素ごとに徐々に変化する場合にはレンダリング済み画像の画質低下は抑制される。

そこで、本実施形態においては、座標Ｘ（ｘ，ｙ）、座標Ｙ（ｘ，ｙ）を線形圧縮方式によって圧縮する構成としている。すなわち、例えば、ＪＰＥＧ圧縮方式においては、画像をＭＣＵ（Minimum Coded Unit）に分割して圧縮処理を行うため、ＭＣＵの境界にて誤差が急激に変化するブロックノイズが発生し得る。しかし、線形圧縮においては、隣接する画素間で階調値が線形的に変化するように圧縮がなされるため、圧縮に起因して誤差が発生したとしても当該誤差はテクスチャーの画素ごとに徐々に変化することになる。従って、座標Ｘ（ｘ，ｙ）、座標Ｙ（ｘ，ｙ）を線形圧縮方式によって圧縮することにより、画質の低下を抑制することが可能になる。

なお、線形圧縮は各種の手法によって行うことが可能であり、例えば、ｘ−ｙ平面上に座標Ｘの値を高さとした３次元のグラフで座標Ｘ（ｘ，ｙ）を表現したときに当該グラフ上で座標Ｘの値が示す高さ方向の凹凸を、表面の全てが多角形（例えば三角形）によって構成された近似的な凹凸で表現することによって実現可能である。なお、表面の全てが三角形となるように近似的な凹凸を定義する場合、当該三角形のｘ−ｙ平面への投影がドロネーの三角形分割で分割された三角形となるように三角形を決定する構成を採用可能である。また、近似は、三角形が示す近似的な座標Ｘの値と、座標Ｘの真の値との誤差が所定値以内となるまで三角形分割によって三角形の数を増加させることによって実現可能である。

次に、本発明の実施の形態を具体的な例とともに図面を用いて説明する。図４は、本発明の一実施形態である画像処理方法に用いるコンピューター２０とビューワー４０の構成の概略を示す構成図である。本実施形態のコンピューター２０は、中央演算処理装置としてのＣＰＵや処理プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、グラフィックプロセッサー（ＧＰＵ）、ハードディスク（ＨＤＤ）、ディスプレイ２２などからなる汎用のコンピューターとして構成されており、その機能ブロックとしては、仮想的な３次元の構造体を示す３次元モデリングデータ（以下、３次元モデルという）やこれに貼り付けるテクスチャーデータ（以下、テクスチャーという）などを記憶する記憶部３１と、３次元モデルに貼り付ける前処理用の特殊なテクスチャーを生成する特殊テクスチャー生成処理部３２と、３次元モデルをレンダリングしてビットマップ画像を生成するレンダリング処理部３４と、レンダリングにより得られたビットマップ画像としてのレンダリング済み画像を解析するレンダリング済み画像解析処理部３６と、生成したレンダリング済み画像やレンダリング済み画像解析処理部３６の解析により得られる各種データを圧縮する圧縮処理部３８とを備える。

特殊テクスチャー生成処理部３２は、レンダリング処理部３４でレンダリングされる３次元モデルに貼り付ける特殊テクスチャーを生成する処理部であり、具体的には、値０．０〜１．０の階調値範囲内で階調値が値１．０の白ベタのパターン（第２ベタ塗りパターン）や、階調値が値０．０の黒ベタのパターン（第１ベタ塗りパターン），値０．０と値１．０の階調値が横方向に交互に現われる縦縞模様のパターン（対応関係設定用パターン），値０．０と値１．０の階調値が縦方向に交互に現われる横縞模様のパターン（対応関係設定用パターン）を生成する。なお、これらの各パターンがもつ役割については後述する。

レンダリング処理部３４は、３Ｄレンダリング用のソフトウエアがコンピューター２０にインストールされることにより機能する処理部であり、３次元モデルに特殊テクスチャー生成処理部３２で生成されたテクスチャーを貼り付けてレンダリングすることにより所定のフレームレート（例えば、１秒間に３０回や６０回など）でフレーム単位にビットマップ画像を再生して動画を表示する。本実施形態では、光源からの光をたどりながらオブジェクト面の反射や光の屈折などを計算してレンダリングするレイトレーシング法を用いてレンダリング処理を行なうものとした。

レンダリング済み画像解析処理部３６は、レンダリング処理部３４により生成されたビットマップ画像（レンダリング済み画像）を解析することにより、特殊テクスチャーに代えて写真などの所望の画像データを自由に差し替えてレンダリング済み画像をビューワー４０側で表示できるようにするための画像描画情報を生成する。

圧縮処理部３８は、レンダリング済み画像解析処理部３６により解析に伴って生成された画像描画情報を圧縮するための処理部であり、本実施形態では、画質の劣化を抑制しながら全体の圧縮率を高めるために、複数種の圧縮方式を使い分けてデータを圧縮するものとした。圧縮方式の詳細については後述する。

本実施形態のビューワー４０は、コンピューター２０のレンダリング処理部３４で得られたレンダリング済み画像やレンダリング済み画像解析処理部３６により解析されると共に圧縮処理部３８により圧縮された画像描画情報などを記憶する記憶部４１と、メモリーカードＭＣに記憶されている写真などの画像データの入力を司る入力処理部４２と、入力処理部４２により入力された画像データや記憶部４１に記憶されているレンダリング済み画像，画像描画情報をデコード（展開）する展開処理部４４と、レンダリング済み画像に入力した画像データをテクスチャーとして合成して描画する描画処理部４６と、を備える。このビューワー４０は、ユーザーからの指示によりメモリーカードＭＣに記憶されている複数の画像データを順次読み込むと共に読み込んだ画像データを画像描画情報を用いて３次元モデルのレンダリング済み画像に貼り付けて順次再生を行なうスライドショー表示を行なうことができるようになっている。

次に、こうして構成された本実施形態のコンピューター２０の特殊テクスチャー生成処理部３２やレンダリング処理部３４，レンダリング済み画像解析処理部３６，圧縮処理部３８の動作と、ビューワー４０の展開処理部４４や描画処理部４６の動作について説明する。まず、特殊テクスチャー生成処理部３２の処理について説明する。図５は、特殊テクスチャー生成処理の一例を示すフローチャートである。

特殊テクスチャー生成処理では、まず、複数のセットのうちのいずれのセットであるのかを特定するための対象セット番号ｉを値１に初期化し（ステップＳ１００）、対象セット番号ｉに対してＲＧＢの色成分毎にｎ個の特殊テクスチャーを生成して（ステップＳ１１０）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１２０）、対象セット番号ｉと値ｎとを比較して（ステップＳ１３０）、対象セット番号ｉが値ｎ以下のときにはステップＳ１１０に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値ｎを超えたときには次の処理に進む。ここで、対象セット番号ｉが値１から値ｎまでの特殊テクスチャーの生成は、次式（１）に示すように、１番からｎ番までの対象テクスチャー番号ｊを１番から値１ずつシフトしながら対象テクスチャー番号ｊと対象セット番号ｉと比較し、両者が一致する対象テクスチャー番号ｊに対しては最小値０．０（黒）〜最大値１．０（白）の階調値範囲で全座標(X,Y)に値１．０の階調値を設定することにより白ベタの特殊テクスチャー（第２ベタ塗りパターン）を生成し、両者が一致しない対象テクスチャー番号ｊに対しては全座標(X,Y)に値０．０の階調値を設定することにより黒ベタの特殊テクスチャー（第１ベタ塗りパターン）を生成することにより行なわれる。ここで、式（１）中の「ｃ」は、画像データのＲＧＢ値の各色に対応する値を示し、「ｎ」は１画面に配置するテクスチャーの数を示し、「ｂ」はテクスチャーの座標を２進数で表わしたときのビット数を示し、「Tc,i,j(X,Y)」は色成分ｃ，対象セット番号i，対象テクスチャー番号ｊにおける特殊テクスチャーの座標(X,Y)の階調値を示す（以下、同じ）。なお、ここでは、全ての色成分について、全座標に階調値の最大値が設定されたパターンを白ベタと呼び、全座標に階調値の最小値が設定されたパターンを黒ベタと呼んでいる（以下、同じ）。

対象セット番号ｉが値１〜値ｎの特殊テクスチャー（ｎ個のセットから成る第１のセット群）を生成すると、次に、対象セット番号ｉが値（ｎ＋１）の色成分毎のｎ個の特殊テクスチャーを生成し（ステップＳ１４０）（第２のセット）、対象セット番号ｉを値１だけインクリメントする（ステップＳ１５０）。ここで、対象セット番号ｉが値（ｎ＋１）の特殊テクスチャーの生成は、次式（２）に示すように、１番からｎ番までのすべての対象テクスチャー番号ｊに対して全座標(X,Y)に値０．０の階調値を設定することにより黒ベタの特殊テクスチャーを生成することにより行なわれる。

対象セット番号ｉが値（ｎ＋１）の特殊テクスチャーを生成すると、次に、対象セット番号ｉに対してテクスチャーの座標を交番２進数（グレイコード）表現としたときの第［ｉ−（ｎ＋２）]ビットに対応する縦縞模様の色成分毎のｎ個の特殊テクスチャーを次式（３）により生成して（ステップＳ１６０）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１７０）、対象セット番号ｉと値（ｎ＋ｂ＋１）とを比較し（ステップＳ１８０）、対象セット番号ｉが値（ｎ＋ｂ＋１）以下のときにはステップＳ１６０に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値（ｎ＋ｂ＋１）を超えたときには次の処理に進む。以上の処理により、レンダリング済み画像のｘ座標と特殊テクスチャーのＸ座標との対応関係を設定するための対応関係設定用パターンが生成される。ここで、式（３）中の「gray(a)」は数値ａのグレイコード（交番２進数符号）表現であり、「and(a,b)」はａとｂのビット毎の論理積を示す（以下、同じ）。（ｎ＋２）番から（ｎ＋ｂ＋１）番までの対象セット番号ｉは、それぞれテクスチャーの座標を２進数で表現したときに第（ｂ−１）ビット（最下位ビット）から第０ビット（最上位ビット）までの各ビットに対応しており、対象セット番号ｉに対応するビットの値が値１のときには値１．０（白）の階調値を設定し、対応するビットの値が値０のときには値０．０（黒）の階調値を設定することにより縦縞模様の特殊テクスチャーが生成される。本実施形態では、テクスチャーの座標を交番２進数で表現しており、例えば、テクスチャー数ｎが値３で座標が値１〜８の３ビット（ｂ＝３）とすると、対象セット番号ｉが第２ビット（最下位ビット）を示す値５の特殊テクスチャーとしてはＸ座標値１については黒の階調値が設定されＸ座標値２，３については白の階調値が設定されＸ座標値４，５については黒の階調値が設定されＸ座標値６，７については白の階調値が設定されＸ座標値８については黒の階調値が設定される。また、対象セット番号ｉが第１ビットを示す値６の特殊テクスチャーとしてはＸ座標値１，２については黒の階調値が設定されＸ座標値３〜６については白の階調値が設定されＸ座標値７，８については黒の階調値が設定され、対象セット番号ｉが第０ビット（最上位ビット）を示す値７の特殊テクスチャーとしてはＸ座標値１〜４については黒の階調値が設定されＸ座標値５〜８については白の階調値が設定されることになる。

対象セット番号ｉが値（ｎ＋２）〜値（ｎ＋ｂ＋１）の特殊テクスチャーを生成すると、次に、対象セット番号ｉに対してテクスチャーのｙ座標を交番２進数表現としたときの第［ｉ−（ｎ＋ｂ＋２）]ビットに対応する横縞模様の色成分毎のｎ個の特殊テクスチャーを次式（４）により生成して（ステップＳ１８５）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１９０）、対象セット番号ｉと値（ｎ＋２ｂ＋１）とを比較し（ステップＳ１９５）、対象セット番号ｉが値（ｎ＋２ｂ＋１）以下のときにはステップＳ１８５に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値（ｎ＋２ｂ＋１）を超えたときには、全ての特殊テクスチャーの生成が完了したとして、本ルーチンを終了する。以上の処理により、レンダリング済み画像のｙ座標と特殊テクスチャーのＹ座標との対応関係を設定するための対応関係設定用パターンが生成される。（ｎ＋ｂ＋２）番から（ｎ＋２ｂ＋１）番までの対象セット番号ｉは、それぞれテクスチャーの座標を２進数で表現したときに第（ｂ−１）ビット（最下位ビット）から第０ビット（最上位ビット）からまでの各ビットに対応しており、対象セット番号ｉに対応するビットの値が値１のときには値１．０（白）の階調値を設定し、対応するビットの値が値０のときには値０．０（黒）の階調値を設定することにより横縞模様の特殊テクスチャーが生成される。本実施形態では、テクスチャーの座標を交番２進数で表現しており、例えば、テクスチャー数ｎが値３でｙ座標が値１〜８の３ビット（ｂ＝３）とすると、対象セット番号ｉが第２ビット（最下位ビット）を示す値８の特殊テクスチャーとしてはＹ座標値１については黒の階調値が設定されＹ座標値２，３については白の階調値が設定されＹ座標値４，５については黒の階調値が設定されＹ座標値６，７については白の階調値が設定されＹ座標値８については黒の階調値が設定される。また、対象セット番号ｉが第１ビットを示す値９の特殊テクスチャーとしてはＹ座標値１，２については黒の階調値が設定されＹ座標値３〜６については白の階調値が設定されＹ座標値７，８については黒の階調値が設定され、対象セット番号ｉが第０ビット（最上位ビット）を示す値１０の特殊テクスチャーとしてはＹ座標値１〜４については黒の階調値が設定されＹ座標値値５〜８については白の階調値が設定されることになる。図６に、テクスチャー数ｎが値３で座標のビット数ｂが値３のときに生成される特殊テクスチャーの一覧を示す。

レンダリング処理部３４は、セット毎に、対応するｎ個の特殊テクスチャーを３次元モデルに貼り付けてレンダリング処理を行なう。図７にレンダリング処理の様子を示す。本実施形態では、３次元モデルを動画としてレンダリングし、テクスチャー数ｎが値３でビット数ｂが値３としたから、合計１０セット分のレンダリング処理が行なわれて１０セット分の動画が生成されることになる。この動画は、フレーム１〜Ｔまでの各フレーム毎に生成されたビットマップ画像（レンダリング済み画像）により構成される。なお、図７においては、１０セット分のレンダリング済み画像のそれぞれから、共通のフレーム番号のビットマップ画像を抜き出して示している。

次に、レンダリング処理部３４により生成されたレンダリング済み画像を解析する処理について説明する。図８は、レンダリング済み画像解析処理部３６により実行されるレンダリング済み画像解析処理の一例を示すフローチャートである。

レンダリング済み画像解析処理では、まず、次式（５）に示すように各フレーム番号ｔ（＝１〜Ｔ）におけるレンダリング済み画像の座標(x,y)に貼り付けられるテクスチャー番号を示す変数It(x,y)を値０に初期化し（ステップＳ２００）、対象フレームｔにおけるセット番号１〜ｎのレンダリング済み画像中の白ベタ領域（座標）を特定して、この白ベタ領域の変数It(x,y)に対応するテクスチャー番号を設定する（ステップＳ２１０）。この処理は、次式（６）に示すように、対象セット番号ｉを１番からｎ番まで順次シフトしながら対象セット番号ｉのレンダリング済み画像の階調値（各色成分毎の階調値の総和）とセット番号（ｎ＋１）のレンダリング済み画像の階調値（各色成分毎の階調値の総和）とを比較することにより行なうことができる。すなわち、対象セット番号ｉにおいては番号ｉと等しいテクスチャー番号の特殊テクスチャーが白ベタに設定されており、セット番号（ｎ＋１）においては全テクスチャー番号の特殊テクスチャーが黒ベタに設定されている。従って、対象セット番号ｉのレンダリング済み画像の階調値がセット番号（ｎ＋１）のレンダリング済み画像の階調値より大きい場合には、座標(x,y)にテクスチャー番号ｉの特殊テクスチャーが貼り付けられていたことが分かる。ここで、式（５）中の「ｗ」はレンダリング済み画像の幅方向のサイズを示し、「ｈ」はレンダリング済み画像の高さ方向のサイズを示す。また、式（６）中の「Ac,i,t(x,y)」は色成分ｃ，セット番号ｉ（１〜ｎ），フレーム番号ｔにおけるレンダリング済み画像の座標(x,y)の階調値を示す（以下、同じ）。

続いて、次式（７）によりセット番号（ｎ＋１）のレンダリング済み画像の階調値をバイアスBc,t(x,y)として設定すると共に（ステップＳ２２０）、変数It(x,y)が値０でないレンダリング済み画像の座標(x,y)、即ちテクスチャーが貼り付けられる領域について次式（８）によりゲインGc, t(x,y)を計算する（ステップＳ２３０）。ここで、式（８）中の「Ac,It(x,y),t(x,y)」は色成分ｃ，変数It(x,y)に格納されたセット番号ｉ，フレーム番号ｔにおけるレンダリング済み画像の座標(x,y)の階調値を示す。図９に、バイアスBc,t(x,y)とゲインGc,t(x,y)との関係を示す。３次元モデルにテクスチャーを貼り付けてレンダリングする場合、図示するように、元のテクスチャーの階調値に依存しないオフセット分がバイアスBc,t(x,y)に相当し、元のテクスチャーの階調値の変化に対するレンダリング済み画像の階調値の変化の傾きがゲインGc,t(x,y)に相当する。

そして、次式（９）によりテクスチャーのグレイコード表現の座標（X't(x,y)，Y't(x, y）)を値０に初期化し（ステップＳ２４０）、セット番号（ｎ＋２）〜（ｎ＋２ｂ＋１）のレンダリング済み画像の座標(x,y)とテクスチャーの座標（X't(x,y)，Y't(x,y）)との対応関係を設定する（ステップＳ２５０）。ここで、座標の対応関係は、次式（１０）により設定され、具体的には、番号ｉを１番からｂ番まで順次シフトしながらセット番号（ｉ＋ｎ＋１）のレンダリング済み画像の階調値Ac,i+n+1,t(x,y)からバイアスBc,t(x,y)を減じたもの（各色成分毎の総和）がセット番号ｉのレンダリング済み画像のゲインGc,t(x,y)を値２で割ったもの（各色成分毎の総和）よりも大きいか否か即ちセット番号（ｉ＋ｎ＋１）における白と黒の縦縞模様のパターンのうち座標(x,y)が白か否かを判定し白のときには交番２進数表現の座標X't(x,y)の対応する第（ｉ−１）ビットの値に値１を設定し、番号ｉを１番からｂ番まで順次シフトしながらセット番号（ｉ＋ｂ＋ｎ＋１）のレンダリング済み画像の階調値Ac,i+b+n+1,t(x,y)からバイアスBc,t(x,y)を減じたもの（各色成分毎の総和）がセット番号ｉのレンダリング済み画像のゲインGc,t(x,y)を値２で割ったもの（各色成分毎の総和）よりも大きいか否か即ちセット番号（ｉ＋ｂ＋ｎ＋１）における白と黒の横縞模様のパターンのうち座標(x,y)が白か否かを判定し白のときには座標Y't(x,y)の対応する第（ｉ−１）ビットの値を値１に設定することにより行なわれる。ここで、式（１０）中の「or(a,b)」はａとｂのビット毎の論理和を示す。

座標の対応関係を設定すると、グレイコード表現のテクスチャーの座標（X't(x,y)，Y't(x,y)）を次式（１１）を用いて復号化して復号化後座標（Xt(x,y)，Yt(x,y)）を算出し（ステップＳ２６０）、値１〜Ｔまでの全フレームについて処理が完了したか否かを判定し（ステップＳ２７０）、全フレームについて処理が完了していないときには次のフレームを対象フレームｔに設定してステップＳ２１０に戻って処理を繰り返し、全フレームについて処理が完了したときに本処理を終了する。ここで、式（１１）中の「gray^-1(a)」はグレイコードａを復号化した値を示し、「Xt(x,y)」はフレーム番号ｔのレンダリング済み画像の座標(x,y)に対応するテクスチャーのｘ座標を示し、「Ｙt(x,y)」はフレーム番号ｔのレンダリング済み画像の座標(x,y)に対応するテクスチャーのｙ座標を示す。なお、本実施形態では、座標（X't(x,y)，Y't(x,y）)の原点を(1,1)としているから、グレイコードを復号化した値に値１を加算している。画像描画情報としては、変数It(x,y)とバイアスBc,t(x,y)とゲインGc,t(x,y)と座標（Xt(x,y)，Yt(x,y)）とが含まれる。

次に、レンダリング済み画像解析処理部３６により解析されて得られた画像描画情報を圧縮する処理、特に座標（Xt(x,y)，Yt(x,y)）を圧縮する処理について説明する。図１０は、圧縮処理部３８により実行される圧縮処理の一例を示すフローチャートである。

圧縮処理では、まず、バイアスBc,t(x,y)およびゲインGc,t(x,y)についてＪＰＥＧ圧縮方式によって圧縮する（ステップＳ３００）。次に、座標（Xt(x,y)，Yt(x,y)）について線形圧縮方式により圧縮し（ステップＳ３１０）、圧縮データを保存して（ステップＳ３２０）、本ルーチンを終了する。なお、以上の圧縮処理は、テクスチャーが貼り付けられるテクスチャー領域とテクスチャーがが貼り付けられない非テクスチャー領域とを分離し、各領域のいずれかまたは双方に対して実施する構成であっても良い。また、画像描画情報としてのIt(x,y)を圧縮しても良い。

図１１は、図１０のステップＳ３１０により実行される線形圧縮処理の一例を示すフローチャートである。本実施形態における線形圧縮処理は、レンダリング済み画像の座標Xt(x,y)，Yt(x,y)のそれぞれを三角形分割により線形近似する方式である。すなわち、x-y平面において座標値Xtを高さとしたグラフにおいて、この高さに近似させた複数の三角形でx-y平面の上部空間を覆い、当該複数の三角形と座標値Xtとの差分が所定の基準以下になるように設定する。そして、当該三角形の表面が座標(x、y)における座標値Xtであるとみなす構成としている。具体的には、まず、対象テクスチャー領域を設定する（ステップＳ４００）。すなわち、座標Xt(x,y)は、It(x,y)≠０の座標(x,y)、つまりテクスチャーが貼り付けられる座標に対してのみ定義されるため、ここでは、全座標(x,y)のなかから、It(x,y)≠０となっている領域の一つを対象テクスチャー領域として設定する。なお、It(x,y)≠０となっている領域が一つしかなければ当該一つの領域が対象テクスチャー領域となり、It(x,y)≠０となっている領域がx-y平面内で分離して複数個存在する場合には各領域を一つずつ対象テクスチャー領域とし、それぞれの対象テクスチャー領域に対してステップＳ４１０以降の処理を行う。なお、本実施形態においては、テクスチャー領域について座標Xt(x,y)，Yt(x,y)のそれぞれを線形圧縮する構成としているが、非テクスチャー領域について任意の座標値Xt,Ytを設定し全座標(x,y)についてまとめて線形圧縮を行う構成であっても良い。

対象テクスチャー領域を設定すると、この対象テクスチャー領域内の階調値ｚ（座標値Xtあるいは座標値Yt）の平均をとることにより平均階調値ｚａを算出すると共に（ステップＳ４１０）、対象テクスチャー領域内の各画素の階調値ｚと平均階調値ｚａとの偏差Δｚを計算し（ステップＳ４２０）、計算した偏差Δｚが閾値ｚｒｅｆよりも大きいか否かを判定する（ステップＳ４３０）。いずれの画素についての偏差Δｚも閾値ｚｒｅｆ以下のときには次のテクスチャー領域があるか否かを判定し（ステップＳ５６０）、次のテクスチャー領域があるときにはステップＳ４００に戻ってこのテクスチャー領域を対象テクスチャー領域に設定して処理を繰り返し、いずれかの画素についての偏差Δｚが閾値ｚｒｅｆよりも大きいときには、階調値が最大ｚ１の画素Ａ(x1,y1,z1)と階調値が最小ｚ２の画素Ｂ（x2,y2,z2)を検索し（ステップＳ４４０）、Ａ−Ｂ直線に直交しx-y平面に平行な直線及び２点Ａ，Ｂを含む平面αを設定し（ステップＳ４５０）、設定した平面αとの距離Ｌ１が最も大きい画素Ｃ(x3,y3,z3)を検索する（ステップＳ４６０）。図１２に平面αと画素Ｃとの関係を示す。こうして画素Ｃを検索すると、距離Ｌ１が閾値Ｌｒｅｆよりも大きいか否かを判定し（ステップＳ４７０）、距離Ｌ１が閾値Ｌｒｅｆ以下のときには次の処理に進み、距離Ｌ１が閾値Ｌｒｅｆよりも大きいときには点集合Ｇ＝｛Ａ，Ｂ，Ｃ｝を設定し（ステップＳ４８０）、上記３点Ａ，Ｂ，Ｃを含む平面βを設定する（ステップＳ４９０）。図１３に平面βと画素Ｐとの関係を示す。次に、平面との距離Ｌｐが最も大きい画素Ｐ(xp,yp,zp)を検索する（ステップＳ５００）。なお、Ｓ５００が初めて実行される場合、距離Ｌｐの算出対象となる平面はステップＳ４９０で設定した平面βであり、Ｓ５００の実行が２回目以降である場合、距離Ｌｐの算出対象となる平面はステップＳ５４０で再設定した平面である。

そして、距離Ｌｐが閾値Ｌｒｅｆよりも大きいか否かを判定し（ステップＳ５１０）、距離Ｌｐが閾値Ｌｒｅｆ以下のときには次の処理に進み、距離Ｌｐが閾値Ｌｒｅｆよりも大きいときには画素Ｐを新たに加えた点集合Ｇを設定し（ステップＳ５２０）、設定した点集合Ｇに対して三角形分割して（ステップＳ５３０）、平面を再設定する（ステップＳ５４０）。図１４は点集合Ｇ＝｛Ａ，Ｂ，Ｃ，Ｐ｝を三角形分割する様子を示す説明図である。図示するように、３点Ａ，Ｂ，Ｃを含む三角平面と３点Ａ，Ｂ，Ｐを含む三角平面とを両者が共有する直線Ａ−Ｂで分割し、直線Ａ−Ｂを境に各三角平面を延長することにより平面を再設定する。平面を再設定すると、ステップＳ５００に戻って再設定した平面との距離Ｌｐが最も大きい新たな画素Ｐ(xp,yp,zp)を検索し（ステップＳ５１０）、距離Ｌｐが閾値Ｌｒｅｆ以下となるまでステップＳ５００〜Ｓ５４０の処理を繰り返す。ステップＳ５１０で距離Ｌｐが閾値Ｌｒｅｆ以下となると、設定した平面を対象テクスチャー領域の形状に切り抜いて（ステップＳ５５０）、次のテクスチャー領域があるときには（ステップＳ５６０）、ステップＳ４００に戻ってこのテクスチャー領域を対象テクスチャー領域に設定してステップＳ４００〜Ｓ５６０の処理を繰り返し、次のテクスチャー領域がないときには各テクスチャー領域毎に切り抜いた各平面を組み合わせ（ステップＳ５７０）、これを列（ｙ座標方向）毎にｘ座標方向に順次走査し（ステップＳ５８０）、これにより得られる始点ａ、傾きΔａ、長さｌを保存して（ステップＳ５９０）、本処理を終了する。当該保存された始点ａ、傾きΔａ、長さｌを示す情報が線形圧縮された座標Xt(x,y)あるいは座標Yt(x,y)を示す情報となる。図１５に、線形圧縮の様子を示す。線形圧縮は、図示するように、走査ラインｓ１に対して始点ａ０，ａ１，ａ２と傾きΔａ０，Δａ１，Δａ２と長さｌ０，ｌ１，ｌ２を求めてこれを各走査ラインｓ２，ｓ３・・毎に繰り返し、結果を保存することにより行なわれる。

コンピューター２０の圧縮処理部３８により圧縮された画像描画情報（バイアスBc,(x,y)，ゲインGc,t(x,y)，座標Xt(x,y)，Yt(x,y)）および変数It(x,y)はビューワー４０の記憶部４１に記憶され、ビューワー４０の展開処理部４４により線形圧縮した座標Xt(x,y)，Yt(x,y)については線形圧縮用の解凍処理によりＪＰＥＧ圧縮したバイアスBc,t(x,y)，ゲインGc,t(x,y)についてはＪＰＥＧ解凍処理によりそれぞれ解凍した上で描画処理部４６による描画処理に用いられる。描画処理部４６では、メモリーカードＭＣに記憶されている写真などの複数の画像データを差し替え用テクスチャーとして読み込むと共に次式（１２）を用いてレンダリング済み画像に合成して順次描画することにより、テクスチャーを差し替えながら３次元モデルのレンダリング済み画像を表示するスライドショー再生を行なうことができる。ここで、式（１２）中の「Uc,It(x,y)(Xt(x,y),Yt(x,y))」は色成分ｃ，テクスチャー番号ｉにおける差し替え用テクスチャーの座標(X,Y)の階調値（０．０〜１．０）を示し、「Pc,t(x,y)」は色成分ｃ，フレーム番号ｔにおける表示画像（レンダリング済み画像）の座標(x,y)の階調値（０．０〜１．０）を示す。式（１２）に示すように、表示画像の階調値Pc,t(x,y)の設定は、変数It(x,y)が値０でないテクスチャー配置領域に対しては表示画像の座標(x,y)に対応する差し替え用テクスチャーの座標（Xt(x,y)，Yt(x,y)）の階調値にゲインGc,t(x,y)を乗じてバイアスBc,t(x,y)を加えたものを設定することにより行なわれる。図１６にテクスチャー番号が１〜３の３つの差し替え用テクスチャーを示し、図１７にレンダリング済み画像に図１６の差し替え用テクスチャーを配置して描画する様子を示す。前述したように、座標Xt(x,y)，Yt(x,y)として線形圧縮により圧縮したものを用いているから、比較的高い圧縮率でデータ量を抑えながら差し替え用テクスチャーを配置したときの画像の歪みを抑制することができる。

以上説明した実施例の画像処理方法によれば、３次元モデルに特殊テクスチャーを貼り付けてレンダリングすると共にレンダリング済み画像を解析することにより得られる画像描画情報の一つとしての座標(x,y)とテクスチャーの座標（X,Y）との対応関係を示す画像描画情報（Xt(x,y)，Yt(x,y)）を線形圧縮方式により圧縮するため、全体の画質の劣化を抑制しながら高い圧縮率によりデータを圧縮することができる。また、コンピューター２０側では、座標(X,Y)を２進数表現したときの各ビットの値に対応するｘ座標用の縦縞模様のパターンとｙ座標用の横縞模様のパターンとを特殊テクスチャーとして３次元モデルに貼り付けてレンダリングし、レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することによりレンダリング済み画像の座標(x,y)とテクスチャーの座標（Xt(x,y)，Yt(x,y)）との対応関係を設定して画像描画情報として保存し、ビューワー４０側でレンダリング済み画像を用いて画像を表示するときには、予め記憶した画像描画情報によりテクスチャーの座標（Xt(x,y)，Yt(x,y)）の階調値に基づいて表示画像の座標(x,y)に描画するから、３次元モデルのレンダリング済み画像をテクスチャーを自由に差し替えて再生することができると共にリアルタイムで３次元モデルをレンダリングして表示するものに比して処理負担を少なくすることができる。しかも、ゲインGc,t(x,y)やバイアスBc,t(x,y)を用いてテクスチャーの階調値を変換して表示画像の階調値を設定するから、３次元モデルをレンダリングしたときの屈折光や鏡面反射，影などの影響も反映させることができる。さらに、座標の対応関係を特定するための特殊テクスチャーとして交番２進数に対応する縦縞模様のパターンと横縞模様のパターンとを形成するから、隣接する座標に移行する際には常に１ビットの変化となり、画像の階調値の誤差に起因して誤ったデータが取得されてしまうのを抑制することができる。

本実施形態では、座標Xt(x,y)，Yt(x,y)を線形圧縮方式により圧縮するものとしたが、これに限定されるものではなく、バイアスBc,t(x,y)やゲインGc,t(x,y)を線形圧縮により圧縮するものとしても良い。また、線形圧縮対象となる座標系がｘ−ｙ座標系であっても良い。すなわち、座標の対応関係をxt(X,Y)，yt(X,Y)と規定し、X-Y平面上での高さxtやyt等を三角形分割を利用した線形近似にて表現する構成であっても良い。また、上述のＪＰＥＧ圧縮方式に代えて他の圧縮方式たとえばＪＰＥＧ２０００やＧＩＦ，ＴＩＦＦ、デフレート圧縮などの可逆圧縮処理により圧縮するものとしてもよい。

本実施形態では、座標(X,Y)を２進数表現したときの各ビットの値に対応するｘ座標用の縦縞模様のパターンとｙ座標用の横縞模様のパターンとをテクスチャーとして用いて３次元モデルに貼り付けてレンダリングすると共にレンダリング結果を解析することにより画像描画情報を生成するものとしたが、用いるパターンはこれに限られず、ｘ座標方向（横方向）に濃淡（階調値）が徐々に変化するパターンとｙ座標方向（縦方向）に濃淡が徐々に変換するパターンとを用いるものとしてもよい。この場合、前述した式（３）により得られるセット番号（ｎ＋２）〜（ｎ＋ｂ＋１）の縦縞模様のパターンに代えて次式（１３）により得られるセット番号（ｎ＋２）の１つのパターンを用いると共に式（４）により得られるセット番号（ｎ＋ｂ＋２）〜（ｎ＋２ｂ＋１）の横縞模様のパターンに代えて次式（１４）により得られるセット番号（ｎ＋３）の１つのパターンを用いるものとすればよい。

式（１３）のパターンと式（１４）のパターンとを用いる場合、座標の対応関係の設定は、次式（１５）により求めることができる。図１８に特殊テクスチャーの一例を示し、図１９に図１８の特殊テクスチャーを３次元モデルに貼り付けてレンダリングする様子を示す。これにより、生成すべき特殊テクスチャーの数を減らすことができる。

本実施形態では、対象セット番号ｉが値（ｎ＋２）〜値（ｎ＋ｂ＋１）の縦縞模様パターンの特殊テクスチャーを座標を交番２進数表現したときに各ビットの値に対応するものとすると共に対象セット番号ｉが値（ｎ＋ｂ＋２）〜値（ｎ＋２ｂ＋１）の横縞模様パターンの特殊テクスチャーを座標を交番２進数表現したときの各ビットの値に対応するものとしたが、これらのパターンを、座標を一般の２進数表現したときに各ビットの値に対応するものとして生成するものとしてもよい。この場合の特殊テクスチャーの一例を図２０に示す。

本実施形態では、ビューワー４０により画像を再生するものとしたが、画像を再生できる機器であれば、液晶画面付きの携帯電話やプリンターなど如何なる機器を用いるものとしても構わない。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

２０ コンピューター、２２ ディスプレイ、３１ 記憶部、３２ 特殊テクスチャー生成処理部、３４ レンダリング処理部、３６ レンダリング済み画像解析処理部、３８ 圧縮処理部、４０ ビューワー、４１ 記憶部、４２ 入力処理部、４４ 展開処理部、４６ 描画処理部、ＭＣ メモリーカード。

Claims (13)

1. テクスチャーを３次元モデルに貼り付けてレンダリングしたレンダリング済み画像の座標と前記テクスチャーの座標との対応関係および前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す画像描画情報を取得し、
   前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を示す前記画像描画情報を線形圧縮方式により圧縮する
   ことを含む画像処理方法。
2. 前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す前記画像描画情報をＪＰＥＧ圧縮方式により圧縮する
   請求項１記載の画像処理方法。
3. 前記線形圧縮方式は、前記レンダリング済み画像の座標と前記テクスチャーの座標とのいずれか一方の値を三角形分割により線形近似することによりデータを圧縮する
   請求項１または請求項２に記載の画像処理方法。
4. 請求項１〜３のいずれかに記載の画像処理方法であって、
   座標毎に異なる階調値が設定された所定パターンをテクスチャーとして３次元モデルに貼り付けてレンダリングし、
   該レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することにより前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を設定して前記画像描画情報として保存し、
   所望のテクスチャーを画像として表示する際には、前記保存した画像描画情報に基づいて前記レンダリング済み画像中に前記所望のテクスチャーを配置して表示する
   画像処理方法。
5. 前記レンダリング済み画像の各座標の階調値から対応する前記所定パターンの座標を特定することにより前記対応関係を導出する請求項４記載の画像処理方法。
6. 前記所定パターンは、前記テクスチャーの座標を２進数で表現したときのビット数と同数のパターンであって、各パターンには座標を２進数で表現したときの各ビットが対応づけられるとともに、各パターンの各座標の階調値は当該対応づけられたビットの値に応じた値に設定されている請求項４または５記載の画像処理方法。
7. 前記２進数は、グレイコード（交番２進数）である請求項６記載の画像処理方法。
8. 請求項４ないし７いずれか１項に記載の画像処理方法であって、
   前記所定パターンとして前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンを前記３次元モデルに貼り付けてレンダリングし、
   前記レンダリング済み画像における前記第１ベタ塗りパターンの階調値であるバイアス値を前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す前記画像描画情報として保存し、
   前記保存したバイアス値に基づいて前記所望のテクスチャーの階調値をオフセットすることにより前記レンダリング済み画像の階調値に変換して表示する
   画像処理方法。
9. 前記バイアス値を前記線形圧縮方式により圧縮する請求項８記載の画像処理方法。
10. 請求項４ないし９いずれか１項に記載の画像処理方法であって、
    前記所定パターンとして前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンと最大階調値でベタ塗りしてなる第２ベタ塗りパターンとを前記３次元モデルに貼り付けてそれぞれレンダリングし、
    前記レンダリング済み画像における前記第２ベタ塗りパターンの階調値と前記第１ベタ塗りパターンの階調値との偏差であるゲインを算出して前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す前記画像描画情報として保存し、
    前記保存したゲインに基づいて前記所望のテクスチャーの階調値を前記レンダリング済み画像の階調値に変換して表示する
    画像処理方法。
11. 請求項１０記載の画像処理方法であって、
    前記レンダリング済み画像にｎ枚（ｎは自然数）のテクスチャーを配置して表示する場合には、（ｎ−１）枚の前記第１ベタ塗りパターンと１枚の前記第２ベタ塗りパターンとからなるセットをｎ個設定するとともに各セット毎に前記３次元モデルに前記第２ベタ塗りパターンを貼り付ける箇所が異なる第１のセット群と、ｎ枚の前記第１ベタ塗りパターンからなる第２のセットとをそれぞれセット毎に前記３次元モデルに貼り付けてレンダリングし、
    前記第１のセット群を各セット毎にレンダリングすることにより得られる各レンダリング済み画像の階調値と前記第２のセットをレンダリングすることにより得られるレンダリング済み画像の階調値とを前記第１のセット群の各セット毎に比較することにより、前記３次元モデルにテクスチャーが貼り付けられた領域であるテクスチャー領域を特定し、該特定したテクスチャー領域に対して前記ゲインを算出する
    画像処理方法。
12. 画像をフレーム単位で描画して動画像として表示する請求項１ないし１１いずれか１項に記載の画像処理方法。
13. テクスチャーを３次元モデルに貼り付けてレンダリングしたレンダリング済み画像の座標と前記テクスチャーの座標との対応関係および前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す画像描画情報を取得する画像描画情報取得手段と、
    前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を示す前記画像描画情報を線形圧縮方式により圧縮する圧縮手段と、
    を備える画像処理装置。