JP4468631B2

JP4468631B2 - ３次元顔モデルのためのテクスチャー生成方法及び装置

Info

Publication number: JP4468631B2
Application number: JP2002360184A
Authority: JP
Inventors: 義賢 ▲黄▼
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2001-12-13
Filing date: 2002-12-12
Publication date: 2010-05-26
Anticipated expiration: 2022-12-12
Also published as: EP1320074B1; US7139439B2; US20030113036A1; DE60207367D1; KR100459892B1; KR20030048913A; DE60207367T2; JP2003216971A; EP1320074A2; EP1320074A3

Description

【０００１】
【発明の属する技術分野】
本発明は映像処理に係り、特に、２次元顔映像を３次元顔モデルにマッピングするために必要なテクスチャーを生成するテクスチャー生成方法及び装置に関する。
【０００２】
【従来の技術】
３次元顔モデリングは、難易度が高い。なぜならば、顔は屈曲が激しく、その微妙な変化にも人が容易に違いを感じるからである。一般に、３次元顔モデルは、２種類の用途のために生成される。
【０００３】
第一に、映画等のために３次元顔モデルを生成する。この場合、顔モデルは優れた品質を有しなければならないが、必ずしもリアルタイムにて生成される必要はない。従って、顔モデルに対するテクスチャーを単に大きくすることにより、顔モデルに対するテクスチャーの品質を改善することができる。
【０００４】
第二に、ゲームまたはモバイル装置などをために３次元顔モデルを生成する。この時、モバイル装置は限られたリソースを用いて３次元顔モデルに対するグラフィックを試み、リアルタイムアニメーション、例えば、顔モデルを通じたアバターなどを生成する。しかし、ゲーム機やコンピュータはその性能が良好になるにつれてモバイル装置に比べてリソースを制限しないつつも速い処理速度を有するが、映画に比べては依然としてリアルタイム動作を要するため、限られたリソースを用いざるを得ない。
【０００５】
従来のテクスチャー生成方法として、次のような３つのアプローチがあった。従来の第１のアプローチによるテクスチャー生成方法は、単に円筒座標変換を通じて３次元顔モデルのためのテクスチャーを生成していた。この場合、３次元頭映像に対する全体テクスチャーにおいて、顔映像に対するテクスチャーの占める部分は１／８に過ぎない。すなわち、頭全体において顔映像は頭の上下方向に約５０％を占め、頭の左右方向に約２５％を占める。この時、生成された顔モデルを見て人が主に違いを感じる部分は顔のうち目を中心とする部分であることを考慮した時、従来の第１テクスチャー生成方法は、全体テクスチャーにおいて不要部分に当たるテクスチャーが無駄になるという問題点がある。
【０００６】
従来の第２のアプローチによるテクスチャー生成方法は、３次元顔モデルを生成するために使われるテクスチャーを圧縮するものであるが、テクスチャーを使う前に圧縮されたテクスチャーを復元する別途の装置を必要とする点に問題点を有する。
【０００７】
従来の第３のアプローチによるテクスチャー生成方法は、リソースが限られる場合にテクスチャーの絶対サイズを減らしてしまう方法であるが、３次元顔モデルのためのテクスチャー品質の低下が問題となる。
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、２次元顔映像を３次元顔モデルにマッピングする時に、品質を維持しつつ、別途の装置を必要とせずに、効率的に必要なテクスチャーを生成することである。具体的には、対象となる顔映像の領域中、ユーザの関心がある部分に重点を置きつつ、ユーザの関心がない部分を活用して必要なテクスチャーを生成する３次元顔モデルのためのテクスチャー生成方法を提供することである。
【０００９】
本発明が解決しようとする他の技術的課題は、前記３次元顔モデルのためのテクスチャー生成方法を行う３次元顔モデルのためのテクスチャー生成装置を提供することである。
【００１０】
【課題を解決するための手段】
前記課題を達成するために、本発明による３次元顔モデルのためのテクスチャー生成方法は、（ａ）顔の正面映像及び少なくとも１枚の側面映像に対して標準モデルを変形して生成される変形されたモデル座標を変換関数に代入して所定の中心部を所定の割合で拡大した結果及び前記割合だけ周辺部を縮小した結果からテクスチャー座標を抽出し、前記変形されたモデル座標をピクセル座標に変換する段階と、（ｂ）前記変形されたモデル座標を分析した結果に対応してユーザから提供された前記正面映像及び前記側面映像を前記ピクセル座標により決定されたポリゴン単位に前記テクスチャー座標を用いて補間し、補間された結果を変形されたテクスチャーとして決定する段階とを備え、前記中心部は、前記顔のうち目を中心としてユーザにより設定される領域にあたり、前記周辺部は、前記顔のうち前記中心部を除いた領域に当たることを特徴とする。
【００１１】
前記他の課題を達成するために、本発明による３次元顔モデルのためのテクスチャー生成装置は、顔の正面映像及び少なくとも１枚の側面映像に対して標準モデルを変形して生成された変形されたモデル座標を入力し、入力された前記変形されたモデル座標を変換関数に代入して所定の中心部を所定の割合で拡大し、前記割合だけ周辺部を縮小し、拡大及び縮小された結果をテクスチャー座標として出力するテクスチャー座標抽出部と、前記変形されたモデル座標をピクセル座標に変換し、変換された前記ピクセル座標を出力するピクセル座標抽出部と、前記変形されたモデル座標を分析し、分析された結果に応答して前記正面映像または前記側面映像をユーザより入力し、前記ピクセル座標により決定されたポリゴン単位に前記テクスチャー座標により前記正面映像または側面映像を補間し、補間された結果を変形されたテクスチャーとして出力するテクスチャー変形部とを備え、前記中心部は、前記顔のうち目を中心として前記ユーザにより設定される領域であり、前記周辺部は、前記顔のうち前記中心部を除いた領域に当たることを特徴とする。
【００１２】
【発明の実施の形態】
以下、添付した図面に基づき、本発明による３次元顔モデルのためのテクスチャー生成方法及びその方法を行う本発明によるテクスチャー生成装置の構成及び動作を説明する。
【００１３】
図１は、本発明によるテクスチャー生成方法を説明するためのフローチャートである。図１に示すように、本発明によるテクスチャー生成方法は、テクスチャー座標及びピクセル座標を求める段階（第１０段階）、テクスチャーを変形する段階（第１２段階）及び変形されたテクスチャーを記憶する段階（第１４段階）からなる。図２は、図１に示したテクスチャー生成方法を行う本発明によるテクスチャー生成装置のブロック図である。図２に示すように、本発明によるテクスチャー生成装置は、ピクセル座標抽出部３０、テクスチャー座標抽出部３２、テクスチャー変形部３４及び記憶部３６を含む。図３の（ａ）ないし（ｃ）は、画像の「中心部」を説明するための図面である。
【００１４】
本発明による３次元顔モデルのためのテクスチャー生成方法は、まず、変形されたモデル座標を変換関数に代入して所定の中心部を所定の割合で拡大した結果及び所定の割合だけ周辺部を縮小した結果からテクスチャー座標を抽出し、変形されたモデル座標をピクセル座標に変換する（第１０段階）。ここで、変形されたモデル座標は、顔を正面から撮影した正面映像と顔を側面、すなわち、右側及び／または左側から撮影した側面映像に対して標準モデルを変形して生成する。変形されたモデル座標の生成については、大韓民国特許出願第２０００−９８６７号明細書「２次元顔映像の３次元顔モデルへのテクスチャーマッピング方法及び装置」に開示されている。
【００１５】
本発明によれば、前記中心部は、ユーザの関心がある部分であって、顔のうち目を中心としてユーザにより設定される領域であり、周辺部は、ユーザの関心がない部分であって、顔のうち中心部を除いた領域である。例えば、図３（ａ）に示すように、中心部４０は、顔の中心となる両目の中間点を中心＋として設定される。あるいは、図３（ｂ）に示すように、映像分布の側面で上下には眉毛から顎までを含んで左右には両目の外側端部を含むように、鼻を中心＋として中心部４２が設定される。この時、中心＋は、ユーザにより任意に移動可能である。すなわち、中心部は、ユーザにより任意の移動ができるよう構成されている。例えば、口の部分がより重要であれば、図３（ｃ）に示すように、口を中心＋として中心部４４を設定することができる。
【００１６】
第１０段階を行うために、図２に示すテクスチャー生成装置は、ピクセル座標抽出部３０及びテクスチャー座標抽出部３２を含む。
【００１７】
ここで、ピクセル座標抽出部３０は、入力端子ＩＮ１を介して入力された変形されたモデル座標をピクセル座標に変換し、変換されたピクセル座標をテクスチャー変形部３４に出力する。以下、添付した図面に基づき、図１に示す第１０段階及び図２に示すピクセル座標抽出部３０の本発明による望ましい実施例のいくつかを説明する。
【００１８】
図４は、図１に示す第１０段階に対する本発明による望ましい一実施例１０Ａを説明するためのフローチャートであり、投影及び中心移動を通じて正面映像または側面映像に対するピクセル座標を生成する段階（第５０及び第５２段階）を含む。
【００１９】
まず、正面映像に対する変形されたモデル座標をｘｙ平面に投影する（第５０段階）。第５０段階後に、投影された結果の中心を移動して正面映像に対するピクセル座標を生成し、第１２段階へ進む（第５２段階）。同様に、側面映像に対する変形されたモデル座標をｘｙ平面に投影する（第５０段階）。第５０段階後に、投影された結果の中心を移動して側面映像に対するピクセル座標を生成し、第１２段階へ進む（第５２段階）。
【００２０】
図５は、図４に示す実施例１０Ａを行うピクセル座標抽出部３０の本発明による望ましい一実施例３０Ａのブロック図である。ピクセル座標抽出部３０の本発明による望ましい一実施例３０Ａは、第１及び第２座標変換部６０及び７０を含む。
【００２１】
図５に示す第１座標変換部６０は、入力端子ＩＮ１を介して入力された正面映像に対する変形されたモデル座標をピクセル座標に変換し、変換されたピクセル座標を出力端子ＯＵＴ２を介してテクスチャー変形部３４に出力する。ここで、第１座標変換部６０は、図４に示す実施例１０Ａを行うために、第１投影部６２及び第１中心移動部６４を含む。一方、第１投影部６２は、入力端子ＩＮ１を介して入力された正面映像に対する変形されたモデル座標をｘｙ平面に投影し、投影された結果を第１中心移動部６４に出力する。この時、第１中心移動部６４は、第１投影部６２から入力された投影された結果の中心を移動して正面映像に対するピクセル座標を生成し、生成された正面映像に対するピクセル座標を出力端子ＯＵＴ２を介してテクスチャー変形部３４に出力する。
【００２２】
さらに、第２座標変換部７０は、入力端子ＩＮ１を介して入力された側面映像に対する変形されたモデル座標をピクセル座標に変換し、変換されたピクセル座標を出力端子ＯＵＴ２を介してテクスチャー変形部３４に出力する。このために、第２座標変換部７０は、図４に示す実施例１０Ａを行うために、第２投影部７２及び第２中心移動部７４を含む。ここで、第２投影部７２は、入力端子ＩＮ１を介して入力された側面映像に対する変形されたモデル座標をｘｙ平面に投影し、投影された結果を第２中心移動部７４に出力する。この時、第２中心移動部７４は、第２投影部７２から入力された投影された結果の中心を移動して側面映像に対するピクセル座標を生成し、生成された側面映像に対するピクセル座標を出力端子ＯＵＴ２を介してテクスチャー変形部３４に出力する。
【００２３】
図６は、図１に示す第１０段階に対する本発明による望ましい他の実施例１０Ｂを説明するためのフローチャートである。第１０段階に対する本発明による望ましい他の実施例１０Ｂは、投影及び中心移動を通じて側面映像に対するピクセル座標を生成する段階（第８０及び第８２段階）を含む。
【００２４】
まず、側面映像に対する変形されたモデル座標をｚｙ平面に投影する（第８０段階）。第８０段階後に、投影された結果の中心を移動して側面映像に対するピクセル座標を生成する（第８２段階）。
【００２５】
図７は、図５に示す第２座標変換部７０の本発明による望ましい他の実施例７０Ａのブロック図である。第２座標変換部７０の本発明による望ましい他の実施例７０Ａは、第３投影部９０及び第３中心移動部９２を含む。
【００２６】
図７に示す第２座標変換部７０Ａは、図６に示された実施例１０Ｂを行うために、第３投影部９０及び第３中心移動部９２を含む。ここで、第３投影部９０は、入力端子ＩＮ１を介して入力された側面映像に対する変形されたモデル座標をｚｙ平面に投影し、投影された結果を第３中心移動部９２に出力する。この時、第３中心移動部９２は、第３投影部９０から入力された投影された結果の中心を移動して側面映像に対するピクセル座標を生成し、生成されたピクセル座標を出力端子ＯＵＴ３を介してテクスチャー変形部３４に出力する。
【００２７】
前記第２座標変換部７０は、変形されたモデル座標に当たる変形された標準モデルを側面映像のうちの一枚である右側映像に合わせて右側に回転させるか、あるいは、変形された標準モデルを側面映像のうち他の一枚である左側映像に合わせて左側に回転させる場合、第２投影部７２及び第２中心移動部７４を含む。しかし、変形された標準モデルを右側または左側に回転させない場合、第２座標変換部７０は、第３投影部９０及び第３中心移動部９２を含む。
【００２８】
本発明の一実施例によれば、前記第１、第２または第３中心移動部６４、７４または９２は、中心を移動した結果の座標を切り上げ、切り上げられた座標をピクセル座標として出力する。本発明の他の実施例によれば、第１、第２または第３中心移動部６４、７４または９２は、中心を移動した結果の座標において少数点以下を切り捨て、切り捨てられた結果をピクセル座標として出力する。これら２つの実施例により整数の形のピクセル座標が抽出可能になる。
【００２９】
一方、テクスチャー座標抽出部３２は、入力端子ＩＮ１を介して入力された変形されたモデル座標を変換関数に代入して所定の中心部を所定の割合で拡大し、該拡大した割合だけ周辺部を縮小し、拡大及び縮小された結果をテクスチャー座標としてテクスチャー変形部３４及び記憶部３６に各々出力する。以下、添付した図面に基づき、図１に示す第１０段階及び図２に示すテクスチャー座標抽出部３２の本発明による望ましい実施例の各々を説明する。
【００３０】
図８は、図１に示す第１０段階に対する本発明による望ましいさらに他の実施例１０Ｃを説明するためのフローチャートである。第１０段階に対する本発明による実施例１０Ｃは、座標系を変換する段階（第１００段階）及び変換された座標系で表わされる変形されたモデル座標を変形してテクスチャー座標を求める段階（第１０２段階）を含む。
【００３１】
図９は、図８に示す実施例１０Ｃを行うテクスチャー座標抽出部３２の本発明による一実施例３２Ａのブロック図である。実施例１０Ｃを行うテクスチャー座標抽出部３２の本発明による一実施例３２Ａは、座標変換部１１０及び座標変形部１１２を含む。
【００３２】
図９に示す座標変換部１１０は、入力端子ＩＮ１を介して入力された直交座標系で表わされる変形されたモデル座標（ｘ，ｙ，ｚ）を下記式１のように円筒座標系（ｒ，θ，ｙ_c）に変換し、円筒座標系で表わされる変形されたモデル座標を座標変形部１１２に出力する（第１００段階）。
【００３３】
【数１】

（ここで、θは、−π〜πの範囲内である。）
【００３４】
第１００段階後に、座標変形部１１２は、座標変換部１１０から入力された円筒座標系で表わされる変形されたモデル座標を変換関数に代入して変形し、変形された結果をテクスチャー座標として出力端子ＯＵＴ４を介して出力する（第１０２段階）。
【００３５】
図１０は、座標変形部１１２の実施例を説明するためのグラフであって、横軸は、円筒座標系で表わされる変形されたモデル座標（θ／π，ｙ）を表わし、縦軸は、座標変形部１１２により変形されたモデル座標、すなわち、テクスチャー座標（θ_ｍ，ｙ_ｍ）を表わす。
【００３６】
本発明の第１実施例によれば、図９に示す座標変形部１１２は、座標変換部１１０から入力された円筒座標系で表わされる変形されたモデル座標を図１０に示す変形関数、すなわち、連続関数１３０により変形し、変形された結果をテクスチャー座標として出力端子ＯＵＴ４を介して出力する。図１０に示すように、従来のテクスチャー生成装置による場合、変形されたモデル座標及びテクスチャー座標は一対一の対応関係１３４を有する。しかし、本発明によるテクスチャー生成装置は、変形されたモデル座標を連続関数１３０により原点（０，０）を基準として拡大変形する。
【００３７】
例えば、座標変形部１１２は、円筒座標系において前記式１のように表わされる変形されたモデル座標（ｒ，θ，ｙ_c）を下記式２のように表わされる１次連続関数により変形し、変形された結果をテクスチャー座標（θ_m，ｙ_m）として出力する。
【００３８】
【数２】

【００３９】
ここで、２で除算して０．５を加算した理由は、図１０に示す変形された結果であるテクスチャー座標（θ_m，ｙ_m）を０．０〜１．０の値で表わすためである。
【００４０】
他の例を挙げれば、座標変形部１１２は、円筒座標系において前記式１のように表わされる変形されたモデル座標（ｒ，θ，ｙ_c）を下記式３のように表わされるｔａｎｈ連続関数により変形し、変形された結果をテクスチャー座標（θ_m，ｙ_m）として出力端子ＯＵＴ４を介して出力する。
【００４１】
【数３】

【００４２】
ここで、２で除算して０．５を加算した理由は、図１０に示す変形された結果であるテクスチャー座標（θ_m，ｙ_m）を０．０〜１．０の値で表わすためである。
【００４３】
本発明の第２実施例によれば、座標変形部１１２は、座標変換部１１０から入力された円筒座標系で表わされる変形されたモデル座標を図１０に示された変形関数、すなわち、不連続関数１３２により変形し、変形された結果をテクスチャー座標として出力端子ＯＵＴ４を介して出力する。図１０に示すように、変形されたモデル座標とテクスチャー座標との一対一の対応関係１３４は、不連続関数１３２により原点（０，０）を基準として変形される。例えば、円筒座標系において前記式１のように表わされる変形されたモデル座標（ｒ，θ，ｙ_c）は、１次不連続関数により変形可能である。この場合、１次不連続関数により変形されたテクスチャー座標（θ_m，ｙ_m）において、θ_mは下記式４のように表わすことができる。
【００４４】
【数４】

【００４５】
本発明の第３実施例によれば、座標変形部１１２は、座標変換部１１０からアドレスとして入力された円筒座標系で表わされる変形されたモデル座標（ｒ，θ，ｙ_c）に応答して、記憶されたテクスチャー座標（θ_m，ｙ_m）のうち該当テクスチャー座標を出力端子ＯＵＴ４を介して読み出す所定のテーブル、例えば、ルックアップテーブル（ＬＵＴ：ＬｏｏｋＵｐＴａｂｌｅ）１２０により具現可能である。例えば、テクスチャーの解像度が１００ピクセル×１００ピクセルであれば、０．０〜１．０の範囲を有する変形されたモデル座標に９９を乗算してその範囲を０〜９９に変えることができる。従って、下記表１のようなＬＵＴ１２０により変換された値を再び９９で割れば、所望の変換結果、すなわち、テクスチャー座標を得ることができる。
【００４６】
【表１】

【００４７】
このように、テーブルを用いて変形されたモデル座標からテクスチャー座標を生成する場合、テクスチャー座標の変化の度合いを自由に調整することができるという利点がある。
【００４８】
図１１は、人の頭の形状を示す図面であって、（ａ）は、上から眺めた頭の形状を示し、（ｂ）は、側面から眺めた頭の形状を示す。
【００４９】
図１１（ａ）に示すように、人の頭を上から眺めれば、眉間を基準として左右４５°（＝θ）領域内に中心部が含まれ、図１１（ｂ）に示すように、人の頭を側面から眺めれば、目を基準として上下４５°の領域内に中心部が含まれる。例えば、座標変形部１１２が前記第１実施例の数式２によりテクスチャー座標を生成する場合、図１１（ａ）に示されている全体に対する２５％のθ、すなわち、左右４５°は３８％に拡大され、図１１（ｂ）に示されている全体に対する５０％の上下４５°は７６％に拡大される。従って、顔のうち中心部が占める領域のテクスチャーが１２．５％から２８．９％へと２倍以上拡大される。
【００５０】
前記ピクセル座標抽出部３０及びテクスチャー座標抽出部３２は、ピクセル座標及びテクスチャー座標を同時に抽出する。例えば、図４または図６に示す実施例１０Ａまたは１０Ｂにより正面映像及び側面映像に対するピクセル座標が生成されると同時に、図８に示す実施例１０Ｃにより正面映像及び側面映像に対するテクスチャー座標が生成される。
【００５１】
一方、第１０段階後に、前記変形されたモデル座標を分析した結果に対応してユーザから提供された正面映像及び側面映像をポリゴン単位にテクスチャー座標を用いて補間し、補間された結果を変形されたテクスチャーとして決定する（第１２段階）。このために、テクスチャー変形部３４は、入力端子ＩＮ１を介して入力される変形されたモデル座標を分析し、分析された結果に応答して入力端子ＩＮ２を介して正面映像または側面映像を入力し、テクスチャー座標抽出部３２から入力されたテクスチャー座標を用いて正面映像または側面映像をポリゴン単位に補間し、補間された結果を変形されたテクスチャーとして出力する。ここで、テクスチャー変形部３４は、ピクセル座標抽出部３０から入力されたピクセル座標を用いて正面映像または側面映像のポリゴンを抽出する。また、ここで、入力端子ＩＮ２を介して入力される正面映像または側面映像は、ビデオカムコーダ、デジタルカメラ、スキャナーまたは映像ファイルにより、ユーザから与えることができる。
【００５２】
以下、添付した図面に基づき、図１に示す第１２段階及び図２に示すテクスチャー変形部３４の本発明による望ましい実施例を説明する。
【００５３】
図１２は、図１に示す第１２段階に対する本発明による望ましい一実施例１２Ａを説明するためのフローチャートであって、正面映像及び側面映像からテクスチャー補間値を求める段階（第１４０及び第１４２段階）及び正面映像及び側面映像に対する変形されたテクスチャーを求める段階（第１４４ないし第１４８段階）を含む。
【００５４】
図１３は、図１２に示す実施例１２Ａを行うテクスチャー変形部３４の本発明による望ましい一実施例３４Ａのブロック図である。実施例１２Ａを行うテクスチャー変形部３４の本発明による望ましい一実施例３４Ａは、第１及び第２平均値計算部１６０及び１６２、補償値抽出部１６４、映像入力部１６６、補間部１６８、第１乗算部１７０、テクスチャー生成器１７２及びブレンディング部１７４を含む。
【００５５】
第１０段階後に、ユーザから与えられる正面映像の基準部の周りに位置するピクセルのＲＧＢ平均値である第１平均値、及びユーザから与えられる側面映像の基準部の周りに位置するピクセルのＲＧＢ平均値である第２平均値を求める（第１４０段階）。第１４０段階を行うために、テクスチャー変形部３４Ａは、第１及び第２平均値計算部１６０及び１６２を設ける。ここで、第１平均値計算部１６０は、ユーザから入力端子ＩＮ２を介して入力された正面映像の基準部の周りに位置するピクセルのＲＧＢ平均値である第１平均値を計算し、計算された第１平均値を補償値抽出部１６４に出力する。さらに、第２平均値計算部１６２は、ユーザから入力端子ＩＮ２を介して入力された側面映像の基準部の周りに位置するピクセルのＲＧＢ平均値である第２平均値を計算し、計算された第２平均値を補償値抽出部１６４に出力する。
【００５６】
本発明によれば、第１及び第２平均値計算部１６０及び１６２のうち少なくとも何れか一方は、所定値を超える第１または第２平均値を所定値として決定する。なぜならば、人の皮膚は原色ではないために第１または第２平均値が所定値を超える場合は希であるが、誤りを発生させないためである。
【００５７】
第１４０段階後に、補償値抽出部１６４は、第１平均値計算部１６０から入力された第１平均値と第２平均値計算部１６２から入力された第２平均値との平均値比を計算し、計算された平均値比をテクスチャー補間値として出力する（第１４２段階）。
【００５８】
例えば、入力端子ＩＮ２を介して入力される側面映像が２枚である場合、すなわち、右側映像及び左側映像が入力端子ＩＮ２を介して入力されると仮定する場合、第２平均値計算部１６２及び補償値抽出部１６４の構成及び動作の詳細は、下記の通りである。
【００５９】
図１４は、図１３に示す第２平均値計算部１６２及び補償値抽出部１６４の本発明による望ましい実施例１６２Ａ及び１６４Ａを説明するための図面である。図１４に示すように、第２平均値計算部１６２及び補償値抽出部１６４の本発明による望ましい実施例１６２Ａ及び１６４Ａは、第１平均値計算部１６０、第２平均値計算部１６２Ａ及び補償値抽出部１６４Ａを含む。
【００６０】
前記の仮定下で、第２平均値計算部１６２Ａは、第１及び第２平均値計算器１９０及び１９２を含んでなり、補償値抽出部１６４Ａは、第１及び第２補償値抽出器２００及び２０２を含んでなることができる。ここで、第１平均値計算器１９０は、ユーザから入力端子ＩＮ２を介して入力された側面映像のうち一枚である右側映像の基準部の周りに位置するピクセルのＲＧＢ平均値である第２平均値ΔＲ’，ΔＧ’，ΔＢ’を計算し、計算された第２平均値ΔＲ’，ΔＧ’，ΔＢ’を補償値抽出部１６４Ａに出力する。さらに、第２平均値計算器１９２は、ユーザから入力端子ＩＮ２を介して入力された側面映像のうち他の１枚である左側映像の基準部の周りに位置するピクセルのＲＧＢ平均値である第２平均値ΔＲ”，ΔＧ”，ΔＢ”を計算し、計算された第２平均値ΔＲ”，ΔＧ”，ΔＢ”を補償値抽出部１６４Ａに出力する。照明の影響は顔の左右で大いに現れるので、第１平均値計算器１９０及び第２平均値計算器１９２は、各々独立的に平均値を計算することもできる。
【００６１】
この時、補償値抽出部１６４Ａの第１補償値抽出器２００は、第１平均値計算部１６０から入力された第１平均値ΔＲ，ΔＧ，ΔＢと第１平均値計算器１９０から入力された第２平均値ΔＲ’，ΔＧ’，ΔＢ’との平均値比ＲＲ，ＲＧ，ＲＢを下記式５のように計算し、計算された平均値費ＲＲ，ＲＧ，ＲＢをテクスチャー補間値として出力端子ＯＵＴ６を介して出力する。
【００６２】
【数５】

【００６３】
第２補償値抽出器２０２は、第１平均値計算部１６０から入力された第１平均値ΔＲ，ΔＧ，ΔＢと第２平均値計算器１９２から入力された第２平均値ΔＲ”，ΔＧ”，ΔＢ”との平均値比ＬＲ，ＬＧ，ＬＢを下記式６のように計算し、計算された平均値比ＬＲ，ＬＧ，ＬＢをテクスチャー補間値として出力端子ＯＵＴ６を介して出力する。
【００６４】
【数６】

【００６５】
本発明によれば、前記の仮定とは異なって、入力端子ＩＮ２を介して側面映像が１枚のみ入力される場合、すなわち、入力端子ＩＮ２を介して右側映像または左側映像のみ入力される場合、残りの側面映像は、入力される側面映像を鏡対称に複写して求めることができる。従って、入力端子ＩＮ２を介して１枚の側面映像が入力されるとしても、第２平均値計算部１６２及び補償値抽出部１６４は、図１４に示すように具現されて動作することができる。このために、第２平均値計算部１６２は、映像複写部（図示せず）を別途に設ける。ここで、映像複写部は、入力端子ＩＮ２を介して入力される１枚の側面映像を鏡複写し、鏡複写された結果を入力されていない他の１枚の側面映像として決定する。この時、複写をして残りの側面映像を決定するとしても、正面映像のＲＧＢ、すなわち、輝度分布を基準としてテクスチャーを補償するので、テクスチャーの品質が保障される。
【００６６】
本発明によれば、前記第１平均値計算部１６０及び第２平均値計算部１６２または１６２Ａの各々で求められる第１または第２平均値は、算術平均値またはメディアン平均値に当たる。
【００６７】
前記図１２に示す第１４０及び第１４２段階の役割及び前記基準部について説明すれば、下記の通りである。
【００６８】
入力端子ＩＮ２を介して入力される顔の正面映像及び側面映像は、ほとんどの場合に他の照明及び他の輝度を有する。この時、照明の補償は通常極めて難しい。しかし、第１４０及び第１４２段階を行って生成されたテクスチャー補間値を用いて後述するようにテクスチャーを生成すれば、正面映像と側面映像との輝度差を補償することができる。このために、基準部を適宜に選定しなければならない。例えば、本発明によれば、基準部としては、正面映像及び側面映像においてテクスチャー差があまりない顔の所定部位、例えば、顔の頬を選択することができる。なぜならば、頬の辺りは緩やかな傾斜により正面映像及び側面映像でテクスチャー差が小さいからである。すなわち、頬の辺りの法線ベクトルの方向は顔の正面方向を基準として略４５°傾いており、顔の側面方向を基準として略４５°傾いているため、照明方向の偏差が大きくなければ、正面映像及び側面映像で類似の反射率を示す頬の部位が小さいテクスチャー差を有する。このように基準部として顔の頬を選択する場合、雑映や皮膚斑点等による誤差を減らすことができる。
【００６９】
一方、第１または第２平均値計算部１６０または１６２で第１または第２平均値を計算する時に使われるピクセルの分布領域は、ユーザにより可変可能である。例えば、正面映像または側面映像が５１２ピクセル×５１２ピクセルであり、映像のうち顔が略２５％を占めるとすれば、５ピクセルの直径を有する円に位置するピクセルが第１または第２平均値を計算するために使用できる。
【００７０】
一方、第１４２段階後に、映像入力部１６６は、入力端子ＩＮ１を介して入力された変形されたモデル座標を分析し、分析された結果に応答して入力端子ＩＮ２を介してユーザから正面映像または側面映像を選択的に入力され、入力された正面映像または側面映像を補間部１６８に出力する（第１４４段階）。すなわち、映像入力部１６６は、補間部１６８で補間する映像が正面映像であるか側面映像であるかを決定する役割を果たし、このために、入力端子ＩＮ１を介して入力された変形されたモデル座標を分析する。
【００７１】
第１４４段階後に、正面映像及び側面映像をピクセル座標により決定されたポリゴン単位にテクスチャー座標及びテクスチャー補間値を用いて補間し、補間された結果から変形されたテクスチャーを生成する（第１４６段階）。
【００７２】
本発明の一実施例によれば、第１４６段階を行うために、テクスチャー変形部３４Ａは、補間部１６８、第１乗算部１７０及びテクスチャー生成器１７２を設けることができる。この場合、補間部１６８は、映像入力部１６６から入力された正面映像または側面映像を、ピクセル座標抽出部３０から入力端子ＩＮ３を介して入力されたピクセル座標により決定されたポリゴン単位に、テクスチャー座標抽出部３２から入力端子ＩＮ４を介して入力されたテクスチャー座標及び補償値抽出部１６４から入力されたテクスチャー補間値を用いて補間し、補間された結果を第１乗算部１７０に出力する。この時、第１乗算部１７０は、補間部１６８から入力された補間された結果を補償値抽出部１６４から入力されたテクスチャー補間値と乗算し、乗算された結果をテクスチャー生成器１７２に出力する。テクスチャー生成器１７２は、第１乗算部１７０から入力された乗算された結果から変形されたテクスチャーを生成し、生成された変形されたテクスチャーをブレンディング部１７４に出力する。
【００７３】
この時、図１３に示すように、第１乗算部１７０は、補間部１６８の代わりに補償値抽出部１６４に後続して設けられることができる。この場合、添付した図面に基づき、図２に示すテクスチャー変形部３４の本発明による他の実施例の構成及び動作を説明する。
【００７４】
図１５は、図１２に示す実施例１２Ａを行うテクスチャー変形部３４の本発明による望ましい他の実施例３４Ｂのブロック図である。図１５に示すように、実施例１２Ａを行うテクスチャー変形部３４の本発明による望ましい他の実施例３４Ｂは、第１及び第２平均値計算部１６０及び１６２、補償値抽出部１６４、映像入力部１６６、第２乗算部２１０、補間部２１２、テクスチャー生成器２１４及びブレンディング部２１６を含む。
【００７５】
本発明の他の実施例によれば、第１４６段階を行うために、テクスチャー変形部３４Ｂは、第２乗算部２１０、補間部２１２及びテクスチャー生成器２１４を設けることができる。この場合、第２乗算部２１０は、映像入力部１６６から入力された正面映像または側面映像を補償値抽出部１６４から入力されたテクスチャー補間値と乗算し、乗算された結果を補間部２１２に出力する。この時、補間部２１２は、第２乗算部２１０から入力された乗算された結果を、ピクセル座標抽出部３０から入力端子ＩＮ３を介して入力されたピクセル座標により決定されたポリゴン単位に、テクスチャー座標抽出部３２から入力端子ＩＮ４を介して入力されたテクスチャー座標を用いて補間し、補間された結果をテクスチャー生成器２１４に出力する。この時、テクスチャー生成器２１４は、補間部２１２から入力された補間された結果から変形されたテクスチャーを生成し、生成されたテクスチャーをブレンディング部２１６に出力する。
【００７６】
結局、補間部１６８または２１２は、映像入力部１６６を介して入力された正面映像及び側面映像内のテクスチャーを補間部を介してテクスチャーバッファ（図示せず）に複写する役割を果たす。ここで、テクスチャーバッファは、補間部１６８または２１２に組み込まれることができ、複写されたテクスチャーを一時的に記憶する役割を果たす。さらに、補間部１６８または２１２の補間は、線形補間に当たる。例えば、ポリゴンが三角形である場合、補間部１６８または２１２はポリゴンの３点のうち２辺をなすベクトルを求め、求められたベクトルを用いて線形補間を行うことにより正面映像及び側面映像内のテクスチャーをテクスチャーバッファに複写することができる。この時、テクスチャー生成器１７２または２１４は、第１乗算部１７０または補間部２１２で乗算または補間された結果を入力し、全体のポリゴンに対して入力された乗算または補間された結果を１枚の変形されたテクスチャーとして生成する役割を果たす。
【００７７】
一方、本発明の他の実施例によれば、図１３または図１５に示しているのとは異なって、テクスチャー変形部３４Ａまたは３４Ｂは、第１及び第２平均値計算部１６０及び１６２と補償値抽出部１６４とを設けなくても良い。この場合、図１３に示す補間部１６８は、正面映像または側面映像をポリゴン単位にテクスチャー座標のみを用いて補間し、テクスチャー変形部３４Ａは、第１乗算部１７０を設けない。従って、テクスチャー生成器１７２は、第１乗算部１７０で乗算された結果の代わりに、補間部１６８から入力された補間された結果を用いて変形されたテクスチャーを生成する。さらに、図１５に示す補間部２１２は、正面映像または側面映像をポリゴン単位にテクスチャー座標のみを用いて補間し、テクスチャー変形部３４Ｂは、第２乗算部２１０を設けない。すなわち、補間部２１２は、第２乗算部２１０で乗算された結果の代わりに、映像入力部１６６から入力された正面映像または側面映像をポリゴン単位にテクスチャー座標のみを用いて補間する。
【００７８】
第１４６段階後に、ブレンディング部１７４または２１６は、正面映像に対してテクスチャー生成器１７２または２１４から入力された変形されたテクスチャーと側面映像に対してテクスチャー生成器１７２または２１４から入力された変形されたテクスチャーとの境界に対する変形されたテクスチャーを境界両側の変形されたテクスチャーと混ぜて生成し、境界から両側に向って遠ざかるほど元の変形されたテクスチャーに戻るように変形されたテクスチャーを処理し、このようにして処理された境界映像、正面映像及び側面映像に対する変形されたテクスチャーを出力端子ＯＵＴ５またはＯＵＴ７を介して出力する。このために、ブレンディング部１７４または２１６は、境界両側にある変形されたテクスチャーの平均値を計算し、計算された平均値を境界に対する変形されたテクスチャーとして決定することができる。例えば、ブレンディング部１７４または２１６は、正面映像と側面映像との連結部位で現れる異質感を解消する役割を果たす。
【００７９】
一方、第１２段階後に、記憶部３６は、テクスチャー変形部３４から入力された変形されたテクスチャー、テクスチャー座標抽出部３２から入力されたテクスチャー座標及び入力端子ＩＮ１を介して入力された変形されたモデル座標のうち少なくとも何れか一つを記憶し、記憶されたテクスチャー及び／または座標を出力端子ＯＵＴ１を介して出力する（第１４段階）。この時、変形されたテクスチャー、テクスチャー座標及び変形されたモデル座標は、アニメーションの生成または静止映像の製作のために使用すること、あるいはモバイル装置などにおいて使用することができ、このために、記憶部３６は、ユーザにより指定されたフォーマットにてテクスチャー及び／または座標を記憶する。
【００８０】
図１６は、従来のテクスチャー生成方法及び本発明によるテクスチャー生成方法を比較するための図面であって、図１６（ａ）は、従来のテクスチャー生成方法により生成された３次元映像を２次元で表わした図面であり、図１６（ｂ）は、本発明によるテクスチャー生成方法により生成された３次元映像を２次元で表わした図面である。
【００８１】
同じサイズのテクスチャーを３次元標準モデルに着せる場合、図１６（ａ）に示すように、従来のテクスチャー生成方法により単なる円筒座標系を用いて生成された顔映像は、中心部がぼやけていることが分かる。しかし、本発明のテクスチャー生成方法により中心部を拡大して生成された映像は、図１６（ｂ）に示すように、中心部がはっきりとなったため、図１６（ａ）に示す映像より鮮やかであることが分かる。
【００８２】
【発明の効果】
以上述べたように、本発明による３次元顔モデルのためのテクスチャー生成方法及び装置は、テクスチャーを圧縮しないことから、従来とは異なって、ソフトウェア的にもハードウェア的にも圧縮及び復元のための部分を要さない。さらに、テクスチャー補間値を用いて変形されたテクスチャーを生成することから、照明がやや異なる状況で撮影された正面映像及び側面映像をもっても優れたテクスチャーを生成することができると共に、ポリゴン間の境界を自然に処理することができる。なおかつ、ユーザの主な関心部分、すなわち中心部に対するテクスチャー領域を関心度が低い部分である周辺部に対するテクスチャー領域を用いて広げることにより、限られたリソースを用いて従来の方法より優れたテクスチャーを生成することができ、その結果、一層鮮やかな３次元顔モデルが生成可能になる。
【図面の簡単な説明】
【図１】本発明によるテクスチャー生成方法を説明するためのフローチャートである。
【図２】図１に示すテクスチャー生成方法を行う本発明によるテクスチャー生成装置のブロック図である。
【図３】（ａ）ないし（ｃ）は、中心部を説明するための図面である。
【図４】図１に示す第１０段階に対する本発明による望ましい一実施例を説明するためのフローチャートである。
【図５】図４に示す実施例を行うピクセル座標抽出部の本発明による望ましい一実施例のブロック図である。
【図６】図１に示す第１０段階に対する本発明による望ましい他の実施例を説明するためのフローチャートである。
【図７】図５に示す第２座標変換部の本発明による望ましい他の実施例のブロック図である。
【図８】図１に示す第１０段階に対する本発明による望ましいさらに他の実施例を説明するためのフローチャートである。
【図９】図８に示す実施例を行うテクスチャー座標抽出部の本発明による一実施例のブロック図である。
【図１０】座標変形部の実施例を説明するためのグラフである。
【図１１】（ａ）及び（ｂ）は、人の頭の形状を示す図面である。
【図１２】図１に示す第１２段階に対する本発明による望ましい一実施例を説明するためのフローチャートである。
【図１３】図１２に示す実施例を行うテクスチャー変形部の本発明による望ましい一実施例のブロック図である。
【図１４】図１３に示す第２平均値計算部及び補償値抽出部の本発明による望ましい実施例を説明するための図面である。
【図１５】図１２に示す実施例を行うテクスチャー変形部の本発明による望ましい他の実施例のブロック図である。
【図１６】（ａ）及び（ｂ）は、従来のテクスチャー生成方法及び本発明によるテクスチャー生成方法を比較するための図面である。

Claims

少なくとも入力端子、処理装置、記憶装置、入力装置を含むコンピュータシステムに、
（ａ）前記処理装置が、前記入力端子から顔の正面映像及び少なくとも１枚の側面映像に対して標準モデルを変形したモデルのモデル座標を生成し、生成された前記モデル座標を変換関数に代入することにより、中心部が周辺部より拡大されるようにマッピングされたテクスチャー座標とを得るとともに、前記変形されたモデルのモデル座標をピクセル座標に変換する段階と、
（ｂ）前記処理装置が、ユーザから提供された前記正面映像及び前記側面映像を、前記ピクセル座標により決定されたポリゴン単位に、前記テクスチャー座標を用いて補間し、補間された映像を前記変形されたモデルのテクスチャーとして決定し、前記記憶装置に記憶する段階とを実行し、
前記中心部は、前記顔のうち目を中心としてユーザにより設定される領域であり、前記周辺部は、前記顔のうち前記中心部を除いた領域に当たることを特徴とする３次元顔モデルのためのテクスチャー生成方法。
前記テクスチャー生成方法は、
前記（ｂ）段階後に、前記変形されたテクスチャー、前記テクスチャー座標及び前記変形されたモデルのモデル座標のうち少なくとも何れか一つを記憶する段階を前記コンピュータシステムの前記処理装置に実行させることを特徴とする請求項１に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ａ）段階は、
（ａ１）前記正面映像または前記側面映像に対する前記変形されたモデルのモデル座標をｘｙ平面に投影する段階と、
（ａ２）投影された結果の中心を移動して前記正面映像または前記側面映像に対する前記ピクセル座標を生成する段階とをコンピュータに実行させることを特徴とする請求項１に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ａ）段階は、
（ａ３）前記側面映像に対する前記変形されたモデルのモデル座標をｚｙ平面に投影する段階と、
（ａ４）投影された結果の中心を移動して前記側面映像に対する前記ピクセル座標を生成する段階とを前記コンピュータシステムの前記処理装置に実行させることを特徴とする請求項１に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ｂ）段階は、
（ｂ１）前記変形されたモデルのモデル座標に応じて前記正面映像または前記側面映像を選択的に受け入れる段階と、
（ｂ２）選択的に受け入れられた前記正面映像または前記側面映像を前記ポリゴン単位に前記テクスチャー座標を用いて補間して前記変形されたテクスチャーを生成する段階とを前記コンピュータシステムの前記処理装置に実行させることを特徴とする請求項１に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ｂ）段階は、
（ｂ３）前記ユーザから与えられる前記正面映像の基準部の周りに位置するピクセルのＲＧＢ平均値である第１平均値、及び前記ユーザから与えられる前記側面映像の前記基準部の周りに位置するピクセルのＲＧＢ平均値である第２平均値を求める段階と、
（ｂ４）前記第１平均値と前記第２平均値との比をテクスチャー補間値として求め、前記（ｂ１）段階へ進む段階とをさらに前記コンピュータシステムの前記処理装置に実行させ、
前記基準部は、前記顔部位のうち前記正面映像及び前記側面映像間で最も少ないテクスチャー差を有する部位に該当し、
前記（ｂ２）段階は、前記正面映像または前記側面映像を補間する時に前記テクスチャー補間値を用いることを特徴とする請求項５に記載の３次元顔モデルのためのテクスチャー生成方法。
前記基準部は、前記顔の頬に当たることを特徴とする請求項６に記載の３次元顔モデルのためのテクスチャー生成方法。
前記第１平均値及び前記第２平均値の各々は、算術平均値に当たることを特徴とする請求項６に記載の３次元顔モデルのためのテクスチャー生成方法。
前記第１平均値及び前記第２平均値の各々は、メディアン平均値に当たることを特徴とする請求項６に記載の３次元顔モデルのためのテクスチャー生成方法。
前記第１平均値及び前記第２平均値のうち所定値を超える平均値は、前記所定値として決定されることを特徴とする請求項６に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ｂ）段階は、
（ｂ５）前記（ｂ２）段階後に、前記補間された結果を前記テクスチャー補間値と乗算し、乗算された結果を用いて前記変形されたテクスチャーを生成する段階をさらに前記コンピュータシステムの前記処理装置に実行させることを特徴とする請求項６に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ｂ）段階は、
（ｂ６）前記（ｂ１）段階後に、選択的に受け入れられた前記正面映像または前記側面映像を前記テクスチャー補間値と乗算し、前記（ｂ２）段階へ進む段階をさらに前記コンピュータシステムの前記処理装置に実行させ、
前記（ｂ２）段階は、前記（ｂ６）段階で乗算された結果を前記ポリゴン単位に前記テクスチャー座標を用いて補間して前記変形されたテクスチャーを生成することを特徴とする請求項６に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ｂ）段階は、
前記（ｂ２）段階後に、前記正面映像に対する前記変形されたテクスチャーと前記側面映像に対する前記変形されたテクスチャーとの境界に対する前記変形されたテクスチャーを前記境界両側の前記変形されたテクスチャーと境界両側に存する変形されたテクスチャーの平均値を計算し、計算された平均値を境界に対する変形されたテクスチャーで決定することを特徴とする請求項６に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ａ）段階は、
（ａ５）直交座標系で表わされる前記変形されたモデルのモデル座標を円筒座標系に変換する段階と、
（ａ６）変換された前記円筒座標系で表わされる前記変形されたモデルのモデル座標を変形して前記テクスチャー座標を抽出する段階とを前記コンピュータシステムの前記処理装置に実行させることを特徴とする請求項１に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ａ６）段階は、
変換された前記円筒座標系で表わされる前記変形されたモデルのモデル座標を連続関数により変形し、変形された結果を前記テクスチャー座標として決定することを特徴とする請求項１４に記載の３次元顔モデルのためのテクスチャー生成方法。
前記円筒座標系で表わされる前記変形されたモデルのモデル座標（ｒ，θ，ｙ_c）は、下記のように表わされる１次連続関数により変形されることを特徴とする請求項１５に記載の３次元顔モデルのためのテクスチャー生成方法。

（ここで、θ_m及びｙ_mは、前記テクスチャー座標を表わす。）
前記円筒座標系で表わされる前記変形されたモデルのモデル座標(ｒ,θ,ｙ_c)は、下記のように表わされるｔａｎｈ連続関数により変形されることを特徴とする請求項１５に記載の３次元顔モデルのためのテクスチャー生成方法。

（ここで、θ_m及びｙ_mは、前記テクスチャー座標を表わす。）
前記（ａ６）段階は、
変換された前記円筒座標系で表わされる前記変形されたモデルのモデル座標を不連続関数により変形し、変形された結果を前記テクスチャー座標として決定することを特徴とする請求項１４に記載の３次元顔モデルのためのテクスチャー生成方法。
前記（ａ６）段階は、
変換された前記円筒座標系で表わされる前記変形されたモデルのモデル座標を所定テーブルにより変形し、変形された結果を前記テクスチャー座標として決定することを特徴とする請求項１４に記載の３次元顔モデルのためのテクスチャー生成方法。
顔の正面映像及び少なくとも１枚の側面映像に対して標準モデルを変形したモデルのモデル座標を生成し、生成された前記モデル座標を変換関数に代入することにより、中心部が周辺部より拡大されるようにマッピングされたテクスチャー座標を出力するテクスチャー座標抽出部と、
前記変形されたモデルのモデル座標をピクセル座標に変換し、変換された前記ピクセル座標を出力するピクセル座標抽出部と、
前記正面映像または前記側面映像をユーザより入力し、前記ピクセル座標により決定されたポリゴン単位に、前記テクスチャー座標により前記正面映像または側面映像を補間し、補間された映像を前記変形されたモデルのテクスチャーとして出力するテクスチャー変形部とを備え、
前記中心部は、前記顔のうち目を中心として前記ユーザにより設定される領域であり、前記周辺部は、前記顔のうち前記中心部を除いた領域に当たることを特徴とする３次元顔モデルのためのテクスチャー生成装置。
前記テクスチャー生成装置は、
前記テクスチャー変形部から入力された前記変形されたテクスチャー、前記テクスチャー座標抽出部から入力された前記テクスチャー座標及び前記変形されたモデルのモデル座標のうち少なくとも何れか一つを記憶する記憶部をさらに備えることを特徴とする請求項２０に記載の３次元顔モデルのためのテクスチャー生成装置。
前記ピクセル座標抽出部は、
前記正面映像に対する前記変形されたモデルのモデル座標を前記ピクセル座標に変換し、変換された前記ピクセル座標を出力する第１座標変換部と、
前記側面映像に対する前記変形されたモデルのモデル座標を前記ピクセル座標に変換し、変換された前記ピクセル座標を前記テクスチャー変形部に出力する第２座標変換部とを備えることを特徴とする請求項２０に記載の３次元顔モデルのためのテクスチャー生成装置。
前記第１座標変換部は、
前記正面映像に対する前記変形されたモデルのモデル座標をｘｙ平面に投影し、投影された結果を出力する第１投影部と、
前記第１投影部から入力された前記投影された結果の中心を移動して前記正面映像に対して生成された前記ピクセル座標を前記テクスチャー変形部に出力する第１中心移動部とを備えることを特徴とする請求項２２に記載の３次元顔モデルのためのテクスチャー生成装置。
前記第２座標変換部は、
前記側面映像に対する前記変形されたモデルのモデル座標をｘｙ平面に投影し、投影された結果を出力する第２投影部と、
前記第２投影部から入力された前記投影された結果の中心を移動して前記側面映像に対して生成された前記ピクセル座標を前記テクスチャー変形部に出力する第２中心移動部とを備えることを特徴とする請求項２２に記載の３次元顔モデルのためのテクスチャー生成装置。
前記第２座標変換部は、
前記側面映像に対する前記変形されたモデルのモデル座標をｚｙ平面に投影し、投影された結果を出力する第３投影部と、
前記第３投影部から入力された前記投影された結果の中心を移動して前記側面映像に対して生成された前記ピクセル座標を前記テクスチャー変形部に出力する第３中心移動部とを備えることを特徴とする請求項２２に記載の３次元顔モデルのためのテクスチャー生成装置。
前記テクスチャー変形部は、
前記変形されたモデルのモデル座標を分析し、分析された結果に応答して前記正面映像または前記側面映像を選択的に前記ユーザから入力される映像入力部と、
前記映像入力部から入力された前記正面映像または前記側面映像を前記ピクセル座標により決定された前記ポリゴン単位に前記テクスチャー座標を用いて補間し、補間された結果を出力する補間部と、
前記補間部から入力された前記補間された結果から前記変形されたテクスチャーを生成し、生成された前記変形されたテクスチャーを出力するテクスチャー生成器とを備えることを特徴とする請求項２０に記載の３次元顔モデルのためのテクスチャー生成装置。
前記テクスチャー変形部は、
前記ユーザから入力された前記正面映像の基準部の周りに位置するピクセルのＲＧＢ平均値である第１平均値を計算する第１平均値計算部と、
前記ユーザから入力された前記側面映像の前記基準部の周りに位置するピクセルのＲＧＢ平均値である第２平均値を計算する第２平均値計算部と、
前記第１平均値と前記第２平均値との比を計算し、計算された前記比をテクスチャー補間値として出力する補償値抽出部とをさらに備え、
前記基準部は、前記顔部位のうち前記正面映像及び前記側面映像間で最も少ないテクスチャー差を有する部位に該当し、
前記補間部は、前記正面映像または前記側面映像を補間する時に前記テクスチャー補間値を用いることを特徴とする請求項２６に記載の３次元顔モデルのためのテクスチャー生成装置。
前記第１及び前記第２平均値計算部のうち少なくとも何れか一方は、所定値を超える第１または第２平均値を前記所定値として決定することを特徴とする請求項２７に記載の３次元顔モデルのためのテクスチャー生成装置。
前記第２平均値計算部は、
前記ユーザから入力された前記側面映像の一つである右側映像の前記基準部の周りに位置するピクセルのＲＧＢ平均値である前記第２平均値を計算し、計算された前記第２平均値を前記補償値抽出部に出力する第１平均値計算器と、
前記ユーザから入力された前記側面映像の他の一枚である左側映像の前記基準部の周りに位置するピクセルのＲＧＢ平均値である前記第２平均値を計算し、計算された前記第２平均値を前記補償値抽出部に出力する第２平均値計算器とを備えることを特徴とする請求項２７に記載の３次元顔モデルのためのテクスチャー生成装置。
前記補償値抽出部は、
前記第１平均値計算部から入力された前記第１平均値と前記第１平均値計算器から入力された前記第２平均値との前記平均値比を計算し、計算された前記平均値比を前記テクスチャー補間値として出力する第１補償値抽出器と、
前記第１平均値計算部から入力された前記第１平均値と前記第２平均値計算器から入力された前記第２平均値との前記平均値比を計算し、計算された前記平均値比を前記テクスチャー補間値として出力する第２補償値抽出器とを備えることを特徴とする請求項２９に記載の３次元顔モデルのためのテクスチャー生成装置。
前記テクスチャー変形部は、
前記補間部から入力された前記補間された結果を前記補償値抽出部から入力された前記テクスチャー補間値と乗算し、乗算された結果を前記テクスチャー生成器に出力する第１乗算部をさらに備え、
前記テクスチャー生成器は、前記第１乗算部から入力された前記乗算された結果から前記変形されたテクスチャーを生成することを特徴とする請求項２７に記載の３次元顔モデルのためのテクスチャー生成装置。
前記テクスチャー変形部は、
前記映像入力部から入力された前記正面映像または前記側面映像を前記補償値抽出部から入力された前記テクスチャー補間値と乗算し、乗算された結果を前記補間部に出力する第２乗算部をさらに備え、
前記補間部は、前記第２乗算部から入力された前記乗算された結果を前記ポリゴン単位に前記テクスチャー座標により補間することを特徴とする請求項２７に記載の３次元顔モデルのためのテクスチャー生成装置。
前記テクスチャー変形部は、
前記正面映像に対して前記テクスチャー生成器から入力された前記変形されたテクスチャーと前記側面映像に対して前記テクスチャー生成器から入力された前記変形されたテクスチャーとの境界に対する前記変形されたテクスチャーを前記境界両側の前記変形されたテクスチャーと境界両側に存する変形されたテクスチャーの平均値を計算し、計算された平均値を境界に対する変形されたテクスチャーで決定するブレンディング部をさらに備えることを特徴とする請求項２７に記載の３次元顔モデルのためのテクスチャー生成装置。
前記テクスチャー座標生成部は、
直交座標系で表わされる前記変形されたモデルのモデル座標を円筒座標系に変換し、変換された前記円筒座標系を出力する座標変換部と、
前記座標変換部から入力された前記変形されたモデルのモデル座標を変形し、変形された結果を前記テクスチャー座標として出力する座標変形部とを備えることを特徴とする請求項２０に記載の３次元顔モデルのためのテクスチャー生成装置。
前記座標変形部は、前記座標変換部から入力された前記変形されたモデルのモデル座標を連続関数により変形し、変形された結果を前記テクスチャー座標として出力することを特徴とする請求項３４に記載の３次元顔モデルのためのテクスチャー生成装置。
前記座標変形部は、前記座標変換部から入力された前記変形されたモデルのモデル座標（ｒ，θ，ｙ_c）を下記のように表わされる１次連続関数により変形することを特徴とする請求項３５に記載の３次元顔モデルのためのテクスチャー生成装置。

（ここで、θ_m及びｙ_mは、前記テクスチャー座標を表わす。）
前記座標変形部は、前記座標変換部から入力された前記変形されたモデルのモデル座標（ｒ，θ，ｙ_c）を下記のように表わされるｔａｎｈ連続関数により変形することを特徴とする請求項３５に記載の３次元顔モデルのためのテクスチャー生成装置。
前記座標変形部は、前記座標変換部から入力された前記変形されたモデルのモデル座標を不連続関数により変形し、変形された結果を前記テクスチャー座標として出力することを特徴とする請求項３４に記載の３次元顔モデルのためのテクスチャー生成装置。
前記座標変形部は、前記座標変換部からアドレスとして入力された前記変形されたモデルのモデル座標に応答して、記憶された前記テクスチャー座標のうち該当テクスチャー座標を読み出すルックアップテーブルを備えることを特徴とする請求項３４に記載の３次元顔モデルのためのテクスチャー生成装置。