JP4950787B2

JP4950787B2 - 画像処理装置及びその方法

Info

Publication number: JP4950787B2
Application number: JP2007183610A
Authority: JP
Inventors: 達夫小坂谷
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-07-12
Filing date: 2007-07-12
Publication date: 2012-06-13
Anticipated expiration: 2027-07-12
Also published as: US20090262989A1; US8086027B2; JP2009020761A

Description

本発明は、認識対象の個人差や部分的な変形が吸収された３次元モデルを構築する画像処理装置及びその方法に関する。

実用的な顔画像認識技術の開発のためには、非正面の顔や表情変化のある顔についても適切に対応する必要があるため、姿勢や変形に対する顔の見え（パターン）の変化を正規化することが重要な課題となっている。また、コストの面からも３次元形状を直接的に計測するレンジファインダやステレオ装置などの特殊な機材は好ましくなく、応用可能な範囲を広げるためにも画像１枚のみから処理が可能であることが望ましい。

そのため、特許文献１によれば、入力画像と３次元モデルとの間の対応関係を複数の共通する特徴点を用いて計算することにより、入力画像１枚のみから、画面内の回転やサイズのような２次元的な変形だけでなく、顔の姿勢変化のような３次元的な変形についても正規化された画像を生成し、認識を行う方法が述べられている。

しかし、処理すべき顔画像と３次元モデルの形状が同一ではない場合には個人差による影響がある。また、処理対象の顔が笑っているなどの部分的な変形を含む場合には、単一の３次元モデルでは表現できないため、対応関係の計算に誤差が生じ、認識精度が低下する可能性があった。
特開２００７−４７６７公報

上記したように、従来技術には、個人差や表情変化などの顔の部分的な変形により、うまく入力画像と３次元モデルとの対応関係を計算することができない問題点があった。

そこで本発明は、上記問題点を解決するためになされたものであって、入力画像の２次元位置と３次元モデルの３次元位置との対応関係を求めることができる画像処理装置及びその方法を提供することを目的とする。

本発明は、対象物体が写った画像を入力する画像入力部と、３次元モデルの形状を表す情報と、前記３次元モデル上の同一平面上に存在しない４点以上の基準特徴点の３次元位置を格納する格納部と、前記対象物体に関し、かつ、前記複数の基準特徴点に対応する複数の特徴点を、前記入力画像から抽出する抽出部と、（１）前記基準特徴点と関連付けされ、（２）前記３次元モデル上に存在する複数の局所的な領域である複数の注目領域を設定する設定部と、前記抽出された特徴点と、前記注目領域に関する基準特徴点とを用いて、前記入力画像の２次元位置と前記注目領域の３次元位置との対応関係を、前記注目領域毎に求める計算部と、前記注目領域毎の対応関係に基づいて、前記入力画像の各領域に少なくとも一つの前記注目領域をそれぞれ対応させて、前記注目領域に対応する３次元モデルの３次元位置のピクセル値を、前記入力画像の２次元位置のピクセル値に決定する決定部と、を有する画像処理装置である。

本発明によれば、入力画像の２次元位置と３次元モデルの３次元位置との対応関係を求めることができる。

以下、本発明に係わる実施形態の画像処理装置１０について図面に基づいて説明する。

（第１の実施形態）
以下、第１の実施形態の画像処理装置１０について図１〜図４に基づいて説明する。本実施形態の画像処理装置１０は、人間の顔を認識する認識装置である。

（１）画像処理装置１０の構成
図１は、画像処理装置１０の構成を示すブロック図である。

画像処理装置１０は、対象となる人物の顔を入力する画像入力部１２と、入力された画像から複数の特徴点を抽出する特徴点抽出部１４と、３次元モデルと３次元モデル上の基準特徴点座標を記憶しておく３次元モデル保持部１６と、３次元モデルから注目領域を設定する注目領域設定部１８と、抽出された特徴点と注目領域に属する基準特徴点を用いて入力画像と注目領域との対応関係を推定する対応関係計算部２０と、画像と対応付けられた注目領域を統合する３次元モデル統合部２２と、３次元モデル統合部２２で統合された３次元モデルに基づいて正規化画像を生成する正規化画像生成部２４と、正規化された画像を用いて画像間のマッチングを行う認識部２６とを備えている。

なお、各部１４〜２６の機能は、コンピュータに格納されたプログラムによっても実現可能である。

次に、画像処理装置１０の動作について図２に基づいて説明する。

（２）画像入力部１４
画像入力部１２は、処理対象となる顔画像を入力する。画像入力部１２より得られた画像は、特徴点抽出部１４に逐次送られる。

画像入力部１２を構成する装置の一つの例として、ＵＳＢカメラやデジタルカメラ等が挙げられる。また、予め撮影、保存された顔画像データを保持している記録装置やビデオテープ、ＤＶＤなどを用いても良いし、顔写真をスキャンするスキャナでも良い。ネットワーク等を経由して画像を入力しても構わない。

（３）特徴点抽出部１４
特徴点抽出部１４では、顔特徴点として、画像中の顔部位の座標が検出される。

顔特徴点の検出はどのような方法を用いても構わないが、例えば、非特許文献１（湯浅，武口，小坂谷，山口，「静止画顔認証のための自動顔特徴点抽出」，信学技報PRMU2006-222,pp.5-10,2007.）で述べられている方法を用いて検出することができる。

検出する特徴点は、同一平面上に存在しない４点以上の点であれば、瞳、眉毛、鼻孔、口端など、顔のどのような部位でも良い。

但し、ここで抽出された特徴点を対応付けの際の基準点として用いるため、参照したい注目領域近傍に特徴点が存在していることが望ましい。

（４）３次元モデル保持部１６
３次元モデル保持部１６では、顔の３次元的な情報と、基準特徴点座標が保持されている。なお、顔の３次元的な情報とは、顔の立体的なモデルを構成する３次元位置情報である。また、基準特徴点座標の情報には、特徴点抽出部１４により抽出される特徴点の種類も含まれている。

例えば、特徴点抽出部１４で瞳、眉毛、鼻孔、口端が抽出された場合には、少なくとも基準特徴点にも瞳、眉毛、鼻孔、口端が含まれる。

また、顔の３次元情報は複数人の顔の形状から作成する平均形状や、一般的な顔を表現するような一般形状でも良いし、個人毎の顔形状が得られている場合には、それを用いても良い。

また、複数の３次元モデルや基準特徴点を保持していても良い。

（５）注目領域設定部１８
注目領域設定部１８では、３次元モデル保持部１６で保持されている３次元モデルに対し、任意に定義された局所的な注目領域を設定する。この設定のときに注目領域内に顔特徴点が属するようにする。

注目領域の位置やサイズには特に制限はないが、注目領域に属する顔特徴点が少ないと、後段の対応関係の計算が不安定となる可能性がある。そのため、領域のサイズと構成する特徴点数とのバランスが重要であると考えられる。

例えば、図３に示すように、３次元モデルを上下半分及び左右半分に分割した領域と顔領域全体の計５個の注目領域を用いても良いし、目や鼻や口といった部位毎に注目領域を設定することも可能である。

また、この注目領域はそれぞれが重なっていても良いし、重なっていなくても良い。

なお、注目領域に属する顔特徴点は、必ずしも注目領域内に存在する必要はない。例えば、目の近傍に対して注目領域を設定した場合でも、口の端点などの特徴点を用いても構わず、注目領域と顔特徴点とが関連付けされていればよい。

また、これら注目領域に属する特徴点は、任意に組み合わせることが可能である。

（６）対応関係計算部２０
対応関係計算部２０では、注目領域設定部１８で設定された注目領域毎に、入力画像上の顔との対応関係を計算する。

どのように対応関係を求めても良いが、ここでは例として、入力画像と３次元モデル上の特徴点との間の対応関係を表す射影行列を求める方法について述べる。

まず、３次元モデル上に設定された注目領域の総数をＭとしたときに、ｉ番目の注目領域に属している特徴点数をＮｉ個とし、入力画像にも同数の対応する特徴点が検出されているとする。このとき、計測行列Wｉは２×Ｎｉ行列、形状行列Ｓｉは３×Ｎｉ行列として以下の（１）式で定義できる。

ここで、（ｕ_ｉｊ，ｖ_ｉｊ）はｉ番目の注目領域におけるｊ番目の入力画像上の特徴点、（ｕ’_ｉｊ，ｖ’_ｉｊ）は特徴点から特徴点の重心を引いた座標である。同様に（ｘ_ｉｊ，ｙ_ｉｊ，ｚ_ｉｊ）はｉ番目の３次元形状モデル上の基準特徴点、（ｘ’_ｉｊ，ｙ’_ｉｊ，ｚ’_ｉｊ）は特徴点から基準特徴点の重心を引いた座標である。

このとき、非特許文献２（C. Tomasi and T. Kanade, Shape and motion from image streams under orthography: A factorization method. Int. J. of Computer Vision,Vol.9,Ｎo.2,pp.137-154,1992.）によれば、運動行列Ｍｉは計測行列Ｗｉと形状行列Ｓｉを用いて以下の（２）式で表すことができる。

この射影行列Ｍｉを注目領域設定部１８において設定されたＭ個の注目領域の全てについてそれぞれ計算することで、注目領域毎の画像との対応関係が計算される。

（７）３次元モデル統合部２２
３次元モデル統合部２２では、対応関係計算部２０において計算された注目領域毎の画像との対応関係を統合し、対照となる顔に対して当てはめを行って、最終的な３次元モデルを計算する。

まず、注目領域が選択され、入力画像との対応関係を表す射影行列Ｍｉが得られれば、以下の（３）式から３次元モデル上の座標から入力画像上の座標への写像を計算することができる。

最終的な３次元モデルから入力画像への対応点は、（４）式に示す写像した座標（ｕ_ｉｊ，ｖ_ｉｊ）の重み付け和により求めることができる。

但し、ｗ_ｉｊは各注目領域を構成する３次元モデル上の座標毎に設定された重みで、各注目領域（ｉ＝１〜Ｍ）に対する重みの総和が１という制約（すなわち、Σｗ_ｉｊ＝１である）を満たす値である。

この重みは、ある注目領域の境界付近の座標を写像した際に、隣接する他の注目領域を写像した結果との不整合を抑制するために用いる。

（７−１）統合例１
図４に注目領域毎に計算した対応点を統合する例を示す。

まず、各注目領域上に共通する同一座標（図４ではまぶた付近）に対し、それぞれ（４）式に基づいて入力画像上の対応点を計算する。

次に、この入力画像上の対応点を重み付け和することにより、前述した図４の３次元モデルのまぶた付近の点に対する入力画像上の最終的な対応点が決定する（図４ではｘ印で表現する）。

次に、これを３次元モデル上の全ての点に対して適用することにより、３次元モデルを構成する全ての点に対する入力画像上の対応点を求めることができる。

（７−２）統合例２
このとき、座標を重み付けして統合する以外に、注目領域毎に正規化画像を生成し、その後に画素値を重み付けして統合する方法も考えられる。これは、特許文献１で述べられている方法を注目領域毎に単純に複数回適用し、生成した正規化画像を重み付け和することと等価である。

この方法を「画像ベースの統合」と仮に呼称する。本実施形態で用いる統合方法と画像ベースの統合は一見似ているが、最終的に得られる正規化画像は大きく異なることに注意が必要である。

なぜならば、注目領域毎に計算した入力画像上の座標値は、３次元モデルが入力された形状を近似的に表現可能であれば、基本的には真の対応点と大きな誤差は生じないと期待できる。しかし、画素値は連続値を取るとは限らないため、座標がわずかにずれただけでも値が大きく変動する可能性がある。

例えば、図４のまぶた付近の対応点を計算した場合、仮に座標の計算に誤差が生じ、眉毛上の点に対応付けられてしまうと、画素値は本来の肌色から眉毛の色へと大きく変化する。また、この画素値の重み付け和を求めても画素値の誤差の影響は抑制できない。

それに対し、本実施形態の方法によれば、座標値を基準として重み付け和を行うことで、注目領域毎の対応付け誤差に依存せずに３次元モデルの最終的な統合処理を行うことが可能である。

また、特許文献１との比較という観点で注目すべき利点として、入力された顔が姿勢変化などによって隠れ領域が発生している場合に、注目領域毎に対応関係を計算することで、より安定に処理可能であるという点が挙げられる。例えば、顔が左右に向いているなどの理由で特徴点のうち目尻が画像からうまく抽出できない、あるいは検出誤差が生じるという場合がある。

このとき、従来のように全ての特徴点を用いて単一の３次元モデルで対応関係を計算すると、目尻の検出誤差が対応付け全てに対して影響を与えてしまう。一方、本実施形態の方法では、３次元モデルは複数の注目領域から構成されるため、一部の特徴点に検出誤差があっても、他の注目領域には誤差は伝播しない。従って、特許文献１の方法と比較して、隠れなどによる検出誤差に対して安定に処理することが可能である。

（７−３）統合の変更例
なお、重み付け和の係数ｗ_ｉｊは、注目領域毎に予め決めてあっても良い。

また、重み付け和の係数ｗ_ｉｊは、特徴点検出の信頼度に応じて変化させても良い。

また、特徴点検出の信頼度は、３次元モデルとのマッチング誤差に基づいて計算しても良い。

また、事前に手入力した特徴点と自動的に検出した特徴点との差を計算しておき、その標準偏差などを考慮して特徴点毎に信頼度を決定しておいても良い。

特徴点毎に信頼度を求めた場合には、注目領域における信頼度は、例えば、特徴点毎の信頼度の平均値や最大値などによって求めることが可能である。

これらの重みを適応的に設定することで、３次元モデルの入力画像に対する局所的な変形への追従度を調整することが可能となる。

（８）正規化画像生成部２４
正規化画像生成部２４では、３次元モデル統合部２２で計算した３次元モデルと入力画像との位置の対応関係に基づいて、正規化画像を生成する。

３次元モデル上の座標（Ｘ，Ｙ，Ｚ）におけるピクセル値ＩＭ（Ｘ，Ｙ，Ｚ）と対応する入力画像上の座標（ｕ，ｖ）に従ってピクセル値Ｉ（ｕ，ｖ）とすればよい。

また、計算された入力画像上の座標（ｕ，ｖ）は実数であるのに対し、入力画像のピクセル値は離散的（整数値）な座標のみにしか設定されていない場合は、（ｕ，ｖ）のピクセル値をサブピクセル推定（リサンプリング）することによって、より正確な画素値を計算することも可能である。

リサンプリングは多種多様な方法が存在し、例えば、単純に（ｕ，ｖ）の小数部分を切り捨てて代入するニアレストネイバー法や、バイリニア法などが良く知られている。もちろん、この他のいかなるリサンプリング方法を用いても構わない。

（９）認識部２６
認識部２６では、正規化画像生成部２４で得られた正規化画像（顔パターン）と、予め保存されている登録辞書との認識処理を行う。

正規化画像生成部２４により、姿勢と変形が正規化されている顔パターンが得られており、顔の部位も基準特徴点として得られているため、この認識部２６ではこれまで提案されている任意のパターン認識方法が適用可能である。

例えば、よく知られる固有顔法や、特徴点を摂動させて切り出して複数の顔パターンを生成して主成分分析し、登録されている部分空間との類似度を計算することもできる。部分空間同士の類似度は、非特許文献２にある相互部分空間法などにより計算可能である。

また、生成された顔パターンは任意の特徴抽出処理が適用可能である。例えば、ヒストグラム平坦化処理や、縦微分処理、フーリエ変換などを用いて、より顔パターンの持つ本質的な情報を抽出し、認識精度を向上させることが可能である。

また、複数枚の画像入力があった場合でも、生成された複数枚の顔パターンを認識部２６において統合し、認識処理を行うことが可能である。この統合に際しても、複数の顔パターンを１つの特徴量として統合することも可能であるし、複数の顔パターンを複数の特徴量として計算した後に類似度を統合することも可能である。

また、１枚の顔パターンから異なる特徴抽出処理を行うことで複数の特徴量を抽出して認識を行うことによって、より多様な特徴を捉えて認識を行うことが可能である。

（１０）効果
このように、本実施形態に係わる画像処理装置１０によれば、３次元モデルに対して複数個の注目領域を設定し、それぞれ個別の注目領域毎に入力画像との対応関係を計算し、画像上へ変換した座標値を用いて１つに統合した３次元モデルを求め、入力された顔の個人差や部分的な変形に対しても柔軟に適応した正規化画像を生成することで、より高精度な認識が可能となる。

（第２の実施形態）
第２の実施形態の画像処理装置１０について説明する。

第１の実施形態においては、注目領域設定部１８では１つの３次元モデルから複数の注目領域を設定する方法について述べたが、本実施形態では、注目領域は複数種類の３次元モデルから設定する。

一般に、注目領域はいかなる３次元モデルの局所領域を用いても構わないが、さらに局所領域同士で同一の３次元モデルを用いなくても構わない。

例えば、目元や鼻、口元などを局所領域として設定する際に、別々の３次元モデル及び基準特徴点を用いることも可能である。このとき、用いる３次元モデルの選択はいかなる方法を利用しても構わないが、例えば、次の方法がある。

入力画像と注目領域の対応関係を計算した後に、入力画像上の特徴点と基準特徴点を画像上に写像した点との距離が最も近くなる３次元モデルを選択しても良い。

また、人種や性別、年代などのパラメータに基づいて３次元モデルを選択しても良い。

また、入力画像のパターンを利用して最も適合する３次元モデルを選択することも可能である。

また、複数の３次元モデルの線形結合や、メッシュの変形などの生成的手段により別個に構築した３次元モデルを用いることも可能である。

また、ある１つの注目領域に複数の３次元モデルを用いる、つまり、注目領域を構成する位置情報は同一であるが３次元モデルは異なるように選択しても構わない。例えば、目の近傍を表す局所領域が、複数の３次元モデルにより選択されている状態を指す。

本実施形態によれば、注目領域毎に３次元モデルを任意に選択することで、１つの３次元モデルでは表現できない入力対象の部分的な変形などをさらに的確に表現できるようになり、最終的に統合される３次元モデルの精度を向上させることができる。

（第３の実施形態）
第３の実施形態の画像処理装置１０について図５に基づいて説明する。

第１の実施形態において、３次元モデル統合部２２により得られた画像と３次元モデルとの対応関係を利用して正規化画像を生成して認識を行ったが、この対応関係を利用して、後述する画像変換部２８により、入力された顔を他の顔へと変換することも可能である。

（１）画像処理装置１０の構成
図５に本実施形態に係わる画像処理装置１０の構成を表す。

本実施形態の画像処理装置１０は、第１の実施形態と３次元モデル統合部２２までは同一であるが、画像の変換を行うために、２枚以上の画像が入力され、個別に３次元モデルの統合処理が行われる点が異なる。以下、２枚の画像が入力され、３次元モデルの統合処理が完了したものとし、後段の画像変換部２８について説明する。

（２）画像変換部２８
画像変換部２８では、３次元モデル統合部２２により計算された３次元モデルを利用して、入力された顔画像を別の顔画像へと変換処理を行う。

２つの統合済み３次元モデル（モデル１、モデル２とする）が得られたとすると、３次元モデル間の対応関係は既知であるため、任意に画素値の変換を行うことが可能である。

まず、モデル１で３次元モデルを構成する頂点毎の色を求め（正規化画像生成部２４と同様の処理）ておき、その色をモデル２の同じ頂点の色情報として保存する。

次に、この処理をモデル１とモデル２の全ての頂点に対して行うことで、モデル２は幾何学的な位置情報はモデル２のままで、色情報のみがモデル１と同じとなる。

次に、モデル２は入力画像と対応付けられているため、モデル２の頂点と画像上の位置関係は既知である。そこで、モデル２の頂点が示す画像上の位置へ、変更したモデル２の色情報を入力画像へと上書きする。画像上へ射影した特徴点位置がそれぞれ離れている場合は補間処理を行う。

これらの操作により、モデル２に対応する入力画像の顔は、モデル２の顔形状を維持しつつ、モデル１の顔の色情報へと変更することができる。

（３）適用例
この画像変換部２８を用いることで、２枚の画像が与えられたときに、相互に顔画像を変換することが可能となり、例えば、コンピュータ上でのアバターなどに利用できる。

また、入力画像は必ずしも実世界の顔である必要はない。片方の画像をアニメなどのキャラクターにしておき、予め３次元モデルや基準特徴点、モデル間の対応関係を与えておけば、これまで述べた方法により顔画像とアニメなどのキャラクターとの変換を行うことができる。

また、画像と３次元モデルの正確な対応関係が分かっているため、顔の一部分のみを別の画像やキャラクターへと変換することも容易である。

（４）変更例
なお、入力画像は２枚として説明したが、これが２枚以上の任意の枚数であったとしても、これまでの議論は完全に成り立ち、任意の画像間の変換が可能である。

（変更例）
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係わる画像処置装置の構成を示すブロック図である。画像処理装置のフローチャートである。注目領域の設定の例である。３次元モデルの統合処理の概念図である。第３の実施形態に係わる画像処理装置の構成を示すブロック図である。

符号の説明

１０画像処理装置
１２画像入力部
１４特徴点抽出部
１６３次元モデル保持部
１８注目領域設定部
２０対応関係計算部
２２３次元モデル統合部
２４正規化画像生成部

Claims

対象物体が写った画像を入力する画像入力部と、
３次元モデルの形状を表す情報と、前記３次元モデル上の同一平面上に存在しない４点以上の基準特徴点の３次元位置を格納する格納部と、
前記対象物体に関し、かつ、前記複数の基準特徴点に対応する複数の特徴点を、前記入力画像から抽出する抽出部と、
（１）前記基準特徴点と関連付けされ、（２）前記３次元モデル上に存在する複数の局所的な領域である複数の注目領域を設定する設定部と、
前記抽出された特徴点と、前記注目領域に関する基準特徴点とを用いて、前記入力画像の２次元位置と前記注目領域の３次元位置との対応関係を、前記注目領域毎に求める計算部と、
前記注目領域毎の対応関係に基づいて、前記入力画像の各領域に少なくとも一つの前記注目領域をそれぞれ対応させて、前記注目領域に対応する３次元モデルの３次元位置のピクセル値を、前記入力画像の２次元位置のピクセル値に決定する決定部と、
を有する画像処理装置。
前記計算部における前記注目領域毎の対応関係は、前記抽出された特徴点と前記注目領域の基準特徴点との間の射影行列である、
請求項１記載の画像処理装置。
前記決定部は、
前記注目領域毎の射影行列を用いて、前記各注目領域を前記入力画像上へそれぞれ射影し、
前記それぞれ射影された前記複数の注目領域の２次元位置を重み付け加算することにより、前記複数の注目領域にそれぞれ対応する３次元モデルの３次元位置のピクセル値を、前記入力画像の２次元位置のピクセル値に決定するものであり、
前記重み付け加算するための重みの総和は１であり、かつ、前記重みは、前記入力画像から検出した特徴点の信頼度から求める、
請求項２記載の画像処理装置。
前記格納部は、複数の前記３次元モデルを格納し、
前記設定部は、前記複数の３次元モデルのそれぞれに複数の注目領域を設定する、
請求項１記載の画像処理装置。
前記注目領域に対応する３次元モデルの３次元位置と前記入力画像の２次元位置との対応関係に基づいて、前記入力画像から正規化画像を生成する画像生成部と、
前記正規化画像と、予め格納された前記対象物体の辞書情報とに基づいてパターン認識を行い、前記入力画像の認識を行う認識部と、
をさらに有する請求項１記載の画像処理装置。
前記画像入力部に第１の入力画像と第２の入力画像が入力し、
前記決定部は、前記３次元モデルの３次元位置のピクセル値と、前記第１の入力画像の２次元位置のピクセル値の第１の対応関係を決定し、また、前記３次元モデルの３次元位置のピクセル値と、前記第２の入力画像の２次元位置のピクセル値の第２の対応関係を決定し、前記第１の対応関係と前記第２の対応関係を利用して、前記第２の入力画像のピクセル値を前記第１の入力画像のピクセル値に変換する画像変換部をさらに有する、
請求項１記載の画像処理装置。
対象物体が写った画像を入力する画像入力ステップと、
３次元モデルの形状を表す情報と、前記３次元モデル上の同一平面上に存在しない４点以上の基準特徴点の３次元位置を格納する格納ステップと、
前記対象物体に関し、かつ、前記複数の基準特徴点に対応する複数の特徴点を、前記入力画像から抽出する抽出ステップと、
（１）前記基準特徴点と関連付けされ、（２）前記３次元モデル上に存在する複数の局所的な領域である複数の注目領域を設定する設定ステップと、
前記抽出された特徴点と、前記注目領域に関する基準特徴点とを用いて、前記入力画像の２次元位置と前記注目領域の３次元位置との対応関係を、前記注目領域毎に求める計算ステップと、
前記注目領域毎の対応関係に基づいて、前記入力画像の各領域に少なくとも一つの前記注目領域をそれぞれ対応させて、前記注目領域に対応する３次元モデルの３次元位置のピクセル値を、前記入力画像の２次元位置のピクセル値に決定する決定ステップと、
を有する画像処理方法。
対象物体が写った画像を入力する画像入力機能と、
３次元モデルの形状を表す情報と、前記３次元モデル上の同一平面上に存在しない４点以上の基準特徴点の３次元位置を格納する格納機能と、
前記対象物体に関し、かつ、前記複数の基準特徴点に対応する複数の特徴点を、前記入力画像から抽出する抽出機能と、
（１）前記基準特徴点と関連付けされ、（２）前記３次元モデル上に存在する複数の局所的な領域である複数の注目領域を設定する設定機能と、
前記抽出された特徴点と、前記注目領域に関する基準特徴点とを用いて、前記入力画像の２次元位置と前記注目領域の３次元位置との対応関係を、前記注目領域毎に求める計算機能と、
前記注目領域毎の対応関係に基づいて、前記入力画像の各領域に少なくとも一つの前記注目領域をそれぞれ対応させて、前記注目領域に対応する３次元モデルの３次元位置のピクセル値を、前記入力画像の２次元位置のピクセル値に決定する決定機能と、
をコンピュータに実現させるための画像処理プログラム。