JP5895703B2 - 画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents

Description

本明細書で開示する技術は、入力画像中の変形を含む物体形状の認識・推定を行なう画像処理装置及び画像処理方法、並びにコンピューター・プログラムに係り、特に、事前に得られた複数の形状情報を基底空間に分解しておき、入力画像に含まれる物体の任意の形状を基底空間への射影及び逆射影により形状の認識や推定を行なう画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。

視覚的事象をモデル化する手法として、「Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ（ＡＳＭ）」や「Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）」が知られている。これらの手法は、事前学習として、与えられた複数の形状情報（例えば、顔画像上に定義された複数の特徴点の位置（座標）と画素値（輝度値など））を主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）や独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｎｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＩＣＡ）などの統計的分析を通じて複数の基底空間に分解（射影：ｐｒｏｊｅｃｔｉｏｎ）して登録しておく（例えば、非特許文献１、２を参照のこと）。そして、任意の形状を、登録しておいた複数の基底空間の重ね合わせ（逆射影：Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ）で表現することができるので、顔などの変形を含む物体の形状の認識や推定を行なうことができる。また、ＡＳＭ／ＡＡＭによれば、ある人物について顔の向きを変化させる、眼や口の開閉具合を変化させるなど、顔の変形表現が可能である。

例えば、ＡＡＭを用いた形状モデル及びテクスチャー・モデルの設定時において、顔テクスチャーの特定の特徴を表す特定特徴モデルを別に独立して設定するとともに、当該特定のテクスチャー特徴を除いたテクスチャーについて補正テクスチャー・モデルを設定して、特定特徴モデルと補正テクスチャー・モデルとを合成することにより、精度良く且つ効率的にテクスチャー・モデルを設定する画像処理装置について提案がなされている（例えば、特許文献１を参照のこと）。

また、ＡＡＭを利用して画像の含まれる顔の特徴部位の位置を特定する処理において、基準顔画像と対象顔画像との顔テクスチャーを互いに近づけるように基準顔画像と対象顔画像との少なくとも一方に対してテクスチャー補正を行ない、テクスチャー補正後の基準顔画像と対象顔画像とに基づいて特徴部位信頼度を算出する画像処理装置について提案がなされている（例えば、特許文献２を参照のこと）。

ＡＳＭ／ＡＡＭは、任意の形状分布を基底空間への射影並びに逆射影を繰り返すことで、事前に登録しておいた形状に近い、すなわち整形された出力が得られる、という特長がある。また、ＡＳＭ／ＡＡＭは、入力画像に含まれる顔領域から主要な特徴部位（顔パーツ）をトラッキングやフィッティングする処理を、軽量且つ高速に実現することができる。

しかしながら、ＡＳＭ／ＡＡＭのような、事前に得られた複数の形状情報を基底空間に分解して任意の形状を複数の基底空間の重ね合わせで表現する方法には、以下のような欠点がある。

（１）入力画像中で対象とする物体の形状（特徴点）の一部が本来とは大きく外れた位置に分布していた場合、物体の形状全体がこの外れ値の影響を受けてずれてしまう。
（２）画像中の局所的な特徴量を用いて形状（特徴点）の位置を推定する場合、エッジやテクスチャーといった特徴に乏しい領域では、位置の特定が困難になる。

特開２０１０−２４４３２１号公報 特開２０１０−２４４３１８号公報

Ｔ．Ｆ．Ｃｏｏｔｅｓ ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ．"Ａｃｔｉｖｅ ｓｈａｐｅ ｍｏｄｅｌｓ"，Ｉｎ Ｄ．Ｈｏｇｇ ａｎｄ Ｒ．Ｂｏｙｌｅ，ｅｄｉｔｏｒｓ，３ｒｄ Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ ２６６−２７５．Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，Ｓｅｐｔ．１９９２ Ｔ．Ｆ．Ｃｏｏｔｅｓ Ｇ．Ｊ．Ｅｄｗａｒｄｓ ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ．"Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ"，ｉｎ Ｐｒｏｃ．Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ １９９８（Ｈ．Ｂｕｒｋｈａｒｄｔ ＆ Ｎｅｕｍａｎｎ Ｅｄ．ｓ）．Ｖｏｌ．２，ｐｐ．４８４−４９８，Ｓｐｒｉｎｇｅｒ，１９９８

本明細書で開示する技術の目的は、入力画像に含まれる形状の一部が本来とは大きく外れた位置に分布する場合であっても、複数の形状情報から事前に得られた基底空間の重ね合わせにより、外れ点の影響を受けることなく、形状の認識や推定を正確に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本明細書で開示する技術のさらなる目的は、特徴に乏しい領域を含む形状であっても、複数の形状情報から事前に得られた基底空間の重ね合わせにより、位置の特定を正確に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部と、
入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出部と、
前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部と、
を具備する画像処理装置である。

本願の請求項２に記載の技術によれば、前記基底空間は、前記事前に得られた複数の形状情報の平均形状及び基底成分からなる。請求項１に記載の画像処理装置にの前記外れ領域検出部は、入力画像中の対象物の形状のうち前記平均形状と差分を生じた外れ領域を検出するように構成されている。

本願の請求項３に記載の技術によれば、前記モデル情報は、対象物の形状上で定義された複数の特徴点の座標位置に関する形状情報を基底空間に分解した形状モデルと、特徴点毎のテクスチャー情報に関するテクスチャー・モデルを含んでいる。そして、請求項１に記載の画像処理装置は、入力画像と前記テクスチャー・モデルとのテクスチャー情報の差分のコスト計算に基づいて、入力画像から各特徴点の位置を探索するテクスチャー・モデル適合処理部をさらに備え、前記外れ領域検出部は、前記テクスチャー・モデル適合処理部において算出したコストが所定の閾値以上となる特徴点を外れ点として判別するように構成されている。

また、本願の請求項４に記載の技術は、
事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部と、
入力画像中の対象物の形状のうち、事前に指定された外れ領域を検出する外れ領域検出部と、
前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部と、
を具備する画像処理装置である。

本願の請求項５に記載の技術によれば、請求項４に記載の画像処理装置において、前記モデル情報は、対象物の形状上で定義された複数の特徴点の座標位置に関する形状情報を基底空間に分解した形状モデルと、特徴点毎のテクスチャー情報に関するテクスチャー・モデルを含んでいる。そして、テクスチャー情報の乏しい特徴点に対して事前に外れ点として指定されている。

本願の請求項６に記載の技術によれば、請求項５に記載の画像処理装置は、入力画像と前記テクスチャー・モデルとのテクスチャー情報の差分のコスト計算に基づいて、入力画像から各特徴点の位置を探索するテクスチャー・モデル適合処理部をさらに備え、前記テクスチャー・モデル適合処理部は、外れ点として事前に指定されている特徴点についての処理を省略するように構成されている。

本願の請求項７に記載の技術によれば、請求項１又は４のいずれかに記載の画像処理装置の前記モデル情報取得部は、事前に得られた複数の形状情報を、主成分分析又は独立成分分析して分解された基底空間をモデル情報として取得するように構成されている。

また、本願の請求項８に記載の技術は、
事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得ステップと、
入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出ステップと、
前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影ステップと、
を有する画像処理方法である。

また、本願の請求項９に記載の技術は、
事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得ステップと、
入力画像中の対象物の形状のうち、事前に指定された外れ領域を検出する外れ領域検出ステップと、
前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影ステップと、
を有する画像処理方法である。

また、本願の請求項１０に記載の技術は、
対象物を含んだ画像を入力する画像入力部と、
入力画像中の対象物の形状のうち、事前に得られた複数の形状情報を基底空間に分解しモデル情報との差分が生じた外れ領域を検出する外れ領域検出部と、
検出した外れ領域の情報とともに、入力画像中の対象物の形状を前記基底空間へ射影して形状を推定する処理をサーバーに要求する処理要求部と、
入力画像中の対象物の形状のうち前記外れ領域にマスクを掛けて前記基底空間へ射影して得られた形状の推定結果をサーバーから受け取る処理結果受信部と、
を具備する画像処理装置である。

また、本願の請求項１１に記載の技術は、
対象物を含んだ画像を入力する画像入力部と、
事前に指定した外れ領域の情報とともに、入力画像中の対象物の形状を事前に得られた複数の形状情報を分解した基底空間へ射影して形状を推定する処理をサーバーに要求する処理要求部と、
入力画像中の対象物の形状のうち前記外れ領域にマスクを掛けて前記基底空間へ射影して得られた形状の推定結果をサーバーから受け取る処理結果受信部と、
を具備する画像処理装置である。

また、本願の請求項１２に記載の技術は、
事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部、
入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出部、
前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

また、本願の請求項１３に記載の技術は、
事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部、
入力画像中の対象物の形状のうち、事前に指定された外れ領域を検出する外れ領域検出部、
前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１２、１３に係る各コンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１２、１３に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、それぞれ本願の請求項１、４に係る画像処理装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、入力画像に含まれる形状のうち、本来の位置とは大きく外れた領域に対してマスクを掛けて基底空間への射影を行なうことによって、遮蔽物や照明、陰などの影響で形状が外れてしまう現象を解消して、形状の認識や推定を正確に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。

また、本明細書で開示する技術によれば、入力画像に含まれる形状のうち特徴に乏しい領域に対してマスクを掛けて基底空間への射影を行なうことによって、これらの領域についても形状の認識や推定を正確に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用可能な画像処理装置１００のハードウェア構成を模式的に示した図である。 図２は、画像処理装置１００上で実行される画像処理プログラムの機能的構成を模式的に示した図である。 図３は、複数の学習座標の座標ベクトルを主成分分析して得られた、平均ベクトルｓ₀と形状ベクトルｓ₀、ｓ₁、ｓ₂、…を例示した図である。 図４は、形状ｓと基底空間の間で射影、逆射影を行なう様子を示した図である。 図５は、事前学習されるテクスチャー・モデル（Ｌｏｃａｌ Ｔｅｘｔｕｒｅ Ｍｏｄｅｌ）を説明するための図である。 図６は、認識・推定処理部２２０の機能的構成を模式的に示した図である。 図７は、局所的なテクスチャー・モデルについての顔領域に対する適合処理を説明するための図である。 図８は、被写体となる人物が顔の一部が手で覆われている入力画像中の外れ点を例示した図である。 図９は、外れ点のマスク掛けを含んだ認識・推定処理の手順を示したフローチャートである。 図１０は、さまざまな向きや表情をし、且つ、手で一部が遮蔽された顔形状を含んだ入力画像に対して、図９に示した認識・推定処理を実施した結果を例示した図である。 図１１は、事前に指定した外れ点のマスク掛けを含んだ認識・推定処理の手順を示したフローチャートである。 図１２は、さまざまな向きや表情をした顔形状を含んだ入力画像に対して、図１１に示した認識・推定処理を実施した結果を例示した図である。 図１３は、画像処理装置１００がサーバーとの連携により物体形状の認識・推定処理を行なうシステム構成例を示した図である。 図１４は、画像処理装置１００がサーバーとの連携により物体形状の認識・推定処理を行なうシステム構成例示した図である。 図１５は、同一人物について顔の向きを変えて撮られた学習画像を例示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用可能な画像処理装置１００のハードウェア構成を模式的に示している。図示の画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０と、記憶部１２０と、通信部１３０と、画像入力部１４０と、画像出力部１５０と、操作部１６０と、表示部１７０を備えている。

ＣＰＵ１１０は、画像処理プログラムを始め各種のプログラム・コードを実行して、画像処理装置１００内の各部の動作を制御する。

記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎ Ｍｅｍｏｒｙ）などの内部メモリーや、ハード・ディスク・ドライブなどの大容量記憶装置、さらにはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）記録再生装置などを含む概念である。大容量記憶装置内には、オペレーティング・システムや画像処理プログラムなどのＣＰＵ１１０が実行するプログラム・コードや、画像認識時に使用する事前学習データを始め各種データなどのファイルが格納されている。ＣＰＵ１１０は、大容量記憶装置内のプログラム・コードをＲＡＭにロードして実行する。

通信部１３０は、ネットワーク・インターフェースなどで構成され、画像処理プログラムを始め各種アプリケーション・プログラムのダウンロード、あるいは事前学習データやその他のデータ・ファイルのダウンロード、当該画像処理装置１００で取得した事前学習データのアップロード若しくはネットワーク機器への転送、画像処理の実行結果（例えば、入力画像の認識結果）のアップロード若しくはネットワーク機器への転送などを行なう際に利用される。

画像入力部１４０は、カメラやスキャナーなどで構成され、画像処理（物体形状の認識・推定など）の対象となる画像の入力に利用される。但し、処理対象となる画像を、通信部１３０経由でネットワーク上の他の機器から取得する場合もある。

画像出力部１５０は、プリンターなどで構成され、画像入力部１４０から入力された画像の紙やその他の媒体への記録処理、あるいは画像認識結果のプリントアウトなどを行なう。但し、以下で説明する画像処理（物体形状の認識・推定など）の際に、画像出力部１５０は必須の構成要素ではない。

操作部１６０は、キーボードやマウス、ボタン、タッチパネルなど、ユーザー操作が可能な操作子で構成され、画像処理プログラムを始め各種アプリケーションの起動指示や、事前学習時におけるデータのマニュアル入力（例えば、学習画像上での特徴点の設定など）、その他の設定処理を行なう際に利用される。

表示部１７０は、液晶ディスプレイなどで構成され、画像入力部１４０から入力された画像の表示、入力画像に対する画像認識処理の結果（事前学習したデータや、処理過程のデータ、入力画像に対する認識・推定結果を含む）の表示などに利用される。

図１に示した画像処理装置１００は、例えば、パーソナル・コンピューターや、携帯電話機、スマートフォン又はタブレットなどの多機能端末、プリンターなどの機器に相当する。画像処理装置１００上では、ＣＰＵ１１０がプログラムを実行するという形態で、物体形状の認識・推定などの処理が行なわれる。但し、画像処理装置１００自身で認識・推定処理をすべて行なうのではなく、当該処理の一部又は全部をネットワーク上の他の機器（サーバーなど）にリクエストし、画像処理装置１００上では入力画像の表示や、処理結果の表示など、認識・推定処理の一部しか行なわない場合もある。

本実施形態に係る画像処理装置１００上では、ＣＰＵ１１０上で所定の画像処理プログラムを実行することにより、複数の形状情報を基底空間に分解して、任意の入力形状をこれら基底空間に射影及び逆射影して、変形を含む物体形状の認識・推定処理を行なう。この種の手法として、既に述べたようにＡＳＭやＡＡＭが知られているが、任意の形状分布を基底空間に射影及び逆射影することで成形し、事前に登録しておいた形状に近い出力が得られるという特長がある。以下では、変形を含む物体形状として、人間の顔画像を例にとって説明する。

図２には、このような処理を実現するための画像処理プログラム２００の機能的構成を模式的に示している。図示の画像処理プログラム２００は、事前学習を行なう事前学習部２１０と、事前学習に基づいて入力画像に含まれる顔画像の認識・推定処理を行なう認識・推定処理部２２０を備えている。

事前学習部２１０には、事前学習のための、多数の学習画像が入力される。学習画像は、画像入力部１４０から入力される以外に、通信部１３０経由で外部から取得する場合、さらには、記憶部１２０としてのディスク再生装置から読み込む場合もある。

学習画像として、人種や性別、表情、向き（正面、正面口開け、正面片目閉じ、横向き、横向き口開け、上向き、下向き）といった、想定される種々の属性に関する顔画像を含むように用意する（図１５を参照のこと）。多様な顔画像を学習画像として用意することにより、より適切なモデル化を行ない、認識・推定処理の精度を向上させることができる。

事前学習部２１０では、まず、各学習画像について、Ａｎｎｏｔａｔｉｏｎすなわち特徴点の設定を行なう。特徴点とは、顔画像における特徴部位の位置を示す点である。特徴部位として、人物の顔における、眉毛上の輪郭上の複数の点（端点と、両端点間をＮ分割した点など）、目の輪郭上の複数の点、鼻筋や小鼻の輪郭上の複数の点、口の輪郭上の複数の点、顔の輪郭上の複数の点などである。ここで言う「…輪郭上の複数の点」とは、例えば、輪郭の端点と、輪郭をＮ分割した点などである。図１５（Ｆ）には、特徴部位の輪郭上で設定された特徴点を例示している。眉、眼、鼻、口、顔の輪郭上で、例えば５３箇所の特徴点が定義される。特徴点の設定は、オペレーターが学習画像を見ながら、定義された各特徴点をマニュアルで設定してもよいし、画像処理により自動化してもよい。

特徴点の設定処理により、各学習画像について、特徴点毎の位置を示す座標情報が得られる。すなわち、各学習画像について、５３箇所の特徴点の座標値により構成される座標ベクトルが得られる。

事前学習部２１０では、続いて、形状モデルの算出が行なわれる。具体的には、各学習画像における５３箇所の特徴点の座標値により構成される座標ベクトルに対して、主成分分析（ＰＣＡ）や独立成分解析（ＩＣＡ）などの統計的分析を行なって、基底空間ｓ₀、ｓ₁、ｓ₂、…に分解して、各特徴点の位置によって特定される顔の形状を下式（１）に示すように形状モデルｓとしてモデル化する。

ここで、複数の学習画像の座標ベクトルを主成分分析などにより分解された基底空間ｓ₀、ｓ₁、ｓ₂、…のうち、ｓ₀は顔の形状モデルｓの平均ベクトル（平均形状を表す座標ベクトル）であり、ｓ_iは主成分分析により得られるｉ番目の基底成分に対応する形状ベクトルである。主成分分析では、分散の大きい主成分に対応する基底成分の順に、所定の個数（上式（１）ではｎ個）だけ形状ベクトルとして採用される。形状ベクトルｓ_iは、主成分分析により得られる第ｉ番目の主成分に対応する基底ベクトルであり、互いに直交する正規直交ベクトルである。図３には、複数の学習座標の座標ベクトルを主成分分析して得られた、平均ベクトルｓ₀と形状ベクトルｓ₀、ｓ₁、ｓ₂、…を例示している。

また、上式（１）において、ｐ_iは、平均形状ｓ₀と形状ベクトルｓ₁、ｓ₂、…の重ね合わせにより形状モデルを構成する際の、ｉ番目の形状ベクトルｓ_iの重みを表す基底係数（形状パラメーター）である。要するに、形状モデルｓは、平均形状ｓ₀と形状ベクトルｓ_iの重ね合わせにより、さまざまな顔形状を表現するものである（但し、基底ベクトルｓ_iの重ね合わせを、基底係数ｐ_iで制御する）。入力形状ｓを基底成分に分解することを、基底空間での射影（Ｐｒｏｊｅｃｔｉｏｎ）と呼ぶ。逆に基底成分から形状ｓを生成することを逆射影（Ｂａｃｋ−Ｐｒｏｊｅｃｔｉｏｎ）と呼ぶ。図４には、入力された顔画像についての形状ｓと、平均形状ｓ₀及び形状ベクトルｓ₁、ｓ₂、…からなる基底空間の間で射影、逆射影を行なう様子を示している。

事前学習部２１０で得られた平均形状ｓ₀並びに形状ベクトルｓ_iは、事前学習データとして記憶部１２０に保存され、入力画像に対する認識・推定処理を行なう際に利用される。

事前学習部２１０では、続いて、テクスチャー・モデルの設定が行なわれる。テクスチャー・モデルの表現方法は、ＡＳＭとＡＡＭでは異なる。

ＡＳＭでは、特徴点毎の局所的な輝度分布情報を表現した局所的なテクスチャー・モデル（Ｌｏｃａｌ Ｔｅｘｔｕｒｅ Ｍｏｄｅｌ）を用いる。具体的には、眉、眼、鼻、口、顔などの特徴部位の輪郭上に設定された各特徴点において、輪郭に対して法線方向の平均的な輝度勾配を、テクスチャー・モデルとして事前学習する。図５左には、特徴部位の輪郭上に設定された各特徴点における法線を示している。また、図５右には、顔の輪郭上のある１つの特徴点における法線方向の輝度分布情報で表現した局所的なテクスチャー・モデルを例示している。図示の例では、テクスチャー・モデルは、輪郭に対して法線方向に、特徴点並びに特徴点から±２画素分という局所的な１次元の輝度分布情報からなる。

一方、ＡＡＭでは、包括的なテクスチャー・モデル（Ｇｌｏｂａｌ Ｔｅｘｔｕｒｅ Ｍｏｄｅｌ）を用いる。具体的には、学習画像（但し、平均形状以外の領域をマスクする）の画素群ｘの各々における輝度値により構成される輝度値ベクトルを主成分分析して、平均顔画像Ａ₀（ｘ）と、基底成分として分解されたテクスチャー・ベクトルＡ_i（ｘ）に分解して、下式（２）に示すように、顔のテクスチャーＡ（ｘ）を、平均顔画像Ａ₀（ｘ）とテクスチャー・ベクトルＡ_i（ｘ）との重ね合せにより表現する（但し、テクスチャー・ベクトルＡ_i（ｘ）の重ね合わせを、係数λ_iで制御する）。

事前学習されたテクスチャー・モデルは、記憶部１２０に保存され、入力画像に対する認識・推定処理を行なう際に利用される。なお、本明細書では、テクスチャー・モデルの算出方法の詳細については、説明を省略する。

このようにして、事前学習部２１０では、事前学習データとしてテクスチャー・モデルを取得すると、記憶部１２０に保存され、入力画像に対する認識・推定処理を行なう際に利用される。

認識・推定処理部２２０では、上記の事前学習データを用いて、入力画像に対して顔画像の認識・推定処理を実施して、入力画像に含まれる顔画像の形状を出力する。

図６には、認識・推定処理部２２０の機能的構成を模式的に示している。図示の認識・推定処理部２２０は、を備えている。顔領域検出部６１０と、テクスチャー・モデル適合処理部６２０と、形状モデル整形部６３０を備えている。

顔領域検出部６１０は、画像入力部１４０などを通じて入力された入力画像から、顔の画像が含まれる顔領域を検出するとともに、あらかじめされた５３箇所の特徴点を顔領域から検出する。本明細書で開示する技術を実施する上で、顔領域の検出処理をどのように行なうかは任意であるので、ここでは詳細な説明を省略する。

テクスチャー・モデル適合処理部６２０は、検出された顔領域を事前学習したテクスチャー・モデルに適合させて、各特徴点を探索する処理を行なう。具体的には、事前学習で得られたテクスチャー・モデルと入力画像との輝度差分などをコストとして計算し、コストが最小となる座標位置を探索する処理を行なう。ここでは、局所的なテクスチャー・モデルについての顔領域に対する適合処理について、図７を参照しながら説明する。

既に述べたように、局所的なテクスチャー・モデルは、眉、眼、鼻、口、顔などの特徴部位の輪郭上に設定された各特徴点について、輪郭に対する法線方向に、特徴点並びに特徴点から±２画素分についての１次元の輝度分布情報からなる。

一方、テクスチャー・モデル適合処理部６２０への入力画像は、テクスチャー・データとして各画素の輝度値を含んでいる。そこで、各特徴点について法線方向の輝度勾配のみを１次元探索して、事前学習した輝度勾配とのコストが最小となる画素位置を、入力画像上の特徴点として検出する。

図７左には、特徴部位の輪郭上に設定された各特徴点における法線を示している。また、図７右には、顔の輪郭上のある１つの特徴点について、入力画像上の輪郭線に対して法線方向の輝度分布情報と、事前学習された特徴点並びに特徴点から±２画素分の輝度分布情報からなるテクスチャー・モデルと、このテクスチャー・モデルを法線方向に画素単位でスキャンしたときに逐次算出されたコストを示している。そして、コストが最小となる位置が、当該特徴点において適合する画素である。

入力画像（特徴点）ｇ_sに対するコストｆ（ｇ_s）は、例えば下式（３）のように表わされる。

上式（３）は、距離指標としてマハラノビス（Ｍａｈａｌａｎｏｂｉｓ）距離を用いた場合である。共分散行列Ｓ_gを単位行列にした場合、より単純な２条和の距離の場合となる。

一方、包括的なテクスチャー・モデルについての顔領域に対する適合処理では、特徴点により囲まれた領域をメッシュ状に分割し、メッシュ内の輝度分布と近似する領域を２次元探索して、特徴点を検出する。但し、本明細書で開示する技術を実施する上で、ＡＳＭ又はＡＡＭのうちいずれの手法を用いるか、言い換えれば、局所的なテクスチャー・モデル又は包括的なテクスチャー・モデルのいずれについて顔領域に対する適合処理を行なうかは任意である。本明細書では、後者の適合処理については、詳細な説明を省略する。

形状モデル整形部６３０は、上記の適合処理を行なった後の各特徴点からなる形状モデルｓと、平均形状ｓ₀及び形状ベクトルｓ₁、ｓ₂、…からなる基底空間の間で射影、逆射影を行ない、基底係数すなわち各形状ベクトルｓ_iの形状パラメーターｐ_iを最適化して、形状モデルｓを整形する。

そして、テクスチャー・モデル適合処理部６２０及び形状モデル整形部６３０の処理を数回にわたり反復して実行することで、形状モデルを入力画像に含まれる顔画像に適合させていくことができ、学習時と同等のそれらしい（すなわち、顔らしい）形状に近い、すなわち整形された形状を得ることができる。

しかしながら、ＡＳＭ／ＡＡＭのような、事前に得られた複数の形状情報を基底空間に分解して任意の形状を複数の基底空間の重ね合わせで表現する方法には、入力画像中で対象とする物体の形状（特徴点）の一部が本来とは大きく外れた位置に分布していた場合、物体の形状全体がこの外れ値の影響を受けてずれてしまう、という第１の問題がある。

ここで言う外れ点の一例として、対象物の一部が遮蔽されている領域内の特徴点が挙げられる。図８には、被写体となる人物が顔の一部が手で覆われている入力画像中の外れ点を、丸で囲んで示している。図示のように、鼻や唇の輪郭上の数箇所の特徴点は、手で遮蔽されているという状況を考慮せずにそのままテクスチャー・モデル適合処理部６２０で処理を行なうと、本来の鼻や唇の輪郭とは大きく外れた位置を特徴点として検出してしまう。

また、外れ点の他の例として、顔などの対象物の一部が画面の枠からはみ出ている場合の、はみ出た領域内の特徴点を挙げることができる。入力画像内に存在しない特徴点に対してテクスチャー・モデル適合処理部６２０で処理を行なうと、上記と同様に、本来の場所とは大きく外れた位置を特徴点として検出してしまうであろう。

そこで、本実施形態では、このような外れ点となる特徴点を検出して、形状モデル整形部６３０において基底空間への射影を行なう際に、外れ点となる特徴点にマスクを掛けることによって、上記第１の問題を解消するようにしている。

外れ点は、対象物が遮蔽され、あるいは画面枠から外れているなど、入力画像中では情報を持たない特徴点である。このため、テクスチャー・モデル適合処理部６２０で算出される輝度差分などの最小コストは大きな値になると想定される。したがって、テクスチャー・モデル適合処理部６２０で、入力画像から各特徴点の座標位置を探索する処理において算出された最小コストが所定の閾値以上となる特徴点を、外れ点として判別することができる。

図９には、認識・推定処理部２２０で実行する、外れ点のマスク掛けを含んだ認識・推定処理の手順をフローチャートの形式で示している。

まず、入力画像に対して初期点群座標を設定する（ステップＳ９０１）。具体的には、顔検出部２１０で入力画像から検出した顔領域に、平均顔形状ｓ₀を配置することに相当する。

そして、テクスチャー・モデル適合処理部６２０では、特徴点毎の処理として（Ｓ９０２〜Ｓ９０７）、入力画像上で設定した特徴点を、事前学習したテクスチャー・モデルへの適合処理を行なう（ステップＳ９０３）。具体的には、入力画像上で設定された特徴点について、事前学習で得られたテクスチャー・モデルとの輝度差分などをコストとして計算し、コストが最小となる座標位置を探索する処理を行なう。

ここで、算出された最小コストが所定の閾値未満であるかどうかを判別する（ステップＳ９０４）。そして、最小コストが所定の閾値未満である場合には（ステップＳ９０４のＹｅｓ）、通常処理として、入力画像上で初期設定された特徴点を、コストが最小となる座標位置に移動する（ステップＳ９０６）。

他方、最小コストが所定の閾値以上である場合には（ステップＳ９０４のＮｏ）、入力画像上の当該特徴点を外れ点と判別して、マスク処理を実施する（ステップＳ９０５）。マスク処理とは、具体的には、射影時の入力画像上の当該特徴点の座標及びこれに対応する基底成分の値をすべて０に設定することで、後段の形状モデル整形部６３０における射影時及び基底係数算出時の、当該外れ点の影響を打ち消すものである。入力画像を基底空間へ一旦射影して重み係数が求まれば、それ以降は通常の逆射影を行なえば、基底成分によりマスクされた点に関しても、それらしい座標値が出力されるという結果になる。

そして、ステップＳ９０１で設定されたすべての初期点に対して、テクスチャー・モデル適合処理部６２０でコスト最小位置への移動又はマスク処理が終了すると、後段の形状モデル整形部６２０で、入力画像の基底空間への射影、及び基底空間の逆射影を行なって基底係数ｐ_iの最適化を行なう（ステップＳ９０８）。このようにして、認識・推定処理部２２０からは入力画像に含まれる形状モデルの各特徴点の座標値が出力される。

図１０には、さまざまな向きや表情をし、且つ、手で一部が遮蔽された顔形状を含んだ入力画像に対して、図９に示した認識・推定処理を実施した結果を示している。図１０では、推定された顔姿勢を３次元立方体で示すとともに、推定された鼻や唇の輪郭に線を引いている。手で一部が遮蔽されていても、遮蔽された特徴点をマスク処理して形状モデル整形部６３０で射影・逆射影を行なうことで、遮蔽された各特徴点はそれらしい位置に整形され、顔全体としてもそれらしい形状が推定されることが分かる。特に、図１０（Ｄ）に示すように、唇が完全に遮蔽された場合であっても、目や鼻などの遮蔽されていないその他の特徴部位の（マスク掛けされない）特徴点の処理により、マスク掛けされた特徴点を含め、顔全体としてそれらしい形状が推定される。

なお、図９に示した処理手順によれば、図８並びに図１０に示したように遮蔽された領域の特徴点だけでなく、影や照明の輝度変動要因により本来とは大きく外れた位置で検出されてしまう特徴点や、画面枠からはみ出た領域の特徴点なども、外れ点として検出してマスク掛けして、入力画像の基底空間への射影及び逆射影を行なうので、上記と同様に、外れ点の影響を除外して、それらしい形状を推定することができる。

また、ＡＳＭ／ＡＡＭのような、事前に得られた複数の形状情報を基底空間に分解して任意の形状を複数の基底空間の重ね合わせで表現する方法における第２の問題として、画像中の局所的な特徴量を用いて形状（特徴点）の位置を推定する場合、エッジやテクスチャーといった特徴に乏しい領域では、位置の特定が困難になるという点が挙げられる。

例えば、顔画像において、鼻頂点の座標などは、テクスチャーもエッジも乏しい。このため、テクスチャー・モデル適合処理部６２０が事前学習で得られたテクスチャー・モデルと入力画像との輝度差分などのコスト計算に基づいて、鼻頂点を単独で探索しようとすると、位置の特定が困難である。

そこで、本実施形態では、顔画像における鼻頂点など、単独で探索しても位置を特定することが困難な特徴点を、外れ点として事前に指定して常にマスク掛けすることによって、第２の問題を解決するようにしている。位置の特定が困難な特徴点を常にマスク掛けして射影を行なうことによって、位置の推定が可能になる。

図１１には、認識・推定処理部２２０で実行する、事前に指定した外れ点のマスク掛けを含んだ認識・推定処理の手順をフローチャートの形式で示している。

まず、入力画像に対して初期点群座標を設定する（ステップＳ１１０１）。具体的には、顔検出部２１０で入力画像から検出した顔領域に、平均顔形状ｓ₀を配置することに相当する。

そして、テクスチャー・モデル適合処理部６２０では、特徴点毎の処理として（Ｓ１１０２〜Ｓ１１０７）、特徴点が事前に外れ点として指定された点であるかどうかを確認する（ステップＳ１１０３）。

ここで、外れ点と事前に指定された以外の特徴点に対しては（ステップＳ１１０３のＮｏ）、テクスチャー・モデル適合処理部６２０は、事前学習したテクスチャー・モデルへの適合処理を行なう（ステップＳ１１０５）。具体的には、入力画像上で設定された特徴点について、事前学習で得られたテクスチャー・モデルとの輝度差分などをコストとして計算し、コストが最小となる座標位置を探索する処理を行なう。そして、通常処理として、入力画像上で初期設定された特徴点を、コストが最小となる座標位置に移動する（ステップＳ１１０６）。

一方、事前に外れ点と指定されている特徴点に対しては（ステップＳ１１０３のＹｅｓ）、常にマスク処理を実施する（ステップＳ１１０４）。マスク処理とは、具体的には、射影時の入力画像上の当該特徴点の座標及びこれに対応する基底成分の値をすべて０に設定することで、後段の形状モデル整形部６３０における射影時及び基底係数算出時の、当該外れ点の影響を打ち消すものである。入力画像を基底空間へ一旦射影して重み係数が求まれば、それ以降は通常の逆射影を行なえば、基底成分によりマスクされた点に関しても、それらしい座標値が出力されるという結果になる。

そして、ステップＳ１１０１で設定されたすべての初期点に対して、テクスチャー・モデル適合処理部６２０でコスト最小位置への移動又はマスク処理が終了すると、後段の形状モデル整形部６２０で、入力画像の基底空間への射影、及び基底空間の逆射影を行なって基底係数ｐ_iの最適化を行なう（ステップＳ１１０８）。このようにして、認識・推定処理部２２０からは入力画像に含まれる形状モデルの各特徴点の座標値が出力される。

図１２には、さまざまな向きや表情をした顔形状を含んだ入力画像に対して、図１１に示した認識・推定処理を実施した結果を示している。図１２中、推定された顔姿勢を３次元立方体で示すとともに、推定された鼻や唇の輪郭に線を引いている。通常、エッジやテクスチャーに乏しい鼻頂点の位置推定は困難であるが、このような特徴点を事前に外れ点に指定して、マスク掛けして、テクスチャー・モデルへの適合処理を省略し、また、形状モデルの射影・逆射影を行なうことで、正しい顔姿勢を推定できることが分かる。

画像処理装置１００は、例えば、パーソナル・コンピューターや、携帯電話機、スマートフォン又はタブレットなどの多機能端末、プリンターなどの機器に相当する。図９や図１１に示したような物体形状（顔画像）の認識・推定処理をすべて画像処理装置１００上で実行することも可能であるが、処理の一部又は全部を、ネットワーク上のサーバーなど外部装置に委ねることもできる。

図１３に示すシステム構成例では、画像処理装置１００上ではカメラなどにより画像を入力するだけであり、入力画像から顔などの物体形状の認識・推定処理はすべてサーバーにリクエストし、サーバーからは形状の認識結果が返されるようになっている。

また、図１４に示すシステム構成例では、画像処理装置１００上ではカメラなどにより画像を入力するとともに、入力画像上で外れ点の検出、又は、外れ点の事前指定を行ない、入力画像とともに、外れ点の情報を付けて、サーバーに物体形状の認識・推定処理をリクエストするようになっている。あるいは、画像処理装置１００は、外れ点にマスク処理を施した対象物の形状モデルをサーバーに送信して、この形状モデルの基底空間への射影及び逆射影をリクエストするようにしてもよい。そして、サーバー側では、外れ点にマスクを掛けて認識・推定処理を行ない、形状の認識結果を画像処理装置１００に返すようになっている。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部と、入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出部と、前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部と、を具備する画像処理装置。
（２）前記基底空間は、前記事前に得られた複数の形状情報の平均形状及び基底成分からなり、前記外れ領域検出部は、入力画像中の対象物の形状のうち前記平均形状と差分を生じた外れ領域を検出する、上記（１）に記載の画像処理装置。
（３）前記モデル情報は、対象物の形状上で定義された複数の特徴点の座標位置に関する形状情報を基底空間に分解した形状モデルと、特徴点毎のテクスチャー情報に関するテクスチャー・モデルを含み、入力画像と前記テクスチャー・モデルとのテクスチャー情報の差分のコスト計算に基づいて、入力画像から各特徴点の位置を探索するテクスチャー・モデル適合処理部をさらに備え、前記外れ領域検出部は、前記テクスチャー・モデル適合処理部において算出したコストが所定の閾値以上となる特徴点を外れ点として判別する、上記（１）に記載の画像処理装置。
（４）事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部と、入力画像中の対象物の形状のうち、事前に指定された外れ領域を検出する外れ領域検出部と、前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部と、を具備する画像処理装置。
（５）前記モデル情報は、対象物の形状上で定義された複数の特徴点の座標位置に関する形状情報を基底空間に分解した形状モデルと、特徴点毎のテクスチャー情報に関するテクスチャー・モデルを含み、テクスチャー情報の乏しい特徴点に対して事前に外れ点として指定されている、上記（４）に記載の画像処理装置。
（６）入力画像と前記テクスチャー・モデルとのテクスチャー情報の差分のコスト計算に基づいて、入力画像から各特徴点の位置を探索するテクスチャー・モデル適合処理部をさらに備え、前記テクスチャー・モデル適合処理部は、外れ点として事前に指定されている特徴点についての処理を省略する、上記（５）に記載の画像処理装置。
（７）前記モデル情報取得部は、事前に得られた複数の形状情報を、主成分分析又は独立成分分析して分解された基底空間をモデル情報として取得する、上記（１）又は（４）のいずれかに記載の画像処理装置。
（８）事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得ステップと、入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出ステップと、前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影ステップと、を有する画像処理方法。
（９）事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得ステップと、入力画像中の対象物の形状のうち、事前に指定された外れ領域を検出する外れ領域検出ステップと、前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影ステップと、を有する画像処理方法。
（１０）対象物を含んだ画像を入力する画像入力部と、入力画像中の対象物の形状のうち、事前に得られた複数の形状情報を基底空間に分解しモデル情報との差分が生じた外れ領域を検出する外れ領域検出部と、検出した外れ領域の情報とともに、入力画像中の対象物の形状を前記基底空間へ射影して形状を推定する処理をサーバーに要求する処理要求部と、入力画像中の対象物の形状のうち前記外れ領域にマスクを掛けて前記基底空間へ射影して得られた形状の推定結果をサーバーから受け取る処理結果受信部と、を具備する画像処理装置。
（１１）対象物を含んだ画像を入力する画像入力部と、事前に指定した外れ領域の情報とともに、入力画像中の対象物の形状を事前に得られた複数の形状情報を分解した基底空間へ射影して形状を推定する処理をサーバーに要求する処理要求部と、入力画像中の対象物の形状のうち前記外れ領域にマスクを掛けて前記基底空間へ射影して得られた形状の推定結果をサーバーから受け取る処理結果受信部と、を具備する画像処理装置。
（１２）事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部、入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出部、前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
（１３）事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部、入力画像中の対象物の形状のうち、事前に指定された外れ領域を検出する外れ領域検出部、前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、ＡＳＭ／ＡＡＭを利用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。事前に得られた複数の形状情報を基底空間に分解しておき、入力画像に含まれる物体の任意の形状を基底空間への射影及び逆射影する、さまざまなタイプの画像処理技術に対して、同様に本明細書で開示する技術を適用することができる。

また、本明細書では、顔画像の認識・推定を行なう実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。変形を含むその他のさまざまな物体形状の認識・推定処理においても、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１００…画像処理装置
１１０…ＣＰＵ
１２０…記憶部
１３０…通信部
１４０…画像入力部
１５０…画像出力部
１６０…操作部
１７０…表示部
２１０…事前学習部
２２０…認識・推定処理部
６１０…顔検出部
６２０…テクスチャー・モデル適合処理部
６３０…形状モデル整形部

Claims (13)

1. 事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部と、
   入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出部と、
   前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部と、
   を具備する画像処理装置。
2. 前記基底空間は、前記事前に得られた複数の形状情報の平均形状及び基底成分からなり、
   前記外れ領域検出部は、入力画像中の対象物の形状のうち前記平均形状と差分を生じた外れ領域を検出する、
   請求項１に記載の画像処理装置。
3. 前記モデル情報は、対象物の形状上で定義された複数の特徴点の座標位置に関する形状情報を基底空間に分解した形状モデルと、特徴点毎のテクスチャー情報に関するテクスチャー・モデルを含み、
   入力画像と前記テクスチャー・モデルとのテクスチャー情報の差分のコスト計算に基づいて、入力画像から各特徴点の位置を探索するテクスチャー・モデル適合処理部をさらに備え、
   前記外れ領域検出部は、前記テクスチャー・モデル適合処理部において算出したコストが所定の閾値以上となる特徴点を外れ点として判別する、
   請求項１又は２のいずれかに記載の画像処理装置。
4. 事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部と、
   入力画像中の対象物の形状のうち、テクスチャー情報の乏しい特徴点として事前に指定された外れ点を検出する外れ点検出部と、
   前記外れ点にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部と、
   を具備する画像処理装置。
5. 前記モデル情報は、対象物の形状上で定義された複数の特徴点の座標位置に関する形状情報を基底空間に分解した形状モデルと、特徴点毎のテクスチャー情報に関するテクスチャー・モデルを含む、
   請求項４に記載の画像処理装置。
6. 入力画像と前記テクスチャー・モデルとのテクスチャー情報の差分のコスト計算に基づいて、入力画像から各特徴点の位置を探索するテクスチャー・モデル適合処理部をさらに備え、
   前記テクスチャー・モデル適合処理部は、外れ点として事前に指定されている特徴点についての処理を省略する、
   請求項５に記載の画像処理装置。
7. 前記モデル情報取得部は、事前に得られた複数の形状情報を、主成分分析又は独立成分分析して分解された基底空間をモデル情報として取得する、
   請求項１乃至６のいずれかに記載の画像処理装置。
8. 事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得ステップと、
   入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出ステップと、
   前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影ステップと、
   を有する画像処理方法。
9. 事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得ステップと、
   入力画像中の対象物の形状のうち、入力画像中の対象物の形状のうち、テクスチャー情報の乏しい特徴点として事前に指定された外れ点を検出する外れ点検出ステップと、
   前記外れ点にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影ステップと、
   を有する画像処理方法。
10. 対象物を含んだ画像を入力する画像入力部と、
    入力画像中の対象物の形状のうち、事前に得られた複数の形状情報を基底空間に分解しモデル情報との差分が生じた外れ領域を検出する外れ領域検出部と、
    検出した外れ領域の情報とともに、入力画像中の対象物の形状を前記基底空間へ射影して形状を推定する処理をサーバーに要求する処理要求部と、
    入力画像中の対象物の形状のうち前記外れ領域にマスクを掛けて前記基底空間へ射影して得られた形状の推定結果をサーバーから受け取る処理結果受信部と、
    を具備する画像処理装置。
11. 対象物を含んだ画像を入力する画像入力部と、
    テクスチャー情報の乏しい特徴点として事前に指定した外れ点の情報とともに、入力画像中の対象物の形状を事前に得られた複数の形状情報を分解した基底空間へ射影して形状を推定する処理をサーバーに要求する処理要求部と、
    入力画像中の対象物の形状のうち前記外れ点にマスクを掛けて前記基底空間へ射影して得られた形状の推定結果をサーバーから受け取る処理結果受信部と、
    を具備する画像処理装置。
12. 事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部、
    入力画像中の対象物の形状から、前記モデル情報と差分を生じた外れ領域を検出する外れ領域検出部、
    前記外れ領域にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
13. 事前に得られた複数の形状情報を基底空間に分解したモデル情報を取得するモデル情報取得部、
    入力画像中の対象物の形状のうち、テクスチャー情報の乏しい特徴点として事前に指定された外れ点を検出する外れ点検出部、
    前記外れ点にマスクを掛けて、入力画像中の対象物の形状を前記基底空間へ射影する射影部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。