JPWO2012144648A1 - 顔画像補正システム、顔画像補正方法及び顔画像補正用プログラム - Google Patents

Abstract

入力した顔画像を、個人特性を保持しつつユーザが所望する特性を持った顔画像に補正することのできる技術を提供する。本発明の顔画像補正システムは、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する顔特性空間記憶手段と、所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する個人特性反映手段と、外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、反映特性空間に射影して射影ベクトルを生成する顔画像ベクトル射影手段と、射影ベクトルを、反映特性空間の情報を用いて元の顔画像空間に再構成する顔画像再構成手段と、を含む。

Description

本発明は顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムに関し、特に、ユーザが所望する特性を持った顔画像に補正することのできる、顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムに関する。

写真撮影のデジタル化、及び画像処理技術の進展により、証明写真等において、写真を閲覧する人物に対して好印象を与えるように、撮影した画像を補正する技術が知られている。例えば、画像処理によって肌のシミやそばかす等の除去や、顔の輪郭の修正を行う技術がある。
また、近年ではインターネット上の様々なサービスに写真をアップロードする行為が一般的なユーザにも浸透している。ユーザ本人の顔をより良く見せるため、顔写真を補正する技術は個人用途にも広まってきている。
より美しく見せるために顔画像を補正する方法として、特許文献１は、ソフトフォーカス画像を重ね合わせることでシミ等を目立たなくさせる方法を開示する。また、特許文献２は、輝度信号の変化が小さな成分を除去することで目や鼻などの輪郭線を保ったままシミ等を除去する方法を開示する。
また、特許文献３は、ニキビ等の不要な成分を含まない顔画像から生成された数学モデルを入力顔画像に適用後、画像を再構成することで、ニキビ等を除去する方法を開示する。ここで生成される数学モデルは、ニキビ等の除去対象の要素が含まれない顔画像の輝度情報に、例えば主成分分析などの統計処理を施すことによって求める。そのため、除去対象に関する特別な知識や、処理に関して手作業や熟練を必要とせず、顔画像の補正を行うことが可能である。
より積極的にユーザの好みにあった顔画像に補正する方法として、非特許文献１は、Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌによって顔部位の位置及び輪郭線を抽出後、顔部位の位置や輪郭を美しい方向に変形することによって美顔を生成する方法を開示する。美しい方向は、ファッションモデル等の複数の顔画像から美しい顔部位の配置パターンを求め、その配置パターンに基づいて推定される。そのため、非特許文献１に記載の技術によれば、ユーザの好みの顔画像から顔部位の配置パターンを求めることで、ユーザの好みを反映した補正が可能となる。

特開２００５−１５９５６１ 特開２０００−１０５８１５ 特開２００７−０８７２３４

Ｔｏｍｍｅｒ Ｌｅｙｖａｎｄ，Ｄａｎｉｅｌ Ｃｏｈｅｎ−Ｏｒ，Ｇｉｄｅｏｎ Ｄｒｏｒ ａｎｄ Ｄａｎｉ Ｌｉｓｃｈｉｎｓｋｉ，″Ｄａｔａ−Ｄｒｉｖｅｎ Ｅｎｈａｎｃｅｍｅｎｔ ｏｆ Ｆａｃｉａｌ Ａｔｔｒａｃｔｉｖｅｎｅｓｓ，″ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ ２００８），２００８． Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ："Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌｓ"，Ｐｒｏｃ．ｏｆ ｔｈｅ ５ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．２，Ｓｐｒｉｎｇｅｒ，ｐｐ．４８４−４９８（１９９８）．

しかしながら特許文献１〜３に記載の技術では、入力した顔画像に対し、個人特性が保持された状態でユーザが所望する特性を持った顔画像に補正することができなかった。その理由は、個人特性を保持しようとすると、必ずしも所望の顔画像に補正されず、また、所望の特性を持った顔画像に補正をしようとする場合には、個人特性を反映させる具体的な手段がなかったからである。
以上より本発明の目的は、入力した顔画像を、個人特性を保持しつつユーザが所望する特性を持った顔画像に補正することのできる顔画像補正システムを提供することにある。

上記目的を達成するために、本発明に係る顔画像補正システムは、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する顔特性空間記憶手段と、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する個人特性反映手段と、外部から入力された顔画像である入力顔画像の輝度値ベクトルを、前記反映特性空間に射影する顔画像ベクトル射影手段と、前記顔画像ベクトル射影手段が反映特性空間に射影した射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する顔画像再構成手段と、を含む。
上記目的を達成するために、本発明に係る顔画像補正方法は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、外部から入力された顔画像である入力顔画像の輝度値ベクトルを、前記反映特性空間に射影し、前記反映特性空間に射影した射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する。
上記目的を達成するために、本発明に係る記録媒体に格納される顔画像補正用プログラムは、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、外部から入力された顔画像である入力顔画像の輝度値ベクトルを、前記反映特性空間に射影し、前記反映特性空間に射影した射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する、処理をコンピュータに実行させる。

本発明における顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムによれば、入力した顔画像を個人特性が保持された状態でユーザが所望する特性を持った顔画像に補正することができる。

本発明の第１実施形態に係る顔画像補正システム１の構成を示すブロック図である。 本発明の第１実施形態に係る顔画像補正システム１が行う補正処理の動作を示す流れ図である。 本発明の第２実施形態に係る顔画像補正システム２の構成を示すブロック図である。 本発明の第２実施形態に係る顔画像補正システム２が行う補正処理の動作を示す流れ図である。 本発明の第３実施形態に係る顔画像補正システム３の構成を示すブロック図である。 本発明の第３実施形態に係る顔画像補正システム３が行う補正処理の動作を示す流れ図である。 本発明の第４実施形態に係る顔画像補正システム４の構成を示すブロック図である。 本発明の第４実施形態に係る顔画像補正システム４が行う補正処理の動作を示す流れ図である。 本発明の第１実施形態に係る顔画像補正システム１のハードウェア構成の一例を示すブロック図である。 顔画像の一例を示す図である。 顔画像の輝度値ベクトルの概念の一例を示す図である。 顔画像ベクトル射影部１２０におけるベクトルの射影及び顔画像再構成部１３０における顔画像の再構成の概念を示す図である。

まず、本発明の実施形態の理解を容易にするために、本発明の背景を説明する。
特許文献１及び特許文献２に開示された顔画像の補正技術は、肌のシミやそばかす等を目立たなくすることで、入力した顔画像の輪郭や顔部位の配置や形といった個人特性を保持したまま、好印象を与えるように画像を補正することが出来る。しかし、シミやそばかす等をそれぞれどの程度目立たなくさせるかといった処理をユーザが選択することは出来ないため、その処理はユーザ個人の好みを反映した補正にはなっていない。
また、シミやそばかす等を目立たなくさせる程度をユーザが指定出来たとしても、例えば「顔をハリウッド女優のようにしたい」といった主観的な補正を行う場合には、シミとそばかす等をどの程度目立たなくさせれば良いかをユーザが指定するのは困難であった。
また、非特許文献１に開示された顔画像の補正方法では、美しい顔部位の配置パターンはユーザが与える顔画像から自動的に求められるため、ユーザはどの部位をどの程度補正する必要があるかを意識することなく、容易にユーザの所望の特性を持った補正が行える。しかし、非特許文献１に記載の技術は、顔部位の配置や形を大きく変えることによって顔画像の補正を行うため、補正後の顔画像が、補正前とは別の人物となってしまう。
特許文献３に開示された顔画像の補正方法は、顔画像の補正に用いる数学モデルを、ニキビ等の除去対象の要素を含まない顔画像から統計処理によって求める。そのため、特許文献３に記載の技術によれば、ユーザが所望する、除去対象を含まない顔画像を集めることで、容易にニキビ除去等の顔画像の補正が行える。しかし、特許文献３に記載の技術も、補正前の個人特性に関する情報を含まない数学モデルで補正を行うため、非特許文献１に開示された顔画像の補正方法と同様に、補正後の顔画像は、補正前の顔画像の個人性が失われてしまう。
以下に説明される本発明の実施形態によれば、ユーザが所望する特性を持った顔画像に補正を行い、かつ、入力した顔画像の個人特性を保持することができる。
＜第１実施形態＞
本発明の第１実施形態に係る顔画像補正システム１について添付図面を参照して説明する。
図１は、本発明の第１実施形態に係る顔画像補正システム１の構成を示すブロック図である。図１に示すように、顔画像補正システム１は、データ処理装置１００Ａと、記憶装置２００とを含む。データ処理装置１００Ａは、顔画像入力部１１０と、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、顔画像出力部１４０と、個人特性反映部１５０Ａを含む。記憶装置２００は、顔特性空間記憶部２１０を含む。
ここで、顔画像入力部１１０と、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、顔画像出力部１４０と、個人特性反映部１５０Ａとは、ＣＰＵ（中央処理制御装置）が図示しない記憶部に記憶されたプログラムに基づいて各種命令の実行、データを処理するコンピュータ装置であってもよい。
図１に示す各構成部はそれぞれ概略次のように動作する。なお、本実施形態に係る顔画像補正システムを実施する際は、所望する顔特性を持った複数枚の顔画像をユーザ自身が用意する。たとえば、ユーザは、顔特性空間記憶部２１０に接続する図示しない一般的な情報処理装置を用いてもよい。すなわち、予めユーザは、情報処理装置を操作し、所望する顔特性を持った複数枚の顔画像のデータを発生し、その装置の内部の記憶部に格納する。あるいは、情報処理装置は、外部から取り込んだ複数枚の顔画像のデータを記憶部に格納する。ここで、顔画像データは、顔画像の各画素の輝度値を示す輝度値ベクトルを含む。
さらに情報処理装置は、その輝度値ベクトルから、ユーザが所望する顔特性を反映した顔画像の部分空間を構築し、その部分空間である所望顔特性空間の情報を、予め顔特性空間記憶部２１０に記憶する。又は、顔特性空間記憶部２１０が顔画像の部分空間を構築する機能を備えていても良い。
ここで、本実施形態において顔特性とは、『その人らしさ』を表す特性という意味で用いる。具体的には、例えば『Ａさんは顎が細い』、『Ｂさんは二重瞼である』、『Ｃさんは両目の間隔が広い』等の、他の人とは異なるその人自身の顔の特徴のことである。
所望顔特性空間の情報は例えば所定の方法で生成した複数の固有値（複数の固有値を並べた行列でも良い。）及び固有ベクトルでも良い。その場合、上記の情報処理装置が行う部分空間を構築するという処理は、複数の固有ベクトルを生成する処理又は複数の固有ベクトルを並べて行列を生成する処理を意味する。
固有値及び固有ベクトルを生成する所定の方法は、例えば主成分分析を用いて生成した成分毎に固有値及び固有ベクトルを算出する方法でも良い。主成分分析によってどのように成分を生成するかは、固有値分解の方法に依存しても良い。
なお、所望顔特性空間の情報を生成する方法は、後の実施例で詳細に説明する。
顔特性空間記憶部２１０は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する。
個人特性反映部１５０Ａは、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に、予め登録された個人特性に関わる情報を反映させて反映特性空間の情報を生成する。ここで、個人特性に係わる情報は、例えば、複数のユーザの顔画像データの輝度値ベクトルから生成した固有値及び固有ベクトル（又は固有ベクトルを複数並べた行列）でも良い。反映特性空間の情報は、例えば、所望顔特性空間の情報である固有値及び固有ベクトルと、個人特性に関わる情報である固有値及び固有ベクトルとから生成される行列である射影行列でも良い。射影行列については、後の実施例で詳細に説明する。
個人特性の設定方法は特に限定されない。個人特性の設定方法は、予め固定された特性が設定されていても良いし、顔画像補正システム１が入力画像の補正処理を行う都度ユーザにより設定されても良い。個人特性に関わる情報は個人特性反映部１５０Ａそのものに登録されていても良いし、図示しない記憶部に登録されていても良い。
また、個人特性反映部１５０Ａが生成した反映特性空間の情報は、顔特性空間記憶部２１０が、所望顔特性空間の情報に上書きして記憶しても良いし、図示しない別の記憶部に記憶されても良い。なお、以下の説明では便宜のために、顔特性空間記憶部２１０が反映特性空間の情報を記憶するものとする。
顔画像入力部１１０は、顔画像の各画素の輝度値を示す輝度値ベクトルを含む顔画像データの入力を受け付け、顔画像ベクトル射影部１２０に顔画像データを出力する。顔画像入力部１１０は、ユーザが指定した顔画像データの入力を受け付けても良い。
顔画像ベクトル射影部１２０は、顔画像入力部１１０で入力した顔画像を示す入力顔画像データの輝度値ベクトルを、顔特性空間記憶部２１０が記憶している反映特性空間の情報を用いて反映特性空間に射影する。具体的には顔画像ベクトル射影部１２０は、入力顔画像データの輝度値ベクトルと、反映特性空間の情報である射影行列とを演算し、射影ベクトルを算出しても良い。
反映特性空間に射影された輝度値ベクトルは、射影ベクトルと呼ばれる。顔画像ベクトル射影部１２０は、反映特性空間に射影された射影ベクトルを表す情報（射影ベクトルデータ）を顔画像再構成部１３０に出力する。
顔画像再構成部１３０は、顔画像ベクトル射影部１２０が反映特性空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す。具体的には顔画像再構成部１３０は、顔画像ベクトル射影部１２０から出力されたデータが表す射影ベクトルと、顔画像ベクトル射影部１２０が演算に用いた射影行列と転置の関係にある行列とを演算し、元の顔画像空間の輝度値ベクトルに戻す。
顔画像再構成部１３０によって戻された輝度値ベクトルは、元の顔画像に対し、個人特性を保持しつつ所望の顔特性を持つように補正された顔画像を表す輝度値ベクトルとなる。
顔画像出力部１４０は、顔画像再構成部１３０が元の顔画像空間に再構成した顔画像を出力する。
次に、図２を参照して顔画像補正システム１が行う補正処理の動作について詳細に説明する。
図２は、本発明の第１実施形態に係る顔画像補正システム１が行う補正処理の動作を示す流れ図である。図２に示すように、まず、顔画像入力部１１０は顔画像データの入力を受け付ける（ステップＳ１１１）。
次に、顔画像ベクトル射影部１２０は、ステップＳ１１１で入力した顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間に射影する（ステップＳ１１２）。
次に、顔画像再構成部１３０は、ステップＳ１１２で顔特性部分空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す（ステップＳ１１３）。
次に、顔画像出力部１４０は、ステップＳ１１３で元の顔画像空間に再構成された顔画像を出力する（ステップＳ１１４）。
なお、個人特性反映部１５０Ａが、所望顔特性空間へ個人特性を反映して反映特性空間を生成する処理は、予め行われていても良いし、顔画像補正システム１が補正処理を行う度に個人特性に関するユーザの指定を受けて行っても良い。
次に、本実施形態の効果について説明する。本実施形態に係る画像補正システム１によれば、入力顔画像の本人の特徴を残したままユーザが所望する特性を持った顔画像に補正することができる。その理由は、入力した顔画像が、ユーザが所望する顔特性及びユーザ自身の個人特性を反映した反映特性空間に射影後、画像に再構成されるため、本人の特徴を残しつつ、ユーザが所望する顔特性以外の成分が顔画像から除去されるためである。
＜第２実施形態＞
次に、本発明の第２実施形態に係る顔画像補正システム２について添付図面を参照して説明する。
図３は、本発明の第２実施形態に係る顔画像補正システム２の構成を示すブロック図である。図３に示すように、顔画像補正システム２は、データ処理装置１００Ｂと、記憶装置２００とを含む。
データ処理装置１００Ｂは、顔画像入力部１１０と、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、顔画像出力部１４０と、個人特性反映部１５０Ｂと、個人特性抽出部１６０と、を含む。記憶装置２００は、顔特性空間記憶部２１０を含む。
上記の各構成部はそれぞれ概略次のように動作する。なお、第１実施形態と同様の構成部については、第１実施形態と同様の動きをしても良いため、簡単な説明にとどめる。
顔特性空間記憶部２１０は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する。
顔画像入力部１１０は、顔画像データの入力を受け付ける。
個人特性抽出部１６０は、顔画像入力部１１０で入力した顔画像データから、個人特性に関わる情報を抽出する。
個人特性抽出部１６０は、抽出した個人特性に関わる情報を個人特性反映部１５０Ｂに出力する。
個人特性反映部１５０Ｂは、個人特性抽出部１６０から出力された個人特性に関わる情報を、顔特性空間記憶部２１０が予め記憶する所望顔特性空間の情報に反映し、反映特性空間の情報を生成する。反映特性空間の情報は、第１実施形態と同様に、顔特性空間記憶部２１０に記憶されるものとする。
顔画像ベクトル射影部１２０は、顔画像入力部１１０から出力された入力顔画像データに含まれる輝度値ベクトルを、顔特性空間記憶部２１０が記憶している反映特性空間の情報を用いて反映特性空間に射影する。
顔画像再構成部１３０は、顔画像ベクトル射影部１２０が反映特性空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す。
顔画像出力部１４０は、顔画像再構成部１３０が元の顔画像空間に再構成した顔画像を出力する。
次に、図４の流れ図を参照して顔画像補正システム２が行う補正処理の動作について詳細に説明する。
図４は、本発明の第２実施形態に係る顔画像補正システム２が行う補正処理の動作を示す流れ図である。図４に示すように、まず、顔画像入力部１１０は、顔画像データの入力を受け付ける（ステップＳ１２１）。
次に、個人特性抽出部１６０は、ステップＳ１２１で入力した顔画像データから補正前の個人特性に関わる情報を抽出し、抽出した個人特性に関わる情報を個人特性反映部１５０Ｂに出力する（ステップＳ１２２）。
個人特性反映部１５０Ｂは、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に抽出した情報を反映し、反映特性空間の情報を生成する（ステップＳ１２３）。なお、反映特性空間の情報は顔特性空間記憶部２１０に記憶されるものとする。
次に、顔画像ベクトル射影部１２０は、ステップＳ１２１で入力した顔画像データに含まれる輝度値ベクトルを顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて反映特性空間に射影する（ステップＳ１２４）。
次に、顔画像再構成部１３０は、ステップＳ１２４で反映特性空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す（ステップＳ１２５）。
次に、顔画像出力部１４０は、ステップＳ１２５で元の顔画像空間に再構成された顔画像を出力する（ステップＳ１２６）。
次に、本実施形態の効果について説明する。本実施形態に係る画像補正システム２によれば、予め人手によって個人特性を設定しなくても、入力顔画像の本人の特徴を残したままユーザが所望する特性を持った顔画像に補正することができる。その理由は、個人特性抽出部１６０が、入力顔画像から自動的に個人特性を抽出し、反映特性空間の情報を生成するからである。
＜第３実施形態＞
次に、本発明の第３実施形態に係る顔画像補正システム３について添付図面を参照して説明する。
図５は、本発明の第３実施形態に係る顔画像補正システム３の構成を示すブロック図である。図５に示すように、顔画像補正システム３は、データ処理装置１００Ｃと、記憶装置２００とを含む。
データ処理装置１００Ｃは、顔画像入力部１１０と、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、顔画像出力部１４０と、個人特性反映部１５０Ａと、顔画像正規化部１７０と、顔画像逆正規化部１８０と、を含む。記憶装置２００は、顔特性空間記憶部２１０を含む。
上記の各構成部はそれぞれ概略次のように動作する。なお、第１実施形態と同様の構成部については、第１実施形態と同様の動きをしても良いため、簡単な説明にとどめる。
顔特性空間記憶部２１０は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する。
個人特性反映部１５０Ａは、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する。個人特性の設定方法は特に限定されない。なお、第１実施形態と同様に、反映特性空間の情報は、顔特性空間記憶部２１０に記憶されるものとする。
顔画像入力部１１０は、顔画像の各画素の輝度値を示す輝度値ベクトルを含む顔画像データの入力を受け付ける。
顔画像正規化部１７０は、入力顔画像データを、目や鼻などの顔部位の位置に従って顔の位置、大きさ等を揃えて切り出す処理を実行し、その処理によって切り出した顔画像に対応する画像データである正規化顔画像のデータを生成する。顔画像正規化部１７０が正規化画像のデータを生成する処理は、例えばアフィン変換により行っても良い。
顔画像ベクトル射影部１２０は、顔画像正規化部１７０で生成した正規化顔画像に含まれる輝度値ベクトルを顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて反映特性空間に射影する。
顔画像再構成部１３０は、顔画像ベクトル射影部１２０が反映特性空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す。
顔画像逆正規化部１８０は、顔画像再構成部１３０が再構成した補正後の顔画像に対応する補正画像データに対し、顔画像正規化部１７０と逆の変換を行い、正規化顔画像の目や鼻などの顔部位の位置や顔輪郭を、顔画像入力部１１０で入力した顔画像の顔部位の位置や顔輪郭に戻す。顔画像逆正規化部１８０が行う逆の変換は、例えばアフィン逆変換でも良い。
顔画像出力部１４０は、顔画像再構成部１７０が生成した顔画像を出力する。
次に、図６の流れ図を参照して顔画像補正システム３が行う補正処理の動作について詳細に説明する。
図６は、本発明の第３実施形態に係る顔画像補正システム３が行う補正処理の動作を示す流れ図である。
図６に示すように、まず、顔画像入力部１１０は、顔画像の入力を受け付ける（ステップＳ１３１）。
次に、顔画像正規化部１７０は、ステップＳ１３１で入力した顔画像データから、目や鼻などの顔部位の位置に従って顔の位置、大きさ等を揃えて切り出した画像である正規化顔画像のデータを生成する（ステップＳ１３２）。
次に、顔画像ベクトル射影部１２０は、ステップＳ１３２で生成した正規化顔画像データに含まれる輝度値ベクトルを顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて反映特性空間に射影する（ステップＳ１３３）。
次に、顔画像再構成部１３０は、ステップＳ１３３で顔特性部分空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す（ステップＳ１３４）。
次に、顔画像逆正規化部１８０は、ステップＳ１３４で再構成した補正後の顔画像に対応する補正画像データに対し、顔画像正規化部１７０と逆の変換を行い、正規化顔画像の目や鼻などの顔部位の位置や顔輪郭を、前記顔画像入力部で入力した顔画像の顔部位の位置や顔輪郭に戻す（ステップＳ１３５）。
次に、顔画像出力部１４０で、ステップＳ１３５で生成された顔画像を出力する（ステップＳ１３６）。
次に、本実施形態の効果について説明する。本実施形態に係る画像補正システム３によれば、目や鼻などの顔部位の位置や顔輪郭に関する個人変動の影響を除外して顔画像を補正することができ、より高精度に個人特性を保持したまま所望の特性を持った顔画像に補正することができる。その理由は、顔画像正規化部１７０が、入力した顔画像の目や鼻などの顔部位の位置や顔輪郭を揃える処理である正規化を行うからである。
＜第４実施形態＞
次に、本発明の第４実施形態に係る顔画像補正システム４について添付図面を参照して説明する。
図７は、本発明の第４実施形態に係る顔画像補正システム４の構成を示すブロック図である。図７に示すように、顔画像補正システム４は、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、個人特性反映部１５０Ａと、顔特性空間記憶部２１０と、を含む。
上記の各構成部はそれぞれ概略次のように動作する。
顔特性空間記憶部２１０は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する。
個人特性反映部１５０Ａは、所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する。
顔画像ベクトル射影部１２０は、外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、反映特性空間に射影して射影ベクトルを生成する。
顔画像再構成部１３０は、顔画像ベクトル射影部１２０が反映特性空間に射影した射影ベクトルを、反映特性空間の情報を用いて元の顔画像空間に再構成する。
図８は、本発明の第４実施形態に係る顔画像補正システム４が行う補正処理の動作を示す流れ図である。
図８に示すように、まず、顔画像ベクトル射影部１２０は、入力顔画像の輝度値ベクトルを顔特性空間記憶部２１０が記憶する反映特性空間に射影する（ステップＳ１１２）。
次に、顔画像再構成部１３０は、ステップＳ１１２で顔特性部分空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す（ステップＳ１１３）。
なお、個人特性反映部１５０Ａが、所望顔特性空間へ個人特性を反映して反映特性空間の情報を生成する処理は、予め行われていても良いし、顔画像補正システム１が補正処理を行う度に個人特性に関するユーザの指定を受けて行っても良い。
次に、本実施形態の効果について説明する。本実施形態に係る画像補正システム４によれば、入力顔画像の本人の特徴を残したままユーザが所望する特性を持った顔画像に補正することができる。その理由は、入力した顔画像が、ユーザが所望する顔特性及びユーザ自身の個人特性を反映した反映特性空間に射影後、画像に再構成されるため、本人の特徴を残しつつ、ユーザが所望する顔特性以外の成分が顔画像から除去されるためである。

次に、具体的な実施例を用いて本発明を実施するための第１実施形態に係る顔画像補正システム１の構成と動作を説明する。
図９は、本発明の第１実施形態に係る顔画像補正システム１のハードウェア構成の一例を示すブロック図である。図９に示すように、本発明の第１実施形態に係る顔画像補正システム１を構成する各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１０、ネットワーク接続用の通信ＩＦ３２０（インターフェース３２０）、メモリ３３０、プログラムを格納するハードディスク等の記憶装置３４０、を含むコンピュータ装置によって実現される。ただし、本発明の第１実施形態に係る顔画像補正システム１の構成は、図９に示すコンピュータ装置に限定されない。
次に図１及び図９を参照して、顔画像補正システム１の構成について具体的に説明する。
データ処理装置１００Ａは、例えばＣＰＵ３１０により実現される。ＣＰＵ３１０は、オペレーティングシステムを動作させて画像補正システム１の全体を制御する。また、ＣＰＵ３１０は、例えばドライブ装置などに装着された記録媒体からメモリ３３０にプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
図１における記憶装置２００は、例えば図９における記録装置３４０により実現される。記憶装置３４０は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
顔画像入力部１１０、顔画像ベクトル射影部１２０、顔画像再構成部１３０、顔画像出力部１４０は、例えばＣＰＵ３１０上で動作するプログラムにより実現される。顔特性空間記憶部２１０は半導体メモリ若しくはハードディスクドライブ上の記憶領域により実現される。
顔画像入力部１１０は、例えばキーボードやマウス等を介して、ユーザによるデジタルカメラで撮影した顔画像のデータの入力を受け付けても良い。
顔画像出力部１４０は、ユーザが視認できるように例えばディスプレイ等に補正後の顔画像を表示しても良い。
以下では、最初に顔特性空間記憶部２１０が記憶する所望顔特性空間の情報について説明する。
まず、顔画像入力部１１０は、顔画像の入力を受け付ける。顔画像入力部１１０が入力を受け付ける顔画像は、手動で顔領域を切り出した画像や、予め顔検出を行い顔の領域のみを切り出した顔画像であっても良い。
図１０は、顔画像の一例を示す図である。所望顔特性空間の情報は、例えば図１０に示すような顔画像に対して主成分分析を行う等により生成しても良い。なお、所望顔特性空間の情報の生成は、例えば図示しない構成部又は他の情報処理装置により行われても良い。顔特性空間記憶部２１０は、図示しない構成部又は他の情報処理装置により生成された所望顔特性空間の情報を記憶しても良い。以降では説明の便宜のため、図示しない他の情報処理装置（以下、単に「他の情報処理装置」という。）が所望顔特性空間の情報を生成するものとする。
図１１は、顔画像の輝度値ベクトルの概念の一例を示す図である。図１１の右に記載された各画素の列が輝度値ベクトルである。すなわち、輝度値ベクトルの各要素は、顔画像の各画素の輝度値を示す。
ここで、顔画像の輝度値ベクトルをｘと表す。ベクトルｘのサイズは画像の縦方向の量子化数と横方向の量子化数の積となる。例えば顔画像が縦方向１００画素で横方向１００画素の場合、ベクトルｘは１００００次元となる。
所望顔特性空間の情報を生成するために、まず、ユーザは、所望する特性を持った顔画像を複数枚用意する。ユーザが所望する特性を持った顔画像の例としては、ユーザの好みの有名人の顔や、特定の人種の顔、ユーザ自身の顔などが挙げられる。
ユーザの好みの有名人の顔を複数枚用意した場合、本発明によれば集めた有名人の顔が共通して持っている特性を持つように入力した顔画像を補正することが出来る。特定の人種の顔を複数枚用意した場合、本発明によれば入力した顔画像をその人種の顔に近づけるように補正することが出来る。また、ユーザ自身の顔を複数枚用意した場合、本発明によれば入力した他人の顔画像をユーザ自身の顔に近づけるように補正することが出来る。
次に、図９に示す顔画像補正システムと異なる他の情報処理装置は、複数枚用意した全ての顔画像から、図１１に示すように輝度値ベクトルを生成する。これらベクトルをｚ１〜ｚＮと表す。ここでＮは用意した顔画像の枚数である。
次に、他の情報処理装置は、ユーザが所望する特性を持った複数の顔画像から生成したベクトルｚ１〜ｚＮに対して主成分分析を行う。つまり、ベクトルｚ１〜ｚＮの共分散行列を固有値分解することで各成分に対応する複数の固有値∧ｔ、固有ベクトルＵｔを求める。
最後に、所望顔特性空間の次元数を決定する。所望顔特性空間の次元数としては、例えば、固有値∧ｔの累積寄与率が９９％以上になる次元としても良い。累積寄与率が９９％以上になる次元をｒとしたとき、所望顔特性空間の情報は、固有値の大きい順にｒ個とった場合の固有値に対応する固有ベクトルを並べた行列となる。他の情報処理装置が、ユーザが所望する特性を持った顔画像から部分空間（所望顔特性空間）の情報を生成することにより、その情報に基づく部分空間はユーザが所望する顔特性を反映した空間となる。
なお、次元数の決定の方法は累積寄与率による決定の方法には限定されない。ユーザが任意に次元数を決定しても良いし、その他の方法でも良い。
ここで、他の情報処理装置は所望顔特性空間の次元数を変えることにより、ユーザが所望する顔特性以外の成分を除去する度合いを調整することが出来る。
例えば、他の情報処理装置は、部分空間の次元数を増やすことで、ユーザが所望する顔特性以外の成分を除去する度合いを低くすることが出来る。具体的に説明すると、部分空間の次元は、その空間で表現できる情報の多さを意味する。つまり。所望顔特性空間の次元数を増やすということは、所望顔特性空間で表現できる情報が多くなるということを意味する。所望顔特性空間で表現できる情報が多いということは、入力画像を所望顔特性空間に射影した後に画像を再構成したときに、元の入力画像の情報が残される度合いが高いことを意味する。つまり、他の情報処理装置は、所望顔特性空間の次元数を増やすことで、ユーザが所望する顔特性以外の成分を除去する度合いを低くすることが出来る。
一方、他の情報処理装置は、部分空間の次元数を減らすことで、ユーザが所望する顔特性以外の成分を除去する度合いを高くすることが出来る。
ただし、最適な次元は、所望顔特性空間を構成する際に用いる複数の顔画像（学習顔画像）の性質によって異なる。上述したように、他の情報処理装置は、所望顔特性空間の次元数を増やすことで、『ユーザが所望する顔特性』として表現できる範囲を広げることができる。つまり、他の情報処理装置は、次元数を増加することで、所望顔特性空間が表現できる顔特性のバリエーションを増やすことができる。この場合、元の入力画像の情報が残される度合いが高くなり、ユーザが所望する顔特性以外の成分が除去される度合いは低くなる。
次元数を増やしすぎると、表現できる特性が増えすぎて期待する所望顔特性空間にならない場合もある。具体的には、学習顔画像に含まれる、ユーザが所望する顔特性以外の成分も所望顔特性空間に含まれてしまうことになる。他の情報処理装置は、所望顔特性空間を、ユーザが所望する顔特性のみを持った空間、言い換えれば、学習顔画像が共通に持っている情報だけが表現される空間として生成しても良い。適切な所望顔特性空間を生成するために、他の情報処理装置（又は他の情報処理装置を操作するユーザ）は、所望顔特性空間の次元数を具体的な状況に応じて適切に設定しても良い。
入力した顔画像の輝度値ベクトルと所望顔特性空間の次元数が同じ場合、つまり、ユーザが所望する顔特性以外の成分を除去しない場合、補正前と補正後の画像は一致する。（射影行列）＊（射影行列の転置）＝Ｉとなるからである。もちろん、数値計算上の誤差が生じる可能性はある。そのため、コンピュータで計算した場合には厳密に一致するとは限らない。
なお、部分空間は線形に限定されず、例えばカーネル法を用いて非線形で表現しても良い。
次に、顔画像入力部１１０で入力された複数の顔画像の輝度値ベクトルに対して主成分分析を行った結果を用いて、個人特性反映部１５０が、補正前の個人特性に関わる情報を顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に反映する動作の一例を、以下に示す。
なお、個人特性反映部１５０が個人特性に関わる情報を顔特性空間記憶部２１０が記憶する所望特性空間の情報に反映する動作に関しては、説明の便宜のため第２実施形態を例にとって説明する。
第２実施形態において、個人特性反映部１５０Ｂは、個人特性抽出部１６０から出力される個人特性に関わる統計情報を所望顔特性空間の情報に反映する。個人特性抽出部１６０は、具体的にはＣＰＵ３１０上で動作するプログラムにより実現される。個人特性抽出部１６０は、顔画像入力部１１０で入力された複数の顔画像の輝度ベクトルから補正前の個人特性に係わる統計情報を抽出し、個人特性反映部１５０Ｂに出力する。
まず、個人特性抽出部１６０は、顔画像入力部１１０から複数のユーザの顔画像が入力される。入力される顔画像は、例えば図１０のような顔画像で良い。
個人特性抽出部１６０は、複数の顔画像の輝度値ベクトル（ｚｐ１，・・・，ｚｐＮ）を生成する。ここでＮは入力した顔画像の数である。個人特性を反映した部分空間である反映特性空間の情報を生成するために用いる複数の顔画像は、補正前の顔画像と同一人物の様々な姿勢、様々な表情及び様々な照明条件で撮影された顔画像を含むと良い。なお、輝度値ベクトルは、例えば図１１に示すような方法で生成されても良い。
次に、個人特性抽出部１６０は、主成分分析により、入力した複数の顔画像の個人特性に関する部分空間を求める。つまり、個人特性抽出部１６０は、輝度値ベクトルｚｐ１，・・・，ｚｐＮの共分散行列の固有値分解を行い、固有値∧ｐと固有ベクトルＵｐを求める。個人特性抽出部１６０は、主成分分析により求めた部分空間の情報を、個人特性反映部１５０Ｂに出力する。
次に、個人特性反映部１５０Ｂは、個人特性抽出部１６０からの出力を受けると、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報を得る。すなわち、個人特性反映部１５０Ｂは、顔特性空間記憶部２１０から所望顔特性空間の情報に関する固有値∧ｔ、及び固有ベクトルＵｔを得る。
次に個人特性反映部１５０Ｂは、固有値∧ｔ、及び固有ベクトルＵｔを用いて、数式１の共分散行列Σｐｔを求める。数式１の共分散行列Σｐｔは、輝度値ベクトルｚ１〜ｚＮの共分散行列（Ｕｔ×∧ｔ×Ｕｔ’）を、入力顔画像の個人特性を反映した部分空間に射影した行列となる。なお、数式１の固有値、固有ベクトルは、それぞれ次元削減された行列を使用するものとする。

次に、個人特性反映部１５０Ｂは、求めた共分散行列Σｐｔの固有値∧ｐｔ、及び固有ベクトルＵｐｔを求める。個人特性反映部１５０Ｂは、累積寄与率等により部分空間の次元ｒを決定し、固有値∧ｐｔから大きい順にｒ個とった場合の固有値に対応する固有ベクトルを並べた行列を改めてＵｐｔとする。個人特性反映部１５０Ｂは、補正前の個人特性に関わる情報を反映した射影行列Ａを、数式２により求める。

以上により、個人特性反映部１５０Ｂは、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に補正前の個人特性に係わる情報を反映し、反映特性空間の情報を生成する。
これにより、顔画像補正システム２は入力した顔画像の本人の特徴を残したままユーザが所望する特性を持った顔画像に補正することができるようになる。
顔特性空間記憶部２１０は、反映特性空間の情報を射影行列として記憶しても良い。顔特性空間記憶部２１０が射影行列を記憶する場合、その射影行列のサイズは、行数がベクトルｘのサイズ、列数が部分空間の次元数であっても良い。部分空間の次元数は、通常ベクトルｘのサイズよりも小さくても良い。
なお、第１実施形態に係る顔画像補正システム１の場合においては、個人特性に関する情報である固有値∧ｐ及び固有ベクトルＵｐを予め求めておき、固人特性反映部１５０Ａに設定しておけば良い。
次に、顔画像ベクトル射影部１２０、顔画像再構成部１３０及び顔画像出力部１４０の動作例について説明する。
顔画像ベクトル射影部１２０は、顔画像入力部１１０が入力を受け付けた顔画像の輝度値ベクトルを顔特性空間記憶部２１０が記憶する部分空間（反映特性空間）に射影する。
顔画像ベクトル射影部１２０は、反映特性空間への射影を数式３に従って行う。ここで数式３のｘは顔画像入力部１１０で入力した顔画像の輝度値ベクトルである。

Ａは数式２で求めた射影行列である。ｙは顔画像ベクトル射影部１２０が出力する射影後のベクトル（射影ベクトル）である。
顔画像再構成部１３０は、顔画像ベクトル射影部１２０で反映特性空間に射影した射影ベクトルを、再び反映特性空間の情報を用いて元の顔画像空間に戻す。
つまり、顔画像再構成部１３０は、射影ベクトルから、ベクトルの各要素が補正後の顔画像の各画素の輝度値を示す輝度値ベクトルを生成する。顔画像再構成部１３０は、線形の部分空間を考えた場合の顔画像再構成を、数式４に従って行う。

ここで、Ａは反映特性空間の情報である射影行列である。ｙは顔画像ベクトル射影部１２０から出力された射影後のベクトルである。ｘ＾は再構成された顔画像を表すベクトルであり、ｘ＾の各要素が補正後の顔画像の各画素の輝度値を示す。
図１２は、顔画像ベクトル射影部１２０におけるベクトルの射影及び顔画像再構成部１３０における顔画像の再構成の概念を示す図である。図１２は、入力画像に関する空間の部分空間である反映特性空間に、入力顔画像の輝度値ベクトルを射影することで、射影ベクトルを生成する様子を概念的に示している。
なお、上記では共分散行列Σｐｔを計算して個人特性を保持しつつ所望の顔特性を反映させる方法を説明したが、共分散行列Σｔｐを計算することで反映させる処理を行っても良い。
顔画像出力部１４０は、顔画像再構成部１３０が再構成した顔画像を出力する。数式４に従って再構成された顔画像を表すベクトルｘ＾は、例えば顔画像が縦方向１００画素で横方向１００画素の場合、次元数は１００００次元となる。顔画像出力部１４０は、ベクトルｘ＾の各要素を、図１１に示すように画像上の各画素に戻すことにより、出力の顔画像を生成する。

次に、具体的な実施例を用いて本発明の第３実施形態に関する構成と動作を説明する。本発明の第３実施形態に係る顔画像補正システムは実施例１と同様図９に示すハードウェア構成によって実現される。顔画像正規化部１７０及び顔画像逆正規化部１８０はＣＰＵ上で動作するプログラムとして実現される。
本発明の第３実施形態の各構成部については、顔画像正規化部１７０及び顔画像逆正規化部１８０を除いて、実施例１と同じ動作で実現される。
顔画像正規化部１７０は、顔画像入力部１１０で入力を受け付けた顔画像に対し、目や鼻等の顔部位の位置や顔輪郭を揃えて切り出すことで正規化顔画像を生成する。顔画像正規化部１７０は、目や鼻などの顔部位の位置や顔輪郭を、例えば、非特許文献２のＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓなどを用いて求めても良い。
顔画像正規化部１７０は、顔画像を正規化するために、例えば、入力した顔画像の目や鼻などの顔部位の位置が、基準となる顔画像の位置と出来るだけ揃うように、これらの間のアフィン変換のパラメータを最小二乗法で求める。顔画像正規化部１７０は、求めたパラメータにより顔画像全体の位置、大きさ、角度、歪み等を合わせる。
また、非特許文献２の正規化と同様に、顔画像正規化部１７０は、Ｗａｒｐ Ｉｍａｇｅと呼ばれる方法により顔画像を正規化しても良い。具体的には顔画像正規化部１７０は、目や鼻などの顔部位の位置と顔輪郭の点に従って顔を複数の三角パッチに分割し、入力顔画像と基準顔画像のそれぞれの三角パッチをアフィン変換で揃える。この動作により顔画像正規化部１７０は、より厳密に顔部位の位置あわせを行うことができる。
顔画像逆正規化部１８０は、顔画像正規化部１７０と逆の変換を行うことで、正規化顔画像の目や鼻などの顔部位の位置や顔輪郭を、顔画像入力部１１０で入力した顔画像の顔部位の位置や顔輪郭に戻す。例えば、顔画像正規化部１７０において、入力顔画像と基準顔画像の目や鼻などの顔部位の位置合わせをアフィン変換によって行った場合は、顔画像逆正規化部１８０は、アフィン逆変換を行うことで顔画像正規化前の位置、大きさ、角度、歪みに戻す。
以上、実施の形態を参照して本発明を説明したが、本発明は以上の実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
なお、これまでに説明した各実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、本発明の各実施形態に係る顔画像補正システムの構成部の実現手段は特に限定されない。すなわち、本発明の各実施形態に係る顔画像補正システムは、物理的に結合した一つの装置により実現されても良いし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されても良い。
本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
以上、これまでに説明した各実施形態及び各実施例においては、以下に示すような顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムの特徴的構成が示されている。
（付記１）
ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する顔特性空間記憶手段と、
前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する個人特性反映手段と、
外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成する顔画像ベクトル射影手段と、
前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する顔画像再構成手段と、
を含む顔画像補正システム。
（付記２）
前記入力顔画像データから個人特性に係わる情報を抽出する個人特性抽出手段と、
をさらに含み、
前記個人特性反映手段は、前記個人特性抽出手段が抽出した個人特性に関わる情報を前記所望顔特性空間の情報に反映させて反映特性空間の情報を生成する、
付記１に記載の顔画像補正システム。
（付記３）
前記入力顔画像データから、入力顔画像の特定の顔部位の位置及び顔輪郭を揃えて切り出した正規化顔画像に対応する正規化顔画像データを生成する顔画像正規化手段と、
前記正規化顔画像データに対し、前記顔画像正規化手段と逆の変換を行うことで、正規化顔画像の顔部位の位置及び顔輪郭を、前記入力顔画像の顔部位の位置及び顔輪郭に戻す顔画像逆正規化手段と
をさらに含む付記１又は２に記載の顔画像補正システム。
（付記４）
前記顔画像正規化手段は、顔部位の位置及び顔輪郭の点に従って顔を複数の三角パッチに分割し、入力顔画像及び基準顔画像のそれぞれの三角パッチをアフィン変換で揃えることで前記正規化顔画像を生成し、
前記顔画像逆正規化手段が行う前記逆の変換はアフィン逆変換である
付記３に記載の顔画像補正システム。
（付記５）
前記顔特性空間記憶手段が記憶する所望顔特性空間の情報は、ユーザが所望する特性を持った複数の顔画像から生成した複数のベクトルに対して主成分分析を行うことで得られる情報と、所定の方法で決定した次元数とから決定される行列である
付記１〜４のいずれかに記載の顔画像補正システム。
（付記６）
前記主成分分析を行うことで得られる情報は、前記複数のベクトルの共分散行列を固有値分解することで得られる第１の固有値及び第１の固有ベクトルである
付記５に記載の顔画像補正システム。
（付記７）
前記個人特性反映手段が所望顔特性空間に反映させる前記個人特性に関わる情報は、個人特性の抽出対象となる顔画像から生成した複数のベクトルに対して主成分分析を行うことで得られる第２の固有値及び第２の固有ベクトルである
付記１〜６のいずれかに記載の顔画像補正システム。
（付記８）
前記個人特性反映手段が生成する反映特性空間の情報は、前記個人特性反映手段が前記顔特性空間記憶手段から取得した第１の固有値及び第１の固有ベクトルと、第２の固有値及び第２の固有ベクトルと、所定の方法で決定した次元数とから生成される行列である
付記７に記載の顔画像補正システム。
（付記９）
前記次元数を決定する所定の方法は、前記固有値の累積寄与率に基づいて決定する方法である
付記８に記載の顔画像補正システム。
（付記１０）
前記行列は、前記決定された次元数の数だけ前記固有値の大きい順にとった場合の固有値に対応する固有ベクトルを並べた行列である
付記９に記載の顔画像補正システム。
（付記１１）
前記顔画像再構成手段が元の顔画像空間に再構成した顔画像を出力する顔画像出力手段と、
をさらに含む付記１〜１０のいずれかに記載の顔画像補正システム。
（付記１２）
ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、
前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、
外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成し、
前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する、
顔画像補正方法。
（付記１３）
ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、
前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、
外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成し、
前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する、
処理をコンピュータに実行させる顔画像補正用プログラムを格納する記録媒体。
以上、実施形態を参照して本願発明を説明したが、本願発明は以上の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年４月１９日に出願された日本出願特願２０１１−０９２５６６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明に係る顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムは、デジタルカメラやプリクラ機などに搭載されている美顔機能や、ユーザから送信された顔写真を様々な特性を持った顔に補正するｗｅｂサービスといった用途に適用できる。

１、２、３、４ 顔画像補正システム
１００Ａ、１００Ｂ、１００Ｃ データ処理装置
１１０ 顔画像入力部
１２０ 顔画像ベクトル射影部
１３０ 顔画像再構成部
１４０ 顔画像出力部
１５０Ａ、１５０Ｂ 個人特性反映部
１６０ 個人特性抽出部
１７０ 顔画像正規化部
１８０ 顔画像逆正規化部
２００ 記憶装置
２１０ 顔特性空間記憶部
３１０ ＣＰＵ
３２０ 通信ＩＦ
３３０ メモリ
３４０ 記憶装置

本発明は顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムに関し、特に、ユーザが所望する特性を持った顔画像に補正することのできる、顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムに関する。

写真撮影のデジタル化、及び画像処理技術の進展により、証明写真等において、写真を閲覧する人物に対して好印象を与えるように、撮影した画像を補正する技術が知られている。例えば、画像処理によって肌のシミやそばかす等の除去や、顔の輪郭の修正を行う技術がある。

また、近年ではインターネット上の様々なサービスに写真をアップロードする行為が一般的なユーザにも浸透している。ユーザ本人の顔をより良く見せるため、顔写真を補正する技術は個人用途にも広まってきている。

より美しく見せるために顔画像を補正する方法として、特許文献１は、ソフトフォーカス画像を重ね合わせることでシミ等を目立たなくさせる方法を開示する。また、特許文献２は、輝度信号の変化が小さな成分を除去することで目や鼻などの輪郭線を保ったままシミ等を除去する方法を開示する。

また、特許文献３は、ニキビ等の不要な成分を含まない顔画像から生成された数学モデルを入力顔画像に適用後、画像を再構成することで、ニキビ等を除去する方法を開示する。ここで生成される数学モデルは、ニキビ等の除去対象の要素が含まれない顔画像の輝度情報に、例えば主成分分析などの統計処理を施すことによって求める。そのため、除去対象に関する特別な知識や、処理に関して手作業や熟練を必要とせず、顔画像の補正を行うことが可能である。

より積極的にユーザの好みにあった顔画像に補正する方法として、非特許文献１は、Active Shape Modelによって顔部位の位置及び輪郭線を抽出後、顔部位の位置や輪郭を美しい方向に変形することによって美顔を生成する方法を開示する。美しい方向は、ファッションモデル等の複数の顔画像から美しい顔部位の配置パターンを求め、その配置パターンに基づいて推定される。そのため、非特許文献１に記載の技術によれば、ユーザの好みの顔画像から顔部位の配置パターンを求めることで、ユーザの好みを反映した補正が可能となる。

特開２００５−１５９５６１ 特開２０００−１０５８１５ 特開２００７−０８７２３４

[非特許文献１] Tommer Leyvand, Daniel Cohen-Or, Gideon Dror and Dani Lischinski, "Data-Driven Enhancement of Facial Attractiveness," ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2008), 2008.
[非特許文献２] T. F. Cootes, G. J. Edwards and C. J. Taylor: “Active appearance models”, Proc. of the 5th European Conference on Computer Vision, Vol. 2, Springer, pp. 484-498 (1998).

しかしながら特許文献１〜３に記載の技術では、入力した顔画像に対し、個人特性が保持された状態でユーザが所望する特性を持った顔画像に補正することができなかった。その理由は、個人特性を保持しようとすると、必ずしも所望の顔画像に補正されず、また、所望の特性を持った顔画像に補正をしようとする場合には、個人特性を反映させる具体的な手段がなかったからである。

以上より本発明の目的は、入力した顔画像を、個人特性を保持しつつユーザが所望する特性を持った顔画像に補正することのできる顔画像補正システムを提供することにある。

上記目的を達成するために、本発明に係る顔画像補正システムは、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する顔特性空間記憶手段と、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する個人特性反映手段と、外部から入力された顔画像である入力顔画像の輝度値ベクトルを、前記反映特性空間に射影する顔画像ベクトル射影手段と、前記顔画像ベクトル射影手段が反映特性空間に射影した射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する顔画像再構成手段と、を含む。

上記目的を達成するために、本発明に係る顔画像補正方法は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、外部から入力された顔画像である入力顔画像の輝度値ベクトルを、前記反映特性空間に射影し、前記反映特性空間に射影した射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する。

上記目的を達成するために、本発明に係る顔画像補正用プログラムは、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、外部から入力された顔画像である入力顔画像の輝度値ベクトルを、前記反映特性空間に射影し、前記反映特性空間に射影した射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する、処理をコンピュータに実行させる。

本発明における顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムによれば、入力した顔画像を個人特性が保持された状態でユーザが所望する特性を持った顔画像に補正することができる。

本発明の第１実施形態に係る顔画像補正システム１の構成を示すブロック図である。 本発明の第１実施形態に係る顔画像補正システム１が行う補正処理の動作を示す流れ図である。 本発明の第２実施形態に係る顔画像補正システム２の構成を示すブロック図である。 本発明の第２実施形態に係る顔画像補正システム２が行う補正処理の動作を示す流れ図である。 本発明の第３実施形態に係る顔画像補正システム３の構成を示すブロック図である。 本発明の第３実施形態に係る顔画像補正システム３が行う補正処理の動作を示す流れ図である。 本発明の第４実施形態に係る顔画像補正システム４の構成を示すブロック図である。 本発明の第４実施形態に係る顔画像補正システム４が行う補正処理の動作を示す流れ図である。 本発明の第１実施形態に係る顔画像補正システム１のハードウェア構成の一例を示すブロック図である。 顔画像の一例を示す図である。 顔画像の輝度値ベクトルの概念の一例を示す図である。 顔画像ベクトル射影部１２０におけるベクトルの射影及び顔画像再構成部１３０における顔画像の再構成の概念を示す図である。

まず、本発明の実施形態の理解を容易にするために、本発明の背景を説明する。

特許文献１及び特許文献２に開示された顔画像の補正技術は、肌のシミやそばかす等を目立たなくすることで、入力した顔画像の輪郭や顔部位の配置や形といった個人特性を保持したまま、好印象を与えるように画像を補正することが出来る。しかし、シミやそばかす等をそれぞれどの程度目立たなくさせるかといった処理をユーザが選択することは出来ないため、その処理はユーザ個人の好みを反映した補正にはなっていない。

また、シミやそばかす等を目立たなくさせる程度をユーザが指定出来たとしても、例えば「顔をハリウッド女優のようにしたい」といった主観的な補正を行う場合には、シミとそばかす等をどの程度目立たなくさせれば良いかをユーザが指定するのは困難であった。

また、非特許文献１に開示された顔画像の補正方法では、美しい顔部位の配置パターンはユーザが与える顔画像から自動的に求められるため、ユーザはどの部位をどの程度補正する必要があるかを意識することなく、容易にユーザの所望の特性を持った補正が行える。しかし、非特許文献１に記載の技術は、顔部位の配置や形を大きく変えることによって顔画像の補正を行うため、補正後の顔画像が、補正前とは別の人物となってしまう。

特許文献３に開示された顔画像の補正方法は、顔画像の補正に用いる数学モデルを、ニキビ等の除去対象の要素を含まない顔画像から統計処理によって求める。そのため、特許文献３に記載の技術によれば、ユーザが所望する、除去対象を含まない顔画像を集めることで、容易にニキビ除去等の顔画像の補正が行える。しかし、特許文献３に記載の技術も、補正前の個人特性に関する情報を含まない数学モデルで補正を行うため、非特許文献１に開示された顔画像の補正方法と同様に、補正後の顔画像は、補正前の顔画像の個人性が失われてしまう。

以下に説明される本発明の実施形態によれば、ユーザが所望する特性を持った顔画像に補正を行い、かつ、入力した顔画像の個人特性を保持することができる。

＜第１実施形態＞
本発明の第１実施形態に係る顔画像補正システム１について添付図面を参照して説明する。

図１は、本発明の第１実施形態に係る顔画像補正システム１の構成を示すブロック図である。図１に示すように、顔画像補正システム１は、データ処理装置１００Ａと、記憶装置２００とを含む。データ処理装置１００Ａは、顔画像入力部１１０と、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、顔画像出力部１４０と、個人特性反映部１５０Ａを含む。記憶装置２００は、顔特性空間記憶部２１０を含む。

ここで、顔画像入力部１１０と、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、顔画像出力部１４０と、個人特性反映部１５０Ａとは、ＣＰＵ（中央処理制御装置）が図示しない記憶部に記憶されたプログラムに基づいて各種命令の実行、データを処理するコンピュータ装置であってもよい。

図１に示す各構成部はそれぞれ概略次のように動作する。なお、本実施形態に係る顔画像補正システムを実施する際は、所望する顔特性を持った複数枚の顔画像をユーザ自身が用意する。たとえば、ユーザは、顔特性空間記憶部２１０に接続する図示しない一般的な情報処理装置を用いてもよい。すなわち、予めユーザは、情報処理装置を操作し、所望する顔特性を持った複数枚の顔画像のデータを発生し、その装置の内部の記憶部に格納する。あるいは、情報処理装置は、外部から取り込んだ複数枚の顔画像のデータを記憶部に格納する。ここで、顔画像データは、顔画像の各画素の輝度値を示す輝度値ベクトルを含む。

さらに情報処理装置は、その輝度値ベクトルから、ユーザが所望する顔特性を反映した顔画像の部分空間を構築し、その部分空間である所望顔特性空間の情報を、予め顔特性空間記憶部２１０に記憶する。又は、顔特性空間記憶部２１０が顔画像の部分空間を構築する機能を備えていても良い。

ここで、本実施形態において顔特性とは、『その人らしさ』を表す特性という意味で用いる。具体的には、例えば『Ａさんは顎が細い』、『Ｂさんは二重瞼である』、『Ｃさんは両目の間隔が広い』等の、他の人とは異なるその人自身の顔の特徴のことである。

所望顔特性空間の情報は例えば所定の方法で生成した複数の固有値（複数の固有値を並べた行列でも良い。）及び固有ベクトルでも良い。その場合、上記の情報処理装置が行う部分空間を構築するという処理は、複数の固有ベクトルを生成する処理又は複数の固有ベクトルを並べて行列を生成する処理を意味する。

固有値及び固有ベクトルを生成する所定の方法は、例えば主成分分析を用いて生成した成分毎に固有値及び固有ベクトルを算出する方法でも良い。主成分分析によってどのように成分を生成するかは、固有値分解の方法に依存しても良い。

なお、所望顔特性空間の情報を生成する方法は、後の実施例で詳細に説明する。

顔特性空間記憶部２１０は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する。

個人特性反映部１５０Ａは、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に、予め登録された個人特性に関わる情報を反映させて反映特性空間の情報を生成する。ここで、個人特性に係わる情報は、例えば、複数のユーザの顔画像データの輝度値ベクトルから生成した固有値及び固有ベクトル（又は固有ベクトルを複数並べた行列）でも良い。反映特性空間の情報は、例えば、所望顔特性空間の情報である固有値及び固有ベクトルと、個人特性に関わる情報である固有値及び固有ベクトルとから生成される行列である射影行列でも良い。射影行列については、後の実施例で詳細に説明する。

個人特性の設定方法は特に限定されない。個人特性の設定方法は、予め固定された特性が設定されていても良いし、顔画像補正システム１が入力画像の補正処理を行う都度ユーザにより設定されても良い。個人特性に関わる情報は個人特性反映部１５０Ａそのものに登録されていても良いし、図示しない記憶部に登録されていても良い。

また、個人特性反映部１５０Ａが生成した反映特性空間の情報は、顔特性空間記憶部２１０が、所望顔特性空間の情報に上書きして記憶しても良いし、図示しない別の記憶部に記憶されても良い。なお、以下の説明では便宜のために、顔特性空間記憶部２１０が反映特性空間の情報を記憶するものとする。

顔画像入力部１１０は、顔画像の各画素の輝度値を示す輝度値ベクトルを含む顔画像データの入力を受け付け、顔画像ベクトル射影部１２０に顔画像データを出力する。顔画像入力部１１０は、ユーザが指定した顔画像データの入力を受け付けても良い。

顔画像ベクトル射影部１２０は、顔画像入力部１１０で入力した顔画像を示す入力顔画像データの輝度値ベクトルを、顔特性空間記憶部２１０が記憶している反映特性空間の情報を用いて反映特性空間に射影する。具体的には顔画像ベクトル射影部１２０は、入力顔画像データの輝度値ベクトルと、反映特性空間の情報である射影行列とを演算し、射影ベクトルを算出しても良い。

反映特性空間に射影された輝度値ベクトルは、射影ベクトルと呼ばれる。顔画像ベクトル射影部１２０は、反映特性空間に射影された射影ベクトルを表す情報（射影ベクトルデータ）を顔画像再構成部１３０に出力する。

顔画像再構成部１３０は、顔画像ベクトル射影部１２０が反映特性空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す。具体的には顔画像再構成部１３０は、顔画像ベクトル射影部１２０から出力されたデータが表す射影ベクトルと、顔画像ベクトル射影部１２０が演算に用いた射影行列と転置の関係にある行列とを演算し、元の顔画像空間の輝度値ベクトルに戻す。

顔画像再構成部１３０によって戻された輝度値ベクトルは、元の顔画像に対し、個人特性を保持しつつ所望の顔特性を持つように補正された顔画像を表す輝度値ベクトルとなる。

顔画像出力部１４０は、顔画像再構成部１３０が元の顔画像空間に再構成した顔画像を出力する。

次に、図２を参照して顔画像補正システム１が行う補正処理の動作について詳細に説明する。

図２は、本発明の第１実施形態に係る顔画像補正システム１が行う補正処理の動作を示す流れ図である。図２に示すように、まず、顔画像入力部１１０は顔画像データの入力を受け付ける（ステップＳ１１１）。

次に、顔画像ベクトル射影部１２０は、ステップＳ１１１で入力した顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間に射影する（ステップＳ１１２）。

次に、顔画像再構成部１３０は、ステップＳ１１２で顔特性部分空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す（ステップＳ１１３）。

次に、顔画像出力部１４０は、ステップＳ１１３で元の顔画像空間に再構成された顔画像を出力する（ステップＳ１１４）。

なお、個人特性反映部１５０Ａが、所望顔特性空間へ個人特性を反映して反映特性空間を生成する処理は、予め行われていても良いし、顔画像補正システム１が補正処理を行う度に個人特性に関するユーザの指定を受けて行っても良い。

次に、本実施形態の効果について説明する。本実施形態に係る画像補正システム１によれば、入力顔画像の本人の特徴を残したままユーザが所望する特性を持った顔画像に補正することができる。その理由は、入力した顔画像が、ユーザが所望する顔特性及びユーザ自身の個人特性を反映した反映特性空間に射影後、画像に再構成されるため、本人の特徴を残しつつ、ユーザが所望する顔特性以外の成分が顔画像から除去されるためである。

＜第２実施形態＞
次に、本発明の第２実施形態に係る顔画像補正システム２について添付図面を参照して説明する。

図３は、本発明の第２実施形態に係る顔画像補正システム２の構成を示すブロック図である。図３に示すように、顔画像補正システム２は、データ処理装置１００Ｂと、記憶装置２００とを含む。

データ処理装置１００Ｂは、顔画像入力部１１０と、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、顔画像出力部１４０と、個人特性反映部１５０Ｂと、個人特性抽出部１６０と、を含む。記憶装置２００は、顔特性空間記憶部２１０を含む。

上記の各構成部はそれぞれ概略次のように動作する。なお、第１実施形態と同様の構成部については、第１実施形態と同様の動きをしても良いため、簡単な説明にとどめる。

顔特性空間記憶部２１０は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する。

顔画像入力部１１０は、顔画像データの入力を受け付ける。

個人特性抽出部１６０は、顔画像入力部１１０で入力した顔画像データから、個人特性に関わる情報を抽出する。

個人特性抽出部１６０は、抽出した個人特性に関わる情報を個人特性反映部１５０Ｂに出力する。

個人特性反映部１５０Ｂは、個人特性抽出部１６０から出力された個人特性に関わる情報を、顔特性空間記憶部２１０が予め記憶する所望顔特性空間の情報に反映し、反映特性空間の情報を生成する。反映特性空間の情報は、第１実施形態と同様に、顔特性空間記憶部２１０に記憶されるものとする。

顔画像ベクトル射影部１２０は、顔画像入力部１１０から出力された入力顔画像データに含まれる輝度値ベクトルを、顔特性空間記憶部２１０が記憶している反映特性空間の情報を用いて反映特性空間に射影する。

顔画像再構成部１３０は、顔画像ベクトル射影部１２０が反映特性空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す。

顔画像出力部１４０は、顔画像再構成部１３０が元の顔画像空間に再構成した顔画像を出力する。

次に、図４の流れ図を参照して顔画像補正システム２が行う補正処理の動作について詳細に説明する。

図４は、本発明の第２実施形態に係る顔画像補正システム２が行う補正処理の動作を示す流れ図である。図４に示すように、まず、顔画像入力部１１０は、顔画像データの入力を受け付ける（ステップＳ１２１）。

次に、個人特性抽出部１６０は、ステップＳ１２１で入力した顔画像データから補正前の個人特性に関わる情報を抽出し、抽出した個人特性に関わる情報を個人特性反映部１５０Ｂに出力する（ステップＳ１２２）。

個人特性反映部１５０Ｂは、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に抽出した情報を反映し、反映特性空間の情報を生成する（ステップＳ１２３）。なお、反映特性空間の情報は顔特性空間記憶部２１０に記憶されるものとする。

次に、顔画像ベクトル射影部１２０は、ステップＳ１２１で入力した顔画像データに含まれる輝度値ベクトルを顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて反映特性空間に射影する（ステップＳ１２４）。

次に、顔画像再構成部１３０は、ステップＳ１２４で反映特性空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す（ステップＳ１２５）。

次に、顔画像出力部１４０は、ステップＳ１２５で元の顔画像空間に再構成された顔画像を出力する（ステップＳ１２６）。

次に、本実施形態の効果について説明する。本実施形態に係る画像補正システム２によれば、予め人手によって個人特性を設定しなくても、入力顔画像の本人の特徴を残したままユーザが所望する特性を持った顔画像に補正することができる。その理由は、個人特性抽出部１６０が、入力顔画像から自動的に個人特性を抽出し、反映特性空間の情報を生成するからである。

＜第３実施形態＞
次に、本発明の第３実施形態に係る顔画像補正システム３について添付図面を参照して説明する。

図５は、本発明の第３実施形態に係る顔画像補正システム３の構成を示すブロック図である。図５に示すように、顔画像補正システム３は、データ処理装置１００Ｃと、記憶装置２００とを含む。

データ処理装置１００Ｃは、顔画像入力部１１０と、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、顔画像出力部１４０と、個人特性反映部１５０Ａと、顔画像正規化部１７０と、顔画像逆正規化部１８０と、を含む。記憶装置２００は、顔特性空間記憶部２１０を含む。

上記の各構成部はそれぞれ概略次のように動作する。なお、第１実施形態と同様の構成部については、第１実施形態と同様の動きをしても良いため、簡単な説明にとどめる。

顔特性空間記憶部２１０は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する。

個人特性反映部１５０Ａは、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する。個人特性の設定方法は特に限定されない。なお、第１実施形態と同様に、反映特性空間の情報は、顔特性空間記憶部２１０に記憶されるものとする。

顔画像入力部１１０は、顔画像の各画素の輝度値を示す輝度値ベクトルを含む顔画像データの入力を受け付ける。

顔画像正規化部１７０は、入力顔画像データを、目や鼻などの顔部位の位置に従って顔の位置、大きさ等を揃えて切り出す処理を実行し、その処理によって切り出した顔画像に対応する画像データである正規化顔画像のデータを生成する。顔画像正規化部１７０が正規化画像のデータを生成する処理は、例えばアフィン変換により行っても良い。

顔画像ベクトル射影部１２０は、顔画像正規化部１７０で生成した正規化顔画像に含まれる輝度値ベクトルを顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて反映特性空間に射影する。

顔画像再構成部１３０は、顔画像ベクトル射影部１２０が反映特性空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す。

顔画像逆正規化部１８０は、顔画像再構成部１３０が再構成した補正後の顔画像に対応する補正画像データに対し、顔画像正規化部１７０と逆の変換を行い、正規化顔画像の目や鼻などの顔部位の位置や顔輪郭を、顔画像入力部１１０で入力した顔画像の顔部位の位置や顔輪郭に戻す。顔画像逆正規化部１８０が行う逆の変換は、例えばアフィン逆変換でも良い。

顔画像出力部１４０は、顔画像再構成部１７０が生成した顔画像を出力する。

次に、図６の流れ図を参照して顔画像補正システム３が行う補正処理の動作について詳細に説明する。

図６は、本発明の第３実施形態に係る顔画像補正システム３が行う補正処理の動作を示す流れ図である。

図６に示すように、まず、顔画像入力部１１０は、顔画像の入力を受け付ける（ステップＳ１３１）。

次に、顔画像正規化部１７０は、ステップＳ１３１で入力した顔画像データから、目や鼻などの顔部位の位置に従って顔の位置、大きさ等を揃えて切り出した画像である正規化顔画像のデータを生成する（ステップＳ１３２）。

次に、顔画像ベクトル射影部１２０は、ステップＳ１３２で生成した正規化顔画像データに含まれる輝度値ベクトルを顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて反映特性空間に射影する（ステップＳ１３３）。

次に、顔画像再構成部１３０は、ステップＳ１３３で顔特性部分空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す（ステップＳ１３４）。

次に、顔画像逆正規化部１８０は、ステップＳ１３４で再構成した補正後の顔画像に対応する補正画像データに対し、顔画像正規化部１７０と逆の変換を行い、正規化顔画像の目や鼻などの顔部位の位置や顔輪郭を、前記顔画像入力部で入力した顔画像の顔部位の位置や顔輪郭に戻す（ステップＳ１３５）。

次に、顔画像出力部１４０で、ステップＳ１３５で生成された顔画像を出力する（ステップＳ１３６）。

次に、本実施形態の効果について説明する。本実施形態に係る画像補正システム３によれば、目や鼻などの顔部位の位置や顔輪郭に関する個人変動の影響を除外して顔画像を補正することができ、より高精度に個人特性を保持したまま所望の特性を持った顔画像に補正することができる。その理由は、顔画像正規化部１７０が、入力した顔画像の目や鼻などの顔部位の位置や顔輪郭を揃える処理である正規化を行うからである。

＜第４実施形態＞
次に、本発明の第４実施形態に係る顔画像補正システム４について添付図面を参照して説明する。

図７は、本発明の第４実施形態に係る顔画像補正システム４の構成を示すブロック図である。図７に示すように、顔画像補正システム４は、顔画像ベクトル射影部１２０と、顔画像再構成部１３０と、個人特性反映部１５０Ａと、顔特性空間記憶部２１０と、を含む。

上記の各構成部はそれぞれ概略次のように動作する。

顔特性空間記憶部２１０は、ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する。

個人特性反映部１５０Ａは、所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する。

顔画像ベクトル射影部１２０は、外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、反映特性空間に射影して射影ベクトルを生成する。

顔画像再構成部１３０は、顔画像ベクトル射影部１２０が反映特性空間に射影した射影ベクトルを、反映特性空間の情報を用いて元の顔画像空間に再構成する。

図８は、本発明の第４実施形態に係る顔画像補正システム４が行う補正処理の動作を示す流れ図である。

図８に示すように、まず、顔画像ベクトル射影部１２０は、入力顔画像の輝度値ベクトルを顔特性空間記憶部２１０が記憶する反映特性空間に射影する（ステップＳ１１２）。

次に、顔画像再構成部１３０は、ステップＳ１１２で顔特性部分空間に射影した射影ベクトルを、顔特性空間記憶部２１０が記憶する反映特性空間の情報を用いて元の顔画像空間に戻す（ステップＳ１１３）。

なお、個人特性反映部１５０Ａが、所望顔特性空間へ個人特性を反映して反映特性空間の情報を生成する処理は、予め行われていても良いし、顔画像補正システム１が補正処理を行う度に個人特性に関するユーザの指定を受けて行っても良い。

次に、本実施形態の効果について説明する。本実施形態に係る画像補正システム４によれば、入力顔画像の本人の特徴を残したままユーザが所望する特性を持った顔画像に補正することができる。その理由は、入力した顔画像が、ユーザが所望する顔特性及びユーザ自身の個人特性を反映した反映特性空間に射影後、画像に再構成されるため、本人の特徴を残しつつ、ユーザが所望する顔特性以外の成分が顔画像から除去されるためである。

＜実施例１＞
次に、具体的な実施例を用いて本発明を実施するための第１実施形態に係る顔画像補正システム１の構成と動作を説明する。

図９は、本発明の第１実施形態に係る顔画像補正システム１のハードウェア構成の一例を示すブロック図である。図９に示すように、本発明の第１実施形態に係る顔画像補正システム１を構成する各部は、ＣＰＵ（Central Processing Unit）３１０、ネットワーク接続用の通信ＩＦ３２０（インターフェース３２０）、メモリ３３０、プログラムを格納するハードディスク等の記憶装置３４０、を含むコンピュータ装置によって実現される。ただし、本発明の第１実施形態に係る顔画像補正システム１の構成は、図９に示すコンピュータ装置に限定されない。

次に図１及び図９を参照して、顔画像補正システム１の構成について具体的に説明する。

データ処理装置１００Ａは、例えばＣＰＵ３１０により実現される。ＣＰＵ３１０は、オペレーティングシステムを動作させて画像補正システム１の全体を制御する。また、ＣＰＵ３１０は、例えばドライブ装置などに装着された記録媒体からメモリ３３０にプログラムやデータを読み出し、これにしたがって各種の処理を実行する。

図１における記憶装置２００は、例えば図９における記録装置３４０により実現される。記憶装置３４０は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。

顔画像入力部１１０、顔画像ベクトル射影部１２０、顔画像再構成部１３０、顔画像出力部１４０は、例えばＣＰＵ３１０上で動作するプログラムにより実現される。顔特性空間記憶部２１０は半導体メモリ若しくはハードディスクドライブ上の記憶領域により実現される。

顔画像入力部１１０は、例えばキーボードやマウス等を介して、ユーザによるデジタルカメラで撮影した顔画像のデータの入力を受け付けても良い。

顔画像出力部１４０は、ユーザが視認できるように例えばディスプレイ等に補正後の顔画像を表示しても良い。

以下では、最初に顔特性空間記憶部２１０が記憶する所望顔特性空間の情報について説明する。

まず、顔画像入力部１１０は、顔画像の入力を受け付ける。顔画像入力部１１０が入力を受け付ける顔画像は、手動で顔領域を切り出した画像や、予め顔検出を行い顔の領域のみを切り出した顔画像であっても良い。

図１０は、顔画像の一例を示す図である。所望顔特性空間の情報は、例えば図１０に示すような顔画像に対して主成分分析を行う等により生成しても良い。なお、所望顔特性空間の情報の生成は、例えば図示しない構成部又は他の情報処理装置により行われても良い。顔特性空間記憶部２１０は、図示しない構成部又は他の情報処理装置により生成された所望顔特性空間の情報を記憶しても良い。以降では説明の便宜のため、図示しない他の情報処理装置（以下、単に「他の情報処理装置」という。）が所望顔特性空間の情報を生成するものとする。

図１１は、顔画像の輝度値ベクトルの概念の一例を示す図である。図１１の右に記載された各画素の列が輝度値ベクトルである。すなわち、輝度値ベクトルの各要素は、顔画像の各画素の輝度値を示す。

ここで、顔画像の輝度値ベクトルをｘと表す。ベクトルｘのサイズは画像の縦方向の量子化数と横方向の量子化数の積となる。例えば顔画像が縦方向１００画素で横方向１００画素の場合、ベクトルｘは１００００次元となる。

所望顔特性空間の情報を生成するために、まず、ユーザは、所望する特性を持った顔画像を複数枚用意する。ユーザが所望する特性を持った顔画像の例としては、ユーザの好みの有名人の顔や、特定の人種の顔、ユーザ自身の顔などが挙げられる。

ユーザの好みの有名人の顔を複数枚用意した場合、本発明によれば集めた有名人の顔が共通して持っている特性を持つように入力した顔画像を補正することが出来る。特定の人種の顔を複数枚用意した場合、本発明によれば入力した顔画像をその人種の顔に近づけるように補正することが出来る。また、ユーザ自身の顔を複数枚用意した場合、本発明によれば入力した他人の顔画像をユーザ自身の顔に近づけるように補正することが出来る。

次に、図９に示す顔画像補正システムと異なる他の情報処理装置は、複数枚用意した全ての顔画像から、図１１に示すように輝度値ベクトルを生成する。これらベクトルをｚ１〜ｚＮと表す。ここでＮは用意した顔画像の枚数である。

次に、他の情報処理装置は、ユーザが所望する特性を持った複数の顔画像から生成したベクトルｚ１〜ｚＮに対して主成分分析を行う。つまり、ベクトルｚ１〜ｚＮの共分散行列を固有値分解することで各成分に対応する複数の固有値Λｔ、固有ベクトルＵｔを求める。

最後に、所望顔特性空間の次元数を決定する。所望顔特性空間の次元数としては、例えば、固有値Λｔの累積寄与率が９９％以上になる次元としても良い。累積寄与率が９９％以上になる次元をｒとしたとき、所望顔特性空間の情報は、固有値の大きい順にｒ個とった場合の固有値に対応する固有ベクトルを並べた行列となる。他の情報処理装置が、ユーザが所望する特性を持った顔画像から部分空間（所望顔特性空間）の情報を生成することにより、その情報に基づく部分空間はユーザが所望する顔特性を反映した空間となる。

なお、次元数の決定の方法は累積寄与率による決定の方法には限定されない。ユーザが任意に次元数を決定しても良いし、その他の方法でも良い。

ここで、他の情報処理装置は所望顔特性空間の次元数を変えることにより、ユーザが所望する顔特性以外の成分を除去する度合いを調整することが出来る。

例えば、他の情報処理装置は、部分空間の次元数を増やすことで、ユーザが所望する顔特性以外の成分を除去する度合いを低くすることが出来る。具体的に説明すると、部分空間の次元は、その空間で表現できる情報の多さを意味する。つまり。所望顔特性空間の次元数を増やすということは、所望顔特性空間で表現できる情報が多くなるということを意味する。所望顔特性空間で表現できる情報が多いということは、入力画像を所望顔特性空間に射影した後に画像を再構成したときに、元の入力画像の情報が残される度合いが高いことを意味する。つまり、他の情報処理装置は、所望顔特性空間の次元数を増やすことで、ユーザが所望する顔特性以外の成分を除去する度合いを低くすることが出来る。

一方、他の情報処理装置は、部分空間の次元数を減らすことで、ユーザが所望する顔特性以外の成分を除去する度合いを高くすることが出来る。

ただし、最適な次元は、所望顔特性空間を構成する際に用いる複数の顔画像（学習顔画像）の性質によって異なる。上述したように、他の情報処理装置は、所望顔特性空間の次元数を増やすことで、『ユーザが所望する顔特性』として表現できる範囲を広げることができる。つまり、他の情報処理装置は、次元数を増加することで、所望顔特性空間が表現できる顔特性のバリエーションを増やすことができる。この場合、元の入力画像の情報が残される度合いが高くなり、ユーザが所望する顔特性以外の成分が除去される度合いは低くなる。

次元数を増やしすぎると、表現できる特性が増えすぎて期待する所望顔特性空間にならない場合もある。具体的には、学習顔画像に含まれる、ユーザが所望する顔特性以外の成分も所望顔特性空間に含まれてしまうことになる。他の情報処理装置は、所望顔特性空間を、ユーザが所望する顔特性のみを持った空間、言い換えれば、学習顔画像が共通に持っている情報だけが表現される空間として生成しても良い。適切な所望顔特性空間を生成するために、他の情報処理装置（又は他の情報処理装置を操作するユーザ）は、所望顔特性空間の次元数を具体的な状況に応じて適切に設定しても良い。

入力した顔画像の輝度値ベクトルと所望顔特性空間の次元数が同じ場合、つまり、ユーザが所望する顔特性以外の成分を除去しない場合、補正前と補正後の画像は一致する。（射影行列）＊（射影行列の転置）＝Ｉとなるからである。もちろん、数値計算上の誤差が生じる可能性はある。そのため、コンピュータで計算した場合には厳密に一致するとは限らない。

なお、部分空間は線形に限定されず、例えばカーネル法を用いて非線形で表現しても良い。

次に、顔画像入力部１１０で入力された複数の顔画像の輝度値ベクトルに対して主成分分析を行った結果を用いて、個人特性反映部１５０が、補正前の個人特性に関わる情報を顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に反映する動作の一例を、以下に示す。

なお、個人特性反映部１５０が個人特性に関わる情報を顔特性空間記憶部２１０が記憶する所望特性空間の情報に反映する動作に関しては、説明の便宜のため第２実施形態を例にとって説明する。

第２実施形態において、個人特性反映部１５０Ｂは、個人特性抽出部１６０から出力される個人特性に関わる統計情報を所望顔特性空間の情報に反映する。個人特性抽出部１６０は、具体的にはＣＰＵ３１０上で動作するプログラムにより実現される。個人特性抽出部１６０は、顔画像入力部１１０で入力された複数の顔画像の輝度ベクトルから補正前の個人特性に係わる統計情報を抽出し、個人特性反映部１５０Ｂに出力する。

まず、個人特性抽出部１６０は、顔画像入力部１１０から複数のユーザの顔画像が入力される。入力される顔画像は、例えば図１０のような顔画像で良い。

個人特性抽出部１６０は、複数の顔画像の輝度値ベクトル（ｚｐ１，・・・，ｚｐＮ）を生成する。ここでＮは入力した顔画像の数である。個人特性を反映した部分空間である反映特性空間の情報を生成するために用いる複数の顔画像は、補正前の顔画像と同一人物の様々な姿勢、様々な表情及び様々な照明条件で撮影された顔画像を含むと良い。なお、輝度値ベクトルは、例えば図１１に示すような方法で生成されても良い。

次に、個人特性抽出部１６０は、主成分分析により、入力した複数の顔画像の個人特性に関する部分空間を求める。つまり、個人特性抽出部１６０は、輝度値ベクトルｚｐ１，・・・，ｚｐＮの共分散行列の固有値分解を行い、固有値Λｐと固有ベクトルＵｐを求める。個人特性抽出部１６０は、主成分分析により求めた部分空間の情報を、個人特性反映部１５０Ｂに出力する。

次に、個人特性反映部１５０Ｂは、個人特性抽出部１６０からの出力を受けると、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報を得る。すなわち、個人特性反映部１５０Ｂは、顔特性空間記憶部２１０から所望顔特性空間の情報に関する固有値Λｔ、及び固有ベクトルＵｔを得る。

次に個人特性反映部１５０Ｂは、固有値Λｔ、及び固有ベクトルＵｔを用いて、数式１の共分散行列Σｐｔを求める。数式１の共分散行列Σｐｔは、輝度値ベクトルｚ１〜ｚＮの共分散行列（Ｕｔ×Λｔ×Ｕｔ’）を、入力顔画像の個人特性を反映した部分空間に射影した行列となる。なお、数式１の固有値、固有ベクトルは、それぞれ次元削減された行列を使用するものとする。
（数式１）

次に、個人特性反映部１５０Ｂは、求めた共分散行列Σｐｔの固有値Λｐｔ、及び固有ベクトルＵｐｔを求める。個人特性反映部１５０Ｂは、累積寄与率等により部分空間の次元ｒを決定し、固有値Λｐｔから大きい順にｒ個とった場合の固有値に対応する固有ベクトルを並べた行列を改めてＵｐｔとする。個人特性反映部１５０Ｂは、補正前の個人特性に関わる情報を反映した射影行列Ａを、数式２により求める。
（数式２）

以上により、個人特性反映部１５０Ｂは、顔特性空間記憶部２１０が記憶する所望顔特性空間の情報に補正前の個人特性に係わる情報を反映し、反映特性空間の情報を生成する。

これにより、顔画像補正システム２は入力した顔画像の本人の特徴を残したままユーザが所望する特性を持った顔画像に補正することができるようになる。

顔特性空間記憶部２１０は、反映特性空間の情報を射影行列として記憶しても良い。顔特性空間記憶部２１０が射影行列を記憶する場合、その射影行列のサイズは、行数がベクトルｘのサイズ、列数が部分空間の次元数であっても良い。部分空間の次元数は、通常ベクトルｘのサイズよりも小さくても良い。

なお、第１実施形態に係る顔画像補正システム１の場合においては、個人特性に関する情報である固有値Λｐ及び固有ベクトルＵｐを予め求めておき、固人特性反映部１５０Ａに設定しておけば良い。

次に、顔画像ベクトル射影部１２０、顔画像再構成部１３０及び顔画像出力部１４０の動作例について説明する。

顔画像ベクトル射影部１２０は、顔画像入力部１１０が入力を受け付けた顔画像の輝度値ベクトルを顔特性空間記憶部２１０が記憶する部分空間（反映特性空間）に射影する。

顔画像ベクトル射影部１２０は、反映特性空間への射影を数式３に従って行う。ここで数式３のｘは顔画像入力部１１０で入力した顔画像の輝度値ベクトルである。
（数式３）

Ａは数式２で求めた射影行列である。ｙは顔画像ベクトル射影部１２０が出力する射影後のベクトル（射影ベクトル）である。

顔画像再構成部１３０は、顔画像ベクトル射影部１２０で反映特性空間に射影した射影ベクトルを、再び反映特性空間の情報を用いて元の顔画像空間に戻す。

つまり、顔画像再構成部１３０は、射影ベクトルから、ベクトルの各要素が補正後の顔画像の各画素の輝度値を示す輝度値ベクトルを生成する。顔画像再構成部１３０は、線形の部分空間を考えた場合の顔画像再構成を、数式４に従って行う。
（数式４）

ここで、Ａは反映特性空間の情報である射影行列である。ｙは顔画像ベクトル射影部１２０から出力された射影後のベクトルである。ｘ＾は再構成された顔画像を表すベクトルであり、ｘ＾の各要素が補正後の顔画像の各画素の輝度値を示す。

図１２は、顔画像ベクトル射影部１２０におけるベクトルの射影及び顔画像再構成部１３０における顔画像の再構成の概念を示す図である。図１２は、入力画像に関する空間の部分空間である反映特性空間に、入力顔画像の輝度値ベクトルを射影することで、射影ベクトルを生成する様子を概念的に示している。

なお、上記では共分散行列Σｐｔを計算して個人特性を保持しつつ所望の顔特性を反映させる方法を説明したが、共分散行列Σｔｐを計算することで反映させる処理を行っても良い。

顔画像出力部１４０は、顔画像再構成部１３０が再構成した顔画像を出力する。数式４に従って再構成された顔画像を表すベクトルｘ＾は、例えば顔画像が縦方向１００画素で横方向１００画素の場合、次元数は１００００次元となる。顔画像出力部１４０は、ベクトルｘ＾の各要素を、図１１に示すように画像上の各画素に戻すことにより、出力の顔画像を生成する。

＜実施例２＞
次に、具体的な実施例を用いて本発明の第３実施形態に関する構成と動作を説明する。本発明の第３実施形態に係る顔画像補正システムは実施例１と同様図９に示すハードウェア構成によって実現される。顔画像正規化部１７０及び顔画像逆正規化部１８０はＣＰＵ上で動作するプログラムとして実現される。

本発明の第３実施形態の各構成部については、顔画像正規化部１７０及び顔画像逆正規化部１８０を除いて、実施例１と同じ動作で実現される。

顔画像正規化部１７０は、顔画像入力部１１０で入力を受け付けた顔画像に対し、目や鼻等の顔部位の位置や顔輪郭を揃えて切り出すことで正規化顔画像を生成する。顔画像正規化部１７０は、目や鼻などの顔部位の位置や顔輪郭を、例えば、非特許文献２のActive Appearance Modelsなどを用いて求めても良い。

顔画像正規化部１７０は、顔画像を正規化するために、例えば、入力した顔画像の目や鼻などの顔部位の位置が、基準となる顔画像の位置と出来るだけ揃うように、これらの間のアフィン変換のパラメータを最小二乗法で求める。顔画像正規化部１７０は、求めたパラメータにより顔画像全体の位置、大きさ、角度、歪み等を合わせる。

また、非特許文献２の正規化と同様に、顔画像正規化部１７０は、Warp Imageと呼ばれる方法により顔画像を正規化しても良い。具体的には顔画像正規化部１７０は、目や鼻などの顔部位の位置と顔輪郭の点に従って顔を複数の三角パッチに分割し、入力顔画像と基準顔画像のそれぞれの三角パッチをアフィン変換で揃える。この動作により顔画像正規化部１７０は、より厳密に顔部位の位置あわせを行うことができる。

顔画像逆正規化部１８０は、顔画像正規化部１７０と逆の変換を行うことで、正規化顔画像の目や鼻などの顔部位の位置や顔輪郭を、顔画像入力部１１０で入力した顔画像の顔部位の位置や顔輪郭に戻す。例えば、顔画像正規化部１７０において、入力顔画像と基準顔画像の目や鼻などの顔部位の位置合わせをアフィン変換によって行った場合は、顔画像逆正規化部１８０は、アフィン逆変換を行うことで顔画像正規化前の位置、大きさ、角度、歪みに戻す。

以上、実施の形態を参照して本発明を説明したが、本発明は以上の実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で同業者が理解し得る様々な変更をすることができる。

なお、これまでに説明した各実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、本発明の各実施形態に係る顔画像補正システムの構成部の実現手段は特に限定されない。すなわち、本発明の各実施形態に係る顔画像補正システムは、物理的に結合した一つの装置により実現されても良いし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されても良い。

本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

以上、これまでに説明した各実施形態及び各実施例においては、以下に示すような顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムの特徴的構成が示されている。
（付記１）
ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する顔特性空間記憶手段と、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する個人特性反映手段と、外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成する顔画像ベクトル射影手段と、前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する顔画像再構成手段と、を含む顔画像補正システム。
（付記２）
前記入力顔画像データから個人特性に係わる情報を抽出する個人特性抽出手段と、をさらに含み、前記個人特性反映手段は、前記個人特性抽出手段が抽出した個人特性に関わる情報を前記所望顔特性空間の情報に反映させて反映特性空間の情報を生成する、付記１に記載の顔画像補正システム。
（付記３）
前記入力顔画像データから、入力顔画像の特定の顔部位の位置及び顔輪郭を揃えて切り出した正規化顔画像に対応する正規化顔画像データを生成する顔画像正規化手段と、前記正規化顔画像データに対し、前記顔画像正規化手段と逆の変換を行うことで、正規化顔画像の顔部位の位置及び顔輪郭を、前記入力顔画像の顔部位の位置及び顔輪郭に戻す顔画像逆正規化手段とをさらに含む付記１又は２に記載の顔画像補正システム。
（付記４）
前記顔画像正規化手段は、顔部位の位置及び顔輪郭の点に従って顔を複数の三角パッチに分割し、入力顔画像及び基準顔画像のそれぞれの三角パッチをアフィン変換で揃えることで前記正規化顔画像を生成し、前記顔画像逆正規化手段が行う前記逆の変換はアフィン逆変換である付記３に記載の顔画像補正システム。
（付記５）
前記顔特性空間記憶手段が記憶する所望顔特性空間の情報は、ユーザが所望する特性を持った複数の顔画像から生成した複数のベクトルに対して主成分分析を行うことで得られる情報と、所定の方法で決定した次元数とから決定される行列である付記１〜４のいずれかに記載の顔画像補正システム。
（付記６）
前記主成分分析を行うことで得られる情報は、前記複数のベクトルの共分散行列を固有値分解することで得られる第１の固有値及び第１の固有ベクトルである付記５に記載の顔画像補正システム。
（付記７）
前記個人特性反映手段が所望顔特性空間に反映させる前記個人特性に関わる情報は、個人特性の抽出対象となる顔画像から生成した複数のベクトルに対して主成分分析を行うことで得られる第２の固有値及び第２の固有ベクトルである付記１〜６のいずれかに記載の顔画像補正システム。
（付記８）
前記個人特性反映手段が生成する反映特性空間の情報は、前記個人特性反映手段が前記顔特性空間記憶手段から取得した第１の固有値及び第１の固有ベクトルと、第２の固有値及び第２の固有ベクトルと、所定の方法で決定した次元数とから生成される行列である付記７に記載の顔画像補正システム。
（付記９）
前記次元数を決定する所定の方法は、前記固有値の累積寄与率に基づいて決定する方法である付記８に記載の顔画像補正システム。
（付記１０）
前記行列は、前記決定された次元数の数だけ前記固有値の大きい順にとった場合の固有値に対応する固有ベクトルを並べた行列である付記９に記載の顔画像補正システム。
（付記１１）
前記顔画像再構成手段が元の顔画像空間に再構成した顔画像を出力する顔画像出力手段と、をさらに含む付記１〜１０のいずれかに記載の顔画像補正システム。
（付記１２）
ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成し、前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する、顔画像補正方法。
（付記１３）
ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成し、前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する、処理をコンピュータに実行させる顔画像補正用プログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は以上の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で同業者が理解し得る様々な変更をすることができる。

この出願は、２０１１年４月１９日に出願された日本出願特願２０１１−０９２５６６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明に係る顔画像補正システム、顔画像補正方法及び顔画像補正用プログラムは、デジタルカメラやプリクラ機などに搭載されている美顔機能や、ユーザから送信された顔写真を様々な特性を持った顔に補正するｗｅｂサービスといった用途に適用できる。

１、２、３、４ 顔画像補正システム
１００Ａ、１００Ｂ、１００Ｃ データ処理装置
１１０ 顔画像入力部
１２０ 顔画像ベクトル射影部
１３０ 顔画像再構成部
１４０ 顔画像出力部
１５０Ａ、１５０Ｂ 個人特性反映部
１６０ 個人特性抽出部
１７０ 顔画像正規化部
１８０ 顔画像逆正規化部
２００ 記憶装置
２１０ 顔特性空間記憶部
３１０ ＣＰＵ
３２０ 通信ＩＦ
３３０ メモリ
３４０ 記憶装置

Claims (10)

1. ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶する顔特性空間記憶手段と、
   前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成する個人特性反映手段と、
   外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成する顔画像ベクトル射影手段と、
   前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する顔画像再構成手段と、
   を含む顔画像補正システム。
2. 前記入力顔画像データから個人特性に係わる情報を抽出する個人特性抽出手段と、
   をさらに含み、
   前記個人特性反映手段は、前記個人特性抽出手段が抽出した個人特性に関わる情報を前記所望顔特性空間の情報に反映させて反映特性空間の情報を生成する、
   請求項１に記載の顔画像補正システム。
3. 前記入力顔画像データから、入力顔画像の特定の顔部位の位置及び顔輪郭を揃えて切り出した正規化顔画像に対応する正規化顔画像データを生成する顔画像正規化手段と、
   前記正規化顔画像データに対し、前記顔画像正規化手段と逆の変換を行うことで、正規化顔画像の顔部位の位置及び顔輪郭を、前記入力顔画像の顔部位の位置及び顔輪郭に戻す顔画像逆正規化手段と
   をさらに含む請求項１又は２に記載の顔画像補正システム。
4. 前記顔特性空間記憶手段が記憶する所望顔特性空間の情報は、ユーザが所望する特性を持った複数の顔画像から生成した複数のベクトルに対して主成分分析を行うことで得られる情報と、所定の方法で決定した次元数とから決定される行列である
   請求項１〜３のいずれかに記載の顔画像補正システム。
5. 前記主成分分析を行うことで得られる情報は、前記複数のベクトルの共分散行列を固有値分解することで得られる第１の固有値及び第１の固有ベクトルである
   請求項４に記載の顔画像補正システム。
6. 前記個人特性反映手段が所望顔特性空間に反映させる前記個人特性に関わる情報は、個人特性の抽出対象となる顔画像から生成した複数のベクトルに対して主成分分析を行うことで得られる第２の固有値及び第２の固有ベクトルである
   請求項１〜５のいずれかに記載の顔画像補正システム。
7. 前記個人特性反映手段が生成する反映特性空間の情報は、前記個人特性反映手段が前記顔特性空間記憶手段から取得した第１の固有値及び第１の固有ベクトルと、第２の固有値及び第２の固有ベクトルと、所定の方法で決定した次元数とから生成される行列である
   請求項６に記載の顔画像補正システム。
8. 前記顔画像再構成手段が元の顔画像空間に再構成した顔画像を出力する顔画像出力手段と、
   をさらに含む請求項１〜７のいずれかに記載の顔画像補正システム。
9. ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、
   前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて映特性空間の情報を生成し、
   外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成し、
   前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する、
   顔画像補正方法。
10. ユーザが所望する顔特性を反映した顔画像の部分空間である所望顔特性空間の情報を記憶し、
    前記所望顔特性空間の情報に、予め設定された個人特性に関わる情報を反映させて反映特性空間の情報を生成し、
    外部から入力された顔画像に対応する入力顔画像データに含まれ、顔画像の各画素の輝度値を示す輝度値ベクトルを、前記反映特性空間に射影して射影ベクトルを生成し、
    前記射影ベクトルを、前記反映特性空間の情報を用いて元の顔画像空間に再構成する、
    処理をコンピュータに実行させる顔画像補正用プログラムを格納する記録媒体。

Images