JP4359784B2 - 顔画像合成方法および顔画像合成装置 - Google Patents

Description

本発明は、顔画像を合成する顔画像合成方法および顔画像合成装置に関する。

研究レベルにおいて、２つ以上の顔画像同士、もしくは少なくとも１つの顔画像と一つの顔グラフィックスや顔アニメーションを合成して、架空の顔画像を作成することが行われている。しかし、製品化されているものは少ない。従来の方法では、２つの画像の各々において図１のような三次元のポリゴンマッピング１００のように多数の顔中の特徴点を入力して、顔標準モデルに貼り付けた顔同士を合成する。この方法では、顔中の大量の特徴点抽出、複雑な計算が必要になるので、携帯端末上で行うことは難しい。

関連する技術として特開２００３−２４２４８０号公報に画像処理方法およびその方法を利用可能なサーバが開示されている。この画像処理方法は、サーバの画像データベースに格納された既存の画像と、ユーザ端末に入力された肖像画とのマッチングをとり、ユーザのカスタマイズの要請に応じた中間画像を生成して、ユーザ端末に提供する。すなわち、顔画像をネットワークでサーバーに送り、合成処理はサーバーで行い、結果を再びネットワークで端末に送る。

特開平９−６２８６５号公報に、顔画像処理方法および顔画像処理装置が開示されている。この顔画像処理方法は、２枚の顔画像（Ｇ１、Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１、Ｇ２、Ｇ３）に整合させたそれぞれの形状モデルとから、前記顔画像（Ｇ３）をベースとして顔画像（Ｇ１、Ｇ２）の特徴を加えた顔画像を合成する顔画像処理方法である。前記顔画像（Ｇ１）の特徴的部分に注目し、この顔画像（Ｇ１）の形状モデルの前記特徴的部分に対応する所定点の座標を、背景画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、顔画像（Ｇ２）を背景顔画像（Ｇ３）に大まかに整合させたのち、前記顔画像（Ｇ１、Ｇ２）のそれぞれの整合後の形状モデルおよび顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補完し、この形状補完された形状モデルに対し、それぞれ対応する画素について所定の比率で色補完する。

特開平１０−９１８０８に顔画像情報変換方法および顔画像情報変換装置が開示されている。この顔画像情報変換方法は、所定の人間の複数の異なる表情の顔画像情報から、顔全体を処理単位として、顔画像表現空間上の複数の座標軸への射影成分にそれぞれ対応する前記各表情に対する複数の表情成分を抽出するステップと；指定された任意の２つの前記異なる表情間の任意の比率の合成表情の顔画像情報に対応する複数の合成表情成分を、前記２つの異なる表情に対応する表情成分の補間により算出するステップと；前記複数の合成表情成分に応じて、合成顔画像情報を生成するステップとを備える、。

特開２００４−１７８１６３に画像処理方法及びその装置が開示されている。この画像処理方法は、装飾と、この装飾の身体部分領域における配置情報とを、不可分に関連付けるステップと；入力画像における身体部分領域の位置を設定するステップと；装飾に関連付けられた配置情報を用いて、設定した身体部分領域の位置に合うように、装飾の配置を定め、装飾を入力画像に合成するステップと；合成した入力画像を出力するステップとを含む。

特開２００４−５２６５に画像合成方法、画像合成装置、画像合成システムが開示されている。この画像合成方法は、２つの顔画像を取得する顔画像取得ステップと；上記２つの顔画像をモーフィング合成によって合成してベース画像を生成するベース画像生成ステップと；特徴顔画像を取得する特徴顔画像取得ステップと；上記特徴顔画像と上記ベース画像とをモーフィング合成によって合成して特徴付加画像を生成する特徴付加ステップとを含む。

特開２００３−２９６７１３に顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法が開示されている。この顔画像合成装置は、人物の顔を含む画像を取り込む画像入力手段と、取り込まれた前記画像から前記人物の頭部を含む顔領域を取得する顔領域取得手段と、取得された前記顔領域内の画像データを加工して、新たな顔画像を作成する顔領域加工手段と、を備える。

特開２０００−６７２６１に顔動画像作成方法及び装置及びこの方法を記録した記録媒体が開示されている。この顔動画像作成方法は、ほぼ正面から見た目・口の開閉状態が異なる２枚の人物顔画像を入力して、動画像を作成する顔動画像作成方法において、該入力した２枚の人物顔画像から目の位置を検出する目位置検出段階と；該入力した２枚の人物顔画像から口の位置を検出する口位置検出段階と；該目位置検出段階において検出された目の位置情報をもとに、変形のための制御点を目の周辺に配置し、該２枚の人物顔画像の制御点の対応付けを行う目変形用制御点配置段階と；該口位置検出段階において検出された口の位置情報をもとに、変形のための制御点を口の周辺に配置し、該２枚の人物顔画像の制御点の対応付けを行う口変形用制御点配置段階と；該目変形用制御点配置段階と該口変形用制御点配置段階において配置された目と口の制御点情報をもとに該入力した２枚の人物顔画像を変形させて目と口の開閉状態を変化させた複数の中割画像を生成する中割画像生成段階と；該中割画像生成段階において生成された複数の中割画像と該入力した２枚の人物顔画像をもとに人物顔動画像を合成する画像合成処理段階とを有する。

２つの顔画像の合成の問題の一つは、一点を合わせて単純に加重平均するだけでは、目など、皮膚の色と大きく異なる場所がずれて、ゴーストのように残り、不自然な合成になることである。そこで、上記のように三次元のポリゴンマッピングを用いた方法が用いられる。この方法では、上記の目立つ特徴部を２つの顔で一致させることが可能であるため、ゴーストが生じることはなくなるが、その反面、顔中の大量の特徴点を抽出して、複雑な計算をする必要があり、特に入力インターフェースや計算処理能力が制限される携帯端末では実行が難しい。

他に顔合成の本質に由来する問題がある。顔の特徴はテクスチャと、目、鼻、口などの主要パーツの配置を含む。例えば、人物Ａの顔と人物Ｂの顔とを７対３の割合で混合する場合は、２つの意味で混合する必要がある。すなわち、テクスチャの混合比を７対３にすることと、及び、顔のパーツ配置を人物Ａに７、人物Ｂに３にする必要がある。後者は、ポリゴンマッピング的な手法を使うと、複雑な計算が要求される。上記のような携帯端末で実行上の問題を回避する方法として、特開２００３−２４２４８０号公報のようにネットワークを介してサーバーに顔のデータを送信してサーバー上で合成を行う方法があるが、通信料金が発生する、ネットワークの状態によっては時間がかかるなどの理由から抵抗のあるユーザーが多い。

本発明の目的は、携帯端末のような入力インターフェースや計算処理能力が制限された環境で、顔画像合成を行うことが可能な顔画像合成方法および顔画像合成装置を提供することである。
本発明の他の目的は、顔合成画像において、目など、皮膚の色と大きく異なる場所がずれて、ゴーストが生じないようにすることが可能な顔画像合成方法および顔画像合成装置を提供することである。
本発明の更に他の目的は、顔画像を合成するために求められる作業者の負担を軽減することが可能な顔画像合成方法および顔画像合成装置を提供することである。
この発明のこれらの目的とそれ以外の目的と利益とは以下の説明と添付図面とによって容易に確認することができる。

上記課題を解決するために本発明の顔画像合成装置は、記憶装置と演算処理装置とを具備する。記憶装置は、複数の顔画像と、前記複数の顔画像の各々に対して設定された原点を含む複数の特徴点とを記憶する。演算処理装置は、前記複数の顔画像を互いの前記原点が一致し且つ互いの他の前記複数の特徴点が一致するように変形した複数の変形顔画像を生成し、前記複数の変形顔画像から合成顔画像を生成する。

上記の顔画像合成装置において、前記複数の特徴点は、基準点と参照点とを含む。前記演算処理装置は、画像間スケーリング部と、画像正規化部と、画像合成部とを備える。画像間スケーリング部は、前記複数の顔画像と前記複数の特徴点とに基づいて、所定の特徴点間の距離が一致するように前記複数の顔画像のスケールを変更した複数のスケール変更顔画像を生成する。画像正規化部は、前記複数のスケール変更顔画像と前記複数の特徴点とに基づいて、前記複数のスケール変更顔画像における前記原点からの前記参照点の位置を計算し、顔画像合成時の前記参照点の位置を設定し、前記複数のスケール変更顔画像の前記参照点が前記顔画像合成時の前記参照点の位置に移動するように正規化された前記複数の変形顔画像を生成する。画像合成部は、前記複数の変形顔画像と前記複数の特徴点とに基づいて、前記複数の変形顔画像の前記基準点を一致させて、各画素において合成比率で色及び輝度の少なくとも一つを加重平均した前記合成顔画像を作成する。

上記の顔画像合成装置において、前記演算処理装置は、前記複数の変形顔画像を各画素毎に平均化することにより前記合成顔画像を生成する。

上記の顔画像合成装置において、前記複数の特徴点は、前記原点に対して第１象限に位置する第１特徴点、第２象限に位置する第２特徴点、第３象限に位置する第３特徴点及び第４象限に位置する第４特徴点を含む。

上記の顔画像合成装置において、前記複数の顔画像のうちの任意の顔画像における任意の点の座標を（ｘ１，ｙ１）とし、前記任意の点が対応する前記変形顔画像において（ｘ２，ｙ２）と変換されたときの拡縮率を（ｒ，ｓ）＝（ｘ２／ｘ１，ｙ２／ｙ１）とするとき、前記演算処理装置は前記拡縮率を前記変形顔画像の任意の領域で連続的となるように算出する。

上記の顔画像合成装置において、前記記憶装置と演算処理装置とを含む携帯可能な筐体と、前記複数の顔画像及び前記合成顔画像を表示する表示部と、前記複数の特徴点が入力可能な入力部とを更に具備する。

上記課題を解決するために本発明の顔画像合成方法は、（ａ）複数の顔画像と、前記複数の顔画像の各々に対して設定された原点を含む複数の特徴点とを取得するステップと、（ｂ）前記複数の顔画像に含まれる２つ以上の特徴点の位置が一致するように変形した複数の変形顔画像を生成するステップと、（ｃ）前記複数の変形顔画像から合成顔画像を生成するステップとを具備する。

上記の顔画像合成方法において、前記複数の特徴点は、基準点と参照点とを含む。前記（ｂ）ステップは、（ｂ１）前記複数の顔画像と前記複数の特徴点とに基づいて、所定の特徴点間の距離が一致するように前記複数の顔画像のスケールを変更した複数のスケール変更顔画像を生成するステップと、（ｂ２）前記複数のスケール変更顔画像と前記複数の特徴点とに基づいて、前記複数のスケール変更顔画像における前記原点からの前記参照点の位置を計算し、顔画像合成時の前記参照点の位置を設定し、前記複数のスケール変更顔画像の前記参照点が前記顔画像合成時の前記参照点の位置に移動するように正規化された前記複数の変形顔画像を生成するステップとを備える。前記（ｃ）ステップは、（ｃ１）前記複数の変形顔画像と前記複数の特徴点とに基づいて、前記複数の変形顔画像の前記基準点を一致させて、各画素において合成比率で色及び輝度の少なくとも一つを加重平均した前記合成顔画像を作成するステップを備える。

上記の顔画像合成方法において、前記（ｂ２）ステップは、（ｂ２１）前記複数の顔画像のうちの任意の顔画像における任意の点の座標を（ｘ１，ｙ１）とし、前記任意の点が対応する前記変形顔画像において（ｘ２，ｙ２）と変換されたときの拡縮率を（ｒ，ｓ）＝（ｘ２／ｘ１，ｙ２／ｙ１）とするとき、前記拡縮率を前記変形顔画像の任意の領域で連続的となるように算出するステップを備える。

上記課題を解決するために本発明のコンピュータプログラム製品は、コンピュータ上で使用したときに、上記のいずれか一項に記載された全てのステップを実行するプログラムコード手段を有する。

上記課題を解決するために本発明のコンピュータプログラム製品は、コンピュータにより読み取り可能な記憶手段に記憶された、上記のプログラムコード手段を有する。

図１は、背景技術における三次元のポリゴンマップの一例である。 図２は、本発明の顔画像合成装置の実施の形態における構成図である。 図３は、本発明の顔画像合成装置の実施の形態における構成図である。 図４は、本発明の顔画像合成装置の実施の形態の一例を示す外観図である。 図５は、本発明の顔画像合成方法の実施の形態を示すフローチャートである。 図６は、本発明の顔画像合成方法の実施の形態における顔画像の合成過程を示す図である。 図７は、本発明の顔画像合成方法の実施の形態における顔の正規化時の拡縮率の設定を説明する図である。

以下、図面を参照しながら本発明による顔画像合成方法、その装置及びプログラムについて説明する。

図２は、本発明の顔画像合成装置の実施の形態における構成を示す。顔画像合成装置６０は、演算処理装置１、記憶装置２、表示装置３及び入力装置４を備えている。記憶装置２にはプログラム５が格納されている。演算処理装置１は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に例示される。記憶装置２は、メモリ又はハードディスクに例示される。表示装置３は、液晶ディスプレイに例示される。入力装置４は、キーボードに例示される。

図３は、本発明の顔画像合成装置の実施の形態における構成を示す。顔画像合成装置６０は、座標点指定手段１０、画像間スケーリング手段１１、画像正規化手段１２及び画像合成手段１３を備えている。

座標点指定手段１０は、複数の入力顔画像Ｓ１０１の各々に対して特徴点Ｓ１０２を指定する。特徴点Ｓ１０２は、基準点（鼻の下など）と参照点（両目中心点と口左右両端など）とを含む。座標点指定手段１０は、入力顔画像Ｓ１０１を表示する表示装置３、表示装置３が表示する表示画面における位置の指定を受け付ける入力装置４、指定された位置の座標を記憶する記憶装置２により実現される。座標点指定手段１０は、入力顔画像Ｓ１０１の入力時にすでに特徴点Ｓ１０２を指定する情報が共に得られている場合には省略可能である。

画像間スケーリング手段１１は、特徴点Ｓ１０２に基づいて、参照点のうちの両目中心間の距離でスケーリングした画像Ｓ１０３を生成する。画像正規化手段１２は、特徴点Ｓ１０２に基づいて、基準点を原点にしたときの参照点の位置を計算し、合成時の参照点位置Ｓ１０６を設定し、画像Ｓ１０３から参照点が合成時の参照点に移動するように正規化された画像Ｓ１０４を生成する。画像合成手段１３は、正規化された各顔画像Ｓ１０４の基準点を一致させて、各画素において所望の合成比率Ｓ１０７で色もしくは輝度を加重平均し合成顔画像Ｓ１０５を作成する。画像間スケーリング手段１１、画像正規化手段１２、画像合成手段１３は、演算処理装置１がプログラム５を読み出しプログラム５に記述された手順に従って実行する処理により実現される。

図４は、本発明の顔画像合成装置の実施の形態における外観の一例を示す。顔画像合成装置６０は、携帯電話機などの携帯端末装置に搭載されていることが好ましい。顔画像合成装置６０は特にカメラ機能（図示されず）を備えた携帯電話機などの携帯端末装置に搭載されていることが好ましい。顔画像合成装置６０は表示装置６７を備えている。顔画像合成装置６０は、表示装置６７に表示される画像の任意の位置を指定することができるポインティング装置６１と、数値を指定することができる数値キーを備えている。ここで、表示装置６７は、上記の表示装置３に相当する。ポインティング装置６１、数値キー６９及びカメラ（図示されず）は、上記の入力装置４に相当する。

表示装置６７は、入力顔画像Ｓ１０１を表示する。入力顔画像Ｓ１０１は、顔画像合成装置６０が備えるカメラ（図示されず）によって撮影された画像、顔画像合成装置６０が備える記憶装置２にデフォルトで設定された画像あるいは顔画像合成装置６０が備える通信装置が受信した画像である。

入力顔画像Ｓ１０１には、ポインティング装置６１により基準点６２、左上参照点６３、右上参照点６４、左下参照点６５及び右下参照点６６が設定される。入力顔画像Ｓ１０１が口の無いキャラクターなどの顔類似画像である場合には、参照点として左上参照点６３と右上参照点６４のみ設定される。

図５は、本発明の顔画像合成方法の実施の形態を示すフローチャートである。フローチャートは、ステップＳ１〜Ｓ７の７つのステップに大別される。座標点指定手段１０はステップＳ１を行い、画像間スケーリング手段１１はステップＳ２を行い、画像正規化手段１２はステップＳ３〜Ｓ６を行い、画像合成手段１３はステップＳ７を行う。図６は、本発明の顔画像合成方法の実施の形態における顔画像の合成過程を示す図である。顔画像が合成されていく様子の一例を示している。

ステップＳ１：二つの入力顔画像Ｓ１０１がカメラ等により入力される。入力顔画像Ｓ１０１は、画像中に人の顔、動物の顔、人形、自動車の前面など、顔あるいは顔に見立てることのできる画像である。図７に入力顔画像Ｓ１０１の例が顔画像Ｆ１及び顔画像Ｆ２として示されている。座標点指定手段１０により、各々の入力顔画像Ｓ１０１に対して基準点６２、左上参照点６３、右上参照点６４、左下参照点６５及び右下参照点６６が指定され、記憶装置２に格納される。この指定は、ユーザが表示装置６７を参照しながらポインティング装置６１を用いて入力するのでも良いし、顔画像合成装置６０に記憶されているプログラム５により入力顔画像から自動的に抽出されるのでもよい。基準点は、抽出が容易、近くに肌の色と異なるパーツがある、他の肌の色と異なるパーツ（両目、口）間の中間にあるなどの条件を満たすことが望ましい。こうした条件を満たす点としては、鼻の下（鼻の穴の中央）が例示される。参照点は、右目中心、左目中心、口の両端など他の肌の色と異なるパーツの位置を示す点であって指定しやすい部分が指定されることが好ましい。

ステップＳ２：画像間スケーリング手段１１は、二つの入力顔画像Ｓ１０１の顔のスケールを一致させて画像Ｓ１０３を生成する。入力顔画像Ｓ１０１に含まれる顔の大きさが異なることにより、画像サイズを一致させても、顔のスケールを一致させたことにはならない。そこで、個人差の少ない顔の部分の長さを用いてスケールを一致させる方法が考えられる。よく用いられるのは両目間の距離である。両目間の距離は両眼立体視に関する文献で記述されているように、顔や頭の大きさに係わらず通常６ｃｍ程度である。

画像間スケーリング手段１１は、各々の入力顔画像Ｓ１０１を左上参照点６３と右上参照点６４とを結ぶ線が水平（顔画像合成装置６０を通常、操作する姿勢で手に保持したときの、表示装置６７の幅方向）になるように回転する。次に両目中心間の距離をピクセル単位で計算し、その距離と予め設定した両目間の距離との比、つまり（設定した両目間距離）／（画像中の両目間距離）を計算し、画像の縦横サイズにこの比を乗じて、拡大もしくは縮小する。こうして得られた画像Ｓ１０３は、図６に顔画像Ｆ３、Ｆ４として示されている。顔画像Ｆ３と顔画像Ｆ４とは両目間の距離が同じである。

ステップＳ３：画像正規化手段１２は、画像Ｓ１０３における顔の主要パーツ（両目、鼻、口）の間の位置関係を計算する。つまり、基準点を原点にしたときの参照点の位置を計算する。参照点の基準点を原点としたピクセル座標値が、顔の主要パーツの位置関係を示す。

ステップＳ４：画像正規化手段１２は、２つの画像Ｓ１０３から、合成時の左上参照点６３、右上参照点６４、左下参照点６５及び右下参照点６６の位置を算出する。これは、合成顔画像Ｓ１０５における基準点に対する各参照点の位置を決めることに相当する。計算方法としては、例えば次の方法が用いられる。基準点を原点として、顔画像Ａの右目中心（左上参照点６３）の位置の座標を（ｘａ，ｙａ）、顔画像Ｂの右目中心の位置の座標を（ｘｂ，ｙｂ）として、合成比率をｐ：ｑとする。このとき、合成顔画像Ｓ１０５における右目中心の位置座標は、次式で設定される。

ステップＳ５：画像正規化手段１２は、２つの画像Ｓ１０３の各々に対して、顔画像の合成前と合成後での基準点と各参照点との距離の比（拡大率または縮小率、以下、拡縮率と略す）を算出する。ステップＳ４の説明で挙げた例を用いると、顔画像Ａの左上参照点６３の比率は（ｒａ，ｓａ）＝（ｘｓ／ｘａ，ｙｓ／ｙａ）となる。顔画像Ｂの左上参照点６３の比率は（ｒｂ，ｓｂ）＝（ｘｓ／ｘｂ，ｙｓ／ｙｂ）となる。

ステップＳ６：画像正規化手段１２は、２つの画像Ｓ１０３を正規化（合成のための拡大もしくは縮小）する。つまり、２つの画像の各々について参照点をステップＳ５で計算した比率を乗じることにより合成後の位置に移動させる。さらに、参照点以外の点を、位置に応じて、ステップＳ５で計算した拡縮率が滑らかに増減するようにして、拡大もしくは縮小により移動させる。この際、参照点以外の位置が、不連続にならないような拡大もしくは縮小を行わなければならない。このような拡大もしくは縮小の方法の例を以下に示す。

図７は、本発明の顔画像合成方法の実施の形態における顔の正規化時の拡縮率の設定を説明する図である。図７に示すように、顔画像を参照点に対する位置によって１２の部分に分ける。図７の領域３１、３２、３３及び３４は、ｘ座標、ｙ座標ともに、基準点２０から見て参照点の外側にある領域である。これらの領域では、最も内側の点、すなわち参照点の拡縮率を、領域内の任意の点の拡縮率とする。領域３１の拡縮率は左上参照点６３の拡縮率である。領域３２の拡縮率は右上参照点６４の拡縮率である。領域３３の拡縮率は左下参照点６５の拡縮率である。領域３４の拡縮率は右下参照点６６の拡縮率である。

図７の領域４１、４２、４３及び４４は、ｘ座標とｙ座標の一方は基準点２０から見て参照点の外部であり、他方は基準点２０から見て参照点の内部にある領域である。これらの領域に位置する任意の点の拡縮率は、その点とその領域に接する参照点との相対位置を用いて決められる。例えば、領域４１における点（ｘ，ｙ）の拡縮率を求める場合を考える。点（ｘ，ｙ）を、左上参照点６３の座標（ｘ１，ｙ１）と右上参照点６４の座標（ｘ２，ｙ２）を用いて

と表現するとき、点（ｘ，ｙ）の拡縮率は、左上参照点６３の拡縮率（ｒ１，ｒ２）と右上参照点６４の拡縮率（ｒ２，ｓ２）を用いて、

で設定する。
領域４２に関しては左上参照点６３の座標と左下参照点６５の座標を用いて領域４２の内部の点のｙ座標を内分関係により表現して同様に設定する。
領域４３に関しては右上参照点６４の座標と右下参照点６６の座標を用いて領域４３の内部の点のｘ座標を内分関係により表現して同様に設定する。
領域４４に関しては左下参照点６５の座標と右下参照点６６の座標を用いて領域４４の内部の点のｙ座標を内分関係により表現して同様に設定する。

図７の領域５１、５２、５３及び５４は、ｘ座標とｙ座標が共に基準点から見て参照点よりも内部にある領域が基準点を原点とする直交座標系をなすｘ軸とｙ軸により４つの領域に分けられたものである。これらの領域５１、５２、５３及び５４の拡縮率は、次のように決められる。ｘ座標、ｙ座標が共に正である第１象限の領域５４に着目して説明する。領域５４における点の座標（ｘ，ｙ）を、右下参照点６６の座標（ｘ４，y４）、左下参照点６５の座標（ｘ３，ｙ３）、及び右上参照点６４の座標（ｘ２，y２）を用いて

で表現する。このとき、画像正規化手段１２は、領域５４における点の拡縮率を次式で設定する。

このような設定により、参照点は所望の拡縮率で移動させつつ、全体を滑らかに（継ぎ目なく）拡縮率を設定することが可能になる。元の画像ですべての点に拡縮率が設定されると各点は座標にその拡縮率を乗じた値の座標に移動する。中間で抜けた値がある場所は、内挿補完により埋める。このようにして画像Ｓ１０４が生成される。画像Ｓ１０４の例は、図６に顔画像Ｆ５と顔画像Ｆ６に示されている。顔画像Ｆ５と顔画像Ｆ６とは、顔の各部分（目、鼻、口）の位置が同じである。

こうした処理をする理由は、単純に各々の象限を各々の象限に属する参照点の拡縮率で拡大・縮小したのでは、例えば入力顔画像Ｓ１０１の目や口が左右対称からずれている場合に、ｘ座標、ｙ座標を横断する領域において、入力顔画像Ｓ１０１が有する連続的な線やテクスチャが不連続に変形され、不自然な顔画像となるためである。上述した拡縮率の算出方法によれば、顔のパーツ、線、テクスチャが連続的に変化する自然な画像が得られる。

ステップＳ７：画像合成手段１３は、正規化された画像Ｓ１０４と入力された合成比率Ｓ１０７を用いて合成顔画像Ｓ１０５を生成する。合成顔画像Ｓ１０５は、ステップＳ６で正規化された二つの画像Ｓ１０４の基準点６２を原点に一致させて、座標上の各点の画素の輝度値もしくは色値を合成比率Ｓ１０７によって加重平均することにより得られる。
このとき、顔全体を一様な合成比率により合成する必要はない。例えば、両目の周りだけ二つの画像Ｓ１０４を５０：５０の比で合成し、その他の部分は０：１００の比で合成して、両目周囲だけの部分合成にしてもよい。こうした合成比率Ｓ１０７の設定は、予め記憶装置２に格納されていても良いし、入力装置から入力されるのでも良い。

入力顔画像Ｓ１０１は、実際の人間の顔を撮影することにより得られた画像に限られない。例えば、アニメ、ＣＧなどで作成された人工画像でもよい。また、自動車の前面（ヘッドライトが目に対応する）、人形のように人の顔を想定できるものであってもよい。

顔画像合成装置６０が携帯電話などの携帯端末を用いて実現される場合、ステップＳ１における基準点６２、左上参照点６３、右上参照点６４、左下参照点６５及び右下参照点６６の入力は、表示装置６７の表示画面に表示された入力顔画像Ｓ１０１を確認しながら、ポインティング装置６１を用いて行われる。予め携帯端末に入力顔画像Ｓ１０１から基準点６２と各参照点を抽出する特徴点検出プログラムが実装されているならば、ポインティング装置６１による入力は必要とされない。ステップＳ２とステップＳ３は、携帯端末内の演算装置により実行できる。ステップＳ４は、例えば、携帯端末の数字キーで２つの画像Ｓ１０３の合成比率を入力し、上述の計算を携帯端末内の演算装置で行うことで実現できる。ステップＳ５とステップＳ６は携帯端末内の演算装置で実現できる。ステップＳ７は、ステップＳ４と同様に携帯端末の数字キーで二つの画像Ｓ１０４の合成比率を入力し、上述の計算を携帯端末内の演算装置で行うことで実現できる。

本発明によれば、入力インターフェースや計算処理能力が制限された環境において、ゴーストの生じない質の高い顔合成画像を作ることが可能になり、カメラ付きの携帯電話やＰＤＡなどへの実装が可能になる。

２つの顔画像を合成した画像が実際に存在するように感じられるために最も重要なことは、目などの特徴部位が一致していることである。合成時のずれが目立つ部分は、両目、鼻の穴、口、眉毛が挙げられる。眉毛は、描く、表情をつける、ということをしない限り、目の位置との相関が高いので、目の位置が適切に処理されれば眉毛の位置も適切に処理される。そこで、両目、鼻の穴、口に着目する。鼻の下の点（鼻の両穴の中間点）を基準点とし、右目中心、左目中心、口右端及び口左端の４点を各領域の参照点とする。鼻の下を基準点に取ることは、（１）右目、左目、口右端及び口左端の４点の中間にある、（２）鼻の両穴の中間という特徴があるため抽出が容易、という理由から好ましい。他の４点のいずれか（例えば右目中心）を基準点とした場合は、その点から離れた点（例えば口左端）を基準点からの距離を元に拡大もしくは縮小により再配置するとき、拡大、縮小によるぶれが大きくなりやすい。もし、立体的な形状の情報を含む距離画像などが得られるのであれば、鼻の頂点を基準点に採用することもできる。

画像全体をスケーリングしておき、基準点を鼻の下の点等で決めれば、主要パーツ間の配置は基準点と残りの４つの参照点の位置で定義できる。そこで、合成後の参照点の配置をあらかじめ決め、合成されるそれぞれの画像において、参照点の位置が合成後の位置に一致するように画像を拡大縮小し、基準点を一致させて、色もしくは輝度で加重平均することにより、主要パーツ部にゴーストのない合成画像が得られ、本発明の目的を達成することができる。

本発明の第１の効果は、携帯端末のような制限された入力インターフェースでも、作業者の負担なく実行できる点である。その理由は、鼻の下、右目中心、左眼中心、口右端、口左端の５点を指定することで顔合成が実行できるからである。
本発明の第２の効果は、携帯端末のような制限された計算処理能力でも実行できる点である。その理由は、ポリゴンマッピングを用いず、５点を基準にした拡大／縮小のみで処理を行うからである。
本発明の第３の効果は、顔合成画像において目など、皮膚の色と大きく異なる場所にゴーストが生じさせないようにする点である。その理由は、合成される元の画像すべてでこれらの場所を一致させるように拡大もしくは縮小を行うからである。

本発明は上記各実施例に限定されず、本発明の技術思想の範囲内において、各実施例は適宜変形又は変更され得ることは明らかである。

Claims (12)

1. 複数の顔画像と、前記複数の顔画像の各々に対して設定された原点を含む複数の特徴点とを記憶する記憶装置と、
   前記複数の顔画像を互いの前記原点が一致し且つ互いの他の前記複数の特徴点が一致するように変形した複数の変形顔画像を生成し、前記複数の変形顔画像から合成顔画像を生成する演算処理装置と
   を具備し、
   前記複数の特徴点は、基準点と参照点とを含み、
   前記演算処理装置は、
   前記複数の顔画像と前記複数の特徴点とに基づいて、所定の特徴点間の距離が一致するように前記複数の顔画像のスケールを変更した複数のスケール変更顔画像を生成する画像間スケーリング部と、
   前記複数のスケール変更顔画像と前記複数の特徴点とに基づいて、前記複数のスケール変更顔画像における前記原点からの前記参照点の位置を計算し、前記計算された位置を合成後の参照点の位置に設定し、前記複数のスケール変更顔画像の前記参照点が前記顔画像合成時の前記参照点の位置に移動するように正規化された前記複数の変形顔画像を生成する画像正規化部と、
   前記複数の変形顔画像と前記複数の特徴点とに基づいて、前記複数の変形顔画像の前記基準点を一致させて、各画素において合成比率で色及び輝度の少なくとも一つを加重平均した前記合成顔画像を作成する画像合成部と
   を備え、
   前記複数の特徴点は、前記原点に対して第１象限に位置する第１特徴点、第２象限に位置する第２特徴点、第３象限に位置する第３特徴点及び第４象限に位置する第４特徴点を含む
   顔画像合成装置。
2. 請求項１に記載の顔画像合成装置において、
   前記演算処理装置は、前記複数の変形顔画像を各画素毎に平均化することにより前記合成顔画像を生成する
   顔画像合成装置。
3. 請求項１に記載の顔画像合成装置において、
   前記複数の顔画像のうちの任意の顔画像における任意の点の座標を（ｘ１，ｙ１）とし、前記任意の点が対応する前記変形顔画像において（ｘ２，ｙ２）と変換されたときの拡縮率を（ｒ，ｓ）＝（ｘ２／ｘ１，ｙ２／ｙ１）とするとき、前記演算処理装置は前記拡縮率を前記変形顔画像の任意の領域で連続的となるように算出する
   顔画像合成装置。
4. 請求項１に記載の顔画像合成装置において、
   前記記憶装置と演算処理装置とを含む携帯可能な筐体と、
   前記複数の顔画像及び前記合成顔画像を表示する表示部と、
   前記複数の特徴点が入力可能な入力部と
   を更に具備する
   顔画像合成装置。
5. （ａ）複数の顔画像と、前記複数の顔画像の各々に対して設定された原点を含む複数の特徴点とを取得するステップと、
   （ｂ）前記複数の顔画像に含まれる２つ以上の特徴点の位置が一致するように変形した複数の変形顔画像を生成するステップと、
   （ｃ）前記複数の変形顔画像から合成顔画像を生成するステップと
   を具備し、
   前記複数の特徴点は、基準点と参照点とを含み、前記原点に対して第１象限に位置する第１特徴点、第２象限に位置する第２特徴点、第３象限に位置する第３特徴点及び第４象限に位置する第４特徴点を含み、
   前記（ｂ）ステップは、
   （ｂ１）前記複数の顔画像と前記複数の特徴点とに基づいて、所定の特徴点間の距離が一致するように前記複数の顔画像のスケールを変更した複数のスケール変更顔画像を生成するステップと、
   （ｂ２）前記複数のスケール変更顔画像と前記複数の特徴点とに基づいて、前記複数のスケール変更顔画像における前記原点からの前記参照点の位置を計算し、前記計算された位置を合成後の参照点の位置に設定し、前記複数のスケール変更顔画像の前記参照点が前記顔画像合成時の前記参照点の位置に移動するように正規化された前記複数の変形顔画像を生成するステップと
   を備え、
   前記（ｃ）ステップは、
   （ｃ１）前記複数の変形顔画像と前記複数の特徴点とに基づいて、前記複数の変形顔画像の前記基準点を一致させて、各画素において合成比率で色及び輝度の少なくとも一つを加重平均した前記合成顔画像を作成するステップを備える
   顔画像合成方法。
6. 請求項５に記載の顔画像合成方法において、
   前記（ｂ２）ステップは、
   （ｂ２１）前記複数の顔画像のうちの任意の顔画像における任意の点の座標を（ｘ１，ｙ１）とし、前記任意の点が対応する前記変形顔画像において（ｘ２，ｙ２）と変換されたときの拡縮率を（ｒ，ｓ）＝（ｘ２／ｘ１，ｙ２／ｙ１）とするとき、前記拡縮率を前記変形顔画像の任意の領域で連続的となるように算出するステップを備える
   顔画像合成方法。
7. コンピュータ上で使用したときに、請求項５又は６に記載された全てのステップを実行するプログラムコード手段を有するコンピュータプログラム製品。
8. コンピュータにより読み取り可能な記憶手段に記憶された、請求項７に記載されたプログラムコード手段を有するコンピュータプログラム製品。
9. ２つ以上の顔画像もしくは顔類似物の画像を入力画像として合成し別の画像を作成する顔画像合成装置であって、
   複数の入力画像の各々において右目部、左目部、鼻部の中のそれぞれ一点と、口部の中の２点の計５点の座標が指定され、前記５点の座標を用いて複数の入力画像間の大きさを一致させる画像間スケーリング手段と、
   前記５点の座標のうちの前記鼻部の中の一点を原点として残りの４点の座標を前記複数の入力画像の各々について算出し、前記複数の入力画像における前記４点の座標のうちの対応するものを所定の比率で合成することで合成後の４点の座標を算出し、合成前の前記４点の座標が合成後の前記４点の座標になるように前記複数の入力画像を拡大もしくは縮小することにより複数の正規化画像を作成する画像正規化手段と、
   前記複数の正規化画像の原点を一致させ、前記複数の正規化画像における対応する画素において合成比率で色及び輝度の少なくとも一つを加重平均した前記別の画像を作成する画像合成手段と
   で構成されることを特徴とする顔画像合成装置。
10. ２つ以上の顔画像もしくは顔類似物の画像を入力画像として合成し別の画像を作成する方法であって、
    複数の入力画像の各々において右目部、左目部、鼻部の中のそれぞれ一点と、口部の中の２点の計５点の座標が指定され、前記５点の座標を用いて複数の入力画像間の大きさを一致させるステップと、
    前記５点の座標のうちの前記鼻部の中の一点を原点として残りの４点の座標を前記複数の入力画像の各々について算出し、前記複数の入力画像における前記４点の座標のうちの対応するものを所定の比率で合成することで合成後の４点の座標を算出し、合成前の前記４点の座標が合成後の前記４点の座標になるように前記複数の入力画像を拡大もしくは縮小することにより複数の正規化画像を作成するステップと、
    前記複数の正規化画像の原点を一致させ、前記複数の正規化画像における対応する画素において合成比率で色及び輝度の少なくとも一つを加重平均した前記別の画像を作成するステップと
    で構成されることを特徴とする顔合成方法。
11. コンピュータ上で使用したときに、請求項１０に記載された全てのステップを実行するプログラムコード手段を有するコンピュータプログラム製品。
12. コンピュータにより読み取り可能な記憶手段に記憶された、請求項１１に記載されたプログラムコード手段を有するコンピュータプログラム製品。

Images