JP3799633B2 - 顔画像処理方法および顔画像処理装置 - Google Patents
顔画像処理方法および顔画像処理装置 Download PDFInfo
- Publication number
- JP3799633B2 JP3799633B2 JP28169395A JP28169395A JP3799633B2 JP 3799633 B2 JP3799633 B2 JP 3799633B2 JP 28169395 A JP28169395 A JP 28169395A JP 28169395 A JP28169395 A JP 28169395A JP 3799633 B2 JP3799633 B2 JP 3799633B2
- Authority
- JP
- Japan
- Prior art keywords
- face image
- color
- shape
- face
- color interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Description
【０００１】
【発明の属する技術分野】
本発明は、たとえば２枚の顔画像と背景となる１枚の顔画像を用いて、この背景となる１枚の顔画像をベースとして前記２枚の顔画像を合成する顔画像処理方法及び顔画像処理装置に関する。
【０００２】
【従来の技術】
この種の画像合成の例として、たとえば、或る男性の顔画像と或る女性の顔画像を用いて、適当な子どもの顔画像をベースにして、男性の顔画像の特徴と女性の顔画像の特徴を加味して合成し、子どもの顔画像を作成するというようなことが従来より行われている。
【０００３】
このような画像合成を行う場合は、２枚の顔画像Ｇ１，Ｇ２と背景となる１枚の顔画像Ｇ３があって、これらの顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルを用意し、顔画像Ｇ１，Ｇ２，Ｇ３とそれぞれに対応する形状モデルをもとに、背景となる顔画像Ｇ３をベースにして顔画像Ｇ１，Ｇ２の特徴を加味した画像を合成するのが一般的である。
【０００４】
図１２は従来の画像合成装置の処理を説明するブロック図であり、以下、図１２を参照して説明する。
【０００５】
図１２において、１は形状補間処理部、２は色補間処理部である。形状補間処理部１には、顔画像Ｇ１、顔画像Ｇ２、背景となる顔画像Ｇ３のそれぞれの形状データ（後に説明する）が入力され、色補間処理部２には、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの画像データ（色データ）が入力されるとともに、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの形状データ、さらに前記形状補間処理部１からの形状補間データが入力されるよになっている。そして、この色補間処理部２から合成画像データが出力される。
【０００６】
ところで、前記形状データというのは、図１３に示すような形状モデルにおける顔画像内のそれぞれの点ｑの番号（ｑ０，ｑ１，・・・）、２つの点間を結ぶラインＬの番号（Ｌ０，Ｌ１，・・・）、近傍の３つの点を結んで形成されるパッチｐの番号（ｐ０，ｐ１，・・・）を基に得られた前記それぞれの点ｑの座標データ、前記それぞれのラインＬに関するデータ（たとえば、ラインＬ０は点ｑ０とｑ１で形成されるというようなデータ）、前記それぞれのパッチｐに関するデータ（たとえば、パッチｐ０は点ｑ０，ｑ１，ｑ２で形成されるというようなデータ）である。
【０００７】
そして、前記形状補間処理部１では、顔画像Ｇ１、顔画像Ｇ２のそれぞれの形状データを用いて形状補間する処理を行う。つまり、顔画像Ｇ１と顔画像Ｇ２の対応する点の座標を所定の比率で補間する（たとえば、両者の座標値をたして２で割る）というような処理を行って形状補間を行う。そして、このように形状補間されたのち、色補間処理部２では、形状補間された後のそれぞれのパッチにおいて、それぞれのパッチ内の所定の位置に対応する顔画像Ｇ１と顔画像Ｇ２のそれぞれの画素の色データを所定の比率で補間して、それを前記形状補間された所定のパッチの所定位置に書き込むというような処理を行って、合成画像データを作成する。
【０００８】
さらに、たとえば、顔画像Ｇ１を父親の顔画像、顔画像Ｇ２を母親の顔画像として、背景となる顔画像Ｇ３（或るこどもの顔画像）に顔画像Ｇ１と顔画像Ｇ２を合成した顔画像を作成する場合は、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３の補間比率が合計で１となるように形状補間補間処理および色補間処理して画像合成を行う。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来のこの種の顔画像合成装置は、合成しようとする顔画像Ｇ１と顔画像Ｇ２の２つの形状モデルの座標値をそのまま補間して、合成画像の形状モデルを求めている。このため、たとえば、図１４に示すように、補間比率を連続的に変化させて顔画像の合成を行う場合、目や口などの顔の特徴的な構成部品の位置が細かく移動してしまうという問題があった。なお、図１４において、同図（ａ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.7：0.3とした場合、同図（ｂ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.5：0.5とした場合、同図（ｃ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.3：0.7とした場合を示している。
【００１０】
また、従来の顔画像合成装置においては、目、口、鼻などの部品単位に形状補間比率および色補間比率を変化させる手段はなく、一定の形状補間比率および色補間比率で補間処理を行っていた。そのため、たとえば、目は顔画像Ｇ１（男性の顔画像）、鼻は顔画像Ｇ２（女性の顔画像）に似せるというように、部品単位にどちらかの顔画像に似せるというような処理は行えないのが普通であった。また、色補間を一定の比率で補間処理することから、顔画像Ｇ１，Ｇ２や背景となる顔画像Ｇ３において、輝度の極端に低い陰や髪の部分、あるいは、ハイライト部分の色が中途半端に合成画像に影響し、合成された色が不自然なものとなる問題もあった。
【００１１】
さらに、従来の顔合成処理は、顔画像の髪の色、目の色、肌の色など人種を示す特徴的な色については何等考慮されない合成処理であった。したがって、日本人同志の合成の場合は、特に問題はないが、髪の色、目の色、肌の色の異なる人同志の顔画像を合成する場合、従来の合成処理方法では不自然な合成顔画像が作成される場合もある。たとえば、金髪で肌の色が白色、眼球が青色の大人の男女の顔画像Ｇ１，Ｇ２を、或る子どもの顔画像をベースにして合成する場合、ベースとなる子どもの顔画像が日本人では、合成後の子どもの顔画像が不自然なものとなってしまうのは明らかである。
【００１２】
しかしながら、従来では、顔画像Ｇ１，Ｇ２の髪の色、目の色、肌の色など人種を示す特徴的な色に対応して、背景となる顔画像Ｇ３を選択するという処理を行っていないのが一般的である。
【００１３】
また、或る１枚の顔画像を用いて、目、鼻、眉、口などの部品の或る点の座標値を少し動かすことで顔の表情を変化させることも従来より行われている。たとえば、目の下瞼の部分の点を上に少し動かすことによって、微笑んだ表情を作るというように顔の表情を変化させる場合は、顔のどの点をどの程度どの方向に移動させるかというデータ（これを表情データという）を予め設定しておくことで、表情を変化させることができる。たとえば、微笑んだ表情を作る場合には、目の下瞼の或る点を１０画素だけ上方に移動させるというような表情データを予め作成しておき、この表情データに基づいて表情を変化させるのが一般的であった。
【００１４】
しかし、このような定数による表情データでは、顔画像の大きさに関係なく、同じ量だけ点の移動が行われるので、小さい顔画像の場合には、移動量が大きすぎて不自然な表情となってしまう問題があった。
【００１５】
これに対処する従来技術として、移動ベクトルの正規化をする方法があるが、従来の移動ベクトルの正規化方法は、四角の曲面パッチ（ベッツイ・パッチ）を対象としたものであり、演算も微分演算を必要とするなどその計算量はきわめて多いという問題があった。
【００１６】
また、或る１枚の顔画像を用いて、その顔画像に年齢変化を加える処理、たとえば、或る顔画像が年をとったときどのような顔画像となるかの処理（これをここでは加齢処理という）を施すことが従来より行われている。この技術の１つとして、たとえば、肌のたるみ処理を施す技術がある。これは、皮膚を弾性を持った布地物体として、下方向の重力の作用を加えることで皮膚の垂みを表そうとするものである。
【００１７】
しかし、この方法は、多少の加齢効果は期待できるものの、リアリティのある加齢処理を行うことはできなかった。
【００１８】
そこで、本発明は、形状補間比率を連続的に変えて複数の顔画像を合成する場合、顔の特徴的な部分の位置が動くのを防止するとともに、合成後の顔画像を顔の部品単位で補間比率を変化させることにより、部品単位でいずれかの顔画像に似せたりすることを可能とし、また、顔画像の輝度に応じて補間比率を変化させることにより、自然な合成画像を得ることを可能とし、また、顔画像の髪の色、目の色、肌の色など人種を示す特徴的な色を考慮した合成処理をも可能とし、さらに、簡単な計算量で顔の表情を変化させることができ、さらに、適切な年齢変化処理を施すことができる顔画像処理方法および顔画像処理装置を実現することを目的とする。
【００１９】
【課題を解決するための手段】
本発明の画像処理方法は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画像処理方法であって、第１の形状整合処理手段が、前記顔画像Ｇ１の特徴的部分に注目し、前記顔画像Ｇ１の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ１を前記顔画像Ｇ３に大まかに整合するステップと、第２の形状整合処理手段が、前記顔画像Ｇ２の特徴的部分に注目し、前記顔画像Ｇ２の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ２を前記顔画像Ｇ３に大まかに整合するステップと、形状補間処理手段が、前記第１の形状整合処理手段により整合された前記顔画像Ｇ１の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像Ｇ２の整合後の形状モデルのそれぞれと、前記顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間するステップと、色補間処理手段が、前記形状補間処理手段により形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間するステップとを有することを特徴としている。これにより、形状補間比率を連続的に変化させて２つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
【００２０】
また、前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができる。
【００２１】
また、前記色補間処理手段は、背景となる前記顔画像Ｇ３の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、背景となる顔画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
【００２２】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ３の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ３の色補間比率を大きくするようにしている。これにより、背景となる顔画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【００２３】
また、前記色補間処理手段は、前記顔画像Ｇ１，Ｇ２の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、顔画像Ｇ１，Ｇ２において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００２４】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ１，Ｇ２の色補間比率を小さくするようにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など輝度値が極端に大きい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００２５】
また、前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。これを前述の形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を得ることができる。
【００２６】
また、本発明の顔画像処理方法は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理方法であって、色補間手段が、前記顔画像Ｇ１，Ｇ２の特徴的な領域に注目し、前記顔画像Ｇ１，Ｇ２のそれぞれの特徴的な領域の色を検出するステップと、背景顔画像選択処理手段が、前記色検出手段が検出した前記特徴的な領域の色データを基にして、前記ベースとなる前記顔画像Ｇ３を選択するステップとを有することを特徴としている。これによれば、合成しようとする顔画像Ｇ１，Ｇ２にふさわしい顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００２７】
前記背景顔画像選択処理手段は、前記色検出手段が検出した前記顔画像Ｇ１，Ｇ２の前記特徴的な領域の画像データを基に遺伝的な情報に基づいて、前記顔画像Ｇ３を選択する。これによれば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００２８】
また、前記顔画像Ｇ１，Ｇ１の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して顔画像Ｇ３が選択されるので、自然な合成画像を作成することができる。
【００２９】
また、本発明の顔画像処理方法は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理方法であって、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、表情変化処理手段が、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの２つのベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら各ベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出するステップとを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【００３０】
また、本発明の顔画像処理方法は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法であって、年齢変化処理部が、予め用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５に整合させた形状モデルから、この顔画像Ｇ５の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
【００３１】
また、本発明の画像処理装置は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画像処理装置であって、前記顔画像Ｇ１の特徴的部分に注目し、前記顔画像Ｇ１の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ１を前記顔画像Ｇ３に大まかに整合する第１の形状整合処理手段と、前記顔画像Ｇ２の特徴的部分に注目し、前記顔画像Ｇ２の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ２を前記顔画像Ｇ３に大まかに整合させる第２の形状整合処理手段と、前記第１の形状整合処理手段により整合された前記顔画像Ｇ１の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像（Ｇ２）の整合後の形状モデルのそれぞれと、前記顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段と、前記形状補間処理手段にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段とを有したことを特徴としている。これにより、形状補間比率を連続的に変化させて２つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
【００３２】
また、前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができる。
【００３３】
また、前記色補間処理手段は、前記顔画像Ｇ３の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定する。これにより、背景となる顔画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
【００３４】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ３の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ３の色補間比率大きくするようにする。これにより、背景となる顔画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【００３５】
また、前記色補間処理手段は、前記顔画像Ｇ１，Ｇ２の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定する。これにより、顔画像Ｇ１，Ｇ２において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００３６】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ１，Ｇ２の色補間比率を小さくするようにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など輝度値が極端に小さい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００３７】
また、前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。これを前述の形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を得ることができる。
【００３８】
本発明の顔画像処理装置は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理装置であって、前記顔画像Ｇ１，Ｇ２の特徴的な領域の色を検出するそれぞれの色検出手段と、それぞれの前記色検出手段により検出されたそれぞれの前記特徴的な領域の色データを基にして、前記ベースとなる前記顔画像Ｇ３を選択する背景顔画像選択処理手段とを有することを特徴としている。これによれば、合成しようとする顔画像Ｇ１，Ｇ２にふさわしい背景となる顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００３９】
前記背景顔画像選択処理手段は、遺伝的な情報を予め格納した遺伝情報テーブルを設け、前記顔画像Ｇ１，Ｇ２の前記特徴的な領域の画像データを基に、前記遺伝情報テーブルを参照して、前記顔画像Ｇ１，Ｇ２の画像データに対応する前記背景顔画像Ｇ３を選択する。これによれば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した背景となる顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００４０】
前記顔画像Ｇ１，Ｇ２の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して背景となる顔画像Ｇ３が選択されるので、自然な合成画像を作成することができる。
【００４１】
また、本発明の顔画像処理装置は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理装置であって、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの各ベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら２つのベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出する表情変化処理手段とを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【００４２】
また、本発明の顔画像処理装置は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置であって、予め用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５に整合させた形状モデルから、この顔画像Ｇ５の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理部を有したことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００４４】
（第１の実施の形態）
図１は本発明の処理を説明するブロック図であり、図１２と同一部分には同一符号が付されている。本発明では、図１２で示す構成に対して、顔画像Ｇ１および顔画像Ｇ２のそれぞれの形状データを用いて、顔画像Ｇ３に大まかに整合させる処理を行うそれぞれの形状整合処理部１１，１２（その処理については後に説明する）が新たに設けられ、それぞれの形状整合処理部１１，１２（第１の形状整合処理部１１、第２の形状整合処理部１２）からのそれぞれの整合後の形状データが出力され、形状補間処理部１に与えられるようになっている。
【００４５】
すなわち、図１においては、形状補間処理部１には、前記したように、第１の形状整合処理部１１および第２の形状整合処理部１２からのそれぞれの整合後形状データと、顔画像Ｇ３の形状データが入力され、色補間処理部２には、顔画像Ｇ１の画像データと形状データ、顔画像Ｇ２の画像データと形状データ、顔画像Ｇ３の画像データと形状データ、さらに、前記形状補間処理部１からの形状補間データが入力される構成となっている。
【００４６】
このような構成において、以下にその処理について説明する。
【００４７】
前記第１、第２の形状整合処理部１１，１２は、顔画像Ｇ１、顔画像Ｇ２のそれぞれの形状データを用いて、顔画像Ｇ１、顔画像Ｇ２の形状モデルを、背景となる顔画像Ｇ３に大まかに整合させるための処理を行う。たとえば、顔画像Ｇ１を顔画像Ｇ３に大まかに整合させる例についてを図２を参照して説明する。
【００４８】
まず、顔画像Ｇ１の特徴的な部品として、両目と口を選び、両目部分のそれぞれの中心点をα，β、口の部分の中心点をγとすると、点α，β，γのそれぞれの座標を、顔画像Ｇ３の両目と口の中心点α’，β’，γ’の座標へ座標変換を、下記に示す式を用いてアフィン変換により行う。
【００４９】
【数１】
【００５０】
この（１）式に示す式を連立させてアフィン係数ｃ０〜ｃ５を求める。なお、アフィン係数ｃ０からｃ３は回転、拡大、縮小を表し、ｃ４，ｃ５は平行移動を表している。また、（１）式において、Ｘα，Ｙαは点αの座標、Ｘβ，Ｙβは点βの座標、Ｘγ，Ｙγは点γの座標、Ｘα’，Ｙα’は点α’の座標、Ｘβ’，Ｙβ’は点β’の座標、Ｘγ’，Ｙγ’は点γ’の座標である。なお、実際には各点の座標は、Ｘ，Ｙ，Ｚの３次元空間の座標である。
【００５１】
この（１）式により求められたアフィン係数ｃ０〜ｃ５を用いることにより、両目のそれぞれの中心点α，βと口の中心点γ以外の全ての点も顔画像Ｇ３に座標変換することができる。つまり、顔画像Ｇ１内のそれぞれの点の座標値を前記（１）式に代入することにより、変換後の各点の座標値を求めることができる。
【００５２】
このように、まず、顔画像Ｇ１の両目と口のそれぞれの座標位置を、顔画像Ｇ３の両目と口の座標位置にアフィン変換することにより、顔画像Ｇ１の両目と口の部分を大まかに整合させ、なおかつ、顔画像Ｇ１の他の点（顔画像全体）も顔画像Ｇ３に大まかに整合させることができる。このような大まかな整合処理は、第１の形状整合処理部１１により行われ、この第１の形状整合処理部１１にて得られた大まかな整合後の形状データは、形状補間処理部１と色補間処理部２に送られる。
【００５３】
これと同様に、顔画像Ｇ２も顔画像Ｇ３に大まかに整合させる処理を行い、第２の形状整合処理部１２で得られた大まかな整合後の形状データは形状補間処理部１と色補間処理部２に送られる。
【００５４】
形状補間処理部２では、顔画像Ｇ１の整合後の形状データと顔画像Ｇ２の整合後の形状データおよび顔画像Ｇ３の形状データを用い、それぞれの補間比率が合計で１になるような比率で形状補間処理を行う。
【００５５】
ここまでの動作を図３（ａ），（ｂ），（ｃ）に示す。図３（ａ）は顔画像Ｇ１および顔画像Ｇ２を示すもので、これらの顔画像Ｇ１，Ｇ２を、同図（ｂ）の点線で示す背景となる顔画像Ｇ３に大まかに整合させる。この大まかな整合処理は、前記したように、顔画像Ｇ１（顔画像Ｇ２）の両目の中心点α，βの座標（Ｘα，Ｙα）、（Ｘβ，Ｙβ）と口の中心点γの座標（Ｘγ，Ｙγ）を、顔画像Ｇ３の両目と口のそれぞれの中心点α’，β’，γ’の座標に前記（１）式によりアフィン変換することで行う。そして、前記（１）式によりそれぞれの係数ｃ０〜ｃ５を求め、この係数ｃ０〜ｃ５を用いて（１）式により顔画像Ｇ１（顔画像Ｇ２）の各点の座標をアフィン変換して、顔画像Ｇ３の対応する位置に合わせ込む。図３（ｂ）は顔画像Ｇ１および顔画像Ｇ２を顔画像Ｇ３に大まかに整合させた状態を示すものであり、点線が背景となる顔画像Ｇ３、実線が顔画像Ｇ１および顔画像Ｇ２を示している。
【００５６】
これにより、形状補間処理部１では形状補間を行う際、大まかに整合された形状データ（座標データ）および顔画像Ｇ３の形状データ（座標データ）を用いて形状補間を行うため、同図（ｃ）に示すように顔画像Ｇ１、顔画像Ｇ２の両目と口が一致した状態で、形状補間処理を行うことができる。したがって、それぞれの補間比率を連続的に変化させた場合でも、目や口の位置が細かく移動してしまうことが無くなる。
【００５７】
このようにして、形状補間が行われ、続いて、色補間処理部２により色補間処理が行われる。この色補間処理は、顔画像Ｇ１、顔画像Ｇ２および顔画像Ｇ３のそれぞれの形状データと、形状補間処理部１の形状補間データ、さらには、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの画像データ（色データ）を入力して、所定の比率で色補間しながらマッピングを行ったのち、合成された顔画像の合成画像データとして出力する。
【００５８】
ところで、前記形状補間処理部１は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する点の座標値の形状補間比率を部品位置に応じて変えることを可能とする。これにより、顔画像Ｇ１に似た合成画像または顔画像Ｇ２に似た合成画像を得ることができる。たとえば、鼻の位置に存在する点の座標値の形状補間比率を顔画像Ｇ１の補間比率を顔画像Ｇ２よりも高くすれば、顔画像Ｇ１（父親）似となる合成画像とすることができる。
【００５９】
また、前記色補間処理部２は、顔画像Ｇ３の輝度値に応じて色補間比率を変化させることを可能とする。
【００６０】
これは背景となる顔画像Ｇ３において、輝度の低い陰や髪の部分、あるいは、ハイライト部分の色が中途半端に合成画像に影響し、合成された色が不自然なものとなる問題、あるいは、顔画像Ｇ３の髪の部分が薄れたものとなってしまう問題に対処するためである。すなわち、背景となる顔画像Ｇ３の持つ特徴的な色相（たとえば、髪の毛の色具合、ハイライト部分など）はそのまま残した上で、顔画像Ｇ１と顔画像Ｇ２を、顔画像Ｇ３をベースにして合成するのが望ましいからである。
【００６１】
これを実現するには、背景となる顔画像Ｇ３の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値（基準輝度値という）からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像Ｇ３の表現したい特徴的な色相とみなして、その顔画像Ｇ３の持つ輝度値を最大限生かせるように、顔画像Ｇ３の色補間率を顔画像Ｇ１と顔画像Ｇ２の色補間比率に比べて大きくするような処理（たとえば、顔画像Ｇ３の色補間比率を取り得る最大の色補間比率とする）を行う。これを図４に示す具体例を用いて説明する。図４において、太線で示す横軸には顔画像Ｇ３の輝度値Ｙｃをとり、太線で示す縦軸には顔画像Ｇ３の色補間比率をとっている。いま、ここでは、顔画像Ｇ３の基準輝度値に顔の肌色の中心輝度値Ｙctを選ぶとともに、この基準輝度値Ｙctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値ａを選び、顔画像Ｇ３の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙc≦（Ｙct＋ａ）の場合は、
【００６２】
【数２】
【００６３】
で表される曲線（図４の細線で示される曲線部分）によって顔画像Ｇ３の色補間比率Ｒcを求める。なお、この場合、顔画像Ｇ３の色補間比率Ｒcの値は、顔画像Ｇ３の取り得る色補間比率の最小の色補間比率Ｒminから最大の色補間比率Ｒmaxの間の値である。
【００６４】
また、顔画像Ｇ３の輝度値Ｙｃが、（Ｙct−ａ）＞Ｙcの場合、または、Ｙc＞（Ｙct＋ａ）の場合は、
【００６５】
【数３】
【００６６】
で表される直線（図４の細線で示される直線部分）によって顔画像Ｇ３の色補間比率を求める。なお、この場合、顔画像Ｇ３の色補間比率Ｒcの値は、顔画像Ｇ３の取り得る色補間比率の最大の色補間比率Ｒmaxとする。
【００６７】
つまり、顔画像Ｇ３の輝度値がきわめて低い場合、たとえば、髪の毛の部分や陰の部分、または、顔画像Ｇ３の輝度値がきわめて高い部分、たとえばハイライトの部分などは顔画像Ｇ３の持つ特徴部分をそのまま残した方が自然な画像となるため、顔画像Ｇ３の色補間比率を最大とする。これに対して、肌色の部分は顔画像Ｇ１及び顔画像Ｇ２の色を加味した色相としたいことから、肌色の輝度値に応じて、顔画像Ｇ３の色補間率を適応的に変化させる。ここでは、肌色の中で中心的な基準輝度値のときには、顔画像Ｇ３の色補間比率を最も小さくし、その±ａの輝度値の範囲では図４に示す曲線に従って色補間比率を決めるようにする。
【００６８】
ところで、このような色補間比率の決定処理は、髪の毛や陰の部分などのように、顔画像Ｇ３の残しておきたい特徴部分に対してのみ適応されれば良い結果が得られるが、たとえば、顔画像Ｇ３の目やまゆに対しても図４に示す処理がなされると、背景となる顔画像Ｇ３の目やまゆが高い比率で色補間された顔画像となり、顔画像Ｇ１と顔画像Ｇ２の特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像Ｇ３の目やまゆは図４で示した処理によらず、最適な補間比率で処理を行うようにする。
【００６９】
なお、ここでは、基準輝度値から±ａの輝度値の範囲では図４に示す曲線に従って色補間率を決めるようにしたが、これに限られるものではなく、その範囲の間は曲線による変化ではなく、段階的に輝度値を変化させるようにしてもよく、また、直線的な変化としてもよい。
【００７０】
また、色補間処理部２は、顔画像Ｇ１、顔画像Ｇ２の輝度値に応じて色補間比率を変化させることを可能とする。これは、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３を一定の比率で色補間すると、たとえば、顔画像Ｇ１または顔画像Ｇ２の額部分に髪がかかっているような場合、合成後の顔画像にその髪がうっすらと残ってしまうという問題に対処するためである。これを解決するために、顔画像Ｇ１と顔画像Ｇ２の輝度に応じて、顔画像Ｇ１の輝度値が極端に小さい（暗い）部分、あるいは、顔画像Ｇ２の輝度値が極端に小さい（暗い）部分は、合成後の顔画像Ｇ４にその極端に暗い部分（髪の毛の部分）を残すと不自然な合成画像となるので、その部分は顔画像Ｇ１または顔画像Ｇ２の色補間率を小さくし、背景となる顔画像Ｇ３の色補間比率を大きくする処理を行う。
【００７１】
これを実現するには、顔画像Ｇ１および顔画像Ｇ２の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値（基準輝度値という）からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像Ｇ１または顔画像Ｇ２の表現したくない特徴的な部分（この場合は髪の毛など）とみなして、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最大限小さくし、顔画像Ｇ３の色補間比率を最大限大きくするようにする。これを図５に示す具体例を用いて説明する。図５において、太線で示す横軸には顔画像Ｇ１および顔画像Ｇ２の輝度値Ｙｃをとり、太線で示す縦軸には顔画像Ｇ１または顔画像Ｇ２の色補間比率をとっている。ここでは、顔画像Ｇ１および顔画像Ｇ２の基準輝度値Ｙctに顔の肌色の中心輝度値を選ぶとともに、この基準輝度値Ｙctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値ａを選び、顔画像Ｇ１または顔画像Ｇ２の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙc≦（Ｙct＋ａ）の場合は、
【００７２】
【数４】
【００７３】
で表される曲線（図５の細線で示される曲線部分）によって顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcを求める。なお、この場合、顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcの値は、顔画像Ｇ１または顔画像Ｇ２の取り得る色補間比率の最小の色補間比率Ｒminから最大の色補間比率Ｒmaxの間の値である。
【００７４】
また、顔画像Ｇ１または顔画像Ｇ２の輝度値Ｙｃが、（Ｙct−ａ）＞Ｙcの場合、または、Ｙc＞（Ｙct＋ａ）の場合は、
【００７５】
【数５】
【００７６】
で表される直線（図５の細線で示される直線部分）によって顔画像Ｇ１または顔画像Ｇ２の色補間比率を求める。なお、この場合、顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcの値は、顔画像Ｇ１または顔画像Ｇ２の取り得る色補間比率の最小の色補間比率Ｒminとする。
【００７７】
つまり、顔画像Ｇ１または顔画像Ｇ２の輝度値が極端に低い場合、たとえば、髪の毛の部分などは合成画像に現したくないため、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最小とする。これに対して、肌色の部分は顔画像Ｇ１及び顔画像Ｇ２の色を加味した色相としたいことから、肌色の輝度値に応じて、顔画像Ｇ１または顔画像Ｇ２の色補間比率を適応的に変化させる。ここでは、肌色の中で中心的な輝度値のときには、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最も大きくし、その±ａの輝度値の範囲では図５に示す曲線に従って色補間比率を決めるようにする。
【００７８】
ところで、このような色補間比率の決定処理は、合成画像に現したくない顔画像Ｇ１，Ｇ２の髪の毛などの部分に対してのみ適応されれば良い結果が得られるが、顔画像Ｇ１，Ｇ２の目やまゆに対しても図５に示す処理がなされると、顔画像Ｇ１，Ｇ２の目やまゆが低い比率で色補間された画像となり、顔画像Ｇ１，Ｇ２の目やまゆの特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像Ｇ１，Ｇ２の目やまゆは図５で示した処理によらず、最適な補間比率で処理を行うようにする。
【００７９】
なお、ここでは、基準輝度値から±ａの輝度値の範囲では図５に示す曲線に従って色補間率を決めるようにしたが、これに限られるものではなく、その範囲の間は曲線による変化ではなく、段階的に輝度値を変化させるようにしてもよく、また、直線的な変化としてもよい。
【００８０】
また、この色補間処理部２は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する領域（パッチ）ごとに、そのパッチ内の画素の色補間比率を変えることで、それぞれの部品の色相を顔画像Ｇ１（父親）似または顔画像Ｇ２（母親）似とすることを可能とする。たとえば、鼻の色相を父親似としようとする場合、鼻を構成するそれぞれのパッチについては、各パッチ毎にたとえば、父親の顔画像Ｇ１の色補間比率を大きくするような処理を行う。これにより、顔の各部品毎にその色相を顔画像Ｇ１似または顔画像Ｇ２似とすることが可能となる。なお、実際には、前記した形状補間手段１による部品単位毎に形状補間比率を変える処理と連動させて行う。このように、顔を形作る部品ごとに、形状補間比率および色補間比率を適当に設定することにより、それらの部品毎の形状および色相を顔画像Ｇ１または顔画像Ｇ２に似せた、いわゆる父親似あるいは母親似といった合成顔画像を得ることができる。
【００８１】
また、この第１の実施の形態において、顔画像Ｇ１、Ｇ２のうちのいずれかと、背景となる顔画像Ｇ３の２枚の顔画像を用いて、両者を合成することにより、顔画像Ｇ１あるいはＧ２を年齢変化処理することが可能となる。たとえば、顔画像Ｇ１を比較的若い或る大人の男性の顔画像、顔画像Ｇ３を或る男性の老人の顔画像として、前記顔画像Ｇ１と、背景となる顔画像Ｇ３をベースにして合成すれば、顔画像Ｇ１を大まかに老齢化処理することも可能となる。これとは逆に、顔画像Ｇ３を男の子どもの顔画像とすれば、大まかな若返り処理も可能となる。
【００８２】
（第２の実施の形態）
この第２の実施の形態は、或る子どもの顔画像をベースにして、顔画像Ｇ１と顔画像Ｇ２を合成する場合、顔画像Ｇ１とＧ２の人種によって異なる特徴的な色を考慮した合成処理を行うものである。ここでは、人種によって異なる特徴的な色として、髪の色、眼球の色、肌の色を用いる。以下、この第２の実施の形態について説明する。
【００８３】
図６は第２の実施の形態を説明するための構成図であり、男性側の顔画像Ｇ１の画像データ（色データ）と形状データを基に、髪色の検出を行う髪色検出部１３、肌の色を検出する肌色検出部１４、眼球の色を検出する眼球色検出部１５が設けられ、女性側の顔画像Ｇ２の画像データと形状データを基に、髪色の検出を行う髪色検出部１６、肌の色を検出する肌色検出部１７、眼球の色を検出する眼球色検出部１８が設けられる。
【００８４】
前記髪色検出部１３、肌色検出部１４、眼球色検出部１５は顔画像Ｇ１の形状データおよび画像データより得られた髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求め、その求められた平均値をもとに髪色、肌色、眼球色の代表色を求め、それぞれの代表色を表す髪色検出データ、肌色検出データ、眼球色検出データを出力する。たとえば、眼球色検出部１５を例に取れば、形状データにより眼球領域を抽出し、その眼球領域に含まれる総ての画素毎の画像データ（色データ）を取り出し、その総ての画素の色データの平均値を求めて、求められた平均値をもとに眼球の代表色を決定し、それに対応した眼球色検出データを出力する。髪色検出部１３、肌色検出部１４も同様にしてそれぞれの代表色を求め、それに対応した肌色検出データ、髪色検出データを出力する。
【００８５】
ただし髪の領域は、前記形状モデル（図１３参照）に示されていないので、顔の額の辺より上の予め定めた位置における画像データを取り出すようにする。前記額の辺より上の予め定めた位置は、たとえば、形状モデルに示される顔の大きさを基にして設定する。
【００８６】
一方、前記髪色検出部１６、肌色検出部１７、眼球色検出部１８も前記同等に、顔画像Ｇ２の形状データおよび画像データより得られた髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求め、その求められた平均値をもとに髪色、肌色、眼球色の代表色を求め、それぞれの代表色を表す髪色検出データ、肌色検出データ、眼球色検出データを出力する。
【００８７】
なお、前記髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８によるそれぞれの領域の色検出は、髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求める以外に、たとえば、それぞれの部分における各画素の色データを基に、色の分散を求め、その分散値をもとにして代表色を求めるようにしてもよく、また、それぞれの部分における各画素の色データの頻度を計数して最多色を代表色とするようにしてもよい。
【００８８】
このようにして髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８からはそれぞれの色検出データが出力される。これらの各色検出データは遺伝情報テーブル１９に送られる。この遺伝情報テーブル１９の内容は、図７に示すように、顔画像Ｇ１の髪色、肌色、眼球色のそれぞれの色と顔画像Ｇ２の髪色、肌色、眼球色のそれぞれの色の組み合わせに対して、髪、肌、眼球がどのような色を持つ子どもが生まれる可能性があるかを示すもので、それぞれの色の組み合わせに対する子どもの顔画像のグループ名（グループｚ１，ｚ２，・・・，ｚｎ）およびそのグループの髪色、肌色、眼球色が格納されている。
【００８９】
たとえば、顔画像Ｇ１の髪色が黒色、肌色が黄色、眼球色が茶色であって、顔画像Ｇ２の髪色が黒色、肌色が白色、眼球色が青色である場合は、選択される子どもの顔画像（背景となる顔画像Ｇ３）はグループｚ１（髪色は黒色、肌色は白色、眼球色は青色のグループ）であり、顔画像Ｇ１の髪色が金色、肌色が白色、眼球色が青色であって、顔画像Ｇ２の髪色が金色、肌色が白色、眼球色が茶色である場合は、選択される子どもの顔画像（背景となる顔画像Ｇ３）はグループｚ２（髪色は金色、肌色は白色、眼球色は青色のグループ）であるというように、父親と母親の髪色、肌色、眼球色の種々の組み合わせに対して、生まれてくる可能性のある子どもの顔画像のグループｚ１，ｚ２，・・・，ｚｎが予め設定されている。
【００９０】
そして、髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８から出力される顔画像Ｇ１，Ｇ２のそれぞれの色検出データをもとに、子どもの顔画像のグループｚ１，ｚ２，・・・，ｚｎのうち、どれか１つが選択されると、その選択されたグループを示す情報が出力される。
【００９１】
たとえば、髪色検出部１３、肌色検出部１４、眼球色検出部１５から出力される顔画像Ｇ１の髪色の色検出データが金色を示す色検出データ、肌の色の色検出データが白色を示す色検出データ、眼球の色の色検出データが青色を示す色検出データであって、髪色検出部１６、肌色検出部１７、眼球色検出部１８から出力される顔画像Ｇ２の髪色の色検出データが金色を示す色検出データ、肌の色の色検出データが白色を示す色検出データ、眼球の色の色検出データが茶色を示す色検出データである場合、それらの色検出データによって、遺伝情報テーブル１９が参照されると、この場合、グループｚ２が選択され、これによって、グループｚ２が選択されたことを示す信号が出力される。
【００９２】
このグループｚ２は、髪色は金色、肌色は白色、眼球色は青色である子ども顔画像のグループである。したがって、父親である顔画像Ｇ１と母親である顔画像Ｇ２のそれぞれの髪の色、肌の色、眼球の色に対して遺伝的に適切な髪の色、肌の色、眼球の色を持った子供の顔画像のグループが選択されることになる。
【００９３】
そして、選択された子どもの顔画像のグループ（前記した例では、グループｚ２）の中から、１枚の顔画像Ｇ３が選択されるが、この選択手段はここでは特に限定されるものではなく種々の方法が考えられる。
【００９４】
たとえば、顔画像Ｇ３の男女、年齢などの選択は、顔画像Ｇ１，Ｇ２の入力前にユーザが予め設定するようにしてもよく、あるいは、グループが選択された以降にユーザが選択するようにしてもよい。また、選択されたグループに属する子どもの個別の顔画像の選択については、たとえば、ユーザによって、既に、男の子という指定がなされていたとすると、選択されたグループ内の男の子の中から、ユーザが或１つの顔画像を任意に選択できるようにしてもよく、あるいは、システム側が乱数などを用いて指定された範囲の中から或る１つの顔画像を選択するようにしてもよい。
【００９５】
以上説明したように、この第２の実施の形態によれば、髪の色、肌の色、眼球の色などが異なる人種同志の顔画像Ｇ１，Ｇ２を、背景となる顔画像Ｇ３を用いて合成する場合、背景となる顔画像Ｇ３を、遺伝的に見て適切な髪の色、肌の色、眼球の色を持つグループの中から選択することができる。これにより、たとえば、金色の髪を持つ顔画像Ｇ１とＧ２とから、黒い髪の顔画像が合成されるというような明らかに不自然な合成画像が作成されるのを防止できる。
【００９６】
（第３の実施の形態）
前記した第１、第２の実施の形態では、２枚の顔画像Ｇ１，Ｇ２と背景となる顔画像Ｇ３を用いて、背景となる顔画像Ｇ３をベースにして顔画像Ｇ１，Ｇ２の特徴を加味した合成画像を作成する例について説明したが、この第３の実施の形態は、或る１枚の顔画像、たとえば、顔画像Ｇ１または顔画像Ｇ２、さらには、これらを顔画像Ｇ３をベースに合成された顔画像について、目、鼻、眉、口などの部品の或る点の座標値を少し動かすことで顔の表情を変化させるものである。たとえば、目の下瞼の部分の点を上に少し動かすことによって、微笑んだ表情を作るというように顔の表情を変化させるものである。
【００９７】
このように、顔の点を動かすことによって表情を変化させることができる。つまり、顔のどの点をどの程度どの方向に移動させるかというデータ（これを表情データという）を予め設定しておくことで、表情を変化させることができる。
【００９８】
この第３の実施の形態は、顔画像の中の或る一点から横方向および縦方向に向かう２つのベクトルを基準として正規化された表情データを用いて表情を変化させるようにする。この場合、処理対象となる顔画像は、前記第１、第２の実施の形態により得られた合成後の顔画像、あるいは、顔画像Ｇ１、顔画像Ｇ２など、どのような顔画像にも適用可能であるが、ここでは、図１の構成（第１の実施の形態）により得られた合成後の顔画像（これを顔画像Ｇ４という）の合成画像データ、つまり、顔画像Ｇ４の画像データおよび形状データを用いて、合成された顔画像Ｇ４の表情を変化させる例について示す。
【００９９】
図８は第３の実施の形態を説明するための構成図であり、図１の構成により得られた合成後の顔画像Ｇ４の形状データをもとに、表情を変化させる処理を行う表情変化処理部２０と前記表情データを記憶する表情データ記憶部２１などを新たに設けた構成となっている。なお、図８におけるその他の部分は図１と同じであるので、同一部分には同一番号が付されている。
【０１００】
次に表情変化処理部２０の具体的な処理について説明する。図９に示すように、顔画像の両目α，βの中心部（眉間部）から横方向に向かって顔の輪郭までの長さによって決められるベクトルＡ、両目α，βの中心部（眉間部）から下方向に向かって顔の輪郭までの長さによって決められるベクトルＢ、これらベクトルＡ，Ｂに直交して、かつ、ベクトルＡ，Ｂの相乗平均の大きさを持つベクトルをそれぞれ求める。そして、表情を変化させるための予め設定された定数をｖ１，ｖ２，ｖ３（ｖ１はＡ方向の移動量を決める定数、ｖ２はＢ方向の移動量を決める定数、ｖ３はＡ，Ｂに直交する方向の移動量を決定する定数）とすれば、ある点の移動方向と移動量を示す移動ベクトルＶは次式のように表すことができる。
【０１０１】
【数６】
【０１０２】
なお、（６）式において、Ａ×ＢはベクトルＡとベクトルＢの外積を表し、Ａ×Ｂ／｜Ａ×Ｂ｜は単位ベクトルである。このように、３つのベクトルを考えて、移動ベクトルＶを前記（６）式により求める。ここで、定数ｖ１，ｖ２，ｖ３は前記したように、表情を変化させるために予め定められた移動量を表している。たとえば、微笑んだ表情を得るには、或る点をどの程度どの方向に移動させるかで決められるが、その移動量を示す定数がｖ１，ｖ２，ｖ３であり、ｖ１はＡ方向の移動量を決める定数、ｖ２はＢ方向の移動量を決める定数、ｖ３はＡ，Ｂに直交する方向の移動量を決める定数である。これらの定数は表情データとして顔画像に関係なくどの顔画像にも共通の予め決められた定数であり、それぞれの表情に対応して前記表情データ記憶部２１内記憶されている。一方、ベクトルＡ、ベクトルＢとこれらのベクトルに直交するベクトルは、それぞれの顔画像の大きさによって異なる。したがって、以上のような３個のベクトルを用いることにより、移動量は主に顔の横幅と縦の長さで正規化され、顔画像の大小などの個人差を吸収することができる。
【０１０３】
これにより、表情を変化させるに必要な或る点の移動量は、前記（６）式から移動ベクトルＶを求めることにより、その顔画像の大きさに応じた移動量が得られる。そして、この移動量に応じて点を移動させることにより所望とする表情を得ることができる。
【０１０４】
なお、以上の説明は、形状モデルを３次元と考えた場合についてであったが、たとえば正面を向いた顔画像などのように形状モデルが２次元的な場合においても同様に適用できる。この場合には、前記（６）式における移動ベクトルＶは、Ａ方向の移動量を決める定数をｖ１、Ｂ方向の移動量を決める定数をｖ２とすれば、Ｖ＝ｖ１・Ａ＋ｖ２・Ｂで表すことができる。
【０１０５】
（第４の実施の形態）
この第４の実施の形態は、或る１枚の顔画像、たとえば、顔画像Ｇ１または顔画像Ｇ２、さらには、これらを顔画像Ｇ３をベースに合成した顔画像Ｇ４を用いて、これらの或る顔画像に年齢変化処理を施すものである。以下、この第４の実施の形態について図１０を参照しながら説明する。
【０１０６】
この第４の実施の形態において、処理対象となる顔画像は、前記第１、第２のの実施の形態により得られた合成後の顔画像Ｇ４、あるいは、画像Ｇ１、画像Ｇ２など、どのような顔画像にも適用可能であるが、ここでは、前記図１の構成（第１の実施の形態）により得られた合成後の顔画像Ｇ４の合成画像データ（画像データおよび形状データ）を用いて、その合成された顔画像Ｇ４に年齢変化処理（ここでは加齢処理）を施す例について示す。図１０は第４の実施の形態を説明するための構成図であり、前記図１により得られた合成後の顔画像Ｇ４の合成画像データ（画像データおよび形状データ）と、予め用意された或る老人の顔画像の画像データおよび形状データをもとに、加齢合成処理を行う年齢変化処理部３１を新たに設けた構成となっている。なお、図１０におけるその他の部分は図１と同じであるので、同一部分には同一番号が付されている。
【０１０７】
前記年齢変化処理部３１は、図１の構成により得られた合成後の顔画像Ｇ４の肌に、或る老人の顔画像Ｇ５の肌を合成することで加齢処理する。これを行うには、老人の顔画像Ｇ５の形状データにより顔の肌領域を取り出し、その肌領域の部分の画像データを、合成後の顔画像Ｇ４の肌領域にテクスチャマッピングすることにより加齢処理を行う。図１１はこの加齢処理を説明するフローチャートである。以下、図１１を参照しながら簡単に説明する。
【０１０８】
まず、顔画像Ｇ４の肌領域に或る老人の顔画像Ｇ５の肌画像データをマッピングする（ステップｓ１）。そして、顔画像Ｇ４のまゆ領域に顔画像Ｇ４のまゆ画像データをマッピングし（ステップｓ２）、そのあと、顔画像Ｇ４の目領域に顔画像Ｇ４の目画像データをマッピングし（ステップｓ３）、続いて、顔画像Ｇ４の鼻領域に顔画像Ｇ４の鼻画像データをマッピングし（ステップｓ４）、その後、顔画像Ｇ４の口領域に顔画像Ｇ４の口画像データをマッピングする（ステップｓ５）。
【０１０９】
このように、実際の老人の顔画像の肌領域を用いて、その老人の肌領域と加齢処理を施そうとする顔画像の肌領域とを交換するようにして加齢処理を行うので、リアリティのある表情を持った加齢処理が可能となる。また、老齢化の度合いに応じて老人の顔画像を選ぶことにより、老齢化の度合いを自由に変化させることが可能となる。なお、老齢化処理だけでなく、処理対象の顔画像Ｇ１，Ｇ２より若い顔画像を使用すれば、若返りの処理も可能となる。
【０１１０】
なお、以上説明した各実施の形態において、それぞれの処理を行う処理プログラムはフロッピィディスクなどの記憶媒体に記憶させておくことも可能である。
【０１１１】
【発明の効果】
以上説明したように、本発明は、まず、顔画像の特徴的な部分、たとえば、両目、口などのそれぞれの中心点に注目し、これらの中心点を座標変換して背景画像の対応する部分に整合させることで、画像全体を背景画像に大まかに整合した後、形状補間と色補間を行うようにしている。したがって、形状補間比率を連続的に変化させるような処理を行う場合でも、目や口など顔の特徴的な部分が動いてしまうようなことが無くなる。
【０１１２】
また、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにすることで、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。
【０１１３】
また、ベースとなる顔画像Ｇ３の各部分の輝度値の大きさに応じて色補間比率を設定するような色補間処理を行うので、ベースとなる顔画像の髪の毛やハイライトな部分など輝度値が極端に大きい部分または小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【０１１４】
また、顔画像Ｇ１，Ｇ２の各部分の輝度値の大きさに応じて色補間比率を設定するような色補間処理を行うので、たとえば、輝度値の極端に低い顔画像Ｇ１，Ｇ２の髪の毛などが、合成後の顔画像に現れることが無くなり、高品質な合成画像が得られる。
【０１１５】
また、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにすることで、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明する構成図。
【図２】同実施の形態における大まかな形状整合を説明する図。
【図３】同実施の形態における形状補間処理を説明する図。
【図４】同実施の形態における背景顔画像の輝度値に応じた色補間比率を設定する例を説明する図。
【図５】同実施の形態における合成しようとする２つの顔画像の輝度値に応じた色補間比率を設定する例を説明する図。
【図６】本発明の第２の実施の形態を説明する構成図。
【図７】第２の実施の形態における遺伝情報テーブルの内容の一例を示す図。
【図８】本発明の第３の実施の形態を説明する構成図。
【図９】第３の実施の形態において正規化ベクトルの定義を説明する図。
【図１０】本発明の第４の実施の形態を説明する構成図。
【図１１】第４の実施の形態の処理を説明するフローチャート。
【図１２】従来の画像合成処理を説明する構成図。
【図１３】或る顔画像に対する形状モデルの一例を示す図。
【図１４】従来における形状補間比率を連続的に変化させる場合の形状補間処理を説明する図。
【符号の説明】
１・・・形状補間処理部
２・・・色補間処理部
１１・・・第１の形状整合処理部
１２・・・第２の形状整合処理部
１３，１６・・髪色検出部
１４，１７・・・肌色検出部
１５，１８・・・眼球色検出部
１９・・・遺伝情報テーブル
２０・・・表情変化処理部
２１・・・表情データ記憶部
３１・・・年齢変化処理部
Ｇ１，Ｇ２・・・合成される顔画像
Ｇ３・・・背景となる顔画像
Ｇ４・・・合成後の顔画像
α，β・・・目の中心点
γ・・・口の中心点
Ｙｃ・・・顔画像Ｇ１，Ｇ２，Ｇ３の輝度値
Ｒｃ・・・顔画像Ｇ１，Ｇ２，Ｇ３の色補間比率
ｑ・・・形状モデルにおける点
ｑ０，ｑ１，・・・点の番号
Ｌ・・・形状モデルにおける点と点との間を結ぶライン
Ｌ０，Ｌ１・・・点と点との間を結ぶラインの番号
ｐ・・・形状モデルにおけるパッチ
ｐ０，ｐ１・・・パッチの番号
【発明の属する技術分野】
本発明は、たとえば２枚の顔画像と背景となる１枚の顔画像を用いて、この背景となる１枚の顔画像をベースとして前記２枚の顔画像を合成する顔画像処理方法及び顔画像処理装置に関する。
【０００２】
【従来の技術】
この種の画像合成の例として、たとえば、或る男性の顔画像と或る女性の顔画像を用いて、適当な子どもの顔画像をベースにして、男性の顔画像の特徴と女性の顔画像の特徴を加味して合成し、子どもの顔画像を作成するというようなことが従来より行われている。
【０００３】
このような画像合成を行う場合は、２枚の顔画像Ｇ１，Ｇ２と背景となる１枚の顔画像Ｇ３があって、これらの顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルを用意し、顔画像Ｇ１，Ｇ２，Ｇ３とそれぞれに対応する形状モデルをもとに、背景となる顔画像Ｇ３をベースにして顔画像Ｇ１，Ｇ２の特徴を加味した画像を合成するのが一般的である。
【０００４】
図１２は従来の画像合成装置の処理を説明するブロック図であり、以下、図１２を参照して説明する。
【０００５】
図１２において、１は形状補間処理部、２は色補間処理部である。形状補間処理部１には、顔画像Ｇ１、顔画像Ｇ２、背景となる顔画像Ｇ３のそれぞれの形状データ（後に説明する）が入力され、色補間処理部２には、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの画像データ（色データ）が入力されるとともに、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの形状データ、さらに前記形状補間処理部１からの形状補間データが入力されるよになっている。そして、この色補間処理部２から合成画像データが出力される。
【０００６】
ところで、前記形状データというのは、図１３に示すような形状モデルにおける顔画像内のそれぞれの点ｑの番号（ｑ０，ｑ１，・・・）、２つの点間を結ぶラインＬの番号（Ｌ０，Ｌ１，・・・）、近傍の３つの点を結んで形成されるパッチｐの番号（ｐ０，ｐ１，・・・）を基に得られた前記それぞれの点ｑの座標データ、前記それぞれのラインＬに関するデータ（たとえば、ラインＬ０は点ｑ０とｑ１で形成されるというようなデータ）、前記それぞれのパッチｐに関するデータ（たとえば、パッチｐ０は点ｑ０，ｑ１，ｑ２で形成されるというようなデータ）である。
【０００７】
そして、前記形状補間処理部１では、顔画像Ｇ１、顔画像Ｇ２のそれぞれの形状データを用いて形状補間する処理を行う。つまり、顔画像Ｇ１と顔画像Ｇ２の対応する点の座標を所定の比率で補間する（たとえば、両者の座標値をたして２で割る）というような処理を行って形状補間を行う。そして、このように形状補間されたのち、色補間処理部２では、形状補間された後のそれぞれのパッチにおいて、それぞれのパッチ内の所定の位置に対応する顔画像Ｇ１と顔画像Ｇ２のそれぞれの画素の色データを所定の比率で補間して、それを前記形状補間された所定のパッチの所定位置に書き込むというような処理を行って、合成画像データを作成する。
【０００８】
さらに、たとえば、顔画像Ｇ１を父親の顔画像、顔画像Ｇ２を母親の顔画像として、背景となる顔画像Ｇ３（或るこどもの顔画像）に顔画像Ｇ１と顔画像Ｇ２を合成した顔画像を作成する場合は、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３の補間比率が合計で１となるように形状補間補間処理および色補間処理して画像合成を行う。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来のこの種の顔画像合成装置は、合成しようとする顔画像Ｇ１と顔画像Ｇ２の２つの形状モデルの座標値をそのまま補間して、合成画像の形状モデルを求めている。このため、たとえば、図１４に示すように、補間比率を連続的に変化させて顔画像の合成を行う場合、目や口などの顔の特徴的な構成部品の位置が細かく移動してしまうという問題があった。なお、図１４において、同図（ａ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.7：0.3とした場合、同図（ｂ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.5：0.5とした場合、同図（ｃ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.3：0.7とした場合を示している。
【００１０】
また、従来の顔画像合成装置においては、目、口、鼻などの部品単位に形状補間比率および色補間比率を変化させる手段はなく、一定の形状補間比率および色補間比率で補間処理を行っていた。そのため、たとえば、目は顔画像Ｇ１（男性の顔画像）、鼻は顔画像Ｇ２（女性の顔画像）に似せるというように、部品単位にどちらかの顔画像に似せるというような処理は行えないのが普通であった。また、色補間を一定の比率で補間処理することから、顔画像Ｇ１，Ｇ２や背景となる顔画像Ｇ３において、輝度の極端に低い陰や髪の部分、あるいは、ハイライト部分の色が中途半端に合成画像に影響し、合成された色が不自然なものとなる問題もあった。
【００１１】
さらに、従来の顔合成処理は、顔画像の髪の色、目の色、肌の色など人種を示す特徴的な色については何等考慮されない合成処理であった。したがって、日本人同志の合成の場合は、特に問題はないが、髪の色、目の色、肌の色の異なる人同志の顔画像を合成する場合、従来の合成処理方法では不自然な合成顔画像が作成される場合もある。たとえば、金髪で肌の色が白色、眼球が青色の大人の男女の顔画像Ｇ１，Ｇ２を、或る子どもの顔画像をベースにして合成する場合、ベースとなる子どもの顔画像が日本人では、合成後の子どもの顔画像が不自然なものとなってしまうのは明らかである。
【００１２】
しかしながら、従来では、顔画像Ｇ１，Ｇ２の髪の色、目の色、肌の色など人種を示す特徴的な色に対応して、背景となる顔画像Ｇ３を選択するという処理を行っていないのが一般的である。
【００１３】
また、或る１枚の顔画像を用いて、目、鼻、眉、口などの部品の或る点の座標値を少し動かすことで顔の表情を変化させることも従来より行われている。たとえば、目の下瞼の部分の点を上に少し動かすことによって、微笑んだ表情を作るというように顔の表情を変化させる場合は、顔のどの点をどの程度どの方向に移動させるかというデータ（これを表情データという）を予め設定しておくことで、表情を変化させることができる。たとえば、微笑んだ表情を作る場合には、目の下瞼の或る点を１０画素だけ上方に移動させるというような表情データを予め作成しておき、この表情データに基づいて表情を変化させるのが一般的であった。
【００１４】
しかし、このような定数による表情データでは、顔画像の大きさに関係なく、同じ量だけ点の移動が行われるので、小さい顔画像の場合には、移動量が大きすぎて不自然な表情となってしまう問題があった。
【００１５】
これに対処する従来技術として、移動ベクトルの正規化をする方法があるが、従来の移動ベクトルの正規化方法は、四角の曲面パッチ（ベッツイ・パッチ）を対象としたものであり、演算も微分演算を必要とするなどその計算量はきわめて多いという問題があった。
【００１６】
また、或る１枚の顔画像を用いて、その顔画像に年齢変化を加える処理、たとえば、或る顔画像が年をとったときどのような顔画像となるかの処理（これをここでは加齢処理という）を施すことが従来より行われている。この技術の１つとして、たとえば、肌のたるみ処理を施す技術がある。これは、皮膚を弾性を持った布地物体として、下方向の重力の作用を加えることで皮膚の垂みを表そうとするものである。
【００１７】
しかし、この方法は、多少の加齢効果は期待できるものの、リアリティのある加齢処理を行うことはできなかった。
【００１８】
そこで、本発明は、形状補間比率を連続的に変えて複数の顔画像を合成する場合、顔の特徴的な部分の位置が動くのを防止するとともに、合成後の顔画像を顔の部品単位で補間比率を変化させることにより、部品単位でいずれかの顔画像に似せたりすることを可能とし、また、顔画像の輝度に応じて補間比率を変化させることにより、自然な合成画像を得ることを可能とし、また、顔画像の髪の色、目の色、肌の色など人種を示す特徴的な色を考慮した合成処理をも可能とし、さらに、簡単な計算量で顔の表情を変化させることができ、さらに、適切な年齢変化処理を施すことができる顔画像処理方法および顔画像処理装置を実現することを目的とする。
【００１９】
【課題を解決するための手段】
本発明の画像処理方法は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画像処理方法であって、第１の形状整合処理手段が、前記顔画像Ｇ１の特徴的部分に注目し、前記顔画像Ｇ１の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ１を前記顔画像Ｇ３に大まかに整合するステップと、第２の形状整合処理手段が、前記顔画像Ｇ２の特徴的部分に注目し、前記顔画像Ｇ２の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ２を前記顔画像Ｇ３に大まかに整合するステップと、形状補間処理手段が、前記第１の形状整合処理手段により整合された前記顔画像Ｇ１の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像Ｇ２の整合後の形状モデルのそれぞれと、前記顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間するステップと、色補間処理手段が、前記形状補間処理手段により形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間するステップとを有することを特徴としている。これにより、形状補間比率を連続的に変化させて２つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
【００２０】
また、前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができる。
【００２１】
また、前記色補間処理手段は、背景となる前記顔画像Ｇ３の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、背景となる顔画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
【００２２】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ３の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ３の色補間比率を大きくするようにしている。これにより、背景となる顔画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【００２３】
また、前記色補間処理手段は、前記顔画像Ｇ１，Ｇ２の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、顔画像Ｇ１，Ｇ２において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００２４】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ１，Ｇ２の色補間比率を小さくするようにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など輝度値が極端に大きい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００２５】
また、前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。これを前述の形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を得ることができる。
【００２６】
また、本発明の顔画像処理方法は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理方法であって、色補間手段が、前記顔画像Ｇ１，Ｇ２の特徴的な領域に注目し、前記顔画像Ｇ１，Ｇ２のそれぞれの特徴的な領域の色を検出するステップと、背景顔画像選択処理手段が、前記色検出手段が検出した前記特徴的な領域の色データを基にして、前記ベースとなる前記顔画像Ｇ３を選択するステップとを有することを特徴としている。これによれば、合成しようとする顔画像Ｇ１，Ｇ２にふさわしい顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００２７】
前記背景顔画像選択処理手段は、前記色検出手段が検出した前記顔画像Ｇ１，Ｇ２の前記特徴的な領域の画像データを基に遺伝的な情報に基づいて、前記顔画像Ｇ３を選択する。これによれば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００２８】
また、前記顔画像Ｇ１，Ｇ１の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して顔画像Ｇ３が選択されるので、自然な合成画像を作成することができる。
【００２９】
また、本発明の顔画像処理方法は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理方法であって、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、表情変化処理手段が、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの２つのベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら各ベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出するステップとを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【００３０】
また、本発明の顔画像処理方法は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法であって、年齢変化処理部が、予め用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５に整合させた形状モデルから、この顔画像Ｇ５の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
【００３１】
また、本発明の画像処理装置は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画像処理装置であって、前記顔画像Ｇ１の特徴的部分に注目し、前記顔画像Ｇ１の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ１を前記顔画像Ｇ３に大まかに整合する第１の形状整合処理手段と、前記顔画像Ｇ２の特徴的部分に注目し、前記顔画像Ｇ２の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ２を前記顔画像Ｇ３に大まかに整合させる第２の形状整合処理手段と、前記第１の形状整合処理手段により整合された前記顔画像Ｇ１の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像（Ｇ２）の整合後の形状モデルのそれぞれと、前記顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段と、前記形状補間処理手段にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段とを有したことを特徴としている。これにより、形状補間比率を連続的に変化させて２つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
【００３２】
また、前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができる。
【００３３】
また、前記色補間処理手段は、前記顔画像Ｇ３の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定する。これにより、背景となる顔画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
【００３４】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ３の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ３の色補間比率大きくするようにする。これにより、背景となる顔画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【００３５】
また、前記色補間処理手段は、前記顔画像Ｇ１，Ｇ２の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定する。これにより、顔画像Ｇ１，Ｇ２において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００３６】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ１，Ｇ２の色補間比率を小さくするようにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など輝度値が極端に小さい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００３７】
また、前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。これを前述の形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を得ることができる。
【００３８】
本発明の顔画像処理装置は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理装置であって、前記顔画像Ｇ１，Ｇ２の特徴的な領域の色を検出するそれぞれの色検出手段と、それぞれの前記色検出手段により検出されたそれぞれの前記特徴的な領域の色データを基にして、前記ベースとなる前記顔画像Ｇ３を選択する背景顔画像選択処理手段とを有することを特徴としている。これによれば、合成しようとする顔画像Ｇ１，Ｇ２にふさわしい背景となる顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００３９】
前記背景顔画像選択処理手段は、遺伝的な情報を予め格納した遺伝情報テーブルを設け、前記顔画像Ｇ１，Ｇ２の前記特徴的な領域の画像データを基に、前記遺伝情報テーブルを参照して、前記顔画像Ｇ１，Ｇ２の画像データに対応する前記背景顔画像Ｇ３を選択する。これによれば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した背景となる顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００４０】
前記顔画像Ｇ１，Ｇ２の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して背景となる顔画像Ｇ３が選択されるので、自然な合成画像を作成することができる。
【００４１】
また、本発明の顔画像処理装置は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理装置であって、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの各ベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら２つのベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出する表情変化処理手段とを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【００４２】
また、本発明の顔画像処理装置は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置であって、予め用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５に整合させた形状モデルから、この顔画像Ｇ５の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理部を有したことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００４４】
（第１の実施の形態）
図１は本発明の処理を説明するブロック図であり、図１２と同一部分には同一符号が付されている。本発明では、図１２で示す構成に対して、顔画像Ｇ１および顔画像Ｇ２のそれぞれの形状データを用いて、顔画像Ｇ３に大まかに整合させる処理を行うそれぞれの形状整合処理部１１，１２（その処理については後に説明する）が新たに設けられ、それぞれの形状整合処理部１１，１２（第１の形状整合処理部１１、第２の形状整合処理部１２）からのそれぞれの整合後の形状データが出力され、形状補間処理部１に与えられるようになっている。
【００４５】
すなわち、図１においては、形状補間処理部１には、前記したように、第１の形状整合処理部１１および第２の形状整合処理部１２からのそれぞれの整合後形状データと、顔画像Ｇ３の形状データが入力され、色補間処理部２には、顔画像Ｇ１の画像データと形状データ、顔画像Ｇ２の画像データと形状データ、顔画像Ｇ３の画像データと形状データ、さらに、前記形状補間処理部１からの形状補間データが入力される構成となっている。
【００４６】
このような構成において、以下にその処理について説明する。
【００４７】
前記第１、第２の形状整合処理部１１，１２は、顔画像Ｇ１、顔画像Ｇ２のそれぞれの形状データを用いて、顔画像Ｇ１、顔画像Ｇ２の形状モデルを、背景となる顔画像Ｇ３に大まかに整合させるための処理を行う。たとえば、顔画像Ｇ１を顔画像Ｇ３に大まかに整合させる例についてを図２を参照して説明する。
【００４８】
まず、顔画像Ｇ１の特徴的な部品として、両目と口を選び、両目部分のそれぞれの中心点をα，β、口の部分の中心点をγとすると、点α，β，γのそれぞれの座標を、顔画像Ｇ３の両目と口の中心点α’，β’，γ’の座標へ座標変換を、下記に示す式を用いてアフィン変換により行う。
【００４９】
【数１】
この（１）式に示す式を連立させてアフィン係数ｃ０〜ｃ５を求める。なお、アフィン係数ｃ０からｃ３は回転、拡大、縮小を表し、ｃ４，ｃ５は平行移動を表している。また、（１）式において、Ｘα，Ｙαは点αの座標、Ｘβ，Ｙβは点βの座標、Ｘγ，Ｙγは点γの座標、Ｘα’，Ｙα’は点α’の座標、Ｘβ’，Ｙβ’は点β’の座標、Ｘγ’，Ｙγ’は点γ’の座標である。なお、実際には各点の座標は、Ｘ，Ｙ，Ｚの３次元空間の座標である。
【００５１】
この（１）式により求められたアフィン係数ｃ０〜ｃ５を用いることにより、両目のそれぞれの中心点α，βと口の中心点γ以外の全ての点も顔画像Ｇ３に座標変換することができる。つまり、顔画像Ｇ１内のそれぞれの点の座標値を前記（１）式に代入することにより、変換後の各点の座標値を求めることができる。
【００５２】
このように、まず、顔画像Ｇ１の両目と口のそれぞれの座標位置を、顔画像Ｇ３の両目と口の座標位置にアフィン変換することにより、顔画像Ｇ１の両目と口の部分を大まかに整合させ、なおかつ、顔画像Ｇ１の他の点（顔画像全体）も顔画像Ｇ３に大まかに整合させることができる。このような大まかな整合処理は、第１の形状整合処理部１１により行われ、この第１の形状整合処理部１１にて得られた大まかな整合後の形状データは、形状補間処理部１と色補間処理部２に送られる。
【００５３】
これと同様に、顔画像Ｇ２も顔画像Ｇ３に大まかに整合させる処理を行い、第２の形状整合処理部１２で得られた大まかな整合後の形状データは形状補間処理部１と色補間処理部２に送られる。
【００５４】
形状補間処理部２では、顔画像Ｇ１の整合後の形状データと顔画像Ｇ２の整合後の形状データおよび顔画像Ｇ３の形状データを用い、それぞれの補間比率が合計で１になるような比率で形状補間処理を行う。
【００５５】
ここまでの動作を図３（ａ），（ｂ），（ｃ）に示す。図３（ａ）は顔画像Ｇ１および顔画像Ｇ２を示すもので、これらの顔画像Ｇ１，Ｇ２を、同図（ｂ）の点線で示す背景となる顔画像Ｇ３に大まかに整合させる。この大まかな整合処理は、前記したように、顔画像Ｇ１（顔画像Ｇ２）の両目の中心点α，βの座標（Ｘα，Ｙα）、（Ｘβ，Ｙβ）と口の中心点γの座標（Ｘγ，Ｙγ）を、顔画像Ｇ３の両目と口のそれぞれの中心点α’，β’，γ’の座標に前記（１）式によりアフィン変換することで行う。そして、前記（１）式によりそれぞれの係数ｃ０〜ｃ５を求め、この係数ｃ０〜ｃ５を用いて（１）式により顔画像Ｇ１（顔画像Ｇ２）の各点の座標をアフィン変換して、顔画像Ｇ３の対応する位置に合わせ込む。図３（ｂ）は顔画像Ｇ１および顔画像Ｇ２を顔画像Ｇ３に大まかに整合させた状態を示すものであり、点線が背景となる顔画像Ｇ３、実線が顔画像Ｇ１および顔画像Ｇ２を示している。
【００５６】
これにより、形状補間処理部１では形状補間を行う際、大まかに整合された形状データ（座標データ）および顔画像Ｇ３の形状データ（座標データ）を用いて形状補間を行うため、同図（ｃ）に示すように顔画像Ｇ１、顔画像Ｇ２の両目と口が一致した状態で、形状補間処理を行うことができる。したがって、それぞれの補間比率を連続的に変化させた場合でも、目や口の位置が細かく移動してしまうことが無くなる。
【００５７】
このようにして、形状補間が行われ、続いて、色補間処理部２により色補間処理が行われる。この色補間処理は、顔画像Ｇ１、顔画像Ｇ２および顔画像Ｇ３のそれぞれの形状データと、形状補間処理部１の形状補間データ、さらには、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの画像データ（色データ）を入力して、所定の比率で色補間しながらマッピングを行ったのち、合成された顔画像の合成画像データとして出力する。
【００５８】
ところで、前記形状補間処理部１は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する点の座標値の形状補間比率を部品位置に応じて変えることを可能とする。これにより、顔画像Ｇ１に似た合成画像または顔画像Ｇ２に似た合成画像を得ることができる。たとえば、鼻の位置に存在する点の座標値の形状補間比率を顔画像Ｇ１の補間比率を顔画像Ｇ２よりも高くすれば、顔画像Ｇ１（父親）似となる合成画像とすることができる。
【００５９】
また、前記色補間処理部２は、顔画像Ｇ３の輝度値に応じて色補間比率を変化させることを可能とする。
【００６０】
これは背景となる顔画像Ｇ３において、輝度の低い陰や髪の部分、あるいは、ハイライト部分の色が中途半端に合成画像に影響し、合成された色が不自然なものとなる問題、あるいは、顔画像Ｇ３の髪の部分が薄れたものとなってしまう問題に対処するためである。すなわち、背景となる顔画像Ｇ３の持つ特徴的な色相（たとえば、髪の毛の色具合、ハイライト部分など）はそのまま残した上で、顔画像Ｇ１と顔画像Ｇ２を、顔画像Ｇ３をベースにして合成するのが望ましいからである。
【００６１】
これを実現するには、背景となる顔画像Ｇ３の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値（基準輝度値という）からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像Ｇ３の表現したい特徴的な色相とみなして、その顔画像Ｇ３の持つ輝度値を最大限生かせるように、顔画像Ｇ３の色補間率を顔画像Ｇ１と顔画像Ｇ２の色補間比率に比べて大きくするような処理（たとえば、顔画像Ｇ３の色補間比率を取り得る最大の色補間比率とする）を行う。これを図４に示す具体例を用いて説明する。図４において、太線で示す横軸には顔画像Ｇ３の輝度値Ｙｃをとり、太線で示す縦軸には顔画像Ｇ３の色補間比率をとっている。いま、ここでは、顔画像Ｇ３の基準輝度値に顔の肌色の中心輝度値Ｙctを選ぶとともに、この基準輝度値Ｙctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値ａを選び、顔画像Ｇ３の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙc≦（Ｙct＋ａ）の場合は、
【００６２】
【数２】
で表される曲線（図４の細線で示される曲線部分）によって顔画像Ｇ３の色補間比率Ｒcを求める。なお、この場合、顔画像Ｇ３の色補間比率Ｒcの値は、顔画像Ｇ３の取り得る色補間比率の最小の色補間比率Ｒminから最大の色補間比率Ｒmaxの間の値である。
【００６４】
また、顔画像Ｇ３の輝度値Ｙｃが、（Ｙct−ａ）＞Ｙcの場合、または、Ｙc＞（Ｙct＋ａ）の場合は、
【００６５】
【数３】
で表される直線（図４の細線で示される直線部分）によって顔画像Ｇ３の色補間比率を求める。なお、この場合、顔画像Ｇ３の色補間比率Ｒcの値は、顔画像Ｇ３の取り得る色補間比率の最大の色補間比率Ｒmaxとする。
【００６７】
つまり、顔画像Ｇ３の輝度値がきわめて低い場合、たとえば、髪の毛の部分や陰の部分、または、顔画像Ｇ３の輝度値がきわめて高い部分、たとえばハイライトの部分などは顔画像Ｇ３の持つ特徴部分をそのまま残した方が自然な画像となるため、顔画像Ｇ３の色補間比率を最大とする。これに対して、肌色の部分は顔画像Ｇ１及び顔画像Ｇ２の色を加味した色相としたいことから、肌色の輝度値に応じて、顔画像Ｇ３の色補間率を適応的に変化させる。ここでは、肌色の中で中心的な基準輝度値のときには、顔画像Ｇ３の色補間比率を最も小さくし、その±ａの輝度値の範囲では図４に示す曲線に従って色補間比率を決めるようにする。
【００６８】
ところで、このような色補間比率の決定処理は、髪の毛や陰の部分などのように、顔画像Ｇ３の残しておきたい特徴部分に対してのみ適応されれば良い結果が得られるが、たとえば、顔画像Ｇ３の目やまゆに対しても図４に示す処理がなされると、背景となる顔画像Ｇ３の目やまゆが高い比率で色補間された顔画像となり、顔画像Ｇ１と顔画像Ｇ２の特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像Ｇ３の目やまゆは図４で示した処理によらず、最適な補間比率で処理を行うようにする。
【００６９】
なお、ここでは、基準輝度値から±ａの輝度値の範囲では図４に示す曲線に従って色補間率を決めるようにしたが、これに限られるものではなく、その範囲の間は曲線による変化ではなく、段階的に輝度値を変化させるようにしてもよく、また、直線的な変化としてもよい。
【００７０】
また、色補間処理部２は、顔画像Ｇ１、顔画像Ｇ２の輝度値に応じて色補間比率を変化させることを可能とする。これは、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３を一定の比率で色補間すると、たとえば、顔画像Ｇ１または顔画像Ｇ２の額部分に髪がかかっているような場合、合成後の顔画像にその髪がうっすらと残ってしまうという問題に対処するためである。これを解決するために、顔画像Ｇ１と顔画像Ｇ２の輝度に応じて、顔画像Ｇ１の輝度値が極端に小さい（暗い）部分、あるいは、顔画像Ｇ２の輝度値が極端に小さい（暗い）部分は、合成後の顔画像Ｇ４にその極端に暗い部分（髪の毛の部分）を残すと不自然な合成画像となるので、その部分は顔画像Ｇ１または顔画像Ｇ２の色補間率を小さくし、背景となる顔画像Ｇ３の色補間比率を大きくする処理を行う。
【００７１】
これを実現するには、顔画像Ｇ１および顔画像Ｇ２の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値（基準輝度値という）からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像Ｇ１または顔画像Ｇ２の表現したくない特徴的な部分（この場合は髪の毛など）とみなして、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最大限小さくし、顔画像Ｇ３の色補間比率を最大限大きくするようにする。これを図５に示す具体例を用いて説明する。図５において、太線で示す横軸には顔画像Ｇ１および顔画像Ｇ２の輝度値Ｙｃをとり、太線で示す縦軸には顔画像Ｇ１または顔画像Ｇ２の色補間比率をとっている。ここでは、顔画像Ｇ１および顔画像Ｇ２の基準輝度値Ｙctに顔の肌色の中心輝度値を選ぶとともに、この基準輝度値Ｙctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値ａを選び、顔画像Ｇ１または顔画像Ｇ２の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙc≦（Ｙct＋ａ）の場合は、
【００７２】
【数４】
で表される曲線（図５の細線で示される曲線部分）によって顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcを求める。なお、この場合、顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcの値は、顔画像Ｇ１または顔画像Ｇ２の取り得る色補間比率の最小の色補間比率Ｒminから最大の色補間比率Ｒmaxの間の値である。
【００７４】
また、顔画像Ｇ１または顔画像Ｇ２の輝度値Ｙｃが、（Ｙct−ａ）＞Ｙcの場合、または、Ｙc＞（Ｙct＋ａ）の場合は、
【００７５】
【数５】
で表される直線（図５の細線で示される直線部分）によって顔画像Ｇ１または顔画像Ｇ２の色補間比率を求める。なお、この場合、顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcの値は、顔画像Ｇ１または顔画像Ｇ２の取り得る色補間比率の最小の色補間比率Ｒminとする。
【００７７】
つまり、顔画像Ｇ１または顔画像Ｇ２の輝度値が極端に低い場合、たとえば、髪の毛の部分などは合成画像に現したくないため、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最小とする。これに対して、肌色の部分は顔画像Ｇ１及び顔画像Ｇ２の色を加味した色相としたいことから、肌色の輝度値に応じて、顔画像Ｇ１または顔画像Ｇ２の色補間比率を適応的に変化させる。ここでは、肌色の中で中心的な輝度値のときには、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最も大きくし、その±ａの輝度値の範囲では図５に示す曲線に従って色補間比率を決めるようにする。
【００７８】
ところで、このような色補間比率の決定処理は、合成画像に現したくない顔画像Ｇ１，Ｇ２の髪の毛などの部分に対してのみ適応されれば良い結果が得られるが、顔画像Ｇ１，Ｇ２の目やまゆに対しても図５に示す処理がなされると、顔画像Ｇ１，Ｇ２の目やまゆが低い比率で色補間された画像となり、顔画像Ｇ１，Ｇ２の目やまゆの特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像Ｇ１，Ｇ２の目やまゆは図５で示した処理によらず、最適な補間比率で処理を行うようにする。
【００７９】
なお、ここでは、基準輝度値から±ａの輝度値の範囲では図５に示す曲線に従って色補間率を決めるようにしたが、これに限られるものではなく、その範囲の間は曲線による変化ではなく、段階的に輝度値を変化させるようにしてもよく、また、直線的な変化としてもよい。
【００８０】
また、この色補間処理部２は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する領域（パッチ）ごとに、そのパッチ内の画素の色補間比率を変えることで、それぞれの部品の色相を顔画像Ｇ１（父親）似または顔画像Ｇ２（母親）似とすることを可能とする。たとえば、鼻の色相を父親似としようとする場合、鼻を構成するそれぞれのパッチについては、各パッチ毎にたとえば、父親の顔画像Ｇ１の色補間比率を大きくするような処理を行う。これにより、顔の各部品毎にその色相を顔画像Ｇ１似または顔画像Ｇ２似とすることが可能となる。なお、実際には、前記した形状補間手段１による部品単位毎に形状補間比率を変える処理と連動させて行う。このように、顔を形作る部品ごとに、形状補間比率および色補間比率を適当に設定することにより、それらの部品毎の形状および色相を顔画像Ｇ１または顔画像Ｇ２に似せた、いわゆる父親似あるいは母親似といった合成顔画像を得ることができる。
【００８１】
また、この第１の実施の形態において、顔画像Ｇ１、Ｇ２のうちのいずれかと、背景となる顔画像Ｇ３の２枚の顔画像を用いて、両者を合成することにより、顔画像Ｇ１あるいはＧ２を年齢変化処理することが可能となる。たとえば、顔画像Ｇ１を比較的若い或る大人の男性の顔画像、顔画像Ｇ３を或る男性の老人の顔画像として、前記顔画像Ｇ１と、背景となる顔画像Ｇ３をベースにして合成すれば、顔画像Ｇ１を大まかに老齢化処理することも可能となる。これとは逆に、顔画像Ｇ３を男の子どもの顔画像とすれば、大まかな若返り処理も可能となる。
【００８２】
（第２の実施の形態）
この第２の実施の形態は、或る子どもの顔画像をベースにして、顔画像Ｇ１と顔画像Ｇ２を合成する場合、顔画像Ｇ１とＧ２の人種によって異なる特徴的な色を考慮した合成処理を行うものである。ここでは、人種によって異なる特徴的な色として、髪の色、眼球の色、肌の色を用いる。以下、この第２の実施の形態について説明する。
【００８３】
図６は第２の実施の形態を説明するための構成図であり、男性側の顔画像Ｇ１の画像データ（色データ）と形状データを基に、髪色の検出を行う髪色検出部１３、肌の色を検出する肌色検出部１４、眼球の色を検出する眼球色検出部１５が設けられ、女性側の顔画像Ｇ２の画像データと形状データを基に、髪色の検出を行う髪色検出部１６、肌の色を検出する肌色検出部１７、眼球の色を検出する眼球色検出部１８が設けられる。
【００８４】
前記髪色検出部１３、肌色検出部１４、眼球色検出部１５は顔画像Ｇ１の形状データおよび画像データより得られた髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求め、その求められた平均値をもとに髪色、肌色、眼球色の代表色を求め、それぞれの代表色を表す髪色検出データ、肌色検出データ、眼球色検出データを出力する。たとえば、眼球色検出部１５を例に取れば、形状データにより眼球領域を抽出し、その眼球領域に含まれる総ての画素毎の画像データ（色データ）を取り出し、その総ての画素の色データの平均値を求めて、求められた平均値をもとに眼球の代表色を決定し、それに対応した眼球色検出データを出力する。髪色検出部１３、肌色検出部１４も同様にしてそれぞれの代表色を求め、それに対応した肌色検出データ、髪色検出データを出力する。
【００８５】
ただし髪の領域は、前記形状モデル（図１３参照）に示されていないので、顔の額の辺より上の予め定めた位置における画像データを取り出すようにする。前記額の辺より上の予め定めた位置は、たとえば、形状モデルに示される顔の大きさを基にして設定する。
【００８６】
一方、前記髪色検出部１６、肌色検出部１７、眼球色検出部１８も前記同等に、顔画像Ｇ２の形状データおよび画像データより得られた髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求め、その求められた平均値をもとに髪色、肌色、眼球色の代表色を求め、それぞれの代表色を表す髪色検出データ、肌色検出データ、眼球色検出データを出力する。
【００８７】
なお、前記髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８によるそれぞれの領域の色検出は、髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求める以外に、たとえば、それぞれの部分における各画素の色データを基に、色の分散を求め、その分散値をもとにして代表色を求めるようにしてもよく、また、それぞれの部分における各画素の色データの頻度を計数して最多色を代表色とするようにしてもよい。
【００８８】
このようにして髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８からはそれぞれの色検出データが出力される。これらの各色検出データは遺伝情報テーブル１９に送られる。この遺伝情報テーブル１９の内容は、図７に示すように、顔画像Ｇ１の髪色、肌色、眼球色のそれぞれの色と顔画像Ｇ２の髪色、肌色、眼球色のそれぞれの色の組み合わせに対して、髪、肌、眼球がどのような色を持つ子どもが生まれる可能性があるかを示すもので、それぞれの色の組み合わせに対する子どもの顔画像のグループ名（グループｚ１，ｚ２，・・・，ｚｎ）およびそのグループの髪色、肌色、眼球色が格納されている。
【００８９】
たとえば、顔画像Ｇ１の髪色が黒色、肌色が黄色、眼球色が茶色であって、顔画像Ｇ２の髪色が黒色、肌色が白色、眼球色が青色である場合は、選択される子どもの顔画像（背景となる顔画像Ｇ３）はグループｚ１（髪色は黒色、肌色は白色、眼球色は青色のグループ）であり、顔画像Ｇ１の髪色が金色、肌色が白色、眼球色が青色であって、顔画像Ｇ２の髪色が金色、肌色が白色、眼球色が茶色である場合は、選択される子どもの顔画像（背景となる顔画像Ｇ３）はグループｚ２（髪色は金色、肌色は白色、眼球色は青色のグループ）であるというように、父親と母親の髪色、肌色、眼球色の種々の組み合わせに対して、生まれてくる可能性のある子どもの顔画像のグループｚ１，ｚ２，・・・，ｚｎが予め設定されている。
【００９０】
そして、髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８から出力される顔画像Ｇ１，Ｇ２のそれぞれの色検出データをもとに、子どもの顔画像のグループｚ１，ｚ２，・・・，ｚｎのうち、どれか１つが選択されると、その選択されたグループを示す情報が出力される。
【００９１】
たとえば、髪色検出部１３、肌色検出部１４、眼球色検出部１５から出力される顔画像Ｇ１の髪色の色検出データが金色を示す色検出データ、肌の色の色検出データが白色を示す色検出データ、眼球の色の色検出データが青色を示す色検出データであって、髪色検出部１６、肌色検出部１７、眼球色検出部１８から出力される顔画像Ｇ２の髪色の色検出データが金色を示す色検出データ、肌の色の色検出データが白色を示す色検出データ、眼球の色の色検出データが茶色を示す色検出データである場合、それらの色検出データによって、遺伝情報テーブル１９が参照されると、この場合、グループｚ２が選択され、これによって、グループｚ２が選択されたことを示す信号が出力される。
【００９２】
このグループｚ２は、髪色は金色、肌色は白色、眼球色は青色である子ども顔画像のグループである。したがって、父親である顔画像Ｇ１と母親である顔画像Ｇ２のそれぞれの髪の色、肌の色、眼球の色に対して遺伝的に適切な髪の色、肌の色、眼球の色を持った子供の顔画像のグループが選択されることになる。
【００９３】
そして、選択された子どもの顔画像のグループ（前記した例では、グループｚ２）の中から、１枚の顔画像Ｇ３が選択されるが、この選択手段はここでは特に限定されるものではなく種々の方法が考えられる。
【００９４】
たとえば、顔画像Ｇ３の男女、年齢などの選択は、顔画像Ｇ１，Ｇ２の入力前にユーザが予め設定するようにしてもよく、あるいは、グループが選択された以降にユーザが選択するようにしてもよい。また、選択されたグループに属する子どもの個別の顔画像の選択については、たとえば、ユーザによって、既に、男の子という指定がなされていたとすると、選択されたグループ内の男の子の中から、ユーザが或１つの顔画像を任意に選択できるようにしてもよく、あるいは、システム側が乱数などを用いて指定された範囲の中から或る１つの顔画像を選択するようにしてもよい。
【００９５】
以上説明したように、この第２の実施の形態によれば、髪の色、肌の色、眼球の色などが異なる人種同志の顔画像Ｇ１，Ｇ２を、背景となる顔画像Ｇ３を用いて合成する場合、背景となる顔画像Ｇ３を、遺伝的に見て適切な髪の色、肌の色、眼球の色を持つグループの中から選択することができる。これにより、たとえば、金色の髪を持つ顔画像Ｇ１とＧ２とから、黒い髪の顔画像が合成されるというような明らかに不自然な合成画像が作成されるのを防止できる。
【００９６】
（第３の実施の形態）
前記した第１、第２の実施の形態では、２枚の顔画像Ｇ１，Ｇ２と背景となる顔画像Ｇ３を用いて、背景となる顔画像Ｇ３をベースにして顔画像Ｇ１，Ｇ２の特徴を加味した合成画像を作成する例について説明したが、この第３の実施の形態は、或る１枚の顔画像、たとえば、顔画像Ｇ１または顔画像Ｇ２、さらには、これらを顔画像Ｇ３をベースに合成された顔画像について、目、鼻、眉、口などの部品の或る点の座標値を少し動かすことで顔の表情を変化させるものである。たとえば、目の下瞼の部分の点を上に少し動かすことによって、微笑んだ表情を作るというように顔の表情を変化させるものである。
【００９７】
このように、顔の点を動かすことによって表情を変化させることができる。つまり、顔のどの点をどの程度どの方向に移動させるかというデータ（これを表情データという）を予め設定しておくことで、表情を変化させることができる。
【００９８】
この第３の実施の形態は、顔画像の中の或る一点から横方向および縦方向に向かう２つのベクトルを基準として正規化された表情データを用いて表情を変化させるようにする。この場合、処理対象となる顔画像は、前記第１、第２の実施の形態により得られた合成後の顔画像、あるいは、顔画像Ｇ１、顔画像Ｇ２など、どのような顔画像にも適用可能であるが、ここでは、図１の構成（第１の実施の形態）により得られた合成後の顔画像（これを顔画像Ｇ４という）の合成画像データ、つまり、顔画像Ｇ４の画像データおよび形状データを用いて、合成された顔画像Ｇ４の表情を変化させる例について示す。
【００９９】
図８は第３の実施の形態を説明するための構成図であり、図１の構成により得られた合成後の顔画像Ｇ４の形状データをもとに、表情を変化させる処理を行う表情変化処理部２０と前記表情データを記憶する表情データ記憶部２１などを新たに設けた構成となっている。なお、図８におけるその他の部分は図１と同じであるので、同一部分には同一番号が付されている。
【０１００】
次に表情変化処理部２０の具体的な処理について説明する。図９に示すように、顔画像の両目α，βの中心部（眉間部）から横方向に向かって顔の輪郭までの長さによって決められるベクトルＡ、両目α，βの中心部（眉間部）から下方向に向かって顔の輪郭までの長さによって決められるベクトルＢ、これらベクトルＡ，Ｂに直交して、かつ、ベクトルＡ，Ｂの相乗平均の大きさを持つベクトルをそれぞれ求める。そして、表情を変化させるための予め設定された定数をｖ１，ｖ２，ｖ３（ｖ１はＡ方向の移動量を決める定数、ｖ２はＢ方向の移動量を決める定数、ｖ３はＡ，Ｂに直交する方向の移動量を決定する定数）とすれば、ある点の移動方向と移動量を示す移動ベクトルＶは次式のように表すことができる。
【０１０１】
【数６】
なお、（６）式において、Ａ×ＢはベクトルＡとベクトルＢの外積を表し、Ａ×Ｂ／｜Ａ×Ｂ｜は単位ベクトルである。このように、３つのベクトルを考えて、移動ベクトルＶを前記（６）式により求める。ここで、定数ｖ１，ｖ２，ｖ３は前記したように、表情を変化させるために予め定められた移動量を表している。たとえば、微笑んだ表情を得るには、或る点をどの程度どの方向に移動させるかで決められるが、その移動量を示す定数がｖ１，ｖ２，ｖ３であり、ｖ１はＡ方向の移動量を決める定数、ｖ２はＢ方向の移動量を決める定数、ｖ３はＡ，Ｂに直交する方向の移動量を決める定数である。これらの定数は表情データとして顔画像に関係なくどの顔画像にも共通の予め決められた定数であり、それぞれの表情に対応して前記表情データ記憶部２１内記憶されている。一方、ベクトルＡ、ベクトルＢとこれらのベクトルに直交するベクトルは、それぞれの顔画像の大きさによって異なる。したがって、以上のような３個のベクトルを用いることにより、移動量は主に顔の横幅と縦の長さで正規化され、顔画像の大小などの個人差を吸収することができる。
【０１０３】
これにより、表情を変化させるに必要な或る点の移動量は、前記（６）式から移動ベクトルＶを求めることにより、その顔画像の大きさに応じた移動量が得られる。そして、この移動量に応じて点を移動させることにより所望とする表情を得ることができる。
【０１０４】
なお、以上の説明は、形状モデルを３次元と考えた場合についてであったが、たとえば正面を向いた顔画像などのように形状モデルが２次元的な場合においても同様に適用できる。この場合には、前記（６）式における移動ベクトルＶは、Ａ方向の移動量を決める定数をｖ１、Ｂ方向の移動量を決める定数をｖ２とすれば、Ｖ＝ｖ１・Ａ＋ｖ２・Ｂで表すことができる。
【０１０５】
（第４の実施の形態）
この第４の実施の形態は、或る１枚の顔画像、たとえば、顔画像Ｇ１または顔画像Ｇ２、さらには、これらを顔画像Ｇ３をベースに合成した顔画像Ｇ４を用いて、これらの或る顔画像に年齢変化処理を施すものである。以下、この第４の実施の形態について図１０を参照しながら説明する。
【０１０６】
この第４の実施の形態において、処理対象となる顔画像は、前記第１、第２のの実施の形態により得られた合成後の顔画像Ｇ４、あるいは、画像Ｇ１、画像Ｇ２など、どのような顔画像にも適用可能であるが、ここでは、前記図１の構成（第１の実施の形態）により得られた合成後の顔画像Ｇ４の合成画像データ（画像データおよび形状データ）を用いて、その合成された顔画像Ｇ４に年齢変化処理（ここでは加齢処理）を施す例について示す。図１０は第４の実施の形態を説明するための構成図であり、前記図１により得られた合成後の顔画像Ｇ４の合成画像データ（画像データおよび形状データ）と、予め用意された或る老人の顔画像の画像データおよび形状データをもとに、加齢合成処理を行う年齢変化処理部３１を新たに設けた構成となっている。なお、図１０におけるその他の部分は図１と同じであるので、同一部分には同一番号が付されている。
【０１０７】
前記年齢変化処理部３１は、図１の構成により得られた合成後の顔画像Ｇ４の肌に、或る老人の顔画像Ｇ５の肌を合成することで加齢処理する。これを行うには、老人の顔画像Ｇ５の形状データにより顔の肌領域を取り出し、その肌領域の部分の画像データを、合成後の顔画像Ｇ４の肌領域にテクスチャマッピングすることにより加齢処理を行う。図１１はこの加齢処理を説明するフローチャートである。以下、図１１を参照しながら簡単に説明する。
【０１０８】
まず、顔画像Ｇ４の肌領域に或る老人の顔画像Ｇ５の肌画像データをマッピングする（ステップｓ１）。そして、顔画像Ｇ４のまゆ領域に顔画像Ｇ４のまゆ画像データをマッピングし（ステップｓ２）、そのあと、顔画像Ｇ４の目領域に顔画像Ｇ４の目画像データをマッピングし（ステップｓ３）、続いて、顔画像Ｇ４の鼻領域に顔画像Ｇ４の鼻画像データをマッピングし（ステップｓ４）、その後、顔画像Ｇ４の口領域に顔画像Ｇ４の口画像データをマッピングする（ステップｓ５）。
【０１０９】
このように、実際の老人の顔画像の肌領域を用いて、その老人の肌領域と加齢処理を施そうとする顔画像の肌領域とを交換するようにして加齢処理を行うので、リアリティのある表情を持った加齢処理が可能となる。また、老齢化の度合いに応じて老人の顔画像を選ぶことにより、老齢化の度合いを自由に変化させることが可能となる。なお、老齢化処理だけでなく、処理対象の顔画像Ｇ１，Ｇ２より若い顔画像を使用すれば、若返りの処理も可能となる。
【０１１０】
なお、以上説明した各実施の形態において、それぞれの処理を行う処理プログラムはフロッピィディスクなどの記憶媒体に記憶させておくことも可能である。
【０１１１】
【発明の効果】
以上説明したように、本発明は、まず、顔画像の特徴的な部分、たとえば、両目、口などのそれぞれの中心点に注目し、これらの中心点を座標変換して背景画像の対応する部分に整合させることで、画像全体を背景画像に大まかに整合した後、形状補間と色補間を行うようにしている。したがって、形状補間比率を連続的に変化させるような処理を行う場合でも、目や口など顔の特徴的な部分が動いてしまうようなことが無くなる。
【０１１２】
また、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにすることで、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。
【０１１３】
また、ベースとなる顔画像Ｇ３の各部分の輝度値の大きさに応じて色補間比率を設定するような色補間処理を行うので、ベースとなる顔画像の髪の毛やハイライトな部分など輝度値が極端に大きい部分または小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【０１１４】
また、顔画像Ｇ１，Ｇ２の各部分の輝度値の大きさに応じて色補間比率を設定するような色補間処理を行うので、たとえば、輝度値の極端に低い顔画像Ｇ１，Ｇ２の髪の毛などが、合成後の顔画像に現れることが無くなり、高品質な合成画像が得られる。
【０１１５】
また、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにすることで、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明する構成図。
【図２】同実施の形態における大まかな形状整合を説明する図。
【図３】同実施の形態における形状補間処理を説明する図。
【図４】同実施の形態における背景顔画像の輝度値に応じた色補間比率を設定する例を説明する図。
【図５】同実施の形態における合成しようとする２つの顔画像の輝度値に応じた色補間比率を設定する例を説明する図。
【図６】本発明の第２の実施の形態を説明する構成図。
【図７】第２の実施の形態における遺伝情報テーブルの内容の一例を示す図。
【図８】本発明の第３の実施の形態を説明する構成図。
【図９】第３の実施の形態において正規化ベクトルの定義を説明する図。
【図１０】本発明の第４の実施の形態を説明する構成図。
【図１１】第４の実施の形態の処理を説明するフローチャート。
【図１２】従来の画像合成処理を説明する構成図。
【図１３】或る顔画像に対する形状モデルの一例を示す図。
【図１４】従来における形状補間比率を連続的に変化させる場合の形状補間処理を説明する図。
【符号の説明】
１・・・形状補間処理部
２・・・色補間処理部
１１・・・第１の形状整合処理部
１２・・・第２の形状整合処理部
１３，１６・・髪色検出部
１４，１７・・・肌色検出部
１５，１８・・・眼球色検出部
１９・・・遺伝情報テーブル
２０・・・表情変化処理部
２１・・・表情データ記憶部
３１・・・年齢変化処理部
Ｇ１，Ｇ２・・・合成される顔画像
Ｇ３・・・背景となる顔画像
Ｇ４・・・合成後の顔画像
α，β・・・目の中心点
γ・・・口の中心点
Ｙｃ・・・顔画像Ｇ１，Ｇ２，Ｇ３の輝度値
Ｒｃ・・・顔画像Ｇ１，Ｇ２，Ｇ３の色補間比率
ｑ・・・形状モデルにおける点
ｑ０，ｑ１，・・・点の番号
Ｌ・・・形状モデルにおける点と点との間を結ぶライン
Ｌ０，Ｌ１・・・点と点との間を結ぶラインの番号
ｐ・・・形状モデルにおけるパッチ
ｐ０，ｐ１・・・パッチの番号
Claims (14)
- ２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像を合成する顔画像処理方法であって、 第１の形状整合処理手段が、前記顔画像（Ｇ１）の特徴的部分に注目し、前記顔画像（Ｇ１）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、前記顔画像（Ｇ１）を前記顔画像（Ｇ３）に大まかに整合するステップと、
第２の形状整合処理手段が、前記顔画像（Ｇ２）の特徴的部分に注目し、前記顔画像（Ｇ２）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、前記顔画像（Ｇ２）を前記顔画像（Ｇ３）に大まかに整合するステップと、
形状補間処理手段が、前記第１の形状整合処理手段により整合された前記顔画像（Ｇ１）の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像（Ｇ２）の整合後の形状モデルのそれぞれと、前記顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間するステップと、
色補間処理手段が、前記形状補間処理手段により形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間するステップとを有することを特徴とする顔画像処理方法。 - 前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うことを特徴とする請求項１記載の顔画像処理方法。
- 前記色補間処理手段は、前記顔画像（Ｇ３）の各部分の輝度値の大きさに応じて色補間比率を設定することを特徴とする請求項１記載の顔画像処理方法。
- 前記輝度値に応じた色補間比率の設定は、前記顔画像（Ｇ３）の肌色の中心輝度を有する部分に対しては前記顔画像（Ｇ３）の色補間比率を前記顔画像（Ｇ１，Ｇ２）の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像（Ｇ３）の色補間比率を前記顔画像（Ｇ１，Ｇ２）の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像（Ｇ３）の色補間比率を大きくすることを特徴とする請求項３記載の顔画像処理方法。
- 前記色補間処理手段は、前記顔画像（Ｇ１，Ｇ２）の各部分の輝度値の大きさに応じて色補間比率を設定することを特徴とする請求項１記載の顔画像処理方法。
- 前記輝度値に応じた色補間比率の設定は、前記顔画像（Ｇ１，Ｇ２）の肌色の中心輝度を有する部分に対しては前記顔画像（Ｇ１，Ｇ２）の色補間比率を前記顔画像（Ｇ３）の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像（Ｇ１，Ｇ２）の色補間比率を前記顔画像（Ｇ３）の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像（Ｇ１，Ｇ２）の色補間比率を小さくすることを特徴とする請求項５記載の顔画像処理方法。
- 前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うことを特徴とする請求項１記載の顔画像処理方法。
- ２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像を合成する顔画像処理装置であって、
前記顔画像（Ｇ１）の特徴的部分に注目し、前記顔画像（Ｇ１）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、前記顔画像（Ｇ１）を前記顔画像（Ｇ３）に大まかに整合する第１の形状整合処理手段と、
前記顔画像（Ｇ２）の特徴的部分に注目し、前記顔画像（Ｇ２）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、前記顔画像（Ｇ２）を前記顔画像（Ｇ３）に大まかに整合させる第２の形状整合処理手段と、
前記第１の形状整合処理手段により整合された前記顔画像（Ｇ１）の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像（Ｇ２）の整合後の形状モデルのそれぞれと、前記顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段と、
前記形状補間処理手段にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段と、
を有したことを特徴とする顔画像処理装置。 - 前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うことを特徴とする請求項８記載の顔画像処理装置。
- 前記色補間処理手段は、前記顔画像（Ｇ３）の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定することを特徴とする請求項８記載の顔画像処理装置。
- 前記輝度値に応じた色補間比率の設定は、前記顔画像（Ｇ３）の肌色の中心輝度を有する部分に対しては前記顔画像（Ｇ３）の色補間比率を前記顔画像（Ｇ１，Ｇ２）の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像（Ｇ３）の色補間比率を前記顔画像（Ｇ１，Ｇ２）の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像（Ｇ３）の色補間比率を大きくすることを特徴とする請求項１０記載の顔画像処理装置。
- 前記色補間処理手段は、前記顔画像（Ｇ１，Ｇ２）の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定することを特徴とする請求項８記載の顔画像処理装置。
- 前記輝度値に応じた色補間比率の設定は、前記顔画像（Ｇ１，Ｇ２）の肌色の中心輝度を有する部分に対しては前記顔画像（Ｇ１，Ｇ２）の色補間比率を前記顔画像（Ｇ３）の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像（Ｇ１，Ｇ２）の色補間比率を前記顔画像（Ｇ３）の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像（Ｇ１，Ｇ２）の色補間比率を小さくすることを特徴とする請求項１２記載の顔画像処理装置。
- 前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うことを特徴とする請求項８記載の顔画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28169395A JP3799633B2 (ja) | 1995-06-16 | 1995-10-30 | 顔画像処理方法および顔画像処理装置 |
| US08/665,149 US5850463A (en) | 1995-06-16 | 1996-06-13 | Facial image processing method and facial image processing apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7-150625 | 1995-06-16 | ||
| JP15062595 | 1995-06-16 | ||
| JP28169395A JP3799633B2 (ja) | 1995-06-16 | 1995-10-30 | 顔画像処理方法および顔画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006062263A Division JP3876922B2 (ja) | 1995-06-16 | 2006-03-08 | 顔画像処理方法および顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0962865A JPH0962865A (ja) | 1997-03-07 |
| JP3799633B2 true JP3799633B2 (ja) | 2006-07-19 |
Family
ID=26480166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28169395A Expired - Fee Related JP3799633B2 (ja) | 1995-06-16 | 1995-10-30 | 顔画像処理方法および顔画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5850463A (ja) |
| JP (1) | JP3799633B2 (ja) |
Families Citing this family (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7859551B2 (en) | 1993-10-15 | 2010-12-28 | Bulman Richard L | Object customization and presentation system |
| US6020892A (en) * | 1995-04-17 | 2000-02-01 | Dillon; Kelly | Process for producing and controlling animated facial representations |
| GB9620061D0 (en) * | 1996-09-26 | 1996-11-13 | Secr Defence | Liquid crystalline (e,e)-butadiene compounds and mixtures and devices containing such compounds |
| JP3912834B2 (ja) * | 1997-03-06 | 2007-05-09 | 有限会社開発顧問室 | 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜 |
| JP3222091B2 (ja) * | 1997-05-27 | 2001-10-22 | シャープ株式会社 | 画像処理装置及び画像処理装置制御プログラムを記憶した媒体 |
| JP2000048184A (ja) * | 1998-05-29 | 2000-02-18 | Canon Inc | 画像処理方法及び顔領域抽出方法とその装置 |
| US6204860B1 (en) * | 1998-07-02 | 2001-03-20 | Silicon Graphics, Inc. | Method and apparatus for geometric model deformation using wires |
| JP2000165648A (ja) * | 1998-11-27 | 2000-06-16 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びに記録媒体 |
| JP2000293687A (ja) * | 1999-02-02 | 2000-10-20 | Minolta Co Ltd | ３次元形状データ処理装置および３次元形状データ処理方法 |
| JP4396873B2 (ja) * | 1999-10-01 | 2010-01-13 | 株式会社資生堂 | 口紅又はアイシャドーの選択方法 |
| US7106898B2 (en) * | 1999-12-06 | 2006-09-12 | California Institute Of Technology | 3D scanning using shadows |
| US7561994B1 (en) * | 2000-06-29 | 2009-07-14 | Corsi Adam B | Method for a virtual pregnancy experience |
| KR20000064110A (ko) * | 2000-08-22 | 2000-11-06 | 이성환 | 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법 |
| KR20020031630A (ko) * | 2000-10-20 | 2002-05-03 | 구자홍 | 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법 |
| US6690822B1 (en) * | 2000-10-20 | 2004-02-10 | Eastman Kodak Company | Method for detecting skin color in a digital image |
| US6711286B1 (en) * | 2000-10-20 | 2004-03-23 | Eastman Kodak Company | Method for blond-hair-pixel removal in image skin-color detection |
| US6990452B1 (en) | 2000-11-03 | 2006-01-24 | At&T Corp. | Method for sending multi-media messages using emoticons |
| US20080040227A1 (en) | 2000-11-03 | 2008-02-14 | At&T Corp. | System and method of marketing using a multi-media communication system |
| US6963839B1 (en) | 2000-11-03 | 2005-11-08 | At&T Corp. | System and method of controlling sound in a multi-media communication application |
| US6976082B1 (en) | 2000-11-03 | 2005-12-13 | At&T Corp. | System and method for receiving multi-media messages |
| US7091976B1 (en) | 2000-11-03 | 2006-08-15 | At&T Corp. | System and method of customizing animated entities for use in a multi-media communication application |
| US7203648B1 (en) | 2000-11-03 | 2007-04-10 | At&T Corp. | Method for sending multi-media messages with customized audio |
| US7035803B1 (en) | 2000-11-03 | 2006-04-25 | At&T Corp. | Method for sending multi-media messages using customizable background images |
| US7827488B2 (en) * | 2000-11-27 | 2010-11-02 | Sitrick David H | Image tracking and substitution system and methodology for audio-visual presentations |
| JP2002232908A (ja) * | 2000-11-28 | 2002-08-16 | Monolith Co Ltd | 画像補間方法および装置 |
| US6734858B2 (en) * | 2000-12-27 | 2004-05-11 | Avon Products, Inc. | Method and apparatus for use of computer aging to demonstrate a product benefit |
| US6834119B2 (en) * | 2001-04-03 | 2004-12-21 | Stmicroelectronics, Inc. | Methods and apparatus for matching multiple images |
| US6870954B1 (en) * | 2001-04-04 | 2005-03-22 | Adobe Systems Incorporated | Methods apparatus for generating shaped gradient fills |
| US7671861B1 (en) * | 2001-11-02 | 2010-03-02 | At&T Intellectual Property Ii, L.P. | Apparatus and method of customizing animated entities for use in a multi-media communication application |
| US7356453B2 (en) * | 2001-11-14 | 2008-04-08 | Columbia Insurance Company | Computerized pattern texturing |
| US6922201B2 (en) * | 2001-12-05 | 2005-07-26 | Eastman Kodak Company | Chronological age altering lenticular image |
| JP3911527B2 (ja) * | 2002-01-17 | 2007-05-09 | 富士通株式会社 | 携帯端末、携帯端末処理用プログラム及び携帯端末システム |
| US6828972B2 (en) * | 2002-04-24 | 2004-12-07 | Microsoft Corp. | System and method for expression mapping |
| JP2004005265A (ja) * | 2002-05-31 | 2004-01-08 | Omron Corp | 画像合成方法、画像合成装置、画像合成システム |
| US7734070B1 (en) * | 2002-12-31 | 2010-06-08 | Rajeev Sharma | Method and system for immersing face images into a video sequence |
| JP4397212B2 (ja) * | 2003-02-05 | 2010-01-13 | 富士フイルム株式会社 | 本人認証装置 |
| US7711155B1 (en) * | 2003-04-14 | 2010-05-04 | Videomining Corporation | Method and system for enhancing three dimensional face modeling using demographic classification |
| US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
| US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| JP4345440B2 (ja) * | 2003-11-04 | 2009-10-14 | オムロン株式会社 | 輪郭判断装置及び輪郭判断方法 |
| GB0400894D0 (en) * | 2004-01-15 | 2004-02-18 | British Telecomm | Adaptive closed group caricaturing |
| US20050163379A1 (en) * | 2004-01-28 | 2005-07-28 | Logitech Europe S.A. | Use of multimedia data for emoticons in instant messaging |
| JP2006004158A (ja) | 2004-06-17 | 2006-01-05 | Olympus Corp | 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体 |
| WO2006043643A1 (ja) * | 2004-10-22 | 2006-04-27 | Shiseido Co., Ltd. | 唇の分類方法、化粧方法、分類マップ及び化粧用器具 |
| EP1818869A1 (en) * | 2004-11-25 | 2007-08-15 | NEC Corporation | Face image synthesis method and face image synthesis device |
| US7366635B1 (en) | 2004-12-06 | 2008-04-29 | Adobe Systems Incorporated | Methods and apparatus for generating shaped gradients |
| GB2424332A (en) * | 2004-12-13 | 2006-09-20 | Mark Charles Spittle | An image processing system |
| US7950925B2 (en) * | 2004-12-30 | 2011-05-31 | Kimberly-Clark Worldwide, Inc. | Interacting with consumers to inform, educate, consult, and assist with the purchase and use of personal care products |
| US8606950B2 (en) * | 2005-06-08 | 2013-12-10 | Logitech Europe S.A. | System and method for transparently processing multimedia data |
| JP4750520B2 (ja) * | 2005-09-21 | 2011-08-17 | 富士フイルム株式会社 | 人物画像補正装置および方法 |
| US20070133940A1 (en) * | 2005-12-10 | 2007-06-14 | Freeman Andrew P | System and method for generating and documenting personalized stories |
| US20070230794A1 (en) * | 2006-04-04 | 2007-10-04 | Logitech Europe S.A. | Real-time automatic facial feature replacement |
| WO2008107002A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face searching and detection in a digital image acquisition device |
| JP5127067B2 (ja) * | 2009-03-06 | 2013-01-23 | パナソニック株式会社 | 画像検索装置及び画像検索方法 |
| US20110194762A1 (en) * | 2010-02-04 | 2011-08-11 | Samsung Electronics Co., Ltd. | Method for detecting hair region |
| CN102147852B (zh) * | 2010-02-04 | 2016-01-27 | 三星电子株式会社 | 检测头发区域的方法 |
| JP5642583B2 (ja) * | 2011-02-07 | 2014-12-17 | 公立大学法人会津大学 | 画像生成装置および画像生成プログラム |
| CN102136158B (zh) * | 2011-03-23 | 2014-07-09 | 浙江大学 | 一种基于预计算速度场的可并行形状插值方法 |
| US9111144B2 (en) * | 2011-09-15 | 2015-08-18 | Identigene, L.L.C. | Eye color paternity test |
| JP6341085B2 (ja) * | 2014-12-26 | 2018-06-13 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
| EP3433818A1 (en) | 2016-03-21 | 2019-01-30 | The Procter and Gamble Company | Systems and methods for providing customized product recommendations |
| US10586379B2 (en) | 2017-03-08 | 2020-03-10 | Ebay Inc. | Integration of 3D models |
| US10614623B2 (en) * | 2017-03-21 | 2020-04-07 | Canfield Scientific, Incorporated | Methods and apparatuses for age appearance simulation |
| US10621771B2 (en) | 2017-03-21 | 2020-04-14 | The Procter & Gamble Company | Methods for age appearance simulation |
| KR102339915B1 (ko) | 2017-05-31 | 2021-12-17 | 더 프록터 앤드 갬블 캄파니 | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 |
| WO2018222808A1 (en) | 2017-05-31 | 2018-12-06 | The Procter & Gamble Company | Systems and methods for determining apparent skin age |
| US11727656B2 (en) | 2018-06-12 | 2023-08-15 | Ebay Inc. | Reconstruction of 3D model with immersive experience |
| US11074733B2 (en) | 2019-03-15 | 2021-07-27 | Neocortext, Inc. | Face-swapping apparatus and method |
| CN111914604A (zh) * | 2019-05-10 | 2020-11-10 | 丽宝大数据股份有限公司 | 将头发颜色套用至眉毛的扩充实境显示方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3023961B2 (ja) * | 1989-10-04 | 2000-03-21 | 三菱電機株式会社 | 符号化器及び復号化器 |
| ATE158129T1 (de) * | 1992-03-23 | 1997-09-15 | Canon Kk | Bildaufnahmevorrichtung mit mehreren linsen und korrektur von falschregistrierung |
| US5375195A (en) * | 1992-06-29 | 1994-12-20 | Johnston; Victor S. | Method and apparatus for generating composites of human faces |
| US5623587A (en) * | 1993-10-15 | 1997-04-22 | Kideo Productions, Inc. | Method and apparatus for producing an electronic image |
-
1995
- 1995-10-30 JP JP28169395A patent/JP3799633B2/ja not_active Expired - Fee Related
-
1996
- 1996-06-13 US US08/665,149 patent/US5850463A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0962865A (ja) | 1997-03-07 |
| US5850463A (en) | 1998-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3799633B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
| JP3639476B2 (ja) | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 | |
| EP0725364B1 (en) | Image processing apparatus | |
| US20070127844A1 (en) | Image processing apparatus, image processing method, program, and data configuration | |
| WO2012056744A1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
| CN105139438A (zh) | 视频人脸卡通动画生成方法 | |
| JP2010507854A (ja) | ビデオイメージシーケンスを仮想シミュレーションする方法及び装置 | |
| JP4682373B2 (ja) | 顔画像合成装置、顔画像合成方法および顔画像合成プログラム | |
| US10650564B1 (en) | Method of generating 3D facial model for an avatar and related device | |
| CN110197462A (zh) | 一种人脸图像实时美化与纹理合成方法 | |
| CN109949237A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| CN115689869A (zh) | 一种视频美妆迁移方法及系统 | |
| CN109615690A (zh) | 试衣人体模型的建模方法和装置、电子设备、存储介质 | |
| JP3951061B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| Ueda et al. | AR food changer using deep learning and cross-modal effects | |
| CN117157673A (zh) | 用于形成个性化的3d头部和面部模型的方法和系统 | |
| JP3915844B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
| KR20030048913A (ko) | 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치 | |
| Sheu et al. | Automatic generation of facial expression using triangular geometric deformation | |
| JP3876922B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
| CN109635674A (zh) | 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法 | |
| CN110335332B (zh) | 一种人脸卡通画自动绘制方法 | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| KR100902995B1 (ko) | 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060417 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140512 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |