JPH04199474A

JPH04199474A - 顔画像合成装置

Info

Publication number: JPH04199474A
Application number: JP2335099A
Authority: JP
Inventors: Masamichi Nakagawa; 雅通中川; Fumio Maehara; 文雄前原
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1990-11-29
Filing date: 1990-11-29
Publication date: 1992-07-20

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野本発明は、顔画像の合成装置に関するものである。

従来の技術従来、このような分野の技術としては、目、鼻、髪の毛
などの顔の部品のスライド写真を投影機により重ね合わ
せ、１つの顔画像を合成するものがあった。また、ＴＶ
カメラで取り込まれた画像を計算機で合成する技術とし
ては、例えは特開昭６３〜１１３６７１号公報に記載さ
れるものかあった。

第５図は従来の顔画像台ｂｘシステムの概略フロック図
である。ＴＶカメラ５１から入力された顔画像はＡ　／
　Ｄ変換器５２を介して画像メモリ５３に格納される。

画像メモリ５３に格納された顔画像はＤ／Ａ変換器５４
を介して、画像モニタ５５に表示される。画像部品デー
タヘース５６には、目、鼻、口、髪の毛なとの顔の部品
画像、または眼鏡、帽子などの顔に装着するものの画像
がデジタル化されて保存されている。これらの部品画像
は操作者からの指示に応じて、コントロール部５８によ
って画像部品データヘース５６から画像合成部５７に送
られ、画像合成部５７はコントロール部５８の制御信号
によって、画像メモリ５３の１盲示される位置に部品画
像を嵌め込み合成ずろ。

このとき、もともと画像メモリ５３にあった顔画像の各
画素のデータを部品画像のデータで置き換えるだけでな
く、元の顔画像の画素の値と、置き換える部品画像の画
素の値を適切な比率をかけて和をとることをおこなう。

このことにより、色のついた眼鏡を目の上に重ね合わせ
たとき、眼鏡越しに見える目を表現できる。また、はめ
込んた部品画像の周辺部で重ね合わせる比率を周辺に行
くほど小さくずろことにより、重ね合わせた輪郭をぼか
す効果を得ることができる。

発明が解決しようとする課題しかしながら、従来の顔画像を２次元子面で重ね合わせ
たり、２次元の変形をおこなう顔画像合成装置では、斜
め横から見た顔画像、上向きの顔画像など３次元で変化
した画像を合成することはできないという課題があった
。

また、顔の輪郭を丸くしたり、鼻を高くするなとの画像
の変形の場合、別の人物の輪郭や鼻の画像をはめ込み合
成するしかなく、本人の顔画像そのものを微妙に変形す
ることができないという課題があった。

本発明は、上記１に来の顔画像合成装置の課題を考慮し
、３次元の［多動、回転を行える顔画像合成、および顔
の形状の３次元変形を行なう顔画像合成装置を提供する
ことを目的とする。

課題を解決するだめの手段本発明は、顔画像と顔の３次元構造情報との対応表を計
算し、３次元構造情報から顔の３次元モデルを生成し、
この３次元モデルに刻して回転、移動、変形を行なった
ものに、前記対応表をもとに顔画像を写像することによ
り顔画像を合成するようにしたものである。

作用本発明によれば、上記のように、顔の３次元構造をもと
に顔画像を合成するため、３次元モデルを回転、移動す
ることにより、斜め横を向いた顔、にを向いた顔などを
合成することが可能となる。

また、鼻を高くする、頬を膨らます、輪郭を丸くする、
表情をつけるなとの操作が、３次元モデルを変形するこ
とにより、合成する顔画像に反映することができる。

実施例以下、本発明の実施例を図面を用いて詳細に説明する。

第１図は本発明の一実施例を示す顔画像合成装置の構成
図である。

第１図（ａ、　）において、１１は対応計算手段とし・
ての対応計算部であり、顔の一般的な３次元構造情報Ａ
をワイヤーフレームで表示し、顔画像Ｂと重ね合わせた
画像Ｃを表示装置】２に表示し、マウス、キーボードか
らなる入力装置１３からの操作者の入力りにより、３次
元構造Ａを画像Ｂに整合するように変形した３次元構造
情報Ｅと、その顔画像Ｂとの位置関係を記述した対応表
Ｆを計算する。１４は３次元構造情報Ｅに変形情報生残
部１５からの変形制御情報Ｇによって２３次元の移動、
回転、変形を行なった３次元構造情報Ｆ１を出力する構
造変形手段としての構造変形部である。

１６は、対応表Ｆを使って顔画像Ｂから移動、回転、変
形された３次元構造情報Ｈに対応する合成顔画像Ｉを合
成する画像合成手段としての画像合成部である。１７は
合成された合成顔画像Ｉを衷示する表示装置である。

次に、本発明の上記実施例を示す顔画像合成装置につい
て、以下その動作について説明する。

第１図（ａ）における顔の３次元構造情報へは、顔の表
面を多角形の平面の集まりで近似したものである。デー
タの形式はコンピュータクラフイ・ソクスの分野で周知
の３次元形状の記述方式であるザーフエイスモデルであ
る。これには、多角形の頂点となる顔の表面のサンプリ
ングされた頂点の３次元座標値と、各多角形を構成する
頂点のリストが含まれる。またこの頂点は、眼、鼻、口
なとの顔の各部品の形状を表わす点を含むように選んで
ある。また眼、鼻、口、輪郭などの顔の部品がどの頂点
と多角形ζこ対応じているかのリストを含んでいる。

次に、対応計算部１１において１３次元形状情報への顔
画像Ｂへの整合と対応表の計算について第２図を弁解し
ながら説明する。

（１）顔画像Ｂの向きにあわせて、３次元構造情ｆｆ１
Ａを顔画像と同じ向きになるように回転させる（ステッ
プＳｌ）。

（２）顔画像の輪郭の整合をおこなう。

（３）顔画像の各部品（眼、鼻、口など）の整合をおこ
なう（ステップＳ２）。

（４）以上の操作により顔画像と整合のとれた３次元構
造情報Ｅを出力する（ステップＳ３）。

（５）３次元構造情報Ｅの各頂点に対応する顔画像Ｂの
画像上の２次元座標を対応表として出力する（ステップ
Ｓ４）。

以上の処理は重ね合わせ合わせ表示装置１２に顔画像Ｂ
と３次元構造情報へをワイヤーフレームで表示したもの
を重ね合わせて表示し、入力装置１３により指示された
変形の結果をワイヤーフレームの表示にフィードバック
することにより行なわれる。その変形操作の基本を操作
を以下に述べる。

（ａ）　選択。

操作対象の頂点を指示する。頂点１つ、ある領域を指定
してそこに含まれる頂点の集合、頂点ずへて、口、目な
どの１まとまりの部品を構成する頂点の集合を指定でき
る。以下の操作はその選ばれた頂点の集合に対して行な
われる。

（ｂ）平行移動。

画像の２次元方向Ｘ、　　Ｙと奥行き方向Ｚはモートの
明り替えてマウスで指示する。

（ｃ）　回転。

回転軸は通常は頭の頂点から鉛直方向におろしたものと
するが、変更も可能。

（ｄ）拡大、縮小。

画像の平面方向の２次元の縦、横拡大と奥行き方向も含
めた３次元の拡大縮小。

次に、構造情報変形部１４において、変形制御情Ｉｌｆ
！ＩＧにもとすいて３次元構造情報Ｅを変形処理する。

変形制御情報Ｇは、変形情報生成手段としての変形情報
生成部１５て作られる。この変形情報生成部１５として
は、第１図（ｂ）に示すような、入力装置１５ａ、表情
変化計算手段としての表情変化計算部１５ｂ、年齢変化
計算手段としての年齢変化計算部１５ｃ等がある。

以下、それぞれの動作について順番に説明する。

（１）入力装置１５ａは、画像に３次元構造を整合する
場合の入力装置１３と同しものであり、操作者が前記の
選択、平行移動、回転、拡大縮小の基本操作を行なうこ
とにより、対話的に望む顔画像の構造を生成する。

（２）表情変化計算部１５ｂは、笑い、泣き、怒りとい
う表情変化のコマンドから目、害、口、眉といった部品
の位置の変化量、形の変形屯への計算を行なう。これに
は、心理学の分野で提唱されティ　るＦＡＣ５（Ｐ、　
　Ｉり？：／、　　Ｗ、　　Ｖ、　　’７’Ｊ−セ：／
（Ｐ、　　Ｅｋｍａｎ、　　Ｗ、　　Ｖ、　　Ｆｒ１ｅ
ｓｅｎ）：　　”万イノ＋ＩＩ　　？クシコシ　〕−Ｖ
４シクーノステム　（Ｆａｃｉａｌ　　Ａｃｔｉｏｎ　
　Ｃｏｄｉｎｇ　５ｙｓｔ、ｅｍ）”、　　Ｊフサ１エ
テイノクー　サイコロジースト　ブトス（Ｃｏｎｓｕｌ
ｔｉｎ３　　Ｐｓｙｃｌ＋ｏｌｏ３ｉｓｔ　　Ｐｒｅｓ
ｓ）、　１９７７参照）を使用する。これにより、ある
人物の画像に笑い、怒りなどの表情変化をつけることが
可能となる。

（３）年齢変化計算部１５ｃは、顔の３次元形状を変形
することにより、幼い顔、大人びた顔なとの変化をおこ
なう変形制御情報Ｇを生成する。

これは心理学での頭蓋骨の年齢変形をカージオイト変形
で近似する手法を使用する（マークし、Ｓ、。

トブビ　Ｊ、　　Ｔ、　　（Ｍａｒｋ　　Ｌ、　　Ｓ、
、　　Ｔｏｄｄ　　Ｊ、　　Ｔ、）：　　”ｊ−イスタ
ライヒーシクー　１１　’−ｔ７０チ】Ｙル　インフォ
メーシ３ノ　？バーウド　ヒ】−−マン　リー〇−ス　
イン　タームス゛オフ−ソ゛オメトリック　インハーリ
？ノツ　（Ｄｅｓｃｒｉｆ＋ｉ口ｇｐｅｒｃｅｐｔｕａ
ｌ　　ｉｎｆｏｒｍａｔｉｏｎ　　ａｂｏｕｔ　　）＋
ｕｍａｎ　　ｇｒｏｗｔｈ　　ｉｎＬｅｒｍｓ　　ｏｆ
　　ｇｅｏｍｅｔｒｌｃ　　１ｎｖａｒｉａｎｔｓ）”
、　ハｏ１フ０ソ］ン　？シトー　サイコフィシ゛ヴク
７．（Ｐｅｒｃｅｐｔｉｏｎ　　ａｎｄ　　Ｐｓｙｃｈ
ｏｐｈｙｓｉｃｓ）、　３７．　ｐｐ　２４９−２５６
．１９８５参照）。この手法について図を用いて説明す
る。

第３図は年齢変形の説明図である。第３図は頭蓋骨を両
目の中心と口の中心を結んだ平面で切断した断面図を表
わしている。頭蓋の頭頂部から下ろした垂直線１１と目
の中心から伸はした水平線１２の交点を中心Ｏとする。

頭蓋上の原点Ｏから距離Ｒの点Ｐと、それが年齢変化し
た原点Ｏから距離Ｒ＋の点Ｐ＋との間には、直線１１と
線分ＯＰとのなす角をθとしたとき、Ｒ＋”Ｒ（１＋１＜ｃｏｓ（０）　）　　　　・・・・
（１）の関係が成り立つ。ここで、ｋは年齢変化のパラ
メータで−０，２から０．　２程度の値を用いる。

大きいほどより幼い顔となる。顔の３次元構造情報の目
より上にある頂点に対して、式（１）で示される変形を
行なうことにより、パラメータＩ（に応じた割合で年齢
変化の変形制御情報を計算できる。

画像合成部１６では、変形処理された顔の３次元構造情
報■４によって作られる３次元顔形状モデルの各点に対
応表Ｆを参照し・で、顔画像Ｂ玉のヌ・ｊ応する画素の
データを゛マツビンク合成する。この手法はコンピュー
タクラフィックスの分野で周知のテクスチャマツピンク
の手法である。合成された顔画像Ｉは表示装置１７で表
示される。

変形情報生成部１５、構造変形部１４、画像合成部１６
等による画像変形合成は、生成された画像を表示装置１
７て確認しながら繰り返すことによって対話的に変形操
作が可能である。

次に、複数の顔画像の混合について図を用いて説明する
。

第４図は２つの顔画像の混合画像生成装置の較略構成図
である。構造情報混合手段としての構造情報混合部４１
は、第１図の対応計算部１１により各顔画像Ｂ１．Ｂ２
と整合をとった３次元構造情報Ｈ１，Ｈ２を比率Ｊて混
合した混合構造情報Ｈ３を生成する。混合画像合成手段
としての混合画像合成部４２は、顔画像Ｂ１、Ｂ２と、
それに閏する対応表Ｆｌ、Ｆ２を利用して混合顔画像を
合成し、表示装置４３によって表示する。

構造情報混合部４Ｉは、３次元構造情報）ｆ　１、Ｈ２
の対応する頂点の各座標値を比率、■で線形補間するこ
とにより、混合構造情報Ｈ３の対応する頂点の座標値を
計算する。また混合画像合成部４２は、混合構造情報Ｈ
３の各点に対して、対応表Ｆ１．Ｆ２を参照して顔画像
Ｂ１、Ｂ２から得た２つ画素の値を比率Ｊで和をとるこ
とにより画素の値を計算し、テクスチャマツピンクする
。このことにより、顔の形、肌なとの色あいをともに混
合した顔画像が合成できる。

なお、本発明は上記実施例に限定されるものではなく、
本発明の趣旨に基づいて種々の変形が可能であり、これ
らを本発明の範囲から排除するものてはない。例えば、
上記各手段をコンビコータを用いてソフトウェア的に実
現してもよいし、それら機能を有する専用のハート回路
を用いて実現してもよい。

発明の詳細な説明してように、本発明ξこよれば、従来画像の切り
貼りによる２次元のみの画像合成であったものが、３次
元構造情報をもとに画像を合成することにより、顔の向
きの変化した画像、輪郭の変形した画像、目、群なとの
部品の大きさ、位置、形の変化した顔画像を合成するこ
とが可能となった。

また、この３次元の変形の顔画像合成により、心理学の
知見を工学的に適用することで、表情が変化した顔画像
、年齢の印象の変化した顔画像を合成することが可能と
なる。

また、複数の顔画像の合成においても、従来は顔の部品
画像の切り貼りであったものが、輪郭も比率に応じて混
合し、肌の色なども混合した顔画像を合成することがで
きる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す顔画像合成装置の構成
図、第２図は本発明の一実施例における顔画像、３次元
構造情報の対応計算のフローチャート、第３図は同実施
例における年齢変化の計算を説明するための解析図、第
４図は本発明の他の実施例を示す複数顔画像合成装置の
構成図、第５図は従来の顔画像合成装置の構成図である
。１１・・・対応計算部、１２・・・重ね合わせ表示装置
、■３・・・入力装置、１４・・・構造変形部、１５・
・・変形情報生成部、１６・・・画像合成部、１７・・
・表示装置、４１・・・構造情報混合部、４２・・・混
合画像合成部、４３・・・表示装置。代理人　弁理士　松　１）正　道第１図（ａ）第１　図（ｂ）第２図嬉３ｒＭ

Claims

【特許請求の範囲】

（１）顔の３次元構造情報と顔画像とから、３次元構造
情報を顔画像に整合するように変形し、顔画像とそれに
整合した３次元構造情報との対応表を計算する対応計算
手段と、顔の３次元構造情報を３次元的に変形操作する
構造変形手段と、変形操作された３次元構造情報と、顔
画像と前記顔画像と３次元構造情報の対応表から、変形
した３次元構造情報に対応する顔画像を合成する画像合
成手段とを備えたことを特徴とする顔画像合成装置。
（２）表情変化による顔の３次元構造の変化量を計算す
る表情変化計算手段からの出力を、前記構造変形手段に
入力することにより、合成顔画像に表情変化を与えるこ
と特徴とする請求項１記載の顔画像合成装置。
（３）年齢変化による顔の３次元構造の変化量を計算す
る年齢変化計算手段からの出力を、前記構造変形手段に
入力することにより、合成顔画像に年齢による変化を与
えることを特徴とする請求項１記載の顔画像合成装置。
（４）複数の顔画像と顔の３次元構造情報に対して、前
記対応計算手段において各顔画像に対する３次元構造情
報と対応表を計算し、各顔画像の混合の割合に応じて個
々の３次元構造情報より１つの混合３次元構造情報を出
力する構造情報混合手段と、混合３次元構造情報と各顔
画像から対応表をもとに混合の割合に応じて１つの混合
顔画像を合成する混合画像合成手段とを備えたことを特
徴とする請求項１記載の顔画像合成装置。