WO2004023395A1

WO2004023395A1 - 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム

Info

Publication number: WO2004023395A1
Application number: PCT/JP2003/011210
Authority: WO
Inventors: Shizuo Sakamoto
Original assignee: Nec Corporation
Priority date: 2002-09-03
Filing date: 2003-09-02
Publication date: 2004-03-18
Also published as: EP1501046A4; US20050175234A1; EP1501046A1; JP2004094773A

Abstract

頭部装着物画像合成装置の実施例として提供される眼鏡シミュレーション装置は、ユーザの顔画像に眼鏡を合成する際、人物の顔の３次元形状とその反射特性を測定し、その３次元形状に、ユーザによって選択された眼鏡をフィッティングし、人物の顔を撮影した顔画像中の、顔の位置及び向きを推定し、この推定した位置及び向きを利用して眼鏡を顔画像中の顔に合致するように配置した眼鏡画像を生成し、その眼鏡画像と顔画像とを合成して表示する。これにより、眼鏡の装着状態をあたかも実際に装着して鏡に写して確認している場合と同様な、ユーザの顔画像と眼鏡との合成画像を作成する。

Description

明細書頭部装着物画像合法、條画像合戯法、頭部装着物画像合 J«置、画像合成装 ¾¾ぴプログラム

鎌分野

本発明は、目騰、イヤリング、帽子、ヘアピースなどの頭部に装着される難物やその顔に施される i iなどの画像と、実際にはこれらの難や化粧などをしていない状態で驟されたユーザの顧像とを、あたかも実際に装着して鏡に写して mしている齢と同様にロ感なく、合^ rる画像合^ Mに関する。

背：

例えば B騰を購入する際、ユーザは通常実際に麵へと出向き、陳列されている »を難し鏡で、することを行っている。しかし、陳列されている Β騰には限りがあるために、より好みに^- rる ΒΙ^を探そうとするときにはとなつていた。

更にインターネット等の通信手段を通じた!^では、ユーザの手元には 3纖はしないことから、 g職の »には困難があった。同様に、においても、ユーザのためにはできるだけ多くの B¾gを陳列することが望ましレ、が、これにより多くのをかかえるという問題が生じるため、ユーザ及びの双方にとって好ましい况ではないと言える。同様なことは、イヤリングや帽子、ヘアピースなど、頭部へするもの一般に言うことができる。また特に itliにつ!ヽては、実際に顔へと時間をかけて行ってみるし力なく、着 ¾ i以上に手間がかかるという意味で、ユーザが + 糸 f¾得して i tt品ゃィ ί ^法を選択するのは困難であつた。

そこで、様々なや ft¾などについて、実際のものを用る、また顔へと t¾を行うことなく、好みと^ ¾しているかどうかの判断を下すことができる画像合成システムがされてきた。この画像合成システムのうち、 B騰についての従 *Κ#ΐの一つとして、ユーザの ®g像をカメラにより得た後、あらかじめ蓄えておいた目赚画像を、オペレータが手で合成の開^ ί立置をすることにより画像へと合成するものが知られている（例えば、特開昭 6 3 - 0 3 9 2 9 (以下、文献 1 )参照)。また、ユーザの左右の目の中ィ立置などを入力することにより、よりユーザの顔に^: する位置を指定することを可能にした画像合成システムも知られている (例えば、特開昭 6 3— 0 7 6 5 8 1号（以下、文献 2)、特開昭 6 3—1 1 3 6 7 1号公報（以下、文献 3)、平 0 8 - 0 3 1 1 2 6号公報（以下、文献 4)、特開平 0 2— 0 0 4 3 1 2号公報（以下、文献 5 )参照)。また、 ^体である人間が移動して合わせこむ画像合成システムも知られている（例えば、特開昭 6 3— 2 6 1 2 1 8号公報（以下、文献 6) 参照)。

また、ネ体の 3次 ¾?F$状を «計測して利用する画像合成システムも知られている（例えば、特開平 0 5— 1 7 2 5 4 5号公報（以下、文献 7)参照)。この画 ί象合成システムは、計測 3次¾»状と Β謹フレーム形状とを用いて合成し、ユーザに提示するきを持っている。

更に、顔の向きや謝青などが変わったときやレンズの精細なシミュレーションにも対応する画像合成システムも知られている（例えば、特開平 0 6—1 3 9 3 1 8号公報（以下、文献 8)、特開平 0 6 _ 1 1 8 3 4 9号^ ¾ (以下、文献 9) 参照)。この画像合成システムは、体の 2^¾ίϋ像を得た後、標準的な 3次モデルを画像にブイットさせて変形処理するものである。

また、顔の向きを検出する^ を体である人物にかけさせることで、体が頭を動力すのに自然に追随する合成画像をる画像合成システムも知られている（例えば、特開平 1 0— 2 8 3 4 5 5号（以下、文献 1 0) 参照)。一方、上記画像合成システムのうち、化粧についての従 «#亍の一つとして、ユーザの像を力メラにより得た後、上に表示するとともにタブレツトを操作することで画像を加工して iiiKのシミュレーションを行うものも知られてレヽる（例えば、特開昭 6 2 - 1 4 4 2 8 0号公報（以下、文献 1 1 ) 参照)。更に、画働ロェ用ライトペンを化棚小道具の形にして自然になるよう工夫した画像合成システム（例えば、特開昭 6 3— 3 1 6 0 3 7号公報（以下、文献 1 2)参照）や、口紅やパウダー系 ( K、眉力ットをそれぞ虫立したシミュレーシヨンとした画像合成システムも知られている（例えば、特開平 0 6— 3 1 9 6 1 3号公報 (以下、文献 1 3) 参照)。

しかしながら、前述した従 ¾K術の画像合成システムのうち、眼鏡や註のシミュレータでは、 2次元静止 ΜΒί象への合成が主であったために、実際に着装やィ ^ffiなどをして鏡で見るのと違い、ユーザはそのフィッティングについて十分確認することはできなかつた。

また、文献 7では、顔の 3次元形状を求めて 3次元グラフィックスにより合成することで様々な難の細像を «することは可能であるが、これも計測したタイミングでの「顔」を単に回しているにすぎず、自然とは言い難い。

さらに、文献 8、及ぴ文献 9では、顔の標準 3次元モデノレを 2 象へとフィットして: ^亍き情報を得、 3次元グラフィックスによる合成を ί亍っている力的に奥行き†ffBは標準モデルそのものとなるため、更に ¾¾感が大きくなる。また、 «1 0では、方向検出用目赚をかけさせているが、別の 8騰や化粧などを合成するときには該方向検出用目騰を画 i:から消去する必要がある。しかし完全に？肖去することは困難である。

以上説明した通り、されている画像合成システムでは、元来ユーザが行つてきた鏡での βと同じような、截ロ感のな、合赚果を提示することができない。

発明の開示

そこで、本発明の目的は、目赚ゃイヤリング、帽子、ヘアピースなどの頭部へのゃィ ΰ注などを実際に行って鏡で βするような、自然で ¾fロ感のなレ、画像を合成できるようにすることにある。

上記目的を «する第 1の発明は、人物の顔の 3次元形状を計測する工程と、 m^mした 3次元形状に目麟をフイツティングする工程と、 ΐΐιΐΒ人物の顔をした画像中の顔の位 g¾び向きをする工程と、該推定した顔の位 g¾ぴ向きを利用して画像中に B騰を、顔にるよう^^して表示する工程とからなることを mとする。

第 2の発明は、人物の顔の 3次元形状とその謝特 I·生とを計測する工程と、該計測した 3次元形状に B赚をフイツティングする工程と、 ΙϋΙΒ人物の顔を ii^した画像中の顔の位 g¾び向きを tii!B 3次元幵娥と謝己特生とを利用して推定する工程と、該推定した顔の位艱ぴ向きを利用して画像中に B赚を、顔に錄するよう^して表示する工程とからなることを »とする。

第 3の発明は、第 2の発明において、 ΙίΐΒ人物の顔を娜した画像中の顔の位 ¾¾ぴ向きを 3次元形状と Rlt特 [4とを利用して推定する工程の代わりに、 tfjfS

3次元形状と fit己 "特とからあらかじめ様々な難及び照明条件下での顔の位 ¾¾ぴ向きを推^ るための基底を^ る工程と、該基底を利用して画像中の顔の位 6¾ぴ向きを推定する工程とを含むことを赚とする。

第 4の発明は、第 1、第 2または第 3の発明において、 ItllB人物の顔を娜した画像中の顔の位 g¾び向きを推定する工程と、該推定した顔の位 g¾ぴ向きを利用して画像中に 3 を、顔に^ るようして表^ る工程とをして行うことを mとする。

第 5の発明は、第 1、第 2、第 3または第 4の発明において、 tiff己目赚の代わりに、イヤリング、帽子、ヘアピース、またはその他の頭部への着 »、あるいはそれらの組み合わせを画像へと合^"ることを«とする。

第 6の発明は、第 2、第 3、第 4または第 5の発明において、前記反射特性の代わりに、陰が少ないテクスチャ画像を用いることを赚とする。

第 7の発明は、人物の顔の 3次元形状を計測する工程と、 Ml十測した 3次状にィを施すと、あらかじめ "る変形ノ^"ルが付帯した顔標準 3次元形状を l己計測した 3次元形状にあてはめる工程と、 tills人物の顔を »した画像中の顔のィ ¾¾ぴ向きを^する工程と、画像中の顔の表情変化をするェ程と、 ΙΐίϊΒ推定した顔の位置、向き、及び表情変化を利用して画像中にィ [^を、顔に^ "るよう生成して表示する工程とからなることを赚とする。

第 8の発明は、人物の顔の 3次元形状とその特 14とを計測する工程と、該計測した 3次元形状に {beを施す工程と、あらかじめ髓する数トルが付帯した顔標準 3次元形状を tiff己計測した 3次元形状にあてはめる工程と、 ΙίίΙΒ人物の顏をした画像中の顔の位 6¾ぴ向きを婦己計測した 3 »形状と特 ffi とを利用して推定する工程と、画像中の顔の表情変化を推針る工程と、 m 定した顔の位置、向き、 ¾f青変化を利用して画像中にィを、顔に^ Srfるよう »して表示する工程とからなることを赚とする。

第 9の発明は、第 8の発明において、前記人物の顔を撮影した画像中の顔の位難び向きを 3«形状とその蘭特性とを利用して推定する工程の代わりに、

Itjf己 3次元形状と tfiia 特性と力らぁらカじめ様々な^ ¾ぴ照明条件下での顔の位 g¾び向きを推定するための基底を生成する工程と、該基底を利用して画像中の顔の ί立 ¾¾ぴ向きをする工程とを含むことをとする。

第 1 0の発明は、第 8の発明において、 tfilH人物の顔を膨した画像中の顔の表清変化を推定する工程の代わりに、 it己計測した 3次元形状と特性とからあらかじめ様々な^^照明条件下での顔の立 g¾び向きを推定するための基底を^ ¾する：]:程と、該基底と変形/ ルが付帯した顔標準 3次元形状とを利用して画像中の顔の麦 If変化を推定する工程とを含むことを»とする。

第 1 1の発明は、第 8、第 9または第 1 0の発明において、前記反射特性の代わりに、陰が少なレ、テクスチヤ画像を用レ、ることを赚とする。

第 1 2の発明は、人物の顔の 3次元形状を計測する 3次元形状計測手段と、該計測した 3次元形状に選択した目をフィッティングする眼びフィット手段と、 tfjf己人物の顔をした像中の顔の立¾¾ぴ向きを推定する顔立置及び向き推定手段と、赚定した顔の位難び向きを利用して、 B騰を fflWf 像中の顔に^ ¾ "るように配置した g赚画像を «する目赚画胜成手段と、前像と ttiia騰画像とを合成して表示する «ぴ目赚合戯示手段とからなることを«とする。

第 1 3の発明は、人物の顔の 3次元赚とその碰特とを計測する 3次

4¾¾O¾f特性計担!!手段と、測した 3 ^55形状に選択した目をフィッティングする目»1^¾ぴブイット手段と、 tfrl己人物の顔を »した像中の顔の {立 S¾ぴ向きを ΙϋΙ己 3 ^形状と IMBKlt 生とを利用して推定する顔ィ立 §¾ぴ向き推定手段と、した顔の位 e¾ぴ向きを利用して、目赚を画像中の顔に^ Tるように配置した目！^画像を «する B赚画手段と、 ΙίΜίϋ像と tfiia¾ 画像とを合成して表示する騰合^ *示手段とからなることをとする。

第 1 4の発明は、第 1 3の発明において、前言位置及ぴ向き推定手段の代わりに、 Ι&ΙΒ3次元形状と Sit特 1·生とからあらかじめ様々な^ 照明条件下での顔の位 «¾ぴ向きを推定するための測地照明基底を生^ I"る測地照明計算手段と、該基底を利用して像中の顔の位 ¾¾ぴ向きを推定する顔位 ¾¾ぴ向き推定手段とを含むことを [とする。

第 1 5の発明は、第 1 2、第 1 3または第 1 4の発明にぉレヽて、 ffJlE 位 g¾ ぴ向き »手段と IfJt己手段と tiiK«O ^合 «示手段とをして行うことを赚とする。

第 1 δの発明は、第 1 2、第 1 3、第 1 4または第 1 5の発明において、前記眼鏡の代わりに、イヤリング、帽子、ヘアピース、またはその他の頭部への着装物、あるレ、はそれらの組み合わせを画像へと合^ Τることを難とする。

第 1 7の発明は、第 1 3、第 1 4、第 1 5または第 1 6の発明において、前記

Sli特性の代わりに、陰の少ないテクスチャ画像を用いることを mとする。第 1 8の発明は、人物の顔の 3次元形状を計測する 3次元形状計測手段と、該計測した 3次元形状に ibffiを施す化粧手段と、あらかじめる^^ ルが付帯した顔標準 3次元形状を記' Ιϋ "る顔標準 3次元モデル及 U¾形ゾトル記憶手段と、 |ίί«標準 3次元モデルを tfflB計測した 3次元形状へとあてはめる 3次元モデノレフィッティング手段と、 191己人物の顔をした MM像中の顔の位 S¾び向きを推定する顔位 g&ぴ向き推定手段と、像中の顔の表情変化を推定する顔部品変赚定手段と、 ttilE推定した顔の位置、向き、及び表情変化を利用して、 tfflS化粧手段で施した ilittを llB M像中の顔に^ fるように変形した fbW 像を «1 "るィ ^手段と、廳像と觸己化粧画像とを合成して赫する M¾ H匕被合 β¾¾示手段とカゝらなることを »とする。

第 1 9の発明は、人物の顔の 3次¾ ^状とその特 I·生とを計測する 3次状計測手段と、歸測した 3次元職に化粧を施す (bffi手段と、あらかじめ麟する変形ゾトルが付帯した顔標準 3次元形状を記' る顔標準 3次元モデル及び ^ル記憶手段と、 tiil5 標準 3次元モデルを廳己計測した 3次元开狱へとあてはめる 3次元モデルフィッティング手段と、 ΙίίΙΒΛ物の顔を撮影した画像中の顔の ί立 ¾ぴ向きを嫌己計測した 3次元形状と ^Ιί特とを利用して推定する顔位 «¾ぴ向き推定手段と、 β像中の顔の表情変化を推定する顔部品手段と、 ΙίίΐΒ推定した顔の位置、向き、及び胄変化を利用して、肅己ィ手段で施した化粧を ΙΐΜΗ像中の顔に ^"するように移した化粧画像を生成する化驻画 i «手段と、 Misffiw像と ttif己ィ e®像とを合成して表示する «¾ 匕被合^ ¾示手段とカゝらなることを mとする。

第 2 0の発明は、第 1 9の発明において、 tfifS 位び向き推定手段の代わりに、 tfilB3次元形状と特 |·生とからあらかじめ様々な難及び照明条件下での顔の位 ¾¾ぴ向きを推定するための測地照明基底を生成する測地照明基底算出手段と、該基底を利用して像中の顔の顔位ぴ向きを推定する顔位 ¾¾ぴ向き推定手段とを含むことをとする。

第 2 1の発明は、第 1 9の発明におレヽて、前 |5¾部品変形推定手段の代わりに、廳己計測した 3 »形状と特とからあら力じめ様々な及び照明条件下での顔の位置及び向きを推定するための測地照明基底を生成する測地照明基底算出手段と、 ttll3¾底と ^^ ルが付帯した顔標準 3次元形状とを利用して B 像中の顔の表情変化を it¾する顔部品変开继定手段と^^ことを赚とする。第 2 2の発明は、第 1 9、第 2 0または第 2 1の発明にお Vヽて、 |ίί|Β騰特性の代わりに、陰の少なレ、テクスチヤ画像を用レ、ることを赚とする。

第 2 3の発明のプロダラムは、コンピュータに、人物の顔の 3次元形状を計測する工程と、 ¾|十測した 3次状に目!^をフィッティングする工程と、 tff!B人物の顔をした画像中の顔の位 ¾¾ぴ向きをる工程と、該推定した顔の位 MRぴ向きを利用して画像中に眼鏡を、顔に^ »るよう生成して表^るェ程とを^?させる。

第 2 4の発明のプログラムは、コンピュータに、人物の顔の 3次元形状とその S f特とを計測する工程と、測した 3次^^に目赚をフィッティングする工程と、 ΐίίΙ己人物の顔を ¾した画像中の顔の ί立 κ¾ぴ向きを t&l己 3次元形状と tfrt己特 I·生とを利用して推定する工程と、定した顔の位 ¾¾ぴ向きを利用して画像中に B騰を、顔に^ ¾ "るようして表示する工程とを新させる。第 2 5の発明のプログラムは、第 2 4の発明において、黼己人物の顔を βした画像中の顔の位び向きを 3次元形状と SI†特性とを利用して推定する工程の代わりに、 |&|53次状と if|HSW †生からあらかじめ様々な及ぴ照明条件下での顔の位 g¾び向きを推定するための基底を生成する工程と、を利用して画像中の位 §¾ぴ向きを ί!¾する工程とを含むことを ¾とする。第 2 6の発明のプログラムは、コンピュータに、人物の顔の 3次元形状を計測する工程と、 ^it測した 3次元形状にィ [^を施す工程と、あらかじめ »rる変形ルールが付帯した顔標準 3次元形状を ttJlB計測した 3次元形状にあてはめるェ程と、 ItilB人物の顔を »した画像中の顏の位 ft¾び向きを ί6¾する工程と、画像中の顔の表情変化を推定する工程と、 tiff己推定した顔の位置、向き、及び ¾†青変化を利用して画像中に化粧を、顔にるようして表示する工程とを実行させる。

第 2 7の発明のプログラムは、コンピュータに、人物の顔の 3次元形状とその赌特性を計測する工程と、 ¾ f"測した 3次元形状に化粧を施す工程と、あらかじめ^する変 ^^トルが付帯した顔標準 3次状を IWB計測した 3次元形状にあてはめる工程と、 ΙίίΙΕ人物の顔をした画像中の顔のィ立 ^¾ぴ向きを till己計測した 3次元形状と特 I·生とを利用して推定する工程と、画像中の顔の表 [f 変化を推定する工程と、編己推定した顔の位置、向き、及び表清変化を利用して画像中に »を、顔に^ rrるよう «して表;^ rる工程とを節させる。第 2 8の発明のプログラムは、第 2 7の発明にぉ、て、觸己人物の顔を鄉した画像中の顔の {立 g¾ぴ向きを 3次元开多状と R#t特 I生とを利用してする工程の代わりに、廳己 3次 ¾f 状と觸己通特性とからあらかじめ様々な難及び照明条件下での顔の位置及び向きを推定するための基底を生成する工程と、該基底を利用して画像中の位 ¾¾ぴ向きを推定する工程とを含むことを [とする。本努明の ί乍用を説明する。

ユーザの麵像（カメラで遊的に灘した顔の画像）に目騰を合成するには、先ず、人物の顔の 3次元形状を 3次元形状計測手段により測定しておその後、眼^ 1»ぴフィット手段により、 3次元形状にユーザによって選択された眼鏡をフィッティングし、顔位置及び向き推定手段により、人物の顔を » した顧像中の顔の位 6¾ぴ向きを推定し、この推定した位 ¾¾ぴ向きを利用して、眼鏡画像 «手段において、眼鏡を像中の顔に敌するように配置した目赚画像を^^する。廠ぴ B騰合戯示手段では、顧像と B職画像とを合成し、表不する。

ユーザの細像に化粧を施には、先ず、人物の顔の 37火 5 ^状を 3次元形状測定手段で測定しておく。その後、計測した 3次元形状にィ ffi手段を使用してィを施す。また、 3次元モデルフィッティング手段により、 ¾ ^ノ] ^ルが付帯した顔標準 3次元モデルを計測した 3 ^形状へとあてはめる。その後、 mm 像中の顔の位 ¾¾ぴ向きを顔位 ¾¾ぴ向き推定手段で推定すると共に、画像中の顔の表情変化などを顔部品手段で推定する。その後、 ί ^した位 e¾び向き情変化を利用して、ィ匕粧手段で施した ibKを讓像中の顔にるように変形した化粧画像を «し、謙 t¾合 s¾¾示手段を用いて細像と画像とを合る。

図面の簡単な説明

第 1図は、本発明の第 1の難例による目騰シミュレーション装置の全體成を説明する機能プロック図である。

第 2図は、顔の座標系の説明図である。

第 3図（a ) ~ ( c ) は、 B騰の 3 Dデータの説明図である。

第 4図（a ) 〜（d) は、細像への S赚の合法説明図である。

第 5図は、顔位置'向き推定手段の詳細構成を説明する機能プロック図である。第 6図は、本発明の第 2の例によるィ匕粧シミュレーション装置の全体構成を説明する機能プロック図である。

第 7図は、ィ匕粧手段の説明図である。

第 8図は、顔標準 3 D形状モデルと計測 3 Dデータとのフィッティングの説明図である。

第 9図（a ) 〜（d) は、標準 3 Dモデルとその変形ノ^"ルを利用した、顔の ¾ ^雄と対応する化明図である。

第 1 0図（a ) 〜（c ) は、麵像への化粧画像の合法説明図である。第 1 1図は、 g職シミュレーション装置及 ufシミュレーション装置が適用されるコンピュータシステムの全成を示 ¾略プロック図である。発明をするための最良の形態

以下、本発明の難の形態にっ、て図面を参照して詳細に説明する。

まず、本発明の第 1の例を、第 1図を参照しながら説明する。

第 1図に示す目騰シミュレーション装置 2 0 1は、顔の 3次娥とその特 14の双方を計測する麵と、通常のカメラにより麵像を蔵して擁し、このした各 B像へ HIT次を合^ る処理とを行う。

3次元 ( 3 D) 形特 [4計測手段 1は、ネ終体となる人物の顔の 3 形状とその繊特性、あるいは赌特 14に準じる陰の少なレ、テクスチャ画像を計測し、それぞれを 3次状信号 1 0 2と Sit特 1·生信号 1 0 1として出力する。上記 3次元开狱の計測方法としては、例えば特開 2 0 0 1 - 0 1 2 9 2 5¾ 報「三次元織計測方離びに麵某体」（以下、「文献 1 4」）を利用することができる。この他にも 3次元形概測の; W去としては「三次元画像計測」讲ロ '鶴、昭光（以下、「文献 1 5」）などに記載されている様々な既存のを利用することができる。また文献 1 4の; W去においては、 3次元形状と同時にテクスチャ画像も取得することができる。そこで、顔の周りにランプを複 egし、顔全体に一様に光があたるようにすることで、繊的に特性とみなすことができるテクスチャ画像を簡単に計測することができる。他にも特 14を顔の立置にぉ、て計測できる手法であれば、本発明を構成することができる。

一方、第 2図に示したように、計測物体である顔の重心を中心とした顔を覆う球を考え、顔表面上の各点 Pにおける 3次標値とテクスチヤ値を表現するための座標系を設定する。点 Pは、重心を中心として lift己 «面上へ影されることにより得られる点 <3の« '鍵（s，により、統一的に表現することができる。 3次元形 iK/CT特 I·生計測手段 1により得られた 3次元形状とテクスチヤ画像は、上 ¾¾標系により、点 Pにおける 3次元座標値

X

とそのテクスチャ値 B力一つの座標（s， t ) によりそれぞれ

と: B ( s， t ) として、統一的に表現されるものとする。なおこの座標系については、 3次元形状とテクスチヤ力 S互レ、に関連を持つて扱うことが可能であればどのようなものであっても、本発明を構成することが可である。

測地照明基出手段 2では、 3次元开$状信号 1 0 2と特信号 1 0 1を入力とし、任意照明下での顔の見えを近似するための基底を »し、測地照明基底信号 1 0 3として出力する。測¾照明基底法については特開 2 0 0 2— 1 5 7 5 9 5号公報「物体照合方法、物体照^ ¾置、及びそのプログラムを記録した記録媒体」（以下、「文献 1 6」）に IBMされている。以下、文献 1 6に従って測地照明基 JS^出手段 2につレ、て説明する。

まず、コンピュータグラフィックスのなどを用いることにより、顔表面上の立置の陰影 ^^による輝度の変化を計算し、様々な照明牛の下でのテクスチヤ群を^ rる。テクスチャの核の陰影の変化による輝度や色の変化は、麵素に対応する物体表面の贿率、 3次状から計算できる方向、及び照明の方向により計算することができる。影の «に関しては、 tff!B 3次元形状を用！/、て雄 ϋ¾などの処理を行うことで、嫌己画素に設定した照明条件の下で光が当たるかどうかを判定することができる。物体表面の Sit特 14として完^ 乱面を仮定レ物体形状が凸であり他の部分による光源の遮蔽によって生じる影がなく、光源が無にあるとすれば、 i番目の照明のもとでのテクスチャの各画素（s , t ) の輝度値（s， t ) は、画素に対応している顔表面の特性 B ( s , t ) 、 ¾Ε方向

、各照明の献 1 iおよびその方向

により、

次式で計算することができる。

I_F (s, ή = B{JS, t% max(£ · N(s,

I _; ( s， t ) を! ^タトルとして並べ、更に照明毎に » クトルを横に並ベて行列を^^し、共分亍列を求めた後、 ^分分析により固有値 U i } と固有べクトノレ

ft}

を求める。ここで固有値と固有ベクトル ft}

は、固有値の大きな順に並んでいるとする。これらより、例えば固有値の累積寄与率が 9 9 %以上となる最小の数だけ固有べクトルを選択し、 "測地照明基底"と名付けることとする。以上により適当な数、例えば 1 0個の測地照明基底を得ることができる。この測地照明基底は、テクスチャ群全体を近似したものとなる。

BS^l^ .フィット手段 3では、 3次元开$状信号 1 0 2と、目 1^1択ィ言号 1 0 4と目騰 3次元データ信号 1 0 5とを入力とし、ユーザより指定された B職の 3 次元形^ータである S¾ ^ タ信号 1 0 5を目^^ータ蓄積手段 4より読み取るとともに、計測した顔 3次元开欺を参照してそれにブイットする目赚の位置と大きさを決定し、選択 B騰 3次元データ ·フィッティング信号 1 0 8として出力する。 B赚の 3次元形 'ータの一例を第 3図（a ) 〜（c )

第 3図（a ) 〜（c ) に示すように、各 B縢の 3次元形;^ータには、右鼻位置 1 1 7、左鼻 f立置 1 1 8、右耳 ±¾m i 1 9、左耳上雜置 1 2 0が付与されており、顔 3次元形状と各対応位置とが^ るよう、ツルの長さ Lを変更することによりフィットする。このときの顔と B赚との相対位置とツルの長さ Lを ¾¾騰3次元データ ·フィッティング信号 1 0 8として出力する。ここでは鼻位置と耳立置によりフイツティングするとしたが、前述した文献 7に記載の謹など、目騰をフィッティングする謹であれば何でも利用すること力 S可能である。

カメラ 5は、体となる人物の顔の画像を赚的に驗し、複数のフレームから成る麵像信号 1 0 6を出力する。麵像信号 1 0 6の一例 ( 1フレーム分）を第 4図（a ) に示す。

顔 ί立置 .向き推定手段 6は、 ®W像信号 1 0 6と 3次元形状信号 1 0 2と測地照明基藤号 1 0 3とを入力とし、 ffrlB文献 1 6において述べられているように、顧像信号 1 0 6の各フレームそれぞれについて、より適合する錢を繰り返し探ることにより得られた顔の位置と向きを、顔 ί立置 ·向き信号 1 0 7として出力する。

顔位置'向き手段 6について、第 5図を用いて詳細に説明する。尚、以下では、 ®g像信号 1フレーム分の纏にっレヽて説明するが、各フレームに対して同様の觸が行われる。

カメラ 5は、焦点 {¾| fを持つピンホールカメラであるとし、その向を z軸、またスクリーンの縦軸 ·横軸に亍な方向をそれぞれ γ軸 · X軸とする。本 X Υ Z座標系を基準とし、該カメラ 5の前の体となる人物の顔の位置が (T X, Τ_γ, Τ_ζ) ^τ、その向きが（R_x， R_Y， R_z) ^Tであるとする。このとき計測した顔の 3次元形状の各座標位置（_{X i}， _Yi, z j) ^Tは、カメラ 5の前の座ネ Κ立置 (Xi， Yi， Ζ;) 丁に ¾することとなる。

cosJRjp cosfi · 一 cosJf^- smR_∑ +smR_Y smJ^ cos ^ smR^ s R_y + ^ s .R_r a &R , ∞si£_r miR_∑ cos Zj. + sbiiS sdnJ2_r sinJZ' -cosJ2_K sinJ¾ + co&R_£ mi ^ a R_z

カメラスクリーンの繊 '横軸をそれぞれ v軸 -u軸としたとき、（Xi， Yi， Zi) ^τ座標に位 g"fる顔の該当座 ίΐί立置は、スクリーン上の（u _{V i}) ^τ位置へと »されることとなる。ぶ

、

顔位置'向き β手段 15は、初期設定された顔の位置（Τ_χ。， Τ_γ。， Τ_ζ。） ^τと向き（R_x ⁰， R_Y°, R_z。） ^Tを元とし、それぞれ小修正した（T_x。+厶 T_x， Τ_Υ。+ΔΤ_Υ， Τ_Ζ°+ΛΤ_Ζ) ^T、 (R_X°+AR_X, R_Y°+AR_Y, R₂°+AR_Z) ^T を «し、顔位置 ·向き信号 121として出力する。

照明補正手段 16は、顔ィ ώ置 .向き信号 121と 3次元形状信号 102と測地照明基 iSi言号 103とを入力とし、 3次元形状に測地照明基底を構^ る複数の固有べクトル

ft}

をコンピュータグラフィッタスの手法により貼り付けてそ^ ¹ 'れ画^! ^を行い、同じ数から構成される HIE画像

を得る。そして、上言 5¾E画像を難.照明補正画像信号 122として出力する。

HtJt^手段 17は、 M1H象信号 105と錢.照明補画象信号 122を入力とし、像

κ

とのが最も小さくなるよう次式のパラメータ { a i } を求め、このを画像^言号 1 2 3として出力する。

終了半 1J定手段 1 8は、画像^言号 1 2 3と顔 ί立置 .向き信号 1 2 1を入力とし、もし散が十分小さくなれば、顔の位置と向きの推定が終了したと判断し、そのときの顔位置 ·向きを、顔位置 ·向き信号 1 0 7として出力する。まだ終了して、なレヽと判断したときには、再麵の位置 ·向きを修正して計算し直 l t令を、顔位置 .向き^] E指令信号 1 2 4として出力する。顔位置 .向き記憶手段 1 9は、顔位置'向き信号 1 0 7を入力とし、その値を記憶しておき、必要に応じて前フレーム顔位置 ·向き信号 1 2 5として出力する。

以上では顔位置 .向き推定手段 6として、単純な {紅を繰り返す手法につヽて説明したが、その他の β 去によっても本発明を構成することができる。体の顔の位置と向きの推 ¾ §果を用いて 3次状により描画した結 ¾ を第 4 図（b) に示す。

B騰画^^手段 7は、 3次状信号 1 0 2、顔位置 .向き信号 1 0 7、選択目 M ^一タ ·フィッティング信号 1 0 8を入力とし、像信号 1 0 6上に撮影されている顔と同立置 ·向きに、顔 37A¾^t^—タを配るとともに、該 3次元形ータにブイットさせるために求めた相対位置関係を利用し、

3次元形;^一タを配 g-fる。ここで 3職だけ 3^5グラフィックス鎌により描画することにより、元々の細像信号 1 0 6に »されている顏にフィットする西驗画像が^^でき、これを B¾ 画像信号 1 0 9として出力する。なお眼鏡のフレームのうちツルの部分 ί±®部により遮蔽されて見えなくなるが、目赚画成手段 7では、 m像にるよう配置される本人の顔の 3次元形状を参照しているために隠蔽判定は非常に簡単にることができ、見えている部分だけを描画することが可能である。 Β騰の描画例を第 4図（c ) に示す。

顔 ·目合 5¾¾示手段 8は、 ®Βί象信号 1 0 6と像信号 1 0 9とを人力とし、画像に対し B赚画像をオーバーレイして合成することにより、 B纖をかけた画像をして表示する。最終的な合成画像例を第 4図（d ) に示す。このとき ¾した画像をそのまま表示することもできるし、左右を反転させることによりあたかも鏡に写した力のよう【すこともできる。

媒体 K 1は、ディスク、 ^体メモリ、その他の »媒体であり、コンビユータを眼鏡シミュレーション装置 2 0 1として機能させるためのプログラムが言されている。このプログラムは、シミュレーション装置 2 0 1により読み取られ、その動作を制御することで、 B¾ シミュレーション装置 2 0 1上に、 37火元形藤特 !·生計測手段 1、測地照明基藤出手段 2、 B麵択 'フイツト手段 3、顔位置 .向き推定手段 6、 B鱲画手段 7、顔.目赚合戯示手段 8をする。

上記難例では顔の位置と向きを検出するための手段として、前述した文献 1 6記載の測地照明基底法を用いて説明したが、精度良 W立置.向き推定方法であれば何でも本努明を構針ることができる。上讓 · g騰合戯示手段 8では眼鏡画像と像を単に合るだけと |B¾したが、特開 2 0 0 1— 3 3 1 5 5 0 号公報「赚フレーム蔵システム」（以下、文献 1 7) にあるように、視力矯正に必要なレンズ処方値に基づいて、細像を屈折させてより自然に表現することでも本努明を構成することができる。

また上記実施例では眼鏡について説明したが、他にもイヤリングや帽子、ヘアピースなどの頭部へのにつレヽても同様に本発明を構成することができる。このときィャリングゃヘアピースにおいて、顔の動きを考慮してィャリングやへァピース自体に動きや颜さなどを ϋ¾πし、より自然な表示を可能にすることでも本発明を構 β¾1 "ることができる。また個々の着^)のうち一つだけをとするのではなく、それらの組み合わせにつレヽても同様に本発明を構^- rることができる。

本樂明の第 2の例を、第 6図を参照しながら説明する。

第 6図〖した ik¾シミュレーション装置 2 0 2は、顔の 3次元形状と蘭特性の双方を計測すると、通常のカメラにより B像をして βし、この βした各 Μίϋ像へと { eを次合成する^ ¾とを行う。以下の説明では第 1の難例と異なる手段についてのみ詳¾1~ることとする。化粧手段 9は、 3¾fe 9f贿号 1 0 2、画言号 1 0 1、ィ匕麵乍信号 1 1 0を入力とし、計測した顔の上に化粧を施して、最終的にできあがった化粧をィ匕粧 3 »信号 1 1 1として出力する。化 »法については、ー且 2次 ¾«Β像を »して! ΐίΙΕ文献 1 1、 1 2、 1 3などに記載されている、画像へとィ b¾を施す雜を適用した後、逆に形状の対応する地点を求めることで構]^ ることができる。また 3次元 C ADなどのような操 ^^を構成してもかまわなレ、。一例を第 7図に。 3次元形状に特性をテクスチャマッピングし、適当な方向から眺めた画像を第 7図に示すようにコンピュータグラフィックスの»により生成する。パレット 1 2 6の中から適当な色とペン先を藤し、ペン 1 2 7によりィを施す（化鶴作信号 1 ι ο) 。 «作により各座衞立置におけるィを作成することができ、第 2図に示したように、点 Pにおける化難は、重心を中心として廳己 «面上へ鶴されることにより得られる点 Qの · ¾g ( s , t ) により、 3次状や特と同じ座標系により統一的に表現することができる。作成した化粧を化粧 3次元信号 1 1 1として出力する。

3次元モデルフィッティング手段 1 0は、 3次元形状信号 1 0 2、反射特 ΙΦί言号 1 0 1、フイツティング操 ί乍信号 1 1 2、顔標準 3次元モデノレ ·

号 1 6を入力とし、計測した 3次元織と、 ¾ff変化ノトルがつけられた顔の標準的な 3次元形状モデルとの間の関連づけを行い、相互間の関係を標準 3 ¾¾¾ フィッティング信号 1 1 3として出力する。本フィッティングは、電子す f«信学会研究速報 HC S 2 0 0 1— 3 2 「レンジフアインダを用いた表' ^ルと表情編集ツールの構^ j (以下、文献 1 8 ) でベられている 3次元形状間のが固できる。また計測データを用いて 2 像を一旦することにより、前述した文献 8や文献 9のような 2次元画像をとする手法でも本発明を構成することができる。このような対応付けを行う雜であれば何でも、本発明を構^ ることができる。

第 8図を用、ながら、フイツティングの一例を示す。顔標準 3次元モデル 1 2 8と、計測 3次元形^ータ 1 2 9との間の関連づけを、双方の右目の目頭や目尻を対応付けする右目対応付け操作 1 3 0や、口の左右端を対応付ける口対応付 n ^ 1 3 1などを^ ることにより、同一座標値をとるべき β点をる。対応付けられた顔標準 3次元モデル上の n個の »点 (x _{i 5} y；, _{Z i}) ^Tと、計測 3次 ¾^ータ上の対応する»点 (χ ;' , y_;' , ζ；' ) ^τがほぼ同一となるよう、次式が最小となるようなパラメータ aから ρまでを求める。

¾ ■ ヽ

¾

ΙΛ 1 1 ■ " 1

上記式では対応づけられた顔標準 3次元モデル上の各点は、計測 3 f ータ上の対応点とは完全には一致しない。そこで洛¾*点について、それぞれの

¾ ^である (Δ X Δ y j, Δ z 、即ち、x (a x ; +b y i + c z； + d) ， y j— (e x + f y j ' +g z；' +h) z j— ( i x j' + j y；' + k z；' + 1) ) 丁だけ更に移動させることで一致させる。御点の間に位 e- る座標点にっ、ては、ま 1¾応する基準点からの«に合わせて重み付けした残差だけ移動させる。

例えば第 7図の下側に示したように、右目目尻点 131、右目目頭点 132、右口端点 133により赚付けられる領域内の点 P 134の移動量を求める際、該点 P 134が図で示したような比率にて表される位置に配置されていた ¾ ^に、次式により移動量を求める。ここで q · rは 0から 1までの値をとる ^[であるとする。

1 Γ ) i 「 ίΑκ ヽ

^¾Θ

= (ト (l-d A¾a@¾a

、右 s目ノ

次に図 7の下側の三角形に垂直な方向

に移動し、測定データ点に完全に一致させる。以上の操作により得られた、パラメータ aから p、また顔標準 3次元モデル上の各頂点座標の移動量 (Δχ,¹, Λ 厶 Ζ ρ ¹) ^τ (Δχ_ρ ², Δγ_ρ ², Δ ζ_ρ ²) ^τを、標準 3次元フイツティング信号 113として出力する。これら〖こより、顔標準 3次元モデル上の点は全て計測データ上にマップされることとなる。また本難例に用いられる顔標準 3次元モデル〖こは、変形ノ "ルが付与されている。 "ルとは、目の開閉、口の開閉などの、人が行うことができる麦 if 変化にっ、て、 3次元モデル上の各座標点の移動量として制御可能なように定義されているものである。第 9図（a ) は、変形ノレのうちの、目の変形ノ "ルを模式図により示したものである。一番左が初期状態であり、目の開き量を与えることにより座標点の移動量が与えられ、あたかも徐々に目を細めてゆくような

Hiの動作を^ aして、ることを示している。

第 9図（ c ) は、一番左の目は計測した顔 3次元形状であるとし、本形状に顔標準 3次元モデルをフィットしたものの模式図が第 9図（b )である。この結果、フィッティングした顔標準 3次元モデルの險を閉じさせることにより、結果的に計測した顔 3次元形状の自然な変形が可能となる。第 9図（d) は、計測し S 3次元形状上へとテクスチャマッピングしたアイシャドウの模式図である。こちらにつ V、ても顔標準 3次元モデルの変形に伴っての変形が可能となる。

顔部品手段 1 1は、顔位置 ·向き信号 1 0 7、標準 3次元形状信号 1 0 2、測地照明基底信号 1 0 3、顔画像信号 1 0 6、標準 3次元フィッティング信号 1 1 3、顔標準 3 ¾fe¾モデ、 /レ ·変开ト/ 言号 1 1 6を入力とし、顔標準 3 次元モデルに対して ^ルに従つたを行レヽ、計測した 3 とその表面上の測地照明基底に麵を加える。この処理により、各表情（例えば、瞼を閉じた表情、瞼を開いた表情、瞼を半分閉じた表魔など）に対応した複数の 3次元形状が得られる。

その後、储情に対応した 3次元織それぞれに、その 3次元形状に対応する測地照明基底を構成する複数の固有べクトル

ft}

をコンピュータグラフィッタスの手法により貼り付け、各麦 |·青に対応するテンプレートを作る。その後、各テンプレートと顧像とを比較して最も像に近いテンプレートを選択することにより ¾ fの変化量を推定し、顔部品麵$信号 1 1 4として出力する。第 9図（c ) は、第 9図（a ) にある標準 3次元モデルを変形させることによって得られる瞼を閉じてゆくテンプレートである。

化粧画手段 1 2は、 3次元开娥信号 1 0 1、 . '向き信号 1 0 7、ィ次元信号 1 1 1、顔部品変形信号 1 1 4を入力とし、最初に施した化粧を画像にフィットするよう «した画像をして、化粧画像信号 1 1 5として出力する。顔 · { 合戯示手段 1 3は、讓像信号 1 0 6とィ bffi画像信号 1 1 5とを入力とし、ィ匕粧画像を麵ィ肚にオーバーレイすることによりィ後の画像を «して表示する。

第 1 0図（a ) に入力となる像例、同図（b) に化粧画像例、同図（c ) に合成画像例を示す。合成画像はそのまま表示することもできるし、左右を反転させることによりあたかも鏡に写したかのように示すこともできる。また上記顔 .ィ匕粧合^ ¾示手段 1 3では {tig画像を B像にオーバーレイすると ΙΚίした力化粧画像に透明度をつけて合成することにより、より自然な合成画像を得ることもできる。

顔標準 3次元モデル ·変形 Λ~ル記憶手段 1 4は、'表情などにより生じる顔の麵ノルを付随した顔標準 3次元モデルを記憶しておき、随時顔標準 3次元モデル ·変形ノ！言号 1 1 6として出力する。

識媒体 Κ 2は、ディスク、 ^体メモリ、その他の言撮媒体であり、コンビュ一タを i liシミュレーション装置 2 0 2として機能させるためのプログラムが言藤されている。このプログラムは、 ftffiシミュレーション装置 2 0 2により読み取られ、その動作を制御することで、イ^ ftシミュレーション装置 2 0 2上に、 3次元开特 14計測手段 1、測地照明基錄出手段 2、顔位置'向き手段 6、手段 9、 3次元モデ、ノレフィッティング手段 1 0、顔部品変定手段 1 1、

1 3を難する。

上記例で〖壞の位置と向きを検出するための手段として、前述した文献 1 5記載の測地照明基底法を用いて説明したが、精度良レ置 '向き推定施であれば何でも本発明を構]^ rることができる。同様に顔部品 »^段にっレ、ても前述した文献 1 5記載の測 β明基底法を拡張する形にて記載したが、顔部品を推定するであれば何でも本発明を構成することができる。また、以上の説明は、カメラ 5から出力される 1フレーム分の MM像信号 1 0 6に ¾ "るものであり、した動作と同様の動作が、 ffi®像信号 1 0 6を構^ 1~る各フレームに対して順次行われる。

また上記 »例ではとして説明したが、顔への^ンティングにつ、ても同様に本宪明を構^ ることができる。

これまで B職などの頭部への着と化粧とは別の建例として説明してきた力 s、これらの組み合わせについても同様に本樂明を構成することができる。

本発明によれば、目騰ゃイヤリング、帽子、ヘアピースなどの頭部への着難ゃィ ffiなどを、実際に i *装ゃィ [^などしていない状態でした像へと違和感なく合成する画像合^^去、装 «¾ひ IB憶手段を難することが可能となる。次に、前述の眼鏡シミュレーション装置 2 0 1及匕粧シミュレーション装置 2 0 2力 S適用されるコンピュータシステムの構成例を第 1 1図に基づき説明する。第 1 1図に示すコンピュータシステム 3 0 0は、ノス 3 1 0と、このバス 3 1 0に «される各構成要素として、システム内の情報処理を担う C P Uなどのプ口セッサ 3 2 0、メインメモリ 3 3 0、 ROM (リード 'オンリー'メモリ） 3 4 0、ディスクコントローラ 3 5 0、ディスプレイコントローラ 3 6 0、入力デパイス 3 7 0、及びカメラ用インターフェース 3 8 0を有する。

メインメモリ 3 3 0は、例えば RAM (ランダム ·アクセス 'メモリ）や他のダイナミック ·ストレージ ·デバイス（例えば、 DRAM, S RAM等）から構成され、プロセッサ 3 2 0により Hfiされるプログラムの命^ H青報を線内し、またプロセッサ 3 2 0によるプログラムの命令実行中に一時的に生成される変数や他の中間的情報を格納し得るものである。

ROM3 4 0は、例えばスタティック *ストレージ ·デバイス（例えば、 PR OM、 E PROM、 E E P ROM等）で構成され、プロセッサ 3 2 0で麵される固定情報^令を ^frrる。

ディスクコントローラ 3 5 0には、 HDD (ハードディスクドライフ 1 5 1 及び/又はリムーバブルメディアドライブ（磁気ディスク、光ディスク、光磁気ディスクなど） 1 5 2が接続される。 HDD 3 5 1及び/又はリムーバフィスク 3 5 2は、ディスクコントローラ 3 5 0により »され、プロセッサ 3 2 0 で処理される各種情報^令を糨内する。

ディスプレイコントローラ 3 6 0には、例えば CRT (Cathode Ray Tube) や液晶ディスプレイ等のディスプレイ 3 6 1がされる。ディスプレイ 3 6 1は、ディスクコントローラ 3 6 0により 1¾1され、プロセッサ 3 2 0から^された各衝雜、麵を表示する。入力デバイス 3 7 0は、例えばキーボード 3 7 1ゃポインティングデバイス（マウス等） 3 7 2などで構成される。入力デ、ノイス 3 7 0は、ユーザ操作により入力、指示、選択等される各種†f# ^令をプロセッサ 3 2 0に送る。

カメラ用ィンターフェース 3 8 0には、例えば所格の通信ィンターフェ一ス（摘、無線のいずれでも採用できる）力 S搭載され、該通信インターフェースを介し、は CMO S型の固 ί極から構成されるカメラ 3 8 1 力 S される。カメラ 3 8 1で撮像された画像信号は、カメラ用インターフエ一ス 3 8 0を介して取り込まれる。

上記コンピュータシステム 3 0 0により実行されるプログラム（O S 3 9 1、画 »理プログラム 3 9 2等） 3 9 0は、例えば R OM 3 4 0、ハ一ドディスク 3 5 1などのシステム內の 15録媒体に格納され、プロセッサ 3 2 0により実行される。このプロセッサ 3 2 0によるプログラム 3 9 0の命令実行により、前述した本発明の段がされる。

なお、本発明は、代表的に例示したの鍾例に P胺されるものではなく、当餘であれば、特識求の範囲の記載内容に基づき、その要旨を舰しない範囲内で種々の«に変形、変更することができ、それらも本発明の衞 U範囲に属するものである。

産 Hiiの利用可能性

以上のように、本発明は、コンピュータシステムを利用した眼鏡シミュレーション装置、化粧シミュレーション装置などの用途に適して、る。

Claims

請求の範囲

1 . 人物の顔の 3次状を計測する工程と、

¾|十測した 3次元形状に目赚をブイッティングする工程と、

ΙίίΐΒ人物の顔をした画像中の顔の位 g¾び向きを推定する工程と、該推定した顔の位 «ぴ向きを利用して画像中に目驗を、顔に^ ¾1 "るよう生成して表示する工程とからなることを W [とする頭部着画像合 fifcm

2. 人物の顔の 3次 ϋとそのとを計測する工程と、

m- した 3次元形状に目赚をブイッティングする工程と、

ItifS人物の顔をした画像中の顔のィ立 ¾¾ぴ向きを fllB 3次元形状と ftllB反射 †生とを利用して推定する工程と、

該推定した顔の位厳び向きを利用して画像中に目騰を、顔に^ rるよう生成して表示する工程とからなることを^:とする頭部^ »画像合

3. 請求項 2記載の頭部画像合去にぉヽて、

ia人物の顔を Stした画像中の顔の位 §¾ぴ向きを 3次元形状と特性とを利用して推定する工程の代わりに、

ttna 3次元形状と itiiBCT"特 !■生とからあらかじめ様々な^ 及ぴ照明^ ί牛下での顔の位 e¾ぴ向きを推定するための基底をる工程と、

該基底を利用して画像中の顔の位 6¾ぴ向きを推定する工程とを含むことを特徴とする頭部画像合^法。

4 · 請求項 1乃至 3記載の頭部画像合戯法にぉレヽて、

tfflB人物の顔をした画像中の顔の位 ¾¾ぴ向きを推定する工程と、

定した顔の位置及び向きを利用して画像中に眼鏡を、顔に合るよう生成して表示する工程とを聽して行うことを赚とする頭部画像合

5. 請求項 1乃至 4曾己載の何れか 1つの頭部画像合^^法にぉレヽて、廳己目騰の代わりに、イヤリング、帽子、ヘアピース、またはその他の頭部へのあるレ、はそれらの組み合わせを画像へと合财ることを赚とする頭部画像合去。

6. 請求項 2乃至 5諫の何れか 1つの頭部^ ¾画像合去にお、て、觸己特の代わりに、陰が少なヽテクスチヤ画像を用!/ヽることを赚とする頭部^ 画像合法。

7. 人物の顔の 3次^状を計測する工程と、

-mした 3次元形状に化粧を施す工程と、

あらかじめ »する変^^ "ルが付帯した顔標準 3次元形状を IfJl己計測した 3 次元形状にあてはめる工程と、

tfit己人物の顔をした画像中の顔の位 gaぴ向きを推定する工程と、 tiiia画像中の顔の ¾t青変化を推定する工程と、

tftiat^した顔の位置、向き、及び表情変化を利用して画像中にィを、顔に ^it るようして表示する工程とからなることを mとする i ¾画像合法。

8. 人物の顔の 3次 9 状とその Sit特 14とを計測する工程と、

該計測した 3次元形状に化粧を施す工程と、あらかじめ^する^ i^ "ルが付帯した顔標準 3次元形状を l己計測した 3次 ^状にあてはめる工程と、

Mia人物の顔を »した画像中の顔の ί立 ¾¾ぴ向きを tfit己計測した 3次元开^ と特 ftとを禾して推定する工程と、

tins画像中の顔の表情変化を推定する工程と、

漏己推定した顔の位置、向き、及び表情変化を利用して画像中にィを、顔に ^¾ι~るようして表示する工程とからなることを «とする ^¾画像合^^ 法。

9 . 請求項 8記載のィ ffi画像合去にお Vヽて、

t&ia人物の顔をした画像中の顔の位 ¾Rび向きを 3次元形状と特 f生とを利用して推定する工程の代わりに、 Ιίίΐ己 3次元形状と tiff己 Sit特性とからあらかじめ様々な ^及び照明^ ί牛下での顔の位 s¾び向きを ii¾するための基底を生^ る工程と、

該基底を利用して画像中の顔の位 s&ぴ向きを推定する工程とむことを特徴とする化粧画像合法。

1 0. 請求項 8記載の化粧画像合 ^^法にぉレゝて、

Itlf己人物の顔をした画像中の顔の表情変化を推定する工程の代わりに、 tff!B計測した 3次元开娥と Sit特とからあらかじめ様々な ^^及び照明条件下での顔の位 ¾¾ぴ向きを推定するための基底を^ ¾する工程と、

該基底と ^^トルが付帯した顔標準 3次 ¾ 状とを利用して画像中の顔の表情変化を推定する工程とむことを赚とするィ画像合。

1 1. 請求項 8乃至 1 0記载の何れか 1つのィ画像合法にぉレヽて、漏己碰特性の代わりに、陰が少ないテクスチャ画像を用いることを赚とする^ f K画像合 ^fcW去。

1 2. 人物の顔の 3次元形状を計測する 3次状計測手段と、

^f 測した 3次元形状に選択した眼鏡をフィッティングする眼^ 1»ぴフィッ卜手段と、

IfJlB人物の顔を »した像中の顔の i tt¾ぴ向きを推定する顔位 ¾¾び向ぎ推定手段と、

該推定した顔の位 ¾¾び向きを利用して、 K ^を ¾®像中の顔に^！^するように配置した g纖画像をる目赚爾 «手段と、

m m .と Ι&ΕΒΜ^Β像とを合成して表示する厳び合戯示手段とからなることを mとする頭部面像合成装 ^

1 3. 人吻の顔の 3次元形状とその Rlt特性とを計測する 3次元形特 ft計測手段と、

則した 3 «形状に選択した職糞をブイッティングする眼 H¾びフィット手段と、 ttilB人物の顔をした像中の顔の位 S¾び向さを fif!B 3次元形状と tiff己 Sit特とを利用して推定する顏ィ ¾¾ぴ向き推定手段と、

該推定した顔の位 ¾¾ぴ向きを利用して、目贜を麵像中の顔に^ rるように配置した 8騰画像を^する目赚画手段と、

ΙίίΙΜ像と tfilB目驗画像とを合成して表示する厳ぴ目合戯示手段とからなることをとする頭部着 »画像合

1 4. 請求項 1 3記載の頭部画像合成装置にぉレヽて、

位 §¾ぴ向き手段の代わりに、

tfifB 3次元形状と生とからあらかじめ様々な ^及び照明条件下での顔の位 ¾¾ぴ向きを推るための測地照明基底を^ rる測地照明計算手段と、該基底を利用して像中の顔の位 s¾ぴ向きを推定する顔位 «¾ぴ向き推定手段と^"むことを «とする頭部画像合離¾ 1 5. 請求項 1 2乃至 1 4記載の何れか 1つの頭部面像合成装置にぉレ、て、

t!iism位 ¾¾ぴ向き推定手段と、觸己 g赚画成手段と、 tfrlBM¾ひ赚合 sg¾示手段とをして行うことを«とする頭部画像合成装 1 6. 請求項 1 2乃至 1 5記載の何れか 1つの頭部画像合成装置にぉ、て、

tfif己眼鏡の代わりに、イヤリング、 Φ冒子、ヘアピース、またはその他の頭部への »»、あるいはそれらの組み合わせを画像へと合 j ^ることを s [とする頭

1 7. 請求項 1 3乃至 1 Θ記載の何れか 1つの頭部画像合成装置にぉレ、て、

tiilBR†特性の代わりに、陰の少ないテクスチャ画像を用いることを赚とす 1 8 · 人物の顔の 3 状を計測する 3 状計測手段と、

i した 3次元形状にィ ffiを施す化被手段と、

あらかじめ! る^¹さノレが付帯した顔標準 3次元形状を記 111"る顔標準

3次元モデル及 «形/トル記憶手段と、

m 3次元モデルを ΙίίΙΕ計測した 3次 5¾F$状へとあてはめる 37火元モデルフィッティング手段と、

tin己人物の顔をした SM像中の顔の位 ¾¾ぴ向きをする顔 ί立 ¾¾ぴ向ぎ推定手段と、

β像中の顔の表情変化を推定する顔部品変«定手段と、

MI己推定した顔の位置、向き、及び ¾·ϋ変化を利用して、 tfitaftiffi手段で施した化粧を tie®像中の顔にるように変形したィ^»画像をする be画 «手段と、

tiiiass像と廳己 iwa画像とを合成して表示する厳合戯示手段とからなることを赚とする化粧画像合成装氍

1 9. 人物の顔の 3次元形状とその特性とを計測する 3次状計測手段と、

¾|十測した 3次元形状に化粧を施す化粧手段と、

あらかじめ i¾t"Tる «/ ルが付帯した顔標準 3次元形状を記 Hi"る顔標準 3次元モデル及形/！ ^"ル記憶手段と、

m w 3次元モデルを fna計測した 3次^^へとあてはめる 3次元モデルフィッティング手段と、

l己人物の顔を撮影した画像中の顔の位 ¾¾ぴ向きを ilB計測した 3次元形状と特性とを利用して推定する顔位び向き手段と、

麵像中の顔の表情変化などを ti^ る顔部品舰維定手段と、

鍵己推定した顔の位置、向き、麦 If変化を利用して、 I&I己ィ bffi手段で施した化粧を廳 »ί像中の顔に^ るように変形した {ttt画像を«するィ画数成手段と、

m m と tfr e画像とを合成して表示する合戯示手段とからなることを赚とする化粧画像合麟

2 0. 請求項請求項 1 9記載のィ ffi画像合離置にぉレ、て、

tfrfs 位 «¾び向き推定手段の代わりに、

廳己 3次元形状とと力らあら力じめ様々な^ ^及び照明条件下での顔の^ m¾ぴ向きを推定するための測地照明基底を «■する測地照明基 JS^出手段と、

該基底を利用して β像中の顔の位び向きを推定する顔位 ¾¾ぴ向き推定手段とを含むことを赚とする化粧画像合成装 fc 2 1 . 請求項 1 9記載の化粧画像合^ ¾置におレヽて、

ftJlBffi部品変开 ^^手段の代わりに、

廳己計測した 3次元开狱と KM特性とからあらかじめ様々な錢及ぴ照明^ (牛下での顔の位 E¾び向きを推定するための測: 明基底を生成する測地照明基底算出手段と、

HUBS底と変形/トルが付帯した顔標準 3次状とを利用して B像中の顔の麦変ィ匕を推定する顔部品手段と ^^むことを赚とする化粧画像合成装

2 2. 請求項 1 9乃至 2 1記載の何れか 1つの fMf像合成装置にぉレヽて、

陰の少ないテクスチャ画像を用いることをとする據画像合離齓

2 3. コンピュータに、人物の顔の 3 ^开を計測する工程と、

^測した 3次元形状に目纖をブイッティングする工程と、

ttHB人物の顔を βした画像中の顔の位 ¾¾ぴ向きを推定する工程と、該推定した顔の位 8¾ぴ向きを利用して画像中に目騰を、顔に^ ¾1~るよう生成して表示する工程とを亍させるためのプログラム。

2 4. コンピュータに、人物の顔の 3次¾ ^状とその Sit特 I"生とを計測するェ程と、 ^f 測した 3次元形状に目赚をフィッティングする工程と、

fits人物の顔を娜した画像中の顔の位艱ぴ向きを 3次元赚と ftes 射特性とを利用して推定する工程と、

該推定した顔の位ぴ向きを利用して画像中に B赚を、顔にるよう生成して表示する工程とを亍させるためのプログラム。

2 5. 請求項 2 4記載のプロダラムにぉヽて、

IfflB人物の顔をした画像中の顔の位 g&ぴ向きを 3次元形状と ^"特 I·生とを利用して推定する工程の代わりに、

tfj|B3次元形状と tiitBSl†特性からあらかじめ様々な^ ^照明条件下での顔の位 g¾ぴ向きを推定するための基底を^ rる工程と、

該基底を利用して画像中の位 ¾¾ぴ向きを推定する工程とを含むことをとするプログラム。 2 6. コンピュータに、人物の顔の 3次元形状を計測する工程と、

^測した 3次元形状に化粧を施す工程と、

あらかじめる^^ ルが付帯した顔標準 3次元形状を肅己計測した 3 次元形状にあてはめる工程と、

ItflB人物の顔をした画像中の顔の位 g¾び向きを推定する工程と、画像中の顔の表情変化を推定する工程と、

ttna推定した顔の位置、向き、及 u¾情変化を利用して画像中に化粧を、顔に ^•Sr るよう^^して表示する工程とを紫亍させるためのプログラム。 2 7. コンピュータに、人物の顔の 3次元形状と sit特 ι·生を計測する工程と、 mmした 3次元形状にを施す工程と、

あらかじめ i¾fする ^ルが付帯した顔標準 3 ^状を tot己計測した 3 次元形状にあてはめる工程と、

tiff己人物の顔をした画像中の顔の位 ¾¾ぴ向きを ΙίίΙΒ計測した 3 ^形状と特 I生とを利用して推定する工程と、

画像中の顔の ¾f青変化を推定する工程と、 ΙϋΙΒ推定した顔立置、向き、表情変化を利用して画像中に f Kを、衝こするよう^^して表示する工程とを菊亍させるためのプログラム。

2 8. 請求項 2 7記載のプログラムにおいて、

tin己人物の顔をした画像中の顔の立び向きを 3次 ¾ 状と ^ 1·生とを利用して推る工程の代わりに、

ifjiE 3 ^^状と tifiasit特とからあらかじめ様々な^ 照明条件下での顔の位 ¾¾ぴ向きを推定するための基底を «する工程と、

該基底を利用して画像中のィ ig¾び向きをする工程とを含むことを mとするプログラム。