JP5656603B2 - 情報処理装置、情報処理方法、およびそのプログラム - Google Patents

Description

本発明は、対象者に合わせたバランスのよい化粧を対象者自身で行うための情報処理装置に関する。

従来、化粧の仕方は、販売員やメイクの講師に教えてもらったり、雑誌やインターネットで調べたりすることで覚えていた。近年、化粧を支援する方法として、顔画像に見本となる理想的な化粧ラインを重畳表示し、それをトレースすることで化粧支援を行うものが考えられている。

特開２０１０−７３００８号公報 特開２００１−２１６３８６号公報

Ｃ．Ｐ．Ｐａｐａｇｅｏｒｇｉｏｕ，Ｍ．Ｏｒｅｎ，ａｎｄ Ｔ．Ｐｏｇｇｉｏ，Ａ ｇｅｎｅｒａｌ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．５１１−５６２，１９９８． Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ，Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．８８６−８９３，２００５． Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｓｔｅｐｈｅｎｓ，Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ， Ｐｒｏｃ．４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ，ｐｐ．１４７−１５１，Ｍａｎｃｈｅｓｔｅｒ，Ｕ．Ｋ．，Ａｕｇ．１９８８．

特許文献１では、見本となる理想的な化粧ラインを変更できるように、見本画像を取り込む手段を持っている。

特許文献２では、入力した顔画像に対して見本画像を重ねて合成するとともに、化粧の塗り方に関するアドバイスの表示も行う。

化粧を修正する方法としては、化粧を部分的もしくは全部落とす方法、ファンデーションなどを重ねることで隠す方法、見本自体を変更して化粧を続ける方法が考えられる。まず、化粧を全部落とす場合、一旦全部落として再度化粧するということはかなり手間がかかる。次に、化粧を部分的に落とす場合とファンデーションなどを重ねて隠す場合、淡い色のわずかなずれを除いては、色むらができやすく、きちんと修正するのは素人では難しく手間もかかる。最後に見本自体を変更する場合は、化粧を続けることが可能な見本が存在している必要がある。

しかしながら、上記の方法では、理想ラインが基本的には固定であり、化粧中に、見本とずれた場合に修正に手間がかかるという課題があった。

また、理想ラインが存在する場合、個人差による理想ラインの違いを考慮していない、という課題があった。本来、人は個人により顔のパーツの配置や形状が異なり、顔は完全な左右対称ではない。このように個々により違う配置や形状を持つ顔に対して、ある見本を用意し、それを個人の顔に適用したとしても、それがその個人にあったよい化粧であるとは限らない。

上記課題を解決するため、本発明は、バランスのよい化粧を行うことに着目することで、修正の手間を軽減し、個人に合ったバランスのよい化粧を支援する装置を提供することを目的とする。

上記の目的は以下の装置によって達成される。
人物の顔を含む映像を撮像する撮像手段と、前記撮像した映像から複数の部分領域を抽出する抽出手段と、前記抽出した複数の部分領域の各々の評価値を算出する評価手段と、前記算出された評価値の各々を互いに比較することにより、バランス補正値を算出する算出手段と、前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成手段と、前記バランス補正情報を出力する出力手段と、前記人物ごとの評価値の履歴を好適バランス情報として記憶する好適バランス情報記憶手段とを有し、前記算出手段が、前記好適バランス情報に基づいて、前記バランス補正値を算出することを特徴とする情報処理装置。

本発明による化粧バランス支援装置では、修正の手間を軽減し、かつ個人に合ったバランスのよい化粧が可能となる。

第一の実施形態に係る情報処理装置の構成を示す図である。 第一の実施形態に係る情報処理装置の処理を示す図である。 第二の実施形態に係る情報処理装置の構成を示す図である。 第二の実施形態に係る情報処理装置の処理を示す図である。 第一の実施形態における評価部１０３にて評価値の算出例１を示す図である。 第一の実施形態における評価部１０３にて評価値の算出例２を示す図である。 第三の実施形態における評価部１０３にて評価値を算出例を示す図である。 第一の実施形態にて説明する算出部１０４にて髪型を含めたバランス補正を行う際のバランス補正情報の出力例を示す図である。 第一の実施形態にて説明する算出部１０４にてファッションを含めたバランス補正を行う際のバランス補正情報の出力例を示す図である。 第一の実施形態にて説明する出力部１０６にて、バランス補正情報として補正すべき情報を重畳した画像の出力例を示す図である。 操作部２０４にて対象者が好みの化粧を設定する際に、表示するユーザ・インタフェースの一例を示す図である。 コンピュータの構成例を示す図である。

以下、添付図面を参照して本発明を実施形態に従って詳細に説明する。

〔第１の実施形態〕
（概要）
本実施形態に係る情報処理装置は、化粧をする際に、化粧による外見のバランスを改善するためのバランス補正情報を出力する。本実施形態に係る情報処理装置は、まず人物の顔を含む映像をカメラで撮像する。そして、カメラで撮像した映像から、部分領域を抽出する。そして、その複数の部分領域に基づいて複数の部分領域の評価値を算出する。そして、その評価値からバランスを改善するためのバランス補正値を算出し、そのバランス補正値を出力部に出力する。

（構成）
図１は本実施形態に係る情報処理装置の概略を示す図である。図１に沿って、本実施形態の情報処理装置の構成を説明する。情報処理装置は、撮像部１０１、抽出部１０２、評価部１０３、算出部１０４、生成部１０５、出力部１０６から構成されている。

撮像部１０１は、対象者の顔を含む映像を撮像する。図１において撮像部は１つであるが、特に１つに限定せず、複数持っていてもよい。複数持つことにより、奥行きの情報を得ることができ、３次元に拡張することが可能となる。

抽出部１０２は、撮像部１０１から送られる映像から、部分領域とその部分領域情報を抽出する。本実施例では、部分領域とは顔領域およびパーツ領域である。パーツとは、目、眉、鼻、口、頬などの顔の一部分を指す。部分領域情報は、顔領域やパーツ領域の位置、形状、色の情報である。

顔領域およびパーツ領域の抽出は、例えばＨａａｒ−ｌｉｋｅ特徴量（非特許文献１参照）やＨＯＧ特徴量（非特許文献２参照）などの手法を使用する。また、顔領域の抽出に関しては肌色検出などの簡易な手法でも可能である。また、対象者に顔領域を入力してもよい。化粧領域の抽出は化粧をしていない状態との差分にて求めることができる。

化粧をしていない状態との差分を求める際には、化粧をしていない映像と現在の映像との対応付けをする必要がある。特徴点の対応付けの方法は、例えば、対応付けたい２枚の画像に対して、Ｈａｒｒｉｓ作用素（非特許文献３参照）などの特徴点抽出フィルタにより特徴点を抽出する。例えば、各点を中心とする局所領域間の正規化相関値に基づいて相関の高い２点を対応させることで対応付けが可能である。

評価部１０３は、抽出部１０２で抽出したパーツ領域の評価値を算出する。評価値とは、各パーツ領域の各々の特徴を評価する値である。例えば、どの程度、外見のバランスが悪いかを表す値になる場合もあり、例えば、パーツごとの回転、大きさ、形状、位置、色分布などや、それらの組み合わせにおいてバランスを表す。

評価値を求める方法として、例えば、図５のように評価値を算出するために基準となる基準テンプレートを用意する。抽出部１０２で抽出したパーツの特徴点を抽出する。そして、用意した基準テンプレートの対応するパーツの特徴点との対応付けを行う。更に、基準テンプレートに対しての回転度θ、倍率α、変形度βを算出し、位置Ｐｘ、Ｐｙを取得し、それらを評価値とする。変形度βは例えば、変形の仕方を見るためのアフィン変換パラメータである。

例えば、図５のように左目の評価値を算出する例を考える。まず、目頭と目尻を抽出し、線で結ぶ。この線とテンプレートの同様の線との傾きの差が、回転度θとして算出できる。次に、目頭と目尻を結ぶ線の垂直二等分線を求め、目の輪郭との接点を求めることで、目の幅と高さを算出できる。これらとテンプレートの目の幅と高さから、目の幅と高さの倍率α_ｗ、α_ｈが算出できる。目頭と目尻、そしてそれらを結ぶ線の垂直二等分線と目の輪郭との２つの接点を求める。これらの点の位置をアフィン変換前の値とし、テンプレートにおける同様の点の位置をアフィン変換後の値とすることで、変形度であるアフィン変換パラメータβが算出できる。

基準テンプレートを使用しない方法として、例えば、図６のように、抽出部１０２で抽出したパーツのうち、左右で対応するパーツがあるパーツに関しては、片側のパーツを反転させ、逆側のパーツと比較する。例えば、すでに述べた方法と同様の方法で逆側のパーツに対しての回転度θ、倍率α、変形度βを算出し、位置Ｐｘ、Ｐｙを取得する。左右で対応するパーツがないものに関しては、そのパーツの中心線を求め、現在の顔の中心線に対しての回転度θ、中心線の片側を左右反転させたものの逆側に対する倍率α、変形度βを算出し、位置Ｐｘ、Ｐｙを取得し、評価値とする。

このとき、顔の中心線は、抽出部１０２にて抽出した顔領域およびパーツの位置から求める。顔の中心線の求め方は、例えば、中心線の左右にある顔の領域ができるだけ同じ面積になるように分ける直線を算出してもよいし、中心線と左右のパーツの位置までの距離ができるだけ同じになるように分ける直線を算出してもよい。パーツの中心線についても、同様に例えば、パーツの中心線の左右で、パーツの領域ができるだけ同じ面積になるように分ける直線を算出することで求まる。

算出部１０４は、その算出した評価値が、例えば左右対称になるように外見のバランスを補正するための、バランス補正値を求める。

バランス補正値とは、化粧を施すことで、外見のバランスがとれた状態になるようにするために、化粧を追加もしくは更新すべき領域での補正量を示す値で、回転、大きさ、変形、色などの値がある。各パーツにつき、例えば、バランスのとれた左右対称になるように、それらの値を求める。

左右のパーツでそれらの位置が非対称である場合、大きさや変形の補正値に含ませて補正することもできる。例えば、顔の中心線から眉の位置までの間隔が左右で違う場合、顔の中心線から眉の位置までの間隔が大きいほうの眉の幅について補正する大きさ、ここでは補正する眉の幅を、顔の中心線から逆側の眉と同じ間隔になるような補正量にする。これにより、補正することができる。化粧を追加して補正する場合の例は、片側にチークが塗られた場合などである。

バランス補正値として、逆側の頬に、例えば左右対称となるように、化粧を施す部位の、位置、大きさ、形、色の値を算出する。化粧を更新して補正する場合の例は、先にも挙げた眉など、既にあるものを現在の状態からさらに上書きする場合などである。バランス補正値として、逆側の眉を、例えば左右対称となるように、位置、大きさ、形、色の値に更新する。なお、バランスの補正は左右対称になることだけに限定しない。評価値で算出した位置や位置の差分を利用して、顔の中心線からの距離で評価値に対する重みを変え、重み付きの左右対称を算出するように使用することもできる。

こうすることで、化粧だけでなく、髪型などまでを含んだバランスを考えることも可能である。例えば、図８で図中（ａ）の顔のようにもともとの顔の輪郭が対称でなく片側が広くなっている歪みを持つような場合、あえて、髪型のバランスに偏りをもたすことで、全体としてバランスがよくなる。この場合、算出部１０４は、髪も含む評価値から、バランス補正値を算出する。髪の補正値に関しては、パーツ同様に、補正する大きさや変形度などの値を求めてもよい。

しかし、髪の補正は化粧ほどの正確性は求められない上に、正確に算出してもその通りに実現するのは非常に困難なので、左右をどの程度の割合にするか、前髪を分ける場合は割合をどうするか、などの値を大まかに表示だけでもよい。バランス補正値を算出する際に、化粧の重みに対して、髪型を低い重みで扱うことで、髪型については化粧に比べて大まかな値で扱うことが可能となる。

さらに、ファッション、服装、装飾品等に関してのバランスを考えてもよい。図９で図中（ａ）のように、化粧のバランスがとれていて、髪型に偏りがある場合、逆側にアクセントがあると、バランスがよくなる。この場合、バランスをよくするアドバイスとして、ファッション関するアドバイス、例えば、逆側の肩にリボンなどのアクセントのある服を着る、逆側の目元にラメを追加する、などの指示を出す。

ファッションについての指示も髪型同様に、厳密な値より目安となる程度の指示がよいと思われるので、どの辺りにどの程度の何を追加するか、というような簡易な指示がよいと思われる。バランス補正値算出の際に、化粧の重みに対して、髪型同様にファッションを低い重みで扱うことで、ファッションについて、化粧に比べて大まかな値で扱うことが可能となる。

生成部１０５は、バランス補正値に基づいて、バランスを改善するためのバランス補正情報を生成する。バランス補正情報が画像である場合、以下のようになる。算出部１０４にて算出したバランス補正値に基づき、図１０（ｂ）のようなバランス補正画像を生成する。生成したバランス補正画像と撮像部１０１で撮像した映像とを顔の部位の位置を合わせて重畳する。位置合わせは、例えば、バランス補正画像の目の位置と撮像した画像の目の位置が一致するように行う。

このような方法で、図１０（ａ）（ｂ）の２つの画像を足し合わせ、図１０（ｃ）のように重畳した画像を作成する。バランス補正重畳画像を作成する際は、バランスが取れるような補正位置、補正量を強調して作成してもよい。また、左右の色の濃淡に差がある場合など、現在の色の濃淡を数値的に表して、画像に表示してもよい。
出力部１０６は、生成された補正情報を、例えば表示部に、出力する。

なお、生成部１０５は画像を生成することに限定しない。例えば、補正手法を音声による案内の情報として生成し、出力部１０６が、出力してもよい。また、補正情報をロボットに送信して、補正指示のとおりにロボットが補正を行ってもよい。

対象者は、出力部１０６で出力した補正情報を確認して、化粧を行う。対象者が新たに化粧を行うと、撮像部１０１にて再度撮像を行って出力部１０６にて補正情報を出力するまでの前述した処理を繰り返し行う。補正情報は一定時間ごとに更新される。

（処理）
続いて、図２に示したフローチャートを用いて、本実施形態の情報処理装置が行う処理について説明する。

対象者の顔が撮像部１０１により撮像される範囲に入った状態にてステップＳ１００にて処理が開始される。この説明では化粧をしていない状態からの処理開始について説明する。

ステップＳ１０１では、撮像部１０１による顔映像の撮像が行われる。その撮像した映像が抽出部１０２へと送られると、処理はステップＳ１０２へと進む。

ステップＳ１０２では、抽出部１０２において、撮像部１０１により送られる映像より、顔領域やパーツ領域などの部分領域が抽出される。その抽出した部分領域が評価部１０３に送られると、処理はステップＳ１１０へと進む。

ステップＳ１１０では、抽出部１０２により送られる顔領域やパーツ領域などの部分領域が評価部１０３へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップＳ１１１へと進む。

ステップＳ１１１では、評価部１０３において、抽出部１０２により送られた部分領域より、部分領域の評価値を算出する。その評価値が算出部１０４に送られると、処理はステップＳ１１２へと進む。

ステップＳ１１２では、算出部１０４において、評価部１０３により送られる評価値より、バランスを改善するためのバランス補正値を算出する。その算出したバランス補正値が出力部１０６に送られると、処理はステップＳ１１３へと進む。

ステップＳ１１３では、生成部１０５において、算出部１０４により送られるバランス補正値より、バランス補正画像を生成すると、処理はステップＳ１１４へと進む。

ステップＳ１１４では、生成部１０５において、撮像部１０１により送られる映像とバランス補正画像とを重畳し、バランス補正重畳画像を生成すると、処理はステップＳ１１５へと進む。

ステップＳ１１５は、出力部１０６において、バランス補正重畳画像を表示部に出力する。表示部にバランス補正重畳画像が表示されると、処理はステップＳ１１６へと進む。

ステップＳ１１６では、バランス補正量設定処理ステップが終了し、処理はステップＳ１０３へと進む。

ステップＳ１０３では、出力部１０６よりバランス補正重畳画像が実際の人物の顔の向き等に応じて実時間で追従して表示されたこと受け、対象者である人物は化粧を開始し、処理はステップＳ１０４へと進む。

実際には、化粧前であるこの時点では、対象者が歪み等のバランスの不均等さを持たない場合、補正すべき情報は表示されておらず、出力部１０６には対象者の顔の画像が表示されているのみである。本装置は、部分的に化粧が施されてから、よりよいバランス状態へ導くために、補正すべき情報を提示することを目的としている。

ステップＳ１０４では、撮像部１０１による顔映像の撮像が再度行われる。その撮像した映像が抽出部１０２へと送られると、処理はステップＳ１０５へと進む。

ステップＳ１０５では、抽出部１０２において、撮像部１０１により送られる映像より、顔領域やパーツ領域に加え、化粧領域などの部分領域が抽出される。その抽出した部分領域が評価部１０３に送られると、処理はステップＳ１１０へと進む。

ステップＳ１１０内での処理はすでに述べたものと同様で、化粧領域が部分領域に追加されていることのみが違い、その違いのため、ステップＳ１１０内の終了時の処理ステップＳ１１６で表示されるバランス補正重畳画像は異なる。

バランス補正重畳画像が更新される際、更新には、以下２つの内容を含む。１つは、前回表示したバランス補正重畳画像の通りに対象者が化粧を施したことにより、化粧が施された箇所の補正量は補正済みのためになくなり、まだ化粧を施されていない補正箇所の補正量のみが補正すべき箇所として表示されるように更新することである。

このとき、今回と前回とのバランス補正重畳画像の対応付けを行う必要がある。これは対象者の顔画像の特徴点を追跡してもよいし、Ｈａｒｒｉｓ作用素などの特徴点抽出フィルタにより特徴点を抽出し、各点を中心とする局所領域間の正規化相関値に基づいて相関の高い２点を対応させることで対応付けてもよい。

もう１つは、前回表示したバランス補正重畳画像とは違う部分に対象者が化粧を施したことにより、バランス補正値が変わり、補正すべき部分を新たに追加、もしくは補正内容を変更するように今回表示するバランス補正重畳画像を更新することである。

ステップＳ１１０からＳ１１６のバランス補正量設定処理ステップが終了し、処理はステップＳ１０６へと進む。

ステップＳ１０６では、出力部１０６よりバランス補正重畳画像が更新して表示されたこと受け、化粧を完了するかどうか判断する。このときの判断は対象者にまかせてもよいし、バランス補正値がある範囲内に収まる場合を補正終了とする処理を行ってもよい。この判断において、化粧を完了する場合は、処理はステップＳ１０７に進み、処理終了となる。また、この判断において、化粧を完了しない場合は、処理はステップＳ１０４へ進み、化粧を続け、ステップＳ１０４からＳ１０６を繰り返す。

〔第２の実施形態〕
本実施形態に係る情報処理装置は、実施例１として示した情報処理装置に個人情報記憶部もしくは好適バランス情報記憶部、もしくはその両方を含める。これにより、以前使用した情報などを使った補正を行うことができる。さらに、通信部および操作部を加えることで、より多様な機能を追加できる。
以下、図を用いて本実施形態にかかる情報処理装置の構成および処理について説明する。

（構成）
図３は、本実施形態に係る情報処理装置の概略を示す図である。図３に示すように、情報処理装置は、図１に示した第一の実施形態に係る情報処理装置に、個人情報記憶部２０１および好適バランス情報記憶部２０２および通信部２０３および操作部２０４を加えた構成になっている。図１の情報処理装置と共通する構成部分は、第一の実施形態とほぼ同様であるので、詳しい説明は割愛する。

撮像部１０１は、対象者の顔を含む映像を撮像する。
抽出部１０２は、撮像部１０１から送られる映像から、顔領域およびパーツ領域を抽出する。

個人情報記憶部２０１は、個人固有の特徴に関する情報を記憶する。例えば、実施例１の評価部１０３で算出される固有の評価値のことである。この固有評価値は個人固有のもので、例えば、パーツの非対称性や、顔の歪みなどの情報を含んだ値である。

あらかじめ記憶する際には、以下の手順で記憶する。対象者の顔を含む映像から顔領域やパーツ領域などの部分領域を抽出する。部分領域から対象者固有の評価値を算出する。この値を個人固有のバランス情報とし、個人情報記憶部２０１に記憶する。この記憶しておいた固有のバランス情報を使用する際には、対象者が個人情報記憶部２０１にて記憶されているどの人物かを特定する必要がある。

これを実現するためには例えば以下の方法がある。例えば、個人情報記憶部２０１にて対象者の評価値に加えて顔画像や特徴量も一緒に記憶しておき、顔認証の技術を使用することで特定する方法がある。例えば、個人情報記憶部２０１にて対象者の評価値に加えて対象者の名前やＩＤを記憶しておき、操作部２０４にて対象者に自分の名前やＩＤなどを入力してもらうことで、記憶した情報の中でどれを使用するかを特定する方法もある。

好適バランス情報記憶部２０２は、例えば対象者の化粧完了時における評価値の履歴を記憶する。なお、好適バランス情報記憶部２０２に記憶するものは、履歴だけに限定せず、例えば、通信部２０３を介して外部から好適なバランス情報を取り込むことも可能である。通信部はネットワーク越しに情報を受けてもよいし、ＣＤ−ＲやＵＳＢメモリなどのメディアから読み込み装置で情報を読み込んでもよい。

好適なバランス情報とは、例えば、過去に化粧の講師に施してもらった化粧、雑誌などに載っている化粧、対象者好みの化粧から算出した評価値である。好適バランス情報記憶部２０２に記憶された好適なバランス情報を使用するにあたり、対象者が好適バランス情報記憶部２０２にて記憶されているどの人物かを特定する必要がある。この方法については、個人情報記憶部２０１にて人物を特定した方法と同じ方法が使用できる。

さらに、１個人に対して複数の好適なバランス情報が候補として存在する場合には、例えば、操作部２０４を介して対象者に希望の好適なバランス情報を選んでもらう方法が使用できる。例えば、対象者に分かりやすくするために、記憶されている好適なバランス情報に対応した化粧を施したモデルの顔画像を表示するとよい。

この表示された顔画像から自分の好みの化粧の状態のものを選択するユーザ・インタフェースを用いて、対象者からの入力をうけつける方法がある。他の方法としては、好適なバランス情報の他に、その好適なバランス情報の選択回数を合わせて記憶することで、デフォルト値として最も多い選択回数の好適なバランス情報を設定する方法がある。

また、希望のバランス状態を対象者に入力してもらい、好適な評価値を算出し、それを好適なバランス情報として好適バランス情報記憶部２０２に記憶するとともに、現在の評価値を算出するために使用してもよい。希望のバランス状態を対象者に入力してもらう方法としては、例えば、図１１のようなユーザ・インタフェースを利用して対象者にインジケータを調整してもらう方法がある。なお、希望のバランス状態とは図１１に表示した項目だけに限定するものではない。

さらに、好適バランス情報記憶部２０２に記憶するものとして、髪型やファッションの流行に関する情報も含めることで、髪型やファッションのバランスに関する指示を多様にすることができる。例えば出力部１０６にて図８や図９のような指示を出す際に、流行にあわせた指示に更新することができる。

評価部１０３は、抽出部１０２で抽出したパーツ領域の評価値を算出する。評価値の算出方法は、例えば、図５を用いて説明する。好適なバランス情報をもとに、基準テンプレートの各パーツを前回同等になるようなテンプレートに更新し、すでに説明した手順で各評価値を求める、といった方法をとる。

算出部１０４は、
個人情報記憶部２０１で記憶している対象者固有のバランス情報および好適バランス情報記憶部２０２で記憶している好適なバランス情報からバランス補正値を算出する。個人情報記憶部２０１を持つことで、評価部１０３にて、化粧をしていない部分の評価値を算出する必要がなくなる。

また、前回化粧時と同じような化粧をする場合、評価部１０３にて評価値を算出において、好適バランス情報記憶部２０２で記憶している前回の最終的な評価値である好適なバランス情報を考慮してバランス補正値を算出する。

生成部１０５は、算出したバランス補正値に基づき、バランス補正画像を生成し、生成されたバランス補正画像を撮像部１０１で撮像した映像と重畳する。
出力部１０６は、重畳された画像を表示部に出力する。

なお、個人情報記憶部２０１および好適バランス情報記憶部２０２はどちらかだけを持つ構成、両方をもっている構成のいずれでもよい。また、通信部２０３と操作部２０４については、どちらかだけを持っている構成、両方持っている構成、両方持っていない構成のいずれでもよい。

さらに、好適バランス情報記憶部２０２については、図３のような構成ではなく、算出部１０４に内包してもよい。その場合の例を説明する。

好適バランス情報記憶部２０２に記憶するものは先の説明と同様である。ここでは、説明のため、対象者の前回化粧完了時における評価値の履歴とする。

評価部１０３にて評価値を算出する際は、抽出部１０２にて抽出した部分領域から評価値を算出する。もしくは、抽出部１０２にて抽出した部分領域および個人情報記憶部２０１から取得した固有バランス情報から評価値を算出する。

算出部１０４にて、この評価値と記憶している評価値の履歴である好適なバランス情報とを比較して、バランス補正値を算出する。ここでのバランス補正値の算出方法は、例えば、評価部１０３にて算出した評価値と記憶している好適な評価値との差を計算し、好適な評価値になるような補正値を算出する。

ただし、現在化粧を施している領域が前回の履歴で化粧を施した領域に比べて広いなどの理由で、差のみの計算では実現不可能な場合、例えば実現不可能な箇所は履歴を参考にせず、その箇所が例えば左右対称になるように補正値を算出してもよい。もしくは、実現不可能な箇所についても、履歴ではどのような評価値だったか、つまり左右対称だったか、他のパーツに対して相対的な位置はどこかなどの値を参考に、実現可能な中で履歴に最も近い補正値を算出してもよい。

算出部１０４に好適バランス情報記憶部を内包した場合も、個人情報記憶部２０１と通信部２０３と操作部２０４の有無については問わない。通信部２０３と操作部２０４を有する場合、それらとのデータの送受信は、先に説明した図３の好適バランス情報記憶部２０２とではなく、算出部１０４内の好適バランス情報記憶部と行う。

（処理）
続いて、図４に示したフローチャートを用いて、本実施形態の情報処理装置が行う処理について説明する。実施例１で説明したフローと比較し、いくつかのステップが異なるのみで、他は同様であるため、共通の処理については詳しい説明は割愛する。

対象者の顔が撮像部１０１により撮像される範囲に入った状態にてステップＳ２００にて処理が開始される。

ステップＳ２０１では、対象者による情報入力が行われる。情報入力とは、例えば、操作部２０４にて、好適バランス情報記憶部２０２で記憶している好適なバランス情報の選択などである。他にも、個人情報記憶部２０１および好適バランス情報記憶部２０２で記憶している固有バランス情報や好適バランス情報のうちのどれを使うかを特定するためのＩＤや名前の入力などである。その入力情報が個人情報記憶部２０１と好適バランス情報記憶部２０２の両方、もしくはどちらかに送られると、処理はステップＳ１０１へと進む。ステップＳ１０１からＳ１０２までは実施例１と同様の処理が行われる。続いて処理はステップＳ２１０へと進む。

ステップＳ２１０では、抽出部１０２により送られる顔領域やパーツ領域などの部分領域が評価部１０３へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップＳ２１１へと進み、評価部１０３にて、個人情報記憶部２０１にて記憶している固有バランス情報、および好適バランス情報記憶部２０２に記憶している好適なバランス情報を特定する。これらが特定されると、処理はステップＳ１１１へと進む。

ステップＳ１１１では、部分領域の評価値を算出する。このとき、評価部１０３において、抽出部１０２により送られた部分領域、および個人情報記憶部２０１にて記憶している固有バランス情報、および好適バランス情報記憶部２０２にて記憶している好適なバランス情報を用いる。その評価値が算出部１０４に送られると、処理はステップＳ１１２へと進む。

ステップＳ１１２からＳ２１２までは実施例１と同様の処理が行われる。続いて処理はステップＳ１０３へと進む。さらに、ステップＳ１０３からＳ１０５までは実施例１と同様の処理が行われる。続いて処理はステップＳ２１０へと進む。Ｓ２１０内での処理はすでに説明したものと同様である。さらに処理はステップＳ１０６へと進み、実施例１と同様の処理が行われる。ただし、実施例１と違い、ステップ１０６にて化粧を完了する場合、ステップＳ２０２へと進む。

ステップＳ２０２は、現在の評価値を好適バランス情報記憶部２０２に記憶し、ステップＳ２０３へと進み、処理は終了する。

〔第３の実施形態〕
本実施形態に係る情報処理装置は、実施例１および実施例２で説明した構成と同様のものを使用する。本実施形態では、顔の部分領域としてある部分領域内の色情報およびその位置のみを使用することである。

（構成）
本実施例の構成は上記で説明した実施例１を使用して説明する。実施例１との差異は、抽出部１０２と評価部１０３と算出部１０４である。これらの部分について下記で詳細に説明する。
撮像部１０１は、対象者の顔を含む映像を撮像する。

抽出部１０２は、顔領域とその色情報を抽出する。顔領域を抽出する方法としては、すでに述べた。その顔領域を、例えば、図７のように細かく分割し、それぞれを部分領域とする。パーツという概念は使わず、形状以外のシミ、しわなどの情報も含んでいる。

評価部１０３は、抽出部１０２で抽出した顔領域内の各部分領域について色情報、例えば色の分布およびその部分領域の位置を取得し、それ自体を評価値とする。

算出部１０４は、評価部１０３で算出した評価値が全体としてバランスがよくなるようにバランス補正値を算出する。例えば、図７である部分領域の色分布Ｃ１が得られた場合、バランスよく左右対称になるような位置に、Ｃ１と同じ値を補正値として算出する。また、バランスをよくするために、単純に左右対称にするだけでなく、色により重みを変えて、重みつきの左右対称としてもよい。これは例えば、目立つ色の重みを重くすることで、目立つ色の補正をきつく、目立たない色の補正をゆるくするなど、部位により補正のバランスを調整することができる。

生成部１０５は、算出したバランス補正値に基づき、バランス補正画像を生成し、実施例１と同様に撮像部１０１で撮像した映像と重畳する。

出力部１０６は、重畳した映像を表示部に出力する。

（処理）
本実施形態の情報処理装置が行う処理については、実施例１で使用したものと同じ図２に示したフローチャートにて説明する。実施例１で説明したフローと比較し、いくつかのステップが異なるのみで、他は同様であるため、共通の処理については詳しい説明は割愛する。

対象者の顔が撮像部１０１により撮像される範囲に入った状態にてステップＳ１００にて処理が開始される。処理を開始すると、まず、ステップＳ１０１へと進んで、撮像部１０１による顔映像の撮像が行われる。その撮像した映像が抽出部１０２へと送られると、処理はステップＳ１０２へと進む。

ステップＳ１０２では、抽出部１０２において、撮像部１０１により送られる映像より、図７で示すような顔領域内の各部分領域が抽出される。その抽出した部分領域が評価部１０３に送られると、処理はステップＳ１１０へと進む。

ステップＳ１１０では、抽出部１０２により送られる顔領域内の各部分領域が評価部１０３へと送られることでバランス補正量設定処理が開始される。バランス補正量設定処理が開始されると、ステップＳ１１１へと進み、評価部１０３において、抽出部１０２により送られた各部分領域より、部分領域の評価値を算出する。その評価値が算出部１０４に送られると、処理はステップＳ１１２へと進む。ステップＳ１１２からＳ１１６およびステップＳ１０３からＳ１０４までは実施例１と同様の処理を行う。続いて処理はステップＳ１０５へ進む。

ステップＳ１０５では、抽出部１０２において、撮像部１０１により送られる映像より、化粧領域を含む顔領域内の各部分領域が抽出される。その抽出した部分領域が評価部１０３に送られると、処理はステップＳ１１０へと進む。ステップＳ１１０からＳ１０６は実施例１と同様の処理を行う。Ｓ１０６にて化粧完了の判断を行うと、処理はステップＳ１０７へ進み、完了する。

〔その他の実施形態〕
図１２は、コンピュータの構成例を示す図である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク１２０４、１２０７又は各種記憶媒体１２０２、１２０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ１２０１（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、入力部１２０５から処理を実行する指示を入力し、表示部１２０６で指示した処理の結果を表示してもよい。

Claims (11)

1. 人物の顔を含む映像を撮像する撮像手段と、
   前記撮像した映像から複数の部分領域を抽出する抽出手段と、
   前記抽出した複数の部分領域の各々の評価値を算出する評価手段と、
   前記算出された評価値の各々を互いに比較することにより、バランス補正値を算出する算出手段と、
   前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成手段と、
   前記バランス補正情報を出力する出力手段と、
   前記人物ごとの評価値の履歴を好適バランス情報として記憶する好適バランス情報記憶手段と
   を有し、
   前記算出手段が、前記好適バランス情報に基づいて、前記バランス補正値を算出することを特徴とする情報処理装置。
2. 前記バランス補正情報は、化粧の手法を含むことを特徴とする請求項１に記載の情報処理方法。
3. 前記算出手段が、前記撮像した人物の顔の左右のバランスを補正するバランス補正値を算出することを特徴とする請求項１又は２に記載の情報処理方法。
4. 前記バランス補正情報は、画像を含むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記生成手段が、前記バランス補正値から、前記バランスを補正する手法を示すバランス補正画像を生成し、前記映像と前記バランス補正画像とを重畳したバランス補正重畳画像を生成することを特徴とする請求項４に記載の情報処理装置。
6. 前記バランス補正情報は、音声による案内を含むことを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記人物ごとに部分領域の固有評価値を記憶する個人情報記憶手段
   を更に有し、
   前記評価手段が、評価した評価値を前記固有評価値として追加もしくは更新する
   ことを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 外部から好適バランス情報を前記好適バランス情報記憶手段へと取り入れる通信手段
   を更に有することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記算出手段が、前記人物の顔の色分布のバランスを補正するためのバランス補正値を算出することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の撮像手段が、前記人物の顔を含む映像を撮像する撮像工程と、
    前記情報処理装置の抽出手段が、前記撮像した映像から複数の部分領域を抽出する抽出工程と、
    前記情報処理装置の評価手段が、前記抽出した複数の部分領域の各々の評価値を算出する評価工程と、
    前記情報処理装置の算出手段が、前記算出された評価値の各々を互いに比較することにより、バランス補正値を算出する算出工程と、
    前記情報処理装置の生成手段が、前記バランス補正値に基づいて、前記人物の外見のバランスを補正する手法を示すバランス補正情報を生成する生成工程と、
    前記情報処理装置の出力手段が、前記バランス補正情報を出力する出力工程と、
    前記情報処理装置の好適バランス情報記憶手段が、前記人物ごとの評価値の履歴を好適バランス情報として記憶する好適バランス情報記憶工程と
    を有し、
    前記算出工程において、前記算出手段が、前記好適バランス情報に基づいて、前記バランス補正値を算出する
    ことを特徴とする情報処理方法。
11. 請求項１０に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。

Images