JPWO2016158729A1 - 化粧支援システム、計測装置、携帯端末装置およびプログラム - Google Patents

Abstract

化粧支援システムを、ユーザが自身に化粧を施す際にユーザによって携帯される携帯端末装置と、携帯端末装置とは異なる据え置き型の装置として構成されるとともに、当該携帯端末装置との間でデータ通信が可能な状態で接続される計測装置とによって構成する。そして、計測装置に、ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する計測制御部と、計測制御部により作成された三次元形状情報を携帯端末装置に向けて送信する通信部とを設ける。さらに、携帯端末装置に、化粧を施す際のユーザを撮像して撮像情報を取得する撮像部と、受信された三次元形状情報と当該撮像部により取得された撮像情報とに基づいて、ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成部とを設ける。

Description

本発明は、ユーザの身体に関する三次元の情報を用いて、当該ユーザの化粧を支援する技術に関する。

従来より、ユーザの化粧を支援する様々な技術が提案されている。例えば、特許文献１には、ユーザの顔を撮像した顔画像を表示することにより当該ユーザに対して眉毛を整える作業を支援する技術が記載されている。また、特許文献２には、ユーザを撮像した画像を様々な用途に応じて加工して表示する技術が記載されている。

特開２００７−２９３６４９号公報 特開２０１３−２２３００１号公報

ところが、従来の技術では、二次元情報である撮像画像のみによって三次元の物体である人体に施す化粧を支援することになるため、支援することのできる状況や手法に限界があるという問題があった。

上記の課題を解決するため、請求項１の発明は、化粧を施すユーザを支援する化粧支援システムであって、ユーザが自身に化粧を施す際に前記ユーザによって携帯される携帯端末装置と、前記携帯端末装置とは異なる据え置き型の装置として構成されるとともに、前記携帯端末装置との間でデータ通信が可能な状態で接続される計測装置とを備え、前記計測装置は、前記ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、前記三次元計測手段により作成された三次元形状情報を前記携帯端末装置に向けて送信する第１通信手段とを備え、前記携帯端末装置は、前記第１通信手段により送信された三次元形状情報を受信する第２通信手段と、化粧を施す際の前記ユーザを撮像して撮像情報を取得する撮像手段と、前記第２通信手段により受信された三次元形状情報と前記撮像手段により取得された撮像情報とに基づいて、前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、前記情報作成手段により作成された化粧支援情報を出力する出力手段とを備える。

また、請求項２の発明は、請求項１の発明に係る化粧支援システムであって、前記三次元計測手段により作成された三次元形状情報と前記撮像手段により取得された撮像情報とに基づいて、前記撮像情報における撮像ズレ角を推定する方位推定手段をさらに備え、前記情報作成手段は、前記方位推定手段により推定された前記撮像情報における撮像方位に基づいて前記化粧支援情報を作成する。

また、請求項３の発明は、請求項２の発明に係る化粧支援システムであって、前記方位推定手段は、前記三次元形状情報の特定の方位におけるユーザの部位の位置と、前記撮像情報に撮像されているユーザの前記部位の位置との差分に基づいて、前記撮像情報における撮像ズレ角を推定する。

また、請求項４の発明は、請求項２の発明に係る化粧支援システムであって、前記方位推定手段は、前記三次元形状情報に基づいて複数の方位における固有ベクトル値をそれぞれ算出し、前記撮像情報における固有ベクトル値と比較することにより、前記撮像情報における撮像ズレ角を推定する。

また、請求項５の発明は、請求項１ないし４のいずれかの発明に係る化粧支援システムであって、前記化粧支援情報は、化粧を施す際のユーザを表現したユーザ画像情報を含む。

また、請求項６の発明は、請求項５の発明に係る化粧支援システムであって、ユーザが正面を向いたときの目線と、前記撮像情報に撮像されたユーザの目線との目線ズレ角を推定し、前記情報作成手段は、前記目線ズレ角を抑制するための指示を前記化粧支援情報に含める。

また、請求項７の発明は、請求項１ないし６のいずれかの発明に係る化粧支援システムであって、前記三次元計測手段は、前記ユーザの互いに異なる表情に対応した複数の三次元形状情報を作成する。

また、請求項８の発明は、請求項７の発明に係る化粧支援システムであって、前記複数の三次元形状情報と前記撮像情報とを比較することにより、前記複数の三次元形状情報から１の三次元形状情報を選択する。

また、請求項９の発明は、請求項７または８の発明に係る化粧支援システムであって、前記ユーザの指示に応じて、前記複数の三次元形状情報から１の三次元形状情報を選択する。

また、請求項１０の発明は、請求項１ないし９のいずれかの発明に係る化粧支援システムであって、前記三次元計測手段は、互いに精度の異なる複数の三次元形状情報を作成する。

また、請求項１１の発明は、請求項１ないし１０のいずれかの発明に係る化粧支援システムであって、化粧を終了したときのユーザを撮像した画像情報を過去撮像情報として記憶する第１記憶手段と、前記撮像手段により撮像された撮像情報と前記第１記憶手段に記憶されている過去撮像情報とを比較して、前記化粧の劣化度を推定する劣化推定手段とをさらに備え、前記情報作成手段は、前記劣化推定手段により推定された劣化度に基づいて化粧支援情報を作成する。

また、請求項１２の発明は、請求項１１の発明に係る化粧支援システムであって、前記劣化推定手段は、前記過去撮像情報に撮像されているユーザの毛穴の状態と前記撮像情報に撮像されているユーザの毛穴の状態とを比較して、前記化粧の劣化度を推定する。

また、請求項１３の発明は、請求項１１または１２の発明に係る化粧支援システムであって、前記劣化推定手段は、前記過去撮像情報に撮像されているユーザの肌部分と特定部分との色比率と、前記撮像情報に撮像されているユーザの前記肌部分と前記特定部分との色比率とを比較して、前記特定部分における前記化粧の劣化度を推定する。

また、請求項１４の発明は、請求項１１ないし１３のいずれかの発明に係る化粧支援システムであって、前記劣化推定手段は、前記劣化推定手段により推定された前記化粧の劣化度と当該過去撮像情報が撮像された時間からの経過時間とに基づいて、前記化粧を修正すべき時間を推定する。

また、請求項１５の発明は、請求項１ないし１４のいずれかの発明に係る化粧支援システムであって、前記ユーザの化粧を披露する場所における光環境を示す光環境情報を記憶する第２記憶手段をさらに備え、前記情報作成手段は、前記第２記憶手段に記憶された光環境情報に基づいて化粧支援情報を作成する。

また、請求項１６の発明は、請求項１５の発明に係る化粧支援システムであって、前記撮像手段により撮像された撮像情報に基づいて、当該撮像情報が撮像されたときの光環境を推定して、前記第２記憶手段に記憶されている光環境情報を更新する。

また、請求項１７の発明は、請求項１６の発明に係る化粧支援システムであって、前記携帯端末装置として１の携帯端末装置と他の携帯端末装置とを備え、前記１の携帯端末装置の前記情報作成手段は、前記他の携帯端末装置の前記撮像手段により撮像された撮像情報に基づいて更新された光環境情報に基づいて化粧支援情報を作成する。

また、請求項１８の発明は、据え置き型の装置として構成される計測装置であって、ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、前記三次元計測手段により作成された三次元形状情報を外部の携帯端末装置に向けて送信するとともに、前記携帯端末装置により送信された前記ユーザに提供された化粧支援情報および前記化粧支援情報に応じて化粧を施した前記ユーザを撮像した撮像情報を受信する通信手段とを備える。

また、請求項１９の発明は、ユーザが自身に化粧を施す際に前記ユーザによって携帯される携帯端末装置であって、外部の計測装置により送信された三次元形状情報を受信する通信手段と、化粧を施す際の前記ユーザを撮像して撮像情報を取得する撮像手段と、前記通信手段により受信された三次元形状情報と前記撮像手段により取得された撮像情報とに基づいて、前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、前記情報作成手段により作成された化粧支援情報を出力する出力手段とを備える。

また、請求項２０の発明は、据え置き型の装置として構成されるコンピュータによる読み取り可能なプログラムであって、ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する工程と、作成された前記三次元形状情報を外部の携帯端末装置に向けて送信するとともに、前記携帯端末装置により送信された前記ユーザに提供された化粧支援情報および前記化粧支援情報に応じて化粧を施した前記ユーザを撮像した撮像情報を受信する工程とを前記コンピュータに実行させる。

また、請求項２１の発明は、ユーザが自身に化粧を施す際に前記ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、外部の計測装置により送信された三次元形状情報を受信する工程と、化粧を施す際の前記ユーザを撮像して撮像情報を取得する工程と、受信された前記三次元形状情報と取得された前記撮像情報とに基づいて、前記ユーザに施す化粧を支援するための化粧支援情報を作成する工程と、作成された前記化粧支援情報を出力する工程とを前記コンピュータに実行させる。

請求項１ないし１７に記載の発明は、据え置き型の装置として構成される計測装置に、ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する三次元計測手段を設け、ユーザによって携帯される携帯端末装置に、化粧を施す際のユーザを撮像して撮像情報を取得する撮像手段と、三次元形状情報と撮像手段により取得された撮像情報とに基づいて、ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段を設ける。このように、据え置き型の計測装置によって三次元形状情報を作成することにより、三次元形状情報を作成するときの手ブレなどを防止することができるため、三次元形状情報の精度が向上する。また、比較的負荷の掛かる処理を計測装置に実行させることによって、携帯端末装置として、市販の携帯電話やスマートフォンを採用することが可能となり、コストを抑制することができる。

また、請求項１８に記載の発明は、据え置き型の装置として構成される計測装置であって、ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、前記三次元計測手段により作成された三次元形状情報を外部の携帯端末装置に向けて送信するとともに、前記携帯端末装置により送信された前記ユーザに提供された化粧支援情報および前記化粧支援情報に応じて化粧を施した前記ユーザを撮像した撮像情報を受信する通信手段とを備える。このように、据え置き型の計測装置として機能するコンピュータによって三次元形状情報を作成することにより、三次元形状情報を作成するときの手ブレなどを防止することができるため、三次元形状情報の精度が向上する。

また、請求項１９に記載の発明は、ユーザが自身に化粧を施す際に当該ユーザによって携帯される携帯端末装置であって、化粧を施す際の前記ユーザを撮像して撮像情報を取得する撮像手段と、外部から受信された三次元形状情報と撮像手段により取得された撮像情報とに基づいて、ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段とを備える。これにより、市販の携帯電話やスマートフォンを用いてシステムを構築することが可能となり、コストを抑制することができる。

また、請求項２０に記載の発明は、据え置き型の装置として構成されるコンピュータによる読み取り可能なプログラムであって、ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する工程と、作成された前記三次元形状情報を外部の携帯端末装置に向けて送信するとともに、前記携帯端末装置により送信された前記ユーザに提供された化粧支援情報および前記化粧支援情報に応じて化粧を施した前記ユーザを撮像した撮像情報を受信する工程とを前記コンピュータに実行させる。このように、据え置き型の計測装置として機能するコンピュータによって三次元形状情報を作成することにより、三次元形状情報を作成するときの手ブレなどを防止することができるため、三次元形状情報の精度が向上する。

また、請求項２１に記載の発明は、ユーザが自身に化粧を施す際に当該ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、化粧を施す際の前記ユーザを撮像して撮像情報を取得する工程と、外部から受信された三次元形状情報と取得された撮像情報とに基づいて、ユーザに施す化粧を支援するための化粧支援情報を作成する工程とを前記コンピュータに実行させる。これにより、市販の携帯電話やスマートフォンを当該コンピュータとして採用することが可能となり、コストを抑制することができる。

化粧支援システムを示す図である。 計測装置のブロック図である。 計測装置が備える機能ブロックをデータの流れとともに示す図である。 携帯端末装置を示す外観図である。 携帯端末装置のブロック図である。 携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 撮像情報に対して推定された光環境を例示する図である。 白色のキューブで構成される基準物体を撮像範囲に含めて撮像した撮像情報を例示する図である。 補正距離を説明するための図である。 化粧の劣化度に基づいて作成される化粧支援情報を例示する図である。 推定部により推定された頬骨位置に応じて表示ユーザ画像にガイドを含めて表示する例を示す図である。 撮像情報と化粧支援情報とを比較する図である。 化粧を施すべき位置に関する情報を含む化粧支援情報を例示する図である。 化粧を施すべき位置に関する情報を含む化粧支援情報を例示する図である。 計測装置の動作を示す流れ図である。 計測装置の表示部に表示されるメニュー画像を例示する図である。 計測装置によって実行される三次元形状情報作成処理を示す流れ図である。 携帯端末装置の動作を示す流れ図である。 携帯端末装置の表示部に表示されるメニュー画像を例示する図である。 携帯端末装置によって実行される化粧準備処理を示す流れ図である。 携帯端末装置によって実行される予測画像情報表示処理を示す流れ図である。 携帯端末装置によって実行される化粧支援処理を示す流れ図である。 撮像情報と、化粧支援情報として表示される表示ユーザ画像とを示す図である。

１ 化粧支援システム
１０，２０ ＣＰＵ
１００ データ取得部
１０１ 推定部
１０２ 情報作成部
１１，２１ 記憶装置
１１０，２１０ プログラム
１１１ データベース
１１２ 撮像情報
１１３ 光環境情報
１１４ 化粧支援情報
１２，２４ 通信部
２ 計測装置
２００ 計測制御部
２０１ モデル作成部
２１１ 計測用撮像情報
２１２ 三次元形状情報
２２，３２ 操作部
２３，３３，３４ 表示部
２５ 計測部
２６，３５ 撮像部
２７ 照明部
２８ 投光部
３ 携帯端末装置
３０ 筐体部
３１ 本体部
７０，７１，７２ 目線
７３ 補正距離
８０ 基準物体
９ ネットワーク

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

また、本出願では、２０１５年３月２７日に日本国に出願された特許出願番号２０１５−０６６５０１の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。

図１は、化粧支援システム１を示す図である。化粧支援システム１は、ユーザの自宅などに設置される計測装置２と、ユーザが携帯する携帯端末装置３とを備えている。なお、化粧支援システム１が備える携帯端末装置３の数は、１台に限定されるものではない。例えば、家族の各人が携帯端末装置３をそれぞれ所持していてもよい。

図１に示すように、化粧支援システム１を構成する計測装置２および携帯端末装置３は、互いにデータ通信が可能なように、ネットワーク９を介して接続されている。図１では、計測装置２はネットワーク９に通信ケーブルで接続されている例を示しているが、計測装置２は無線通信を介してネットワーク９と接続されてもよい。また、携帯端末装置３は、ネットワーク９に接続された中継機（図示せず。）との間で無線通信を行うことにより、ネットワーク９に接続されている。このように、携帯端末装置３はネットワーク９との間で無線通信により接続されている。したがって、携帯端末装置３は、移動するユーザによる携帯（所持）が可能な装置として構成されている。

また、以下の説明において「化粧時」とは、特に断らない限り、ユーザが現実に化粧を行っている瞬間のみならず、化粧を行うために化粧支援システム１（化粧を支援するためのアプリケーション）を起動したときから、ユーザが化粧の終了を指示したときまでの期間を指すものとする。したがって、例えば、化粧を行うために、ユーザが自身の状態を携帯端末装置３によりチェックしている期間なども「化粧時」に含むものとする。

さらに、以下の説明では、外出先等において、他人に見られることを意識した装うための化粧を例に説明する。ただし、「化粧」は、装うための化粧に限定されるものではなく、健康や美しさを維持するための化粧（いわゆる「お手入れ」）も含む。

図２は、計測装置２のブロック図である。計測装置２は、ＣＰＵ２０、記憶装置２１、操作部２２、表示部２３、通信部２４および計測部２５を備えている。計測装置２は、ユーザによって携帯される携帯端末装置３と異なり、据え置き型の装置として構成されている。このような計測装置２としては、例えば、デスクトップ型のパーソナルコンピュータなどを想定することができる。ただし、計測装置２は、汎用のパーソナルコンピュータに限定されるものではなく、例えば、自宅で使用する鏡台にコンピュータが組み込まれたような専用装置であってもよい。

ＣＰＵ２０は、記憶装置２１に格納されているプログラム２１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ２０は、計測装置２が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。これにより、計測装置２は、上記のように、一般的なコンピュータとして構成されている。

記憶装置２１は、計測装置２において各種データを記憶する機能を提供する。言い換えれば、記憶装置２１が計測装置２において電子的に固定された情報を保存する。

記憶装置２１としては、ＣＰＵ２０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図２においては、記憶装置２１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置２１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置２１は、データを記憶する機能を有する装置群の総称である。

また、現実のＣＰＵ２０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ２０が備える記憶装置も、説明の都合上、記憶装置２１に含めて説明する。すなわち、一時的にＣＰＵ２０自体が記憶するデータも、記憶装置２１が記憶するとして説明する。図２に示すように、記憶装置２１は、プログラム２１０、計測用撮像情報２１１および三次元形状情報２１２などを記憶するために使用される。

操作部２２は、計測装置２に対してオペレータ等が指示を入力するために操作するハードウェアである。操作部２２としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。

表示部２３は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。表示部２３としては、例えば、ランプやＬＥＤ、ＣＲＴ、液晶ディスプレイや液晶パネルなどが該当する。また、これらのうちのいずれか１つに限定されるものではなく、複数のハードウェアが協働して表示部２３を構成していてもよい。

通信部２４は、計測装置２が携帯端末装置３とデータ通信を行う機能を提供する。すなわち、計測装置２は、通信部２４により、携帯端末装置３から送信された情報を受信するとともに、携帯端末装置３に向けて情報を送信する。計測装置２が携帯端末装置３に向けて送信する情報としては、例えば、計測用撮像情報２１１および三次元形状情報２１２がある。

図２に示すように、計測部２５は、撮像部２６、照明部２７および投光部２８を備えている。詳細は以下に述べるが、計測部２５は、一般的なパーソナルコンピュータに搭載されることが比較的稀なハードウェアで構成されている。逆に言えば、計測部２５に相当するハードウェアをパーソナルコンピュータに接続し、プログラム２１０をインストールすれば、ユーザは容易に計測装置２を構成することができる。

撮像部２６は、被写体（ユーザ）を撮像して、計測用撮像情報２１１を取得する機能を有する。ここに示す撮像部２６は、いわゆるカラーの動画像としての計測用撮像情報２１１を取得するものとして説明する。ここで動画像とは、所定のフレーム間隔で撮像された連続する静止画像の集合物を意味するものとする。

なお、以下では、撮像部２６が取得する画像情報を、すべて「計測用撮像情報２１１」と統一して称するが、撮像部２６が取得する計測用撮像情報２１１は、必ずしも「計測用」に限定されるものではない。詳細は後述するが、化粧支援システム１は、計測用撮像情報２１１を、例えば、三次元形状情報２１２にマッピングするための「単なる」画像情報として流用する場合もある。

また、撮像部２６が取得する計測用撮像情報２１１は、カラー画像に限定されるものではなく、白黒画像であってもよい。例えば、物体（ユーザ）の三次元形状を計測するために必要とされる画像としては、カラー画像である必要はない。例えば、後述する計測用パターンを読み取れる形式であればよい。さらに、三次元計測に際しては、動画像でなくてもよく、動画像として撮像された計測用撮像情報２１１から、被写体の全周が撮像されるように（撮像されていない面が存在しないように）、複数の静止画像を抽出して計測してもよい。

すなわち、撮像部２６が取得する計測用撮像情報２１１は、説明を簡単にするために、カラーの動画像として説明するが、その用途に応じて、その様式や形式が適宜、選択されてもよい。

本実施の形態における計測装置２は、１つの撮像部２６を備えており、当該撮像部２６は固定されているものとして説明する。このような状態の撮像部２６によって、計測装置２が被写体の全周にわたる計測用撮像情報２１１を取得するためには、当該撮像部２６に対して被写体を自転させつつ撮像する必要がある。

ただし、撮像部２６を適宜移動可能に構成し、撮像部２６を被写体の回りで周回移動させつつ計測用撮像情報２１１を撮像することによって、被写体の全周にわたる計測用撮像情報２１１を取得するようにしてもよい。あるいは、複数の撮像部２６を、被写体の全周が撮像できるように、当該被写体の周囲に適当な間隔で固定的に配置して撮像してもよい。さらには、これらの構成を併用してもよい。すなわち、被写体の全周にわたる撮像が可能であれば、どのような構成が採用されてもよい。

化粧支援システム１では、撮像部２６が据え置き型の計測装置２に装備されており、計測用撮像情報２１１を撮像する環境（撮像方位など）を、任意に、かつ、高精度に調整することが可能である。したがって、例えば、撮影時に手ブレ等が発生したり、意図しない物体が撮像されるといった危険性は低く、安定した撮像が可能である。

照明部２７は、撮像部２６がユーザを撮像して計測用撮像情報２１１を取得するときの光環境を整える機能を有している。すなわち、計測用撮像情報２１１における光環境が、理想的な光環境となるように、照明部２７はユーザに向けて照明光を照射する。理想的な光環境とは、例えば、後述する三次元形状情報２１２を作成するために適した光環境や、化粧の劣化度の基準となる計測用撮像情報２１１を取得するために適した光環境などである。このような光環境として、例えば、色温度に偏りの少ない光に照明された光環境で、かつ、ユーザに影が生じないような方向から光が照明された光環境などが想定される。

一般に、据え置き型の計測装置２の周囲の環境は、携帯型の装置の場合に比べて、安定的であり、かつ、ユーザによる調整が容易である。したがって、化粧支援システム１では、照明部２７が据え置き型の計測装置２に装備されることにより、計測用撮像情報２１１を撮像する光環境を、任意に、かつ、高精度に調整することが可能となる。また、照明部２７は比較的多くの電力を消費するハードウェアであるが、計測装置２（商用電力線に直接接続することができる。）に照明部２７を設けることにより、電力供給に不安のない状況で被写体を照明することができる。

なお、照明部２７による光環境は、既知の情報として、当該光環境において撮像された計測用撮像情報２１１に関連づけられる。また、照明部２７による光環境は、例えばユーザの指示などによって、変更可能とされていてもよい。

投光部２８は、形状が既知のパターンを計測対象（化粧の対象となるユーザの身体部分）に向けて投射する機能を有している。投光部２８は、人の視覚によって感知されることのない周波数の光により当該パターンを投射する。以下の説明では、投光部２８によって投射されるパターンを、「計測用パターン」と称する。

投光部２８は、照明部２７と同様に、比較的多くの電力を消費するハードウェアである。しかし、化粧支援システム１は、計測装置２（商用電力線に直接接続することができる。）に投光部２８を設けることにより、電力供給に不安のない状況で被写体に計測用パターンを投射することができる。

ただし、撮像部２６による撮像に際して、必ずしも計測用パターンは必須ではない。すなわち、計測用パターンが投射されていない状態のユーザを撮像して、計測用撮像情報２１１が取得されてもよい。先述のように、計測用撮像情報２１１は、三次元形状情報２１２を作成するためのみに用いられるものではない。詳細は後述するが、計測用撮像情報２１１は、時間経過における化粧の劣化度の判定などにも用いられる。このような用途における計測用撮像情報２１１においては、計測用パターンが撮像されていなくてもよい。

図３は、計測装置２が備える機能ブロックをデータの流れとともに示す図である。図３に示す計測制御部２００およびモデル作成部２０１は、ＣＰＵ２０がプログラム２１０に従って動作することにより実現される機能ブロックである。

計測制御部２００は、操作部２２からの制御信号（ユーザ指示）に応じて、照明部２７および投光部２８を制御する。これにより、基準の光環境を実現するように照明部２７が照明を行うとともに、投光部２８が被写体に向けて計測用パターンを投射する。なお、すでに説明したように、状況によっては、照明部２７が照明を行わない場合や、投光部２８が計測用パターンを投射しない場合もある。

また、計測制御部２００は、操作部２２からの制御信号に応じて、撮像部２６を制御して、撮像部２６に被写体を撮像させる機能も有している。そして、計測制御部２００は、撮像部２６により取得された計測用撮像情報２１１を記憶装置２１に転送し、記憶装置２１に記憶させる。

なお、計測用撮像情報２１１は、個々のユーザに対して１つに限定されるものではない。個々のユーザは、操作部２２を操作することにより、複数の計測用撮像情報２１１を取得するように計測制御部２００に指示することも可能である。例えば、ユーザは、操作部２２から、繰り返し撮像指示を入力して、撮像部２６に複数の計測用撮像情報２１１を撮像させることができる。

これにより、ユーザは、例えば、笑顔や真顔のように表情を変えて、それぞれの表情についての計測用撮像情報２１１を撮像させることができる。また、ユーザは、撮像部２６による撮像倍率を変更しつつ計測用撮像情報２１１を取得させることにより、特定の部位（例えば、目の周辺部位）にズームした互いに撮像倍率の異なる複数の計測用撮像情報２１１を撮像させることもできる。

さらに、計測制御部２００は、計測用撮像情報２１１を作成するときに、当該計測用撮像情報２１１に、様々な情報を関連づける。計測用撮像情報２１１に関連づけられる情報としては、撮像したときの光環境や表情識別子、撮像倍率、撮像方位、撮像時間などがある。ただし、これ以外にも、例えば、撮像時における計測用パターンの投射の有無や、撮像されているユーザの識別子、撮像日時などの情報が関連づけられてもよい。

モデル作成部２０１は、計測用撮像情報２１１に基づいて、ユーザの三次元形状に関する情報を取得して三次元形状情報２１２を作成する。

具体的には、まず、モデル作成部２０１は、計測用撮像情報２１１（動画像を構成する１フレーム分の情報でもよい。）に画像認識処理を実行してユーザを表現している画像部分（以下、「ユーザ撮像画像」と称する。）を切り出す。なお、ここで言うユーザ撮像画像には、ユーザの身体そのもの以外に、服や帽子、リボン、眼鏡など、ユーザが身につけているもの（服装など）を含んでいてもよい。

次に、モデル作成部２０１は、ユーザ撮像画像（計測用撮像情報２１１）に撮像されている計測用パターンが、既知の形状に対して、どのように変形しているかを解析することにより、被写体（ユーザ）の形状を三次元で表現した数値情報に変換する。このような手法としては、従来の技術を採用することが可能であるため、ここではこれ以上の詳細な説明は省略する。そして、モデル作成部２０１は、この数値情報を三次元形状情報２１２とする。

このように計測装置２は、被写体に向けて計測用パターンを投射しつつ、当該被写体を撮像する。これにより、撮像部２６による撮像が、例えば、一方向（１つの撮像方位）からのみの撮像しかされていない場合であっても、ユーザに関する三次元形状情報２１２を取得することができる。

三次元の形状に関する三次元形状情報２１２を作成するための演算は、比較的、処理能力を要求される演算である。したがって、三次元形状情報２１２を作成する装置は、高性能な演算装置を必要とする。一方で、ユーザの三次元形状に関しては、自宅における形状と外出先における形状との間に大きな違いはないと考えられる。化粧支援システム１では、三次元形状情報２１２を作成するモデル作成部２０１が据え置き型の計測装置２に装備されている。このように、化粧支援システム１は、比較的重い演算を計測装置２に処理させることにより、一般的なパーソナルコンピュータに比べればパフォーマンスの劣る携帯端末装置３を、化粧支援システム１において採用することができる。

なお、三次元形状情報２１２を取得する手法は、上記に限定されるものではない。ユーザ（化粧の対象となる部分）の三次元的な情報を取得することができるものであれば、例えば、ユーザを撮像しない構成であっても、適宜、採用可能である。三次元形状情報２１２を取得する手法として、例えば、ＴＯＦ（Time Of Flight）や、パターン投影を行わない、ステレオ法や、ＤＴＡＭ（Dense Tracking And Mapping）等、複数視点画像から三次元形状を計測推定するｓｔｍ（structure from motion）などの技術を採用することもできる。特に、睫毛のカール度合いについては、計測用パターンを投射することによる三次元形状情報２１２の作成が比較的困難であるため、計測用パターンを投射することのないＤＴＡＭなどの技術が適している。

また、モデル作成部２０１は、三次元形状情報２１２を作成するための計測用撮像情報２１１が作成されるたびに、対応する三次元形状情報２１２を作成する。したがって、三次元形状情報２１２を作成する目的で、複数の計測用撮像情報２１１が作成された場合、モデル作成部２０１は、それぞれに対応する三次元形状情報２１２を作成する。

複数の計測用撮像情報２１１がユーザの異なる表情について作成されている場合、モデル作成部２０１は、ユーザの異なる表情についてそれぞれ作成された計測用撮像情報２１１に基づいて、それぞれの表情に対応した三次元形状情報２１２を作成する。このように、モデル作成部２０１は、ユーザの互いに異なる表情に対応した複数の三次元形状情報２１２を作成する機能を有している。

複数の計測用撮像情報２１１が撮像倍率を変更して作成されている場合、モデル作成部２０１は、それぞれの撮像倍率における計測用撮像情報２１１に基づいて、それぞれの撮像倍率に対応した三次元形状情報２１２を作成する。このように、モデル作成部２０１は、ユーザの特定の部位について精度の異なる複数の三次元形状情報２１２を作成する機能を有している。

さらに、モデル作成部２０１は、三次元形状情報２１２を作成するときに、当該三次元形状情報２１２と関連づけて送信すべき計測用撮像情報２１１（携帯端末装置３において利用される。）を特定して、当該関連づけを行う。したがって、通信部２４は、作成された三次元形状情報２１２を携帯端末装置３に向けて送信するときに、当該三次元形状情報２１２と関連づけて送信すべき計測用撮像情報２１１を特定して、送信することが可能である。

ただし、三次元形状情報２１２とともに送信される計測用撮像情報２１１は、当該三次元形状情報２１２を作成する元となった計測用撮像情報２１１に限定されるものではない。また、三次元形状情報２１２を作成するときに用いられたすべての計測用撮像情報２１１を、当該三次元形状情報２１２とともに送信しなければならないものでもない。

図４は、携帯端末装置３を示す外観図である。図４に示すように、携帯端末装置３は、筐体部３０、本体部３１、操作部３２、表示部３３，３４、および、撮像部３５を備えている。携帯端末装置３は、ユーザによる携帯が可能な装置として構成されている。すなわち、ユーザは携帯端末装置３を所持して、様々な場所に移動することが可能であるとともに、移動先において、自由に携帯端末装置３を起動させ、使用することができる。

筐体部３０は、略箱状の構造物であり、折りたたまれた状態の本体部３１を内部に収納する。これにより、携帯端末装置３は、ユーザによって携帯されるときには、さらに持ち運びが便利なように小型化される。また、筐体部３０は、表示部３３，３４を内部に収容することにより、表示部３３，３４を保護する機能も有している。

本体部３１は、矩形の板状の構造物であり、前面に表示部３３が設けられるとともに、上部前面に撮像部３５が設けられている。本体部３１は、図示しない軸を中心に回動可能である。これにより、携帯端末装置３は、本体部３１が筐体部３０から取り出された状態と、本体部３１が筐体部３０の内部に収納された状態との間で可逆的に変形が可能である。すなわち、携帯端末装置３は、本体部３１を折りたたむことにより、筐体部３０に収納することができる。

操作部３２は、携帯端末装置３に対してユーザが指示を入力するために操作されるハードウェアである。図４では、操作部３２として複数のボタンを図示している。しかし、携帯端末装置３は、図４に示すボタン以外にも操作部３２として、タッチパネルを備えている。すなわち、表示部３３，３４の表面にタッチセンサが設けられており、ユーザは画面に触れることによって指示情報を携帯端末装置３に対して入力することができるように構成されている。これ以外にも、操作部３２として、例えば、各種キーやスイッチ、ポインティングデバイス、あるいは、ジョグダイヤルなどを備えていてもよい。

表示部３３，３４は、各種データを画面に表示することにより、ユーザに対して当該各種データを出力する機能を有するハードウェアである。図４では表示部３３，３４として液晶ディスプレイを例示している。ユーザは化粧中において、表示部３３，３４を閲覧することにより、携帯端末装置３から様々な情報を受け取ることが可能である。これにより、ユーザは適切で高度な化粧を容易に楽しむことができる。なお、表示部３３，３４として、液晶ディスプレイ以外にも、例えば、ランプやＬＥＤ、液晶パネルなどを備えていてもよい。

撮像部３５は、一般的なデジタルカメラを構成しており、被写体（ユーザ）を撮像して、撮像情報１１２（図５参照。）を取得する。以下では、説明を簡単にするために、特に断らない限り、撮像部３５は、カラーの動画像としての撮像情報１１２を取得するものとして説明する。ここで動画像とは、所定のフレーム間隔で撮像された連続する静止画像の集合物として撮像情報１１２が取得されることを言うものとする。

ただし、撮像部３５が取得する撮像情報１１２は、カラー画像に限定されるものではなく、白黒画像であってもよい。また、動画像でなくてもよい。すなわち、撮像情報１１２の用途等に応じて、適宜、取得する撮像情報１１２の形式等が選択されてもよい。

図５は、携帯端末装置３のブロック図である。携帯端末装置３は、図４に示す構成の他に、ＣＰＵ１０、記憶装置１１および通信部１２を備えている。

ＣＰＵ１０は、記憶装置１１に格納されているプログラム１１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ１０は、携帯端末装置３が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、携帯端末装置３は、一般的なコンピュータとして構成されている。

記憶装置１１は、携帯端末装置３において各種データを記憶する機能を提供する。言い換えれば、記憶装置１１が携帯端末装置３において電子的に固定された情報を保存する。

記憶装置１１としては、ＣＰＵ１０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、専用の読み取り装置に装着された可搬性の記憶媒体（ＳＤカードやＵＳＢメモリなど）等が該当する。図５においては、記憶装置１１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置１１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置１１は、データを記憶する機能を有する装置群の総称である。

また、現実のＣＰＵ１０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ１０が備える記憶装置も、説明の都合上、記憶装置１１に含めて説明する。すなわち、一時的にＣＰＵ１０自体が記憶するデータも、記憶装置１１が記憶するとして説明する。図５に示すように、記憶装置１１は、プログラム１１０、データベース１１１、撮像情報１１２、および、化粧支援情報１１４などを記憶するために使用される。

ここで、データベース１１１には、オーナー情報、状況に応じた化粧の仕方（濃度、塗布位置、塗り方、力加減、使用する物品種別など）に関する情報、披露場所に応じた光環境を示す光環境情報１１３などが格納されている。

オーナー情報とは、ユーザの性別や年齢、好みといった化粧に影響を与える個人情報、ユーザが所持している物品（化粧品や道具類など）に関する情報、ユーザ個人を撮像した画像情報である計測用撮像情報２１１、ユーザ個人の三次元の形状を示す三次元形状情報２１２などである。

オーナー情報に含まれる計測用撮像情報２１１は、上記のとおりユーザ個人を表現した画像情報である。しかし、携帯端末装置３の撮像部３５によって取得される撮像情報１１２ではない。すでに説明したように、計測用撮像情報２１１は、計測装置２の撮像部２６によって撮像され、携帯端末装置３に向けて送信された情報である。すなわち、計測用撮像情報２１１は、予めユーザの自宅などにおいて撮像され準備された情報である。予め自宅などで撮像される計測用撮像情報２１１には、ユーザの部位のうち、化粧中に携帯端末装置３によって撮像することが困難な部位を被写体として含めることもできる。

携帯端末装置３を用いてユーザが化粧を行う場合において、ユーザは、表示部３３，３４に表示される化粧支援情報１１４を閲覧している。したがって、当該化粧中において、ユーザは、表示部３３，３４を閲覧しやすいように、携帯端末装置３をユーザに正対させて配置し維持することが予想される。このような位置関係に配置されると、撮像部３５もユーザに正対し、撮像部３５は正面からしかユーザを撮像することができない。したがって、正面に向いていないユーザの部位については、当該化粧時にリアルタイムで撮像することは困難である。このような部位としては、例えば、側頭部や後頭部、頭頂部、喉部などが想定される。

詳細は後述するが、化粧支援システム１では、ユーザは、携帯端末装置３を用いた化粧時において撮像が困難な部位を、計測装置２を用いて予め撮像し、当該計測装置２に計測用撮像情報２１１を作成させる。そして、化粧支援システム１は、当該計測用撮像情報２１１を携帯端末装置３に転送し、後の利用のために、三次元形状情報２１２とともにデータベース１１１に格納しておくのである。すなわち、撮像情報１１２として取得することが困難な部位を表示する必要が生じた場合、当該部位を予め撮像しておいた計測用撮像情報２１１を用いて当該部位についての画像を生成する。

なお、この場合の計測用撮像情報２１１は動画像である必要はなく、各部位についてフレーム1枚分の静止画像のみであってもよい。ただし、当該計測用撮像情報２１１は、必ずしも部位を選択的に撮像した情報でなければならないわけではなく、例えば、ユーザの頭部の全周にわたって撮像されていてもよい。

また、データベース１１１に含まれる披露場所に応じた光環境とは、ユーザが化粧した状態を披露する場所として想定される場所ごとの、想定される光環境である。すなわち、記憶装置１１は、データベース１１１を記憶することにより、ユーザの化粧を披露する場所における光環境を示す光環境情報１１３を記憶する。

化粧の典型的な披露場所としては、例えば、公園や海岸といった屋外や、オフィス、住宅の室内、レストラン内、バーのカウンタ、ホテルのロビー、イベント会場、車内などが想定される。また、屋外については、時間や天候など、日照状況による変化も想定される。携帯端末装置３では、予め予想される披露場所ごとに、当該披露場所において想定される光環境を取得しておき、データベース１１１に格納しておく。また、詳細は後述するが、光環境情報１１３は、撮像部３５により撮像された撮像情報１１２に基づいて、当該撮像情報１１２が撮像されたときの光環境を推定して、更新される場合がある。

携帯端末装置３は、図４に示すように２つの表示部３３，３４を備えており、いわゆるツインディスプレイ構造の装置として構成されている。携帯端末装置３において、表示部３３，３４は、化粧支援情報１１４を表示する機能を有している。

なお、以下の説明では、説明を簡単にするために、化粧支援情報１１４を表示部３３に表示する例で説明する。ただし、特に断らない限り、化粧支援情報１１４は、表示部３４に表示されてもよいし、表示部３３と表示部３４とに分割して表示されてもよい。例えば、携帯端末装置３は、現在の状態の画像を表示部３３に表示させつつ、同時に化粧の完成した状態の画像を表示部３４に表示させることができる。あるいは、正面からユーザの顔をみたときの画像を表示部３３に表示させつつ、ユーザの横顔の画像を表示部３４に表示させるといったことも可能である。

通信部１２は、無線によるデータ通信を実現する。通信部１２を備えることにより、携帯端末装置３は、ネットワーク９に接続して、計測装置２との間でデータ通信を行うことができる。特に、通信部１２は、計測装置２から送信される計測用撮像情報２１１および三次元形状情報２１２を受信する。

図６は、携帯端末装置３が備える機能ブロックをデータの流れとともに示す図である。図６に示すデータ取得部１００、推定部１０１、および、情報作成部１０２は、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される機能ブロックである。

データ取得部１００は、通信部１２によって受信された計測用撮像情報２１１および三次元形状情報２１２、操作部３２から転送される入力情報、および、撮像部３５によって取得された撮像情報１１２などに基づいて、データベース１１１を管理（作成および更新）する機能を有している。

特に、データ取得部１００は、撮像部３５により撮像された撮像情報１１２に基づいて、当該撮像情報１１２が撮像されたときの光環境を推定して、記憶装置１１に記憶されている光環境情報１１３を更新する。

光環境情報１１３として、データ取得部１００は、光の光線方向および光線強度を推定するとともに、ユーザに向けて照射されている光の色を推定する。データ取得部１００が化粧時（現在）における光環境を推定（特定）する手法としては、例えば、以下の手法を採用することができる。

まず、三次元形状情報２１２に特定の方向から特定強度の光を当てた場合のレンダリング画像を、光の方向や強度を変更しつつ複数作成する。そして、当該複数のレンダリング画像と、撮像情報１１２との輝度分布を比較することにより、最も一致度合いの高い組み合わせを、当該撮像情報１１２が撮像されたときの光環境（光の方向および強度）として特定する。

図７は、撮像情報１１２に対して推定された光環境を例示する図である。このように、光線の方向および光線の強度を推定することによって、例えば、口元などの黒い領域は「影」であると判定できる。これにより、例えば、誤ってその領域を化粧品で塗るように指示を出すことを避けることができる。

また、化粧時の光環境における光の色を推定する手法としては、色が既知の基準物体（例えば白色のキューブなど）を撮像して撮像情報１１２を作成する。そして、当該撮像情報１１２において、当該物体の色がどのように撮像されているかを解析することにより、当該物体に照射されている光の色（すなわち、撮像時の光環境における光の色）を推定する。

図８は、白色のキューブで構成される基準物体８０を撮像範囲に含めて撮像した撮像情報１１２を例示する図である。図８に示す撮像情報１１２において、データ取得部１００は、基準物体８０を表現する画素の色彩を判定し、基準物体８０の既知の色彩と比較することにより、当該撮像情報１１２が撮像されたときの光環境情報１１３を特定する。

このように、化粧支援システム１は、ユーザが実際に撮像した場所における光環境情報１１３を取得することができる。すなわち、ユーザは、化粧中における光環境のみならず、自身が頻繁に通う場所（化粧を披露する場所）についての光環境情報１１３を当該場所に赴いて撮像することにより予め収集しておくこともできる。このように、任意の場所の光環境情報１１３を予め収集しておくことによって、次回から、当該場所における光環境情報１１３に基づいて化粧支援情報１１４を作成することができる。

なお、ユーザの髪の毛や、常時使用している眼鏡の縁など、あまり頻繁に色が変化しない物体で、かつ、ユーザ自身を撮像することにより、自然に撮像情報１１２として取得することが可能な物体を基準物体８０として選択することもできる。このような物体を、基準物体８０として登録しておくことにより、別途、ユーザが意識して基準物体８０を持参し撮像する必要がなくなるため、ユーザの負担が軽減される。

図６に示す推定部１０１は、撮像情報１１２や計測用撮像情報２１１、三次元形状情報２１２に基づいて、化粧時における様々な状況や状態を推定し、その推定結果を情報作成部１０２に伝達する機能を有している。なお、推定部１０１から情報作成部１０２に向けて伝達される推定結果を、以下、「推定情報」と総称する。

例えば、推定部１０１は、ユーザの化粧時における化粧品の塗布速度を推定し、推定情報とする。塗布速度は、例えば、どの程度の距離をどの程度の時間をかけて塗布しているかによって求めることができる。どの程度の距離かは、三次元形状情報２１２および／または撮像情報１１２に基づいて求めることが可能である。また、どの程度の時間をかけて塗布しているかは、動画像として取得されている撮像情報１１２に基づいて当該撮像情報１１２のフレーム数などにより求めることができる。

また、推定部１０１は、例えば、ユーザの顔の立体形状を三次元形状情報２１２を元にして解析し、その起伏の分布状態から、ユーザの頬骨位置や目の位置など、化粧を施す際のポイントとなりうる特徴的な部位を特定し、推定情報とする。例えば、頬骨位置は、ある程度の広さを持った立体的な領域（起伏領域）として特定され、個々のユーザに固有の形状を有する領域となる。頬骨位置は、当該ユーザに化粧を施す位置を決めるための参考となる。

また、推定部１０１は、化粧時における光環境情報１１３に応じて、ユーザの化粧時における顔色を推定し、推定情報とする。例えば、推定部１０１は、化粧時における光環境の影響を、化粧時に撮像された撮像情報１１２（ユーザ撮像画像）の顔肌部分から除去することにより、化粧時のユーザの顔色を特定する。

また、推定部１０１は、三次元形状情報２１２と撮像情報１１２とに基づいて、当該撮像情報１１２における撮像ズレ角を推定し、推定情報とする。

本実施の形態における推定部１０１が撮像ズレ角を推定する原理について説明する。まず、推定部１０１は、三次元形状情報２１２に表現されているユーザの部位（例えば顔）について、当該三次元形状情報２１２を用いて当該部位が正対した状態を想定する。そして、想定した当該部位が正対した状態において、当該部位に含まれるユーザの各部位（例えば眉毛、目、鼻、唇、耳など）の位置を特定する。

次に、撮像情報１１２を用いて当該撮像情報１１２に撮像されているユーザの各部位（ここでは眉毛、目、鼻、唇、耳など）の位置を特定する。さらに、三次元形状情報２１２から特定された各部位の位置と、撮像情報１１２から特定された各部位の位置との差分を求める。そして、求めた差分に基づいて、当該撮像情報１１２に撮像されているユーザの部位（ここでは顔）が、正対した状態で撮像された場合に比べて、どれだけの撮像ズレ角で撮像されているかを推定する。なお、推定部１０１により推定された撮像ズレ角を、化粧支援情報１１４においてどのように用いるかについては後述する。

また、推定部１０１は、ユーザが正面を向いているときの目線と、撮像情報１１２に撮像されたときのユーザの目線との目線ズレ角を推定し、推定情報とする。より詳細には、推定部１０１は、当該目線ズレ角を補正するための補正距離を求めて、推定情報とする。なお、補正距離とは、ユーザが正面を向いている状態を撮像するために、ユーザが視線を動かすべきときに参考となるように、当該ユーザに対して提供される距離である。

図９は、補正距離を説明するための図である。

ユーザが化粧中の自身の顔を確認する場合、当該ユーザが正面を向いている状態の顔を確認することが最適である。詳細は後述することになるが、化粧支援システム１は、三次元形状情報２１２に、撮像情報１１２をマッピングすることによって、任意の方向から見た顔の映像を得るように構成されている。したがって、ユーザと撮像部３５とが正対しているか否かに関わらず、化粧支援システム１は、ユーザの顔を正面から見たときの映像を得ることは可能である。

一方で、一般に、携帯端末装置３を利用する場合、ユーザは、当該携帯端末装置３を自身の目の高さよりも下方に所持し、さらに、撮像部３５の下方に位置する表示部３３，３４の中央付近に目線を向けることになる。このときのユーザの目線は、およそ図９に示す目線７０である。

目線が目線７０となっているときのユーザを、撮像部３５によって撮像すると、ユーザの瞼は半開き状態で撮像される。このようなユーザ撮像画像（撮像情報１１２）を用いてマッピングすると、ユーザの顔自体は正面から見た状態ではあるものの、瞼が半開き状態のユーザの顔が表示されることになる。このような画像は、化粧を行うときに参考とする画像として不向きなだけでなく、閲覧するユーザに違和感を与えることになる。

また、撮像部３５を見ているときのユーザの目線は、およそ図９に示す目線７１である。したがって、撮像部３５を見るようにユーザを誘導したとしても、ユーザが下を向いている状態で、目線が合うことになり、依然として、ユーザが正面を向いているときの自然な画像を得ることはできない。

このように、ユーザが携帯端末装置３を利用しているときにおいて、ユーザが正面を向いたときの目線（図９に示す目線７２）と、撮像情報１１２に撮像されたときのユーザの目線（図９に示す目線７０，７１）との間には、目線ズレ角を生じる。

そこで、推定部１０１は、撮像情報１１２を三次元形状情報２１２にマッピングしたときの角度に応じて、撮像部３５によって撮像された顔の携帯端末装置３に対する下向き角度（目線ズレ角）を求める。そして、さらに、ユーザの目線が目線７２となるように、ユーザが見つめるべき位置（視線目標位置）を示す補正距離７３を求める。補正距離７３は、視線目標位置と撮像部３５との相対的な位置関係に応じて求められ、推定情報に含められる。

また、推定部１０１は、撮像部３５によって撮像された撮像情報１１２と、過去撮像情報（計測用撮像情報２１１）とを比較して、当該撮像情報１１２が撮像された時点における化粧の劣化度を推定し、推定情報とする。例えば、ユーザが自宅で化粧を完了したときの自身の姿を撮像した画像情報として、計測用撮像情報２１１を取得し、データベース１１１に格納しておけば、外出先で撮像情報１１２を取得することにより、その時点での化粧の劣化度を求めることができる。

例えば、推定部１０１は、画像認識処理などを用いて、計測用撮像情報２１１に撮像されているユーザの毛穴の状態と、撮像情報１１２に撮像されているユーザの毛穴の状態とを比較し、化粧の劣化度を推定する。これにより、例えば、ファンデーションの落ち具合などを推定することができる。

また、例えば、推定部１０１は、計測用撮像情報２１１に撮像されているユーザの肌部分と特定部分（劣化度を推定したい部分）との色比率と、撮像情報１１２に撮像されているユーザの肌部分と特定部分との色比率とを比較して、特定部分における化粧の劣化度を推定する。これにより、例えば、口紅やチーク、アイシャドウなどの落ち具合を判定することができる。

さらに、推定部１０１は、推定した当該化粧の劣化度と、当該計測用撮像情報２１１が撮像された時間からの経過時間とに基づいて、当該化粧を修正すべき時間（化粧なおし予定時間）を推定し、推定情報とする。

以上が、図６に示す推定部１０１の機能の説明である。次に、同じく図６に示す情報作成部１０２の機能について説明する。

情報作成部１０２は、通信部１２により受信された計測用撮像情報２１１および三次元形状情報２１２と、撮像部３５により取得された撮像情報１１２とに基づいて、ユーザに施す化粧を支援するための化粧支援情報１１４を作成する。

情報作成部１０２は、化粧支援情報１１４を作成するときに、適宜、データベース１１１を検索し、状況に応じた化粧の仕方を示す情報や、使用すべき化粧品や道具等に関する情報（推奨物品情報）なども取得して、これらの情報を化粧支援情報１１４に含める機能を有している。

なお、情報作成部１０２がデータベース１１１を検索するときの条件（検索キー）として用いる情報は、主に、操作部３２から伝達される情報（ユーザからの指示情報）と、推定部１０１から伝達される推定情報とである。

以下に、情報作成部１０２が化粧支援情報１１４を作成する具体例について説明する。

まず、情報作成部１０２は、三次元形状情報２１２に、化粧時に撮像された撮像情報１１２を用いてテクスチャマッピング技術により画像（以下、「表示ユーザ画像」と称する。）を作成する。このようにして作成された表示ユーザ画像は、化粧支援情報１１４に含められ、化粧支援情報１１４として、表示部３３に表示される。表示ユーザ画像は、携帯端末装置３を用いて化粧を行うときの、いわゆる鏡面像の役割を担う画像である。

ただし、詳細は順次説明するが、携帯端末装置３における表示ユーザ画像は、単なる鏡面像ではない。表示ユーザ画像は、化粧を行うユーザにとって有益な様々な加工が施された画像として表示される。例えば、表示ユーザ画像における視点（アングル）は、撮像情報１１２の撮像方位に限定されるものではなく、化粧を施す部位などに応じて変更することができる。情報作成部１０２は、どの方向から見たときの表示ユーザ画像を作成するかを、操作部３２から入力された視点情報に基づいて決定する。また、操作部３２からの指示情報により、化粧を施す場所にズームした表示ユーザ画像を作成することもできる。

すでに説明したように、本実施の形態における化粧支援システム１では、様々な表情に関する三次元形状情報２１２を作成した場合などにおいて、複数の三次元形状情報２１２が存在する場合がある。このような場合には、いずれの三次元形状情報２１２を用いてユーザ表示画像を作成するのかを、まず選択しなければならない。

情報作成部１０２は、複数の三次元形状情報２１２と撮像情報１１２とを一対一で比較することにより、複数の三次元形状情報２１２から、当該撮像情報１１２に最も合致する１の三次元形状情報２１２を選択する。そして、情報作成部１０２は、選択された１の三次元形状情報２１２と撮像情報１１２とに基づいて化粧支援情報１１４を作成する。このように、異なる表情について準備された複数の三次元形状情報２１２の中から、現在の表情と同じ表情の三次元形状情報２１２に基づいて化粧支援情報１１４を作成することにより、精度が向上する。また、表示ユーザ画像がユーザの現実の表情に連動するため、ユーザの違和感を抑制することができる。

また、情報作成部１０２は、操作部３２から入力されるユーザの指示に応じて、ユーザが所望する表情を特定し、複数の三次元形状情報２１２から当該表情に対応した１の三次元形状情報２１２を選択することも可能である。そして、情報作成部１０２は、選択した１の三次元形状情報２１２と撮像情報１１２とに基づいて化粧支援情報１１４を作成する。このように、異なる表情について準備された複数の三次元形状情報２１２の中からユーザが所望する表情の三次元形状情報２１２を選択することにより、化粧支援システム１は、化粧を施す際にユーザが現実に当該表情を実演することなく、当該表情に関する化粧支援情報１１４（表示ユーザ画像）を作成することができる。

また、情報作成部１０２は、ユーザの指示に応じて、複数の三次元形状情報２１２の中からユーザが所望する特定の部位にズームした三次元形状情報２１２を選択することも可能である。これにより、例えば、目の周辺部分のように、細かい化粧が必要な部位については、他の部位に比べて詳細な化粧支援情報１１４を作成することが可能となる。ここに言う「詳細な化粧支援情報１１４」とは、例えば、細部が視認できるように拡大された表示ユーザ画像である。

また、情報作成部１０２は、ユーザの目線に関する目線ズレ角を抑制するための指示を化粧支援情報１１４に含める。例えば、推定部１０１によって推定された補正距離を用いて、「カメラの上方、１０ｃｍくらいのところを見つめてください」といったメッセージを化粧支援情報１１４として作成する。これを表示部３３に表示させることにより、化粧を施す際のユーザに、一旦、正面を見るようにアドバイスすることができ、正面を見ている状態のユーザを容易に撮像情報１１２として撮像することができる。

計測装置２において撮像された計測用撮像画像２１１ではなく、携帯端末装置３において撮像された撮像情報１１２から得られたユーザ撮像画像を、計測装置２において特定された三次元形状情報２１２にテクスチャマッピングする場合、当該ユーザ撮像画像がどの角度から撮像されたかを特定して行う必要がある。このために、情報作成部１０２は、推定部１０１によって推定された撮像ズレ角を利用して投影変換する。

推定情報（撮像ズレ角）に基づく投影変換を行っても、三次元形状情報２１２における特徴点（例えば、目尻、唇、鼻の穴の位置など）の三次元位置が、ユーザ撮像画像の特徴点位置と一致しない場合、情報作成部１０２は、最小二乗法などの手法を利用して、最も特徴点位置誤差が少なくなる角度（最適角度）から、テクスチャマッピングを行う。

ところが、後述するように、携帯端末装置３の撮像部３５が装備するレンズが安価であったり、広角レンズであったりする場合においては、ユーザ撮像画像がユーザの形状を正確に反映していない場合がある。すなわち、携帯端末装置３において得られたユーザ撮像画像に、光学的な歪みが生じている場合がある。このような場合には、最適角度によるテクスチャマッピングにおいても、特徴点位置誤差が生じる場合がある。このような場合には、情報作成部１０２は、三次元形状情報２１２に合わせ込むように、各部位（特徴点を形成する部位）を移動させることによって対応付けを行う。

一方で、携帯端末装置３の撮像部３５が高精度な場合、逆に、三次元形状情報２１２における部位を、ユーザ撮像画像に合わせ込むことも可能である。この場合には、携帯端末装置３で撮像されたユーザの表情に近い形で三次元形状情報２１２が修正される。したがって、撮像時（化粧時）の少しの表情変化などを反映した全方位画像を、携帯端末装置３上で確認することが可能となる。

このように、化粧支援システム１は、撮像情報１１２におけるユーザの撮像方位と、マッピングする三次元形状の見え方の方位とを予め合わせておいてから、ユーザ撮像画像をマッピングすることにより、自然な状態の表示ユーザ画像を作成することができる。

また、情報作成部１０２は、推定部１０１により推定された化粧の劣化度に基づいて化粧支援情報１１４を作成する。

図１０は、化粧の劣化度に基づいて作成される化粧支援情報１１４を例示する図である。

図１０に示すように、化粧支援情報１１４には、自宅で化粧を完成させたときに撮像された計測用撮像情報２１１と、現在の化粧の状況を示す撮像情報１１２とが含まれている。したがって、ユーザは、２つの画像を見比べることにより、容易に現在の化粧の状況を知ることができる。また、現在の化粧の状況として、化粧の劣化度が数値により表示されている。したがって、ユーザは、現在の化粧の状況を客観的に評価することができる。このように、化粧支援システム１は、化粧の劣化度に応じてユーザの化粧を支援することができる。

また、次回の化粧なおしの時間を示す情報として「午後２時３０分」が表示されている。これにより、化粧支援システム１は、単に劣化度を数値で示す場合に比べて、ユーザに、化粧なおしを行うべき時間を具体的に提案することができる。

なお、図１０では、化粧を完成させたときの撮像画像として、計測用撮像情報２１１を用いている。しかし、携帯端末装置３において化粧を完成させた場合には、そのときに撮像された撮像情報１１２が、化粧を完成させたときの撮像画像として用いられる。

また、ここでは、過去撮像情報が化粧を完成させたときの撮像画像であるとみなして、これとの比較により、現在の化粧の状況を評価する例について説明した。しかし、例えば、目標とする化粧の状態と、現在の化粧の状態とを比較するようにしてもよい。例えば、化粧を途中で中断した場合などにおいては、中断したときの撮像画像（過去撮像情報）を基準として比較しても、経過時間による劣化の進行速度を求めることはできるものの、理想の化粧に対する劣化度を求めることはできない。このような場合には、完成させたときの化粧の状態を推定して比較し、化粧支援情報１１４を作成することが好ましい。

また、情報作成部１０２は、推定部１０１により推定された塗布速度に関する情報を含むように化粧支援情報１１４を作成する。具体的には、推定された塗布速度に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該塗布速度が適切か否かのメッセージや、当該塗布速度に応じた残り塗り回数などを取得し、化粧支援情報１１４に含める。これにより、携帯端末装置３は、ユーザによる塗布速度の適否を判定して、当該ユーザに対する化粧支援を行うことができる。

また、情報作成部１０２は、推定部１０１により推定されたユーザの特徴的な部位に応じて化粧支援情報１１４を作成する。具体的には、例えば、頬骨の位置を基準にしてチークなどの化粧品の塗り位置を決定する。すなわち、推定された頬骨位置に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該頬骨位置に応じた塗布位置を示す情報を取得し、化粧支援情報１１４に含める。

図１１は、推定部１０１により推定された頬骨位置に応じて表示ユーザ画像（化粧支援情報１１４）にガイド８１を含めて表示する例を示す図である。図１１に示す例では、ガイド８１は、化粧品を塗布すべき領域を示す円として表示されている。このように、携帯端末装置３は、ユーザの特徴的な部位に応じて、適切な化粧支援を行うことができる。

また、情報作成部１０２は、様々な光環境に基づいて、化粧支援情報１１４を作成する。様々な光環境とは、化粧の披露場所に応じて予め収集された光環境、データ取得部１００により推定された化粧時の光環境（撮像情報１１２が撮像されたときの光環境）、あるいは、計測用撮像情報２１１に関連づけられている光環境（計測用撮像情報２１１が撮像されたときの光環境であり、基準となる光環境）である。

具体的には、情報作成部１０２は、光環境そのものを検索キーとして、データベース１１１に含まれる状況に応じた化粧の仕方を検索する。そして、当該光環境に適した化粧の仕方を示す情報を取得し、化粧支援情報１１４に含める。これにより、携帯端末装置３は、当該光環境を考慮した化粧支援が可能となる。なお、情報作成部１０２は、光の光線方向、光線強度、光の色などの光環境を示すパラメータを利用する。また、検索キーとする光環境は、例えば、ユーザの指示に応じて決定することができる。

また、情報作成部１０２は、化粧時における光環境（光環境情報１１３）と、計測用撮像情報２１１に関連づけられている基準となる光環境（計測装置２における撮像時の光環境）とに基づいて、ユーザの化粧時において撮像部３５により撮像された撮像情報１１２を補正する。すなわち、情報作成部１０２は、化粧時に取得されたユーザ撮像画像を、基準となる光環境に応じた表示ユーザ画像に補正する。

図１２は、撮像情報１１２と化粧支援情報１１４とを比較する図である。図１２において左側に示す撮像情報１１２は、現在（化粧時）の光環境における画像（補正前の画像）である。

情報作成部１０２は、化粧時に取得された撮像情報１１２からユーザ撮像画像を抽出し、推定された化粧時における光環境に基づいて、当該ユーザ撮像画像を当該光環境の影響を取り除いた画像に変換する。次に、基準となる光環境を取得して、取得した基準となる光環境において撮像されたかのような画像となるように、上記変換された画像に対してさらに画像処理を施して表示ユーザ画像を作成する。そして、このようにして作成した表示ユーザ画像を含む化粧支援情報１１４（図１２において右側の画像）を作成する。

これにより、ユーザは、いつでも、基準となる光環境における化粧の見栄えを確認することができる。したがって、移動先の光環境に左右されずに安定した化粧を行うことができる。なお、情報作成部１０２は、基準となる光環境の表示ユーザ画像となるように、ユーザ撮像画像を補正するか否かは、ユーザが操作部３２を操作して入力する指示情報によって判断する。

また、情報作成部１０２は、データ取得部１００により推定された化粧時における光環境と、ユーザの所望する披露場所における光環境とに基づいて、当該ユーザの化粧時において撮像された撮像情報１１２を補正する。すなわち、情報作成部１０２は、化粧時に取得されたユーザ撮像画像を、ユーザの所望する披露場所における光環境に応じた表示ユーザ画像に補正する。

より具体的には、化粧時に取得されたユーザ撮像画像を撮像情報１１２から抽出し、推定された化粧時における光環境に基づいて、ユーザ撮像画像を当該光環境の影響を取り除いた画像に変換する。次に、操作部３２からの指示情報を検索キーとして、データベース１１１に格納されている披露場所における光環境を検索し、ユーザの所望する披露場所における光環境を特定する。例えば、ユーザが操作部３２を操作して披露場所として「レストラン」を指定する指示情報を入力すると、データベース１１１の光環境情報１１３からレストランにおける光環境が特定される。そして、特定されたレストランにおける光環境において撮像されたかのような画像となるように、上記変換された画像に対してさらに画像処理を施して表示ユーザ画像を作成する。

これにより、ユーザは、化粧を披露する場所の光環境における化粧の見栄えを確認することができる。なお、情報作成部１０２は、ユーザの所望する披露場所における光環境の表示ユーザ画像となるように、ユーザ撮像画像を補正するか否かは、ユーザが操作部３２を操作して入力する指示情報によって判断する。

また、情報作成部１０２は、推定部１０１によって推定された顔色（光環境情報１１３に基づいて化粧中の光環境の影響が除去されている。）に応じて、適切な化粧の種類や塗布量、塗布位置といった情報を案内するメッセージを化粧支援情報１１４に含める。これにより、化粧中の光環境に影響されることなく、そのときの顔色（健康状態など）に応じた適切な化粧支援を行うことができる。

また、情報作成部１０２は、ユーザの所望する披露場所に適した化粧支援情報１１４を作成する。具体的には、操作部３２から入力される、ユーザの所望する披露場所を示す情報を検索キーとして、データベース１１１の状況に応じた化粧の仕方を検索する。

例えば、ユーザの所望する披露場所として、先述のように「レストラン」が入力された場合には、「レストラン」を検索キーとして、レストランにふさわしい化粧の仕方をデータベース１１１から特定する。情報作成部１０２は、このようにして、特定した化粧の仕方を化粧支援情報１１４に含める。そして、ユーザは、表示部３３に表示された化粧支援情報１１４を閲覧し、これに従って化粧を行うことにより、特に意識することもなく「レストラン」において映える化粧を完成させることができる。このように、携帯端末装置３は、化粧を披露する場所に対応した適切な化粧支援を行うことができる。

また、情報作成部１０２は、操作部３２により取得された視点情報に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成する。例えば、操作部３２から横顔を確認する旨の指示（視点情報）が入力されたときには、表示ユーザ画像として当該ユーザの横顔の画像を作成し、化粧支援情報１１４に含める。

例えば、図１１に示す化粧支援情報１１４は、ユーザが撮像部３５に対して正対している状態で、表示されている画像である。このように携帯端末装置３は、三次元形状情報２１２に基づいて表示ユーザ画像を作成できるため、撮像部３５から見た画像だけでなく、様々な方向からの画像を表示することができる。したがって、ユーザは、様々な視点（アングル）から自身に対する化粧の見栄えを確認することができる。

また、ユーザは、見栄えを確認するだけではなく、化粧中に操作部３２を操作することにより、視点（アングル）を変更しつつ化粧をすることもできる。例えば、横顔を表示ユーザ画像として表示部３３に表示させつつ、自身は表示部３３（撮像部３５）に対して正対しながら化粧をすることもできる。すなわち、正面からの画像を見ながら側面（例えば、頬）を化粧するのではなく、側面に正対した画像（横顔画像）を見ながら当該側面に対する化粧をすることができる。したがって、ユーザは正確に化粧することができる。

また、情報作成部１０２は、ユーザの化粧目的に応じた化粧支援情報１１４を作成する。ユーザの化粧目的とは、どのような印象を与えたいかというユーザの希望であって、例えば、清楚に見える化粧や、健康的に見える化粧、ゴージャスな化粧、ワイルドな化粧などといった例が考えられる。すなわち、同じシーンであっても、ユーザが相手に与えたいと所望する印象は異なるものである。

このように、情報作成部１０２がユーザの化粧目的に応じた化粧支援情報１１４を作成することにより、ユーザに対して提案することのできる化粧のバリエーションが増え、汎用性が向上する。なお、ユーザの化粧目的は、例えば、操作部３２から指示情報として入力することができる。

また、情報作成部１０２は、データベース１１１に登録されているユーザが所持している物品の中から推奨物品を選択し、選択した当該推奨物品に関する情報を化粧支援情報１１４に含める。これにより、状況に応じた最適な物品を提案することができ、ユーザの化粧をより適切に支援することができる。なお、推奨物品には、ハケや筆、ローラ、パッド、ビューラーなどが想定される。また、同種の物品を複数登録している場合には、その中で状況に応じて最適なものを推奨物品として推奨する。例えば、大きいハケと小さいハケとが登録されている場合に、特定の化粧品を使用するときには大きいハケを推奨し、他の化粧品を使用するときには小さいハケを推奨するといったパターンが想定される。

また、情報作成部１０２は、状況に応じてデータベース１１１を検索することによって、ユーザについて、化粧後の予測画像情報を含めた化粧支援情報１１４を作成する。例えば、情報作成部１０２は、状況に応じて推奨する化粧品を、推奨する使用方法により化粧を実行した場合の表示ユーザ画像を予測に基づく画像処理によって作成し化粧支援情報１１４に含める。

これにより、ユーザは、化粧の完成後の状態を確認してから化粧を開始することができる。したがって、携帯端末装置３は、ユーザの予想外の結果とならないように適切に化粧を支援することができる。なお、予測画像情報に対して、ユーザによる修正が行われてから、修正後の状態となるように、情報作成部１０２がその後の化粧支援情報１１４を作成するように構成してもよい。

また、情報作成部１０２は、ユーザについて化粧を施すべき位置に関する情報を含む化粧支援情報１１４を作成する。また、化粧を施すべき位置は、化粧品を塗るときの塗り開始位置や、化粧品を塗るときの塗り終了位置、あるいは、化粧品を塗るときの軌跡に関する情報などを含む。

図１３および図１４は、化粧を施すべき位置に関する情報を含む化粧支援情報１１４を例示する図である。図１３は、表示ユーザ画像とともに、線状のガイド８２，８３を示している。また、図１４は、表示ユーザ画像とともに、楕円状のガイド８４，８５，８６を示している。

このようなガイド８２ないし８６は、以下のような手法により決定することができる。例えば、頬骨や黒目、小鼻の位置により、チークの始点を決定する。一旦決定したチークの始点と、横からの顔画像とに基づいて、チークの終点や塗る領域の形を決定する。顔の形により、ハイライトの始点や長さを決定する。二重の幅やアイホールの大きさに基づいてアイシャドウの位置や塗る領域の広さや形を決定する。顔の形や顎、エラの位置、額の大きさによってシェーディングの位置、塗る領域の広さや形を決定する。

また、頬骨の位置や形状からチークを塗るときにどのようなカーブをつければよいかといった表示（例えば、湾曲した矢印による軌跡表示）も可能である。さらに、ガイド８２ないし８６をアニメーション表示することにより、推奨する塗布速度を表現することも可能である。例えば、塗布する方向に向けて、矢印を始点から最適な塗布速度に従って徐々に延ばすような表現方法が考えられる。このような表現方法を用いれば、ユーザに対して個々の化粧品の塗り動作を指南することも可能である。

携帯端末装置３は、ガイド８２ないし８６を表示ユーザ画像とともに、化粧支援情報１１４に含めて、表示する。このように構成することにより、携帯端末装置３は、どの部位に、どのように化粧を施すべきかを具体的に示すことができる。

また、情報作成部１０２は、データベース１１１を検索することにより、化粧品の塗るべき濃度に関する情報を含む化粧支援情報１１４を作成する。例えば、チークを塗るときに、表示ユーザ画像における当該チークを塗る部分の近傍に、推奨する濃度（色）のパッチ画像を化粧支援情報１１４として表示させる。

これにより、例えば、ユーザは、チークを塗っている頬の色と、表示されているパッチ画像の色とを比較し、頬の色がパッチ画像の色と等しくなったと感じたときに完成したと判断することができる。なお、単に濃度といっても、グラデーションの変化度合いのように、濃度が徐々に変化するような場合も考えられる。グラデーションは、アイシャドウやチークなどを塗る場合に用いる技法であるが、例えば、塗る化粧品の種類、領域の広さや形状などに応じて決定することができる。

また、情報作成部１０２は、ユーザについて、化粧の終了に関する情報を含む化粧支援情報１１４を作成する。例えば、ユーザが化粧品を塗ることにより目標の色合いになったときに、当該化粧品の塗布の終了を通知する化粧支援情報１１４を作成する。これにより、例えば、ユーザは、過度に化粧しすぎることを回避することができる。

また、情報作成部１０２は、ユーザの複数の部位に対する化粧の進捗を比較することにより、当該化粧の終了を判定する。例えば、情報作成部１０２は、左の頬と右の頬とを比較して、両方の色合いが均等になったときに、頬に対する化粧の終了を通知する化粧支援情報１１４を作成する。これにより、ユーザは、他の部位とのバランスのとれた化粧をすることができる。

以上が、化粧支援システム１の構成および機能の説明である。次に、化粧支援システム１を用いてユーザの化粧を支援する方法について説明する。なお、ユーザは、一般的なコンパクトを所持する要領で、携帯端末装置３を使って化粧を行うことができる。

図１５は、計測装置２の動作を示す流れ図である。なお、特に断らない限り、図１５に示す各工程は、ＣＰＵ２０がプログラム２１０に従って動作することにより実行される。

計測装置２に電源が投入されると、計測装置２は所定の初期設定を実行する。そして、ユーザが化粧を支援するためのアプリケーション（以下、「お化粧アプリ」と称する。）を起動すると、計測装置２は表示部２３にメニューを表示する（ステップＳ１）。

図１６は、計測装置２の表示部２３に表示されるメニュー画像５０を例示する図である。図１６に示すように、メニュー画像５０は、ボタン画像４０，４１，４２，４３を備えている。各ボタン画像４０，４１，４２，４３は、ユーザが当該画像に触れるか、または、操作部２２を操作して選択するように構成されている。

ボタン画像４０は、ユーザ登録を行うときに選択される画像である。ユーザ登録とは、ユーザがオーナー情報を入力するときに必要となる処理である。ユーザ登録において、計測装置２は、所定のＧＵＩ画面（図示せず。）を表示する。ユーザが表示されたＧＵＩ画面に従って必要事項を入力すれば、ユーザ登録（オーナー情報の入力）は完了する。ただし、以下の説明では、ユーザ登録についての詳細な説明は省略する。

ボタン画像４１は、事前処理を行うときに選択される画像である。計測装置２における事前処理とは、主に三次元形状情報２１２を作成する処理であるが、詳細は後述する。

ボタン画像４２は、実際にユーザが化粧を開始するときに選択する画像である。化粧支援システム１では、携帯端末装置３を使用する場合のみならず、計測装置２を用いても化粧を行うことが可能である。

計測装置２を用いて化粧を行う場合、例えば、撮像部３５によって撮像情報１１２を取得する代わりに、撮像部２６によってリアルタイムに計測用撮像情報２１１を取得し、撮像情報１１２の代わりに当該リアルタイムに取得した計測用撮像情報２１１を使用する。また、計測装置２を用いて化粧を行ったときには、化粧を完了したときの撮像画像として、計測用撮像情報２１１を取得する。ただし、計測装置２を用いて化粧を行う場合の処理は、携帯端末装置３を使用する場合とほぼ同様に実行可能であるため、以下の説明では詳細を省略する。

ボタン画像４３は、お化粧アプリを終了させるときに選択される画像である。

図１５に戻って、ステップＳ１を実行して、メニュー画像５０を表示すると、ＣＰＵ２０は、指示情報が入力されるまでステップＳ１を繰り返しつつ待機する（ステップＳ２）。

メニュー画像５０におけるボタン画像４０，４１，４２，４３のうちのいずれかが操作されると、その操作に応じて指示情報が入力され、ＣＰＵ２０はステップＳ２においてＹｅｓと判定する。

メニュー画像５０においてボタン画像４１が操作され、入力された指示情報が「事前処理」となった場合、ＣＰＵ２０は、ステップＳ３においてＹｅｓと判定し、三次元形状情報作成処理を実行する（ステップＳ４）。

図１７は、計測装置２によって実行される三次元形状情報作成処理を示す流れ図である。なお、三次元形状情報作成処理では、ユーザの現実の状態が測定される。したがって、三次元形状情報作成処理を実行するとき、ユーザは、原則としてすべての化粧（特に色彩に影響のある装うための化粧）を落として、素の状態となることが好ましい。

三次元形状情報作成処理を開始すると、ＣＰＵ２０（計測制御部２００）は、計測部２５の照明部２７を所定の照明状態に制御する。これにより、照明部２７は、被写体（ユーザ）に対する照明を開始する（ステップＳ１１）。

照明が開始されると、計測制御部２００は、計測用パターンの投射を開始するように投光部２８を制御する。これにより、投光部２８が計測用パターンの投射を開始する（ステップＳ１２）。

ステップＳ１１およびＳ１２が実行され、照明および計測用パターンの投射が開始されると、計測装置２（ＣＰＵ２０）は、ユーザからの撮像開始指示があるまで待機する（ステップＳ１３）。

ステップＳ１３が実行され、計測装置２（ＣＰＵ２０）が待機している間に、ユーザは、撮像の準備を行うことが好ましい。撮像の準備とは、必要な情報（表情の種別やズームする部位の名称など）の入力や、撮像する表情の実演、あるいは、基準物体８０の撮像範囲への配置といった準備が想定される。

ユーザが操作部２２を操作して、撮像開始指示を入力すると、計測制御部２００は、撮像を開始するように、撮像部２６を制御する。これに応じて、撮像部２６が撮像を開始する（ステップＳ１４）。これにより、以後、三次元形状情報作成処理が終了するまで、計測用撮像情報２１１が取得される。なお、このとき取得される計測用撮像情報２１１を表示部２３に表示し、ユーザによる確認が可能な状態としてもよい。

撮像が開始されると、ＣＰＵ２０は、計測用撮像情報２１１に基づいて、このときの光環境を基準となる光環境として取得する（ステップＳ１５）。このとき、計測制御部２００は、計測用撮像情報２１１に撮像されている基準物体８０を表現した画像と、基準物体８０に関する既知の情報とに基づいて、基準となる光環境（計測用撮像情報２１１が撮像されたときの光環境）を取得する。

一般に、自宅で計測装置２を操作している場合には、照明部２７以外の室内照明も使用されていると考えられる。このような場合には、照明部２７の照明状態（例えば制御値）のみを取得しても、計測用撮像情報２１１を取得したときの光環境を取得したことにはならない。したがって、計測装置２は、これら任意の照明の影響も考慮することができるように、基準物体８０を用いて基準となる光環境を取得する。なお、基準となる光環境が取得された後も、撮像部２６は、撮像を継続し、計測用撮像情報２１１を取得しつづける。

ステップＳ１５が終了すると、撮像部２６は、ユーザの全周を周回しつつ撮像する（ステップＳ１６）。

計測制御部２００は、ステップＳ１６が継続している間に取得される計測用撮像情報２１１からユーザ撮像画像を抽出して、各方向からの情報を結合する。計測制御部２００は、結合されたユーザ撮像画像を解析し、全周にわたる画像が得られたと判断したときに、ステップＳ１６を終了する。これにより、ユーザの全周にわたる撮像が完了し、ユーザの全周に相当するカラー画像（計測用撮像情報２１１）が取得される。計測制御部２００は、このようにして取得したユーザの全周に相当する計測用撮像情報２１１を、１つの計測用撮像情報２１１として作成し、記憶装置２１に格納する。

ステップＳ１７が実行されると、モデル作成部２０１は、ステップＳ１７において作成された計測用撮像情報２１１に基づいて、三次元形状情報２１２を作成する（ステップＳ１８）。ステップＳ１８において、モデル作成部２０１は、一旦作成した各方向からの三次元形状情報２１２を、互いに結合して、ユーザの全周に相当する完全な三次元形状情報２１２を作成する。

なお、三次元形状情報２１２は、常に、全周にわたる計測用撮像情報２１１から作成されなければならないわけではない。例えば、ユーザの顔面部分のみ作成し、他の機会に作成された三次元形状情報２１２から、後頭部や側頭部の部分を抽出し、結合して完全な三次元形状情報２１２を作成してもよい。また、必ずしも全周のデータがなくとも、顔の化粧のみを行うのであれば、一方向から撮像された計測用撮像情報２１１から、顔面のみの三次元形状情報２１２を取得し、化粧時に利用してもよい。

次に、通信部２４は、作成された三次元形状情報２１２、および、必要な計測用撮像情報２１１を携帯端末装置３に向けて送信する（ステップＳ１９）。

なお、このとき、ユーザの部位ごとに分離して情報（計測用撮像情報２１１や三次元形状情報２１２）を管理するようにしてもよい。例えば、髪の部分と顔の部分とを分離してもよい。このように分離して管理しておくことにより、後に、例えば、髪の部分に関する情報だけが必要になった場合の処理を軽減することができる。

ステップＳ１９を実行すると、ＣＰＵ２０は、三次元形状作成処理を終了して、図１５に示す処理に戻る。三次元形状情報作成処理を終了して図１５に戻ると、計測装置２は、ステップＳ１から処理を繰り返す。したがって、計測装置２は、さらに新しい三次元形状情報２１２を作成することも可能である。これにより、計測装置２は、例えば、ユーザの表情を変えた三次元形状情報２１２を作成することもできる。

メニュー画像５０においてボタン画像４２が操作され、入力された指示情報が「化粧開始」となった場合、ＣＰＵ２０は、ステップＳ５においてＹｅｓと判定し、化粧準備処理（ステップＳ６）および化粧支援処理（ステップＳ７）を実行する。ただし、先述のように、計測装置２を用いた化粧については、携帯端末装置３を用いた化粧と同様に処理可能であるため、ここでは説明を省略する。

メニュー画像５０においてボタン画像４３が操作され、入力された指示情報が「終了」となった場合、ＣＰＵ２０は、ステップＳ８においてＹｅｓと判定し、お化粧アプリを終了する。

以上が、主に、計測装置２によって実現される処理の説明である。次に、携帯端末装置３によって実現される処理を説明する。

図１８は、携帯端末装置３の動作を示す流れ図である。なお、特に断らない限り、図１８に示す各工程は、ＣＰＵ１０がプログラム１１０に従って動作することにより実行される。

また、図１８に示す各工程が実行されるまでに、計測装置２から携帯端末装置３に向けて、三次元形状情報２１２および計測用撮像情報２１１が送信され、携帯端末装置３においてデータベース１１１に格納されているものとする。

本来、三次元形状情報２１２は、当該三次元形状情報２１２が作成されたときに、計測装置２から携帯端末装置３に向けて送信される。しかし、何らかの事情で、三次元形状情報２１２の送信が行われなかったり、携帯端末装置３において三次元形状情報２１２の受信や保存に失敗している場合も想定される。

一方で、化粧支援システム１では、携帯端末装置３に三次元形状情報２１２に相当する情報を作成する機能がない。すなわち、三次元形状情報２１２が携帯端末装置３に存在しない場合、ユーザは当該携帯端末装置３を用いて化粧を行うことができない。したがって、携帯端末装置３はお化粧アプリが起動されたときなどに、三次元形状情報２１２の存否を確認し、三次元形状情報２１２が存在しない場合には、携帯端末装置３から計測装置２に向けて計測用撮像情報２１１および三次元形状情報２１２をダウンロードするための要求を行ってもよい。

携帯端末装置３に電源が投入されると、携帯端末装置３は所定の初期設定を実行する。そして、お化粧アプリがユーザによって起動されると、携帯端末装置３は表示部３３にメニューを表示する（ステップＳ２１）。

図１９は、携帯端末装置３の表示部３３に表示されるメニュー画像５１を例示する図である。図１９に示すように、メニュー画像５１には、ボタン画像４４，４５，４６，４７が設けられている。各ボタン画像４４，４５，４６，４７は、ユーザが当該画像に触れるか、または、操作部３２を操作して選択するように構成されている。

ボタン画像４４は、ユーザ登録を行うときに選択される画像である。ユーザ登録とは、ユーザがオーナー情報を入力するときに必要となる処理である。化粧支援システム１では、携帯端末装置３を用いてユーザ登録することも可能である。ユーザ登録において、携帯端末装置３は、所定のＧＵＩ画面（図示せず。）を表示する。ユーザが、表示されたＧＵＩ画面に従って必要事項を入力することにより、ユーザ登録（オーナー情報の入力）を完了する。ただし、以下の説明では、計測装置２の場合と同様に、ユーザ登録についての詳細な説明は省略する。

ボタン画像４５は、事前処理を行うときに選択される画像である。携帯端末装置３における事前処理とは、主に、ユーザが任意の場所に赴き、当該場所の光環境を収集して光環境情報１１３を新たに作成するための処理である。

ボタン画像４６は、実際にユーザが化粧を開始するときに選択する画像である。

ボタン画像４７は、携帯端末装置３において、お化粧アプリを終了させるときに選択される画像である。

図１８に戻って、ステップＳ２１を実行して、メニュー画像５１を表示すると、ＣＰＵ１０は、指示情報が入力されるまでステップＳ２１を繰り返しつつ待機する（ステップＳ２２）。

メニュー画像５１におけるボタン画像４４，４５，４６，４７のうちのいずれかが操作されると、その操作に応じて指示情報が入力され、ＣＰＵ１０はステップＳ２２においてＹｅｓと判定する。

メニュー画像５１においてボタン画像４５が操作され、入力された指示情報が「事前処理」となった場合、ＣＰＵ１０は、ステップＳ２３においてＹｅｓと判定し、撮像部３５に撮像を開始するように指示を与える。これにより、撮像部３５が撮像を行い、撮像情報１１２が取得される（ステップＳ２４）。

さらに、データ取得部１００が、ステップＳ２４において取得された撮像情報１１２に撮像されている基準物体８０の画像と、当該基準物体８０の既知の情報とに基づいて、当該撮像情報１１２が撮像されたときの光環境を求め、光環境情報１１３に格納する（ステップＳ２５）。

このように、ステップＳ２４，Ｓ２５が実行されることにより、化粧支援システム１では、任意の場所における光環境を容易に光環境情報１１３として記録することができる。したがって、ユーザが頻繁に訪れる場所について、光環境情報１１３を作成しておけば、以後、化粧支援システム１は、ユーザが当該場所に赴く以前に、当該場所の光環境を考慮した化粧支援情報１１４を作成することが可能となる。

メニュー画像５１においてボタン画像４６が操作され、入力された指示情報が「化粧開始」となった場合、ＣＰＵ１０は、ステップＳ２６においてＹｅｓと判定し、化粧準備処理を実行する（ステップＳ２７）。

図２０は、携帯端末装置３によって実行される化粧準備処理を示す流れ図である。なお、図２０に示す化粧準備処理が開始されるまでに、すでに三次元形状情報２１２がデータベース１１１に格納されているものとする。ただし、未だ三次元形状情報２１２が準備されていない状態で「化粧開始」が指示された場合には、「先に事前処理を行ってください」といったエラーメッセージを表示するようにしてもよい。

化粧準備処理が開始されると、ＣＰＵ１０は、撮像情報１１２を取得するように撮像部３５を制御する。これにより、撮像部３５が撮像を開始し（ステップＳ３０）、撮像情報１１２の取得が開始される。

撮像情報１１２の取得が開始されると、データ取得部１００は、撮像情報１１２に基づいて、現在（化粧時）の光環境を推定し（ステップＳ３１）、データベース１１１の光環境情報１１３に格納する。なお、ステップＳ３１を実行するとき、携帯端末装置３は、表示部３３に、基準物体８０を撮像範囲内に配置するように促すメッセージを表示させるとよい。

化粧時の光環境が取得されると、推定部１０１は、データベース１１１を参照して、化粧が完了したときの計測用撮像情報２１１が格納されているか否かに応じて、すでにユーザが化粧済みであるか否かを判定する（ステップＳ３２）。

未だ化粧がされていない場合（ステップＳ３２においてＮｏ。）、推定部１０１は、ステップＳ３１において取得された現在（化粧時）の光環境（光環境情報１１３）と、リアルタイムに取得されている撮像情報１１２とに基づいて、現在（化粧時）におけるユーザの顔色を推定する（ステップＳ３３）。未だ化粧が施されていないユーザの顔は、素顔であり、そのときの顔面の色は、ユーザの現実の顔色とみなせる。なお、化粧の対象がユーザの顔でない場合には、ステップＳ３３をスキップしてもよい。

一方、すでに化粧済みの場合（ステップＳ３２においてＹｅｓ。）、推定部１０１は、化粧が完了したときの計測用撮像情報２１１（過去撮像画像）と、撮像情報１１２とに基づいて、すでに施された化粧の現在における劣化度と、化粧なおしの推奨時間とを推定する（ステップＳ３４）。なお、すでに化粧がされた後のユーザの顔面の色は、当該化粧の影響を受けており、もはや顔色とはいえない。したがって、ステップＳ３４を実行するときにおいて、推定部１０１は、ステップＳ３３をスキップする。

次に、推定部１０１は、目線ズレ角を推定し、当該目線ズレ角を抑制するための補正距離（図９の補正距離７３参照。）を推定する（ステップＳ３５）。

ステップＳ３３ないしＳ３５が順次実行されて、実際の化粧を開始する前における各種の状態が推定されると、推定部１０１は、これらの工程において推定した結果を推定情報として、情報作成部１０２に伝達する。

次に、ＣＰＵ１０は、化粧を行うときの条件を入力する画面を表示部３３に表示させる（ステップＳ３６）。ステップＳ３６において、表示部３３は、所定のＧＵＩを表示し、ユーザは当該ＧＵＩに従って、これから開始する化粧の条件を入力する。なお、ステップＳ３６においてユーザが入力する条件とは、化粧の披露場所や目的、化粧を施す部位を示す情報などである。

ユーザによる入力が完了すると、ＣＰＵ１０はステップＳ３６を終了し、入力された情報（条件）を指示情報として保持する。さらに、ＣＰＵ１０は、予測画像情報表示処理を実行する（ステップＳ３７）。

図２１は、携帯端末装置３によって実行される予測画像情報表示処理を示す流れ図である。

予測画像情報表示処理が開始されると、ＣＰＵ１０（情報作成部１０２）は、まず、推定部１０１によって推定された補正距離を示す化粧支援情報１１４を作成する。具体的には、推定部１０１によって推定された補正距離に基づいて、ユーザに目線を変更するように促すメッセージを含む化粧支援情報１１４を作成する。このようなメッセージとしては、例えば、「カメラの１０ｃｍほど上方を見つめてください」といった文字列が想定される。そして、当該化粧支援情報１１４は、表示部３３に表示される（ステップＳ４１）。

ステップＳ４１において表示されたメッセージに従って、ユーザが目線を変更すると、すでにステップＳ３０によって撮像部３５による撮像は開始されているので、目線を変更した状態（正面を向いた状態）のユーザの顔面が撮像部３５によって撮像され、目線合わせのために使用される撮像情報１１２が取得される。これにより、以後の撮像情報１１２は、一旦、撮像された正面を向いた状態を撮像した撮像情報１１２による補正が開始される（ステップＳ４２）。このような補正として、情報作成部１０２は、例えば、撮像情報１１２のうち、ユーザの目の周辺（あるいは瞼のみ）部分については、正面を向いた状態を撮像した撮像情報１１２に撮像されている部分画像に置換する。

ステップＳ４１において表示されるメッセージによってユーザは、一旦、正面を向いた状態となるが、この状態を維持するわけではない。すなわち、ユーザは、その後、再び表示部３３に目線を落とす状態となる。しかし、そのような状態で撮像される撮像情報１１２は、ステップＳ４２において開始された補正により、情報作成部１０２により正面を向いた状態に補正される。

次に、情報作成部１０２は、撮像情報１１２に対する光環境の補正を開始する（ステップＳ４３）。このときの光環境とは、ステップＳ３６またはＳ３９において、ユーザにより指定された光環境であり、例えば、所望する披露場所に関する光環境（光環境情報１１３から指定される。）や、基準となる光環境（計測用撮像情報２１１に関連づけられている。）である。ステップＳ４３が実行されることにより、以後の撮像情報１１２は、ユーザの所望する光環境において撮像されたかのような画像となる。

次に、情報作成部１０２は、複数の三次元形状情報２１２から１の三次元形状情報２１２を選択する（ステップＳ４４）。ステップＳ４４における選択は、すでに説明したように、ユーザからの指示（ステップＳ３６またはＳ３９において入力される。）、または、撮像情報１１２に撮像されているユーザの表情などに基づいて実行される。

三次元形状情報２１２が選択されると、推定部１０１は、ステップＳ４４において選択された三次元形状情報４４と撮像情報１１２とに基づいて、撮像情報１１２における撮像ズレ角を推定し（ステップＳ４５）、推定情報として情報作成部１０２に伝達する。

推定部１０１から撮像ズレ角が伝達されると、情報作成部１０２は、撮像情報１１２からユーザ撮像画像を抽出し、伝達された撮像ズレ角に応じて決定される方位における三次元形状の見え方に、当該ユーザ撮像画像をマッピングし、ユーザの所望する方位に変更した表示ユーザ画像を作成する。

なお、すでに説明したように、撮像の方位を合わせるだけでは、特徴点の位置誤差が大きい場合、情報作成部１０２は、さらに合わせ込みを行って表示ユーザ画像を作成する。この場合の合わせ込みについても既に説明したように、三次元形状情報２１２の位置に合わせてもよいし、撮像情報１１２（ユーザ撮像画像）の位置に合わせてもよい。

さらに、情報作成部１０２は、作成した当該表示ユーザ画像と、推定部１０１によってすでに推定されている化粧の劣化度および化粧なおしの予定時間を含む化粧支援情報１１４を作成する（ステップＳ４６）。

ステップＳ４６が実行されるとき、すでにステップＳ４２，Ｓ４３が実行されている。したがって、ステップＳ４５において作成される表示ユーザ画像は、目線が正面を向いており、かつ、ユーザの所望する光環境に補正されている。

次に、ＣＰＵ１０は、ステップＳ４６において作成された化粧支援情報１１４を表示部３３に表示させる。このとき表示される化粧支援情報１１４は、例えば、図１０に示す化粧支援情報１１４となる。すなわち、目線が正面を向いており、かつ、ユーザの所望する光環境に補正された撮像情報１１２（表示ユーザ画像）と、化粧の劣化度（数値）と、化粧なおしの予定時間とが表示される（ステップＳ４７）。

ステップＳ４７を実行すると、ＣＰＵ１０は、ユーザが引き続き化粧を継続するか終了するかを指示するまで待機する状態となる（ステップＳ４８）。

ステップＳ４７において表示される化粧支援情報１１４を閲覧することにより、ユーザは、直ちに化粧なおしが必要か否かを判断することができる。すなわち、化粧の劣化度が激しく、すでに化粧なおしの予定時間が到来している場合、ユーザは化粧の継続を所望する。一方、未だ化粧の劣化度が低く、化粧なおしの予定時間まで時間がある場合には、一旦、化粧の終了を所望する。ユーザは、ステップＳ４７において化粧支援情報１１４が表示されると、化粧を継続するか否かを示す指示情報を操作部３２を操作することにより入力する。

化粧を終了する指示が入力された場合（ステップＳ４８においてＹｅｓ。）、ＣＰＵ１０は、予測画像表示処理を終了し、図２０に示す処理に戻ることなく、図１８に示すステップＳ２１の処理に戻る。すなわち、この場合、携帯端末装置３は、予測画像情報を表示することなく、かつ、後述する化粧支援処理（ステップＳ２８）をスキップする。

化粧を継続する指示が入力された場合（ステップＳ４８においてＮｏ。）、情報作成部１０２は、ステップＳ３６またはＳ３９において受け付けた指示情報（条件）に応じて、化粧が完了した後のユーザの部位を表現した予測画像情報（表示ユーザ画像）を化粧支援情報１１４として作成する。そして、表示部３３が、当該予測画像情報を含む化粧支援情報１１４を表示する（ステップＳ４９）。

これにより、ユーザは、化粧を開始する前に、ステップＳ３６またはＳ３９で入力した条件による化粧の完成後の状態を確認することができる。したがって、ユーザは、思いもよらない化粧状態に、誤って誘導されることを回避することができる。

ステップＳ４９を実行すると、ＣＰＵ１０は、予測画像情報表示処理を終了し、図２０に示す処理に戻る。

予測画像情報表示処理を終了して図２０に示す処理に戻ると、ＣＰＵ１０は、ユーザが予測画像情報によって示される完成後の状態に了解したか否かを判定する（ステップＳ３８）。ステップＳ３８における判定は、ユーザが操作部３２を操作して入力する指示情報に応じて実行することができる。

ユーザが了解しない場合（ステップＳ３８においてＮｏ。）、携帯端末装置３は、修正指示を受け付け（ステップＳ３９）てから、ステップＳ３７の処理に戻る。ステップＳ３７では、ステップＳ３９において受け付けた修正指示を反映させた予測画像情報が新たに作成され、当該予測画像情報が含まれる化粧支援情報１１４が表示される。

一方、ユーザが了解した場合（ステップＳ３８においてＹｅｓ。）、ＣＰＵ１０は、化粧準備処理（ステップＳ２７）を終了して、図１８に示す処理に戻る。

化粧準備処理を終了して図１８に示す処理に戻ると、携帯端末装置３は、化粧支援処理を実行する（ステップＳ２８）。

図２２は、携帯端末装置３によって実行される化粧支援処理を示す流れ図である。なお、化粧支援処理（ステップＳ２８）が開始されるまでに、必ず化粧準備処理（ステップＳ２７）が実行される。したがって、ステップＳ２８における化粧支援処理が開始された時点では、撮像部３５による撮像がすでに開始されており、撮像情報１１２に対する補正は実行されている。また、三次元形状情報２１２の選択や、撮像情報１１２をマッピングするときの方位なども、すでに決定されている。

化粧支援処理が開始されると、情報作成部１０２は、選択されている三次元形状情報２１２に基づいて、化粧時に撮像された撮像情報１１２（すでに補正がされている。）をテクスチャマッピングすることにより、表示ユーザ画像を作成する処理を開始する（ステップＳ５１）。

すなわち、ステップＳ５１が実行された後は、撮像部３５がリアルタイムに撮像し続ける撮像情報１１２により、表示ユーザ画像が動画像のように作成され続けることになる。したがって、順次作成される表示ユーザ画像には、化粧の進捗状況が反映されることになる。

次に、情報作成部１０２は、作成された表示ユーザ画像と、データベース１１１から取得した様々な情報（アドバイスとなる情報）とを含む化粧支援情報１１４を作成する（ステップＳ５２）。このとき化粧支援情報１１４に含められるアドバイスとは、例えば、塗布速度の適正に関するアドバイスや、塗布位置を示すガイド（例えば、ガイド８１など）、適切な化粧品や道具の名称などである。

化粧支援情報１１４が作成されると、表示部３３は、作成された化粧支援情報１１４を表示する（ステップＳ５３）。これにより、ユーザに対して化粧支援情報１１４が提供される。したがって、ユーザは、化粧中において、化粧支援情報１１４を参照することにより、適切な化粧を実行することができる。

ステップＳ５３を実行すると、ＣＰＵ１０は、現在化粧の対象となっている部位に対する化粧を終了するか否かを判定する（ステップＳ５４）。

化粧中の部位に関する化粧の終了は、ユーザが操作部３２を操作することによって指示情報として入力されるものとする。すなわち、ユーザが化粧の状態に満足し、化粧の終了を入力した場合にステップＳ５４においてＹｅｓと判定され、当該入力がない限り、ステップＳ５４においてＮｏと判定されてステップＳ５２からの処理が繰り返される。

なお、図２２の説明において省略したが、ステップＳ３２ないしＳ３６が実行されている間、推定部１０１は、ユーザによる塗布速度などに関する推定を継続している。そして、情報作成部１０２は、ステップＳ５２において推定部１０１から伝達される推定情報に応じた化粧支援情報１１４を作成する。

また、終了の指示自体はユーザから入力されるが、化粧の完了を知らせる化粧支援情報１１４は、すでに説明したように、情報作成部１０２によって作成され、表示部３３に表示される。

ステップＳ５４においてＹｅｓと判定すると、ＣＰＵ１０は、他の部位について引き続き化粧を行うか否かを指示するようにユーザに促すとともに、当該指示があるまで待機する。そして、ユーザからの指示が入力されると、当該指示が他の部位について引き続き化粧を行う旨の指示か否かを判定する（ステップＳ５５）。

ユーザが他の部位についての化粧を行う旨を入力した場合、ＣＰＵ１０は、ステップＳ５５においてＹｅｓと判定し、ステップＳ３６（図２０）からの処理を繰り返す。すなわち、携帯端末装置３は、新たに化粧を開始する部位に関する条件入力を受け付ける状態となる。

一方、ユーザが他の部位についての化粧を行わない旨を入力した場合には、ステップＳ５５においてＮｏと判定し、撮像部３５による撮像や、推定部１０１による推定、および、表示ユーザ画像の作成等をそれぞれ終了してから、化粧支援処理を終了し、図１８に示す処理に戻る。ステップＳ２８の化粧支援処理を終了して図１８に示す処理に戻った場合、携帯端末装置３は、ステップＳ２１に戻って処理を繰り返す。

メニュー画像５１においてボタン画像４７が操作され、入力された指示情報が「終了」となった場合、ＣＰＵ１０は、ステップＳ２９においてＹｅｓと判定し、お化粧アプリを終了する。

以上のように、化粧を施すユーザを支援する化粧支援システム１は、ユーザが自身に化粧を施す際に当該ユーザによって携帯される携帯端末装置３と、携帯端末装置３とは異なる据え置き型の装置として構成されるとともに、当該携帯端末装置３との間でデータ通信が可能な状態で接続される計測装置２とを備えている。そして、計測装置は、ユーザの三次元形状に関する情報を取得して三次元形状情報２１２を作成する計測制御部２００と、計測制御部２００により作成された三次元形状情報２１２を携帯端末装置３に向けて送信する通信部２４とを備えている。また、携帯端末装置３は、通信部２４により送信された三次元形状情報２１２を受信する通信部１２と、化粧を施す際のユーザを撮像して撮像情報１１２を取得する撮像部３５と、通信部１２により受信された三次元形状情報２１２と撮像部３５により取得された撮像情報１１２とに基づいて、ユーザに施す化粧を支援するための化粧支援情報１１４を作成する情報作成部１０２と、情報作成部１０２により作成された化粧支援情報１１４を出力する表示部３３，３４とを備える。このように、据え置き型の計測装置２によって三次元形状情報２１２を作成することにより、三次元形状情報２１２を作成するときの手ブレなどを防止することができるため、三次元形状情報２１２の精度が向上する。また、携帯端末装置３として、市販の携帯電話やスマートフォンを採用することが可能となり、コストを抑制することができる。

図２３は、撮像情報１１２と、化粧支援情報１１４として表示される表示ユーザ画像とを示す図である。

スマートフォンや携帯電話が備えるカメラには、広角レンズが採用されることが多い。広角レンズを採用したカメラによって撮像される画像（自撮画像）は、中央部分が拡大されたように歪んだ画像となる。すなわち、ユーザの実際の顔立ちとは異なる画像となってしまうという問題がある。

したがって、コストを抑制するために、市場に多く流通している一般的なスマートフォンなどを携帯端末装置３として流用すると、撮像部３５は、図２３の左側に示すような撮像情報１１２を取得する場合がある。従来の技術では、推定値を用いることにより、このような歪んだ画像を補正することも提案されている。しかし、このような従来技術を用いたとしても、推定による補正であるため、実際の顔立ちに近似するものの、やはり異なる顔立ちとして認識されてしまう。特に、人の顔については、わずかな違いでも、ユーザに感知され、違和感を生じることになる。

しかし、化粧支援システム１は、このような歪んだ画像を撮像することのない、撮像部２６によって撮像された計測用撮像情報２１１により、歪みのない三次元形状情報２１２を作成する。そして、当該三次元形状情報２１２に、撮像情報１１２をマッピングするため、撮像情報１１２において生じる歪みは、原理的にキャンセルされ、図２３の右側に示すような、実際の顔立ちを忠実に表現した化粧支援情報１１４（表示ユーザ画像）を表示することができる。したがって、ユーザによる化粧の精度も向上する。

なお、例えば、情報作成部１０２が、三次元形状情報２１２のレンダリングパースペクティブ（遠近効果）を調整しつつ表示ユーザ画像を作成することにより、見え方を任意に調整することも可能であり、さらに効果的な表示が可能となる。

また、三次元形状情報２１２と撮像情報１１２とに基づいて、当該撮像情報１１２における撮像ズレ角を推定する推定部１０１をさらに備え、情報作成部１０２が、推定部１０１により推定された撮像ズレ角に基づいて化粧支援情報を作成することにより、自然な表示ユーザ画像を得ることができ、化粧支援情報１１４の精度が向上する。

また、推定部１０１は、三次元形状情報２１２の特定の方位におけるユーザの部位の位置と、撮像情報１１２に撮像されているユーザの当該部位の位置との差分に基づいて、当該撮像情報１１２における撮像ズレ角を推定する。これにより、化粧支援システム１は、撮像ズレ角を容易に、かつ、確実に推定することができる。

また、推定部１０１は、ユーザが正面を向いたときの目線と、撮像情報１１２に撮像されたユーザの目線との目線ズレ角を推定する。そして、情報作成部１０２は、当該目線ズレ角を抑制するための指示を化粧支援情報に含めることにより、化粧を施す際のユーザに正面を見るようにアドバイスすることができる。これにより、撮像部３５は、正面を見ている状態のユーザを撮像することができる。したがって、化粧支援システム１は、ユーザを鏡に映した画像に近い、自然なユーザ表示画像を、化粧支援情報１１４として表示することができる。

また、計測制御部２００は、ユーザの互いに異なる表情に対応した複数の三次元形状情報を作成する。したがって、化粧支援システム１は、ユーザの様々な表情による違いを反映させた化粧支援情報１１４を作成することができる。

また、複数の三次元形状情報２１２が作成された場合において、複数の三次元形状情報２１２と撮像情報１１２とを比較することにより、複数の三次元形状情報２１２から１の三次元形状情報２１２を選択する。これにより、例えば、異なる表情ごとに準備された複数の三次元形状情報２１２の中から、現実の表情と同じ表情の三次元形状情報２１２を選択して化粧支援情報１１４を作成することにより、化粧支援の精度が向上する。また、表示されるユーザの画像がユーザの現実の表情に連動するため、ユーザの違和感を抑制することができる。

また、複数の三次元形状情報２１２が作成された場合において、携帯端末装置３は、ユーザの指示に応じて、複数の三次元形状情報２１２から１の三次元形状情報２１２を選択する。これにより、例えば、ユーザが所望する表情の三次元形状情報２１２をユーザが選択することができる。したがって、化粧支援システム１は、化粧を施す際に当該表情をユーザに実演させることなく、ユーザが確認したいと思う表情に関する化粧支援情報１１４を、作成することができる。

また、計測制御部２００は、互いに精度の異なる複数の三次元形状情報２１２を作成する。したがって、例えば、細かい化粧を望む部位については、高精度の三次元形状情報２１２を用いて、拡大した表示ユーザ画像を作成することもできる。

また、化粧を終了したときのユーザを撮像した計測用撮像情報２１１を過去撮像情報として記憶しておき、推定部１０１が、撮像部３５により撮像された撮像情報１１２と当該計測用撮像情報２１１とを比較して、化粧の劣化度を推定する。これにより、化粧の劣化度に応じて、ユーザの化粧を支援することができる。

また、推定部１０１は、計測用撮像情報２１１に撮像されているユーザの毛穴の状態と撮像情報１１２に撮像されているユーザの毛穴の状態とを比較して、化粧の劣化度を推定する。これにより、化粧支援システム１は、例えば、ファンデーションの落ち具合を容易に推定することができる。

また、推定部１０１は、計測用撮像情報２１１に撮像されているユーザの肌部分と特定部分との色比率と、撮像情報１１２に撮像されているユーザの当該肌部分と当該特定部分との色比率とを比較して、当該特定部分における化粧の劣化度を推定する。これにより、例えば、口紅やチーク、アイシャドウの落ち具合を容易に推定することができる。

また、推定部１０１により推定された化粧の劣化度と、計測用撮像情報２１１が撮像された時間からの経過時間とに基づいて、化粧を修正すべき時間（化粧なおしの予定時間）を推定する。これにより、化粧支援システム１は、いつ化粧なおしすべきかを具体的にユーザに報知することができる。

また、ユーザが化粧を披露する場所における光環境を示す光環境情報１１３を記憶しておき、情報作成部１０２が、光環境情報１１３に基づいて化粧支援情報１１４を作成する。これにより、化粧支援システム１は、光環境に応じた化粧支援情報１１４を作成することができる。

また、データ取得部１００が、撮像部３５により撮像された撮像情報１１２に基づいて、当該撮像情報１１２が撮像されたときの光環境を推定して、光環境情報１１３を更新する。これにより、ユーザが実際に撮像した場所に関する光環境情報１１３を取得することができる。したがって、次回から、当該場所に適した光環境情報１１３に基づいて化粧支援情報１１４を作成することができる。

以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上記に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。

また、上記に示した機能ブロック（例えば、計測制御部２００やモデル作成部２０１、推定部１０１、情報作成部１０２など）は、ＣＰＵ２０またはＣＰＵ１０が、プログラム２１０またはプログラム１１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。

また、化粧の対象となるユーザの部位は、ユーザの顔に限定されるものではない。例えば、爪や頭髪など、ユーザの身体における他の部位であってもよい。

また、筐体部３０は、化粧品（ファンデーションやチークなど）や道具類（ハケやパッドなど）を収納するケースとして兼用できる構造であってもよい。

また、上記実施の形態では、投光部２８が不可視光を用いて計測用パターンを投射することにより、化粧支援情報１１４として表示される撮像情報１１２（表示ユーザ画像）に当該計測用パターンの可視的な影響がでないように構成していた。しかし、例えば、投光部２８が撮像部２６の撮像タイミングを避けるタイミングで当該計測用パターンを投射するように構成してもよい。例えば、撮像部２６のフレーム間隔の間に投光部２８が当該計測用パターンを投射するようにしてもよい。このように構成することによっても、当該計測用パターンの可視的な影響を抑制することができる。

また、化粧支援システム１が複数の携帯端末装置３から構成されている場合、１の携帯端末装置３の情報作成部１０２が、他の携帯端末装置３の撮像部３５により撮像された撮像情報１１２に基づいて更新された光環境情報１１３に基づいて化粧支援情報１１４を作成してもよい。すなわち、ユーザの間で、光環境情報１１３を共有するようにしてもよい。これにより、ユーザは、他のユーザが作成（あるいは収集）した光環境情報１１３を利用することができるため、例えば、自身が訪れたことのない場所についても、現実の光環境情報１１３を利用することができる。

また、上記実施の形態では、携帯端末装置３の記憶装置１１が、データベース１１１、撮像情報１１２、および、化粧支援情報１１４などを記憶するとして説明した。しかし、これらの情報を、携帯端末装置３が計測装置２に向けて送信し、計測装置２においてこれらの情報を利用可能としてもよい。これにより、例えば、データベース１１１に相当する情報を計測装置２の記憶装置２１に格納しておき、必要に応じて、携帯端末装置３から参照するように構成してもよい。あるいは、ユーザは、提供された化粧支援情報１１４と、当該化粧支援情報１１４に基づいて化粧を施した状態のユーザを撮像した撮像情報１１２とを、計測装置２において確認することができる。一般に、据え置き型の装置である計測装置２の表示部２３において画像を閲覧する方が、携帯端末装置３の表示部３３，３４において閲覧するよりも見やすいという事情がある。したがって、ユーザは、例えば、外出先で携帯端末装置３を用いて化粧を行った場合に、自宅に戻った後に、外出先での化粧の見栄えを詳細に確認することもできる。すなわち、ユーザは過去の化粧を自宅でチェックすることができる。また、外出先での化粧の際に参考にした化粧支援情報１１４を、見栄えに応じて修正してもよい。

さらに、推定部１０１が撮像ズレ角を推定する手法は、上記実施の形態に示した手法に限定されるものではない。例えば、「"Visual vehicl tracking based on an appearance generative model", Kazuhiko Kawamoto, Tatsuya Yonekawa, Kazushi Okamoto, SCIS-ISIS 2012, Kobe, Japan, November 20-24, 2014」に記載されている技術を応用することもできる。すなわち、モデル作成部２０１が、三次元形状情報２１２を作成するときに、各方位における画像の固有ベクトルを算出して、方位ごとの画像の固有ベクトルを当該三次元形状情報２１２とともに携帯端末装置３のデータベース１１１に格納しておく。そして、撮像情報１１２の方位と合わせるときに、当該撮像情報１１２について推定部１０１が固有ベクトルを求め、当該固有ベクトルとデータベース１１１に格納されている方位ごとの固有ベクトルとを比較して、最も適した方位を決定することにより、撮像ズレ角を推定してもよい。

Claims (21)

1. 化粧を施すユーザを支援する化粧支援システムであって、
   ユーザが自身に化粧を施す際に前記ユーザによって携帯される携帯端末装置と、
   前記携帯端末装置とは異なる据え置き型の装置として構成されるとともに、前記携帯端末装置との間でデータ通信が可能な状態で接続される計測装置と、
   を備え、
   前記計測装置は、
   前記ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、
   前記三次元計測手段により作成された三次元形状情報を前記携帯端末装置に向けて送信する第１通信手段と、
   を備え、
   前記携帯端末装置は、
   前記第１通信手段により送信された三次元形状情報を受信する第２通信手段と、
   化粧を施す際の前記ユーザを撮像して撮像情報を取得する撮像手段と、
   前記第２通信手段により受信された三次元形状情報と前記撮像手段により取得された撮像情報とに基づいて、前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、
   前記情報作成手段により作成された化粧支援情報を出力する出力手段と、
   を備える化粧支援システム。
2. 請求項１に記載の化粧支援システムであって、
   前記三次元計測手段により作成された三次元形状情報と前記撮像手段により取得された撮像情報とに基づいて、前記撮像情報における撮像ズレ角を推定する方位推定手段をさらに備え、
   前記情報作成手段は、前記方位推定手段により推定された前記撮像情報における撮像方位に基づいて前記化粧支援情報を作成する化粧支援システム。
3. 請求項２に記載の化粧支援システムであって、
   前記方位推定手段は、前記三次元形状情報の特定の方位におけるユーザの部位の位置と、前記撮像情報に撮像されているユーザの前記部位の位置との差分に基づいて、前記撮像情報における撮像ズレ角を推定する化粧支援システム。
4. 請求項２に記載の化粧支援システムであって、
   前記方位推定手段は、前記三次元形状情報に基づいて複数の方位における固有ベクトル値をそれぞれ算出し、前記撮像情報における固有ベクトル値と比較することにより、前記撮像情報における撮像ズレ角を推定する化粧支援システム。
5. 請求項１ないし４のいずれかに記載の化粧支援システムであって、
   前記化粧支援情報は、化粧を施す際のユーザを表現したユーザ画像情報を含む化粧支援システム。
6. 請求項５に記載の化粧支援システムであって、
   ユーザが正面を向いたときの目線と、前記撮像情報に撮像されたユーザの目線との目線ズレ角を推定し、
   前記情報作成手段は、前記目線ズレ角を抑制するための指示を前記化粧支援情報に含める化粧支援システム。
7. 請求項１ないし６のいずれかに記載の化粧支援システムであって、
   前記三次元計測手段は、前記ユーザの互いに異なる表情に対応した複数の三次元形状情報を作成する化粧支援システム。
8. 請求項７に記載の化粧支援システムであって、
   前記複数の三次元形状情報と前記撮像情報とを比較することにより、前記複数の三次元形状情報から１の三次元形状情報を選択する化粧支援システム。
9. 請求項７または８に記載の化粧支援システムであって、
   前記ユーザの指示に応じて、前記複数の三次元形状情報から１の三次元形状情報を選択する化粧支援システム。
10. 請求項１ないし９のいずれかに記載の化粧支援システムであって、
    前記三次元計測手段は、互いに精度の異なる複数の三次元形状情報を作成する化粧支援システム。
11. 請求項１ないし１０のいずれかに記載の化粧支援システムであって、
    化粧を終了したときのユーザを撮像した画像情報を過去撮像情報として記憶する第１記憶手段と、
    前記撮像手段により撮像された撮像情報と前記第１記憶手段に記憶されている過去撮像情報とを比較して、前記化粧の劣化度を推定する劣化推定手段と、
    をさらに備え、
    前記情報作成手段は、前記劣化推定手段により推定された劣化度に基づいて化粧支援情報を作成する化粧支援システム。
12. 請求項１１に記載の化粧支援システムであって、
    前記劣化推定手段は、前記過去撮像情報に撮像されているユーザの毛穴の状態と前記撮像情報に撮像されているユーザの毛穴の状態とを比較して、前記化粧の劣化度を推定する化粧支援システム。
13. 請求項１１または１２に記載の化粧支援システムであって、
    前記劣化推定手段は、前記過去撮像情報に撮像されているユーザの肌部分と特定部分との色比率と、前記撮像情報に撮像されているユーザの前記肌部分と前記特定部分との色比率とを比較して、前記特定部分における前記化粧の劣化度を推定する化粧支援システム。
14. 請求項１１ないし１３のいずれかに記載の化粧支援システムであって、
    前記劣化推定手段は、前記劣化推定手段により推定された前記化粧の劣化度と当該過去撮像情報が撮像された時間からの経過時間とに基づいて、前記化粧を修正すべき時間を推定する化粧支援システム。
15. 請求項１ないし１４のいずれかに記載の化粧支援システムであって、
    前記ユーザの化粧を披露する場所における光環境を示す光環境情報を記憶する第２記憶手段をさらに備え、
    前記情報作成手段は、前記第２記憶手段に記憶された光環境情報に基づいて化粧支援情報を作成する化粧支援システム。
16. 請求項１５に記載の化粧支援システムであって、
    前記撮像手段により撮像された撮像情報に基づいて、当該撮像情報が撮像されたときの光環境を推定して、前記第２記憶手段に記憶されている光環境情報を更新する化粧支援システム。
17. 請求項１６に記載の化粧支援システムであって、
    前記携帯端末装置として１の携帯端末装置と他の携帯端末装置とを備え、
    前記１の携帯端末装置の前記情報作成手段は、前記他の携帯端末装置の前記撮像手段により撮像された撮像情報に基づいて更新された光環境情報に基づいて化粧支援情報を作成する化粧支援システム。
18. 据え置き型の装置として構成される計測装置であって、
    ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、
    前記三次元計測手段により作成された三次元形状情報を外部の携帯端末装置に向けて送信するとともに、前記携帯端末装置により送信された前記ユーザに提供された化粧支援情報および前記化粧支援情報に応じて化粧を施した前記ユーザを撮像した撮像情報を受信する通信手段と、
    を備える計測装置。
19. ユーザが自身に化粧を施す際に前記ユーザによって携帯される携帯端末装置であって、
    外部の計測装置により送信された三次元形状情報を受信する通信手段と、
    化粧を施す際の前記ユーザを撮像して撮像情報を取得する撮像手段と、
    前記通信手段により受信された三次元形状情報と前記撮像手段により取得された撮像情報とに基づいて、前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、
    前記情報作成手段により作成された化粧支援情報を出力する出力手段と、
    を備える携帯端末装置。
20. 据え置き型の装置として構成されるコンピュータによる読み取り可能なプログラムであって、
    ユーザの三次元形状に関する情報を取得して三次元形状情報を作成する工程と、
    作成された前記三次元形状情報を外部の携帯端末装置に向けて送信するとともに、前記携帯端末装置により送信された前記ユーザに提供された化粧支援情報および前記化粧支援情報に応じて化粧を施した前記ユーザを撮像した撮像情報を受信する工程と、
    を前記コンピュータに実行させるプログラム。
21. ユーザが自身に化粧を施す際に前記ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、
    外部の計測装置により送信された三次元形状情報を受信する工程と、
    化粧を施す際の前記ユーザを撮像して撮像情報を取得する工程と、
    受信された前記三次元形状情報と取得された前記撮像情報とに基づいて、前記ユーザに施す化粧を支援するための化粧支援情報を作成する工程と、
    作成された前記化粧支援情報を出力する工程と、
    を前記コンピュータに実行させるプログラム。

Images