JP7419720B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

美容施術において肌マッサージ等を行う際に正しくマッサージを行ったかどうかを判断する場合、指や手等を使って顔の位置や押した強さを測定する必要がある。この場合、手や指にセンサやマーカをつけて、そのセンサからの圧力情報や位置情報を取得する必要があり、システムが複雑であった。また、カメラを利用した画像認識では、手や指の認識が顔の肌色と区別しにくい状況になり、位置情報等の精度を上げることは難しい問題があった。

この点、特許文献１は、特徴抽出部により、顔画像から、使用者の疲れ度を特徴づける特徴点を抽出し、この特徴点から算出した疲れ度をミラー等で情報表示することが可能なミラー付什器を開示している。

特開２０１２－１５２３８９号公報

しかし、特許文献１に係る技術においては、例えばマッサージ等の美容施術の前後での顔画像の比較方法として、単に表示部が、マッサージ前の顔画像とマッサージ後の顔画像とを並べて表示し、使用者が２つの顔画像を見比べることによって、マッサージの効果を確認するにとどまっている。すなわち、特許文献１に記載の技術においては、美容施術中に正しく施術できているかを確認することも、美容施術による効果を定量的に評価することも不可能であった。

本発明は、美容施術中に正しく施術できているかを確認すること、及び／又は、美容施術による効果を定量的に評価することを可能とする画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、撮像された画像に含まれる対象物の複数の特徴点を検出し、前記複数の特徴点のうち、特徴点の動きを検出する際に基準となる基準点及び基準線を、美容施術毎に設定し、前記基準点間の距離及び前記基準線の傾きに基づいて、前記複数の特徴点の位置関係を補正し、前記美容施術に伴う前記対象物の部分的な変形により変化した状態における前記複数の特徴点間の距離と、特徴点間の距離として理想的な距離に係る情報である距離情報と、の一致度に基づいて評価結果を生成する、処理部を備えることを特徴とする。

本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、美容施術中に正しく施術できているかを確認すること、及び／又は、美容施術による効果を定量的に評価することが可能となる。

本発明の一実施形態に係る画像処理システムの構成を示す構成図である。 本発明の一実施形態に係る画像処理装置の前面の外観構成を示す構成図である。 本発明の一実施形態に係る画像処理装置の側面の外観構成を示す構成図である。 本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置の機能的構成のうち、計測処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置が検出する特徴点、基準点、及び基準線の例を示す図である。 本発明の一実施形態において、施術毎に用いる基準点と基準線の例を示す図である。 本発明の一実施形態における補正方法を示す図である。 本発明の一実施形態における補正方法を示す図である。 本発明の一実施形態における基準点と基準線との間の距離と、予め設定された距離情報の例を説明する図である。 本発明の一実施形態における基準点と基準線との間の距離と、予め設定された距離情報の例を説明する図である。 本発明の一実施形態における基準点と基準線との間の距離と、予め設定された距離情報の例を説明する図である。 本発明の一実施形態における基準点と基準線との間の距離と、予め設定された距離情報の例を説明する図である。 本発明の一実施形態における画像処理装置の動作を説明するフローチャートである。 本発明の一実施形態における画像処理装置の動作を説明するフローチャートである。 本発明の一実施形態における画像処理装置の動作を説明するフローチャートである。 本発明の一実施形態における画像処理装置の動作を説明するフローチャートである。 本発明の一実施形態における画像処理装置の動作を説明するフローチャートである。 本発明の一実施形態における画像処理装置の動作を説明するフローチャートである。 本発明の一実施形態における画像処理装置の動作を説明するフローチャートである。 本発明の一実施形態における画像処理装置の動作を説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る画像処理装置１は、ユーザが携帯可能な自立式の鏡として構成されるスマートミラーである。画像処理装置１は、鏡を視認する対象者としてのユーザを撮像する。画像処理装置１は、ユーザ、とりわけユーザの顔を撮像した画像に基づいて、ユーザの顔から特徴点を検出し、ユーザの顔を連続的に撮像することで、特徴点の移動を追跡する。画像処理装置１は、この追跡結果としての軌跡と、予め設定された軌跡情報とを比較することで、ユーザが美容施術中に正しく施術できているか否か、及び施術の効果を出力する。

［システム構成］
図１は、本実施形態に係る画像処理装置１が含まれる画像処理システムＩの全体構成を示すブロック図である。図１に示すように、画像処理システムＩは、複数の画像処理装置１、ネットワーク２及びサーバ群３を含む。画像処理装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の画像処理装置１が画像処理システムＩに含まれていてもよい。なお、以下の説明において、ｎ台の画像処理装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「画像処理装置１」と称する。

画像処理装置１は、映像からユーザの特徴点を検出し、検出された特徴点の移動を追跡し、追跡結果としての軌跡と予め設定された軌跡情報とを比較し、比較結果を表示する装置である。画像処理装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。

ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。

サーバ群３には、画像処理装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、画像処理装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、画像処理装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる画像処理装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。

なお、図１に示した画像処理システムＩは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。

［外観構成］
図２は、本発明の一実施形態に係る画像処理装置１の前面の外観構成を示す構成図である。また、図３は、画像処理装置１の側面の外観構成を示す構成図である。画像処理装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。

図２及び図３に示すように、画像処理装置１は、本体部３０と、脚部３１と、ヒンジ部３２と、を含んで構成される。本体部３０は、表示部１８や、図４を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、画像処理装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に支持される。

図３（Ａ）に示すように、ユーザは、画像処理装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、画像処理装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、画像処理装置１を自立して設置することができる。なお、画像処理装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。

本体部３０は、上述したように表示部１８を含む。表示部１８は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となる代替画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）、ユーザの生体情報を示す生体情報画像（図中の生体情報画像５４に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。

ユーザは、表示部１８を視認することにより、これらの多様な情報を一度に把握することができる。なお、このような表示部１８の表示が、見た目上のギャップがない、ユーザが視認するのに適した一体感のあるものである点については、上述した通りである。

図２に示すように、画像処理装置１は、外観構成として、更に、撮像部１６、入力部１７及び表示部１８を備えている。

撮像部１６は、画像処理装置１の利用時に、表示部１８に正対するユーザを被写体として撮像する部分である。撮像部１６は、表示部１８に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。

入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、画像処理装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。

以上、画像処理装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、画像処理装置１の外観構造は、この例に限定されない。

例えば、画像処理装置１は、表示部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、画像処理装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、表示部１８の上部や下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。

また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１８の一部がタッチパネルとして構成され、入力部１７と表示部１８とが一体に構成されてもよい。

［ハードウェア構成］
図４は、画像処理装置１のハードウェアの構成を示すブロック図である。
図４に示すように、画像処理装置１は、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。

表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。

記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。

通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。

ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェースにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。

バッテリ２２は、各部に電力を供給すると共に外部電源に接続されることにより、充電可能に構成される。画像処理装置１が外部電源に接続されていない状態ではバッテリ２２の電力によって画像処理装置１が動作する。

なお、画像処理装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、画像処理装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。

［機能的構成］
図５は、画像処理装置１の機能的構成のうち、画像処理を実行するための機能的構成を示す機能ブロック図である。画像処理とは、画像処理装置１が、ユーザから取得した特徴点の変化に基づいて画像を表示する一連の処理である。

まず、各種情報を記憶する記憶部１９について説明する。図５に示すように、記憶部１９の一領域には、ガイダンス情報記憶部１９１と、アバター情報記憶部１９２と、実測情報記憶部１９３と、評価結果情報記憶部１９４と、が設定される。

ガイダンス情報記憶部１９１には、表示処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部１９１には、表示処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等が格納される。
とりわけ、本実施形態において、ガイダンス情報記憶部１９１には、美容施術としての肌マッサージにおいて、上記の特徴点が描くべき軌跡に係る情報である軌跡情報が格納される。また、ガイダンス情報記憶部１９１には、上記の特徴点間の距離として理想的な距離に係る情報である距離情報が格納される。より詳細には、距離情報は、マッサージに伴う顔の部分的な変形により変化する距離として理想的な距離の情報であってよい。更に、ガイダンス情報記憶部１９１には、マッサージにおいて動きが変化するタイミングとしてあるべきタイミングに係るタイミング情報が格納される。
また、ガイダンス情報記憶部１９１には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部１９１には、表示処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ（Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）等であってもよい。

アバター情報記憶部１９２には、ユーザの実像の代替となるアバターに関する各種のデータが格納される。例えば、アバター情報記憶部１９２には、合成表示処理において表示されるアバター画像を生成するための、アバター画像のデータや、ガイダンス等において何れのアバター画像を表示するかの条件等が格納される。なお、アバター画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ等であってもよい。アバター画像は、例えば、人間や動物を模したキャラクターの画像である。また、アバター画像は、任意の数だけ用意されていてよく、ユーザの属性（例えば、ユーザの性別や年齢や嗜好）や、ガイダンスの内容に応じて適宜選択されてもよい。また、アバター画像は、キャラクター等のアニメーション表示を実現するための、連続した画像群であってもよい。また、各データは一連のガイダンスを実現する際に読み出しやすいように、各ガイダンス単位で、１つのライブラリとして格納されてもよい。

実測情報記憶部１９３には、検出部１１３によって検出された特徴点、及び特徴点に含まれる基準点の位置、更に比較部１１５によって算出される特徴点間の距離等の実測情報が格納される。とりわけ、実測情報記憶部１９３には、美容施術としてのマッサージを開始する前の、基準点を含む特徴点の座標の初期値、及び特徴点間の距離の初期値が距離情報として格納されてもよい。より詳細には、距離情報は、マッサージに伴う顔の部分的な変形により変化する距離の情報であってよい。

評価結果情報記憶部１９４には、評価部１１６が、比較部１１５による特徴点の移動の追跡結果と予め設定された軌跡情報との比較結果に基づいて、評価結果情報を生成するための情報や評価結果を表示するための情報や評価結果を示す情報等が格納される。評価部１１６による評価処理に関しては後述する。

なお、上述したようなガイダンス情報記憶部１９１やアバター情報記憶部１９２や実測情報記憶部１９３や評価結果情報記憶部１９４に格納される各情報は、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部１９１やアバター情報記憶部１９２や実測情報記憶部１９３や評価結果情報記憶部１９４に格納される各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。

次に、画像処理を実行する各機能ブロックについて説明する。図５に示すように、ＣＰＵ１１において、設定処理部１１１と、取得部１１２と、検出部１１３と、補正部１１４と、比較部１１５と、評価部１１６と、表示制御部１１７と、が機能する。

設定処理部１１１は、画像処理や表示処理に関する設定等の制御を行う部分である。設定処理部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、表示処理を行うユーザを認証する。更に設定処理部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、表示処理におけるユーザのプロファイル情報を更新する。

また、設定処理部１１１は、表示処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部１１１は、メニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。

取得部１１２は、撮像部１６により撮像された対象物の画像を取得する。本実施形態において、この「対象物」は、人間の器官、とりわけ人間の顔であることが好適であるが、これには限定されない。

検出部１１３は、取得部１１２によって取得された対象物の画像に含まれる実像における特徴点を検出する。本実施形態において、「対象物の画像」とは、対象物自身とその背景を含む画像であり撮像部１６の撮像範囲（撮像画角）を示す。一方、「実像」とは対象物自身（もしくは、対象物を示す画像領域）のことである。とりわけ本実施形態において、「対象物の画像」は、人間の顔の画像を含む画像であり、「対象物の実像」とは、人間の顔の実像であることが好適であるが、これには限定されない。

また、「特徴点」とは、ユーザの顔画像における各器官（眉、目、鼻、口、輪郭）の形状を検出・認識するために設けられる点（または領域）である。

図６は、上記の特徴点と、特徴点の中でもとりわけ、特徴点の動きを検出する上で基準となる基準点及び基準線の例を示す。図６に示すように、一例として、目の輪郭、鼻背と鼻翼、口周り、眉と眉から延長される頬の輪郭に沿って特徴点が並ぶ。また、特徴点のうち、目頭の２点（図６のＥ１及びＥ２）、口角の２点（図６のＭ１及びＭ２）、鼻背の両端の２点（図６のＮ１とＮ２）が基準点の候補となる。また、Ｅ１とＥ２とを結ぶ直線（基準線Ａ）や、Ｎ１とＮ２とを結ぶ直線（基準線Ｂ）が基準線の候補となる。更に、Ｅ１とＥ２との間の距離が、上記の距離情報とされる。例えばマッサージ等の美容施術によってＥ１とＥ２との間の距離が変化した場合には、変化後の距離が、初期設定された距離情報と比較される。

図７は、施術毎に用いる基準点と基準線の例を示す。
目の周りのマッサージを行う際は、図７内で円で囲われた、２つの目尻に対応する特徴点（Ｅ３及びＥ４）を基準点とする。

こめかみ部分のマッサージを行う際は、図７内で円で囲われた、２つの眉尻に対応する特徴点（Ｔ１及びＴ２）を基準点とする。

鼻付近のマッサージを行う際は、図７内の円で囲われた、鼻翼の両端に対応する２つの特徴点（Ｎ３及びＮ４）を基準点とする。

頬や口周りのマッサージを行う際は、図７内の円で囲われた、口角に対応する２つの特徴点（Ｍ１及びＭ２）を基準点とする。

顔全体のマッサージを行う際は、図７内の円で囲われた、頬の輪郭のうち最上部に対応する２つの特徴点（Ｆ１及びＦ２）と、最下部に対応する２つの特徴点（Ｆ３及びＦ４）を基準点とする。

補正部１１４は、撮像部１６によって撮像されたユーザの顔（実像）に所定の回転角度の傾きが発生している場合や、撮像部１６とユーザの顔との距離関係により、撮像された実像の拡大又は縮小を行う。より具体的には、検出部１１３によって検出された複数の特徴点の位置関係を補正する。図８Ａ及び図８Ｂは、補正部１１４による補正方法を示す図である。横方向のラインの傾きを補正する際には、図８Ａに示すように、Ｅ１とＥ２とを結ぶ基準線と、水平方向の直線との間になされる角度を検出し、この角度が０°となるように画像を回転させる。縦方向ラインの傾きを補正する際には、図８Ｂに示すように、Ｎ１とＮ２とを結ぶ基準線と、鉛直方向の直線との間になされる角度を検出し、この角度が０°となるように画像を回転させる。画像の大きさを補正する際には、Ｅ１とＥ２間の距離が、予め設定した基準となる距離となるように画像を拡大・縮小する。

比較部１１５は、撮像部１６によって対象物を連続的に撮像することにより検出された特徴点の移動を追跡し、その追跡結果としての軌跡と、予め設定された軌跡情報とを比較する。また、比較部１１５は、この移動のタイミングと、予め設定されたタイミング情報とを比較してもよい。

更に、比較部１１５は、検出された特徴点間の距離を求め、この距離と予め設定された距離情報とを比較してもよい。例えば、比較部１１５は、基準点と基準線との間の距離を予め設定された距離情報と比較してもよい。

図９～図１２は、比較部１１５が比較対象とする、基準点と基準線との間の距離と、予め設定された距離情報の例を説明する図である。

図９（ａ）は、マッサージを行う際の指の動きの例を示す。本例においては、図７で述べた頬や口周りのマッサージを行う。このマッサージは具体的には、最初にユーザーは（１）の方向へ、口元にあてた指で頬を上にあげ、（２）の方向へ、頬を広げるように指を左右方向に広げ、最後に（３）の方向へ、頬を中心に縮めるように、左右方向に広げた指を元に戻すものである。

マッサージを施術する前、撮像部１６により撮像された実像について、図９（ｂ）に示すように、Ｍ１及びＭ２を基準点と設定する。また、Ｍ１及びＭ２のそれぞれから２つの目尻を結ぶ基準線までの距離をそれぞれＶＲ０、ＶＬ０と設定する。更に、Ｍ１及びＭ２のそれぞれから、鼻背を通る基準線までの距離をそれぞれＨＲ０、ＨＬ０と設定する。比較部１１５は、これらを設定された距離情報を実測情報記憶部１９３に格納する。

マッサージによる施術が開始されると、図１０（ａ）に示すように、指が（１）の動きをすることで、図１０（ｂ）に示すように、ＶＲ０はＶＲ１に、ＶＬ０はＶＬ１に、ＨＲ０はＨＲ１に、ＨＬ０はＨＬ１に距離が変化する。これらの変化による夫々の距離情報と比較すると、図１０（ｂ）に示す例においては、ＶＲ０＞ＶＲ１、ＶＬ０＞ＶＬ１、ＨＲ０≦ＨＲ１、ＨＬ０≦ＨＬ１となる。

次に、図１１（ａ）に示すように、指が（２）の動きをすることで、図１１（ｂ）に示すように、ＶＲ１はＶＲ２に、ＶＬ１はＶＬ２に、ＨＲ１はＨＲ２に、ＨＬ１はＨＬ２に距離が変化する。これらを距離情報と比較すると、図１１（ｂ）に示す例においては、ＶＲ０≦ＶＲ２、ＶＬ０≦ＶＬ２、ＨＲ０＜ＨＲ２、ＨＬ０＜ＨＬ２となる。

最後に、図１２（ａ）に示すように、指が（３）の動きをすることで、図１２（ｂ）に示すように、ＶＲ２はＶＲ３に、ＶＬ２はＶＬ３に、ＨＲ２はＨＲ３に、ＨＬ２はＨＬ３に距離が変化する。これらを距離情報と比較すると、図１２（ｂ）に示す例においては、ＶＲ０＝ＶＲ３、ＶＬ０＝ＶＬ３、ＨＲ０≧ＨＲ３、ＨＬ０≧ＨＬ３となる。尚、各特徴点の移動において“＝”、“≦”、“≧”の判定においては、特徴点の位置が厳密に同一であることを指すものではなく、ある程度の誤差は考慮に入れたものである。

評価部１１６は、比較部１１５による比較結果を評価し、評価結果を生成する。例えば、評価部１１６は、特徴点の移動の追跡結果としての軌跡情報と、予め設定された軌跡情報との一致度に基づいて評価結果を生成してもよい。また、評価部１１６は、特徴点の移動のタイミングと、予め設定されたタイミング情報との一致度に基づいて評価結果を生成してもよい。更に、評価部１１６は、検出された複数の特徴点間の距離と距離情報との一致度に基づいて評価結果を生成してもよい。更に、評価部１１６は、これらの評価結果を評価結果情報記憶部１９４に格納すると共に、評価結果情報記憶部１９４に格納された評価結果の履歴に基づいて、更なる評価結果を生成してもよい。

表示制御部１１７は、出力手段として、上記の比較結果、評価結果、及び評価結果の履歴等を表示部１８に出力する処理等を行う。なお、以降では表示制御部１１７を「出力部１１７」と呼称することがある。

また、表示制御部１１７は、ユーザ画像をメインとして表示すると共にアバター画像とガイド画像とを合成した合成画像をサブとして表示する第１の表示モードと、ユーザ画像をサブとして表示すると共にアバター画像とガイド画像とを合成した合成画像をメインとして表示する第２の表示モードとを切り替える処理を実行する。図２に示すように、合成画像であるアバター画像とガイド画像をメインとして画面中央に大きなサイズで表示し、ユーザ画像をサブとして画面下部等にメインよりも小さなサイズで表示することができる。逆に、ユーザ画像をメインとして画面中央に大きなサイズで表示し、合成画像であるアバター画像とガイド画像をサブとして画面下部等にメインよりも小さなサイズで表示することもできる。

また、表示制御部１１７は、ユーザの鏡像の顔又はアバター画像の顔と重複しない領域に、一連のガイダンスにおいてユーザが向くべき方向やマッサージの方法、生体情報を画像やテキストで自動配置し表示するようにしてもよい。なお、表示制御部１１７は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部１１７は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部１１７は、発光部による発光状態を変化させるようにしてもよい。

［画像処理］
図１３Ａ～図１３Ｆは、図５の機能的構成を有する図１の画像処理装置１が実行する、第１の画像処理の全体的な流れの例を説明するフローチャートである。

ステップＳ１において、設定処理部１１１は初期設定を行う。例えば、設定処理部１１１は、サーバ群３に含まれる認証サーバから、ユーザＩＤ毎に設定される個人データをダウンロードする。

ステップＳ２において、設定処理部１１１は、メニュー画面を表示部１８に表示する起動処理を行う。

ステップＳ３において、ユーザが各マッサージを選択し、これを検出した場合（Ｓ３：ＹＥＳ）には、処理はステップＳ４に移行する。ユーザが各マッサージをまだ選択しておらず選択が検出されていない場合（Ｓ３：ＮＯ）には、処理はステップＳ３に移行する。

ステップＳ４において、表示制御部１１７は、表示部１８に、ユーザがマッサージをするにあたって、顔の位置を合わせるための「顔位置合わせ」を表示させる。

ステップＳ５において、検出部１１３は、通常時の顔の特徴点（上記の例における、基準点であるＥ１、Ｅ２、Ｎ１、Ｎ２、Ｍ１、Ｍ２を含む）の座標を検出する。

ステップＳ６において、比較部１１５は、基準点と基準線との間の距離（上記の例における、ＶＲ０、ＶＬ０、ＨＲ０、ＨＬ０、ＨＥ０）を算出する。

ステップＳ７において、特徴点の検出が完了した場合（Ｓ７：ＹＥＳ）には、処理はステップＳ８に移行する。特徴点の検出がまだ完了していない場合（Ｓ７：ＮＯ）には、処理はステップＳ５に移行する。

ステップＳ８において、比較部１１５は、ステップＳ５で検出された基準点の座標、及び、ステップＳ６で算出された基準点に係る距離のデータを、実測情報記憶部１９３に保存する。

ステップＳ９において、設定処理部１１１は、スコアカウンターによってカウントされる、評価結果としてのスコア値Ｓを０にセットする。

ステップＳ１０において、設定処理部１１１は、繰り返しカウンターによってカウントされるマッサージの繰り返し回数値Ｌを０にセットする。

ステップＳ１１において、表示制御部１１７は、ＣＧアバターによるマッサージのガイダンスを表示する。

ステップＳ１２において、表示制御部１１７は、ユーザに対するマッサージ開始の指示を表示する。

ステップＳ１３において、設定処理部１１１は、マッサージ全体における各タイミング値（Ｃ）とし、図１０（ａ）のマッサージを施術した後のタイミング値はＣ＝１、図１１（ａ）のマッサージを施術した後のタイミング値はＣ＝２、図１２（ａ）のマッサージを施術した後のタイミング値はＣ＝３と設定し、現時点はマッサージによる施術前であることから、タイミングカウンターによってカウントされるタイミング値Ｃを０にセットする。

ステップＳ１４において、表示制御部１１７は、マッサージのタイミングを表示部１８に表示すると共に、発声部（不図示）により音声ガイドを発声する。

ステップＳ１５において、タイミングカウンターによってカウントされるタイミング値Ｃが０～２の何れかである場合（Ｓ１５：０～２）には、処理はステップＳ１６に移行する。タイミング値Ｃが３である場合（Ｓ１５：３）には、処理はステップＳ１７に移行する。

ステップＳ１６において、検出部１１３は、特徴点（上記の例においては、基準点Ｅ１、Ｅ２、Ｎ１、Ｎ２、Ｍ１、Ｍ２）の座標を検出する。

ステップＳ１７において、繰り返しカウンターによってカウントされる繰り返し回数値Ｌに１を加算する。その後、処理はステップＳ１３に移行する。

ステップＳ１８において、補正部１１４は、通常時の顔の基準点を用いて、特徴点の集合の大きさを補正する。この際、ＨＥ（＝Ｅ２－Ｅ１）の大きさが、通常時のＨＥ０となるように補正する。

ステップＳ１９において、補正部１１４は、通常時の顔の基準点を用いて、特徴点の集合の傾きを補正する。より詳細には、補正部１１４は、Ｅ１及びＥ２を経由する横ラインが水平になり、Ｎ１及びＮ２を経由する縦ラインが鉛直になるように補正する。

ステップＳ２０において、比較部１１５は、基準点に係る距離（上記の例においては、ＶＲ１、ＶＬ１、ＨＲ１、ＨＬ１）を算出する。

ステップＳ２１において、検出部１１３による検出が完了した場合（Ｓ２１：ＹＥＳ）には、処理はステップＳ２２に移行する。まだ完了していない場合（Ｓ２１：ＮＯ）には、処理はステップＳ１６に移行する。

ステップＳ２２において、Ｃの値を検出し、Ｃ＝０の場合（Ｓ２２：０）には、処理はステップＳ２３に移行する。０以外の場合、例えばＣ＝１、２の何れかの場合には（Ｓ２２：１、２の場合）、処理はステップＳ２７に移行する。

ステップＳ２３において、図９（ａ）の（１）の施術を行い、特徴点ＶＲ０、ＶＬ０、ＨＲ０、ＨＬ０の位置が夫々、ＶＲ０＞ＶＲ１、ＶＬ０＞ＶＬ１、ＨＲ０≦ＨＲ１、ＨＬ０≦ＨＬ１となったことを検出した場合（Ｓ２３：ＹＥＳ）には、処理はステップＳ２４に移行する。それ以外の場合（Ｓ２３：ＮＯ）には、処理はステップＳ２５に移行する。

ステップＳ２４において、比較部１１５は、以下の数式（１）及び数式（２）により、ＶＲ０からＶＲ１への変化率ＶＲと、ＶＬ０からＶＬ１への変化率ＶＬとを算出する。
ＶＲ＝（１－（ＶＲ１／ＶＲ０））＊１００ （１）
ＶＬ＝（１－（ＶＬ１／ＶＬ０））＊１００ （２）
その後、処理はステップＳ３６に移行する。

ステップＳ２５において、図９（ａ）の（１）の施術に要した時間が予め定められた制限時間を越えた場合（Ｓ２５：ＹＥＳ）には、処理はステップＳ２６に移行する。制限時間内の場合（Ｓ２５：ＮＯ）には、処理はステップＳ２３に移行する。

ステップＳ２６において、評価部１１６は、評価結果であるスコア値Ｓから１を減算する。その後、処理はステップＳ１４に移行する。

ステップＳ２７において、Ｃの値が１の場合（Ｓ２７：１）には、処理はステップＳ２８に移行する。Ｃの値が２の場合（Ｓ２７：２）には、処理はステップＳ３２に移行する。

ステップＳ２８において、図９（ａ）の（２）の施術を行い、特徴点ＶＲ０、ＶＬ０、ＨＲ０、ＨＬ０の位置が夫々、ＶＲ０≦ＶＲ２、ＶＬ０≦ＶＬ２、ＨＲ０＜ＨＲ２、ＨＬ０＜ＨＬ２となったことを検出した場合（Ｓ２８：ＹＥＳ）には、処理はステップＳ２９に移行する。それ以外の場合（Ｓ２８：ＮＯ）には、処理はステップＳ３０に移行する。

ステップＳ２９において、比較部１１５は、以下の数式（３）及び数式（４）により、ＨＲ０からＨＲ２への変化率ＨＲと、ＨＬ０からＨＬ２への変化率ＨＬとを算出する。
ＨＲ＝（１－（ＨＲ２／ＨＲ０））＊１００ （３）
ＨＬ＝（１－（ＨＬ２／ＨＬ０））＊１００ （４）
その後、処理はステップＳ３６に移行する。

ステップＳ３０において、図９（ａ）の（２）の施術に要した時間が予め定められた制限時間を越えた場合（Ｓ３０：ＹＥＳ）には、処理はステップＳ３１に移行する。制限時間内の場合（Ｓ３０：ＮＯ）には、処理はステップＳ２８に移行する。

ステップＳ３１において、評価部１１６は、評価結果であるスコア値Ｓから１を減算する。その後、処理はステップＳ１４に移行する。

ステップＳ３２において、図９（ａ）の（３）の施術を行い、特徴点ＶＲ０、ＶＬ０、ＨＲ０、ＨＬ０の位置が夫々、ＶＲ０＝ＶＲ３、ＶＬ０＝ＶＬ３、ＨＲ０≧ＨＲ３、ＨＬ０≧ＨＬ３となったことを検出した場合（Ｓ３２：ＹＥＳ）には、処理はステップＳ３３に移行する。それ以外の場合（Ｓ３２：ＮＯ）には、処理はステップＳ３４に移行する。

ステップＳ３３において、比較部１１５は、以下の数式（５）及び数式（６）により、ＨＲ３からＨＲ０への変化率ＨＲと、ＨＬ３からＨＬ０への変化率ＨＬとを算出する。
ＨＲ＝（１－（ＨＲ０／ＨＲ３））＊１００ （３）
ＨＬ＝（１－（ＨＬ０／ＨＬ３））＊１００ （４）
その後、処理はステップＳ３６に移行する。

ステップＳ３４において、図９（ａ）の（３）の施術に要した時間が予め定められた制限時間を越えた場合（Ｓ３４：ＹＥＳ）には、処理はステップＳ３５に移行する。制限時間内の場合（Ｓ３４：ＮＯ）には、処理はステップＳ３２に移行する。

ステップＳ３５において、評価部１１６は、評価結果であるスコア値Ｓから１を減算する。その後、処理はステップＳ１４に移行する。

ステップＳ３６において、ＶＲ＞１０％、かつＶＬ＞１０％となる場合（Ｓ３６：ＹＥＳ）には、処理はステップＳ３７に移行する。それ以外の場合（Ｓ３６：ＮＯ）には、処理はステップＳ３８に移行する。

ステップＳ３７において、評価部１１６は、評価結果であるスコア値Ｓに１０を加算する。その後、処理はステップＳ４１に移行する。

ステップＳ３８において、ＶＲ＞５％、かつＶＬ＞５％となる場合（Ｓ３８：ＹＥＳ）には、処理はステップＳ３９に移行する。それ以外の場合（Ｓ３８：ＮＯ）には、処理はステップＳ４０に移行する。

ステップＳ３９において、評価部１１６は、評価結果であるスコア値Ｓに５を加算する。その後、処理はステップＳ４１に移行する。

ステップＳ４０において、評価部１１６は、評価結果であるスコア値Ｓに１を加算する。その後、処理はステップＳ４１に移行する。

ステップＳ４１において、表示制御部１１７はスコア値Ｓを表示し、発声部（不図示）はスコア値Ｓを発声する。

ステップＳ４２において、設定処理部１１１はタイミングカウンターによってカウントされるタイミング値Ｃに１を加算する。

ステップＳ４３において、比較部１１５は、基準点の座標と、基準点に係る距離の測定値のデータを、実測情報記憶部１９３に保存する。

ステップＳ４４において、繰り返しカウンターによってカウントされる繰り返し回数値Ｌが３を越える場合（Ｓ４４：ＹＥＳ）には、処理はステップＳ４５に移行する。繰り返し回数値Ｌが３を越えない場合（Ｓ４４：ＮＯ）には、処理はステップＳ１４に移行する。

ステップＳ４５において、マッサージを終了する場合（Ｓ４５：ＹＥＳ）には、処理はステップＳ４６に移行する。それ以外の場合（Ｓ４５：ＮＯ）には、処理はステップＳ３に移行する。

ステップＳ４６において、画像処理装置１は、電源をＯＦＦする。

図１４Ａ～図１４Ｂは、図５の機能的構成を有する図１の画像処理装置１が実行する、第２の画像処理の全体的な流れの例を説明するフローチャートである。なお、第２の画像処理は、ユーザが長期間にわたってマッサージをする場合に実行する画像処理である。

ステップＳ５１において、設定処理部１１１がサーバ群３に問い合わせることにより、ユーザの個人認証を行う。

ステップＳ５２において、認証がＯＫだった場合（Ｓ５２：ＹＥＳ）には、処理はステップＳ５３に移行する。認証がＮＧだった場合（Ｓ５２：ＮＯ）には、処理はステップＳ５１に移行する。

ステップＳ５３において、設定処理部１１１は、サーバ群３から、ユーザがマッサージを連続する日数として目標としている目標日数を読み込む。

ステップＳ５４において、設定処理部１１１は、サーバ群３から、実測データの履歴に付されているフラグであって、マッサージを実施したか否かを示す実施フラグに基づいて、マッサージを連続した日数である連続日数を読み込む。

ステップＳ５５において、連続日数が目標日数未満である場合（Ｓ５５：ＹＥＳ）には、処理はステップＳ５６に移行する。連続日数が目標日数以上である場合（Ｓ５５：ＮＯ）には、処理はステップＳ５７に移行する。

ステップＳ５６において、表示制御部１１７は、表示部１８に対して、目標日までの日数、すなわち目標日数から連続日数を減じた日数を表示する。

ステップＳ５７において、設定処理部１１１は、目標日数を追加する。例えば、設定処理部１１１は、現時点での目標日数に対して４週間分の２８日間を追加する。

ステップＳ５８において、施術を開始することを検出した場合（Ｓ５８：ＹＥＳ）には、処理はステップＳ５９に移行する。施術が開始されていないことを検出した場合（Ｓ５８：ＮＯ）には、処理はステップＳ５８に移行する。

ステップＳ５９において、画像処理装置１は、美容施術判定処理として、図１３Ａ～図１３Ｆに記載されたステップＳ１～Ｓ４６の処理を実行する。

ステップＳ６０において、施術の終了を検出した場合（Ｓ６０：ＹＥＳ）には、処理はステップＳ６１に移行する。施術の終了を検出していない場合（Ｓ６０：ＮＯ）には、処理はステップＳ５９に移行する。

ステップＳ６１において、評価部１１６は、施術終了後のスコア値Ｓを評価結果情報記憶部１９４に保存する。

ステップＳ６２において、今回のスコア値Ｓが一定以上である場合（Ｓ６２：ＹＥＳ）には、処理はステップＳ６３に移行する。今回のスコア値Ｓが一定に満たない場合（Ｓ６２：ＮＯ）には、処理はステップＳ６４に移行する。

ステップＳ６３において、設定処理部１１１は、サーバ群３において、一定以上のスコア値Ｓとなった施術を実施したことを示すフラグを保存する。

ステップＳ６４において、設定処理部１１１は、連続実施日数を算出する。

ステップＳ６５において、連続日数が目標日数以上となった場合（Ｓ６５：ＹＥＳ）には、処理はステップＳ６６に移行する。連続日数が目標日数未満の場合（Ｓ６５：ＮＯ）には、処理はステップＳ６７に移行する。

ステップＳ６６において、表示制御部１１７は、目標をクリアしたことを表示部１８に表示する。

ステップＳ６７において、施術の終了を検出した場合（Ｓ６７：ＹＥＳ）には、処理はステップＳ６８に移行する。施術の終了を検出していない場合（Ｓ６７：ＮＯ）には、処理はステップＳ５８に移行する。

ステップＳ６８において、設定処理部１１１は、目標日数をサーバ群３に保存する。

以上説明した本実施形態の画像処理装置１は、取得部１１２と、検出部１１３と、比較部１１５と、出力部（表示制御部）１１７とを備える。取得部１１２は、撮像された対象物の画像を取得する。検出部１１３は、撮像された対象物の画像に含まれる前記対象物の実像における特徴点を検出する。比較部１１５は、取得部１１２による取得対象に含まれる実像の前記特徴点の移動の追跡結果としての軌跡情報と、予め設定された軌跡情報とを比較して比較結果を取得する。出力部１１７は、比較結果を出力する。

これにより、カメラを用いて検出された対象物の特徴点が移動する軌跡情報と、予め設定された軌跡情報とを比較することで、対象物に対して正しく施術できたかどうかを判定することができる。

また、検出部１１３は、複数の特徴点を検出し、比較部１１５は、検出された複数の特徴点間の距離を求め、当該距離と予め設定された距離情報とを比較する。これにより、特徴点間の距離が、初期設定値に比較してどの程度変化したかを取得することができ、この取得結果に基づいて、対象物に対して正しく施術できたかどうかを判定することができる。

また、撮像は、対象物に対する施術中に実行され、距離情報は、施術に伴う対象物の部分的な変形により変化する距離の情報である。これにより、施術による対象物の変形の有り様に基づいて、施術が正しく実行されたか否かを判定することができる。

また、本実施形態の画像処理装置１は、評価部１１６を更に備える。評価部１１６は、比較部１１５による比較結果を評価し、評価結果を生成する。また、出力部１１７は、更に評価結果を出力する。これにより、各特徴点の変化に基づいて、施術がどの程度正しく行われたかをスコア化することができる。

また、評価部１１６は、距離と距離情報との一致度を評価する。これにより、各特徴点間の距離が、予め設定した距離情報とどの程度一致したかに基づいて、施術がどの程度正しく行われたかをスコア化することができる。

また、本実施形態の画像処理装置１は、評価結果情報記憶部１９４を更に備える。評価結果情報記憶部１９４は、評価結果の履歴を記憶する。また、出力部１１７は、評価結果情報記憶部１９４に記憶された評価結果の履歴を出力する。これにより、画像処理装置１のユーザは、評価結果の履歴、すなわち、これまで施術がどの程度正しく行われてきたかをスコア化したスコアの履歴を知悉することができる。

また、評価部１１６によって施術が一定以上評価された日の連続日数が、予め設定された目標日数以上となった場合に、出力部１１７は、連続日数が目標日数以上となったことを出力する。これにより、画像処理装置１のユーザは、一定以上の評価結果となる施術を継続するモチベーションが得られる。

また、比較部１１５は、移動のタイミングと、予め設定されたタイミング情報とを比較する。これにより、画像処理装置１のユーザは、施術を好適なタイミングで実施しているか否かを知悉することが可能となる。

また、対象物は人間の器官である。これにより、人間の器官に対して、マッサージ等の施術が正しくできたかどうかを判定することができる。

また、対象物は人間の顔である。これにより、人間の顔に対して、マッサージ等の施術が正しくできたかどうかを判定することができる。

［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。

上記実施形態では、特徴点間の距離の変化率を所定値と比較し、当該比較の結果に基づいて、施術がどの程度正しく行われたかをスコア化していたが、この形式に限定されるわけではない。例えば、特徴点間の距離が変化した長さを所定値と比較し、当該比較の結果に基づいて、施術がどの程度正しく行われたかをスコア化してもよい。

上記実施形態の画像処理装置１の表示部１８に反射面を有する鏡部を組み合わせた構成とすることもできる。この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されると共に鏡部を透過した各種の情報（例えば、合成画像）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。このようにしても、上述した実施形態と同様の効果を奏することができる。

＜その他の変形例＞
例えば、上述の実施形態において、画像処理装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を画像処理装置１に追加して、画像処理装置１のみで全ての処理を行うようにしてもよい。

また、上述の実施形態では、本発明が適用される画像処理装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。

また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像された対象物の画像を取得する取得手段と、
前記画像に含まれる前記対象物の実像における特徴点を検出する検出手段と、
前記取得対象に含まれる実像の前記特徴点の移動の追跡結果としての軌跡情報と、予め設定された軌跡情報とを比較して比較結果を取得する比較手段と、
前記比較結果を出力する出力手段と、
を備える画像処理装置。

［付記２］
前記検出手段は、複数の前記特徴点を検出し、
前記比較手段は、更に、検出された複数の前記特徴点間の距離を求め、当該距離と予め設定された距離情報とを比較する、付記１に記載の画像処理装置。

［付記３］
前記撮像は、前記対象物に対する施術中に実行され、前記距離情報は、前記施術に伴う前記対象物の部分的な変形により変化する距離の情報である、付記２に記載の画像処理装置。

［付記４］
前記比較結果を評価し、評価結果を生成する評価手段を更に備え、
前記出力手段は、更に前記評価結果を出力する、付記１から付記３のいずれかに記載の画像処理装置。

［付記５］
前記評価手段は、前記距離と前記距離情報との一致度を評価する、付記４に記載の画像処理装置。

［付記６］
前記評価結果の履歴を記憶する記憶手段を更に備え、
前記出力手段は、前記記憶部に記憶された前記履歴を出力する、付記４又は付記５に記載の画像処理装置。

［付記７］
前記評価手段によって前記施術が一定以上評価された日の連続日数が、予め設定された目標日数以上となった場合に、前記出力手段は、前記連続日数が前記目標日数以上となったことを出力する、付記４から付記６のいずれかに記載の画像処理装置。

［付記８］
前記比較手段は、更に、前記移動のタイミングと、予め設定されたタイミング情報とを比較する、付記１から付記７のいずれかに記載の画像処理装置。

［付記９］
前記対象物は、人間の器官である、付記１から付記８のいずれかに記載の画像処理装置。

［付記１０］
前記器官は、人間の顔である、付記９に記載の画像処理装置。

［付記１１］
コンピュータが行う画像処理方法であって、
撮像された対象物の画像を取得する取得ステップと、
前記画像に含まれる前記対象物の実像における特徴点を検出する検出ステップと、
前記取得対象に含まれる実像の前記特徴点の移動の追跡結果としての軌跡情報と、予め設定された軌跡情報とを比較して比較結果を取得する比較ステップと、
前記比較結果を出力する出力ステップと、
を備えることを特徴とする画像処理方法。

［付記１２］
撮像された対象物の画像を取得する取得機能、
前記画像に含まれる前記対象物の実像における特徴点を検出する検出機能、
前記取得対象に含まれる実像の前記特徴点の移動の追跡結果としての軌跡情報と、予め設定された軌跡情報とを比較して比較結果を取得する比較機能と、
前記比較結果を出力する出力機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。

１・・・計測装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・表示部１８・・・記憶部１９・・・通信部，２１・・・ドライブ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・設定処理部，１１２・・・取得部，１１３・・・検出部，１１４・・・補正部，１１５・・・比較部，１１６・・・評価部，１１７・・・表示制御部，Ｓ・・・画像処理システム

Claims (12)

1. 撮像された画像に含まれる対象物の複数の特徴点を検出し、
   前記複数の特徴点のうち、特徴点の動きを検出する際に基準となる基準点及び基準線を、美容施術毎に設定し、
   前記基準点間の距離及び前記基準線の傾きに基づいて、前記複数の特徴点の位置関係を補正し、
   前記美容施術に伴う前記対象物の部分的な変形により変化した状態における前記複数の特徴点間の距離と、特徴点間の距離として理想的な距離に係る情報である距離情報と、の一致度に基づいて評価結果を生成する、処理部を備える画像処理装置。
2. 撮像された画像に含まれる対象物の複数の特徴点を検出し、
   前記複数の特徴点のうち、特徴点の動きを検出する際に基準となる基準点及び基準線を、美容施術毎に設定し、
   前記基準点間の距離及び前記基準線の傾きに基づいて、前記複数の特徴点の位置関係を補正し、
   前記美容施術に伴う前記対象物の部分的な変形により変化した状態における前記複数の特徴点間の距離と、前記美容施術に伴う前記対象物の部分的な変形により変化していない状態における前記複数の特徴点間の距離と、の比較結果を表す比較結果パラメータを算出し、
   算出された前記比較結果パラメータと所定の閾値との比較結果に基づいて評価結果を生成する、処理部を備える画像処理装置。
3. 前記処理部は、
   前記美容施術が適切に実行されているか否か、又は、実行されたか否かをスコア化した前記評価結果を生成する、請求項１又は２に記載の画像処理装置。
4. 前記処理部は、
   前記美容施術が一定以上評価された日の連続日数が、予め設定された目標日数以上となった場合に、前記連続日数が前記目標日数以上となったことを表示部に出力する、請求項３に記載の画像処理装置。
5. 前記評価結果の履歴を記憶する記憶部を更に備え、
   前記処理部は、
   前記記憶部に記憶された前記履歴を表示部に出力する、請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. コンピュータが行う画像処理方法であって、
   撮像された画像に含まれる対象物の複数の特徴点を検出し、
   前記複数の特徴点のうち、特徴点の動きを検出する際に基準となる基準点及び基準線を、美容施術毎に設定し、
   前記基準点間の距離及び前記基準線の傾きに基づいて、前記複数の特徴点の位置関係を補正し、
   前記美容施術に伴う前記対象物の部分的な変形により変化した状態における前記複数の特徴点間の距離と、特徴点間の距離として理想的な距離に係る情報である距離情報と、の一致度に基づいて評価結果を生成する、画像処理方法。
7. コンピュータが行う画像処理方法であって、
   撮像された画像に含まれる対象物の複数の特徴点を検出し、
   前記複数の特徴点のうち、特徴点の動きを検出する際に基準となる基準点及び基準線を、美容施術毎に設定し、
   前記基準点間の距離及び前記基準線の傾きに基づいて、前記複数の特徴点の位置関係を補正し、
   前記美容施術に伴う前記対象物の部分的な変形により変化した状態における前記複数の特徴点間の距離と、前記美容施術に伴う前記対象物の部分的な変形により変化していない状態における前記複数の特徴点間の距離と、の比較結果を表す比較結果パラメータを算出し、
   算出された前記比較結果パラメータと所定の閾値との比較結果に基づいて評価結果を生成する、画像処理方法。
8. 前記美容施術が適切に実行されているか否か、又は、実行されたか否かをスコア化した評価結果を生成する、請求項６又は７に記載の画像処理方法。
9. 前記美容施術が一定以上評価された日の連続日数が、予め設定された目標日数以上となった場合に、前記連続日数が前記目標日数以上となったことを表示部に出力する、請求項８に記載の画像処理方法。
10. 前記評価結果の履歴を記憶する記憶部に記憶された前記履歴を表示部に出力する、請求項６から請求項９のいずれか１項に記載の画像処理方法。
11. コンピュータに
    撮像された画像に含まれる対象物の複数の特徴点を検出する処理、
    前記複数の特徴点のうち、特徴点の動きを検出する際に基準となる基準点及び基準線を、美容施術毎に設定する処理、
    前記基準点間の距離及び前記基準線の傾きに基づいて、前記複数の特徴点の位置関係を補正する処理、
    前記美容施術に伴う前記対象物の部分的な変形により変化した状態における前記複数の特徴点間の距離と、特徴点間の距離として理想的な距離に係る情報である距離情報と、の一致度に基づいて評価結果を生成する処理、を実現させるプログラム。
12. コンピュータに
    撮像された画像に含まれる対象物の複数の特徴点を検出する処理、
    前記複数の特徴点のうち、特徴点の動きを検出する際に基準となる基準点及び基準線を、美容施術毎に設定する処理、
    前記基準点間の距離及び前記基準線の傾きに基づいて、前記複数の特徴点の位置関係を補正する処理、
    前記美容施術に伴う前記対象物の部分的な変形により変化した状態における前記複数の特徴点間の距離と、前記美容施術に伴う前記対象物の部分的な変形により変化していない状態における前記複数の特徴点間の距離と、の比較結果を表す比較結果パラメータを算出する処理、
    算出された前記比較結果パラメータと所定の閾値との比較結果に基づいて評価結果を生成する処理、を実現させるプログラム。

Images