JPWO2020084842A1 - プログラム、情報処理装置、定量化方法及び情報処理システム - Google Patents

Abstract

動画データを解析して、動画データに写る人物の化粧動作を定量化した値を出力するようにコンピュータを機能させるためのプログラムであって、コンピュータを、動画データから人物の顔が写る顔領域を検出する第１の検出手段、動画データから人物の手が写る手領域を検出する第２の検出手段、検出した顔領域及び手領域に基づき、顔領域及び手領域の動きから動画データに写る人物の化粧動作を定量化した値を出力する出力手段、として機能させるためのプログラムである。

Description

本発明は、プログラム、情報処理装置、定量化方法及び情報処理システムに関する。

メークの仕上がりは、使用する化粧品やメークテクニックなどによって異なることが知られている。従来、メークを行う多くのユーザは、他人のメークテクニックを目にする機会が少なかった。近年、動画サイト等のＷｅｂサイトには、メーク中の様子を撮影した動画（メーク動画）が数多く投稿されるようになった。このようなメーク動画によりユーザはメークテクニックを確認できる機会が増加した（例えば非特許文献１参照）。

"動画でレッスン"、［online］、株式会社資生堂、［平成30年4月20日検索］、インターネット〈URL:https://www.shiseido.co.jp/beauty/dictionary/lesson/index.html〉

上記したメーク動画を視聴することにより、ユーザはメーク動画に写る人物が使用した化粧品や化粧動作を見ることができる。しかし、ユーザはメーク動画に写る人物の化粧動作を見るだけで、その人物の化粧動作を上手に真似ることが難しかった。なお、メーク動画から化粧動作を定量化することができれば、真似したユーザの化粧動作と、メーク動画に写る人物の化粧動作との比較が容易となり、便利である。

本発明の一実施形態は、動画データに写る人物の化粧動作を定量化できるプログラムを提供することを目的とする。

上記の課題を解決するため、本発明の一実施形態は、動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力するようにコンピュータを機能させるためのプログラムであって、前記コンピュータを、前記動画データから前記人物の顔が写る顔領域を検出する第１の検出手段、前記動画データから前記人物の手が写る手領域を検出する第２の検出手段、検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力手段、として機能させるためのプログラムであることを特徴とする。

本発明の一実施形態によれば、動画データに写る人物の化粧動作を定量化できる。

本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係るコンピュータの一例のハードウェア構成図である。 計測の結果の一例の散布図である。 計測の結果の一例の散布図である。 本実施形態に係る情報処理システムの一例の機能ブロック図である。 領域検出部の一例の構成図である。 フレーム画像に写る人物の顔領域を検出する処理の一例のイメージ図である。 顔特徴点検出処理の一例のフローチャートである。 フレーム画像に写る人物の手領域を検出する処理の一例のイメージ図である。 領域検出部の一例の構成図である。 顔領域検出部及び手領域検出部の処理の一例のイメージ図である。 力場計算部及びチャンネル計算部の処理の一例のイメージ図である。

次に、本発明の実施形態について詳細に説明する。

［第１の実施形態］
＜システム構成＞
図１Ａ及び図１Ｂは、本実施形態に係る情報処理システムの一例の構成図である。図１Ａの情報処理システムは単体の情報処理装置１を備えている。情報処理装置１は、ユーザが操作するＰＣ、スマートフォン、タブレット、家庭用や業務用の化粧動作を定量化する専用機器などである。

また、図１Ｂの情報処理システムは１台以上のクライアント端末２とサーバ装置３とがインターネット等のネットワーク４を介して接続されている。クライアント端末２はユーザが操作するＰＣ、スマートフォン、タブレットなどの端末装置、家庭用や業務用の化粧動作を定量化する専用機器などである。サーバ装置３はクライアント端末２で行われる化粧動作の定量化に関する処理等を行う。

このように、本発明は図１Ｂに示すようなクライアント・サーバ型の情報処理システムの他、図１Ａに示す単体の情報処理装置１においても適用可能である。なお、図１Ａ及び図１Ｂの情報処理システムは一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば図１Ｂのサーバ装置３は複数のコンピュータに分散して構成してもよい。

＜ハードウェア構成＞
図１Ａ及び図１Ｂの情報処理装置１、クライアント端末２及びサーバ装置３は、例えば図２に示すようなハードウェア構成のコンピュータにより実現される。図２は、本実施形態に係るコンピュータの一例のハードウェア構成図である。

図２のコンピュータは、入力装置５０１、出力装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７、及びＨＤＤ５０８などを備えており、それぞれがバスＢで相互に接続されている。

入力装置５０１は入力に用いるキーボード、マウスなどである。出力装置５０２は、画面を表示する液晶や有機ＥＬなどのディスプレイ、音声や音楽などの音データを出力するスピーカ等で構成されている。通信Ｉ／Ｆ５０７はコンピュータをネットワーク４に接続するインターフェースである。ＨＤＤ５０８はプログラムやデータを格納している不揮発性の記憶装置の一例である。

外部Ｉ／Ｆ５０３は、外部装置とのインターフェースである。コンピュータは外部Ｉ／Ｆ５０３を介して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体５０３ａにはＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。

ＣＰＵ５０６はＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ全体の制御や機能を実現する演算装置である。本実施形態に係る情報処理装置１、クライアント端末２及びサーバ装置３は上記したハードウェア構成のコンピュータにおいてプログラムを実行することにより各種機能を実現できる。

なお、図２のハードウェア構成は一例であって、用途や目的に応じて様々な構成例があることは言うまでもない。例えば図２のコンピュータは、入力装置５０１に動画を撮影可能なカメラ機能を有していてもよい。

＜化粧動作の定量化の検討＞
化粧動作の定量化の方法としては、例えばセンサーを用いるものがある。センサーを用いる化粧動作の定量化の方法ではメークを行う人物にセンサーを装着してもらい、メーク動作を行ってもらう。センサーを用いる化粧動作の定量化の方法では、センサーから出力されたデータにより人物の化粧動作を定量化することができるが、撮影済みのメーク動画に写る人物の化粧動作を定量化できない。

撮影済みのメーク動画を解析して、そのメーク動画に写る人物の化粧動作を定量化できれば、動画サイト等のＷｅｂサイトのメーク動画を利用でき、また、センサーなどを装着する必要がないため、自然な化粧動作の定量化が期待できる。そこで、本実施形態では撮影済みのメーク動画に写る人物の化粧動作を定量化する為に、メーク動画から取得する対象の把握と、その対象を用いた化粧動作の定量化の検討を行った。

《メーク動画から取得する対象の把握》
メーク動画から取得する対象を把握するため、被験者の化粧動作中の動きをモーションキャプチャで計測した。なお、測定部位は、右手中指先端、中指根元、手の甲中央、手首中央、肘、額の計６カ所である。解析対象は、測定部位の座標（変位）と速度と加速度と角速度である。このように解析した被験者の動きの主成分は、化粧動作中の主要な動きの要素と推定できる。

図３Ａ及び図３Ｂは計測の結果の一例の散布図である。図３Ａは化粧動作ごとの手動作の細かさ及び手と肘の連動性の一例を示す散布図である。図３Ｂは化粧動作ごとの手動作の細かさ及び顔の動きの一例を示す散布図である。図３Ａ及び図３Ｂに示したように、被験者の動きの主成分は、手動作の細かさ、手と肘の連動性、及び、顔の動き、であった。そこで、本実施形態ではメーク動画から取得する対象を、手の座標・速度と、顔の座標・速度とした。

《取得した対象を用いた化粧動作の定量化》
メーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度とを取得する手法としては、畳み込みニューラルネットワーク（以下、ＣＮＮと呼ぶ）を用いた画像認識がある。ＣＮＮを用いた画像認識では、二次元画像から顔領域及び手領域を検出することができるので、メーク動画のフレーム画像から検出した顔領域及び手領域をトラッキング（追跡）することで、メーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度とを取得できる。なお、本実施形態のＣＮＮを用いた画像認識の詳細については後述する。

＜ソフトウェア構成＞
《機能ブロック》
本実施形態に係る情報処理システムのソフトウェア構成について説明する。なお、ここでは図１Ａに示した情報処理装置１を一例として説明する。図４は本実施形態に係る情報処理システムの一例の機能ブロック図である。情報処理装置１はプログラムを実行することにより、操作受付部１０、領域検出部１２、定量化部１４、後処理部１６及び動画データ記憶部１８を実現している。

操作受付部１０はユーザからの各種操作を受け付ける。動画データ記憶部１８はメーク動画を記憶している。なお、動画データ記憶部１８は情報処理装置１の外部に設けられていてもよい。領域検出部１２は動画データ記憶部１８に記憶しているメーク動画やカメラ機能により撮影されたメーク動画が入力される。領域検出部１２は、入力されたメーク動画を構成するフレーム画像ごとに、そのフレーム画像に写る人物の顔領域及び手領域を後述するように検出する。

定量化部１４は、領域検出部１２が検出した顔領域及び手領域から、メーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度とを取得することで、メーク動画に写る人物の化粧動作を定量化する。後処理部１６は領域検出部１２及び定量化部１４による処理結果を、後処理して出力装置５０２等に出力する。

例えば後処理部１６は、メーク動画に写る人物の化粧動作中の顔領域及び手領域を矩形で囲う後処理を行う。また、後処理部１６はメーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度から、手動作の細かさ、手と肘の連動性、及び、顔の動きを視覚的に表す等の後処理を行う。

また、後処理部１６は２つのメーク動画に写る人物の化粧動作を定量化して比較することにより、その比較結果を出力できる。例えば本実施形態に係る情報処理システムを利用するユーザは、自分の化粧動作とメーキャップアーティスト等のメークの上手な人物の化粧動作とを定量化して比較することにより、自分のメークテクニックとの違いを理解し易くなる。これにより、本実施形態に係る情報処理システムはユーザのメークテクニックを向上させるサービスの提供が可能となる。

メーク動画のフレーム画像に写る人物の顔領域及び手領域を検出する図４の領域検出部１２は例えば図５に示すように構成される。図５は領域検出部の一例の構成図である。図５の領域検出部１２は、フレーム化部２０、顔領域検出部２２、手領域検出部２４及び顔特徴点検出部２６を有する構成である。

フレーム化部２０は入力されたメーク動画をフレーム画像の単位で顔領域検出部２２及び手領域検出部２４に提供する。顔領域検出部２２は、顔パーツ領域学習モデルを含む顔領域学習モデルを有する。

なお、顔領域検出部２２が有する顔領域学習モデルは、顔領域に手領域が被った二次元画像を教師データとして用いた機械学習により作成されている。顔領域に手領域が被った教師データは手が顔の前景となるように写った二次元画像から作成する。顔領域に手領域が被った教師データは、アノテーションされた（教師データとして作成された）手領域学習データセットに対し、アノテーションされた顔領域学習データセットの画像を、手が前景となるように貼り付けることで作成してもよい。

顔領域検出部２２は、顔領域の一部が手領域で隠れた状態（遮蔽環境）の教師データを学習データセットに用いたＣＮＮを行うことで学習した顔領域学習モデルを利用することにより、顔領域と手領域との重なりに頑強な顔領域検出を実現する。

手領域検出部２４は、指先位置領域学習モデルを含む手領域学習モデルを有する。手領域検出部２４が有する手領域学習モデルは、化粧中の手の二次元画像を教師データとして用いて作成されている。

なお、化粧中の手の教師データは、化粧中の手の形に特化したアノテーションされた手領域学習データセット、及び、化粧中の指先位置に特化したアノテーションされた指先位置領域学習データセットにより作成される。手領域検出部２４は、上記の教師データを学習データセットに用いたＣＮＮを行うことで学習した手領域学習モデルを利用することにより、化粧動作中の形のバリエーションが多い手及び指先位置の検出精度の高い手領域検出を実現する。

また、顔特徴点検出部２６は顔パーツ特徴点学習モデルを含む顔特徴点学習モデルを有する。顔特徴点検出部２６は顔特徴点学習モデルを利用することにより、顔全体の顔特徴点を検出する。その後、顔特徴点検出部２６は顔パーツ特徴点学習モデルを利用することにより、顔パーツの顔特徴点を部位別に検出する。顔特徴点検出部２６は、顔パーツに含まれる目の顔特徴点を検出し、目の顔特徴点の位置から目以外の部位の顔特徴点（輪郭を含む）の位置を修正することにより、低解像度や遮蔽環境でも高精度な顔特徴点検出を実現する。

＜処理＞
《顔領域検出及び顔特徴点検出》
領域検出部１２がフレーム画像に写る人物の顔領域を検出する処理は、例えば図６に示すように行われる。図６は、フレーム画像に写る人物の顔領域を検出する処理の一例のイメージ図である。

領域検出部１２の顔領域検出部２２は、上記した顔領域学習モデルを利用することによりフレーム画像１０００の人物の顔が写る顔領域を矩形１００２で検出する。顔領域検出部２２は矩形１００２の領域から、上記した顔パーツ領域学習モデルを利用して顔パーツ領域を検出し、検出した鼻を中心として矩形１００２の矩形比を矩形１００４のように修正する。

顔特徴点検出部２６は、矩形１００４の領域から、上記した顔特徴点学習モデルを利用して顔特徴点を矩形領域画像１００６のように検出する。また、顔特徴点検出部２６は矩形領域画像１００６から、上記した顔パーツ特徴点学習モデルを利用して、顔パーツの特徴点を矩形領域画像１００８のように部位別に検出する。

なお、図５の領域検出部１２は図７のフローチャートに示すように処理することで低解像度や遮蔽環境でも高精度な顔特徴点検出を実現できる。図７は顔特徴点検出処理の一例のフローチャートである。

ステップＳ１１において、領域検出部１２の顔特徴点検出部２６は、顔領域検出部２２が検出した顔領域（顔全体）から、上記した顔特徴点学習モデルを利用して顔特徴点を検出し、頭部姿勢を推定する。

ステップＳ１２に進み、顔特徴点検出部２６はステップＳ１１で推定した頭部姿勢を考慮し、顔領域検出部２２が検出した目について顔パーツ特徴点学習モデルを使用して検出することで、目の位置推定を補正し、目の位置推定精度を上げる。

ステップＳ１３に進み、顔特徴点検出部２６はステップＳ１２で補正した目の推定位置を考慮し、上記した顔パーツ特徴点学習モデルを利用して目以外の顔パーツの特徴点（輪郭を含む）を検出し、目以外の顔パーツの推定位置を修正する。図７のフローチャートの処理は、例えば手で顔の輪郭が遮蔽されていた場合に有効である。

《手領域検出》
領域検出部１２がフレーム画像に写る人物の手領域を検出する処理は、例えば図８に示すように行われる。図８は、フレーム画像に写る人物の手領域を検出する処理の一例のイメージ図である。

領域検出部１２の手領域検出部２４は、上記した手領域学習モデルを利用することでフレーム画像１１００の人物の左右の手が写る手領域を矩形１１０２で検出する。また、手領域検出部２４は、矩形１１０２の領域から、上記した指先位置領域学習モデルを利用してフレーム画像１１１０の人物の左右の手の領域１１１２及び１１１４と、左右の手の指先位置１１１６及び１１１８を検出する。

《出力》
本実施形態に係る情報処理装置１は、例えばメーク動画に写る人物の化粧動作中の手の座標・速度と、顔の座標・速度から、手動作の細かさ、手と肘の連動性、及び、顔の動きを算出し、出力できる。このような手動作の細かさ、手と肘の連動性、及び、顔の動きの出力は化粧動作の研究などに有用である。

また、本実施形態に係る情報処理装置１は２つのメーク動画に写る人物の化粧動作を定量化して比較できるので、メークテクニックを学びたいユーザの化粧動作とメーキャップアーティスト等のメークの上手な人物の化粧動作とを定量化して比較できる。比較結果は点数化してユーザに提示してもよいし、ユーザとメーキャップアーティスト等のメークの上手な人物との化粧動作の違いを視覚的にユーザに提示してもよい。さらに、本実施形態に係る情報処理装置１は比較結果に基づき、ユーザの化粧動作がメーキャップアーティスト等のメークの上手な人物の化粧動作に近づくようにメークテクニックをユーザに提示してもよい。

例えば本実施形態に係る情報処理装置１はチーク／ファンデーションなど、広い面積に塗るメーキャップ製品塗布時の塗布面積判定及び塗布範囲のレクチャーをユーザに対して行うことができる。また、本実施形態に係る情報処理装置１はアイライナー／アイシャドウ／コンシーラーなど、テクニックが難しいメーキャップ製品使用時の動きの正誤判定及びレクチャーをユーザに対して行うことができる。さらに、本実施形態に係る情報処理装置１はヘアワックス（ヘア製品）の塗布方法のレクチャー、スキンケア製品の塗布方法のレクチャー又はマッサージ方法のレクチャーをユーザに対して行うこともできる。

また、本実施形態に係る情報処理装置１は骨格がシャープなユーザと丸めなユーザとでチーク（頬紅）の入れ方など、メークのやり方が異なる場合があるため、ユーザの顔立ちにあったメークのリコメンドと、そのメークを実現するためのテクニックをレクチャーしてもよい。

［第２の実施形態］
第２の実施形態に係る情報処理システムは、一部を除いて第１の実施形態に係る情報処理システムと同様であるため、適宜説明を省略する。第２の実施形態の情報処理システムは図５の領域検出部１２に替えて、図９の領域検出部１２を備えた構成である。図９は領域検出部の一例の構成図である。図９の領域検出部１２は、フレーム化部５０、肌色領域抽出部５２、領域分割部５４、顔領域検出部５６、手領域検出部５８、力場計算部６０及びチャンネル計算部６２を有する構成である。

フレーム化部５０は入力されたメーク動画をフレーム画像の単位で肌色領域抽出部５２に提供する。肌色領域抽出部５２はフレーム画像から肌色領域を抽出する。領域分割部５４は肌色領域抽出部５２が抽出した肌色領域を候補ブロブに分割し、更に、候補ブロブのラベリングを行う。領域分割部５４はラベル付けされた候補ブロブを顔領域検出部５６及び手領域検出部５８に提供する。

顔領域検出部５６は提供された候補ブロブのラベル（分割された肌色領域の特徴）に基づいて、顔領域の候補ブロブを分類（顔領域を検出）する。また、手領域検出部５８は領域分割部５４から提供された候補ブロブのラベル（分割された肌色領域の特徴）と、顔領域検出部５６により分類された顔領域の候補ブロブとに基づいて、手領域の候補ブロブを分類（手領域を検出）する。

図９の顔領域検出部５６及び手領域検出部５８は、図１０に示すように、先に顔領域検出部５６が顔領域の候補ブロブを分類し、顔領域の候補ブロブを除外して、手領域検出部５８が手領域の候補ブロブを分類する。したがって、本実施形態では手領域の誤検出を防止できる。

力場計算部６０は顔領域検出部５６において顔領域の候補ブロブを分類できなかった場合に、顔領域と手領域との干渉が発生していると判断し、次のような処理を行う。力場計算部６０は前フレーム（ｔ−１）の顔領域及び手領域の候補ブロブと現フレーム（ｔ）のラベル付けされた候補ブロブとが提供される。

力場計算部６０は図１１に示すように、力場（Force Field）により候補ブロブの画像内に多量のチャンネル（Channel）を設定する。チャンネル計算部６２は、前フレームからの移動距離をチャンネルごとに計算し、移動距離の大きいチャンネルの候補ブロブを、動いている手の候補ブロブであると仮定することにより、手領域及び顔領域の候補ブロブを分類できる。

なお、領域検出部１２の力場計算部６０及びチャンネル計算部６２は移動距離の大きさに加えて、手領域らしい動きをクラスタリングしておくことで、手領域及び顔領域の候補ブロブの誤検出を更に防止できる。

（まとめ）
以上、本実施形態によれば、センサーなどを装着することなく、撮影済みのメーク動画に写る人物の化粧動作を定量化でき、メークテクニックの提供や教示が可能となる。本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば本実施形態では、二次元の動画データを一例として説明したが、三次元の動画データであってもよい。本実施形態によれば、二次元の動画データと同様なデータ解析、又は二次元の動画データ解析に三次元情報を組み合わせた解析により、三次元の動画データに写る人物の化粧動作を定量化でき、メークテクニックの提供や教示が可能となる。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。本願は、日本特許庁に２０１８年１０月２４日に出願された基礎出願２０１８―１９９７３９号の優先権を主張するものであり、その全内容を参照によりここに援用する。

１ 情報処理装置
２ クライアント端末
３ サーバ装置
４ ネットワーク
１０ 操作受付部
１２ 領域検出部
１４ 定量化部
１６ 後処理部
１８ 動画データ記憶部
２０ フレーム化部
２２ 顔領域検出部
２４ 手領域検出部
２６ 顔特徴点検出部
５０ フレーム化部
５２ 肌色領域抽出部
５４ 領域分割部
５６ 顔領域検出部
５８ 手領域検出部
６０ 力場計算部
６２ チャンネル計算部

Claims (11)

1. 動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力するようにコンピュータを機能させるためのプログラムであって、
   前記コンピュータを、
   前記動画データから前記人物の顔が写る顔領域を検出する第１の検出手段、
   前記動画データから前記人物の手が写る手領域を検出する第２の検出手段、
   検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力手段、
   として機能させるためのプログラム。
2. 前記第１の検出手段は、
   顔領域学習モデルを用いて前記動画データから前記人物の顔領域を検出する顔領域検出手段と、
   顔パーツ特徴点学習モデルを用いて前記顔領域から顔パーツ領域を検出する顔パーツ領域検出手段と、
   を有し、
   前記第２の検出手段は、
   前記化粧動作の手領域学習モデルを用いて前記動画データから前記人物の手領域を検出する手領域検出手段と、
   前記化粧動作の指先位置領域学習モデルを用いて前記手領域から指先位置領域を検出する指先位置領域検出手段と、
   を有することを特徴とする請求項１記載のプログラム。
3. 前記顔領域学習モデルは、顔領域の一部が手領域で隠れた状態の教師データを顔領域学習データセットに用いて学習した畳み込みニューラルネットワークであること
   を特徴とする請求項２記載のプログラム。
4. 前記手領域学習モデルは、化粧中の手の形の教師データを手領域学習データセットに用いて学習した畳み込みニューラルネットワークであり、前記指先位置領域学習モデルは、化粧中の指先の位置の教師データを指先位置領域学習データセットに用いて学習した畳み込みニューラルネットワークであること
   を特徴とする請求項２記載のプログラム。
5. 前記コンピュータを、
   前記動画データから肌色領域を抽出する抽出手段、
   前記肌色領域を分割領域に分割する分割手段、
   として更に機能させ、
   前記第１の検出手段は、前記分割領域の特徴量に基づき、前記肌色領域から前記人物の顔が写る顔領域を検出し、
   前記第２の検出手段は、前記分割領域の特徴量に基づき、前記人物の顔が写る顔領域として検出された前記肌色領域を除外した前記肌色領域から前記人物の手が写る手領域を検出すること
   を特徴とする請求項１記載のプログラム。
6. 前記コンピュータを、
   前記第１の検出手段が前記肌色領域から前記人物の顔が写る顔領域を検出できない場合に、前記動画データを構成するフレーム画像間における前記分割領域の移動距離を検出して、移動距離の大きい前記分割領域を前記人物の手が写る手領域であると仮定する第３の検出手段、
   として更に機能させること
   を特徴とする請求項５記載のプログラム。
7. 前記出力手段は、前記動画データに写る人物の化粧動作を定量化した値として、化粧動作中の手の座標・速度と、顔の座標・速度とを出力すること
   を特徴とする請求項１記載のプログラム。
8. 前記出力手段は、２つの前記動画データに写る人物の化粧動作を定量化した値の比較結果に基づき、２つの前記動画データに写る人物の化粧動作の違いを視覚的に表した画像を出力すること
   を特徴とする請求項１記載のプログラム。
9. 動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力する情報処理装置であって
   前記動画データから前記人物の顔が写る顔領域を検出する第１の検出手段と、
   前記動画データから前記人物の手が写る手領域を検出する第２の検出手段と、
   検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力手段と、
   を有する情報処理装置。
10. 動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力する情報処理装置において実行される定量化方法であって、
    前記動画データから前記人物の顔が写る顔領域を検出する第１の検出ステップと、
    前記動画データから前記人物の手が写る手領域を検出する第２の検出ステップと、
    検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力ステップと、
    を有する定量化方法。
11. ユーザからの操作を受け付けるクライアント端末と、前記クライアント端末が前記ユーザから受け付けた操作に基づき、動画データを解析して、前記動画データに写る人物の化粧動作を定量化した値を出力して前記クライアント端末に提供するサーバ装置と、を有する情報処理システムであって
    前記サーバ装置は、
    前記クライアント端末が前記ユーザから受け付けた操作の情報を受信する受信手段と、
    前記ユーザから受け付けた操作に基づき、前記動画データから前記人物の顔が写る顔領域を検出する第１の検出手段と、
    前記ユーザから受け付けた操作に基づき、前記動画データから前記人物の手が写る手領域を検出する第２の検出手段と、
    検出した前記顔領域及び前記手領域に基づき、前記顔領域及び前記手領域の動きから前記動画データに写る人物の化粧動作を定量化した値を出力する出力手段と、
    出力した前記値を前記クライアント端末に送信する送信手段と、
    を有する情報処理システム。

Images